JP2024010181A - 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 - Google Patents
頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 Download PDFInfo
- Publication number
- JP2024010181A JP2024010181A JP2023189938A JP2023189938A JP2024010181A JP 2024010181 A JP2024010181 A JP 2024010181A JP 2023189938 A JP2023189938 A JP 2023189938A JP 2023189938 A JP2023189938 A JP 2023189938A JP 2024010181 A JP2024010181 A JP 2024010181A
- Authority
- JP
- Japan
- Prior art keywords
- user
- image display
- area
- display device
- optionally
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 172
- 230000009471 action Effects 0.000 claims abstract description 233
- 238000004891 communication Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims 5
- 238000012545 processing Methods 0.000 abstract description 262
- 230000008859 change Effects 0.000 abstract description 63
- 230000004044 response Effects 0.000 description 61
- 230000000875 corresponding effect Effects 0.000 description 25
- 230000000007 visual effect Effects 0.000 description 23
- 210000001508 eye Anatomy 0.000 description 21
- 230000003287 optical effect Effects 0.000 description 20
- 210000003128 head Anatomy 0.000 description 18
- 238000001514 detection method Methods 0.000 description 13
- 239000000872 buffer Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000003213 activating effect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Architecture (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】好適な頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置を提供すること。【解決手段】ユーザによって頭部装着されるために構成される画像ディスプレイデバイスと併用するための、装置は、画面と、画面の第1の面積をユーザの指アクションを感知するために割り当てるために構成される、処理ユニットとを含み、処理ユニットは、装置の画面の割り当てられた第1の面積によって感知されるユーザの指アクションに基づいて、ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するように構成される。【選択図】図6
Description
本開示は、頭部装着型画像ディスプレイデバイスおよびそのような画像ディスプレイデバイスのための入力を提供するための方法および装置に関する。
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」(VR)または「拡張現実」(AR)体験のための「複合現実」(MR)システムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、またはそのように知覚され得る様式でユーザに提示される。VRシナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ARシナリオは、典型的には、ユーザの周囲の実世界の可視化(すなわち、実世界視覚的入力に対する透過性)に対する拡張としてデジタルまたは仮想画像情報の提示を伴う。故に、ARシナリオは、実世界視覚的入力に対する透過性を伴う、デジタルまたは仮想画像情報の提示を伴う。
MRシステムは、カラーデータを生成および表示し得、これは、MRシナリオの現実性を増加させる。これらのMRシステムの多くは、カラー画像に対応する異なる(例えば、一次)色または「フィールド」(例えば、赤色、緑色、および青色)内のサブ画像を高速で連続して順次投影させることによって、カラーデータを表示する。カラーサブ画像を十分に高レート(例えば、60Hz、120Hz等)で投影させることは、平滑なカラーMRシナリオをユーザの記憶にもたらし得る。
種々の光学システムは、MR(VRおよびAR)シナリオを表示するために、種々の深度において、カラー画像を含む、画像を生成する。いくつかのそのような光学システムは、2014年11月27日に出願された米国実用特許出願第14/555,585号(弁理士整理番号第ML.20011.00)(その内容は、完全に記載される場合と同様に、参照することによってその全体として明示的かつ完全に本明細書に組み込まれる)に説明される。
MRシステムは、少なくとも、ユーザの頭部に緩く結合され、したがって、ユーザの頭部が移動すると移動する、ウェアラブルディスプレイデバイス(例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス)を採用し得る。ユーザの頭部運動が、ディスプレイデバイスによって検出される場合、表示されているデータは、頭部姿勢(すなわち、ユーザの頭部の配向および/または場所)の変化を考慮するために更新(例えば、「ワーピング」)され得る。
実施例として、頭部装着型ディスプレイデバイスを装着しているユーザが、ディスプレイ上の仮想オブジェクトの仮想表現を視認し、仮想オブジェクトが現れている面積の周囲を歩き回る場合、仮想オブジェクトは、視点毎にレンダリングされ、実空間を占有するオブジェクトの周囲を歩き回っているという知覚をユーザに与えることができる。頭部装着型ディスプレイデバイスが、複数の仮想オブジェクトを提示するために使用される場合、頭部姿勢の測定が、ユーザの動的に変化する頭部姿勢に合致し、没入感の増加を提供するように場面をレンダリングするために使用されることができる。
ARを有効にする、頭部装着型ディスプレイデバイスは、実および仮想オブジェクトの両方の同時視認を提供する。「光学シースルー」ディスプレイを用いることで、ユーザは、ディスプレイシステム内の透明(または半透明)要素を通して見え、直接、環境内の実オブジェクトからの光を視認することができる。多くの場合、「コンバイナ」と称される、透明要素は、ディスプレイからの光を実世界のユーザのビューにわたって重畳し、そこからの光は、ディスプレイによって、仮想コンテンツの画像を環境内の実オブジェクトのシースルービューにわたって投影する。カメラが、頭部装着型ディスプレイデバイス上に搭載され、ユーザによって視認されている場面の画像またはビデオを捕捉してもよい。
MRシステムにおけるもの等の現在の光学システムは、仮想コンテンツを光学的にレンダリングする。コンテンツは、空間内の個別の位置に位置する実際の物理的オブジェクトに対応しないという点で、「仮想」である。代わりに、仮想コンテンツは、ユーザの眼に指向される光ビームによって刺激されるとき、頭部装着型ディスプレイデバイスのユーザの脳(例えば、視覚中枢)内にのみ存在する。
頭部装着型画像ディスプレイデバイス(例えば、MRデバイス、ARデバイス、VRデバイス等)のための入力を提供するための方法および装置が、本明細書に開示される。
ユーザによって頭部装着されるために構成される画像ディスプレイデバイスと併用するための、装置は、画面と、画面の第1の面積をユーザの指アクションを感知するために割り当てるために構成される、処理ユニットとを含み、処理ユニットは、装置の画面の割り当てられた第1の面積によって感知されるユーザの指アクションに基づいて、画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するように構成される。本明細書で使用されるように、用語「指アクション」は、1本以上の指によって実施されるアクションを含み得、スワイプ、ピンチ、ピンチ解除、タップ、押下、保持、捻転、方向変換等のアクションを含み得る。
随意に、画面は、タッチセンサ式領域を有し、割り当てられた第1の面積は、タッチセンサ式領域の総面積未満である。
随意に、割り当てられた第1の面積は、画像ディスプレイデバイスの画面の形状と対応する、形状を有する。
随意に、割り当てられた第1の面積は、装置のブランドおよび/またはモデルに基づく寸法を有する。
随意に、割り当てられた第1の面積は、装置の特徴および画像ディスプレイデバイスの特徴に基づく寸法を有する。
随意に、処理ユニットは、割り当てられた第1の面積の一部ではない、かつ割り当てられたボタンの一部ではない、タッチセンサ式領域の一部を使用してユーザによって生成された入力を無視するように構成される。
随意に、処理ユニットはまた、ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるように構成される。
随意に、第1の面積は、境界を有し、ユーザの指アクションは、ユーザの指が、境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む。
随意に、第1の面積は、基準場所を少なくとも部分的に囲繞する、1つ以上の境界を有し、処理ユニットは、ユーザの指が基準場所から事前に規定された距離に到達することに応答して、フィードバックコンポーネントを動作させるように構成される。
随意に、処理ユニットは、第1の面積に対するユーザの1本以上の指間の異なる個別の空間関係に基づいて、フィードバックコンポーネントを動作させ、異なるタイプのフィードバックを生成するように構成される。
随意に、異なるタイプのフィードバックは、第1の振幅を伴う、第1の触覚的インパルスと、第1の振幅と異なる第2の振幅を伴う、第2の触覚的インパルスとを含む。
随意に、異なるタイプのフィードバックは、第1の触覚的インパルスの数と、第1の数と異なる第2の触覚的インパルスの数とを含む。
随意に、異なるタイプのフィードバックは、第1の周波数を伴う、第1の一連の触覚的インパルスと、第1の周波数と異なる第2の周波数を伴う、第2の一連の触覚的インパルスとを含む。
随意に、異なる個別の空間関係は、(1)ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)割り当てられた第1の面積内の基準場所との間の異なる距離を含む。
随意に、基準場所は、割り当てられた第1の面積の中心を含む。
随意に、異なる距離は、閾値を超える。
随意に、異なる個別の空間関係は、1本以上の指のうちの1本、または2本の指間の点が、割り当てられた第1の面積の境界からの異なる個別の距離に到達することを含む。
随意に、割り当てられた第1の面積は、第1の境界と、第2の境界とを有し、異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、処理ユニットは、ユーザの1本以上の指が、第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、フィードバックコンポーネントを動作させ、第1のタイプのフィードバックを生成するように構成され、処理ユニットは、ユーザの1本以上の指が、第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、フィードバックコンポーネントを動作させ、第2のタイプのフィードバックを生成するように構成される。
随意に、第1の境界は、割り当てられた第1の面積の左または右境界を含み、第2の境界は、上または下境界を含む。
随意に、処理ユニットは、スワイプ方向に基づいて、フィードバックコンポーネントを動作させるように構成される。
随意に、処理ユニットは、画面の割り当てられた第1の面積上で実施されるピンチまたはピンチ解除アクションと関連付けられる、入力信号を取得するように構成される。
随意に、処理ユニットは、ピンチまたはピンチ解除アクションと関連付けられる入力信号に基づいて、画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるための電子信号を生成するように構成される。
随意に、装置はさらに、装置の配向を感知するための配向センサを含み、処理ユニットはまた、ピンチまたはピンチ解除アクションと関連付けられる入力信号および装置の感知された配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される。
随意に、処理ユニットは、ピンチまたはピンチ解除アクションが、装置が第1の配向にある間、装置によって感知される場合、コンテンツを第1の平面において収縮または拡張させるための電子信号を生成するように構成され、処理ユニットは、ピンチまたはピンチ解除アクションが、装置が第1の配向と異なる第2の配向にある間、装置によって感知される場合、コンテンツを第2の平面において収縮または拡張させるための電子信号を生成するように構成され、第2の平面は、第1の平面と異なる。
随意に、装置は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、装置は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、第1の平面は、第2の平面と垂直である。
随意に、処理ユニットは、画面の割り当てられた第1の面積上で実施されるスワイプアクションと関連付けられる、入力信号を取得するように構成される。
随意に、処理ユニットは、スワイプアクションと関連付けられる入力信号に応答して、コンテンツを移動させることによって、コンテンツを変化させるための電子信号を生成するように構成される。
随意に、装置はさらに、装置の配向を感知するための配向センサを含み、処理ユニットは、スワイプアクションと関連付けられる入力信号および装置の感知された配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される。
随意に、処理ユニットは、スワイプアクションが、装置が第1の配向にある間、装置によって感知される場合、コンテンツを第1の平面において移動させるための電子信号を生成するように構成され、処理ユニットは、スワイプアクションが、装置が第1の配向と異なる第2の配向にある間、装置によって感知される場合、コンテンツを第2の平面において移動させるための電子信号を生成するように構成され、第2の平面は、第1の平面と異なる。
随意に、装置は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、装置は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、第1の平面は、第2の平面と垂直である。
随意に、コンテンツは、仮想3次元環境内にあって、処理ユニットは、スワイプアクションが、装置の配向が水平平面と略平行である間、装置によって感知されるとき、コンテンツをユーザのより近くまたはそこからより遠くに移動させることによって、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される。
随意に、コンテンツは、仮想3次元環境内にあって、処理ユニットは、スワイプアクションが、装置の配向が水平平面と略垂直である間、装置によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツを3次元環境内の垂直平面において移動させるための電子信号を生成するように構成される。
随意に、装置はさらに、装置の配向を感知するための配向センサを含み、処理ユニットは、装置の感知された配向に基づいて、電子信号を生成するように構成される。
随意に、処理ユニットは、装置の感知された配向に基づいて、コンテンツを1つ以上の方向に拡張させるための電子信号を生成するように構成される。
随意に、処理ユニットは、装置の感知された配向に基づいて、コンテンツを回転させるための電子信号を生成するように構成される。
随意に、処理ユニットは、装置の感知された配向に基づいて、コンテンツを移動させるための電子信号を生成するように構成される。
随意に、装置はさらに、装置の移動を感知するための移動センサを含み、処理ユニットは、装置の感知された移動に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される。
随意に、処理ユニットは、装置の感知された移動に基づいて、コンテンツを移動させることによって、コンテンツを変化させるための電子信号を生成するように構成される。
随意に、装置は、ハンドヘルド装置である。
随意に、ハンドヘルド装置は、携帯電話、スマートフォン、携帯情報端末(PDA)、またはタブレットを含む。
随意に、画面の割り当てられた第1の面積は、画面の割り当てられた第1の面積がユーザの指アクションを感知している間、オブジェクトを表示させない。
随意に、処理ユニットは、画面を動作させ、ドットのグリッドを画面の割り当てられた第1の面積内に表示するように構成される。
随意に、処理ユニットはまた、ユーザが、ドットのうちの1つ以上のものが表示されている、画面の割り当てられた第1の面積の一部にタッチすることに応答して、ドットのうちの1つ以上のものの特徴を変化させるように構成される。
随意に、処理ユニットはまた、画面の第2の面積を第1のボタンとして割り当てるように構成される。
随意に、第1のボタンは、「ホーム」ボタンである。
随意に、処理ユニットはまた、画面の第3の面積を第2のボタンとして割り当てるように構成される。
随意に、第2のボタンは、「トグル」ボタンである。
随意に、処理ユニットはまた、画面の第4の面積を第3のボタンとして割り当てるように構成される。
随意に、第3のボタンは、「バンパ」ボタンである。
随意に、処理ユニットはまた、画面の第2の面積をキーボードアクティブ化ボタンとして割り当てるように構成され、処理ユニットは、ユーザが画面の割り当てられた第2の面積にタッチすることに応答して、画面を動作させ、キーボードを表示するように構成される。
随意に、装置はさらに、画像ディスプレイデバイスとの通信のための無線受信機を含む。
随意に、装置はさらに、ケーブルを介した画像ディスプレイデバイスとの通信のためのコネクタを含む。
随意に、装置はさらに、命令のセットを記憶する非一過性媒体を含み、その実行は、処理ユニットに、画面の第1の面積をユーザの指アクションを感知するために割り当てさせるであろう。
随意に、コンテンツの変化は、コンテンツのサイズの変化、コンテンツの位置の変化、コンテンツの形状の変化、コンテンツの色の変化、コンテンツ内の情報の置換、コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む。
方法は、装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てるステップであって、画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、装置は、画像ディスプレイデバイスと異なる、ステップと、装置の画面の割り当てられた第1の面積によって感知されるユーザの指アクションに基づいて、画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するステップとを含む。
随意に、画面は、タッチセンサ式領域を有し、割り当てられた第1の面積は、タッチセンサ式領域の総面積未満である。
随意に、割り当てられた第1の面積は、画像ディスプレイデバイスの画面の形状と対応する、形状を有する。
随意に、割り当てられた第1の面積は、装置のブランドおよび/またはモデルに基づく寸法を有する。
随意に、割り当てられた第1の面積は、装置の特徴および画像ディスプレイデバイスの特徴に基づく寸法を有する。
随意に、本方法はさらに、割り当てられた第1の面積の一部ではない、かつ割り当てられたボタンの一部ではない、タッチセンサ式領域の一部を使用してユーザによって生成された入力を無視するステップを含む。
随意に、本方法はさらに、ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるための制御信号を生成するステップを含む。
随意に、第1の面積は、境界を有し、ユーザの指アクションは、ユーザの指が、境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む。
随意に、第1の面積は、基準場所を少なくとも部分的に囲繞する、1つ以上の境界を有し、制御信号は、ユーザの指が基準場所から事前に規定された距離に到達することに応答して、フィードバックコンポーネントを動作させるためのものである。
随意に、本方法はさらに、第1の面積に対するユーザの1本以上の指間の異なる個別の空間関係に基づいて、フィードバックコンポーネントを動作させ、異なる個別のタイプのフィードバックを生成するための異なる制御信号を生成するステップを含む。
随意に、異なるタイプのフィードバックは、第1の振幅を伴う、第1の触覚的インパルスと、第1の振幅と異なる第2の振幅を伴う、第2の触覚的インパルスとを含む。
随意に、異なるタイプのフィードバックは、第1の触覚的インパルスの数と、第1の数と異なる第2の触覚的インパルスの数とを含む。
随意に、異なるタイプのフィードバックは、第1の周波数を伴う、第1の一連の触覚的インパルスと、第1の周波数と異なる第2の周波数を伴う、第2の一連の触覚的インパルスとを含む。
随意に、異なる個別の空間関係は、(1)ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)割り当てられた第1の面積内の基準場所との間の異なる距離を含む。
随意に、基準場所は、割り当てられた第1の面積の中心を含む。
随意に、異なる距離は、閾値を超える。
随意に、異なる個別の空間関係は、1本以上の指のうちの1本、または2本の指間の点が、割り当てられた第1の面積の境界からの異なる個別の距離に到達することを含む。
随意に、割り当てられた第1の面積は、第1の境界と、第2の境界とを有し、異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、フィードバックコンポーネントは、ユーザの1本以上の指が、第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、第1のタイプのフィードバックを生成するように動作され、フィードバックコンポーネントは、ユーザの1本以上の指が、第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、第2のタイプのフィードバックを生成するように動作される。
随意に、第1の境界は、割り当てられた第1の面積の左または右境界を含み、第2の境界は、上または下境界を含む。
随意に、フィードバックコンポーネントを動作させるための制御信号は、スワイプ方向に基づく。
随意に、本方法はさらに、画面の割り当てられた第1の面積上でユーザによって実施されるピンチまたはピンチ解除アクションと関連付けられる、入力信号を受信するステップを含む。
随意に、電子信号は、ピンチまたはピンチ解除アクションと関連付けられる入力信号に応答して、画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるためのものである。
随意に、本方法はさらに、装置の配向を配向センサから取得するステップを含み、電子信号は、ピンチまたはピンチ解除アクションと関連付けられる入力信号および装置の配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、コンテンツは、ピンチまたはピンチ解除アクションが、装置が第1の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第1の平面において収縮または拡張させることによって変化され、コンテンツは、ピンチまたはピンチ解除アクションが、装置が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第2の平面において収縮または拡張させることによって変化され、第2の平面は、第1の平面と異なる。
随意に、装置は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、装置は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、第1の平面は、第2の平面と垂直である。
随意に、本方法はさらに、画面の割り当てられた第1の面積上でユーザによって実施されるスワイプアクションと関連付けられる、入力信号を受信するステップを含む。
随意に、電子信号は、感知されたスワイプアクションに応答して、画像ディスプレイデバイスによって表示されるコンテンツを移動させるためのものである。
随意に、本方法はさらに、装置の配向を配向センサから取得するステップを含み、電子信号は、スワイプアクションと関連付けられる入力信号および装置の配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、コンテンツは、スワイプアクションが、装置が第1の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第1の平面において移動させることによって変化され、コンテンツは、スワイプアクションが、装置が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第2の平面において移動させることによって変化され、第2の平面は、第1の平面と異なる。
随意に、装置は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、装置は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、第1の平面は、第2の平面と垂直である。
随意に、コンテンツは、仮想3次元環境内にあって、電子信号は、スワイプアクションが、装置の配向が水平平面と略平行である間、割り当てられた第1の面積によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツをユーザのより近くまたはそこからより遠くに移動させるためのものである。
随意に、コンテンツは、仮想3次元環境内にあって、電子信号は、スワイプアクションが、装置の配向が水平平面と略垂直である間、割り当てられた第1の面積によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツを3次元環境内の垂直平面において移動させるためのものである。
随意に、本方法はさらに、装置の感知された配向を示すセンサ入力を取得するステップを含み、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを1つ以上の方向に拡張させることによって、コンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを回転させることによって、コンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるためのものである。
随意に、本方法はさらに、装置の感知された移動を示すセンサ入力を取得するステップを含み、電子信号は、装置の感知された移動を示すセンサ入力に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された移動を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるためのものである。
随意に、装置は、ハンドヘルド装置である。
随意に、ハンドヘルド装置は、携帯電話、スマートフォン、携帯情報端末(PDA)、またはタブレットを含む。
随意に、画面の割り当てられた第1の面積は、画面の割り当てられた第1の面積がユーザの指アクションを感知している間、オブジェクトを表示させない。
随意に、本方法はさらに、画面を動作させ、ドットのグリッドを画面の割り当てられた第1の面積内に表示するステップを含む。
随意に、本方法はさらに、ユーザが、ドットのうちの1つ以上のものが表示されている、画面の割り当てられた第1の面積の一部にタッチすることに応答して、ドットのうちの1つ以上のものの特徴を変化させるステップを含む。
随意に、本方法はさらに、画面の第2の面積を第1のボタンとして割り当てるステップを含む。
随意に、第1のボタンは、「ホーム」ボタンである。
随意に、本方法はさらに、画面の第3の面積を第2のボタンとして割り当てるステップを含む。
随意に、第2のボタンは、「トグル」ボタンである。
随意に、本方法はさらに、画面の第4の面積を第3のボタンとして割り当てるステップを含む。
随意に、第3のボタンは、「バンパ」ボタンである。
随意に、本方法はさらに、画面の第2の面積をキーボードアクティブ化ボタンとして割り当てるステップと、ユーザが画面の割り当てられた第2の面積にタッチすることに応答して、画面を動作させ、キーボードを表示するステップとを含む。
随意に、本方法はさらに、画像ディスプレイデバイスと無線で通信するステップを含む。
随意に、本方法はさらに、ケーブルを介して、画像ディスプレイデバイスと通信するステップを含む。
随意に、装置は、命令を記憶する非一過性媒体を含み、画面の第1の面積をユーザの指アクションを感知するために割り当てる行為は、命令に基づいて実施される。
随意に、コンテンツの変化は、コンテンツのサイズの変化、コンテンツの位置の変化、コンテンツの形状の変化、コンテンツの色の変化、コンテンツ内の情報の置換、コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む。
製品は、命令のセットを記憶する非一過性媒体を含み、その実行は、装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てるステップであって、画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、装置は、画像ディスプレイデバイスと異なる、ステップと、装置の画面の割り当てられた第1の面積によって感知されるユーザの指アクションに基づいて、画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するステップとを含む、方法を実施させるであろう。
随意に、画面は、タッチセンサ式領域を有し、割り当てられた第1の面積は、タッチセンサ式領域の総面積未満である。
随意に、割り当てられた第1の面積は、画像ディスプレイデバイスの画面の形状と対応する、形状を有する。
随意に、割り当てられた第1の面積は、装置のブランドおよび/またはモデルに基づく寸法を有する。
随意に、割り当てられた第1の面積は、装置の特徴および画像ディスプレイデバイスの特徴に基づく寸法を有する。
随意に、本方法はさらに、割り当てられた第1の面積の一部ではない、かつ割り当てられたボタンの一部ではない、タッチセンサ式領域の一部を使用してユーザによって生成された入力を無視するステップを含む。
随意に、本方法はさらに、ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるための制御信号を生成するステップを含む。
随意に、第1の面積は、境界を有し、ユーザの指アクションは、ユーザの指が、境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む。
随意に、第1の面積は、基準場所を少なくとも部分的に囲繞する、1つ以上の境界を有し、制御信号は、ユーザの指が基準場所から事前に規定された距離に到達することに応答して、フィードバックコンポーネントを動作させるためのものである。
随意に、本方法はさらに、第1の面積に対するユーザの1本以上の指間の異なる個別の空間関係に基づいて、フィードバックコンポーネントを動作させ、異なる個別のタイプのフィードバックを生成するための異なる制御信号を生成するステップを含む。
随意に、異なるタイプのフィードバックは、第1の振幅を伴う、第1の触覚的インパルスと、第1の振幅と異なる第2の振幅を伴う、第2の触覚的インパルスとを含む。
随意に、異なるタイプのフィードバックは、第1の触覚的インパルスの数と、第1の数と異なる第2の触覚的インパルスの数とを含む。
随意に、異なるタイプのフィードバックは、第1の周波数を伴う、第1の一連の触覚的インパルスと、第1の周波数と異なる第2の周波数を伴う、第2の一連の触覚的インパルスとを含む。
随意に、異なる個別の空間関係は、(1)ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)割り当てられた第1の面積内の基準場所との間の異なる距離を含む。
随意に、基準場所は、割り当てられた第1の面積の中心を含む。
随意に、異なる距離は、閾値を超える。
随意に、異なる個別の空間関係は、1本以上の指のうちの1本、または2本の指間の点が、割り当てられた第1の面積の境界からの異なる個別の距離に到達することを含む。
随意に、割り当てられた第1の面積は、第1の境界と、第2の境界とを有し、異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、フィードバックコンポーネントは、ユーザの1本以上の指が、第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、第1のタイプのフィードバックを生成するように動作され、フィードバックコンポーネントは、ユーザの1本以上の指が、第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、第2のタイプのフィードバックを生成するように動作される。
随意に、第1の境界は、割り当てられた第1の面積の左または右境界を含み、第2の境界は、上または下境界を含む。
随意に、フィードバックコンポーネントを動作させるための制御信号は、スワイプ方向に基づく。
随意に、本方法はさらに、画面の割り当てられた第1の面積上でユーザによって実施されるピンチまたはピンチ解除アクションと関連付けられる、入力信号を受信するステップを含む。
随意に、電子信号は、ピンチまたはピンチ解除アクションと関連付けられる入力信号に応答して、画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるためのものである。
随意に、本方法はさらに、装置の配向を配向センサから取得するステップを含み、電子信号は、ピンチまたはピンチ解除アクションと関連付けられる入力信号および装置の配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、コンテンツは、ピンチまたはピンチ解除アクションが、装置が第1の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第1の平面において収縮または拡張させることによって変化され、コンテンツは、ピンチまたはピンチ解除アクションが、装置が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第2の平面において収縮または拡張させることによって変化され、第2の平面は、第1の平面と異なる。
随意に、装置は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、装置は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、第1の平面は、第2の平面と垂直である。
随意に、本方法はさらに、画面の割り当てられた第1の面積上でユーザによって実施されるスワイプアクションと関連付けられる、入力信号を受信するステップを含む。
随意に、電子信号は、感知されたスワイプアクションに応答して、画像ディスプレイデバイスによって表示されるコンテンツを移動させるためのものである。
随意に、本方法はさらに、装置の配向を配向センサから取得するステップを含み、電子信号は、スワイプアクションと関連付けられる入力信号および装置の配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、コンテンツは、スワイプアクションが、装置が第1の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第1の平面において移動させることによって変化され、コンテンツは、スワイプアクションが、装置が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを第2の平面において移動させることによって変化され、第2の平面は、第1の平面と異なる。
随意に、装置は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、装置は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、第1の平面は、第2の平面と垂直である。
随意に、コンテンツは、仮想3次元環境内にあって、電子信号は、スワイプアクションが、装置の配向が水平平面と略平行である間、割り当てられた第1の面積によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツをユーザのより近くまたはそこからより遠くに移動させるためのものである。
随意に、コンテンツは、仮想3次元環境内にあって、電子信号は、スワイプアクションが、装置の配向が水平平面と略垂直である間、割り当てられた第1の面積によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツを3次元環境内の垂直平面において移動させるためのものである。
随意に、本方法はさらに、装置の感知された配向を示すセンサ入力を取得するステップを含み、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを1つ以上の方向に拡張させることによって、コンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを回転させることによって、コンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるためのものである。
随意に、本方法はさらに、装置の感知された移動を示すセンサ入力を取得するステップを含み、電子信号は、装置の感知された移動を示すセンサ入力に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるためのものである。
随意に、電子信号は、装置の感知された移動を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるためのものである。
随意に、装置は、ハンドヘルド装置である。
随意に、ハンドヘルド装置は、携帯電話、スマートフォン、携帯情報端末(PDA)、またはタブレットを含む。
随意に、画面の割り当てられた第1の面積は、画面の割り当てられた第1の面積がユーザの指アクションを感知している間、オブジェクトを表示させない。
随意に、本方法はさらに、画面を動作させ、ドットのグリッドを画面の割り当てられた第1の面積内に表示するステップを含む。
随意に、本方法はさらに、ユーザが、ドットのうちの1つ以上のものが表示されている、画面の割り当てられた第1の面積の一部にタッチすることに応答して、ドットのうちの1つ以上のものの特徴を変化させるステップを含む。
随意に、本方法はさらに、画面の第2の面積を第1のボタンとして割り当てるステップを含む。
随意に、第1のボタンは、「ホーム」ボタンである。
随意に、本方法はさらに、画面の第3の面積を第2のボタンとして割り当てるステップを含む。
随意に、第2のボタンは、「トグル」ボタンである。
随意に、本方法はさらに、画面の第4の面積を第3のボタンとして割り当てるステップを含む。
随意に、第3のボタンは、「バンパ」ボタンである。
随意に、本方法はさらに、画面の第2の面積をキーボードアクティブ化ボタンとして割り当てるステップと、ユーザが画面の割り当てられた第2の面積にタッチすることに応答して、画面を動作させ、キーボードを表示するステップとを含む。
随意に、本方法はさらに、画像ディスプレイデバイスと無線で通信するステップを含む。
随意に、本方法はさらに、ケーブルを介して、画像ディスプレイデバイスと通信するステップを含む。
随意に、製品は、画面の第1の面積をユーザの指アクションを感知するために割り当てるための命令を含む。
随意に、コンテンツの変化は、コンテンツのサイズの変化、コンテンツの位置の変化、コンテンツの形状の変化、コンテンツの色の変化、コンテンツ内の情報の置換、コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む。
コンピューティングデバイスは、近接度感知ディスプレイと、近接度感知ディスプレイに動作可能に結合され、ウェアラブルコンピューティングシステムに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、ウェアラブルコンピューティングシステムから、近接度感知ディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを示すデータを受信し、近接度感知ディスプレイのユーザの可視性の変化に関して、ウェアラブルコンピューティングシステムから受信されたデータを監視し、近接度感知ディスプレイのユーザの可視性の変化の検出に応答して、(i)1つ以上のプロセッサが、第1の負荷がコンピューティングデバイスの電力供給源にかけられるように、近接度感知ディスプレイを動作させるように構成される、第1の提示モードと、(ii)第2の負荷がコンピューティングデバイスの電力供給源にかけられるように、1つ以上のプロセッサが、近接度感知ディスプレイを動作させるように構成される、第2の提示モードとの間で切り替えるように構成され、第2の負荷は、第1の負荷未満である。
随意に、第1の提示モードは、1つ以上のプロセッサが、グラフィカルユーザインターフェースを近接度感知ディスプレイ上に提示するように構成されるものである。
随意に、第2の提示モードは、1つ以上のプロセッサが、限定されたバージョンのグラフィカルユーザインターフェースを近接度感知ディスプレイ上に提示するように構成されるものである。
随意に、第1の提示モードは、1つ以上のプロセッサが、コンテンツが第1の明度のレベルで提示されるように、近接度感知ディスプレイを動作させるように構成されるものであって、第2の提示モードは、1つ以上のプロセッサが、コンテンツが第1の明度のレベルより低い第2の明度のレベルで提示されるように、近接度感知ディスプレイを動作させるように構成されるものである。
随意に、コンピューティングデバイスは、本明細書に説明されるコンピューティングデバイスおよび/または装置のうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、コンピューティングデバイスは、すぐ下に説明される方法の一方または両方に説明される、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、ウェアラブルコンピューティングシステムから、近接度感知ディスプレイが、第1の時点において、ウェアラブルコンピューティングシステムのユーザに可視であるかどうかを示す、第1のデータのセットを受信するステップと、ウェアラブルコンピューティングシステムから、近接度感知ディスプレイが、第2の後の時点において、ウェアラブルコンピューティングシステムのユーザに可視であるかどうかを示す、第2のデータのセットを受信するステップと、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、近接度感知ディスプレイのユーザの可視性の変化が生じたことを決定するステップと、近接度感知ディスプレイのユーザの可視性の変化が生じたことの決定に応答して、(i)グラフィカルユーザインターフェースが近接度感知ディスプレイ上に提示される、第1の提示モードと、(ii)近接度感知ディスプレイが第1の提示モードより少ない電力を消費する、第2の提示モードとの間で切り替えるステップとを含む。
随意に、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、近接度感知ディスプレイのユーザの可視性の変化が生じたことを決定するステップは、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、ユーザが近接度感知ディスプレイの可視性を喪失したことを決定するステップを含む。
随意に、ユーザが近接度感知ディスプレイの可視性を喪失したことの決定に応答して、本方法は、第1の提示モードから第2の提示モードに切り替えるステップを含む。
随意に、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、近接度感知ディスプレイのユーザの可視性の変化が生じたことを決定するステップは、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、ユーザが近接度感知ディスプレイの可視性を回復したことを決定するステップを含む。
随意に、ユーザが近接度感知ディスプレイの可視性を喪失したことの決定に応答して、本方法は、第2の提示モードから第1の提示モードに切り替えるステップを含む。
随意に、本方法は、すぐ上で説明されたコンピューティングデバイスおよび/またはすぐ下で説明されるコンピューティングデバイスによって実施されてもよい。
コンピューティングデバイスは、近接度感知ディスプレイと、フィードバックコンポーネントと、近接度感知ディスプレイおよびフィードバックコンポーネントに動作可能に結合され、ウェアラブルコンピューティングシステムに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、ウェアラブルコンピューティングシステムから、近接度感知ディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを示すデータを受信し、近接度感知ディスプレイのユーザの可視性の変化に関して、ウェアラブルコンピューティングシステムから受信されたデータを監視し、近接度感知ディスプレイのユーザの可視性の変化の検出に応答して、(i)1つ以上のプロセッサが、ユーザインターフェースを近接度感知ディスプレイ上に提示するように構成される、第1のモードと、(ii)1つ以上のプロセッサが、フィードバックコンポーネントの使用を通して、ユーザインターフェースの1つ以上の部分をユーザに伝達するように構成される、第2のモードとの間で切り替えるように構成される。
随意に、フィードバックコンポーネントは、触覚的アクチュエータである。
随意に、フィードバックコンポーネントは、スピーカである。
随意に、ユーザインターフェースは、ウェアラブルコンピューティングシステムの1つ以上の機能を制御するためのグラフィカルユーザインターフェースである。
随意に、グラフィカルユーザインターフェースは、複数のグラフィカル制御要素を含む。
随意に、第2のモードは、1つ以上のプロセッサが、複数のグラフィカル制御要素のうちの1つ以上のものを近接度感知ディスプレイ上に提示することを控えるように構成されるものである。
随意に、第2のモードは、1つ以上のプロセッサが、限定されたバージョンのグラフィカルユーザインターフェースを近接度感知ディスプレイ上に提示するように構成されるものである。
随意に、近接度感知ディスプレイ上の限定されたバージョンのグラフィカルユーザインターフェースは、複数のグラフィカル制御要素のうちの1つ以上のものが、示されないもの、複数のグラフィカル制御要素のうちの1つ以上のものの明度レベルが、低減されるもの、またはそれらの組み合わせである。
随意に、第2のモードは、1つ以上のプロセッサが、複数のグラフィカル制御要素のうちの1つ以上のものが第1のモードで提示される、近接度感知ディスプレイ上の1つ以上の場所を伝達するように構成されるものである。
随意に、第2のモードで伝達される、近接度感知ディスプレイ上の1つ以上の場所は、第1のモードで提示される際の複数のグラフィカル制御要素の1つ以上の外側境界に対応する。
随意に、複数のグラフィカル制御要素は、ウェアラブルコンピューティングシステムと関連付けられる、専用入力コントローラの複数の物理的ユーザ入力コンポーネントに対応する。
随意に、コンピューティングデバイスは、本明細書に説明されるコンピューティングデバイスおよび/または装置のうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、コンピューティングデバイスは、すぐ上で説明された方法および/またはすぐ下で説明される方法に説明される、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、ウェアラブルコンピューティングシステムから、近接度感知ディスプレイが、第1の時点において、ウェアラブルコンピューティングシステムのユーザに可視であるかどうかを示す、第1のデータのセットを受信するステップと、ウェアラブルコンピューティングシステムから、近接度感知ディスプレイが、第2の後の時点において、ウェアラブルコンピューティングシステムのユーザに可視であるかどうかを示す、第2のデータのセットを受信するステップと、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、近接度感知ディスプレイのユーザの可視性の変化が生じたことを決定するステップと、近接度感知ディスプレイのユーザの可視性の変化が生じたことの決定に応答して、(i)ユーザインターフェースが近接度感知ディスプレイ上に提示される、第1のモードと、(ii)ユーザインターフェースの1つ以上の部分が、フィードバックコンポーネントの使用を通して、ウェアラブルコンピューティングシステムのユーザに伝達される、第2のモードとの間で切り替えるステップとを含む。
随意に、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、近接度感知ディスプレイのユーザの可視性の変化が生じたことを決定するステップは、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、ユーザが近接度感知ディスプレイの可視性を喪失したことを決定するステップを含む。
随意に、ユーザが近接度感知ディスプレイの可視性を喪失したことの決定に応答して、本方法は、第1のモードから第2のモードに切り替えるステップを含む。
随意に、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、近接度感知ディスプレイのユーザの可視性の変化が生じたことを決定するステップは、第1および第2のデータのセットをウェアラブルコンピューティングシステムから受信することに基づいて、ユーザが近接度感知ディスプレイの可視性を回復したことを決定するステップを含む。
随意に、ユーザが近接度感知ディスプレイの可視性を喪失したことの決定に応答して、本方法は、第2のモードから第1のモードに切り替えるステップを含む。
随意に、本方法は、すぐ上で説明されたコンピューティングデバイスの一方または両方によって実施されてもよい。
ウェアラブルコンピューティングシステムは、ユーザの頭部上に装着されるように構成される、頭部搭載型ディスプレイと、頭部搭載型ディスプレイの環境を監視するように構成される、1つ以上の感知デバイスと、頭部搭載型ディスプレイおよび1つ以上の感知デバイスに動作可能に結合され、コンピューティングデバイスに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、1つ以上の感知デバイスから取得されるデータを使用して、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを決定し、少なくとも部分的に、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であると決定されるかどうかに基づいて、1つ以上のメッセージを生成し、1つ以上のメッセージをコンピューティングデバイスに伝送するように構成される。
随意に、1つ以上の感知デバイスは、1つ以上のカメラを含む。
随意に、1つ以上のカメラは、ウェアラブルコンピューティングシステムのユーザの環境の画像を捕捉するように構成される、1つ以上の前向きに面したカメラを含む。
随意に、1つ以上のカメラは、ユーザの眼の一方または両方、ユーザの頭部または顔の1つ以上の部分、またはそれらの組み合わせの画像を捕捉するように構成される、1つ以上の内向きに面したカメラを含む。
随意に、1つ以上の感知デバイスは、1つ以上の近接度センサを含む。
随意に、ウェアラブルコンピューティングシステムは、本明細書に説明されるウェアラブルコンピューティングシステム、ウェアラブルディスプレイシステム、および/または画像ディスプレイデバイスのうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、ウェアラブルコンピューティングシステムは、すぐ下で説明される方法における、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから取得するステップと、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから受信することに基づいて、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを決定するステップと、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であると決定されるかどうかに基づいて、1つ以上のメッセージを生成するステップと、1つ以上のメッセージをコンピューティングデバイスに伝送するステップとを含む。
随意に、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから取得するステップは、データをウェアラブルコンピューティングシステムのユーザの環境の画像を捕捉するように構成される1つ以上の前向きに面したカメラから取得するステップを含む。
随意に、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから受信することに基づいて、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを決定するステップは、コンピューティングデバイスのディスプレイが1つ以上の前向きに面したカメラによって捕捉された1つ以上の画像に示されるかどうかを決定するステップを含む。
随意に、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから取得するステップは、データを、ユーザの眼の一方または両方、ユーザの頭部または顔の1つ以上の部分、またはそれらの組み合わせの画像を捕捉するように構成される、1つ以上の内向きに面したカメラから取得するステップを含む。
随意に、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから受信することに基づいて、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを決定するステップは、1つ以上の内向きに面したカメラによって捕捉された1つ以上の画像に基づいて、ウェアラブルコンピューティングシステムがユーザの頭部上にユーザによって装着されているかどうかを決定するステップを含む。
随意に、1つ以上の内向きに面したカメラによって捕捉された1つ以上の画像に基づいて、ウェアラブルコンピューティングシステムがユーザの頭部上にユーザによって装着されているかどうかを決定するステップは、ユーザが1つ以上の内向きに面したカメラによって捕捉された1つ以上の画像に示されるかどうかを決定するステップを含む。
随意に、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから取得するステップは、データを1つ以上の近接度センサから取得するステップを含む。
随意に、データをウェアラブルコンピューティングシステムの1つ以上の感知デバイスから受信することに基づいて、コンピューティングデバイスのディスプレイがウェアラブルコンピューティングシステムのユーザに可視であるかどうかを決定するステップは、1つ以上の近接度センサから受信されたデータが、ウェアラブルコンピューティングシステムがユーザの頭部上にユーザによって装着されていることを示すかどうかを決定するステップを含む。
随意に、本方法は、すぐ上で説明されたウェアラブルコンピューティングシステムによって実施されてもよい。
コンピューティングデバイスは、近接度感知ディスプレイと、フィードバックコンポーネントと、近接度感知ディスプレイおよびフィードバックコンポーネントに動作可能に結合され、ウェアラブルコンピューティングシステムに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、近接度感知ディスプレイ上の第1の場所で受信された第1のタッチ入力を示すデータを受信し、第1のタッチ入力のすぐ後に、近接度感知ディスプレイ上の第2の場所で受信された第2のタッチ入力を示すデータを受信し、第1および第2の場所がそれぞれ近接度感知ディスプレイの特定の領域内に該当するかどうかを決定し、第1および第2の場所の一方または両方が近接度感知ディスプレイの特定の領域内に該当することの決定に応答して、少なくとも部分的に、第1および第2のタッチ入力の一方または両方に基づいて、1つ以上のメッセージを生成し、少なくとも部分的に、第1および第2のタッチ入力の一方または両方に基づいて生成された、1つ以上のメッセージを、ウェアラブルコンピューティングシステムに伝送し、(i)第1の場所が近接度感知ディスプレイの特定の領域内に該当することの決定と、(ii)第2の場所が近接度感知ディスプレイの特定の領域外に該当することの決定とに応答して、フィードバックコンポーネントにフィードバックを生成させるように構成される。
随意に、近接度感知ディスプレイの特定の領域は、特定の制御要素と関連付けられる。
随意に、特定の制御要素は、グラフィカル制御要素であって、および1つ以上のプロセッサはさらに、特定の制御要素を特定の領域と一致する近接度感知ディスプレイ上の場所に表示するように構成される。
随意に、フィードバックコンポーネントは、触覚的アクチュエータである。
随意に、フィードバックコンポーネントは、スピーカである。
随意に、コンピューティングデバイスは、本明細書に説明されるコンピューティングデバイスおよび/または装置のうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、コンピューティングデバイスは、すぐ下で説明される方法における、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、近接度感知ディスプレイ上の第1の場所で受信された第1のタッチ入力を示すデータを受信するステップと、第1のタッチ入力のすぐ後に、近接度感知ディスプレイ上の第2の場所で受信された第2のタッチ入力を示すデータを受信するステップと、第1および第2の場所がそれぞれ近接度感知ディスプレイの特定の領域内に該当するかどうかを決定するステップと、第1および第2の場所の一方または両方が近接度感知ディスプレイの特定の領域内に該当することの決定に応答して、少なくとも部分的に、第1および第2のタッチ入力の一方または両方に基づいて、1つ以上のメッセージを生成するステップと、少なくとも部分的に、第1および第2のタッチ入力の一方または両方に基づいて生成された、1つ以上のメッセージを、ウェアラブルコンピューティングシステムに伝送するステップと、(i)第1の場所が近接度感知ディスプレイの特定の領域内に該当することを決定するステップと、(ii)第2の場所が近接度感知ディスプレイの特定の領域外に該当することを決定するステップとに応答して、フィードバックコンポーネントを通した出力のためのフィードバックを提供するステップとを含む。
随意に、本方法は、すぐ上で説明されたコンピューティングデバイスによって実施されてもよい。
コンピューティングデバイスは、近接度感知ディスプレイと、コンピューティングデバイスの配向を感知するように構成される、配向センサと、近接度感知ディスプレイおよび配向センサに動作可能に結合され、ウェアラブルコンピューティングシステムに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、複数の異なる所定のジェスチャのうちの任意の1つに対応する、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスを監視し、複数の異なる所定のジェスチャのうちの任意の1つの検出に応答して、それぞれ、複数の異なる所定のジェスチャと関連付けられる、複数の異なるタイプの変換の中から、検出されたジェスチャと関連付けられる、特定のタイプの変換を選択し、複数の異なる軸の中から、配向センサから取得されるデータに基づいて、特定の軸を選択し、特定の軸に対して特定のタイプの変換を仮想オブジェクトに適用するためのコマンドを生成し、コマンドをウェアラブルコンピューティングシステムに伝送するように構成される。随意に、コンピューティングデバイスは、本明細書に説明されるコンピューティングデバイスおよび/または装置のうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、コンピューティングデバイスは、すぐ下で説明される方法における、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、コンピューティングデバイスの配向を示すデータを取得するステップと、コンピューティングデバイスの近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスを示すデータを受信するステップと、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが特定のジェスチャに対応することを決定するステップと、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが特定のジェスチャに対応することの決定に応答して、それぞれ、複数の異なる所定のジェスチャと関連付けられる、複数の異なるタイプの変換の中から、特定のジェスチャと関連付けられる、特定のタイプの変換を選択するステップと、複数の異なる軸の中から、デバイスの配向に基づいて、特定の軸を選択するステップと、特定の軸に対して特定のタイプの変換を仮想オブジェクトに適用するためのコマンドを生成するステップとを含む。
随意に、複数の異なるタイプの変換は、回転、平行移動、およびサイズ変更のうちの1つ以上のものを含む。
随意に、本方法は、すぐ上で説明されたコンピューティングデバイスによって実施されてもよい。
コンピューティングデバイスは、近接度感知ディスプレイと、近接度感知ディスプレイに動作可能に結合され、ウェアラブルディスプレイシステムに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、特定のコンテンツの断片を近接度感知ディスプレイ上に提示し、近接度感知ディスプレイ上での特定のコンテンツの断片の提示の間、複数の異なる所定のジェスチャのうちの任意の1つに対応する、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスを監視し、近接度感知ディスプレイ上での特定のコンテンツの断片の提示の間の複数の異なる所定のジェスチャのうちの任意の1つの検出に応答して、特定のコンテンツの断片の提示がウェアラブルディスプレイシステムにハンドオフされるべきであることを示す、1つ以上のメッセージを生成し、1つ以上のメッセージをウェアラブルディスプレイシステムに伝送し、近接度感知ディスプレイ上での特定のコンテンツの断片の提示を中断するように構成される。
随意に、コンピューティングデバイスは、本明細書に説明されるコンピューティングデバイスおよび/または装置のうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、コンピューティングデバイスは、すぐ下で説明される方法における、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、特定のコンテンツの断片を近接度感知ディスプレイ上に提示するステップと、特定のコンテンツの断片を近接度感知ディスプレイ上に提示する間、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスを示すデータを受信するステップと、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが特定のジェスチャに対応することを決定するステップと、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが特定のジェスチャに対応することの決定に応答して、特定のコンテンツの断片の提示がウェアラブルディスプレイシステムにハンドオフされるべきであることを示す、1つ以上のメッセージを生成するステップと、1つ以上のメッセージをウェアラブルディスプレイシステムに伝送するステップと、近接度感知ディスプレイ上での特定のコンテンツの断片の提示を中断するステップとを含む。
随意に、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが特定のジェスチャに対応することを決定するステップは、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが、ユーザが、その指のうちの1本以上のものを、特定のコンテンツの断片と関連付けられる近接度感知ディスプレイ上の場所から、近接度感知ディスプレイの縁までドラッグした、ジェスチャに対応することを決定するステップを含む。
随意に、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが特定のジェスチャに対応することを決定するステップは、近接度感知ディスプレイを通して受信されたタッチ入力のシーケンスが、ユーザが、特定のコンテンツの断片と関連付けられる近接度感知ディスプレイ上の特定の場所において、その指のうちの2本以上のものをともにピンチし、続いて、その2本以上のともにピンチされた指を特定の場所から離れるように移動させた、ジェスチャに対応することを決定するステップを含む。
随意に、ユーザが、特定のコンテンツの断片と関連付けられる近接度感知ディスプレイ上の特定の場所において、その指のうちの2本以上のものをともにピンチし、続いて、その2本以上のともにピンチされた指を特定の場所から離れるように移動させた、ジェスチャは、ユーザが、特定のコンテンツの断片と関連付けられる近接度感知ディスプレイ上の特定の場所において、その指のうちの2本以上のものをともにピンチし、続いて、その2本以上のともにピンチされた指を近接度感知ディスプレイの縁に移動させた、ジェスチャを含む。
随意に、ユーザが、特定のコンテンツの断片と関連付けられる近接度感知ディスプレイ上の特定の場所において、その指のうちの2本以上のものをともにピンチし、続いて、その2本以上のともにピンチされた指を特定の場所から離れるように移動させた、ジェスチャは、ユーザが、特定のコンテンツの断片と関連付けられる近接度感知ディスプレイ上の特定の場所において、その指のうちの2本以上のものをともにピンチし、続いて、その2本以上のともにピンチされた指を近接度感知ディスプレイから持ち上げた、ジェスチャを含む。
随意に、特定のコンテンツの断片を近接度感知ディスプレイ上に提示するステップは、特定のコンテンツの断片を含む場面を近接度感知ディスプレイ上に提示するステップを含む。
随意に、近接度感知ディスプレイ上での特定のコンテンツの断片の提示を中断するステップは、特定のコンテンツの断片を場面から外に移動させるステップを含む。
随意に、本方法はさらに、特定のコンテンツの断片を近接度感知ディスプレイ上に提示する間、特定のコンテンツの断片に関する識別情報を生成するステップと、特定のコンテンツの断片に関する識別情報をウェアラブルディスプレイシステムに伝送するステップとを含む。
随意に、本方法はさらに、特定のコンテンツの断片を近接度感知ディスプレイ上に提示する間、近接度感知ディスプレイに対する特定のコンテンツの断片の現在の場所を示すデータを生成するステップと、特定のコンテンツの断片の現在の場所を示すデータをウェアラブルディスプレイシステムに伝送するステップとを含む。
随意に、本方法は、すぐ上で説明されたコンピューティングデバイスによって実施されてもよい。
ウェアラブルコンピューティングシステムは、ユーザの頭部上に装着されるように構成される、頭部搭載型ディスプレイと、ユーザの正面の環境の画像を捕捉するように構成される、1つ以上のカメラと、頭部搭載型ディスプレイおよび1つ以上のカメラに動作可能に結合され、コンピューティングデバイスに通信可能に結合される、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、コンピューティングデバイスのディスプレイ上に提示されている、特定のコンテンツの断片を識別し、コンピューティングデバイスから、特定のコンテンツの断片の提示がコンピューティングデバイスのディスプレイから頭部搭載型ディスプレイにハンドオフされるべきであることを示す、1つ以上のメッセージを受信し、コンピューティングデバイスから受信された1つ以上のメッセージに応答して、1つ以上のカメラによって捕捉された1つ以上の画像を使用して、ユーザの正面の環境内の場所を決定し、決定されたユーザの正面の環境内の場所に位置付けられているようにユーザによって知覚されるように、特定のコンテンツの断片を頭部搭載型ディスプレイ上に提示するように構成される。
随意に、ウェアラブルコンピューティングシステムは、本明細書に説明されるウェアラブルコンピューティングシステム、ウェアラブルディスプレイシステム、および/または画像ディスプレイデバイスのうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、ウェアラブルコンピューティングシステムは、すぐ下で説明される方法における、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、コンピューティングデバイスのディスプレイ上に提示されている、特定のコンテンツの断片を識別するステップと、コンピューティングデバイスから、特定のコンテンツの断片の提示がコンピューティングデバイスのディスプレイから頭部搭載型ディスプレイにハンドオフされるべきであることを示す、1つ以上のメッセージを受信するステップと、コンピューティングデバイスから受信された1つ以上のメッセージの受信に応答して、頭部搭載型ディスプレイのユーザの正面の環境の1つ以上の画像を取得するステップと、1つ以上の取得される画像に基づいて、ユーザの正面の環境内の場所を識別するステップと、決定されたユーザの正面の環境内の場所に位置付けられているようにユーザによって知覚されるように、特定のコンテンツの断片を頭部搭載型ディスプレイ上に提示するステップとを含む。
随意に、その上に特定のコンテンツの断片が提示される、コンピューティングデバイスのディスプレイは、2次元画面である。
随意に、ユーザの正面の環境内の決定された場所に位置付けられているようにユーザによって知覚されるように、特定のコンテンツの断片を頭部搭載型ディスプレイ上に提示するステップは、ユーザの正面の環境内の決定された場所に位置付けられているようにユーザによって知覚されるように、特定のコンテンツの断片の3次元表現を頭部搭載型ディスプレイ上に提示するステップを含む。
随意に、本方法はさらに、特定のコンテンツの断片に関する識別情報をコンピューティングデバイスから受信するステップを含む。
随意に、コンピューティングデバイスのディスプレイ上に提示されている、特定のコンテンツの断片を識別するステップは、コンピューティングデバイスから受信された、識別情報に基づいて、コンピューティングデバイスのディスプレイ上に提示されている特定のコンテンツの断片を識別するステップを含む。
随意に、本方法はさらに、特定のコンテンツの断片の現在の場所を示すデータをコンピューティングデバイスから受信するステップを含む。
随意に、特定のコンテンツの断片の現在の場所は、コンピューティングデバイスのディスプレイに対する特定のコンテンツの断片の現在の場所に対応する。
随意に、本方法は、すぐ上で説明されたウェアラブルコンピューティングシステムによって実施されてもよい。
システムは、ウェアラブルコンピューティングシステムと関連付けられる専用入力コントローラのための代用品として動作するように構成される、コンピューティングデバイスを含み、コンピューティングデバイスは、近接度感知ディスプレイと、近接度感知ディスプレイに動作可能に結合され、ウェアラブルコンピューティングシステムに通信可能に結合される、1つ以上のプロセッサであって、複数のグラフィカル制御要素を、それぞれ、近接度感知ディスプレイ上の複数の場所に提示し、複数のグラフィカル制御要素は、それぞれ、専用入力コントローラの複数の物理的ユーザ入力コンポーネントに対応し、近接度感知ディスプレイ上の複数の場所のうちの任意の1つで受信されたタッチ入力を監視し、近接度感知ディスプレイ上の複数の場所のうちの任意の1つで受信されたタッチ入力の検出に応答して、近接度感知ディスプレイ上の複数の場所と関連付けられる複数のグラフィカル制御要素の中から、検出されたタッチ入力が受信された近接度感知ディスプレイ上の複数の場所のうちの特定の1つと関連付けられる、複数のグラフィカル制御要素のうちの特定の1つを識別し、特定のグラフィカル制御要素に基づいて、1つ以上のメッセージを生成し、1つ以上のメッセージをウェアラブルコンピューティングシステムに伝送するように構成される、1つ以上のプロセッサとを含む。
随意に、それに対して複数のグラフィカル制御要素が対応する、専用入力コントローラの複数の物理的ユーザ入力コンポーネントは、「ホーム」ボタン、「トリガ」ボタン、「バンパ」ボタン、およびタッチパッドのうちの1つ以上のものを含む。
随意に、コンピューティングデバイスは、本明細書に説明されるコンピューティングデバイスおよび/または装置のうちの1つ以上のものと同一または類似様式で動作するように構成される。
随意に、コンピューティングデバイスは、すぐ下で説明される方法における、動作のうちの1つ以上のものを実施するように構成される。
コンピュータ実装方法は、コンピューティングデバイスの近接度感知ディスプレイ上での出力のためにコンピューティングデバイス上で起動する、アプリケーションのグラフィカルユーザインターフェースを提供するステップと、グラフィカルユーザインターフェースを通して、それぞれ、ウェアラブルコンピューティングシステムと関連付けられる、専用入力コントローラの複数の物理的ユーザ入力コンポーネントに対応する、複数のグラフィカル制御要素を提示するステップと、近接度感知ディスプレイ上の特定の場所で受信されたタッチ入力を示すデータを受信するステップと、タッチ入力が受信された特定の場所が複数のグラフィカル制御要素のうちの特定の1つと関連付けられることを決定するステップと、タッチ入力が受信された特定の場所が特定のグラフィカル制御要素と関連付けられることの決定に応答して、特定のグラフィカル制御要素に基づいて、1つ以上のメッセージを生成するステップと、1つ以上のメッセージをウェアラブルコンピューティングシステムに伝送するステップとを含む。
随意に、本方法は、すぐ上で説明されたコンピューティングデバイスによって実施されてもよい。
本開示の付加的および他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
本明細書は、例えば、以下の項目も提供する。
(項目1)
ユーザによって頭部装着されるために構成される画像ディスプレイデバイスと併用するための装置であって、前記装置は、
画面と、
前記画面の第1の面積を前記ユーザの指アクションを感知するために割り当てるために構成される処理ユニットと
を備え、
前記処理ユニットは、前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するように構成される、装置。
(項目2)
前記画面は、タッチセンサ式領域を有し、前記割り当てられた第1の面積は、前記タッチセンサ式領域の総面積未満である、項目1に記載の装置。
(項目3)
前記処理ユニットはまた、前記ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるように構成される、項目1に記載の装置。
(項目4)
前記第1の面積は、境界を有し、前記ユーザの指アクションは、前記ユーザの指が、前記境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む、項目3に記載の装置。
(項目5)
前記処理ユニットは、前記第1の面積に対する前記ユーザの1本以上の指間の異なる個別の空間関係に基づいて、前記フィードバックコンポーネントを動作させ、異なるタイプのフィードバックを生成するように構成される、項目3に記載の装置。
(項目6)
前記異なる個別の空間関係は、(1)前記ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)前記割り当てられた第1の面積内の基準場所との間の異なる距離を含む、項目5に記載の装置。
(項目7)
前記異なる個別の空間関係は、前記1本以上の指のうちの1本、または2本の指間の点が、前記割り当てられた第1の面積の境界からの異なる個別の距離に到達することを含む、項目5に記載の装置。
(項目8)
前記割り当てられた第1の面積は、第1の境界と、第2の境界とを有し、
前記異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、
前記処理ユニットは、前記ユーザの1本以上の指が、前記第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、前記フィードバックコンポーネントを動作させ、前記第1のタイプのフィードバックを生成するように構成され、
前記処理ユニットは、前記ユーザの1本以上の指が、前記第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、前記フィードバックコンポーネントを動作させ、前記第2のタイプのフィードバックを生成するように構成される、
項目5に記載の装置。
(項目9)
前記処理ユニットは、前記画面の割り当てられた第1の面積上で実施されるピンチまたはピンチ解除アクションと関連付けられる入力信号を取得するように構成され、
前記処理ユニットは、前記ピンチまたはピンチ解除アクションと関連付けられる入力信号に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるための電子信号を生成するように構成される、
項目1に記載の装置。
(項目10)
前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットはまた、前記ピンチまたはピンチ解除アクションと関連付けられる入力信号および前記装置の感知された配向に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、項目9に記載の装置。
(項目11)
前記処理ユニットは、前記ピンチまたはピンチ解除アクションが、前記装置が第1の配向にある間、前記装置によって感知される場合、前記コンテンツを第1の平面において収縮または拡張させるための電子信号を生成するように構成され、
前記処理ユニットは、前記ピンチまたはピンチ解除アクションが、前記装置が前記第1の配向と異なる第2の配向にある間、前記装置によって感知される場合、前記コンテンツを第2の平面において収縮または拡張させるための電子信号を生成するように構成され、前記第2の平面は、前記第1の平面と異なる、
項目10に記載の装置。
(項目12)
前記装置は、前記装置の長軸が、水平平面と、45°未満の角度を形成するとき、前記第1の配向を有し、
前記装置は、前記装置の長軸が、垂直平面と、45°未満の角度を形成するとき、前記第2の配向を有する、
項目11に記載の装置。
(項目13)
前記処理ユニットは、前記画面の割り当てられた第1の面積上で実施されるスワイプアクションと関連付けられる入力信号を取得するように構成される、項目1に記載の装置。(項目14)
前記処理ユニットは、前記スワイプアクションと関連付けられる入力信号に応答して、前記コンテンツを移動させることによって、前記コンテンツを変化させるための電子信号を生成するように構成される、項目13に記載の装置。
(項目15)
前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットは、前記スワイプアクションと関連付けられる入力信号および前記装置の感知された配向に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、項目13に記載の装置。
(項目16)
前記処理ユニットは、前記スワイプアクションが、前記装置が第1の配向にある間、前記装置によって感知される場合、前記コンテンツを第1の平面において移動させるための電子信号を生成するように構成され、
前記処理ユニットは、前記スワイプアクションが、前記装置が前記第1の配向と異なる第2の配向にある間、前記装置によって感知される場合、前記コンテンツを第2の平面において移動させるための電子信号を生成するように構成され、前記第2の平面は、前記第1の平面と異なる、
項目15に記載の装置。
(項目17)
前記装置は、前記装置の長軸が、水平平面と、45°未満の角度を形成するとき、前記第1の配向を有し、
前記装置は、前記装置の長軸が、垂直平面と、45°未満の角度を形成するとき、前記第2の配向を有する、
項目16に記載の装置。
(項目18)
前記コンテンツは、仮想3次元環境内にあり、前記処理ユニットは、前記スワイプアクションが、前記装置の配向が水平平面と略平行である間、前記装置によって感知されるとき、前記コンテンツを前記ユーザのより近くまたはそこからより遠くに移動させることによって、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、項目15に記載の装置。
(項目19)
前記コンテンツは、仮想3次元環境内にあり、前記処理ユニットは、前記スワイプアクションが、前記装置の配向が水平平面と略垂直である間、前記装置によって感知されるとき、前記画像ディスプレイデバイスによって表示されるコンテンツを前記3次元環境内の垂直平面において移動させるための電子信号を生成するように構成される、項目15に記載の装置。
(項目20)
前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットは、前記装置の感知された配向に基づいて、(1)前記コンテンツを1つ以上の方向に拡張させる、(2)前記コンテンツを回転させる、または(3)前記コンテンツを移動させるための前記電子信号を生成するように構成される、項目1に記載の装置。
(項目21)
前記装置は、ハンドヘルド装置である、項目1に記載の装置。
(項目22)
前記処理ユニットはまた、前記画面の第2の面積を第1のボタンとして割り当てるように構成される、項目1に記載の装置。
(項目23)
前記処理ユニットはまた、前記画面の第2の面積をキーボードアクティブ化ボタンとして割り当てるように構成され、前記処理ユニットは、前記ユーザが前記画面の割り当てられた第2の面積にタッチすることに応答して、前記画面を動作させ、キーボードを表示するように構成される、項目1に記載の装置。
(項目24)
前記コンテンツの変化は、前記コンテンツのサイズの変化、前記コンテンツの位置の変化、前記コンテンツの形状の変化、前記コンテンツの色の変化、前記コンテンツ内の情報の置換、前記コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む、項目1に記載の装置。
(項目25)
方法であって、
装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てることであって、前記画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、前記装置は、前記画像ディスプレイデバイスと異なる、ことと、
前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成することと
を含む、方法。
(項目26)
命令のセットを記憶する非一過性媒体を備える製品であって、その実行は、方法を実施させ、前記方法は、
装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てることであって、前記画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、前記装置は、前記画像ディスプレイデバイスと異なる、ことと、
前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成することと
を含む、製品。
本明細書は、例えば、以下の項目も提供する。
(項目1)
ユーザによって頭部装着されるために構成される画像ディスプレイデバイスと併用するための装置であって、前記装置は、
画面と、
前記画面の第1の面積を前記ユーザの指アクションを感知するために割り当てるために構成される処理ユニットと
を備え、
前記処理ユニットは、前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成するように構成される、装置。
(項目2)
前記画面は、タッチセンサ式領域を有し、前記割り当てられた第1の面積は、前記タッチセンサ式領域の総面積未満である、項目1に記載の装置。
(項目3)
前記処理ユニットはまた、前記ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるように構成される、項目1に記載の装置。
(項目4)
前記第1の面積は、境界を有し、前記ユーザの指アクションは、前記ユーザの指が、前記境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む、項目3に記載の装置。
(項目5)
前記処理ユニットは、前記第1の面積に対する前記ユーザの1本以上の指間の異なる個別の空間関係に基づいて、前記フィードバックコンポーネントを動作させ、異なるタイプのフィードバックを生成するように構成される、項目3に記載の装置。
(項目6)
前記異なる個別の空間関係は、(1)前記ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)前記割り当てられた第1の面積内の基準場所との間の異なる距離を含む、項目5に記載の装置。
(項目7)
前記異なる個別の空間関係は、前記1本以上の指のうちの1本、または2本の指間の点が、前記割り当てられた第1の面積の境界からの異なる個別の距離に到達することを含む、項目5に記載の装置。
(項目8)
前記割り当てられた第1の面積は、第1の境界と、第2の境界とを有し、
前記異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、
前記処理ユニットは、前記ユーザの1本以上の指が、前記第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、前記フィードバックコンポーネントを動作させ、前記第1のタイプのフィードバックを生成するように構成され、
前記処理ユニットは、前記ユーザの1本以上の指が、前記第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、前記フィードバックコンポーネントを動作させ、前記第2のタイプのフィードバックを生成するように構成される、
項目5に記載の装置。
(項目9)
前記処理ユニットは、前記画面の割り当てられた第1の面積上で実施されるピンチまたはピンチ解除アクションと関連付けられる入力信号を取得するように構成され、
前記処理ユニットは、前記ピンチまたはピンチ解除アクションと関連付けられる入力信号に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるための電子信号を生成するように構成される、
項目1に記載の装置。
(項目10)
前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットはまた、前記ピンチまたはピンチ解除アクションと関連付けられる入力信号および前記装置の感知された配向に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、項目9に記載の装置。
(項目11)
前記処理ユニットは、前記ピンチまたはピンチ解除アクションが、前記装置が第1の配向にある間、前記装置によって感知される場合、前記コンテンツを第1の平面において収縮または拡張させるための電子信号を生成するように構成され、
前記処理ユニットは、前記ピンチまたはピンチ解除アクションが、前記装置が前記第1の配向と異なる第2の配向にある間、前記装置によって感知される場合、前記コンテンツを第2の平面において収縮または拡張させるための電子信号を生成するように構成され、前記第2の平面は、前記第1の平面と異なる、
項目10に記載の装置。
(項目12)
前記装置は、前記装置の長軸が、水平平面と、45°未満の角度を形成するとき、前記第1の配向を有し、
前記装置は、前記装置の長軸が、垂直平面と、45°未満の角度を形成するとき、前記第2の配向を有する、
項目11に記載の装置。
(項目13)
前記処理ユニットは、前記画面の割り当てられた第1の面積上で実施されるスワイプアクションと関連付けられる入力信号を取得するように構成される、項目1に記載の装置。(項目14)
前記処理ユニットは、前記スワイプアクションと関連付けられる入力信号に応答して、前記コンテンツを移動させることによって、前記コンテンツを変化させるための電子信号を生成するように構成される、項目13に記載の装置。
(項目15)
前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットは、前記スワイプアクションと関連付けられる入力信号および前記装置の感知された配向に基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、項目13に記載の装置。
(項目16)
前記処理ユニットは、前記スワイプアクションが、前記装置が第1の配向にある間、前記装置によって感知される場合、前記コンテンツを第1の平面において移動させるための電子信号を生成するように構成され、
前記処理ユニットは、前記スワイプアクションが、前記装置が前記第1の配向と異なる第2の配向にある間、前記装置によって感知される場合、前記コンテンツを第2の平面において移動させるための電子信号を生成するように構成され、前記第2の平面は、前記第1の平面と異なる、
項目15に記載の装置。
(項目17)
前記装置は、前記装置の長軸が、水平平面と、45°未満の角度を形成するとき、前記第1の配向を有し、
前記装置は、前記装置の長軸が、垂直平面と、45°未満の角度を形成するとき、前記第2の配向を有する、
項目16に記載の装置。
(項目18)
前記コンテンツは、仮想3次元環境内にあり、前記処理ユニットは、前記スワイプアクションが、前記装置の配向が水平平面と略平行である間、前記装置によって感知されるとき、前記コンテンツを前記ユーザのより近くまたはそこからより遠くに移動させることによって、前記画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成するように構成される、項目15に記載の装置。
(項目19)
前記コンテンツは、仮想3次元環境内にあり、前記処理ユニットは、前記スワイプアクションが、前記装置の配向が水平平面と略垂直である間、前記装置によって感知されるとき、前記画像ディスプレイデバイスによって表示されるコンテンツを前記3次元環境内の垂直平面において移動させるための電子信号を生成するように構成される、項目15に記載の装置。
(項目20)
前記装置の配向を感知するための配向センサをさらに備え、前記処理ユニットは、前記装置の感知された配向に基づいて、(1)前記コンテンツを1つ以上の方向に拡張させる、(2)前記コンテンツを回転させる、または(3)前記コンテンツを移動させるための前記電子信号を生成するように構成される、項目1に記載の装置。
(項目21)
前記装置は、ハンドヘルド装置である、項目1に記載の装置。
(項目22)
前記処理ユニットはまた、前記画面の第2の面積を第1のボタンとして割り当てるように構成される、項目1に記載の装置。
(項目23)
前記処理ユニットはまた、前記画面の第2の面積をキーボードアクティブ化ボタンとして割り当てるように構成され、前記処理ユニットは、前記ユーザが前記画面の割り当てられた第2の面積にタッチすることに応答して、前記画面を動作させ、キーボードを表示するように構成される、項目1に記載の装置。
(項目24)
前記コンテンツの変化は、前記コンテンツのサイズの変化、前記コンテンツの位置の変化、前記コンテンツの形状の変化、前記コンテンツの色の変化、前記コンテンツ内の情報の置換、前記コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む、項目1に記載の装置。
(項目25)
方法であって、
装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てることであって、前記画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、前記装置は、前記画像ディスプレイデバイスと異なる、ことと、
前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成することと
を含む、方法。
(項目26)
命令のセットを記憶する非一過性媒体を備える製品であって、その実行は、方法を実施させ、前記方法は、
装置の画面の第1の面積を画像ディスプレイデバイスのユーザの指アクションを感知するために割り当てることであって、前記画像ディスプレイデバイスは、ユーザによって頭部装着されるために構成され、前記装置は、前記画像ディスプレイデバイスと異なる、ことと、
前記装置の画面の割り当てられた第1の面積によって感知される前記ユーザの指アクションに基づいて、前記画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成することと
を含む、製品。
図面は、本開示の種々の実施形態の設計および有用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上記に列挙されたおよび他の利点および目的を取得する方法をより深く理解するために、上記に簡単に説明される、本開示のさらなる詳細な実施形態は、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本開示は、付随の図面の使用を通して付加的具体性および詳細とともに説明および記載されるであろう。
本開示の種々の実施形態は、頭部装着型ビデオ画像デバイスのための入力を提供するための方法、装置、および製造品を対象とする。本開示の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
種々の実施形態は、図を参照して以降に説明される。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。また、図は、実施形態の説明を促進するようにのみ意図されることに留意されたい。それらは、本発明の包括的説明として、または本発明の範囲に関する限界として意図されるものではない。加えて、図示される実施形態は、示される全ての側面または利点を有する必要はない。特定の実施形態と併せて説明される側面または利点は、必ずしも、その実施形態に限定されず、そのように図示されない場合でも、またはそのように明示的に説明されない場合でも、任意の他の実施形態において実践されることができる。
続く説明は、それを用いて本明細書に説明される実施形態が実践され得る、例証的VR、AR、および/またはMRシステムに関する。しかしながら、実施形態はまた、他のタイプのディスプレイシステム(他のタイプのVR、AR、および/またはMRシステムを含む)における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的実施例のみに限定されないことを理解されたい。
(問題およびソリューションの説明)
(問題およびソリューションの説明)
ある場合には、頭部装着型画像ディスプレイデバイスは、頭部装着型画像ディスプレイデバイスのユーザが入力を提供することを可能にするために、専用入力コントローラを有し得る。専用入力コントローラは、頭部装着型画像ディスプレイデバイスの特定のモデルに特有であり得、画像ディスプレイデバイスのブランドおよびモデル毎にユニークであり得る。そのような専用入力コントローラは、頭部装着型画像ディスプレイデバイスのユーザが、キーボードを頭部装着型画像ディスプレイデバイスの画面上に表示することによって、テキストを打ち込むことを可能にし得、ユーザは、専用入力コントローラを使用して、頭部装着型画像ディスプレイデバイスの画面上に表示されるようなキーボードと相互作用することによって、テキストを打ち込み得る。テキストを打ち込むそのような技法は、煩雑であり得、理想的ではない場合がある。また、専用入力コントローラは、限定された音声およびジェスチャ制御を有し得る。加えて、特定の頭部装着型画像ディスプレイデバイスのための専用入力コントローラが、紛失される場合、専用入力コントローラが、破損する場合、またはユーザが、専用入力コントローラを持って来ることを忘れた場合、ユーザが使用するためのバックアップコントローラは、存在しない。さらに、頭部装着型画像ディスプレイデバイスのための専用入力コントローラは、デジタル画像、写真、および他のメディアコンテンツをユーザのメディア記憶デバイスと頭部装着型画像ディスプレイデバイスとの間で転送することが不可能である場合がある。専用入力コントローラはまた、アプリケーションストアおよびコンテンツにアクセスすることが不可能である場合があり、頭部装着型画像ディスプレイデバイスがユーザによって装着されていない間、通知を、頭部装着型画像ディスプレイデバイスから、またはネットワークから受信することが不可能である場合がある。
本明細書に説明される1つ以上の実施形態によると、タッチ画面を有する、装置が、時として、本明細書では、「ウェアラブルコンピューティングシステム」または「ウェアラブルディスプレイシステム」とも称される、頭部装着型画像ディスプレイデバイスのユーザが画像ディスプレイデバイスのための入力を打ち込むことを可能にするための入力デバイスとして提供される。本明細書では、より単純には、「コンピューティングデバイス」とも称される、本装置は、頭部装着型画像ディスプレイデバイスのための専用入力コントローラが、利用不可能である場合、本装置が、代わりに、ユーザによって入力を打ち込むために使用され得るように、バックアップ入力デバイスとしての役割を果たし得る。本装置は、代替として、また、画像ディスプレイデバイスデバイスのためのメインまたは単独入力デバイスとして使用されてもよい。本装置は、テキストを入力するためのメインデバイスとして使用される、または代替として、テキストを入力するための専用入力コントローラの代替として使用されてもよい。ユーザが、頭部装着型画像ディスプレイデバイスの透明部分を通して装置の画面を視認している間、本装置のタッチスクリーンを通してテキストを打ち込むことは、ユーザが専用入力コントローラを使用してテキストを打ち込む間、キーボードを画像ディスプレイデバイスの視認画面上に表示することより便宜的かつ効率的である。また、その中に本装置がユーザの携帯電話を使用して実装される、実施形態では、本装置はまた、ユーザの電話と画像ディスプレイデバイスとの間のデジタル画像および写真および他のメディアコンテンツの転送を促進し得る。加えて、いくつかの実施形態では、本明細書に説明される装置は、頭部装着型画像ディスプレイデバイスのユーザが、アプリケーションストアおよびコンテンツにアクセスすることを可能にする。さらに、いくつかの実施形態では、本明細書に説明される装置は、頭部装着型画像ディスプレイデバイスがユーザによって装着されていないとき、通知を、頭部装着型画像ディスプレイデバイスから、またはネットワークから受信し得る。
図1-4は、種々の実施形態における、画像ディスプレイシステム100の種々のコンポーネントを図示する。画像ディスプレイシステム100は、画像ディスプレイデバイス101と、画像ディスプレイデバイスデバイス101のための入力を提供するための装置200とを含む。装置200は、下記にさらに詳細に説明されるであろう。画像ディスプレイデバイス101は、VRデバイス、ARデバイス、MRデバイス、または他のタイプのディスプレイデバイスのいずれかであってもよい。画像ディスプレイデバイス101は、エンドユーザ50によって装着される、フレーム構造102と、ディスプレイサブシステム110がエンドユーザ50の眼の正面に位置付けられるようにフレーム構造102によって搬送される、ディスプレイサブシステム110と、スピーカ106がエンドユーザ50の外耳道に隣接して位置付けられる(随意に、別のスピーカ(図示せず)が、エンドユーザ50の他方の外耳道に隣接して位置付けられ、ステレオ/調節可能音制御を提供する)ようにフレーム構造102によって搬送される、スピーカ106とを含む。ディスプレイサブシステム110は、エンドユーザ50の眼に、高レベルの画質および3次元知覚を伴って、物理的現実に対する拡張として快適に知覚され得る、光パターンを提示するように設計され、かつ2次元コンテンツを提示することも可能である。ディスプレイサブシステム110は、単一コヒーレント場面の知覚を提供する、フレームのシーケンスを高周波数で提示する。
図示される実施形態では、ディスプレイサブシステム110は、「光学シースルー」ディスプレイを採用し、それを通してユーザは、直接、透明(または半透明)要素を介して、実オブジェクトからの光を視認することができる。多くの場合、「コンバイナ」と称される、透明要素は、ディスプレイからの光を実世界のユーザのビューにわたって重畳する。この目的を達成するために、ディスプレイサブシステム110は、部分的透明ディスプレイを備える。ディスプレイは、周囲環境からの直接光が、ディスプレイを通して、エンドユーザ50の眼に伝送されるように、エンドユーザ50の眼と周囲環境との間のエンドユーザ50の視野内に位置付けられる。
図示される実施形態では、画像投影アセンブリは、光を部分的透明ディスプレイに提供し、それによって、周囲環境からの直接光と組み合わせ、ディスプレイからユーザの眼50に伝送される。投影サブシステムは、光ファイバ走査ベースの投影デバイスであってもよく、ディスプレイは、その中に投影サブシステムから走査される光が、投入され、例えば、無限遠(例えば、腕の長さ)より近い単一光学視認距離における画像、複数の離散光学視認距離または焦点平面における画像、および/または複数の視認距離または焦点平面にスタックされた画像層を生産し、立体3Dオブジェクトを表す、導波管ベースのディスプレイであってもよい。ライトフィールド内のこれらの層は、ヒト副視覚系に持続的に現れる(すなわち、1つの層が、隣接する層の乱信号円錐域内にある)ようにともに十分に近接してスタックされてもよい。加えて、または代替として、写真要素が、それらの層が、より疎らにスタックされた(すなわち、1つの層が、隣接する層の乱信号円錐域外にある)場合でも、ライトフィールド内の層間の遷移の知覚される連続性を増加させるために、2つ以上の層を横断して混成されてもよい。ディスプレイサブシステム110は、単眼または両眼用であってもよい。
画像ディスプレイデバイス101はまた、エンドユーザ50の頭部54の位置および移動および/またはエンドユーザ50の眼位置および眼球間距離を検出するためにフレーム構造102に搭載される、1つ以上のセンサ(図示せず)を含んでもよい。そのようなセンサは、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ)、または前述の任意の組み合わせを含んでもよい。これらのセンサの多くは、その上にそれらが添着される、フレーム102が、順に、ユーザの頭部、眼、および耳に実質的に固定されているという仮定に基づいて作用する。
画像ディスプレイデバイス101はまた、ユーザ配向検出モジュールを含んでもよい。ユーザ配向モジュールは、エンドユーザ50の頭部54の瞬間位置を検出し(例えば、フレーム102に結合されるセンサを介して)、センサから受信された位置データに基づいて、エンドユーザ50の頭部54の位置を予測し得る。エンドユーザ50の頭部54の瞬間位置を検出することは、エンドユーザ50が見ている、具体的実際のオブジェクトの決定を促進し、それによって、その実際のオブジェクトに関連して生成されるべき具体的仮想オブジェクトのインジケーションを提供し、さらに、仮想オブジェクトが表示される位置のインジケーションを提供する。ユーザ配向モジュールはまた、センサから受信されたデータを追跡することに基づいて、エンドユーザ50の眼を追跡し得る。
画像ディスプレイデバイス101はまた、多種多様な形態のいずれかをとり得る、制御サブシステムを含んでもよい。制御サブシステムは、いくつかのコントローラ、例えば、1つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット(CPU)、デジタル信号プロセッサ、グラフィック処理ユニット(GPU)、特定用途向け集積回路(ASIC)等の他の集積回路コントローラ、プログラマブルゲートアレイ(PGA)、例えば、フィールドPGA(FPGA)、および/またはプログラマブル論理コントローラ(PLU)を含む。
画像ディスプレイデバイス101の制御サブシステムは、中央処理ユニット(CPU)と、グラフィック処理ユニット(GPU)と、1つ以上のフレームバッファと、3次元場面データを記憶するための3次元データベースとを含んでもよい。CPUは、全体的動作を制御し得る一方、GPUは、フレームを3次元データベース内に記憶される3次元データからレンダリングし(すなわち、3次元場面を2次元画像に変換する)、これらのフレームをフレームバッファ内に記憶し得る。1つ以上の付加的集積回路は、フレームのフレームバッファへの読込および/またはそこからの読取と、ディスプレイサブシステム110の画像投影アセンブリの動作とを制御し得る。
画像ディスプレイデバイス101の種々の処理コンポーネントは、分散型サブシステム内に物理的に含有されてもよい。例えば、図1-4に図示されるように、画像ディスプレイデバイス101は、有線導線または無線コネクティビティ136等によって、ディスプレイサブシステム110およびセンサに動作可能に結合される、ローカル処理およびデータモジュール130を含んでもよい。ローカル処理およびデータモジュール130は、フレーム構造102に固定して取り付けられる(図1)、ヘルメットまたは帽子56に固定して取り付けられる(図2)、エンドユーザ50の胴体58に除去可能に取り付けられる(図3)、またはベルト結合式構成においてエンドユーザ50の腰部60に除去可能に取り付けられる(図4)等、種々の構成において搭載されてもよい。画像ディスプレイデバイス101はまた、有線導線または無線コネクティビティ138、140等によって、ローカル処理およびデータモジュール130に動作可能に結合される、遠隔処理モジュール132および遠隔データリポジトリ134を含んでもよく、したがって、これらの遠隔モジュール132、134は、相互に動作可能に結合され、ローカル処理およびデータモジュール130へのリソースとして利用可能となる。
ローカル処理およびデータモジュール130は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、その両方とも、可能性として、処理または読出後、ディスプレイサブシステム110への通過のために、センサから捕捉された、および/または、遠隔処理モジュール132および/または遠隔データリポジトリ134を使用して入手および/または処理された、データの処理、キャッシュ、および記憶を補助するために利用され得る。遠隔処理モジュール132は、データおよび/または画像情報を分析および処理するように構成される、1つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。遠隔データリポジトリ134は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール130で実施され、任意の遠隔モジュールからの完全に自律的使用を可能にする。
上記に説明される種々のコンポーネント間の結合136、138、140は、ワイヤまたは光学連通を提供するための1つ以上の有線インターフェースまたはポート、または無線通信を提供するためのRF、マイクロ波、およびIR等を介した、1つ以上の無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図1-4に図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。
いくつかの実施形態では、ユーザ配向モジュールは、ローカル処理およびデータモジュール130内に含有される一方、CPUおよびGPUは、遠隔処理モジュール内に含有される。代替実施形態では、CPU、GPU、またはその一部は、ローカル処理およびデータモジュール130内に含有されてもよい。3Dデータベースは、遠隔データリポジトリ134と関連付けられる、またはローカルで配置されることができる。
いくつかの画像ディスプレイシステム(例えば、VRシステム、ARシステム、MRシステム等)は、深度平面情報とともに内蔵され、個別の深度平面から生じるように現れる画像を生成する、複数の体積位相ホログラム、表面レリーフホログラム、または光誘導光学要素を使用する。言い換えると、回折パターンまたは回折光学要素(「DOE」)は、コリメートされた光(略平面波面を伴う光ビーム)が、LOEに沿って実質的に全内部反射されるにつれて、複数の場所において回折パターンと交差し、ユーザの眼に向かって出射するように、光誘導光学要素(「LOE」;例えば、平面導波管)内に内蔵される、またはその上にインプリント/エンボス加工されてもよい。DOEは、それを通してLOEから出射する光が、それらが特定の深度平面から生じるように現れるように輻輳されるように構成される。コリメートされた光は、光学集光レンズ(「集光器」)を使用して生成されてもよい。
例えば、第1のLOEは、光学無限遠深度平面(0ジオプタ)から生じるように現れる、コリメートされた光を眼に送達するように構成されてもよい。別のLOEは、2メートル(1/2ジオプタ)の距離から生じるように現れる、コリメートされた光を送達するように構成されてもよい。さらに別のLOEは、1メートル(1ジオプタ)の距離から生じるように現れる、コリメートされた光を送達するように構成されてもよい。スタックされたLOEアセンブリを使用することによって、複数の深度平面が、作成され得、各LOEは、特定の深度平面から生じるように現れる、画像を表示するように構成されることを理解されたい。スタックは、任意の数のLOEを含んでもよいことを理解されたい。しかしながら、少なくともN個のスタックされたLOEが、N個の深度平面を生成するために要求される。さらに、N、2N、または3N個のスタックされたLOEは、RGBカラー画像をN個の深度平面に生成するために使用されてもよい。
3-D仮想コンテンツをユーザに提示するために、画像ディスプレイシステム100(例えば、VRシステム、ARシステム、MRシステム等)は、それらがZ方向に(すなわち、ユーザの眼から直交して離れるように)種々の深度平面から生じるように現れるように、仮想コンテンツの画像をユーザの眼の中に投影する。言い換えると、仮想コンテンツは、XおよびY方向(すなわち、ユーザの眼の中心視軸に直交する、2D平面)において変化し得るだけではなく、また、ユーザが、非常に近距離または無限距離またはその間の任意の距離にあるようにオブジェクトを知覚し得るように、Z方向にも変化するように現れ得る。他の実施形態では、ユーザは、異なる深度平面において、複数のオブジェクトを同時に知覚し得る。例えば、ユーザには、仮想ドラゴンが、無限遠から現れ、ユーザに向かって走って来るように見え得る。代替として、ユーザには、ユーザから3メートル離れた距離における仮想鳥と、ユーザから腕の長さ(約1メートル)における仮想コーヒーカップとが同時に見え得る。
多平面焦点システムは、ユーザの眼からZ方向における個別の固定距離に位置する複数の深度平面のいくつかまたは全て上に画像を投影することによって、可変深度の知覚を作成する。ここで図5を参照すると、多平面焦点システムは、フレームを固定された深度平面150(例えば、図5に示される6つの深度平面150)に表示し得ることを理解されたい。MRシステムは、任意の数の深度平面150を含むことができるが、1つの例示的多平面焦点システムは、6つの固定された深度平面150をZ方向に有する。仮想コンテンツを6つの深度平面150のうちの1つ以上のものに生成する際、3-D知覚が、ユーザが1つ以上の仮想オブジェクトをユーザの眼からの可変距離において知覚するように作成される。ヒトの眼が、離れているように現れるオブジェクトより距離が近いオブジェクトにより敏感であることを前提として、より多くの深度平面150が、図5に示されるように、眼のより近くに生成される。他の実施形態では、深度平面150は、相互から離れるように等距離に設置されてもよい。
深度平面位置150は、メートルで測定された焦点長の逆数に等しい屈折力の単位である、ジオプタで測定されてもよい。例えば、いくつかの実施形態では、深度平面1は、1/3ジオプタ離れていてもよく、深度平面2は、0.3ジオプタ離れていてもよく、深度平面3は、0.2ジオプタ離れていてもよく、深度平面4は、0.15ジオプタ離れていてもよく、深度平面5は、0.1ジオプタ離れていてもよく、深度平面6は、無限遠を表してもよい(すなわち、0ジオプタ離れている)。他の実施形態は、深度平面150を他の距離/ジオプタに生成してもよいことを理解されたい。したがって、仮想コンテンツを方略的に設置された深度平面150に生成することで、ユーザは、仮想オブジェクトを3次元で知覚することが可能である。例えば、ユーザは、別の仮想オブジェクトが深度平面6における無限遠に現れる間、第1の仮想オブジェクトが深度平面1内に表示されるとき、自分に近いと知覚し得る。代替として、仮想オブジェクトは、最初に、深度平面6に、次いで、深度平面5に等、仮想オブジェクトがユーザの非常に近くに現れるまで、表示されてもよい。上記の実施例は、例証目的のために有意に簡略化されていることを理解されたい。別の実施形態では、全6つの深度平面は、ユーザから離れた特定の焦点距離上に集中されてもよい。例えば、表示されるべき仮想コンテンツが、ユーザから0.5メートル離れたコーヒーカップである場合、全6つの深度平面は、コーヒーカップの種々の断面に生成され、ユーザに、コーヒーカップの高粒度の3-Dビューを与え得る。
いくつかの実施形態では、画像ディスプレイシステム100(例えば、VRシステム、ARシステム、MRシステム等)は、多平面焦点システムとして機能してもよい。言い換えると、全6つのLOEは、6つの固定された深度平面から生じるように現れる画像が、高速で連続して生成されるように、同時に照明されてもよく、光源は、画像情報をLOE1、次いで、LOE2、次いで、LOE3等に急速に伝達する。例えば、光学無限遠における空の画像を含む、所望の画像の一部は、時間1において投入されてもよく、光のコリメーションを留保する、LOE(例えば、図5からの深度平面6)が、利用されてもよい。次いで、より近い木の枝の画像が、時間2において投入されてもよく、10メートル離れた深度平面から生じるように現れる画像を作成するように構成される、LOE(例えば、図5からの深度平面5)が、利用されてもよい。次いで、ペンの画像が、時間3において投入されてもよく、1メートル離れた深度平面から生じるように現れる画像を作成するように構成される、LOEが、利用されてもよい。本タイプのパラダイムは、ユーザの眼および脳(例えば、視覚野)が入力を全て同一画像の一部であると知覚するように、高速時間シーケンシャル(例えば、360Hz)方式で繰り返されることができる。
画像ディスプレイシステム100は、Z軸(すなわち、深度平面)に沿って種々の場所から生じるように現れ、3-D体験/シナリオのための画像を生成する、画像を投影してもよい(すなわち、光ビームを発散または収束させることによって)。本願で使用されるように、光ビームは、限定ではないが、光源から照射される光エネルギー(可視および不可視光エネルギーを含む)の指向性投影を含む。種々の深度平面から生じるように現れる、画像を生成することは、その画像に関するユーザの眼の輻輳・開散運動(vergence)および遠近調節(accommodation)に準拠し、輻輳・開散運動-遠近調節競合を最小限にするまたは排除する。
図1-4に述べられ、示されるように、画像ディスプレイシステム100は、画像ディスプレイデバイスデバイス101のための入力を提供するための装置200を含む。装置200は、画像ディスプレイデバイス101のユーザ50が、ユーザ50が画像ディスプレイデバイス101によって表示されるコンテンツを視認している間、ユーザ入力を打ち込むことを可能にする。1つの実装では、装置200は、画像ディスプレイデバイス101と相互作用するように構成される、ハンドヘルドデバイス(携帯電話(例えば、スマートフォン)、タブレット、IPAD、ミニパッド等)であってもよい。図1-4に示される実施例では、装置200は、画像ディスプレイデバイス101の処理モジュール130と通信することによって、画像ディスプレイデバイス101と相互作用する。装置200と画像ディスプレイデバイス101の処理モジュール130との間の通信は、無線接続または有線接続を介して達成されてもよい。他の実施形態では、装置200はまた、無線接続を介して、遠隔処理モジュール132および/または遠隔データリポジトリ134と通信してもよい。
図6は、装置200の実施例を図示する。装置200は、ユーザ50によって頭部装着されるために構成される、画像ディスプレイデバイス101と併用するためのものである。特に、装置200は、ユーザ50がディスプレイデバイス101によって表示される画像を視認している間、ユーザ50がその指を使用してユーザ入力を提供することを可能にするための入力デバイス/コントローラとして構成される。ある場合には、装置200は、画像ディスプレイシステム100の一部と見なされ得る。本装置は、画面202と、処理ユニット204とを含む。処理ユニット204は、画面202の第1の面積206をユーザ50の指アクションを感知するために割り当てるように構成される。処理ユニット204は、割り当てられた第1の面積206上で実施される、異なる指アクションを検出するように構成され、それによって、割り当てられた第1の面積206がタッチパッドのように機能することを可能にする。処理ユニット204はまた、装置200の画面202の割り当てられた第1の面積によって感知されるユーザ50の指アクションに基づいて、画像ディスプレイデバイス101によって表示されるコンテンツの変化を生じさせるための電子信号を生成するように構成される。電子信号は、検出された指アクションの識別を表してもよく、および/または検出された指アクションに基づいて処理ユニット204によって生成されたコマンドを表してもよい。
図示される実施形態では、装置200は、ハンドヘルド装置である。非限定的実施例として、ハンドヘルド装置は、携帯電話、スマートフォン、携帯情報端末(PDA)、またはタブレットであってもよい。
図6に示されるように、装置200の画面202は、タッチセンサ式領域210を有し、割り当てられた第1の面積206は、タッチセンサ式領域210の総面積未満である。故に、処理ユニット204は、割り当てられた第1の面積206の一部ではない、タッチセンサ式領域210の一部を使用してユーザ50によって生成された入力を無視するように構成される。
第1の面積206のサイズおよび形状は、事前に定義されてもよい、またはユーザ50によって選択的に構成されてもよい。他の実施形態では、第1の面積206は、図6に示される正方形形状の代わりに、他の形状を有してもよい。図7A-7Fは、処理ユニット204によって割り当てられ得る、異なる第1の面積206の実施例を図示する。図7Aは、第1の面積206の長辺が装置200の短辺と平行であって、第1の面積206の短辺が装置200の長辺と平行である、矩形形状を有する、第1の面積206を図示する。他の実施形態では、図7Bに示されるもののように、第1の面積206は、第1の面積206の長辺が装置200の長辺と平行であって、第1の面積206の短辺が装置200の短辺と平行である、矩形形状を有してもよい。さらなる実施形態では、第1の面積206のサイズは、図示される実施例より小さく(またはより大きく)てもよい。例えば、他の実施形態では、第1の面積206は、画面の離散面積のみを占有する、小サイズを有してもよい(図7C)。さらなる実施形態では、第1の面積206は、円形形状(図7D)、六角形形状(図7E)、または他の多角形形状のいずれかを有してもよい。
いくつかの実施形態では、第1の面積206は、画像ディスプレイデバイス101のディスプレイ画面の面積と対応する、形状を有してもよい。例えば、画像ディスプレイデバイス101の画面が、4:3のアスペクト比を有する場合、処理ユニット204によって割り当てられる第1の面積206もまた、4:3のアスペクト比を有してもよい(図7F)。1つの実装では、装置200の処理ユニット204は、画像ディスプレイデバイス101のディスプレイ画面面積の形状を決定し、画像ディスプレイデバイス101のディスプレイ画面面積の形状に基づいて、第1の面積206の形状を決定するように構成される。例えば、処理ユニット204は、第1の面積206の形状が画像ディスプレイデバイス101のディスプレイ画面面積の形状と同一であることを決定してもよい。
いくつかの実施形態では、処理ユニット204は、タッチセンサ式領域210のサイズを決定し、第1の面積206がユーザ50の指アクションを感知するために割り当てられるためのサイズおよび/または形状を決定するように構成されてもよい。例えば、処理ユニット204は、装置200のタッチセンサ式領域210全体が、2.5インチの幅および5.5インチの長さであることを決定してもよい。そのような場合、処理ユニット204は、次いで、第1の面積206の幅が定数k1(例えば、0.9)×タッチセンサ式領域210の幅であることを決定してもよい(上記の実施例では、0.9×2.5=2.25インチとなるであろう)。同様に、処理ユニット204は、第1の面積206の長さが定数k2(例えば、0.5)×タッチセンサ式領域210の長さであることを決定してもよい(上記の実施例では、0.5×5.5=2.75インチとなるであろう)。
他の実施形態では、処理ユニット204は、装置200のブランドおよびモデルを決定し、第1の面積206がユーザ50の指アクションを感知するために割り当てられるためのサイズおよび/または形状を決定してもよい。例えば、比較的により大きい画面サイズを有する、装置200のブランドおよびモデルは、比較的により小さい画面サイズを有する、装置200の別のブランドおよび別のモデルと比較して、比較的により大きい第1の面積206を割り当てられてもよい。
第1の面積206が、ユーザ50の指アクションを感知するために割り当てられた後、ユーザ50は、次いで、1本以上の指を使用し、装置200の割り当てられた第1の面積206を使用して、画像ディスプレイシステム100のための入力を打ち込んでもよい。例えば、ユーザ50は、指を割り当てられた第1の面積206内で移動させ、画像ディスプレイデバイス101によって表示されているオブジェクトを移動させてもよい。オブジェクトは、カーソル、テキスト、画像、写真、ウィンドウ、フレーム、アプリケーションページ等の任意のオブジェクトであってもよい。別の実施例として、ユーザ50は、2本の指を割り当てられた第1の面積206内で同一スワイプ方向に移動させ、画像ディスプレイデバイス101によって表示されているオブジェクトを移動させてもよい。さらなる実施例として、ユーザ50は、ピンチまたはピンチ解除アクションを割り当てられた第1の面積206内で実施し、オブジェクトのサイズを変化させてもよい(例えば、ピンチによって、サイズを低減させる、ピンチ解除によって、サイズを増加させる)。さらなる実施例として、ユーザ50は、タップアクション(例えば、単一タップ、二重タップ等)を割り当てられた第1の面積206内で実施し、オブジェクトを選択する、オブジェクトを選択解除する、オブジェクトを握持する、オブジェクトを握持解除すること等を行ってもよい。したがって、装置200は、ユーザ50が画像ディスプレイデバイス101によって表示されているコンテンツと相互作用するための入力を提供することを可能にするための入力デバイス/コントローラとして構成される。
第1の動作モードでは、装置200は、ユーザ50が、装置200を使用して、画像ディスプレイシステム100のための入力を生成する間、視覚的ディスプレイを画面202上に提供しなくてもよい。画面の割り当てられた第1の面積206は、画面202の割り当てられた第1の面積206がユーザ50の指アクションを感知している間、オブジェクトを表示させない。そのような場合、装置200は、タッチパッドのように構成される。しかしながら、タッチパッドと異なり、装置200自体は、モバイルまたはハンドヘルドデバイスであり得る。いくつかの実装では、装置200による画面202上へのコンテンツの提示は、第1の動作モードにあるとき、少なくとも部分的に、劣化または無効にされてもよい。より具体的には、第1の動作モードにあるとき、装置200は、そのような実装では、視覚的ディスプレイのためのより少ないコンテンツを画面202上に提供する、視覚的ディスプレイのための低減された明度および/またはコントラストのコンテンツを画面202上に提供する、画面202の明度レベルを低減させる、またはディスプレイ機能性を低減させ、電力を節約するための1つ以上の他のアクションを行ってもよい。いくつかの実施例では、第1の動作モードにあるとき、装置200は、1つ以上のフィードバックコンポーネント(例えば、触覚的フィードバックコンポーネント、スピーカ等)の使用を通して、タッチパッドの境界および/またはタッチパッドが属するユーザインターフェースの他の部分を伝達してもよい。これらの実施例では、第1の動作モードにあるとき、装置200は、画面202を使用して、ユーザインターフェースを視覚的に表示する代わりに、またはそれに加え、1つ以上のフィードバックコンポーネントを使用して、そのようなユーザインターフェースの1つ以上の部分を伝達してもよい。いくつかの実施形態では、そのようなユーザインターフェースまたはその一部の表現は、装置200が第1のモードで動作している間、画像ディスプレイデバイス101によって表示されてもよい。これらの実施形態のうちの少なくともいくつかでは、それに対してタッチ入力が提供されている、画面202上の相対的場所もまた、画像ディスプレイデバイス101を通して、ユーザのために視覚的に表されてもよい。このように、ユーザは、いずれかの場所を見ている間、画面202と効果的に相互作用することが可能であり得る。これらの実施例のうちのいくつかでは、第1の動作モードにあるとき、そのようなユーザインターフェースまたはその一部の表現は、装置200の画面202を使用して、ユーザインターフェースまたはその限定されるバージョン(例えば、ユーザインターフェースの少なくとも部分的に劣化または無効にされたバージョン)を視覚的に表示する代わりに、またはそれに加え、画像ディスプレイデバイス101を使用して表示されてもよい。
第2の動作モードでは、処理ユニット204は、画面202を動作させ、コンテンツを表示する一方、画面202が指アクション入力をユーザ50から受信することを可能にするように構成されてもよい。いくつかの実装では、第2の動作モードにあるときの、装置200によって視覚的ディスプレイのために画面202上に提供される、コンテンツの数量、明度、および/またはコントラストは、第1の動作モードにあるときの、装置200によって視覚的ディスプレイのために画面202上に提供される、コンテンツの数量、明度、および/またはコントラストを上回ってもよい。同様に、いくつかの実施例では、装置200は、第2の動作モードにおいて、第1の動作モードにおいてより高い明度レベルで画面202を動作させてもよい。例えば、処理ユニット204は、図6に示されるもののように、画面202を動作させ、ドット220のグリッドを画面202の割り当てられた第1の面積206内に表示してもよい。ドット220のグリッドは、ユーザ50がその指をより正確に位置付け得るように、ユーザ50が割り当てられた第1の面積206が位置する場所を確認することを可能にする。ある場合には、処理ユニット204はまた、ユーザ50が、ドット206のうちの1つ以上のものが表示される、画面202の割り当てられた第1の面積206の一部にタッチすることに応答して、ドット220のうちの1つ以上のものの特徴を変化させるように構成されてもよい(図8A-8B)。特に、図8Aは、ユーザ50が、1本の指を用いて、装置200の画面202の割り当てられた面積206の一部にタッチすることに応答して処理ユニット204によって生成された、視覚的フィードバック230の実施例を図示する。図8Bは、ユーザ50が、2本の指を用いて、装置200の画面202の割り当てられた面積206の一部にタッチすることに応答して、処理ユニット204によって生成された、視覚的フィードバック230の実施例を図示する。これは、ユーザ50が、その指アクションが生成した入力が処理ユニット204によって正常に受信されたことを確認することを可能にする。上記の実施例では、視覚的フィードバック230は、円形と、タッチされた場所に近接するドット220の間隔の変化とを含む。他の実施形態では、視覚的フィードバック230は、ドット220の間隔の変化を伴わずに、円形のみを含んでもよい。さらなる実施形態では、円形形状の代わりに、視覚的フィードバック230は、ユーザ50によってタッチされる画面202の場所に位置付けられる、処理ユニット204によって生成された(任意の形状の)オブジェクトを含んでもよい。なおもさらなる実施形態では、視覚的フィードバック230は、ドット220とともにオーバーレイされる、任意のオブジェクトを含まなくてもよい。そのような場合、視覚的フィードバック230は、ユーザ50が画面202にタッチした場所における、ドットの色の変化および/またはドットの形状および/またはサイズの変化であってもよい。
いくつかの実施形態では、ドット220の水平間隔は、ドット220の垂直間隔と同一であってもよい。他の実施形態では、ドット220の水平間隔は、ドット220の垂直間隔と異なってもよい。例えば、ドット202の水平間隔は、ドット220の垂直間隔より大きいまたはそれ未満であってもよい。
第2のモードでは、装置200の画面は、ドット220を表示することに限定されず、他の実施形態では、他のコンテンツを表示してもよいことに留意されたい。例えば、他の実施形態では、第2のモードにあるとき、装置200の画面は、ユーザ50が装置200を使用して選択するためのいくつかのオブジェクト(例えば、写真、ビデオ、アイコン等)、ユーザ50がテキストを打ち込むためのテキストボックス、ユーザ50が事物を描くことを可能にするための描画「パッド」、ユーザ50が選択するためのタブ、ユーザ50が相互作用することを可能にするためのアプリケーショングラフィック等を表示してもよい。いくつかの実装では、多角形形状が、画面202の割り当てられた第1の面積206内に表示されてもよい。例えば、これらの実装では、本装置は、中実多角形形状、多角形形状の輪郭、または両方を、画面202の割り当てられた第1の面積206内に表示してもよい。いくつかの実施例では、そのような多角形形状の幾何学形状は、多角形形状の1つ以上の境界が、それぞれ、割り当てられた第1の面積206の1つ以上の境界と一致し得るように、割り当てられた第1の面積206の幾何学形状に対応してもよい。
いくつかの実施形態では、装置200は、第1のモードと第2のモードとの間で切り替えてもよい。例えば、装置200は、画像ディスプレイデバイス101から受信されたコマンドに基づいて、第1のモードと第2のモードとの間で切り替えてもよい。いくつかの実装では、画像ディスプレイデバイス101は、その感知デバイスのうちの1つ以上のものから出力されたデータを分析し、装置200がユーザの視野内にあるかどうかを決定してもよい。いくつかの実施例では、画像ディスプレイデバイス101のそのような1つ以上の感知デバイスは、1つ以上の前向きに面したカメラに対応してもよい。例えば、画像ディスプレイデバイス101は、そのカメラによって捕捉された画像を分析し、装置200が画像のいずれかに示される(したがって、ユーザの視野内に位置する)かどうかを決定してもよい。装置200が、カメラのいずれによっても検出されない場合、それに応答して、画像ディスプレイデバイス101は、次いで、装置200に、第1のモードで動作するように命令してもよい。他方では、装置200が、画像ディスプレイデバイス101のカメラによって検出される場合、それに応答して、画像ディスプレイデバイス101は、次いで、装置200に、第2のモードで動作するように命令してもよい。本特徴は、ユーザ50が装置200の画面を見ていないとき、電力節約利点を提供し得るため、有利である。したがって、ユーザ50が、画像ディスプレイデバイス101の画面を通して、装置200を見ていない場合、装置200の画面は、第1のモード(無コンテンツまたはコンテンツの低級セットを表示する)で動作してもよく、ユーザ50が、画像ディスプレイデバイス101の画面を通して、装置200を見ている場合、装置200の画面は、第2のモード(その全体としてコンテンツを表示する)で動作してもよい。いくつかの実施例では、画像ディスプレイデバイス101は、その前向きに面したカメラのうちの1つ以上のもの以外の感知デバイスのうちの1つ以上のものを活用し、装置200がユーザの視野内にあるかどうかを決定してもよい。例えば、画像ディスプレイデバイス101は、1つ以上の近接度センサ、内向きに面した眼追跡カメラ、またはユーザが画像ディスプレイデバイス101を装着しているかどうかを示すデータを出力することが可能な画像ディスプレイデバイス101の他の感知デバイスから出力されたデータに基づいて、装置200がユーザの視野内にあるかどうかを決定してもよい。これは、特に、画像ディスプレイデバイス101が、仮想現実(VR)ヘッドセット、またはユーザによって装着されているとき、ユーザの環境のビューの一部を物理的にオクルードする、他のウェアラブルコンピューティングデバイスである実装では、画像ディスプレイデバイスデバイス101が、1つ以上のそのような感知デバイスから出力されたデータに基づいて、装置200に、第1の動作モードと第2の動作モードとの間で切り替えるように命令するために有益であり得る。
また、いくつかの実施形態では、第1の面積206で実施される水平移動入力の各単位長Lhは、画像ディスプレイデバイス101によって表示されるオブジェクトの水平移動Mhの対応する量を生じさせ得る。同様に、第1の面積206で実施される垂直移動入力の各単位長Lvは、画像ディスプレイデバイス101によって表示されるオブジェクトの垂直移動Mvの対応する量を生じさせ得る。水平移動効率は、比率Mh/Lhによって表され得、垂直移動効率は、比率Mv/Lvによって表され得る。比率Mh/Lhが、1.0である場合、これは、割り当てられた第1の面積206における水平移動入力の1単位が、同一単位の水平移動を画像ディスプレイデバイス101によって表示されるオブジェクトのために生じさせるであろうことを意味する。比率Mh/Lhが、1.0より大きい場合、これは、割り当てられた第1の面積206における水平移動入力の1単位が、1単位を上回の水平移動を画像ディスプレイデバイス101によって表示されるオブジェクトのために生じさせるであろうことを意味する。比率Mh/Lhが、1.0未満である場合、これは、割り当てられた第1の面積206における1単位の水平移動入力が、1単位未満の水平移動を画像ディスプレイデバイス101によって表示されるオブジェクトのために生じさせるであろうことを意味する。類似概念は、垂直方向にも適用される。いくつかの実施形態では、装置200の画面は、画像ディスプレイデバイス101の画面と比較して、サイズがより小さくてもよい。そのような場合、Mh/Lh>1であるように、かつMv/Lv>1であるように、割り当てられた第1の面積206を構成することが望ましくあり得る。これは、ユーザ50が、比較的により小さい第1の面積206を装置200上で動作させ、画像ディスプレイデバイス101内のより大きい画面面積を網羅することを可能にする。他の実施形態では、装置200の画面は、画像ディスプレイデバイス101の画面と比較して、サイズがより大きくてもよい。そのような場合、Mh/Lh<1であるように、かつMv/Lv<1であるように、割り当てられた第1の面積206を構成することが望ましくあり得る。これは、ユーザ50が、比較的により大きい第1の面積206を装置200上で動作させ、画像ディスプレイデバイス101内のより小さい画面面積を網羅することを可能にする。他の実施形態では、装置200および画像ディスプレイデバイス101の相対的画面サイズにかかわらず、割り当てられた第1の面積206の移動効率(Mh/LhおよびMv/Lv)は、任意の値に恣意的に設定されてもよい。
いくつかの実施形態では、比率Mh/Lhは、比率Mv/Lvに等しくてもよい。これは、水平移動効率が、割り当てられた第1の面積206を使用して打ち込まれる入力に関して、垂直移動効率と同一であることを意味する。他の実施形態では、比率Mh/Lhは、比率Mv/Lvより高くてもよい。これは、水平移動効率が、割り当てられた第1の面積206を使用して打ち込まれる入力に関して、垂直移動効率より高いことを意味する。これは、ユーザ50が、(垂直空間に関するものと比較して)割り当てられた第1の面積206内のより少ない水平空間を通して移動させることによって、画像ディスプレイデバイス101の表示される画面内のより多くの水平空間を網羅することを可能にする。さらなる実施形態では、比率Mh/Lhは、Mv/Lvの比率未満であってもよい。これは、水平移動効率が、割り当てられた第1の面積206を使用して打ち込まれる入力に関して、垂直移動効率より低いことを意味する。これは、ユーザ50が、(水平空間に関するものと比較して)割り当てられた第1の面積206内のより少ない垂直空間を通して移動させることによって、画像ディスプレイデバイス101の表示される画面内のより多くの垂直空間を網羅することを可能にする。
いくつかの実施形態では、Mh/Lhは、画像ディスプレイデバイス101の画面の幅に基づいてもよく、Mv/Lvは、画像ディスプレイデバイス101の画面の高さに基づいてもよい。したがって、Mh/LhおよびMv/Lvは、画像ディスプレイデバイス101の画面のアスペクト比または形状に基づいてもよい。例えば、画像ディスプレイデバイス101の画面が、4:3のアスペクト比(幅対高さ比率)を有する場合、Mh/Lhは、Mv/Lvの1.33倍であり得る。これらの移動効率が、例えば、正方形形状を有する、割り当てられた第1の面積206に関して適用されるとき、ユーザによる水平移動入力の単位は、垂直移動の単位に関するものと比較して、画像ディスプレイデバイス101内に表示されるオブジェクトを1.33倍多く移動させるであろう。故に、割り当てられた第1の面積206(実施例では、正方形形状を伴う)が、画像ディスプレイデバイス101の画面の形状(実施例では、4:3のアスペクト比を有する)と対応し得ない場合でも、割り当てられた第1の面積206の移動効率は、ユーザ50が、割り当てられた第1の面積206を使用して、水平および垂直に空間の全てを被覆し得るように選択または決定され得る。
さらなる実施形態では、割り当てられた第1の面積206に関する水平移動効率および/または垂直移動効率は、可変であってもよい。特に、割り当てられた第1の面積206に関する水平移動効率および/または垂直移動効率は、割り当てられた第1の面積206内の入力場所の関数、および/または画像ディスプレイデバイス101の画面内のカーソル/ポインタ位置の関数であってもよい。例えば、水平移動効率は、第1の面積206で生成された入力が視野の中心または第1の面積206の中心に対応するとき、第1の値を有してもよく、第1の面積206で生成された入力が視野の周縁または第1の面積206の周縁の場所と対応するとき、第2の値(第1の値より高い)を有してもよい。本特徴は、ユーザ50が、その指が第1の面積206または視野の左/右縁に接近するにつれて、より多くのコンテンツを通してスクロールまたは移動させることを可能にするため、望ましくあり得る。スクロール速度は、カーソルがコンテンツを通して「より多く移動している」ため、より高速となるように現れてもよい。他の実施形態では、第2の値は、第1の値より低くてもよい。
本明細書に説明される1つ以上の実施形態では、第1の面積206に関する水平移動効率および/または垂直移動効率は、事前に決定されてもよい、処理ユニット204によって決定されてもよい、および/または装置200のユーザ50によって構成可能であってもよい。
図6に戻ると、いくつかの実施形態では、処理ユニット204はまた、随意に、画面202の第2の面積240を第1のボタン242として割り当てるように構成されてもよい。図示される実施例では、第1のボタン242は、「ホーム」ボタンである。他の実施形態では、第1のボタン242は、他のタイプの機能を実施するための他のタイプのボタンであってもよい。
また、処理ユニット204は、随意に、画面の第3の面積250を第2のボタン252として割り当てるように構成されてもよい。図示される実施例では、第2のボタン252は、「トグル」ボタンである。トグルボタンは、ユーザが、選択機能を実施する、および/またはカーソルまたはポインタの機能を変化させることを可能にし得る。他の実施形態では、第2のボタン252は、他のタイプの機能を実施するための他のタイプのボタンであってもよい。
加えて、処理ユニット204は、随意に、画面の第4の面積260を第3のボタン262として割り当てるように構成されてもよい。図示される実施例では、第3のボタン262は、「バンパ」ボタンである。バンパボタンは、装置200のソフトウェア/オペレーティングシステムに応じたマルチ機能ボタンである。ある場合には、バンパボタンは、ユーザ50が、音量を制御する、ページを捲る、拡大率を変化させること等を可能にし得る。他の実施形態では、第3のボタン262は、他のタイプの機能を実施するための他のタイプのボタンであってもよい。
他の実施形態では、処理ユニット204は、画面の3つを上回る面積を個別の入力面積として割り当ててもよい(例えば、指移動入力、ボタン、制御等を受信するためのパッド面積)。
さらに、いくつかの実施形態では、装置200の任意の制御は、画像ディスプレイデバイスデバイス101のための入力を生成するように動作可能であってもよい。例えば、いくつかの実施形態では、装置200の音量制御は、画像ディスプレイデバイス101のスピーカを制御するために利用されてもよい。1つの実装では、処理ユニット204は、装置200における音量制御の作動を検出するように構成される。検出された作動に応答して、処理ユニット204は、次いで、画像ディスプレイデバイス101への伝送のために、対応する制御信号(例えば、音量アップ信号、音量ダウン信号、ミュート等)を提供する。制御信号の伝送は、無線で、またはケーブルを通して、達成されてもよい。画像ディスプレイデバイス101は、次いで、装置200によって提供される制御信号に従って、そのスピーカを動作させる。
また、図6に示されるように、いくつかの実施形態では、処理ユニット204は、ユーザ50が画像ディスプレイデバイス101の画面によって提示される画像を捕捉することを可能にするための「画像捕捉」ボタン274を提供してもよい。画像は、画像ディスプレイデバイス101の画面によって表示されるコンテンツ、および/または画像ディスプレイデバイス101の画面を通して視認されるような周囲環境内のコンテンツを含んでもよい。1つの実装では、処理ユニット204は、「画像捕捉」ボタン274の押下を検出し、それに応答して、制御信号を生成し(画像ディスプレイデバイス101への伝送のために)、画像ディスプレイデバイス101に、スクリーンショット機能を実施させ、画像ディスプレイデバイス101によって表示されるコンテンツのスクリーンショットを捕捉するように構成される。代替として、または加えて、処理ユニット204は、画像ディスプレイデバイス101に、そのカメラを動作させ、カメラによって視認されるような周囲の写真を撮影させるための制御信号を生成してもよい。表示されるコンテンツの画像および周囲の画像は、処理ユニット204および/または処理ユニット130によって、組み合わせられ、合成画像を形成してもよい。ある場合には、「画像捕捉」ボタン274はまた、装置200によって表示されるコンテンツの画像を捕捉するために押下されてもよい。装置200によって表示される画像は、人工的に生成されたグラフィックおよび/または装置200のカメラによって捕捉されたカメラ画像であってもよい。例えば、処理ユニット204は、「画像捕捉」ボタン274の押下を検出し、それに応答して、スクリーンショット機能を実施し、装置200によって表示されるコンテンツのスクリーンショットを捕捉してもよい。また、他の実施形態では、「画像捕捉」ボタン274は、ビデオを捕捉するために使用されてもよい。例えば、「画像捕捉」ボタン274は、ある持続時間にわたって長押しされてもよい。処理ユニット204は、「画像捕捉」ボタン274の長押しが存在することを検出し、装置200のカメラを動作させ、ビデオの記録を開始する。ユーザ50は、再び、「画像捕捉」ボタン274を長押し、ビデオの記録を停止してもよい。したがって、処理ユニット204が、「画像捕捉」ボタン274に関する2回目の長押しが存在することを検出するとすぐに、処理ユニット204は、次いで、カメラを動作させ、ビデオの記録を停止する。装置200を使用してビデオを生成するための他の技法が、他の実施形態では採用されてもよく、「画像捕捉」ボタン274は、単に、ビデオを生成するために使用され得る、制御の実施例であることに留意されたい。
1つ以上の実施形態では、装置200によって捕捉された画像またはビデオは、装置200によって、記憶のために、ネットワーク(例えば、クラウドネットワーク)に送信されてもよい。そのような場合、画像ディスプレイデバイス101は、その画面上への表示のために、記憶された画像またはビデオをネットワーク(例えば、クラウドネットワーク)から読み出してもよい。代替として、装置200によって捕捉された画像またはビデオは、短距離ネットワーク(例えば、Bluetooth(登録商標)ネットワーク、Wi-Fi等)によって、画像ディスプレイデバイス101に送信されてもよい。また、いくつかの実施形態では、装置200は、メディアコンテンツ(例えば、写真(photo)、写真(picture)、ビデオ等)をネットワークから取得するように構成されてもよい。例えば、別のユーザが、メディアコンテンツをクラウドネットワークにアップロードしてもよく、ユーザ50は、装置200および/または画像ディスプレイデバイス101と関連付けられるアカウントを介して、クラウドネットワークにアクセスすることによって、そのようなメディアコンテンツを取得してもよい。
いくつかの実施形態では、ユーザ50が、画面202の割り当てられた第1の面積206(シミュレートされたタッチパッド領域)を使用しているとき、ボタン242、252、262は、無効にされる。これは、ユーザ50が、これらのボタンのいずれかに不注意にタッチし、アクティブ化することを防止する利点を有し得る。他の実施形態では、ユーザ50が、画面202の割り当てられた第1の面積206を使用しているとき、ボタン242、252、262のうちの1つ以上のものは、無効にされず、それによって、ユーザ50が、第1の割り当てられた面積206(シミュレートされたタッチパッド領域)およびボタン242、252、262のいずれかの両方を使用して、同時指アクションを実施することを可能にする。
図6に示されるように、処理ユニット204はまた、随意に、画面202の別の面積270をキーボードアクティブ化ボタン272として割り当てるように構成されてもよく、処理ユニット204は、ユーザ50が、キーボードアクティブ化ボタン272が位置する、画面202の割り当てられた第2の面積270にタッチすることに応答して、画面202を動作させ、キーボード274を表示するように構成される、(図9A)。図9Bは、画面202によって表示され得る、キーボード274の別の実施例を図示する。表示されるキーボード274は、ユーザ50が、テキスト、数字、記号、表現、メッセージ等を打ち込むことを可能にする。
図6に戻ると、処理ユニット204は、ジェスチャ認識を実施し、割り当てられた面積206、240、250、260のいずれかまたは組み合わせ上で実施される指アクションを識別するように構成される。1つの実装では、装置200は、バッファを含み、ユーザ50が、割り当てられた面積上で実施される指アクションを使用して、入力を打ち込むにつれて、装置200は、画面202上でタッチされた位置に対応するタッチ入力データを生成する。処理ユニット204は、タッチ入力データをバッファに追加し、バッファ内に記憶される入力データを使用して、ジェスチャ認識を実施するように構成される。いくつかの実施形態では、入力データは、割り当てられた第1の面積206内の個別のタッチされた場所を表す、位置データを含んでもよい。入力データはまた、個別の場所がユーザ50によってタッチされた個別の時間を表す、個別のタイミングデータを含んでもよい。ユーザ50が、ボタン242、252、262のいずれかにタッチする場合、生成された対応する入力データは、タッチされたボタンの識別、タッチアクションのタイミング、およびまた、ボタンがタッチされた持続時間を含んでもよい。
図示される実施形態では、処理ユニット204は、入力データを使用して、ジェスチャ認識を実施し、実施されたジェスチャのための対応するコマンドを識別するように構成される。例えば、処理ユニット204が、入力データから、ユーザ50がスワイプアクションを行っていることを決定する場合、処理ユニット204は、次いで、ユーザの指アクションと対応するコマンドとして、「移動」を識別し得る。別の実施例として、処理ユニット204が、入力データから、ユーザ50がピンチアクションを行っていることを決定する場合、処理ユニット204は、次いで、指アクションと対応するコマンドとして、「サイズ縮小」を識別し得る。
処理ユニット204は、上記のジェスチャまたは指アクションを検出することに限定されず、処理ユニット204は、ユーザ50の他の指アクションを検出することもできることに留意されたい。非限定的実施例として、処理ユニット204は、1本の指のスワイプ(例えば、上/下スワイプ(図10A)、左/右スワイプ(図10B))、2本の指スワイプ、1本の指のタッチ移動(図11A)、2本の指のタッチ移動(図11B)、2本の指のピンチ(図12A)、2本の指のピンチ解除(図12B)、2本の指の半径方向移動(図13)、長押しタッチ(図14)、タップ(図15)、二重タップ等を検出するように構成されてもよい。1つの実装では、処理ユニット204は、ユーザの指が画面202と接触する持続時間に基づいて、長押しアクションおよびタップアクションを区別するように構成される。例えば、タッチ持続時間が、0.7秒またはそれ未満である場合、処理ユニット204は、指アクションがタップアクションであることを決定し得る。他方では、タッチ持続時間が、1秒以上の場合、処理ユニット204は、指アクションが長押しアクションであることを決定し得る。また、処理ユニット204は、「ホーム」ボタンが位置する面積、「トリガ」ボタンが位置する面積、および「バンパ」ボタンが位置する面積等、画面202の他の割り当てられた面積を使用して実施される、指アクションを検出してもよい。いくつかの実装では、本明細書に説明される「ホーム」、「トリガ」、および「バンパ」ボタンのうちの1つ以上のもののそれぞれの機能性は、米国特許出願第15/965,702号(参照することによってその全体として本明細書に組み込まれる)に説明されるような「ホーム」、「トリガ」、および「バンパ」ボタンのうちの1つ以上のもののそれぞれの機能性に対応してもよい。同様に、いくつかの実施例では、本明細書に説明されるタッチパッドの機能性は、米国特許出願第15/965,702号(その全体が、参照することによって本明細書に組み込まれる)に説明されるものに対応してもよい。したがって、装置200は、専用入力コントローラのための適正な代用品として機能し得る。図16Aは、「トリガ」ボタン上で実施され得、処理ユニット204によって検出可能である、指アクション(例えば、長押し、タップ等)の実施例を示す。さらに、処理ユニット204は、画面202の異なる割り当てられた面積上で実施される、指アクションの組み合わせを検出するように構成されてもよい。例えば、図16Bに示されるように、ユーザ50は、「トリガ」ボタンを長押してもよく、それを行っている間、また、画面202の第1の割り当てられた面積206を使用して、タッチ移動を実施してもよい。処理ユニット204は、これらの指アクションの両方を同時に検出するように構成され、それらを画像ディスプレイデバイスデバイス101のための組み合わせられた入力として見なし得る。例えば、処理ユニット204は、指アクションの上記の組み合わせが、選択されたオブジェクトを移動させるためのコマンドを作成するためのものであることを決定し得る。処理ユニット204は、次いで、そのようなコマンド信号を画像ディスプレイデバイスに伝送し、選択されたオブジェクトを移動させてもよい。処理ユニット204は、画面202の1つ以上の割り当てられた面積上で実施される、上記の異なる指アクションまたは指アクションの組み合わせのための対応するコマンドを生成するように構成される。
いくつかの実施形態では、ユーザ50が、ある指アクションを画面202の割り当てられた面積上で実施している間、ユーザ50の指が、非意図的に、画面202から離れ得る。本状況に対処するために、処理ユニット204は、ユーザ50が画面202上の任意の場所にタッチしていないことを示す、所定の閾値量を上回る連続サンプルを受信後、ある指アクション(例えば、スワイプアクション等)が終了したことを決定するように構成されてもよい。例えば、処理ユニット204は、そのようなスワイプアクションが終了したことを決定する前に、3つの(または他の数の)連続ヌルサンプルを受信するまで待機してもよい。本実施例では、処理ユニット204は、一連のタッチ入力サンプルに続いて、2つの連続ヌルサンプル(例えば、ユーザの指が非意図的に画面202にタッチしないことに起因して)、その後、一連のタッチ入力サンプルを受信し得る。本状況では、処理ユニット204は、依然として、1つの持続スワイプアクションの一部であるかのように本サンプルのシーケンス全体を取り扱うであろう。これは、ユーザ50が、ユーザが前の実施されたアクションを再実施することを要求せずに、そのアクションを補正し、指アクションを終了することを可能にする。上記の特徴は、それらが、雑音をフィルタリング除去し、誤差を測定または感知するためのシステムロバスト性を増加させることに役立つため、有利である。
いくつかの実施形態では、処理ユニット204は、識別されたコマンドを画像ディスプレイデバイス101(例えば、処理モジュール130)に送信するように構成される。処理モジュール130は、次いで、処理ユニット204によって決定された受信されたコマンドに基づいて、ユーザ50が視認するために表示すべきコンテンツを決定する。ある場合には、同一コマンドは、ユーザ50によって使用されている特定のアプリケーション、および/またはユーザ50によって視認されている特定のコンテンツに応じて、異なる効果を画像ディスプレイデバイス101によって表示されているコンテンツに及ぼし得る。例えば、ユーザ50が、ユーザ50がオブジェクトの異なるページをブラウズすることを可能にする、ページを視認している場合、「移動」コマンドが、オブジェクトの異なるページのスクロールを生じさせ得る。他方では、ユーザ50が、オブジェクトが移動されることを可能にする、アプリケーション内にいる場合、「移動」コマンドは、オブジェクトを1つの場所から別の場所に移動させることを生じさせ得る。
上記の実施形態に図示されるように、装置200は、いくつかの点において、有利であって、頭部装着型画像ディスプレイデバイスの技術分野を改良する。第1に、装置200は、頭部装着型画像ディスプレイデバイスのための専用入力コントローラが、利用不可能になる場合(例えば、専用入力コントローラが、紛失される、破損する、バッテリ切れになる等の場合)、装置200が、代わりに、頭部装着型画像ディスプレイデバイスのための入力を打ち込むために、ユーザ50によって使用され得るように、(頭部装着型画像ディスプレイデバイスのための)バックアップ入力デバイスとしての役割を果たし得る。画像ディスプレイデバイスの多くのユーザは、すでに、出かけるときはいつでも、スマートフォンを携行している。したがって、スマートフォンを使用して、装置200を入力コントローラとして実装することは、ユーザが画像ディスプレイデバイスデバイスのための入力コントローラを有する機会を増加させるであろう。本装置はまた、画像ディスプレイデバイスが、専用入力コントローラを付属される必要がなくなり得るように、画像ディスプレイデバイスデバイスのためのメインまたは単独入力デバイスとしても使用されてもよい。
述べられたように、画像ディスプレイデバイスの多くのユーザは、すでに、出かけるときはいつでも、スマートフォンまたは他のタイプのモバイルデバイスを携行している。したがって、スマートフォンまたは任意の他のタイプのモバイルデバイスを使用して、装置200を入力コントローラとして実装することは、ユーザがモバイルデバイスを有する限り、ユーザが画像ディスプレイデバイス101を任意の場所で使用し得るため(ディスプレイデバイスデバイス101のための専用入力コントローラを伴わない場合でも)、画像ディスプレイデバイスデバイスのための可搬性および移動性を改良するであろう。バックアップおよび補助入力サポートもまた、大部分のユーザが、すでに、出かけるときはいつでも、モバイルデバイスを携行しているため、装置200を通して達成され得る。
装置200は、テキストを入力するためのメインデバイスとして使用される、または代替として、テキストを入力するための専用入力コントローラの代替として使用されてもよい。ユーザが頭部装着型画像ディスプレイデバイスの透明部分を通して、装置の画面を視認する間、装置のタッチスクリーンを通してテキストを打ち込むことは、ユーザが専用入力コントローラを使用してテキストを打ち込む間、キーボードを画像ディスプレイデバイスの視認画面上に表示するより便宜的かつ効率的である。スマートフォンは、キーボードを実装することが公知であるが、頭部装着型画像ディスプレイデバイスのための入力を提供するコンテキストにおいて、スマートフォンを使用して、キーボードを実装する概念は、新規かつ非直感的であると考えられる。これは、そのようなソリューションが、頭部装着型画像ディスプレイデバイス101のユーザ50が、画像ディスプレイデバイス101のディスプレイ画面を通して視認し、装置200の画面202(キーボードが表示される)を視認することを要求するであろうためである。故に、本ソリューションは、ユーザが、焦点をディスプレイ画像ディスプレイデバイス101のディスプレイ画面から装置200の画面202(画像ディスプレイデバイス101のディスプレイ画面を通して可視である)に偏移させることを要求するであろう。しかしながら、視覚的焦点における偏移にもかかわらず、画像ディスプレイデバイスデバイス101のための入力デバイスとして装置200上に実装されるタッチ画面キーボードは、一部のユーザにとって、あるインスタンスでは、より快適であり得ることが考えられる。
また、装置200がユーザの携帯電話(例えば、スマートフォン)を使用して実装される、実施形態では、装置200はまた、ユーザの電話と画像ディスプレイデバイス101との間のデジタル画像および写真および他のメディアコンテンツの転送を促進し得る。例えば、画像ディスプレイデバイス101のカメラによって撮影された写真は、ユーザの装置200に転送されてもよく、装置200のカメラによって撮影された写真は、画像ディスプレイデバイス101に転送されてもよい。コンテンツおよびユーザによる頭部装着型画像ディスプレイデバイスのための制御入力の両方を提供する、装置は、ユニークであると考えられる。
加えて、いくつかの実施形態では、本明細書に説明される装置200は、頭部装着型画像ディスプレイデバイスのユーザが、インターネット、Bluetooth(登録商標)ネットワーク等のネットワークを通して、アプリケーションストアおよびコンテンツにアクセスすることを可能にする。大部分のスマートフォンは、すでに、複数のタイプのネットワーク接続(例えば、Wi-Fi接続、Bluetooth(登録商標)接続、セルラータワーへの接続等)のための複数のネットワークインターフェースを有しているため、スマートフォン(または他のタイプのポータブルネットワークデバイス)を使用して、装置200を実装することは、ユーザが、異なるタイプの接続を通して、メディアコンテンツおよび他の情報を複数のソースから取得することを可能にする利点を有するであろう。例えば、画像ディスプレイデバイスデバイス101のための入力デバイスとして実装される、装置200はまた、画像ディスプレイデバイス101と併用可能なアプリケーションを取得するために、アプリケーションストアにアクセスしてもよい。別の実施例として、画像ディスプレイデバイスデバイス101のための入力デバイスとして実装される、装置200はまた、メディアコンテンツを、ウェブから、別のモバイルデバイス(例えば、電子メール、テキスティング、エアドロップ等を通して)から取得してもよい。いくつかの実施形態では、装置200はまた、ユーザ50が、装置200の画面202上に表示されるユーザインターフェースを通して、画像ディスプレイデバイスデバイス101のためのアカウント設定を制御し、画像ディスプレイデバイス101を管理することを可能にし得る。
さらに、いくつかの実施形態では、本明細書に説明される装置200は、頭部装着型画像ディスプレイデバイス101がユーザ50によって装着されていないときでも、通知(画像ディスプレイデバイスデバイス101のための)をネットワーク(例えば、インターネット)から受信し得る。例えば、画像ディスプレイデバイス101は、異なる通知を装置200にプッシュ配信してもよい。通知のプッシュ配信は、直接、画像ディスプレイデバイス101によって、または間接的に、別のネットワークデバイス(クラウドネットワーク内のコンポーネント等)を通して、実施されてもよい。非限定的実施例として、装置200によって受信される通知は、カレンダ通知、広告通知、ソーシャルメディア通知、画像ディスプレイデバイス101等の動作に関する動作通知(例えば、バッテリステータス、記憶装置レベル、更新通知等)、または前述の任意の組み合わせであってもよい。また、いくつかの実施形態では、画像ディスプレイデバイス101と通信する、第三者が、通知を画像ディスプレイデバイス101に提供してもよい。そのような場合、画像ディスプレイデバイス101は、ユーザ50が画像ディスプレイデバイス101を装着していない場合でも、ユーザ50が通知を確認し得るように、通知を装置200に転送してもよい。通知特徴は、カレンダ管理等の機能がより実践的に行われることを可能にし、画像ディスプレイデバイスデバイス101のためのタイムリーなリマインダおよびリアルタイム更新が、装置200を介してユーザによって受信され得るため、有利である。
感覚フィードバック
いくつかの実施形態では、処理ユニット204は、随意に、ユーザ50の指アクションに応答して、装置200内のフィードバックコンポーネントを動作させるように構成されてもよい。そのような特徴は、ユーザ50が、その指が、第1の面積206の境界に到達している、またはそれを交差していることを把握することを可能にするという点で、有利である。特に、ユーザ50が、画像ディスプレイデバイス101によって表示されるコンテンツを視認しているとき、ユーザ50は、装置200を視認していない場合がある。したがって、ユーザ50は、その指が第1の面積206(指アクション入力を受信するために割り当てられている)の境界外に移動したことを視覚的に気付かない場合がある。フィードバック特徴は、フィードバックを介して、画像ディスプレイシステム100のユーザ50に、割り当てられた第1の面積206の境界を交差しそうである、そこに到達した、またはそれを交差したことを知らせることによって、本技術的問題を解決し、画像ディスプレイシステム100のための技術的改良を提供する。フィードバックは、振動(触覚的フィードバック)の形態であってもよく、これは、1つ以上の機械的パルスを含んでもよい。代替として、または加えて、フィードバックは、オーディオフィードバックを含んでもよい。
図17に示されるように、いくつかの実施形態では、第1の面積206は、境界280を有してもよく、処理ユニット204は、ユーザ50の指が、境界280を交差している、そこに到達している、または事前に規定された距離282内の場所に移動しているとき、フィードバックコンポーネントを動作させるように構成されてもよい。1つの実装では、第1の割り当てられた面積206は、4つの境界280を伴う、正方形または矩形形状を有する。そのような場合、処理ユニット204は、ユーザ50の指が、第1の割り当てられた面積206の4つの境界280のいずれかを交差している、そこに到達している、またはそこから事前に規定された距離内の場所に移動しているとき、フィードバックコンポーネントを動作させるように構成されてもよい。フィードバックコンポーネントは、触覚的フィードバックコンポーネント、スピーカ、フィードバック信号(画像ディスプレイデバイス101による表示のための視覚的信号等)を生成することが可能である、他のタイプのコンポーネントのいずれか、または前述の任意の組み合わせを含んでもよい。したがって、本明細書で使用されるように、用語「フィードバックコンポーネント」は、1つ以上の感覚フィードバックを提供するための1つ以上のコンポーネントを含んでもよい。同様に、本明細書で使用されるように、用語「フィードバック」は、1つ以上の異なるタイプのフィードバックを含んでもよい。
別の実施例として、第1の面積206は、基準場所を少なくとも部分的に囲繞する、1つ以上の境界280を有してもよい。例えば、第1の面積206は、基準場所(例えば、中心)を囲繞する、正方形または矩形形状を有してもよい、または基準場所(例えば、中心)を囲繞する、円形形状を有してもよい。そのような場合、処理ユニット204は、ユーザ50の指が基準場所からの事前に規定された距離に到達することに応答して、装置200内のフィードバックコンポーネントを動作させるように構成されてもよい。
また、いくつかの実施形態では、処理ユニット204は、第1の面積206に対するユーザ50の1本以上の指間の異なる個別の空間関係に基づいて、装置200内のフィードバックコンポーネントを動作させ、異なるタイプのフィードバックを生成するように構成されてもよい。これは、ユーザ50が、その指が割り当てられた第1の面積206の1つ以上の境界280に到達している程度を把握することを可能にする。一実施例では、異なる個別の空間関係は、1本以上の指のうちの1本、または2本の指間の点が、割り当てられた第1の面積206の境界280から異なる個別の距離282に到達することであってもよい。別の実施例では、異なる個別の空間関係は、(1)ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)割り当てられた第1の面積206内の基準場所との間の(閾値を超える)異なる距離であってもよい。
一実施例では、異なるタイプのフィードバックは、第1の振幅を伴う、第1の触覚的インパルスと、第1の振幅と異なる第2の振幅を伴う、第2の触覚的インパルスとを含んでもよい。そのような場合、ユーザの指が、割り当てられた第1の面積206の境界280のより近くに移動する(または1つ以上の境界280によって囲繞される基準場所からさらに離れるように移動する)につれて、触覚的インパルスの振幅は、増加するであろう。
別の実施例では、異なるタイプのフィードバックは、第1の触覚的インパルスの数と、第1の数と異なる第2の触覚的インパルスの数とを含む。そのような場合、ユーザの指が、割り当てられた第1の面積206の境界280のより近くに移動する(または1つ以上の境界280によって囲繞される基準場所からさらに離れるように移動する)につれて、触覚的インパルスの数は、増加するであろう。
さらなる実施例では、異なるタイプのフィードバックは、第1の周波数を伴う、第1の一連の触覚的インパルスと、第1の周波数と異なる第2の周波数を伴う、第2の一連の触覚的インパルスとを含む。そのような場合、ユーザの指が、割り当てられた第1の面積206の境界280のより近くに移動する(または1つ以上の境界280によって囲繞される基準場所からさらに離れるように移動する)につれて、触覚的インパルスの周波数は、増加するであろう。
別の実施例では、異なるタイプのフィードバックは、第1のトーンを伴う、第1のオーディオ信号と、第2のトーンを伴う、第2のオーディオ信号とを含んでもよい。
なおも別の実施例では、異なるタイプのフィードバックは、第1の数のオーディオ信号と、第2の数のオーディオ信号とを含んでもよく、第1の数は、第2の数と異なる。
さらなる実施例では、異なるタイプのフィードバックは、第1のオーディオメッセージと、第1のオーディオメッセージと異なる、第2のオーディオメッセージとを含んでもよい。
他の実施形態では、処理ユニット204は、ユーザの指が割り当てられた第1の面積206の異なる境界280に到達することに基づいて、フィードバックコンポーネントを動作させ、異なるタイプのフィードバックを生成してもよい。例えば、割り当てられた第1の面積206は、第1の境界280(例えば、左境界または右境界)と、第2の境界280(例えば、上境界または下境界)とを有してもよい。そのような場合、処理ユニット204は、ユーザの1本以上の指が、第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、フィードバックコンポーネントを動作させ、第1のタイプのフィードバックを生成するように構成されてもよく、ユーザの1本以上の指が、第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、フィードバックコンポーネントを動作させ、第2のタイプのフィードバックを生成するように構成されてもよい。そのような特徴は、ユーザ50が、装置200を見ずに、その指が接近している境界280を把握することを可能にするため、望ましくあり得る。
また、他の実施形態では、処理ユニット204は、ユーザの指のスワイプ方向に基づいて、フィードバックコンポーネントを動作させるように構成されてもよい。例えば、割り当てられた第1の面積206が、上境界と、下境界と、左境界と、左境界とを伴う、矩形形状を有すると仮定する。ユーザ50が、その指を上向きにスワイプさせる場合、到達される可能性が高い境界280は、上境界となるであろう。そのような場合、処理ユニット204は、次いで、フィードバックコンポーネントを動作させ、ユーザ50にユーザの指が上境界に到達していることを知らせるためのフィードバックのタイプを生成してもよい。
いくつかの実施形態では、フィードバックが、第1の面積206の境界280外(またはそれに近い)場所のタッチが割り当てられた第1の面積206を使用してユーザ50から生じる、状況においてのみ提供されることを確実にすることが望ましくあり得る。例えば、ユーザ50が、割り当てられた第1の面積206外(またはそこから事前に規定された距離内)の場所にタッチし、タッチアクションが、第1の面積206内から開始する持続スワイプアクションの一部ではない場合、処理ユニット204は、フィードバックコンポーネントを動作させ、任意のフィードバックを提供しなくてもよい。他方では、割り当てられた第1の面積206外(またはそこから事前に規定された距離内)の場所のタッチが、割り当てられた第1の面積206内から開始する、スワイプアクションの一部である場合、処理ユニット204は、フィードバックコンポーネントを動作させ、フィードバックを提供してもよい。
図18は、上記の2つのシナリオを検討する、フィードバックを提供するためのアルゴリズムまたは方法300を図示する。最初に、処理ユニット204は、ユーザ50によるタッチ入力の受信を示す、入力信号が存在するかどうかを決定する(アイテム302)。入力信号は、ユーザ50が装置200のタッチセンサ式領域内の任意の場所にタッチする結果として生成され得る。そのような入力信号が存在しない場合、処理ユニット204は、次いで、フラグをクリアする(アイテム304)。図示される実施形態では、フラグは、ユーザ50が、割り当てられた第1の面積206の内側の場所にタッチすることによって、指アクションを開始したかどうかを追跡するために使用される。ユーザが、そのようなアクションを開始した場合、フラグが、設定されるであろう。該当しない場合、フラグは、クリアされるであろう。フラグが、クリアされた後、方法は、アイテム302にループバックするように、処理ユニット204は、ユーザ50が装置200の任意のタッチセンサ式領域の一部(例えば、割り当てられた第1の面積206外および内の面積)をタッチしたかどうかを決定し続ける。
処理ユニット204が、ユーザ50によるタッチ入力の受信を示す、入力信号が存在することを決定する場合、処理ユニット204は、次いで、タッチされた場所が画面202の割り当てられた第1の面積206内であるかどうかを決定する(アイテム306)。タッチされた場所が、割り当てられた第1の面積206の内側である場合、処理ユニット204は、ユーザ50が割り当てられた第1の面積206内の場所にタッチしたことを伴う、指アクションが生じたことを示すためのフラグを設定する(アイテム308)。処理ユニット204はまた、タッチ入力データをバッファに追加し(アイテム310)、バッファ内に記憶される入力データを使用して、ジェスチャ認識を実施する(アイテム312)。議論されるように、バッファは、指アクションを割り当てられた第1の面積206および/または他の割り当てられた面積上で実施する、ユーザ50によって生成された入力データを記憶するように構成される。いくつかの実施形態では、アイテム312において、処理ユニット204は、入力データを使用して、ジェスチャ認識を実施し、実施されるジェスチャ(指アクション)に関する対応するコマンドを識別する。処理ユニット204はまた、画面202の1つ以上の割り当てられた面積上で実施される、検出された指アクションに関する対応するコマンドを生成または識別する。いくつかの実施形態では、処理ユニット204は、コマンドを画像ディスプレイデバイス101(例えば、処理モジュール130)に送信するように構成される。処理モジュール130は、次いで、装置200によって提供される受信されたコマンドに基づいて、ユーザ50が視認するために表示すべきコンテンツを決定する。
図18に戻ると、他方で、処理ユニット204が、アイテム306において、タッチされた場所が割り当てられた第1の面積206外にあることを決定する場合、処理ユニット204は、次いで、フラグが以前に設定されているかどうかを決定する(アイテム316)。フラグが以前に設定されていない場合、これは、現在タッチされている場所が、割り当てられた第1の面積206内の場所から開始した指アクションの一部ではない(例えば、現在タッチされている場所が、割り当てられた第1の面積206の外側の場所におけるユーザ50のタップ、握持等から生じている場合がある)ことを意味する。そのような場合、処理ユニット204は、フィードバックコンポーネントを動作させず、かつフィードバックは、ユーザ50に提供されない。本方法は、次いで、処理ユニット204が、ユーザ50が装置200のタッチセンサ式領域の任意の部分(例えば、割り当てられた第1の面積206外および内の面積)をタッチしたかどうかを決定し続け得るように、アイテム302にループバックする。
他方で、処理ユニット204が、アイテム316において、フラグが以前に設定されていることを決定する場合、これは、現在タッチされている場所(割り当てられた第1の面積206の外側または割り当てられた第1の面積206の境界280から事前に規定された距離282内にある)が、第1の面積206内から開始した指アクションの軌道の一部であることを意味する。そのような場合、処理ユニット204は、次いで、フィードバックコンポーネントを動作させ、フィードバックを提供する(アイテム318)。いったんフィードバックが、提供されると、処理ユニットは、次いで、ユーザ50が割り当てられた第1の面積206にタッチしたことから生成された入力データを記憶する、バッファをフラッシュしてもよい(アイテム314)。バッファのフラッシュは、ユーザ50が割り当てられた第1の面積206にタッチしたことから生じる、前の入力データが、削除され、コマンドが、ユーザの指が、割り当てられた第1の面積206の境界280に到達した、またはそれを超えたため、識別および生成されないであろうことを意味する。
指生成入力信号および/またはセンサ信号に基づくコンテンツの変化
上記に説明されるように、画面202の割り当てられた第1の面積206(タッチパッドのように機能する)および他の割り当てられた面積(面積240、250、260のように)は、ビデオディスプレイデバイス101のユーザ50が、ビデオディスプレイデバイス101のための種々の指生成入力を提供することを可能にする。装置200の処理ユニット204は、画像ディスプレイデバイス101によって表示されるコンテンツの変化を生じさせるための(指生成入力から生じる)電子信号を生成するように構成される。ある場合には、電子信号は、指アクションの識別を表してもよい。代替として、または加えて、電子信号は、割り当てられた面積206、240、250、260(図10-16を参照して説明されるものおよび図18のアイテム312および314のように)を使用して生成された指アクション入力の認識に基づいて処理ユニット204によって決定された、コマンドまたはコマンドの識別を表してもよい。いくつかの実施形態では、装置200は、有線接続を介して、そのような電子信号を画像ディスプレイデバイス101に伝送するように構成される。他の実施形態では、装置200は、画像ディスプレイデバイス101への無線伝送のために、無線通信モジュールを使用して、電子信号を無線形態に変換してもよい。ビデオディスプレイデバイス101の処理モジュール130は、信号を装置200から受信し、信号に基づいて、ディスプレイサブシステム110による表示のために、コンテンツを変化させる。
非限定的実施例として、コンテンツの変化は、コンテンツのサイズの変化、コンテンツの位置の変化、コンテンツの形状の変化、コンテンツの色の変化、コンテンツ内の情報の置換、コンテンツ内の情報の量の増減、または前述の任意の組み合わせであってもよい。ある場合には、指生成入力(割り当てられた第1の面積206を使用して生成される)によって生じるコンテンツの変化は、カーソルまたはポインタの移動であってもよい。他の場合では、指生成入力によって生じるコンテンツの変化は、画像ディスプレイデバイス101によって表示される、別のアイテムの別の選択へのアイテムの選択の変化であってもよい。さらに他の場合では、指生成入力によって生じるコンテンツの変化は、画像ディスプレイデバイス101のディスプレイを横断したオブジェクト(例えば、写真、コンピュータ生成画像、漫画等)の移動であってもよく、移動は、ユーザ50の視認平面(例えば、X-Y平面)内において、またはユーザ50の視認深度に沿って(例えば、Z-軸に沿って)生じてもよい。また、ある場合には、コンテンツのサイズの変化は、画像ディスプレイデバイス101によって表示されているオブジェクト(例えば、写真、コンピュータ生成画像、漫画等)のサイズの変化であってもよい。
処理ユニット204によって検出された指アクションは、処理ユニット204によって、種々の異なるコマンド(電子信号の実施例)を決定するために使用されてもよく、処理ユニット204は、画像ディスプレイデバイス101がコマンドに基づいて表示されているコンテンツを変化させることを可能にするために、そのようなコマンドを画像ディスプレイデバイス101に伝送してもよい(無線で、または有線接続を通して)ことに留意されたい。非限定的実施例として、検出されたタッチ移動(図11Aに示されるもののように)から決定されるコマンドは、画像ディスプレイデバイス101によって処理され、要素を標的化する、カーソルの移動を制御する、画像ディスプレイデバイス101の視認画面の平面内でナビゲートすること等を行なってもよい。検出された上向きまたは下向きスワイプ(図10Aに示されるもののように)から決定されるコマンドは、単純グリッドおよびリストレイアウト内のコンテンツをスクロールするために、画像ディスプレイデバイス101によって処理されてもよい。検出された左または右スワイプ(図10Bに示されるもののように)から決定されるコマンドは、画像ディスプレイデバイス101による表示のために、現在の視認フレームに対して、次のページに移動する、異なるセクションに移動すること等のために、画像ディスプレイデバイス101によって処理されてもよい。2本の指のタッチおよびスクロールアクション(図11Bに示されるもののように)から決定されるコマンドは、画像ディスプレイデバイス101によって表示されるコンテンツの慣性スクロールを提供するために、画像ディスプレイデバイス101によって処理されてもよい(すなわち、2本の指のタッチが、ゆっくりと移動される場合、ページが、ゆっくりとかつ精密にスクロールし、2本の指のタッチが、急速スワイプで移動される場合、ページが一気に捲られる)。ピンチアクション(図12Aに示されるもののように)またはピンチ解除アクション(図12Bに示されるもののように)から決定されるコマンドは、画像ディスプレイデバイス101によって表示されるオブジェクトのサイズを変化させるために、画像ディスプレイデバイス101によって処理されてもよい。割り当てられた第1の面積206内の検出された長押し(図14に示されるもののように)から決定されるコマンドは、画像ディスプレイデバイス101による表示のための、メニューを開く、ブラウザを開く、アプリケーションを開くこと等のために、画像ディスプレイデバイス101によって処理されてもよい。割り当てられた第1の面積206内の検出されたタップアクション(図15に示されるもののように)または「トリガ」ボタン上のタップアクション(図16Bに示されるもののように)から決定されるコマンドは、画像ディスプレイデバイス101による表示のための、付加的機能メニューを開くこと等のために、画像ディスプレイデバイス101によって処理されてもよい。処理ユニット204によって生成されたコマンドによって生じる上記の機能は、実施例にすぎない。他の実施形態では、上記に説明される同一の検出された指アクションは、説明される実施例と異なる他の機能を実施するための他の異なるコマンドを生成するために使用されてもよい。
また、いくつかの実施形態では、検出された指アクションのシーケンスから決定されるコマンドのシーケンスは、ユーザ50が種々のタスクを画像ディスプレイデバイス101によって表示されるコンテンツ上で実施することを可能にするために、処理ユニット204から画像ディスプレイデバイス101に伝送されてもよい。例えば、コマンドのシーケンスは、オブジェクトおよびコンテンツ抽出の3D設置のために、処理ユニット204によって提供されてもよい。1つの実装では、ユーザ50は、「トリガボタン」を長押し、画像ディスプレイデバイス101によって表示されるオブジェクトを握持し、次いで、第1の割り当てられた面積206を使用して、タッチ移動を実施し、握持されたオブジェクトを移動させ、次いで、「トリガボタン」を解放し、オブジェクトを所望の場所に設置する。いくつかの実施形態では、オブジェクトは、「トリガ」ボタンが押下されている限り、握持され、「トリガ」ボタンが解放されるとすぐに、ドロップされる。そのような場合、ユーザ50は、一方の手を使用して、「トリガ」ボタンを押下してもよい一方、他方の手は、握持されたオブジェクトを移動させるために使用される。代替として、オブジェクトが握持された後、ユーザは、「トリガ」ボタンを解放することができ、オブジェクトは、依然として、握持されたままであろう。そのような場合、ユーザは、同一手を使用して、握持されたオブジェクトを移動させることができる。握持されたオブジェクトが、望ましく設置された後、ユーザは、次いで、「トリガ」ボタンをタップまたは長押し、握持されたオブジェクトを解放することができる。3D設置特徴は、ユーザ50が、画像ディスプレイデバイス101によって表示される任意のオブジェクトを移動させることを可能にし得る。例えば、ユーザ50は、画像をアプリケーション内にドラッグおよびドロップするために、スライドショーを構成するために、ウェブスライダを移動させるために等、上記の特徴を使用してもよい。いくつかの実施形態では、オブジェクトが、握持されている間、ユーザ50は、割り当てられた第1の面積206および/または頭部姿勢を使用して、握持されたオブジェクトを移動させることができ、割り当てられた第1の面積206を使用して、握持されたオブジェクトを回転させることができ(図13に示されるもののように、2本の指の半径方向移動を使用して)、割り当てられた第1の面積206を使用して、握持されたオブジェクトをスケーリングすることができる(図12A/12Bに示されるもののように、ピンチまたはピンチ解除アクションを使用して)。
別の実施例として、処理ユニット204は、ユーザ50によるあるスワイプアクションを検出し、それに応答して、ユーザ50がテキスト(例えば、英語文字、他の言語における表音文字または表意文字、数字、句読点、特殊文字、記号、絵文字、テキストグラフィック等)を打ち込むがことを可能にするためのテキストボックスを提供してもよい。本スワイプ/タイプ特徴は、ユーザ50がテキストおよび他の情報を打ち込むための高速かつ便宜的方法を提供し得る。
いくつかの実施形態では、割り当てられた面積206上で実施される指アクションを使用して生成された入力信号に加え、装置200の処理ユニット204はまた、装置200の配向と関連付けられる、センサ信号を取得し、入力信号とセンサ信号の組み合わせを使用して、画像ディスプレイデバイス101によって表示されているコンテンツの変化を生じさせてもよい。特に、処理ユニット204は、入力信号とセンサ信号の組み合わせに基づいて、コマンドを決定してもよく、そのようなコマンドを画像ディスプレイデバイス101に伝送してもよい。画像ディスプレイデバイス101は、次いで、コマンドを処理し、コマンドに基づいて、コンテンツを変化させる。代替として、処理ユニット204は、入力信号に関する第1のコマンドと、センサ信号に関する第2のコマンドとを決定してもよく、両コマンドを画像ディスプレイデバイス101に伝送してもよい。画像ディスプレイデバイス101は、次いで、コマンドを処理し、両コマンドに基づいて、コンテンツを変化させる。
例えば、いくつかの実施形態では、装置200はさらに、装置200の配向を感知するための配向センサを含む。配向センサは、慣性測定ユニット(IMU)または他のタイプの配向センサのいずれかであってもよい。そのような場合、処理ユニット204は(1)指生成入力信号および(2)装置の感知された配向の両方に基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるための電子信号を生成するように構成されてもよい。
ある場合には、指生成入力信号は、ユーザ50のピンチまたはピンチ解除アクションと関連付けられ得る。そのような場合、装置、すなわち、処理ユニット204は、(1)ピンチまたはピンチ解除アクションと関連付けられる入力信号と、(2)装置200の感知された配向とに基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるための電子信号を生成するように構成されてもよい。例えば、処理ユニット204は、(1)ピンチまたはピンチ解除アクションが、装置200が第1の配向にある間、装置200によって感知される場合、コンテンツを第1の平面において収縮または拡張させるための電子信号を生成し、(2)ピンチまたはピンチ解除アクションが、装置200が第1の配向と異なる第2の配向にある間、装置200によって感知される場合、コンテンツを第2の平面において収縮または拡張させるための電子信号を生成するように構成されてもよく、第2の平面は、第1の平面と異なる。いくつかの実施形態では、装置200は、装置200の長軸が、水平平面と、45°未満、またはより好ましくは、30°未満の角度を形成するとき、第1の配向を有すると見なされ得る。また、装置200は、装置200の長軸が、垂直平面と、45°未満、またはより好ましくは、30°未満の角度を形成するとき、第2の配向を有すると見なされ得る。
加えて、コンテンツが、装置が第1の配向にあることに起因して、収縮または拡張する、第1の平面は、コンテンツが、装置が第2の配向にあることに起因して、収縮または拡張する、第2の平面と垂直であってもよい。例えば、第1の平面は、仮想3次元環境内のY-Z平面であってもよく、第2の平面は、仮想3次元環境内のX-Y平面を含む。
他の実施形態では、ユーザ50のピンチまたはピンチ解除アクションの代わりに、入力信号は、他のタイプの指生成アクションから生じてもよい。例えば、入力信号は、ユーザ50によって実施されるスワイプアクションから生じてもよい。そのような場合、装置、すなわち、処理ユニット204は、(1)スワイプアクションと関連付けられる入力信号と、(2)装置200の感知された配向とに基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるための電子信号を生成するように構成されてもよい。
例えば、処理ユニット204は、(1)ピンチまたはピンチ解除アクションが、装置200が第1の配向にある間、装置200によって感知される場合、コンテンツを第1の平面において移動させるための電子信号を生成し、(2)ピンチまたはピンチ解除アクションが、装置200が第1の配向と異なる第2の配向にある間、装置200によって感知される場合、コンテンツを第2の平面において移動させるための電子信号を生成するように構成されてもよく、第2の平面は、第1の平面と異なる。いくつかの実施形態では、装置200は、装置200の長軸が、水平平面と、45°未満、またはより好ましくは、30°未満の角度を形成するとき、第1の配向を有すると見なされ得る。また、装置200は、装置200の長軸が、垂直平面と、45°未満、またはより好ましくは、30°未満の角度を形成するとき、第2の配向を有すると見なされ得る。
加えて、コンテンツが、装置が第1の配向にあることに起因して移動する、第1の平面は、コンテンツが、装置が第2の配向にあることに起因して移動する、第2の平面と垂直であってもよい。例えば、第1の平面は、仮想3次元環境内のY-Z平面であってもよく、第2の平面は、仮想3次元環境内のX-Y平面を含む。
いくつかの実施形態では、コンテンツは、仮想3次元環境内にあって、処理ユニット204は、スワイプアクションが、装置200の配向が水平平面と略平行である(例えば、水平平面から±30°の角度を形成する)間、装置200によって感知されるとき、コンテンツをユーザ50のより近くまたはそこからより遠くに移動させることによって、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるための電子信号を生成するように構成される。処理ユニット204はまた、スワイプアクションが、装置200の配向が水平平面と略垂直である(例えば、垂直平面から±30°の角度を形成する)間、装置200によって感知されるとき、画像ディスプレイデバイス101によって表示されるコンテンツを3次元環境内の垂直平面において移動させるための電子信号を生成するように構成される。
いくつかの実施形態では、処理ユニット204は、装置200の感知された配向に基づいて、コンテンツを1つ以上の方向に拡張させるための電子信号を生成するように構成される。例えば、装置200が、第1の配向(例えば、直立配向)にある場合、電子信号は、コンテンツを装置200の第1の配向と対応する第1の方向に拡張させるようにコマンドしてもよい。装置200が、第2の配向(例えば、表が上の配向)にある場合、電子信号は、コンテンツを装置200の第2の配向と対応する第2の方向に拡張させるようにコマンドしてもよい。
また、いくつかの実施形態では、処理ユニット204は、装置200の感知された配向に基づいて、コンテンツを移動または回転させるための電子信号を生成するように構成される。
さらに、いくつかの実施形態では、装置200はさらに、装置200の移動を感知するための移動センサを含み、処理ユニット204は、装置200の感知された移動に基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させる(例えば、移動させる)ための電子信号を生成するように構成される。移動センサは、加速度計、または移動および/または移動方向を検出し得る、他のコンポーネントのいずれかを含んでもよい。
図19Aおよび19Bは、上記に説明される特徴のうちのいくつかの実施例を図示する。特に、図19Aは、装置の表が上の配向にある間の、図6の装置上で実施される、指アクションの実施例と、表示されるコンテンツに及ぼされる対応する効果の実施例とを図示する。図19Bは、装置が直立配向にある間の、図6の装置上で実施される、指アクションの実施例と、表示されるコンテンツに及ぼされる対応する効果の実施例とを図示する。図19Aに示されるように、装置が、表が上の配向においてユーザ50によって保持されているとき、ユーザ50は、(1)画像ディスプレイデバイス101によって表示されるオブジェクト402をY-軸を中心として回転させための、装置200の画面202の割り当てられた第1の面積206上の2本の指の半径方向移動400aと、(2)オブジェクト402をZ-軸に沿ってさらに離れるように移動させるための、装置200の画面202の割り当てられた第1の面積206上での垂直スワイプ移動400bと、(3)オブジェクト402をZ-軸に沿ってサイズを増加させるための、装置200の画面202の割り当てられた第1の面積206上でのピンチ解除移動400cとを実施してもよい。他方では、図19Bに示されるように、装置が、直立配向にユーザ50によって保持されているとき、ユーザ50は、(1)オブジェクト402をZ-軸を中心として回転するように画像ディスプレイデバイス101によって表示させるための、装置200の画面202の割り当てられた第1の面積206上での2本の指の半径方向移動410aと、(2)オブジェクト402をY-軸に沿って上(または下)に移動させるための、装置200の画面202の割り当てられた第1の面積206上での垂直スワイプ移動410bと、(3)オブジェクト402をY-軸に沿ってサイズ増加させるための、装置200の画面202の割り当てられた第1の面積206上でのピンチ解除移動410cとを実施してもよい。故に、装置200の配向に応じて、同一指アクションは、画像ディスプレイデバイス101によって表示されるコンテンツ上で異なる効果を達成するであろう。
いくつかの実施形態では、処理ユニット204は、指アクション入力および/または配向センサ信号の6つの異なるシナリオを検出し、対応する制御信号を生成し、それぞれ、6つの異なる自由度において、画像ディスプレイデバイス101によって表示されるオブジェクトを移動させるように構成されてもよい。例えば、指アクション入力および/または配向センサ信号に基づいて、画像ディスプレイデバイス101によって表示されるオブジェクトは、X-軸に沿って平行移動され、Y-軸に沿って平行移動され、Z-軸に沿って平行移動され、X-軸を中心として回転し、Y-軸を中心として回転し、Z-軸を中心として回転してもよい。
いくつかの実施形態では、装置200の処理ユニット204によって生成された電子信号はまた、画像ディスプレイデバイス101の画面を視認しているユーザ50が、処理ユニット204によって検出されている指アクションを確認し得るように、画像ディスプレイデバイス101にタッチヒントを表示させてもよい。例えば、ユーザ50が、2本の指のタッチ移動を画面202の第1の割り当てられた面積206上で実施し、画像ディスプレイデバイス101によって表示されているオブジェクトを慣性移動させている場合、2本の指のタッチ移動の検出に基づいて処理ユニット204によって生成された電子信号は、画像ディスプレイデバイス101に伝送されてもよく、これは、次いで、グラフィック(タッチヒント)を表示し、ユーザ50に、2本の指のタッチ移動を実施していることを知らせる。同一特徴は、他のタイプの検出された指アクションに適用されてもよい。したがって、画像ディスプレイデバイス101は、ユーザ50に異なる個別の指アクションが装置200によって検出されていることを知らせるために、異なる指アクションインジケータを表示してもよい。
1つ以上の実施形態では、本明細書に説明される任意の特徴は、装置200の処理ユニット204および/または画像ディスプレイデバイス101の処理ユニット130によって実施されてもよいことに留意されたい。故に、装置200の処理ユニット204によって実施されるように本明細書に説明される1つ以上の特徴は、代替として、画像ディスプレイデバイス101の処理ユニット130によって、または装置200の処理ユニット204と画像ディスプレイデバイス101の処理ユニット130の組み合わせによって、実施されてもよい。同様に、画像ディスプレイデバイス101の処理ユニット130によって実施されるように本明細書に説明される1つ以上の特徴は、代替として、装置200の処理ユニット204によって、または装置200の処理ユニット204と画像ディスプレイデバイス101の処理ユニット130の組み合わせによって、実施されてもよい。
(ジェスチャハンドオフ)
いくつかの実施形態では、画像ディスプレイデバイス101は、ユーザ50の手のジェスチャを検出するためのカメラを含んでもよく、画像ディスプレイデバイス101の処理ユニット130は、検出されたジェスチャを解釈し、画像ディスプレイデバイス101を動作させるための対応する制御信号を生成してもよい。いくつかの実施形態では、割り当てられた第1の面積206上でユーザ50によって実施されるジェスチャは、所望の動作を達成するために、画像ディスプレイデバイス101のカメラによって検出されたジェスチャと組み合わせられてもよい。例えば、いくつかの実施形態では、装置200は、コンテンツをその画面上に表示してもよく、ユーザ50は、ピンチアクションを装置200の画面上で実施し、表示されるコンテンツを抽出してもよい。処理ユニット204は、装置200を使用して実施されるピンチアクションを検出し、それをコンテンツを抽出するための制御信号として解釈する。ユーザ50は、次いで、ピンチ解除アクションを画像ディスプレイデバイス101のカメラの視野内で実施してもよい。画像ディスプレイデバイス101は、ピンチ解除アクションを検出し、それをコンテンツを画像ディスプレイデバイス101の画面によって提示される(またはそれを通して視認可能である)ある場所に設置するための制御信号として解釈する。故に、装置200によって実施されるジェスチャ検出は、画像ディスプレイデバイス101によって実施されるジェスチャ検出と組み合わせられ、装置200によって表示されるコンテンツおよび/または画像ディスプレイデバイス101によって表示されるコンテンツに作用してもよい。
別の実施例では、画像ディスプレイデバイス101は、コンテンツをその画面上に表示してもよく、ユーザ50は、ピンチアクションを画像ディスプレイデバイス101のカメラの正面で実施し、表示されるコンテンツを抽出してもよい。画像ディスプレイデバイス101の処理ユニット130は、カメラによって捕捉されるようなピンチアクションを検出し、それをコンテンツを抽出するための制御信号として解釈する。ユーザ50は、次いで、ピンチ解除アクションを装置200上で実施してもよい。装置200は、ピンチ解除アクションを検出し、それをコンテンツを装置200の画面によって提示されるある場所に設置するための制御信号として解釈する。
また、いくつかの実施形態では、装置200によって表示されるコンテンツは、コンテンツを装置200において選択し、コンテンツを装置200のディスプレイ面積の縁に移動させる(例えば、タッチ移動、スワイプ等によって)ことによって、画像ディスプレイデバイス101の「環境」に移動されてもよい。処理ユニット204が、コンテンツがディスプレイの縁に移動されたことを検出すると、処理ユニット204は、次いで、コンテンツが画像ディスプレイデバイス101のディスプレイ画面に移動されるべきであることを決定する。装置200は、次いで、制御信号を伝送し、コンテンツを画像ディスプレイデバイス101によって表示させる。コンテンツが、装置200の画面から画像ディスプレイデバイス101の画面に「移動された」後、ユーザ50は、次いで、装置200を使用して(例えば、割り当てられた第1の面積206に作用し、コンテンツを移動させる、コンテンツのサイズを変更する等)、および/または画像ディスプレイデバイス101のカメラによる検出のために、手のジェスチャを使用することによって、さらなる動作をコンテンツ上で実施してもよい。
いくつかの実施形態では、装置200の画面から画像ディスプレイデバイス101の画面(またはその逆)へのコンテンツの「移動」は、時間的連続性を提供するように実行されてもよい。例えば、コンテンツが装置200の画面上で消失するとすぐに、画像ディスプレイデバイス101の処理ユニット130は、直ちに、画像ディスプレイデバイス101の画面による表示のために、コンテンツの画像を生成および提供してもよい。他の実施形態では、装置200の画面から画像ディスプレイデバイス101の画面(またはその逆)へのコンテンツの「移動」は、任意の時間的連続性を伴わずに実行されてもよい。例えば、コンテンツが装置200の画面上で消失した後、画像ディスプレイデバイス101の画面による表示のためのコンテンツの画像を提供するために、遅延が存在してもよい。
また、いくつかの実施形態では、装置200の画面から画像ディスプレイデバイス101の画面(またはその逆)へのコンテンツの「移動」は、空間連続性を提供するように実行されてもよい。例えば、装置200の画面上のコンテンツが、コンテンツを画像ディスプレイデバイス101の画面に移動させるために、ディスプレイの右縁に移動される場合、コンテンツが装置200の画面外に移動されるとすぐに、画像ディスプレイデバイス101は、直ちに、コンテンツを画像ディスプレイデバイス101の画面の左縁の隣に表示してもよい。同様に、別の実施例として、画像ディスプレイデバイス101の画面上のコンテンツが、コンテンツを装置200の画面に移動させるために、ディスプレイの右縁に移動される場合、コンテンツが、画像ディスプレイデバイス101の画面外に移動されるとすぐに、装置200は、直ちに、コンテンツを装置200の画面の左縁の隣に表示してもよい。
他の実施形態では、装置200の画面から画像ディスプレイデバイス101の画面(またはその逆)へのコンテンツの「移動」は、任意の空間連続性を伴わずに、実行されてもよい。例えば、装置200の画面上のコンテンツが、画面外に移動された後、コンテンツは、常時、画像ディスプレイデバイス101の画面上の所定の場所(例えば、中心)に現れてもよい。
一使用実施例では、上記の特徴は、ユーザ50が、ポーカーゲームにおいて、カードを配ることを可能にするために実装されてもよい。例えば、ユーザ50は、装置200を使用して、スワイプアクションを実施し、ポーカーのカードを割り振ってもよい。ポーカーのカードは、装置200の画面外に移動し得、画像ディスプレイデバイス101の画面上に(または別のユーザが使用している、別の画像ディスプレイデバイスの画面上であって、他の画像ディスプレイデバイスは、インターネット、Wi-Fi等のネットワークを介して、画像ディスプレイデバイス101と通信してもよい)現れ得る。
また、いくつかの実施形態では、ユーザのジェスチャを検出するための画像ディスプレイデバイス101のカメラが、ユーザ50が指アクション入力を装置200上で実施している間、ユーザの手を視認するために使用されてもよい。そのような場合、画像ディスプレイデバイス101の処理ユニット130は、ユーザ50による指アクションを検出し、装置200によって検出された指ジェスチャの検出を照合してもよい。
加えて、いくつかの実施形態では、画像ディスプレイデバイス101は、ユーザ50が装置200を使用しているかどうかを検出するように構成される。ユーザ50が、入力を打ち込むために、装置200を使用している場合、画像ディスプレイデバイス101は、そのジェスチャ検出カメラを無効にしてもよい。代替として、いくつかの実施例では、ユーザ50が、入力を打ち込むために、装置200を使用している場合、画像ディスプレイデバイス101は、そのカメラを有効に保ち、単に、1つ以上のジェスチャ検出プロセスをカメラによって捕捉された画像上で実施することを控えてもよい。ユーザ50が、その指を装置200の画面から離れるように持ち上げるとすぐに、画像ディスプレイデバイス101は、次いで、ジェスチャ検出カメラをアクティブ化し、カメラがジェスチャ検出機能を引き継ぐことを可能にしてもよい。1つの実装では、画像ディスプレイデバイス101の処理ユニット130は、装置200がユーザ50の指アクションによって生成された入力を受信する限り、画像ディスプレイデバイス101のジェスチャ検出カメラを無効にするように構成される。処理ユニット130は、ユーザ50がその指を装置200の画面から離れるように持ち上げるとすぐに、信号を装置200から受信するように構成されてもよい。そのような信号に応答して、処理ユニット130は、次いで、画像ディスプレイデバイス101のジェスチャ検出カメラをアクティブ化し、カメラによって検出されたジェスチャがディスプレイデバイスデバイス101のための入力画像として使用されることを可能にする。
(処理ユニットおよび/または処理ユニット内のアプリケーションによって実施される方
法)
法)
図20は、いくつかの実施形態による、方法500を図示する。方法500は、処理ユニット204および/または装置200の処理ユニット204内のアプリケーションによって実施されてもよい。方法500は、装置200の画面202の第1の面積206を画像ディスプレイデバイス101のユーザ50の指アクションを感知するために割り当てるステップを含み、画像ディスプレイデバイス101は、ユーザによって頭部装着されるために構成され、装置200は、画像ディスプレイデバイス101と異なる(アイテム502)。画像ディスプレイデバイス101は、図1-4に示されるもののいずれかであってもよい。方法500はまた、装置101の画面202の割り当てられた第1の面積206によって感知されるユーザの指アクションに基づいて、画像ディスプレイデバイス101によって表示されるコンテンツの変化を生じさせるための電子信号を生成するステップを含む、(アイテム504)。
いくつかの実施形態では、電子信号は、ジェスチャ認識に基づいて、処理ユニット204によって、または処理ユニット204内のアプリケーションによって決定された、コマンドであってもよい。電子信号は、装置200によって、画像ディスプレイデバイス101の処理ユニット130に伝送されてもよく、これは、次いで、電子信号に基づいて、コンテンツを変化させる。代替として、装置200が、画像ディスプレイデバイス101による表示のためのコンテンツの提供に関わる場合、処理ユニット204は、それが提供する電子信号に基づいて、表示されているコンテンツを変化させてもよい。したがって、電子信号は、直接または間接的に、画像ディスプレイデバイス101によって表示されるコンテンツの変化を生じさせてもよい。
随意に、方法500では、画面202は、タッチセンサ式領域210を有し、割り当てられた第1の面積206は、タッチセンサ式領域210の総面積未満である。
随意に、方法500はさらに、割り当てられた第1の面積206の一部ではない、かつ割り当てられたボタンの一部ではない、タッチセンサ式領域210の一部を使用してユーザ50によって生成された入力を無視するステップを含んでもよい。
随意に、方法500はさらに、ユーザ50の指アクションに応答して、フィードバックコンポーネントを動作させるための制御信号を生成するステップを含んでもよい。
随意に、方法500では、第1の面積は、境界を有し、ユーザ50の指アクションは、ユーザの指が、境界を交差する、そこに到達する、またはそこからの事前に規定された距離内の場所に移動することを含む。
随意に、方法500では、第1の面積206は、基準場所を少なくとも部分的に囲繞する、1つ以上の境界を有し、制御信号は、ユーザ50の指が基準場所から事前に規定された距離に到達することに応答して、フィードバックコンポーネントを動作させるためのものである。
随意に、方法500はさらに、第1の面積206に対するユーザ50の1本以上の指間の異なる個別の空間関係に基づいて、フィードバックコンポーネントを動作させ、異なる個別のタイプのフィードバックを生成するための異なる制御信号を生成するステップを含む。
随意に、方法500では、異なるタイプのフィードバックは、第1の振幅を伴う、第1の触覚的インパルスと、第1の振幅と異なる第2の振幅を伴う、第2の触覚的インパルスとを含む。
随意に、方法500では、異なるタイプのフィードバックは、第1の触覚的インパルスの数と、第1の数と異なる第2の触覚的インパルスの数とを含む。
随意に、方法500では、異なるタイプのフィードバックは、第1の周波数を伴う、第1の一連の触覚的インパルスと、第1の周波数と異なる第2の周波数を伴う、第2の一連の触覚的インパルスとを含む。
随意に、方法500では、異なる個別の空間関係は、(1)ユーザの1本以上の指のうちの1本、または2本の指間の点と、(2)割り当てられた第1の面積206内の基準場所との間の異なる距離を含む。
随意に、方法500では、基準場所は、割り当てられた第1の面積206の中心を含む。
随意に、方法500では、異なる距離は、閾値を超える。
随意に、方法500では、異なる個別の空間関係は、1本以上の指のうちの1本、または2本の指間の点が、割り当てられた第1の面積206の境界からの異なる個別の距離に到達することを含む。
随意に、方法500では、割り当てられた第1の面積206は、第1の境界と、第2の境界とを有し、異なるタイプのフィードバックは、少なくとも第1のタイプのフィードバックと、第2のタイプのフィードバックとを含み、フィードバックコンポーネントは、ユーザ50の1本以上の指が、第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動したとき、第1のタイプのフィードバックを生成するように動作され、フィードバックコンポーネントは、ユーザ50の1本以上の指が、第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動したとき、第2のタイプのフィードバックを生成するように動作される。
随意に、方法500では、第1の境界は、割り当てられた第1の面積206の左または右境界を含み、第2の境界は、上または下境界を含む。
随意に、方法500では、フィードバックコンポーネントを動作させるための制御信号は、スワイプ方向に基づく。
随意に、方法500はさらに、画面202の割り当てられた第1の面積210上でユーザ50によって実施される、ピンチまたはピンチ解除アクションと関連付けられる入力信号を受信するステップを含む。
随意に、方法500では、電子信号は、ピンチまたはピンチ解除アクションと関連付けられる入力信号に応答して、画像ディスプレイデバイス101によって表示されるコンテンツのサイズを変化させるためのものである。
随意に、方法500はさらに、装置200の配向を配向センサから取得するステップを含み、電子信号は、ピンチまたはピンチ解除アクションと関連付けられる入力信号および装置200の配向に基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるためのものである。
随意に、方法500では、コンテンツは、ピンチまたはピンチ解除アクションが、装置200が第1の配向にある間、割り当てられた第1の面積206によって感知される場合、コンテンツを第1の平面において収縮または拡張させることによって変化され、コンテンツは、ピンチまたはピンチ解除アクションが、装置200が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積206によって感知される場合、コンテンツを第2の平面において収縮または拡張させることによって変化され、第2の平面は、第1の平面と異なる。
随意に、方法500では、装置200は、装置の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、方法500では、装置200は、装置の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、方法500では、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、方法500では、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、方法500では、第1の平面は、第2の平面と垂直である。
随意に、方法500はさらに、画面202の割り当てられた第1の面積206上でユーザ50によって実施される、スワイプアクションと関連付けられる入力信号を受信するステップを含む。
随意に、方法500では、電子信号は、感知されたスワイプアクションに応答して、画像ディスプレイデバイス101によって表示されるコンテンツを移動させるためのものである。
随意に、方法500はさらに、装置200の配向を配向センサから取得するステップを含み、電子信号は、スワイプアクションと関連付けられる入力信号および装置200の配向に基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるためのものである。
随意に、方法500では、コンテンツは、スワイプアクションが、装置200が第1の配向にある間、割り当てられた第1の面積206によって感知される場合、コンテンツを第1の平面において移動させることによって変化され、コンテンツは、スワイプアクションが、装置200が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積206によって感知される場合、コンテンツを第2の平面において移動させることによって変化され、第2の平面は、第1の平面と異なる。
随意に、方法500では、装置200は、装置200の長軸が、水平平面と、45°未満の角度を形成するとき、第1の配向を有する。
随意に、方法500では、装置200は、装置200の長軸が、垂直平面と、45°未満の角度を形成するとき、第2の配向を有する。
随意に、方法500では、第1の平面は、仮想3次元環境内のY-Z平面を含み、第2の平面は、仮想3次元環境内のX-Y平面を含む。
随意に、方法500では、第1の平面および第2の平面は、仮想3次元環境に対する。
随意に、方法500では、第1の平面は、第2の平面と垂直である。
随意に、方法500では、コンテンツは、仮想3次元環境内にあって、制御信号は、スワイプアクションが、装置200の配向が水平平面と略平行である間、割り当てられた第1の面積206によって感知されるとき、画像ディスプレイデバイス101によって表示されるコンテンツをユーザのより近くまたはそこからより遠くに移動させるためのものである。
随意に、方法500では、コンテンツは、仮想3次元環境内にあって、制御信号は、スワイプアクションが装置200の配向が水平平面と略垂直である間、割り当てられた第1の面積206によって感知されるとき、画像ディスプレイデバイス101によって表示されるコンテンツを3次元環境内の垂直平面において移動させるためのものである。
随意に、方法500はさらに、装置200の感知された配向を示すセンサ入力を取得するステップを含み、電子信号は、装置200の感知された配向を示すセンサ入力に基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるためのものである。
随意に、方法500では、制御信号は、装置200の感知された配向を示すセンサ入力に基づいて、コンテンツを1つ以上の方向に拡張させることによって、コンテンツを変化させるためのものである。
随意に、方法500では、制御信号は、装置200の感知された配向を示すセンサ入力に基づいて、コンテンツを回転させることによって、コンテンツを変化させるためのものである。
随意に、方法500では、制御信号は、装置200の感知された配向を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるためのものである。
随意に、方法500はさらに、装置200の感知された移動を示すセンサ入力を取得するステップを含み、制御信号は、装置200の感知された移動を示すセンサ入力に基づいて、画像ディスプレイデバイス101によって表示されるコンテンツを変化させるためのものである。
随意に、方法500では、電子信号は、装置200の感知された移動を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるためのものである。
随意に、方法500では、装置200は、ハンドヘルド装置である。
随意に、ハンドヘルド装置は、携帯電話、スマートフォン、携帯情報端末(PDA)、またはタブレットを含む。
随意に、方法500では、画面202の割り当てられた第1の面積206は、画面202の割り当てられた第1の面積206がユーザ50の指アクションを感知している間、オブジェクトを表示させない。
随意に、方法500はさらに、画面202を動作させ、ドットのグリッドを画面202の割り当てられた第1の面積206内に表示するステップを含む。
随意に、方法500はさらに、ユーザ50が、ドットのうちの1つ以上のものが表示される、画面202の割り当てられた第1の面積206の一部にタッチすることに応答して、ドットのうちの1つ以上のものの特徴を変化させるステップを含む。
随意に、方法500はさらに、画面の第2の面積202を第1のボタンとして割り当てるステップを含む。
随意に、方法500では、第1のボタンは、「ホーム」ボタンである。
随意に、方法500はさらに、画面202の第3の面積を第2のボタンとして割り当てるステップを含む。
随意に、方法500では、第2のボタンは、「トグル」ボタンである。
随意に、方法500はさらに、画面202の第4の面積を第3のボタンとして割り当てるステップを含む。
随意に、方法500では、第3のボタンは、「バンパ」ボタンである。
随意に、方法500はさらに、ユーザ50が画面の割り当てられた第2の面積にタッチすることに応答して、画面202の第2の面積をキーボードアクティブ化ボタンとして割り当てるステップと、画面202を動作させ、キーボードを表示するステップとを含む。
随意に、方法500はさらに、画像ディスプレイデバイス101と無線で通信するステップを含む。
随意に、方法500はさらに、ケーブルを介して、画像ディスプレイデバイス101と通信するステップを含む。
随意に、方法500では、装置200は、命令を記憶する非一過性媒体を備え、画面202の第1の面積206をユーザ50の指アクションを感知するために割り当てる行為は、命令に基づいて実施される。
随意に、方法500では、コンテンツの変化は、コンテンツのサイズの変化、コンテンツの位置の変化、コンテンツの形状の変化、コンテンツの色の変化、コンテンツ内の情報の置換、コンテンツ内の情報の量の増減、または前述の任意の組み合わせを含む。
いくつかの実施形態では、方法500はさらに、1本の指のタッチ移動、2本の指のタッチ移動、1本の指のスワイプ、2本の指スワイプ、2本の指のピンチ、2本の指のピンチ解除、2本の指の半径方向移動、タップ、二重タップ、または前述の任意の組み合わせ等のジェスチャまたは指アクションを検出するステップと、対応する検出されたジェスチャまたは指アクションのためのコマンドを決定するステップと、コマンドを画像ディスプレイデバイスに伝送するステップとを含んでもよい。
また、1つ以上の実施形態では、方法500における任意の特徴(例えば、機能、アイテム、ステップ等)は、装置200の処理ユニット204および/または画像ディスプレイデバイス101の処理ユニット130によって実施されてもよい。
(特殊処理システム)
いくつかの実施形態では、本明細書に説明される方法500は、アプリケーションを実行する処理ユニット204によって、またはアプリケーションによって実施されてもよい。アプリケーションは、命令のセットを含有してもよい。1つの実装では、アプリケーションのための命令のセットを記憶する非一過性媒体を有する、特殊処理システムが、提供されてもよい。装置200の処理ユニット204による命令の実行は、処理ユニット204に、本明細書に説明される特徴を実施させるであろう。図21に示されるように、いくつかの実施形態では、特殊処理システムは、1つ以上のサーバ600を含んでもよい。アプリケーションのための命令610を記憶する非一過性媒体は、装置200が、インターネットを通して等、ネットワークを通してダウンロードするための命令610のセットを提供するように構成される、サーバ600内に実装されてもよい。サーバ600は、装置200から命令610のセットをダウンロードするための要求を取得し、要求を処理し、要求および/または要求の処理に基づいて、命令610のセットを提供するように構成されてもよい。
いくつかの実施形態では、サーバ600による要求の処理は、装置200を照合するステップ、装置200のユーザ50を照合するステップ、装置200のブランドを決定するステップ、装置200のモデルを決定するステップ、または前述の任意の組み合わせを含んでもよい。
サーバ600は、ユニークな有形効果を実世界内に提供するために装置の処理ユニットによる実行のための命令を含有するという点で、特殊処理システムであることに留意されたい。サーバ600によって提供される特徴は、本明細書に説明されるように、画像ディスプレイデバイスおよびシステムの技術における改良を提供する。
非限定的実施例として、サーバ600によって提供される命令610は、装置200の画面202の第1の面積206を指アクションを感知するために割り当てる、装置200の画面202の第2の面積240を第1のボタンとして割り当てる、画面202の第3の面積250を第2のボタンとして割り当てる、画面202の第4の面積260を第3のボタンとして割り当てる、画面202の別の面積270をキーボードアクティブ化ボタンとして割り当てる、装置の画面の割り当てられた第1の面積によって感知されるユーザの指アクションに基づいて、画像ディスプレイデバイスによって表示されるコンテンツの変化を生じさせるための電子信号を生成する、割り当てられた第1の面積の一部ではない、かつ割り当てられたボタンの一部ではない、タッチセンサ式領域の一部を使用してユーザによって生成された入力を無視する、ユーザの指アクションに応答して、フィードバックコンポーネントを動作させるための制御信号を生成する、ユーザの指が基準場所から事前に規定された距離に到達することに応答して、フィードバックコンポーネントを動作させる、第1の面積に対するユーザの1本以上の指間の異なる個別の空間関係に基づいて、フィードバックコンポーネントを動作させ、異なる個別のタイプのフィードバックを生成するための異なる制御信号を生成する、ユーザの1本以上の指が、第1の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、フィードバックコンポーネントを動作させ、第1のタイプのフィードバックを生成する、ユーザの1本以上の指が、第2の境界を交差する、そこに到達する、またはそこから事前に規定された距離内の場所に移動するとき、フィードバックコンポーネントを動作させ、第2のタイプのフィードバックを生成する、スワイプ方向に基づいて、フィードバックコンポーネントを動作させる、ピンチまたはピンチ解除アクションと関連付けられる入力信号に応答して、画像ディスプレイデバイスによって表示されるコンテンツのサイズを変化させるための電子信号を生成する、装置の配向を配向センサから取得する、ピンチまたはピンチ解除アクションと関連付けられる入力信号および装置の配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成する、感知されたスワイプアクションに応答して、画像ディスプレイデバイスによって表示されるコンテンツを移動させるための電子信号を生成する、スワイプアクションと関連付けられる入力信号および装置の配向に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成する、第1の平面においてスワイプアクションが、装置が第1の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを移動させるための電子信号を生成する、第2の平面においてスワイプアクションが、装置が第1の配向と異なる第2の配向にある間、割り当てられた第1の面積によって感知される場合、コンテンツを移動させるための電子信号を生成する(第2の平面は、第1の平面と異なる)、スワイプアクションが、装置の配向が水平平面と略平行である間、割り当てられた第1の面積によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツをユーザのより近くまたはそこからより遠くに移動させるための電子信号を生成する、スワイプアクションが、装置の配向が水平平面と略垂直である間、割り当てられた第1の面積によって感知されるとき、画像ディスプレイデバイスによって表示されるコンテンツを3次元環境内の垂直平面において移動させるための電子信号を生成する、装置の感知された配向を示すセンサ入力に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成する、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを1つ以上の方向に拡張させることによって、コンテンツを変化させるための電子信号を生成する、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを回転させることによって、コンテンツを変化させるための電子信号を生成する、装置の感知された配向を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるための電子信号を生成する、装置の感知された移動を示すセンサ入力を取得する、装置の感知された移動を示すセンサ入力に基づいて、画像ディスプレイデバイスによって表示されるコンテンツを変化させるための電子信号を生成する、装置の感知された移動を示すセンサ入力に基づいて、コンテンツを移動させることによって、コンテンツを変化させるための電子信号を生成する、割り当てられた第1の面積が、画面の割り当てられた第1の面積がユーザの指アクションを感知している間、オブジェクトを表示させないように、画面の割り当てられた第1の面積のピクセルをオフにする、装置の画面を動作させ、ドットのグリッドを画面の割り当てられた第1の面積内に表示する、ユーザが、ドットのうちの1つ以上のものが表示されている、画面の割り当てられた第1の面積の一部にタッチすることに応答して、ドットのうちの1つ以上のものの特徴を変化させる、または前述のいずれかの任意の組み合わせのための命令を含んでもよい。
また、サーバ600によって提供される命令610は、1本の指のタッチ移動、2本の指のタッチ移動、1本の指のスワイプ、2本の指スワイプ、2本の指のピンチ、2本の指のピンチ解除、2本の指の半径方向移動、タップ、二重タップ、または前述の任意の組み合わせ等のジェスチャまたは指アクションを検出する、対応する検出されたジェスチャまたは指アクションのためのコマンドを決定する、コマンドを画像ディスプレイデバイスに伝送するための命令を含んでもよい。
他の実施形態では、装置200はまた、特殊処理システムと見なされ得る。特に、装置200は、ユニークな有形効果を実世界内に提供するために、処理ユニット204による実行のためのその非一過性媒体内に記憶される命令を含有するという点で、特殊処理システムである。装置200によって提供される特徴(処理ユニット204が命令を実行する結果として)は、本明細書に説明されるように、画像ディスプレイデバイスおよびシステムの技術における改良を提供する。
図22は、本明細書に説明される種々の特徴を実装するために使用され得る、特殊処理システム1600の実施形態を図示する、ブロック図である。例えば、いくつかの実施形態では、処理システム1600は、サーバ600のうちの1つ以上のものを実装するために使用されてもよい。他の実施形態では、処理システム1600は、装置200を実装するために使用されてもよい。処理システム1600は、バス1602または情報を通信するための他の通信機構と、情報を処理するためにバス1602と結合される、プロセッサ1604とを含む。プロセッサシステム1600はまた、情報およびプロセッサ1604によって実行されるべき命令を記憶するためにバス1602に結合される、ランダムアクセスメモリ(RAM)または他の動的記憶デバイス等のメインメモリ1606を含む。メインメモリ1606はまた、プロセッサ1604によって実行されるべき命令の実行の間、一時的変数または他の中間情報を記憶するために使用されてもよい。プロセッサシステム1600はさらに、静的情報およびプロセッサ1604のための命令を記憶するためにバス1602に結合される、読取専用メモリ(ROM)1608または他の静的記憶デバイスを含む。磁気ディスク、ソリッドステートディスク、または光ディスク等のデータ記憶デバイス1610が、提供され、情報および命令を記憶するためにバス1602に結合される。
プロセッサシステム1600は、情報をユーザに表示するために、バス1602を介して、画面等のディスプレイ1612に結合されてもよい。ある場合には、処理システム1600が、タッチスクリーンを含む、装置の一部である場合、ディスプレイ1612は、タッチスクリーンであってもよい。英数字および他のキーを含む、入力デバイス1614が、情報およびコマンド選択をプロセッサ1604に通信するために、バス1602に結合される。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ1604に通信するための、かつディスプレイ1612上のカーソル移動を制御するための、マウス、トラックボール、またはカーソル方向キー等のカーソル制御1616である。本入力デバイスは、典型的には、デバイスが平面内の位置を規定することを可能にする、2つの軸、すなわち、第1の軸(例えば、x)および第2の軸(例えば、y)における2自由度を有する。ある場合には、処理システム1600が、タッチスクリーンを含む、装置の一部である場合、入力デバイス1614およびカーソル制御は、タッチスクリーンであってもよい。
いくつかの実施形態では、プロセッサシステム1600は、本明細書に説明される種々の機能を実施するために使用されることができる。いくつかの実施形態によると、そのような使用は、プロセッサ1604がメインメモリ1606内に含有される1つ以上の命令の1つ以上のシーケンスを実行することに応答して、プロセッサシステム1600によって提供される。当業者は、本明細書に説明される機能および方法に基づいて、そのような命令を準備する方法を把握するであろう。そのような命令は、記憶デバイス1610等の別のプロセッサ可読媒体からメインメモリ1606の中に読み込まれてもよい。メインメモリ1606内に含有される命令のシーケンスの実行は、プロセッサ1604に、本明細書に説明されるプロセスステップを実施させる。マルチ処理配列における1つ以上のプロセッサもまた、メインメモリ1606内に含有される命令のシーケンスを実行するために採用されてもよい。代替実施形態では、有線回路構成が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本明細書に説明される種々の実施形態を実装するために使用されてもよい。したがって、実施形態は、ハードウェア回路構成とソフトウェアの任意の具体的組み合わせに限定されない。
用語「プロセッサ可読媒体」は、本明細書で使用されるように、命令を実行のためにプロセッサ1604に提供することに関わる、任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとってもよい。不揮発性媒体は、例えば、記憶デバイス1610等の光学、ソリッドステート、または磁気ディスクを含む。不揮発性媒体は、非一過性媒体の実施例と見なされ得る。揮発性媒体は、メインメモリ1606等の動的メモリを含む。揮発性媒体は、非一過性媒体の実施例と見なされ得る。伝送媒体は、バス1602を備えるワイヤを含む、同軸ケーブル、銅ワイヤ、および光ファイバを含む。伝送媒体はまた、無線波および赤外線データ通信の間に生成されるもの等の音響または光波の形態をとることができる。
一般的形態のプロセッサ可読媒体は、例えば、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、孔のパターンを伴う任意の他の物理的媒体、RAM、PROM、およびEPROM、FLASH(登録商標)-EPROM、ソリッドステートディスク、任意の他のメモリチップまたはカートリッジ、以降に説明されるようなキャリア波、またはそこからプロセッサが読み取り得る、任意の他の媒体を含む。
種々の形態のプロセッサ可読媒体が、実行のために、1つ以上の命令の1つ以上のシーケンスをプロセッサ1604に搬送する際に関わり得る。例えば、命令は、最初に、遠隔コンピュータの磁気ディスクまたはソリッドステートディスク上で搬送され得る。遠隔コンピュータは、命令をその動的メモリの中にロードし、インターネット等のネットワークを経由して、命令を送信することができる。処理システム1600は、ネットワークラインに関するデータを受信することができる。バス1602は、データをメインメモリ1606に搬送し、そこから、プロセッサ1604は、命令を読み出し、実行する。メインメモリ1606によって受信された命令は、随意に、プロセッサ1604による実行の前または後のいずれかにおいて、記憶デバイス1610上に記憶され得る。
処理システム1600はまた、バス1602に結合される、通信インターフェース1618を含む。通信インターフェース1618は、ローカルネットワーク1622に接続される、ネットワークリンク1620への双方向データ通信結合を提供する。例えば、通信インターフェース1618は、データ通信接続を互換性があるLANに提供するためのローカルエリアネットワーク(LAN)カードであってもよい。無線リンクもまた、実装されてもよい。任意のそのような実装では、通信インターフェース1618は、種々のタイプの情報を表すデータストリームを搬送する、電気、電磁、または光学信号を送信および受信する。
ネットワークリンク1620は、典型的には、1つ以上のネットワークを通して、データ通信を他のデバイスに提供する。例えば、ネットワークリンク1620は、ローカルネットワーク1622を通して、接続をホストコンピュータ1624または機器1626に提供してもよい。ネットワークリンク1620を経由してトランスポートされるデータストリームは、電気、電磁、または光学信号を含むことができる。種々のネットワークを通した信号、およびネットワークリンク1620上、および処理システム1600におよびそこからデータを搬送する、通信インターフェース1618を通した信号は、情報をトランスポートするキャリア波の例示的形態である。処理システム1600は、ネットワーク、ネットワークリンク1620、および通信インターフェース1618を通して、メッセージを送信し、プログラムコードを含む、データを受信することができる。
本明細書に説明される装置200は、説明される機能性および特徴を有するように限定されず、装置200は、画像ディスプレイデバイス101と併用するための他の特徴を提供するように構成されてもよいことに留意されたい。また、上記に述べられたように、いくつかの実施例では、そのような機能性および特徴のいくつかまたは全ては、少なくとも部分的に、装置200上で起動するアプリケーション(本明細書では、「アプリ」とも称される)を用いて、提供されてもよい。非限定的実施例として、装置200は、ユーザ50が、画像ディスプレイデバイス101の使用と関連付けられるアカウントにサインアップする、アアカウント上に設定された証明書を使用して、アプリケーションにログインする、アカウントの証明書を読み出す、またはリセットする、ユーザプロファイルを切り替える、デバイス間でユーザアカウントデータを自動的に同期させる、画像ディスプレイデバイス101の使用と関連付けられる、アカウントを管理する、画像ディスプレイデバイス101の構成および使用を管理する、画像ディスプレイデバイス101のための補助学習およびサポート機能性を取得する、画像ディスプレイデバイス101および/または装置200をトラブルシュートするためのヘルプを取得する、アカウントと関連付けられる、プライバシ、セキュリティ、およびデータポリシにアクセスする、アプリストアにアクセスし、画像ディスプレイデバイスデバイス101および/または装置200のためのアプリケーションを取得する、アプリのための検索クエリを実施する、アプリ詳細ページを閲覧する、注文または購入履歴を閲覧する、プッシュ配信通知(例えば、アプリケーション更新等)を受信する、ローカルデバイスからメディア抽出を実施する、メディアファイル(例えば、写真、ビデオ等)を開く、個々のメディアファイルを選択し、画像ディスプレイデバイス101に送信する、個々の中間ファイルを選択し、画像ディスプレイデバイス101から装置200に送信する、画像ディスプレイデバイス101の使用に関する通知(例えば、画像ディスプレイデバイスデバイス101のためのアプリケーションからの通知)を受信する、第3者開発者から画像ディスプレイデバイス101の使用に関する通知を受信する、画像ディスプレイデバイスデバイス101のための異なるアプリに関するスマートフォン通知設定を管理する、画像ディスプレイデバイス101または他の画像ディスプレイデバイスを見出す、画像ディスプレイデバイス101のバッテリステータスを取得する、画像ディスプレイデバイス101を装置200上にミラーリングする(画像ディスプレイデバイス101の画面上に表示されるコンテンツ、および/または画面を通して視認され、画像ディスプレイデバイス101のカメラによって捕捉されるような、ユーザ50を囲繞する環境が、装置200による表示のために、装置200に送信されてもよい)、または前述の任意の組み合わせを行うことを可能にするように構成されてもよい。装置200の処理ユニット204は、装置200に上記の特徴のうちの1つ以上のものを提供するための命令を実行するように構成されてもよい。
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載された。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物(本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず)は、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の1つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形アイテムの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「a」、「an」、「said」、および「the」は、別様に具体的に述べられない限り、複数の言及を含む。さらに、任意の請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
本開示の範疇は、提供される実施例および/または本主題の明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。
Claims (20)
- タッチセンサ式ディスプレイと、
フィードバックコンポーネントと、
1つ以上のプロセッサと
を備える装置であって、
前記1つ以上のプロセッサは、前記タッチセンサ式ディスプレイおよび前記フィードバックコンポーネントに動作可能に結合され、かつ、ウェアラブルデバイスに通信可能に結合され、前記1つ以上のプロセッサは、
前記ウェアラブルデバイスから、前記ウェアラブルデバイスのユーザが前記タッチセンサ式ディスプレイを視認しているかどうかを示すデータを受信することと、
前記データに基づいて、(i)前記1つ以上のプロセッサがユーザインターフェースを前記タッチセンサ式ディスプレイ上に提示するように構成される第1のモードと、(ii)前記1つ以上のプロセッサが前記フィードバックコンポーネントを介して前記ユーザインターフェースの1つ以上の部分を前記ユーザに伝達するように構成される第2のモードとの間で切り替えることと
を実行するように構成される、装置。 - 前記フィードバックコンポーネントは、触覚的アクチュエータである、請求項1に記載の装置。
- 前記フィードバックコンポーネントは、スピーカである、請求項1に記載の装置。
- 前記ユーザインターフェースは、前記ウェアラブルデバイスの1つ以上の機能を制御するためのグラフィカルユーザインターフェースである、請求項1に記載の装置。
- 前記グラフィカルユーザインターフェースは、複数のグラフィカル制御要素を含む、請求項4に記載の装置。
- 前記第2のモードにあるときに、前記1つ以上のプロセッサは、前記複数のグラフィカル制御要素のうちの1つ以上を前記タッチセンサ式ディスプレイ上に提示することを控えるように構成される、請求項5に記載の装置。
- 前記第2のモードにあるときに、前記1つ以上のプロセッサは、限定されたバージョンの前記グラフィカルユーザインターフェースを前記タッチセンサ式ディスプレイ上に提示するように構成される、請求項5に記載の装置。
- 前記タッチセンサ式ディスプレイ上の前記限定されたバージョンの前記グラフィカルユーザインターフェースは、前記複数のグラフィカル制御要素のうちの1つ以上のグラフィカル制御要素が示されないもの、前記複数のグラフィカル制御要素のうちの1つ以上のグラフィカル制御要素の明度レベルが低減されるもの、またはそれらの組み合わせである、請求項7に記載の装置。
- 前記第2のモードにあるときに、前記1つ以上のプロセッサは、前記複数のグラフィカル制御要素のうちの1つ以上のグラフィカル制御要素が他の態様で前記第1のモードで提示される前記タッチセンサ式ディスプレイ上の1つ以上の場所を伝達するように構成される、請求項5に記載の装置。
- 前記第2のモードにおいて伝達される前記タッチセンサ式ディスプレイ上の前記1つ以上の場所は、他の態様で前記第1のモードで提示される前記複数のグラフィカル制御要素の1つ以上の外側境界に対応する、請求項9に記載の装置。
- 前記グラフィカル制御要素は、前記ウェアラブルデバイスと関連付けられる専用入力コントローラの複数の物理的ユーザ入力コンポーネントに対応する、請求項5に記載の装置。
- 前記1つ以上のプロセッサは、前記タッチセンサ式ディスプレイの面積を前記ユーザの異なる指グライディングアクションを感知するために割り当てるように構成される、請求項1に記載の装置。
- 前記装置は、前記フィードバックコンポーネントを動作させるための制御信号の提供のために前記割り当てられた面積の周辺部分を監視するように構成され、前記制御信号の提供のために監視されている前記割り当てられた面積の前記周辺部分は、前記タッチセンサ式ディスプレイの一辺の少なくとも大半にわたって連続的に延在している、請求項12に記載の装置。
- 前記データは、カメラデータを含む、請求項1に記載の装置。
- プロセッサ実装方法であって、
ウェアラブルデバイスから、前記ウェアラブルデバイスのユーザがタッチセンサ式ディスプレイを視認しているかどうかを示すデータを受信することと、
前記データに基づいて、(i)ユーザインターフェースが前記タッチセンサ式ディスプレイ上に提示される第1のモードと、(ii)フィードバックコンポーネントを介して前記ユーザインターフェースの1つ以上の部分が前記ウェアラブルデバイスの前記ユーザに伝達される第2のモードとの間で切り替えることと
を含む、プロセッサ実装方法。 - 前記データが、ユーザが前記タッチセンサ式ディスプレイを視認していることを示し、前記切り替えることは、前記第1のモードに切り替えることを含む、請求項15に記載の方法。
- 前記データが、前記ユーザが前記タッチセンサ式ディスプレイを視認していないことを示し、前記切り替えることは、前記第2のモードに切り替えることを含む、請求項15に記載の方法。
- 前記データは、カメラデータを含む、請求項15に記載の方法。
- 前記タッチセンサ式ディスプレイの面積を前記ユーザの異なる指グライディングアクションを感知するために割り当てることをさらに含む、請求項15に記載の方法。
- 前記フィードバックコンポーネントを動作させるための制御信号の提供のために前記割り当てられた面積の周辺部分を監視することをさらに含み、前記制御信号の提供のために監視されている前記割り当てられた面積の前記周辺部分は、前記タッチセンサ式ディスプレイの一辺の少なくとも大半にわたって連続的に延在している、請求項19に記載の方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862688108P | 2018-06-21 | 2018-06-21 | |
US62/688,108 | 2018-06-21 | ||
PCT/US2019/038462 WO2019246516A1 (en) | 2018-06-21 | 2019-06-21 | Methods and apparatuses for providing input for head-worn image display devices |
JP2020570463A JP7382972B2 (ja) | 2018-06-21 | 2019-06-21 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570463A Division JP7382972B2 (ja) | 2018-06-21 | 2019-06-21 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024010181A true JP2024010181A (ja) | 2024-01-23 |
Family
ID=68981024
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570463A Active JP7382972B2 (ja) | 2018-06-21 | 2019-06-21 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
JP2023189938A Pending JP2024010181A (ja) | 2018-06-21 | 2023-11-07 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570463A Active JP7382972B2 (ja) | 2018-06-21 | 2019-06-21 | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US20190391391A1 (ja) |
EP (2) | EP4325438A3 (ja) |
JP (2) | JP7382972B2 (ja) |
CN (1) | CN112585564A (ja) |
WO (1) | WO2019246516A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD936697S1 (en) * | 2017-09-21 | 2021-11-23 | Yuri Hosokuni | Display screen with a graphical interface for an electronic game |
USD891460S1 (en) | 2018-06-21 | 2020-07-28 | Magic Leap, Inc. | Display panel or portion thereof with a transitional graphical user interface |
USD878396S1 (en) | 2018-06-21 | 2020-03-17 | Magic Leap, Inc. | Display panel or portion thereof with a graphical user interface |
KR20210015489A (ko) * | 2019-08-02 | 2021-02-10 | 삼성전자주식회사 | 휠 입력을 처리하는 전자 장치 및 이의 동작 방법 |
US11733789B1 (en) * | 2019-09-30 | 2023-08-22 | Snap Inc. | Selectively activating a handheld device to control a user interface displayed by a wearable device |
CA3171396A1 (en) | 2020-02-17 | 2021-08-26 | TK&H Holding AS | Hearing aid system integrable in an eyeglass frame |
CN114201030A (zh) * | 2020-09-16 | 2022-03-18 | 华为技术有限公司 | 设备交互方法、电子设备及交互系统 |
TWI839578B (zh) * | 2020-10-21 | 2024-04-21 | 宏碁股份有限公司 | 3d顯示系統與3d顯示方法 |
CN114397996A (zh) * | 2021-12-29 | 2022-04-26 | 杭州灵伴科技有限公司 | 交互提示方法、头戴式显示设备和计算机可读介质 |
CN118244934A (zh) * | 2022-12-23 | 2024-06-25 | 北京小米移动软件有限公司 | 信息交互方法及装置、电子设备、存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0601216L (sv) * | 2006-05-31 | 2007-12-01 | Abb Technology Ltd | Virtuell arbetsplats |
US8964298B2 (en) | 2010-02-28 | 2015-02-24 | Microsoft Corporation | Video display modification based on sensor input for a see-through near-to-eye display |
US9196134B2 (en) | 2012-10-31 | 2015-11-24 | Immersion Corporation | Method and apparatus for simulating surface features on a user interface with haptic effects |
US9395816B2 (en) * | 2013-02-28 | 2016-07-19 | Lg Electronics Inc. | Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same |
US20140285352A1 (en) * | 2013-03-20 | 2014-09-25 | Lg Electronics Inc. | Portable device and visual sensation detecting alarm control method thereof |
JP6308214B2 (ja) * | 2013-05-15 | 2018-04-11 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
KR102213212B1 (ko) | 2014-01-02 | 2021-02-08 | 삼성전자주식회사 | 멀티윈도우 제어 방법 및 이를 지원하는 전자 장치 |
US9679538B2 (en) * | 2014-06-26 | 2017-06-13 | Intel IP Corporation | Eye display interface for a touch display device |
US20160054791A1 (en) * | 2014-08-25 | 2016-02-25 | Daqri, Llc | Navigating augmented reality content with a watch |
US9767613B1 (en) | 2015-01-23 | 2017-09-19 | Leap Motion, Inc. | Systems and method of interacting with a virtual object |
US20170061700A1 (en) | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
JP6548956B2 (ja) | 2015-05-28 | 2019-07-24 | 株式会社コロプラ | システム、方法、およびプログラム |
US10338673B2 (en) * | 2015-09-16 | 2019-07-02 | Google Llc | Touchscreen hover detection in an augmented and/or virtual reality environment |
JP6174646B2 (ja) | 2015-09-24 | 2017-08-02 | 株式会社コロプラ | 仮想空間内のオブジェクトを3軸操作するためのコンピュータ・プログラム |
JP6062085B1 (ja) | 2015-12-25 | 2017-01-18 | 株式会社日本デジタル研究所 | 入力インターフェース制御システム、方法およびプログラム |
US20170293351A1 (en) | 2016-04-07 | 2017-10-12 | Ariadne's Thread (Usa), Inc. (Dba Immerex) | Head mounted display linked to a touch sensitive input device |
US10275023B2 (en) * | 2016-05-05 | 2019-04-30 | Google Llc | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality |
KR20170126295A (ko) * | 2016-05-09 | 2017-11-17 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
EP3472828B1 (en) * | 2016-06-20 | 2022-08-10 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
JP6630654B2 (ja) | 2016-11-02 | 2020-01-15 | 株式会社リコー | プログラム、方法、情報処理装置および映像表示システム |
JP2017045472A (ja) | 2016-11-11 | 2017-03-02 | 株式会社コロプラ | タッチパネル式装置によるヘッドマウントディスプレイ上のポインタ操作が可能なシステム、プログラム、及び方法 |
US10768747B2 (en) * | 2017-08-31 | 2020-09-08 | Apple Inc. | Haptic realignment cues for touch-input displays |
-
2019
- 2019-06-21 WO PCT/US2019/038462 patent/WO2019246516A1/en active Application Filing
- 2019-06-21 EP EP23218626.2A patent/EP4325438A3/en active Pending
- 2019-06-21 CN CN201980054294.7A patent/CN112585564A/zh active Pending
- 2019-06-21 JP JP2020570463A patent/JP7382972B2/ja active Active
- 2019-06-21 EP EP19823120.1A patent/EP3811183B1/en active Active
- 2019-06-21 US US16/448,452 patent/US20190391391A1/en not_active Abandoned
-
2023
- 2023-05-05 US US18/312,886 patent/US20230273431A1/en active Pending
- 2023-11-07 JP JP2023189938A patent/JP2024010181A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7382972B2 (ja) | 2023-11-17 |
WO2019246516A1 (en) | 2019-12-26 |
EP3811183A4 (en) | 2021-08-04 |
JP2021527275A (ja) | 2021-10-11 |
EP3811183A1 (en) | 2021-04-28 |
US20230273431A1 (en) | 2023-08-31 |
CN112585564A (zh) | 2021-03-30 |
EP3811183B1 (en) | 2024-01-03 |
US20190391391A1 (en) | 2019-12-26 |
EP4325438A2 (en) | 2024-02-21 |
EP4325438A3 (en) | 2024-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7382972B2 (ja) | 頭部装着型画像ディスプレイデバイスのための入力を提供するための方法および装置 | |
AU2020356572B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
US11875013B2 (en) | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments | |
US12032803B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
CN116719452A (zh) | 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 | |
CN111324250B (zh) | 三维形象的调整方法、装置、设备及可读存储介质 | |
US11429246B2 (en) | Device, method, and graphical user interface for manipulating 3D objects on a 2D screen | |
US20180366091A1 (en) | Hmd device and method for controlling same | |
US11422380B2 (en) | Eyewear including virtual scene with 3D frames | |
JP2015158748A (ja) | 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、ウェアラブル機器 | |
KR102413074B1 (ko) | 사용자 단말, 전자 장치 및 이들의 제어 방법 | |
CN115191006B (zh) | 用于所显示的2d元素的3d模型 | |
US20230106627A1 (en) | Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
CN117897680A (zh) | 基于物理动作的增强现实通信交换 | |
US20240281110A1 (en) | Electronic device for displaying icon, its operation method, and non-transitory storage medium | |
US20240152245A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments | |
US20240103681A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments | |
US11733789B1 (en) | Selectively activating a handheld device to control a user interface displayed by a wearable device | |
JP2015158747A (ja) | 制御装置、情報処理装置、制御方法、情報処理方法、情報処理システム、およびウェアラブル機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231107 |