KR102472428B1 - 광-방출 사용자 입력 디바이스 - Google Patents

광-방출 사용자 입력 디바이스 Download PDF

Info

Publication number
KR102472428B1
KR102472428B1 KR1020197034642A KR20197034642A KR102472428B1 KR 102472428 B1 KR102472428 B1 KR 102472428B1 KR 1020197034642 A KR1020197034642 A KR 1020197034642A KR 20197034642 A KR20197034642 A KR 20197034642A KR 102472428 B1 KR102472428 B1 KR 102472428B1
Authority
KR
South Korea
Prior art keywords
light
user
user input
totem
input device
Prior art date
Application number
KR1020197034642A
Other languages
English (en)
Other versions
KR20200003391A (ko
Inventor
제임스 엠. 파우더리
사반나 나일스
크리스토퍼 데이비드 네슬라덱
이시오마 오사그벰위노루 아즈
마샬 에이. 폰테인
하니 아와드
윌리엄 휠러
브라이언 데이비드 슈왑
브라이언 버크너
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20200003391A publication Critical patent/KR20200003391A/ko
Application granted granted Critical
Publication of KR102472428B1 publication Critical patent/KR102472428B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103—Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

광 방출 사용자 입력 디바이스는, (예컨대, 사용자의 엄지손가락으로부터) 사용자 입력을 받아들이도록 구성된 터치 감지부 및 광 패턴을 출력하도록 구성된 광 방출부를 포함할 수 있다. 광 패턴은 사용자가 사용자 입력 디바이스와 상호작용하는 것을 보조하는 데 사용될 수 있다. 예들은 다중-자유도(multi-degree-of-freedom)를 에뮬레이팅하는 것, 스크롤링 또는 스와이핑 액션들을 표시하는 것, 디바이스 인근의 오브젝트들의 존재를 표시하는 것, 통지들의 수신을 표시하는 것, 다른 디바이스와 사용자 입력 디바이스의 페어링을 보조하는 것, 또는 사용자 입력 디바이스의 교정을 보조하는 것을 포함한다. 광 방출 사용자 입력 디바이스는, 웨어러블 디바이스, 이를테면, 예컨대 머리 장착 디스플레이 디바이스에 사용자 입력을 제공하는 데 사용될 수 있다.

Description

광-방출 사용자 입력 디바이스
[0001] 본 출원은, 2017년 4월 27일 출원되고 발명의 명칭이 "LIGHT-EMITTING USER INPUT DEVICE"인 미국 가출원 번호 제62/490,863호를 35 U.S.C.§119(e) 하에서 우선권으로 주장하며, 그리하여, 이 출원의 개시내용은 그 전체가 인용에 의해 본원에 포함된다.
[0002] 본 개시내용은 가상 현실 및 증강 현실 이미징 및 시각화 시스템들에 관한 것으로, 보다 구체적으로 이미징 및 시각화 시스템들과 연관된 광 방출 사용자 입력 디바이스에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", "증강 현실", 또는 "혼합 현실" 경험들을 위한 시스템들의 개발을 가능하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 일부들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 전형적으로 다른 실제 실세계 시각 입력에 대한 투명도 없이 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 증강 현실, 또는 "AR" 시나리오는 전형적으로 사용자 주변의 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 혼합 현실, 또는 "MR"은, 실제 및 가상 세계들을 병합하여 물리적 및 가상 오브젝트들이 공존하고 실시간으로 상호작용하는 새로운 환경들을 생성하는 것과 관련된다. 밝혀진 바와 같이, 인간 시각 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스런 느낌이고, 풍부한 프리젠테이션을 가능하게 하는 VR, AR 또는 MR 기술을 생성하는 것은 난제이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술에 관련된 다양한 난제들을 처리한다.
[0004] 광-방출 사용자 입력 디바이스의 예들이 개시된다. 사용자 입력 디바이스의 실시예들은 AR, VR, 또는 MR 디바이스에 입력을 제공하는 데 사용될 수 있다. 광-방출 사용자 입력 디바이스는 또한, AR/VR/MR 디바이스와 연관된 오브젝트들 또는 이벤트들의 시각 정보를 사용자의 환경 내의 사람들 또는 사용자에게 제공할 수 있다.
[0005] 광 방출 사용자 입력 디바이스는, (예컨대, 사용자의 엄지손가락으로부터) 사용자 입력을 받아들이도록(accept) 구성된 터치 감지부, 및 광 패턴을 출력하도록 구성된 광 방출부를 포함할 수 있다. 광 패턴은 사용자가 사용자 입력 디바이스와 상호작용하는 것을 보조하는 데 사용될 수 있다. 예들은 다중-자유도 제어기를 에뮬레이팅하는 것, 스크롤링 또는 스와이핑(swiping) 액션들을 표시하는 것, 디바이스 인근의 오브젝트들의 존재를 표시하는 것, 통지들의 수신을 표시하는 것, 사용자 입력 디바이스의 교정을 보조하는 것, 또는 다른 디바이스와 사용자 입력 디바이스의 페어링을 보조하는 것을 포함한다. 광 방출 사용자 입력 디바이스는, 머리 장착 디스플레이 시스템, 이를테면, 예컨대 혼합 현실 디스플레이 디바이스에 사용자 입력을 제공하는 데 사용될 수 있다.
[0006] 본 명세서에서 설명되는 청구 대상의 하나 이상의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 장점들은 설명, 도면들, 및 청구항들로부터 자명해질 것이다. 이 개요 또는 다음의 상세한 설명 어느 것도, 본 발명의 청구 대상의 범위를 한정하거나 제한하는 것으로 의도되지 않는다.
[0007] 도 1은 사람이 보는 특정 물리적 오브젝트들 및 특정 가상 현실 오브젝트들을 갖는 혼합 현실 시나리오의 예시를 묘사한다.
[0008] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0009] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0010] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0011] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출사 빔들을 도시한다.
[0012] 도 6은, 다-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략적 다이어그램이다.
[0013] 도 7은 웨어러블 시스템의 일 예의 블록 다이어그램이다.
[0014] 도 8은 인식된 오브젝트들에 관하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0015] 도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다.
[0016] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하는 방법의 예의 프로세스 흐름도이다.
[0017] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법의 예의 프로세스 흐름도이다.
[0018] 도 12a는 토템(totem)의 예의 측면 및 전방 (사용자-대면) 뷰들을 예시한다.
[0019] 도 12b는 토템의 다른 예의 평면도를 예시한다.
[0020] 도 13a는 토템의 예시적인 터치패드의 단면도를 예시한다.
[0021] 도 13b는 터치 스크린 기술들의 예들을 예시한다.
[0022] 도 13c 및 13d는 토템의 예시적인 터치패드의 추가적인 단면도들을 예시한다.
[0023] 도 13e는 예시적인 터치패드의 저면도를 예시한다.
[0024] 도 14a는 토템의 예시적인 터치패드의 평면도를 예시한다.
[0025] 도 14b는 터치패드와 연관된 LED들의 예시적인 레이아웃의 개요를 예시한다.
[0026] 도 15는 예시적인 LED 레이아웃들 또는 LED 레이아웃으로부터의 광 패턴들을 예시한다.
[0027] 도 16a 및 16b는 토템의 광 방출들의 예시적인 배치 또는 움직임 패턴들을 예시한다.
[0028] 도 17a는 토템의 예시적인 컴포넌트들을 예시하는 블록 다이어그램이다.
[0029] 도 17b는 다른 예시적인 토템의 컴포넌트들을 예시하는 측단면도이다.
[0030] 도 18a-18d는 토템의 헤일로(halo)로부터의 광 방출들에 대한 배치 또는 움직임 패턴들을 구성하기 위한 예시적인 프로그래밍 인터페이스를 예시한다.
[0031] 도 19a-19c는 토템으로부터의 광 방출들의 헤일로를 사용하는 토템 교정의 예들을 예시한다.
[0032] 도 19d 및 19e는 헤일로와 연관된 광 패턴들을 사용하는 토템 교정의 예를 예시한다.
[0033] 도 20a 및 20b는 헤일로를 갖는 토템과 혼합 현실 디바이스 간의 무선 페어링 프로세스를 표시하는 예들을 예시한다.
[0034] 도 20c는 헤일로를 이용한 디바이스 페어링의 예시적인 프로세스를 예시한다.
[0035] 도 20d는 헤일로를 이용한 디바이스 페어링의 다른 예시적인 프로세스를 예시한다.
[0036] 도 21a는 토템의 상황을 표시하는 예를 예시한다.
[0037] 도 21b는 전력 공급 및 차단 프로세스(power on and off process) 동안의 광 배치 또는 움직임 패턴들의 예를 예시한다.
[0038] 도 21c는 배터리 충전 상황을 도시하는 광 배치 또는 움직임 패턴들의 예를 예시한다.
[0039] 도 21d는 토템이 슬립 모드에 들어갔을 때의 예시적인 광 패턴을 예시한다.
[0040] 도 21e는 광 배치 또는 움직임 패턴들에 기반하여 토템의 상황을 표시하는 예시적인 프로세스를 예시한다.
[0041] 도 22a 및 22b는 사용자 상호작용들을 위한 큐들로서 사용되는 예시적인 광 배치 또는 움직임 패턴들을 예시한다.
[0042] 도 22c는 이용가능한 사용자 인터페이스 동작의 표시를 제공하기 위해 광 패턴을 사용하는 다른 예를 예시한다.
[0043] 도 23은 부정확한 또는 부적절한 사용자 상호작용을 표시하기 위한 경고로서 광 패턴을 사용하는 예를 예시한다.
[0044] 도 24a는 스와이프 제스처(swipe gesture)를 위한 예시적인 광 패턴을 예시한다.
[0045] 도 24b는 터치 제스처를 위한 예시적인 광 패턴을 예시한다.
[0046] 도 24c는 토템에 대한 사용자 상호작용들을 위한 큐를 제공하는 예시적인 프로세스를 예시한다.
[0047] 도 25a는 광 가이드의 예시적인 상호작용방식 사용(interactive use )을 예시한다.
[0048] 도 25b는 2개의 상호작용가능한 구역들을 갖는 토템의 예시적인 상호작용방식 사용을 예시한다.
[0049] 도 25c는 토템과 상호작용하기 위한 예시적인 프로세스를 예시한다.
[0050] 도 26a 및 26b는 토템을 사용하여 물리적 오브젝트들과 상호작용하는 예들을 예시한다.
[0051] 도 27은 6DOF(six degrees-of-freedom) 토템으로 가상 오브젝트를 이동시키는 예를 예시한다.
[0052] 도 28a 및 28b는 광 패턴들의 배치 및 움직임을 통해 오브젝트들의 정보를 제공하는 예들을 예시한다.
[0053] 도 28c는 광 패턴들을 사용하여 오브젝트와 연관된 정보를 제공하기 위한 예시적인 프로세스를 예시한다.
[0054] 도 29a는 통지의 수신을 표시하는 예시적인 광 배치 또는 움직임 패턴들을 예시한다.
[0055] 도 29b는 토템에 대해 광 패턴들을 사용하여 통지를 제공하기 위한 예시적인 프로세스를 예시한다.
[0056] 도 30은 사용자의 환경 내의 사람에게 사용자의 현재 상호작용을 알리기 위해 사용될 수 있는 예시적인 광 패턴을 예시한다.
[0057] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
방출 사용자 입력 디바이스의 개요
[0058] 터치 감지 사용자 입력 디바이스는, 이를테면 스와이핑, 탭핑, 클릭킹, 누름 등과 같은 사용자 입력들을 지원할 수 있다. 예컨대, 사용자가 터치패드를 사용하여 웹사이트를 브라우징할 때, 사용자는 한 손가락(예컨대, 엄지손가락)을 사용하여, 왼쪽 및 오른쪽으로 스와이핑하여 웹페이지를 왼쪽 및 오른쪽으로 이동시키거나 또는 위 및 아래로 탭핑하여 웹페이지를 위 및 아래로 이동시킬 수 있다. 예컨대, 콘텐츠를 원하는 위치로 스냅핑하거나, 콘텐츠를 스크롤링 또는 리사이징하는 것과 같은 더 많은 사용자 인터페이스 기능성들을 달성하기 위해, 터치 감지 사용자 입력 디바이스는 종종 다수의 손가락들을 필요로 한다. 예컨대, 사용자는 2개의 손가락들을 사용하여 웹페이지를 확대하고 하나의 손가락을 사용하여 웹페이지 내에서 움직일 수 있다. 그러나, 터치패드가 웨어러블 디바이스(AR/VR/MR 웨어러블 디스플레이를 포함할 수 있음)를 위한 핸드헬드 사용자 입력 디바이스의 일부인 경우, 사용자는 터치패드와 상호작용하는 데 이용가능한 손가락들이 많지 않을 수 있다. 예컨대, 사용자는 엄지손가락을 사용하여 터치패드와 상호작용하면서, 다른 손가락들을 사용하여 토템을 홀딩할 수 있다. 결과적으로, 종래의 핸드헬드 디바이스들의 터치패드에 의해 달성될 수 있는 사용자 인터페이스 기능성들의 타입들이 상당히 감소될 수 있다.
[0059] 이 문제점을 개선하기 위해, 본원에서 설명된 토템의 실시예들의 터치패드는 다수의 상호작용가능한 구역들로 분할될 수 있으며, 여기서, 각각의 구역은 하나 이상의 타입들의 사용자 인터페이스 상호작용들에 맵핑될 수 있다. 예컨대, 터치패드는 터치패드의 중심 인근에 있는 터치 표면 및 터치 표면을 적어도 부분적으로 둘러싸는 외부 구역을 포함할 수 있다. 외부 구역은, 사용자가 토템과 상호작용하는 것을 보조하는 광 패턴들(예컨대, 광의 배치, 조명, 컬러 및/또는 움직임)을 출력하도록 구성된 광 가이드를 포함할 수 있다. 광 가이드에 의해 출력되는 광 패턴들은 본원에서 때때로 "헤일로"로서 지칭될 수 있는데, 이는 광 패턴들이 토템의 중앙의 터치-감지부를 둘러싸는 것처럼 나타날 수 있기 때문이다. 광 가이드는, 사용자가 광 가이드와 상호작용하고 광 가이드 구역을 통해 토템에 터치 감지 입력을 제공할 수 있도록 터치 센서의 최상부에 있을 수 있다. 사용자가 터치 표면을 작동시킬 때, 토템은 커서 액션들(이를테면, 예컨대 브라우저 상에서 앞뒤로 이동시킴)을 시뮬레이팅할 수 있다. 하지만, 만약 사용자가 다른 타입들의 사용자 인터페이스 동작들(이를테면, 예컨대 웹페이지를 스크롤링함)을 수행하기를 원한다면, 사용자는 광 가이드를 작동시킬 수 있다. 일부 예들에서, 광 가이드는 터치-감지식이 아닐 수도 있다. 사용자는 토템을 작동시키기 위해 광 가이드 인근의 구역(예컨대, 광 가이드에 의해 둘러싸일 수 있는, 터치 패드 상의 구역)을 작동시킬 수 있다.
[0060] 다른 예로서, 터치 표면은 2개의 상호작용가능한 구역들로 분할될 수 있으며, 하나의 구역은 사용자의 터치 액션들(이를테면, 예컨대 다중 DOF(degree of freedom) 방향성 d-패드의 기능들을 시뮬레이팅하는 것)을 지원하는 한편, 다른 구역은 사용자의 스와이핑 액션들을 지원한다. 2개의 상호작용가능한 구역들을 갖는 터치 표면은, (제1 상호작용가능한 구역으로서) 하나의 내부 링 및 (제2 상호작용가능한 구역으로서) 하나의 외부 링을 갖는 동심 링들을 포함할 수 있다. 이 예에서, 터치 표면을 둘러싸는 광 가이드는 상호작용가능하거나 또는 상호작용가능하지 않을 수도 있지만, 사용자의 상호작용들과 관련되거나 웨어러블 시스템과 관련된 시각 피드백을 제공할 수 있다. 본원에서 추가로 설명될 바와 같이, 상호작용가능한 구역에 의해 지원되는 사용자 상호작용들의 타입은 사용자가 상호작용하고 있는 오브젝트들 또는 가상 환경 내의 이벤트들에 기반하여 동적으로 변경될 수 있다. 예컨대, 외부 구역은 사용자가 웹을 브라우징할 때 d-패드로서 사용될 수 있는 반면, 동일한 구역은 사용자가 가상 게임을 플레이할 때 스와이프 상호작용(예컨대, 순환 스와이프)을 지원할 수 있다.
[0061] 일부 실시예들에서, 토템의 광 가이드는 사용자 상호작용들을 위한 큐들을 제공할 수 있다. 예컨대, 헤일로는 사용자에게 이용가능한 사용자 상호작용의 타입 및 위치를 알리거나 현재 사용자 상호작용들을 표시하기 위해 사용될 수 있다. 예로서, 광 가이드 아래의 LED(light emitting diode)는 사용자가 터치 표면의 일부를 터치 또는 탭핑할 수 있다는 것을 사용자에게 표시하기 위해 점등될 수 있으며, 여기서, LED는 웨어러블 디스플레이 상의 가상 엘리먼트를 선택하도록 점등된다. LED는 또한, 사용자 상호작용들의 표시들을 제공하거나 사용자 상호작용들을 안내하기 위해, 햅틱 피드백(예컨대, 토템 내의 햅틱 작동기에 의해 제공됨) 또는 오디오 피드백(예컨대, 웨어러블 디바이스의 스피커에 의해 제공됨)과 관련하여 사용될 수 있다.
[0062] 토템이 웨어러블 디바이스와 함께 사용될 때, 사용자 인터페이스 경험은 사용자를 둘러싸는 3D 환경으로 확장될 수 있다. 하지만, 웨어러블 디스플레이를 통해 지각되는 사용자의 FOV(field of view)는 인간 눈의 자연 FOV보다 더 작거나 사용자를 둘러싸는 전체 환경보다 더 작을 수 있다. 따라서, 사용자의 환경에는 물리적 또는 가상 오브젝트들이 있을 수 있는데, 이러한 오브젝트들은 초기에는 증강 현실 디스플레이의 FOV를 벗어나지만, 후속적으로 웨어러블 디스플레이의 FOV 내로 이동할 수 있거나(예컨대, 사용자에 대해 이동할 수 있는 오브젝트들), 또는 만약 사용자의 신체, 머리, 또는 눈 포즈가 변한다면(이는 사용자의 FOV를 변화시킬 것이다), 후속적으로 인지가능해질 수 있다. 예컨대, 게임의 맥락에서, 사용자는 로봇의 아바타를 찾고자 시도하고 있을 수 있다. 만약 로봇이 사용자의 현재 FOV를 막 벗어났다면, 사용자는 웨어러블 디스플레이로부터 로봇이 인근에 있다는 큐들을 수신하지 못할 수 있다. 만약 사용자가 자신의 머리를 약간 움직인다면, 로봇이 갑자기 사용자의 FOV에 들어갈 수 있는데, 이는 사용자를 깜짝 놀라게 할 수 있다. 추가로, 만약 웨어러블 디스플레이를 통한 사용자의 FOV가 비교적 작다면, 사용자가 자신의 머리를 돌리거나 로봇을 직접적으로 바라보지 않는 한 사용자가 로봇을 찾기가 어려울 수 있다.
[0063] 사용자 인터페이스 경험을 개선하기 위해, 토템은 사용자의 FOV를 벗어난 오브젝트들에 관한 정보를 제공할 수 있다. 예컨대, 토템은, 터치패드의 외부 구역 상에, 사용자의 현재 FOV를 벗어난 대응하는 오브젝트에 대한 시각 헤일로(예컨대, 광 가이드를 통해 방출됨)를 제공할 수 있다. 헤일로의 광 배치 또는 움직임 패턴은 오브젝트와 연관된 정보를 표시하는 데 사용될 수 있는데, 예컨대, 더 밝거나 더 큰 헤일로는 오브젝트가 FOV에 더 근접하다는 것을 표시할 수 있는 반면, 더 희미하거나 더 작은 헤일로는 오브젝트가 FOV로부터 더 멀리 있다는 것을 표시할 수 있다. 유사하게, 헤일로의 컬러는 오브젝트의 타입을 표시하는 데 사용될 수 있다. 예컨대, (가상 게임에서의) 경쟁자 아바타는 적색 헤일로와 연관될 수 있는 한편, (가상 게임에서의) 팀동료의 아바타는 녹색 헤일로와 연관될 수 있다. 다른 예로서, 플래싱 이리데슨트 헤일로(flashing iridescent halo)는 시스템 통지 또는 경고를 표시할 수 있다. 사용자의 환경 내의 오브젝트가 변함에 따라 또는 사용자가 포즈를 변화시킴에 따라, 헤일로의 광 패턴들이 변할 수 있다.
[0064] 추가적으로 또는 대안적으로, 헤일로의 광 패턴들은 프로세스의 진행을 표시하는 데 사용될 수 있다. 예컨대, 토템이 충전되는 동안, 토템은 배터리에 대한 충전 퍼센티지에 대응하는 헤일로를 디스플레이할 수 있다. 예컨대, 배터리가 단지 25% 충전될 때, 토템은 헤일로의 1/4(예컨대, 90도 아크)을 디스플레이할 수 있다. 배터리가 100%로 충전될 때, 토템은 전체 헤일로를 디스플레이할 수 있다. 헤일로의 광 배치 또는 움직임 패턴들은 또한, 사용자의 환경 내의 사람에게 사용자의 상호작용들의 표시를 제공할 수 있다. 예컨대, 사용자가 증강 현실 디바이스를 사용하여 비디오를 레코딩할 때, LED 헤일로가 적색으로 깜박여서, 디스플레이가 레코딩 모드에 있다는 것을 인근의 다른 사람들에게 강조(reinforce)할 수 있게 됨으로써, 인근의 다른 사람들이 사용자의 레코딩 세션을 우연하게 인터럽트하거나 방해하지 않게 될 것이다.
[0065] 본원에서 설명된 토템의 실시예들은 프로그램가능할 수 있다. 예컨대, 다양한 실시예들에서, 배치 또는 움직임 광 패턴들은 애플리케이션 개발자에 의해 또는 사용자에 의해 맞춤화될 수 있다. 헤일로는, (예컨대, API(application programming interface)를 통해) 사용자가 상호작용하고 있는 애플리케이션들의 타입들에 기반하여 맞춤화될 수 있다. 예로서, 사용자가 브라우저를 사용하고 있을 때, 터치패드의 광 가이드는 4-웨이 d-패드(위, 아래, 및 왼쪽 및 오른쪽 사용자 인터페이스 동작들에 대응함)에 맵핑될 수 있다. 다른 예로서, 사용자가 레이싱 게임을 페이싱할 때, 터치 표면의 외측 구역은 3-웨이 d-패드에 맵핑될 수 있으며, 여기서, 3-웨이 d-패드는 좌회전, 우회전 및 브레이크에 대응할 수 있다. 사용자는 또한, 헤일로의 광 배치 또는 움직임 패턴들을 맞춤화할 수 있다. 예컨대, 사용자는 헤일로를 턴 오프시키거나, 또는 이메일 통지들을 수신하는 것과 연관된 헤일로의 컬러를 변화시킬 수 있다. 사용자는, 웨어러블 디스플레이를 사용하여 또는 토템을 작동시킴으로써, 헤일로와 연관된 광 패턴들을 맞춤화할 수 있다. 토템, 헤일로, 및 토템 및 웨어러블 디바이스를 사용하는 사용자 인터페이스 상호작용들의 상세한 예들이 아래에서 설명된다.
[0066] 예시적인 토템들이 웨어러블 시스템(또는 임의의 타입의 AR, MR, 또는 VR 디바이스)과 함께 사용되는 것으로서 설명되지만, 본원에서 설명된 예시적인 토템들 및 기법들은 또한 다른 시스템들과 함께 사용될 수 있다. 예컨대, 토템들은 투사기 또는 디스플레이(예컨대, 텔레비전 또는 컴퓨터 디스플레이), 게이밍 시스템, 오디오 시스템, IoT(Internet of Things)의 연결가능한 디바이스들, 또는 다른 컴퓨팅 디바이스와 상호작용하는 데 사용될 수 있다.
웨어러블 시스템의 3D 디스플레이의 예들
[0067] 웨어러블 시스템(본원에서 AR(augmented reality) 시스템으로 또한 지칭됨)은 2D 또는 3D 가상 이미지들을 사용자에게 제공하도록 구성될 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오, 이들의 조합 등일 수 있다. 웨어러블 시스템은 사용자 상호작용을 위해 VR, AR 또는 MR 환경을 단독으로 또는 조합하여 제공할 수 있는 웨어러블 디바이스를 포함할 수 있다. 웨어러블 디바이스는 웨어러블 디스플레이 디바이스, 이를테면 예컨대, HMD(head-mounted display)를 포함할 수 있다. 웨어러블 디바이스는 또한, 웨어러블 디바이스를 위한 데이터 프로세싱의 일부를 다루기 위한 중앙 프로세싱 유닛, 배터리 등을 포함할 수 있는 벡트팩을 포함할 수 있다. 일부 상황들에서, 웨어러블 디바이스는 ARD(augmented reality device)와 상호교환가능하게 사용될 수 있다.
[0068] 도 1은 사람이 보는 특정 물리적 오브젝트들 및 특정 가상 현실 오브젝트들을 갖는 혼합 현실 시나리오의 예시를 묘사한다. 도 1에서, MR 장면(100)이 묘사되며, 여기서 MR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징으로 하는 실세계 공원형 장소(110)를 본다. 이들 아이템들 외에도, MR 기술의 사용자는 또한, 그 또는 그녀가 실세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화형 아바타 캐릭터(140)를 보는 것을 지각하더라도, 이들 엘리먼트들은 실세계에 존재하지 않는다.
[0069] 3D 디스플레이가 실제 깊이감 및 보다 구체적으로, 시뮬레이팅된 표면 깊이감을 생성하기 위해, 디스플레이의 시계의 각각의 포인트가 그의 가상 깊이에 대응하는 원근조절 응답을 생성하는 것이 바람직하다. 만약 디스플레이 포인트에 대한 원근조절 응답이 수렴 및 입체시의 양안 깊이 큐들에 의해 결정된 바와 같은 그 포인트의 가상 깊이에 대응하지 않는다면, 인간의 눈은 원근조절 충돌을 경험할 수 있어, 불안정한 이미징, 해로운 안정피로(eye strain), 두통들, 그리고 원근조절 정보의 부재 시에, 표면 깊이의 거의 완벽한 결여를 야기할 수 있다.
[0070] VR, AR 및 MR 경험들은 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 갖는 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면마다 상이할 수 있고(예컨대, 장면 또는 오브젝트의 약간 상이한 프리젠테이션들을 제공함) 뷰어의 눈들에 의해 별개로 초점이 맞춰질 수 있어서, 상이한 깊이 평면 상에 위치되는 장면에 대한 상이한 이미지 특징들에 초점을 맞추도록 요구되는 눈의 원근조절에 기반하여 그리고/또는 상이한 깊이 평면들 상의 상이한 이미지 특징들이 초점에서 벗어나는 것을 관찰하는 것에 기반하여 깊이 큐들을 사용자에게 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 이러한 깊이 큐들은 깊이의 신뢰할 수 있는 지각들을 제공한다.
[0071] 도 2는 웨어러블 시스템(200)의 예를 예시한다. 웨어러블 시스템(200)은 디스플레이(220), 및 디스플레이(220)의 기능을 지원하기 위한 다양한 기계적 및 전자 모듈들 및 시스템들을 포함할 수 있다. 디스플레이(220)는 사용자, 착용자 또는 뷰어(210)에 의해 착용가능한 프레임(230)에 커플링될 수 있다. 디스플레이(220)는 사용자(210)의 눈들 앞에 포지셔닝될 수 있다. 웨어러블 시스템(이를테면 디스플레이(220)의 일부는 사용자의 머리에 착용될 수 있다.
[0072] 도 2에서, 스피커(240)는 프레임(230)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 입체/성형가능 사운드 제어를 제공함). 웨어러블 시스템(200)은 또한, 사용자 주위의 환경의 세계를 관찰하는 외향 이미징 시스템(464)(도 4에 도시됨)을 포함할 수 있다. 웨어러블 시스템(100)은 또한 사용자의 눈 움직임들을 추적할 수 있는 내향 이미징 시스템(462)(도 4에 도시됨)을 포함할 수 있다. 내향 이미징 시스템은 어느 한쪽 눈의 움직임들 또는 양쪽 눈들의 움직임들을 추적할 수 있다. 내향 이미징 시스템은 프레임(230)에 부착될 수 있고, 프로세싱 모듈(260 또는 270)과 전기 통신할 수 있으며, 이 프로세싱 모듈은 예컨대, 사용자(210)의 동공 직경들 및/또는 눈들의 배향들, 또는 눈 포즈를 결정하도록 내향 이미징 시스템에 의해 획득된 이미지 정보를 프로세싱할 수 있다.
[0073] 예로서, 웨어러블 시스템(200)은 외향 이미징 시스템(464) 및/또는 내향 이미징 시스템(462)을 사용하여 사용자의 포즈의 이미지들을 획득할 수 있다. 포즈는 사용자의 모션을 결정하거나 또는 사용자의 이미지를 합성하기 위해 사용될 수 있다. 외향 이미징 시스템(464) 및/또는 내향 이미징 시스템(462)에 의해 획득된 이미지들은 제2 사용자 환경에서의 사용자의 존재의 실체감을 생성하기 위해 텔레프레전스 세션에서 제2 사용자에 통신될 수 있다.
[0074] 디스플레이(220)는 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(230)에 고정적으로 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정적으로 부착되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(210)에게 제거가능하게 부착되는 (예컨대, 백팩-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(260)에 동작가능하게 커플링(250)될 수 있다.
[0075] 로컬 프로세싱 및 데이터 모듈(260)은 하드웨어 프로세서는 물론, 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱 및 스토리지를 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대, 프레임(230)에 동작가능하게 커플링되거나 그렇지 않으면 사용자(210)에게 부착될 수 있음), 이를테면 이미지 캡처 디바이스들(예컨대, 내향 이미징 시스템 및/또는 외향 이미징 시스템 내의 카메라들), 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 컴퍼스들, GPS(global positioning system) 유닛들, 라디오 디바이스들, 및/또는 자이로스코프들로부터 캡처되거나; 그리고/또는 b) 원격 프로세싱 모듈(270) 및/또는 원격 데이터 저장소(280)를 사용하여 획득 및/또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌 후 디스플레이(220)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(260)은 통신 링크들(262 및/또는 264)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(270) 및/또는 원격 데이터 저장소(280)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들은 로컬 프로세싱 및 데이터 모듈(260)에 대한 자원들로서 이용가능하다. 게다가, 원격 프로세싱 모듈(280) 및 원격 데이터 저장소(280)는 서로 동작가능하게 커플링될 수 있다. 로컬 프로세싱 및 데이터 모듈(260), 원격 프로세싱 모듈(270), 및 원격 데이터 저장소(280)는 각각, 통신 링크들(262, 264)을 통해 통신을 제공하기 위해 네트워크 인터페이스를 포함할 수 있다.
[0076] 일부 실시예들에서, 원격 프로세싱 모듈(270)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(280)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용가능할 수 있는 디지털 데이터 스토리지 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
[0077] 인간 시각 시스템은 복잡하고, 깊이의 현실적 지각을 제공하는 것은 난제시된다. 이론에 의해 제한되지 않고서, 오브젝트의 뷰어들이 이접운동과 원근조절의 조합으로 인해 오브젝트를 3-차원인 것으로 지각할 수 있는 것으로 여겨진다. 서로에 대해 2개의 눈들의 이접운동 움직임들(예컨대, 오브젝트를 응시하기 위해 눈들의 시선들을 수렴시키기 위해 서로를 향한 또는 서로부터 떨어진 동공들의 롤링 움직임들)은 눈들의 렌즈들의 초점 맞춤(또는 "원근조절")과 근접하게 연관된다. 정상 상태들 하에서, 하나의 오브젝트로부터 상이한 거리에서의 다른 오브젝트로 초점을 변경하기 위해, 눈들의 렌즈들의 초점을 변경하거나, 눈들을 원근조절하는 것은, "원근조절-이접운동 반사작용"으로 알려진 관계 하에서, 동일한 거리에 대한 이접운동에서 매칭 변화를 자동으로 유발할 것이다. 마찬가지로, 이접운동의 변화는, 정상 상태들 하에서, 원근조절의 매칭 변화를 트리거링할 것이다. 원근조절과 이접운동 간의 더 나은 매치를 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0078] 도 3은 다수의 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(302 및 304)로부터 다양한 거리들에 있는 오브젝트들은, 이들 오브젝트들이 초점을 맞추도록 눈들(302 및 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 오브젝트들에 초점을 맞추게 하는 특정 원근조절된 상태들을 취한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(306) 중 특정한 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 오브젝트들 또는 오브젝트들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 초점을 맞추게 된다. 일부 실시예들에서, 3-차원 이미저리는 눈들(302 및 304) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302 및 304)의 시야들은 예컨대, z-축을 따른 거리가 증가함에 따라 겹칠 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평탄한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 특징들은 특정 원근조절된 상태에서 눈과 초점을 맞춘다는 것이 인지될 것이다. 이론에 제한되지 않고, 인간 눈이 전형적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있는 것으로 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 수 있는 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다.
도파관 스택 어셈블리
[0079] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 예시한다. 웨어러블 시스템(400)은 복수의 도파관들(432b, 434b, 436b, 438b, 400b)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(480)를 포함한다. 일부 실시예들에서, 웨어러블 시스템(400)은 도 2a의 웨어러블 시스템(200)에 대응할 수 있고, 도 4는 그 웨어러블 시스템(200)의 일부 부분들을 더 상세히 개략적으로 도시한다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(480)는 도 2a의 디스플레이(220)에 통합될 수 있다.
[0080] 계속해서 도 4를 참조하면, 도파관 어셈블리(480)는 또한 도파관들 사이에 복수의 피처들(458, 456, 454, 452)을 포함할 수 있다. 일부 실시예들에서, 피처들(458, 456, 454, 452)은 렌즈들일 수 있다. 다른 실시예들에서, 피처들(458, 456, 454, 452)은 렌즈들이 아닐 수 있다. 오히려, 이들은 단순히 스페이서들(예컨대, 공기 갭들을 형성하기 위한 클래딩 층들 또는 구조들)일 수 있다.
[0081] 도파관들(432b, 434b, 436b, 438b, 440b) 및/또는 복수의 렌즈들(458, 456, 454, 452)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 이미지 정보를 도파관들(440b, 438b, 436b, 434b, 432b)에 주입하기 위하여 활용될 수 있고, 이 도파관들 각각은 눈(410)을 향해 출력하도록, 각각의 개개의 도파관을 가로질러 인입 광을 분배하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 출력 표면을 나가고 도파관들(440b, 438b, 436b, 434b, 432b)의 대응하는 입력 에지에 주입된다. 일부 실시예들에서, 단일 광빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(410) 쪽으로 지향되는 시준된 클론 빔들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다.
[0082] 일부 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 각각, 대응하는 도파관(440b, 438b, 436b, 434b, 432b)으로의 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 예컨대, 이미지 정보를 하나 이상의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(420, 422, 424, 426, 428) 각각에 파이핑할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다.
[0083] 제어기(460)는 스택된 도파관 어셈블리(480) 및 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 동작을 제어한다. 제어기(460)는 도파관들(440b, 438b, 436b, 434b, 432b)에 대한 이미지 정보의 타이밍 및 프로비전을 조절하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독가능한 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(460)는 단일 일체형 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산형 시스템일 수 있다. 제어기(460)는 일부 실시예들에서, 프로세싱 모듈들(260 및/또는 270)(도 2a에 예시됨)의 부분일 수 있다.
[0084] 도파관들(440b, 438b, 436b, 434b, 432b)은 TIR(total internal reflection)에 의해 각각의 개개의 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(440b, 438b, 436b, 434b, 432b)은 각각 평면형이거나 다른 형상(예컨대, 곡면형)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 이미지 정보를 눈(410)에 출력하기 위해 각각의 개개의 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관으로부터 광을 추출하도록 구성된 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한 지칭될 수 있고, 광 추출 광학 엘리먼트들은 또한 아웃커플링 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광빔은, 도파관 내에서 전파되는 광이 광 재지향 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 예컨대, 반사 및/또는 회절 광학 피처들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(440b, 438b, 436b, 434b, 432b)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 최상부 및/또는 최하부 주 표면들에 배치될 수 있고 그리고/또는 도파관들(440b, 438b, 436b, 434b, 432b)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 도파관들(440b, 438b, 436b, 434b, 432b)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 재료의 모놀리식 피스일 수 있고 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 재료의 해당 피스의 표면 상에 및/또는 그 내부에 형성될 수 있다.
[0085] 계속해서 도 4를 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(440b, 438b, 436b, 434b, 432b)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(432b)은, 그러한 도파관(432b)에 주입된 시준된 광을 눈(410)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 다음 위의 도파관(434b)은 시준된 광이 눈(410)에 도달할 수 있기 전에 제1 렌즈(452)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 보내도록 구성될 수 있다. 제1 렌즈(452)는 약간의 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌가 상기 다음 위의 도파관(434b)에서 나오는 광을 광학 무한대로부터 눈(410)을 향해 안쪽으로 더 가까운 제1 초점 평면에서 나오는 것으로 해석한다. 유사하게, 세번째 위의 도파관(436b)은 그 출력 광을, 눈(410)에 도달하기 전에 제1 렌즈(452) 및 제2 렌즈(454) 둘 모두를 통과시킨다. 제1 및 제2 렌즈들(452 및 454)의 조합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(436b)에서 나오는 광을, 상기 다음 위의 도파관(434b)으로부터의 광보다는 광학 무한대로부터 사람을 향해 안쪽으로 훨씬 더 가까운 제2 초점 평면에서 나오는 것으로 해석한다.
[0086] 다른 도파관 층들(예컨대, 도파관들(438b, 440b)) 및 렌즈들(예컨대, 렌즈들(456, 458))은 유사하게 구성되는데, 스택에서 가장 높은 도파관(440b)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 총 초점 전력에 대해 자신과 눈 간의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(480)의 다른 측 상에서 세계(470)에서 나오는 광을 보거나/해석할 때 렌즈들(458, 456, 454, 452)의 스택을 보상하기 위하여, 보상 렌즈 층(430)은 아래의 렌즈 스택(458, 456, 454, 452)의 총 전력을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 광 추출 광학 엘리먼트들 및 렌즈들의 초점을 맞추는 양상들 둘 모두는 정적(예컨대, 동적이 아니거나 전자-활성이 아님)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 특징들을 사용하여 동적일 수 있다.
[0087] 계속해서 도 4를 참조하면, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 자신의 개개의 도파관들로부터 광을 재지향시키는 것은 물론, 도파관과 연관된 특정 깊이 평면에 대해 적합한 발산량 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과적으로, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 광 추출 광학 엘리먼트들을 가질 수 있고, 이러한 광 추출 광학 엘리먼트들은 연관된 깊이 평면에 따라 상이한 발산량으로 광을 출력한다. 일부 실시예들에서, 본원에 논의된 바와 같이, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 특정한 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭 또는 표면 특징들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 볼륨 홀로그램들, 표면 홀로그램들, 또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면, 회절 격자들은 2015년 6월 25일에 공개된 미국 특허 공보 제2015/0178939호에 설명되며, 이는 그 전체가 본원에 인용에 의해 포함된다.
[0088] 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 회절 패턴을 형성하는 회절 피처들 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)이다. 바람직하게는, DOE들은 비교적 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차의 경우 눈(410)을 향해 편향되지만, 나머지는 내부 전반사를 통하여 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 출사 빔들로 분할되고, 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(304)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0089] 일부 실시예들에서, 하나 이상의 DOE들은, 그것들이 활성적으로 회절시키는 "온" 상태들과 그것들이 상당히 회절시키지 않는 "오프" 상태들 사이에서 스위칭 가능할 수 있다. 예컨대, 스위칭 가능 DOE는, 미세액적들이 호스트 매질에서 회절 패턴을 포함하는 중합체 분산형 액정 층을 포함할 수 있고, 미세액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 미세액적은 호스트 매질의 인덱스에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활성적으로 회절시킴).
[0090] 일부 실시예들에서, 피사계 심도 및/또는 깊이 평면들의 수 및 분배는 뷰어의 눈들의 동공 사이즈들 및/또는 배향들에 기반하여 동적으로 변동될 수 있다. 피사계 심도는 뷰어의 동공 사이즈와 반대로 변할 수 있다. 결과적으로, 뷰어의 눈들의 동공들의 사이즈들이 감소함에 따라, 피사계 심도가 증가하여서, 인식가능하지 않은 하나의 평면의 위치가 눈의 초점의 깊이를 넘어서기 때문에 그 평면이 인식가능하게 되고 동공 사이즈의 감소를 통해 보다 초점이 맞게 나타나고 피사계 심도의 증가와 상응할 수 있다. 마찬가지로, 뷰어에게 상이한 이미지들을 제공하기 위해 사용되는 이격된 깊이 평면들의 수는 감소된 동공 사이즈에 따라 감소될 수 있다. 예컨대, 뷰어는 하나의 깊이 평면으로부터 멀리 그리고 다른 깊이 평면으로 눈의 원근조절을 조정하지 않고서는, 하나의 동공 사이즈에서 제1 깊이 평면 및 제2 깊이 평면 둘 모두의 세부사항들을 명확하게 지각할 수 없을 수 있다. 그러나, 이러한 2개의 깊이 평면들은 원근조절을 변하지 않고도 다른 동공 사이즈에서 사용자에게 동시에 충분히 초점을 맞출 수 있다.
[0091] 일부 실시예들에서, 디스플레이 시스템은 동공 사이즈 및/또는 배향의 결정들에 또는 특정 동공 사이즈들 및/또는 배향들을 나타내는 전기 신호들의 수신에 기반하여 이미지 정보를 수신하는 도파관들의 수를 변하게 할 수 있다. 예컨대, 만약 사용자의 눈들이 2개의 도파관들과 연관된 2개의 깊이 평면들을 구별할 수 없다면, 제어기(460)는 이들 도파관들 중 하나에 이미지 정보를 제공하는 것을 중단하도록 구성되거나 프로그래밍될 수 있다. 유리하게는, 이는 시스템 상의 프로세싱 부담을 감소시킬 수 있고, 그리하여 시스템의 반응성을 증가시킨다. 도파관에 대한 DOE들이 온 및 오프 상태들 사이에서 스위칭 가능한 실시예들에서, 도파관이 이미지 정보를 수신할 때 DOE들은 오프 상태로 스위칭될 수 있다.
[0092] 일부 실시예들에서, 출사 빔이 뷰어의 눈의 직경 미만인 직경을 갖는 조건을 충족시키는 것이 바람직할 수 있다. 그러나 이 조건을 충족시키는 것은 뷰어의 동공들의 사이즈의 변동성을 고려하면 난제시될 수 있다. 일부 실시예들에서, 이 조건은 뷰어의 동공의 사이즈의 결정에 대한 응답으로 출사 빔의 사이즈를 변하게 함으로써 넓은 범위의 동공 사이즈들에 걸쳐 충족된다. 예컨대, 동공 사이즈가 감소함에 따라, 출사 빔의 사이즈가 또한 감소할 수 있다. 일부 실시예들에서, 출사 빔 사이즈는 가변 어퍼처를 사용하여 변동될 수 있다.
[0093] 웨어러블 시스템(400)은 세계(470)의 일부를 이미징하는 외향 이미징 시스템(464)(예컨대, 디지털 카메라)을 포함할 수 있다. 이러한 세계(470)의 일부는 FOV(field of view)로서 지칭될 수 있고, 이미징 시스템(464)은 때때로 FOV 카메라로서 지칭된다. 뷰어에 의한 이미징 또는 보기를 위해 이용가능한 전체 구역은 FOR(field of regard)로서 지칭될 수 있다. FOR은 웨어러블 시스템(400)을 둘러싸는 4π 스테라디안(steradian)들의 입체각을 포함할 수 있다. 웨어러블 시스템(400)의 일부 구현들에서, FOR은 디스플레이 시스템(400)의 사용자 주위의 실질적으로 모든 입체각을 포함할 수 있는데, 이는 사용자가 (사용자의 전방, 후방, 위, 아래, 또는 측면들에서) 사용자를 둘러싸는 오브젝트들을 보기 위해 이들의 머리 및 눈들을 움직일 수 있기 때문이다. 외향 이미징 시스템(464)으로부터 획득된 이미지들은 사용자에 의해 행해진 제스처들(예컨대, 손 또는 손가락 제스처들)을 추적하고, 사용자 앞의 세계(470)의 오브젝트들을 검출하는 등을 행하기 위해 사용될 수 있다.
[0094] 웨어러블 시스템(400)은 또한 눈 움직임들 및 얼굴 움직임들과 같은 사용자의 움직임들을 관찰하는 내향 이미징 시스템(466)(예컨대, 디지털 카메라)을 포함할 수 있다. 내향 이미징 시스템(466)은 눈(304)의 동공의 사이즈 및/또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는데 사용될 수 있다. 내향 이미징 시스템(466)은, (예컨대, 홍채 식별을 통한) 사용자의 생체인식 식별을 위한 이미지들 또는 사용자가 바라보는 방향(예컨대, 눈 포즈)을 결정하는데 사용하기 위한 이미지들을 획득하기 위해 사용될 수 있다. 일부 실시예들에서, 독립적으로, 각각의 눈의 동공 사이즈 및/또는 눈 포즈를 별개로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지도록 허용하기 위해, 각각의 눈마다 적어도 하나의 카메라가 활용될 수 있다. 일부 다른 실시예들에서, (예컨대, 한 쌍의 눈들마다 단지 단일 카메라만을 사용하여) 단지 한쪽 눈(410)의 동공 직경 또는 배향이 결정되고 사용자의 양 눈들에 대해 유사한 것으로 가정된다. 내향 이미징 시스템(466)에 의해 획득진 이미지들은 사용자의 눈 포즈 및/또는 분위기를 결정하도록 분석될 수 있으며, 이는 어떤 청각적 또는 시각적 콘텐츠가 사용자에게 제공되어야 하는지를 판단하기 위해 웨어러블 시스템(400)에 의해 사용될 수 있다. 웨어러블 시스템(400)은 또한 IMU들(예컨대, 가속도계들, 자이로스코프들 등)과 같은 센서들을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 결정할 수 있다.
[0095] 웨어러블 시스템(400)은, 사용자가 웨어러블 시스템(400)과 상호작용하도록 제어기(460)에 커맨드들을 입력할 수 있게 하는 사용자 입력 디바이스(466)를 포함할 수 있다. 예컨대, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 방향 패드(D-패드), 완드, 햅틱 디바이스, 토템, 스마트폰, 스마트워치, 태블릿 등을 조합 등을 하여 포함할 수 있다. 다중-DOF 제어기는 제어기의 일부 또는 모든 가능한 병진운동들(예컨대, 왼쪽/오른쪽, 전방향/후방향, 또는 위/아래) 또는 회전들(예컨대, 요, 피치, 또는 롤)에서 사용자 입력을 감지할 수 있다. 사용자는, 예컨대, 마우스 상의 클릭킹, 터치 패드 상의 탭핑, 터치 스크린 상의 스와이핑, 용량성 버튼 위의 호버링 또는 용량성 버튼의 터칭, 키보드 또는 게임 제어기(예컨대, 5-웨이 d-패드) 상의 키의 누름, 오브젝트를 향해 조이스틱, 완드, 또는 토템을 가리키는 것, 원격 제어 상의 버튼의 누름, 또는 사용자 입력 디바이스와의 다른 상호작용들에 의해, 그 또는 그녀의 환경에서 사용자 입력 디바이스(466) 또는 오브젝트들(예컨대, 가상 또는 물리적 오브젝트들)과 상호작용할 수 있다. 사용자 입력 디바이스(466)의 작동은 웨어러블 시스템으로 하여금, 사용자 인터페이스 동작, 이를테면 예컨대, 오브젝트와 연관된 가상 사용자 인터페이스 메뉴를 디스플레이하는 것, 게임 내의 사용자의 아바타를 애니메이팅하는 것 등을 수행하게 할 수 있다. 본원에서 설명되는 바와 같이, 사용자 입력 디바이스(466)는 광을 방출하도록 구성될 수 있다. 광 패턴들은 사용자의 환경에서의 오브젝트와 연관된 정보, 사용자 입력 디바이스(466) 또는 웨어러블 디바이스와의 사용자의 상호작용 등을 표현할 수 있다.
[0096] 일부 경우들에서, 사용자는 손가락(예컨대, 엄지손가락)을 사용하여, 웨어러블 시스템(400)에 입력을 제공하도록(예컨대, 웨어러블 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하도록) 터치-감지 입력 디바이스를 누르거나 스와이핑할 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)의 사용 동안 사용자의 손에 휴대될 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)과 유선 또는 무선 통신할 수 있다. 사용자 입력 디바이스(466)는 본원에서 설명된 토템의 실시예들을 포함할 수 있다. 토템은 사용자가 궤적을 따른 스와이핑 또는 탭핑 등을 행함으로써 토템을 작동시키게 허용할 수 있는 터치 표면을 포함할 수 있다.
[0097] 도 5는 도파관에 의해 출력된 출사 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(480) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(480)는 다수의 도파관들을 포함한다. 광(520)은 도파관(432b)의 입력 에지(432c)에서 도파관(432b)에 주입되고 TIR에 의해 도파관(432b) 내에서 전파된다. 광(520)이 DOE(432a)에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(510)로서 도파관을 나간다. 출사 빔들(510)은 실질적으로 평행한 것으로 예시되지만, 이들 출사 빔들(510)은 또한 도파관(432b)과 연관된 깊이 평면에 의존하여, 일정 각도로 눈(410)으로 전파되도록 재지향될 수 있다(예컨대, 발산 출사 빔들을 형성함). 실질적으로 평행한 출사 빔들은, 눈(410)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 나타나는 이미지들을 형성하도록 광을 아웃커플링하는 광 추출 광학 엘리먼트들을 갖는 도파관을 표시할 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있으며, 이는, 눈(410)이 망막 상에 초점을 맞추게 하기 위해 더 근접한 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(410)에 더 근접한 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0098] 도 6은, 다-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략적 다이어그램이다. 광학 시스템은 도파관 장치, 도파관 장치로 또는 상기 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함할 수 있다. 광학 시스템은 다-초점 볼류메트릭, 이미지 또는 광 필드를 생성하기 위해 사용할 수 있다. 광학 시스템은 하나 이상의 주 평면형 도파관들(632a)(도 6에서 단지 하나만 도시됨) 및 주 도파관들(632a) 중 적어도 일부의 주 도파관들 각각과 연관된 하나 이상의 DOE들(632b)을 포함할 수 있다. 평면형 도파관들(632b)은 도 4를 참조하여 논의된 도파관들(432b, 434b, 436b, 438b, 440b)과 유사할 수 있다. 광학 시스템은 제1 축(도 6의 도면에서 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출사 동공을 확장시키기 위해 분배 도파관 장치를 이용할 수 있다. 분배 도파관 장치는, 예컨대, 분배 평면형 도파관(622b) 및 분배 평면형 도파관(622b)과 연관된 적어도 하나의 DOE(622a)(이중 일점 쇄선으로 예시됨)를 포함할 수 있다. 분배 평면형 도파관(622b)은 그와 상이한 배향을 갖는 주 평면형 도파관(632b)과 적어도 일부 면들에서 유사하거나 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(622a)는 DOE(632a)와 적어도 일부 면들에서 유사하거나 동일할 수 있다. 예컨대, 분배 평면형 도파관(622b) 및/또는 DOE(622a)는 각각, 주 평면형 도파관(632b) 및/또는 DOE(632a)와 동일한 재료들로 구성될 수 있다. 도 6에 도시된 광학 디스플레이 시스템(600)의 실시예들은 도 2에 도시된 웨어러블 시스템(200)에 통합될 수 있다.
[0099] 중계된 그리고 출사-동공 확장된 광은 분배 도파관 장치로부터 하나 이상의 주 평면형 도파관들(632b)에 광학적으로 커플링된다. 주 평면형 도파관(632b)은 바람직하게는, 제1 축에 직교하는 제2 축(예컨대, 도 6의 뷰에서 수평 또는 X-축)을 따라 광을 중계한다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 주 평면형 도파관(632b)은 그 제2 축(예컨대, X-축)을 따라 광의 유효 출사 동공을 확장시킨다. 예컨대, 분배 평면형 도파관(622b)은 수직 또는 Y- 축을 따라 광을 중계 및 확장시키며, 수평 또는 X-축을 따라 광을 중계 및 확장시킬 수 있는 주 평면형 도파관(632b)으로 그 광을 전달할 수 있다.
[0100] 광학 시스템은 단일 모드 광섬유(640)의 근단부에 광학적으로 커플링될 수 있는 색광(colored light)(예컨대, 적색, 녹색 및 청색 레이저 광)의 하나 이상의 소스들(610)을 포함할 수 있다. 광 섬유(640)의 원단부는 압전 재료의 중공 튜브(8)를 통해 스레딩되거나 수용될 수 있다. 원단부는 고정되지 않은 가요성 캔틸레버(644)로서 튜브(642)로부터 돌출한다. 압전 튜브(642)는 4개의 사분면 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대, 튜브(642)의 밖, 외측 표면 또는 외측 주변부 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한 튜브(642)의 코어, 중심, 내부 주변부 또는 내부 직경에 위치된다.
[0101] 예컨대, 와이어들(660)을 통해 전기적으로 커플링된 구동 전자 장치(650)는 2개의 축들에서 압전 튜브(642)를 독립적으로 구부리기 위해 전극들의 대향하는 쌍들을 구동한다. 광섬유(644)의 돌출 원단 팁(protruding distal tip)은 기계적 공진 모드들을 갖는다. 공진 주파수들은 광섬유(644)의 직경, 길이 및 재료 특성들에 의존할 수 있다. 섬유 캔틸레버(644)의 제1 기계적 공진 모드 인근에서 압전 튜브(8)를 진동시킴으로써, 섬유 캔틸레버(644)는 진동하게 되고, 큰 편향들을 통해 스윕할 수 있다.
[0102] 2개의 축들에서 공진 진동을 자극함으로써, 섬유 캔틸레버(644)의 팁은 영역 충전 2차원(2-D) 스캔으로 2축 방향으로 스캔된다. 섬유 캔틸레버(644)의 스캔과 동기하여 광원(들)(610)의 세기를 변조함으로써, 섬유 캔틸레버(644)로부터 나오는 광은 이미지를 형성한다. 그러한 셋업에 대한 설명들은 미국 특허 공보 제2014/0003762호에서 제공되며, 그 공보는 그 전체가 본원에 인용에 의해 통합된다.
[0103] 광학 커플러 서브시스템의 컴포넌트는 스캐닝 섬유 캔틸레버(644)로부터 나오는 광을 시준한다. 시준된 광은 미러 표면(648)에 의해 적어도 하나의 DOE(diffractive optical element)(622a)를 포함하는 좁은 분배 평면형 도파관(622b)으로 반사된다. 시준된 광은 TIR(total internal reflection)에 의해 분배 평면형 도파관(622b)을 따라(도 6의 도면에 대해) 수직으로 전파되고, 이렇게 하여, DOE(622a)와 반복적으로 교차한다. DOE(622a)는 바람직하게는, 낮은 회절 효율성을 갖는다. 이는, 광의 프랙션(fraction)(예컨대, 10%)으로 하여금 DOE(622a)와의 각각의 교차점에서 더 큰 주 평면형 도파관(632b)의 에지를 향해 회절되게 할 수 있고, 광의 프랙션으로 하여금 TIR을 통해 분배 평면형 도파관(622b)의 길이 아래에서 그의 오리지널 궤적 상에서 계속되게 할 수 있다.
[0104] DOE(622a)와의 각각의 교차점에서, 추가적인 광이 주 도파관(632b)의 입구를 향해 회절된다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출사 동공은 분배 평면형 도파관(622b)에서 DOE(4)에 의해 수직으로 확장된다. 분배 평면형 도파관(622b) 밖으로 커플링되는 이러한 수직으로 확장된 광은 주 평면형 도파관(632b)의 에지에 들어간다.
[0105] 주 도파관(632b)에 들어가는 광은 TIR을 통해 주 도파관(632b)을 따라(도 6의 뷰에 대해) 수평으로 전파된다. 광이 TIR을 통해 주 도파관(632b)의 길이의 적어도 일부를 따라 수평으로 전파됨에 따라 광은 다수의 포인트들에서 DOE(632a)와 교차한다. DOE(632a)는 유리하게는, 광의 편향 및 초점 맞추기 둘 모두를 생성하도록, 선형 회절 패턴 및 방사상 대칭 회절 패턴의 합인 위상 프로파일을 갖도록 설계 또는 구성될 수 있다. DOE(632a)는 유리하게는, 낮은 회절 효율성(예컨대, 10%)을 가질 수 있어서, 빔의 광 중 일부만이 DOE(632a)의 각각의 교차에 의해 뷰의 눈을 향해 편향되는 반면, 광의 나머지는 TIR을 통해 주 도파관(632b)을 통해 계속해서 전파된다.
[0106] 전파되는 광과 DOE(632a) 간의 각각의 교차점에서, 광의 프랙션이 주 도파관(632b)의 인접한 면을 향해 회절되어, 광이 TIR을 벗어나 주 도파관(632b)의 면으로부터 나오게 허용한다. 일부 실시예들에서, DOE(632a)의 방사상 대칭 회절 패턴은 추가적으로, 회절된 광에 초점 레벨을 부여하여, 개별 빔의 광 파면을 성형(예컨대, 곡률을 부여함)하는 것뿐만 아니라, 설계된 초점 레벨과 매칭하는 각도로 빔을 조종한다.
[0107] 그에 따라서, 이들 상이한 경로들은 상이한 각도들의 다수의 DOE들(632a), 초점 레벨들, 및/또는 출사 동공에서 상이한 충전 패턴들을 산출하는 것에 의해 광으로 하여금 주 평면형 도파관(632b) 밖으로 커플링되게 할 수 있다. 출사 동공에서의 상이한 충전 패턴들은 다수의 깊이 평면들을 갖는 광 필드 디스플레이를 생성하기 위해 유익하게 사용될 수 있다. 도파관 어셈블리 내의 각각의 층 또는 스택 내의 한 세트의 층들(예컨대, 3개의 층들)은 개개의 컬러(예컨대, 적색, 청색, 녹색)를 생성하기 위해 이용될 수 있다. 따라서, 예컨대, 제1 세트의 3개의 인접한 층들은 제1 초점 깊이로 적색, 청색 및 녹색 광을 각각 생성하기 위해 이용될 수 있다. 제2 세트의 3개의 인접한 층들은 제2 초점 깊이로 적색, 청색 및 녹색 광을 각각 생성하기 위해 이용될 수 있다. 다수의 세트들은 다양한 초점 깊이들을 갖는 완전한 3D 또는 4D 컬러 이미지 광 필드를 생성하기 위해 이용될 수 있다.
웨어러블 시스템의 다른 컴포넌트들
[0108] 다수의 구현들에서, 웨어러블 시스템은 위에서 설명된 웨어러블 시스템의 컴포넌트들에 부가적으로 또는 이에 대한 대안으로 다른 컴포넌트들을 포함할 수 있다. 웨어러블 시스템은 예컨대, 하나 이상의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스(들) 또는 컴포넌트(들)는 사용자에게 촉감을 제공하도록 동작가능할 수 있다. 예컨대, 햅틱 디바이스(들) 또는 컴포넌트(들)는 가상 콘텐츠(예컨대, 가상 오브젝트들, 가상 도구들, 다른 가상 구조들)를 터치할 때 압력 및/또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 오브젝트가 표현하는 물리적 오브젝트의 느낌을 복제할 수 있거나, 또는 가상 콘텐츠가 표현하는 상상의 오브젝트 또는 캐릭터(예컨대, 용)의 느낌을 복제할 수 있다. 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 착용될 수 있다(예컨대, 사용자 웨어러블 글러브). 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 홀딩될 수 있다.
[0109] 웨어러블 시스템은 예컨대, 웨어러블 시스템과의 입력 또는 상호작용을 허용하도록 사용자에 의해 조작가능한 하나 이상의 물리적 오브젝트들을 포함할 수 있다. 이러한 물리적 오브젝트들은 본원에서 토템들로서 지칭될 수 있다. 일부 토템들은 무생물 오브젝트들, 예컨대, 이를테면 금속 또는 플라스틱의 조각, 벽, 테이블의 표면의 형태를 취할 수 있다. 특정 구현들에서, 토템들은 실제로, 어떠한 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치)도 갖지 않을 수 있다. 대신, 토템은 단순히 물리적 표면을 제공할 수 있고, 웨어러블 시스템은 토템의 하나 이상의 표면들 상에 있는 것으로 사용자에게 나타나도록 사용자 인터페이스를 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 토템의 하나 이상의 표면들에 상주하는 것으로 나타나도록 컴퓨터 키보드 및 트랙패드의 이미지를 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 토템으로서 역할을 하는 알루미늄의 얇은 직사각형 플레이트의 표면 상에 나타나도록 가상 컴퓨터 키보드 및 가상 트랙패드를 렌더링할 수 있다. 직사각형 플레이트 그 자체는 어떠한 물리적인 키들 또는 트랙패드 또는 센서들도 갖지 않는다. 그러나, 웨어러블 시스템은 가상 키보드 및/또는 가상 트랙패드를 통해 이루어진 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다. 사용자 입력 디바이스(466)(도 4에 도시됨)는, 트랙패드, 터치패드, 트리거, 조이스틱, 트랙볼, 로커 스위치, 마우스, 키보드, 다중-자유도 제어기 또는 다른 물리적 입력 디바이스를 포함할 수 있는 토템의 실시예일 수 있다. 사용자는 웨어러블 시스템 및/또는 다른 사용자들과 상호작용하기 위해 토템을 단독으로 또는 포즈들과 조합하여 사용할 수 있다.
[0110] 본 개시내용의 웨어러블 디바이스들, HMD, ARD, 및 디스플레이 시스템들과 함께 사용가능한 햅틱 디바이스들 및 토템들의 예들은 미국 특허 공보 제2015/0016777호에서 설명되며, 그 공보는 그 전체가 본원에 인용에 의해 통합된다.
예시적인 웨어러블 시스템들, 환경들, 및 인터페이스들
[0111] 웨어러블 시스템은 렌더링된 광 필드들에서 높은 심도를 달성하기 위해 다양한 맵핑 관련 기법들을 이용할 수 있다. 가상 세계의 맵핑 시에, 실세계에 관하여 가상 오브젝트들을 정확히 묘사하기 위해 실세계의 모든 피처들 및 포인트들을 아는 것이 유리하다. 이를 위해, 웨어러블 시스템의 사용자들로부터 캡처된 FOV 이미지들은, 실세계의 다양한 포인트들 및 피처들에 관한 정보를 운반하는 새로운 사진들을 포함함으로써 세계 모델에 추가될 수 있다. 예컨대, 웨어러블 시스템은, 한 세트의 맵 포인트들(이를테면, 2D 포인트들 또는 3D 포인트들)을 수집하고 새로운 맵 포인트들을 발견하여 세계 모델의 보다 정확한 버전을 렌더링할 수 있다. 제1 사용자의 세계 모델은 (예컨대, 네트워크, 이를테면 클라우드 네트워크를 통해) 제2 사용자에게 통신될 수 있어서, 제2 사용자는 제1 사용자 주변의 세계를 경험할 수 있다.
[0112] 도 7은 MR 환경(700)의 예의 블록 다이어그램이다. MR 환경(700)은 다양한 사용자 시스템들(720a, 720b)로부터 입력(예컨대, 사용자의 웨어러블 시스템으로부터의 시각 입력(702), 이를테면, 룸 카메라들로부터의 고정 입력(704), 다양한 센서들로부터의 감각 입력(706), 제스처들, 토템들, 눈 추적, 사용자 입력 디바이스(466)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 사용자 시스템들(720a, 720b)은 하나 이상의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(200) 및/또는 디스플레이 시스템(220)) 및.또는 고정 룸 시스템들(예컨대, 룸 카메라들 등)을 포함할 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향 이미징 시스템, 외향 이미징 시스템 등)을 사용할 수 있다. 이 정보는 추가로, 이미지들을 제공할 수 있는 룸의 고정 카메라들로부터의 정보 및/또는 상이한 관점으로부터의 다양한 큐들로 보충될 수 있다. 카메라들(이를테면, 룸 카메라들 및/또는 외향 이미징 시스템의 카메라들)에 의해 획득된 이미지 데이터는 한 세트의 맵핑 포인트들로 감소될 수 있다.
[0113] 하나 이상의 오브젝트 인식기들(708)은 맵 데이터베이스(710)의 도움으로, 수신된 데이터(예컨대, 포인트들의 집합)를 크롤링하고, 포인트들을 인식 및/또는 맵핑하고, 이미지들을 태깅하고, 시맨틱 정보를 오브젝트들에 부착할 수 있다. 맵 데이터베이스(710)는 시간이 지남에 따라 수집된 다양한 포인트들 및 그들의 대응하는 오브젝트들을 포함할 수 있다. 다양한 디바이스들 및 맵 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0114] 맵 데이터베이스의 이러한 정보 및 포인트들의 집합에 기반하여, 오브젝트 인식기들(708a 내지 708n)은 환경 내의 오브젝트들을 인식할 수 있다. 예컨대, 오브젝트 인식기들은 얼굴들, 사람들, 창문들, 벽들, 사용자 입력 디바이스들, 텔레비전들, 사용자 환경의 다른 오브젝트들 등을 인식할 수 있다. 하나 이상의 오브젝트 인식기들은 특정 특징들을 갖는 오브젝트에 대해 전문화될 수 있다. 예컨대, 오브젝트 인식기(708a)는 얼굴들을 인식하는 데 사용될 수 있는 반면, 다른 오브젝트 인식기는 토템들을 인식하기 위해 사용될 수 있다.
[0115] 오브젝트 인식들은 다양한 컴퓨터 비전 기법들을 사용하여 수행될 수 있다. 예컨대, 웨어러블 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 오브젝트 인식, 오브젝트 포즈 추정, 학습, 인덱싱, 모션 추정, 또는 이미지 복원 등을 수행하기 위해 (도 4에 도시된) 외향 이미징 시스템(464)에 의해 획득된 이미지들을 분석할 수 있다. 하나 이상의 컴퓨터 비전 알고리즘들이 이러한 임무들을 수행하기 위해 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비-제한적인 예들은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장된 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, 다양한 머신 학습 알고리즘들(이를테면, 예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(콘볼루셔널(convolutional) 또는 딥 뉴럴 네트워크들을 포함함) 또는 다른 감독되는/감독되지 않는 모델들 등) 등을 포함한다.
[0116] 오브젝트 인식들은 추가적으로 또는 대안적으로, 다양한 머신 학습 알고리즘들에 의해 수행될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘은 HMD에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은, 회귀 알고리즘들(이를테면, 예컨대, 일반 최소 제곱 회귀(Ordinary Least Squares Regression)), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화(Learning Vector Quantization)), 판단 트리 알고리즘들(이를테면, 예컨대, 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이즈), 클러스터링 알고리즘들(이를테면, 예컨대, k-민즈 클러스터링), 연관 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 뉴럴 네트워크 알고리즘들(이를테면, 예컨대, 퍼셉트론(Perceptron)), 심층 학습 알고리즘들(이를테면, 예컨대, 딥 볼쯔만 머신, 또는 딥 뉴럴 네트워크), 차원 감소 알고리즘들(이를테면, 예컨대, 주요한 컴포넌트 분석(Principal Component Analysis)), 앙상블 알고리즘들(이를테면, 예컨대, 스택된 일반화(Stacked Generalization)), 및/또는 다른 머신 학습 알고리즘들을 포함하는 감독된 또는 비-감독된 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 맞춤화될 수 있다. 예컨대, 웨어러블 디바이스는 기본 모델을 생성하거나 저장할 수 있다. 기본 모델은 데이터 타입(예컨대, 텔레프레전스 세션의 특정 사용자), 데이터 세트(예컨대, 텔레프레전스 세션의 사용자의 획득된 한 세트의 추가적인 이미지들), 조건 상황들, 또는 다른 변동들에 특정적인 추가적인 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 웨어러블 HMD는 집계된 데이터의 분석을 위한 모델들을 생성하기 위해 복수의 기법들을 활용하도록 구성될 수 있다. 다른 기법들은 사전-정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0117] 웨어러블 시스템은 또한, 오브젝트들에 생명을 부여하기 위해 시맨틱 정보를 이용하여, 인식된 오브젝트들을 보충할 수 있다. 예컨대, 만약 오브젝트 인식기가 한 세트의 포인트들을 문이라고 인식하면, 시스템은 일부 시맨틱 정보를 부착할 수 있다(예컨대, 문은 힌지를 갖고, 힌지를 중심으로 90도 움직임을 가짐). 만약 오브젝트 인식기가 한 세트의 포인트들을 토템이라고 인식하면, 웨어러블 시스템은 (예컨대, 블루투스를 통해) 토템이 페어링될 수 있는 시맨틱 정보를 웨어러블 시스템에 부착할 수 있다. 시간이 지남에 따라, 시스템(로컬로 상주할 수 있거나, 또는 무선 네트워크를 통해 액세스가능할 수 있음)이 세계로부터 더 많은 데이터를 누적함에 따라 맵 데이터베이스가 성장한다. 일단 오브젝트들이 인식되면, 정보는 하나 이상의 웨어러블 시스템들에 송신될 수 있다. 예컨대, MR 환경(700)은 캘리포니아에서 일어나는 장면에 관한 정보를 포함할 수 있다. 환경(700)은 뉴욕의 하나 이상의 사용자들에게 송신될 수 있다. FOV 카메라로부터 수신된 데이터 및 다른 입력들에 기반하여, 오브젝트 인식기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 포인트들을 맵핑하고, 오브젝트들을 인식하는 등을 수행할 수 있어서, 장면이 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확히 "전달될" 수 있다. 환경(700)은 또한 로컬화 목적들을 위해 토폴로지컬 맵을 사용할 수 있다.
[0118] 도 8은 인식된 오브젝트들에 관하여 가상 콘텐츠를 렌더링하는 방법(800)의 예의 프로세스 흐름도이다. 방법(800)은 가상 장면이 MR 시스템(예컨대, 웨어러블 시스템)의 사용자에게 어떻게 표현될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 원격일 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 진행되고 있는 장면을 보기를 원할 수 있거나, 또는 캘리포니아에 거주하는 친구와 함께 산책을 하러 가기를 원할 수 있다.
[0119] 블록(810)에서, 웨어러블 시스템은 사용자 및 다른 사용자들로부터, 사용자의 환경에 관한 입력을 수신할 수 있다. 이는 다양한 입력 디바이스들 및 맵 데이터베이스에 이미 보유된 지식을 통해 달성될 수 있다. 블록(810)에서, 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 시스템에 정보를 운반한다. 블록(820)에서, 시스템은 이러한 정보에 기반하여 희소 포인트들을 결정할 수 있다. 희소 포인트들은 사용자의 주변들의 다양한 오브젝트들의 배향 및 포지션을 디스플레이 및 이해하기 위해 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 신체 포즈 및/또는 손 제스처들)를 결정하는데 사용될 수 있다. 블록(830)에서, 오브젝트 인식기들(708a, 708n)은 이러한 수집된 포인트들을 크롤링하고, 맵 데이터베이스를 사용하여 하나 이상의 오브젝트들을 인식할 수 있다. 그런다음, 블록(840)에서, 이러한 정보는 사용자의 개별 웨어러블 시스템으로 운반될 수 있으며, 그에 따라서, 블록(850)에서, 원하는 가상 장면이 사용자에게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 오브젝트들 및 다른 주변들에 관하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0120] 도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다. 이러한 예에서, 웨어러블 시스템(900)은, 세계에 대한 맵 데이터를 포함할 수 있는 맵을 포함한다. 맵은 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스가능한 네트워킹된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행되고 맵으로부터 데이터를 활용하여, 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서(on the fly) 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, 센서들(이를테면, 일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 디바이스들)로부터의 데이터 및 실제 또는 가상 환경의 오브젝트들에 관련된 표면 정보를 포함할 수 있다.
[0121] 희소 포인트 표현은 동시적인 로컬화 및 맵핑(입력이 이미지들/시각 전용인 구성을 지칭하는 SLAM 또는 V-SLAM) 프로세스의 출력일 수 있다. 시스템은 다양한 컴포넌트들이 세계 어디에 있는지 뿐만 아니라, 세상이 무엇으로 이루어져 있는지를 파악하도록 구성될 수 있다. 포즈는 맵을 파퓰레이팅하고 맵으로부터의 데이터를 사용하는 것을 포함해서, 다수의 목표들을 달성하는 빌딩 블록일 수 있다.
[0122] 일 실시예에서, 희소 포인트 포지션은 그 자체로 완전히 충분하지 않을 수 있고, 다초점 AR, VR 또는 MR 경험을 생성하기 위해 추가적인 정보가 필요할 수 있다. 일반적으로 깊이 맵 정보를 지칭하는 조밀한 표현들이 이러한 갭을 적어도 부분적으로 충전하기 위해 활용될 수 있다. 그러한 정보는 입체(940)로서 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 여기서 깊이 정보는 기법, 이를테면 삼각측량 또는 비행-시간 감지를 사용하여 결정된다. 이미지 정보 및 활성 패턴들(이를테면, 활성 투사기들을 사용하여 생성된 적외선 패턴들)은 입체 프로세스(940)에 대한 입력으로서 역할을 할 수 있다. 상당한 양의 깊이 맵 정보가 함께 융합될 수 있으며, 그 중 일부는 표면 표현으로 요약될 수 있다. 예컨대, 수학적으로 정의가능한 표면들은 (예컨대, 큰 포인트 클라우드에 비해) 효율적이고, 게임 엔진들과 같은 다른 프로세싱 디바이스들에 이해가능한 입력들이다. 따라서, 입체 프로세스(940)의 출력(예컨대, 깊이 맵)은 융합 프로세스(930)에서 조합될 수 있다. 포즈는 또한 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 맵 프로세스(920)를 파퓰레이팅하기 위한 입력이 된다. 서브-표면들이 이를테면, 토폴리지 맵핑에서 서로 연결되어 더 큰 표면들을 형성할 수 있고, 맵은 포인트들 및 표면들의 큰 하이브리드가 된다.
[0123] 혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 9에 묘사된 실시예에서, 게임 파라미터들은, 시스템의 사용자가 다양한 위치들에서의 하나 이상의 괴물들, 다양한 조건들 하에서 죽거나 도망치는 괴물들(이를테면, 사용자가 괴물을 사냥하는 경우), 다양한 위치들에서의 벽들 또는 다른 오브젝트들 등을 갖는 괴물 전투 게임을 하고 있다고 결정하기 위한 입력들일 수 있다. 세계 맵은 혼합 현실로의 다른 가치있는 입력이 되도록 그러한 오브젝트들이 서로에 대해 존재하는 곳에 관한 정보를 포함할 수 있다. 세계에 대한 포즈가 또한 입력이 되며, 거의 모든 상호작용 시스템에 대해 중요한 역할을 한다.
[0124] 사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(900)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각 입력, 제스처들, 토템들, 오디오 입력, 감각 입력 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 하기 위해, 사용자는 자신이 하기를 원하는 것에 관해 웨어러블 시스템(900)에게 명령할 필요가 있을 수 있다. 단지 공간에서 자신을 움직이는 것 외에도, 활용될 수 있는 다양한 형태들의 사용자 제어들이 존재한다. 일 실시예에서, 토템(다른 사용자 입력 디바이스), 또는 오브젝트, 이를테면, 장난감 총은 사용자에 의해 홀딩되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는, 사용자가 아이템을 홀딩하고 있다는 것을 알고 사용자가 아이템과 어떤 종류의 상호작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 만약 토템 또는 오브젝트가 총이면, 시스템은 위치 및 배향뿐만 아니라, 센서, 이를테면 IMU가 장착될 수 있는 트리거 또는 다른 감지 버튼 또는 엘리먼트를 사용자가 클릭하고 있는지 여부를 이해하도록 구성될 수 있으며, 이러한 센서는 그러한 활동이, 카메라들 중 임의의 것의 시야 내에 있지 않을 때라도 무슨 일이 일어나고 있는지를 결정하는데 도움을 줄 수 있음).
[0125] 손 제스처 추적 또는 인식은 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(900)은 버튼 누름들에 대해, 왼쪽 또는 오른쪽, 정지, 잡기 및 홀드의 제스처에 대해, 기타 등등에 대해 손 제스처들을 추적 및 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 비-게이밍 환경에서 이메일들 또는 캘린더를 훑어보거나 또는 다른 사람 또는 플레이어와 "주먹 인사"를 하길 원할 수 있다. 웨어러블 시스템(900)은, 동적일 수 있거나 동적이지 않을 수 있는 최소 크기의 손 제스처를 레버리지하도록 구성될 수 있다. 예컨대, 제스처들은 중지를 위한 펼쳐진 손, ok를 위한 엄지손가락 올리기, not ok를 위한 엄지손가락 내리기; 또는 방향성 커맨드들을 위한 오른쪽 또는 왼쪽 또는 위/아래로의 손 뒤집기와 같은 단순한 정적 제스처일 수 있다.
[0126] 눈 추적(예컨대, 특정한 깊이 또는 범위로 렌더링하도록 디스플레이 기술을 제어하기 위해 사용자가 바라보는 곳을 추적함)은 다른 입력이다. 일 실시예에서, 눈들의 이접운동은 삼각측량을 사용하여 결정될 수 있으며, 그런다음, 그 특정 사람을 위해 개발된 이접운동/원근조절 모델을 사용하여, 원근조절이 결정될 수 있다.
[0127] 카메라 시스템들과 관련하여, 도 9에 도시된 예시적인 웨어러블 시스템(900)은 3개의 쌍들의 카메라들, 즉 사용자의 얼굴의 측면들에 대해 배열되는 비교적 넓은 FOV 또는 수동 SLAM 쌍의 카메라들, 입체 이미징 프로세스(940)를 다루기 위해 그리고 또한, 사용자의 얼굴의 앞에서 손 제스처들 및 토템/오브젝트 추적을 캡처하기 위해 사용자의 앞에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. 3개의 쌍들의 카메라들의 카메라들은 (도 4에 도시된) 외향 이미징 시스템(464)의 일부일 수 있다. 웨어러블 시스템(900)은 눈 벡터들 및 다른 정보를 삼각측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(도 4에 도시된 내향 이미징 시스템(462)의 일부일 수 있음)을 포함할 수 있다. 웨어러블 시스템(900)은 또한 장면에 텍스처를 주입하기 위해 하나 이상의 텍스처링된 광 투사기들(이를테면, IR(infrared) 투사기들)을 포함할 수 있다.
[0128] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하기 위한 방법(1000)의 예의 프로세스 흐름도이다. 이러한 예에서, 사용자는 토템과 상호작용할 수 있다. 사용자는 다수의 토템들을 가질 수 있다. 예컨대, 사용자는 소셜 미디어 애플리케이션에 대해 하나의 토템, 게임들을 하기 위해 다른 토템 등을 지정하였을 수 있다. 블록(1010)에서, 웨어러블 시스템은 토템의 모션을 검출할 수 있다. 토템의 움직임은 사용자의 FOV 카메라를 통해 인식될 수 있거나, 또는 센서들(예컨대, 햅틱 글러브, 이미지 센서들, 손 추적 디바이스들, 눈-추적 카메라들, 머리 포즈 센서들 등)을 통해 검출될 수 있다.
[0129] 블록(1020)에서, 토템을 통한 검출된 제스처, 눈 포즈, 머리 포즈, 또는 입력에 적어도 부분적으로 기반하여, 웨어러블 시스템은 레퍼런스 프레임에 대하여 토템(또는 사용자의 눈들 또는 머리 또는 제스처들)의 포지션, 배향, 및/또는 움직임을 검출한다. 레퍼런스 프레임은 한 세트의 맵 포인트들일 수 있으며, 그 한 세트의 맵 포인트들에 기반하여, 웨어러블 시스템은 토템(또는 사용자)의 움직임을 액션 또는 커맨드로 변환한다. 블록(1030)에서, 토템과의 사용자의 상호작용이 맵핑된다. 레퍼런스 프레임(1020)에 대한 사용자 상호작용의 맵핑에 기반하여, 블록(1040)에서 시스템은 사용자 입력을 결정한다.
[0130] 예컨대, 사용자는 가상 페이지를 넘기고 다음 페이지로 이동하거나 또는 하나의 UI(user interface) 디스플레이 스크린으로부터 다른 UI 스크린으로 이동하는 것을 나타내기 위해 토템 또는 물리적 오브젝트를 앞뒤로 이동시킬 수 있다. 다른 예로서, 사용자는 사용자의 FOR에 있는 상이한 실제 또는 가상 오브젝트들을 보기 위해 그들의 머리 또는 눈들을 움직일 수 있다. 만약 특정 실제 또는 가상 오브젝트에서의 사용자의 시선이 임계 시간보다 길면, 실제 또는 가상 오브젝트는 사용자 입력으로서 선택될 수 있다. 일부 구현들에서, 사용자의 눈들의 이접운동이 추적될 수 있으며, 원근조절/이접운동 모델은, 사용자가 초점을 맞추고 있는 깊이 평면에 대한 정보를 제공하는 사용자의 눈들의 원근조절 상태를 결정하기 위해 사용될 수 있다. 일부 구현들에서, 웨어러블 시스템은 어떤 실제 또는 가상 오브젝트들이 사용자의 머리 포즈 또는 눈 포즈의 방향을 따라 존재하는지를 결정하기 위해 광선 캐스팅 기법들을 사용할 수 있다. 다양한 구현들에서, 광선 캐스팅 기법들은 실질적으로 횡방향 폭이 거의 없는 얇은 펜슬 광선들을 캐스팅하는 것, 또는 실질적인 횡방향 폭을 갖는 광선들(예컨대, 콘들 또는 프러스텀(frustum)들)을 캐스팅하는 것을 포함할 수 있다.
[0131] 사용자 인터페이스는 본원에서 설명된 바와 같이 디스플레이 시스템(이를테면, 도 2a의 디스플레이(220))에 의해 투사될 수 있다. 그것은 또한, 다양한 다른 기법들, 이를테면 하나 이상의 투사기들을 사용하여 디스플레이될 수 있다. 투사기들은 물리적 오브젝트, 이를테면 캔버스 또는 구체 상으로 이미지들을 투사할 수 있다. 사용자 인터페이스와의 상호작용들은 시스템 또는 시스템의 일부 외부의 하나 이상의 카메라들을 사용하여 (이를테면, 예컨대 내향 이미징 시스템(462) 또는 외향 이미징 시스템(464)을 사용하여) 추적될 수 있다.
[0132] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법(1100)의 예의 프로세스 흐름도이다. 방법(1100)은 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다.
[0133] 블록(1110)에서, 웨어러블 시스템은 특정 UI를 식별할 수 있다. UI의 타입은 사용자에 의해 미리 결정될 수 있다. 웨어러블 시스템은, 특정 UI가 사용자 입력(예컨대, 제스처, 시각 데이터, 오디오 데이터, 감각 데이터, 다이렉트 커맨드 등)에 기반하여 파퓰레이팅될 필요가 있다는 것을 식별할 수 있다. 블록(1120)에서, 웨어러블 시스템은 가상 UI에 대한 데이터를 생성할 수 있다. 예컨대, UI의 경계들, 일반적인 구조, 형상 등과 연관된 데이터가 생성될 수 있다. 게다가, 웨어러블 시스템은, 웨어러블 시스템이 사용자의 물리적 위치에 관하여 UI를 디스플레이할 수 있도록, 그 사용자의 물리적 위치의 맵 좌표들을 결정할 수 있다. 예컨대, 만약 UI가 신체 중심이라면, 웨어러블 시스템은, 링 UI가 사용자 주위에서 디스플레이될 수 있거나 또는 평면 UI가 벽 상에 또는 사용자의 앞에 디스플레이될 수 있도록, 사용자의 물리적 자세, 머리 포즈, 또는 눈 포즈의 좌표들을 결정할 수 있다. 만약 UI가 손 중심적이라면, 사용자의 손들의 맵 좌표들이 결정될 수 있다. 이들 맵 포인트들은 FOV 카메라들을 통해 수신된 데이터, 감각 입력, 또는 임의의 다른 타입의 수집된 데이터를 통해 도출될 수 있다.
[0134] 블록(1130)에서, 웨어러블 시스템은 클라우드로부터 디스플레이로 데이터를 전송할 수 있거나 또는 데이터가 로컬 데이터베이스로부터 디스플레이 컴포넌트들로 전송될 수 있다. 블록(1140)에서, UI는 전송된 데이터에 기반하여 사용자에게 디스플레이된다. 예컨대, 광 필드 디스플레이는 가상 UI를 사용자의 눈들 중 하나 또는 둘 다로 투사할 수 있다. 일단 가상 UI가 생성되면, 블록(1150)에서 웨어러블 시스템은 단순히 가상 UI 상에 더 많은 가상 콘텐츠를 생성하기 위해 사용자로부터의 커맨드를 기다릴 수 있다. 예컨대, UI는 사용자의 신체 주위의 신체 중심 링일 수 있다. 그런다음, 웨어러블 시스템은 커맨드(제스처, 머리 또는 눈 움직임, 사용자 입력 디바이스로부터의 입력 등)를 기다릴 수 있으며, 만약 그것이 인지되면(블록(1160)), 커맨드와 연관된 가상 콘텐츠가 사용자에게 디스플레이될 수 있다(블록(1170)).
[0135] 웨어러블 시스템들, UI 및 사용자 경험들(UX)의 추가적인 예들은 미국 특허 공보 번호 제2015/0016777호에 설명되어 있으며, 이는 그 전체가 인용에 의해 본원에 통합된다.
예시적인 토템의 개요
[0136] 도 4 및 7 - 10을 참조로 설명되는 바와 같이, 사용자는 사용자 입력 디바이스(466)(이를테면, 예컨대 토템)를 사용하여 디스플레이(예컨대, 디스플레이(220)) 상에서 다양한 사용자 인터페이스 동작들을 수행할 수 있다. 도 12a는 사이드(1210) 및 전방(사용자-대면)(1250) 뷰들을 보여주는 토템(1200)의 예시적인 실시예를 예시한다. 토템(1200)은 단독으로 또는 다른 사용자 입력 디바이스들과 조합하여 (도 4에 도시된) 사용자 입력 디바이스(466)일 수 있다. 토템(1200)은 핸드헬드되도록 사이즈가 정해지고 형상화될 수 있다. 본원에서 개시된 다양한 실시예들 중 하나 이상에서 사용자 입력 디바이스들(이를테면, 예컨대 토템들)의 추가적인 예들은 2016년 8월 22일자로 출원된 미국 디자인 특허 출원 제29/575,031호의 토템 제어기와 동일하거나 유사한 장식용 외관(ornamental appearance)들을 갖는, 2017년 8월 22일자로 출원된 미국 특허 출원 제15/683,677호에 도시 및 설명되어 있고, 이로써 앞서 언급된 출원들 둘 모두는 그것들 전체가 인용에 의해 본원에 포함된다.
[0137] 도 12a에 도시된 토템(1200)은 트리거(1212), 홈 버튼(1256), 및 터치패드(1260)를 갖는 바디(1214)를 포함할 수 있지만, 더 많거나 또는 더 적은 버튼들, 트리거들, 또는 피처들이 다른 예시적인 토템들에 포함될 수 있다. 광 가이드(1264)는 실질적으로 터치패드(1260)를 둘러쌀 수 있다. 도 12a 및 12b에 도시된 예들에서, 광 가이드(1264)는 실질적으로 원형 터치패드(1260)를 실질적으로 둘러싸는 고리 모양(예컨대, 원형 링)이다. 다른 실시예들에서, 터치패드(1260) 및 광 가이드(1264)는 다르게 형상화될 수 있다. 예컨대, 터치패드(1260)는 다각형(예컨대, 정사각형, 직사각형, 육각형 등)으로 또는 계란형(oval)으로 형상화될 수 있고, 광 가이드는 터치패드를 실질적으로 둘러싸는 형상(예컨대, 원형, 계란형, 다각형 등)을 가질 수 있다.
[0138] 트리거, 홈 버튼, 및 터치패드는 (예컨대, 각각, 풀링됨으로써, 누름해제됨으로써, 또는 터치됨으로써) 사용자 입력들을 받아들일 수 있다. 광 가이드(1264)는 광 패턴들을 디스플레이하기 위해 조명될 수 있다. 일부 실시예들에서, 광 가이드(1264)는 터치 감지식이고, 사용자 입력을 수신할 수 있다. 토템(1200)은 사용자에 의해 홀딩되지 않고 있을 때는 베이스(base)(1220)에 제거가능하게 부착될 수 있다. 베이스(1220)는 (예컨대, 벽 소켓(wall socket)으로의) 전기 전력 연결을 포함할 수 있고, 토템(1200)이 베이스(1220)에 부착될 때 그 토템을 충전하기 위해 사용될 수 있다.
트리거의 예들
[0139] 트리거(1212)는 사용자로부터 멀어지게 향하는 토템 바디(1214)의 상부 부분 상에 위치될 수 있다. 트리거(1212)는 사용자 입력을 수신할 수 있는 터치 표면(1234) 및 터치 센서(도 12a에 미도시됨)를 포함할 수 있다. 터치 센서는 터치 표면(1234) 상에서(또는 인근에서) 사용자의 손가락 및 터치 표면(1234) 상에서 사용자의 손가락의 움직임을 감지할 수 있다. 추가적으로 또는 대안적으로, 트리거(1212)는 사용자가 누를 수 있는 버튼(1232)을 포함할 수 있다. 버튼(1232)은, 사용자가 그 버튼(1232)을 누를 때를 검출할 수 있는 압력 센서를 포함할 수 있다. 버튼(1232)은 그것의 휴식 포지션(resting position)으로부터 6 - 8mm 눌려질 수 있다. 일부 실시예들에서, 트리거(1212)는 다수의 버튼들, 이를테면, 예컨대 선택 버튼, 되돌아가기 버튼, 옵션 버튼 등을 포함할 수 있다.
[0140] 트리거(1212)는 예컨대 Alps 힘 센서를 사용하여 구현될 수 있다. 트리거(1212)(또는 버튼(1232))는 또한 아날로그 또는 디지털 버튼을 사용하여 구현될 수 있다. 트리거(1212)는 마이크로프로세서와 연관될 수 있다. 마이크로프로세서는 트리거(1212)의 다양한 기능들을 위해 두 개의 GPIO(general-purpose input/output) 핀들을 예비할 수 있다.
[0141] 일부 구현들에서, 트리거(1212)는 햅틱 피드백을 제공하도록 구성될 수 있다. 트리거(1212)는 햅틱 작동기, 이를테면, 예컨대 LRA(linear resonant actuator), ERM(eccentric rotating mass), 피에조 작동기 등을 포함할 수 있다. 예컨대, 트리거(1212)는 진동을 생성하기 위해 S-타입 LRA(이를테면, 예컨대 아날로그 버튼(1232) 상의 S-타입 Alps 햅틱)를 이용할 수 있다.
[0142] 사용자는 다양한 손 제스처들을 사용하여 트리거(1212)를 작동시킬 수 있다. 예컨대, 사용자는 터치, 스와이핑, 탭핑, 누름 등에 의해 트리거(1212)를 작동시킬 수 있다. 트리거(1212)는, 다양한 사용자 인터페이스 상호작용들이 트리거(1212)를 작동시키기 위해 사용되는 상이한 손 제스처들과 연관될 수 있는 경우에, 풍부한 터치 피처들을 제공할 수 있다. 예컨대, 사용자는 트리거(1212)를 누름으로써 AR 인터페이스와 VR 인터페이스 사이에서 스위칭할 수 있다. 다른 예로서, 사용자는 트리거의 터치 표면(1234) 상에서 스와이핑함으로써 사용자의 FOV 안팎으로 가상 오브젝트들을 스와이핑할 수 있다. 사용자 인터페이스 상호작용들은 또한 작동의 지속시간과 연관될 수 있다. 토템(1200)은 누름의 지속기간을 레코딩하고, 그 누름의 지속기간에 기반하여 사용자 인터페이스 동작을 결정할 수 있다. 예컨대, 연장된 지속기간(이를테면, 예컨대 3 - 5초) 동안 트리거(1212)를 누르는 것은 웨어러블 시스템으로 하여금 프로그램(이를테면, 예컨대 영화)을 출사하게 할 수 있는데 반해, 트리거의 신속한 누름은 웨어러블 시스템으로 하여금 사용자의 시선 방향에 있는 가상 오브젝트를 선택하게 할 수 있다.
[0143] 트리거는 사용자 인터페이스 동작을 수행하기 위해 토템의 다른 컴포넌트들 또는 사용자의 포즈와 연동하여 작동될 수 있다. 예컨대, 사용자는 가상 오브젝트를 이동시키기 위해 터치패드(1260) 상에서 스와이핑하면서 트리거(1212)를 누를 수 있다. 다른 예로서, 사용자는 그의 오른쪽 엄지손가락으로 트리거(1212)를 누르고 그의 팔을 오른쪽으로 움직임으로써, 가상 오브젝트를 우향으로 이동시킬 수 있다.
[0144] 트리거(1212)는 하나 이상의 사용자 인터페이스 동작들이 이용가능하다는 표시를 사용자에게 제공하도록 또한 구성될 수 있다. 예컨대, 연장된 지속기간 동안 트리거(1212)가 눌려질 때, 웨어러블 시스템은 사용자가 게임의 세팅들을 변경하게 할 수 있다. 세팅들을 지금 변경할 수 있다는 것을 사용자에게 표시하기 위해서, 웨어러블 시스템은 트리거(1212) 상에서(또는 토템의 바디 상에서) 햅틱 피드백(이를테면, 예컨대 진동)을 제공할 수 있다. 사용자 인터페이스 동작이 이용가능하다는 표시를 제공하는 것에 부가하여 또는 이에 대안적으로, 햅틱 피드백은 사용자가 특정 제스처(이를테면, 예컨대 탭핑 또는 누름)를 사용하여 트리거(1212)를 작동시켰음을 그에게 알리기 위해 또한 사용될 수 있다
[0145] 다른 실시예들에서, 트리거(1212)의 위에서 설명된 기능성의 일부 또는 모두는 토템(1200)의 다른 버튼들 또는 터치-감지 표면들에 의해 구현될 수 있다. 예컨대, 도 17b를 참조하여 아래에서 설명되는 바와 같이, 버튼(범퍼로도 지칭됨)은 트리거(1212)(또는 홈 버튼(1256))의 기능성의 일부 또는 모두를 수행할 수 있다.
[0146] 토템(1200)의 다른 예들은 도 17a 및 17b를 참조하여 설명된다.
터치패드의 예들
[0147] 토템은 사용자를 향하는 토템 바디(1214)의 상부 전방 부분 상에 위치되는 터치패드(1260)를 포함할 수 있다. 터치패드(1260)는 터치 표면(1262) 및 광 가이드(1264)를 포함할 수 있다. 일부 예들에서, 터치패드(1260)의 아키텍처 및/또는 기능성은 미국 특허 출원 제15/683,677호에 설명되어 있는 것과 실질적으로 동일하거나 유사할 수 있고, 그 미국 특허 출원은 위에서 언급된 바와 같이 그 전체가 인용에 의해 본원에 포함된다. 예시된 예에서, 광 가이드(1264)는 실질적으로 터치 표면(1262)을 둘러싼다. 터치패드(1260)는 다양한 상호작용가능한 구역들을 포함할 수 있다. 예컨대, 사용자는 터치 표면(1262), 광 가이드(1262)를 단독으로 또는 조합하여 작동시킬 수 있다. 터치 표면(1262)은 다수의 상호작용가능한 구역들을 추가로 포함할 수 있고, 각각의 구역은 사용자 입력(또는 사용자 인터페이스 동작)의 타입에 맵핑된다.
[0148] 터치 표면(1262)은 27mm-40mm 범위의 직경을 갖는 원형 표면일 수 있다. 터치 표면(1262)은 또한 다른 형상들, 이를테면, 예컨대 계란형, 직사각형, 삼각형, 다이아몬드형, 불규칙적인 형상 등일 수 있다. 특정 구현들에서, 터치패드(1260)는 50ms 미만의 T2P(traffic-to-pilot) 레이턴시를 가질 수 있다.
[0149] 터치 표면(1262)은 실질적으로 광 가이드(1264)에 의해서 둘러싸일 수 있다. 예컨대, 다양한 실시예들에서, 광 가이드(1264)는 90도 보다 크거나, 180도 보다 크거나, 270도 보다 크거나, 또는 최대 360도까지인 터치 표면 주위의 각도 거리의 범위를 정할 수 있다. 광 가이드(1264)는 광 패턴들의 다양한 배치 및 움직임을 갖는 헤일로를 디스플레이하도록 조명될 수 있다. 광 가이드(1264)가 헤일로를 디스플레이하기 위해서 터치패드의 광원들(1330)(예컨대, LED들)에 의해 생성된 광을 확산시킬 수 있음으로써, 개별적인 이산 광원들로부터의 조명이 병합된다. 광 가이드(1264)는 링 형상으로 형성되는, 예컨대 플라스틱 또는 고분자 재료(polymeric material)로 형성된 확산 광학 엘리먼트를 포함할 수 있고, 그 확산 광학 엘리먼트는 광원들(1330)로부터의 광을 토템(1200)의 뷰어로 투과(및 확산)시킬 수 있다(예컨대, 도 13a-14a 참조). 광 가이드는 투명하거나 반투명할 수 있다. 다양한 실시예들에서, 광 가이드(1264)는 확산기 시트들, 확산기 필름들, 에칭된 도파관, 입자 층들을 포함하는 투과성 광학 엘리먼트, 불규칙적인 표면들, 홀로그래프들, 백색 표면들, 젖빛 유리, 폴리테트라플루오르에틸렌(PTFE 또는 테플론), 유백색 유리, 회색 유리, 컬러 젤 등을 포함할 수 있다. 유리하게 광학적 확산 재료를 포함하는 광 가이드의 실시예들이 광원들(1330)로부터의 광을 확산 및 퍼지게 할 수 있음으로써, 광 가이드는 이산적인 개별 광원들로서(광 가이드가 실질적으로 투명한 경우) 나타나기 보다는 실질적으로 전체 연속적인 글로를 갖는 것으로(모든 광원들이 조명될 때) 나타난다.
[0150] 터치패드는 다수의 RGB(red, green, blue) LED들(이를테면, 예컨대 6-24 개의 RGB LED들)을 포함할 수 있다. 헤일로의 광 배치 또는 움직임 패턴들은 웨어러블 시스템의 토템 또는 다른 컴포넌트들과 사용자의 상호작용들, 웨어러블 시스템과 연관된 진행 상황, 사용자의 환경 내의 오브젝트들 등의 시각 표시들을 제공할 수 있다. 예컨대, 도 13c의 LED들(1383a) 또는 도 13e의 LED들(1394a)을 참조하라.
[0151] 광원들은 전자기 스펙트럼의 비-가시적인 부분들, 예컨대 적외선 또는 자외선을 방사하는 방출기들을 (추가적으로 또는 대안적으로) 포함할 수 있다. 이러한 실시예들에서, 웨어러블 디바이스 상의 카메라는 대응하는 비-가시적인 스펙트럼에 민감할 수 있고, 이들 방출기들에 의해 디스플레이되는 비-가시적인 광을 이미징할 수 있다. 그에 따라서, 토템(1200) 및 웨어러블 디바이스는 이러한 비-가시적인 스펙트럼 모달리티를 통해 정보를 교환할 수 있다. 예컨대, 토템(1200) 및 HMD는 비-가시적인 스펙트럼 모달리티를 사용하여 디바이스 페어링 정보를 교환할 수 있다.
[0152] 터치패드(1260)는 터치 표면(1262) 및 광 가이드(1264) 중 일부의 아래에 포스-햅틱(force-haptic) 컴포넌트를 포함할 수 있다. 포스-햅틱 컴포넌트는 터치 표면(1262) 또는 광 가이드(1264)를 통해 사용자에게 햅틱 피드백을 제공하기 위한 햅틱 작동기를 포함할 수 있다. 햅틱 피드백은 사용자의 환경 내의 오브젝트들 또는 토템과의 사용자의 상호작용의 표시를 제공하기 위해 단독으로 또는 시각 헤일로와 조합하여 사용될 수 있다.
[0153] 포스-햅틱 컴포넌트는 터치패드의 사용자의 작동을 검출하기 위한 터치 검출기를 또한 포함할 수 있다. 포스-햅틱 컴포넌트는 터프(tough)-타입 Alps LRA를 사용하여 구현될 수 있다. 포스-햅틱 컴포넌트는 ADC(analog-to-digital converter)로 인한 스트레인 게이지(strain gauge)를 포함할 수 있다.
[0154] 터치패드(1260)는 하이브리드 제어 기법, 이를테면, 예컨대 트랙포인트-스타일 하이브리드 속도 제어 입력 기법, 하이브리드 힘 및 속도 기법 등을 이용할 수 있다. 터치패드(1260)는 이런 입력 기법을 가능하게 하기 위해서 ADC를 사용할 수 있다. 특정 구현들에서, 터치패드의 민감도는 5 뉴턴 미만일 수 있다. 터치패드(1260)의 추가적인 구조적 예들은 도 13a 및 14e를 참조하여 추가로 설명된다.
[0155] 터치패드(1260)는 다양한 사용자 인터페이스 경험들을 위한 풍부한 터치 피처들을 제공할 수 있다. 예컨대, 사용자는 가상 오브젝트들을 이동시키거나 배향시키기 위해 터치패드(1260)를 (단독으로 또는 웨어러블 시스템 또는 토템의 다른 컴포넌트들과 연동하여) 사용할 수 있다. 터치패드(1260)는 텍스트들을 입력하기 위한 가상 키보드로서 또한 사용될 수 있다.
토템의 바디의 예들
[0156] 토템(1200)의 바디(1214)는 토치의 형상일 수 있고(예컨대, 도 12a 참조), 그 바디는 세장형 실린더를 포함하고, 그 세장형 실리더는 더욱 절두원뿔(frustoconical) 형상(이는 사용자의 손에 홀딩되기에 쉽거나 더욱 편안하게 만듬)이도록 토템의 최상부 쪽으로 외향적으로 각도를 이룰 수 있다. 바디(1214)는 사용자의 손가락들을 위한 만입부들을 포함할 수 있고, 그 만입부들은 토템을 그립핑하여 홀딩하는 것을 보조할 수 있다. 도 12b는 토템(1200)의 다른 예를 예시하는 평면도(1270)이다. 이 실시예에서, 바디(1214)는 형상이 알형(ovoid)이고, 이로써, 그 바디(1214)는 사용자의 손의 손바닥에 더욱 맞춤화되거나 또는 표면(예컨대, 테이블) 상에 놓일 때 더욱 안정적일 수 있다. 일부 예들에서, 토템(1200)의 바디(1214)의 장식용 외관은 2016년 8월 22일자로 출원된 미국 디자인 특허 출원 제29/575,031호에 도시 및 설명되어 있는 토템 제어기의 것과 실질적으로 동일하거나 유사할 수 있고, 그 미국 디자인 특허 출원은 위에서 언급된 바와 같이 그 전체가 인용에 의해 본원에 포함된다. 바디(1214)의 다른 형상들은, 가능하면, 이를테면 계란형, 다각형 등인 단면을 갖는 세장형 바디이다. 바디(1214)의 단면은 실질적으로 대칭적일 수 있어서, 토템(1200)은 사용자의 왼쪽 손 또는 사용자의 오른쪽 손에 쉽게 홀딩될 수 있다.
[0157] 바디(1214)는, 트리거(1212) 및 터치패드(1260)를 포함할 수 있는 상부 부분(1242)을 포함할 수 있다. 바디(1214)는 최하부 부분(1244)을 또한 포함할 수 있다. 최하부 부분(1244)은 토템(1200)이 베이스(1220)에 제거가능하게 부착될 수 있도록 인터페이스를 포함할 수 있다. 예컨대, 최하부 부분(1244)은 토템(1200)이 충전되고 있을 때 연결 인터페이스(1222)(이를테면, 예컨대 USB-C 연결)를 통해 베이스(1220)에 연결될 수 있다. 다른 예로서, 최하부 부분(1244)은 베이스(1220)를 통해 다른 컴퓨팅 디바이스(이를테면, 홈 컴퓨터)에 연결될 수 있다. 컴퓨터에 연결될 때, 사용자는 컴퓨팅 디바이스 상에서 (도 18a-18d를 참조하여 아래에서 설명되는) 프로그래밍 인터페이스를 통해 (터치패드(1260) 상에서) 헤일로의 광 배치 또는 움직임 패턴들을 적절히 구성할 수 있다.
[0158] 터치패드(1260)는, 토템(1200)이 사용자의 손에 홀딩될 때 터치 표면(1264) 및 광 가이드(1262)를 사용자가 쉽게 볼 수 있도록, 각질 수 있다. 수평에 대한 터치패드(1260)의 각도는 약 10 - 60도 범위일 수 있다. 결과적으로, 바디(1214)가 이런 각도를 통해 더욱 절두원뿔 형상을 취할 수 있다. 앞서 설명된 바와 같이, 이 형상은 토템(1200)을 사용자가 그의 손에 홀딩하기에 더 쉽거나 더 편안하게 만들 수 있다. 일부 실시예들에서, 수평에 대한 터치패드(1260)의 각도는 약 15 - 30도 범위일 수 있다. 트리거(1212)가 터치패드(1260)에 대향하여 배치될 수 있어서, 토템(1200)이 사용자의 손에 홀딩될 때, 그 트리거(1212)는 사용자의 집게손가락으로 쉽게 누름해제가능하다.
[0159] 일부 실시예들에서, 최하부 부분(1244)은 조명된 전력 표시자를 포함할 수 있다. 조명된 전력 표시자는 하나 이상의 RGB LED들을 포함할 수 있다. LED 전력 표시자의 광 배치 또는 움직임 패턴들은 LED 토템에 대한 남아 있는 배터리 또는 배터리 충전 상황에 관련된 정보를 제공하기 위해 사용될 수 있다.
[0160] 바디(1214)는 사용자에게 햅틱 피드백을 제공하도록 구성될 수 있다. 바디(1214)는 햅틱 피드백을 제공하기 위한 햅틱 작동기(1760)(도 17a 및 17b에 도시됨)를 포함할 수 있다. 햅틱 작동기(1760)는 터프 타입의 LRA 또는 ERM 햅틱스로 구현될 수 있다. 바디(1214)와 연관된 컴포넌트들의 세부사항들이 도 17a 및 17b를 참조하여 설명된다.
홈 버튼의 예들
[0161] 토템(1200)은 홈 버튼(1256)을 포함할 수 있다. 홈 버튼(1256)은 토템(1200)의 바디(1214) 상에 위치될 수 있다. 사용자가 홈 버튼(1256)을 작동시킬 때, 웨어러블 시스템은 다양한 사용자 인터페이스 동작들, 이를테면, 예컨대 디스플레이 또는 애플리케이션의 메인 메뉴를 리턴/오픈하는 것, 프로그램에서 나가는 것, 애플리케이션을 선택하는 것 등을 수행할 수 있다. 일부 실시예들에서, 사용자가 홈 버튼(1256)을 작동시킬 때, 웨어러블 시스템은 슬립 모드로 들어가거나 슬립 모드로부터 웨이크 업하고, 디스플레이 상에서 가상 콘텐츠를 턴 온 또는 오프시키고, 기타 등등 일 수 있다.
[0162] 웨어러블 시스템은 사용자가 홈 버튼(1256)을 작동시키는 방법에 기반하여 동작들을 수행할 수 있다. 예컨대, 만약 사용자가 연장된 시간 지속기간 동안에 홈 버튼(1256)을 작동시킨다면, 디스플레이는 턴 오프될 수 있다. 다른 예로서, 만약 사용자가 홈 버튼(1256)을 두 번 누른다면, 디스플레이는 디스플레이의 메인 페이지를 제공할 수 있는데 반해, 만약 사용자가 홈 버튼을 한번 누른다면, 디스플레이는 사용자가 현재 상호작용하고 있는 게임 애플리케이션의 메인 메뉴를 제공할 수 있다. 다른 기능성은 홈 버튼(1256)에 의해서 구현될 수 있는데, 예컨대, 버튼 상에서의 신속한 탭은 애플리케이션 론처 사용자 인터페이스를 띄울 수 있고; 애플리케이션 내에서, 신속한 탭이 애플리케이션의 메뉴를 띄울 수 있거나 길게 누름이 애플리케이션을 유예시키고 애플리케이션 론처 사용자 인터페이스를 띄울 수 있다.
[0163] 홈 버튼(1256)은, 토템 또는 웨어러블 디스플레이의 현재 상황(이를테면, 토템 또는 웨어러블 디바이스가 턴 온되었는지/턴 오프되었는지), 토템, 웨어러블 디스플레이, 또는 웨어러블 시스템의 다른 컴포넌트들의 배터리 상황을 표시하는 데 사용될 수 있는 RGB LED 표시자를 포함할 수 있다.
[0164] 다양한 실시예들에서, 토템(1200)은 홈 버튼(1256) 및 트리거(1212) 둘 모두를 포함하거나, 또는 이 사용자-입력 엘리먼트들(또는 추가적인 버튼들, 이를테면, 도 17b를 참조하여 설명된 범퍼(1266)) 중 하나만을 포함한다. 토템(1200)은 도시된 것과 다르게 구성되거나 형상화될 수 있다. 예컨대, 홈 버튼(1256)은 (바디(1214)의 일부라기보다는) 트리거의 일부로서 구현될 수 있다. 또 다른 예로서, 터치패드(1260) 또는 홈 버튼(1256)은 토템(1200)의 충전의 진행에 대한 시각적 표시를 제공할 수 있다. 많은 변동들이 가능하며, 첨부 도면들은 예시적인 실시예들을 예시하도록 의도되며, 본 개시내용의 범위를 제한하도록 의도되지 않는다.
베이스의 예들
[0165] 토템의 바디(1214)를 참조로 설명되는 바와 같이, 토템(1200)의 바디(1214)는 베이스(1220)에 제거가능하게 부착될 수 있다. 베이스와 토템 간의 인터페이스는 전기 충전, 토템의 데이터에 대한 액세스 또는 소프트웨어 업데이트들을 제공하기 위한 액세스 등을 허가할 수 있다. 예컨대, 베이스(1220)는 바디(1214)의 최하부 부분(1244) 상의 USB(universal serial bus) 포트에 플러깅될 수 있는 USB 플러그를 포함할 수 있다. 베이스(1220)는 추가로, 토템을 충전하기 위한 전력 코드(power cord)를 사용하여 전력 배출구(power outlet)에 연결될 수 있다. 베이스는 또한, 유선 또는 무선 통신 채널들을 사용하여 다른 컴퓨팅 디바이스들, 이를테면, 개인 컴퓨터들, 텔레비전들, 투사기들 등과 연결될 수 있다.
토템을 작동시키는 예들
[0166] 토템(1200)은 다양한 입력 기법들, 이를테면, 예컨대 터치, 스와이핑, 스크롤링, 로터리 다이얼링(rotary dialing), 클릭킹, 누름, d-패드 에뮬레이션 등을 지원할 수 있다. 일부 실시예들에서, 토템(1200)은 관성 스와이프들을 지원할 수 있다. 예컨대, 사용자가 터치패드(1260) 상에서 궤적을 따라 스와이핑할 때, 사용자의 손가락이 스와이핑하는 것을 중지하더라도, 가상 오브젝트는 궤적을 따라 계속 움직일 수 있다. 토템(1200)은 또한, 에지 스와이프들, 이를테면, 예컨대 터치패드(1260) 또는 광 가이드(1264)의 수평 또는 수직 에지 상에서 스와이핑하는 것을 지원할 수 있다.
[0167] 사용자는 다양한 손 제스처들 및 신체 포즈들을 사용하여 토템(1200)을 작동시킬 수 있다. 예컨대, 사용자는 터치패드(1260) 또는 트리거(1212)를 스와이핑 또는 터치할 수 있다. 일부 실시예들(이를테면, 예컨대 실시예들(1210 및 1250))에서, 토템(1200)은 6DOF 사용자 상호작용들을 지원할 수 있다. 예컨대, 사용자는 토템(1200)을 회전시켜 게임 아바타를 회전시킬 수 있다. 도 17a, 도 17b를 참조하여 추가로 설명된 바와 같이, 토템(1200)은 사용자의 움직임을 검출하기 위해 환경 센서(1710)(이를테면, IMU)를 사용할 수 있다. 다른 실시예들(이를테면, 예컨대 도 12b에 도시된 예시적인 토템(1200))에서, 토템은 (6DOF보다는) 3DOF를 지원할 수 있다. 이 실시예들에서, 토템은 사용자들의 서지(surge), 히브(heave), 및 스웨이(sway) 움직임들을 검출 및 전환할 수 있지만 피치(pitch), 요(yaw), 및 롤(roll) 움직임들은 검출 및 전환할 수 없거나, 또는 그 반대도 가능하다.
[0168] 예들이 핸드헬드 디바이스들을 참조하여 설명되었지만, 유사한 기법들이 또한, 시트(seated) 및 테이블탑(tabletop) 제어들을 위해 설계된 사용자 입력 디바이스에 적용될 수 있다.
터치패드의 예시적인 구조들
터치패드의 단면도들
[0169] 도 13a는 토템(1200)의 예시적인 터치패드(1260)의 단면도를 예시한다. 예시적인 터치패드(1260)는 도 12a 및 도 12b를 참조하여 설명된 토템(1200)의 일부일 수 있다. 터치패드(1260)는 3개의 층들: 최상부 층(1312), 중간 층(1314), 및 최하부 층(1316)을 포함할 수 있다.
[0170] 최하부 층(1316)은 PCB(printed circuit board)(1340)를 포함할 수 있다. PCB(1340)는 중간 층(1314) 상의 하나 이상의 컴포넌트들, 이를테면, 광원들(1330)(예컨대, LED들) 및 터치 센서(1350)를 기계적으로 지지하고 그리고 이들에 전기적으로 연결될 수 있다. PCB(1340)는 또한, 전기자(armature)(1320)를 지지할 수 있다. 추가적으로 또는 대안적으로, PCB(1340)는, 토템의 다른 컴포넌트들, 이를테면, 예컨대 햅틱 작동기들(예컨대, 터치패드(1260), 트리거(1212), 또는 바디(1214) 등을 위한 작동기들), 마이크로프로세서들 등에 전기적으로 연결될 수 있다.
[0171] 터치패드(1260)의 중간 층(1314)은 터치 센서(1350)를 포함할 수 있다. 터치 센서(1350)는 도 12a를 참조하여 설명된 포스-햅틱 컴포넌트의 예일 수 있다. 터치 센서(1350)는 터치패드(1260)에 대한 사용자의 작동을 결정하기 위해 또는 햅틱 피드백을 제공하기 위해 다양한 터치 스크린 기술들(이를테면, 예컨대, 저항성 또는 용량성 센서 기술들)을 사용할 수 있다. 터치 센서(1350)는, 터치 표면(1262)(및 광 가이드(1264))에 가해지는 힘들의 상이한 레벨들 간을 구별할 수 있는 멀티-터치 기술들을 가능하게 하도록 구성될 수 있다. 터치 센서(1350)는 3개의 직교 방향들(예컨대, XYZ)에서 민감도를 제공할 수 있다. 터치 센서(1350)에 의해 이용될 수 있는 예시적인 터치 스크린 기술들이 도 13b에서 설명된다.
[0172] 도 13a에서, LED들(1330)은 터치 센서(1350)와 전기자(1320)의 중간에(in-between) 포지셔닝될 수 있다. 중간 층(1314)은 6 내지 12개의 LED들을 포함할 수 있지만, 다른 개수들(예컨대, 3, 15, 18, 20 등)의 LED들이 또한 가능할 수 있다. LED들은 광 가이드의 원주 주위에 실질적으로 균일하게 포지셔닝될 수 있거나(예컨대, 도 13e 및 도 14a의 평면도들을 참조) 또는 일부 LED들은 균일한 간격보다는 서로 더 근접하게 포지셔닝될 수 있다. LED들(1330)은 단일 컬러 LED(이를테면, 예컨대 청색-자색 LED), 바이-컬러(bi-color) LED, RGB LED(또는 다른 다중-컬러 LED들), 백색 LED, 또는 OLED(organic LED), 양자점 LED, 적외선 LED, 자외선 LED 등을 단독으로 또는 조합하여 포함할 수 있다. LED들(1330)은 (예컨대, PCB 보드(1340) 상의) 마이크로프로세서에 의해 제어될 수 있다. 예컨대, 마이크로프로세서를 사용하여 RGB LED의 각각의 컬러(적색, 녹색, 및 청색)를 독립적으로 조정함으로써, RGB LED에 의해 넓은 범위의 컬러들(예컨대, 큰 컬러 개멋(color gamut))이 생성될 수 있다. LED들에 의해 생성된 광 패턴들은 토템 또는 웨어러블 시스템과의 사용자 상호작용들과 연관될 수 있을 뿐만 아니라 사용자의 환경의 오브젝트들과 연관될 수 있다. 일부 예들에서, 광 패턴들은 또한, 헤일로의 광 배치 또는 움직임 패턴들로 지칭될 수 있다.
[0173] 전기자(1320)는 최상부 층(1312)과 중간 층(1314)에 걸쳐 있을 수 있다. 전기자(1320)는 중간 층(1314) 및 최상부 층(1312)을 함께 홀딩할 수 있다. 전기자의 일부는 LED들(1330)의 최상부 부분을 터치할 수 있다.
[0174] 최상부 층은, 전기자(1320)의 일부 외에도 광 가이드(1264) 및 터치 표면(1262)을 포함할 수 있다. 터치 표면(1262)은 광 가이드(1264)에 의해 둘러싸일 수 있고, 터치 센서(1350)의 최상부 상에 놓일 수 있다. 사용자는 손 제스처들을 사용하여 터치 표면(1262)을 작동시킬 수 있다. 터치 표면(1262)은 또한, 사용자에게 햅틱 피드백을 제공할 수 있다. 광 가이드(1264)의 일부는 터치 센서(1350)의 최상부 상에 오버레이될 수 있고, 그에 따라서, 사용자는 광 가이드(1264)를 작동시킬 수 있다. 일부 실시예들에서, 광 가이드는 터치가능하지 않을 수 있다(예컨대, 터치 센서(1350)가 광 가이드(1264) 아래에 있지 않기 때문임). 그러나, 광 가이드는 여전히 시각적 또는 햅틱 피드백을 제공할 수 있다.
[0175] 광 가이드(1264)는 최상부 층(1312) 상의 터치 표면(1262)과 전기자(1320)의 중간에 있을 수 있다. 광 가이드(1264)는 제1 부분(1362) 및 제2 부분(1364)을 포함할 수 있다. 광 가이드(1264)의 제1 부분(1362)은 LED들(1330)의 최상부 상에 오버레이될 수 있다. 광 가이드(1264)는 개별 LED 패키지들보다 더 큰 광 가이드(1264)의 범위에 걸쳐 광을 퍼지게 하기 위해 LED들(1330)에 의해 생성된 광을 확산시킬 수 있으며, 이는 더 만족스러운(pleasing) 시각적 외관을 제공할 수 있다. 광 패턴들은 웨어러블 시스템 또는 터치패드(1260)와의 사용자의 상호작용들과 연관된 시각적 피드백을 제공할 수 있다. 광 패턴들은 또한, 사용자의 환경의 오브젝트들과 연관된 정보(이를테면, 사용자와 오브젝트 사이의 상대적 포지션들)를 제공할 수 있다.
[0176] 광 가이드(1264)의 제2 부분(1364)은 터치 센서(1350) 위에 포지셔닝될 수 있다. 예컨대, 광 가이드(1264)는 터치 센서(1350) 위에 0.75 mm 내지 2mm 삽입되어(inset) 포지셔닝될 수 있다. 터치 센서(1350)의 일부가 광 가이드(1264) 아래로 연장될 수 있기 때문에, 광 가이드(1264)는 시각적 및 햅틱스 피드백을 제공할 수 있을 뿐만 아니라 사용자에 의해 작동될 수 있다. 손가락(1310)에 의해 도시된 바와 같이, 사용자는, 예컨대 광 가이드(1264)를 터치, 탭핑, 스와이핑, 또는 누름으로써, 광 가이드(1264)를 작동시킬 수 있다. 그에 따라서, 사용자가 광 가이드(1264)를 작동시킬 때, 토템은, 사용자 인터페이스 경험들, 이를테면, 예컨대 광 가이드 상의 광의 선택적으로 조명된 "버튼들" 또는 "아크들"을 탭핑하는 것을 시뮬레이팅할 수 있다.
[0177] 광 가이드(1264)는 터치 센서(1350) 위에 포지셔닝될 필요는 없다. 결과적으로, 사용자는 토템 또는 웨어러블 디바이스와 상호작용하기 위해 광 가이드(1264)를 작동시키지 못할 수 있다. 일부 구현들에서, 1364의 제2 부분이 터치 센서(1350) 위에 포지셔닝되지만, 프로세서(1770) 또는 로컬 프로세싱 & 데이터 모듈(260)은 광 가이드(1264) 상에서의 사용자의 입력을 인식하지 않도록 구성될 수 있다. 결과적으로, 광 가이드(1264)는 시각적 또는 햅틱 피드백을 제공하기 위해 사용될 수 있지만, 사용자가 광 가이드(1264)를 작동시킬 때 반응하지 않을 수 있다.
[0178] 도 13b는 터치 스크린 기술들의 예들을 예시한다. 이 예들에서, 터치 센서(1350)(예컨대, 1350a, 1350b, 및 1350)는 터치 표면(1262)과 PCB(1340)의 중간에 샌드위치된다. 터치 스크린 기술의 실시예(1362)는 터치 하의 힘 기술(force under touch technology)의 예를 예시한다. 이 예에서, 터치 센서(1350a)는 터치 표면(1262) 상에 가해지는 힘의 다수의 레벨들을 검출할 수 있는 압력 감지 센서를 포함할 수 있다. 특정 실시예들에서, 터치 센서(1350)는 또한, 햅틱 피드백을 터치 표면(1262)에 중계하도록 구성될 수 있다.
[0179] 예 1364에서, 터치 센서(1350b)는 스트레인 게이지들을 포함할 수 있다. 스트레인 게이지들은 터치 표면(1262)의 에지 아래에 위치될 수 있다. 사용자가 터치 표면(1262)을 작동시킬 때, 터치 센서(1350b)는 터치 표면(1262)의 스트레인들을 측정함으로써 사용자의 제스처(예컨대, 누름 또는 탭핑 제스처)를 결정할 수 있다.
[0180] 예 1366은 IFSR(interpolating force-sensitive resistance) 터치 센서 기술을 예시한다. 터치 센서(1350c)는, 압력의 레벨에 의존하여 민감도의 레벨이 변할 수 있는 힘 감지 저항기들을 사용할 수 있다. 그에 따라서, 터치 센서(1350c)는 터치 표면(1262) 상에 가해지는 힘의 다수의 레벨들을 검출할 수 있다.
[0181] 도 13c 및 도 13d는 토템의 예시적인 터치패드의 추가적인 단면도들을 예시한다. 단면도(1380)는 최상부 커버(1381a) 및 최상부 커버(1381a) 아래의 최상부 하우징(1381b)을 도시한다. 최상부 커버(1381a) 또는 최상부 하우징(1381b), 또는 그 조합은 도 13a에 도시된 전기자(1320)의 일부일 수 있다. 최상부 하우징은 접착제로 광 가이드(1264)(예컨대, 광 파이프(1381c))에 부착될 수 있다. 광 파이프는 투명하거나 반투명할 수 있다. 다양한 실시예들에서, 광 파이프(1381c)는 컬러 젤, 회색 유리, 유백색 유리, 폴리테트라플루오로에틸렌(PTFE 또는 테플론), 젖빛 유리, 백색 표면들, 홀로그래프들, 불규칙적인 표면들, 입자들의 층들을 포함하는 투과성 광학 엘리먼트, 에칭된 도파관, 확산기 필름들, 확산기 시트들 등을 포함할 수 있다. 광학적으로 확산성인 재료를 포함하는 광 파이프의 실시예들은 유리하게, LED들(1383a)로부터의 광을 확산시키거나 퍼지게 할 수 있어서, 방향(1384)으로 출력된 광은, 이산적인 개별 LED들로서 나타나기보다는(만약 광 파이프가 실질적으로 투명하다면) 전체적으로 실질적으로 연속적인 글로를 갖는 것으로(모든 LED들이 조명될 때) 나타난다.
[0182] 최상부 하우징(1381b)은 또한, 접착제를 사용하여 백색 마일러(1381c)(또는 다른 반사 시팅)에 부착될 수 있다. 최상부 하우징은 하나 이상의 LED들(1383a)을 둘러쌀 수 있다. 예컨대, 최상부 하우징은, 적색 LED, 녹색 LED, 및 청색 LED의 패키지를 포함하는 RGB LED를 포함할 수 있다. 따라서, 만약 터치패드가 12개의 RGB LED들을 포함한다면, 터치패드는 12개의 최상부 하우징 구조들을 포함할 수 있고, 그 각각은 RGB LED를 포함한다. 다른 예로서, 최상부 하우징은 터치패드를 위해 모두 12개의 RGB LED들을 포함할 수 있다.
[0183] 최상부 커버는 터치 커버(1383d)에 인접한다. 터치 커버는 도 13a에 도시된 터치 표면(1262)의 실시예일 수 있다. 터치 커버는 터치 커버 접착제(1383c)를 사용하여 터치 보드(1383)에 부착될 수 있다. 터치 보드는 도 12a를 참조하여 설명된 포스-햅틱 컴포넌트의 실시예를 포함한다. 도 13d를 참조하여 추가로 설명된 바와 같이, 접착제 스택(1386)은 터치 보드의 일부와 최상부 하우징의 일부의 중간에 샌드위치될 수 있다. 접착제 스택(1386)은 터치 보드의 일부를 최상부 하우징의 최상부 부분과 고정적으로 부착하는 데 사용될 수 있다.
[0184] 접착제 스택(1386)은 2개의 층들: 충격-흡수 폼 패드(shock-absorbing foam pad)(예컨대, Rogers Corp. Rogers, CT로부터 이용가능한 포론(Poron)), 및 플렉스 및 접착제 층을 포함할 수 있다. 포론 패드(1387a)의 최상부 부분은 터치 보드의 최하부 부분에 부착될 수 있고, 포론 패드의 최하부 부분은 플렉스 및 접착제 층(1387b)에 부착될 수 있다. 플렉스 및 접착제 층은 최상부 하우징에 부착될 수 있다. 포론 패드는 2개의 0.2mm 두께 및 하나의 1.00mm 두께 접착제들로 구성될 수 있다. 하나의 1.00mm 접착제는 2개의 0.2mm 두께 접착제들의 중간에 포지셔닝될 수 있다. 대안적으로, 2개의 0.2mm 두께 접착제들 중 하나는 1.00mm 두께 접착제와 다른 0.2mm 두께 접착제의 중간에 있을 수 있다.
[0185] 도 13c를 다시 참조하면, 하나 이상의 LED들(1383a)은 터치 보드에 부착될 수 있다. LED는 방향(1382)으로 광을 방출할 수 있다. 광은 광 파이프에 도달할 수 있으며, 광 파이프는 TIR(total internal reflection)을 통해 광 출력 방향(1384)으로 광을 투과시킬 수 있다. 광 파이프의 최하부 부분은 또한, 백색 마일러의 일부에 부착될 수 있다. 백색 마일러(또는 다른 반사 시팅)는 LED에 의해 방출되는 광의 일부를 반사하여 광 출력 방향(1384)으로 출력되는 광의 양을 증가시킬 수 있다. 광 파이프는 LED로부터의 광을 확산시켜, 광 출력이 개별 이산 광원들보다는 좀 더 각지게 연속적인 출력으로 나타날 수 있다.
터치패드의 저면도들
[0186] 도 13e는 예시적인 터치패드의 저면도를 예시한다. 터치패드(1390)는 터치패드(1260)의 실시예일 수 있다. 터치패드(1390)는 12개의 LED들(1394a)을 포함할 수 있지만, 다른 개수들의 LED들이 또한 가능하다. 12개의 LED들(1394a)은 이 예에서 원주방향으로 균등하게 이격되지만, 다른 예들(이를테면, 도 14b 및 도 15를 참조하여 설명된 예들)에서는, LED들 사이의 간격이 반드시 동일할 필요는 없을 수 있다. 12개의 LED들은 터치패드의 최하부 상에 위치될 수 있다. 터치패드는 LED들을 선택적으로 조명하여 터치 패드 주위에 헤일로로서 나타날 수 있는 광 패턴을 생성할 수 있다.
[0187] LED들은 하우징(1392)에 부착될 수 있다. 하우징은 2개의 정렬 핀 홀들 및 3개의 스냅 클리어런스들(1394e)을 가질 수 있다. 2개의 정렬 핀 홀들은 터치패드의 직경의 반대쪽 단부 상에 있을 수 있다. 3개의 스냅 클리어런스들은 균등하게 이격될 수 있다. 정렬 핀 홀들(1394d) 및 스냅 클리어런스들(1394e)은 토템 바디에 관하여 터치패드를 배향시키고 포지셔닝하는 데 사용될 수 있다. 스냅 클리어런스들(1394e)은 또한, 터치패드(1390)를 토템 바디에 고정시키는 데 사용될 수 있다.
[0188] 터치패드(1390)는 터치 스크린 기술, 이를테면, 예컨대 포스 플렉스 스택(force flex stack)(1394b)을 이용할 수 있다. 포스 플렉스 스택(1394b)의 일부는 터치 보드 컴포넌트 영역(1394c)의 최상부 상에 오버레이될 수 있다. 포스 플렉스 스택(1394b)은 터치 표면(1262)을 단독으로 또는 터치 센서(1350)와 조합하여 포함할 수 있다. 포스 플렉스 스택은 터치패드(1390) 상의 사용자 입력, 이를테면, 예컨대 누름, 스와이핑, 탭핑, 터치 등을 검출할 수 있다.
[0189] 특정 실시예들에서, 터치 보드 컴포넌트 영역은 PCB(1340)를 포함할 수 있다. 터치 보드 컴포넌트 영역은 포스-햅틱 컴포넌트(이를테면, 예컨대 햅틱 작동기), 마이크로프로세서, 하나 이상의 통신 유닛들(이를테면, 예컨대 ADC) 등을 포함할 수 있다.
터치패드의 평면도
[0190] 도 14a는 토템의 예시적인 터치패드의 평면도를 예시한다. 도 14a의 터치패드(1260)는 전기자(1320), 광 가이드(1264) 및 (상호작용가능한 구역들(1262a, 1262b)로 추가로 분해될 수 있는) 터치 표면(1262)을 포함할 수 있다. 광 가이드(1264)는 (도 14a에 파선들로 도시된) 광원들(예컨대, LED들)(1330)의 최상부에 포지셔닝될 수 있다.
[0191] 유리하게, 이 실시예에서, 터치패드(1260)는 3개의 상호작용가능한 구역들: 광 가이드(1264), 터치 표면의 제1 부분(1262a) 및 터치 표면의 제2 부분(1262b)으로 분할될 수 있다. 도 12 및 13a를 참조로 설명되는 바와 같이, 각각의 상호작용가능한 구역은 사용자 상호작용의 타입에 맵핑될 수 있다. 예컨대, 사용자는 광 가이드(1264)를 터치하여 브라우저 상에서 전방향/후방향으로 이동하는 한편, 터치 표면(1262b)을 제2 부분 상에서 스와이핑하여 웹 콘텐츠를 상향/하향으로 이동시킬 수 있다. 사용자는 또한 터치 표면의 제1 부분(1262a) 상에서 원형 모션으로 스와이핑하여 가상 오브젝트를 사용자로부터 더 근접하게(또는 더 멀리) 이동시킬 수 있다.
[0192] 이 예는 3개의 상호작용가능한 구역들을 포함하지만, 토템은 다른 실시예들에서 더 많은 또는 더 적은 상호작용가능한 구역들을 포함할 수 있다. 예컨대, 터치 표면을 (제1 부분(1262a) 및 제2 부분(1262b)에 대응하는) 2개의 상호작용가능한 구역들로 분할하기보다는, 터치 표면은 각각의 구역이 터치 표면의 사분면을 차지하는 4개의 상호작용가능한 구역들로 분할될 수 있다. 터치 표면은 또한 단 하나의 상호작용가능한 영역만을 포함할 수 있다. 추가적으로 또는 대안적으로, 예컨대 웨어러블 시스템의 프로세서(1770) 또는 다른 모듈이 광 가이드(1264)로부터의 사용자 입력을 인식하도록 프로그래밍되지 않을 수 있거나 터치 센서(1350)가 광 가이드(1264) 아래로 확장되지 않기 때문에, 광 가이드(1264)는 상호작용가능하지 않을 수 있다.
[0193] 터치 구역에 맵핑된 상호작용들의 타입은 또한 사용자 상호작용들의 타입에 기반하여 맞춤화될 수 있다. 예컨대, 사용자가 텔레비전을 보고 있을 때, 터치패드는 광 가이드(1264) 상에서 4 방향 d-패드(위, 아래, 왼쪽, 오른쪽)를 시뮬레이팅할 수 있다. 그러나 만약 사용자가 웹 페이지를 브라우징하고 있다면, 광 가이드(1264)는 후방향/전방향 사용자 인터페이스 동작들을 지원할 수 있다.
[0194] 상호작용가능한 구역들은 또한 사용자에게 시각 또는 햅틱 피드백을 제공할 수 있다. 예컨대, 터치 표면(1262)은 햅틱 피드백을 제공하도록 구성될 수 있는 한편, 광 가이드(1264)는 (예컨대, LED 헤일로의 광 배치 또는 움직임 패턴들을 통해) 햅틱 피드백 및 시각 피드백 둘 모두를 제공할 수 있다.
광원들의 레이아웃
[0195] 도 14b는 터치패드와 연관된 광원들(예컨대, LED들)의 예시적인 레이아웃의 개요를 예시한다. 도 14b는 주변에 (LED 0, LED 2 … LED 11로 예시된) 12개의 LED들을 갖는 가시적인 원형 표면(1452)을 갖는 터치패드(1450)를 도시한다. 이러한 12개의 LED들은 이들이 특정한 시퀀스로 켜질 때 특정한 정보를 표현하는 데 사용될 수 있다. 예컨대, 각각의 LED는 비트에 할당되어 12 비트 워드를 산출할 수 있다. 도 24b, 20a 및 20b를 참조로 설명되는 바와 같이, 웨어러블 디바이스의 외향 이미징 시스템(464)은 LED들의 디스플레이 시퀀스를 캡처할 수 있다. 그런다음, 웨어러블 디바이스는 이미지들을 분석하여 디스플레이 시퀀스로부터 정보를 추출할 수 있다. 추출되는 정보는 예컨대, 토템을 웨어러블 디바이스와 페어링하고, 토템을 교정하는 등에 사용될 수 있다. 예컨대, LED들 0, 3, 6, 9가 조명될 때, 웨어러블 디바이스는 웨어러블 디바이스와 토템 간의 페어링이 개시됨을 인식할 수 있다. 그에 따라서, 웨어러블 디바이스는 자신의 환경에서 무선(예컨대, 블루투스) 디바이스들을 서치하여 임의의 새로운 디바이스들(이를테면, LED들과 연관된 토템)이 존재하는지 여부를 결정할 수 있다. LED들이 다중-컬러 LED들(이를테면, 예컨대 RGB LED들)인 경우, LED 광 패턴들을 표현한 정보의 양이 (예컨대, 12 비트 워드보다 더 크게) 증가할 수 있다. 예컨대, LED들 6, 7, 8에서의 청색 광은 토템이 페어링 모드에 있음을 표시할 수 있는 한편, LED들 6, 7, 8에서의 황색 광은 토템이 충전 모드에 있음을 표시할 수 있다.
[0196] 일부 실시예들에서, LED들은 별개로 조명되는 다수의 그룹들로 분할(예컨대, 다중화)될 수 있다. 각각의 그룹은 특정한 정보를 표현하는 데 사용될 수 있다. 도 14b는 (MUX 0(1454a), MUX 1(1454b), MUX 2(1454c) 및 MUX 3(1454d)으로 예시된) 4개의 예시적인 그룹들을 도시하는데, 각각의 그룹은 3개의 LED들을 포함한다. 예컨대, MUX 1의 LED들이 조명될 때(예컨대, LED들 3, 4, 5), 웨어러블 디바이스는 토템이 현재 토템의 상향 움직임을 표시하고 있음을 인식할 수 있는 반면, MUX0의 LED들이 조명될 때, 웨어러블 디바이스는 토템이 왼쪽으로 회전됨 등을 인식할 수 있다.
[0197] 다른 실시예들에서, 상이한 수 또는 레이아웃의 광원들 또는 다중화된 그룹들이 활용될 수 있고, 상이한 양의 정보(예컨대, 12 비트와 상이한 워드 길이)가 LED들의 조명된 그룹들 또는 시퀀스들로 표현될 수 있다.
[0198] 도 12a를 참조하여 이전에 설명된 바와 같이, 광원은 비-가시적인 스펙트럼(예컨대, 적외선 또는 자외선 광)에서 광을 방출할 수 있다. 이러한 광은 웨어러블 디바이스에 의해 캡처될 수 있고, 비-가시적인 스펙트럼의 광 패턴은 또한 토템으로부터 웨어러블 디바이스로 정보를 운반하는 데 사용될 수 있다. 정보는 (예컨대, 토템을 웨어러블 디바이스와 페어링하기 위한) 토템의 디바이스 정보, 또는 다른 타입들의 정보, 이를테면 예컨대, 토템의 상황(예컨대, 토템이 배터리가 낮은지 여부, 연결이 확립되는지 여부, 현재 토템과 페어링된 디바이스들 등)을 포함할 수 있다.
[0199] 도 15는 LED 레이아웃으로부터의 예시적인 LED 레이아웃들 또는 광의 패턴들을 예시한다. 이 예에서, LED들은 예컨대, NESW(North-East-South-West) 좌표계(1592)를 참조하여 카디널 방식으로 배치되는데, 여기서 토템이 사용자의 손에 유지될 때, 북쪽은 사용자로부터 멀리 향할 수 있고, 남쪽은 사용자를 향할 수 있으며, 동쪽은 사용자의 오른쪽을 향할 수 있고, 서쪽은 사용자의 왼쪽을 향할 수 있다. 좌표계(1592)는 특정 각도로 회전될 수 있다. 예컨대, 열(1550)의 레이아웃들은 좌표계(1592)가 회전되지 않는 중립 포지션을 참조하여 카디널 방식으로 배치된다. 대조적으로, 열들(1570, 1580)의 레이아웃들은 NESW 좌표계(1592)에 도시된 카디널 포지션으로부터 시계 방향으로 15도 회전된다.
[0200] LED 레이아웃들은 사용자 조정가능할 수 있다. 예컨대, 토템 상의 터치패드(또는 광 가이드)는 기계적으로 회전가능할 수 있다. 예로서, 토템의 LED 레이아웃은 초기에, 오른손잡이 사용자를 위해 시계 방향으로 15도 회전을 포함할 수 있다. 그러나 왼손잡이 사용자가 동일한 토템을 사용하는 경우, 왼손잡이 사용자는 자신의 엄지손가락을 사용하여 터치패드의 더 나은 상호작용들을 허용하기 위해 터치패드를 반시계 방향으로 30도 회전시킬 수 있다. 열들(1560, 1580)에서의 예시적인 레이아웃들은 12개의 LED들로 구성될 수 있다. 이러한 LED들은 서로 인접하게 배치될 수 있다. 예컨대, 12개의 LED들이 공간 없이 서로 옆에 배치되어 패턴 I에 예시된 바와 같이 원형 레이아웃을 형성할 수 있다.
[0201] 일부 실시예들에서, 2개의 이웃하는 LED들은 (열들(1550, 1570)의 패턴들로 예시된 바와 같이) 사이에 공간을 두고 배치될 수 있다. 공간은 대략 하나의 LED의 사이즈일 수 있다. 예컨대, 열(1550) 및 행(1540)에 도시된 패턴 D는 서로 대략 동일한 거리로 떨어져 배치되는 6개의 LED들을 포함할 수 있다. 그러나 일부 상황들에서, 열들(1550, 1570)로 패턴을 생성하기 위해, 토템은 선택적으로 턴 오프될 수 있거나 하나 이상의 LED들을 포함하지 않는다. 예컨대, 패턴 D는 (6개의 LED들보다는) 12개의 LED들을 포함할 수 있고, 12개의 LED들 중 6개는 패턴 D로 조명되지 않을 수 있다. 대조적으로, 만약 사용자가 사용자 인터페이스 동작들을 변경한다면, 패턴 D로 도시된 바와 같이 6개보다 더 많은 또는 더 적은 LED들이 조명될 수 있다. 유리하게, 일부 실시예들에서, 더 적은 수의 LED들이 (이들 사이에 공간을 두고) 사용되기 때문에 또는 원하는 조명 패턴(이를테면, 도 15에 도시된 것들)을 달성하기 위해 LED들이 선택적으로 턴 오프될 수 있기 때문에 토템은 배터리 소비를 절약할 수 있다. 게다가, 조명된 LED들을 (물리적으로 또는 일부 중간 LED들을 조명하지 않음으로써) 서로 이격시킴으로써, 사용자는 특정 사용자 인터페이스 동작을 수행하기 위해 자신의 엄지손가락을 정확한 위치로 이동시킬 필요가 없을 수 있으며, 이는 일부 상황들에서 사용자 피로를 감소시킬 수 있다.
[0202] LED들은 다수의 그룹들로 분할될 수 있다(도 14b를 참조하여 설명되는 예시적인 다중화된 그룹들 또한 참조). 도 15의 행들(1510, 1520, 1530, 1540)은 LED들을 그룹화하는 예시적인 방법들을 예시한다. 예컨대, 행(1510)의 레이아웃들 A 및 G는 LED들의 2개의 그룹들을 포함하는데, 각각의 그룹은 상이한 컬러로 표현된다. 행(1520)의 레이아웃들 B 및 H는 3개의 그룹들을 포함하고; 행(1530)의 레이아웃들 C, D 및 F는 4개의 그룹들을 포함하며, 레이아웃들 D 및 I는 6개의 그룹들을 포함한다. LED들의 각각의 그룹은 유사한 특징들, 이를테면 예컨대, 유사한 광 패턴들, 사용자 상호작용들에 대한 유사한 반응들(예컨대, 동시에 모두 점등) 등을 가질 수 있다. 추가적으로 또는 대안적으로, 도 14b를 참조로 설명되는 바와 같이, LED들의 각각의 그룹은 특정한 정보를 표현하는 데 사용될 수 있다. 예컨대, 웨어러블 디바이스는 외향 이미징 시스템이 패턴 B의 최상부 아크와 연관된 하나 이상의 LED들이 점등되는 것을 캡처할 때 사용자가 비디오 레코딩 모드에 들어갈 수 있다고 결정할 수 있다.
[0203] 유리하게, LED 레이아웃들은 토템의 그립(grip) 방향으로 정렬될 수 있다. (흑색으로 강조 표시된) 레이아웃들 A - I이 이러한 예이다. 이러한 레이아웃들에서, 사용자가 토템을 잡을 때, 사용자는 자신의 손의 상당한 조정들 없이 LED들의 그룹들에 자연스럽게 도달할 수 있다.
[0204] 특정 구현들에서, LED들 중 일부만이 사용자-상호작용가능하다. 만약 사용자가 LED(또는 LED와 연관된 광 가이드)를 작동시킬 수 있다면 LED가 상호작용가능할 수 있다. 예컨대, 패턴 E는 4개의 LED 그룹들: 최상부 아크, 최하부 아크, 왼쪽 아크 및 오른쪽 아크를 포함하는데, 각각의 그룹은 3개의 LED들을 갖는다. 사용자는 최상부 및 최하부 아크들을 (예컨대, 이러한 아크들 위의 광 가이드를 누름으로써) 작동시키는 것이 가능할 수 있지만, 왼쪽 및 오른쪽 아크들은 작동시키지 못할 수 있다. 그러나 왼쪽 및 오른쪽 아크들은 여전히 시각 또는 햅틱 피드백을 단독으로 또는 최상부 및 최하부 아크들과 조합하여 제공할 수 있다. 도 15에 도시된 다른 레이아웃들에도 유사한 고려사항들이 적용된다.
[0205] LED들의 물리적 포지션들에 부가하여 또는 대안으로, 도 15의 패턴들은 LED들에 의해 조명되는 광 패턴들일 수 있다. 예컨대, 토템은 12개의 LED들의 링을 조명함으로써 패턴 E를 제공할 수 있는 한편, 12개의 LED들의 링 내의 모든 각각의 다른 LED들을 조명함으로써 패턴 D를 제공할 수 있다. 다른 예로서, 사용자가 터치패드 또는 광 가이드를 회전시키기보다는, 토템이 사용자가 왼손잡이인지 또는 오른손잡이인지에 기반하여 헤일로의 배치를 조정하도록 프로그래밍될 수 있다. 토템은 왼손잡이 사용자를 위해 1시 포지션에 아크를 디스플레이할 수 있지만 오른손잡이 사용자를 위해 11시 포지션에 동일한 아크를 디스플레이할 수 있다. 아크는 이를테면, 예컨대 웹 페이지를 상향 이동시키는 사용자 인터페이스 동작과 연관될 수 있다.
[0206] 사용자 입력 디바이스의 많은 실시예들이 토템(1200)의 면에서 설명되지만, 이는 예시를 위한 것이며 웨어러블 시스템(200)에 사용가능한 사용자 입력 디바이스의 타입들에 대한 제한이 아니다. 예컨대, 다른 실시예들에서, 디스플레이 스크린(또는 그 변형)이 조명 형상들 및 패턴들을 사용자에게 디스플레이하는 데 사용될 수 있다. 예컨대, 이러한 실시예들 중 일부에서, 스마트 폰이 토템으로서 레버리징될 수 있고 그 스크린 상에 다양한 형상들 및 패턴들을 디스플레이할 수 있다. 일부 예들에서, 토템(1200)은 (스마트 폰의 표면과 유사한) 터치 감지식일 수 있는 디스플레이 스크린을 포함할 수 있다. 디스플레이 스크린을 포함하는 일부 이러한 실시예들에서, 조명되는 광 가이드(1264)의 사용은 선택적일 수 있는데, 이는 디스플레이 스크린이 본원에서 설명된 조명 패턴들 및 전이 시퀀스들을 디스플레이하는 데 사용될 수 있기 때문이다.
광 패턴들의 배치 및 움직임의 예들
[0207] 도 16a 및 16b는 토템의 헤일로(또는 다른 타입의 광-방출 사용자 입력 디바이스)로부터의 광 방출들의 예시적인 배치 또는 움직임 패턴들을 예시한다. 앞서 설명된 바와 같이, 헤일로는 터치패드 구역을 둘러싸는 토템의 조명된 부분을 포함할 수 있다. 도 16a 및 16b에 도시된 실시예들에 예시된 바와 같이, 광 가이드는 개별 광원들에 의해 방출되는 광을 실질적으로 확산시켜 헤일로가 개별 이산 광원들이라기 보다는 링 또는 링의 아크-형 부분으로 나타난다.
[0208] 헤일로에 의해 투사될 수 있는 광 패턴들의 배치 및 움직임은 하나 이상의 특징들, 이를테면 예컨대, 형상, 컬러, 밝기, 포지션, 사이즈, 움직임, 애니메이션, 다른 시각적 효과들(예컨대, 깜박임 또는 플래시, 페이드 인, 페이드 아웃) 등을 포함할 수 있다. 예컨대, 도 16a는 4개의 예시적인 패턴들을 예시한다. 패턴(1612)에서, 헤일로는 2시 포지션의 밝은 분홍색 컬러와 함께 밝은 청색 컬러로 도시된다. 패턴(1614)의 헤일로는 터치패드의 최상부, 최하부, 왼쪽 및 오른쪽 포지션들에 (각각) 대응하는 4개의 컬러 아크들: 황색, 녹색, 청색 및 적색을 갖는다. 패턴(1616)은 어두운 청색 헤일로를 도시하고, 패턴(1618)은 최상부에 밝은 청색 아크를 갖는 어두운 청색 헤일로를 도시한다.
[0209] 헤일로의 광 배치 또는 움직임 패턴들은 사용자 및 사용자의 환경의 사람들에게 시각 피드백을 제공할 수 있다. 광 배치 또는 움직임 패턴들은 콘텍스추얼 정보, 이를테면 예컨대, 사용자의 환경, 사용자의 특징들, 오브젝트와 연관된 정보, 프로세스, 웨어러블 시스템의 컴포넌트, 웨어러블 시스템과의 사용자의 상호작용 등에 기반하여 결정될 수 있다.
[0210] 사용자의 환경에 기반하여 헤일로를 생성하는 예로서, 토템(1200) 내의 (도 17a, 17b를 참조하여 아래 설명되는) 환경 센서(1710)는 사용자가 밝은 환경인지 또는 어두운 환경인지를 검출할 수 있는 광 센서일 수 있다. 만약 사용자가 어두운 환경에 있다면, 토템(1200)은 더 밝은 컬러(이를테면, 백색 컬러)를 가진 헤일로를 디스플레이하여 사용자가 헤일로를 지각하는 것을 도울 수 있다. 다른 한편으로는, 만약 사용자가 밝은 환경에 있다면, 토템(1200)은 더 어두운 컬러를 디스플레이하여 사용자가 사용자의 환경에서 헤일로를 주변 광과 구별하는 것을 도울 수 있다. 다른 예로서, 어두운 환경에서 조명된 헤일로를 지각하는 것이 쉽기 때문에, 어두운 룸에서 헤일로에서의 광의 세기가 감소될 수 있다(예컨대, "야간 모드"). 반대로, (예컨대, 햇빛 외부의) 밝은 환경에서, 헤일로에서의 광의 세기가 증가될 수 있어, 헤일로 패턴들은 밝은 환경에서 가시적이다.
[0211] 헤일로에서의 패턴들은 또한 사용자의 특징들, 이를테면 예컨대, 사용자의 생리적 데이터, 인구통계학적 정보(예컨대, 나이, 위치, 직업, 선호도들 등) 등에 기반할 수 있다. 예컨대, 사용자가 레이싱 게임을 플레이하고 있을 때, 토템은 사용자의 운전 방향에 대응하는 헤일로를 디스플레이할 수 있다. 헤일로의 컬러는 초기에 적색일 수 있다. 그러나 웨어러블 시스템(이를테면, 예컨대 토템 상의 환경 센서 또는 HMD)이 사용자의 심박수 또는 호흡률이 임계치 조건을 초과함을 검출하면, 웨어러블 시스템은 사용자가 감정적으로 긴장 상태에 있다고 결정할 수 있다. 그에 따라서, 사용자의 감정 상태를 진정시키기 위해, 웨어러블 시스템은 헤일로의 컬러를 적색에서 청색으로 변경할 수 있다(예컨대, 밝은 청색 아크가 운전 방향을 예시하는 패턴(1618)).
[0212] 오브젝트와 연관된 정보는 예컨대, 오브젝트와 연관된 통지 또는 경고, 오브젝트의 특징들(이를테면, 예컨대 기능, 타입, 위치, 형상, 배향 등) 등을 포함할 수 있다. 예로서, 오브젝트는 HMD에 의해 사용자에게 디스플레이되는 가상 이메일 애플리케이션일 수 있다. 가상 이메일 애플리케이션에 의해 수신된 새로운 이메일은 토템 상에 이리데슨트 광 패턴을 갖는 헤일로에 의해 사용자에게 표시될 수 있다. 다른 예로서, 헤일로는 사용자의 환경에서 오브젝트가 인지가능한지 여부의 표시일 수 있다. 예컨대, 보물 찾기 게임에서 헤일로는 보물의 위치에 대응할 수 있다. 만약 보물이 사용자의 전방 오른쪽 포지션에 위치된다면, 토템은 광 가이드의 1시 포지션에 헤일로를 디스플레이할 수 있다(예컨대, 패턴(1612) 참조). 또 다른 예로서, 만약 오브젝트가 사용자에 의해 상호작용가능하지 않다면, 웨어러블 시스템은 헤일로를 디스플레이하지 않도록 구성될 수 있다.
[0213] 도 20a - 21e를 참조로 설명되는 바와 같이, 헤일로는 또한 프로세스를 안내하는 데 또는 프로세스의 상황을 표시하는 데 사용될 수 있다. 예컨대, 웨어러블 시스템은 컴퓨터 비전 알고리즘을 적용하여 토템을 다른 디바이스와 페어링하기 위한 헤일로의 배치를 분석할 수 있다. 웨어러블 시스템은 또한 컴퓨터 비전 알고리즘을 사용하여 광 패턴들의 외관을 분석하여 사용자의 환경에서 토템을 교정할 수 있다. 페어링 또는 교정 상황이 완료되면, 토템은 사용자에게 프로세스가 완료되었음을 표시하기 위한 패턴(1616)을 디스플레이할 수 있다.
[0214] 헤일로는 웨어러블 시스템의 컴포넌트와 연관된 정보를 표시하기 위해 추가로 사용될 수 있다. 예컨대, 토템은 웨어러블 디바이스에 전력을 제공하기 위해 사용되는 배터리 팩을 위치시키기 위해 사용될 수 있다. 이러한 예에서, 배터리 팩은 전자기 방출기를 포함할 수 있는 한편, 토템은 전자기 센서를 포함할 수 있다. 전자기 센서는 전자기 방출기에 의해 생성된 자기장을 검출하고 그에 따라서 토템과 배터리 팩 사이의 상대적 포지션들을 계산할 수 있다. 토템에 의해 디스플레이되는 헤일로는 (사용자가 배터리 팩을 발견하는 것을 돕기 위해) 토템과 배터리 팩 사이의 상대적 포지션들에 대응할 수 있다. 예컨대, 3시 포지션에서 큰 아크를 갖는 헤일로는 배터리 팩이 사용자 인근에 그리고 사용자의 오른쪽에 있음을 표시할 수 있다. 그러나, 3시 포지션에서 작은 아크를 갖는 헤일로는 배터리 팩이 사용자로부터 멀리 있지만 여전히 사용자의 오른쪽에 있음을 표시할 수 있다. 다른 예로서, 웨어러블 디바이스의 전력이 낮을 때, 토템은 배터리가 없어지려 함을 표시하는 작은 아크를 갖는 헤일로를 디스플레이할 수 있다. 배터리 팩의 면에서 설명되었지만, 웨어러블 시스템의 임의의 컴포넌트 또는 다른 것(예컨대, 사용자의 승용차 키들)이 토템에 의해 추적될 수 있는 전자기 방출기를 포함할 수 있고, 이는 사용자가 컴포넌트를 발견하는 것을 보조하기 위해 헤일로를 조명할 수 있다.
[0215] 헤일로는 또한 웨어러블 시스템과 사용자의 상호작용의 표시를 제공할 수 있다. 유리하게, 이러한 표시는 사용자의 현재 상호작용들을 사용자의 환경 내의 사람에게 통지할 수 있다. 예컨대, 사용자가 비디오를 레코딩할 때, 헤일로는 적색으로 플리커링(flickering)할 수 있다. 그에 따라서, 사용자 옆에 있는 사람은 이러한 플리커링 적색 광 패턴을 볼 수 있을 것이고, 자신이 사용자의 비디오 레코딩 경험을 인터럽트하지 않아야 함을 알 수 있을 것이다. 다른 예로서, 사용자가 게임에서 레벨을 달성할 때, 사용자가 그 레벨을 통과했음을 사용자의 친구들에게 나타내기 위해 헤일로는 게임의 레벨과 동일한 컬러들로 점등할 수 있다.
[0216] 시각 피드백에 부가하여 또는 이에 대안적으로, 헤일로는 사용자 상호작용들을 안내할 수 있다. 예컨대, 헤일로는 사용자가 토템의 터치패드를 d-패드로서 사용할 수 있음을 표시하기 위해 (효과(1614)에 의해 예시된 바와 같이) 상이한 컬러들을 갖는 4개의 아크들(최상부, 최하부, 왼쪽 및 오른쪽)을 도시할 수 있다. 다른 예로서, 사용자가 디스플레이(220)를 사용하여 텔레비전 프로그램을 시청하고 있는 동안, 토템은 도 16b의 헤일로 패턴(1662)을 제공할 수 있다. 패턴(1662)은 적색 아크 및 청색 아크를 포함한다. 적색 아크 및 청색 아크에 대한 아크 길이는 대략 0.25π일 수 있다. 그러나, 사용자가 (이를테면, 토템의 터치 표면을 탭핑함으로써) 토템을 작동시킬 때, 토템은 (도 16b의 프로세스 1에 의해 예시된 바와 같이) 아크들의 페이드-인 효과를 제공할 수 있다. 페이드-인 효과의 결과로서, 적색 아크 및 청색 아크의 길이는 패턴(1664)에 도시된 바와 같이 대략 0.25π로부터 0.75π까지 증가될 수 있다. 적색 및 청색 아크들의 밝기는 또한 페이드-인 효과로 인해 증가할 수 있다. 이러한 증가된 밝기 및 아크 길이들은 사용자가 터치 표면 상에서 좌향 또는 우향으로 스와이프할 수 있다는 더 명확한 표시를 사용자에게 제공할 수 있다. 그러나, 사용자가 시간의 임계 지속기간 동안 토템과 상호작용하지 않았음을 토템이 검출할 때. 토템은 도 16b의 프로세스 2에 의해 예시된 바와 같이 페이드-아웃 효과를 제공할 수 있다. 그에 따라서, 헤일로는 패턴(1664)으로부터 1662으로 변경된다. 결과적으로, 아크들의 사이즈 및 아크들의 밝기는 감소할 것이다. 유리하게, 아크들의 크기 및 아크들의 밝기를 감소시킴으로써, 토템은 사용자가 토템과 상호작용하고 있지 않을 때 배터리 소비를 감소시킬 수 있다.
[0217] 일부 실시예들에서, 토템(1200)은 콘텍스추얼 정보와 연관된 정보를 제공하기 위해 또는 사용자의 상호작용을 안내하기 위해 햅틱, 오디오, 시각 또는 다른 효과들과 연동하여 헤일로를 제공할 수 있다.
토템의 다른 컴포넌트들
[0218] 도 17a 및 17b는 토템(1200)의 컴포넌트들의 예들을 예시한다. 예시적인 토템(1200)은 도 12a 및 12b를 참조로 설명되는 바와 같이 터치패드(1260)(이는 터치 표면(1262) 및 광 가이드(1264)를 포함할 수 있음), 트리거(1212) 및 토템 바디(1214)를 포함할 수 있다. 광 가이드(1264)는 사용자-상호작용가능한 구역들(예컨대, 터치 감지)을 포함할 수 있고 터치 표면(1262)을 적어도 부분적으로 또는 완전히 둘러쌀 수 있다. 토템(1200)은 또한 다양한 컴포넌트들을 포함할 수 있고, 이들 중 적어도 일부는 토템의 바디(1214) 내부에 배치될 수 있다. 이러한 컴포넌트들은 아래에 추가로 설명될 것이고, 환경 센서(1710), 배터리(1720), NFC(near-field communication) 인터페이스(1732), 네트워크 인터페이스(1734), 햅틱 작동기(1760) 및 프로세서(1770)를 포함할 수 있다. 연결 인터페이스(1222)는 예컨대 토템(1200)을 베이스에 제거가능하게 부착하기 위해 바디(1214)의 최하부에 배치될 수 있다. 연결 인터페이스(1222)는 배터리(1720)를 충전하기 위한 전력을 제공하기 위해 그리고 토템의 컴포넌트들과 외부 디바이스들(예컨대, 컴퓨팅 디바이스) 간의 통신 링크를 제공하기 위해 사용될 수 있다.
범퍼
[0219] 토템(1200)은, 도 17b에 도시된 예에서, 트리거(1212) 위 및 터치패드(1260) 아래에서 토템의 전방 단부에 위치되는 버튼(1266)(범퍼로 지칭됨)를 포함할 수 있다. 범퍼(1266)는 사용자가 자신의 검지손가락을 안착시키기에 인체공학적으로 편안한 장소를 제공할 수 있다. 범퍼(1266)는 예컨대, 누를 수 있는 버튼, 용량성 터치 센서, 포스-햅틱 엘리먼트 등으로서 구현된 터치 감지 표면을 포함할 수 있다.
[0220] 도 17b에 도시된 예에서, 사용자는 주로 3개의 손가락들, 예컨대, 홈 버튼(1256) 또는 터치패드(1260)를 작동시키기 위한 엄지손가락, 범퍼(1266)를 작동시키기 위한 검지손가락 및 트리거(1212)를 작동시키기 위한 중지손가락을 사용하여 토템(1200)을 작동시킬 수 있다. 이러한 3-손가락 작동가능 토템은 (데스크톱 컴퓨터들에 대한 마우스 셋업들에 의해 발생할 수 있는 바와 같이) 단지 한 손가락의 과도하고 피곤한 사용 없이 사용자가 사용자 입력을 신속하게 그리고 효율적으로 제공하는 것을 허가할 수 있다. 상이한 버튼들(1212, 1256, 1266)은 예컨대, 사용자가 애플리케이션 내에서 일하고 있는지, 애플리케이션 론처를 통해 스크롤링하고 있는지, 환경 내에서 오브젝트들을 선택하고 있는지 등에 따라, 상이한 기능성을 제공할 수 있다. 일부 경우들에서, 사용자는 범퍼를 누르는 것과 트리거를 당기는 것 간에 앞뒤로 스위칭하기 위해 단지 검지손가락을 사용할 수 있다.
[0221] 범퍼 기능성의 예들로서, 사용자가 애플리케이션을 보고 있는 동안 범퍼를 탭핑하는 것은 그 애플리케이션에 대한 옵션 메뉴를 띄울 수 있는 한편, 범퍼를 오래 누르는 것은 환경 내의 가상 오브젝트들에 대한 조작 시퀀스를 활성화시킬 수 있다. 예컨대, 범퍼의 긴 홀딩은 오브젝트를 잡을 수 있고, 오브젝트를 향해 토템(1200)을 향하게 하는 동안 범퍼 상에서의 긴 누름은 (예컨대, 오브젝트를 이동 또는 재배향시키기 위한) 오브젝트의 직접적 조작을 활성화시킬 수 있다. 조작 시퀀스에서 범퍼를 탭핑하는 것(또는 트리거를 당기는 것)은 시퀀스를 종료시킬 수 있다.
환경 센서들
[0222] 환경 센서(1710)는 오브젝트들, 자극들, 사람들, 동물들, 위치들 또는 사용자 주위의 환경의 다른 양상들을 검출하도록 구성될 수 있다. 환경 센서들은 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, IMU들, 가속도계들, 컴퍼스들, GPS(global positioning system) 유닛들, 라디오 디바이스들, 자이로스코프들, 고도계들, 기압계들, 화학적 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 광 센서들(예컨대, 광 계측기들), 타이밍 디바이스들(예컨대, 클록들 또는 캘린더들), 또는 이들의 임의의 조합 또는 하위조합을 포함할 수 있다. 일부 실시예들에서, 환경 센서들은 또한 다양한 생리적 센서들을 포함할 수 있다. 이러한 센서들은 사용자의 생리적 파라미터들, 이를테면, 심박수, 호흡 레이트, 갈바닉 피부 응답, 혈압, 뇌전도 상태 등을 측정 또는 추정할 수 있다. 환경 센서들은 신호들, 이를테면 레이저, 가시광, 광의 비가시적 파장들, 또는 사운드(예컨대, 가청 사운드, 초음파 또는 다른 주파수들)를 수신하도록 구성된 방출 디바이스들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 환경 센서들(예컨대, 카메라들 또는 광 센서들)은 (예컨대, 환경의 조명 조건들을 캡처하기 위해) 환경의 주변 광(예컨대, 휘도)을 측정하도록 구성될 수 있다. 물리적 접촉 센서들, 이를테면 터치 센서들, 스트레인 게이지들, 커브 필러(curb feeler)들 등이 또한 환경 센서들로서 포함될 수 있다.
[0223] 환경 센서(1710)에 의해 획득된 정보는 토템 상에 디스플레이된 헤일로의 광 배치 또는 움직임 패턴들을 결정하기 위해 사용될 수 있다. 예컨대, 환경 센서는 GPS 센서 또는 (물리적 오브젝트와 연관된 전자기 신호를 검출하기 위해) 전자기 센서를 사용하여 사용자의 환경 내의 사용자와 물리적 오브젝트 사이의 상대적 위치들을 결정할 수 있다. 토템은 물리적 오브젝트의 위치에 대응할 수 있는 배치를 갖는 헤일로를 제공할 수 있다. 예컨대, 만약 오브젝트가 사용자의 앞에 있다면, 토템은 광 가이드(1264) 상에서 12시 방향으로 헤일로를 제공할 수 있다.
[0224] 추가적으로 또는 대안적으로, 환경 센서(1710)에 의해 획득된 정보는 하나 이상의 사용자 인터페이스 동작들에 대해 사용될 수 있다. 예컨대, 토템(1200)은 IMU들을 사용하여 토템의 6DOF 움직임을 검출할 수 있다. 예컨대, 사용자가 게임을 플레이하는 동안 토템(1200)을 회전시킬 때, 사용자에 의해 제어되는(그리고 웨어러블 디스플레이를 통해 사용자에게 디스플레이되는) 아바타(또는 다른 가상 오브젝트)는 IMU들에 의해 획득된 움직임 데이터에 기반하여 그에 따라서 회전할 수 있다. 토템(1200)을 이동시키거나 회전시키는 것에 추가적으로 또는 대안적으로, 사용자는 터치패드(1260) 상에 입력을 제공할 수 있다. 예컨대, 사용자를 향하는 또는 사용자로부터 멀어지는 (예컨대, 토템의 장축을 따른) 사용자의 엄지손가락의 움직임은 가상 오브젝트를 사용자를 향해 또는 사용자로부터 멀리 이동시킬 수 있다. 터치패드(1260) 상에서 횡방향에서 앞뒤로 사용자의 엄지손가락의 움직임은 가상 오브젝트의 사이즈를 (예컨대, 더 큰 것으로부터 더 작은 것으로 또는 그 반대로) 스케일링할 수 있거나 또는 터치패드 주위에서 사용자의 엄지손가락의 회전은 가상 오브젝트를 회전시킬 수 있다.
[0225] 이러한 예에서, 환경 센서는 토템(1200) 상에 위치되지만, 일부 실시예들에서, 환경 센서는 본원에서 설명된 웨어러블 시스템의 다른 컴포넌트들에 위치될 수 있다. 예컨대, 환경 센서(이를테면 카메라 또는 생리적 센서)는 (도 2에 도시된) 웨어러블 시스템(200)의 디스플레이(220)의 일부일 수 있다.
배터리
[0226] 배터리(1720)는 토템(1200)에 대한 전력을 저장한다. 토템은 프로세서(1770)를 사용하여 배터리(1720)의 현재 상황을 결정할 수 있다. 예컨대, 프로세서(1770)는 배터리(1720)에 남은 전력의 양, 배터리(1720)가 현재 사용되고 있는지 여부 및 배터리(1720)의 남아있는 수명(이를테면, 배터리(1720)가 교체될 필요가 있을 때)을 측정 및 계산할 수 있다. 도 21a - 21e에서 추가로 설명되는 바와 같이, 배터리(1720)의 현재 상황은 광 가이드(1264), 홈 버튼(1256), 토템 바디(1214)의 (예컨대, 도 12a에 도시된) 최하부 부분(1244) 상에 위치된 LED 전력 표시자 또는 디스플레이 상에 제공되는 시각 피드백을 통해 시각화될 수 있다.
[0227] 토템(1200)은 또한 프로세서(1770)를 사용하여 토템의 전력 소비 레벨을 결정할 수 있다. 예컨대, 토템은 특정 광 서명을 출력하도록 요구되는 추정된 전류에 기반하여 전력 소비를 추정할 수 있다. 광 서명은 프로세스, 상황, 오브젝트 또는 사용자 상호작용의 표시와 연관된 헤일로의 특정 광 배치 또는 움직임 패턴을 포함할 수 있다. 광 서명들과 연관된 추정된 전류들의 예로서, 토템(1200)은 3 또는 6 DOF 교정을 수행하기 위해 5.6 mA; 사용자의 환경에서 오브젝트를 발견하거나 방향을 표시하기 위해 48 mA; 및 무선(예컨대, 블루투스) 페어링을 수행하기 위해 54 mA를 요구할 수 있다. 광 서명들에 대한 추정된 전류들의 다른 예로서, 배터리가 15% 미만이라는 표시를 제공하기 위해 14.85 mA의 전류가 소비될 수 있고; 토템이 슬립 모드(sleep mode) 또는 아이들 상태(idle state)임을 표시하기 위해 21.6 mA가 사용될 수 있고; (이를테면, 예컨대 새로운 메시지들의) 인입 통지들을 제공하기 위해 72.4 mA의 전류가 공급될 수 있다.
[0228] 이러한 추정된 전류들은 단지 예들이다. 필요한 특정한 양의 전력은 다양한 팩터들, 이를테면, 사용되는 LED들의 타입, LED의 컬러, 헤일로의 배치 및 움직임 광 패턴들 등에 의존할 수 있다. 예컨대, 토템 배터리(1720)는, 만약 터치패드(1260)의 모든 RGB LED가 100% 밝기에서 녹색을 디스플레이하기보다는 항상 100% 밝기에서 백색을 디스플레이하도록 세팅된다면, 2 시간 더 빨리 드레인될 수 있다. 이는, RGB LED가 녹색을 디스플레이할 때, LED의 오직 1/3(예컨대, RGB LED의 녹색 LED)만이 활용되지만 RGB LED가 백색을 디스플레이할 때 RGB LED의 모든 LED들이 활용되기 때문이다.
[0229] 전체 전력 소비를 감소시키기 위해, LED들(특히 상호작용가능한 LED들)은 터치패드 상의 LED들의 총 수를 감소시키도록 이격될 수 있다. 예컨대, 토템은 도 15의 열들(1550 및 1570)에 도시된 레이아웃들을 이용할 수 있다. 유리하게, 일부 실시예들에서, LED들을 이격시킴으로써, 전력 소비는 50%까지 감소될 수 있다. 전력 소비의 특정한 양의 감소는 LED들의 레이아웃에 의존할 수 있다. 예컨대, 도 15의 패턴 D는 패턴 A보다 낮은 전력 소비를 가질 수 있는데, 이는 패턴 D가 조명되고 있는 더 적은 LED들을 갖기 때문이다. 전력 소비를 감소시키기 위한 다른 예로서, 토템은 더 적은 밝기를 갖는 (이를테면, 예컨대, < 40% 밝기에서) LED들을 실행할 수 있다.
[0230] 토템은 사용자가 상호작용하고 있는 오브젝트들에 기반하여 전력 소비를 관리할 수 있다. 토템은 활성 사용자 인터페이스 옵션을 갖지 않는 LED들을 턴 오프할 수 있다. 예컨대, 토템은 도 15에 도시된 LED 레이아웃 E를 사용하여 d-패드를 시뮬레이팅할 수 있다. 그러나, 게임 동안, 하향 버튼은 특정 레벨에서 디스에이블링될 수 있다. 그에 따라서, 토템은 버튼 아크를 디스플레이하지 않도록 구성될 수 있다. 추가적으로 또는 대안적으로, 토템은 토템의 상황, 디스플레이 또는 웨어러블 시스템의 다른 컴포넌트들에 기반하여 전력 소비를 관리할 수 있다. 예컨대, 토템은 특정 양의 비활동을 검출한 후에 헤일로를 턴 오프할 수 있다. 토템은 IMU에 의해 획득된 토템의 움직임 데이터의 양을 계산함으로써 이러한 검출을 행할 수 있다.
[0231] 일부 실시예들에서 웨어러블 시스템은 사용자에게 (이를테면, 예컨대, 사용자의 손목에) 부착될 수 있는 배터리 팩을 포함할 수 있다. 배터리 팩은 전력을 공급하기 위해 토템 또는 웨어러블 시에 연결될 수 있다. 배터리(1720)는 배터리 팩의 일부일 수 있거나 또는 토템(1200)에 전기를 공급하기 위해 배터리 팩에 연결되어 사용될 수 있다.
NFC(Near-Field Communication) 인터페이스 및 네트워크 인터페이스
[0232] NFC 인터페이스(1732) 및 네트워크 인터페이스(1734)는 토템이 타겟 오브젝트, 이를테면, 예컨대 다른 토템(또는 다른 사용자 입력 디바이스), 웨어러블 디스플레이, 개인용 컴퓨터, 헤드폰, 키, 서버 또는 다른 물리적 오브젝트와 페어링되거나 통신하게 허용하도록 구성될 수 있다. NFC 인터페이스(1732)는 단거리 무선 통신들을 위해 (이를테면, 토템이 타겟 오브젝트로부터 10cm 또는 그 미만의 거리에 있을 때) 사용될 수 있다. 일부 실시예들에서, NFC는 NFC-인에이블링된 디바이스들, 예컨대, 토템 및 HMD가 서로 가깝게 (약 10cm 내에) 포지셔닝되고 무선으로 정보를 교환할 때 2개의 루프 안테나들 간의 전자기 유도를 이용한다. 이러한 정보의 교환은 106 내지 424 Kbit/s 범위의 레이트들에서 ISO/IEC 18000-3 공기 인터페이스를 통해 13.56 MHz의 글로벌하게 이용가능한 비허가된 라디오 주파수 ISM 대역 내에서 동작될 수 있다. 다양한 통신 프로토콜들 및 데이터 교환 포맷들이 NFC에 대해 사용될 수 있다. 일부 비-제한적인 예들은 ISO/IEC 14443 및 Felicia, ISO/ICE 18092, NFC 포럼 및 GSMA 그룹에 의해 정의된 표준들 등을 포함한다.
[0233] 네트워크 인터페이스(1734)는 네트워크를 통해 타겟 오브젝트와 연결을 확립하고 통신하도록 구성될 수 있다. 네트워크는 LAN, WAN, 피어-투-피어 네트워크, 라디오 주파수, 블루투스, Wi-Fi, 클라우드 기반 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0234] 예컨대, 토템 및 웨어러블 디바이스는 무선 통신 프로토콜, 이를테면, 예컨대, BLE(Bluetooth Low Energy)를 사용하여 페어링될 수 있다. BLE는 BLE 오디오 스트리밍 동안 대역폭을 유지할 수 있기 때문에 일부 실시예들에서 유리할 수 있다. 도 20a - 20c를 참조하여 추가로 설명되는 바와 같이, 웨어러블 디바이스를 토템과 페어링하기 위해 다양한 기법들이 사용될 수 있다. 예컨대, 웨어러블 시스템은 외향 카메라에 의해 획득된 토템의 이미지들을 분석함으로써 토템에 의해 제공된 특정 광 패턴을 검출할 수 있다. 광 패턴의 검출은 페어링 프로세스를 시작하기 위해 웨어러블 시스템을 트리거링할 수 있다. 페어링 프로세스 동안, 사용자는 토템, 웨어러블 디스플레이, 토템과 웨어러블 디스플레이 간에 공유된 정보의 타입, 통신 채널의 타입 등과 연관된 세팅들 및 파라미터들을 특정하기 위한 대화 상자 또는 UI(user interface) 마법사를 통해 웨어러블 디스플레이와 상호작용할 수 있다.
[0235] 이러한 예에서, NFC 인터페이스(1732) 및 네트워크 인터페이스(1734)는 별개의 컴포넌트들로서 예시되지만, 일부 실시예들에서, NFC 인터페이스(1732) 및 네트워크 인터페이스(1734)는 동일한 통신 디바이스 또는 시스템의 일부일 수 있다.
햅틱 작동기
[0236] 토템(1200)은 햅틱 작동기(1760)를 포함할 수 있다. 도 12a를 참조로 설명되는 바와 같이, 햅틱 작동기(1760)는 햅틱 피드백을 사용자에게 제공할 수 있다. 하나 이상의 햅틱 작동기들(1760)은 토템(1200)으로 구현될 수 있다. 햅틱 작동기는 트리거(1212), 터치패드(1260), 또는 토템 바디(1214)에 위치될 수 있다.
[0237] 햅틱 피드백은 사용자의 상호작용들, 오브젝트 또는 사용자와 연관된 콘텍스추얼 정보, 토템 또는 웨어러블 디바이스의 다른 컴포넌트들의 상태 등에 기반하여 제공될 수 있다.
프로세서
[0238] 하드웨어 프로세서(1770)는 환경 센서(1710)에 의해 획득된 데이터를 프로세싱하도록 구성될 수 있다. 프로세서(1770)는 또한 NFC 인터페이스(1732) 또는 네트워크 인터페이스(1734)를 통해 데이터를 다른 디바이스(이를테면, 웨어러블 디스플레이 또는 다른 페어링된 디바이스)로부터 수신하고, 데이터를 이에 전송할 수 있다. 프로세서(1770)는, 정해진 시간에 헤일로의 배치 또는 움직임 패턴들을 결정하기 위해 이들 데이터를 분석할 수 있다. 일부 실시예들에서, 프로세서(1770)는 분석하기 위해 다른 컴퓨팅 디바이스(이를테면, 예컨대, 웨어러블 디바이스, 원격 서버 또는 개인 컴퓨터)와 연동하여 작동할 수 있다. 예컨대, 프로세서(1770)는 환경 센서(1710)를 사용하여 사용자의 움직임을 검출할 수 있다. 프로세서(1770)는 추가의 분석을 위해 사용자의 움직임 데이터를 로컬 프로세싱 및 데이터 모듈(260) 또는 원격 프로세싱 모듈(270)에 전달할 수 있다. 프로세서(1770)는 로컬 프로세싱 및 데이터 모듈(260) 또는 원격 프로세싱 모듈(270)로부터 분석의 결과를 수신할 수 있다. 예컨대, 프로세서(1770)는 게임의 경쟁자의 포지션 및 움직임 궤적에 대한 정보를 수신할 수 있다. 이러한 정보에 기반하여, 프로세서(1770)는 경쟁자의 포지션 및 움직임 궤적에 대응하는 헤일로를 디스플레이하도록 광들을 방출하는 LED들에 명령할 수 있다.
[0239] 하드웨어 프로세서(1770)는 토템(1200)의 사용자의 작동으로부터의 다양한 사용자 입력들을 프로세싱할 수 있다. 예컨대, 하드웨어 프로세서(1770)는, 도 12a-17b를 참조로 설명되는 바와 같이, 터치패드(1260), 트리거(1212), 홈 버튼(1256), 범퍼(1266) 등 상의 사용자 입력들을 프로세싱할 수 있다. 예로서, 하드웨어 프로세서는 터치 센서들로부터의 신호들을 프로세싱함으로써 터치패드(1260) 상의 사용자의 손 제스처를 검출할 수 있다. 본원에서 설명된 바와 같이, 하드웨어 프로세서(1770)는 사용자의 입력을 프로세싱하고, 토템(1200)의 사용자 작동의 표시를 제공하도록 토템(1200)의 다른 컴포넌트들(이를테면, 예컨대, LED들 또는 작동기(1760))에 명령할 수 있다.
연결 인터페이스
[0240] 도 12a를 참조로 설명된 바와 같이, 연결 인터페이스(1222)는 다른 디바이스와 연결을 확립하는 데 사용될 수 있다. 연결은 유선 연결일 수 있다. 예컨대, 연결 인터페이스(1222)는 USB 연결기를 포함할 수 있다. 연결 인터페이스(1222)는 또한 USB 포트, 이를테면, 예컨대, USB-B 타입 포트, USB-A 타입 포트, 마이크로 USB, 또는 USB-C 타입 포트 등을 포함할 수 있다. 연결 인터페이스(1222)는 또한 충전을 위해 전력 소스에 연결하기 위한 전력 코드를 포함할 수 있다.
[0241] 도 17a 및 17b에 예시된 예시적인 컴포넌트들은 비제한적인 예들이고, 토템(1200)은 예시된 컴포넌트들보다 더 적거나 더 많은 또는 상이한 컴포넌트들을 포함할 수 있다. 예컨대, 토템(1200)은 NFC 인터페이스(1732)를 갖지 않을 수 있다. 다른 예로서, 토템(1200)은 광(이를테면, 적외선 광)을 방출하도록 구성된 광학 방출기 또는 자기장을 생성 또는 감지하도록 구성된(예컨대, 전자기 추적에 사용되는) 전자기 방출기 등을 포함할 수 있다. 또 다른 예로서, NFC 인터페이스(1732) 및 네트워크 인터페이스(1734)는 동일한 통신 시스템의 부분일 수 있다.
헤일로의 광 패턴들의 배치 및 움직임을 구성하는 예들
[0242] 본원에서 설명된 조명된 헤일로는 웨어러블 시스템의 사용자, 개발자, 또는 다른 엔티티에 의해 맞춤화될 수 있다. 예컨대, 웨어러블 시스템의 사용자는 헤일로의 광 패턴들의 배치 및 움직임과 연관된 선호도들을 세팅할 수 있다. 선호도들은 도 16a 및 16b를 참조로 설명된 콘텍스추얼 정보와 연관될 수 있다. 예로서, 사용자는, 게임 오브젝트와 연관된 컬러를 적색으로 세팅하면서, 시스템 통지(이를테면, 낮은 배터리 상태)와 연관된 헤일로의 컬러를 청색으로 세팅할 수 있다. 사용자는 단독으로 또는 토템과 조합하여 웨어러블 디바이스를 통해 자신의 선호도들을 세팅할 수 있다. 사용자의 선호도들에 기반하여, 토템은, 사용자가 웨어러블 시스템과 상호작용할 때, 조명된 헤일로를 자동으로 제공할 수 있다. 일부 상황들에서, 사용자는 토템(이를테면, 도 12a에 도시된 트리거(1212))을 작동시킴으로써 또는 포즈들을 통해 조명된 헤일로를 턴 오프할 수 있다. 예컨대, 외향 이미징 시스템(464)은 헤일로를 턴 오프하는 것과 연관된, 사용자의 손 제스처를 캡처할 수 있다. 웨어러블 시스템은 컴퓨터 비전 알고리즘을 사용하여 외향 이미징 시스템에 의해 획득된 이미지들로부터 손 제스처를 인식하고, 그에 따라서 조명된 헤일로를 턴 오프하도록 토템에 명령할 수 있다.
[0243] 헤일로의 광 패턴들의 배치 및 움직임은 또한 API(application programming interface)를 사용하여 구성될 수 있다. 도 18a-18d는 헤일로의 광 배치 또는 움직임 패턴들을 구성하기 위한 예시적인 프로그래밍 인터페이스를 예시한다. API는 토템의 헤일로의 광 패턴들을 세팅하기 위해 사용자 또는 개발자에 의해 상호작용될 수 있다. 도 18a는 토템의 시각화(1802)를 포함하는 API를 도시한다. 토템의 시각화(1802)는 시각화된 터치패드(1804) 상에 디스플레이된 헤일로(1810)의 이미지를 포함한다. 이러한 예에서, 헤일로(1810)의 길이는 0.25로 세팅되고, 이는 시각화된 터치패드(1804)의 최상부 원주의 약 1/4일 수 있다. 헤일로(1810)의 종점들은 12시 정각 포지션 및 3시 정각 포지션에 있다.
[0244] 프로그래밍 인터페이스(1800)는 애플리케이션 바(1830)를 포함할 수 있다. 애플리케이션 바(1830)는 애플리케이션들의 타입들을 포함할 수 있고, 헤일로의 광 패턴들은 애플리케이션들의 타입들에 대해 구성된다. 예컨대, 도 18a에서, 프로그래밍 인터페이스(1800)의 사용자는 게임 애플리케이션과 연관된 광 패턴들을 구성한다. 사용자는 또한 웹 애플리케이션, 시스템 애플리케이션, 장면(이를테면, 예컨대, 환경 내의 오브젝트들의 위치들), 사용자의 특징들(이를테면, 예컨대, 사용자가 오른손잡이인지 또는 왼손잡인지에 기반하여 헤일로의 패턴을 연관시킴) 등과 연관된 광 패턴들을 구성할 수 있다.
[0245] 프로그래밍 인터페이스(1800)는 또한 아크 구성 탭(1820)을 포함할 수 있다. 아크 구성 탭(1820)은 헤일로의 형상(예컨대, 아크들, 링들 등), 사이즈(예컨대, 각도 아크 길이), 컬러, 시각 효과들 또는 배향(예컨대, N, S, E 또는 W)을 구성하기 위한 다양한 옵션들을 포함할 수 있다. 시각 효과들은 페이드-인, 페이드-아웃, 플래시, 깜박임, 시계 방향 또는 반시계 방향 회전 등을 포함할 수 있다. 예컨대, 프로그래밍 인터페이스(1800)는 헤일로(1810)(또는 헤일로의 일부)와 페이드-인 또는 페이드-아웃 효과를 연관시킬 수 있다. 프로그래밍 인터페이스(1800)는 또한 아크 길이를, 예컨대, 헤일로의 원주의 1/4에서 원주의 3/4로 변경할 수 있다. 이것은 또한 헤일로(1800)의 회전을 (예컨대, 시계 방향에서 반시계 방향으로) 변경하거나, 헤일로(1800)의 위치를 (예컨대, 터치 표면의 최상부 오른쪽 코너에서 최하부 오른쪽 코너로) 변경할 수 있다.
[0246] 아크 구성 탭(1820)을 사용하여 헤일로의 광 배치 또는 움직임 패턴들을 구성하는 예로서, 도 18b는, 아크의 길이가 -0.25로 세팅될 때의 예시적인 헤일로(1812)를 도시한다. 이러한 예에서, 헤일로(1812)의 아크의 길이는 터치 표면의 원주의 약 3/4이다. 헤일로(1812)의 종점들은 9시 정각 포지션 및 6시 정각 포지션에 있다.
[0247] 프로그래밍 인터페이스(1800)는 또한 도 18c에 도시된 컬러 선택 도구(1830)를 포함할 수 있다. 컬러 선택 도구(1830)는, 프로그래밍 인터페이스의 사용자가 헤일로의 컬러를 입력할 수 있는 서치 바(1832)를 포함할 수 있다. 헤일로의 컬러는 HTML(Hypertext Markup Language) 컬러 코드의 포맷으로 입력될 수 있다. 컬러 선택 도구(1830)는 또한, 사용자가 컬러의 채도, 밝기 및 색조(hue)를 조정할 수 있는 컬러 조정 패널(1834)을 포함할 수 있다. 컬러 선택 도구(1830)는 또한, RGB 및 흑색/백색 컬러 사이의 상대적인 비율에 기반하여 컬러를 선택할 수 있는 RGB 도구(1836)를 포함할 수 있다. 사용자는 컬러 선택 도구의 패널들로부터 컬러, 채도, 밝기, 색조 등을 선택하기 위해 포인팅 디바이스(예컨대, 마우스)를 사용할 수 있다.
[0248] 도 18c에 도시된 예에서, 사용자는 헤일로(1814)의 컬러를 청색으로 세팅하였다. 사용자는 또한 컬러 선택 도구(1830)를 사용하여 헤일로(1814)의 컬러를 변경하거나, 컬러 조정 패널(1834)을 사용하여 선택된 컬러의 채도, 밝기 또는 색조를 조정할 수 있다. 일부 실시예들에서, 헤일로의 컬러는, 예컨대, 테마 또는 스타일 시트에 기반하여 미리 세팅될 수 있다. 웨어러블 시스템은 시스템 디폴트 컬러에 기반하여 또는 콘텍스추얼 정보에 기반하여 컬러를 미리 세팅할 수 있다. 프로그래밍 인터페이스(1800)의 사용자는 컬러 선택 도구(1830)를 사용하여 미리 세팅된 컬러를 변경 또는 조정할 수 있다.
[0249] 도 18d는, 시각화 탭(1842), 소스 코드 탭(1844), 및 패턴 조정 도구(1850)를 포함하는, 프로그래밍 인터페이스(1800)의 다른 부분을 예시한다.
[0250] 패턴 조정 도구(1850)는 헤일로를 구성하는 데 사용될 수 있다. 예컨대, 프로그래밍 도구의 사용자는, 헤일로의 다양한 시각 효과를 제공하기 위해 아크 길이, 회전, 및 컬러와 연관된 슬라이더들을 조정할 수 있다. 사용자는 또한 (변환 탭(1852)에 예시된 바와 같이) 헤일로의 x, y, z 좌표 값들을 세팅함으로써 헤일로의 포지션 및 회전을 조정할 수 있다. 사용자는 또한 토템과 연관된 조명 및 움직임 효과들, 이를테면, 페이드-인/페이드-아웃 효과를 조정할 수 있다.
[0251] 시각화 탭(1842)은 패턴 조정 도구(1850), 아크 구성 탭(1820), 또는 컬러 선택 도구(1830)에 의해 생성된 헤일로의 하나 이상의 효과들을 시각화하는 데 사용될 수 있다. 예로서, 시각화 탭(1842)은 토템의 시각화(1802)와 연관될 수 있다. 프로그래밍 도구(1800)의 사용자가 시각화 탭(1842)을 선택할 때, 프로그래밍 도구(1800)는, 사용자가 헤일로에 대한 업데이트들의 효과를 직접적으로 지각할 수 있도록 토템의 시각화(1802)를 도시할 수 있다.
[0252] 소스 코드 탭(1844)은 토템의 광 패턴들의 배치 및 움직임과 연관된 소스 코드들을 포함한다. 예컨대, 프로그래밍 도구(1800)의 사용자가 아크 구성 탭(1820), 컬러 선택 도구(1830), 또는 패턴 조정 도구(1850)를 사용하여 헤일로를 구성할 때, 소스 코드들은 사용자의 선택에 기반하여 자동으로 업데이트될 수 있다. 소스 코드들(또는 실행 가능한 버전)은 (예컨대, 연결 인터페이스(1222)를 통한) 유선 연결 또는 (예컨대, 네트워크 인터페이스(1734)를 통한) 무선 연결을 사용하여 토템에 통신될 수 있다. 추가적으로 또는 대안적으로, 소스 코드들(또는 실행 가능한 것들)은 토템 또는 머리-장착 디바이스(이를테면, 예컨대, 로컬 프로세싱 & 데이터 모듈(260))에 저장될 수 있고, 이는 LED들(1330)의 광 패턴들을 제어하기 위한 아날로그 신호들을 생성하는 데 사용될 수 있다.
[0253] 일부 실시예들에서, 헤일로는 다수의 아크들로 구성될 수 있다(도 16a의 예시적인 헤일로 패턴(1614) 참조). 프로그래밍 도구(1800)는 사용자가 본원에서 설명된 기법들을 사용하여 각각의 아크를 구성하게 허용할 수 있다. 도 18d에 도시된 패턴 조정 도구(1850)는, 헤일로를 구성하기 위해 단독으로 또는 아크 구성 탭(1820) 및 컬러 선택 도구(1830)와 조합하여 사용될 수 있다.
[0254] 도 18a-18d에 도시된 예들이 헤일로의 광 배치 또는 움직임 패턴들을 구성하는 것을 참조로 설명되지만, 햅틱, 오디오, 시각 또는 다른 효과들을 구성하기 위해 유사한 기법들이 또한 사용될 수 있다.
헤일로를 사용한 토템 교정의 예들
[0255] 사용자 입력 디바이스들(이를테면, 본원에서 설명된 토템)은 에러들을 최소화하고 사용자 상호작용 경험들을 개선하기 위해 교정을 요구할 수 있다. 예컨대, 토템의 IMU들은 토템의 사용자의 움직임을 정확히 검출하고 이에 응답하도록 교정될 필요가 있을 수 있다. 교정은 보통 제조 시에(예컨대, 토템 또는 IMU들이 제조될 때) 이루어진다. 제조-후 교정은 어려울 수 있는데, 왜냐하면 토템의 제조자가 갖는, 제어되고 정밀한 교정 시스템을 사용자가 가질 수 없기 때문이다. 그러나, 사용자의 모션 정도가 변할 수 있기 때문에, 사용자가 제조-후 교정을 수행하는 것이 유익할 수 있다. 예컨대, 한 사용자가 자신의 토템을 흔들 때, 사용자는 다른 사용자들보다 자신의 팔을 정도가 더 크게 움직일 수 있다. 게다가, 토템이 상이한 사용자들에 맞추어진 변하는 반응도들을 가질 수 있도록, 맞춤화된 사용자 경험을 제공하는 것이 유리할 수 있다. 일부 사용자들은 더 민감한 토템(이는 약간의 움직임에 반응할 수 있음)을 선호할 수 있는 반면에, 다른 사용자들은 덜 민감한 토템(이는 약간의 움직임이 있을 때 사용자 인터페이스 동작을 수행하도록 구성되지 않을 수 있음)을 선호할 수 있다.
[0256] 본원에서 설명된 웨어러블 시스템 및 토템은 유리하게는, 제조자의 교정 시스템을 사용하도록 사용자에게 요구하지 않고서, 제조-후 교정을 지원할 수 있다. 토템은 헤일로를 디스플레이할 수 있다. 사용자가 토템(1200)을 움직일 때, 웨어러블 시스템의 외향 이미징 시스템(464)은 토템의 이미지 및 조명된 헤일로를 캡처할 수 있다. 외향 이미징 시스템(464)에 의해 캡처된 헤일로의 형상은 토템의 포지션 및 배향에 기반하여 상이할 수 있다. 웨어러블 시스템은, 헤일로의 형상을 식별하고, 그에 따라서 토템의 포지션 및 배향을 결정하기 위해 오브젝트 인식기들(708)을 사용할 수 있다. 토템의 IMU를 교정하기 위해, 예컨대, 외향 이미징 시스템(464)에 의해 획득된 이미지들에 기반하여 결정된 토템의 포지션 및 배향은 IMU에 의해 캡처된 포지션 및 배향과 비교될 수 있다. 웨어러블 시스템은 비교에 기반하여 토템의 IMU를 보정할 수 있다.
[0257] 도 19a는 조명된 헤일로를 사용하여 토템의 교정의 예를 예시한다. 도 19a의 예는 토템(1900)을 교정하는 것을 참조로 설명되지만, 이는 예시를 위한 것이며, 제한적인 것으로 의도되지 않는다. 토템(1900)은 이러한 예에서 3개의 자유도들을 가질 수 있다. 3DOF 토템(1900)은 원형 터치 표면(1962) 및 터치 표면(1962)을 둘러싸는 원형 광 가이드(1964)를 포함할 수 있다. 광 가이드(1964)는 원형 헤일로를 디스플레이할 수 있다. 3DOF 토템(1900)은 본원에서 설명된 토템(1200)의 예일 수 있다. 그에 따라서, 터치 표면(1962)은 터치 표면(1262)의 예일 수 있고, 광 가이드(1264)는 광 가이드(1264)의 예일 수 있다.
[0258] 도 19a의 예에서, 토템의 다양한 포즈들(예컨대, 포즈들(1910, 1920, 1930, 및 1940))이 도시된다. 토템의 포즈는 토템의 배향 및 포지션을 포함할 수 있다. 예컨대, 포즈(1920)는 사용자가 토템을 아래쪽으로 향하게 하였다는 것을 표시한다. 포즈(1930)는 토템이 오른쪽으로 향하게 되었다는 것을 보여주고, 포즈(1940)는 토템이 최상부-오른쪽 포지션을 향하고 있다는 것을 보여준다. 포즈(1910)는, 토템의 자연스러운 휴식 포지션과 연관된 기준 포지션(fiducial position)일 수 있다.
[0259] 토템의 IMU에 대한 교정 프로세스 동안에, 웨어러블 시스템은 사용자의 환경의 이미지를 캡처하기 위해 자신의 외향 이미징 시스템(464)을 사용할 수 있다. 사용자의 환경의 이미지는 토템의 이미지를 포함할 수 있다. 웨어러블 시스템의 오브젝트 인식기(708)는 캡처된 이미지에서 토템을 식별하기 위해 컴퓨터 비전 알고리즘을 적용할 수 있다. 오브젝트 인식기(708)는 또한 이미지에서 헤일로의 형상을 식별하기 위해 컴퓨터 비전 알고리즘을 적용할 수 있다. 웨어러블 시스템은 단독으로 또는 토템 바디의 이미지와 조합하여 헤일로의 형상에 기반하여 토템의 포지션 및 배향을 결정할 수 있다. 예컨대, 웨어러블 시스템은 기준 포지션과 연관된 형상을 식별하고, 기준 포지션과 연관된 형상에 대한 변화들을 계산할 수 있다. 기준 포지션과 연관된 형상에 대한 변화들에 기반하여, 웨어러블 시스템은 기준 포지션에 기반하여 토템의 포지션 및 배향의 변화들을 결정할 수 있다. 예컨대, 원형 형상을 갖는 헤일로는, 원형 형상에 대한 법선이 이미징 카메라를 직접적으로 향하지 않는 방향을 향하면, 타원 형상으로 변경될 수 있다. 그에 따라서, 웨어러블 시스템은 기준 포지션에 대한 변화들에 기반하여 토템의 현재 포지션 및 배향을 결정할 수 있다.
[0260] 예로서, 광 가이드(1964)에 의해 도시된 조명된 헤일로는 (포즈(1910)에 의해 도시된 바와 같이) 토템(1900)이 기준 포지션에 있을 때 원형 형상을 가질 수 있다. 게다가, 외향 이미징 시스템(464)은 토템이 기준 포지션에 있을 때 토템(1900)의 바디를 지각하지 못할 수 있다. 포즈(1940)를 참조하면, 웨어러블 시스템은 외향 이미징 시스템(464)에 의해 획득된 이미지들에 기초하여 토템의 바디의 일부가 대각선 포지션에 있음을 식별할 수 있다. 웨어러블 시스템은 또한 토템의 포즈(1940)에서 조명된 헤일로가 원형 형상이라기 보다는 타원형 형상을 가지는 것으로 나타나는 것을 식별할 수 있다. (다른 가능한 정보 중에서) 토템 바디 및 헤일로의 관찰들에 기반하여, 웨어러블 시스템은 토템이 오른쪽으로 기울어져 있고 위를 향하고 있음을 결정할 수 있다. 다른 예로서, 포즈들(1920 및 1930)에서의 헤일로들의 형상들 둘 모두는 타원들일 수 있다. 그러나, 포즈(1930)에서의 헤일로의 장축은 수직 방향(그리고 포즈(1930)에서의 단축은 수평 방향임)인 반면에, 포즈(1920)에서의 헤일로의 장축은 수평 방향이다 (그리고 포즈(1920)에서의 장축은 수직 방향이다). 따라서, 웨어러블 시스템은 토템이 포즈(1930)에서 수평으로 포지셔닝되는 것 (예컨대, 왼쪽 또는 오른쪽을 향함)을 결정할 수 있고 토템이 포즈(1920)에서 수직으로 포지셔닝되는 것(예컨대, 위 또는 아래를 향함) 결정할 수 있다.
[0261] 기준 포지션은 웨어러블 시스템에 의해 정의될 수 있다. 이러한 예에서, 기준 포지션은 포즈(1910)와 연관되는 것으로 정의된다. 다른 예들에서, 기준 포지션은 토템의 다른 포즈들(예컨대, 포즈들(1920, 1930, 1940 등))과 연관될 수 있다. 비록 이 예에서 헤일로가 기준 포지션에서 원형인 것으로 나타나지만, 토템은 웨어러블 시스템이 검출 및 분석할 수 있는 토템 교정을 위한 다른 광 패턴들을 조명할 수 있다. 예컨대, 토템은 정사각형 형상, 삼각형 (예컨대, 토템의 터치 표면을 둘러싸는 3개의 아크들을 가짐), 오버랩핑 라인 세그먼트들의 패턴(예컨대, 십자형 아크들 또는 'x'자형 아크들을 가짐) 등을 조명할 수 있다. 특정 실시예들에서, 광 패턴들은 또한 다수의 컬러들을 갖는 아크들을 포함할 수 있다 (이는 예컨대 6DOF 토템과 같은 더 많은 자유도를 갖는 토템을 교정하는데 유용할 수 있다). 예컨대, 광 패턴이 십자형 아크들을 포함하는 경우, 토템은 도 25b에 예시된 바와 같이 광 패턴들을 조명할 수 있다. 외향 이미징 시스템(464) 및 오브젝트 인식기들(702)은 헤일로의 광 패턴들에 관계없이 토템의 포지션 및 배향을 결정하기 위해 유사한 기법들을 사용할 수 있다.
[0262] 웨어러블 시스템은 또한 IMU로부터의 토템의 포지션 및 배향과 관련된 데이터를 수신할 수 있다. 예컨대, 웨어러블 시스템은 토템의 자이로스코프로부터 획득된 데이터에 기반하여 토템의 배향을 계산할 수 있다. IMU에 의해 획득된 포지션 및 배향 데이터는 토템의 이미지들에 기반하여 계산된 것들과 비교될 수 있다. 웨어러블 시스템은 이 비교에 따라 IMU들을 교정할 수 있다. 예컨대, 웨어러블 시스템은 IMU에 의해 획득된 데이터에 기반하여 토템(1900)이 포즈(1940)에 있다는 것을 결정할 수 있다. 그러나, 웨어러블 시스템에 의해 관찰된 토템(1900)의 포지션은 실제로는 포즈(1930)에 있을 수 있다. 따라서, 웨어러블 시스템은 IMU들을 교정하기 위해 IMU에 의해 관찰된 포지션 및 배향을 포즈(1930) (외향 이미징 시스템(464)에 의해 관찰됨)와 연관시킬 수 있다. 일부 실시예들에서, IMU들을 교정하는 것에 대한 추가 또는 대안으로서, 웨어러블 시스템은 IMU 판독치들이 (원시라기 보다는) 교정된 판독치를 표현하도록 IMU 판독치들을 보정하는 교정 변환(예컨대, 룩업 테이블)을 저장할 수 있다.
[0263] 교정 프로세스를 가능하게 하기 위해, 헤일로는 토템을 특정 포즈(예컨대, 포지션 또는 배향)로 이동시키는 것을 사용자를 안내하도록 사용될 수 있다. 그에 따라서, 웨어러블 시스템은 외향 이미징 시스템 및 IMU를 사용하여 토템의 포지션 또는 배향을 획득할 수 있다. 도 19b는 광 패턴들이 사용자 움직임에 대한 안내로서 사용되는 토템 교정의 예를 예시한다. 예컨대, 토템은 패턴들(1972, 1974, 1976, 1978)을 도시할 수 있다. 이들 패턴들은 도 14b에 도시된 MUX 2, 0, 1, 4에 대응할 수 있다. 예컨대, MUX 1의 LED 3, LED 4 및 LED 5는 패턴(1976)을 도시하기 위해 점등될 수 있다.
[0264] 교정 프로세스 동안, 토템은 토템을 오른쪽으로 이동시키는 것을 사용자에게 표시하기 위해 패턴(1972)을 제공하고, 토템을 왼쪽으로 이동시키는 것을 사용자에게 표시하기 위해 패턴(1974)을 제공한다. 토템이 패턴(1976)을 제공할 때 사용자는 토템을 위쪽으로 이동시킬 수 있지만, 토템이 패턴(1978)을 제공할 때, 사용자는 토템을 아래쪽으로 이동시킬 수 있다. 일단 토템(또는 IMU)이 교정되었으면, 토템은 패턴(1980)을 제공할 수 있으며, 이는 토템의 터치 표면 주위에 원형 형상을 형성하는 순청색 컬러를 도시한다. 패턴(1980)에 부가하여 또는 이에 대안적으로, 토템은 또한 토템 (또는 IMU)이 교정되었음을 도시하는 다른 표시들을 이용할 수 있다. 예컨대, 토템은 (예컨대, 작동기(1760)를 통해) 진동을 제공할 수 있거나 또는 (예컨대, 스피커(240)를 통해) 사운드를 제공할 수 있다. 다른 예로서, 토템은 다른 시각 표시들, 이를테면 페이드-인 또는 페이드-아웃 효과, 원형 헤일로의 일부, 또는 다른 시각 방식들을 제공할 수 있다. 일부 실시예들에서, 토템(예컨대, 프로세서(1770))은 교정이 완료될 때 조명들을 중단하도록 LED들에 명령할 수 있다.
[0265] 비록 도 19a가 3DOF 토템(1900)에서 IMU를 교정하는 것을 참조하여 설명되지만, 유사한 기법들이 또한 6DOF 토템 또는 다른 타입들의 사용자 입력 디바이스를 교정하는데 사용될 수 있다.
[0266] 도 19c의 프로세스(1982)는 교정 프로세스의 다른 예를 예시한다. 패턴들(1984a, 1984b, 1984c 및 1984d)은 토템이 현재 교정하고 있는 현재 포지션/움직임을 표시한다. 예컨대, 패턴(1984a)(원형 터치패드의 최상부의 아크를 도시함)은 토템이 상향 움직임과 연관된 자기 자신을 현재 교정하고 있음을 표시할 수 있는 반면에, 패턴(1984b)(원형 터치패드의 최하부의 아크를 도시함)은 토템이 하향 움직임과 연관된 자기 자신을 현재 교정하고 있음을 표시할 수 있다. 다른 예로서, 패턴(1984c)(원형 터치패드의 오른쪽의 아크를 도시함)은 토템이 우향 움직임과 관련하여 현재 교정되고 있음을 표시할 수 있는 반면에, 패턴(1984d) (원형 터치패드의 왼쪽의 아크를 도시함)은 토템이 좌향 움직임과 관련하여 현재 교정되고 있음을 표시할 수 있다.
[0267] 일부 실시예들에서, 패턴들(1984a, 1984b, 1984c 및 1984d)은 사용자 상호작용들로 인해 트리거될 수 있다. 예컨대, 만일 사용자가 토템을 오른쪽으로 이동시키면, 토템은 헤일로(1984d)를 디스플레이할 수 있으며, 그에 따라서 우향 움직임과 연관된 토템을 교정할 수 있다. 추가적으로 또는 대안적으로, 도 19b를 참조하여 설명된 바와 같이, 패턴들(1984a, 1984b, 1984c 및 1984d)은 토템을 특정 포즈로 이동시키는 것을 사용자에게 안내하도록 자동으로 점등될 수 있다.
[0268] 일단 토템이 모두 4개의 방향들(왼쪽, 오른쪽, 위, 아래)로 교정되었으면, 토템은 확인 펄스를 제공할 수 있다. 확인 펄스는 패턴들(1986a 및 1986b)을 번갈아 디스플레이하는 것을 포함할 수 있다. 예컨대, 토템은 0.1 초마다 패턴(1986a)으로부터 패턴(1986b)으로 (그리고, 그 반대로) 헤일로를 변경할 수 있다.
[0269] 비록 도 19a 및 도 19b가 IMU를 교정하는 것을 참조하여 설명되지만, 다른 환경 센서들(1710)을 교정하기 위해 유사한 기술들이 또한 사용될 수 있다.
[0270] 토템 교정 프로세스를 통해 사용자를 안내하는 것에 부가하여 또는 이에 대안적으로, 특정 오브젝트와의 사용자의 상호작용들을 교정하기 위해 유사한 기법들이 사용될 수 있다. 예컨대, 사용자가 게임하기 시작할 때, 헤일로의 광 배치 또는 움직임 패턴들은 튜토리얼 프로세스를 통해 사용자를 안내하기 위해 사용될 수 있다. 예로서, 토템이 패턴(1984c)을 도시할 때, 사용자는 토템을 왼쪽으로 이동시킬 수 있고, 그에 따라서 디스플레이는 아바타의 좌향 움직임을 도시할 수 있다. 사용자는 또한 토템의 움직임을 특정 사용자 인터페이스 동작과 연관시킬 수 있다. 예컨대, 사용자는 자신의 아바타가 생성된 후 그 아바타가 실행중인 액션임을 지각할 수 있다. 사용자는 실행중인 액션과 연관되도록 토템의 전방향 움직임을 세팅하기 위해 토템을 전방향으로 (사용자로부터 멀어지게) 이동시킬 수 있다.
[0271] 일부 실시예들에서, 헤일로의 광 배치 또는 움직임 패턴들은 교정의 타입에 기반하여 상이할 수 있다. 예컨대, 헤일로는 IMU가 교정될 때 청색 컬러일 수 있는 반면에, 사용자가 게임에 대한 토템들의 움직임을 구성하고 있을 때 녹색 컬러일 수 있다.
토템 교정의 예시적인 프로세스들
[0272] 도 19d는 헤일로와 연관된 광 패턴들을 사용하는 토템 교정의 예시적인 프로세스(1990)를 예시한다. 예시적인 프로세스(1990)는 토템과 조합하여 또는 단독으로 웨어러블 시스템(이를테면, 예컨대 로컬 프로세싱 & 데이터 모듈(260) 또는 원격 프로세싱 모듈(270))에 의해 수행될 수 있다.
[0273] 도 19d의 예시적인 프로세스(1990)의 블록(1992a)에서, 웨어러블 시스템은 사용자 환경의 이미지를 수신할 수 있다. 이미지는 도 4에 도시된 외향 이미징 시스템(464)에 의해 획득될 수 있다.
[0274] 블록(1992b)에서, 웨어러블 시스템은 이미지에서 토템 (또는 헤일로)를 식별하기 위해 이미지를 분석할 수 있다. 토템은 바디 및 광 가이드를 포함할 수 있다. 광 가이드는 헤일로를 디스플레이하도록 구성될 수 있다. 웨어러블 시스템은 토템, 토템의 바디, 헤일로 또는 광 가이드를 식별하기 위해 도 7을 참조로 하여 설명된 오브젝트 인식기들(708)을 사용할 수 있다. 오브젝트 인식기들(708)은 이러한 식별을 수행하기 위해 컴퓨터 비전 알고리즘들을 사용할 수 있다.
[0275] 블록(1992c)에서, 웨어러블 시스템은 토템의 제1 포지션을 결정할 수 있다. 제1 포지션은 기준 포지션일 수 있다. 기준 포지션, 이를테면 예컨대 토템의 자연스러운 휴식 포지션이 웨어러블 시스템에 의해 사전-정의될 수 있다. 기준 포지션은 또한 사용자에 의해 식별되거나 변경될 수 있다. 예컨대, 사용자는 기준 포지션을 포즈(1910)와 연관된 포지션인 것으로 정의할 수 있다. 웨어러블 시스템은 기준 포지션과 연관된 헤일로의 제1 광 패턴을 결정할 수 있다. 기준 포지션과 연관된 패턴은 웨어러블 시스템에 의해 이전에 저장될 수 있다. 일부 실시예들에서, 일단 웨어러블 시스템이 기준 포지션을 식별하면, 웨어러블 시스템은 기준 포지션에서 토템을 홀딩하도록 사용자에게 요청하는 통지를 사용자에게 촉구할 수 있으며, 그에 따라서 웨어러블 시스템은 기준 포지션에서 토템의 이미지를 캡처할 수 있다.
[0276] 블록(1992d)에서, 웨어러블 시스템은 이미지의 분석에 적어도 부분적으로 기반하여 헤일로의 제2 패턴을 식별할 수 있다. 웨어러블 시스템은 오브젝트 인식기들(708)를 사용하여 이미지를 분석하고 패턴을 식별할 수 있다.
[0277] 블록(1992e)에서, 웨어러블 시스템은 제1 포지션에 대한 토템의 포지션 및 배향에 대한 제1 변화를 결정할 수 있다. 예컨대, 웨어러블 시스템은 기준 포지션과 연관된 패턴 및 토템이 업데이트된 포지션에 있을 때 외향 이미징 시스템에 의해 획득된 패턴에 기반하여 헤일로의 패턴에 대한 변화를 분석한다. 이미지 분석에 부가하여, 웨어러블 시스템은 또한, 교정되고 있지 않는 하나 이상의 환경 센서들로부터의 데이터 또는 사용자 상호작용들과 같은 다른 정보에 기반하여 헤일로의 제2 패턴을 식별하거나 또는 토템의 포지션 및 배향에 대한 제1 변화를 계산할 수 있다. 예컨대, 사용자는 토템의 포지션 및 배향에 대한 변화를 도시하는 표시를 제공할 수 있다. 표시는 포즈들 또는 사용자 입력 디바이스(466)를 통해, 이를테면 예컨대 손가락으로 전방을 가르키는 것을 통해 이루어질 수 있는데, 이는 토템이 자신의 오리지널 포지션으로부터 전방향으로 이동되었음을 표시한다.
[0278] 블록(1994a)에서, 웨어러블 시스템은 또한 교정될 필요가 있는 환경 센서로부터 토템과 연관된 움직임 데이터를 수신할 수 있다. 그에 따라서, 웨어러블 시스템은 블록(1994b)에서 환경 센서로부터 수신된 데이터에 기반하여 토템의 포지션 및 배향에 대한 제2 변화를 계산할 수 있다.
[0279] 웨어러블 시스템은 제1 변화와 제2 변화 간의 차이들을 계산할 수 있다. 블록(1992f)에서, 만일 제1 변화와 제2 변화 간의 차이가 임계 조건을 통과한다고 웨어러블 시스템이 결정하면, 웨어러블 시스템은 블록(1992g)에서 환경 센서를 교정할 수 있다. 만일 그렇지 않으면, 웨어러블 시스템은 환경 센서가 교정될 필요가 없다고 결정하고, 블록(1992h)에 도시된 바와 같은 표시를 제공할 수 있다. 표시는 예컨대 햅틱 피드백 또는 도 19c에 도시된 확인 펄스와 같은 헤일로 패턴의 특정 배치 및 움직임을 포함할 수 있다. 추가적으로, 표시는 디스플레이(220), 스피커 등에 의해 제공될 수 있다.
[0280] 일부 상황들에서, 웨어러블 시스템은 토템의 다수의 포지션들 및 배향들과 연관된 데이터를 수집할 수 있고, 웨어러블 시스템은 수집된 데이터에 기반하여 환경 센서가 교정될 필요가 있는지 여부 또는 환경 센서가 어떻게 교정될 것인지를 결정할 수 있다. 예컨대, 웨어러블 시스템은 토템이 왼쪽 또는 오른쪽으로 움직일 때 IMU가 교정될 필요가 없으나 전방향/후방향 움직임에 대하여는 교정될 필요가 있음을 결정할 수 있다. 그러나, 전방향/후방향 움직임을 교정하기 위해, 웨어러블 시스템은 또한 검출한 왼쪽/오른쪽 움직임에 대해 IMU를 조정할 필요가 있을 수 있다. 그에 따라서, 웨어러블 시스템은 비록 IMU가 적절한 정확도로 왼쪽/오른쪽 움직임을 사전에 검출할 수 있었을지라도, 왼쪽/오른쪽 움직임 뿐만아니라 전방향/후방향 움직임에 필요한 조정량을 계산할 수 있다.
[0281] 도 19e는 헤일로와 연관된 광 패턴들을 사용하는 토템 교정의 다른 예시적인 프로세스(1996)를 예시한다. 예시적인 프로세스(1996)는 본원에서 설명된 토템 또는 웨어러블 시스템에 의해 수행될 수 있다.
[0282] 블록(1998a)에서, 토템은 토템의 포즈의 제1 표시를 제공할 수 있다. 예컨대, 토템의 광 가이드는 광 가이드의 왼쪽 측에 위치된 아크를 갖는 헤일로를 디스플레이할 수 있다. 이 아크는 토템을 왼쪽으로 이동하라는 표시를 사용자에게 제공할 수 있다. 일부 실시예들에서, 표시는 또한 웨어러블 디스플레이에 의해, 또는 햅틱 또는 오디오 피드백을 통해 제공될 수 있다.
[0283] 블록(1998b)에서, 토템은 포즈와 연관된 움직임 데이터를 획득할 수 있다. 예컨대, 사용자가 토템을 왼쪽으로 이동시킬 때, 토템의 IMU는 사용자의 움직임을 검출하고 움직임 데이터를 프로세서에 통신할 수 있다.
[0284] 블록(1998c)에서, 토템은 움직임 데이터에 기반하여 교정될 수 있다. 예컨대, 토템은 IMU에 의해 검출된 움직임을 좌향 모션과 연관시킬 수 있다.
[0285] 블록(1998d)에서, 토템은 자신이 교정되었는지 여부를 결정할 수 있다. 예컨대, 만일 토템의 IMU가 교정될 필요가 있으면, 토템은 그 토템이 6DOF에 대해 교정되었는지 여부를 결정할 수 있다. 일단 토템이 교정되었으면, 블록(1998f)에서, 토템은 토템이 교정되었음을 알리는 제2 표시를 제공할 수 있다. 예컨대, 토템은 토템이 교정되었음을 표시하기 위해 광 가이드상의 플래싱 녹색 헤일로를 도시할 수 있다.
[0286] 만일 교정 프로세스가 성공적이지 않으면, 프로세스(1996)는 교정을 반복하기 위해 블록(1998a)으로 리턴할 수 있다.
헤일로와 디바이스 페이링의 예들
[0287] 2개의 디바이스들은 (예컨대, 블루투스를 통해) 그들이 페어링되기 전에 무선 통신 링크를 설정하도록 요구될 수 있다. 디바이스들이 페어링될 때, 디바이스들은 예컨대 디바이스들의 어드레스들, 이름들 및 프로파일들 또는 디바이스들 그 자체와 같은 정보를 공유하거나 또는 디바이스들의 개개의 메모리들에 저장된 정보를 공유할 수 있다. 일단 2개의 디바이스들이 페어링되면, 그 디바이스들은 공통 비밀 키를 공유할 수 있으며, 이는 디바이스들이 미래 정보 공유를 위해 다시 본딩하는 것을 허용할 수 있다.
[0288] 디바이스 페어링은 지루할 수 있으며, 때때로 사용자들이 자신들의 디바이스들에 관한 고유 정보를 입력하도록 요구한다. 예컨대, 사용자는 자신의 디바이스(또는 다른 사용자의 디바이스)가 인근 디바이스들에 대한 초기 서치를 완료한 후에 자신의 디바이스의 정보를 수동으로 입력할 수 있다. 비록 디바이스들이 페어링 프로세스를 위해 2개의 디바이스 간에 정보를 공유하기 위해 NFC 프로토콜들을 사용할 수 있지만, NFC 컴포넌트들은 종종 비교적 크고 비싸다.
[0289] 사용자 상호작용을 감소시키거나 최소화하고 토템과 웨어러블 디바이스 간의 페어링 프로세스를 단순화하기 위해, 토템은 페어링을 위해 분석되어 사용될 수 있는 광 패턴을 제공할 수 있다. 광 패턴은 토템과 웨어러블 디바이스 간의 페어링을 위해 사용되는 메시지를 포함할 수 있다. 광 패턴은 토템의 LED 들상에 조명되는 헤일로에 의해 제공될 수 있다. 메시지는 페어링 프로세스를 개시하기 위한 표시를 포함할 수 있다. 예컨대, 광 패턴은 웨어러블 디바이스로 하여금 인근 디바이스들을 서치하거나 또는 인근 디바이들에 자신의 디바이스 정보를 브로드캐스트하게 할 수 있는 트리거 메시지를 인코딩할 수 있다. 다른 예로서, 광 패턴은 토템의 디바이스 정보를 인코딩할 수 있다. 디바이스 정보는 암호화될 수 있다. 디바이스 정보는 디바이스 ID(identifier), 운영 시스템 정보 (예컨대, 운영 시스템 버전), 펌웨어 정보, 페어링에 사용되는 통신 채널의 타입(예컨대, 블루투스, 무선 채널들), 토템과 웨어러블 디스플레이 간에 공유되는 디지털 키 등을 포함할 수 있다. 특정 구현들에서, 디바이스 ID는 제조자들, 배급자들, 개발자들 또는 임의의 적절한 엔티티에 의해 제공되거나 생성될 수 있다. 디바이스 식별자의 예들은 안드로이드 ID(identifier), iPhone의 UDID(Unique Identifier), iPhone의 IFA 또는 IDFA(IdentifierForAdvertising), 쿠키 ID, 로그인 ID, IP(Internet Protocol) 어드레스, MAC(media access control) 어드레스, 상기 것들 중 임의의 것의 해시, 상기 것들 중 임의의 것의 조합 등을 포함할 수 있다. 일부 경우들에서, 디바이스 식별자는 디바이스 식별자에 의해 식별된 디바이스의 하나 이상의 하드웨어 및/또는 소프트웨어 파라미터들에 기반하여 도출될 수 있다. 예컨대, 디바이스 식별자는 디바이스의 IP 어드레스, 운영 시스템 버전 및 로케일 세팅으로부터 도출될 수 있다. 일부 실시예들에서, 디바이스 식별자는 소스 또는 오리진(origin) 또는 거래, 요청 또는 네트워크 이벤트를 식별하기 위해 사용될 수 있다. 예컨대, 디바이스 식별자는 사용자 식별자, 계정 식별자 등을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스 ID는 디바이스를 사용하여 엔티티(예컨대, 사용자)와 연관될 수 있다.
[0290] 예로서, 토템은 그의 주변부 상에 LED들(예컨대, 터치패드 주위에 원주방향으로 배치된 12개의 LED들)의 링을 포함할 수 있다. 이들 12개의 LED들은, 그들이 특정한 시간 시퀀스, 공간 시퀀스, 또는 이들의 조합으로 점등될 때 특정 디바이스 정보를 표현하는 데 사용될 수 있다. 각각의 LED는 비트에 할당될 수 있으며, LED들의 링은 이러한 예에서 12비트 워드를 표현할 수 있다. LED들 중 하나 이상은 페어링을 위한 필수적인 정보를 나타내기 위해 시퀀스로 디스플레이될 수 있다. 예컨대, LED 광들은 토템의 디바이스 식별자(ID)를 나타내기 위해 시퀀스로 조명될 수 있다. 디바이스 ID가 2이고 수 2의 바이너리 표현이 10이라고 가정하면, 토템은 바이너리 수 2를 표현하기 위해 (도 14b에 도시된) LED 0을 점등할 수 있는 반면, 다른 LED들(예컨대, LED 1 내지 11)은 조명되지 않는다.
[0291] 특정 구현들에서, 하나 이상의 LED 광들의 컬러들은 또한 페어링을 위해 사용되는 정보를 표현할 수 있다. 예컨대, 적색 컬러는 토템의 특정 제조자 또는 모델을 표현할 수 있는 반면, LED 광들의 청색 컬러는 다른 제조자 또는 모델을 표현할 수 있다. 토템은 또한 LED 광들과 토템의 제조자 및 모델의 조합을 나타낼 수 있다. 예컨대, 토템은 LED 1을 청색으로 조명하면서 LED 3을 분홍색으로 조명함으로써 제조자 A 및 모델 M을 나타낼 수 있다.
[0292] 또한, 각각의 LED가 비트에 할당되는 경우, LED들의 컬러는 LED들이 표현할 수 있는 정보의 양을 확장시킬 수 있다. 예컨대, 하나의 LED가 하나의 비트에 할당되기 보다는, 특정 컬러를 갖는 LED가 정보의 하나의 유닛에 할당될 수 있다. 그에 따라서, 만약 LED 광이 9개의 컬러들을 조명할 수 있다면, LED는 조명된 컬러들에 기반하여 수들 0 내지 9를 나타내는 데 사용될 수 있다. 예컨대, LED가 조명되지 않을 때, 웨어러블 디바이스는 그것을 0으로 해석할 수 있는 반면, 컬러 보라색은 수 1을 표현할 수 있고, 컬러 녹색은 수 2를 표현할 수 있는 식이다. 다른 예들로서, LED들은 또한 알파벳의 글자들을 표현할 수 있다(예컨대, 적색은 A이고, 백색은 B인 식임).
[0293] 웨어러블 디바이스는 디스플레이 및 카메라(이를테면, 예컨대 외향 이미징 시스템(464))와 연관될 수 있다. 카메라는, 광 시퀀스를 캡처하고 그런다음 그것을 복조하여 자동 페어링을 위해 사용가능한 정보를 추출하는 데 사용될 수 있다. 예컨대, 카메라에 의해 캡처된 이미지들은 헤일로의 광 패턴들을 추출하기 위해 본원에서 설명된 다양한 컴퓨터 비전 알고리즘들을 사용하여 분석될 수 있다. 광 패턴들은 수, 알파벳, 워드 등으로 변역될 수 있으며, 이들은 토템의 디바이스 정보를 표현할 수 있다. 그런다음, 웨어러블 디바이스는 토템과 페어링하기 위해 이러한 디바이스 정보를 사용할 수 있다.
[0294] 2개의 토템들이 또한 페어링될 수 있다. 예컨대, 2명의 친구들은, 그들이 그들 개개의 웨어러블 디바이스들을 사용하여 비디오 게임을 플레이하고 있는 동안 그들의 게임 제어들을 공유하기 위해 그들의 토템들을 페어링하기를 원할 수 있다. 이 예에서, 제1 사람의 웨어러블 디바이스의 외향 이미징 시스템은 제2 친구의 토템에 대한 광 시퀀스를 획득할 수 있다(그리고 그 반대의 경우도 마찬가지임). 제1 사람의 웨어러블 디바이스는 제2 친구의 토템의 디바이스 정보를 추출하고, 페어링을 위해 그 정보를 제1 친구의 토템에 전달할 수 있다. 일부 구현들에서, 토템은 또한 카메라를 가질 수 있다. 따라서, 토템은 다른 토템의 광 패턴들의 이미지들을 캡처하고, 2개의 토템들의 페어링을 달성할 수 있다.
[0295] 다른 예로서, 웨어러블 디바이스(또는 HMD)는 2개의 토템들과 페어링될 수 있다. 외향 이미징 시스템은 하나의 코템에 대한 광 패턴들의 이미지들을 획득할 수 있다. 일단 웨어러블 디바이스가 그의 헤일로로부터 하나의 토템의 디바이스 정보를 추출하면, 웨어러블 디바이스는 페어링을 위해 (웨어러블 디바이스 또는 다른 토템의) 디바이스 정보를 다른 토템에 전달할 수 있다.
[0296] 디바이스 페어링에 부가하여 또는 이에 대안적으로, 하나의 토템에 의해 정보를 통신하기 위한 유사한 기법들이 또한 다른 타입들의 정보를 통신하는 데 사용될 수 있다. 예컨대, 토템은 토템에 의해 조명된 광 패턴들을 사용하여 사용자의 프로파일 정보, 또는 토템의 상황을 웨어러블 디바이스에 통신할 수 있다.
[0297] 유리하게, 일부 실시예들에서, 토템의 광 배치 또는 움직임 패턴들은 토템과 웨어러블 디바이스 간의 또는 2개의 토템들 간의 무선 페어링의 진행을 표시하는 데 사용될 수 있다. 도 20a 및 도 20b는 헤일로와의 무선(예컨대, 블루투스 또는 WiFi) 페어링 프로세스를 표시하는 예들을 예시한다. 이들 2개의 도면에 예시된 광 패턴들은 무선 통신들을 통한(예컨대, 여기서 토템 또는 디바이스는 그 디바이스 정보를 다른 디바이스들에 무선으로 브로드캐스팅함) 또는 도 14b를 참조하여 설명된 광 패턴들을 통한 디바이스 페어링 프로세스의 진행을 나타내는 데 사용될 수 있다.
[0298] 도 20a는 터치패드(2022) 및 디스플레이 구역(2026)을 가질 수 있는 토템(2020)을 도시한다. 토템(2020)은 토템(1200)의 예일 수 있고, 터치패드(2022)는 터치패드(1260)의 실시예일 수 있다. 디스플레이 구역(2026)은 LED들에 의해 방출된 광을 확산시키는 광 가이드 및 LED들의 링을 포함할 수 있다. 일부 실시예들에서, 사용자는 디스플레이 구역(2026)을 작동시킬 수 있다.
[0299] 디스플레이 구역(2026)은 헤일로(2024)를 디스플레이할 수 있다. 헤일로 중 일부는 어두운 청색 컬러에 있을 수 있다. 프로세스(2012)에 도시된 바와 같이, 토템은 어두운 청색 부분의 시계방향의 스핀 애니메이션을 플레이할 수 있다. 일단 토템이 페어링되면, 토템은 펄스 애니메이션을 이용하여 어두운 청색 헤일로를 제공할 수 있다. 애니메이션들의 예는 도 20b를 참조하여 설명된다. 토템은 패턴(2062)을 디스플레이함으로써 스핀 애니메이션을 시작할 수 있다. 무선 페어링이 진행중인 동안, 토템은 화살표들(1, 2, 및 3)에 의해 예시된 바와 같이 패턴들(2064, 2066, 및 2068)을 순차적으로 제공할 수 있다. 만약 페어링이 여전히 진행중이라면, 토템은 패턴(2068) 이후 패턴(2062)을 다시 플레이할 수 있다. 만약 페어링이 성공적으로 완료된다면, 토템은 시각 표시를 사용자에게 제공할 수 있는 패턴(2070)을 제공할 수 있다.
[0300] 이들 예들이 토템을 페어링하는 것을 참조하여 설명되지만, 유사한 기법들이 또한 다른 사용자 입력 디바이스들(466) 또는 디스플레이 또는 조명 컴포넌트들을 갖는 디바이스들을 페어링시키기 위해 사용될 수 있다. 예컨대, 기법들은 스마트워치, 스마트폰, 웨어러블 디바이스, 토템, 태블릿, 컴퓨터, 텔레비전, 카메라, 주변기기 디바이스, 어플라이언스, 또는 이미지 인식 및 프로세싱 용량들을 갖는 다른 디바이스들 중 2개 이상을 페어링시키기 위해 적용될 수 있다. 스마트폰과 토템 간에 페어링되는 예로서, 스마트폰은 토템에 대한 조명 패턴들을 캡처 및 분석하기 위해 그의 카메라를 사용할 수 있다. 다른 예로서, 웨어러블 디바이스는 스마트워치와 페어링될 수 있으며, 여기서 웨어러블 디바이스는 (예컨대, 스마트워치의 디스플레이 스크린 상에서) 스마트워치에 의해 디스플레이된 패턴을 캡처 및 분석할 수 있다. 본원에서 설명된 기법들은 다양한 타입들의 무선 페어링들, 이를테면 블루투스 페어링, WiFi 페어링(예컨대, Wi-Fi Direct™), 또는 다른 타입들의 무선 페어링들에 추가로 적용될 수 있다. 블루투스 페어링의 예로서, 토템이 검색가능 모드에 있을 때, 토템은 그것이 검색가능 모드에 있음을 표시하는 광을 디스플레이할 수 있다. 웨어러블 디바이스가 또한 검색가능 모드에 있을 때, 웨어러블 디바이스는 이러한 광 패턴을 캡처하고 페어링을 완료할 수 있다. 광 패턴이 트리거링 메시지를 인코딩할 때, 웨어러블 디바이스는 광 패턴의 검출 시에 검색가능 모드에 자동으로 들어갈 수 있다. 무선 페어링의 예로서, 토템은 연결이 토템에 대해 이루어졌을 수 있음을 표시하는 광 패턴을 조명할 수 있다. 웨어러블 디바이스는 광 패턴의 검출 시에 토템에 연결되기 위한 초대를 수신할 수 있다. 무선 페어링들의 이들 예들에 부가하여, 페어링 기법들은 또한 무선 페어링 이외의 페어링들의 타입들에 적용될 수 있다. 예컨대, 기법들은 또한 이더넷 연결을 통해 홈에서 사용자 입력 디바이스들의 그룹 사이에서 파일들을 공유하는 데 사용될 수 있다.
헤일로와의 디바이스 페어링의 예시적인 프로세스들
[0301] 도 20c는 헤일로와의 디바이스 페어링의 예시적인 프로세스(2080)를 예시한다. 페어링은 웨어러블 디바이스와 다른 디바이스(예컨대, 토템, 스마트폰, 텔레비전, 스마트워치 등) 간에 이루어질 수 있다. 예시적인 프로세스(2080)는 HMD 및 외향 이미징 시스템(464)을 갖는 웨어러블 디바이스에 의해 수행될 수 있다. 프로세스(2080)는 다른 디바이스들, HMD들 등과 토템을 페어링시키는 것을 보조하는 데 사용될 수 있다.
[0302] 블록(2082)에서, 웨어러블 디바이스는 페어링을 확립하기 위해 토템으로부터의 요청을 수신할 수 있다. 예컨대, 토템은 통신을 확립하기 위해 인근의 디바이스들에 신호를 브로드캐스팅할 수 있다. 웨어러블 디바이스는 브로드캐스팅된 신호를 수신하고, 신호를 통신했던 토템을 식별할 수 있다. 다른 예로서, 요청은 토템의 광 패턴으로 인코딩된 트리거 메시지일 수 있다.
[0303] 블록(2084)에서, 웨어러블 디바이스는 토템에 의해 제공되는 헤일로의 이미지를 수신할 수 있다. 이미지는 외향 이미징 시스템(464)에 의해 캡처될 수 있다. 도 20a 및 20b를 참조로 설명되는 바와 같이, 토템은 헤일로의 광 배치 또는 움직임 패턴들을 통해 페어링을 확립하기 위해 필요한 디바이스 정보를 통신하기 위해 헤일로를 사용할 수 있다. 예컨대, 헤일로는 디바이스 정보를 바이너리 형태로 인코딩할 수 있다.
[0304] 블록(2086)에서, 웨어러블 디바이스는 디바이스 정보를 추출하기 위해 헤일로의 이미지를 분석할 수 있다. 예컨대, 웨어러블 디바이스는 캡처된 이미지에서 헤일로를 식별하기 위해 오브젝트 인식기들(708n)을 사용할 수 있다. 헤일로가 바이너리 형태로 디바이스 정보를 인코딩할 경우, 웨어러블 디바이스는 바이너리 표현을 다시 디바이스 정보의 십진법 표현 또는 알파벳 표현으로 변환할 수 있다.
[0305] 블록(2088)에서, 추출된 디바이스 정보에 기반하여, 웨어러블 디바이스는 토템을 웨어러블 디바이스와 페어링시킬 수 있다. 예컨대, 웨어러블 디바이스는, 웨어러블 디바이스가 그의 정보를 공유할 수 있는 디바이스들의 화이트리스트에 토템의 디바이스 ID를 추가할 수 있다.
[0306] 선택적으로, 블록(2089)에서, 웨어러블 디바이스는 페어링이 성공적이라는 것을 나타내는 표시를 토템으로부터 수신할 수 있다. 표시는 전자기 신호일 수 있다. 추가적으로 또는 대안적으로, 토템은 페어링이 완료되었음을 표시하는 특정 배치 및 움직임을 갖는 헤일로를 디스플레이할 수 있다. 예컨대, 토템은 원형 청색 헤일로의 펄스 애니메이션을 디스플레이할 수 있다. 외향 이미징 시스템(464)은 이미지에서 이러한 헤일로를 캡처할 수 있다. 일단 웨어러블 디바이스가 헤일로의 광 배치 또는 움직임 패턴을 인식하면, 웨어러블 디바이스는 페어링이 완료되었다고 결정할 수 있다.
[0307] 일부 실시예들에서, 토템은 또한 페어링이 진행중이라는 시각 표시를 제공한다. 예컨대, 토템은 페어링 동안 회전 아크를 갖는 헤일로를 제공할 수 있다. 회전 아크는, 토템이 디바이스 정보를 웨어러블 디바이스에 제공한 이후 제공될 수 있다.
[0308] 예들이 웨어러블 디바이스를 참조하여 본원에서 설명되지만, 일부 실시예들에서, 유사한 기법들이 또한 다른 컴퓨팅 디바이스에 적용될 수 있다. 예컨대, 예시적인 프로세스(2080)는 AR/VR/MR 특징들을 제공하도록 구성된 셀폰(cellphone)을 토템과 커플링시키는 데 사용될 수 있다.
[0309] 도 20d는 헤일로와의 디바이스 페어링의 다른 예시적인 프로세스(2090)를 예시한다. 페어링은 토템과 컴퓨팅 디바이스 간에 이루어질 수 있다. 컴퓨팅 디바이스는 웨어러블 디스플레이 및 외향 이미징 시스템(464)을 갖는 웨어러블 디바이스, 또는 다른 컴퓨팅 디바이스들(예컨대, 텔레비전, 스마트워치, 스마트폰, 태블릿, 다른 토템 등)일 수 있다. 예시적인 프로세스(2090)는 토템(1200)에 의해 수행될 수 있다.
[0310] 블록(2092)에서, 토템은 컴퓨팅 디바이스와의 페어링 프로세스를 개시할 수 있다. 예컨대, 토템은 토템과 페어링될 수 있는 인근의 디바이스들을 서치할 수 있다. 토템은 또한, 신호를 브로드캐스팅하고, 다른 디바이스들로부터 수신된 신호에 대한 응답에 기반하여 페어링에 이용가능한 디바이스들을 식별할 수 있다. 사용자는 토템으로 하여금 페어링 프로세스를 개시하게 하기 위해 토템 또는 컴퓨팅 디바이스를 작동시킬 수 있다. 예컨대, 사용자는, 토템으로 하여금 페어링 프로세스에 들어가게 하기 위해, 연장된 시간 기간 동안 홈 버튼(1256)을 누를 수 있다. 특정 구현들에서, 토템은, 토템이 이제 페어링 모드에 있음을 표시하는 광 패턴을 제공할 수 있다. 광 패턴은 컴퓨팅 디바이스에 의해 캡처될 수 있으며, 컴퓨팅 디바이스로 하여금 토템과의 페어링 프로세스에 들어가게 할 수 있다.
[0311] 블록(2094)에서, 토템은 페어링 프로세스(2094)에 대한 정보를 인코딩하는 제1 광 패턴을 조명할 수 있다. 인코딩된 정보는 토템의 디바이스 정보를 포함할 수 있다. 인코딩된 정보는 또한 컴퓨팅 디바이스가 토템과 연결되기 위한 키를 포함할 수 있다. 예컨대, 컴퓨팅 디바이스는 이미지로부터 추출된 광 패턴에 기반하여 키를 추출하며, 페어링을 달성하기 위해 무선 채널을 통해 키를 다시 토템에 통신할 수 있다. 일부 실시예들에서, 블록(2092)은 선택적일 수 있다. 컴퓨팅 디바이스는 블록(2094)에서 제1 광 패턴의 검출 시에 페어링 프로세스를 자동으로 개시할 수 있다.
[0312] 블록(2096)에서, 토템은 컴퓨팅 디바이스로부터 응답을 수신할 수 있다. 응답은 컴퓨팅 디바이스의 디바이스 정보일 수 있다. 일부 상황들에서, 응답은 토템으로부터의 더 많은 정보를 위한 요청을 포함할 수 있다. 컴퓨팅 디바이스는 또한, 응답에서 다른 정보, 이를테면 토템이 컴퓨팅 디바이스와 통신하기 위해 사용할 수 있는 네트워크 통신 정보(예컨대, 네트워크 포트, 암호화 표준, 또는 통신 프로토콜)를 제공할 수 있다. 일부 상황들에서, 응답은 또한, 컴퓨팅 디바이스가 토템을 수락된 디바이스들의 리스트에 추가했다는 표시를 포함할 수 있다.
[0313] 선택적으로 블록(2098)에서, 일단 페어링 프로세스가 완료되면, 토템은 페어링이 성공적임을 표시하는 제2 광 패턴을 조명할 수 있다. 제2 광 패턴은 도 20b에 도시된 패턴(2070)일 수 있다. 일부 실시예들에서, 토템은 페어링이 완료되었음을 표시하기 위해 조명을 중단시킬 수 있다. 예시적인 프로세스(2090)가 토템에 의해 수행되는 것으로 위에서 설명되었지만, 예시적인 프로세스(2090)가 다른 디바이스(예컨대, 스마트폰, 스마트워치, 컴퓨터 등)에 의해 수행될 수 있다는 것이 이해될 것이다.
오브젝트의 상황에 대한 큐를 제공하기 위해 헤일로의 광 패턴들을 사용하는 예들
[0314] 헤일로의 광 패턴들의 배치 및 움직임은 오브젝트의 상황을 표시하기 위한 큐로서 사용될 수 있다. 예컨대, 특정 광 배치 또는 움직임 패턴들은, 사용자가 토템을 턴 온시키는지 또는 턴 오프시키는지, 토템이 슬립 모드에 있는지 여부, 또는 토템의 배터리 충전 상황을 표시하는 데 사용될 수 있다. 비-비-제한적인 예시적인 예들이 아래에서 설명된다.
[0315] 도 21a는 토템의 상황을 표시하는 예를 예시한다. 프로세스(2110)에 도시된 바와 같이, 전력 버튼이 오프로부터 온으로 터닝될 때, 토템은 헤일로 중 일부를 제공하며, 토템이 완전히 턴 온될 때까지 부분들의 나머지를 점진적으로 채울 수 있다. 토템은 또한, 전력 공급 프로세스 동안에 하나의 사이클 동안 헤일로를 시계방향으로 회전시킬 수 있다.
[0316] 전력 버튼이 온으로부터 오프로 스위칭될 때, 토템은 (프로세스(2120)에 예시된 바와 같이) 풀 헤일로를 제공하고, 하나의 사이클 동안 반시계방향으로 헤일로를 회전시킬 수 있다. 토템은 또한, 토템에 완전히 전력이 차단될 때까지(토템이 더 이상 헤일로를 제공하지 않을 때) 헤일로의 더 많은 부분들을 점진적으로 숨길 수 있다.
[0317] 헤일로 컬러 팔레트는 사용자들에게 시각적으로 만족스럽도록 선택될 수 있다. 상이한 컬러 팔레트들은 상이한 시스템 기능들, 예컨대 시스템이 파워 업될 때의 시작 컬러 팔레트(예컨대, 도 21a의 프로세스(2110) 참조) 및 시스템이 파워 다운될 때의 셧다운 컬러 팔레트(예컨대, 도 21a의 프로세스(2120))에 대해 사용될 수 있다. 예컨대, 시작 컬러 팔레트는 일출 동안 전형적으로 보여지는 컬러들을 표현할 수 있고, 셧다운 컬러 팔레트는 일몰 동안 전형적으로 보여지는 컬러들을 표현할 수 있다. 다른 컬러 팔레트들은 다른 시스템 기능들(예컨대, 도 21c, 도 21d에 도시된 충전 또는 배터리 상황 또는 슬립-아이들 모드)에 대해 사용될 수 있다. 컬러 팔레트들은 컬러들, 그레이스케일들, 조명 레벨들 등을 포함할 수 있다. 조명 패턴들은 토템 광원들(예컨대, LED들(1383a, 1394a)의 밝기를 제어하는 데 사용되는 (터치 보드(1394c) 상에 배치된 제어기일 수 있는) 광원 제어기에 통신되는 조명 정보를 포함할 수 있다. 조명 정보는 컬러 팔레트, LED들(LED에 의해 생성가능한 개별 컬러들을 포함함) 각각이 조명되는 때, 얼마나 길게 조명되는지, 및 어떤 밝기 레벨로 조명되는지의 타이밍들(또는 변화의 레이트들) 등을 포함할 수 있다. 일부 LED들은 추가적인 또는 상이한 제어 기능성, 예컨대 RGBA를 포함할 수 있으며, RGBA는, 각각의 픽셀이 얼마나 불투명한지를 표시하고 토템이 알파 합성(부분적인 또는 전체 투명도의 외관을 허용함)을 수행하게 하는 알파 채널 더하기 RGB를 포함한다. 조명 정보는 토템에서 사용된 광원의 선정에 의존하여 그러한 추가적인 또는 상이한 제어 기능성을 포함할 수 있다.
[0318] RGB LED들에 의해 디스플레이될 수 있는 매우 다양한 컬러 팔레트들이 존재할 수 있다(예컨대, 여기서, 공통적으로, 각각의 컬러는 0 내지 255인 256개의 값들로 세팅될 수 있음). 컬러 팔레트들은 다양한 상이한 인자들 중 임의의 것, 예컨대 사용자 특징들, 콘텍스추얼 정보, 디바이스 사용도 또는 상황, 시스템 기능성 등에 기반하여, 본원에서 설명된 헤일로들 중 하나 이상에 대해 선택될 수 있다.
[0319] 헤일로 조명 패턴은 컬러들, 셰이딩, 색조들 등에서의 그래디언트들을 포함할 수 있다. 예컨대, 토템에서의 제한된 수의 광원들(예컨대, 12개의 RGB LED들)로 인해, 색광 소스의 밝기를 변화시키는 것은 (컬러 또는 세기에서) 원하는 그래디언트를 제공하는 데 사용될 수 있다. 그래디언트는 조명 패턴의 중간 종료들 또는 페이딩 아웃의 시각 환영(illusion)을 제공할 수 있다. 그래디언트는 (시변 조명 패턴들에 대해) 광원들의 밝기를 동적으로 조정함으로써 제공될 수 있다. 예로서, 시계의 시간들에 포지셔닝된 12개의 LED들을 갖는 토템의 경우, 아크의 6시 정각에서 그래디언트를 가지면서 6시 정각을 향해 45도로 연장되는 4시 정각에서 시작하는 조명 패턴은, LED들 1 내지 3 밝기 0.0, LED 4 밝기 1.0, LED 5 밝기 1.0, LED 6 밝기 0.5, LED들 7 내지 12 밝기 0.0로 세팅된 LED 밝기 값들을 가질 수 있다.
[0320] 다른 셧다운 프로세스는 토템과의 사용자 상호작용을 수반하여, 사용자가 셧다운 동작(예컨대, 웨어러블 디바이스(200)를 셧다운, 유예 또는 재시작하는 것)을 수행하기를 원한다는 것을 확인한다. 예컨대, 웨어러블 시스템(200)의 디스플레이(220)는 셧다운이 사용자에 의해 선택될 때 셧다운 사용자 인터페이스를 사용자에게 디스플레이할 수 있다. 일 예에서, 셧다운 사용자 인터페이스는 원형 링(토템(1200) 상의 원형 광 가이드(1264)를 암시함) 및 사용자가 셧다운 동작을 확인하기 위해 토템의 터치패드(1260) 상에서 자신의 엄지손가락을 움직여야 한다는 텍스츄얼 표시를 디스플레이한다. 예컨대, 사용자 인터페이스는 "Complete Circle to Power Off"를 디스플레이할 수 있고, 원형 링은 사용자가 터치패드(1260) 주위에서 자신의 엄지손가락을 시계 방향으로 움직이는(말함) 것을 표시하는 애니메이션을 포함할 수 있다. 만약 사용자가 홈 버튼(1256)을 누른다면, 셧다운 동작이 중지되고 셧다운 사용자 인터페이스가 페이드 아웃될 수 있다.
[0321] 만약 사용자가 셧다운 동작을 완료하고자 한다면, 사용자는 디스플레이된 지시들에 따르고 터치패드(1260) 주위에서 원형의 시계방향 경로로 자신의 엄지손가락을 움직일 수 있다. 사용자가 그렇게 할 때, 광 가이드(1264)는 엄지손가락의 모션을 따르는 아크를 생성하도록 조명할 수 있다(선택적으로, 디스플레이(220)는 원형 링 주위의 진행을 도시하는 애니메이션 그래픽을 디스플레이할 수 있음). 만약 사용자의 손가락이 완전한 원형을 완성하면(셧다운 동작을 확인함), 토템(1200)에 의해 햅틱 "범프"가 수행되어, 셧다운 동작이 시작되었다는 촉각 피드백을 사용자에게 제공할 수 있다(선택적으로, 시스템(200)은 오디오 사운드를 출력할 수 있음). 웨어러블 시스템(200)의 디스플레이(220)는 사용자에게 셧다운 스크린을 디스플레이하고 셧다운 동작을 시작할 수 있다. 토템(1200)의 광 가이드(1264)는 (예컨대, 도 21b에 도시된 바와 같이) 셧다운 조명 패턴을 디스플레이할 수 있다.
[0322] 도 21b는 전력 공급 및 차단 프로세스 동안 헤일로의 광 배치 또는 움직임 패턴들의 예를 예시한다. 전력 공급 프로세스 동안, 헤일로 패턴은 화살표 1 및 2에 의해 도시된 바와 같이 패턴(2122)으로부터 패턴(2124)으로, 그런다음 패턴(2126)으로 이동할 수 있다. 이 프로세스 동안, 헤일로의 아크(컬러 예컨대, 노란색으로 조명될 수 있음)는 점진적으로 길이가 길어지고 컬러가 밝아질 수 있다.
[0323] 다른 한편으로, 전력 차단 프로세스 동안, 헤일로 패턴들은 화살표들 3 및 4에 의해 도시된 바와 같이 패턴(2126)으로부터 패턴(2124)으로, 그런다음 패턴(2122)으로 이동될 수 있다. 이 프로세스에서, 헤일로의 형상은 점진적으로 완전한 링으로부터 작은 아크로 감소될 수 있다.
[0324] 추가적으로 또는 대안적으로, 헤일로는 토템의 배터리(1720)의 충전 상태를 도시하도록 구성될 수 있으며, 여기서 배터리의 양이 디스플레이되는 헤일로 부분의 사이즈에 대응할 수 있다. 도 21c는 배터리 충전 상태를 도시하는 광 패턴들의 배치 및 움직임의 예를 예시한다. 프로세스(2132)는 배터리(1720)가 충전중일 때 헤일로의 애니메이션 시퀀스를 예시한다. 예컨대, 헤일로는 4개의 사분면들로 분할될 수 있다. 각각의 사분면은 하나 이상의 LED 조명들과 연관될 수 있다. 토템은 각각의 사분면의 LED들을 조명함으로써 모든 4개의 사분면을 점진적으로 채울 수 있다. 특정 구현들에서, 한 번에 1개의 사분면을 채우기 보다는, 토템은 LED들을 점진적으로 조명하여 남아있는 배터리의 퍼센티지를 추적할 수 있다. 예컨대, 배터리의 30%가 남아있을 때, 토템은 LED들의 30%를 점등할 수 있다.
[0325] (예컨대) 만약 충전을 시작할 때 배터리가 15% 미만이라면, 토템은 4개의 사분면들 중 하나에 있는 제1 컬러(예컨대, 오렌지 컬러)를 갖는 헤일로를 제공할 수 있다. (예컨대) 배터리가 25%에 도달하면, 토템은, 헤일로의 컬러를 제1 컬러로부터 제2 컬러(예컨대, 오렌지로부터 녹색으로)로 변화시킬 수 있다. (예컨대) 배터리가 50%에 도달하면, 토템은 시계 방향으로 다음 사분면과 연관된 헤일로의 부분을 (예컨대, 제2 컬러로) 조명할 수 있다. 토템이 충전되는 동안 다른 사분면들에서 토템들이 계속 페이딩(fading)할 수 있다. 배터리가 완전히 충전되면, 토템은 (프로세스(2134)에 도시된 바와 같이) 모든 4개의 사분면들이 조명되는 상태에서 제2 컬러의 헤일로를 제공할 수 있다.
[0326] 배터리가 소모되는 동안, 헤일로의 형상은 초기에, 완전한 원형일 수 있다. 토템은 전력량이 감소함에 따라 프로세스(2136)에 예시된 바와 같이 반시계 방향으로 헤일로를 점진적으로 페이드 아웃시킬 수 있다. 일부 실시예들에서, (예컨대) 배터리의 15%만이 남아있을 때, 토템은 헤일로의 남아있는 부분을 제3 컬러(예컨대, 적색 컬러)로 바꾸고 전력이 남아 있지 않을 때까지 펄싱 애니메이션을 플레이할 수 있다(이 경우 토템이 헤일로의 페이드-아웃 애니메이션을 플레이할 수 있음).
[0327] 헤일로는 또한 토템이 슬립 모드에 들어갈지 여부를 도시하는 데 사용될 수 있다. 도 21d는 토템이 슬립 모드에 들어갈 때 예시적인 헤일로 패턴을 예시한다. 프로세스(2142)에 표시된 바와 같이, 토템이 임계 시간 기간 내에 사용자 상호작용을 검출하지 않기 때문에 그것이 아이들이 될 때, 토템은 트레일(예컨대, 백색 트레일) 형태의 헤일로를 제공할 수 있다. 토템은 또한 시계방향 사이클로 트레일을 반복할 수 있다.
헤일로로 토템의 상황을 표시하는 예시적인 프로세스들
[0328] 도 21e는 광 배치 또는 움직임 패턴들에 기반하여 토템의 상황을 표시하는 예시적인 프로세스를 예시한다. 도 21e의 프로세스(2150)는 본원에서 설명된 웨어러블 시스템의 하나 이상의 컴포넌트들에 의해 수행될 수 있다. 예컨대, 프로세스(2150)는 토템 또는 웨어러블 디바이스에 의해 수행될 수 있다.
[0329] 블록(2152)에서, 웨어러블 시스템은 토템의 상황을 결정할 수 있다. 토템은 헤일로를 디스플레이하도록 구성된 광원들(예컨대, LED)의 그룹을 포함할 수 있다. 헤일로는 토템의 상황을 표시하는 데 사용될 수 있다. 상태는 예컨대, 토템의 전력 공급되는지/차단되는지 여부, 토템이 슬립 모드에 있는지 여부, 또는 배터리 충전 또는 소비의 진행과 같은 토템의 배터리 상황을 포함할 수 있다.
[0330] 블록(2154)에서, 웨어러블 시스템은 헤일로의 제1 광 패턴에 액세스할 수 있다. 제1 광 패턴은 헤일로에 대한 배치 또는 움직임 패턴을 특정할 수 있다. 제1 광 패턴은 토템의 현재 상황과 연관될 수 있다. 예컨대, 배터리가 현재 부족한 경우, 헤일로의 광 배치 또는 움직임 패턴은 6시 포지션 주위에서 적색 아크일 수 있다.
[0331] 블록(2156)에서, 웨어러블 시스템이 제1 광 패턴에 따라 헤일로를 디스플레이하도록 LED들의 그룹에 명령할 수 있다. 이전 예를 계속하면 웨어러블 시스템은 6시 포지션 인근에 위치되는 LED들(이를테면, 예컨대, 도 14b에 도시된 MUX 3에서의 LED 9, LED 10 및 LED 11)을 생성하고 이들에 적색 광을 조명하도록 명령을 전송할 수 있다.
[0332] 웨어러블 시스템은 토템의 상황을 계속해서 모니터링할 수 있다. 선택적으로, 블록(2158)에서, 웨어러블 시스템은 상황에 대한 업데이트가 존재하는지 여부를 결정할 수 있다. 예컨대, 토템의 배터리가 이전에 15% 미만일 수 있지만, 사용자는 충전을 위해 전원에 토템을 플러깅했을 수 있다. 따라서, 배터리의 양이 점진적으로 증가할 수 있다.
[0333] 선택적으로 블록(2160)에서, 업데이트에 대한 응답으로, 웨어러블 시스템이 광 패턴에 따라 헤일로를 디스플레이하도록 LED의 그룹에 명령할 수 있다. 제2 조명 패턴은 업데이트와 연관된다. 예컨대, 토템이 충전 모드에 들어가면, 헤일로의 컬러가 적색으로부터 녹색으로 변경될 수 있다.
[0334] 본원의 예들은 토템의 상황을 표시하는 것을 참조하여 설명되지만, 유사한 기법들은 또한, 웨어러블 디스플레이 또는 배터리 팩과 같은 토템의 다른 컴포넌트들의 상황을 표시하는 데 사용될 수 있다.
사용자 상호작용들을 위한 큐로서 광 패턴들을 사용하는 예들
[0335] 디바이스 상황에 관한 정보를 제공하는 것에 부가하여 또는 이에 대안적으로, 헤일로는 현재 사용자의 상호작용을 표시하거나 사용자의 상호작용을 안내하기 위한 큐로서 사용될 수 있다. 도 22a 및 도 22b는 사용자 상호작용을 위한 큐들로서 사용되는 예시적인 광 배치 또는 움직임 패턴들을 예시한다. 도 22a는 헤일로 패턴들(2210 및 2220)을 디스플레이한다. 헤일로 패턴은 토템의 터치 표면 주위의 광 가이드에 의해 디스플레이될 수 있다. 사용자는 예컨대, 자신의 엄지손가락(2230)을 사용하여 터치 표면을 작동시킬 수 있다. 헤일로 패턴(2210)은 광 가이드의 왼쪽 측 상에 아크(2222)(이는 보라 분홍 컬러로 조명될 수 있음)를 포함할 수 있다. 아크(2222)의 길이 및 밝기는 사용자의 손가락과 아크(2222)를 디스플레이하는 광 가이드의 일부 사이의 거리를 반영할 수 있다.
[0336] 현재 사용자의 토템과의 상호작용을 표시하는 예로서, 사용자의 엄지손가락이 포지션(2212)에 있을 때, 헤일로 패턴(2210)이 도시될 수 있다. 엄지손가락(2230)에 가장 가까운 아크(2222)의 일부가 가장 밝을 수 있다. 아크의 다른 일부들의 밝기는, 이들이 엄지손가락(2230)으로부터 더 멀어짐에 따라 점진적으로 감소할 수 있고, 결국 흑색으로 트랜지션된다(예컨대, 여기서 대응하는 LED들이 턴 오프됨). 이 예에서, 사용자는 스와이프 제스처로 터치 표면을 작동시킬 수 있다. 예컨대, 사용자는 자신의 엄지손가락을 좌향으로 스와이핑할 수 있다. 사용자가 자신의 엄지손가락(2230)을 아크(2222)를 향해 좌향으로 움직임에 따라(화살표(2214)에 의해 예시됨), 아크(222)의 길이는 원의 절반 미만으로부터 원의 절반 초과로 증가할 수 있다. 아크(2222)의 밝기는 또한 엄지손가락(2230)과 아크(2222) 사이의 감소된 거리로 인해 증가할 수 있다.
[0337] 다른 예로서, 도 22b에서, 패턴(2250)과 연관된 헤일로는 3개의 아크들(2252, 2254, 2256)을 포함할 수 있다. 아크(2252)는 제1 컬러(예컨대, 적색일 수 있음)에 대응하는 제1 패턴으로 예시되고, 아크(2254)는 제2 컬러(예컨대, 청색일 수 있음)에 대응하는 제2 패턴으로 예시되고, 아크(2256)는 제3 컬러(예컨대, 황색일 수 있음)에 대응하는 제3 패턴으로 예시된다. 도 14b를 참조하면, 아크(2252)는 LED 1, LED 2 및 LED 3에 의해 조명될 수 있고; 아크(2254)는 LED 5, LED 6 및 LED 7에 의해 조명될 수 있고; 아크(2256)는 LED 9, LED 10 및 LED 11에 의해 조명될 수 있다.
[0338] 이 패턴(2250)은 3-웨이 d-패드와 연관될 수 있으며, 각각의 아크가 사용자 인터페이스 동작과 연관된다. 예컨대, 사용자는 가상 오브젝트를 좌향으로 이동시키기 위해 아크(2252) 인근 구역을 탭핑하고 가상 오브젝트를 우향으로 이동시키기 위해 아크(2254) 인근 구역을 탭핑할 수 있다. 사용자는 또한 아크(2256) 인근의 영역을 탭핑하여 가상 오브젝트를 선택하거나 릴리즈할 수 있다. 사용자의 엄지손가락(2230)이 아크 인근에 있을 때, 아크의 길이는 감소하는 반면, 아크의 밝기는 증가할 수 있다. 예컨대, 사용자의 엄지손가락(2230)이 아크(2254) 인근에 있을 때, 토템은 아크(2254)의 사이즈를 감소시키기 위해 LED 5 및 LED 7(도 14b에 도시됨)를 턴 오프시킬 수 있다. 헤일로의 광 배치 또는 움직임 패턴에 대한 이러한 변화는 사용자가 가상 오브젝트의 좌향 움직임을 개시했다는(또는 개시하려고 한다는) 표시를 제공할 수 있다. 사용자 엄지손가락이 아크(2254)로부터 멀어지게 이동할 때, 토템은 아크(2254)의 사이즈를 증가시키기 위해 LED 5 및 LED 7를 재조명할 수 있다.
[0339] 토템은 예컨대, d-패드, 터치 디바이스, 6DOF 제어기 등과 같은 다양한 사용자 입력 디바이스들의 기능들을 시뮬레이팅할 수 있다. 헤일로의 광 배치 또는 움직임 패턴들은 토템이 현재 사용중인 사용자 입력 디바이스의 타입을 표시하거나 이용가능한 사용자 인터페이스 상호작용들을 표시하는 데 사용될 수 있다. 예컨대, 사용자가 3D 디스플레이를 사용하여 웹페이지를 탐색하는 동안, 토템은 왼쪽/오른쪽 스와이프 제스처를 지원하는 터치 디바이스로서 사용될 수 있다. 스와이프 제스처가 이용가능 하다는 표시를 사용자에게 제공하기 위해, 토템은 도 22a에 도시된 패턴들을 디스플레이할 수 있다.
[0340] 특정 구현들에서, 웨어러블 시스템은 콘텍스추얼 정보에 기반하여 적절한 사용자 입력 디바이스의 구성을 자동으로 선택할 수 있다. 예컨대, 사용자는 3-웨이 d-패드를 사용하여 가상 오브젝트를 FOV 안팎으로 이동시키고 가상 오브젝트를 선택하기를 원할 수 있다. 그에 따라서, 사용자가 자신의 환경에서 가상 오브젝트들과 상호작용하고 있음을 웨어러블 디바이스가 검출할 때, 웨어러블 디바이스는 3-웨이 d-패드를 인에이블하고 헤일로 패턴(2250)을 제공하여 사용자에게 3-웨이 d-패드가 이용가능 하다는 것을 통지하도록 명령할 수 있다.
[0341] 도 22c는 이용가능한 사용자 인터페이스 동작의 표시를 제공하기 위해 헤일로와 연관된 광 패턴들을 사용하는 다른 예를 예시한다. 도 22c는 별-형상 d-패드로서 역할을 하도록 구성될 수 있다. 토템이 현재 별-형상 d-패드로서 사용되고 있음을 사용자에게 통지하기 위해, 토템은 도 14b에서 LED 2, LED 4, LED 6, LED 8, LED 10 및 LED 0을 점등할 수 있다. 예로서, 사용자가 웹 페이지 상의 텍스트 상자를 선택할 때, 토템은 사용자가 텍스트 입력을 위해 별-형상 d-패드를 사용할 수 있음을 도시하기 위해 패턴(2260)을 제공할 수 있다. 사용자가 LED 인근의 구역을 작동시킬 때, LED는 사용자가 구역을 작동하고 있음을 표시하기 위해 더 밝은 컬러를 디스플레이할 수 있다. 예컨대, 사용자가(패턴(2270)에 예시된 바와 같이) LED 0 인근의 구역을 작동시킬 때, 토템은 더 밝은 광을 방출하도록 LED 0에 명령할 수 있다.
[0342] 일부 실시예들에서, 토템은, 사용자가 잘못된 사용자 상호작용을 수행하고 있음을 사용자에게 통지하거나 정확한/추천된 사용자 상호작용의 표시를 제공하기 위해 토템을 사용할 수 있다. 도 23은 부정확하거나 부적절한 사용자 동작을 표시하기 위한 경고로서 광 패턴을 사용하는 예를 예시한다. 사용자의 엄지손가락(2230)은 초기에 터치 표면 상의 포지션(2312)에 있을 수 있다. 터치 표면은 헤일로(2222)를 디스플레이할 수 있는 광 가이드에 의해 둘러싸일 수 있다. 사용자의 엄지손가락이 포지션(2312)에 있을 때, 광 가이드는 헤일로 패턴(2310)을 디스플레이할 수 있다. 사용자는 왼쪽으로 스와이핑함으로써(예컨대, 자신의 엄지손가락(2230)을 헤일로(2222)에 더 근접하게 이동시킴으로써) 오브젝트를 좌향으로 이동시키는 것이 필요할 수 있다. 그러나, 사용자는 실제로 (화살표(2232)에 의해 표시된 바와 같이) 우향으로 스와이핑하며, 이는 오브젝트를 좌향으로 움직이는 원하는 동작을 수행하기 위한 부정확한 방향이다. 결과적으로, 사용자의 엄지손가락은 이제 포지션(2314)에 있다. 사용자가 오브젝트를 적절하게 이동시키기 위해 왼쪽으로 스와이핑하는 것이 필요하다는 것을 사용자에게 상기시키기 위해, 광 가이드는 헤일로(2222)의 길이가 더 길고 컬러가 더 밝은 것으로 나타나는 헤일로 패턴(2320)을 도시할 수 있다. 이는, 사용자가 자신의 엄지손가락(2230)을 정확한 방향으로 움직이는 것을 보장하도록 사용자의 주의를 끌 수 있다.
[0343] 헤일로의 패턴들은 사용자 상호작용의 타입에 의존하여 변할 수 있다. 도 24a 및 도 24b는 각각 스와이프 제스처 및 터치 제스처에 대한 예시적인 패턴들을 예시한다. 도 24a 및 도 24b의 터치패드는 헤일로를 디스플레이하는 광 가이드를 포함할 수 있다. 터치패드는 또한 광 가이드에 의해 둘러싸인 터치 표면을 포함할 수 있다. 터치 표면은 스와이프 제스처 또는 터치 제스처와 같은 사용자 입력을 수신할 수 있다.
[0344] 도 24a 및 도 24b에 도시된 헤일로는 3개의 아크들(2422(제1 컬러, 예컨대, 적색으로 조명됨), 2424(제2 컬러, 예컨대, 청색으로 조명됨) 및 2426(제3 컬러, 예컨대, 황색으로 조명됨))를 가질 수 있다. 도 14b를 참조하면, 아크(2422)는 LED 1, LED 2 및 LED 3에 대응할 수 있고; 아크(2424)는 LED 5, LED 6 및 LED 7에 대응할 수 있고; 아크(2426)는 LED 9, LED 10 및 LED 11에 대응할 수 있다.
[0345] 사용자의 엄지손가락(2230)은 초기에 터치 표면의 포지션(2412)에 있을 수 있다. 그에 따라서, 광 가이드는 헤일로에 대한 패턴(2402)을 디스플레이할 수 있다. 하향 화살표(2450)에 의해 표시된 바와 같이, 사용자는 아크(2426)를 향해 하향으로 스와이핑할 수 있다. 예컨대, 사용자는 (화살표 1에 의해 도시된 바와 같이) 포지션(2412)으로부터 포지션(2414)으로 자신의 엄지손가락(2230)을 움직할 수 있다. 사용자의 움직임을 검출할 시에, 토템은 패턴(2404)에 도시된 바와 같이 아크(2422 및 2424)의 디스플레이를 디밍할 수 있다. 사용자는 화살표 2에 의해 표시된 바와 같이 자신의 엄지손가락을 하향으로 추가로 움직일 수 있다. 패턴(2406)에서, 사용자의 엄지손가락이 포지션(2416)에 도달할 때, 토템은 아크(2426)의 밝기 및 길이를 증가시킬 수 있다. 예컨대, LED 9, LED 10 및 LED 11의 밝기가 증가할 수 있다. 토템은 또한 아크(2426)의 길이를 증가시키기 위해 LED 0 및 LED 8(제3 컬러)을 조명할 수 있다. 토템은 (아크(2424)에 도시된 바와 같이 제2 컬러 보다는) 제3 컬러로 LED 7을 추가로 조명하고, (아크(2422)에 도시된 바와 같이 제1 컬러 보다는) 제3 컬러로 LED 1을 조명할 수 있다. 사용자가 화살표 3에 의해 도시된 바와 같이 자신의 엄지손가락(2230)을 훨씬 더 하향으로 움직임에 따라, (LED(10)의 반대쪽 상에 있는 LED 4를 제외한) 모든 LED들은 제3 컬러로 아크(2426)의 확장을 도시하도록 제3 컬러의 광을 조명할 수 있다. 다른 한편으로는, 사용자의 엄지손가락(2230)이 아크(2426)로부터 멀어지게 움직일 때, 토템은 화살표들 4, 5, 6에 따라 패턴들을 디스플레이할 수 있다. 이 시퀀스 하에서, 아크(2426)의 사이즈는 점진적으로 줄어들 수 있고 다른 아크들(2422 및 2424)은 점진적으로 페이드 인할 수 있다.
[0346] 또한, 사용자는 터치 제스처로 도 24a의 터치패드를 작동시킬 수 있다. 도 24b는 사용자가 터치 제스처로 터치패드를 작동시킬 때의 헤일로 패턴을 예시한다. 토템은 초기에, 패턴(2462)에 도시된 바와 같이 3개의 아크들(2422, 2424 및 2426)을 디스플레이할 수 있다. 사용자가 황색 아크(2426)에 근접한 구역을 터치할 때, 아크(2426)의 길이는 증가할 수 있다. 패턴(2464)에 예시된 바와 같이, 사용자가 포지션(2418)에서 터치 제스처로 토템을 작동시킬 때, LED 0 및 8은 증가된 길이를 도시하기 위해 (제3 컬러로) 조명될 수 있다. 그러나, 아크(2426)는 사용자의 엄지손가락이 동일한 포지션(2418)에 있더라도, 패턴(2408)(스와이프 제스처에 대응할 수 있음)과 비교해서 다른 아크들(예컨대, 아크들(2422 및 2424))을 덮도록 확장되지 않을 것이다.
토템에 대한 사용자 상호작용들을 위한 큐를 제공하는 예시적인 프로세스
[0347] 도 24c는 토템에 대한 사용자 상호작용들을 위한 큐를 제공하는 예시적인 프로세스를 예시한다. 예시적인 프로세스(2480)는 웨어러블 시스템들의 컴포넌트들, 이를테면, 예컨대, 토템 또는 웨어러블 디바이스에 의해 수행될 수 있다.
[0348] 블록(2482)에서, 웨어러블 시스템은 텍스추얼 정보에 기반하여 이용가능한 사용자 인터페이스 동작들을 식별할 수 있다. 예컨대, 웨어러블 시스템은 어떤 타입들의 사용자 상호작용들이 이용가능한지를 결정하고, 이들 타입들의 사용자 상호작용들을 토템의 상호작용가능한 구역들에 맵핑할 수 있다. 예로서, 브라우저는, 사용자가 위/아래로 스크롤링하고, 웹페이지의 사이즈를 확대/축소시키고, 브라우저 상에서 아이템을 선택하며 그리고 브라우저 내에서 주위로 커서를 이동하게 허용할 수 있다. 웨어러블 시스템은 커서 움직임 및 아이템 선택을 토템의 제1 상호작용가능한 구역에 맵핑할 수 있고, 여기서, 사용자는 터치 표면을 스와이프하여, 커서를 이동하고 터치 표면을 클릭하여, 아이템을 선택할 수 있다. 웨어러블 시스템은 또한, 스크롤링 및 리사이징 동작들을 제2 상호작용가능한 구역에 맵핑할 수 있다. 제2 상호작용가능한 구역은 제1 상호작용가능한 구역을 둘러쌀 수 있다. 제2 상호작용가능한 구역은 d-패드의 기능들을 시뮬레이팅할 수 있으며, 여기서, 사용자는 위/아래 키들을 탭핑하여 웹페이지를 스크롤링하고 왼쪽/오른쪽 키들을 탭핑하여 웹페이지를 리사이징할 수 있다.
[0349] 블록(2484)에서, 웨어러블 시스템은 이용가능한 인터페이스 동작들과 연관된 헤일로의 움직임 패턴 또는 배치를 결정할 수 있다. 위의 예를 계속하면, 웨어러블 시스템은 토템이 사용자가 d-패드로서 사용할 수 있는 제2 상호작용가능한 구역들을 갖는다는 것을 표시하기 위해 (도 25b에 도시된 바와 같이) 4 개의 아크들을 갖는 헤일로를 디스플레이할 수 있다.
[0350] 블록(2486)에서, 웨어러블 시스템은 광 패턴에 따라 헤일로를 디스플레이하기 위해 명령들을 생성하여 토템의 LED들(도 14b에 도시됨)에 송신할 수 있다. 예컨대, 헤일로가 4 개의 아크들을 갖는 경우, 웨어러블 시스템은 LED(1)에게 청색 컬러를 조명하도록, LED(4)에게 황색 컬러를 조명하도록, LED(7)에게 적색 컬러를 조명하도록, 그리고 LED(10)에게 녹색 컬러를 조명하도록 명령할 수 있다.
[0351] 블록(2488)에서, 웨어러블 시스템은 토템에 대한 사용자 입력을 수신할 수 있다. 예컨대, 토템은 제1 상호작용가능한 구역에서 스와이프 제스처 또는 터치 제스처를 검출하거나 또는 제2 상호작용가능한 구역에서 탭 제스처를 검출할 수 있다. 일부 실시예들에서, 사용자 입력은 또한, 단독으로 또는 사용자의 포즈들(예컨대, 머리 포즈 또는 다른 신체 포즈들)과 조합하여, 토템의 다른 컴포넌트들, 이를테면, 트리거(1212) 또는 홈 버튼(1256)(도 12에 도시됨)을 작동시키는 것을 포함할 수 있다.
[0352] 선택적으로, 블록(2492)에서, 웨어러블 시스템은 사용자 입력이 정확한 입력인지 여부를 결정할 수 있다. 웨어러블 시스템은 사용자가 상호작용하는 오브젝트의 콘텍스추얼 정보에 기반하여 결정을 할 수 있다. 웨어러블 시스템은 사용자 입력이 오브젝트에 의해 지원되는 타입들의 사용자 입력들에 속하는지 여부를 결정할 수 있다. 예컨대, 비디오 레코딩 애플리케이션은 포즈들을 통한 사용자 입력들을 허용할 수 있는 한편, 웹 브라우저는 스와이프 및 터치 제스처들의 조합을 지원할 수 있다. 그에 따라서, 사용자가 웹페이지를 브라우징하고 있을 때, 웨어러블 시스템은 사용자의 발 포즈의 변화에 기반하여 사용자 인터페이스 동작을 수행하지 않을 수 있다. 다른 예로서, 하나의 웹페이지는 사용자가 웹 콘텐츠를 보게 허용할 수 있지만, 사용자가 자신의 코멘트들을 입력하게 허용하지는 않을 수 있다. 그에 따라서, 만약 사용자가 어구를 타이핑하려고 하면, 웨어러블 시스템은, 그것이 웹페이지에 의해 지원되지 않기 때문에 사용자의 입력이 정확한 입력이 아니라고 결정할 수 있다.
[0353] 만약 사용자 입력이 정확한 입력이 아니라면, 선택적으로 블록(2494)에서, 웨어러블 시스템은 사용자의 입력이 부정확하다는 표시를 제공할 수 있다. 표시는 시각, 오디오, 햅틱 또는 다른 피드백의 형태로 제공될 수 있다. 예컨대, 토템은 정확한 입력과 연관된 상호작용가능한 구역 인근에 더 밝은 컬러를 제공함으로써 정확한 입력을 강조할 수 있다. 다른 예로서, 토템은 토템의 바디에서 햅틱 작동기를 통해 진동을 제공할 수 있다. 또 다른 예로서, 웨어러블 시스템은 HMD를 통해 또는 스피커를 통해 경고 메시지를 제공할 수 있다.
[0354] 만약 사용자 입력이 정확한 입력이라면, 블록(2496)에서, 웨어러블 시스템은 사용자 입력을 반영하기 위해 광 패턴의 배치 및 움직임을 업데이트할 수 있다. 예컨대, 만약 사용자가 토템의 터치 표면의 왼쪽을 탭핑하면, 토템은 사용자의 탭핑 인근에 있는 LED를 점등할 수 있다. 일부 실시예들에서, 일단 토템이 사용자의 입력을 수신하면, 블록들(2492 및 2494)에 부가하여 또는 대안적으로, 토템은 사용자 입력을 반영하기 위해 헤일로와 연관된 광 패턴의 대체 및 움직임을 업데이트할 수 있다.
토템을 사용한 가상 오브젝트들과의 예시적인 상호작용들
[0355] 토템은 다수의 상호작용가능한 구역들을 포함할 수 있고, 여기서, 각각의 상호작용가능한 구역은 사용자 상호작용들의 하나 이상의 타입들 또는 사용자 입력 디바이스의 타입에 맵핑될 수 있다. 도 12a 및 13a를 참조로 설명되는 바와 같이, 일부 실시예에서, 토템은 터치 이벤트들 및 제스처들, 이를테면, 예컨대, 스와이프 제스처를 지원할 수 있는 터치 표면을 포함하는 제1 상호작용가능한 구역 및 광 가이드를 포함하는 제2 상호작용가능한 구역을 갖는다. 광 가이드는, 터치패드 주위의 4 개의 포인트들에 있거나 또는 각각 상이한 컬러를 갖는 4 개의 아크들을 갖는 헤일로를 조명할 수 있다. 이 조명 패턴은 광 가이드가 d-패드로서 사용됨을 도시할 수 있다. 예컨대, 사용자는 조명 포인트를 탭핑하거나 또는 눌러 가상 오브젝트를 이동할 수 있다. 동일한 사용자 제스처는, 제스처가 광 가이드에 적용되는지 또는 (예컨대, 터치패드의 주요 중심 영역에서) 터치 표면에 적용되는지에 따라, 상이한 사용자 인터페이스 동작들이 수행되게 할 수 있다. 예컨대, 사용자가 광 가이드를 탭핑할 때 사용자는 가상 오브젝트를 이동할 수 있지만, 사용자가 터치 표면을 탭핑할 때 사용자는 가상 오브젝트를 선택할 수 있다.
[0356] 도 25a는 광 가이드의 예시적인 상호작용방식 사용을 예시한다. 도 25a에서의 토템(2502)은 본원에서 설명된 토템(1200)의 예일 수 있다. 토템(2502)은 터치 표면 및 이 터치 표면을 실질적으로 둘러쌀 수 있는 광 가이드를 포함할 수 있는 터치패드(2506)를 포함할 수 있다. 광 가이드는 헤일로의 하나 이상의 아크들을 포함할 수 있는 헤일로를 도시하기 위해 (예컨대, 광 가이드 아래의 LED들에 의해 방출된) 광들을 확산시킬 수 있다. 도 25a의 예에서, 헤일로는 터치 표면 주위의 4 개의 구역들에서 조명되는 4 개의 아크들(2504a, 2504b, 2504c 및 2504d)을 포함할 수 있다. 광 가이드는 사용자 입력을 수신하도록 상호작용가능할 수 있다(예컨대, 사용자는 광 가이드 중 일부를 누를 수 있음). 예컨대, 광 가이드는 d-패드의 기능들을 시뮬레이팅할 수 있다. 광 가이드는 상향 키(2508a), 오른쪽 키(2508c), 하향 키(2508d) 및 왼쪽 키(2508b)를 포함할 수 있다. 토템은 이들 키들의 위치들 상에 시각 표시를 제공할 수 있다. 예컨대, 아크(2504a)는 상향 키(2508a)에 대응할 수 있고; 아크(2504b)는 왼쪽 키(2508b)에 대응할 수 있고; 아크(2504c)는 오른쪽 키(2508c)에 대응할 수 있으며, 아크(2504d)는 하향 키(2508d)에 대응할 수 있다.
[0357] 사용자는 이들 키들과 관련된 사용자 인터페이스 기능들을 수행하기 위해 개개의 키들 인근의 구역들을 작동시킬 수 있다. 예컨대, 사용자는 상향 키(2508a)를 작동시키기 위해 구역(2518a)을 작동시킬 수 있고; 왼쪽 키(2508b)를 작동시키기 위해 구역(2518b)을 작동시키고; 오른쪽 키(2508c)를 작동시키기 위해 구역(2518c)을 작동시키며; 그리고 하향 키(2508d)를 작동시키기 위해 구역(2518d)을 작동시킬 수 있다.
[0358] 광 가이드를 작동시키는 예로서, 사용자는 광 가이드를 작동시킴으로써 자신의 FOV 안팎으로 가상 오브젝트를 이동할 수 있다. 도 25a의 장면(2500)은 FOV(2550) 및 FOR(2502)에서 가상 오브젝트들과 상호작용하는 예를 개략적으로 예시한다. 도 4를 참조로 설명되는 바와 같이, FOR은 웨어러블 시스템을 통해 사용자에 의해 지각될 수 있는 사용자 주위의 환경 중 일부를 포함할 수 있다. FOR(2502)은 디스플레이(220)를 통해 사용자에 의해 지각될 수 있는 가상 오브젝트들(예컨대, 2510, 2520, 2530, 2542 및 2544)의 그룹을 포함할 수 있다. FOR(2502) 내에서, 주어진 시간에 사용자가 지각하는 세계의 일부가 FOV(2550)로서 지칭될 수 있다(예컨대, FOV(2550)는 사용자가 현재 보고 있는 FOR의 일부를 포함할 수 있음). 장면(2500)에서, FOV(2550)는 파선(2552)에 의해 개략적으로 예시된다. 디스플레이의 사용자는 FOV(2550)에서의 다수의 오브젝트들, 이를테면, 오브젝트(2542) , 오브젝트(2544), 및 오브젝트(2530) 중 일부를 지각할 수 있다. FOV(2550)는, 디스플레이, 이를테면, 예컨대, 스택된 도파관 어셈블리(480)(도 4) 또는 평면형 도파관(600)(도 6)을 통해 볼 때 사용자에 의해 인지가능한 입체각에 대응할 수 있다. 사용자의 포즈(예컨대, 머리 포즈 또는 눈 포즈)가 변함에 따라, FOV(2550)는 대응하게 변할 것이며, FOV(2550) 내의 오브젝트들이 또한 변할 수 있다. 예컨대, 가상 오브젝트(2510)는 초기에, 사용자의 FOV(2550) 외부에 있다. 만약 사용자가 가상 오브젝트(2510)를 보면, 가상 오브젝트(2510)는 사용자의 FOV(2550) 내로 이동할 수 있고, 가상 오브젝트(2530)는 사용자의 FOV(2550) 외부로 이동할 수 있다.
[0359] 사용자는, 자신의 신체 포즈들을 변화시키지 않고 FOV(2550) 안팎으로 가상 오브젝트들을 이동하기 위해 광 가이드를 작동시킬 수 있다. 예컨대, 사용자는 FOV(2550) 내의 가상 오브젝트들을 좌향으로 이동하기 위해 키(2508b)를 작동시킬 수 있다. 그에 따라서, 가상 오브젝트(2530)는 FOV(2550) 내로 완전히 이동될 수 있다. 다른 예로서, 사용자는 가상 오브젝트들을 우향으로 이동하기 위해 키(2508c)를 작동시킬 수 있고, 결과적으로, 가상 오브젝트(2510)는 FOV(2550) 내로 이동될 수 있고 오브젝트(2530)는 FOV 외부로 이동될 수 있다.
[0360] 추가적으로 또는 대안적으로, 웨어러블 시스템은 사용자의 시선의 방향 또는 가상 오브젝트의 위치에 기반하여 FOV(2550) 내의 가상 오브젝트에 초점 표시자를 할당할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 시선 방향과 교차하는 가상 오브젝트에 또는 FOV의 중심에 가장 가까운 가상 오브젝트에 초점 표시자를 할당할 수 있다. 초점 표시자는 (예컨대, 가상 오브젝트 주위의) 아우라, 컬러, 지각된 사이즈 또는 깊이 변화(예컨대, 가상 오브젝트로 하여금, 선택될 때, 더 가깝고 그리고/또는 더 크게 나타나게 함), 또는 사용자의 관심을 끄는 다른 시각 효과들을 포함할 수 있다. 초점 표시자는 또한, 가청 또는 촉각 효과들, 이를테면, 진동들, 링 톤들, 비프(beep)들 등을 포함할 수 있다. 예컨대, 웨어러블 시스템은 초기에, 초점 표시자를 가상 오브젝트(2544)에 할당할 수 있다. 사용자가 구역(2518c)에서 탭핑할 때, 사용자는 키(2508c)를 작동시킬 수 있다. 그에 따라서, 웨어러블 시스템은 오브젝트(2544)로부터 오브젝트(2542)로 초점 표시자를 수송하기 위해 가상 오브젝트들을 우향으로 이동할 수 있고, 웨어러블 시스템은 오브젝트(2530)를 사용자의 FOV 밖으로 이동하면서 오브젝트(2510)를 사용자의 FOV(2550) 내로 이동할 수 있다.
[0361] 도 25b는 2 개의 상호작용가능한 구역들을 갖는 토템의 예시적인 상호작용방식 사용을 예시한다. 도 25a를 참조로 설명되는 바와 같이, 토템(2502)은 터치 표면(2506) 및 광 가이드를 포함할 수 있다. 광 가이드는 도 25a를 참조로 설명되는 바와 같이 d-패드의 기능들을 시뮬레이팅할 수 있으며, 4 개의 아크들(2514a, 2514b, 2514c 및 2514d)을 갖는 헤일로를 디스플레이할 수 있는데, 각각의 아크는 상이한 컬러를 갖는다.
[0362] 사용자는 토템을 작동시키기 위해 광 가이드 또는 터치 표면(2506)을 작동시킬 수 있다. 예컨대, 브라우저 윈도우에서, 사용자는 커서를 이동하기 위해 터치 표면(2506)을 작동시킬 수 있다. 터치 표면(2506) 상의 왼쪽 스와이프가 백 기능에 맵핑될 수 있는 한편, 터치 표면(2506) 상의 전방향 스와이프는 브라우저 페이지에 대한 전방향 기능에 맵핑될 수 있다. 6시 포지션(아크(2514d)로 조명됨)에서의 탭(포지션(2518)에 의해 예시됨)이 브라우저로 하여금 아래로 스크롤링되게 할 수 있고, 12시 포지션(아크(2514a)로 조명됨)에서의 탭은 브라우저로 하여금 위로 스크롤링하게 할 수 있다. 6시 포지션 또는 12시 포지션을 홀딩하는 것은 페이지를 신속하게 스크롤링할 수 있다.
[0363] 사용자가 토템을 작동시킬 때, 토템은 시각 피드백을 제공할 수 있다. 예컨대, 사용자가 아크(2514d) 인근의 6시 포지션에서 탭핑할 때, 토템은 아크(2514d)의 밝기를 증가시킬 수 있다. 햅틱 피드백은, 사용자가 터치 표면(2506)을 작동시켰는지 또는 광 가이드를 작동시켰는지를 구별하기 위해 사용될 수 있다. 예컨대, 사용자가 광 가이드 상을 탭핑할 때, 터치패드 아래의 작동기가 활성화되어 진동을 제공할 수 있다.
[0364] 도 25c는 토템과 상호작용하기 위한 예시적인 프로세스를 예시한다. 프로세스(2570)는 본원에서 설명된 웨어러블 시스템(이를테면, 토템 또는 웨어러블 디바이스)에 의해 수행될 수 있다.
[0365] 블록(2572)에서, 웨어러블 시스템은 토템에 대한 사용자 입력을 수신할 수 있다. 사용자 입력은 손 제스처, 이를테면, 스와이프, 탭, 터치, 누름 등을 포함할 수 있다. 토템은 복수의 상호작용가능한 구역들을 포함할 수 있다. 예컨대, 토템은 터치 표면 및 광 가이드를 포함할 수 있는 터치패드를 포함할 수 있으며, 터치 표면 및 광 가이드 둘 모두는 상호작용가능할 수 있다.
[0366] 블록(2574)에서, 웨어러블 시스템은 복수의 상호작용가능한 구역들로부터 사용자 입력과 연관된 상호작용가능한 구역을 결정할 수 있다. 예컨대, 토템의 터치 센서(1350)는 사용자가 광 가이드를 작동시켰는지 또는 터치 표면을 작동시켰는지를 결정할 수 있다. 터치 센서(1350)는 또한, 토템을 작동시키는 데 사용되는 사용자의 제스처들을 검출할 수 있다. 예컨대, 터치 센서는 사용자가 스와이프 제스처를 사용하여 토템을 작동시키는지 또는 탭 제스처를 사용하여 토템을 작동시키는지를 검출할 수 있다.
[0367] 블록(2576)에서, 웨어러블 시스템은 상호작용가능한 구역에서 검출된 사용자 입력과 연관된 광 패턴에 액세스할 수 있다. 도 24a 및 24b를 참조로 설명되는 바와 같이, 광 패턴들은 사용자 입력의 타입(예컨대, 터치 제스처 대 탭 제스처)에 기반하여 상이할 수 있다. 광 패턴들은 또한, 어느 상호작용가능한 구역이 작동되는지에 의존하여 상이할 수 있다. 예컨대, 만약 사용자가 터치 표면을 작동시키면, 광 패턴들은 도 24a에 예시된 것들일 수 있지만, 만약 사용자가 광 가이드를 작동시키면, 광 패턴들은 도 24b에 도시된 것들을 포함할 수 있다.
[0368] 블록(2578)에서, 웨어러블 시스템은 광 패턴을 포함하는 헤일로를 제공하도록 토템의 광원들(예컨대, LED들)에 명령할 수 있다. 예컨대, 웨어러블 시스템은 어느 LED들이 점등되어야 하는지, LED들의 밝기, LED들의 컬러들, LED들에 의해 방출되는 광과 연관된 움직임 패턴들 등에 관한 명령들을 제공할 수 있다.
토템을 사용한 물리적 오브젝트들과의 예시적인 상호작용들
[0369] 도 26a 및 26b는 토템을 사용하여 물리적 오브젝트들과 상호작용하는 예들을 예시한다. 도 26a는 사용자의 집의 거실일 수 있는 물리적 환경(2600)의 예를 예시한다. 환경(2600)은 물리적 오브젝트들, 이를테면, 예컨대, TV(television)(5110), 물리적 원격 컨트롤(5120)(때때로, 단순히 원격으로서 지칭됨), TV 스탠드(5130), 및 창문(5140)을 갖는다. 사용자는 물리적 오브젝트들을 지각하고 물리적 오브젝트들과 상호작용할 수 있다. 예컨대, 사용자는 TV(5110)를 시청하고 원격(5120)을 사용하여 TV를 제어할 수 있다. 사용자는, TV(5110)을 켜거나/끄거나 또는 TV(5110)의 채널 또는 볼륨을 변화시키기 위해 원격(5120)을 제어할 수 있다.
[0370] 사용자는 또한, 토템(2602)을 사용하여 TV(5110)와 상호작용할 수 있다. 토템(2602)은 다수의 상호작용가능한 구역들을 포함할 수 있는, 토템(1200)의 실시예일 수 있다. 토템(2602)은 원격(5120)의 기능들을 시뮬레이팅하기 위해 TV(5110) 또는 원격(5120)과 페어링될 수 있다. 원격(5120)의 기능들은 토템의 터치패드, 트리거 또는 홈 버튼과 연관된 하나 이상의 상호작용가능한 구역들에 맵핑될 수 있다. 터치패드는 터치 표면(2634) 및 광 가이드(2630)를 포함할 수 있으며, 여기서, 터치 표면(2634) 및 광 가이드(2630)는 상이한 타입들의 사용자 상호작용들에 맵핑될 수 있다. 예컨대, 터치 표면(2634)은 스와이프 제스처를 통해 채널들을 전환하는 데 사용될 수 있다. 광 가이드(2630)는 탭 제스처를 통해 빨리 감기/되감기(fast forward/backward) 또는 볼륨들을 조정하기 위한 d-패드로서 사용될 수 있다.
[0371] 도 26b에서, 광 가이드는 4 개의 아크들: 아크(2632a)(제1 컬러, 예컨대 청색일 수 있음), 아크(2632b)(제2 컬러, 예컨대 황색일 수 있음), 아크(2632c)(제3 컬러, 예컨대 적색일 수 있음) 및 아크(2632d)(제4 컬러, 예컨대 녹색일 수 있음)를 갖는 헤일로에 대한 광 패턴(2622)을 도시할 수 있다. 아크들은 x-형상을 형성하도록 포지셔닝된다. 화살표(1)에 의해 예시된 바와 같이, 사용자(2602)가 광 가이드 상의 아크(2632c) 인근의 구역을 터치할 때, 사용자는 TV(5110)에서 재생되는 프로그램을 빨리 감기할 수 있다. 토템은 사용자가 아크(2632c) 인근에서 탭핑했다는 것을 표시하기 위해 패턴(2624)을 도시할 수 있다. 아크(2632c)가 더 밝고 더 긴 것으로 나타날 수 있는 한편, 다른 아크들(2632a, 2632b, 및 2632d)는 패턴(2624)에 은닉된다.
[0372] 사용자는 또한, 화살표(2)에 의해 예시된 바와 같이 오른쪽으로 스와이핑함으로써 다음 채널로 변화시킬 수 있다. 토템은 사용자가 탭 제스처라기 보다는 스와이프 제스처에 의해 토템을 작동시켰다는 것을 도시하기 위해 광 패턴(2626)을 조명할 수 있다. 사용자(2602)의 손가락이 패턴들(2626 및 2624)에서 대략 동일한 포지션에 있지만, 이들 2 개의 상황들에서 조명되는 광 패턴들은 상이할 수 있는데, 그 이유는 토템을 작동시키는 데 사용되는 제스처들이 상이하기 때문이다. 예컨대, 아크(2632c)의 밝기 및 길이가 증가했지만, 다른 아크들(2632a, 2632b, 및 2632d)은 패턴(2626)에 은닉되지 않는다. 그보다는, 토템은 단지 다른 아크들의 밝기를 감소시킨다.
[0373] 도 26a 및 26b를 참조하여 설명된 예들이 웨어러블 디바이스 없이 설명되지만, 일부 실시예들에서, 사용자는 웨어러블 디바이스를 착용하고 있는 동안 토템을 사용하여 물리적 오브젝트를 제어할 수 있다. 예컨대, 사용자는 웨어러블 디바이스를 통해 물리적 오브젝트들을 지각하고 웨어러블 디바이스에 의해 투사된 가상 오브젝트들을 지각할 수 있다. 사용자는 토템을 사용하여 물리적 오브젝트들 뿐만 아니라 가상 오브젝트들과 상호작용할 수 있다.
토템을 사용한 6DOF 사용자 경험들의 예들
[0374] 도 27은 다중-DOF(예컨대, 3DOF 또는 6DOF) 토템으로 가상 오브젝트를 움직이는 예를 예시한다. 사용자는 전방향/후방향(서징), 위/아래(스웨잉) 또는 왼쪽/오른쪽(히빙)으로 움직임으로서 토템의 포지션을 변경할 수 있다. 사용자는 또한, 좌우로 틸팅(롤링), 전방향 및 후방향으로 틸팅(피칭) 또는 왼쪽 및 오른쪽으로 터닝(요잉)을 통해 토템의 배향을 변경할 수 있다. 토템의 포지션 및 배향을 변경함으로써, 사용자는 가상 오브젝트들에 대해 (이를테면, 예컨대, 로테이팅으로 움직임으로써) 다양한 인터페이스 동작들을 수행할 수 있다.
[0375] 사용자는 토템(2602)을 사용하여 가상 오브젝트를 선택함으로써 가상 오브젝트를 홀딩하고 움직일 수 있고, 토템(2602)을 물리적으로 움직임으로써 가상 오브젝트를 움직일 수 있다. 예컨대, 토템(2602)은 초기에 제1 포지션(5100a)에 있을 수 있다. 사용자(5300)는 토템(504)을 작동시킴으로써(예컨대, 토템상의 터치 감지 패드를 작동시킴으로써) 제1 위치(5100b)에 위치된 타겟 가상 오브젝트(5400)를 선택할 수 있다. 타겟 가상 오브젝트(5400)는 웨어러블 시스템에 의해 디스플레이되고 움직일 수 있는 임의의 타입의 가상 오브젝트일 수 있다. 예컨대, 가상 오브젝트는 아바타, 사용자 인터페이스 엘리먼트(예컨대, 가상 디스플레이), 또는 웨어러블 시스템에 의해 디스플레이되는 임의의 타입의 그래픽 엘리먼트일 수 있다. 사용자(5300)는 궤적(5500a)을 따라 토템(2602)을 움직임으로써 궤적(5500b)을 따라 타겟 가상 오브젝트를 제1 포지션(5100b)에서 제2 포지션(5200b)으로 움직일 수 있다.
[0376] 다른 예로서, 가상 오브젝트(5400)를 5100b에서 5200b로 움직이는 대신에, 사용자(5300)는 가상 오브젝트(5400)를 자신에게 더 가까이 당기기를 원할 수 있다. 그에 따라서, 사용자는 가상 오브젝트(5400)를 더 가깝게 이동시키기 위해 토템을 자신에게 더 가깝게 움직일 수 있다.
[0377] 또 다른 예로서, 토템(2602)은 포지션(5200a)에 있을 수 있다. 사용자는 토템을 시계 방향으로 180도 회전시킬 수 있고, 그에 따라서 가상 오브젝트(5400)는 포지션(5200b)에서 180도 회전될 수 있다.
[0378] 토템은 사용자 상호 작용의 타입을 표시하는 특정 광 패턴을 방출할 수 있다. 예컨대, LED들의 링은 사용자가 토템을 움직일 때 청색 컬러를 비추는 한편, 사용자가 토템을 로테이팅할 때 녹색 컬러를 비출 수 있다. 다른 예로서, 토템 광 이동 패턴은 토템의 로테이션에 대응할 수 있다. 예컨대, 광 패턴은 아크를 포함할 수 있다. 사용자가 토템을 로테이션함에 따라, 아크는 또한 사용자의 로테이션 방향으로 로테이션될 수 있다.
토템에 대한 장식적이고 유익한 시각 피드백의 예들
[0379] 일부 웨어러블 디바이스들은 제한된 FOV를 가질 수 있다. 유리하게, 일부 실시예들에서, 토템은 토템에 의해 조명된 광 패턴들을 사용하여 FOV 외부의 오브젝트와 연관된 정보를 제공할 수 있다.
[0380] 도 28a 및 28b는 광 패턴들의 배치 및 움직임을 통해 오브젝트들의 정보를 제공하는 예들을 예시한다. 도 28a는 사람의 FOV(2820) 및 FOR(2810)을 예시한다. FOR(2810)은 웨어러블 시스템을 착용한 사용자에 의해 지각될 수 있는 오브젝트들의 그룹(예컨대, 오브젝트들(2812, 2822, 6050b, 6050c)을 포함할 수 있다. FOV(2820)는 다수의 오브젝트들(예컨대, 오브젝트들(6050, 2822)을 포함할 수 있다. FOV는 웨어러블 시스템의 크기 또는 광학 특징들, 예컨대, 머리 장착 디스플레이 -이를 통해 광이 사용자 앞의 실세계로부터 사용자의 눈들로 통과함- 의 투명 윈도우 또는 렌즈의 유효한 어퍼처(clear aperture) 사이즈에 의존할 수 있다. 일부 실시예들에서, 사용자(6100)의 포즈가 변경됨에 따라(예컨대, 머리 포즈, 신체 포즈 및/또는 눈 포즈), FOV(2820)는 대응하여 변경될 수 있고, FOV(2820) 내의 오브젝트들도 또한 변경될 수 있다. 본원에서 설명된 바와 같이, 웨어러블 시스템은 FOV(2820)의 오브젝트들뿐만 아니라 FOR(2810)의 오브젝트들을 모니터링하거나 이미징하는 카메라들과 같은 센서들을 포함할 수 있다. 이러한 실시예들에서, 웨어러블 시스템은 사용자의 FOV(2820)에서 발생하거나 사용자의 FOV 외부에서 발생하지만 FOR(2810) 내에서 발생하지 않는 눈에 띄지 않는 오브젝트들 또는 이벤트들을 사용자에게 (예컨대, 토템상의 광 패턴을 통해) 경고할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 또한 사용자(6100)가 주의를 돌리거나 돌리지 않는 것을 구별할 수 있다.
[0381] FOV 또는 FOR의 오브젝트들은 가상 또는 물리적 오브젝트들일 수 있다. 가상 오브젝트들은, 예컨대, 커맨드들을 입력하기 위한 터미널, 파일들 또는 디렉토리들에 액세스하기 위한 파일 관리자, 아이콘, 메뉴, 오디오 또는 비디오 스트리밍을 위한 애플리케이션, 운영 시스템으로부터의 통지 등과 같은 운영 시스템 오브젝트들을 포함할 수 있다. 가상 오브젝트들은 또한 예컨대 아바타, 게임의 가상 오브젝트들, 그래픽들 또는 이미지들 등과 같은 애플리케이션의 오브젝트들을 포함할 수 있다. 일부 가상 오브젝트들은 운영 시스템 오브젝트와 애플리케이션의 오브젝트 둘 모두일 수 있다. 웨어러블 시스템은 머리 장착 디스플레이의 투명한 광학기를 통해 보이는 기존 물리적 오브젝트들에 가상 엘리먼트를 추가하여 물리적 오브젝트들과의 사용자 상호작용을 허가할 수 있다. 예컨대, 웨어러블 시스템은 룸에 의료 모니터와 연관된 가상 메뉴를 추가할 수 있고, 가상 메뉴는 사용자에게 웨어러블 시스템을 사용하여 의료 이미징 장비 또는 투여 제어를 턴온하거나 조정하는 옵션을 제공할 수 있다. 그에 따라서, 웨어러블 시스템은 사용자의 환경에서 오브젝트에 부가하여 추가의 가상 이미지 콘텐츠를 착용자에게 제공할 수 있다.
[0382] 토템은 광 패턴들의 배치 및 움직임을 통해 FOV 외부에 있는 오브젝트들의 정보를 제공할 수 있다. 광 패턴들의 배치 및 움직임은 웨어러블 시스템의 다양한 컴포넌트들, 이를테면, 예컨대 토템 또는 웨어러블 디바이스에 의해 계산 및 결정될 수 있다. 웨어러블 시스템은 사용자 또는 오브젝트들과 연관된 콘텍스추얼 정보를 사용하여 광 패턴들을 결정할 수 있다. 예컨대, 웨어러블 시스템은 팩터들, 이를테면, 예컨대, 오브젝트의 위치(사용자 또는 사용자의 FOV에 대한 오브젝트의 근접도를 포함), 오브젝트의 긴급성(urgency), 오브젝트의 타입(이를테면, 예컨대, 오브젝트가 상호작용 가능한지 여부, 어떤 타입의 상호작용들을 오브젝트가 지원하는지, 오브젝트가 물리적인지 가상인지 여부), 오브젝트의 특성(이를테면, 예컨대, 경쟁자의 아바타 대 친구의 아바타), 정보의 볼륨(이를테면, 예컨대, 통지들의 수), 사용자의 선호도 등을 이용할 수 있다. 도 28b의 장면(2834)에 도시된 바와 같이, 오브젝트(2840)가 장면(2832)에 있는 것보다 사용자(6100)로부터 더 멀리 있기 때문에, 토템(2502)상의 헤일로(2844)는 (더 큰 각도 범위를 갖는) 헤일로(2842)보다 더 작게(예컨대, 더 짧은 각도 범위를 가짐) 나타날 수 있다. 다른 예로서, 헤일로와 연관된 오브젝트가 사용자의 FOV에 더 근접하거나 더 시급하기 때문에 헤일로는 더 크고 더 밝은 외관을 가질 수 있다.
[0383] 웨어러블 시스템은 연관된 오브젝트의 특징들에 기반하여 아우라에 컬러를 할당할 수 있다. 예컨대, 웨어러블 시스템은, 오브젝트(6050b)가 적색 컬러와 연관되어 있기 때문에, 적색 컬러를 아우라(6051b)에 할당할 수 있다. 유사하게, 웨어러블 시스템은 오브젝트(6051a)에 청색 컬러를 할당할 수 있는데, 이는 오브젝트가 운영 시스템 오브젝트이고 웨어러블 시스템은 청색 컬러를 모든 운영 시스템 오브젝트들에 할당하기 때문이다.
[0384] 웨어러블 시스템은 연관된 오브젝트의 특징들에 기반하여 헤일로에 컬러를 할당할 수 있다. 예컨대, 웨어러블 시스템은, 오브젝트(2840)가 녹색 컬러와 연관되기 때문에, 헤일로들(2842 및 2844)에 녹색 컬러를 할당할 수 있다. 유사하게, 웨어러블 시스템은 오브젝트(6050b)에 적색 컬러를 할당할 수 있는데, 이는 오브젝트가 운영 시스템 오브젝트이고 웨어러블 시스템은 적색 컬러를 모든 운영 시스템 오브젝트들에 할당하기 때문이다. 결과적으로, 운영 시스템 오브젝트들(오브젝트(6050b) 포함)과 연관된 헤일로는 적색일 수 있다.
[0385] 헤일로의 외관은 헤일로와 연관된 오브젝트의 변화에 기반하여 시간이 지남에 따라 변할 수 있다. 예컨대, 헤일로와 연관된 오브젝트가 더 많은 메시지들을 수신함에 따라 헤일로가 두꺼워질 수 있다. 다른 예로서, 헤일로(2844)는 오브젝트(2840)가 사용자에게 더 근접하게 이동함에 따라 더 커지거나(밝아지거나), 오브젝트(2840)가 사용자로부터 멀어지게 움직임에 따라 더 작아질(또는 더 어두워 질) 수 있다. 헤일로의 포지션은 또한 오브젝트가 움직임에 따라 변할 수 있다. 예컨대, 도 28a에서, 웨어러블 시스템은, 오브젝트(6050b)가 사용자(6100)의 왼쪽에 있기 때문에 토템의 광 가이드의 왼쪽에 오브젝트(6050b)와 연관된 헤일로를 초기에 도시할 수 있다. 그러나 오브젝트(6050b)가 사용자(6100)의 오른쪽으로 움직이면, 웨어러블 시스템은 헤일로의 포지션을 토템의 광 가이드의 우측으로 업데이트할 수 있다.
[0386] 시각적 아우라의 외관은 또한, 사용자의 포즈의 변화에 기반하여 변할 수 있다. 예컨대, 도 28a를 참조하면, 사용자(6100)가 왼쪽으로 터닝함에 따라, 오브젝트(6050b)는 오브젝트(6050c)에 비해 사용자의 FOV에 더 근접하게 될 수 있다. 결과적으로, 오브젝트(6050b)와 연관된 헤일로가 더 밝게(또는 더 크게)될 수 있다.
[0387] 일부 상황들에서, FOR(2810) 및 FOV(2820)는 사용자가 직접적으로 볼 수 없는 비가시적인 오브젝트들을 포함할 수 있다. 예컨대, 보물 찾기 게임은 사용자의 FOR(2810)에 은닉된 보물(예컨대, 파선으로 도시된 오브젝트들(2812, 2822))을 포함할 수 있다. 보물은 게임 오브젝트에 묻힐 수 있기 때문에 사용자에게 직접적으로 가시적이지 않을 수 있다. 그러나 사용자는 게임에서 가상 도구(이를테면, 예컨대, 가상 삽)를 사용하여 은닉된 오브젝트가 드러나게 할 수 있다. 다른 예로서, 사용자의 물리적 승용차 키는 종이 더미 아래에 있을 수 있고, 사용자는 사용자의 FOV에서 물리적 승용차 키들을 지각하지 못할 수 있다. 헤일로는 은닉된 승용차 키들의 위치 표시를 제공하기 위해 사용될 수 있다. 예컨대, 헤일로의 아크의 크기 및 위치는 승용차 키들과 토템 사이의 상대 거리 및 배향을 표시할 수 있다. 승용차 키들의 위치는 사용자의 환경의 맵에 기반하여(예컨대, 이전에 외향 이미징 시스템에 의해 획득된 이미지들에 기반하여) 결정되거나, 라디오 또는 무선 통신 용량들이 장착된 스용차 키들과 토템(또는 웨어러블 시스템의 다른 컴포넌트) 간의 무선 통신에 기반하여 결정될 수 있다.
[0388] 또 다른 예로서, 오브젝트(예컨대, 오브젝트(6050a))는 사용자의 시각 FOR 외부에 있을 수 있지만, 그럼에도 불구하고, 오브젝트(예컨대, 오브젝트(6050a))는 웨어러블 디바이스 또는 토템 상의 센서(예컨대, 전자기 센서, 라디오 주파수 센서, 무선 신호 검출과 연관된 센서 또는 다른 환경 센서)에 의해 잠재적으로 지각될 수 있다. 예컨대, 오브젝트(6050a)는 사용자의 환경에서 벽 뒤에 있을 수 있어서, 오브젝트(6050a)는 사용자에 의해 시각적으로 인지될 수 없다. 그러나, 웨어러블 디바이스 또는 토템은 오브젝트(6050a)와 통신할 수 있는 센서들을 포함할 수 있다.
[0389] 토템은 광 패턴들을 통해 비가시적인 오브젝트들의 정보를 제공할 수 있다. 광 패턴들의 배치 및 움직임은 비가시적인 오브젝트들 또는 사용자와 연관된 콘텍스추얼 정보에 기반할 수 있다. 예컨대, 광 가이드 상의 광 패턴들의 배치 및 움직임은 사용자가 특정 방향으로 보거나 움직이도록 지시하는 컴퍼스의 역할을 할 수 있다. 다른 예로서, 광 패턴들은 사용자의 환경에서 비가시적인 오브젝트들의 맵을 제공할 수 있다. 예컨대, 토템은 1시 포지션에 30 도의 적색 아크를 조명하여 승용차 키의 방향이 사용자의 전방 오른쪽에 있음을 표시할 수 있는 반면, 6시 포지션에서 90 도의 녹색 아크를 조명하여 사용자의 셀폰이 사용자 뒤에 있음을 표시한다. 적색 아크 및 녹색 아크는 또한 승용차 키 및 셀폰의 근접도를 표시하는 데 사용될 수 있다. 예컨대, 셀폰은 승용차 키보다 사용자에게 더 근접하며, 결과적으로 녹색 아크는 적색 아크보다 크다. 사용자가 움직일 때, 광 패턴들의 배치(또는 움직임)는 또한 변할 수 있다. 예컨대, 사용자가 전방향으로 움직임에 따라, 녹색 아크의 사이즈는 감소할 수 있는 반면, 적색 아크의 사이즈는 증가할 수 있다.
[0390] 특정 구현들에서, 웨어러블 시스템은 비가시적인 오브젝트들의 위치를 표시할 수 있는 사용자의 물리적 또는 가상 환경의 맵을 제공할 수 있다. 예컨대, HMD는 사용자가 찾을 수 있는 게임 내 오브젝트를 보여주는 가상 맵을 제공할 수 있다. 다른 예로서, HMD는 AR/MR 콘텐츠로서, 은닉된 물리적 승용차 키들(또는 가상 오브젝트)의 초점 표시자 또는 다른 타입들의 시각 표시들을 제공할 수 있다. 사용자가 환경 주위를 움직임에 따라, 초점 표시자의 외관(예컨대, 사용자로부터의 크기 및 상대 방향)이 변할 수 있다. 일부 상황들에서, HMD는 비가시적인 오브젝트들에 대한 경로를 제공할 수 있다. HMD에 의해 제공된 맵은, 사용자를 비가시적인 오브젝트들로 안내하기 위해 토템 상의 헤일로와 조합될 수 있다.
[0391] 일부 실시예들에서, 토템은 다수의 오브젝트들과 연관된 정보를 포함하는 헤일로를 제공할 수 있다. 예컨대, 사용자(6100)는 그의 왼쪽에 적색 오브젝트(6050b) 및 그의 뒤에 비가시적인 오브젝트(2812)를 가질 수 있다. 토템은 광 가이드의 왼쪽에 적색 아크 및 광 가이드의 최하부에 은색 아크를 갖는 헤일로를 제공할 수 있으며, 여기서 적색 아크는 적색 오브젝트(6050b)에 대응하고 은색 아크는 비가시적인 오브젝트(2812)에 대응한다.
[0392] 오브젝트들의 정보를 제공하기 위해 광 패턴들을 사용하는 것에 부가하여 또는 이에 대안적으로, 디스플레이는 또한 FOV 외부에 있거나 비가시적인 오브젝트들의 정보를 제공하도록 구성될 수 있다. 예컨대, 디스플레이는 사용자의 현재 FOV 외부의 대응하는 오브젝트에 대한 시각 아우라를 디스플레이할 수 있다. 시각 아우라 중 일부는 디스플레이의 사용자 FOV의 에지에 배치될 수 있다. 아우라의 배치는 오브젝트의 콘텍스추얼 정보에 기반할 수 있다.
[0393] 시각 아우라 외에, 웨어러블 시스템은 또한, 촉각 또는 오디오 효과를 사용하여 사용자에게 오브젝트들에 대해 알릴 수 있다. 예컨대, 혼합 현실 게임에서, 웨어러블 시스템은 토템 상의 진동들을 통해 접근하는 경쟁자를 사용자에게 통지할 수 있다. 웨어러블 시스템은 경쟁자가 사용자에 근접할 때 강한 진동을 제공할 수 있다. 다른 예에서, 웨어러블 시스템은 가청 사운드들을 사용하여 가상 오브젝트의 위치 정보를 제공할 수 있다. 웨어러블 시스템은 또한 큰 사운드를 사용하여 인근의 가상 경쟁자를 사용자에게 알람할 수 있다. 촉각, 오디오 또는 시각 피드백은, 조합하여 또는 대안적으로, 사용자에게 주변 오브젝트들에 대해 알리기 위해 사용될 수 있다.
[0394] 도 28c는 광 패턴들을 사용하여 오브젝트와 연관된 정보를 제공하기 위한 예시적인 프로세스를 예시한다. 프로세스(2870)는 본원에서 설명된 웨어러블 시스템(이를테면, 토템 또는 웨어러블 디바이스)에 의해 수행될 수 있다.
[0395] 블록(2872)에서, 웨어러블 시스템은 사용자의 환경에서 오브젝트를 식별할 수 있다. 오브젝트는 물리적 또는 가상 오브젝트일 수 있다. 오브젝트가 사용자의 FOR 내에 있지만 사용자의 FOV 밖에 있을 수 있다. 오브젝트가 또한 사용자의 뷰로부터 은닉될 수 있다. 예컨대, 오브젝트는 다른 오브젝트(예컨대, 벽) 뒤에 있거나, 특정 사용자 인터페이스 상호작용으로만(예컨대, 사용자가 게임에서 레벨을 완료할 때) 가시적일 수 있다.
[0396] 블록(2874)에서, 웨어러블 시스템은 오브젝트와 연관된 콘텍스추얼 정보에 액세스할 수 있다. 콘텍스추얼 정보는 블록(2874)에 도시된 바와 같이 오브젝트와 연관된 광 패턴의 움직임 및 배치를 결정하는 데 사용될 수 있다. 예컨대, 광 패턴을 갖는 헤일로의 밝기는 오브젝트의 근접도 또는 긴급성에 기반하여 결정될 수 있다. 헤일로의 컬러는 또한 오브젝트의 컬러와 매칭될 수 있다.
[0397] 블록(2878)에서, 웨어러블 시스템은 토템의 LED들이 광 패턴들에 따라 조명되도록 명령할 수 있다. 예컨대, 명령은 어떤 LED들이 점등되어야 하는지, LED들의 밝기, LED들의 컬러들, LED들에 의해 방출된 광과 연관된 움직임 패턴들 등을 포함할 수 있다.
[0398] 도 29a는 통지의 수신을 표시하는 예시적인 광 배치 또는 움직임 패턴들을 예시한다. 패턴들(2912 및 2914)은 이리데슨트 패턴을 포함한다. 토템은 (프로세스(2920)에 의해 도시된 바와 같이) 시계 방향 사이클로 이리데슨트 트레일을 디스플레이하여 통지들을 제공할 수 있다. 통지들은 예컨대, 이메일 애플리케이션, 게임, 비디오 애플리케이션 등과 같은 가상 오브젝트와 연관될 수 있다. 통지들은 또한 웨어러블 디바이스의 운영 시스템과 연관될 수 있다. 하나의 예시적인 통지는 웨어러블 디바이스의 운영 시스템으로부터의 에러 메시지일 수 있다. 추가적으로 또는 대안적으로, 통지들은 물리적 오브젝트들과 연관될 수 있다. 예컨대, 이리데선스(iridescence)의 패턴(2912, 2914)은 사용자의 부엌에 있는 커피 머신이 커피 끓이는 것을 완료했음을 표시할 수 있다.
[0399] 토템은 임계 조건에 도달할 때까지 이리데슨트 트레일을 반복할 수 있다. 임계 조건은 시간의 지속 시간, 사용자 상호작용(이를테면, 예컨대, 트리거(1212)의 작동), 또는 다른 콘텍스추얼 정보에 기반할 수 있다.
[0400] 도 29b는 토템 상의 광 패턴들을 사용하여 통지를 제공하기 위한 예시적인 프로세스를 예시한다. 예시적인 프로세스(2970)는 본 명세서에 설명된 웨어러블 시스템(이를테면, 토템 또는 웨어러블 디바이스)에 의해 수행될 수 있다.
[0401] 블록(2972)에서, 웨어러블 시스템은 가상 오브젝트의 상황을 결정할 수 있다. 예컨대, 상황은 가상 오브젝트가 새로운 정보(예컨대, 새로운 메시지)를 수신했는지, 가상 오브젝트가 아이들 상태인지, 가상 오브젝트가 문제에 직면했는지 등을 포함할 수 있다.
[0402] 선택적으로, 블록(2974)에서, 토템은 상황에 적어도 부분적으로 기반하여 경고를 생성할 수 있다. 예컨대, 가상 오브젝트는 메신저 애플리케이션일 수 있다. 가상 오브젝트가 사용자의 친구로부터 새 메시지를 수신하면 웨어러블 시스템은 새 메시지가 도착했다고 표시하는 경고를 생성할 수 있다.
[0403] 블록(2976)에서, 웨어러블 시스템은 가상 오브젝트의 상황(또는 선택적으로 경고)와 연관된 광 패턴에 액세스할 수 있다. 배치 또는 움직임 패턴들은 예컨대, 경고의 중요성, 경고의 긴급성, 가상 오브젝트의 위치, 가상 오브젝트의 타입 등과 같은 가상 오브젝트(또는 경고)와 연관된 콘텍스추얼 정보에 기반하여 결정될 수 있다.
[0404] 블록(2978)에서, 웨어러블 시스템은 토템의 LED들이 광 패턴에 따라 조명되도록 명령할 수 있다. 예컨대, 웨어러블 시스템은 어떤 LED들이 점등되어야 하는지, LED들의 밝기, LED들의 컬러들, LED들에 의해 방출된 광과 연관된 움직임 패턴들 등에 대한 명령들을 제공할 수 있다.
[0405] FOV 외부에 있는 오브젝트들에 대한 정보를 제공하는 것에 부가하여 또는 이에 대안적으로, 광 패턴들은 또한 FOV 외부에 반드시 있는 것은 아닌 오브젝트들에 대한 정보를 제공하는 데 사용될 수 있다. 예컨대, 사용자가 게임에서 레벨을 획득할 때, 토템은 게임과 동일한 컬러들을 갖는 헤일로를 점등할 수 있다. 다른 예로서, 도 29a를 참조하면, 통지와 연관된 가상 애플리케이션은 FOV 내부에 있을 수 있다. 사용자는 예컨대, 새로운 이메일이 도착했다는 통지를 수신하면서 메시지를 구성함으로써 이메일 애플리케이션과 상호작용할 수 있다.
[0406] 토템은 사용자 또는 사용자 정보의 다른 사람에게 사용자의 현재 상호작용에 대한 시각 피드백을 제공할 수 있다. 예컨대, 사용자가 자신의 HMD로 비디오를 레코딩하고 있을 때, 토템이 사용자에 대해 강화하기 위해 깜박이는 적색 광 패턴을 조명하고 HMD가 녹화 모드에 있음을 인근의 사람들에게 표시할 수 있다.
[0407] 도 30은 사용자의 환경의 사람에게 사용자의 현재 상호작용을 알리기 위해 사용될 수 있는 예시적인 광 패턴을 예시한다. 예컨대, 사용자가 텔레프레즌스 세션에 있을 때, 토템은 광 가이드를 통해 광 패턴(3000)(예컨대, 시계 방향으로 움직이는 녹색 헤일로)을 조명할 수 있다. 광 패턴(3000)은 사용자가 텔레프레즌스에 있다는 것을 사용자 환경의 사람들에게 알릴 수 있다. 이는 다른 사람이 사용자에게 너무 가까이 다가가서 다른 사람이 사용자의 텔레프레즌스 세션을 방해하는 것을 방지하도록 도울 수 있다. 광 패턴들에 부가하여 또는 이에 대안적으로, 예컨대, 햅틱, 오디오, 비디오 피드백 등과 같은 다른 타입들의 피드백들이 또한 웨어러블 시스템의 사용자의 현재 상호작용들을 표시하는 데 사용될 수 있다.
추가적인 양상들
[0408] 제1 양상에 있어서, 시스템은, 사용자 입력 디바이스의 광 방출 어셈블리 ―광 방출 어셈블리는 환경에 있는 오브젝트의 정보를 제공하기 위해 복수의 광 패턴들을 조명하도록 구성됨―; 및 광 방출 어셈블리에 통신가능하게 커플링된 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 사용자의 환경에서 오브젝트를 식별하고; 오브젝트와 연관된 콘텍스추얼 정보(contextual information)에 액세스하고; 콘텍스추얼 정보에 적어도 부분적으로 기반하여 광 방출 어셈블리에 의해 조명될 광 패턴의 특징을 결정하고; 그리고 광 패턴에 따라 조명하도록 광 방출 어셈블리에게 지시하도록 프로그래밍된다.
[0409] 제2 양상에 있어서, 제1 양상의 시스템에서, 오브젝트는 물리적 오브젝트 또는 가상 오브젝트 중 적어도 하나를 포함한다.
[0410] 제3 양상에 있어서, 제2 양상의 시스템에서, 가상 오브젝트의 상황은, 사용자에 의한 가상 오브젝트와의 현재 상호작용, 가상 오브젝트가 새로운 정보를 수신했는지 여부, 가상 오브젝트가 아이들(idle)인지 여부, 또는 가상 오브젝트가 에러 상태에 있는지 여부 중 적어도 하나를 포함한다.
[0411] 제4 양상에 있어서, 제1 내지 3 양상들 중 어느 한 양상의 시스템에서, 광 패턴의 특징은 밝기, 포지션, 형상, 사이즈 또는 컬러 중 적어도 하나를 포함한다.
[0412] 제5 양상에 있어서, 제1 내지 4 양상들 중 어느 한 양상의 시스템에서, 오브젝트와 연관된 콘텍스추얼 정보는, 오브젝트의 위치, 오브젝트의 긴급성(urgency), 오브젝트의 타입, 오브젝트의 특성, 오브젝트와 연관된 정보의 양, 또는 사용자의 선호도 중 적어도 하나를 포함한다.
[0413] 제6 양상에 있어서, 제1 내지 제5 양상들 중 어느 한 양상의 시스템에서, 시스템은 웨어러블 디스플레이 디바이스를 더 포함하고, 오브젝트는 사용자의 뷰(view)로부터 비가시적이거나 웨어러블 디스플레이 디바이스를 통해 외부에 있고, 하드웨어 프로세서는 오브젝트를 위치시키기 위한 큐(cue)를 사용자에게 제공하기 위해 광 패턴의 사이즈, 형상, 또는 컬러 중 적어도 하나를 결정하도록 프로그래밍된다.
[0414] 제7 양상에 있어서, 제1 내지 제6 양상들 중 어느 한 양상의 시스템에서, 오브젝트는, 가상 콘텐츠를 사용자에게 제공하기 위한 웨어러블 시스템의 컴포넌트이며, 광 패턴은 웨어러블 시스템의 컴포넌트의 상황을 표시한다.
[0415] 제8 양상에 있어서, 제7 양상의 시스템에서, 컴포넌트는 사용자 입력 디바이스, 웨어러블 디스플레이 디바이스, 또는 배터리 팩 중 적어도 하나를 포함한다.
[0416] 제9 양상에 있어서, 제1 내지 제8 양상들 중 어느 한 양상의 시스템에서, 상황은, 배터리 상황, 전력 충전 상황, 웨어러블 디스플레이 디바이스와 사용자 입력 디바이스 간의 무선 페어링 상황, 사용자 입력 디바이스의 교정 프로세스의 상황, 또는 웨어러블 디스플레이 디바이스의 상황 중 적어도 하나를 포함한다.
[0417] 제10 양상에 있어서, 제1 내지 제9 양상들 중 어느 한 양상의 시스템에서, 광 패턴은 오브젝트와 연관된 경고(alert) 또는 정보를 인코딩한다.
[0418] 제11 양상에 있어서, 제1 내지 제10 양상들 중 어느 한 양상의 시스템에서, 상황은, 사용자에 의한 오브젝트와의 현재 상호작용, 오브젝트가 새로운 정보를 수신했는지 여부, 오브젝트가 아이들인지 여부, 또는 오브젝트가 에러 상태에 있는지 여부 중 적어도 하나를 포함한다.
[0419] 제12 양상에 있어서, 제1 내지 제11 양상들 중 어느 한 양상의 시스템에서, 광 패턴들의 특징은 애플리케이션 프로그래밍 인터페이스를 통해 사용자에 의해 구성가능하다.
[0420] 제13 양상에 있어서, 광-방출 사용자 입력 디바이스는, 사용자 입력을 받아들이도록(accept) 구성된 터치 컴포넌트; 복수의 광 패턴들을 출력하도록 구성된 광 방출 어셈블리 ―광 방출 어셈블리는 터치 컴포넌트를 적어도 부분적으로 둘러쌈―; 및 터치 컴포넌트 및 광 방출 어셈블리와 통신가능하게 커플링된 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 콘텍스추얼 정보에 기반하여 터치 컴포넌트에 의해 지원되는 사용자 인터페이스 동작을 식별하고; 사용자 인터페이스 동작과 연관된 제1 광 패턴을 결정하고; 제1 광 패턴을 갖는 헤일로를 디스플레이하기 위한 명령들을 생성하여 광 방출 어셈블리에 송신하고; 터치 컴포넌트에 대한 사용자 입력을 수신하고; 그리고 사용자 입력을 반영하도록 제2 광 패턴으로 헤일로를 업데이트하도록 프로그래밍된다.
[0421] 제14 양상에 있어서, 제13 양상의 광-방출 사용자 입력 디바이스에서, 콘텍스추얼 정보는, 사용자의 환경, 광-방출 사용자 입력 디바이스에 의해 지원되는 입력들의 타입들, 핸드헬드 사용자 입력 디바이스가 상호작용하도록 구성된 오브젝트들과 연관 정보, 또는 핸드헬드 사용자 입력 디바이스와 연관된 웨어러블 디바이스의 특징 중 적어도 하나를 포함한다.
[0422] 제15 양상에 있어서, 제13 또는 제14 양상의 광-방출 사용자 입력 디바이스에서, 광 방출 어셈블리는 광 가이드(light guide), 및 LED들의 링(ring)을 포함한다.
[0423] 제16 양상에 있어서, 제13 내지 제15 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광 방출 어셈블리는 복수의 사용자 입력들을 받아들이도록 구성되며, 하드웨어 프로세서는 추가로, 광 가이드를 작동시킴으로써 지원되는 복수의 사용자 입력들에 적어도 부분적으로 기반하여 헤일로를 디스플레이하도록 프로그래밍된다.
[0424] 제17 양상에 있어서, 제13 내지 제16 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 사용자 입력은 스와이프(swipe), 탭(tap), 누름(press) 또는 터치 제스처 중 적어도 하나를 포함한다.
[0425] 제18 양상에 있어서, 제13 내지 제17 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광-방출 사용자 입력 디바이스는 토템, 스마트워치, 또는 스마트폰 중 적어도 하나를 포함한다.
[0426] 제19 양상에 있어서, 제13 내지 제18 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 제1 광 패턴은, 사용자 인터페이스 동작이 광- 방출 사용자 입력 디바이스에 의해 지원된다는 큐를 사용자에게 제공한다.
[0427] 제20 양상에 있어서, 제13 내지 제19 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 하드웨어 프로세서는 추가로, 컨텍스추얼 정보에 기반하여, 수신된 사용자 입력이 부적절한지 여부를 결정하도록 프로그래밍되며, 제2 광 패턴은, 수신된 사용자 입력이 부적절하다는 결정에 대한 응답으로, 수신된 사용자 입력이 부적절하다는 시각적 경고를 제공한다.
[0428] 제21 양상에 있어서, 제13 내지 제20 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 헤일로의 적어도 일부는 제1 광 패턴에 비교할 때 제2 광 패턴에서 더 밝거나 더 큰 것으로 나타난다.
[0429] 제22 양상에 있어서, 제13 내지 제21 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 복수의 광 패턴들의 특징은 애플리케이션 프로그래밍 인터페이스를 통해 사용자에 의해 구성가능하다.
[0430] 제23 양상에 있어서, 제22 양상의 광-방출 사용자 입력 디바이스에서, 특징은 아크의 사이즈, 형상, 밝기, 컬러, 또는 배치 또는 움직임 패턴 중 하나 이상을 포함한다.
[0431] 제24 양상에 있어서, 제13 내지 제23 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 제2 광 패턴은, 사용자 입력에 대한 응답으로: 배터리 상황, 전력 충전 상황, 핸드헬드 사용자 입력 디바이스와 다른 컴퓨팅 디바이스 간의 무선 페어링 상황, 또는 핸드헬드 사용자 입력 디바이스가 아이들인지 여부 중 적어도 하나를 표시한다.
[0432] 제25 양상에 있어서, 방법은, 하드웨어 프로세서의 제어 하에: 콘텍스추얼 정보에 기반하여 광-방출 사용자 입력 디바이스에 의해 지원되는 사용자 입력의 타입을 식별하는 단계 ―광-방출 사용자 입력 디바이스는 복수의 광 패턴들을 조명하기 위한 제1 엘리먼트 및 사용자 입력들을 수신하기 위한 제2 엘리먼트를 포함함―; 지원되는 사용자 입력의 타입과 연관된 제1 광 패턴을 결정하는 단계; 제1 광 패턴을 갖는 헤일로를 조명하기 위한 명령들을 생성하여 제1 엘리먼트에 송신하는 단계; 광-방출 사용자 입력 디바이스에 대한 사용자 입력에 기반하여 제2 광 패턴을 결정하는 단계; 및 사용자 입력에 대한 응답으로 헤일로를 제2 광 패턴으로 업데이트하는 단계를 포함한다.
[0433] 제26 양상에 있어서, 제25 양상의 방법에서, 제1 엘리먼트는 추가로, 다른 사용자 입력들을 수신하도록 구성되며, 제1 광 패턴을 결정하기 위한 사용자 입력의 타입은 제1 엘리먼트에 의해 지원되는 다른 사용자 입력들과 연관된다. 제25 및 제26 양상들은 제1 엘리먼트 및 제2 엘리먼트를 열거하지만, 엘리먼트란 단어는 부분이란 단어로 대체될 수 있고, 이러한 두 양상들에서 엘리먼트란 단어는 광-방출 사용자 입력 디바이스의 개별 컴포넌트 또는 서브컴포넌트, 또는 컴포넌트들(서브컴포넌트들)의 조합을 포함할 수 있다.
[0434] 제27 양상에 있어서, 제25 또는 제26 양상의 방법에서, 콘텍스추얼 정보는, 사용자의 환경, 광-방출 사용자 입력 디바이스에 의해 지원되는 입력들의 타입들, 핸드헬드 사용자 입력 디바이스가 상호작용하도록 구성된 오브젝트들과 연관 정보, 또는 핸드헬드 사용자 입력 디바이스와 연관된 웨어러블 디바이스의 특징 중 적어도 하나를 포함한다.
[0435] 제28 양상에 있어서, 제25 내지 제27 양상들 중 어느 한 양상의 시스템에서, 사용자 입력의 타입은 스와이프, 탭, 누름 또는 터치 입력 중 적어도 하나를 포함한다.
[0436] 제29 양상에 있어서, 제25 내지 제28 양상들 중 어느 한 양상의 방법에서, 제1 광 패턴은, 사용자 입력의 타입이 광-방출 사용자 입력 디바이스에 의해 지원된다는 큐를 사용자에게 제공한다.
[0437] 제30 양상에 있어서, 제25 내지 제29 양상들 중 어느 한 양상의 방법에서, 콘텍스추얼 정보에 기반하여, 광-방출 사용자 입력 디바이스에 의해 수신된 사용자 입력이 부적절한지 여부를 결정하는 단계를 더 포함하며, 제2 광 패턴은, 사용자 입력이 부적절하다는 결정에 대한 응답으로, 사용자 입력이 부적절하다는 시각적 경고를 제공한다.
[0438] 제31 양상에 있어서, 제25 내지 제30 양상들 중 어느 한 양상의 방법에서, 헤일로의 적어도 일부는 제1 광 패턴에 비교할 때 제2 광 패턴에서 더 밝거나 더 큰 것으로 나타난다.
[0439] 제32 양상에 있어서, 광-방출 사용자 입력 디바이스는, 사용자 입력들을 수신하도록 구성된 복수의 상호작용가능한 구역들 ―복수의 상호작용가능한 구역들 중 적어도 하나의 상호작용가능한 구역은 광-방출 사용자 입력 디바이스의 광 방출 어셈블리의 일부임―; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 광-방출 사용자 입력 디바이스에 대한 사용자의 작동(actuation)을 검출하고; 복수의 상호작용가능한 구역들 중, 사용자의 작동에 대응하는 상호작용가능한 구역을 결정하고; 적어도 작동의 타입 및 작동과 연관된 상호작용 구역에 기반하여, 사용자의 작동을 사용자 인터페이스 동작을 수행하기 위한 사용자 입력으로 전환하고; 그리고 사용자 입력에 대한 응답으로, 광 패턴을 조명하도록 광 방출 어셈블리에게 명령하도록 프로그래밍된다.
[0440] 제33 양상에 있어서, 제32 양상의 광-방출 사용자 입력 디바이스에서, 광-방출 사용자 입력 디바이스는 터치 표면을 더 포함하고 광-방출 어셈블리는 광 가이드를 포함하며, 복수의 상호작용가능한 구역들은 광 가이드와 연관된 제1 상호작용가능한 구역, 및 터치 표면과 연관된 제2 상호작용가능한 구역을 포함한다.
[0441] 제34 양상에 있어서, 제33 양상의 광-방출 사용자 입력 디바이스에서, 사용자가 제1 상호작용가능한 구역을 작동시켰다는 검출에 대한 응답으로, 하드웨어 프로세서는, 광 방출 어셈블리로 하여금, 제1 상호작용가능한 구역에서 사용자 입력과 연관된 제1 광 패턴을 조명하게 하도록 프로그래밍되고, 그리고 사용자가 제2 상호작용가능한 구역을 작동시켰다는 검출에 대한 응답으로, 하드웨어 프로세서는, 광 방출 어셈블리로 하여금, 제2 상호작용가능한 구역에서 사용자 입력과 연관된 제2 광 패턴을 조명하게 하도록 프로그래밍된다.
[0442] 제35 양상에 있어서, 제32 내지 제34 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광 패턴은 광-방출 사용자 입력 디바이스와 연관된 콘텍스추얼 정보에 적어도 부분적으로 기반하여 결정된다.
[0443] 제36 양상에 있어서, 제32 내지 제35 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 사용자의 작동은 스와이프, 탭, 누름, 또는 터치 제스처 중 적어도 하나를 포함한다.
[0444] 제37 양상에 있어서, 제32 내지 제36 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광 패턴은 아치 구역(arcuate region)을 포함하며, 아치 구역은 컬러, 아치 길이, 또는 시각적 효과를 갖는다.
[0445] 제38 양상에 있어서, 제32 내지 제37 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 하드웨어 프로세서는 추가로, 웨어러블 디바이스와 통신하여, 웨어러블 디바이스로 하여금, 사용자 입력에 기반하여 사용자 인터페이스 동작을 수행하게 하도록 프로그래밍된다.
[0446] 제39 양상에 있어서, 방법은, 하드웨어 프로세서의 제어 하에: 광-방출 사용자 입력 디바이스에 대한 사용자의 작동을 검출하는 단계 ―광-방출 사용자 입력 디바이스는 복수의 상호작용가능한 구역들을 포함함―; 복수의 상호작용가능한 구역들 중, 사용자의 작동에 대응하는 상호작용가능한 구역을 결정하는 단계; 적어도 작동의 타입 및 작동과 연관된 상호작용 구역에 기반하여, 사용자의 작동을 사용자 인터페이스 동작을 수행하기 위한 사용자 입력으로 전환하는 단계; 및 사용자 입력에 대한 응답으로, 광-방출 사용자 입력 디바이스의 광 방출 어셈블리로 하여금 광 패턴을 조명하게 하는 단계를 포함한다.
[0447] 제40 양상에 있어서, 제39 양상의 방법에서, 복수의 상호작용가능한 구역들은 제1 타입의 사용자 입력을 지원하는 제1 상호작용가능한 구역 및 제2 타입의 사용자 입력을 지원하는 제2 상호작용가능한 구역을 포함한다.
[0448] 제41 양상에 있어서, 제40 양상의 방법에서, 사용자가 제1 상호작용가능한 구역을 작동시켰다는 검출에 대한 응답으로, 하드웨어 프로세서는, 광 방출 어셈블리로 하여금, 제1 상호작용가능한 구역에서 사용자 입력과 연관된 제1 광 패턴을 조명하게 하도록 프로그래밍되고, 그리고 사용자가 제2 상호작용가능한 구역을 작동시켰다는 검출에 대한 응답으로, 하드웨어 프로세서는, 광 방출 어셈블리로 하여금, 제2 상호작용가능한 구역에서 사용자 입력과 연관된 제2 광 패턴을 조명하게 하도록 프로그래밍된다.
[0449] 제42 양상에 있어서, 제40 또는 제41 양상의 방법에서, 제1 타입의 사용자 입력 또는 제2 타입의 사용자 입력 중 적어도 하나는, 웨어러블 시스템과 사용자의 상호작용들과 연관된 콘텍스추얼 정보에 의존하고, 콘텍스추얼 정보는, 사용자가 상호작용하는 애플리케이션의 타입, 복수의 상호작용가능한 구역들에 의해 지원되는 이용가능한 사용자 입력들, 또는 사용자의 가상 환경 중 적어도 하나를 포함한다.
[0450] 제43 양상에 있어서, 제39 내지 제42 양상들 중 어느 한 양상의 방법에서, 광-방출 사용자 입력 디바이스는 하나 이상의 상호작용가능한 구역들로 분할되는 터치 표면을 포함한다.
[0451] 제44 양상에 있어서, 제39 내지 제43 양상들 중 어느 한 양상의 방법에서, 광 패턴은 광-방출 사용자 입력 디바이스와 연관된 콘텍스추얼 정보에 적어도 부분적으로 기반하여 결정된다.
[0452] 제45 양상에 있어서, 제39 내지 제44 양상들 중 어느 한 양상의 방법에서, 복수의 상호작용가능한 구역은 광-방출 사용자 입력 디바이스의 광 방출 어셈블리를 포함한다.
[0453] 제46 양상에 있어서, 제39 내지 제45 양상들 중 어느 한 양상의 방법에서, 사용자의 작동은 스와이프, 탭, 누름, 또는 터치 제스처 중 적어도 하나를 포함한다.
[0454] 제47 양상에 있어서, 제39 내지 제46 양상들 중 어느 한 양상의 방법에서, 광 패턴은 아치 구역을 포함하며, 아치 구역은 컬러, 아치 길이, 또는 시각적 효과를 갖는다.
[0455] 제48 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템은, 환경을 이미징하도록 구성된 외향 이미징 시스템; 광 패턴을 조명하도록 구성된 광-방출 사용자 입력 디바이스; 및 외향 이미징 시스템 및 광-방출 사용자 입력 디바이스와 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 제1 포즈에서 제2 포즈로의 광-방출 사용자 입력 디바이스의 움직임과 연관된, 광-방출 사용자 입력 디바이스의 센서에 의해 획득되는 제1 움직임 데이터에 액세스하고; 광 방출 사용자 입력 디바이스의 제1 이미지를 결정하고 ―제1 이미지는 광-방출 사용자 입력 디바이스의 제1 포즈에 해당하는 광 패턴을 포함함―; 외향 이미징 시스템에 의해 획득되는, 광-방출 사용자 입력 디바이스의 제2 이미지를 결정하고 ―제2 이미지는 광-방출 사용자 입력 디바이스의 제2 포즈에 해당하는 광 패턴을 포함함―; 광-방출 사용자 입력 디바이스의 움직임과 연관된 제2 움직임 데이터를 계산하기 위해 제2 이미지를 분석하고; 제1 움직임 데이터와 제2 움직임 데이터 간의 차이를 검출하고; 그리고 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스의 센서로 하여금 교정되게 하도록 프로그래밍된다.
[0456] 제49 양상에 있어서, 제48 양상의 시스템에서, 제1 포즈에서 제2 포즈로의 광-방출 사용자 입력 디바이스의 움직임은 광-방출 사용자 입력 디바이스의 포지션 또는 배향 중 적어도 하나에 대한 변화를 포함한다.
[0457] 제50 양상에 있어서, 제48 또는 제49 양상의 시스템에서, 제1 포즈 또는 제2 포즈는 광-방출 사용자 입력 디바이스의 기준 포지션(fiducial position)에 대응한다.
[0458] 제51 양상에 있어서, 제48 내지 제50 양상들 중 어느 한 양상의 시스템에서, 광 패턴은 광-방출 사용자 입력 디바이스의 터치가능한 부분을 둘러싸는 복수의 발광 다이오드들에 의해 조명되는 헤일로와 연관된다.
[0459] 제52 양상에 있어서, 제48 내지 제51 양상들 중 어느 한 양상의 시스템에서, 제2 움직임 데이터를 계산하기 위해, 하드웨어 프로세서는 제1 이미지 및 제2 이미지에서 헤일로의 형상의 변화를 계산하도록 프로그래밍된다.
[0460] 제53 양상에 있어서, 제48 내지 제52 양상들 중 어느 한 양상의 시스템에서, 광-방출 사용자 입력 디바이스는 증강 현실 디바이스와의 상호작용을 위한 토템이다.
[0461] 제54 양상에 있어서, 제53 양상의 시스템에서, 센서는 토템의 IMU(inertial measurement unit)의 일부이며, 센서는 사용자의 움직임에 대한 토템의 반응성, 또는 사용자의 움직임과 IMU의 측정 간의 맵핑 중 적어도 하나를 조정함으로써 교정된다.
[0462] 제55 양상에 있어서, 제53 또는 제54 양상의 시스템에서, 토템은 추가로, 광-방출 사용자 입력 디바이스를 제1 포즈에서 제2 포즈로 이동시키기 위한 시각적 표시를 사용자에게 제공하도록 구성된다.
[0463] 제56 양상에 있어서, 제53 내지 제55 양상들 중 어느 한 양상의 시스템에서, 토템은 3 자유도(degrees-of-freedom)를 갖는다.
[0464] 제57 양상에 있어서, 제48 내지 제56 양상들 중 어느 한 양상의 시스템에서, 하드웨어 프로세서는, 제1 이미지 및 제2 이미지를 분석하여 제1 이미지 및 제2 이미지에서의 광 패턴을 식별하기 위해, 컴퓨터 비전 알고리즘을 적용하도록 프로그래밍된다.
[0465] 제58 양상에 있어서, 제48 내지 제57 양상들 중 어느 한 양상의 시스템에서, 광-방출 사용자 입력 디바이스는, 광-방출 사용자 입력 디바이스의 교정이 완료되었다는 결정에 대한 응답으로, 다른 광 패턴을 조명할 수 있다.
[0466] 제59 양상에 있어서, 제48 내지 제58 양상들 중 어느 한 양상의 시스템에서, 하드웨어 프로세서는 교정의 타입을 결정하도록 프로그래밍되고, 광-방출 사용자 입력 디바이스에 의해 조명되는 광 패턴은 교정의 타입에 대응한다.
[0467] 제60 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하는 방법은, 하드웨어 프로세서의 제어 하에: 포즈에서 광-방출 사용자 입력 디바이스의 움직임 데이터를 수신하는 단계 ― 움직임 데이터는 광-방출 사용자 입력 디바이스의 센서에 의해 획득됨―; 포즈에서 광-방출 사용자 입력 디바이스의 이미지를 수신하는 단계; 광 방출 사용자 입력 디바이스에 의해 조명되는 광 패턴의 형상을 식별하기 위해 이미지를 분석하는 단계; 움직임 데이터에 기반하여 포즈에서 광-방출 사용자 입력 디바이스의 제1 포지션 또는 제1 배향 중 적어도 하나를 계산하는 단계; 광 패턴의 형상에 기반하여 포즈에서 광-방출 사용자 입력 디바이스의 제2 포지션 또는 제2 배향 중 적어도 하나를 계산하는 단계; 제1 포지션과 제2 포지션, 또는 제1 배향과 제2 배향 간의 차이를 결정하는 단계; 및 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스의 센서를 교정하는 단계를 포함한다.
[0468] 제61 양상에 있어서, 제60 양상의 방법에서, 제1 포지션, 제1 배향, 제2 포지션, 또는 제2 배향은 기준 포즈를 참조하여 계산된다.
[0469] 제62 양상에 있어서, 제60 또는 제61 양상의 방법에서, 이미지에서의 광 패턴의 형상은 계란형(oval)인 반면, 기준 포즈에서의 광 패턴의 형상은 원형이다.
[0470] 제63 양상에 있어서, 제60 내지 제62 양상들 중 어느 한 양상의 방법에서, 광 패턴의 포지션 또는 움직임 패턴 중 적어도 하나는 교정되고 있는 센서의 타입에 대응한다.
[0471] 제64 양상에 있어서, 제60 내지 제63 양상들 중 어느 한 양상의 방법에서, 방법은, 교정이 성공적이라는 결정에 대한 응답으로, 시각, 오디오, 또는 촉각 피드백 중 적어도 하나를 제공하는 단계를 더 포함한다.
[0472] 제65 양상에 있어서, 제60 양상의 방법에서, 센서를 교정하는 단계는, 사용자의 움직임에 대한 센서의 반응성, 또는 사용자의 움직임과 센서의 측정 간의 맵핑 중 적어도 하나를 조정하는 단계를 포함한다.
[0473] 제66 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템은, 환경을 이미징하도록 구성된 외향 이미징 시스템; 및 외향 이미징 시스템과 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 환경의 이미지를 수신하고; 광-방출 사용자 입력 디바이스를 식별하기 위해 이미지를 분석하고; 광-방출 사용자 입력 디바이스의 제1 포즈 및 조명된 헤일로의 광 패턴의 제1 외관(appearance)을 결정하고; 이미지의 분석에 적어도 부분적으로 기반하여, 조명된 헤일로의 광 패턴의 제2 외관을 식별하고; 광-방출 사용자 입력 디바이스의 포즈에 대한 제1 변화를 결정하고; 광-방출 사용자 입력 디바이스에 의해 측정되는 광-방출 사용자 입력 디바이스의 움직임 데이터를 수신하고; 이미지의 분석에 적어도 부분적으로 기반하여, 광-방출 사용자 입력 디바이스의 포즈에 대한 제2 변화를 계산하고; 제1 변화와 제2 변화 간의 차이를 계산하여 차이가 임계치를 넘는지 여부를 결정하고; 그리고 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스의 센서를 교정하도록 프로그래밍된다.
[0474] 제67 양상에 있어서, 제66 양상의 시스템에서, 광-방출 사용자 입력 디바이스의 포즈는 광-방출 사용자 입력 디바이스의 포지션 및 배향을 포함한다.
[0475] 제68 양상에 있어서, 제66 또는 제67 양상의 시스템에서, 광-방출 사용자 입력 디바이스는 토템, 스마트워치, 또는 스마트폰 중 적어도 하나를 포함하고, 센서는 IMU이다.
[0476] 제69 양상에 있어서, 제66 내지 제68 양상들 중 어느 한 양상의 시스템에서, 차이가 임계치를 넘지 않는다는 결정에 대한 응답으로, 하드웨어 프로세서는 센서가 교정되었다는 표시를 제공하도록 프로그래밍된다.
[0477] 제70 양상에 있어서, 제66 내지 제69 양상들 중 어느 한 양상의 시스템에서, 표시는 광-방출 사용자 입력 디바이스에 대한 시각, 오디오, 또는 햅틱 피드백을 포함한다.
[0478] 제71 양상에 있어서, 제66 내지 제70 양상들 중 어느 한 양상의 시스템에서, 제1 포지션은 광-방출 사용자 입력 디바이스의 기준 포지션에 대응한다.
[0479] 제72 양상에 있어서, 제66 내지 제71 양상들 중 어느 한 양상의 시스템에서, 광-방출 사용자 입력 디바이스는 추가로, 광-방출 사용자 입력 디바이스를 제1 포즈 및 제2 포즈를 포함하는 포즈들로 포지셔닝시키도록 사용자 입력 디바이스의 사용자를 안내하기 위해 일련의 광 패턴들을 조명하도록 구성된다.
[0480] 제73 양상에 있어서, 제66 내지 제72 양상들 중 어느 한 양상의 시스템에서, 이미지의 분석에 적어도 부분적으로 기반하여 광-방출 사용자 입력 디바이스의 포즈에 대한 제2 변화를 계산하기 위해, 하드웨어 프로세서는 제1 외관에서의 광 패턴의 형상에 대한 제2 외관에서의 광 패턴의 형상의 변형을 결정하도록 프로그래밍된다.
[0481] 제74 양상에 있어서, 제66 내지 제73 양상들 중 어느 한 양상의 시스템에서, 광-방출 사용자 입력 디바이스는, 증강 현실, 가상 현실, 또는 혼합 현실 환경에서 가상 콘텐츠를 제공하기 위한 웨어러블 디스플레이를 더 포함하는 웨어러블 시스템의 일부이다.
[0482] 제75 양상에 있어서, 제66 양상의 시스템에서, 센서를 교정하기 위해, 하드웨어 프로세서는, 사용자의 움직임에 대한 센서의 반응성, 또는 사용자의 움직임과 센서의 측정 간의 맵핑 중 적어도 하나를 조정하도록 프로그래밍된다.
[0483] 제76 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 방법은, 광 방출 어셈블리 및 하드웨어 프로세서를 포함하는, 광-방출 사용자 입력 디바이스의 제어 하에: 광-방출 사용자 입력 디바이스의 제1 포즈를 결정하는 단계; 광 방출 어셈블리로 하여금, 광-방출 사용자 입력 디바이스를 제2 포즈로 이동시키도록 사용자를 안내하기 위해 제1 광 패턴을 조명하게 하는 단계;; 광-방출 사용자 입력 디바이스가 제2 포즈로 이동했다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스의 포즈 데이터를 획득하는 단계; 포즈 데이터에 적어도 부분적으로 기반하여 광-방출 사용자 입력 디바이스를 교정하는 단계; 및 교정 프로세스가 완료되었다는 표시를 사용자에게 제공하는 단계를 포함한다.
[0484] 제77 양상에 있어서, 제76 양상의 방법에서, 제1 포즈를 결정하는 단계는 광-방출 사용자 입력 디바이스의 IMU(inertial measurement unit)로부터 획득된 데이터에 적어도 부분적으로 기반한다.
[0485] 제78 양상에 있어서, 제76 또는 제77 양상의 방법에서, 표시는 오디오, 시각, 또는 촉각 표시 중 적어도 하나를 포함한다.
[0486] 제79 양상에 있어서, 제76 내지 제78 양상들 중 어느 한 양상의 방법에서, 표시는 제2 광 패턴을 포함한다.
[0487] 제80 양상에 있어서, 제76 내지 제79 양상들 중 어느 한 양상의 방법에서, 포즈 데이터는 광-방출 사용자 입력 디바이스의 포지션 또는 배향 데이터 중 적어도 하나를 포함한다.
[0488] 제81 양상에 있어서, 제76 내지 제80 양상들 중 어느 한 양상의 방법에서, 광-방출 사용자 입력 디바이스의 포즈 데이터는, 광-방출 사용자 입력 디바이스가 복수의 포즈들에 있을 때 획득된 데이터를 포함한다.
[0489] 제82 양상에 있어서, 제76 내지 제81 양상들 중 어느 한 양상의 방법에서, 방법은, 광 방출 어셈블리로 하여금, 교정 프로세스의 개시를 표시하는 제3 광 패턴을 조명하게 하는 단계를 더 포함한다.
[0490] 제83 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템은, 광-방출 사용자 입력 디바이스의 움직임 데이터를 획득하도록 구성된 하나 이상의 센서들; 복수의 광 패턴들을 출력하도록 구성된, 광-방출 사용자 입력 디바이스의 광 방출 어셈블리; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 포즈에 광-방출 사용자 입력 디바이스를 포지셔닝하기 위한 제1 표시를 사용자에게 제공하고; 포즈에 대한 광-방출 사용자 입력 디바이스의 움직임 데이터를 획득하고; 움직임 데이터에 적어도 부분적으로 기반하여 광-방출 사용자 입력 디바이스를 교정하고; 그리고 교정 프로세스가 완료되었다는 표시를 사용자에게 제공하도록 프로그래밍된다.
[0491] 제84 양상에 있어서, 제83 양상의 시스템에서, 제1 표시는 광 패턴을 포함하며, 광 패턴의 배치, 움직임 또는 조합은 사용자에게 광-방출 사용자 입력 디바이스를 포즈로 이동시키기 위한 가이던스(guidance)를 제공한다.
[0492] 제85 양상에 있어서, 제83 또는 제84 양상의 시스템에서, 광-방출 사용자 입력 디바이스는 증강 또는 혼합 현실 환경과 상호작용하기 위한 웨어러블 시스템의 일부이며, 제1 표시는 웨어러블 시스템의 머리-장착 디스플레이에 의해 제공되는 가상 이미지를 포함하며, 가상 이미지는 사용자에 의해 포지셔닝될 토템의 포즈를 표시한다.
[0493] 제86 양상에 있어서, 제83 내지 제85 양상들 중 어느 한 양상의 시스템에서, 하드웨어 프로세서는 추가로, 광-방출 사용자 입력 디바이스가 교정되었다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스가 교정되었다는 것을 알리는 제2 표시를 제공하거나; 또는 광-방출 사용자 입력 디바이스가 교정되지 않았다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스를 계속 교정하도록 프로그래밍된다.
[0494] 제87 양상에 있어서, 제83 내지 제86 양상들 중 어느 한 양상의 시스템에서, 하드웨어 프로세서는 추가로, 광-방출 사용자 입력 디바이스에 대한 교정 프로세스를 시작하기 위한 개시 조건을 검출하도록 프로그래밍된다.
[0495] 제88 양상에 있어서, 제83 내지 제87 양상들 중 어느 한 양상의 시스템에서, 광-방출 사용자 입력 디바이스를 교정하기 위해, 하드웨어 프로세서는, 포즈에서 광-방출 사용자 입력 디바이스를 포함하는 이미지에 액세스하도록, 그리고 움직임 데이터로부터 계산된 것과 이미지로부터 결정된 것 간의, 광-방출 사용자 입력 디바이스의 포지션 또는 배향 중 적어도 하나에 대한 차이를 식별하기 위해 움직임 데이터 및 이미지를 분석하도록 프로그래밍된다.
[0496] 제89 양상에 있어서, 제83 내지 제88 양상들 중 어느 한 양상의 시스템에서, 광-방출 사용자 입력 디바이스는 터치 표면을 포함하는 토템을 포함하고, 광 방출 어셈블리는 터치 표면에 인접하게 포지셔닝된다.
[0497] 제90 양상에 있어서, 광-방출 사용자 입력 디바이스를 페어링하기 위한 웨어러블 디바이스는, 환경을 이미징하도록 구성된 외향 이미징 시스템; 및 외향 이미징 시스템과 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 외향 이미징 시스템에 의해 획득된 이미지를 수신하고 ―이미지는 광-방출 사용자 입력 디바이스에 의해 조명되는 광 패턴을 포함함―; 웨어러블 디바이스와 페어링될 광-방출 사용자 입력 디바이스를 식별하고; 광-방출 사용자 입력 디바이스를 웨어러블 디바이스와 페어링하는 것과 연관된 정보를 인코딩하는 광 패턴을 식별하기 위해 이미지를 분석하고; 광-방출 사용자 입력 디바이스를 웨어러블 디바이스와 페어링하기 위해, 광 패턴에 인코딩된 정보를 추출하고; 그리고 추출된 정보에 적어도 부분적으로 기반하여 광-방출 사용자 입력 디바이스를 웨어러블 디바이스와 페어링하도록 프로그래밍된다.
[0498] 제91 양상에 있어서, 제90 양상의 웨어러블 디바이스에서, 하드웨어 프로세서는 추가로, 광-방출 사용자 입력 디바이스와 웨어러블 디바이스 간의 페어링이 성공적인지 여부를 결정하고; 그리고 페어링이 성공적이라는 결정에 대한 응답으로, 성공적인 페어링을 나타내는 다른 광 패턴을 조명하도록 광-방출 사용자 입력 디바이스에게 지시하도록 프로그래밍된다.
[0499] 제92 양상에 있어서, 제90 또는 제91 양상의 웨어러블 디바이스에서, 하드웨어 프로세서는 추가로, 페어링이 성공적이라는 결정에 대한 응답으로, 무선 연결을 통해 광-방출 사용자 입력 디바이스와 통신하도록 프로그래밍된다.
[0500] 제93 양상에 있어서, 제92 양상의 웨어러블 디바이스에서, 무선 연결은 블루투스 연결을 포함한다.
[0501] 제94 양상에 있어서, 제90 내지 제93 양상들 중 어느 한 양상의 웨어러블 디바이스에서, 광 패턴에 의해 인코딩된 정보는 광-방출 사용자 입력 디바이스의 디바이스 정보를 포함한다.
[0502] 제95 양상에 있어서, 제90 내지 제94 양상들 중 어느 한 양상의 웨어러블 디바이스에서, 광 패턴은 정보를 바이너리 형태로 인코딩한다.
[0503] 제96 양상에 있어서, 제90 내지 제95 양상들 중 어느 한 양상의 웨어러블 디바이스에서, 광 패턴은 페어링과 연관된 정보를 인코딩하는 하나 이상의 컬러들을 포함한다.
[0504] 제97 양상에 있어서, 제90 내지 제96 양상들 중 어느 한 양상의 웨어러블 디바이스에서, 광 패턴의 일부는 전자기 스펙트럼의 비-가시 부분의 광을 포함한다.
[0505] 제98 양상에 있어서, 제90 내지 제97 양상들 중 어느 한 양상의 웨어러블 디바이스에서, 웨어러블 디바이스는 혼합 현실 환경에서 가상 콘텐츠를 제공하기 위한 머리-장착 디스플레이를 포함하고, 외향 이미징 시스템은 머리-장착 디스플레이에 장착된 카메라를 포함한다.
[0506] 제99 양상에 있어서, 광-방출 사용자 입력 디바이스를 페어링하기 위한 방법은, 하드웨어 프로세서의 제어 하에: 광-방출 사용자 입력 디바이스와 전자 디바이스 간의 페어링 프로세스를 개시하는 단계; 카메라에 의해 획득된 이미지에 액세스하는 단계 ―이미지는 광-방출 사용자 입력 디바이스에 의해 조명되는 광 패턴을 포함함―; 전자 디바이스와 페어링될 광-방출 사용자 입력 디바이스를 식별하는 단계; 광-방출 사용자 입력 디바이스를 전자 디바이스와 페어링하는 것과 연관된 정보를 인코딩하는 광 패턴을 식별하기 위해 이미지를 분석하는 단계; 광-방출 사용자 입력 디바이스를 전자 디바이스와 페어링하기 위해, 광 패턴에 인코딩된 정보를 추출하는 단계; 및 추출된 정보에 적어도 부분적으로 기반하여 광-방출 사용자 입력 디바이스를 전자 디바이스와 페어링하는 단계를 포함한다.
[0507] 제100 양상에 있어서, 제99 양상의 방법에서, 전자 디바이스는 혼합 현실 환경에서 가상 콘텐츠를 제공하기 위한 웨어러블 시스템의 컴포넌트를 포함한다.
[0508] 제101 양상에 있어서, 제100 양상의 방법에서, 전자 디바이스는 다른 사용자 입력 디바이스 또는 머리-장착 디스플레이를 포함한다.
[0509] 제102 양상에 있어서, 제99 내지 제101 양상들 중 어느 한 양상의 방법에서, 방법은 페어링 프로세스가 성공적이라는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스와 전자 디바이스 간의 무선 연결을 확립하는 단계를 더 포함한다.
[0510] 제103 양상에 있어서, 제99 내지 제102 양상들 중 어느 한 양상의 방법에서, 광 패턴에 의해 인코딩된 정보는 광-방출 사용자 입력 디바이스의 디바이스 정보를 포함하고, 디바이스 정보는 디바이스 식별자, 광-방출 사용자 입력 디바이스에 대한 식별 정보, 또는 광-방출 사용자 입력 디바이스를 전자 디바이스와 페어링하기 위한 키(key) 중 적어도 하나를 포함한다.
[0511] 제104 양상에 있어서, 제103 양상의 방법에서, 광 패턴은 정보를 바이너리 형태로 인코딩한다.
[0512] 제105 양상에 있어서, 제99 내지 제104 양상들 중 어느 한 양상의 방법에서, 광 패턴은 페어링 프로세스의 정보를 인코딩하는 하나 이상의 컬러들을 포함한다.
[0513] 제106 양상에 있어서, 제99 내지 제105 양상들 중 어느 한 양상의 방법에서, 광 패턴의 일부는 전자기 스펙트럼의 비-가시 부분의 광을 포함한다.
[0514] 제107 양상에 있어서, 광-방출 사용자 입력 디바이스를 페어링하기 위한 시스템은, 광 패턴들을 출력하도록 구성된 복수의 LED(light emitting diode)들; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 전자 디바이스와의 페어링 프로세스를 개시하고; 복수의 LED들 중 하나 이상의 LED들로 하여금, 페어링 프로세스에 대한 정보를 인코딩하는 제1 광 패턴을 조명하게 하고; 그리고 전자 디바이스가 성공적으로 페어링되었다는 결정에 대한 응답으로, 페어링이 성공적임을 표시하는 제2 광 패턴을 조명하도록 프로그래밍된다.
[0515] 제108 양상에 있어서, 제107 양상의 시스템에서, 제1 광 패턴은, 사용자 입력 디바이스와 연관된 디바이스 정보, 또는 다른 컴퓨팅 디바이스로 하여금 페어링 프로세스를 개시하게 하는 트리거 메시지 중 적어도 하나를 인코딩한다.
[0516] 제109 양상에 있어서, 제107 또는 제108 양상의 시스템에서, 하드웨어 프로세서는, 페어링 프로세스 동안 전자 디바이스로부터 응답을 수신하고; 그리고 복수의 LED들 중 하나 이상의 제2 LED들로 하여금, 응답에 회답하여 회답 메시지를 인코딩하는 제3 광 패턴을 조명하게 하도록 프로그래밍된다.
[0517] 제110 양상에 있어서, 제107 내지 제109 양상들 중 어느 한 양상의 시스템에서, 복수의 LED들 중 하나 이상의 LED들의 조명들은 페어링 프로세스의 정보를 바이너리 형태로 인코딩한다.
[0518] 제111 양상에 있어서, 제107 내지 제110 양상들 중 어느 한 양상의 시스템에서, 하나 이상의 LED들의 조명들과 연관된 컬러들은 페어링 프로세스의 정보를 인코딩한다.
[0519] 제112 양상에 있어서, 제107 내지 제111 양상들 중 어느 한 양상의 시스템에서, 제1 광 패턴 또는 제2 광 패턴의 일부는 전자기 스펙트럼의 비-가시 부분의 광을 포함한다.
[0520] 제113 양상에 있어서, 방법은, 복수의 광 패턴들을 조명하기 위한 광 방출 어셈블리를 포함하는 제1 전자 디바이스의 하드웨어 프로세서의 제어 하에: 제1 전자 디바이스와 제2 전자 디바이스 간의 통신을 개시하는 단계; 제1 전자 디바이스로 하여금, 통신에 대한 메시지를 인코딩하는 광 패턴을 조명하게 하는 단계; 제2 전자 디바이스로부터 응답을 수신하는 단계; 및 제2 전자 디바이스로부터의 응답에 적어도 부분적으로 기반하여 제1 전자 디바이스의 사용자에게 표시가 제공되게 하는 단계를 포함한다.
[0521] 제114 양상에 있어서, 제113 양상의 방법에서, 통신은 제1 전자 디바이스와 제2 전자 디바이스 간의 페어링 프로세스를 포함한다.
[0522] 제115 양상에 있어서, 제114 양상의 방법에서, 제1 광 패턴은, 사용자 입력 디바이스와 연관된 디바이스 정보, 또는 다른 컴퓨팅 디바이스로 하여금 페어링 프로세스를 개시하게 하는 트리거 메시지 중 적어도 하나를 인코딩한다.
[0523] 제116 양상에 있어서, 제114 또는 제115 양상의 방법에서, 표시는, 제1 전자 디바이스와 제2 전자 디바이스가 성공적으로 페어링되었다는 결정에 대한 응답으로, 제1 전자 디바이스와 제2 전자 디바이스 간의 페어링이 완료되었음을 표시하는, 제1 전자 디바이스에 의해 조명되는 제2 광 패턴을 포함한다.
[0524] 제117 양상에 있어서, 제113 내지 제116 양상들 중 어느 한 양상의 방법에서, 표시는, 응답에 회답하여 회답 메시지를 인코딩하는, 제1 전자 디바이스에 의해 조명되는 제3 광 패턴을 포함한다.
[0525] 제118 양상에 있어서, 제113 내지 제117 양상들 중 어느 한 양상의 방법에서, 제1 광 패턴은 메시지의 정보를 바이너리 형태로 인코딩한다.
[0526] 제119 양상에 있어서, 제113 내지 제118 양상들 중 어느 한 양상의 방법에서, 광 패턴은 통신의 메시지를 추가로 인코딩하는 하나 이상의 컬러들을 포함한다.
[0527] 제120 양상에 있어서, 광-방출 사용자 입력 디바이스는, 사용자 입력들을 수신하도록 구성된 터치패드 어셈블리 및 터치패드 어셈블리를 지지하기 위해 포함되는 바디(body)를 포함하며, 터치패드 어셈블리는: 터치 표면; 터치 표면에 커플링되는 터치 센서 ―터치 센서의 적어도 일부는 터치 표면의 밑에 있고 터치 표면의 작동을 검출하도록 구성됨―; 광학적 확산 엘리먼트(optical diffusive element) 및 복수의 광 조명 엘리먼트들을 포함하는 광-방출 어셈블리 ―광-방출 어셈블리는 터치 센서 및 터치 표면에 커플링되고 복수의 광 패턴들을 디스플레이하도록 구성됨―; 및 광-방출 어셈블리 및 터치 센서에 커플링되는 인쇄 회로 보드를 포함한다.
[0528] 제121 양상에 있어서, 제120 양상의 광-방출 사용자 입력 디바이스에서, 광학적 확산 엘리먼트의 적어도 일부는 터치 센서 상에 오버레이되고, 터치 센서는 추가로, 광학적 확산 엘리먼트의 작동을 검출하도록 구성된다.
[0529] 제122 양상에 있어서, 제120 또는 제121 양상의 광-방출 사용자 입력 디바이스에서, 광학적 확산 엘리먼트는 광 가이드를 포함한다.
[0530] 제123 양상에 있어서, 제120 내지 제122 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광학적 확산 엘리먼트는 터치 표면을 실질적으로 둘러싼다.
[0531] 제124 양상에 있어서, 제120 내지 제123 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 터치패드 어셈블리는, 광-방출 어셈블리, 터치 표면 그리고 터치 센서를 홀딩하기 위한 전기자(armature)를 더 포함한다.
[0532] 제125 양상에 있어서, 제120 내지 제124 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 복수의 광 조명 엘리먼트들은 발광 다이오드들을 포함한다.
[0533] 제126 양상에 있어서, 제120 내지 제125 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광-방출 사용자 입력 디바이스는 혼합 현실 콘텐츠를 제공하도록 구성된 웨어러블 디바이스와의 무선 연결을 확립하도록 구성된 연결 인터페이스를 더 포함한다.
[0534] 제127 양상에 있어서, 제120 내지 제126 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 바디는 터치패드 어셈블리를 지지하기 위한 상부 부분 및 베이스에 제거가능하게 장착되도록 구성된 최하부 부분을 갖는다.
[0535] 제128 양상에 있어서, 제120 내지 제127 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 바디는 사용자 상호작용들을 위한 트리거, 범퍼, 또는 홈 버튼 중 적어도 하나를 더 포함한다.
[0536] 제129 양상에 있어서, 제120 내지 제128 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 복수의 광 조명 엘리먼트들의 조명을 제어하도록 프로그래밍된 하드웨어 프로세서를 더 포함한다.
[0537] 제130 양상에 있어서, 광-방출 사용자 입력 디바이스는, 외부 터치 표면을 포함하는 바디; 2개 이상의 센서들 ―2개 이상의 센서들 중 적어도 하나의 센서는 터치 표면 밑에 포지셔닝된 터치 센서를 포함하며, 터치 표면에 적용되는 터치 입력을 검출하도록 구성됨―; 터치 표면 아래에 포지셔닝된 복수의 LED(light-emitting diode)들; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 2개 이상의 센서들로부터 데이터를 수신하고; 그리고 2개 이상의 센서들 중 적어도 하나의 센서로부터 수신된 데이터에 기반하여 복수의 LED들 중 하나 이상의 LED들을 활성화시키도록 프로그래밍된다.
[0538] 제131 양상에 있어서, 제130 양상의 광-방출 사용자 입력 디바이스에서, 광-방출 사용자 입력 디바이스는, 복수의 LED들 중 하나 이상의 LED들에 인접하게 포지셔닝된 하나 이상의 광학 컴포넌트들을 더 포함하고, 하나 이상의 광학 컴포넌트들은 이 광학 컴포넌트들에 인접하게 포지셔닝된 하나 이상의 LED들에 의해 방출되는 광을 확산시키도록 구성된다.
[0539] 제132 양상에 있어서, 제131 양상의 광-방출 사용자 입력 디바이스에서, 하나 이상의 광학 컴포넌트들은 터치 표면 아래에 포지셔닝된다.
[0540] 제133 양상에 있어서, 제131 또는 제132 양상의 광-방출 사용자 입력 디바이스에서, 하나 이상의 광학 컴포넌트들은 터치 표면 옆에 포지셔닝된다.
[0541] 제134 양상에 있어서, 제131 내지 제133 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 하나 이상의 광학 컴포넌트들은 적어도 하나의 광 가이드를 포함한다.
[0542] 제135 양상에 있어서, 제130 내지 제134 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 복수의 LED들은 터치 표면 아래에 링으로 배열된다.
[0543] 제136 양상에 있어서, 제130 내지 제135 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 터치 표면은 원형이다.
[0544] 제137 양상에 있어서, 제136 양상의 광-방출 사용자 입력 디바이스에서, 터치 표면은 27mm - 40mm의 직경을 갖는 원형 표면이다.
[0545] 제138 양상에 있어서, 제130 내지 제137 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 바디는 광-방출 사용자 입력 디바이스의 사용자의 손에 홀딩되도록 구성된 세장형 부분을 더 포함한다.
[0546] 제139 양상에 있어서, 제138 양상의 광-방출 사용자 입력 디바이스에서, 바디는 세장형 부분에 대해 각진 상부 부분을 더 포함한다.
[0547] 제140 양상에 있어서, 제139 양상의 광-방출 사용자 입력 디바이스에서, 터치 표면은 바디의 상부 부분의 일부로서 포함된다.
[0548] 제141 양상에 있어서, 제130 내지 제140 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광-방출 사용자 입력 디바이스는 버튼을 더 포함하고, 2개 이상의 센서들은 버튼의 작동을 검출하도록 구성된 압력 센서를 포함한다.
[0549] 제142 양상에 있어서, 제130 내지 제141 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 2개 이상의 센서들은 IMU(inertial measurement unit)를 포함한다.
[0550] 제143 양상에 있어서, 제130 내지 제142 양상들 중 어느 한 양상의 광-방출 사용자 입력 디바이스에서, 광-방출 사용자 입력 디바이스는 네트워크를 통해 다른 전자 디바이스들과의 통신들을 확립하도록 구성된 통신 인터페이스를 더 포함한다.
[0551] 제144 양상에 있어서, 제143 양상의 광-방출 사용자 입력 디바이스에서, 하드웨어 프로세서는 추가로, 네트워크를 통해 다른 전자 디바이스들들로부터 수신된 메시지들에 기반하여 복수의 LED들 중 하나 이상의 LED들을 활성화시키도록 프로그래밍된다.
[0552] 제145 양상에 있어서, 제143 또는 제144 양상의 광-방출 사용자 입력 디바이스에서, 다른 전자 디바이스들은 AR(augmented reality) 시스템의 컴포넌트들을 포함한다.
[0553] 제146 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 웨어러블 시스템은, 환경을 이미징하도록 구성된 외향 이미징 시스템; 광 패턴을 조명하도록 구성된 광-방출 사용자 입력 디바이스; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 제1 포즈에서 제2 포즈로의 광-방출 사용자 입력 디바이스의 움직임과 연관된 제1 움직임 데이터를 획득하고; 외향 이미징 시스템으로부터 광-방출 사용자 입력 디바이스의 제1 이미지를 수신하고 ―제1 이미지는 광 패턴의 제1 이미지를 포함하며 광-방출 사용자 입력 디바이스의 제1 포즈에 대응함―; 광-방출 사용자 입력 디바이스의 제2 이미지에 액세스하고 ―제2 이미지는 광-방출 사용자 입력 디바이스의 제2 포즈에 대응하는 광 패턴의 제2 이미지를 포함함―; 광-방출 사용자 입력 디바이스의 움직임과 연관된 제2 움직임 데이터를 계산하기 위해 제1 이미지 및 제2 이미지를 분석하고; 제1 움직임 데이터와 제2 움직임 데이터 간의 차이를 검출하고; 그리고 차이가 임계 조건을 넘는다는 결정에 대한 응답으로 광-방출 사용자 입력 디바이스를 교정하도록 프로그래밍된다.
[0554] 제147 양상에 있어서, 제146 양상의 웨어러블 시스템에서, 제1 포즈 및 제2 포즈는 광-방출 사용자 입력 디바이스의 포지션 및 배향을 포함한다.
[0555] 제148 양상에 있어서, 제146 또는 제147 양상의 웨어러블 시스템에서, 제1 포즈 또는 제2 포즈는 광-방출 사용자 입력 디바이스의 기준 포지션에 대응한다.
[0556] 제149 양상에 있어서, 제146 내지 제148 양상들 중 어느 한 양상의 웨어러블 시스템에서, 광 패턴은 헤일로와 연관되며, 그리고 제2 움직임 데이터를 계산하기 위해, 하드웨어 프로세서는 제1 이미지 및 제2 이미지에서 헤일로의 형상의 변화를 계산하도록 프로그래밍된다.
[0557] 제150 양상에 있어서, 제146 내지 제149 양상들 중 어느 한 양상의 웨어러블 시스템에서, 광-방출 사용자 입력 디바이스는 토템, 스마트폰, 또는 스마트워치를 포함한다.
[0558] 제151 양상에 있어서, 제150 양상의 웨어러블 시스템에서, 광-방출 사용자 입력 디바이스를 교정하기 위해, 하드웨어 프로세서는 토템의 IMU(inertial measurement unit)을 교정하도록 프로그래밍된다.
[0559] 제152 양상에 있어서, 제150 또는 제151 양상의 웨어러블 시스템에서, 광 패턴은 광-방출 사용자 입력 디바이스를 제1 포즈에서 제2 포즈로 이동시키기 위한 표시를 광-방출 사용자 입력 디바이스의 사용자에게 제공한다.
[0560] 제153 양상에 있어서, 제146 내지 제152 양상들 중 어느 한 양상의 웨어러블 시스템에서, 하드웨어 프로세서는 컴퓨터 비전 알고리즘을 적용하여 제1 이미지 및 제2 이미지를 분석하도록 프로그래밍된다.
[0561] 제154 양상에 있어서, 제146 내지 제153 양상들 중 어느 한 양상의 웨어러블 시스템에서, 외향 이미징 시스템은 가상 콘텐츠를 사용자에게 제공하도록 구성된 웨어러블 디바이스의 일부이다.
[0562] 제155 양상에 있어서, 제146 내지 제154 양상들 중 어느 한 양상의 웨어러블 시스템에서, 광-방출 사용자 입력 디바이스는, 광-방출 사용자 입력 디바이스의 교정이 완료되었다는 결정에 대한 응답으로, 다른 광 패턴을 조명할 수 있다.
[0563] 제156 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 웨어러블 시스템은, 환경을 이미징하도록 구성된 외향 이미징 시스템; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 환경의 이미지를 수신하고; 광-방출 사용자 입력 디바이스를 식별하기 위해 이미지를 분석하고; 광-방출 사용자 입력 디바이스의 제1 포지션 및 조명된 헤일로의 제1 광 패턴을 결정하고; 이미지의 분석에 적어도 부분적으로 기반하여, 조명된 헤일로의 제2 광 패턴을 식별하고; 광-방출 사용자 입력 디바이스의 포지션 및 배향에 대한 제1 변화를 결정하고; 광-방출 사용자 입력 디바이스의 환경 센서에 의해 측정되는 광-방출 사용자 입력 디바이스의 움직임 데이터를 수신하고; 광-방출 입력 디바이스의 포지션 및 배향에 대한 제2 변화를 계산하고; 제1 변화와 제2 변화 간의 차이를 계산하여 차이가 임계치를 넘는지 여부를 결정하고; 그리고 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스의 환경 센서를 교정하도록 프로그래밍된다.
[0564] 제157 양상에 있어서, 제156 양상의 웨어러블 시스템에서, 광-방출 사용자 입력 디바이스는 토템, 스마트워치, 또는 스마트폰 중 적어도 하나를 포함하고, 환경 센서는 IMU 포함한다.
[0565] 제158 양상에 있어서, 제156 또는 제157 양상의 웨어러블 시스템에서, 차이가 임계치를 넘지 않는다는 결정에 대한 응답으로, 하드웨어 프로세서는 환경 센서가 교정되었다는 표시를 제공하도록 프로그래밍된다.
[0566] 제159 양상에 있어서, 제158 양상의 웨어러블 시스템에서, 표시는 광-방출 사용자 입력 디바이스에 대한 시각 또는 햅틱 피드백을 포함한다.
[0567] 제160 양상에 있어서, 제156 내지 제159 양상들 중 어느 한 양상의 웨어러블 시스템에서, 제1 포지션은 광-방출 사용자 입력 디바이스의 기준 포지션이다.
[0568] 제161 양상에 있어서, 광-방출 사용자 입력 디바이스를 교정하기 위한 웨어러블 시스템은, 광-방출 사용자 입력 디바이스를 포함하고, 광-방출 사용자 입력 디바이스는: 광-방출 디바이스의 움직임 데이터를 획득하도록 구성된 센서; 광 패턴을 출력하도록 구성된 광 방출부; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 포즈에 광-방출 사용자 입력 디바이스를 포지셔닝하기 위한 제1 표시를 제공하고; 포즈와 연관된 광-방출 사용자 입력 디바이스의 움직임 데이터를 획득하고; 그리고 움직임 데이터에 기반하여 광-방출 사용자 입력 디바이스를 교정하도록 프로그래밍된다.
[0569] 제162 양상에 있어서, 제161 양상의 웨어러블 시스템에서, 하드웨어 프로세서는 추가로, 광-방출 사용자 입력 디바이스가 교정되었다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스가 교정되었다는 것을 알리는 제2 표시를 제공하거나; 또는 광-방출 사용자 입력 디바이스가 교정되지 않았다는 결정에 대한 응답으로, 광-방출 사용자 입력 디바이스를 계속 교정하도록 프로그래밍된다.
[0570] 제163 양상에 있어서, 제161 또는 제162 양상의 웨어러블 시스템에서, 제1 표시 또는 제2 표시는 시각, 오디오, 또는 햅틱 피드백 중 적어도 하나를 포함한다.
[0571] 제164 양상에 있어서, 웨어러블 디바이스는, 환경을 이미징하도록 구성된 외향 이미징 시스템; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 광 패턴을 조명하도록 구성된 광-방출 사용자 입력 디바이스를 식별하고; 웨어러블 디바이스와 광-방출 사용자 입력 디바이스 간의 무선 연결을 확립하고; 광-방출 사용자 입력 디바이스의 이미지를 수신하고 ―이미지는 광-방출 사용자 입력 디바이스와 연관된 디바이스 정보를 인코딩하는 조명된 광 패턴을 포함함―; 광-방출 사용자 입력 디바이스와 연관된 디바이스 정보를 추출하기 위해, 조명된 광 패턴의 이미지를 분석하고; 그리고 광-방출 사용자 입력 디바이스를 웨어러블 디바이스와 페어링하도록 프로그래밍된다.
[0572] 제165 양상에 있어서, 제164 양상의 웨어러블 디바이스에서, 하드웨어 프로세서는 추가로: 광-방출 사용자 입력 디바이스와 웨어러블 디바이스 간의 페어링이 성공적인지 여부를 결정하고; 그리고 페어링이 성공적이라는 결정에 대한 응답으로, 성공적인 페어링을 나타내는 다른 광 패턴을 조명하도록 광-방출 사용자 입력 디바이스에게 지시하도록 프로그래밍된다.
[0573] 제166 양상에 있어서, 제164 또는 제165 양상의 웨어러블 디바이스에서, 무선 연결은 블루투스 연결을 포함한다.
[0574] 제167 양상에 있어서, 제164 내지 제166 양상들 중 어느 한 양상의 웨어러블 디바이스에서, 광 방출 사용자 입력 디바이스는 광 패턴을 출력하도록 구성된 LED들을 포함하고, 개개의 LED들의 조명들은 디바이스 정보를 바이너리 형태로 표현한다.
[0575] 제168 양상에 있어서, 광-방출 사용자 입력 디바이스는, 광 패턴들을 출력하도록 구성된 복수의 LED(light emitting diode)들; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 웨어러블 디바이스와의 페어링 프로세스를 개시하고; 페어링 프로세스에 대한 정보를 인코딩하는 제1 광 패턴을 조명하고; 페어링 프로세스에 관한 웨어러블 디바이스로부터의 응답을 수신하고; 그리고 컴퓨팅 디바이스가 성공적으로 페어링되었다는 결정에 대한 응답으로, 페어링이 성공적임을 표시하는 제2 광 패턴을 조명하도록 프로그래밍된다.
[0576] 제169 양상에 있어서, 제168 양상의 광-방출 사용자 입력 디바이스에서, 제1 광 패턴은, 사용자 입력 디바이스와 연관된 디바이스 정보, 또는 다른 컴퓨팅 디바이스로 하여금 페어링 프로세스를 개시하게 하는 트리거 메시지 중 적어도 하나를 인코딩한다.
[0577] 제170 양상에 있어서, 제168 또는 제169 양상의 광-방출 사용자 입력 디바이스에서, 웨어러블 디바이스로부터의 응답은 광-방출 사용자 입력 디바이스의 추가 정보(more information)에 대한 요청을 포함하고, 하드웨어 프로세서는 요청에 대한 응답에 회답하여 회답 메시지를 인코딩하는 제3 광 패턴을 조명하도록 프로그래밍된다.
[0578] 제171 양상에 있어서, 핸드헬드 사용자 입력 디바이스는, 광 패턴을 출력하도록 구성된 광 방출부; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 핸드헬드 사용자 입력 디바이스의 상황을 결정하고; 상황과 연관된 제1 광 패턴에 액세스하고; 제1 광 패턴에 따라 헤일로를 디스플레이하도록 광 방출부에게 지시하고; 핸드헬드 사용자 입력 디바이스의 상황에 대한 업데이트를 결정하고; 그리고 업데이트에 대한 응답으로, 제2 광 패턴에 따라 헤일로를 디스플레이하도록 광 방출부에게 지시하도록 프로그래밍된다.
[0579] 제172 양상에 있어서, 제171 양상의 핸드헬드 사용자 입력 디바이스에서, 핸드헬드 사용자 입력 디바이스는 배터리를 더 포함하고, 상황은, 배터리 상황, 전력 충전 상황, 핸드헬드 사용자 입력 디바이스와 다른 컴퓨팅 디바이스의 무선 페어링 상황, 또는 핸드헬드 사용자 입력 디바이스가 아이들인지 여부 중 적어도 하나를 표시한다.
[0580] 제173 양상에 있어서, 제171 또는 제172 양상의 핸드헬드 사용자 입력 디바이스에서, 광 방출부는 광 가이드, 및 LED들의 링(ring)을 포함한다.
[0581] 제174 양상에 있어서, 웨어러블 시스템의 컴포넌트의 상황을 제공하기 위한 웨어러블 시스템은, 광 패턴을 출력하도록 구성된 광 방출부를 포함하는 핸드헬드 사용자 입력 디바이스; 웨어러블 디스플레이 및 배터리 팩을 포함하는 웨어러블 디바이스; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 웨어러블 디바이스의 상황을 결정하고; 상황과 연관된 제1 광 패턴에 액세스하고; 제1 광 패턴에 따라 헤일로를 디스플레이하도록 핸드헬드 사용자 입력 디바이스의 광 방출부에게 지시하고; 웨어러블 디바이스의 상황에 대한 업데이트를 결정하고; 그리고 업데이트에 대한 응답으로, 제2 광 패턴에 따라 헤일로를 디스플레이하도록 핸드헬드 사용자 입력 디바이스의 광 방출부에게 지시하도록 프로그래밍된다.
[0582] 제175 양상에 있어서, 제174 양상의 웨어러블 시스템에서, 상황은, 배터리 상황, 전력 충전 상황, 웨어러블 디스플레이 디바이스와 핸드헬드 사용자 입력 디바이스 간의 무선 페어링 상황, 또는 웨어러블 디바이스의 상황 중 적어도 하나를 포함한다.
[0583] 제176 양상에 있어서, 핸드헬드 사용자 입력 디바이스는, 사용자 입력을 받아들이도록 구성된 터치 패드; 광 패턴을 출력하도록 구성된 광 방출부 ―광 방출부는 터치패드를 적어도 부분적으로 둘러쌈―; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 콘텍스추얼 정보에 기반하여 터치패드와 연관된 이용가능한 사용자 인터페이스 동작을 식별하고; 이용가능한 사용자 인터페이스 동작과 연관된 광 패턴을 결정하고; 광 패턴에 따라 헤일로를 디스플레이하는 명령들을 생성하여 광 방출부에 송신하고; 터치패드 상에서 사용자 입력을 수신하고; 그리고 사용자 입력을 반영하기 위해 광 패턴의 배치 또는 움직임을 업데이트하도록 프로그래밍된다.
[0584] 제177 양상에 있어서, 제176 양상의 핸드헬드 사용자 입력 디바이스에서, 콘텍스추얼 정보는, 핸드헬드 사용자 입력 디바이스의 환경, 핸드헬드 사용자 입력 디바이스와 연관된 이용가능한 입력들, 핸드헬드 사용자 입력 디바이스가 상호작용하도록 구성된 오브젝트들과 연관 정보, 또는 핸드헬드 사용자 입력 디바이스와 페어링된 웨어러블 디바이스의 특징 중 적어도 하나를 포함한다.
[0585] 제178 양상에 있어서, 제176 또는 제177 양상의 핸드헬드 사용자 입력 디바이스에서, 광 방출부는 광 가이드, 및 LED들의 링을 포함한다.
[0586] 제179 양상에 있어서, 제176 내지 제178 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 광 방출부는 사용자 입력을 받아들이도록 구성되며, 그리고 하드웨어 프로세서는 추가로, 광 가이드와 연관된 사용자 입력에 적어도 부분적으로 기반하여 헤일로를 디스플레이하도록 프로그래밍된다.
[0587] 제180 양상에 있어서, 제176 내지 제179 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 사용자 입력은 스와이프, 탭, 누름 또는 터치 제스처 중 적어도 하나를 포함하고, 사용자 입력 디바이스는 토템, 스마트워치, 또는 스마트폰 중 적어도 하나를 포함한다.
[0588] 제181 양상에 있어서, 제176 내지 제180 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 하드웨어 프로세서는 추가로, 수신된 사용자 입력이 부적절한지 여부를 결정하고; 사용자 입력이 부적절하다는 결정에 대한 응답으로, 사용자 입력이 부적절하다는 것을 반영하도록 광 패턴을 업데이트하도록 구성된다.
[0589] 제182 양상에 있어서, 제176 내지 제181 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 사용자 입력을 반영하도록 광 패턴의 배치 또는 움직임을 업데이트하기 위해, 프로세서는 광 패턴의 컬러를 업데이트하거나, 광 패턴의 형상을 업데이트하거나, 광 패턴의 사이즈 또는 길이를 업데이트하거나, 또는 광 패턴의 시각적 효과를 업데이트하도록 프로그래밍된다.
[0590] 제183 양상에 있어서, 핸드헬드 사용자 입력 디바이스는, 광 패턴을 출력하도록 구성된 광 방출부 ―광 방출부는 터치패드를 적어도 부분적으로 둘러쌈―; 사용자 입력을 수신하도록 구성된 복수의 상호작용가능한 구역들; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 복수의 상호작용가능한 구역들 중의 상호작용 가능한 구역에서 사용자 입력을 검출하고; 상호작용가능한 구역에서 검출된 사용자 입력과 연관된 광 패턴에 액세스하고; 그리고 광 패턴을 포함하는 헤일로를 제공하도록 광 방출부에게 지시하도록 프로그래밍된다.
[0591] 제184 양상에 있어서, 제183 양상의 핸드헬드 사용자 입력 디바이스에서, 핸드헬드 사용자 입력 디바이스는 터치 표면을 더 포함하고 광 방출부는 광 가이드를 포함하며, 복수의 상호작용가능한 구역들은 광 가이드와 연관된 제1 상호작용가능한 구역 및 터치 표면과 연관된 제2 상호작용가능한 구역을 포함한다.
[0592] 제185 양상에 있어서, 제184 양상의 핸드헬드 사용자 입력 디바이스에서, 사용자 입력이 제1 상호작용가능한 구역에 있다는 검출에 대한 응답으로, 하드웨어 프로세서는, 제1 상호작용가능한 구역에서 사용자 입력과 연관된 광 패턴의 제1 배치 또는 움직임에 액세스하도록 프로그래밍되며, 그리고 사용자 입력이 제2 상호작용가능한 구역에서 있다는 검출에 대한 응답으로, 하드웨어 프로세서는, 제2 상호작용가능한 구역에서 사용자 입력과 연관된 광 패턴의 제2 배치 또는 움직임에 액세스하도록 프로그래밍된다.
[0593] 제186 양상에 있어서, 제183 내지 제185 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 광 패턴은 핸드헬드 사용자 입력 디바이스와 연관된 콘텍스추얼 정보에 적어도 부분적으로 기반하여 결정된다.
[0594] 제187 양상에 있어서, 제183 내지 제186 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 사용자 입력은 스와이프, 탭, 누름ss) 또는 터치 중 적어도 하나를 포함한다.
[0595] 제188 양상에 있어서, 제183 내지 제187 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 헤일로는 아치 구역을 포함하며, 아치 구역은 컬러, 아치 길이, 또는 시각적 효과를 갖는다.
[0596] 제189 양상에 있어서, 제183 내지 제188 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 하드웨어 프로세서는 추가로, 복수의 상호작용가능한 구역들 중의 상호작용가능한 구역에서 추가적인 사용자 입력을 검출하고 그리고 추가적인 사용자 입력의 검출에 대한 응답으로, 헤일로를 업데이트하도록 프로그래밍된다.
[0597] 제190 양상에 있어서, 핸드헬드 사용자 입력 디바이스는, 광 패턴을 출력하도록 구성된 광 방출부; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 사용자의 환경에서 오브젝트를 식별하고; 오브젝트와 연관된 콘텍스추얼 정보에 액세스하고; 콘텍스추얼 정보에 적어도 부분적으로 기반하여 광 패턴의 배치 또는 움직임을 결정하고; 그리고 광 패턴에 따라 조명하도록 광 방출부에게 지시하도록 프로그래밍된다.
[0598] 제191 양상에 있어서, 제190 양상의 핸드헬드 사용자 입력 디바이스에서, 오브젝트는 물리적 오브젝트 또는 가상 오브젝트 중 적어도 하나를 포함한다.
[0599] 제192 양상에 있어서, 제190 또는 제191 양상의 핸드헬드 사용자 입력 디바이스에서, 광 패턴의 배치 또는 움직임은 헤일로의 밝기, 포지션, 형상, 사이즈 또는 컬러 중 적어도 하나를 포함한다.
[0600] 제193 양상에 있어서, 제190 내지 제192 양상들 중 어느 한 양상의 핸드헬드 사용자 입력 디바이스에서, 오브젝트와 연관된 콘텍스추얼 정보는, 오브젝트의 위치, 오브젝트의 긴급성, 오브젝트의 타입, 오브젝트의 특성, 오브젝트와 연관된 정보의 양, 또는 사용자의 선호도 중 적어도 하나를 포함한다.
[0601] 제194 양상에 있어서, 웨어러블 시스템의 컴포넌트의 상황을 제공하기 위한 웨어러블 시스템은, 광 패턴을 출력하도록 구성된 광 방출부를 포함하는 핸드헬드 사용자 입력 디바이스; 가상 콘텐츠를 사용자에게 제공하도록 구성된 웨어러블 디바이스; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 사용자의 환경에서 오브젝트를 식별하고; 오브젝트와 연관된 콘텍스추얼 정보에 액세스하고; 콘텍스추얼 정보에 적어도 부분적으로 기반하여 광 패턴의 배치 또는 움직임을 결정하고; 그리고 광 패턴에 따라 조명하도록 핸드헬드 사용자 입력 디바이스의 광 방출부에게 지시하도록 프로그래밍된다.
[0602] 제195 양상에 있어서, 제194 양상의 웨어러블 시스템에서, 컨텍스추얼 정보는 핸드헬드 사용자 입력 디바이스 또는 웨어러블 디바이스의 환경 센서에 의해 획득된 데이터에 적어도 부분적으로 기반하여 결정된다.
[0603] 제196 양상에 있어서, 제190 내지 제193 양상들 중 어느 한 향상의 핸드헬드 사용자 입력 디바이스 또는 제194 또는 제195 양상의 웨어러블 시스템에서, 광 패턴은 컬러, 형상, 사이즈 또는 길이, 또는 시각적 효과를 포함한다.
[0604] 제197 양상에 있어서, 핸드헬드 사용자 입력 디바이스는, 광 패턴을 출력하도록 구성된 광 방출부; 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 사용자의 환경에서 가상 오브젝트를 식별하고; 가상 오브젝트의 상황을 결정하고; 가상 오브젝트의 상황에 적어도 부분적으로 기반하여 광 패턴의 배치 또는 움직임을 결정하고; 그리고 상황을 나타내는 광 패턴에 따라 조명하도록 광 방출부에게 지시하도록 프로그래밍된다.
[0605] 제198 양상에 있어서, 제197 양상의 핸드헬드 사용자 입력 디바이스에서, 하드웨어 프로세서는 추가로, 가상 오브젝트의 상황을 나타내는 경고를 생성하도록 프로그래밍되고, 경보는 광 패턴으로 인코딩된다.
[0606] 제199 양상에 있어서, 제197 또는 제198 양상의 핸드헬드 사용자 입력 디바이스에서, 가상 오브젝트의 상황은, 사용자에 의한 가상 오브젝트와의 현재 상호작용, 가상 오브젝트가 새로운 정보를 수신했는지 여부, 가상 오브젝트가 아이들인지 여부, 또는 가상 오브젝트가 에러 상태에 있는지 여부 중 적어도 하나를 포함한다.
[0607] 제200 양상에 있어서, 웨어러블 시스템의 컴포넌트의 상황을 제공하기 위한 웨어러블 시스템은, 광 패턴을 출력하도록 구성된 광 방출부를 포함하는 핸드헬드 사용자 입력 디바이스; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 사용자의 환경에서 가상 오브젝트를 식별하고; 가상 오브젝트의 상황을 결정하고; 가상 오브젝트의 상황에 적어도 부분적으로 기반하여 광 패턴의 배치 또는 움직임을 결정하고; 그리고 상황을 나타내는 광 패턴에 따라 조명하도록 광 방출부에게 지시하도록 프로그래밍된다.
[0608] 제201 양상에 있어서, 핸드헬드 사용자 입력 디바이스의 광 패턴의 배치 또는 움직임을 구성하기 위한 시스템은 프로그래밍 사용자 인터페이스를 포함하고, 프로그래밍 사용자 인터페이스는: 핸드헬드 사용자 입력 디바이스 상에서 광 패턴의 배치 또는 움직임과 연관된 입력을 수신하고 ―핸드헬드 사용자 입력 디바이스는 광 패턴을 출력하도록 구성된 광 방출부를 포함함―; 핸드헬드 사용자 입력 디바이스의 시각적 표현상에 광 패턴의 배치 또는 움직임의 시각화를 제공하고; 그리고 광 패턴의 배치 또는 움직임을 반영하도록 핸드헬드 사용자 입력 디바이스와 연관된 명령들을 업데이트하도록 구성된다.
[0609] 제202 양상에 있어서, 제201 양상의 시스템에서, 광 패턴은 광 방출부에 대한 포지션, 시각적 효과, 형상, 길이 또는 컬러와 연관된다.
[0610] 제203 양상에 있어서, 제202 양상의 시스템에서, 시각적 효과는, 광 방출부에 대한 포지션의 변화, 길이의 변화, 형상의 변화, 컬러의 변화, 회전, 플래시, 깜빡임(blink), 페이드-아웃(fade-out), 또는 페이드-인(fade-in)을 포함한다.
[0611] 제204 양상에 있어서, 제201 내지 제203 양상들 중 어느 한 양상의 시스템에서, 프로그래밍 사용자 인터페이스는 추가로, 시각화 탭, 소스 코드 탭, 또는 패턴 조정 툴을 디스플레이하도록 구성된다.
[0612] 제205 양상에 있어서, 머리-장착 디스플레이 시스템은, 사용자 입력을 받아들이도록 구성된 터치패드 및 복수의 광 패턴들로부터 제1 광 패턴을 출력하도록 구성된 광 방출부를 포함하는 핸드헬드 사용자 입력 디바이스 ―광 방출부는 터치패드를 적어도 부분적으로 둘러쌈―; 및 머리-장착 디스플레이 시스템의 사용자에게 가상 이미지들을 제공하도록 구성된 머리-장착 디스플레이를 포함한다.
[0613] 제206 양상에 있어서, 제205 양상의 머리-장착 디스플레이 시스템에서, 머리-장착 디스플레이는 복수의 깊이 평면들에 가상 이미지들을 제공하도록 구성된 디스플레이 또는 광 필드 디스플레이를 포함한다.
[0614] 제207 양상에 있어서, 제205 또는 제206 양상의 머리-장착 디스플레이 시스템에서, 핸드헬드 사용자 입력 디바이스는, (1) 터치패드를 통해 수신된 사용자 입력, (2) 광 방출부의 터치 감지부로부터 수신된 사용자 입력, (3) 콘텍스추얼 정보, 또는 (4) 머리-장착 디스플레이로부터의 통신 중 하나 이상에 대한 응답으로, 제1 광 패턴을 복수의 광 패턴들로부터의 제2 광 패턴으로 변경시키도록 구성된다.
[0615] 제146 내지 제207 양상들을 참조로 설명된 광 방출부는, 광 가이드, LED들, 또는 광 패턴들의 조명들을 가능하게 하는 사용자 입력 디바이스의 다른 컴포넌트들을 개별적으로 또는 조합하여 포함할 수 있다. 제1 내지 제128 양상들은 광 방출 어셈블리란 어구를 사용하지만, 이들 양상들은 또한, 대신 광 방출부를 언급할 수 있다.
추가적인 고려사항들
[0616] 본원에서 설명되고 그리고/또는 첨부 도면들에 묘사된 프로세스들, 방법들, 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로, 및/또는 특정한 그리고 특별한 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고 그리고 그 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들 또는 특수 목적 컴퓨터들, 특수 목적 회로 등으로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들)을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나, 또는 해석형 프로그래밍 언어로 쓰여질 수 있다. 일부 구현들에서, 특정 동작들 및 방법들은 정해진 기능에 특정적인 회로에 의해 수행될 수 있다.
[0617] 추가로, 본 개시내용의 기능성의 특정 구현들은 충분히 수학적으로, 계산상으로, 또는 기술적으로 복잡하여, (적합한 전문화된 실행가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은, 예컨대 수반되는 계산들의 볼륨 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 기능성을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만 개의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상업적으로 합리적인 시간량에서 원하는 이미지 프로세싱 임무 또는 애플리케이션을 제공하기 위해, 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0618] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비-일시적 컴퓨터-판독가능한 매체, 이를테면, 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 스토리지, 이들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능한 송신 매체들 상에서 송신될 수 있고, 그리고 (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 타입의 비-일시적, 유형적인 컴퓨터 스토리지에 영구적으로 또는 다른 방식으로 저장될 수 있거나 또는 컴퓨터-판독가능한 송신 매체를 통해 통신될 수 있다.
[0619] 본원에서 설명되고 그리고/또는 첨부 도면들에 묘사된 흐름도들에서 임의의 프로세스들, 블록들, 상태들, 단계들, 또는 기능성들은 (예컨대, 논리적 또는 산술적) 특정한 기능들 또는 프로세스의 단계들을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 일부들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들로부터 조합되거나, 재배열되거나, 추가되거나, 삭제되거나, 수정되거나, 또는 다른 방식으로 변경될 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들의 일부 또는 모두를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한, 임의의 특정 시퀀스로 제한되지 않고, 이에 관련된 블록들, 단계들 또는 상태들은 적합한 다른 시퀀스들로, 예컨대 직렬로, 병렬로, 또는 일부 다른 방식으로 수행될 수 있다. 임무들 또는 이벤트들은 개시된 예시적인 실시예들에 추가되거나 또는 이들로부터 제거될 수 있다. 게다가, 본원에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이고 모든 구현들에서 그러한 분리를 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품으로 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 많은 구현 변동들이 가능하다.
[0620] 프로세스들, 방법들, 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, LAN(local area network)들, WAN(wide area network)들, PAN(personal area network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷, 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 타입의 통신 네트워크일 수 있다.
[0621] 본 개시내용의 시스템들 및 방법들 각각은 몇몇의 혁신적인 양상들을 가지며, 이 양상들 중 어떤 단일의 양상도 본원에서 개시된 바람직한 속성들에 대해 단독으로 담당하거나 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 있도록 의도된다. 본 개시내용에 설명된 구현들에 대한 다양한 수정들은 당업자들에게 쉽게 자명할 수 있고, 그리고 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에 도시된 구현들로 제한되는 것으로 의도되는 것이 아니라, 본 개시내용, 본원에서 개시된 원리들 및 신규 특징들과 일치하는 가장 넓은 범위에 부합될 것이다.
[0622] 별개의 구현들의 맥락에서 본 명세서에 설명된 특정 특징들은 또한, 단일 구현으로 조합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별도로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 게다가, 비록 특징들이 특정 조합들로 작용하는 것으로서 위에서 설명될 수 있고, 심지어 그와 같이 초기에 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우들에서 조합으로부터 제거될 수 있고, 그리고 청구된 조합은 서브조합 또는 서브조합의 변형에 관련될 수 있다. 어떤 단일 특징들 또는 특징들의 그룹도 각각의 모든 실시예에 필요하거나 필수적인 것은 아니다.
[0623] 구체적으로 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않는 한, 본원에서 사용된 조건어, 이를테면, 특히, "할 수 있다" 및 "예컨대" 등은 일반적으로, 특정 실시예들이 특정 특징들, 엘리먼트들 및/또는 단계들을 포함하지만, 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들 및/또는 단계들이 어쨌든 하나 이상의 실시예들을 위해 요구된다는 것, 또는 하나 이상의 실시예들이, 저자 입력 또는 촉구를 사용하여 또는 이들을 사용하지 않고, 이들 특징들, 엘리먼트들 및/또는 단계들이 임의의 특정 실시예에 포함되는지 아니면 이 임의의 특정 실시예에서 수행되는지를 판단하기 위한 로직을 반드시 포함하는 것을 암시하도록 의도되지 않는다. "포함하는", "구비하는", "갖는" 등의 용어들은 동의어이고, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되고, 그리고 추가적인 엘리먼트들, 특징들, 행위들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 포괄적인 의미(및 이의 배타적 의미가 아님)로 사용되어서, 예컨대 엘리먼트들의 리스트를 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내 엘리먼트들 중 하나, 일부 또는 모두를 의미한다. 게다가, 본 출원 및 첨부된 청구항들에 사용된 단수 표현들은 다르게 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0624] 본원에서 사용된 바와 같이, 아이템들의 리스트 중 "적어도 하나"를 지칭하는 어구는, 단일 멤버들을 포함하여, 이들 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는: A, B, C, A 및 B, A 및 C, B 및 C, 및 A, B 및 C를 커버하도록 의도된다. 구체적으로 다르게 언급되지 않는 한, "X, Y 및 Z 중 적어도 하나"라는 어구와 같은 연결어는, 일반적으로 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 사용되는 맥락으로 달리 이해된다. 따라서, 그러한 연결어는 일반적으로, 특정 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하도록 의도되지 않는다.
[0625] 유사하게, 동작들이 특정 순서로 도면들에 묘사될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행될 필요가 없거나, 또는 모든 예시된 동작들이 수행될 필요가 없다는 것이 인식되어야 한다. 추가로, 도면들은 흐름도 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들은 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 추가적인 동작들은 예시된 동작들 중 임의의 동작 전에, 후에, 동시적으로, 또는 사이에 수행될 수 있다. 추가적으로, 동작들은 다른 구현들에서 재배열되거나 재정렬될 수 있다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 구현들에서 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로 이해되지 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합될 수 있거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 추가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 언급된 액션들은 상이한 순서로 수행될 수 있고 여전히 원하는 결과들을 달성할 수 있다.

Claims (129)

  1. 시스템으로서,
    사용자 입력 디바이스의 광 방출 어셈블리 ―상기 광 방출 어셈블리는 환경에 있는 오브젝트의 정보를 제공하기 위해 복수의 광 패턴들을 조명하도록 구성됨―; 및
    상기 광 방출 어셈블리에 통신가능하게 커플링된 하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    사용자의 환경에서 오브젝트를 식별하고;
    상기 오브젝트와 연관된 콘텍스추얼 정보(contextual information)에 액세스하고;
    상기 콘텍스추얼 정보에 적어도 부분적으로 기반하여 상기 광 방출 어셈블리에 의해 조명될 광 패턴의 특징을 결정하고; 그리고
    상기 광 패턴에 따라 조명하도록 상기 광 방출 어셈블리에게 지시하도록 프로그래밍되는, 시스템.
  2. 제1 항에 있어서,
    상기 오브젝트는 물리적 오브젝트 또는 가상 오브젝트 중 적어도 하나를 포함하는, 시스템.
  3. 제2 항에 있어서,
    상기 광 패턴은 상기 가상 오브젝트의 상황을 표시하고, 그리고 상기 가상 오브젝트의 상기 상황은, 상기 사용자에 의한 상기 가상 오브젝트와의 현재 상호작용, 상기 가상 오브젝트가 새로운 정보를 수신했는지 여부, 상기 가상 오브젝트가 아이들(idle)인지 여부, 또는 상기 가상 오브젝트가 에러 상태에 있는지 여부 중 적어도 하나를 포함하는, 시스템.
  4. 제1 항에 있어서,
    상기 광 패턴의 특징은 밝기, 포지션, 형상, 사이즈 또는 컬러 중 적어도 하나를 포함하는, 시스템.
  5. 제1 항에 있어서,
    상기 오브젝트와 연관된 콘텍스추얼 정보는, 상기 오브젝트의 위치, 상기 오브젝트의 긴급성(urgency), 상기 오브젝트의 타입, 상기 오브젝트의 특성, 상기 오브젝트와 연관된 정보의 양, 또는 상기 사용자의 선호도 중 적어도 하나를 포함하는, 시스템.
  6. 제1 항에 있어서,
    상기 시스템은 웨어러블 디스플레이 디바이스를 더 포함하고, 상기 오브젝트는 사용자의 뷰(view)로부터 비가시적이거나 상기 웨어러블 디스플레이 디바이스를 통해 외부에 있고, 상기 하드웨어 프로세서는 상기 오브젝트를 위치시키기 위한 큐(cue)를 사용자에게 제공하기 위해 상기 광 패턴의 사이즈, 형상, 또는 컬러 중 적어도 하나를 결정하도록 프로그래밍되는, 시스템.
  7. 제1 항에 있어서,
    상기 오브젝트는, 가상 콘텐츠를 사용자에게 제공하기 위한 웨어러블 시스템의 컴포넌트이며, 상기 광 패턴은 상기 웨어러블 시스템의 컴포넌트의 상황을 표시하는, 시스템.
  8. 제7 항에 있어서,
    상기 컴포넌트는 상기 사용자 입력 디바이스, 웨어러블 디스플레이 디바이스, 또는 배터리 팩 중 적어도 하나를 포함하는, 시스템.
  9. 제7 항에 있어서,
    상기 상황은, 배터리 상황, 전력 충전 상황, 웨어러블 디스플레이 디바이스와 상기 사용자 입력 디바이스 간의 무선 페어링 상황, 상기 사용자 입력 디바이스의 교정 프로세스의 상황, 또는 상기 웨어러블 디스플레이 디바이스의 상황 중 적어도 하나를 포함하는, 시스템.
  10. 제1 항에 있어서,
    상기 광 패턴은 상기 오브젝트와 연관된 경고(alert) 또는 정보를 인코딩하는, 시스템.
  11. 제1 항에 있어서,
    상기 오브젝트의 상황은:
    상기 사용자에 의한 상기 오브젝트와의 현재 상호작용,
    상기 오브젝트가 새로운 정보를 수신했는지 여부,
    상기 오브젝트가 아이들인지 여부, 또는
    상기 오브젝트가 에러 상태에 있는지 여부 중 적어도 하나를 포함하는, 시스템.
  12. 제1 항에 있어서,
    상기 광 패턴들의 특징은 애플리케이션 프로그래밍 인터페이스를 통해 사용자에 의해 구성가능한, 시스템.
  13. 광-방출 사용자 입력 디바이스로서,
    사용자 입력을 받아들이도록(accept) 구성된 터치 컴포넌트;
    복수의 광 패턴들을 출력하도록 구성된 광 방출 어셈블리 ―상기 광 방출 어셈블리는 상기 터치 컴포넌트를 적어도 부분적으로 둘러쌈―; 및
    상기 터치 컴포넌트 및 상기 광 방출 어셈블리와 통신가능하게 커플링된 하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    콘텍스추얼 정보에 기반하여 상기 터치 컴포넌트에 의해 지원되는 사용자 인터페이스 동작을 식별하고;
    상기 사용자 인터페이스 동작과 연관된 제1 광 패턴을 결정하고;
    제1 광 패턴을 갖는 헤일로(halo)를 디스플레이하기 위한 명령들을 생성하여 상기 광 방출 어셈블리에 송신하고;
    상기 터치 컴포넌트에 대한 사용자 입력을 수신하고; 그리고
    상기 사용자 입력을 반영하도록 제2 광 패턴으로 상기 헤일로를 업데이트하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 방법으로서,
    하드웨어 프로세서의 제어 하에:
    콘텍스추얼 정보에 기반하여 광-방출 사용자 입력 디바이스에 의해 지원되는 사용자 입력의 타입을 식별하는 단계 ―상기 광-방출 사용자 입력 디바이스는 복수의 광 패턴들을 조명하기 위한 제1 엘리먼트 및 사용자 입력들을 수신하기 위한 제2 엘리먼트를 포함함―;
    지원되는 사용자 입력의 타입과 연관된 제1 광 패턴을 결정하는 단계;
    상기 제1 광 패턴을 갖는 헤일로를 조명하기 위한 명령들을 생성하여 상기 제1 엘리먼트에 송신하는 단계;
    상기 광-방출 사용자 입력 디바이스에 대한 사용자 입력에 기반하여 제2 광 패턴을 결정하는 단계; 및
    상기 사용자 입력에 대한 응답으로 상기 헤일로를 상기 제2 광 패턴으로 업데이트하는 단계
    를 포함하는, 방법.
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 광-방출 사용자 입력 디바이스로서,
    사용자 입력들을 수신하도록 구성된 복수의 상호작용가능한 구역(interactable region)들 ―상기 복수의 상호작용가능한 구역들 중 적어도 하나의 상호작용가능한 구역은 상기 광-방출 사용자 입력 디바이스의 광 방출 어셈블리의 일부임―; 및
    하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    상기 광-방출 사용자 입력 디바이스에 대한 사용자의 작동(actuation)을 검출하고;
    상기 복수의 상호작용가능한 구역들 중, 상기 사용자의 작동에 대응하는 상호작용가능한 구역을 결정하고;
    적어도 상기 작동의 타입 및 상기 작동과 연관된 상호작용 구역에 기반하여, 상기 사용자의 작동을, 사용자 인터페이스 동작을 수행하기 위한 사용자 입력으로 전환하고; 그리고
    상기 사용자 입력에 대한 응답으로, 광 패턴을 조명하도록 상기 광 방출 어셈블리에게 명령하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스.
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 방법으로서,
    하드웨어 프로세서의 제어 하에:
    광-방출 사용자 입력 디바이스에 대한 사용자의 작동을 검출하는 단계 ―상기 광-방출 사용자 입력 디바이스는 복수의 상호작용가능한 구역들을 포함함 ―;
    상기 복수의 상호작용가능한 구역들 중, 상기 사용자의 작동에 대응하는 상호작용가능한 구역을 결정하는 단계;
    적어도 상기 작동의 타입 및 상기 작동과 연관된 상호작용 구역에 기반하여, 상기 사용자의 작동을, 사용자 인터페이스 동작을 수행하기 위한 사용자 입력으로 전환하는 단계; 및
    상기 사용자 입력에 대한 응답으로, 광-방출 사용자 입력 디바이스의 광 방출 어셈블리로 하여금 광 패턴을 조명하게 하는 단계
    를 포함하는, 방법.
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템으로서,
    환경을 이미징하도록 구성된 외향(outward-facing) 이미징 시스템;
    광 패턴을 조명하도록 구성된 광-방출 사용자 입력 디바이스; 및
    상기 외향 이미징 시스템 및 상기 광-방출 사용자 입력 디바이스와 통신하는 하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    제1 포즈에서 제2 포즈로의 상기 광-방출 사용자 입력 디바이스의 움직임과 연관된, 상기 광-방출 사용자 입력 디바이스의 센서에 의해 획득되는 제1 움직임 데이터에 액세스하고;
    상기 광-방출 사용자 입력 디바이스의 제1 이미지를 결정하고 ―상기 제1 이미지는 상기 광-방출 사용자 입력 디바이스의 상기 제1 포즈에 해당하는 광 패턴을 포함함―;
    상기 외향 이미징 시스템에 의해 획득되는, 상기 광-방출 사용자 입력 디바이스의 제2 이미지를 결정하고 ―상기 제2 이미지는 상기 광-방출 사용자 입력 디바이스의 상기 제2 포즈에 해당하는 광 패턴을 포함함―;
    상기 광-방출 사용자 입력 디바이스의 움직임과 연관된 제2 움직임 데이터를 계산하기 위해 상기 제2 이미지를 분석하고;
    상기 제1 움직임 데이터와 상기 제2 움직임 데이터 간의 차이를 검출하고; 그리고
    상기 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 상기 광-방출 사용자 입력 디바이스의 센서로 하여금 교정되게 하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템.
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 광-방출 사용자 입력 디바이스를 교정하는 방법으로서,
    하드웨어 프로세서의 제어 하에:
    포즈에서 광-방출 사용자 입력 디바이스의 움직임 데이터를 수신하는 단계 ― 상기 움직임 데이터는 상기 광-방출 사용자 입력 디바이스의 센서에 의해 획득됨―;
    상기 포즈에서 상기 광-방출 사용자 입력 디바이스의 이미지를 수신하는 단계;
    상기 광-방출 사용자 입력 디바이스에 의해 조명되는 광 패턴의 형상을 식별하기 위해 상기 이미지를 분석하는 단계;
    상기 움직임 데이터에 기반하여 상기 포즈에서 상기 광-방출 사용자 입력 디바이스의 제1 포지션 또는 제1 배향 중 적어도 하나를 계산하는 단계;
    상기 광 패턴의 형상에 기반하여 상기 포즈에서 상기 광-방출 사용자 입력 디바이스의 제2 포지션 또는 제2 배향 중 적어도 하나를 계산하는 단계;
    상기 제1 포지션과 상기 제2 포지션, 또는 상기 제1 배향과 상기 제2 배향 간의 차이를 결정하는 단계; 및
    상기 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 상기 광-방출 사용자 입력 디바이스의 상기 센서를 교정하는 단계
    를 포함하는, 광-방출 사용자 입력 디바이스를 교정하는 방법.
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템으로서,
    환경을 이미징하도록 구성된 외향 이미징 시스템; 및
    상기 외향 이미징 시스템과 통신하는 하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    상기 환경의 이미지를 수신하고;
    광-방출 사용자 입력 디바이스를 식별하기 위해 상기 이미지를 분석하고;
    상기 광-방출 사용자 입력 디바이스의 제1 포즈 및 조명된 헤일로의 광 패턴의 제1 외관(appearance)을 결정하고;
    상기 이미지의 분석에 적어도 부분적으로 기반하여, 상기 조명된 헤일로의 광 패턴의 제2 외관을 식별하고;
    상기 광-방출 사용자 입력 디바이스의 포즈에 대한 제1 변화를 결정하고;
    상기 광-방출 사용자 입력 디바이스에 의해 측정되는 상기 광-방출 사용자 입력 디바이스의 움직임 데이터를 수신하고;
    상기 이미지의 분석에 적어도 부분적으로 기반하여, 상기 광-방출 사용자 입력 디바이스의 포즈에 대한 제2 변화를 계산하고;
    상기 제1 변화와 상기 제2 변화 간의 차이를 계산하여 상기 차이가 임계치를 넘는지 여부를 결정하고; 그리고
    상기 차이가 임계 조건을 넘는다는 결정에 대한 응답으로, 상기 광-방출 사용자 입력 디바이스의 센서를 교정하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템.
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 광 방출 어셈블리 및 하드웨어 프로세서를 포함하는 광-방출 사용자 입력 디바이스의 제어 하에:
    상기 광-방출 사용자 입력 디바이스의 제1 포즈를 결정하는 단계;
    상기 광 방출 어셈블리로 하여금, 상기 광-방출 사용자 입력 디바이스를 제2 포즈로 이동시키도록 사용자를 안내하기 위해 제1 광 패턴을 조명하게 하는 단계;
    상기 광-방출 사용자 입력 디바이스가 제2 포즈로 이동된다는 결정에 대한 응답으로, 상기 광-방출 사용자 입력 디바이스의 포즈 데이터를 획득하는 단계;
    상기 포즈 데이터에 적어도 부분적으로 기반하여 상기 광-방출 사용자 입력 디바이스를 교정하는 단계; 및
    교정 프로세스가 완료되었다는 표시를 상기 사용자에게 제공하는 단계
    를 포함하는, 광-방출 사용자 입력 디바이스를 교정하기 위한 방법.
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템으로서,
    상기 광-방출 사용자 입력 디바이스의 움직임 데이터를 획득하도록 구성된 하나 이상의 센서들;
    복수의 광 패턴들을 출력하도록 구성된, 상기 광-방출 사용자 입력 디바이스의 광 방출 어셈블리; 및
    하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    포즈에 상기 광-방출 사용자 입력 디바이스를 포지셔닝하기 위한 제1 표시를 사용자에게 제공하고;
    상기 포즈에 대한 상기 광-방출 사용자 입력 디바이스의 움직임 데이터를 획득하고;
    상기 움직임 데이터에 적어도 부분적으로 기반하여 상기 광-방출 사용자 입력 디바이스를 교정하고; 그리고
    교정 프로세스가 완료되었다는 표시를 상기 사용자에게 제공하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스를 교정하기 위한 시스템.
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 광-방출 사용자 입력 디바이스를 페어링하기 위한 웨어러블 디바이스로서,
    환경을 이미징하도록 구성된 외향 이미징 시스템; 및
    상기 외향 이미징 시스템과 통신하는 하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    상기 외향 이미징 시스템에 의해 획득된 이미지를 수신하고 ―상기 이미지는 광-방출 사용자 입력 디바이스에 의해 조명되는 광 패턴을 포함함―;
    상기 웨어러블 디바이스와 페어링될 광-방출 사용자 입력 디바이스를 식별하고;
    상기 광-방출 사용자 입력 디바이스를 웨어러블 디바이스와 페어링하는 것과 연관된 정보를 인코딩하는 광 패턴을 식별하기 위해 상기 이미지를 분석하고;
    상기 광-방출 사용자 입력 디바이스를 상기 웨어러블 디바이스와 페어링하기 위해, 상기 광 패턴에 인코딩된 정보를 추출하고; 그리고
    상기 추출된 정보에 적어도 부분적으로 기반하여 상기 광-방출 사용자 입력 디바이스를 상기 웨어러블 디바이스와 페어링하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스를 페어링하기 위한 웨어러블 디바이스.
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 광-방출 사용자 입력 디바이스를 페어링하기 위한 방법으로서,
    하드웨어 프로세서의 제어 하에:
    광-방출 사용자 입력 디바이스와 전자 디바이스 간의 페어링 프로세스를 개시하는 단계;
    카메라에 의해 획득된 이미지에 액세스하는 단계 ―상기 이미지는 상기 광-방출 사용자 입력 디바이스에 의해 조명되는 광 패턴을 포함함―;
    상기 전자 디바이스와 페어링될 광-방출 사용자 입력 디바이스를 식별하는 단계;
    상기 광-방출 사용자 입력 디바이스를 상기 전자 디바이스와 페어링하는 것과 연관된 정보를 인코딩하는 광 패턴을 식별하기 위해 상기 이미지를 분석하는 단계;
    상기 광-방출 사용자 입력 디바이스를 상기 전자 디바이스와 페어링하기 위해, 상기 광 패턴에 인코딩된 정보를 추출하는 단계; 및
    상기 추출된 정보에 적어도 부분적으로 기반하여 상기 광-방출 사용자 입력 디바이스를 상기 전자 디바이스와 페어링하는 단계
    를 포함하는, 광-방출 사용자 입력 디바이스를 페어링하기 위한 방법.
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 광-방출 사용자 입력 디바이스를 페어링하기 위한 시스템으로서,
    광 패턴들을 출력하도록 구성된 복수의 LED(light emitting diode)들; 및
    하드웨어 프로세서
    를 포함하고,
    상기 하드웨어 프로세서는:
    전자 디바이스와의 페어링 프로세스를 개시하고;
    상기 복수의 LED들 중 하나 이상의 LED들로 하여금, 상기 페어링 프로세스에 대한 정보를 인코딩하는 제1 광 패턴을 조명하게 하고; 그리고
    상기 전자 디바이스가 상기 광-방출 사용자 입력 디바이스와 성공적으로 페어링되었다는 결정에 대한 응답으로, 상기 페어링이 성공적임을 표시하는 제2 광 패턴을 조명하도록 프로그래밍되는, 광-방출 사용자 입력 디바이스를 페어링하기 위한 시스템.
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 방법으로서,
    복수의 광 패턴들을 조명하기 위한 광 방출 어셈블리를 포함하는 제1 전자 디바이스의 하드웨어 프로세서의 제어 하에:
    상기 제1 전자 디바이스와 제2 전자 디바이스 간의 페어링 프로세스를 개시하는 단계;
    상기 제1 전자 디바이스로 하여금, 상기 페어링 프로세스에 대한 정보를 인코딩하는 광 패턴을 조명하게 하는 단계;
    상기 제2 전자 디바이스로부터 응답을 수신하는 단계; 및
    상기 제2 전자 디바이스로부터의 응답에 적어도 부분적으로 기반하여 상기 제1 전자 디바이스의 사용자에게 표시가 제공되게 하는 단계
    를 포함하는, 방법.
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 광-방출 사용자 입력 디바이스로서,
    사용자 입력들을 수신하도록 구성된 터치패드 어셈블리; 및
    상기 터치패드 어셈블리를 지지하기 위해 포함되는 바디(body)
    를 포함하고,
    상기 터치패드 어셈블리는:
    터치 표면;
    상기 터치 표면에 커플링되는 터치 센서 ―상기 터치 센서의 적어도 일부는 상기 터치 표면의 밑에 있고 상기 터치 표면의 작동을 검출하도록 구성됨―;
    광학적 확산 엘리먼트(optical diffusive element) 및 복수의 광 조명 엘리먼트들을 포함하는 광-방출 어셈블리 ―상기 광-방출 어셈블리는 상기 터치 센서 및 상기 터치 표면에 커플링되고 복수의 광 패턴들을 디스플레이하도록 구성됨―; 및
    상기 광-방출 어셈블리 및 상기 터치 센서에 커플링되는 인쇄 회로 보드
    를 포함하는, 광-방출 사용자 입력 디바이스.
  121. 제107 항에 있어서,
    상기 광 패턴들은 헤일로의 적어도 일부를 포함하는, 광-방출 사용자 입력 디바이스를 페어링하기 위한 시스템.
  122. 제113 항에 있어서,
    상기 복수의 광 패턴들은 헤일로의 적어도 일부를 포함하는, 방법.
  123. 제107 항에 있어서,
    상기 인코딩된 정보는 바이너리 형태인, 광-방출 사용자 입력 디바이스를 페어링하기 위한 시스템.
  124. 제113 항에 있어서,
    상기 인코딩된 정보는 바이너리 형태인, 방법.
  125. 제107 항에 있어서,
    상기 인코딩된 정보는 상기 전자 디바이스가 상기 광-방출 사용자 입력 디바이스와 연결하기 위한 키를 포함하는, 광-방출 사용자 입력 디바이스를 페어링하기 위한 시스템.
  126. 제113 항에 있어서,
    상기 인코딩된 정보는 상기 제2 전자 디바이스가 상기 제1 전자 디바이스와 연결하기 위한 키를 포함하는, 방법.
  127. 삭제
  128. 삭제
  129. 삭제
KR1020197034642A 2017-04-27 2018-04-27 광-방출 사용자 입력 디바이스 KR102472428B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762490863P 2017-04-27 2017-04-27
US62/490,863 2017-04-27
PCT/US2018/029988 WO2018201067A1 (en) 2017-04-27 2018-04-27 Light-emitting user input device

Publications (2)

Publication Number Publication Date
KR20200003391A KR20200003391A (ko) 2020-01-09
KR102472428B1 true KR102472428B1 (ko) 2022-11-30

Family

ID=63916641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034642A KR102472428B1 (ko) 2017-04-27 2018-04-27 광-방출 사용자 입력 디바이스

Country Status (9)

Country Link
US (4) US11112932B2 (ko)
EP (2) EP3616040B1 (ko)
JP (4) JP7231556B2 (ko)
KR (1) KR102472428B1 (ko)
CN (2) CN117311494A (ko)
AU (1) AU2018258679B2 (ko)
CA (1) CA3059209A1 (ko)
IL (2) IL310727A (ko)
WO (1) WO2018201067A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD831652S1 (en) * 2015-08-20 2018-10-23 Brunswick Corporation Animated responsive display on a joystick
WO2017093996A1 (en) * 2015-12-02 2017-06-08 Hisep Technology Ltd. Directionally awareness of wireless sensor nodes
KR102227392B1 (ko) 2016-08-12 2021-03-11 매직 립, 인코포레이티드 단어 흐름 주석
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
WO2018201067A1 (en) 2017-04-27 2018-11-01 Magic Leap, Inc. Light-emitting user input device
US10621751B2 (en) * 2017-06-16 2020-04-14 Seiko Epson Corporation Information processing device and computer program
US10365710B2 (en) * 2017-06-23 2019-07-30 Seiko Epson Corporation Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration
EP3542252B1 (en) * 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10976811B2 (en) * 2017-08-11 2021-04-13 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and reflected light
US10970425B2 (en) 2017-12-26 2021-04-06 Seiko Epson Corporation Object detection and tracking
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US11042226B2 (en) * 2018-04-02 2021-06-22 Microsoft Technology Licensing, Llc Constellation-based augmentation of mouse form-factor for virtual reality applications
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
US10866634B2 (en) 2018-06-19 2020-12-15 Sony Interactive Entertainment Inc. Eye tracking system with holographic film decoder
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10761618B2 (en) * 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
US11144113B2 (en) * 2018-08-02 2021-10-12 Firefly Dimension, Inc. System and method for human interaction with virtual objects using reference device with fiducial pattern
US11287526B2 (en) * 2018-11-21 2022-03-29 Microsoft Technology Licensing, Llc Locating spatialized sounds nodes for echolocation using unsupervised machine learning
EP3892343A4 (en) * 2018-12-07 2022-08-24 Sony Interactive Entertainment Inc. INPUT DEVICE
US11107390B2 (en) * 2018-12-21 2021-08-31 Johnson Controls Technology Company Display device with halo
CN112809709B (zh) * 2019-01-25 2022-12-02 北京妙趣伙伴科技有限公司 机器人及其操作系统、控制装置、控制方法及存储介质
TWI725574B (zh) * 2019-02-22 2021-04-21 宏達國際電子股份有限公司 頭戴式顯示裝置以及眼球追蹤游標的顯示方法
US10838486B2 (en) 2019-02-28 2020-11-17 Microsoft Technology Licensing, Llc Virtual reality controller
USD914722S1 (en) * 2019-04-25 2021-03-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US11210932B2 (en) 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
US11086398B2 (en) * 2019-06-07 2021-08-10 Microsoft Technology Licensing, Llc Haptic rendering
GB2584721B (en) * 2019-06-13 2023-05-10 Yoto Ltd An interactive apparatus
KR102570009B1 (ko) * 2019-07-31 2023-08-23 삼성전자주식회사 Ar 객체 생성 방법 및 전자 장치
US10931002B1 (en) 2019-09-23 2021-02-23 Disney Enterprises, Inc. Light transmitting wearable device with transparent and translucent components
CN112783322A (zh) * 2019-11-11 2021-05-11 斯平玛斯特有限公司 增强现实系统
US11681362B2 (en) * 2019-11-26 2023-06-20 Magic Leap, Inc. Enhanced eye tracking for augmented or virtual reality display systems
JP2021086586A (ja) * 2019-11-29 2021-06-03 キヤノン株式会社 表示制御装置及びその制御方法
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
WO2021171915A1 (ja) * 2020-02-28 2021-09-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ スマート窓装置、映像表示方法及びプログラム
CN113384870B (zh) * 2020-03-13 2023-11-03 致伸科技股份有限公司 摇杆模块
US11573644B2 (en) * 2020-04-21 2023-02-07 Hyundai Mobis Co., Ltd. Apparatus and method for recognizing gesture
US11582409B2 (en) * 2020-06-29 2023-02-14 Snap Inc. Visual-inertial tracking using rolling shutter cameras
USD938988S1 (en) * 2020-06-30 2021-12-21 Spotify Ab Display screen with graphical user interface
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
EP4181993A1 (en) 2020-07-16 2023-05-24 Invacare Corporation System and method for concentrating gas
JP7430024B2 (ja) 2020-07-16 2024-02-09 ベンテック ライフ システムズ， インコーポレイテッド ガスを濃縮するためのシステムおよび方法
US11320896B2 (en) * 2020-08-03 2022-05-03 Facebook Technologies, Llc. Systems and methods for object tracking using fused data
US11520152B1 (en) * 2020-08-06 2022-12-06 Apple Inc. Head-mounted display systems with gaze tracker alignment monitoring
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
WO2022086002A1 (en) * 2020-10-20 2022-04-28 Samsung Electronics Co., Ltd. Waveguide structure with segmented diffractive optical elements and near-eye display apparatus employing the same
WO2022093219A1 (en) * 2020-10-28 2022-05-05 Hewlett-Packard Development Company, L.P. Virtual reality headset with physical object representation
US11500463B2 (en) * 2020-12-30 2022-11-15 Imagine Technologies, Inc. Wearable electroencephalography sensor and device control methods using same
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
WO2022170221A1 (en) * 2021-02-08 2022-08-11 Multinarity Ltd Extended reality for productivity
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP2024506630A (ja) 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
EP4059582A1 (en) * 2021-03-16 2022-09-21 UDU ApS Mobile handheld gaming controller
JP7311550B2 (ja) * 2021-03-25 2023-07-19 株式会社ソニー・インタラクティブエンタテインメント 入力デバイス
US11838991B2 (en) * 2021-05-26 2023-12-05 Microsoft Technology Licensing, Llc Peer-to-peer communication via smart wearables
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230062244A1 (en) * 2021-09-01 2023-03-02 Qualcomm Incorporated Extended reality control of smart devices
CN114019031B (zh) * 2021-09-13 2023-10-13 上海工程技术大学 力触觉系统主端操作机构及力触觉核电装备运维装置
WO2023064342A1 (en) * 2021-10-12 2023-04-20 Tandem Diabetes Care, Inc. Systems and method of pairing an infusion pump with a remote control device
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
CN117440554B (zh) * 2023-12-20 2024-04-02 深圳市正远科技有限公司 基于数字化实现led光源的场景建模方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194687A1 (en) * 2005-05-27 2010-08-05 Sony Computer Entertainment Inc. Remote input device

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5704151A (en) * 1995-03-24 1998-01-06 James Paul West Portable battery-powered safety lock
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
USD432131S (en) 1999-12-17 2000-10-17 Microsoft Corporation Track ball and glow ring for a computer input device
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US20060103633A1 (en) 2004-11-17 2006-05-18 Atrua Technologies, Inc. Customizable touch input module for an electronic device
US20060181521A1 (en) * 2005-02-14 2006-08-17 Atrua Technologies, Inc. Systems for dynamically illuminating touch sensors
KR100811160B1 (ko) 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
KR100538572B1 (ko) * 2005-06-14 2005-12-23 (주)멜파스 시각적 입력 피드백을 포함하는 사용자 접촉 기반의 디지털기기 제어 장치 및 방법
USD567243S1 (en) 2005-08-17 2008-04-22 Nintendo Co., Ltd. Controller for electronic game machine
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
USD563480S1 (en) 2005-12-15 2008-03-04 Microsoft Corporation Portion of a gaming input device having an illuminated region
USD565668S1 (en) 2005-12-15 2008-04-01 Microsoft Corporation Portion of a gaming input device having an illuminated region
USD567287S1 (en) 2006-03-28 2008-04-22 Anand International Pen
DE102006037545B4 (de) * 2006-08-10 2015-05-28 Ferton Holding S.A. Bedienelement und Verfahren zur Eingabe von Werten an einem medizinischen Gerät
GB0711355D0 (en) 2007-06-12 2007-07-25 Saitek P L C Video game controller
US20090002218A1 (en) 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
USD611477S1 (en) 2007-10-17 2010-03-09 Zeemote, Inc. Wireless handheld controller
USD589515S1 (en) 2007-10-17 2009-03-31 Zeenote, Inc. Wireless handheld controller
JP4626671B2 (ja) 2008-04-24 2011-02-09 ソニー株式会社 入力装置及び制御システム
TWI360068B (en) * 2008-05-30 2012-03-11 Asustek Comp Inc Pointing device and method for determining rotatio
JP2010015535A (ja) 2008-06-02 2010-01-21 Sony Corp 入力装置、制御システム、ハンドヘルド装置及び校正方法
US20100019468A1 (en) * 2008-06-21 2010-01-28 Price L Jay Apparatus, system and method for accessing the engine compartment of a vehicle
USD587713S1 (en) 2008-07-11 2009-03-03 Sutton Sales Llc Controller for electronic game machine
USD594066S1 (en) 2008-07-25 2009-06-09 Sony Computer Entertainment Inc. Hand held game controller
US8138938B2 (en) 2008-10-28 2012-03-20 The Boeing Company Hand-held positioning interface for spatial query
JP5453006B2 (ja) 2009-07-21 2014-03-26 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
CN103182183B (zh) * 2009-12-24 2015-10-28 索尼电脑娱乐公司 无线装置配对方法和系统
USD638841S1 (en) 2010-09-18 2011-05-31 Ailive Inc. Game controller
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
NZ725592A (en) 2010-12-24 2018-05-25 Magic Leap Inc An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP3462286A1 (en) 2011-05-06 2019-04-03 Magic Leap, Inc. Massive simultaneous remote digital presence world
USD665461S1 (en) 2011-06-07 2012-08-14 Microsoft Corporation Game controller
USD658184S1 (en) 2011-06-13 2012-04-24 Hon Hai Precision Industry Co., Ltd. Controlling handle
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
BR112014010230A8 (pt) 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
JP6250547B2 (ja) 2011-11-23 2017-12-20 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． ３次元仮想現実および拡張現実表示システム
KR102223290B1 (ko) 2012-04-05 2021-03-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
USD698358S1 (en) 2012-05-03 2014-01-28 Apem, Inc. Handheld controller
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
NZ702897A (en) 2012-06-11 2017-03-31 Magic Leap Inc Multiple depth plane three-dimensional display using a wave guide reflector array projector
USD675644S1 (en) 2012-07-17 2013-02-05 Nike, Inc. Display screen with animated user interface
CN104813218A (zh) 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学系统
US10444845B2 (en) * 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
KR102141992B1 (ko) 2013-01-15 2020-08-06 매직 립, 인코포레이티드 초고해상도 스캐닝 섬유 디스플레이
EP4193906A1 (en) 2013-03-11 2023-06-14 Magic Leap, Inc. Method for augmented and virtual reality
USD725040S1 (en) 2013-03-15 2015-03-24 Microsoft Corporation Connector
CN107656618B (zh) 2013-03-15 2021-03-23 奇跃公司 显示系统和方法
EP2797313A1 (en) * 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
EP3054693B1 (en) * 2013-10-02 2019-12-25 Samsung Electronics Co., Ltd Image display apparatus and pointing method for same
JP6200756B2 (ja) 2013-10-02 2017-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム
US9470906B2 (en) 2013-10-16 2016-10-18 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
USD749044S1 (en) 2013-10-17 2016-02-09 Microsoft Mobile Oy Charger
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
KR102651578B1 (ko) 2013-11-27 2024-03-25 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
USD740369S1 (en) 2013-12-26 2015-10-06 Lg Electronics Inc. Controller for electronic learning device
US9524580B2 (en) 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
CN106233189B (zh) 2014-01-31 2020-06-26 奇跃公司 多焦点显示系统和方法
CA2841371A1 (en) 2014-01-31 2015-07-31 Usquare Soft Inc. Devices and methods for portable processing and application execution
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2015139005A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
NZ727350A (en) 2014-05-30 2020-08-28 Magic Leap Inc Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
USD755761S1 (en) 2014-08-13 2016-05-10 Comcast Cable Communications, Llc Electronic housing with illuminated region
USD769876S1 (en) 2014-08-29 2016-10-25 Apple Inc. Component for electronic device
US10534447B2 (en) 2014-09-01 2020-01-14 Yinbo Li Multi-surface controller
US10444849B2 (en) 2014-09-01 2019-10-15 Yinbo Li Multi-surface controller
WO2016036711A1 (en) * 2014-09-01 2016-03-10 Cleverpet Llc Animal interaction device, system, and method
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
US10265043B2 (en) * 2014-10-14 2019-04-23 M3Dicine Ip Pty Ltd Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic
USD753095S1 (en) 2014-12-11 2016-04-05 Comcast Cable Communications, Llc Remote and base with illuminated region
WO2016104922A1 (ko) 2014-12-24 2016-06-30 전자부품연구원 웨어러블 전자기기
JP2016162368A (ja) 2015-03-04 2016-09-05 ソニー株式会社 制御装置、制御方法、およびプログラム
EP3265866B1 (en) 2015-03-05 2022-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US10412173B2 (en) * 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
USD763359S1 (en) 2015-05-29 2016-08-09 Vtech Electronics, Ltd. Game controller
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
US10338673B2 (en) 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
CN105975082B (zh) * 2016-05-27 2019-01-15 北京小鸟看看科技有限公司 一种应用于虚拟现实头戴设备的手柄控制器
AU2017317600B2 (en) 2016-08-22 2021-12-09 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
USD797743S1 (en) 2016-08-22 2017-09-19 Magic Leap, Inc. Totem controller
KR102334821B1 (ko) * 2016-09-26 2021-12-07 스냅 인코포레이티드 광학 코드들에 의한 디바이스 페어링
WO2018201067A1 (en) 2017-04-27 2018-11-01 Magic Leap, Inc. Light-emitting user input device
USD844608S1 (en) 2017-04-28 2019-04-02 Facebook Technologies, Llc Electronic input device
USD828337S1 (en) 2017-06-20 2018-09-11 Yinbo Li Multi-surface controller
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
USD884700S1 (en) 2018-08-30 2020-05-19 Shenzhen Grandsun Electronic Co., Ltd. Remote controller

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194687A1 (en) * 2005-05-27 2010-08-05 Sony Computer Entertainment Inc. Remote input device

Also Published As

Publication number Publication date
EP4141623A1 (en) 2023-03-01
US11112932B2 (en) 2021-09-07
IL270146B1 (en) 2024-03-01
WO2018201067A1 (en) 2018-11-01
US20180314416A1 (en) 2018-11-01
US20230221831A1 (en) 2023-07-13
JP2023052570A (ja) 2023-04-11
US11573677B2 (en) 2023-02-07
JP2020518902A (ja) 2020-06-25
JP7385078B1 (ja) 2023-11-21
US11163416B2 (en) 2021-11-02
AU2018258679A1 (en) 2019-11-07
CN110832439A (zh) 2020-02-21
IL310727A (en) 2024-04-01
CN110832439B (zh) 2023-09-29
JP2023169895A (ja) 2023-11-30
US20220019333A1 (en) 2022-01-20
EP4141623B1 (en) 2024-05-29
JP2023179746A (ja) 2023-12-19
CN117311494A (zh) 2023-12-29
EP3616040A1 (en) 2020-03-04
EP3616040A4 (en) 2020-12-23
JP7231556B2 (ja) 2023-03-01
CA3059209A1 (en) 2018-11-01
EP3616040B1 (en) 2022-09-28
JP7335462B2 (ja) 2023-08-29
IL270146A (en) 2019-12-31
KR20200003391A (ko) 2020-01-09
AU2018258679B2 (en) 2022-03-31
US20180314406A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
KR102472428B1 (ko) 광-방출 사용자 입력 디바이스
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
KR102413561B1 (ko) 혼합 현실 환경의 가상 사용자 입력 콘트롤들
JP7118007B2 (ja) 視野周辺の視覚的背光
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
JP7492558B2 (ja) 視野周辺の視覚的背光

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant