KR102470734B1 - 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화 - Google Patents

입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화 Download PDF

Info

Publication number
KR102470734B1
KR102470734B1 KR1020177014931A KR20177014931A KR102470734B1 KR 102470734 B1 KR102470734 B1 KR 102470734B1 KR 1020177014931 A KR1020177014931 A KR 1020177014931A KR 20177014931 A KR20177014931 A KR 20177014931A KR 102470734 B1 KR102470734 B1 KR 102470734B1
Authority
KR
South Korea
Prior art keywords
user
headset
information
module
interest
Prior art date
Application number
KR1020177014931A
Other languages
English (en)
Other versions
KR20170080651A (ko
Inventor
안드레이 스테판 에르밀로프
브래들리 네빌 코티에르
카탈린 니콜라에 도로프테이
하니 나빌 차아반
자르나일 싱 추지
매튜 로빈 파머
마이클 제임스 벨필드 파커
오스카 제임스 프랜시스 살란딘
로버트 존 윌콕스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170080651A publication Critical patent/KR20170080651A/ko
Application granted granted Critical
Publication of KR102470734B1 publication Critical patent/KR102470734B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0295—Proximity-based methods, e.g. position inferred from reception of particular signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)
  • Headphones And Earphones (AREA)

Abstract

예를 들면, 사용자가 공간 내에서 경로를 내비게이팅할 때와 같이, 사용자가 공간과 상호작용할 때 사용자에게 오디오 정보를 제시하기 위한 헤드셋이 본원에서 설명된다. 헤드셋은, 사용자로부터 커맨드를 수신하기 위한 입력 메커니즘의 세트를 포함할 수도 있다. 커맨드는, 결국에는, 공간 상호작용(SI) 모듈에 의해 수행될 각각의 공간 상호작용 관련 기능을 호출한다. 헤드셋은 별개의 사용자 컴퓨팅 디바이스와 함께 또는 별개의 사용자 컴퓨팅 디바이스 없이 동작할 수도 있다.

Description

입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화{FACILITATING INTERACTION BETWEEN USERS AND THEIR ENVIRONMENTS USING A HEADSET HAVING INPUT MECHANISMS}
사용자는, 여행 계획을 생성하고 실행함에 있어서 및/또는 더 자발적이고 구속되지 않은 방식으로 그의 또는 그녀의 환경을 탐색함에 있어서, 다양한 종래의 메커니즘에 의존할 수도 있다. 예를 들면, 사용자는 경로 선택 애플리케이션을 사용하여, 두 위치 사이에서 여행함에 있어서 사용하기 위한 경로(route)를 생성할 수도 있다. 그 다음, 그 경로 선택 애플리케이션은, 사용자가 경로를 통해 여행할 때 일련의 프롬프트를 통해 사용자를 안내할 수도 있다. 프롬프트는, 규정된 거리 내에서 방향 전환할 것을 사용자에게 구두로(verbally) 지시하는 메시지와 같은, 발화된(spoken) 및/또는 디스플레이된 메시지에 대응할 수도 있다. 그럼에도 불구하고, 이들 종래의 메커니즘에서는 향상을 위한 상당한 여지가 존재한다.
물리적 및/또는 가상 공간과의 상호작용에 있어서 사용자를 지원하기(assisting) 위한 다양한 툴이 본원에서 설명된다. 이러한 지원은, 예를 들면, 물리적 및/또는 가상 공간 내에서의 사용자의 내비게이션을 용이하게 할 수도 있다. 본원에서 사용되는 바와 같이, 내비게이션은 미리 결정된 계획을 따른 공간을 통한 사용자의 목적이 있는 움직임, 및/또는 어떠한 미리 결정된 계획도 반드시 따를 필요가 없는 자발적인 결정(spontaneous decision)을 반영할 수도 있는 움직임을 참조한다. 툴은 또한, 예를 들면, 사용자가 공간 속에서 그 자신 또는 그녀 자신을 지향시키게 하는 프로세스에 대응하는, 시간적으로 임의의 주어진 순간의 공간 내에서의 사용자의 탐색(exploration)을 지원할 수도 있다.
일반적인 원리로서, 툴은 고도로 정보성이 있는 그리고 적시의 지원을 사용자에게 친숙한 방식으로 제공하고, 그에 의해 사용자가 이동하는 물리적 및 가상 공간의 사용자의 경험을 풍부하게 하지만, 그러나 공간과 상호작용하는 실제 태스크로부터 사용자를 과도하게 혼란스럽게 하지 않도록 설계된다. 이들 특성의 관점에서, 툴은 시각 장애 및/또는 다른 핸디캡을 갖는 사용자에 의해서도 성공적으로 사용될 수도 있다. 그러나, 툴은 본질적으로 범용적이며, 따라서, 사용자가 그의 또는 그녀의 환경 내에서 상호작용하는 임의의 태스크를 수행함에 있어서 사용자에게 친숙하고 눈에 거슬리지 않는 안내를 임의의 사용자에게 제공할 수도 있다.
툴은, 상기 요약된 성능에 기여하는 다양한 양태를 갖는다. 하나의 양태에 따르면, 사용자가 공간과 상호작용할 때 사용자에게 오디오 정보를 제시하기 위한 헤드셋이 본원에서 설명된다. 헤드셋은 또한, 사용자로부터 커맨드를 수신하기 위한 입력 메커니즘의 세트를 포함할 수도 있다. 커맨드는, 결국에는(in turn), 공간 상호작용(space interaction; SI) 모듈에 의해 수행될 각각의 공간 상호작용 관련 기능을 호출한다.
예를 들면, 커맨드는 SI 모듈에게: 오디오 정보의 전달을 중지; 오디오 정보의 최종 전달된 아이템을 반복; 오디오 정보의 최종 전달된 아이템의 세트를 (예를 들면, "되감기하는" 것에 의해) 반복; 탐색 모드를 시작; 오리엔테이션 모드(orientation mode)를 시작; (부가적인 정보를 요청하는) 추가 정보 기능(more-information function)을 수행; 청취 모드를 시작 또는 중지(이 경우 음성 인식이, 각각, 인에이블 및 디스에이블된다); 등을 할 것을 지시할 수도 있다. 탐색 모드에서, 공간 상호작용 모듈은, 사용자의 현재 주목하고 있는 부분 공간(subspace)과 관련되는 관심 아이템의 세트에 관한 정보를 제공한다. 오리엔테이션 모드에서, 공간 상호작용 모듈은, 현재 시간에서의, 사용자 주위의 전체 공간과 관련되는 관심 아이템의 세트에 관한 정보를 제공한다.
하나의 구현예에서, 헤드셋은 그 자신의 배향, 모션, 및/또는 포지션 결정 메커니즘(들)(예를 들면, 콤파스)을 포함할 수도 있다. 다른 구현예에서, 헤드셋은, 별개의 사용자 디바이스(예를 들면, 스마트폰)에 의해 제공되는 별개의 배향, 모션, 및/또는 포지션 결정 메커니즘(들)에 의존한다.
하나의 구현예에서, 시스템은 헤드셋과 관련되는 프로세싱 리소스를 단독으로 사용하여 SI 모듈을 구현한다. 다른 구현예에서, 시스템은, 별개의 사용자 컴퓨팅 디바이스와 관련되는 프로세싱 리소스를 단독으로 사용하여 SI 모듈을 구현한다. 다른 구현예에서, SI 모듈에 의해 수행되는 기능은, 헤드셋, 및/또는 사용자 컴퓨팅 디바이스, 및/또는 하나 이상의 원격 프로세싱 리소스(예를 들면, "클라우드 구현" 서비스) 중 임의의 것에 의해 공유될 수도 있다.
상기의 피처는, 사용자가 그의 또는 그녀의 환경을 통해 안전하게 그리고 효율적으로 이동하는 것을 허용하는 상기 목표에 기여한다. 예를 들면, 피처는, 사용자가 환경을 통해 이동할 때 사용자를 과도하게 혼란시키지 않으면서, 예를 들면, 사용자가 별개의 사용자 디바이스에 액세스하여 상호작용하는 것을 필요로 하지 않으면서, 다양한 동작 모드를 (예를 들면, 헤드셋의 사용자 입력 메커니즘과 상호작용하는 것에 의해) 활성화할 수도 있게 하는 편리한 방식을 제공한다.
상기의 접근 방식(approach)은, 다양한 타입의 시스템, 디바이스, 컴포넌트, 방법, 컴퓨터 판독가능 저장 매체, 데이터 구조, 그래픽 사용자 인터페이스 표시, 제조 물품,등으로 표출될 수 있다.
이 개요는 엄선된 개념을 간소화된 형태로 소개하기 위해 제공된다; 이들 개념은 하기의 상세한 설명에서 더 설명된다. 이 개요는 청구된 주제의 주요 특징이나 또는 본질적인 특징을 식별하도록 의도된 것이 아니며, 청구된 주제의 범위를 제한하는 데 사용되도록 의도된 것도 아니다.
도 1은, 물리적 및/또는 가상 공간과의 상호작용에 있어서 사용자를 지원하기 위한 시스템의 개관(overview)을 도시한다.
도 2는, 복수의 웨이포인트(waypoint)에 의해 정의되는 여정을 취하기 위해 사용자가 도 1의 시스템을 사용하는 예를 도시한다. 다른 경우에, 사용자는 시스템을 사용하여 더욱 확장 가능하고(open-ended) 자발적인 방식으로 환경과 상호작용할 수도 있다.
도 3은, 도 1의 시스템을 구현하기 위해 사용될 수도 있는 컴퓨팅 기능성(computing functionality)의 개관을 도시한다.
도 4는, 도 3의 컴퓨팅 기능성의 컴포넌트인 공간 상호작용 모듈의 하나의 구현예를 도시한다.
도 5는, 도 4의 공간 상호작용 모듈의 컴포넌트인 애플리케이션 인터페이스 모듈의 하나의 구현예를 도시한다.
도 6은, 헤드셋, 핸드헬드 사용자 컴퓨팅 디바이스(간략히 "사용자 디바이스"), 및 다른 사용자 컴퓨팅 디바이스의 예를 도시하며; 이들 디바이스는 도 1의 시스템의 하나 이상의 양태를 구현할 수도 있다.
도 7은, 도 6의 헤드셋 및 사용자 디바이스를 구현하는 하나의 방식을 도시한다.
도 8은, 도 6의 헤드셋 및 (옵션 사항인) 사용자 디바이스를 구현하는 다른 방식을 도시한다.
도 9는, 사용자가 차량 내에서 도 6의 사용자 디바이스와 상호작용하는 시나리오를 도시한다.
도 10은, 도 6에서 도시되는 기기의 동작의 하나의 방식을 예시하는 플로우차트이다.
도 11은, 예를 들면, 사용자 디바이스의 디스플레이 출력 메커니즘에 의해 제공되는 사용자 인터페이스 표시에서 도 4 및 도 5의 애플리케이션 인터페이스 모듈에 의해 제시될 수도 있는 상이한 작업 공간(workspace)을 도시한다.
도 12는, 제1 작업 공간으로부터 제2 작업 공간으로의 전이하기 위해 사용될 수도 있는 제스처를 도시한다.
도 13은, 하나의 구현예에 따른, 홈 작업 공간(home workspace)에서 제시될 수도 있는 디폴트 허브 메뉴를 도시한다.
도 14 내지 도 16은, 홈 작업 공간에서 제시될 수도 있는 각각의 콘텍스트 메뉴(context menu)를 도시한다.
도 17은, 호출될 수도 있는 복수의 기능을 식별하는 메뉴를 도시한다; 그 메뉴는 메인 작업 공간에서 제시될 수도 있다.
도 18은, 다양한 파라미터를 설정하기 위해 사용자가 사용할 수도 있는 메뉴를 도시한다; 그 메뉴는 설정 작업 공간에서 제시될 수도 있다.
도 19는, 그 또는 그녀가 여행을 행할 때 또는 다르게는 환경과 상호작용할 때 사용자와 관련되는 정보에 액세스하기 위해 사용자가 사용할 수도 있는 메뉴를 도시한다; 그 메뉴는 정보 작업 공간에서 제시될 수도 있다.
도 20은, 근처의 관심 아이템(item of interest; IOI)에 관한 정보에 액세스하기 위해 사용자가 사용할 수도 있는 메뉴를 도시한다; 그 메뉴는 "내 주변(nearby me)" 작업 공간에서 제시될 수도 있다.
도 21은, 홈 작업 공간에서 제시될 수도 있는 임시 메뉴의 예를 도시한다.
도 22는, 이 특정한 경우에서, 설정 작업 공간에서 제시되는 오버레이 메뉴(overlay menu)의 예를 도시한다.
도 23은, 그의 또는 그녀의 현재 콘텍스트에 관한 오디오 정보를 획득하기 위해 사용자가 사용할 수도 있는 제스처를 나타낸다.
도 24는, 임의의 작업 공간에서 임의의 메뉴를 활성화하기 위해 사용자가 사용할 수도 있는 제스처를 도시한다.
도 25는, 임의의 메뉴에서 메뉴 아이템의 콜렉션을 내비게이팅하기 위해 사용자가 사용할 수도 있는 제스처를 도시한다.
도 26은, 현재 메뉴로부터 어떤 다른 선행 메뉴(preceding menu)로 내비게이팅하기 위해 사용자가 사용할 수도 있는 뒤로 가기 제스처(back gesture)를 도시한다.
도 27은, 작업 공간의 대안적인 편제(organization)를, 도 11의 구현예와 비교하여 도시한다.
도 28은, 사용자가 아직 어떠한 탭(tab)도 생성하지 않은 상태에 대응하는, 도 27의 홈 작업 공간에서의 탭 정보를 도시한다.
도 29는, 사용자가 방금 탭의 콜렉션을 생성한 상태에 대응하는, 도 27의 홈 작업 공간에서의 탭 메뉴를 도시한다.
도 30은, 메뉴 내에서 메뉴 아이템을 편제하는 대안적인 방식을, 도 25의 구현예와 비교하여 도시한다.
도 31 및 도 32는, 메뉴 내에서 메뉴 아이템을 스크롤링하고, 그 다음 메뉴 아이템을 선택하는 대안적인 방식을, 도 25의 구현예와 비교하여 도시한다.
도 33은, 메뉴의 주위에서 수행되는 뒤로 가기 제스처, 및 이 제스처에 응답하여 수행되는 액션을 도시한다.
도 34는, 메뉴 상에 원 형상을 그리는 것에 의해 수행되는 제스처, 및 그 제스처에 응답하여 수행되는 뒤로 가기 액션을 도시한다.
도 35는, 메뉴 상에 반원을 그리는 것에 의해 수행되는 제스처, 및 그 제스처에 응답하여 수행되는 뒤로 가기 액션을 도시한다.
도 36 및 도 37은, 도 1의 시스템에 의해 제공되는 장황함(verbosity)의 레벨, 및 시스템에 의해 제공되는 콘텍스트 정보의 레벨을 증가시키기 위해 그리고 감소시키기 위해 각각 사용될 수 있는 상이한 제스처를 도시한다.
도 38은, 도 4 및 도 5의 애플리케이션 인터페이스 모듈의 동작의 하나의 방식을 요약하는 플로우차트이다.
도 39는, 공간 내의 특정한 위치로부터 나오는 사운드의 인식을 생성하기 위한 삼차원 오디오 정보의 사용을 나타낸다.
도 40은, 공간 내의 일련의 위치를 가로질러 이동하는 사운드의 인식을 생성하기 위한 삼차원 오디오 정보의 사용을 나타낸다.
도 41은, 사용자를 소망하는 방향(direction)으로 안내하기 위해 경로 안내 모듈이 삼차원 사운드(예를 들면, 주기적인 비트 사운드)를 사용할 수 있는 방식을 나타낸다.
도 42는, 사용자의 현재 주목 초점과 관련되는 IOI의 위치를 식별하기 위해 탐색 모듈이 삼차원 사운드를 사용할 수 있는 방식을 나타낸다.
도 43은, 사용자 주위의 전체 공간과 관련되는 IOI를 식별하기 위해 오리엔테이션 모듈이 삼차원 사운드를 사용할 수 있는 방식을 나타낸다.
도 44는, 공간과의 상호작용에 있어서 사용자를 지원하기 위한 삼차원 사운드의 사용을 설명하는 플로우차트이다.
도 45는, 소망하는 경로를 따라 사용자를 안내하기 위해 (도 4 및 도 41의) 경로 안내 모듈이 삼차원 사운드를 사용할 수도 있는 하나의 방식을 설명하는 플로우차트이다.
도 46은, 예를 들면, (예를 들면, 사용자가 경로를 통과하는 동안 또는 다르게는 공간에서 이동하고 있는 동안) 자동화된 모드에서, 탐색 모드에서, 또는 오리엔테이션 모드에서, IOI를 식별하기 위해 공간 상호작용 모듈이 삼차원 사운드를 사용할 수 있는 하나의 방식을 설명하는 플로우차트이다.
도 47은, 복수의 비콘을 갖는 환경을 도시한다. 하나의 예시적인 구현예에서, 비콘은 비중첩 범위를 생성하는데, 비중첩 범위에서, 비중첩 범위 각각의 신호는 환경을 가로질러 움직이는 또는 다르게는 환경과 상호작용하는 사용자에 의해 검출될 수도 있다.
도 48 내지 도 50은, 도 47의 예와 비교하여 아주 많은 수의 비콘을 각각 구비하는 다른 환경을 도시한다.
도 51은, 도 47 내지 도 50의 환경의 타입의 콘텍스트 내에서, 비콘 기반의 안내 모듈의 동작의 하나의 방식을 도시하는 플로우차트이다.
도 52는, 비콘 기반의 안내 모듈이 환경 내에서 사용자의 현재 위치를 결정할 수 있는 하나의 방식에 관한 추가적인 세부 사항을 제공하는 플로우차트이다.
도 53은, 상기 도면에서 도시되는 피처의 임의의 양태를 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅 기능성을 도시한다.
동일한 컴포넌트 및 피처를 가리키기 위해, 본 개시 및 도면 전체에 걸쳐 동일한 도면 부호가 사용된다. 100의 숫자 계열은 도 1에서 원래 발견되는 피처를 가리키고, 200의 숫자 계열은 도 2에서 원래 발견되는 피처를 가리키고, 300의 숫자 계열은 도 3에서 원래 발견되는 피처를 가리키고, 계속 이런 식이다.
본 개시는 다음과 같이 편제된다. 섹션 A는, 실공간(real space) 및/또는 가상 공간과의 상호작용에 있어서 사용자를 지원하기 위한 시스템의 개관을 제공한다. 섹션 B는, 섹션 A의 시스템에서 사용될 수 있는 상이한 타입의 헤드셋 및 핸드헬드 사용자 컴퓨팅 디바이스를 설명한다. 섹션 C는, 섹션 A의 시스템에 의해 제공될 수도 있는 예시적인 사용자 인터페이스 경험을 설명한다. 섹션 D는, 삼차원 사운드, 및 다른(비삼차원) 타입의 사운드를 생성 및 사용하기 위한 기능성을 설명한다. 섹션 E는, 하나의 예시적인 구현예에서, 비중첩 범위를 갖는 비콘으로 채워지는 환경을 통해 내비게이팅함에 있어서 사용자를 지원하기 위한 비콘 기반의 안내 기능성을 설명한다. 그리고 섹션 F는, 이전 섹션에서 설명되는 피처의 임의의 양태를 구현하기 위해 사용될 수 있는 예시적인 컴퓨팅 기능성을 설명한다.
예비 문제로서, 도면 중 일부는, 기능성, 모듈, 피처, 엘리먼트, 등으로서 다양하게 칭해지는, 하나 이상의 구조적 컴포넌트의 콘텍스트에서 개념을 설명한다. 도면에서 도시되는 다양한 컴포넌트는, 임의의 물리적인 그리고 유형의(tangible) 메커니즘에 의해, 예를 들면, 컴퓨터 기기 상에서 실행하는 소프트웨어, 하드웨어(예를 들면, 칩 구현 로직 기능성), 등, 및/또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다. 하나의 경우에서, 도면의 다양한 컴포넌트의 별개의 유닛으로의 예시된 분리는, 실제 구현예에서 대응하는 별개의 물리적인 그리고 유형의 컴포넌트의 사용을 반영할 수도 있다. 대안적으로, 또는 추가적으로, 도면에서 예시되는 임의의 단일의 컴포넌트는 복수의 실제의 물리적인 컴포넌트에 의해 구현될 수도 있다. 대안적으로, 또는 추가적으로, 도면에서의 임의의 두 개 이상의 별개의 컴포넌트의 묘사는, 단일의 실제의 물리적인 컴포넌트에 의해 수행되는 상이한 기능을 반영할 수도 있다. 차례로 설명될 도 53은, 도면에서 도시되는 기능의 하나의 예시적인 물리적 구현예에 관한 추가적인 세부 사항을 제공한다.
다른 도면은 플로우차트 형태로 개념을 설명한다. 이 형태에서, 소정의 동작은, 소정의 순서로 수행되는 별개의 블록을 구성하는 것으로 설명된다. 이러한 구현예는 예시적이며 비제한적이다. 본원에서 설명되는 소정의 블록은 함께 그룹화될 수 있고 단일의 동작에서 수행될 수 있고, 소정의 블록은 복수의 컴포넌트 블록으로 분해될 수 있고, 소정의 블록은 본원에서 예시되는 것과는 상이한 순서(블록을 수행하는 병렬 방식을 포함함)로 수행될 수 있다. 플로우차트에서 도시되는 블록은, 임의의 물리적인 그리고 유형의 메커니즘에 의해, 예를 들면, 컴퓨터 기기 상에서 실행하는 소프트웨어, 하드웨어(예를 들면, 칩 구현 로직 기능성), 등, 및/또는 이들의 임의의 조합에 의해 임의의 방식으로 구현될 수 있다.
용어와 관련하여, 어구 "하도록 구성되는"은, 임의의 종류의 물리적인 그리고 유형의 기능성이 식별된 동작을 수행하도록 구성될 수 있는 임의의 방식을 포괄한다. 기능성은, 예를 들면, 컴퓨터 기기 상에서 실행하는 소프트웨어, 하드웨어(예를 들면, 칩 구현 로직 기능성), 등, 및/또는 이들의 임의의 조합을 사용하여 동작을 수행하도록 구성될 수 있다.
용어 "로직"은, 태스크를 수행하기 위한 임의의 물리적인 그리고 유형의 기능성을 포괄한다. 예를 들면, 플로우차트에서 예시되는 각각의 동작은, 그 동작을 수행하기 위한 로직 컴포넌트에 대응한다. 동작은, 예를 들면, 컴퓨터 기기 상에서 실행하는 소프트웨어, 하드웨어(예를 들면, 칩 구현 로직 기능성), 등, 및/또는 이들의 임의의 조합을 사용하여 수행될 수 있다. 컴퓨팅 기기에 의해 구현되는 경우, 로직 컴포넌트는, 컴퓨팅 시스템의 물리적 부분이지만, 그러나 구현되는 전기적 컴포넌트를 나타낸다.
다음의 설명은 하나 이상의 피처를 "옵션 사항"으로 식별할 수도 있다. 이 타입의 진술은 옵션 사항인 것으로 고려될 수도 있는 피처의 총망라하는 표시로서 해석되지 않아야 한다; 즉, 텍스트에서 명시적으로 식별되지는 않지만, 다른 피처가 옵션 사항으로서 간주될 수 있다. 또한, 단일의 엔티티의 임의의 설명은, 복수의 이러한 엔티티의 사용을 배제하도록 의도되지 않으며; 마찬가지로, 복수의 엔티티의 설명은 단일의 엔티티의 사용을 배제하도록 의도되지 않는다. 또한, 설명이, 소정의 피처를, 식별된 기능을 수행하는 또는 식별된 메커니즘을 구현하는 대안적인 방식으로서 설명할 수도 있지만, 피처는 또한, 임의의 조합으로 함께 결합될 수 있다. 마지막으로, 용어 "예시적인(exemplary)" 또는 "예시적인(illustrative)"은, 잠재적으로 많은 구현예 중 하나의 구현예를 가리킨다.
A. 시스템의 개관
도 1은, 물리적 및/또는 가상 공간과의 상호작용에 있어서 사용자(104)를 지원하기 위한 시스템(102)의 개관을 도시한다. 물리적 공간은, 예를 들면, 하나 이상의 빌딩의 내부에 의해 정의되는 실내 공간에, 또는 빌딩의 내부 밖에 존재하는 외부 공간에, 또는 실내 및 실외 공간의 어떤 조합에 대응할 수도 있다. 가상 공간은, 예를 들면, 임의의 타입 또는 타입들의 가상 오브젝트로 채워지는 도메인에 대응할 수도 있다. 몇몇 시나리오에서, 가상 공간은, 사용자가 물리적으로 이동할 수도 있는 물리적 공간 상에 중첩될 수도 있다. 이들 경우에, 가상 공간의 몇몇 가상 오브젝트는 물리적 공간에서 대응하는 실제 포지션을 할당받을 수도 있다(하기에서 명확해질 것이다).
도 1은, 시스템(102)에서 사용될 수도 있는 예시적인 컴포넌트를 광의적으로 소개한다. 컴포넌트는, 시스템(102)의 특정한 구현예가 예시된 컴포넌트 중 하나 이상을 누락할 수도 있다는 점에서 옵션 사항이다. 추가적으로, 또는 대안적으로, 시스템(102)의 특정한 구현예는, 도 1에서 도시되지 않은 추가적인 컴포넌트를 포함할 수도 있다.
공간(들)의 그의 또는 그녀의 탐색 동안, 사용자(104)는, 임의의 타입의 사용자 컴퓨팅 디바이스(106)(이하, 간략히 하기 위해 단순히 "사용자 디바이스"로 칭해짐) 및 헤드셋(108)을 통해, 또는 단지 헤드셋(108)만을 통해 시스템(102)과 상호작용할 수도 있다. 사용자 디바이스(106)는, 임의의 폼팩터를 갖는 임의의 타입의 휴대형 컴퓨팅 디바이스에 대응할 수도 있다. 예를 들면, 사용자 디바이스(106)는, 스마트폰, 태블릿 타입 컴퓨팅 디바이스, 랩탑 컴퓨팅 디바이스, 넷북 타입 컴퓨팅 디바이스, 미디어 소비 디바이스(예컨대 북 리더 타입 컴퓨팅 디바이스 또는 음악 재생용 컴퓨팅 디바이스), 휴대형 게임 디바이스, 웨어러블 컴퓨팅 디바이스(예컨대, 아이웨어, 고글, 등),등에 대응할 수도 있다. 다른 경우(도시되지 않음)에, 사용자(104)는 두 개 이상의 사용자 컴퓨팅 디바이스, 예컨대 태블릿 타입 컴퓨팅 디바이스와 결합한 스마트폰을 휴대할 수도 있고 활용할 수도 있다.
헤드셋(108)은 오디오 정보를 사용자(104)에게 전달하기 위한 임의의 타입의 디바이스에 마찬가지로 대응할 수도 있다. 하나의 경우에서, 예를 들면, 헤드셋(108)은, 사용자(104)의 하나 이상의 귀 위에, 또는 근처에 배치되는 종래의 스피커를 사용하여 오디오 정보를 전달할 수도 있다. 다른 경우에, 헤드셋(108)은 골전도 기술을 사용하여 오디오 정보를 전달할 수도 있다. 골전도 기술에서, 헤드셋(108)은 사용자 머리의 뼈로 전해지는 진동을 통해 정보를 사용자의 고막으로 전달한다. 골전도를 사용하는 헤드셋은, 사용자(104)의 귓구멍을 막지 않을 수도 있고, 따라서 그 또는 그녀가 내비게이팅하는 공간에 의해 생성되는 다른(외부) 사운드를 사용자(104)가 듣는 것을 허용한다; 이 결과는, 몇몇 경우에, 특히 시각 장애가 있는 사용자의 경우 및 자신의 주변 상황과 친숙하지 않는 사용자의 경우에, 사용자가 그들의 물리적 환경과 상호작용하는 안전성을 증가시키기 위해, 바람직할 수도 있다.
하나의 일반적인 사용 방식에 따르면, 사용자(104)는 사용자 디바이스(106)와 상호작용하여, 공간과의 그의 또는 그녀의 상호작용에 관한, 주로 시각적 형태의 정보를 수신할 수도 있다. 추가적으로, 또는 대안적으로, 사용자 디바이스(106)는, 예컨대 햅틱 피드백 큐(haptic feedback cue)(예를 들면, 진동 기반의 큐)를 생성하는 것에 의해, 비시각적 형태의 정보를 전달할 수 있다. 사용자(104)는 공간과의 그의 또는 그녀의 상호작용에 관한 오디오 정보를 수신하기 위해 헤드셋(108)과 주로 상호작용할 수도 있다. 그 오디오 정보는 발화된 정보, 다른 사운드, 등을 포함할 수도 있다. 시스템(102)은 또한, 사용자 디바이스(106) 또는 헤드셋(108) 중 어느 하나, 또는 둘 다로부터 명령어를 수신할 수도 있다.
사용자(104)는 또한, 옵션적으로, 하나 이상의 전통적으로 고정된 컴퓨팅 디바이스(110), 예컨대 데스크탑 컴퓨팅 디바이스, 게임 콘솔 디바이스, 셋탑 박스 디바이스,등을 통해 시스템(102)과 상호작용할 수도 있다. 예를 들면, 사용자(104)는, 공간을 통한 특정한 경로를 정의하는 여정 정보를 생성하기 위해, 여행 이전에 다른 사용자 컴퓨팅 디바이스(110)를 사용하여 시스템(102)과 상호작용할 수도 있다. 그 다음, 사용자(104)는 그 여정 정보를 사용자 디바이스(106) 및/또는 헤드셋(108) 상에 로딩할 수도 있다. 여행에 후속하여, 사용자(104)는 다른 사용자 컴퓨팅 디바이스(110)를 통해 시스템(102)과 다시 상호작용할 수도 있다. 예를 들면, 시스템(102)은 완료된 여행에 관한 정보를 다른 사용자 컴퓨팅 디바이스(110)로 다운로드하여, 사용자(104)가 그 여행에 관한 정보를 임의의 시간에 임의의 목적을 위해 리뷰하는 것을 허용할 수도 있다.
하나의 경우에서, 시스템(102)과 관련되는 모든 기능은, 상기 식별된 컴포넌트, 즉, 사용자 디바이스(106), 헤드셋(108), 및 다른 사용자 컴퓨팅 디바이스(110)에 의해 제공되는 기능성을 프로세싱하는 것에 의해 수행된다. 다른 경우에서, 하나 이상의 원격 프로세싱 리소스(112)는 시스템(102)에 의해 수행되는 프로세싱의 적어도 몇몇 양태, 예컨대 특히 본질적으로 계산 집약적인 양태를 구현할 수도 있다. 예를 들면, 원격 프로세싱 리소스(112)는, 신규의 여정을 생성하기 위한, 현존하는 여정을 수정하기 위한, 사용자의 발화된 명령어를 해석하기 위한,등을 위한 기능성을 포함할 수도 있다. 하나의 경우에서, 원격 프로세싱 리소스(112)는, 하나 이상의 서버 컴퓨팅 디바이스, 하나 이상의 데이터 저장소,등에 대응할 수도 있다.
시스템(102)은, 통신 도관(conduit)(114)의 임의의 조합을 사용하여 상기 설명된 컴포넌트를 함께 커플링할 수도 있다. 예를 들면, 사용자 디바이스(106)는, (예를 들면, 블루투스(BLUETOOTH) 통신을 사용하는) 임의의 무선 통신 메커니즘, 및 또는 (예를 들면, USB 연결, 등을 통한) 임의의 하드웨어에 내장되는(hardwired) 통신 메커니즘을 통해 헤드셋(108)과 상호작용할 수도 있다. 사용자 디바이스(106) 및 헤드셋(108)은, 셀룰러 연결, 와이파이(Wi-Fi) 연결, 하드웨어에 내장되는 연결, 등, 또는 이들의 임의의 조합을 통해 시스템(102)의 원격 컴포넌트와 통신할 수도 있다.
또한, 비록 도시되지는 않지만, 사용자 디바이스(106)는, 사용자 디바이스(106)의 포지션을 결정하는 목적을 위해 임의의 원격 포지션 결정 시스템과 상호작용할 수도 있다. 헤드셋(108)은 동일한 기능을 수행할 수도 있다. 원격 포지션 결정 메커니즘은, 임의의 위성 기반의 포지션 결정 시스템(예를 들면, GPS 시스템), 지상 통신 타워,등에 대응할 수도 있다. 여전히 또한, 사용자 디바이스(106) 및/또는 헤드셋(108)은 또한, 임의의 통신 메커니즘을 통해(예를 들면, BLUETOOTH 통신, 와이파이 통신, 등을 통해) 로컬 비콘과 상호작용할 수도 있다.
이 섹션(섹션 A)의 나머지는, 시스템(102)에 의해 제공되는 기능성의 개관을 제공한다. 이후의 섹션은, 시스템의 개별 컴포넌트에 관한 추가적인 세부 사항을 제공한다.
일반적으로, 사용자는, 사용자가 친숙한 또는 친숙하지 않은 임의의 타입의 공간을 통해 이동할 때 사용자의 경험을 풍부하게 하는 방식으로 시스템(102)을 사용할 수도 있다. 하나의 시나리오에서, 예를 들면, 사용자는, 소망하는 시간표에 종속하는, 소스 위치로부터 목표 위치로의 계획된 여정을 행함에 있어서 시스템(102)을 가이드로서 사용할 수도 있다. 다른 경우에, 사용자는 시스템(102)을 사용하여, 더욱 확장 가능한 그리고 자발적인 방식으로, 예를 들면, 사전 계획된 여정 및/또는 시간표 없이, 공간을 탐색함에 있어서 지원을 제공할 수도 있다. 예를 들면, 사용자는, 그 또는 그녀가 친숙하지 않은 도시를 헤메고 있을 때, 또는 박람회 또는 박물관의 전시물을 지나쳐 거닐고 있을 때, 지원을 제공하기 위해 시스템(102)을 사용할 수도 있고; 사용자는 이 활동에서 어떤 고정된 여행 일정(itinerary)에도 속박되지 않을 수도 있고, 그 또는 그녀의 여정의 코스 및 목적을 자유 형식으로 그리고 자발적인 방식으로 수정할 수도 있다. 여전히 다른 경우에, 사용자는, 친숙한 경로를 친숙한 환경,등을 통해 활기차게 하는 방식으로 시스템(102)을 사용할 수도 있다. 또 다른 경우에, 사용자는, 예를 들면, 사용자의 상호작용의 몇몇 양태는 준비된 계획을 따르고 다른 양태는 본질적으로 더욱 확장 가능하고 자발적인 하이브리드 동작 방식으로 시스템을 사용할 수도 있다.
도 2로 나아가면, 이 도면은, 미리 계획된 여정을 취하기 위해 사용자가 도 1의 시스템(102)을 사용하는 하나의 예를 도시한다. 이 여행을 함에 있어서의 사용자의 예시적인 경험은, 시스템(102)이 수행할 수도 있는 기능의 타입을 독자에게 가르치는 방식으로 하기에 설명될 것이다. 이 예시적인 경험은 제한이 아닌 예시의 취지로 제시되며; 상기에서 언급되는 바와 같이, 시스템(102)은, 사용자가 임의의 목적을 위해 그의 또는 그녀의 환경과 상호작용하는 아주 다양한 다른 콘텍스트에서 적용될 수 있다는 것을 유의한다.
도 2의 비제한적인 경우에서, 사용자(존(John)이라는 이름의 남자)가 여정을 시작하기 이전에 여정을 생성했다는 것을 (비록, 다시, 이것이 사실일 필요는 없을지라도) 가정한다. 예를 들면, 사용자가 런던의 그의 거주지로부터 그 도시의 다른 곳의 의사를 만나러 가는 경로를 생성했다는 것을 가정한다. 사용자는 이 태스크를 위해 여정을 생성했을 수도 있는데, 그 이유는 그가 여행해야 하는 그 도시의 그곳에 익숙하지 않기 때문이다. 또는 사용자는, 다양한 이동 관련 도전 과제(challenge)를 제시하는 하나 이상의 핸디캡을 가질 수도 있다. 예를 들면, 사용자는 임의의 형태(및 정도)의 시각 장애를 가질 수도 있다. 이 콘텍스트에서, 사용자는, 비록 그가 경로와 친숙할 수도 있을지라도, 경로를 내비게이팅함에 있어서 그를 지원하기 위해 여정을 생성했을 수도 있다. 다른 경우에, 사용자 이외의 어떤 엔티티가 사용자를 위해 여정을 생성했을 수도 있다. 이들 경우에서, 계획된 여정은 여정 정보에 의해 정의되는데, 여정 정보는 여정의 모든 양태를 설명한다.
도 2는 여정의 계획된 경로(202)를 실선으로 명시적으로 나타낸다. 몇몇 경우에서, 사용자는 시스템(102)을 사용하여, 계획된 경로(202)를 일반적으로 고수할 수도 있다. 다른 경우에서, 사용자는, 임의의 이유 때문에, 예를 들면, 그가 계획된 경로(202)를 따라 장애물을 조우하기 때문에, 또는 그가 임의의 이유 때문에 그의 여행 코스를 변경하는 자발적 결정을 행하기 때문에, 계획된 경로(202)로부터 벗어날 수도 있다. 예를 들면, 이 단순히 예시적인 경우에서, 사용자는 가는 길에 있는 가게(204)에 들러 어떤 아이템(예를 들면, 샌드위치, 등)을 구매하기 위한 목적으로 계획된 경로(202)로부터 벗어났다. 도 2는 사용자의 실제 경로(206)를 점선으로 나타낸다.
도 2의 예시된 경우에서의 계획된 경로(202)는, 본원에서 웨이포인트로 칭해지는, 일련의 전이 지점(transitional point)(w1, w2, w3, w4, 및 w5) 또는 스테이션에 의해 정의된다. 예를 들면, 웨이포인트(w1)는 사용자의 여정의 시작 지점에 대응할 수도 있고, 한편 웨이포인트(w5)는 사용자의 여정의 목적지에 대응할 수도 있다. 웨이포인트 w2 및 w3은 두 개의 교차로에 대응할 수도 있다; 각각의 이러한 교차로에서, 사용자는 제1 도로에서 제2 도로로 옮겨 간다. 웨이포인트 w4는, 사용자가 그의 운송 모드를 변경할 수도 있는 임의의 스테이션에 대응할 수도 있다. 예를 들면, 사용자는 웨이포인트 w4까지 도보로 여행할 수도 있다. 웨이포인트 w4는, 사용자가 미리 결정된 스케줄에 따라 도착하는 셔틀(208)의 도착을 대기하는 셔틀 스테이션에 대응할 수도 있다. 그 다음, 사용자는 웨이포인트 w5까지 셔틀(208)을 타고 갈 수도 있다. 다른 경우에서, 운송의 모드는, 기차, 지하철 버스, 트램, 또는 임의의 민간 운송 모드(예를 들면, 자가용 차, 자전거, 등)에 대응할 수도 있다.
그러므로, 계획된 경로는 일련의 세그먼트(s1, s2, s3, 및 s4)를 갖는 것으로 개념화될 수도 있다. 도 2의 예는 단순화된 경우이다. 다른 경우에, 여정은 더 많은 웨이포인트 및 관련된 세그먼트를 포함할 수도 있다. 그리고 그 여정은 운송 모드의 임의의 조합을 포괄할 수도 있다. 여전히 다른 경우에서, 여정은, 예를 들면, 시작 및 끝 웨이포인트만을 포함하여, 도 2에서 도시되는 것보다 덜 복잡할 수도 있다. 그리고, 반복해서 말하자면, 다른 경우에서, 여정은 미리 정의되지 않을 수도 있다.
콘텍스트는, 그 용어가 본원에서 사용될 때, 여행을 하는 동안 또는 다르게는 환경과 상호작용하는 동안 임의의 주어진 시간에 사용자가 직면하는 상황을 일반적으로 가리킨다. 상황은, 결국에는, 사용자가 상호작용하기를 원할 수도 있는 환경의 피처, 현재 시간(및 요일), 등, 및 현재 시간, 등에서 사용자가 직면하는 목표에 의해 적어도 통제된다. 예를 들면, 시간 t1에서, 사용자는, 웨이포인트 w1로부터 웨이포인트 w2로의 여행의 시도에서 세그먼트 s1을 통과하고 있다. 따라서, 사용자의 여정의 콘텍스트 c1은, 적어도 부분적으로, 계획된 여정을 따른 사용자의 현재 위치, 및 계획된 세그먼트 s2 위의 웨이포인트 w2에 도달하려는 사용자의 노력에 의해 정의된다. 다른 시간에서의 사용자의 콘텍스트는, 그 시간에 사용자의 각각의 국소적 목표와 커플링되는, 그 시간에 사용자가 직면하는 환경에 따라 상이할 것이다.
계획된 경로(202) 및 실제 경로(206)의 상기의 예비 설명을 가지고, 이제, 사용자가 웨이포인트 w1로부터 웨이포인트 w5로 여행할 때의 예시적인 사용자 경험을 고려한다. 하나의 예에서, 사용자가 적어도 사용자 디바이스(106)를 휴대하며, 헤드셋(108)(도 1에서 도시됨)을 착용한다는 것을 가정한다. 사용자 디바이스(106)는 이 디바이스에 대한 참조를 간단히 하기 위해 스마트폰으로서 하기에서 언급되지만, 사용자 디바이스(106)는 도 1을 참조로 상기에서 언급되는 임의의 타입의 디바이스를 포함할 수 있다. 여전히 다른 경우에서, 사용자는 단지 헤드셋(108)의 사용을 통해(즉, 스마트폰의 사용을 제거하는 것에 의함) 내비게이팅할 수도 있다.
일반적인 원칙으로서, 시스템(102)은, 사용자가 그의 여행을 할 때 또는 다르게는 공간과 상호작용할 때, 사용자의 경로를 따른 적절한 시점에서 사용자를 관련 정보에 노출시킨다. 가청의, 시각적, 및/또는 햅틱 형태로 사용자에게 자동적으로 제시될 수도 있는 정보의 인스턴스는 본원에서 관심 아이템(IOI)으로서 칭해진다. 이 기능을 수행하기 위해, 시스템(102)은 시간의 각 순간에 사용자의 현재 콘텍스트를 결정한다. 예를 들면, 시스템(102)은, 각각의 특정한 시간에 사용자의 위치 및 배향(및 옵션적으로는, 모션)을 감지한다. 시스템(102)은, 이 태스크를 수행하기 위해 임의의 기술 또는 기술의 조합을 사용할 수 있는데, 그 예는 하기의 도 3의 설명의 맥락에서 제공된다. 그 다음, 시스템(102)은 사용자의 현재 콘텍스트에 관련이 있는 IOI를 식별한다. 몇몇 경우에, 예를 들면, 시스템(102)은, IOI와 관련되는 물리적 오브젝트(또는 영역)의 규정된 거리 내에 사용자가 있기 때문에, IOI가 사용자의 현재 콘텍스트에 관련이 있다는 것을 결정할 수 있는데, 여기서 그 거리는 미리 정의되어 저장된다. 그 다음, 시스템(102)은 이들 IOI에 관한 정보를 사용자에게 전달한다. 하기에서 더 상세히 설명되는 바와 같이, 사용자는 또한, 여정의 나중의 시간에 그가 직면할(또는 직면할 수도 있는) 미래의 콘텍스트를 수동으로 탐색하여, 사용자가 이들 상황에 대해 준비하는 것을 허용할 수도 있다.
시스템(102)은 다양한 소스로부터 추출되는 정보에 기초하여 IOI를 제공할 수 있다. 예를 들면, 시스템(102)은, 공개적으로 이용가능한 맵 정보(예컨대, 미국 워싱턴 레드몬드(Redmond)의 MICROSOFT Corporation에 의해 제공되는 빙(BING) 맵 서비스에 의해 제공되는 맵 정보)로부터, 도로의 위치, 자연적 피처, 등을 결정할 수 있다. 시스템(102)은, 임의의 공개된 디렉토리 정보로부터 공개 및 사설 엔티티(예를 들면, 가게, 정부기관 빌딩, 등)의 위치를 결정할 수 있다. 시스템(102)은, 다양한 공개된 소스, 예컨대 대중 교통 스케줄 정보, 공공 안전 정보로부터 관련 이벤트의 발생을 결정할 수 있다. 시스템(102)은, 다양한 서비스, 예컨대 하나 이상의 온라인 소셜 네트워킹 애플리케이션, 하나 이상의 캘린더 애플리케이션, 등,등으로부터, 사용자 관련 정보를 결정할 수 있다.
각각의 IOI는 특정한 토픽 또는 경험적 초점(experiential focus)에 관계가 있다. IOI는, 상이한 설명 차원에 따라, 상이한 방식으로 분류될 수 있다. 예를 들면, 제1 클래스의 IOI는, 사용자가 이동하고 있는 또는 다르게는 상호작용하고 있는 공간의 물리적 오브젝트 또는 물리적 이벤트에 직접적으로 매핑한다. 예를 들면, 이 타입의 IOI는, 사용자 근처에 위치하는 가게, 또는 사용자 전방에 위치하는 열려 있는 맨홀, 또는 사용자가 규정된 도달 거리 이내에 있는 다음 웨이포인트, 등에 대응할 수도 있다. IOI 중 제2 클래스의 IOI는 반드시 직접적인 물리적 대응부를 환경에서 가질 필요는 없다. 예를 들면, 이 타입의 IOI는, 사용자가 버스 정류장(bus stop)에 가까이 갈 때 재생하는 광고에 대응할 수도 있다. 광고는 버스 정류장 주위의 공간과 관련될 수도 있지만, 그러나 다르게는 버스 정류장 그 자체의 설명은 아니다.
다른 "가상 타입"의 IOI는, 사용자가 커피 스탠드에 가까이 갈 때 사용자의 주목을 끄는 뉴스 헤드라인에 대응할 수도 있다. 시스템(102)은, 사용자가 커피를 마시는 동안 그 IOI를 소비할 것을 소망할 수도 있다는 전제에 기초하여 사용자에게 그 IOI에 관한 정보를 제시할 수도 있다. 다른 가상 타입 IOI는, 사용자가 지하철 역을 벗어날 때 사용자에게 전달되는 날씨 리포트에 대응할 수도 있다. 시스템(102)은, 사용자가 역을 떠날 때 막 직면할 날씨에 대해 대비할 것을 사용자가 원할 수도 있다는 전제에 기초하여, 그 IOI에 관한 정보를 사용자에게 제시할 수도 있다. 다른 가상 타입 IOI는, 사용자가 그의 또는 그녀의 개인 거주지에 접근함에 따라 소셜 네트워크 애플리케이션으로부터 검색되는(retrieved) 메시지에 대응할 수도 있다. 시스템(102)은, 사용자가, 그의 집에 들어가기 이전에, 가족 구성원 또는 친구에 의해 전송된 임의의 메시지를 알아내기를 원할 수도 있다는 전제에 기초하여, 그 IOI에 관한 정보를 사용자에게 제시할 수도 있다. 사용자의 현재 상황에 밀접한 관계가 있지만, 여전히 사용자의 바로 근처의 실제의 오브젝트 또는 이벤트를 설명하도록 기능할 수 없을 수도 있는 어떤 타입의 정보(및/또는 기능성과 상호작용할 기회)를 사용자가 수신하는 많은 다른 시나리오가 구상된다.
(상기에서 설명되는 제1 "실제" 클래스 또는 제2 "가상" 클래스의) 상이한 IOI는 또한, 공간의 탐색에서의 그들이 서비스하는 그들의 역할에 기초하여 분류될 수 있다. 예를 들면, IOI는 이러한 차원을 따라, 경고 IOI, 여정 IOI, 콘텍스트 IOI, 및 이용가능한 정보 IOI, 등으로서 (비록, 이러한 분류가, 엄격히 말해서, 상호 배타적이지 않을 수도 있지만) 분류될 수도 있다. 시스템(102)은, 여행 동안 사용자의 안전에 영향을 끼칠 수도 있는 사건(예컨대, 사용자의 전방에 열려 있는 맨홀이 존재한다는 표시)에 대해 사용자에게 경고하기 위해 경고 IOI에 관한 정보를 전송한다. 경고 메시지는 명확하고 간결하다. 시스템(102)은, 사용자의 여정의 진행에 영향을 줄 수도 있는 사건(예컨대, 다음 웨이포인트에 가까이 가고 있다는, 또는 버스가 늦을 것이라는 표시)에 대해 사용자에게 경고하기 위해 여정 IOI에 관한 정보를 전송한다. 시스템(102)은, 사용자에게 흥미를 끌 수도 있는 사용자 근처의 (실제이든 또는 가상이든 간에) 오브젝트 및 이벤트(예컨대 커피숍이 사용자의 여정의 앞에 있다는 표시)에 대해 사용자에게 경고하기 위해 콘텍스트 IOI에 관한 정보를 사용자에게 전송한다. 시스템(102)은 이용가능한 정보 IOI의 존재에 대해, 그들을 자동적으로 전달하지 않고, 사용자에게 경고한다. 그 다음 사용자는 이 정보를 수신할 것을 온디맨드 방식으로 선택할 수도 있거나, 또는 그것을 무시할 수도 있다. 예를 들면, 사용자는, 헤드셋(108) 상의 적절한 기능 버튼을 탭하는(tapping) 것에 의해 또는 사용자 디바이스(106)에 의해 제공되는 정보 메뉴를 통해, 또는 등가적인 음성 커맨드를 사용하여, 이용가능한 정보에 액세스할 수도 있다.
시스템은 각각의 IOI에 관한 정보를 임의의 방식으로 전달할 수 있다. 예를 들면, 적어도 몇몇 IOI의 경우, 시스템은, 통지음(telltale sound)과 후속하는 발화된 메시지를 전송하는 것에 의해 IOI를 전달할 수 있다. 예비 사운드는, 사용자가 발화된 알림을 듣도록, 즉, 발화된 알림에 주목하는 것에 의해 "동조하는" 것을 가능하게 한다. 사운드는 또한, 후속할 정보의 타입에 관해 사용자에게 경고하고, 그 결과 사용자는 그 또는 그녀가 그것에 주목할지의 여부를 더 잘 결정할 수 있게 된다. 예를 들면, 사용자는 여정 정보에 대해 더 많이 주목할 것을 선택할 수도 있지만, 그러나 (예를 들면, 사용자 근처의 가게, 또는 사용자의 현재 상황에 관련이 있는 판촉 행사에 관한) 콘텍스트 정보에 대해서는 더 적게 주목할 수도 있다.
여정의 임의의 지점에서, 사용자는, 가장 최근에 소리로 들었던 하나 이상의 여정 IOI(및/또는 다른 타입의 IOI)에 관한 정보를 듣기를 요청할 수 있다. 그 요청은 하기에 설명되는 다양한 방식으로 이루어질 수 있다. 지난 30초 내에 경고 소리를 들었다면, 시스템(102)은, 경고를 또한 반복하고, 후속하여 여정 정보를 반복하는 것에 의해, 사용자의 액션에 응답할 것이다. 몇몇 경우에, 사용자는 시스템(102)에게 정보를 반복할 것을 요청할 수도 있지만, 그러나 이 정보는 더 이상 이용가능하지 않다. 시스템(102)은 사용자에게 이 상황을 경고하기 위해 적절한 사운드를 재생할 수 있고, 후속하여, 발화된 메시지 "지금은 정보가 이용가능하지 않습니다", 또는 등을 재생할 수 있다.
다른 일반적인 피처로서, 시스템(102)은, 사용자가 환경으로부터의 다른 지각 정보로 압도당할 것으로 예측되지 않는 시간에 몇몇 IOI에 관한 정보를 자동적으로 제시할 수도 있다. 예를 들면, 시스템(102)은, 사용자가 계획된 경로를 따라 안전하고 즐겁게 정보를 소비할 수 있는 규정된 "조용한 구역"에 도착할 때까지, 계획된 경로(202)에 관한 메시지를 사용자에게 전송하는 것을 삼갈 수도 있다. 시스템(102)은, "조용한 구역"으로 간주되는 지역의 위치를 미리 저장할 수 있다.
이제, 도 2에서 도시되는 공간을 통해 내비게이팅하는 동안의 사용자의 특정한 경험을 더욱 면밀히 고려한다. t1에서, 사용자는 제2 웨이포인트(w2)에 도달하려고 시도하고 있다는 것을 가정한다. 사용자의 위치(및 진행 방향(heading))를 감지한 이후, 시스템(102)은, 제2 웨이포인트(w2)에 도달함에 있어서 사용자를 지원하는 (시각적 및/또는 가청 형태의) 방향을 사용자에게 전송할 수 있다. 또한, 시스템(102)은, 사용자가 제2 웨이포인트(w2)로부터 규정된 거리 이내에 있을 때 제2 웨이포인트(w2) 자체에 관한 정보를 사용자에게 전송할 수 있다. 이것은, 제2 웨이포인트(w2)가 수반할 수도 있는 코스에서의 임의의 변화에 대해 사용자가 적절한 준비를 하는 것을 가능하게 할 것이다. 상기 설명된 정보는 주로 여정 IOI로서 정형화될 수도 있다.
소정의 상황에서, 사용자의 실제 여정은, 예를 들면, 실제 취해진 경로 및/또는 공간의 사용자의 횡단의 타이밍과 관련하여, 계획된 여정으로부터 벗어날 수도 있다. 이들 상황을 해결하기 위해, 시스템(102)은, 사용자의 현재 상황이 사용자의 여정의 임의의 나머지 부분에 영향을 끼칠지의 여부를 자동적으로(또는 온디맨드 방식으로) 결정할 수 있다. 예를 들면, 시스템(102)은 사용자의 추정된 버스 정류장 도달 시간을 업데이트할 수 있고, 그 다음, 이전에 식별된 버스 또는 셔틀을 잡도록 사용자가 계속해서 시간을 어기지 않고 도착할지의 여부를 결정할 수 있다. 사용자의 현재 상황이 사용자의 여정에 이러한 방식으로 영향을 끼치면, 시스템(102)은, 공간 내에서 내비게이팅함에 있어서 사용자를 지원하기 위해 사용되는 정보를 자동적으로 재생성할 수 있다. 그 정보는 IOI의 신규의 세트로서 표현될 수도 있다. 예를 들면, 시스템(102)은 사용자에게 더 뒤의 버스 또는 셔틀을 탈 것을 충고할 수 있다(그리고 자동적으로 적절한 예약을 행할 수 있고, 적절한 통지를 전송할 수 있고, 및/또는 다른 약속을 할 수 있다). 또한, 상기에서 언급되는 바와 같이, 사용자는, 예를 들면, 미래에 조우될 웨이포인트에 관한 정보, 등을 명시적으로 요청하는 것에 의해, 업데이트된 정보를 임의의 방식으로 탐색할 수도 있다.
도 2는 또한, 시간 t1에서, 시스템(102)이 콘텍스트 성질(contextual nature)의 다양한 관심 아이템(IOI)(즉, 상기에서 설명되는 용어에서, "콘텍스트 IOI)의 존재를 사용자에게 자동적으로 통지한다는 것을 일반적으로 나타낸다. 예를 들면, 예시적인 콘텍스트 IOI는 가게, 레스토랑, 관청, 자연의 랜드마크, 등에 대응할 수도 있다. 하나의 경우에서, 시스템(102)은, 사용자의 고려사항에 대한 콘텍스트 IOI를, 그것이 현재 시간에 사용자의 규정된 거리 내에 있고, 사용자가 아직 그것을 지나쳐 가지 않은 경우에만, 제시할 수도 있다.
사용자는 시스템(102)의 거동을 (콘텍스트 IOI 및/또는 임의의 다른 타입의 IOI와 관련하여) 임의의 방식으로 커스터마이징할 수도 있다. 예를 들면, 사용자는, 예를 들면, 제1 타입의 가게에 관한 정보를 수신하고 싶지만, 그러나 제2 타입의 가게에 관한 정보를 수신하고 싶지 않다는 것을 나타내는 것에 의해, 그의 경로를 따라 그가 수신하기를 원하는 프롬프트의 타입을 명시할 수 있다. 사용자는 또한, 정보를 수신하고 싶은 타이밍을 명시할 수도 있다. 예를 들면, 사용자는, 콘텍스트 IOI의 존재를 그에게 통지할 때 고려되어야 하는 (그의 현재 위치로부터의) 최대 거리를 명시할 수 있다. 사용자는 여정을 시작하기 전에 이들 설정을 만들 수도 있다. 또한, 사용자는, 예를 들면, 시스템에 의해 자동적으로 제공되는 정보의 양을 줄이는 것에 의해, 여정 동안 시스템에 의해 전달되는 정보의 타입 및 양을 동적으로 변경할 수도 있다. 사용자는, 여정을 따른 특정한 시점에 정보가 불필요하거나 또는 혼란스럽게 하기 때문에 정보의 양을 줄일 것을 선택할 수도 있다.
시스템(102)은 콘텍스트 IOI에 관한 정보를 임의의 애플리케이션 고유의 방식으로 제시할 수 있다. 예를 들면, 하나의 경우에서, 시스템(102)은, 사용자 앞에서 나타나는 순서로, (예를 들면, 사용자가 스윕(sweep)의 원점에 배치된 상태에서, 본질적으로 각진 스윕(angular sweep)을 형성하는 것에 의해) 좌에서 우로 또는 우에서 좌로, 또는 (사용자로부터의 거리의 관점에서) 앞에서 뒤로, 또는 뒤에서 앞으로, 등으로 콘텍스트 IOI의 콜렉션을 알릴 수도 있다. 상기에서 언급되는 바와 같이, 하나의 구현예에서, 시스템(102)은, 콘텍스트 IOI에 관한 정보가 곧 뒤따를 것이다는 것을 사용자에게 경고하는 알림음을 각각의 알림에 선행시킬 수 있다. 그 다음, 시스템(102)은, 예를 들면, "제인의 커피숍, 150 피트"를 알리는 오디오 정보를 제공하는 것에 의해, 콘텍스트 IOI를 설명할 수도 있다. 시스템(102)은, 예컨대, 레스토랑에 대해 제1 타입의 예비 사운드를, 그리고 버스 정류장에 대해 제2 타입의 사운드를, 등을 제공하는 것에 의해, 상이한 타입의 시설과 관련되는 상이한 예비 사운드를 대안적으로 제공할 수도 있다.
몇몇 경우에, 현재 시간에 사용자 부근에 많은 양의 콘텍스트 IOI가 존재할 수도 있다. 사용자에게 주어지는 정보의 양을 줄이기 위해, 시스템(102)은, 예컨대 "레스토랑, 일반적으로 100 피트"를 알리는 것에 의해, 이 정보를 하나 이상의 요약 메시지에 통합할 수도 있다. 임의의 타입의 IOI에 대해서도 마찬가지이다. 일반적으로, 시스템(102)은, 주어진 시간에 사용자에게 전달될 개개의 IOI의 그룹이 적어도 하나의 공통 특성을 갖는지의 여부를 결정할 수 있다. 그 다음, 시스템(102)은, IOI의 그룹을, 개별적으로 대신, 블록 또는 세트로서 알리는 요약 메시지를 제공할 수 있다. 상기에서 언급되는 특정한 예에서, 시스템(102)은, 콘텍스트 IOI의 그룹이 사용자 부근에 위치된다는 것 및 이들 IOI가 동일한 타입의 시설에 관련이 있다는 것을 결정한다. 다른 예에서, 시스템(102)은 요약 경고 IOI, "다음 100 야드에 많은 수의 웅덩이(pothole)"를 제공할 수도 있다.
시스템(102)은 알림을 지능적인 방식으로 제공하기 위해 다른 규칙을 사용할 수도 있다. 예를 들면, 몇몇 IOI는, 사용자가 이들 IOI에 아주 근접한 경우에만 관련된다. 예를 들면, 사용자는, 사용자가 공원 벤치의 수 피트 이내에 있는 경우에만, 이 오브젝트에 관심이 있을 수도 있다. 그러므로, 시스템(102)은, 이들 종류의 오브젝트의 존재를, 사용자가 이들 오브젝트에 상대적으로 근접한 때에만, 알릴 수도 있다. 그러나, 여기서 다시, 사용자는 이와 관련하여 시스템의 거동을 커스터마이징할 수도 있다.
다른 예시적인 피처에 따르면, 시스템(102)은, 어떤 타입의 IOI, 예컨대 어떤 타입의 콘텍스트 IOI의 존재를 알리기 위해 삼차원 사운드를 사용할 수도 있다. 삼차원 사운드는, 물리적 공간 내의 특정한 위치(또는 위치들)로부터 나오는 것으로 사용자가 인식하는 사운드를 가리킨다. 그러나, 실제로는, 오디오 정보는 헤드셋(108)을 통해 사용자에게 제시되며 환경 내에서 물리적 원점을 갖지 않는다. 하기의 섹션 D에서 설명되는 바와 같이, 시스템(102)은, 상이한 타입의 광대역 오디오 사운드와 연계한 머리 전달 함수(Head-Related Transfer Function; HRTF)의 사용을 통해 상기 결과를 달성할 수 있다. 다른 구현예에서, 시스템(102)은, (HRTF 대신 또는 HRTF 이외의) 삼차원 오디오 효과를 생성하기 위해, 앰비오포닉스(ambiophonics), 앰비소닉스(Ambisonics), 파장 합성 등과 같은 다른 기법 및 기술을 사용할 수 있다.
예를 들면, 콘텍스트 c1에서(시간 t1에서), 시스템(102)은, 적어도 세 개의 콘텍스트 IOI(IOI1, IOI2, 및 IOI3)를 식별하는 일련의 방향 알림을 사용자에게 전송할 수도 있다. 시스템(102)은, 예를 들면, 콘텍스트 IOI와 관련되는 엔티티가 물리적으로 위치되는 공간의 특정한 위치로부터 나오는 것으로 사용자가 인식하는 예비 사운드를 사용자에게 전송하는 것에 의해 콘텍스트 IOI1의 존재를 알릴 수 있다. 즉, 콘텍스트 IOI가 제인의 커피숍에 대응하면, 메시지는 제인의 커피숍의 실제 위치로 사용자의 주의를 돌릴 것이다. 시스템(102)은 또한, 예컨대 "제인의 커피숍, 150 피트"를 방향적 방식으로, 즉, 삼차원의 발화된 정보를 사용하여 알리는 것에 의해, 이 시설물의 설명을 삼차원 사운드를 사용하여 제공할 수 있다.
추가적으로, 또는 대안적으로, 시스템(102)은 하나 이상의 정보 이용가능 IOI(information-available IOI)에 관한 정보를 사용자에게 전송할 수도 있다. 상기에서 설명되는 바와 같이, 시스템(102)은, 사용자의 현재 콘텍스트에 관련될 수도 있는 정보의 존재에 대해 사용자에게 일반적으로 경고하지만, 그러나 그 정보의 특정한 내용을 바로 알리지는 않는 메시지를 전송하는 것에 의해 이 동작을 수행할 수 있다. 그 다음, 사용자는, 예를 들면, "추가 정보(more information)" 명령어를 행하는 것에 의해, 정보를 수신할 것을 시스템(102)에게 수동으로 요청할 수도 있다. 또는 사용자는 정보를 무시할 수도 있다.
상기 설명 전달 피처 전체는, 너무 많은 정보로 사용자를 압도하지 않으면서, 사용자가 공간을 통과함에 따라, 유용한 정보를 사용자에게 표면화하는 목표에 기여한다.
다른 피처로서, 사용자의 경로를 따른 임의의 시점에서, 시스템(102)은 사용자의 실제 여행 방향을 소망하는 여행 방향과 비교할 수 있다. 시스템(102)은, 도 3과 연계하여 하기에서 설명되는 메커니즘 중 임의의 것을 사용하여 사용자의 실제 여행 방향을 결정할 수 있다. 시스템(102)은, 사용자가 현재 시간에 향하고 있을 것으로 예상되는 곳을 결정하는 것에 의해 소망하는 방향을 결정할 수 있다. 그 다음, 시스템(102)은, 사용자의 실제 방향이 소망하는 방향으로부터 벗어나는 정도를 결정하는 편차 정보(deviation information)를 결정할 수 있다. 그 다음, 시스템(102)은, 소망하는 경로를 따라 사용자를 조종하려고 시도하는 정보를 사용자에게 전송할 수 있다.
예를 들면, 시간 t2에서의 사용자를 고려한다. 이 시점에서, 사용자는 웨이포인트 w3에 도달하려고 시도하고 있다. 사용자의 실제 방향이 화살표 210에 의해 표현되고, 사용자의 소망하는 방향이 화살표 212에 의해 표현된다는 것을 가정한다. 시스템(102)은, 사용자의 현재의 길을 잘못 든 방향으로부터 벗어나 소망하는 방향을 향해 사용자를 조종하려고 시도하는 명령어를 사용자에게 전송할 것이다.
하나의 구현예에서, 시스템(102)은 삼차원 비트 사운드 또는 다른 타입의 주기적 사운드를 사용하여 상기 목표를 달성한다. 삼차원 비트 사운드는, 물리적 공간의 특정한 위치(또는 위치들)로부터 발생하는 것으로 사용자에 의해 인식되는 임의의 타입의 반복하는 사운드(예컨대 클릭음)이다. 도 2의 경우에서, 시간 t2에서, 시스템(102)은, 사용자의 이동 방향을 따라 사용자의 왼쪽으로 발생하는 것처럼 보이는 삼차원 비트 사운드를 전달할 것이다. 이것은 다음의 사실을 사용자에게 알려준다: (a) 그가 최적이지 않은 방향으로 향하고 있으며; (b) 더 바람직한 궤적을 달성하기 위해서는 그는 약간 왼쪽으로 방향 전환해야 한다.
시스템(102)은 다른 효과를 달성하기 위해 비트 사운드를 변조할 수 있다. 예를 들면, 시스템(102)은, 사용자가 현재 최적이지 않은 방향으로 향하고 있는 정도에 따라, 비트 사운드의 톤 및/또는 주기성 및/또는 볼륨(및/또는 어떤 다른 양태)을 변경할 수 있다. 사용자는, 비트 사운드를, 그가 잘못된 방향으로 향하고 있는 정도의 표시로서 해석할 것이다.
지금까지, 설명은, 사용자의 경로를 따라 적절한 시점에 사용자에게 정보를 자동적으로 전달하는 시스템(102)의 능력을 주로 강조하였다. 이 동작 모드에서, 사용자의 환경과의 조우는, 정보의 전달을, 예를 들면, 상기 설명된 상이한 타입의 IOI의 형태로 트리거하는 이벤트를 구성할 수도 있다. 또한, 임의의 시간에, 사용자는, 그의 환경을 수동으로 탐색하기 위해 그리고 상기에서 설명되는 IOI 중 임의의 것에 관한 정보를 획득하기 위해, 스마트폰 또는 헤드셋(108) 중 어느 하나와 수동으로 상호작용할 수도 있다. 예를 들면, 상호작용의 제1 방식에서, 사용자는 여정을 따른 임의의 주어진 시간에 스마트폰의 터치 감지 표면을 탭할 수도 있다. 단일의 탭에 응답하여, 시스템(102)은 사용자의 현재 콘텍스트에 관한 최상위 레벨(top-level) 정보를 알릴 것이다. 예를 들면, 시간 t1에서, 시스템은, 사용자가 웨이포인트 w2로 향하고 있다는 것을 알리는 것에 의해 단일의 탭에 응답할 수도 있는데, 이것은 여정 IOI로서 간주될 수도 있다. 더블 탭에 응답하여, 시스템(102)은 현재 콘텍스트에 관한 더 상세한 정보를 제공할 것이다. 트리플 탭에 응답하여, 시스템(102)은, 사용자가, 예를 들면, 콘텍스트에 관한 추가 정보를 획득하는 목적을 위해 스마트폰과 상호작용하는 것, 및 현재 콘텍스트에 관련이 있는 다양한 기능을 호출하는 것을 허용하는 명령어를 제공할 것이다.
다른 피처로서, 임의의 시점에서, 사용자는, 임의의 주어진 시간에 사용자에 관련이 있는 하나 이상의 메뉴를 활성화하기 위해 스마트폰과 상호작용할 수도 있다. 예를 들면, 시간 t1에서, 사용자는 스마트폰의 표면에 대해 탭 앤 홀드(tap-and-hold) 제스처를 수행할 수도 있다. 응답으로, 시스템(102)은 사용자의 현재 콘텍스트와 관련되는 메뉴를 활성화할 수도 있다. 그 다음, 사용자는 스마트폰과 상호작용하여 바로 제시된 메뉴를 탐색하거나, 또는 임의의 다른 메뉴로 내비게이팅할 수도 있다.
더 구체적으로는, 하기의 섹션 C에서 상세히 설명되는 바와 같이, 시스템(102)은, 작업 공간의 세트를 통해 액세스할 수 잇는 메뉴의 콜렉션을 나타낼 수 있다. 각각의 작업 공간은, 서로 다른 작업 공간과 관련하여 고정된 위치 관계를 갖는다. 사용자는, 적절한 작업 공간 및 관련 메뉴로 내비게이팅하는 것에 의해 소망하는 정보 및/또는 기능성에 액세스할 수도 있다.
하나의 피처에 따르면, 사용자는 상기의 스크린 상호작용 태스크 전체를 한 손을 사용하여, 예를 들면, 스마트폰을 쥐고 있는 손의 엄지손가락을 사용하여 수행할 수도 있다. 시스템(102)은 또한, 사용자가 스마트폰의 터치 감지 표면과 상호작용함에 따라 가청의 및/또는 햅틱 피드백을 제공할 수 있다. 총괄하여, 이들 피처 전체는, 사용자가, 시스템(102)과 상호작용하는 동안, 그의 주의를 환경으로부터 딴 데로 돌릴 필요가 있는 정도까지 감소한다. 예를 들면, 사용자는, 스마트폰과 상호작용하는 동안 그가 걷고 있는 도로에 그의 눈을 계속 유지할 수도 있다. 자신의 시력에 장애를 갖는 사람도 또한, 상기 요약된 비시각적 특성으로 인해, 시스템(102)과 성공적으로 상호작용할 수 있다.
하위섹션 C.3에서 설명되는 바와 같이, 사용자는 또한, 음성 명령어를 통해 시스템(102)과 수동으로 상호작용할 수도 있다. 추가적으로, 또는 대안적으로, 사용자는 (섹션 B에서 설명되는 바와 같은) 헤드셋(108)에 의해 제공되는 입력 메커니즘을 통해 시스템(102)과 수동으로 상호작용할 수도 있다. 시스템(102)은, 사용자가 시스템(102)과 수동으로 상호작용할 수도 있게 하는 여전히 다른 메커니즘을 제공할 수도 있다.
사용자는 또한 자신의 즉각적인 환경을 탐색함에 있어서 사용하기 위한 특수 모드를 호출할 수도 있다. 예를 들면, 탐색 모드를 활성화하는 것에 응답하여, 시스템(102)은 사용자의 현재 주목 초점을 결정할 수 있는데, 사용자의 현재 주목 초점은, 현재 시간에 사용자가 보고 있는 것으로 가정되는 방향(이것은, 결국에는, 하나 이상의 배향 결정 메커니즘에 기초하여 결정될 수도 있다)에 대응할 수도 있다. 그 다음, 시스템(102)은, 사용자의 주목 방향 근처에 형성되는 부분 공간에 의해 포괄되는(또는 다르게는 그 부분 공간과 관련되는) 콘텍스트 IOI를 결정할 수 있다. 그 다음, 시스템(102)은, 삼차원 사운드를 사용하여 이들 콘텍스트 IOI를 알리는 것에 의해, 및/또는 사용자의 스마트폰, 등 상에 표시하기 위한 시각적 메시지를 전송하는 것에 의해 이들 콘텍스트 IOI를 판독할 수 있다.
이들 콘텍스트 IOI 중 일부는, 부분 공간 내에 각각의 실제 포지션을 갖는 환경 내의 실제의 오브젝트에 관련될 수도 있다. 이들 IOI는, 원칙적으로, 물리적 공간에서 이들 물리적 엔티티의 위치를 식별 또는 표시하도록 기능한다. 다른 콘텍스트 IOI는, 이들이 부분 공간(사용자의 현재 콘텍스트를 제공 받음)에 관련되며, 그 부분 공간에서 오브젝트를 직접적으로 설명하지 않을 수도 있다는 점에서 본질적으로 가상일 수도 있다. 다시 말하면, 이들 다른 콘텍스트 IOI는, 물리적 엔티티의 위치를 식별하는 정보 및/또는 경험을 넘어, 사용자의 현재 콘텍스트에 관련되는 정보 및/또는 경험을 전달한다.
하나의 예를 언급하면, 사용자가 병영 막사에 가까이 감에 따라, "가상" 다양성을 갖는 콘텍스트 IOI는, 메시지 "우리의 쓰러져간 부대원들을 기억해"에 대응할 수도 있다. 그 메시지는 막사에 관련되지만 그러나 막사의 위치를 단순히 표시한다고 정확히 말할 수는 없다. 그 메시지의 의도는, 사용자가 막사에 가까이 감에 따라, 정신적 연상을 생성하여 사용자의 경험을 풍부하게 하는 것이다. 대안적으로, 그 상황에서의 콘텍스트 IOI는, (사용자에 의해 앞서 명시되고 시스템(102) 안으로 로딩되는 바와 같은) 사용자에게 특별한 의미를 갖는 노래 또는 영감을 주는 연설로부터의 인용구 또는 개인적 메시지에 대응할 수도 있다.
(콘텍스트 IOI 이외의) 다른 타입의 IOI에 대해서도 마찬가지이다. 즉, 몇몇 IOI는 라벨링 태그로서 주로 기능하고, 한편 다른 IOI는 인지적 연관성, 기억, 감정, 등을 자극하도록 의도된다. IOI의 후자의 그룹은, 이들이, 환경의 이벤트 및 오브젝트의 표면 레벨의 전사(transcription)가 아닌, 연관성, 경험, 의미, 등의 영역에 관련이 있다는 점에서, 본원에서 "가상"으로서 칭해진다. 이러한 IOI는, 대안적으로, 추론적 IOI, 제안적 IOI, 관계적 IOI, 등으로 칭해질 수 있다.
다른 피처에 따르면, 오리엔테이션 모드를 활성화하는 것에 응답하여, 시스템(102)은, 사용자로부터 규정된 거리와 관련되는 관심 아이템 전체를 식별하기 위해 사용자 주위의 완전한 360도 스캔을 수행할 수 있다. 시스템(102)은 또한, 예를 들면, 쇼핑몰 단지(mall complex) 또는 등의 상이한 층에 제공되는 가게를 결정하기 위해, 수직 차원에서 연속적인 층에 대해 이 360도 스캔을 수행할 수 있다. 사용자는, 예를 들면, 식별되는 IOI의 타입, IOI의 존재에 대해 검색되는 공간의 차원,등을 변경하는 것에 의해, 탐색 모드 및 오리엔테이션 모드의 거동을 상기에서 설명되는 임의의 방식으로 커스터마이징할 수 있다. 또한, 사용자는, 시스템(102)이 IOI를 판독하는 방식을 통제하기 위해 시스템(102)과 상호작용할 수도 있다.
이제, 시간 t3에서, 사용자가, 가게(204)를 방문하기 위해, 예를 들면, 샌드위치를 사기 위해, 계획된 경로(202)로부터 벗어날 것을 자발적으로 결정하는 것을 가정한다. 가게에 있을 때, 이 시간에서의 사용자의 콘텍스트(c3)는 가게 환경에 관련된다. 그러므로, 시스템(102)은 상기에서 설명되는 것과 동일한 기능을, 그러나 이제 가게의 실내 환경의 콘텍스트에서, 수행할 수도 있다. 예를 들면, 시스템(102)은, 사용자가 가게(204)의 섬(isle)을 통과할 때 콘텍스트 IOI를 자동적으로 결정할 수 있고, 이들 콘텍스트 IOI를 사용자에게 알릴 수 있다. 예를 들면, 가게(204)의 유제품 섹션에 접근하면, 사용자는 "우유, 치즈, 및 요구르트, 20 피트 전방"이라는 메시지를 수신할 수도 있다. 시스템(102)은, 사용자가 관심이 있을 수도 있는 제품에 사용자가 더 가까워짐에 따라, 점차적으로 더 상세한 정보를 전송할 수도 있다. 다시, 콘텍스트 IOI 중 일부는, 예를 들면, 많은 수프에서의 고나트륨의 존재를 사용자에게 경고하는, 수프 섹션에서 전달되는 메시지에서와 같이, 가게의 물리적 오브젝트와의 직접적인 대응이 더 적을 수 있다.
사용자는 또한 가게 환경 내에서 시스템(102)과 임의의 방식으로 수동으로 상호작용할 수도 있다. 예를 들면, 사용자는 상이한 제품과 관련되는 상이한 메뉴를 수동으로 탐색할 수도 있다. 사용자는 또한, 아이템을 구매하는 것, 아이템을 재검색하는 것, 등과 같은 다양한 트랜잭션을 가게 환경에서 수행하기 위해, 스마트폰을 사용할 수도 있다.
몇몇 구현예에서, 시스템(102)은, 가게(204) 내의 상이한 위치에 (미리) 배치될 수도 있는 비콘의 세트 중 하나의 범위 내에 사용자가 있는지의 여부를 결정하는 것에 의해 가게(204) 내에서의 사용자의 위치를 결정할 수 있다. 섹션 E에서 설명되는 바와 같이, 비콘은 비중첩 범위를 가질 수도 있다.
가게(204)를 떠나면, 시스템(102)은 사용자를 계획된 경로(202)로 다시 이끌기 위해 사용자의 여정을 재계산할 수도 있다. 예를 들면, 시스템(102)은, 사용자가 셔틀 스탠드와 관련되는 웨이포인트 w4에 도달하는 것을 허용하는 명령어를 사용자에게 제공할 수도 있다. 그 웨이포인트에 도달하면, 그 다음, 시스템(102)은, 예컨대 사용자의 셔틀(208)의 도착 예상 시간을 알려주는 것에 의해, 이 시점에서 사용자에 관련되는 정보를 전달할 수도 있다. 그 정보는 하나 이상의 여정 IOI로서 전달될 수도 있다.
시스템(102)은, 사용자가 셔틀(208) 상에서 여행하는 동안 계속해서 사용자에게 서비스를 제공할 수도 있다. 예를 들면, 시스템(102)은 사용자에게 최종 목적지, 즉 웨이포인트 w5(사용자의 의사의 병원) 도착 예정 시간을 통지할 수도 있다. 시스템(102)은 또한, 사용자가 타고 있는 대중 교통(또는 사설 운송)의 성질에 따라, 유용할 수도 있는 다른 메시지를 사용자에게 제공할 수 있다. 예를 들면, 버스를 타고 최종 목적지에 가까이 가고 있는 경우, 시스템(102)은, 사용자가 버스에서 내릴 때 조우할 것으로 예상되는 높은 연석(curb)의 존재에 대해 사용자에게 경고할 수 있다. 또한, 시스템(102)은, 사용자의 허가를 통해, 지원을 필요로 하는 사람이 다음 버스 정류장에서 하차할 것이라는 것을 버스 운전사에게 경고할 수 있다.
요약하면, 사용자의 여정 전체에 걸쳐, 사용자는 많은 양의 정보를 가청의 형태로, 예를 들면, 발화된 메시지, 다른 사운드(삼차원 사운드 및 비삼차원 사운드), 등의 형태로 수신할 수도 있다. 시스템(102)은 이 정보의 표시를 관리하기 위해 다양한 기술을 사용할 수도 있는데, 그 중 일부(예컨대 전달되는 정보의 양을 감소시키거나 또는 증가시키는 능력)는 상기에서 이미 언급되었다. 이 피처는, 너무 많은 정보로 사용자를 압도하지 않으면서, 사용자가 가장 관련이 있는 정보를 시기 적절한 방식으로 수신하는 것을 허용한다.
예를 들면, 시스템(102)은, 하나의 사운드의 전달이 다른 사운드의 전달과 잠재적으로 간섭하는 상황을 해결하기 위해 상이한 규칙에 종속하여 여행 동안 사운드를 재생할 수도 있다. 하나의 예시적인 규칙에 따르면, 시스템(102)은 사용자를, 예를 들면, 걷고 있는 동안, 소망하는 방향으로 조종하기 위해, 비트 사운드를 연속하는 루프에서 재생할 것이다. 그러나, 시스템(102)은, 임의의 다른 사운드가 재생되고 있는 동안, 일시적으로 이 사운드를 디스에이블할 수도 있다(또는 이 사운드의 정상 상태와 비교하여 이 사운드의 볼륨을 줄일 수도 있다). 이것은, 낮은 우선 순위의 사운드로서 간주되는 비트 사운드로부터의 간섭 없이, 사용자가 다른 사운드를 듣는 것을 가능하게 한다.
다른 예시적인 규칙에 따르면, 시스템(102)은, 어떤 메뉴 또는 콘텍스트가 사용자에게 제시되는지를 변경하는 플릭 제스처(flick gesture)와 같은 인터페이스 관련 이벤트를 나타내는 사운드를 무조건적으로 재생할 수도 있다. 너무 많은 오디오 정보로 사용자에게 과부하를 주는 것을 방지하기 위해, 이들 타입의 사운드는 짧고 명확하도록 설계될 수도 있다. 사용자는 이들 타입의 큐의 재생을, (사용자가 시스템(102)과 능동적으로(actively) 상호작용하고 있지 않으면 어떠한 상호작용 큐도 생성되지 않을 것이기 때문에) 시스템(102)과의 그의 또는 그녀의 상호작용을 일시적으로 중단하는 것에 의해, 적어도 어느 정도까지 제어할 수도 있다.
추가적인 예시적 규칙에 따르면, 시스템(102)은, (예를 들면, 경고 IOI에 대한) 경고 사운드에 가장 높은 우선 순위 레벨을, (예를 들면, 여정 IOI에 대한) 여정 정보에 다음으로 높은 우선 순위 레벨을, 그리고 (예를 들면, 임의의 타입의 콘텍스트 IOI에 대한) 콘텍스트 정보에 다음으로 높은 레벨을 할당하는 것에 의해, 내비게이션 사운드(navigational sound)를 우선순위화할 수 있다. 몇몇 경우에, 시스템(102)은, 예를 들면, 더 중요한 정보가 재생되고 있기 때문에, 정보의 전달을 지연할 것이다. 또한, 몇몇 경우에, 지연된 메시지는, (예를 들면, 정보가 더 이상 관련되지 않는 신규의 콘텍스트로 사용자가 이동했기 때문에) 시스템(102)이 그것을 제시할 수 있는 시간에 더 이상 관련되지 않을 것이고; 만약 그렇다면, 시스템(102)은 그 정보를 제시하지 않을 수도 있다.
결론적으로, 상기 설명된 시나리오는 또한, 시스템(102)의 유익한 기술적 효과 중 일부를 강조함에 있어서 유용할 수도 있다. 일반적으로, 시스템(102)은 임의의 사용자가, 상이하지만 관련된 목표를 서비스하는 안내를 수신하는 것을 허용한다. 먼저, 시스템(102)은 사용자에게 그의 또는 그녀의 여정을 따른 임의의 주어진 시간에 가장 유용한 정보에 노출시키려고 시도하고, 따라서 사용자에게 그의 또는 그녀의 환경 내에서 더 효율적으로 내비게이팅하는, 또는 다른 목적을 달성하는 능력을 부여하게 된다. 둘째, 시스템(102)은, 내비게이션 지원을 제공하는 것을 넘어 환경의 사용자 경험을 풍부하게 하여, 시스템(102)의 사용 없이 사용자에게 바로 명확하지 않을 수도 있는 환경에 관한 신규의 정보를 사용자가 학습하는 것을 허용하고; 이와 관련하여, 시스템(102)은 사용자가 환경의 표면 아래로 은유적으로 탐구하여 환경(102)에 관련되는 이전에 숨겨진 양태 및 연결점을 이해하는 것을 허용한다. 셋째, 시스템(102)은, 사용자에게 주어지는 혼란을 최소화하는 방식으로 이 유용한 정보를 사용자에게 제공하려고 시도한다. 제3 목표는, 예를 들면, 사용자가, 실세계와 상호작용하기 위해 그 또는 그녀가 사용하고 있는 툴이 아니라, "실세계"와의 그의 또는 그녀의 상호작용에 주 초점(primary focus)을 유지하는 것을 허용하는 것에 의해, 더 즐겁고 유용한 경험을 사용자에게 제공하는 데 유용하다. 부정적으로 말하면, 제3 목표는, 사용자가 상당히 주목할 것으로 예상되는 성가시고 복잡한 툴과 상호작용할 것을 사용자에게 요청하는 것에 의해 발생할 수도 있는 근심을 감소시키려고 시도한다. 제3 목표는 또한, 사용자가, 임의의 주어진 시간에 너무 많은 정보로 압도되지 않고도, 안전한 방식으로 소망하는 정보에 효율적이고 빠르게 액세스하는 것을 허용한다.
다수의 기술적 피처가 상기 요약된 목표에, 특히 제3 목표와 관련하여, 기여한다. 피처는 다음을 포함하지만 이들로 제한되지는 않는다: a) 한 손 상호작용 경험(one-handed interaction experience)의 사용; b) 위치 독립적인 방식(location-agnostic manner)(하기에서 설명됨)으로 터치 감지 표면 상에서 수행될 수 있는 제스처를 수용하는 사용자에게 친숙한 방식의 메뉴 구조(user-friendly menu structure)의 사용; c) "안전한" 홈 작업 공간(하기에서 설명됨)에 대한 액세스를 제공하는 사용자에게 친숙한 그리고 배우기 쉬운 작업 공간 구조의 사용; d) (예를 들면, 헤드셋(108), 사용자 디바이스(106), 음성 인식, 등을 통해) 커맨드를 입력하는 다수의 메커니즘의 사용; e) 여정에 대한 사용자의 초점을 과도하게 혼란시키지 않으면서 정보를 전달하는 햅틱 큐 및/또는 오디오 정보의 사용, f) 복잡한 명령어를 감당 못할 정도로 사용자에게 주지 않으면서 사용자를 소망하는 방향으로 조종하는 것을 돕는, 또는 IOI의 위치에 대해 사용자에게 경고하는 삼차원 및 비삼차원 사운드의 사용,등.
상기 이점은 시스템(102)의 임의의 사용자에게 적용된다. 시스템(102)은 또한, 사람들에 의해, 여행을 하는 그들의 능력을 손상시키는 임의의 타입의 조건과 함께, 성공적으로 사용될 수도 있다. 이들 사용자는, 시력을 부분적으로 또는 완전히 상실한 사용자, 인지적 또는 다른 정신적 장애를 갖는 사용자, 움직임 관련 핸디캡을 갖는 사용자,등을 포함할 수도 있다. 이들 사용자의 경우, 시스템(102)은, 그 시점에서 사용자의 목표가 무엇이든간에, 사용자의 여정의 각각의 스테이지에서 사용자를 안전한 방식으로 지원하는, 또는 다르게는 사용자의 환경과 상호작용함에 있어서 사용자를 지원하는 가상의 안내견(virtual guide dog)으로서 역할을 한다. 이들 사용자의 경우, 상기 요약된 일반적인 이점 외에, 시스템(102)은 또한, 사용자가, 다르게는 이용 불가능할 정보 및 또는 안내에 액세스하는 것을 허용하고, 따라서, 이들 사용자의 이동성, 신뢰도, 및 일반적인 삶의 품질을 향상시킨다.
이제 도 3으로 진행하면, 이 도면은, 도 1의 시스템(102)을 구현하기 위해 사용될 수도 있는 컴퓨팅 기능성의 하이 레벨 개관을 도시한다. 도 3의 기능성은 디바이스 독립적인 방식으로 도시된다. 실제 구현예에서, 기능성은, 예를 들면, 도 1에서 소개되는 컴포넌트 중 임의의 것, 또는 이들 컴포넌트의 임의의 조합에 할당될 수도 있다. 예를 들면, 도 3은, 기능성이 공간 상호작용(SI) 모듈(302)을 포함하는 것을 도시한다. SI 모듈(302)은, 도 2의 시나리오와 관련하여 설명되는 기능의 전체(또는 대부분)를 수행한다. SI 모듈(302) 중 몇몇 부분은 사용자 디바이스(106)에 의해 구현될 수도 있고, 한편 SI 모듈(302) 중 다른 부분은 헤드셋(108) 상에 위치되는 프로세싱 컴포넌트에 의해 구현될 수도 있다. 추가적으로, 또는 대안적으로, SI 모듈(302) 중 몇몇 부분은 원격 프로세싱 리소스(112)에 의해 수행될 수도 있다.
SI 모듈(302)은 입력 메커니즘(304)의 임의의 조합으로부터 입력 정보를 수신할 수도 있고, 임의의 출력 메커니즘(306) 상에서의 표시를 위해 자신의 출력 정보를 제공할 수도 있다. 예를 들면, 입력 메커니즘(304)은, 하나 이상의 배향 결정 메커니즘(308), 및/또는 하나 이상의 모션 결정 메커니즘(310), 및/또는 하나 이상의 포지션 결정 메커니즘(312),등을 포함할 수도 있다.
배향 결정 메커니즘(들)(308)은 이들 메커니즘(들)(308)을 통합하는 디바이스의 배향을 결정한다. 예를 들면, 사용자 디바이스(106)에 의해 수용되는 경우, 배향 결정 메커니즘(들)(308)은 이 사용자 디바이스(106)의 삼차원 배향을 결정한다. 헤드셋(108)에 의해 수용되는 경우, 배향 결정 메커니즘(들)은 헤드셋(108)의 삼차원 배향을 결정한다. 더 일반적으로 언급하면, 배향 결정 메커니즘(들)(308)은, 사용자가 그의 스마트폰을 가리키고 있는 또는 그의 또는 그녀의 머리(머리 상에 헤드셋(108)이 배치됨)를 돌리는 방향을 결정할 수도 있다. 모션 결정 메커니즘(들)(310)은, 이들 메커니즘(들)(310)을 통합하는 디바이스의 움직임의 성질 및 정도를 결정한다. 포지션 결정 메커니즘(312)은, 이들 메커니즘(들)(312)을 통합하는 디바이스의 절대적 및/또는 상대적 포지션을 결정한다.
메커니즘(308, 310, 312)은 다음을 포함하지만 그러나 이들로 제한되지는 않는 센서의 임의의 조합을 사용하여 구현될 수 있다: 자력계, 가속도계, 자이로스코프 센서, 중력 기반 센서, 토크 센서, 스트레인 게이지, 휘어짐 검출 센서(flex sensor), 광학 인코더 메커니즘,등. 또한, 메커니즘(308, 310, 312) 중 일부는 외부 시스템 또는 소스로부터 신호를 수신할 수도 있다. 예를 들면, 메커니즘(308, 310, 312)은, 위성 기반 내비게이션 시스템(예를 들면, 전지구 위치 결정 시스템(global positioning system; GPS) 시스템)으로부터 수신되는 신호에 기초하여 디바이스의 포지션을 결정하기 위한 센서를 포함할 수도 있다. 추가적으로, 또는 대안적으로, 메커니즘(308, 310, 312)은, 복수의 무선 타워 및/또는 로컬화된 방향성 안테나, 등으로부터 수신되는 신호와 같은, 복수의 외부 소스로부터 수신되는 신호에 기초하여 삼각측량 및/또는 다른 프로세싱을 수행하는 것에 의해 디바이스의 포지션을 결정하는 기능성을 포함할 수도 있다. 추가적으로, 또는 대안적으로, 메커니즘(308, 310, 312)은 데드 레커닝(dead reckoning) 기술을 사용하여 디바이스의 포지션을 결정하는 기능성을 또한 포함할 수 있다. 추가적으로, 또는 대안적으로, 메커니즘(308, 310, 312)은, 로컬 비콘(예를 들면, 와이파이 및/또는 BLUETOOTH 비콘, 등),등으로부터의 정보를 프로세싱하는 것에 의해 디바이스의 포지션을 결정하는 기능성을 포함할 수 있다.
입력 메커니즘(304)은 또한, 수동 입력 메커니즘(314)의 임의의 조합을 포함할 수도 있다. 이들 메커니즘은 다음 중 임의의 것을 포함할 수 있다: 키 입력 메커니즘, 터치 감지 입력 메커니즘(예를 들면, 터치 감지 스크린(314')), 조이스틱, (예를 들면, 음성 명령어를 수신하기 위한) 마이크, (예를 들면, 자유 공간 제스처를 수신하기 위한) 비디오 카메라 및/또는 깊이 카메라,등. 예를 들면, 도 1의 경우에, 사용자 디바이스(106)는, 사용자와 상호작용하는 자신의 주 방법으로서 터치 감지 디스플레이 스크린을 사용할 수도 있다. 비제한적인 예를 들면, 그 터치 감지 디스플레이 스크린은, 사용자가 스크린을 터치하는 및/또는 스크린 위에서 호버링하는 때를 결정하는 용량성 터치스크린 메커니즘을 통합할 수도 있다. 사용자 디바이스(106)는 또한 카메라, 마이크, 등을 포함할 수도 있다. 헤드셋(108)은, 예를 들면, (다음 섹션에서 더 상세히 설명될) 헤드셋(108)의 측면 상의 버튼으로서 구현되는 바와 같은 하나 이상의 전용 입력 메커니즘과 함께 (음성 명령어를 수신하기 위한) 마이크를 포함할 수도 있다.
출력 메커니즘(306)은, 하나 이상의 오디오 출력 메커니즘(316), 하나 이상의 디스플레이 출력 메커니즘(318), 하나 이상의 햅틱 출력 메커니즘(320),등 을 통합할 수 있다. 예를 들면, 오디오 출력 메커니즘(들)(316)은 임의의 타입의 종래의 스피커에 대응할 수 있다. 추가적으로 또는 대안적으로, 오디오 출력 메커니즘(들)(316)은 (예를 들면, 헤드셋(108)에 의해 제공되는 바와 같은) 골전도 오디오 디바이스, 예컨대, 미국 뉴욕 시러큐스(Syracuse)의 AFTERSHOKZ, LLC에 의해 제조되는 골전도 트랜스듀서를 통합할 수 잇다. 디스플레이 출력 메커니즘(318)은, 예를 들면, (예를 들면, 사용자 디바이스(106)에 의해 제공되는 바와 같은) LCD 타입 디스플레이에 대응할 수도 있다. 햅틱 출력 메커니즘(들)(320)은, 예를 들면, (예를 들면, 사용자 디바이스(106) 및/또는 헤드셋(108), 등에 의해 제공되는 바와 같은) 진동 생성 메커니즘에 대응할 수도 있다. 진동 생성 메커니즘은 회전하는 오프밸런스 웨이트(rotating off-balance weight)를 사용하여, 및/또는 몇몇 다른 메커니즘(들)에 의해 진동 효과를 달성할 수도 있다.
SI 모듈(302)은 또한, SI 모듈(302) 그 자체 외부에 있는 것으로 간주될 수도 있는 원격 기능성(322)과 상호작용할 수도 있다. 예를 들면, SI 모듈(302)은 검색을 행하는 목적을 위해 검색 엔진(324)과 상호작용할 수도 있다. 예를 들면, 검색 엔진(324)은 미국 워싱턴 레드몬드의 MICROSOFT Corporation에 의해 제공되는 BING 검색 엔진에 대응할 수도 있다. 추가적으로, 또는 대안적으로, SI 모듈(302)은 신규 여정을 생성하는 및/또는 현존하는 여정을 수정하는 목적을 위해 여정 계산 엔진(326)과 상호작용할 수도 있다. 추가적으로, 또는 대안적으로, SI 모듈(302)은, 사용자에 의해 이루어지는 발화된 명령어를 해석하기 위해 스피치 프로세싱 엔진(328)과 상호작용할 수도 있다. 예를 들면, 스피치 프로세싱 엔진(328)은 미국 워싱턴 레드몬드의 MICROSOFT Corporation에 의해 제공되는 CORTANA(코타나) 시스템에 대응할 수도 있다. 다른 경우에, 원격 기능성(322)의 하나 이상의 양태는 SI 모듈(302)에서 네이티브(native) 리소스로서 통합될 수도 있다.
또한, SI 모듈(302)은 하나 이상의 데이터 저장소(330)에서 제공되는 임의의 외부 정보와 상호작용할 수도 있다. 예를 들면, 외부 정보는, 공개적으로 액세스 가능한 맵 정보, 운송 스케줄 정보, 경고 정보, 비지니스 및 개인 디렉토리 정보, 소셜 네트워크 정보, 캘린더 정보, 등,등을 제공할 수도 있다. 몇몇 경우에, SI 모듈(302)은, 이들 외부 소스에 의해 제공되는 애플리케이션 프로그래밍 인터페이스(application programming interface; API)를 사용하여 외부 리소스(예를 들면, 외부 웹사이트)와 상호작용할 수도 있다.
이제, 도 4를 참조하면, 이 도면은, 상기에서 소개된 SI 모듈(302)의 하나의 구현예를 도시한다. 하이 레벨 관점으로부터, SI 모듈(302)은, 상이한 각각의 기능을 수행하는 복수의 서브 컴포넌트를 포함할 수도 있다(또는 포함하는 것으로 개념화될 수도 있다). 또한, 몇몇 서브 컴포넌트는 다른 서브 컴포넌트에 의해 생성되는 결과에 의존할 수도 있다. 애플리케이션 인터페이스 모듈(application interface module; AIM)(402)은 사용자가 서브 컴포넌트 중 임의의 것과 상호작용하는 것을 허용한다. 예를 들면, 애플리케이션 인터페이스 모듈(402)은, 서브 컴포넌트에 의해 제공되는 다양한 기능을 노출시키는 메뉴 기능성을 제공할 수도 있다.
서브 컴포넌트를 위에서부터 아래까지 일반적으로 참조하면, SI 모듈(302)은, 자신의 기능을 수행함에 있어서 SI 모듈(302)에 의해 사용될 수도 있는 정보를 저장하기 위한 다양한 데이터 저장소를 포함할 수도 있다. 예를 들면, 데이터 저장소(404)가 하나 이상의 여정을 정의하는 정보를 저장할 수도 있다. 예를 들면, 여정 정보는 여정에서의 웨이포인트, 및/또는 여정에 관한 임의의 다른 정보를 설명할 수도 있다. 데이터 저장소(406)는 검색 엔진에 의해 제공되는 검색 결과를 저장할 수도 있고; 이들 결과는, 여정의 코스 동안 또는 공간과의 사용자의 보다 일반적인 상호작용 동안, 사용자의 지시에 따라, 생성될 수도 있다. 데이터 저장소(408)는, SI 모듈(302)과의 사용자의 상호작용 동안 사용자에 의해 생성되는 탭의 이력을 저장할 수도 있다. 탭은, 일반적으로, 메뉴 또는 정보의 다른 아이템 및/또는 기능성 및/또는 옵션에 대한 북마크에 대응한다. 사용자는, 그 또는 그녀가 그 메뉴 또는 다른 아이템 또는 정보 및/또는 기능성 및/또는 옵션을 방문할 때 탭을 생성할 수도 있고; 하나의 구현예에서, 데이터 저장소(408)는, 사용자가 여정을 시작할 때 또는 시스템(102)과 아직 상호작용하지 않았을 때, 처음에는 아무런 탭도 포함하지 않는다. 시스템(102)은 탭의 콜렉션을, 예를 들면, 탭의 리스트, 탭의 방사상 메뉴, 등으로서 나타내는 임의의 방식을 사용할 수도 있다.
SI 모듈(302)은 또한, 임의의 타입의 지원 서비스(support service)를 수행하는 다양한 지원 모듈(supporting module; 410)을 제공할 수 있다. 예를 들면, 설정 모듈은, 시스템(102)의 동작에 영향을 끼치는 임의의 파라미터에 사용자가 값을 할당하는 것을 허용할 수도 있다. 데이터 저장소(412)는 모든 이러한 설정치를 저장할 수도 있다. 지원 모듈(410)은 또한, 검색 결과를 제공하기 위해, 외부 검색 엔진과 상호작용하기 위한 포털(portal)을 포함할 수도 있다. 또는 지원 모듈(410)은 본래(natively) 제공되는 검색 엔진을 포함할 수도 있다.
사운드 생성 모듈(414)은 사운드의 생성에 관련이 있는 다양한 동작을 수행한다. 예를 들면, 사운드 생성 모듈(414)은, 다양한 트리거링 상황(triggering circumstance)이 조우될 때 특정한 사운드를 재생할 수도 있다. 몇몇 트리거링 상황은, 애플리케이션 인터페이스 모듈(402)과 상호작용할 때 사용자에 의해 만들어지는 액션에 대응한다. 다른 트리거링 상황은, 시스템(102)과의 사용자의 상호작용에 의해 직접적으로 야기되지 않는 시스템(102)의 상태에서의 변화에 대응한다. 다른 트리거링 상황은, 여정의 코스(또는 더 일반적으로는, 공간과의 사용자의 상호작용),등 동안 발생하는 이벤트에 대응한다. 데이터 저장소(416)는, 재생시 소망하는 사운드를 생성하는 파일을 저장할 수도 있다. (하기의) 하위섹션 C.2는, 생성될 수도 있는 상이한 타입의 사운드, 및 이들 사운드가 재생되는 상황에 관한 추가 정보를 제공한다.
몇몇 사운드는 본질적으로 비삼차원적이거나 또는 비공간적이다. 또한, 사운드 생성 모듈(414)은 삼차원 오디오 정보를 생성할 수 있다. 상기에서 설명되는 바와 같이, 오디오 정보는, 사용자가 이 정보를 삼차원의 물리적 또는 가상 환경 내의 하나 이상의 위치로부터 나오는 것으로 인식할 것이다는 점에서, 삼차원적이다. 사운드 생성 모듈(414)은, 원래의 사운드 정보를 하나 이상의 머리 전달 함수(HRTF)를 사용하여 변환하는 것에 의해 이들 사운드를 생성할 수도 있다.
마찬가지로, 햅틱 큐 생성 모듈(418)은 상이한 트리거링 상황에서 햅틱 피드백 경험을 생성할 수 있다. 하나의 경우에서, 햅틱 큐 생성 모듈(418)은, 예를 들면, 사용자 디바이스(106), 헤드셋(108), 및/또는 몇몇 다른 디바이스로 전달될 때 진동 큐를 생성하는 신호를 생성한다.
경로 안내 모듈(420)은 사운드 생성 모듈(414)을 사용하여 상기 설명된 삼차원의 주기적(예를 들면, 비트) 사운드를 생성한다. 이 주기적 사운드의 목적은 사용자를 특정한 방향으로 안내하는 것이다. 경로 안내 모듈(420)은, 사용자의 현재의 실제 진행 방향, 소망하는 진행 방향, 및 실제 진행 방향과 소망하는 진행 방향 사이의 차이(편차 정보에 대응함)를 결정하는 것에 의해 이 효과를 생성한다. 그 다음, 경로 안내 모듈(420)은, 사용자에 의해 특정한 방향으로부터 발생하는 것으로 인식되는 적절한 루핑 사운드(looping sound)를 생성하기 위해 사운드 생성 모듈(414)를 활용한다. 즉, 사운드 생성 모듈(414)은, 경로 안내 모듈(420)에 의해 자신에게 제공되는 편차 정보에 기초하여 루핑 사운드를 생성한다. 사용자는 소망하는 방향으로 이동하는 것에 의해 이 사운드에 응답할 수도 있다. 다른 경우에, 비트 사운드는 물리적 공간의 일련의 위치를 가로질러 이동하는 것으로 인식될 수도 있다. 사용자는 이 경험을, 이동하는 사운드의 방향으로 이동하라는 지시로서 해석할 수도 있다.
비콘 기반의 안내 모듈(422)은, 하나의 예시적인 구현예에서, 각각의 비중첩 범위를 갖는 비콘의 콜렉션으로부터 나오는 신호의 검출에 의해, 실내 및/또는 출력 공간 내에서 내비게이팅함에 있어서, 사용자에게 지원을 제공한다. 섹션 E는, 비콘 기반의 안내 모듈(422)의 동작에 관한 추가 정보를 제공한다. 비콘 기반의 안내 모듈(422)은 데이터 저장소(424)에 제공되는 비콘 정보를 참고할 수도 있다. 비콘 정보는, 환경에 배치된 비콘 및 환경 내에서의 그들 각각의 위치와 관련되는 코드를 설명한다.
관련 정보 결정(relevant information determination; RID) 모듈(426)은, 임의의 주어진 시간에 사용자에게 제시할 관련 정보를 결정하는 일반적인 기능을 수행한다. 도 2의 설명의 맥락에서, RID 모듈(426)은, 사용자의 현재 콘텍스트에 관계가 있는 상이한 타입의 관심 아이템(IOI)을 결정한다. 이 태스크를 수행하기 위해, RID 모듈(426)은, 현재 시간에서의 사용자의 콘텍스트를 정의하는 다양한 콘텍스트 입력(contextual input)을 수신한다. 이들 콘텍스트 입력은, 사용자의 현재 위치, 사용자의 현재 진행 방향, 사용자의 현재 목표,등을 설명할 수도 있다. 콘텍스트 입력은 또한, 환경 그 자체, 예컨대, 물리적인 환경 및 가상 환경 둘 다와 관련되는 오브젝트 및 이벤트를 설명할 수도 있다. 임의의 이러한 입력은, 맵 정보, 디렉토리 정보, 소셜 네트워크 정보, 캘린더 정보, 등으로부터 채굴될 수도 있다. 콘텍스트 입력은 또한, 공간과의 사용자의 상호작용에 영향을 끼치는 환경적 요인, 예컨대 임의의 소스(들)로부터 획득되는 바와 같은 대중 교통 정보, 날씨 정보, 등을 설명할 수도 있다.
RID 모듈(426)은, 현재 시간에서의 콘텍스트 입력에 기초하여, 그리고 다양한 규칙(데이터 저장소(428)에 제공됨)에 기초하여, 주어진 시간에 임의의 정보를 사용자에게 통지하는 것이 적절한지의 여부를 결정하는 것에 의해 동작한다. RID 모듈(426)의 거동은 또한, 사용자에 의해 설정되는 그리고 데이터 저장소(412)에 저장되는 하나 이상의 파라미터에 의해 정의될 수도 있다. 예를 들면, RID 모듈(426)은, 현재 시간에 사용자 근처에 임의의 콘텍스트 IOI가 존재하는지의 여부를, 사용자에 의해 정의되는 깊이 범위에 기초하여 결정할 수도 있다. 이러한 콘텍스트 IOI가 존재하면, RID 모듈(426)은 사운드 생성 모듈(414) 및/또는 사용자에게 이들 콘텍스트 IOI를 통지하기 위해 애플리케이션 인터페이스 모듈(402)에 의해 제공되는 메뉴 기능성과 상호작용할 수 있다.
탐색 모듈(430) 및 오리엔테이션 모듈(432)은, 사용자에 의해 온디맨드 방식으로 호출될 수도 있는 각각의 서비스를 수행한다. 도 2의 시나리오를 참조로 설명되는 바와 같이, 탐색 모듈(430)은, 사용자의 앞에 위치하는 부분 공간(이것은, 결국에는, 조사의 깊이를 정의하는 설정 파라미터, 및 검색 공간의 범위를 설명하는 설정 파라미터와 함께, 사용자의 머리의 포지션에 의해 결정될 수도 있다)과 관련되는 임의의 콘텍스트 IOI를 결정한다. 이 태스크를 수행하기 위해, 탐색 모듈(430)은 RID 모듈(426)의 서비스를 활용한다. 그 다음, 탐색 모듈(430)은, 삼차원 사운드, 디스플레이된 메시지, 등을 사용하여 콘텍스트 IOI를 사용자에게 통지한다. 오리엔테이션 모듈(432)은 탐색 모듈(430)과 유사한 태스크를 수행한다. 그러나 사용자 앞에 투사되는 부분 공간과 관련되는 조사 IOI 대신, 오리엔테이션 모듈(432)은, 현재 시간에 사용자 주위에 존재하는 전체 삼차원 공간을 스캔할 수 있다.
도 5는 애플리케이션 인터페이스 모듈(AIM)(402)의 하나의 구현예를 도시한다. 상기에서 언급되는 바와 같이, 애플리케이션 인터페이스 모듈(402)은, 일반적으로, 도 4를 참조로 상기에서 설명되는 다양한 서브 컴포넌트와 사용자가 상호작용하는 것을 허용하는 인터페이스를 제공한다.
애플리케이션 인터페이스 모듈(402)은, 예를 들면, 사용자가 만들고 있는 지시의 성질을 결정하기 위해, 사용자의 입력을 해석하는 다양한 컴포넌트를 포함할 수도 있다. 예를 들면, 제스처 해석 모듈(502)은, 사용자 디바이스(106)의 터치 감지 스크린과 상호작용하는 것에 의해 사용자가 만든 제스처, 또는 자유 공간 제스처를 결정할 수도 있다. 제스처 해석 모듈(502)은, 사용자에 의해 만들어지는 마크, 또는 터치 또는 호버링(또는 다른 거동)을, 알려진 제스처와 관련되는 패턴을 식별하는 데이터 저장소와 비교하는 것에 의해 이 태스크를 수행할 수도 있다. 사용자의 거동이 특정한 제스처와 관련되는 패턴과, 결정된 매칭 신뢰도를 가지고, 매치하면, 제스처 해석 모듈(502)은, 사용자가 그 제스처를 만든 것으로 결론 내릴 수도 있다.
음성 해석 모듈(504)은, 예를 들면, 사용자 디바이스(106) 및/또는 헤드셋(108) 상의 마이크를 통해 수신될 수도 있는, 사용자에 의한 발화된 명령어를 해석할 수도 있다. 하나의 경우에서, 음성 해석 모듈(504)은, 원격 스피치 프로세싱 엔진(328)(예를 들면, CORTANA 시스템)으로의 포털에 대응할 수도 있다. 다른 경우에서, 음성 해석 모듈(504)은, 발화된 발언(spoken utterance)을 해석하기 위한 임의의 타입의 네이티브 기능성에 대응할 수도 있다. 임의의 이벤트에서, 음성 인식을 수행하는 에이전트는, 이 태스크를 수행하기 위해 임의의 기술, 예컨대 은닉 마르코프 모델 기반의 기술(Hidden Markov Model-based technology), 신경망 기반의 기술(neural network based technology), 등을 사용할 수 있다.
헤드셋 버튼 해석 모듈(506)은, 사용자가 (하기에서 설명될) 헤드셋(108)의 입력 메커니즘과 상호작용하는 방식을 해석한다. 예를 들면, 몇몇 경우에, 버튼의 세트는, 사용자가 이들과 상호작용하는 방식에 따라, 예를 들면, 사용자가 버튼을 터치하는지 또는 버튼을 누르는지의 여부에 따라, 또는 사용자가 버튼을 일 회 이상 터치 및 릴리스하는지의 여부에 기초하여, 또는 사용자가 버튼을 눌러 유지하는지의 여부에 기초하여, 등에 기초하여, 상이한 기능을 수행할 수 있다. 헤드셋 버튼 해석 모듈(506)은 사용자의 거동을 특정한 지시에 매핑한다.
액션 취하기 모듈(action-taking module)(508)은, 상기 설명된 해석 모듈(502, 504, 506)에 의해 제공되는 해석에 기초하여 액션을 호출할 수도 있다. 예를 들면, 해석에 응답하여, 액션 취하기 모듈(508)은: 메뉴를 호출할 수도 있고; 메뉴를 닫을 수도 있고; (하기에서 설명될) 작업 공간 사이의 전이를 행할 수도 있고; 기능을 수행할 수도 있고; 설정을 저장할 수도 있고; 정보 아이템을 제시할 수도 있고,등을 할 수도 있다.
B. 사용자와 그들의 환경 사이의 상호작용을 용이하게 하기 위한 헤드셋 및 사용자 디바이스 옵션
도 6은, 도 1의 맥락에서, 상기에서 소개된 헤드셋(108), 사용자 디바이스(106), 및 다른 사용자 컴퓨팅 디바이스(110)에 관한 추가적인 세부 사항을 도시한다. 이들 디바이스의 피처는, 본원에서, 제한이 아닌 예시의 취지로 제시된다.
먼저 헤드셋(108)을 참조하면, 이 디바이스는, 플라스틱 및/또는 금속 및/또는 임의의 다른 재료로 만들어지는 프레임(602)을 제공할 수도 있다. 프레임(602)은 연성일(flexible) 수도 있고, 사용자의 머리에 대해 횡방향 내측으로 푸시하는 프레임의 장력을 통해, 및/또는 어떤 다른 고정 메커니즘을 통해 사용자의 머리에 고정될 수도 있다. 헤드셋(108)은, 진동을 사용자의 머리의 뼈로 전달하는 트랜스듀서(604, 606)를 포함한다; 사용자의 머리의 뼈는, 그 다음, 이들 진동을 사용자의 고막으로 전달하는데, 고막에서 진동은 오디오 정보로서 인식된다. 골전도 타입 헤드셋의 사용은, 헤드셋(108)이 사용자의 귓구멍을 막는 것을 방지하고, 그에 의해, 사용자가 환경의 다른 사운드에 안전하게 응답하는 것을 허용한다. 그러나, 대안적으로, 헤드셋(108)은, 사용자의 귀 위에, 또는 근처에 배치되는 종래의 스피커를 포함할 수도 있다.
헤드셋(108)은 또한, 옵션적으로, 자신의 프레임 상의 임의의 곳에 입력 메커니즘(608)의 세트를 포함할 수도 있다. 사용자는, 그의 또는 그녀의 손(610)(또는 양손)의 하나 이상의 손가락을 사용하여, 입력 메커니즘(608)과 상호작용할 수도 있다. 대안적으로, 별개의 디바이스(도시되지 않음)가 입력 메커니즘(608)을 제공할 수도 있고, 그 별개의 디바이스는 무선 통신(예를 들면, BLUETOOTH 통신) 및/또는 유선 통신을 통해 헤드셋(108)과 통신할 수도 있다. 도 6은, 입력 메커니즘(608)이 세 개의 버튼을 포함하는 것을 도시하지만, 그러나, 더 일반적으로는, 입력 메커니즘(608)은 임의의 수의 메커니즘을 포함할 수 있고, 이들 입력 메커니즘은 프레임 상에서 임의의 방식으로 배치될 수 있다. 또한, 입력 메커니즘(608)은, 버튼 이외의 다른 타입의 입력 메커니즘, 예컨대 휠 또는 노브(knob) 메커니즘, 슬라이더 메커니즘, 등을 포함할 수 있다. 대안적으로, 또는 추가적으로, 헤드셋(108)은 하나 이상의 터치 감지 표면을 통합할 수도 있다. 예를 들면, 헤드셋(108)의 상이한 영역은 상이한 터치 감지 메커니즘을 통합할 수도 있고, 이들 영역은 상이한 각각의 기능과 관련될 수도 있다.
헤드셋(108)은, (하기에서 설명될) 다양한 태스크를 수행하는 프로세싱 메커니즘을 포함할 수도 있다. 헤드셋(108)은, 이들 프로세싱 메커니즘을 수용하는 구획(compartment; 612)을 포함할 수도 있다. 예를 들면, 하나의 경우에서, 구획(612)은 헤드셋(108)의 후방에 위치한다. 그러나, 프로세싱 메커니즘은 헤드셋(108) 상의 임의의 위치(또는 위치들)에 물리적으로 위치될 수 있다. 프로세싱 메커니즘 그 자체는 임의의 타입의 하나 이상의 프로세싱 디바이스, 메모리, 등, 및/또는 전용 로직 컴포넌트, 예를 들면, 하나 이상의 주문형 반도체(application-specific integrated circuit; ASIC), 등을 포함할 수도 있다.
입력 메커니즘(608)은 활성화시 임의의 동작을 개시할 수 있다. 비제한적인 예를 들면, 사용자는 입력 메커니즘(608)을 사용하여, 탐색 모드 또는 오리엔테이션 모드(상기에서 설명됨)를 호출할 것을 SI 모듈(302)에게 지시할 수도 있다. 추가적으로, 또는 대안적으로, 소정의 토픽(예를 들면, 콘텍스트 IOI의 이름)의 개요를 듣고 난 이후, 사용자는, 식별된 토픽에 관한 추가 정보를 제공할 것을 SI 모듈(302)에게 지시하기 위해 입력 메커니즘(608)을 사용할 수도 있다; 이 지시는 "추가 정보" 지시로서 칭해질 수도 있다.
추가적으로, 또는 대안적으로, 사용자는, 청취 모드를 활성화할 것을, 또는 청취 모드를 중단할 것을 SI 모듈(302)에게 지시하기 위해 입력 메커니즘(608)을 사용할 수 있다. 청취 모드에서, 음성 해석 모듈(504)은, 사용자가 명령어를 말했는지의 여부를 결정하기 위해 사용자의 스피치를 프로세싱한다.
추가적으로, 또는 대안적으로, 사용자는, SI 모듈(302)이 제공한 가장 최근의 오디오 메시지를 반복할 것을 SI 모듈(302)에게 지시하기 위해 입력 메커니즘(608)을 사용할 수 있다. 추가적으로, 또는 대안적으로, 사용자는, 예를 들면, 미리 결정된 수의 이전 메시지에 대해, 가장 최근의 메시지로 시작하고, 메시지 단위로, 시간적으로 뒤로 진행하는 것에 의해, 이전에 전달된 오디오 메시지의 세트를 반복할 것을 SI 모듈(302)에게 요청하기 위해 입력 메커니즘(608)을 사용할 수 있다. 이러한 지시는 "되감기" 지시로 칭해질 수도 있다.
대안적으로, 또는 추가적으로, 사용자는 삼차원 비트 사운드를 온 또는 오프하기 위해,등을 위해, 입력 메커니즘(608)을 사용할 수도 있다. 다른 구현예는, 다른 명령어를 내리기 위해, 및/또는 상기에서 설명되는 지시 중 하나 이상을 생략하기 위해, 입력 메커니즘(608)을 사용할 수 있다.
상기 기능, 또는 그 일부 서브셋은, 임의의 수의 각각의 버튼 및/또는 다른 입력 메커니즘에 임의의 방식으로 매핑될 수 있다. 또한, 몇몇 구현예에서, 시스템(102)은, 사용자가 입력 메커니즘과 그 메커니즘을 호출하는 동작 사이의 매핑을 정의하는 것을 허용하는 커스텀화 모듈을 포함할 수도 있다. 또한, 상기에서 설명되는 바와 같이, 동일한 버튼은 또한, 사용자가 그것과 상호작용하는 방식에 따라 두 개 이상의 기능을 수행할 수 있다. 하나의 구현예에서, SI 모듈(302)은, 사용자가 버튼을 누르는 것이 아니라 그것을 터치할 때 버튼에 의해 수행되는 기능을 알려줄 수도 있다.
다른 피처에 따르면, 사용자는, 기능을 활성화하기 위해 사용되었던 동일한 버튼을 누르는 것에 의해 현재 활성 상태인 기능을 비활성화할 수도 있다. 예를 들면, 사용자는, 정보, 등을 전달할 것을 SI 모듈(302)에게 요청하기 위해 사용되었던 동일한 버튼을 누르는 것에 의해 SI 모듈(302)이 이 정보를 알리는 것을 중지할 수 있다. 대안적으로, 또는 추가적으로, 헤드셋(108)은, 어떤 기능이든 현재 실행되고 있는 기능을 중지하는 전용 버튼을 통합할 수 있다.
사용자 디바이스(106)는, 스마트폰 또는 태블릿 타입 컴퓨팅 디바이스와 같은, 상기에서 설명되는 휴대형 디바이스의 타입 중 임의의 것에 대응할 수도 있다. 상기에서 설명되는 바와 같이, 사용자는 한 손(614)을 사용하여(및/또는 옵션적으로 양손을 사용하여) 사용자 디바이스(106)와 상호작용할 수도 있다. 다른 사용자 컴퓨팅 디바이스(110)는 임의의 타입의 전통적인 고정식 컴퓨팅 디바이스, 예컨대 워크스테이션 컴퓨팅 디바이스, 게임 콘솔, 셋탑 박스 디바이스, 등에 대응할 수도 있다.
하나 이상의 통신 경로(616)가 사용자 디바이스(106)를 헤드셋(108)과 커플링할 수도 있다. 이러한 통신 경로는, 예를 들면, BLUETOOTH 통신 경로, 하드웨어에 내장되는 통신 경로(예를 들면, USB 통신 경로), 등에 대응할 수도 있다. 하나 이상의 통신 경로(618)는, 다른 사용자 컴퓨팅 디바이스(110)를 사용자 디바이스(106) 및/또는 헤드셋(108)에 커플링할 수도 있다. 상기에서 설명되는 바와 같이, 사용자가 다른 사용자 컴퓨팅 디바이스(110)와 사용자 디바이스(106) 및/또는 헤드셋(108) 사이에 접속을 확립하기를 원할 수도 있는 하나의 이유는, 정보를 이들 디바이스로 업로드하는 것이다. 통신 경로(618)는 임의의 방식으로, 예를 들면, 상기에서 설명되는 임의의 타입의 무선 및/또는 유선 통신 경로를 통해 구현될 수 있다.
시스템(102)의 다른 구현예는, 예를 들면, 도 6에서 도시되는 특정한 타입의 헤드셋(108)과 비교하여, 상이한 타입의 헤드셋을 사용할 수 있다. 예를 들면, 다른 구현예에서, 헤드셋은, 상기 식별된 피처(입력 메커니즘(608)을 포함함)를, 예를 들면, 아이웨어(예를 들면, 고글), 헬멧, 등으로서 물리적으로 구현되는 바와 같은 임의의 타입의 헤드 마운트형 디스플레이(head-mounted display; HMD) 디바이스와 함께 통합할 수 있다. 시스템(102)은 헤드 마운트형 디스플레이 디바이스를 사용하여 임의의 타입의 정보를 디스플레이할 수도 있다. 예를 들면, 시스템(102)은, 헤드 마운트형 디스플레이 디바이스, 또는 헤드 마운트형 디스플레이 디바이스의 일부의 서브셋을 통해 다음 섹션(섹션 C)에서 설명되는 메뉴 및 다른 정보 중 임의의 것을 디스플레이할 수도 있다. 다른 경우에, 시스템(102)은, 사용자가 상호작용하는 실세계와 관련되는 정보와 혼합되고, 그에 의해 증강 현실 경험을 제공하는 컴퓨터 생성 정보를 디스플레이할 수도 있다. 예를 들면, 시스템(102)은, 사용자의 시야의 범위 내에서, 설명 태그를 관련된 오브젝트 및 이벤트에 위치적으로 근접하여 디스플레이할 수 있다. 다른 경우에, 시스템(102)은, 추천된 방향,등 에서의 움직임에 있어서 사용자를 지원하는 방향 프롬프트를 디스플레이할 수 있다. 또한, 시스템(102)은, 예를 들면, 시각 장애가 있는 사용자를 위해 단순화되고 확대된 정보를 디스플레이하는 것에 의해, 특정한 사용자에게 영향을 끼칠 수도 있는 임의의 시각적 장애를 수용하도록, 디스플레이되는 정보의 타입을 수정할 수 있다.
시스템(102)은, 임의의 기술을 사용하여, 예를 들면, (예를 들면, 부분적으로 반사하는 미러 또는 등을 사용하여) 실제 환경의 사용자의 직접적인 시각적 인식 "위에" 컴퓨터 생성 정보를 디스플레이하는 광학적 믹서의 사용을 통해, 증강 현실 경험을 달성할 수 있다. 다른 구현예에서, 시스템(102)은 실제 환경을 캡쳐하는 비디오 카메라를, 비디오 카메라로부터의 비디오 정보를 컴퓨터 생성 정보와 혼합하는 광학적 믹서와 함께, 사용할 수 있다. 어느 경우든, 시스템(102)은, 환경 내에서 사용자의 위치를 검출하는 하나 이상의 디바이스, 사용자의 머리의 포지션 및 배향을 검출하는 하나 이상의 디바이스, 및/또는 사용자의 시선(gaze)의 방향을 검출하는 하나 이상의 디바이스, 등을 사용하여 사용자의 추정된 시야를 결정할 수 있다.
다른 경우에, 헤드셋 외에, 또는 헤드셋에 추가하여, 다른 타입의 웨어러블 디바이스가 상기에서 설명되는 기능 중 임의의 것을 수행할 수 있다. 예를 들면, 웨어러블 디바이스는, 손목 착용형 디바이스, 의류 아이템(item of apparel), 등에 대응할 수도 있다.
설명을 단순화하기 위해, 비록, 반복해서 말하자면, 헤드셋(108)이 상기에서 언급되는 임의의 수의 보완 피처(예컨대 헤드 마운트형 디스플레이)를 통합할 수 있지만, 이하의 설명은 사용자가 도 6에서 도시되는 기본 타입의 헤드셋(108)과 상호작용한다는 것을 가정할 것이다. 또한, 헤드셋 대신, 또는 헤드셋 외에, 다른 타입의 웨어러블 디바이스가 사용될 수 있다.
도 7은 도 1의 시스템(102)을 구현하는 하나의 방식을 도시한다. 이 구현예에서, 시스템(102)은 사용자 컴퓨팅 디바이스(702)(간단히 "사용자 디바이스") 및 헤드셋(704) 둘 다를 사용한다. 더 구체적으로는, 기능 중 하나의 할당에 따르면, 사용자 디바이스(702)는 시스템(102)의 기능성 중 대부분을 구현한다. 즉, 사용자 디바이스(702)는, 임의의 배향, 모션, 및/또는 포지션 결정 메커니즘(708), 임의의 터치 감지 입력 메커니즘(710), 및 햅틱 출력 메커니즘(712), 및 디스플레이 출력 메커니즘(714),등을 비롯한, 입/출력 메커니즘(706)의 콜렉션 및 SI 모듈(302)을 포함한다. 이들 메커니즘의 예는 도 3의 설명과 연계하여 상기에서 제공되었다. 사용자 디바이스(702)는 또한, 전원(716)(예를 들면, 배터리) 및 헤드셋(704)과 통신하기 위한 하나 이상의 통신 메커니즘(718)을 포함한다.
한편, 헤드셋(704)은 단지 하나 이상의 오디오 출력 메커니즘(720)(예컨대 골전도 오디오 메커니즘), 전원(722)(예컨대 배터리), 및 사용자 디바이스(702)와 통신하기 위한 하나 이상의 통신 메커니즘(724)을 포함한다. 또한, 헤드셋(704)은, 도 6을 참조로 상기에서 설명되는 입력 메커니즘(726)(예를 들면, 도 6의 입력 메커니즘(608)에 대응함)의 타입 중 임의의 것을 포함할 수도 있다. 통신 메커니즘(724)은, 입력 메커니즘(726)에 의해 호출되는 명령어를 사용자 디바이스(702)로 송신할 수 있다. 사용자 디바이스(702)는, 결국에는, 오디오 출력 메커니즘(들)(720)에 의한 표현을 위해 오디오 정보를 헤드셋(704)으로 전송할 수 있다.
도 8은 시스템(102)을 구현하는 다른 방식을 도시한다. 여기서, 시스템(102)은, 도 7의 헤드셋(704)과 비교하여 더 많은 프로세싱 능력을 갖는 헤드셋(802)을 포함한다. 실제, 하나의 구현예에서, 헤드셋(802)은, 어떠한 별개의 사용자 디바이스(106)의 사용 없이도, 시스템(102)의 모든 공간 상호작용 관련 양태를 수행할 수도 있다. 다른 구현예에서, 헤드셋(802)은 별개의 사용자 디바이스(106)(도 8에서 도시되지 않음)와 여전히 상호작용할 수도 있다. 그 별개의 사용자 디바이스(106)는, 도 7의 사용자 디바이스(702)의 컴포넌트의 전체, 또는 전체의 임의의 서브셋을 포함할 수 있다.
더 구체적으로는, 도 8의 경우의 헤드셋(802)은, 도 4를 참조로 상기에서 설명되는 기능 중 임의의 서브셋을 수행하는 헤드셋측 SI 모듈(headset-side SI module)(804)을 포함할 수도 있다. 또한, 헤드셋(802)은, 임의의 배향, 모션, 및/또는 포지션 결정 메커니즘(806)을 포함할 수도 있다. 이들 메커니즘은, 이들이 사용자의 머리의 물리적 자세 또는 움직임을 결정하기 때문에, 일반적으로, 하기에서 머리 감지 메커니즘(head-sensing mechanism)으로 칭해지는데, 사용자의 머리의 물리적 자세 또는 움직임은, 결국에는, 사용자의 주목 초점(focus of attention)의 방향을 반영할 수도 있다. 또한, 헤드셋(802)은, 도 6을 참조로 상기에서 설명되는 입력 메커니즘(808)의 타입 중 임의의 것을 포함할 수도 있다. 또한, 헤드셋(802)은, 전원(810) 및 (시스템(102)이, 그럴 필요는 없지만, 이러한 사용자 디바이스(106)를 이 구현예에서 사용하면)사용자 디바이스(106)와 상호작용하기 위한 하나 이상의 통신 메커니즘(812)을 포함할 수도 있다. 또한, 헤드셋(802)은, 상기에서 설명되는 임의의 타입(들)의 오디오 출력 메커니즘(들)(814)을 포함한다.
하나의 동작 모드에서, 도 8의 시스템(102)은, 헤드셋(802) 상에 제공되는 머리 감지 메커니즘을, 이들이 제공되어 적절히 작동하고 있을 때, 사용할 수 있다. 헤드셋(802)에 의해 제공되는 머리 감지 메커니즘은 사용자 디바이스(106)에 의해 제공되는 대응부 감지 메커니즘(counterpart sensing mechanism)에 바람직할 수도 있는데, 그 이유는 머리 감지 메커니즘이 사용자의 배향, 움직임, 및/또는 포지션을 더 정확하게 반영할 수도 있기 때문이다. 또한, 머리 감지 메커니즘의 사용은, 사용자가 그의 또는 그녀의 배향, 움직임, 및/또는 포지션을 등록하기 위해 사용자 디바이스(106)와 상호작용할 필요성을 제거한다.
몇몇 경우에, 헤드셋(108)은, 옵션적으로, 머리 감지 메커니즘에 의해 생성되는 정보를 사용자 디바이스(106)로 포워딩할 수도 있다. 사용자 디바이스(106)는 이 정보를 프로세싱을 수행하기 위해 사용할 수도 있고 그 다음 그 프로세싱의 결과를 다시 헤드셋(802)으로 포워딩할 수도 있다. 그 다음, 헤드셋(802)은, 결과를 전달하는 골전도 기술을 통해 사운드를 사용자의 귀로 송신할 수도 있다. 다른 경우에, 헤드셋측 SI 모듈(804)은, 머리 감지 메커니즘에 의해 제공되는 정보를 사용자 디바이스(106)로 포워딩할 필요 없이, 이 프로세싱을 수행할 수 있다. 여전히 다른 경우에, 헤드셋측 SI 모듈(804)은, 일부 동작을 네이티브하게 수행할 수 있고, 다른 동작을 수행하기 위해 사용자 디바이스(106)에 의존할 수 있다. 예를 들면, 헤드셋측 SI 모듈(804)은, 계산 집약적인 동작(예컨대 삼차원 사운드의 계산, 등)을 수행하기 위해 사용자 디바이스(106)에 의존할 수 있는데, 그 이유는 이들 동작이, 헤드셋(108)과 비교하여 사용자 디바이스(106) 상에서 더 효율적으로 수행될 수 있기 때문이다.
다른 경우에, 시스템(102)은, 대응부 컴포넌트가 헤드셋(802) 상에서 적절히 작동하고 있지 않을 때, 사용자 디바이스(106)에 의해 제공되는 배향 결정 메커니즘(들), 모션 결정 메커니즘(들), 및/또는 포지션 결정 메커니즘(들)을 사용할 수도 있다.
또 다른 경우에, 시스템(102)은, 예를 들면, 다른 디바이스의 센서 판독치에서 명백한 에러를 식별하기 위해, 및/또는 센서 판독치의 두 개의 상이한 버전의 평균을 형성하기 위해,등을 위해, 하나의 디바이스의 센서 판독치를 사용하는 것에 의해 헤드셋(802) 및 사용자 디바이스(106) 둘 다에 의해 제공되는 센서를 활용할 수도 있다.
도 7 및 도 8의 구현예 중 어느 하나에서, 헤드셋(예를 들면, 704, 802) 및/또는 사용자 디바이스(예를 들면, 702, 106)에 의해 수행되는 기능 중 적어도 일부는, 대안적으로, 또는 추가적으로, 도 1의 원격 프로세싱 리소스(112)(예를 들면, 클라우드 컴퓨팅 리소스에 대응함)에 의해 수행될 수 있다.
도 9는, 사용자(902)가 차량 내에서 사용자 디바이스(904)와 상호작용하는 시나리오를 도시한다. 도 9에서 명시적으로 예시되지는 않지만, 사용자(902)는 또한, 사용자의 귀를 막지 않으면서 오디오 정보를 사용자에게 중계하는 골전도 헤드셋을 사용할 수도 있다. 더 일반적으로는, 도 9는, 상기에서 설명되는 기능성이, 상기에서 설명되는 경우 이외의 추가적인 사용 시나리오에 적용될 수 있는 더 일반적인 점의 예이다.
도 9의 경우에서, 사용자(902)는, 마운트(906)를 사용하여, 차량의 대시보드 영역 상에 사용자 디바이스(904)를 마운팅하였다. 사용자(902)는 (도 9에서 도시되는 바와 같은) 차량의 운전자 또는 탑승객일 수도 있다. 전력 코드(908)가 차량에 의해 제공되는 전력 아웃렛으로부터 사용자 디바이스(904)로 전력을 전달할 수도 있다.
도 10은 도 6에서 도시되는 기기의 동작의 하나의 방식을 설명하는 프로세스(1004)를 도시한다. 블록 1004에서, 시스템(102)은, (예를 들면, 도 6에서 도시되는 헤드셋 입력 메커니즘(608) 중 하나의 사용자의 작동에 기초한) 적어도 하나의 헤드셋 입력 메커니즘의 사용자 작동의 결과로서 명령어를 수신한다. 블록 1006에서, 시스템(102)은, 블록 1004에서 제공되는 명령어에 기초한 기능을 수행하고, 출력 결과를 제공한다. 블록 1006은 헤드셋(108) 및/또는 사용자 디바이스(106)에 의해 수행될 수도 있다. 블록 1008에서, 헤드셋(108)은 출력 결과를 적용하여 오디오 정보를 전달하는데, 오디오 정보는 사용자가 공간 내에서 경로에 걸쳐 내비게이팅함에 있어서, 또는, 더 일반적으로는, 공간과의 상호작용에 있어서 사용자를 지원한다.
요약하면, 상기의 피처는, 사용자가 그의 또는 그녀의 환경을 통해 안전하게 그리고 효율적으로 이동하는 것을 허용하는 상기 목표에 기여한다. 예를 들면, 피처는, 사용자가 환경을 통해 이동할 때 사용자를 과도하게 혼란시키지 않으면서, 예를 들면, 사용자가 별개의 사용자 디바이스에 액세스하여 상호작용하는 것을 필요로 하지 않으면서, 다양한 동작 모드를 (예를 들면, 헤드셋(108)의 사용자 입력 메커니즘(608)과 상호작용하는 것에 의해) 활성화할 수도 있게 하는 편리한 방식을 제공한다.
C. 사용자와 그들의 환경 사이의 상호작용을 용이하게 하기 위한 예시적인 사용자 인터페이스 기능성
이 섹션은 도 4 및 도 5의 애플리케이션 인터페이스 모듈(402)의 동작의 하나의 방식에 관한 예시적인 세부 사항을 제공한다. 반복해서 말하자면, 애플리케이션 인터페이스 모듈(402)은 사용자가 SI 모듈(302)의 다양한 컴포넌트와 상호작용하는 것을 허용한다. 애플리케이션 인터페이스 모듈(402)에 대한 반복된 언급을 용이하게 하기 위해, 이 섹션은 이 컴포넌트를 AIM(402)의 단축된 형태로 언급할 것이다. AIM(402)은 별개의 컴포넌트, 또는 시스템(102)의 실제 구현예에서 두 개 이상의 컴포넌트에 의해 수행되는 기능의 집합을 가리킬 수도 있다.
사용자 인터페이스 경험은, 결국에는 상이한 컴포넌트 또는 양태를 갖는다. 하기의 하위섹션 C.1은, 사용자가, 예를 들면, 사용자 디바이스(106)에 의해 제공되는 바와 같은 시각적 사용자 인터페이스 표시를 통해 SI 모듈(302)과 상호작용하는 것을 AIM(402)이 허용하는 하나의 예시적인 방식에 관한 세부 사항을 제공한다. 하위섹션 C.2는, AIM(402)이 다양한 사운드 및 햅틱 피드백 큐를 사용자에게 제공할 수도 있는 하나의 예시적인 방식에 관한 세부 사항을 제공한다. 섹션 C.3은, 사용자가 발화된 명령어를 통해 SI 모듈(302)과 상호작용하는 것을 AIM(402)이 허용하는 하나의 예시적인 방식에 관한 세부 사항을 제공한다.
일반적으로, 하기의 설명은, 예를 들면, 도 2의 예에서와 같이, 공간을 통해 사용자에 의해 취해지는 여정의 맥락에서 AIM(402)을 설명한다는 것을 유의한다. 그러나, AIM(402)은, 특별한 방식으로 공간을 탐색할 목적을 위한 준비된 경로 없이 사용자가 공간을 어슬렁거리는 경우를 비롯하여, 사용자가 공간과 상호작용하는 다른 시나리오에서 유사한 서비스를 제공한다. 추가적인 유의 사항(further note)으로서, 하기에 설명되는 사용자 인터페이스 피처는 또한, 본질적으로 범용적이며, 따라서 공간과의 사용자의 상호작용에 필수적으로 관련되지 않는 다른 콘텍스트에 적용될 수 있다.
다른 서론적 유의 사항(prefatory note)으로서, 설명은, 사용자에 의해 수행되는 제스처 관련 액션을, 제스처 관련 액션에 응답하여 AIM(402)에 의해 취해지는 대응하는 동작과 함께, 설명하는 것에 의해 AIM(402)에 의해 해석되는 많은 제스처를 설명한다. 도 5를 참조로 더 완전히 설명되는 바와 같이, AIM(402)은 이 태스크를 다음에 의한 각각의 경우에 수행한다: (a) 예를 들면, 사용자가 텔테일 플릭 제스처(telltale flick gesture), 등을 행할 때, 사용자에 의해 수행되는 제스처를 설명하는 입력 정보를 검출하는 것; (b) 사용자가 호출한 특정한 제스처를 결정하기 위해, 입력 정보를, 알려진 제스처와 관련되는 저장된 패턴과 비교하는 것; 및 (c) 검출된 제스처와 관련되는 동작을 실행하는 것. 이들 개별 동작의 명시적인 설명은 간략화를 위해 하기의 많은 경우에서 생략된다.
C.1. 시각적 경험: 작업 공간 및 메뉴와의 상호작용
하나의 접근 방식에서, AIM(402)은 마스터 작업 공간(master workspace)을 더 작은 작업 공간의 콜렉션으로 편제한다. 작업 공간은 서로에 대해 위치적 관계를 갖는다. 이 구조는, 그 또는 그녀가 물리적 공간의 구역과의 반복된 조우를 통해 그 물리적 공간의 구역과 익숙하게 되는 것처럼, 사용자가 애플리케이션의 편제의 정신적 픽쳐를 개발하는 것을 허용하기 때문에 유익하다. 이 피처는, 결국에는, 사용자가 찾고 있는 정보 및/또는 기능성에 효율적으로 액세스하는 것을 허용한다.
예를 들면, 도 11은, AIM(402)이 마스터 작업 공간을 다섯 개의 더 작은 작업 공간으로 편제하는 예를 도시한다. 홈 작업 공간(1102)은, 여행을 하는 동안, 사용자의 상호작용에서 중심적인 초점으로서 기능한다. 예를 들면, 하기에 설명되는 바와 같이, 홈 작업 공간(1102)은, 여정의 각각의 특정한 지점 또는 공간과의 다른 상호작용에서, 사용자의 현재 콘텍스트에 관한 정보를 제시한다. 사용자가 아직 여정을 시작하지 않았다면, 홈 작업 공간(1102)은 디폴트 허브 페이지를 제시할 수도 있다.
메인 작업 공간(1104)은 홈 작업 공간(1102)의 왼쪽에 위치하고, "내 주변" 작업 공간(1106)은 홈 작업 공간(1102)의 우측에 위치한다. 정보 작업 공간(1108)은 홈 작업 공간(1102)의 상부에 위치하고, 한편 설정 작업 공간(1110)은 홈 작업 공간(1102)의 저부(bottom)에 위치한다. 이들 작업 공간의 각각의 역할은 하기에서 더 상세히 설명될 것이다.
상기에서 설명되는 각각의 작업 공간의 포지션은, 제한이 아닌 예시의 취지로 설명된다. 다른 구현예는 작업 공간의 다른 배치를 제공할 수 있다. 또한, 다른 구현예는, AIM(402)에 의해 제공되는 작업 공간의 수를 변경할 수 있다. 예를 들면, 다른 구현예는, 홈 작업 공간(1102)에 대해 대각선적으로 배치되는 작업 공간을 제공하는 것에 의해 다른 네 개의 작업 공간을 제공할 수 있다.
도 12는, 홈 작업 공간(1102)으로부터 메인 작업 공간(1104)으로 사용자가 내비게이팅할 수도 있게 하는 하나의 방식을 도시한다. 이 비제한적인 경우에, 사용자는 메인 작업 공간(1104)으로 내비게이팅하기 위해 홈 작업 공간(1102) 상에서 우측 방향 플릭 제스처(flick-right gesture)를 실행한다. 비록 도시되지는 않지만, 사용자는, 메인 작업 공간(1104)으로부터 다시 홈 작업 공간(1102)으로 이동하기 위해 좌측 방향 플릭 제스처(flick-left gesture)(또는 또 다른 우측 방향 플릭 제스처)를 실행할 수도 있다.
유사한 방식으로, 사용자는 "내 주변" 작업 공간(1106)으로 내비게이팅하기 위해 홈 작업 공간(1102) 상에서 좌측 방향 플릭 제스처를 실행할 수도 있다. 사용자는 정보 작업 공간(1108) 상으로 내비게이팅하기 위해 홈 작업 공간(1102) 상에서 하방 플릭 제스처(flick-down gesture)를, 그리고 설정 작업 공간(1110)으로 내비게이팅하기 위해 홈 작업 공간(1102) 상에서 상방 플릭 제스처(flick-up gesture)를 실행할 수도 있다. 사용자는, 예를 들면, 사용자 디바이스를 잡는 손의 엄지손가락을 사용하여, 예를 들면, 사용자 디바이스(106)의 터치 감지 표면 상에 엄지손가락을 배치하고 그것을 소망하는 방향으로 플릭하는 것에 의해, 이들 제스처 중 임의의 것을 수행할 수 있다. 플릭 움직임에서, 사용자는, 하나 이상의 손가락을 사용하여 터치 감지 표면과 접촉하는 것, 표면을 가로질러 어떤 거리 동안 손가락(들)을 움직이는 것, 및 그 다음 손가락(들)을 표면으로부터 떼는 것을, (플랫 표면을 가로지르는 물리적 오브젝트를 플릭하는 것처럼) 이들 모두를 상대적으로 빠르고 연속적으로 행한다.
하나의 구현예에서, 임의의 주변 구역으로 내비게이팅하기 위해, 사용자는 먼저 홈 작업 공간(1102)으로 내비게이팅할 것으로 예상된다. 그러나, 다른 구현예에서, AIM(402)은, 먼저 홈 작업 공간(1102)으로 다시 움직이지 않고도, 사용자가 하나의 주변 영역으로부터 다른 것으로 내비게이팅하는 것을 허용할 수도 있다.
더 일반적으로는, 이 섹션의 모든 예에서, 디스플레이 표면 상의 점선의 원은, 사용자가 손가락을 사용하여 표면과 접촉하는 지점을 나타낸다. 몇몇 경우에, 디스플레이의 표면은, 상이한 사이즈의 두 개의 점선의 원을 도시할 것이다. 두 개의 원 중 더 큰 것은 사용자가 그의 또는 그녀의 손가락을 댄 위치를 나타내고, 한편 두 개의 원 중 더 작은 것은 사용자가 그의 또는 그녀의 손가락을 뗀 위치를 나타낸다. 다른 경우에(도시되지 않음), 사용자는, (예를 들면, 핀치 타입 제스처를 실행하기 위해) 두 개 이상의 위치에서 터치 감지 표면을 연속적으로 터치하는 것을 수반하는 적어도 하나의 제스처를 수행할 수도 있다. 다른 경우에(도시되지 않음), 사용자는, 디바이스의 표면과 실제로 접촉하지 않으면서 디바이스의 표면 위에서 호버링하는 것에 의해 적어도 하나의 제스처를 수행할 수도 있다. 다른 경우에(도시되지 않음), 사용자는 자유 공간 제스처를 수행할 수도 있는데, 자유 공간 제스처는 비디오 카메라 및/또는 깊이 카메라, 등에 의해 검출될 수도 있다.
최종적인 소개적 유의 사항(introductory note)으로서, 이 섹션은 특정한 제스처, 메뉴 구조, 및 메뉴 아이템을, 모두 제한이 아닌 취지와 예시로서 설명한다. 다른 구현예는 이들 사용자 인터페이스 피처의 임의의 양태를 변경할 수 있다. 예를 들면, 다른 구현예(예시되지 않음)에서, AIM(402)은, 사용자가 탭 타입 제스처를 사용하여, 또는 디스플레이의 표면 상에 특정한 형상을 그리는 것에 의해, 등에 의해, 사용자가 작업 공간 사이에서 전이하는 것을 허용할 수 있다.
도 13 내지 도 16은, 홈 작업 공간(1102)에서 제시될 수도 있는 정보의 타입을 예시한다. 상기에서 언급되는 바와 같이, 홈 작업 공간(1102)은, 사용자가 경로를 통해 내비게이팅하거나 또는 다르게 공간과 상호작용할 때, 사용자의 주목의 주 초점으로서 기능한다. 디폴트 상태에서, 도 13에서 도시되는 바와 같이, 홈 작업 공간(1102)은 허브 페이지를 제시할 수도 있다. 메뉴 구조의 특정한 성질, 및 그 구조 내의 메뉴 아이템이 하기에서 설명될 것이다.
사용자의 여정 동안, 홈 작업 공간(1102)은 (비록, 사용자에 의한 요청시, 여정 동안 다른 정보가 홈 작업 공간(1102)에서 또한 제시될 수 있지만) 사용자의 현재 콘텍스트에 관한 정보를 제시할 수도 있다. 예를 들면, 도 14의 경우에, 사용자가 현재 기차를 타고 있는 것을 가정한다. 홈 작업 공간(1102)은, 기차에서의 사용자 경험에 초점을 맞추는 메뉴를 제시할 수도 있다. 도 15의 경우에서, 이제, 사용자가 특정한 거리를 걷고 있는 것을 가정한다. 디폴트로서, 홈 작업 공간(1102)은, 이제, 거리 상에서의 사용자의 경험에 관한 정보를 제시할 것이다. 예를 들면, 홈 작업 공간(1102)은, 거리 상에서의 사용자의 현재 위치(1502)를 도시하는 맵을 제시할 수 있다. 대안적으로, 사용자는, AIM(402)과 상호작용하여 도 14에서 도시되는 메뉴의 타입을 생성할 수도 있지만, 그러나 여기서 그 메뉴는, 이제, 거리를 걷고 있는 동안의 사용자의 경험에 관련이 있는 메뉴 아이템을 포함할 것이다. 상기 거동의 덕분에, AIM(402)은, 환경에서의 그의 또는 그녀의 현재 콘텍스트에서 사용자에게 가장 관련이 있는 정보를 표면화하고, 홈 작업 공간(1102) 내에 그 정보를 제시한다; 따라서, 사용자는 가장 관련이 있는 정보를, 그것을 "찾아야" 하지 않고도, 예를 들면, 성가신 메뉴 구조를 통해 내비게이팅하지 않고도, 쉽게 찾아서 소비할 수 있다. 이러한 피처는 또한, 사용자에게 주어지는 혼란을 감소시키고, 따라서 시스템(102)의 안전성에 기여한다.
그럼에도 불구하고, 사용자는 AIM(402)과 상호작용하여, 사용자의 바로 주변에 관련이 없는 정보를, 홈 작업 공간(1102)에서의 표시를 위해, 활성화할 수도 있다. 예를 들면, 사용자는, 예를 들면, 하기에 설명될 탭 메뉴 옵션을 활성화하는 것에 의해, 탭 메뉴를 활성화할 수도 있다. 응답으로, AIM(402)은 도 16에서 도시되는 탭 메뉴를 제시할 것이다. 탭 메뉴는, 이전에 열린 메뉴에 대응하는, 열린 탭의 콜렉션을 도시한다. 이들 탭이 있는 메뉴(tabbed menu) 중 일부는, 이미 사용자가 완료한 이전의 여정 세그먼트에 관한 정보에 대응할 수도 있다. 사용자는 임의의 이러한 탭 관련 메뉴 아이템을 활성화할 수도 있다. 응답으로, AIM(402)은 이전 여정 단계에 관한 정보를 홈 작업 공간(1102)에서, 예를 들면, 메뉴 또는 어떤 다른 포맷의 형태로 나타낼 수도 있다. 메뉴 구조는 또한, 여정 상에서 조우되지 않은 미래의 여정 단계를, 사용자에 의한 요청시, 사용자가 검사하는 것을 허용할 수도 있다.
또한, 여정을 시작한 이후라도, 예를 들면, 사용자가 디폴트 허브 메뉴에서 명시되는 정보 및/또는 기능성에 액세스할 수도 있도록, 사용자는, AIM(402)에게 도 13에서 도시되는 그 허브 메뉴로 리턴할 것을 지시할 수도 있다.
추가적인 명확화로서, 상기의 예에서, 현재 콘텍스트는 사용자의 전체 여정의 물리적 위치 또는 세그먼트에 관련이 있다. 다른 경우에, 홈 작업 공간(1102)은 가상 공간의 사용자의 탐색에 관한 콘텍스트 정보를 제시할 수 있다. 예를 들면, 사용자는 가게에 의해 제공되는 제품의 계층 내에서 내비게이팅할 수 있다. 그 시나리오에서, 홈 작업 공간(1102)은, 제품의 그룹, 개별 제품, 등에 관련이 있는 메뉴를 제시할 수도 있다.
일반적으로 말하면, 도 13 내지 도 16에서 도시되는 상기 설명된 타입의 메뉴는 주 메뉴에 대응한다. AIM(402)은 이들 타입의 메뉴를 홈 작업 공간(1102)에서 디스플레이한다. 대조적으로, AIM(402)은, 홈 작업 공간(1102)의 주변에 위치하는 다른 작업 공간에서 보조 메뉴(secondary menu)를 제시한다. 도 17 내지 도 20은, 이들 주변 작업 공간에서 제시될 수도 있는 예시적인 보조 메뉴를 도시한다.
예를 들면, 도 17은 메인 작업 공간(1104)에 표시하기 위한 메인 메뉴를 도시한다. 메인 메뉴는, SI 모듈(302)의 상이한 양태와 상호작용할 때 공통적으로 사용되는 액션을 식별한다. 도 18은, 설정 작업 공간(1110)에 표시하기 위한 설정 메뉴를 도시한다. 설정 메뉴는, SI 모듈(302)의 동작에 영향을 끼치는 다양한 파라미터를, 사용자가 변경하는 것을 허용한다. 도 19는, 정보 작업 공간(1108)에 표시하기 위한 정보 메뉴를 도시한다. 정보 메뉴는, 잔여 배터리 수명, 신호 강도와 같은 시스템 정보에 대한 편리한 액세스를 제시한다. 정보 메뉴는 또한, 통지 및 다른 유용한 경고 정보 및 여정 정보, 예컨대 대중 교통 서비스로부터의 실시간 업데이트에 대한 편리한 포털을 제공한다.
도 20은, "내 주변" 작업 공간(1106)에 표시하기 위한 "내 주변" 메뉴를 제공한다. "내 주변" 메뉴는, 도 4의 RID 모듈(426)에 의해 식별되는 바와 같은, 현재 시간에 사용자에 대해 가까운 거리 내에 위치하는(또는 사용자의 현재 콘텍스트에 다르게 관련되는) 콘텍스트의 관심 아이템(IOI)에 관한 정보를 제시한다. 사용자는, "주변(nearby)" 콘텍스트 IOI를 구성하는 것을 결정하는 최대 거리를 명시하기 위해 설정 메뉴를 사용할 수도 있다. 각각의 콘텍스트 IOI는 "내 주변" 메뉴에서 그것의 이름, 그것의 카테고리(예컨대 "식품 및 음료" 카테고리), 및 사용자로부터 그것의 거리에 의해 식별된다. 사용자는 이 메뉴에서 한 아이템을 활성화하여, SI 모듈(302)로 하여금 이 콘텍스트 IOI에 관한 오디오 정보를 제공하게 할 수도 있다. 그 오디오 정보는 삼차원 사운드 정보로서 정형화될 수도 있고, 그 결과, 전달시, 오디오 정보는, 콘텍스트 IOI와 관련되는 엔티티가 물리적 공간에서 발견될 수 있는 동일한 방향에서 발생하는 것처럼 보인다.
도 21은, 홈 작업 공간(1102)에서 제시될 수도 있는 임시 메뉴의 예를 도시한다. 예를 들면, 사용자는, 도 19에서 도시되는, 그리고 정보 작업 공간(1108)에서 제시되는 정보 메뉴로 먼저 내비게이팅하는 것에 의해 이 임시 메뉴를 활성화할 수도 있다. 그 다음, 사용자는 메뉴의 "통지(notification)" 메뉴 아이템을 활성화할 수도 있다. 응답으로, AIM(402)은 도 21에서 도시되는 임시 메뉴를 제시할 수도 있다.
도 22는, 대조적으로, 오버레이 메뉴의 예를 도시한다. 이 특정한 예에서, 사용자는, 설정 작업 공간(1110)에서 제시되는 바와 같이, 도 18에서 도시되는 설정 메뉴로 먼저 진행하는 것에 의해 오버레이 메뉴를 활성화할 수도 있다. 그 다음, 사용자는 그 메뉴의 "콘텍스트 인식(contextual awareness)" 메뉴 아이템을 활성화할 수도 있다. AIM(402)은 도 22에서 도시되는 오버레이 메뉴를 제시하는 것에 의해 사용자의 액션에 응답한다. 도 21에서 도시되는 임시 메뉴와는 달리, 도 22에서 도시되는 오버레이 메뉴는, 홈 작업 공간(1102) 대신, 설정 작업 공간(1110)의 도 18에서 도시되는 설정 메뉴 "위에" 제시된다. 오버레이 메뉴 및 임시 메뉴는 또한, 하기에 설명되는 바와 같이, "뒤로 가기" 커맨드의 실행에 응답하여 상이한 거동을 나타낸다.
도 22의 특정한 경우에서, 오버레이 메뉴는 사용자가 SI 모듈(302)에 의해 제공되는 콘텍스트 인식의 레벨을 변경하는 것을 허용한다. 예를 들면, 이 메뉴를 통해, 사용자는, 사용자에게 포워딩되는 정보의 양을 결정하는 파라미터 값을 설정할 수 있다. 하나의 경우에서, 사용자는, 그의 또는 그녀의 현재 콘텍스트에 잠재적으로 관련이 있는 모든 정보를 수신할 것을 선택할 수도 있다. 다른 경우에, 사용자는, 높은 중요도를 갖는 것으로 간주되는 경고 및 다른 정보만을 수신할 것을 선택할 수도 있다.
도 23은, 사용자가 SI 모듈(302)에게 사용자의 여정의 임의의 시점에서 그의 또는 그녀의 현재 콘텍스트를 제시할 것을 지시할 수 있게 하는 하나의 방식을 설명한다. 하나의 비제한적인 경우에 따르면, 사용자는, 표면 상의 임의의 위치에서, 사용자 디바이스(106)의 터치 감지 표면 상에 단일의 탭 제스처를 행하기 위해 손가락(예를 들면, 엄지손가락)을 사용할 수도 있다. 이 제스처를 검출하는 것에 응답하여, SI 모듈(302)은, 사용자의 현재 콘텍스트에 관한 하이 레벨 정보를, 발화된 메시지로서, 제시할 수 있다. 예를 들면, SI 모듈(302)은, 이 콘텍스트에 적절할 콘텍스트 메뉴의 타이틀을 알릴 수 있다. 예를 들면, 도 14의 예에서, SI 모듈(302)은 "객차 E: 런던 패딩턴(Carriage E: London Paddington)"을 알릴 수 있다.
대안적으로, 사용자는 더블 탭 제스처를 행할 수도 있다. 이 제스처를 검출하는 것에 응답하여, SI 모듈(302)은 사용자의 현재 콘텍스트에 관한 더 상세한 정보를, 역시 발화된 메시지로서, 제시할 수 있다. 예를 들면, 더블 탭하면, SI 모듈(302)은 도 14에서 도시되는 메뉴의 메뉴 아이템을 알릴 수 있다.
다음으로, 사용자가 트리플 탭 제스처를 수행하는 것을 가정한다. 이 제스처를 검출하는 것에 응답하여, SI 모듈(302)은, 도 14에서 도시되는 메뉴가, 실제로, 사용자의 현재 콘텍스트에 관련이 있으면, 그 메뉴의 타입과 상호작용하는 방법을 사용자에게 통지하는 명령어를 알릴 수 있다. 예를 들면, 지시는, 사용자에게, 메뉴를 활성화하는 방법, 메뉴 내에서 내비게이팅하는 방법, 메뉴 내에서 메뉴 아이템을 선택하는 방법,등을 통지할 수 있다.
도 24로 진행하면, 이 도면은 사용자가 메뉴를 활성화할 수도 있는 방법, 및, 그 다음, 사용자가 후속하여 메뉴와 상호작용할 수도 있는 방법을 도시한다. 하나의 비제한적인 경우에서, 사용자는, 사용자 디바이스(106)의 터치 감지 디스플레이 표면의 표면 상의 임의의 곳에서 탭 앤 홀드 제스처를 행하는 것에 의해 도 24에서 도시되는 메뉴를 활성화할 수도 있다. 예를 들면, 도 24에서 도시되는 바와 같이, 점선의 원(2402)은, 터치 감지 표면의 표면 상에서 사용자가 탭 앤 홀드했던 위치를 나타낸다.
이 제스처를 검출하는 것에 응답하여, AIM(402)은 메뉴(2404)를 제시한다. 메뉴는, 사용자가 표면을 터치했던 표면(터치 위치에 대응함) 상의 위치(디스플레이 위치에 대응함)에 중심을 둔다. 메뉴(2404)를 활성화시키는 목적을 위해 사용자 인터페이스 표시에서 특정한 엘리먼트를 찾아야 할 필요성을 제거하기 때문에, 사용자는 이 피처가 유용하다는 것을 발견할 수도 있다. 대신, 사용자는 표면 상의 임의의 곳에서 탭 앤 홀드 제스처를 실행할 수도 있다. 이 피처는, 결국에는, 시스템(102)을 사용하여 사용자에게 주어지는 혼란을 감소시킨다. 그러나, 모든 위치에서 메뉴(2404)의 성공적인 활성화로 나타나지는 않을 것이다. 예를 들면, 사용자가 표면의 상부 또는 저부에 너무 가깝게 탭하면, AIM(402)은, 옵션적으로, 표면의 중간에 더 가까운 그의 또는 그녀의 탭 앤 홀드 제스처를 반복할 것을 사용자에게 요청하는 에러 메시지를 (예를 들면, 발화된 메시지로서) 사용자에게 제시할 수도 있다.
지금까지 예시된 메뉴는 특정한 균일한 메뉴 구조를 갖는다. 도 24에서 도시되는 메뉴(2404)는 동일한 구조를 갖는데, 이 구조가 제한이 아닌 예시의 취지로 설명된다는 단서를 가지고, 이제, 도 24에서 도시되는 메뉴(2404)가 하기에서 설명될 것이다. 다른 구현예는 다른 메뉴 구조 및 거동을 채택할 수 있다. 예를 들면, 이 하위섹션은, 도 24의 메뉴(2404)와 비교하여 상이한 메뉴 구조를 채택하는, 그리고 상이한 메뉴 거동을 나타내는 구현예의 예로 종료할 것이다. 또한, 본원에서 설명되는 메뉴는 그들의 메뉴 아이템을 선형적인 리스트의 형태로 제시한다; 그러나, 자신의 메뉴를 다른 방식으로 제시하는 다른 메뉴(예를 들면, 방사상 또는 파이(pie) 메뉴, 등)가 사용될 수 있다.
도 24에서 도시되는 메뉴 구조는, 마커 아이템(2406)에 의해 분리되는 두 개의 그룹의 메뉴 아이템을 갖는다. 더 구체적으로는, 메뉴 아이템의 제1 그룹(2408)은, 사용자의 현재 콘텍스트 또는 당면한 태스크에 특별히 관련이 있는 메뉴 아이템을 제시한다. 메뉴 아이템의 제2 그룹(2410)은, 상이한 작업 공간에서 제시될 수도 있는, 따라서 전역적인(global) 또는 일반적인 메뉴 아이템으로 칭해질 수도 있는 다수의 상이한 메뉴에 관련이 있는 메뉴 아이템을 제시한다. 예를 들면, 제2 그룹(2410)의 메뉴 아이템인 "청취 중지" 커맨드는 상이한 메뉴 및 작업 공간에 걸쳐 관련되고, 반면 제1 그룹(2408)의 메뉴 아이템인 메뉴 아이템 "아이템 A"는, 어떤 태스크이든 사용자가 메뉴(2404)와 상호작용하는 것에 의해 달성하려고 시도하고 있는 태스크에 그것이 특별히 관련이 있기 때문에 선택될 수도 있다.
그러나, 제2 그룹(2410)은, 특정 메뉴에 대해 관련이 없는 소정의 전역적 선택을 생략할 수도 있다. 예를 들면, 사용자가 "탭" 메뉴를 이미 보고 있다면, 그 메뉴와 관련되는 제2 그룹은, 사용자가 탭 메뉴에 액세스하는 것을 허용하는 메뉴 옵션을 (사용자가 이미 그 메뉴를 보고 있기 때문에) 생략할 수도 있다.
(제1 그룹(2408) 또는 제2 그룹(2410) 중 어느 하나의) 상이한 메뉴 아이템은, 선택시, 상이한 동작을 호출한다. 예를 들면, 제1 타입의 메뉴 아이템은, 선택시, 액션을 호출할 수도 있다. 예를 들면, 메뉴 아이템 "청취 시작"은, 호출시, SI 모듈(302)에게 사용자의 음성 커맨드에 대한 청취를 시작할 것을 지시한다. 제2 타입의 메뉴 아이템은, 호출시, 배터리 상태 정보, 등과 같은 정보를 제시할 수도 있다. 제3 타입의 메뉴 아이템은, 그 메뉴 아이템이 호출되면, 사용자가 특성 값을 변경할 기회를 제시할 수도 있다. 예를 들면, 몇몇 경우에, 이 타입의 메뉴 아이템의 사용자의 활성화는 오버레이 메뉴를 활성화할 수도 있다. 그 다음, 사용자는 오버레이 메뉴와 상호작용하여 고려 하에 있는 특성 값을 변경할 수도 있다. 다른 경우에서, 이 타입의 메뉴 아이템의 사용자의 활성화는, 예를 들면, 설정을 "온" 상태로부터 "오프" 상태로, 또는 그 반대로 토글하는 것에 의해, 특성 값을 직접적으로 변경할 수도 있다. 여전히 다른 타입의 메뉴 아이템 및 관련된 호출 거동이 가능하다.
마커 아이템(2406)은 메시지 "릴리스하여 버림(release to dismiss)"을 디스플레이한다. 이 메시지는 사용자에게 그 또는 그녀가, 어떠한 메뉴 아이템도 선택하지 않고 그들의 손가락을 터치 감지 표면의 표면으로부터 릴리스할 수 있다는 것을 통지하는데, 즉, 그의 또는 그녀의 손가락이 어떤 다른 메뉴 상이 아닌 마커 아이템(2406) 상에 배치되었던 동안 사용자가 그의 또는 그녀의 손가락을 릴리스한다는 것을 가정한다. 이러한 제스처에 응답하여, AIM(402)은 메뉴(2412)를 그 원래의 비활성화된 상태로 디스플레이할 수 있다. 그 메뉴(2412)의 마커 아이템(2414)은, 탭 앤 홀드 제스처를 실행하여 메뉴(2404)를 그 활성 상태로 재활성화할 것을 사용자에게 권유하는 메시지 "탭 앤 홀드(tap and hold)"를 지니고 있다.
도 25로 진행하면, 메뉴(2404)를 비활성화하는 대신, 사용자가 제1 그룹(2408)의 아이템을 통해 위로 스크롤할 것을 결정한다고 가정한다. 사용자는, 그의 또는 그녀의 손가락을 터치 감지 표면 상에 유지한 상태에서, 그의 또는 그녀의 손가락을 상방 방향으로 움직이는 것에 의해 이 액션을 수행할 수도 있다. 응답으로, AIM(402)은 도 25에서 도시되는 메뉴 상태(2502)를 생성할 수 있다. 특히, 사용자의 제스처에 응답하여 AIM(402)은 메뉴 아이템을 하방 방향으로 이동시킬 수도 있는데, 이것은, 마커 아이템(2406) 대신, 제1 메뉴 아이템(2504)으로 하여금 강조되게 한다. 이 메뉴 아이템(2504)을 선택하기 위해, 사용자는 그의 또는 그녀의 손가락을 메뉴 아이템(2504)으로부터 릴리스할 수도 있다. 대안적으로, 사용자는, 마커 아이템(2406)으로 다시 이동하고 그 아이템에 배치되는 동안 그의 또는 그녀의 손가락을 릴리스하는 것에 의해, 메뉴를 비활성화할 수도 있다. 또는 사용자는 메뉴 아이템의 제2 그룹(2410) 쪽으로의 반대 방향으로 아래로 스크롤할 수도 있다. 사용자는 그의 또는 그녀의 손가락을, 그것이 제2 그룹(2410)의 메뉴 아이템 중 하나 상에 배치되는 동안 릴리스하여 그 메뉴 아이템을 선택할 수 있다. 사용자는 상기의 사용자 인터페이스 거동이 유익하다는 것을 발견할 수 있는데, 그 이유는, 그 또는 그녀가 환경을 통해 이동할 때 사용자에게 주어지는 혼란을 최소로 하면서, 그 또는 그녀가 하나의 손을 사용하여 사용자 디바이스(106)와 원활하고(seamless) 부드러운(fluid) 방식으로 상호작용할 수 있기 때문이다. 예를 들면, 이 구현예에서, 사용자는 일련의 커맨드 버튼 또는 메뉴 아이템을 찾아서 선택할 필요가 없다; 이렇게 하는 것은 사용자가 사용자 디바이스(106)에 특별히 주목할 것을 요구할 것이다.
도 25의 특정 예에서는, 사용자가 "더 많은 아이템(more items)" 메뉴 아이템(2506)을 선택하기 위해 아이템의 제1 그룹(2408)의 상부까지 위로 스크롤하고, 그 다음 이 메뉴 아이템(2506) 상에서 그의 또는 그녀의 손가락을 릴리스한다고 가정한다. 응답으로, AIM(402)은 도 26에서 도시되는 메뉴(2602)를 제시한다. 그 메뉴는 이전 메뉴에서 도시되는 제1 그룹(2408)의 계속(continuation)을 나타내는 메뉴 아이템의 다른 제1 그룹(2604)을 제공한다; 즉, 도 25의 제1 그룹(2408)이 메뉴 아이템(1, 2, 3)을 제시하지만, 도 26의 제1 그룹(2604)은 메뉴 아이템(4, 5, 6)을 제시한다. 더 일반적으로는, 메뉴 구조는 메뉴 아이템의 완전한 리스트를 일련의 링크된 더 작은 리스트로 나타낼 수도 있다. 두 개의 링크된 리스트가 도 25 및 도 26의 예에서 도시되지만, 완전한 리스트는 임의의 수의 링크된 리스트를 통해 형성될 수 있다.
"이전 페이지" 메뉴 아이템(2606)까지 위로 스크롤하고, 그 다음 이 아이템으로부터 그의 또는 그녀의 손가락을 릴리스하는 것에 의해, 사용자는 도 25에서 도시되는 메뉴 상태(2502)로 리턴할 수도 있다. 대안적으로, 이 뒤로 가기 명령어를 실행하기 위해, 도 26에서 도시되는 바와 같이, 사용자는 (예를 들면, 점선의 원(2608)에 의해 나타내어지는 바와 같이) 그의 또는 그녀의 손가락을 터치 감지 표면의 주변으로 이동하고, 그 다음 표면의 중심을 향해 안쪽으로 플릭할 수도 있다. 사용자는 표면의 반대 에지로부터 안쪽으로 플릭하는 것에 의해 동일한 동작을 수행할 수도 있다.
비록 도 26에서 도시되지는 않지만, 메뉴(2606)는 또한, 예를 들면, 일련의 뒤로 가기 명령어를 내리는(issuing) 것에 의해 링크된 리스트를 통해 연속적으로 뒤로 이동하는 대신, 사용자에게 (적절한 메뉴 아이템을 통해) 일련의 케스케이드식 메뉴 리스트(cascaded menu list)의 제1 페이지로 리턴하는 옵션을 제공할 수도 있다. 또한, 비록 도면에서 또한 도시되지는 않지만, 각각의 그룹은, 그룹의 끝을 가리키는 리스트의 끝 마커 아이템(end-of-list marker item)을 포함할 수도 있다. 사용자는 이 아이템으로 이동하고 그의 또는 그녀의 손가락이 그 아이템 상에 배치되는 동안 그의 또는 그녀의 손가락을 떼는 것에 의해 메뉴를 비활성화할 수 있다.
더 일반적으로는, 사용자는 상이한 타입의 메뉴 상에서 도 26에서 도시되는 뒤로 가기 제스처의 타입을 실행할 수도 있는데, 이것은 상이한 타입의 액션을 생성할 수도 있다. 예를 들면, 홈 작업 공간(1102)에서 제시되는 루트(주(primary)) 메뉴 상에서의 뒤로 가기 액션은, 이것이 그가 또는 그녀가 하려고 의도하는 것이다는 사용자에 의한 확인시, 사용자로 하여금 SI 모듈(302)과 관련되는 애플리케이션을 빠져나가게 할 수도 있다. 홈 작업 공간(1102)에서 제시되는 임시 메뉴 상에서의 뒤로 가기 액션은, AIM(402)으로 하여금, 어떤 콘텍스트 메뉴이든 홈 작업 공간(1102)에서 마지막으로 제시되었던 콘텍스트 메뉴를 제시하게 할 수도 있다. 오버레이 메뉴 상에서의 뒤로 가기 액션은, 종종, 보조 작업 공간(secondary workspace)의 "기저의" 보조 메뉴의 표시로 나타날 수도 있다. 예를 들면, (예를 들면, 도 22에서 도시되는 바와 같은) 특정한 설정 관련 오버레이 메뉴 상에서의 뒤로 가기 액션은, 설정 작업 공간(1110)에서의 (예를 들면, 도 18에서 도시되는 바와 같은) 기저의 설정 메뉴의 디스플레이로 나타날 수도 있다.
도 27은, AIM(402)에 의해 제공되는 메뉴 기능성의 제2 구현예에 대응하는 작업 공간의 대안적인 편제를, 도 11의 구현예와 비교하여 도시한다. 개관으로서, 도 27의 작업 공간 구조는, 도 11에 도시되는 것과 동일한 기본 기능을 수행하는 다섯 개의 작업 공간(2702, 2704, 2706, 2708, 2710)을 포함한다. 예를 들면, 홈 작업 공간(2702)은 여정 전체에 걸친 사용자의 주목의 중심 초점으로서 계속 기능한다. 홈 작업 공간(2702)은 또한, 사용자의 여정에서 조우되는 현재 콘텍스트(또는 공간과의 다른 타입의 상호작용)와 관련되는 메뉴 및 다른 정보를 계속 디스플레이한다. 그러나, 홈 작업 공간(2702)은 허브 메뉴를 더 이상 디폴트로서 제시하지 않는다. 오히려, 홈 작업 공간은 탭 관련 정보를 디폴트로서 나타내는 데 충당된다.
더 구체적으로는, 홈 작업 공간(2702)은, 더 이상 활성의 탭이 없을 때, 도 28에서 도시되는 디폴트 탭 정보를 도시한다. 디폴트 탭 정보는 탭을 생성하기 위해 사용자가 시작할 수도 방법에 대한 안내를 제공할 수도 있다. 대조적으로, 홈 작업 공간(2702)은, 활성 탭이 존재할 때, 도 29에서 도시되는 탭 메뉴를 디스플레이할 수도 있다. 디폴트로, 리스트에서 제1 포지션을 갖는 탭 메뉴 아이템(즉, 탭 번호 1)은 현재 콘텍스트에 대응한다.
도 29는 또한, 제2 구현예가 지금까지 설명된 메뉴 구조와 비교하여 상이한 메뉴 구조를 제공한다는 것을 도시한다. 예를 들면, 제2 구현예는 메뉴를, 메뉴 마커에 의해 분리되는 두 그룹의 메뉴 아이템으로 더 이상 편제하지 않는다. 오히려, 제2 구현예는, 사용자의 현재 주목하는 초점에 관련이 있는 것으로 결정되는 메뉴 아이템의 단일의 리스트를 제시한다. 사용자가 제2 그룹에서 이전에 제시되었던 전역적 메뉴 아이템의 타입에 액세스하기를 소망하면, 사용자는 이들 아이템에 액세스하기 위해 메인 작업 공간(2704)으로 내비게이팅할 수도 있다.
도 30은, 메뉴 아이템의 리스트에서의 메뉴 아이템의 하나의 가능한 편제에 관한 부가적인 정보를 제시한다. 여기서, 메뉴 아이템은, 사용자 근처에 있는 가게에 대한 검색을 행하는 것에 응답하여 생성되는 검색 결과 아이템을 나타낸다. 사용자는 임의의 메뉴, 예컨대 도 30에서 도시되는 메뉴를, 제1 구현예와 관련하여 상기에서 설명되는(그리고 도 23 및 도 24에서 예시되는 바와 같은) 탭 앤 홀드 제스처를 수행하는 것에 의해 활성화할 수도 있다.
메뉴의 활성화시, 제2 구현예에서, AIM(402)은 사용자 디바이스의 디스플레이 표면의 중간 근처의 리스트에 제1 엔트리를 제시한다. 그 다음, 사용자는, 상방 방향으로의 하나 이상의 패닝(panning) 제스처를 행하는 것에 의해 리스트를 통해 위로 이동할 수도 있거나, 또는 하방 방향으로의 하나 이상의 패닝 제스처를 행하는 것에 의해 리스트를 통해 아래로 이동할 수도 있다. 사용자가 어느 한 방향에서 리스트의 끝에 도달하면, 리스트는 반복한다. 즉, 사용자가 리스트의 마지막 아이템을 지나 진행하면, 사용자는, 다음 엔트리로서, 첫 번째 아이템을 조우할 것이다. 사용자가 리스트의 첫 번째 아이템을 지나 진행하면, 사용자는, 마지막 아이템을 조우할 것이다. 이 메뉴 표시 전략으로 인해, 제2 구현예는, 제1 구현예에서 사용되는 바와 같은 다수의 페이지 리스트의 사용을 필요없게 할 수도 있다. 즉, 사용자는 하나 이상의 패닝 제스처를 사용하여 단일의 마스터 리스트를 통해 내비게이팅한다. 사용자는, 터치 감지 표면과 접촉하게 하나 이상의 손가락을 배치하고, 이들 손가락(들)을 소망하는 패닝의 방향으로 드래그하는 것에 의해, 패닝을 행한다; 여기서 움직임은 플릭 제스처에 비해 더 느리다.
도 31은 상기 설명된 거동에 관한 추가 정보를 제공한다. 여기서, 사용자는, 디스플레이된 메뉴를 하방 방향으로 드래그하는 것에 의해 패닝 제스처를 행한다. 그러나, 제1 구현예의 경우와는 달리, 사용자는 리스트를 통해 내비게이팅할 때 그의 또는 그녀의 손가락을 표면 상에 유지할 필요가 없다. 예를 들면, 사용자는 복수의 패닝 제스처를 행할 수도 있다; 각각의 패닝 제스처 사이에서, 사용자는 그의 또는 그녀의 손가락을 표면으로부터 뗄 수도 있다. 제2 구현예는 표면으로부터의 사용자의 손가락의 떨어짐을, 어떤 아이템이든 그 때 강조되게 되는 메뉴 아이템을 선택하라는 지시로서 해석하지 않을 것이다. 제2 구현예는, 사용자에 의한 비활동의 규정된 양의 시간 이후에, 또는 사용자가 뒤로 가기 제스처를 행할 때 메뉴를 비활성화할 수도 있다.
도 32에서 도시되는 바와 같이, 사용자는, 표면의 주변을 향해 짧은 터치 앤 드래그 제스처(touch-and-drag gesture)를 행하는 것에 의해 리스트에서 강조된 아이템을 선택할 수도 있다. AIM(402)은, 사용자의 제스처를 강조된 아이템을 선택하기 위한 요청으로서 해석한 경우에, 가청의 및/또는 햅틱 피드백을 제공할 것이다. 그 다음, AIM(402)은, 사용자가 사용자 디바이스(106)의 표면으로부터 그의 또는 그녀의 손가락을 떼는 경우 아이템을 선택할 것이다. 대안적으로, 그의 또는 그녀의 손가락을 떼는 대신, 사용자는 선택 동작을 취소하기 위해 반대 방향으로 그의 또는 그녀의 손가락을 거꾸로 드래그할 수도 있는데, AIM(402)은 (예를 들면, 적절한 큐 또는 큐들을 제공하는 것에 의해) 이것을 다시 확인할 것이다.
도 33은, 메뉴의 주변에서 수행되는 뒤로 가기 제스처, 및 이 제스처에 대한 응답을 도시한다. 더 구체적으로는, 사용자는, AIM(402)이 사용자의 제스처를 (예를 들면, 적절한 큐 또는 큐들을 제공하는 것에 의해) 이해했다는 것을 나타낼 때까지, 각각의 에지를 짧은 거리 동안 좌 또는 우로 당기는 것에 의해 뒤로 가기 제스처를 수행할 수도 있다. 그 때, 사용자는 그의 또는 그녀의 손가락을 릴리스하여 뒤로 가기 액션을 수행할 수 있다. 또는 사용자는, AIM(402)이 사용자의 액션을, 뒤로 가기 액션을 재호출하기 위한 요청으로서 해석할 때까지, 반대 방향으로 그의 또는 그녀의 손가락을 움직일 수도 있다. 도 33의 예에서, 뒤로 가기 액션은 AIM(402)으로 하여금 검색 결과 메뉴로부터 탭 메뉴로 전이하게 한다.
도 34는, 사용자가 메뉴 상에 원 형상(3402)을 그리는 것에 의해, 예를 들면, 홈 작업 공간(2702)에서 제시되는 (예를 들면) 검색 결과 메뉴 상에서 원을 그리는 것에 의해 수행할 수도 있는 제스처를 도시한다. 이 제스처에 응답하여, AIM(402)은 탭 메뉴를 리턴할 것이다. 도시되지는 않지만, 사용자는, 후속하여, 탭 메뉴 상에서 동일한 원 제스처를 수행할 수도 있다. 응답으로, AIM(402)은 검색 결과 메뉴(또는 어떤 페이지든 사용자가 발생시켰던 페이지 - 즉, 사용자가 원래의 원을 그렸던 페이지)로 리턴할 것이다.
도 35는, 사용자가 메뉴 상에 반원(3502)을 그리는 것에 의해, 예를 들면, 홈 작업 공간(2702)에서 제시되는 (예를 들면) 검색 결과 메뉴 상에서 반원을 그리는 것에 의해 수행할 수도 있는 제스처를 도시한다. 응답으로, AIM(402)은, 어떤 것이든 현재 콘텍스트에서 제시되고 있었던 것으로 초점을 리턴할 것이다. 도 35의 예에서, AIM(402)은, (도 35의 우측에 도시되는 바와 같이) 여정에서의 현재 단계와 관련되는 정보로 리턴한다. 사용자가 현재 여행을 하고 있지 않으면, 현재 콘텍스트는, 어떤 메뉴이든 마지막으로 열렸던 메뉴에 대응할 수도 있다. 사용자는 도 35의 우측에서 도시되는 페이지 상에서 반원을 그리는 것에 의해 이 전이를 반대로 할 수 있다.
도 36 및 도 37은, 도 1의 시스템에 의해 제공되는 장황함의 레벨, 및 시스템에 의해 제공되는 콘텍스트 정보의 레벨을 증가시키기 위해 그리고 감소시키기 위해 각각 사용될 수 있는 상이한 제스처를 도시한다. 예를 들면, 도 36에서 나타내어지는 바와 같이, 사용자는 SI 모듈(302)의 장황함 레벨을 증가시키기 위해 임의의 메뉴(여기서는, 탭 메뉴) 상에서 오른쪽 화살표 형상(3602)을 그릴 수도 있다. 도 37에서 나타내어지는 바와 같이, 사용자는 SI 모듈(302)의 장황함의 레벨을 감소시키기 위해 임의의 메뉴 상에서 왼쪽 화살표 형상(3702)을 그릴 수도 있다. 장황함의 레벨은, SI 모듈(302)이, 예를 들면, 간결한 것에서부터 상세한 것까지의 범위에 이르는, 자신의 오디오 정보를 전달하는 간결성을 가리킨다.
도 37에서 또한 나타내어지는 바와 같이, 사용자는, 사용자에게 제공되는 정보의 레벨을 증가시키거나 또는 감소시키기 위해 임의의 메뉴 상에서 상방 화살표 형상(3704) 또는 하방 화살표 형상(3706)을 각각 그릴 수도 있다. 예를 들면, 사용자는, 정보 아이템 중 적어도 중요한 카테고리 중 하나 이상에 관한 정보를 사용자에게 전송하지 않는 것에 의해(예컨대 콘텍스트 정보를 생략하지만, 그러나 경고 정보 및 여정 정보를 전송하는 것에 의해), 콘텍스트 정보의 양을 축소할 수도 있다.
제2 구현예는 또한, 비록 도면에서 구체적으로 예시되지는 않지만, (제1 구현예와 비교하여) 다른 신규의 제스처를 실행할 수도 있다. 예를 들면, 사용자는, 제1 메뉴 상에서, 그 메뉴로부터 액션 메뉴(여기서 액션은 제1 메뉴와 관련되는 콘텍스트에 관련이 있는 액션에 관계가 있다)로 전이하기 위해, 탭 앤 홀드 제스처를 수행할 수 있다. 사용자는 원래의(제1) 메뉴로 리턴하기 위해 액션 메뉴 상에서 동일한 제스처를 수행할 수도 있다. 이 경우에서의 탭 앤 홀드 제스처는, 임의의 메뉴를 일반적으로 활성화시키기 위해 사용되는 탭 앤 홀드 제스처보다 더 긴 홀드 액션을 수반한다.
다른 신규의 제스처로서, 사용자는 메뉴의 메뉴 아이템 상에 있는 동안 수직 플릭 제스처를 수행할 수도 있다. AIM(402)은 이 액션을, 플릭의 방향에 따라, 상방 또는 하방 방향 중 어느 하나에서 메뉴 아이템을 통해 빠르게 진행하기 위한 요청으로 해석할 것이다. 다른 신규의 제스처로서, 사용자는 리스트의 다음 메뉴 아이템으로 진행하기 위해 메뉴의 메뉴 아이템 상에서 수평 플릭 제스처를 수행할 수도 있다. 사용자는, 한 번에 하나의 메뉴 아이템씩, 리스트를 통해 계속 진행하기 위해 다수의 이러한 수평 플릭 피처를 행할 수 있다.
제1 또는 제2 구현예(도 11 및 도 27에 대응함) 중 어느 하나에서, 사용자는 사용자 디바이스(106)를 포켓 모드에 두는 제스처를 실행할 수도 있다. 사용자 디바이스(106)가 그 제스처를 검출하면, 사용자 디바이스(106)는, 포켓 모드를 취소하는 효과를 갖는 제스처를 제외한, 사용자가 만들 수도 있는 임의의 후속하는 제스처를 무시할 것이다. 이름 제안처럼, 포켓 모드는, 사용자가 사용자 디바이스(106)를 포켓 또는 어떤 다른 구획(예컨대, 지갑, 백, 등)에 넣기를 원하는 경우에 유용하다. 활성화시, 포켓 모드는 사용자에 의한 우연한 터치 접촉 및/또는 움직임이 의미 있는 제스처로서 (부정확하게) 해석되는 것을 방지한다. 모드를 호출하고 재호출하기 위해 사용되는 제스처는, 텔테일 스와이프 제스처(telltale swipe gesture), 등에 대응할 수 있다.
C.2. 사운드 및 햅틱 큐
AIM(402)은 사운드 생성 모듈(414)의 사용을 활용하는 것에 의해 다양한 사운드를 제시할 수 있다. AIM(402)은 또한, 햅틱 큐 생성 모듈(418)을 사용하여 다양한 햅틱 피드백 경험(예를 들면, 진동 큐)을 제시할 수 있다. AIM(402)은 상이한 타입의 트리거링 이벤트에 응답하여 이러한 사운드 및 진동 큐를 생성할 수 있다. 예를 들면, AIM(402)은, 상태에서의 소정의 변화에 응답하여, 사용자에 의해 취해지는 소정의 인터페이스 액션(예컨대 메뉴 아이템 사이에서의 내비게이션)에 응답하여, 여정에서의 소정의 이벤트에 응답하여,등에 응답하여, 이들 사운드 및 햅틱 큐를 제시할 수 있다.
다음의 리스트는 대표적인 사운드(및 관련된 햅틱 큐), 및 이들이 호출되는 예시적인 상황을 설명한다.
로딩/사용 중(busy). AIM(402)은, SI 모듈(302)이 사용자와 상호작용할 수 없는 상태에 있는 동안, 로딩/사용 중 사운드를 반복적으로 재생할 수 있다. 사운드는 사용자에게, SI 모듈(302)이 동작 중에 있지만 그러나 그것이 액션을 수행하느라 현재 사용 중이다는 것을 재확인시킨다. 예를 들면, 이 사운드는 위 아래로 튀는 탁구공과 유사할 수도 있다; 바운스의 빈도는 프로세싱이 완료되어 감에 따라 증가할 수도 있고, 풍성한 타입의 사운드(flourish-type sound)로 종료할 수도 있다.
구역 메뉴로의 전이(Transition-To-Zone-Menu). 이 사운드는, 전용의 보조 작업 공간 구역 중 하나에서 제시되는 보조 메뉴가 초점으로 이동했고, 이제, 현재의 콘텍스트 메뉴 대신 홈 작업 공간에서 제시되고 있다는 것을 나타낸다. 이 사운드는 또한, 사용자가 대응하는 제스처를 수행한 방향을 전달할 수도 있다. 예를 들면, 사운드는, 각각의 방향에서 돌풍과 같은 휙하는 소리와 유사할 수도 있다. 또한, 하나의 경우에서, AIM(402)은 이 사운드를 삼차원 사운드로서 표현할 수도 있다.
구역 메뉴로부터의 전이(Transition-From-Zone-Menu). 이 사운드는, 현재의 콘텍스트 메뉴가 다시 초점으로 이동하였고 이제 보조 메뉴 대신 전용 작업 공간 구역 중 하나에서 제시되고 있다는 것을 나타낸다. 이 사운드는 또한, 사용자가 대응하는 제스처를 수행한 방향을 전달할 수도 있다. 예를 들면, 사운드는 구역 메뉴로의 전이의 휙하는 소리의 대응부이지만, 그러나 구역 메뉴로의 전이 사운드와는 반대 방향으로 움직이는 휙하는 소리와 유사할 수도 있다. 다시, AIM(402)은, 옵션적으로, 이 사운드를 삼차원 사운드로서 표현할 수도 있다.
메뉴 활성화. 이 사운드는, 메뉴가 이제 활성 상태이고 조작될 수 있다는 것을 나타낸다. 이 사운드는 스냅 인 타입 사운드(snap-in-type sound)로 종료하는 페이드인 사운드(fade-in sound)로서 설명될 수도 있다. 또한, AIM(402)은, 상태에서의 변화를 생성하는 사용자의 의도를 확인하는 짧은 진동 큐를 생성할 수 있다. 여전히 또한, AIM(402)은, 예를 들면, "메뉴를 릴리스하여 버림(menu release to dismiss)"을 알리는 구두의 큐(verbal cue)를 호출할 수도 있다. 그 큐는 사용자에게, 메뉴가 활성 상태이다는 것, 및 사용자가 마커 아이템으로부터 그의 또는 그녀의 손가락을 릴리스하는 것에 의해 메뉴를 비활성화 할 수 있다는 것을 통지한다.
메뉴 비활성화. 이 사운드는 메뉴가 비활성화되었고, 따라서 그것을 재활성화하지 않고는 더 이상 조작될 수 없다는 것을 나타낸다. 사운드는 페이드 어웨이 타입 사운드(fade-away-type sound)로서 설명될 수도 있다.
미지원 제스처(Unsupported-Gesture). AIM(402)은, (예를 들면 제스처가 현재 지원되지 않기 때문에) 제스처가 다르게 무효한 것 외에는 인식되었다는 것을 나타내는 이 짧은 사운드를 재생할 수도 있다. 이 사운드는, 소프트한 투 톤의 액세스 거절 스타일 통지(soft two-tone access-denied-style notification)가 후속하는 쿵 소리(thud)와 유사할 수도 있다. AIM(402)은, 뒤로 가기 제스처가 수행되었지만, 그러나, 예를 들면, 더 이상 뒤로 가는 것이 가능하지 않기 때문에, 그것이 수행될 수 없다는 것을 나타내는 더 특정한 뒤로 갈 수 없음 사운드(Cannot-Go-Back sound)를 재생할 수도 있다.
메뉴 아이템 선택에서의 변경. 이 사운드는, 사용자가 메뉴의 메뉴 아이템으로 이동했다는 것을 나타낸다. 이 사운드의 톤은 메뉴에서의 메뉴 아이템의 포지션에 의존하는데, 예를 들면, 사용자가 리스트 위로 이동함에 따라 톤은 증가할 수도 있고, 사용자가 리스트 아래로 이동함에 따라 감소할 수도 있다. 또한, 하나의 구현예에서, AIM(402)은, (전역적 아이템과 관련되는) 메뉴 아이템의 제2 그룹과 비교하여, (콘텍스트 고유의 아이템과 관련되는) 메뉴 아이템의 제1 그룹을 가로지르고 있을 때, 상이한 스케일을 제시할 수 있다. 양 경우에서, 사용자는, 생성되는 사운드를, 피아노 건반 위에서의 손의 움직임(running)과 유사한 것으로 인식할 수도 있다; 그러나 이 경우에서 각각의 사운드는 피아노 톤보다 더 짧을 수도 있고, 거품의 터짐(pop of a bubble)과 유사할 수도 있다.
또한, AIM(402)은 각각의 메뉴 아이템을 가로지를 때 진동 큐를 제시할 수 있다. 사용자는, 진동 큐를, 울퉁불퉁한 표면 위에서 손을 이동시키는 것과 유사한 것으로 경험할 수도 있는데, 각각의 돌기(bump)는 상이한 메뉴 아이템을 나타낸다. 사용자는 의식적으로 또는 잠재 의식적으로 돌기를 카운트하여 리스트 내에서의 그의 또는 그녀의 포지션의 일반적인 인식을 재빨리 얻을 수 있다. 또한, AIM(402)은, 메뉴 아이템이 초점 상태에 있고 사용자 손가락의 릴리스시 선택될 것이다는 것을 사용자에게 통지하는 메뉴 아이템으로의 진행시, 오디오 메시지를 제시할 수 있다. 예를 들면, AIM(402)은, 리스트에서의 메뉴 아이템의 번호를 제공하고, 그 다음, 아이템의 설명을 알리는 것에 의해, 메뉴 아이템을 알릴 수 있다.
메뉴 선택 확인. 이 짧은 사운드는, 액션이 상태에 대한 변화로 귀결된 경우를 나타낸다. 그것은 끝이 풍성한 짧고 정확한 사운드로서 구현될 수도 있다. 예를 들면, 사운드는, 끝을 향해 페이드 아웃하는 이동하는 삐걱거리는 사운드(travelling grating sound)가 후속하는 삐이하는 신호음(bleep)와 유사할 수도 있다. AIM(402)은 또한 선택 액션을 확인하는 짧은 진동 큐를 실행할 수도 있다. 또한, AIM(402)은 아이템이 선택된 것을 확인하는 구두의 큐를 재생할 수 있다.
대화 메뉴 표시. 이 짧은 사운드는, 다른 컨텐츠 위에 오버레이 메뉴가 이제 제시되고 있다는 것을 나타낸다. 이 사운드는 페이드 인 상승 타입 사운드(fade-in ascending-type sound)와 유사할 수도 있다. AIM(402)은 또한, 수반하는 짧은 진동 큐를 제공할 수 있는데, 이것은 상태에서의 변화가 발생했다는 것을 추가로 확인한다. 또한, AIM(402)은, 오버레이 메뉴가 이제 제시되고 있다는 것을 말하는 구두의 큐를 재생할 수 있다.
대화 메뉴 닫기. 이 짧은 사운드는, 대화창(예를 들면, 오버레이 메뉴)이 닫혔다는 것 및 초점이 이전 콘텍스트로 리턴되었다는 것을 나타낸다. 사운드는 페이드 아웃 하강 타입 사운드(fade-out descending-type sound)와 유사할 수도 있다.
콘텍스트 전환. 이 짧고 별개의 사운드는, 예를 들면, 사용자가 신규의 여정 단계, 등으로 진행했기 때문에, 현재의 콘텍스트 메뉴의 상태가 신규의 컨텐츠를 제시하도록 전이되었다는 것을 나타낸다. 사운드는 적절한 턴스타일 노이즈(turnstile noise)가 후속하는 삐걱거리는 사운드와 유사할 수도 있다.
상기 설명된 사운드는 대표적인 것이며, AIM(402)이 제공할 수도 있는 사운드의 전체 모음을 포괄하지는 않는다. 예를 들면, AIM(402)과의 상호작용하는 동안, 사용자에 의해 수행되는 소정의 액션에 따라 다음의 추가적인 사운드가 트리거될 수도 있다: a) 이전 메뉴에서 만들어지는 메뉴 아이템의 선택에 기초하여, 액션의 메뉴가 제시된다는 것을 나타내는 액션으로의 사운드(To-Actions sound); b) 액션의 메뉴로부터의 리턴에 응답하여 활성 메뉴가 제시된다는 것을 나타내는 액션으로부터의 사운드(From-Actions sound); c) 특정한 메뉴에 대한 액션을 제시하라는 지시가 인식되었다는 것, 그러나 특정한 메뉴와 관련되는 액션이 없다는 것을 나타내는 액션 이용불가능 사운드(Actions-Unavailable sound); d) 사용자의 손가락의 릴리스시 선택을 위해 메뉴 아이템이 성공적으로 마킹되었다는 것을 나타내는 아이템 선택가능 사운드(Item-Selectable sound); e) 릴리스시 선택을 위해 이전에 마킹되었던 아이템이 이제 성공적으로 선택해제되었고, 따라서 사용자의 손가락의 릴리스시 더 이상 선택되지 않을 것이다는 것을 나타내는 아이템 비선택가능 사운드(Item-Non-Selectable sound); f) 선택을 위해 아이템을 마킹하는 제스처가 인식되었지만, 그러나 그 제스처가 고려 하에 있는 아이템에 적용가능하지 않다는 것을 나타내는 아이템 선택불가능 사운드(Item-Not-Selectable sound); g) 선택이 이루어졌다는 것, 그러나 초점에서의 어떠한 변화도 적절하지 않다는 것을 나타내는 선택 그러나 변경 없음 사운드(Select-But-No-Change sound); h) 뒤로 가기 제스처가 인식되었고 뒤로 가기 액션이 호출되었다는 것을 나타내는 뒤로 가기 성공 사운드(Back-Success sound); i) 탭으로의 전환 제스처(switch-to-tabs gesture)가 성공적으로 인식되었다는 것 및 탭 메뉴가 이제 제시되고 있다는 것을 나타내는 탭으로의 전환 사운드(Switch-To-Tabs sound); j) 탭으로부터의 전환 제스처(switch-from-tabs gesture)가 인식되었고, 탭 메뉴로 전환하기 이전에 제시되었던 이전 메뉴가 복원되었다는 것을 나타내는 탭으로부터의 전환 사운드(Switch-From-Tabs sound); k) SI 모듈(302)이 이제 사용자의 음성 커맨드를 청취하고 있다는 것을 나타내는 청취 시작 사운드(Start-Listening sound); l) 음성 인식 모드가 이제 취소되었다는 것을 나타내는 청취 취소 사운드(Cancel-Listening sound); m) 애플리케이션이 음성 입력의 수신 및 프로세싱을 완료했다는 것을 나타내는 프로세싱 완료 사운드(Finished-Processing sound); n) 음성 기반 입력의 결과로서 액션이 취해졌다는 것을 나타내는 액션 취함 사운드(Action-Taken sound),등. 게다가, AIM(402)은 또한, 상기에서 설명되는 사운드 중 임의의 것을 수반할 임의의 타입의 햅틱 큐를 제시할 수 있다.
다음의 예시적인 사운드는, 헤드셋(108)과의 사용자의 상호작용 동안 발생할 수도 있는 소정의 이벤트에 따라 트리거될 수도 있다: a) 헤드셋 버튼에 상에서 탭 제스처(tap gesture)가 인식되었다는 것을 나타내는 버튼-탭 사운드(Button-Tap sound)(액션을 수행하기 이전에 재생됨); b) 헤드셋 버튼 상에서 누름 제스처(press gesture)가 인식되었다는 것을 나타내는 버튼 누름 사운드(Button-Press sound)(임의의 액션을 수행하기 이전에 재생됨); c) 헤드셋 버튼 상에서 홀드 제스처(hold gesture)가 인식되었다는 것을 나타내는 버튼 유지 사운드(Buttons-Held sound)(액션을 수행하기 이전에 재생됨); d) 예를 들면, 배향 액션(orientation action)의 일부로서 콘텍스트 IOI를 알리는 것을 중지하기 위한 요청 때문에, 헤드셋 버튼으로부터 호출된 임의의 이전 액션이 취소되었다는 것을 나타내는 액션 취소 사운드(Cancel-Action sound),등. 게다가, AIM(402)은 또한, 상기에서 설명되는 사운드 중 임의의 것을 수반할 임의의 타입의 햅틱 큐를 제시할 수 있다.
다음의 예시적인 사운드는, 여정의 코스 동안 발생할 수도 있는 소정의 이벤트에 따라 트리거될 수도 있다: a) 여정이 시작되었다는 것 및 내비게이션이 지금 진행 중이다는 것을 나타내는 시작된 여정 사운드(Started-Journey sound); b) 사용자가 그의 또는 그녀의 운송 모드를 (예를 들면, 도보에서 기차로, 등으로) 전환했다는 것을 나타내는 모드 전환 사운드(Mode-Switch sound); c) 사용자가 도달하려고 시도하고 있는 여정을 따른 다음 지점을 내비게이션의 일부로서 방향적으로 나타내는 비트 사운드(Beat sound); d) 경고 정보가 소리 내어 막 판독되려고 한다는 것을 나타내는, 사용자의 인지도를 높이고 그 정보에 대해 동조할 시간을 사용자에게 주기 위해 재생되는 경고 사운드(Warning sound); e) 사용자가 여정의 웨이포인트에 도달했다는 것 및 내비게이션 정보가 소리 내어 막 판독되려고 한다는 것을 나타내는, 사용자의 인지도를 높이고 그 정보에 대해 동조할 시간을 사용자에게 주기 위해 재생되는 웨이포인트 도달 사운드(Waypoint-Reached sound); f) 사용자가 웨이포인트에 가까이 가고 있다는 것 및 내비게이션 정보가 소리 내어 막 판독되려고 한다는 것을 나타내는, 사용자의 인지도를 높이고 그 정보에 대해 동조할 시간을 사용자에게 주기 위해 재생되는 웨이포인트 접근 사운드(Approaching Waypoint sound); g) 현재 여정에 대한 변화에 관한 정보가 소리 내어 막 판독되려고 한다는 것을 나타내는, 사용자의 인지도를 높이고 그 정보에 대해 동조할 시간을 사용자에게 주기 위해 재생되는 여정 업데이트 사운드(Journey-Update sound); h) 콘텍스트 정보가 소리 내어 막 판독되려고 한다는 것을 나타내는 콘텍스트 정보 사운드(Contextual-Information sound); i) 부가적인 정보가 소리 내어 막 판독되려고 한다는 것을 나타내는 추가 정보 사운드(Further-Information sound),등. 게다가, AIM(402)은 또한, 상기에서 설명되는 사운드 중 임의의 것을 수반할 임의의 타입의 햅틱 큐를 제시할 수 있다.
일반적으로, 상기 사운드 및 햅틱 큐는, 사용자를 과도하게 혼란시키지 않으면서, 사용자가 그의 또는 그녀의 환경과 상호작용할 때 사용자에게 유용한 정보를 제공하는 목표를 더 촉진시킨다. 예를 들면, 메뉴를 내비게이팅하는 동안 사용자가 듣는 사운드 및 햅틱 큐는, 그 또는 그녀의 주목을 환경으로부터 딴 데로 돌리지 않으면서 사용자가 메뉴와 상호작용하는 것을 허용한다.
C.3. 음성 인식 모드
시스템(102)은, 예를 들면, 헤드셋(108) 및/또는 사용자 디바이스(106)와 수동으로 상호작용하는 것 외에, 발화된 명령어를 통해 시스템(102)으로 커맨드를 내릴 수도 있는 음성 인식 모드를 지원한다. 또는 시스템(102)은, 사용자가 시스템(102)과 상호작용하는 단독 모드로서 음성 인식 모드를 사용할 수 있다. 사용자의 음성 커맨드의 인식을 수행하기 위해, 시스템(102)은, 기존의(preexisting) 음성 인식 기술(예를 들면, MICROSOFT Corporation에 의해 제공되는 CORTANA 시스템), 및/또는 네이티브 음성 인식 기술에 의존할 수도 있다. 도 3은 음성 인식 기술을 스피치 프로세싱 엔진(328)으로서 예시한다.
상기에서 언급되는 바와 같이, 사용자는 사용자 디바이스(106)의 메뉴 및/또는 헤드셋(108)을 통해 내려지는 적절한 커맨드를 통해 음성 인식 모드를 호출할 수 있다. 다른 경우에, 사용자 디바이스(106)는, 자신의 디폴트 동작 방식으로서 음성 인식 시스템(예를 들면, CORTANA)과 이미 상호작용할 수도 있지만, 그러나 내비게이션을 수행하는 콘텍스트에서는 상호작용하지 않을 수도 있다. 여기서, 사용자는, 내비게이션 애플리케이션의 이름이 선행하는 발화된 커맨드를 내리는 것에 의해, 예를 들면, "사운드스케이프(Soundscape), 탐색 모드를 시작해"라는 커맨드를 말하는 것에 의해, 음성 인식 모드에서 SI 모듈(302)과 상호작용할 수도 있다. 사용자가 내비게이션 애플리케이션의 콘텍스트에서 음성 인식 모드를 이미 활성화했다면, 사용자는 단지 "탐색 모드를 시작해", 또는 등을 말할 수 있다.
다음의 리스트는 음성 모드에서 개시될 수도 있는 예시적인 동작을 식별한다: a) 사용자는 현존하는(저장된) 여정을 열 수도 있다; b) 사용자는 오리엔테이션 모드를 활성화 또는 재활성화할 수도 있다; c) 사용자는 탐색 모드를 활성화 또는 비활성화할 수도 있다; d) 사용자는 특정한 토픽에 관한 추가 정보를 요청할 수도 있다; e) 사용자는 모든(또는 몇몇) 발화된 메시지의 중지를 요청할 수도 있다; f) 사용자는 다양한 파라미터 설정을 행할 수도 있다; g) 사용자는 여정 정보를 저장할 수도 있다,등.
예시적인 커맨드는 다음에 대응할 수도 있다: a) "시간 [y]에 출발하는 대중 교통 [z]만을 사용한 목적지 [x]로의 경로를 생성해"; b) "가장 가까운 커피숍을 찾아줘"; c) "기차역 가는 길을 알려줘"; d) "지금 몇 시야"; e) "볼륨 키워"; f) 관심 아이템에서 레스토랑을 삭제해", 등.
스피치 프로세싱 엔진(328)은, 스피치 프로세싱 엔진(328)이 사용자의 커맨드를 이해하지만, 그러나 커맨드가 필요한 정보 중 하나 이상의 아이템을 빠트리고 있다는 것을 결정하는 상황을 조우할 수도 있다. 응답으로, 스피치 프로세싱 엔진(328)은 정보의 누락된 아이템을 제공할 것을 사용자에게 요청할 수 있다.
다른 경우에, 스피치 프로세싱 엔진(328)은, 스피치 프로세싱 엔진(328)이 사용자의 커맨드를 이해하지 못하는 상황을 조우할 수도 있다. 이들 경우에, 스피치 프로세싱 엔진(328)은 사용자에게 커맨드를 다시 말할 것을 요청할 수 있다. 그것이 성공하지 못하면, 스피치 프로세싱 엔진(328)은 (예를 들면, 사용자의 커맨드에서의 키워드의 검출에 기초하여) 사용자의 발언의 제안된 해석을 사용자에게 제시할 수도 있고, 그 다음, 해석 중 임의의 것이 올바른지의 여부를 사용자에게 물어볼 수도 있다. 그것이 성공하지 못하면, 스피치 프로세싱 엔진(328)은, 헤드셋(108) 및/또는 사용자 디바이스(106)를 통해 등가의 커맨드를 입력할 것을 사용자에게 권유할 수도 있다.
도 38은, 도 4 및 도 5의 AIM(402)의 동작의 하나의 방식을 요약하는 프로세스(3802)를 도시한다. 블록 3804에서, AIM(402)은, 관련된 작업 공간에서 메뉴를 활성화시키라는 지시에 대응하는, 사용자에 의해 수행되는 제1 제스처를 검출한다. 관련된 작업 공간은 복수의 작업 공간 중 하나에 대응하고, 관련된 작업 공간은 복수의 작업 공간의 다른 작업 공간에 대해 결정된 공간적 관계를 갖는다. 제1 제스처는, 예를 들면, 도 24를 참조로 설명되는 상기 설명된 탭 앤 홀드 제스처에 대응할 수도 있다. 블록 3806에서, AIM(402)은 제1 제스처에 응답하여 메뉴를 활성화한다.
블록 3808에서, AIM(402)은, 메뉴의 메뉴 아이템의 콜렉션 중에서 특정한 메뉴 아이템으로 진행하라는 지시에 대응하는, 사용자에 의해 수행되는 제2 제스처를 검출한다. 제2 제스처는, 예를 들면, (예를 들면, 도 25 및 도 31을 참조로) 상기에서 설명되는 스크롤링 또는 패닝 제스처의 타입 중 임의의 것에 대응할 수도 있다. 블록 3810에서, AIM(402)은 제2 제스처에 응답하여 특정한 메뉴 아이템으로 진행한다.
블록 3812에서, AIM(402)은, 특정한 메뉴 아이템을 선택하라는 지시에 대응하는, 사용자에 의해 수행되는 제3 제스처를 검출한다. 제3 제스처는, 예를 들면, 도 25에서 도시되는 릴리스 제스처의 타입 또는 도 32에서 도시되는 사이드로 끌기 제스처(pull-to-the-side gesture)의 타입에 대응할 수도 있다. 블록 3814에서, AIM(402)은 제3 제스처에 응답하여 동작을 수행한다. 동작은, 액션의 호출, 파라미터의 설정, 정보의 표시, 등에 대응할 수도 있다.
요약하면, 상기 피처는, 사용자가 그의 또는 그녀의 환경을 통해 안전하고 효율적으로 이동하는 것을 허용한다. 예를 들면, 작업 공간은, 사용자가 환경을 통해 이동할 때, 가장 관련이 있는 정보를 사용자에게 표출시키는 사용자에게 친숙한 방식을 제공한다. 또한, 피처 중 일부는, 사용자 인터페이스 표시로 시각적 주목을 돌리지 않고도, 및/또는 환경과 상호작용하는 물리적 태스크로부터 사용자의 주목을 딴 데로 돌리는 성가시고 복잡한 제스처를 수행해야 하지 않고도, 사용자가 사용자 인터페이스 표시와 상호작용하는 것을 허용한다. 예를 들면, 사용자는, 사용자 인터페이스 표시를 보지 않고도 한 손을 사용하여 제스처 중 일부를 수행할 수도 있다.
D. 사운드를 사용한 사용자와 그들의 환경 사이의 상호작용의 용이화
소개 섹션 A에서 설명되는 바와 같이, (도 4의) 사운드 생성 모듈(414)은 비삼차원(비공간적) 사운드 및 삼차원(공간적) 사운드를 생성할 수 있다. 삼차원 사운드는, 비록 사운드가 물리적 공간에서 실제의 발신지(origin)가 없더라도, 물리적 공간의 적어도 하나의 위치로부터 나오는 것으로 사용자가 인식하는 사운드이다. 구체적인 것을 위해, 도 39는, 공간 내의 특정한 위치로부터 나오는 사운드의 인식을 생성하기 위한 삼차원 오디오 정보의 사용을 나타낸다. 도 40은, 공간 내의 일련의 위치를 가로질러 이동하는 사운드의 인식을 생성하기 위한 삼차원 오디오 정보의 사용을 나타낸다.
하나의 구현예에서, 사운드 생성 모듈(414)은, 예를 들면, 데이터 저장소(416)에서 제공되는 바와 같은, 머리 전달 함수(HRTF)의 라이브러리를 사용하여 삼차원 사운드를 생성할 수 있다. HRTF는, 사람이 그의 또는 그녀의 환경에서 사운드의 발신지를 인식하는 방식에 사람 고유의 관계를 갖는, 사람 얼굴의 해부학적 피처를 모델링한다. 삼차원 사운드를 생성하기 위해, 사운드 생성 모듈(414)은, 특정한 사람에 대해, 그리고 (사람의 위치에 대한) 공간에서의 특정한 사운드의 위치에 대해, 적절한 HRTF를 선택할 수 있다. 그 다음, 사운드 생성 모듈(414)은, 예를 들면, 비공간적 사운드를 선택된 HRTF로 컨볼빙하는 것에 의해, 그 HRTF를 적용하여, 비삼차원 사운드(예를 들면, 플랫 사운드 또는 비공간적 사운드)를 수정하여, 삼차원 사운드를 생성할 수 있다.
더 구체적으로는, 하나의 경우에서, 사운드 생성 모듈(414)은 다음을 설명하는 입력 정보를 수신할 수 있다: (a) 재생될 비삼차원 사운드; (b) 사운드가 발신하는 것으로 인식될 공간에서의 위치; 및 (c) (옵션적으로) 사용자의 아이덴티티(identity). 입력 정보는, 데이터 저장소(416)에서 오디오 정보를 식별하는 참조 정보를 제공하는 것에 의해 비삼차원 사운드를 설명할 수 있고, 및/또는 오디오 정보 그 자체를 제공할 수도 있다. 예를 들면, 비삼차원 사운드는 텔테일 톤(telltale tone) 및/또는 발화된 메시지에 대응할 수도 있다. 그 다음, 사용자의 각각의 귀에 대해, 사운드 생성 모듈(414)은: (a) 고려 하에 있는 특정한 유정에 대한, 위치와 관련되는 HRTF를 식별할 수 있고; 그리고 (b) 비삼차원 사운드에 HRTF를 적용하여 삼차원 사운드를 생성할 수 있다. 사운드 생성 모듈(414)로 제공되는 입력 정보는, 예를 들면, 경로 안내 모듈(420), 관련 정보 결정(RID) 모듈(426), 탐색 모듈(430), 오리엔테이션 모듈(432), 등에 대응하는, 하기에 설명되는 SI 모듈(302)의 다른 모듈 중 하나 이상으로부터 비롯할 수도 있다.
사운드 생성 모듈(414)은 데이터 저장소(416)에서 제공되는 HRTF의 라이브러리에 대해 상기 기능을 수행한다. 하나의 구현예에서, SI 모듈(302)은, 특정한 개인에 대해 준비된(따라서 이들 사람들의 특정한 해부학적 피처를 고려하는) HRTF를 데이터 저장소(416)에 저장할 수 있다. 예를 들면, HRTF는, 각각의 사람에 대해, 각각의 사람의 얼굴의 물리적 특성을 측정하는 것에 의해 획득될 수 있다. 그 태스크는, 결국에는, (예를 들면, 물리적 거리 측정 툴을 사용하는 것에 의해) 수동의 양식으로, 깊이 카메라를 사용하는 것에 의해(예를 들면, 미국 워싱턴 레드몬드의 MICROSOFT Corporation에 의해 제공되는 KINECT 시스템을 사용하는 것에 의해),등에 의해 수행될 수 있다. 더 구체적으로는, 특정한 사람에 대해 생성되는 HRTF의 세트는, (사용자의 머리의 포지션에 대한) 공간에서의 사운드의 각각의 위치에 대한, 그리고 사용자의 두 귀의 각각에 대한 HRTF를 포함한다. 상이한 구현예는 이들 HRTF를 생성하기 위해 상이한 개인(예를 들면, 음향 엔지니어, 시스템 관리자, 엔드 사용자, 등)에게 위탁할 수도 있다.
제2 구현예에서, 사운드 생성 모듈(414)은, 사람들의 상이한 각각의 그룹에 대해 잘 수행하는 HRTF의 별개의 그룹을 저장할 수 있다. 그 다음, 시스템(102)은, 가장 현실성 있는 삼차원 사운드를 생성하는 것으로 인식되는 HRTF의 세트를 선택할 것을 엔드 사용자에게 권유할 수 있다. 예를 들면, 사용자는, 상이한 HRTF를 사용하여 동일한 삼차원 사운드(들)를 생성할 것을 시스템(102)에게 요청하는 것에 의해, 이 선택을 셋업 단계에서 행할 수도 있다; 사용자는 가장 바람직한 결과를 생성하는 사운드(들)(및 대응하는 HRTF)를 선택할 수도 있다. 제3 구현예에서, 사운드 생성 모듈(414)은, 이들 HRTF가 임의의 특정한 사람 또는 사람들의 그룹에 대해 커스터마이징되지 않더라도, 많은 수의 사용자에 대해 적합한 것이 증명된 HRTF의 단일의 세트를 저장할 수 있다. 적절한 HRTF를 생성 및/또는 선택하기 위해, 여전히 다른 기술이 사용될 수도 있다.
하나의 구현예에서, 사운드 생성 모듈(414)은 광대역 오디오 정보를 전달하는 삼차원 사운드를 생성한다. 광대역 오디오 정보는, 예를 들면, 하나의 구현예에서, 300 Hz 내지 3.4 kHz의 범위의 넓은 분포의 오디오 주파수를 포함하는 오디오 정보이다. 또한, 개개의 삼차원 사운드는 본질적으로 그들의 방향성을 더 강조하도록 표현된다. 예를 들면, 하나의 이러한 삼차원 사운드는, 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 부는 돌풍과 유사할 수도 있다. 오디오 정보의 (자신의 HRTF 기반의 방향성 이외의) 다른 특성은, 예컨대 볼륨, 톤, 반향(reverberation), (사운드를 반복하기 위한) 루핑 주파수(looping frequency), 등에서 변동을 제공하는 것에 의해, 자신의 표현성에 기여할 수도 있다. 이들 인자 모두는, 사운드가 물리적 공간의 특정한 위치(또는 위치들)로부터 비롯한다는 현실성 있는 인식에 기여한다.
섹션 A에서 또한 설명되는 바와 같이, 상이한 모듈은 상이한 목적을 위해 그리고 동작의 상이한 모드에서 삼차원 사운드의 사용을 활용할 수도 있다. 이들 모듈은, 경로 안내 모듈(420), RID 모듈(426), 탐색 모듈(420), 오리엔테이션 모듈(432), 등을 포함한다. 설명을 간단히 하기 위해, 각각의 이러한 모듈은, 종종, 삼차원 사운드를 생성하는 것으로 설명된다. 실제에서, 각각의 모듈은 상기 설명된 입력 정보를 생성하는 것에 의해 사운드를 생성하는데, 각각의 모듈은 그것을 사운드 생성 모듈(414)로 공급한다; 그 다음, 사운드 생성 모듈(414)은 입력 정보를 사용하여 실제 삼차원 사운드를 생성한다.
도 41을 참조하여, 먼저, 경로 안내 모듈(420)의 동작을 고려한다. 이미 설명된 바와 같이, 경로 안내 모듈(420)은 사용자가 향하고 있는 현재 방향을 결정한다. 경로 안내 모듈(420)은, 시스템의 배향 결정 메커니즘(들), 모션 결정 메커니즘(들), 포지션 결정 메커니즘(들),등에 의해 제공되는 정보 중 임의의 것에 기초하여, 이 평가를 행할 수 있다. 하나의 경우에서, 예를 들면, 경로 안내 모듈(420)은, (예를 들면, 헤드셋(108)의 배향 결정 메커니즘에 기초하여) 사용자의 머리가 위치되는 방향을 결정할 수 있고, 그 다음, 사용자가 향하고 있는 것으로 추정되는 방향에 대한 대용물(proxy)로서 이 정보를 사용할 수 있다. 대안적으로, 또는 추가적으로, 경로 안내 모듈(420)은, 사용자가 최근에 통과한 일련의 위치를 결정할 수 있다. 경로 안내 모듈(420)은, 사용자가 향하고 있는 것처럼 보이는 방향을 투사하기 위해 이 정보를 사용할 수 있다. 대안적으로, 또는 추가적으로, 경로 안내 모듈(420)은 사용자가 그의 또는 그녀의 사용자 디바이스(106)를 의도적으로 가리키고 있는 방향을 결정할 수 있다.
경로 안내 모듈(420)은 또한, 사용자의 소망하는 방향을 결정할 수 있다. 경로 안내 모듈(420)은, 적어도 사용자의 현재 위치 및 다음 웨이포인트에 기초하여 소망하는 방향을 결정할 수 있다. 경로 안내 모듈(420)은 또한, 소망하는 방향을 결정할 때, 맵 정보를 고려할 수 있다. 예를 들면, 맵 정보는, 사용자의 경로가 다양한 방식으로, 예를 들면, 도로의 코스, 임의의 타입의 장애물, 등에 의해, 제한된다는 것을 드러낼 수도 있다. 경로 안내 모듈(420)은, 다음 웨이포인트에 도달하기 위한 코스 상에 궁극적으로 사용자를 두기 위해 사용자가 향해야 하는 방향을, 가능한 한 가장 효율적인 방식으로, 결정하기 위해 이 정보 모두를 사용할 수 있다.
실제 방향 및 소망하는 방향에 기초하여, 경로 안내 모듈(420)은, 그 다음, 사용자가 소망하는 방향으로부터 벗어날 수도 있는 정보를 결정하여, 예를 들면, 편차 정보를 제공할 수도 있다. 그 다음, 경로 안내 모듈(420)은, 예를 들면, 편차 정보를 입력 정보의 일부로서 사운드 생성 모듈(414)에 공급하는 것에 의해, 편차 정보를 사용하여 사용자를 소망하는 방향으로 조종하는 효과를 거둘 삼차원 사운드를 생성할 수도 있다.
상기 설명을 명확히 하기 위해, 도 41의 예시를 고려한다. 여기서, 사용자는 현재 위치(4102)에 위치된다. 다음 웨이포인트(w)는 목표 위치(4104)에 위치된다. 사용자의 현재(실제) 방향은 방향(4106)으로 표기된다. 사용자의 소망하는 방향(4108)은, 사용자의 현재 위치(4102)를 목표 위치(4104)와 연결하는 벡터에 대응하지만, 상기에서 언급되는 바와 같이, 이것은 (예를 들면, 현재 위치(4102)로부터 목표 목적지(4104)까지의 직접적인 경로를 차단하는 장애물로 인해) 모든 상황에서 그럴 필요는 없다. 편차 정보는, 현재 방향(4106)과 소망하는 방향(4108) 사이의 각도 차이에 대응할 수도 있다.
상기 결정에 응답하여, 경로 안내 모듈(420)은, 위치(4110)로부터 비롯하는 것처럼 보이는 삼차원 사운드를 (사운드 생성 모듈(414)을 사용하여) 생성할 수 있다. 다시 말하면, 사용자는 소망하는 방향(4108)의 왼쪽으로 현재 향하고 있다. 사용자는 우측으로 가버리게 나오는 방향성 큐를 들을 것이다. 사용자는, 그 큐를, 그의 또는 경로의 방향을 바로 잡기 위해 우측으로 전향하도록 사용자에게 재촉하는 것으로 인식할 것이다. 사용자가 소망하는 방향(4108)의 우측으로 너무 먼 방향으로 이동하기 시작하면, 경로 안내 모듈(420)은 사용자의 왼쪽으로 가버리는 삼차원 사운드를 (사운드 생성 모듈(414)을 사용하여) 생성할 수도 있다. 사용자는 계속해서 인식된 삼차원 사운드의 방향을 본질적으로 추종할 수도 있거나 또는 추적할 수도 있다. 사용자가 올바른 방향을 향하게 되면, 삼차원 사운드는 사용자의 바로 앞에서 나오는 것으로 인식될 것이다; 그 다음, 사용자는 그 사운드를 향해 똑바로 진행한다.
상기에서 언급되는 바와 같이, 경로 안내 모듈(420)은, 예를 들면, 비트 사운드에 대응하는, 본질적으로 주기성인 삼차원 사운드를 생성하기 위해 사운드 생성 모듈(414)을 사용할 수 있다. 예를 들면, 비트 사운드는, 반복하는 단일 톤 또는 두 개의 톤 또는 n개의 톤의 다가닥다가닥하는 사운드(clip-clop sound),등 에 대응할 수도 있다. 추가적으로, 또는 대안적으로, 삼차원 사운드는, 예를 들면, 좌에서 우로, 또는 우에서 좌로, 등으로 이동하도록 사용자가 재촉받고 있는 방향에서 움직이는 것처럼 보일 수 있다.
또한, 경로 안내 모듈(420)은, 사용자의 실제의 현재 방향(4106)이 소망하는 방향(4108)로부터 벗어나는 정도에 따라, 비트 사운드의 하나 이상의 오디오 특성을 변경시키는 효과를 갖는 입력 정보를 사운드 생성 모듈(414)에 제공할 수 있다. 예를 들면, 경로 안내 모듈(420)은 (사운드 생성 모듈(414)과 연계하여), 이상적인 경로로부터의 사용자의 현재 편차가 제1 임계치 내에 있는 경우 제1 톤 및/또는 제1 루핑 주파수를 갖는 비트 사운드를 생성할 수 있다. 경로 안내 모듈(420)은 (사운드 생성 모듈(414)과 연계하여), 사용자의 현재 편차가 제1 임계치 밖에 있지만, 제2 임계치 내에 있는 경우 제2 톤 및/또는 제2 루핑 주파수를 갖는 비트 사운드를 생성할 수 있고, 계속 이런 식이다. 경로 안내 모듈(420)은 사용자의 편차를 임의의 수의 이러한 편차 카테고리로 분류할 수 있는데, 각각은 특정한 비트 사운드와 관련된다.
도 41의 특정한 예에서, 경로 안내 모듈(420)은, 소망하는 방향(4108)으로부터의 편차의 제1 범위(4112) 및 소망하는 방향(4108)으로부터의 편차의 제2 범위(4114)를 정의하는데, 제2 범위(4114)는 제1 범위(4112)보다 더 크다. 현재 방향(4106)은 제2 범위(4114) 내에 있고, 따라서 경로 안내 모듈(420)은 (사운드 생성 모듈(414)과 연계하여) 이 범위(4114)에 대해 적절한 비트 사운드를 생성할 것이다.
실제 실시에서, 경로 안내 모듈(420)은 많은 상황에서 유용하지만, 그러나 두 개의 상황에서 가장 유용한 것으로 인식될 수도 있다. 첫 번째 경우에서, 사용자는, 이용가능한 옵션의 고정된 세트 중에서, 그 또는 그녀가 특정한 방향으로 방향 전환할 것으로 예상되는 교차점에 도달할 수도 있다. 또는 사용자는, 그가 가능한 경로 중 하나를 선택할 것으로 예상되는 도로의 분기점에 도달할 수도 있다. 경로 안내 모듈(420)은 (사운드 생성 모듈(414)과 연계하여), 사용자가 그의 또는 그녀의 내비게이션 선택을 해결하는 것으로 인식하는 삼차원 비트 사운드를 재생하는 것에 의해 사용자에게 명확한 안내를 제공할 수 있다. 예를 들면, 교차점에 서 있을 때, 사용자는 그를 또는 그녀를 (예를 들면) 왼쪽으로 또는 오른쪽으로 이끄는 비트 사운드를 들을 것이다. 도로의 분기점에 서 있을 때, 사용자는, 비트 사운드를, 그를 또는 그녀를 도로의 올바른 분기점으로 이끄는 것으로 인식할 것이다.
제2 시나리오에서, 사용자는, (사용자가 잘 정의된 도로 또는 경로를 걷고 있는 경우에 비교하여), 그 또는 그녀가 점진적으로 코스를 벗어나는 더 많은 자유를 제공 받는 더 많이 열린 공간을 가로질러 이동하고 있다. 여기서, 경로 안내 모듈(420)은, 사용자를 적절한 진행 방향에서 유지하기 위해, 도 41에서 예시되는 방식으로 사용자에게 증분적 넛지(nudge)를 제공할 수도 있다.
다른 사용 시나리오에서, 관련 정보 결정(RID) 모듈(426)은, 사용자의 경로를 따른 각각의 지점에서, 그리고 각각의 대응하는 현재 콘텍스트에 대해, 관련하는 주목 아이템(IOI), 예컨대 콘텍스트 IOI의 위치를 결정할 수 있다. 그 다음, RID 모듈(426)은 각각의 IOI에 대한 삼차원 사운드를 생성하기 위해 사운드 생성 모듈(414)을 사용할 수 있다. 사용자는 그 사운드를 물리적 공간에서의 대응하는 물리적 엔티티의 실제 위치로부터 비롯하는 것으로 인식할 것이다, 즉, IOI는 공간에서 별개의 물리적 위치를 갖는 물리적 엔티티에 대응한다고 가정한다. 예를 들면, RID 모듈(426)은 (사운드 생성 모듈(414)과 연계하여) 사용자의 근처에 대응하는 물리적 엔티티를 갖는 특정한 IOI에 대해 다음의 오디오 정보를 생성할 수 있다: [3D 사운드], "제인의 커피숍, 레스토랑, 30 피트 전방". 다시 말하면, 이 경우에, 오디오 정보는 삼차원 사운드를 포함하고, 직후에 발화된 메시지가 뒤따른다. 사용자는 삼차원의 예비 사운드를 제인의 커피숍의 물리적 위치로부터 나오는 것으로 인식할 것이다. 발화된 메시지는 (비록 그럴 필요는 없지만) 또한 삼차원 사운드로서 제시될 수도 있다. 발화된 메시지는, 대안적으로, 정보의 추가(또는 더 적은) 필드를 포함할 수 있거나, 또는 완전히 생략될 수 있다.
다른 경우에, IOI는, 핀포인트 위치 대신, 공간에서 일반적인 원점(origin)을 가질 수도 있다. 예를 들면, IOI는, 결국에는, 버스 정류장에 대응하는 일반적인 영역과 관련되는 광고에 대응할 수도 있다. RID 모듈(426)은 (사운드 생성 모듈(414)과 연계하여) 버스 정류장의 일반적인 영역으로부터, 또는 그 영역의 중심, 등으로부터 나오는 것으로 사용자에 의해 인식되는 그 IOI에 대한 사운드를 생성할 수 있다. 그 타입의 IOI는, 그것이 버스 정류장을 설명하도록 의도되지는 않지만, 그러나 버스 정류장의 오디오 속성으로서 동작하는 한 가상적인 것으로 간주될 수도 있다.
다른 구현예에서, 오디오 정보는 또한, 사용자에 대한 IOI의 방향적 위치를 명시하는 구두의 큐를 포함할 수 있다. 그 방향적 큐는 (예를 들면, 제인의 커피숍이 사용자의 전방 오른쪽에 있다는 것을 명시하는 것에 의해) 광의적으로, 또는 (예를 들면, 제인의 커피숍이 사용자의 현재 방향에 대해 10시 방향에 위치된다는 것을 명시하는 것에 의해) 더 폭이 좁게 표현할 수 있다. 추가적으로, 또는 대안적으로, RID 모듈(426)은 (사운드 생성 모듈(414)과 연계하여), 예를 들면, 레스토랑에 대해 제1 타입의 사운드를 그리고 휴게소 시설에 대해 제2 타입의 사운드를, 등을 재생하는 것에 의해, IOI의 상이한 각각의 카테고리에 대해 상이한 삼차원 사운드를 제공할 수 있다.
탐색 모듈(430) 및 오리엔테이션 모듈(432) 둘 다는, 예를 들면, 각각, 탐색 모드 및 오리엔테이션 모드에서, RID 모듈(426)의 상기 설명된 거동을 활용한다. 섹션 A에서 설명되는 바와 같이, 사용자는, 이들 모드를 명시적으로 활성화 및 비활성화하기 위해, 예를 들면, 헤드셋(108) 및/또는 사용자 디바이스(106)와의 수동의 상호작용을 통해, 및/또는 음성 명령어를 통해, 커맨드를 입력할 수도 있다.
더 구체적으로는, 도 42는, 탐색 모드에서 동작하는, 탐색 모듈(430)의 예시적인 거동을 도시한다. 이 모드에서, 일단 탐색 모드가 사용자에 의해 활성화되면, 탐색 모듈(430)은 사용자의 현재 위치 및 사용자의 주목하는 현재 초점을 결정한다. 예를 들면, 탐색 모듈(430)은, (예를 들면, GPS 센서, 등을 사용하여) 현재 시간에서의 사용자의 위치를 결정하기 위해 헤드셋(108) 상의 및/또는 사용자 디바이스(106) 상의 임의의 포지션 결정 메커니즘(들)을 사용할 수 있다. 탐색 모듈(430)은, 사용자가 그의 신체를 배향시키고 있는 것처럼 보이는 방향을 결정하기 위해, 헤드셋(108) 상의 및/또는 사용자 디바이스(106) 상의 임의의 배향 메커니즘(들)을 사용할 수 있다. 예를 들면, 헤드셋(108) 상의 배향 메커니즘(들)은, 사용자의 헤드가 가리키는 방향을 결정할 수 있는데, 그 방향은 사용자의 주목하는 초점의 대용 표시(proxy-indication)로서 사용될 수 있다. 대안적으로, 또는 추가적으로, 시스템(102)은 사용자에게 그의 또는 그녀의 주목하는 초점과 매치하는 방향으로 사용자 디바이스(106)를 가리킬 것을 사용자에게 지시할 수도 있다; 그 경우, 사용자 디바이스(106)의 배향 메커니즘(들)은 사용자의 의도된 주목하는 방향을 올바르게 반영할 것이다. 여전히 다른 기술이 사용자의 추정된 주목하는 초점을 평가하기 위해 사용될 수 있다.
다음으로, 탐색 모듈(430)은 주목하는 검색 공간을 정의한다. 하나의 경우에서, 탐색 모듈(430)은 검색 공간을, 사용자의 추정된 주목하는 방향의 중심에 있는 임의의 형상의 볼륨으로 정의할 수도 있다. 예를 들면, 볼륨은, 사용자의 현재의 위치로부터 비롯하는 그리고 사용자의 추정된 주목하는 초점에 의해 양분되는 웨지 형상의 볼륨에 대응할 수도 있다. 시스템 정의 및/또는 사용자 정의 파라미터 설정치가 볼륨의 깊이, 볼륨의 각도 범위(angular span), 볼륨의 폭, 등을 명시할 수도 있다.
다음으로, 탐색 모듈(430)은, 콘텍스트 IOI와 같은, 그러나 이것으로 제한되지는 않는 주목하는 IOI의 존재에 대한 볼륨을 검색하기 위해 RID 모듈(416)을 사용할 수도 있다. RID 모듈(416)은, 사용자의 특정한 관심사항을 정의하는 임의의 파라미터 설정치와 함께(예를 들면, 사용자는 그 또는 그녀가, 디폴트로, 커피숍 정보를 제외한 레스토랑 정보에 관심이 있다는 것을 나타내었을 수도 있다), IOI에 관한 정보를 제공하는 하나 이상의 데이터 저장소를 참고하는 것에 의해 이 태스크를 수행할 수 있다. 몇몇 경우에, IOI는, 검색 공간에 물리적으로 위치되는 대응하는 물리적 엔티티를 가지기 때문에, 검색 공간과 관련될 수도 있다. 다른 경우에, IOI는, 임의의 다른 방식으로 확립되는 몇몇 다른 관계(nexus) 때문에, 검색 공간과 관련될 수도 있다. 예를 들면, 관리자(또는 엔드 사용자 그 자신 또는 그녀 자신)는, 지하철 역의 출구 근처의 영역이 날씨 리포트 IOI,등과 관련되어야 한다는 것을 미리 수동으로 명시할 수 있다.
마지막으로, 탐색 모듈(430)은, 식별된 IOI의 존재를 알리는 삼차원 오디오 메시지를 생성할 수 있다. 탐색 모듈(430)은, 사운드 생성 모듈(414)을 활용하는 것에 의해 상기에서 설명되는 임의의 방식으로 이들 메시지를 생성할 수 있다. 예를 들면, 상기에서 설명되는 바와 같이, 오디오 정보는 소개 사운드에 대응할 수도 있고, IOI를 알리는 발화된 메시지가 후속된다. 탐색 모듈(430)은 (사운드 생성 모듈(414)과 연계하여) 이들 IOI를 순서대로, 예컨대 볼륨에 걸쳐 시계 방향 순서로, 또는 반시계 방향 순서로, 및/또는 사용자의 위치에 대한 거리를 증가시키거나 또는 감소시키는 것에 의해, 등으로 판독할 수 있다.
도 42는 상기에서 설명되는 동작의 방식을 명확히 한다. 여기서, 사용자는 현재 위치(4202)에 현재 위치되어 있다. 사용자의 현재의 주목하는 방향은 점선(4204)에 의해 나타내어진다. 검색 볼륨은 윤곽(4206)에 의해 정의되는데, 윤곽(4206)은 사용자의 주목하는 방향에 의해 양분된다. 그 검색 볼륨은 각을 이룬 스와스(angular swath)를 정의하며, 예컨대 30 피트와 같은 규정된 높이(도시되지 않음)를 또한 구비할 수도 있다. 전체적으로, 검색 볼륨은 쐐기 모양과 유사하다. 탐색 모듈(430)은 RID 모듈(426)을 사용하여 검색 볼륨에서 세 개의 콘텍스트 IOI를 찾는다. 탐색 모듈(430)은 (사운드 생성 모듈(414)과 연계하여) 이들 콘텍스트 IOI를, 콘텍스트 IOI와 관련되는 물리적 엔티티의 위치로부터 비롯하는 것처럼 보이는 삼차원 사운드에 의해 알린다.
전체적으로, 사용자는, 스테이지에서, 그의 현재 위치를 선회하는 것에 의해, 그의 주목하는 방향을 회전시키는 것에 의해 탐색 모듈(430)과 상호작용할 수도 있다. 각각의 스테이지에서, 사용자는, 신규의 주목하는 초점으로 이동하기 이전에, 그의 현재의 추정된 주목 초점에 의해 이렇게 정의되는 검색 볼륨 내에 놓여 있는(또는 다르게는 그 검색 볼륨과 관련되는) IOI를 청취하기 위해 대기할 수도 있다. 예를 들면, 하나의 경우에서, 사용자의 주목하는 방향에 의해 포괄되는 스와스는 45도이다. 사용자는, 북동쪽, 남동쪽, 남서쪽, 북서쪽으로 연속적으로 방향 전환하는 것에 의해 사용자 주위의 IOI의 완전한 목록 작성(inventory)을 행할 수 있다. 각각의 배향에서, 사용자는, 주목하는 그 사분면(quadrant)에 포괄되는 IOI를 청취할 것이다.
다른 예시적인 피처에 따르면, 사용자는 IOI가 알린 것을 청취한 이후 임의의 방식으로 IOI를 선택할 수도 있다. 예를 들면, 사용자는, 제인의 커피숍에 관해 듣고 난 이후, 음성 지시 "나를 그곳으로 안내해" 또는 "추가 정보"를 내릴 수도 있다. 또는 사용자는 (예를 들면, 이 IOI를 알리는 삼차원 사운드의 인식된 위치에 기초하여) 그의 또는 그녀의 주목 초점을 IOI의 인식된 위치를 향해 돌리는 것에 의해 IOI를 선택할 수도 있다. 사용자는, 예를 들면, IOI의 인식된 위치를 향해 그의 머리 또는 몸 또는 사용자 디바이스(106)를 돌리는 것에 의해, 이 태스크를 수행할 수도 있다. 또는 사용자는 사용자 디바이스(106)에 의해 제공되는 적절한 메뉴를 통해 IOI를 선택할 수도 있다. 또는 사용자는, 알려지고 있는 IOI, 등을 듣고 난 이후, 헤드셋 버튼을 통해 적절한 선택을 행할 수도 있다. IOI의 선택에 응답하여, 이루어지는 어떤 방식에서도, SI 모듈(302)은 IOI에 관한 부가적인 정보를 제시할 수 있거나, 또는 IOI에 도달하는 방법, 등에 관한 명령어를 제공할 수 있다. SI 모듈(302)은 또한, 선택된 IOI의 존재를 알리는 삼차원 사운드의 볼륨을 증가시키는 것에 의해, 또는 다르게는 사용자의 경험에서 그 사운드를 더욱 현저하게 만드는 것에 의해, 사용자의 선택을 확인할 수 있다.
마지막으로, 오리엔테이션 모듈(432)은 사용자의 현재 위치를 상기에서 설명되는 방식으로 결정하는 것에 의해 동작한다. 그 다음, 그것은 사용자 주위의 삼차원 볼륨을 정의한다. 예를 들면, 삼차원 볼륨은, 사용자가 볼륨의 중심에 위치되는 (예를 들면) 원기둥 또는 구(sphere) 또는 박스 또는 직사각형에 대응할 수도 있다. 그 다음, 오리엔테이션 모듈(432)은 RID 모듈(426)을 사용하여, 볼륨 내에 존재하는 IOI의 세트를, 만약 있다면, 식별한다. 그 다음, 오리엔테이션 모듈(432)은 IOI를 사운드 생성 모듈(414)을 사용하여 임의의 순서로 판독한다.
예를 들면, 도 43에서, 오리엔테이션 모듈(432)은 원기둥의 형상을 갖는 삼차원 볼륨을 정의하는데, 사용자는 현재 위치(4302)에서 원기둥 형상의 중심에 배치된다. 오리엔테이션 모듈(432)은 RID 모듈(426)을 사용하여 원기둥 내에 놓여 있는 또는 다르게는 원기둥에 의해 정의되는 공간과 관련되는 IOI를 식별한다. 그 다음, 오리엔테이션 모듈(432)은 IOI를 임의의 순서로 판독한다. 예를 들면, 세 개의 층을 갖는 쇼핑몰을 방문하는 사용자를 고려한다. 사용자는 쇼핑몰의 1층의 옥외 아트리움(open-air atrium)에 서 있다고 가정한다. 오리엔테이션 모듈(432)은, 층 단위 기반으로, 예를 들면, 층 z1, 층 z2, 및 그 다음 층 z3 상에서 오리엔테이션 모듈(432)이 발견하는 IOI를 판독할 수 있다. 오리엔테이션 모듈(432)은 각각의 층 상의 IOI를 임의의 순서로, 예컨대 시계 방향 순서로, 반시계 방향 순서로, 등으로 알릴 수 있다. 그 다음, 사용자는, 옵션적으로, 임의의 IOI를, 상기에서 설명되는 방식 중 임의의 방식으로 선택할 수도 있다.
맺음말로서, 상기 설명은, 레스토랑, 등과 같은 콘텍스트 IOI의 존재를 알리기 위한 삼차원 사운드의 사용을 설명한다. 그러나, SI 모듈(302)은 삼차원 사운드를 사용하여 경고 IOI 및 여정 IOI와 같은 임의의 타입의 IOI의 존재를 알릴 수 있다. 예를 들면, SI 모듈(302)은, 웅덩이의 위치로부터 나오는 도로의 웅덩이에 관한 경고를 생성할 수 있다. 다른 명확화로서, SI 모듈(302)은 많은 타입의 IOI를 플랫 또는 비공간적 방식으로 전달할 수 있다. 예를 들면, SI 모듈(302)은, 사용자가 현재 이동하고 있는 도로가 비때문에 미끄럽다는 것을 사용자에게 일반적으로 통지하기 위해, 방향성이 없는 다른 경고 IOI를 생성할 수 있다.
또한, 상기 설명은, 물리적 공간의 위치로부터 비롯하는 것으로 사용자가 인식하는 사운드의 사용을 전제로 하였다. 추가적으로, 또는 대안적으로, 햅틱 큐 생성 모듈(418)은, 방향성 정보를 전달하는 진동 큐를 생성할 수 있다. 예를 들면, 헤드셋(108)은 두 개 이상의 진동 메커니즘, 예를 들면, 헤드셋(108)의 프레임(602)의 좌측 상의 제1 진동 메커니즘 및 헤드셋(108)의 프레임(602)의 우측 상의 제2 진동 메커니즘을 포함할 수 있다. 햅틱 큐 생성 모듈(418)은 제1 또는 제2 진동 메커니즘 중 어느 하나를 활성화하여, 각각, 왼쪽 또는 오른쪽으로 방향 전환하라는 명령어를 사용자에게 제공할 수 있다. 이 타입의 지시는 추가적인 진동 메커니즘을 포함시키는 것에 의해 추가적인 단계(gradation)를 포함할 수 있다. 사용자 디바이스(106) 상의 상이한 진동 메커니즘을 활성화하는 것에 의해, 예를 들면, 왼쪽으로 방향 전환하라는 큐를 제공하기 위해 좌측 진동 메커니즘을, 그리고 오른쪽으로의 큐로서 우측 진동 메커니즘을 활성화하는 것에 의해, 동일한 효과가 달성될 수 있다. 진동 메커니즘은 또 다른 디바이스 또는 사용자의 신체의 부위에 커플링될 수 있다.
도 44는, 소망하는 경로를 따라 내비게이팅함에 있어서 사용자를 안내하기 위한 삼차원 사운드의 사용을 설명하는 프로세스(4402)를 도시한다. 블록 4404에서, SI 모듈(302)은, 공간 내에서, 경로를 따른 사용자의 현재 위치를 결정한다. 블록 4406에서, SI 모듈(302)은 삼차원 사운드를 생성한다. 삼차원 사운드는, 삼차원 사운드가 공간 내의 적어도 하나의 특정한 위치로부터 나온다는, 사용자에 의한 인식을 생성한다. 블록 4408에서, SI 모듈(302)은 삼차원 사운드를 사용자에게 전달한다. 삼차원 사운드는 경로를 따라 내비게이팅함에 있어서 사용자를 지원한다.
도 45는, 소망하는 경로를 따라 사용자를 안내하기 위해 경로 안내 모듈(420)이 삼차원 사운드를 사용할 수도 있는 하나의 방식을 설명하는 프로세스(4502)를 도시한다. 블록 4504에서, 경로 안내 모듈(420)은 사용자가 향하고 있는 현재 방향을 결정한다. 블록 4506에서, 경로 안내 모듈(420)은, 사용자가 향할 것으로 예상되는 소망하는 방향을 식별한다. 블록 4508에서, 경로 안내 모듈(420)은 현재 방향과 소망하는 방향 사이의 차이를 결정하여 편차 정보를 제공한다. 블록 4510에서, 경로 안내 모듈(420)은 사운드 생성 모듈(414)을 사용하여, 편차 정보에 기초하여, 주기적인 삼차원 사운드(예를 들면, 비트 사운드)를 생성한다. 그 삼차원 사운드는 사용자를 소망하는 방향으로 향하게 한다. 삼차원 사운드는, 소망하는 방향으로부터 사용자가 벗어난 정도에 의존하는 하나 이상의 특성(예컨대 톤)을 가질 수도 있다.
도 46은, SI 모듈(302)이 삼차원 사운드를 사용하여 IOI를 식별하고 알릴 수 있는 하나의 방식을 설명하는 프로세스(4602)를 도시한다. 블록 4604에서, SI 모듈(302)은 관심 아이템(IOI)의 세트를 결정하는데, 관심 아이템의 각각은, 현재 콘텍스트에서 사용자에게 관련이 있는 엔티티 또는 이벤트 또는 정보의 조각에 대응한다. 블록 4606에서, SI 모듈(302)은 주목하는 각각의 아이템에 대한 삼차원 사운드를 생성한다. 사용자는, 예를 들면, 가게와 관련되는 사운드를 가게의 위치로부터 나오는 것으로 인식하는 것에 의해, 관심 아이템에 결국 관련되는 동일한 물리적 위치(또는 위치들)로부터 비롯하는 것으로 사운드를 인식할 것이다.
하나의 경우에서, SI 모듈(302)은, 사용자가 경로를 통과할 때, 배경 서비스로서 프로세스(4602)를 적용할 수 있다. 예를 들면, RID 모듈(426)은, 임의의 거리 기반 파라미터 설정에 의해 통제되는 바와 같이, 사용자가 이들 IOI와 관련되는 위치에 충분히 가깝게 근접할 때 IOI의 존재에 대해 사용자에게 경고할 수 있다.
다른 시나리오에서, 블록 4608에서 나타내어지는 바와 같이, 탐색 모듈(430)은, RID 모듈(426)을 사용하여 사용자의 주목이 현재 지향되는, 또는 현재 지향되는 것으로 추정되는 부분 공간과 관련되는 IOI를 세트를 식별하는 것에 의해, 상기의 일반적인 프로세스(4602)를 적용할 수도 있다. 다른 시나리오에서, 블록 4610에서 나타내어지는 바와 같이, 오리엔테이션 모듈(432)은, (사용자가 이제 그 또는 그녀 주위의 공간의 완전한 볼륨에 주목하기 때문에) 사용자의 현재 주목하는 초점을 참조하지 않고도, RID 모듈(416)을 사용하여 현재 시간에 사용자 주위의 전체 공간과 관련되는 IOI의 세트를 식별하는 것에 의해, 상기 일반적인 프로세스(4602)를 적용할 수 있다. 사용자는, 예를 들면, 헤드셋(108) 또는 사용자 디바이스(106)를 통해 적절한 명령어를 내리는 것에 의해 탐색 모듈(430) 또는 오리엔테이션 모듈(432)의 판독을 호출 및 중지할 수 있다.
최종 토픽으로서, 상기 예는, 공간에서의 가상의 사운드 생성 엔티티(예를 들면, 가상의 사운드 소스)의 포지션이 청자(listener)의 위치에 대해, 적어도 삼차원 사운드의 전달 동안, 안정적이다는 단순화 가정에 기초하였다. 이것은 많은 경우에서 유효한 가정이지만, 그러나 그것은 모든 상황에 유효하지는 않을 수도 있다.
예를 들면, 다음의 시나리오를 고려한다. 제1 경우에, 사용자가 임의의 타입의 차량에서(예를 들면, 기차를 타고) 엔티티를 지나감에 따라, 사용자는 고정 포지션 엔티티를 설명하는(또는 다르게는 고정 포지션 엔티티에 관련시키는) 삼차원 사운드를 들을 수도 있다. 예를 들면, 사용자가 차량의 탑승객으로서 시애틀(Seattle)의 스페이스 니들(Space Needle) 타워에 대해 임의의 방향에서 여행하고 있을 때, 사용자는 스페이스 니들을 설명하는 메시지를 들을 수도 있다. 제2 경우에서, 사용자가 움직이지 않고 서 있지만, 그럼에도 불구하고, 그의 또는 그녀의 머리를 움직이고 있어서, 그 결과 사용자의 좌측 및 우측 귀의 포지션이 고정 포지션 엔티티의 위치에 대해 변하고 있을 때, 사용자는 고정 포지션 엔티티를 설명하는(또는 다르게는 고정 포지션 엔티티에 관련시키는) 삼차원 사운드를 들을 수도 있다. 제3 경우에, 사용자는, 청자의 고정된 포지션에 대해 움직이고 있는 엔티티를 설명하는(또는 움직이고 있는 엔티티에 관련시키는) 삼차원 사운드를 들을 수도 있다. 예를 들면, 사용자가 공항 터미널의 고정된 포지션에 머무는 동안, 사용자는 활주로 아래로 움직이고 있는 비행기의 도착을 알리는 메시지를 들을 수도 있다. 제4 경우에, IOI 및 사용자의 위치 둘 다는, 오디오 정보의 전달 동안 움직일 수도 있다.
IOI는 스페이스 니들 또는 움직이고 있는 비행기와 같은 물리적 엔티티에 항상 대응할 필요는 없다는 것을 또한 유의한다. 예를 들면, 움직이고 있는 "가상의" IOI는, 나이트클럽의 입구를 향해 거리 아래로 움직이는 것으로 사용자가 인식하여, 사용자가 그 시설로 들어가는 것을 유혹하는 공간적 메시지를 전달하는 가상의 광고판에 대응할 수도 있다. 또한, IOI와 관련되는 사운드에 대해 본원에서 설명되는 모든 것은, 주기적 비트 사운드와 같은 다른 사운드에 동등하게 적용된다.
상기 상황 중 임의의 것을 다루기 위해, SI 모듈(302)은, SI 모듈(302)이 자신의 전달 동안 생성하고 있는 삼차원 오디오 정보를 동적으로 업데이트하여, 각각의 시점에서, 사용자의 머리와 IOI(예를 들면, 상기에서 언급된 예에서 스페이스 니들 또는 움직이고 있는 비행기의 위치) 사이의 상대적인 포지션을 반영할 수 있다. SI 모듈(302)은 이 태스크를 상이한 방식으로 수행할 수 있다. 하나의 비제한적인 접근 방식에서, SI 모듈(302)은 다음의 동작을 오디오 정보의 전달 동안 반복 프로세스에서 수행할 수 있다: (a) IOI에 대한 사용자의 머리의 포지션을 결정하여, 상대적인 포지션 정보를 제공하는 것; (b) 상대적인 포지션 정보에 기초하여 (귀마다) HRTF를 선택하는 것; (c) 어떤 오디오 정보이든 선택된 HRTF에 의해 현재 시간에 전달될 오디오 정보를 컨볼빙하여, 상대적인 포지션 정보에 기초하여 적절한 삼차원 사운드를 생성하는 것.
하나의 특정한 예를 언급하기 위해, 사용자에게 전달하는 데 5초가 걸리는 메시지를 고려한다. SI 모듈(302)은, 그 전달의 각각의 초에 대해, 사용자의 머리와 IOI 사이의 상대적인 포지션을 결정할 수 있다. SI 모듈(302)은 그 정보를 사용하여, 그 시점에서의 사용자의 머리와 IOI 사이의 상대적 포지션에 기초하는 메시지의 전달의 각각의 초에 대한 삼차원 사운드를 생성할 수 있다.
더 일반적으로는, 상기의 반복 프로세싱은 상이한 업데이트 레이트에서 수행될 수 있다. 업데이트 레이트는, 청자와 IOI 사이의 상대적인 포지션이 변하는 레이트에 의존할 수도 있다. 즉, SI 모듈(302)은, 상대적 포지션 정보에 대한 큰 상대적 변화에 대해 상대적으로 빠른 레이트에서, 그리고 더 느린 변화에 대해 더 느린 레이트에서 HRTF를 업데이트할 수 있다. 업데이트 레이트는 또한, 삼차원 사운드 정보를 업데이트하기 위해 시스템(102)에서 이용가능한 프로세싱 리소스의 양을 고려할 수도 있다.
SI 모듈(302)은 또한, 상기의 동적 프로세싱(자신의 리소스에 대한 큰 프로세싱 부담을 나타낼 수도 있다)을 촉진하도록 설계되는 다양한 기술을 적용할 수 있다. 예를 들면, 몇몇 경우에, 시스템(102)은 적어도 하나의 예상된 궤적에 대한 동적 사운드를 미리 계산할 수 있다; 각각의 이러한 궤적은, 다음의 이유로 인해, 청자와 IOI 사이의 어떤 타입의 예상된 상대적 움직임을 정의한다: (a) 공간에서의 청자의 움직임; 또는 (b) 공간에서의 IOI의 움직임; 또는 (c) 청자 및 IOI 둘 다의 움직임. 예를 들면, 기차가 매일 일반적으로 동일한 속도로 IOI를 지나간다고 가정한다. 이 경우, 동적으로 변하는 HRTF에 대해 예상되는 삼차원 사운드를 (귀마다) 미리 계산하는 것이 가능하다. 그 삼차원 사운드는, 기차가 궤도를 따라 내려갈 때 사용자의 머리의 추정된 전진을 고려하고, 사용자가 궤도를 따라 내려갈 때 사용자의 머리가 미리 결정된 고정된 배향을 갖는다는 단순화하는 가정에 기초할 수도 있다. 청자의 포지션이 IOI에 대한 미리 결정된 트리거링 위치, 예컨대 IOI로부터 미리 결정된 거리에 있는 궤도를 따른 위치에 도달한다는 것을 SI 모듈(302)이 검출할 때, SI 모듈(302)은 그 삼차원 사운드를 론칭할 수 있다.
동작의 상기 방식은 상이한 시나리오를 담당하도록 확장될 수 있다. 예를 들면, 시스템(102)은, 상이한 기차 속도, 상이한 고정된 머리 배향(예를 들면, 사용자가 메시지의 전달 동안 똑바로 앞을 보고 있는지, 또는 창밖을 보고 있는지의 여부, 등을 나타냄),등을 고려하기 위해, 상이한 동적 삼차원 사운드를 미리 계산할 수 있다.
상기 상황은 또한, 사용자와 IOI 사이의 움직임이 다수의 가능성으로 분해될 수 있는 보다 일반적인 설정으로 확장될 수 있어서, 이들 가능성에 대한 각각의 동적인 삼차원 사운드의 사전 계산을 허용하게 된다. 그 다음, SI 모듈(302)은, 사용자의 현재 콘텍스트가 미리 결정된 가능성 중 하나와 매치한다는 것을 결정하는 경우 임의의 미리 계산된 사운드를 론칭할 수 있다.
다른 경우에, SI 모듈(302)은, IOI의 위치에 대한 사용자의 움직임을, 예를 들면 사용자의 현재의 진행 방향에 기초하여 예측하는 프로세싱을 동적으로 수행할 수 있다. 그 다음, SI 모듈(302)은, IOI에 대한 사용자의 투사된 궤적에 기초하여 삼차원 사운드를 동적으로 미리 계산할 수 있다.
동적으로 변하는 삼차원 사운드의 계산을 촉진하기 위해 여전히 다른 기술이 사용될 수 있다. 몇몇 구현예에서, 예를 들면, SI 모듈(302)은, 원격 프로세싱 리소스(112)의 향상된 프로세싱 능력을, 예를 들면, 이들 리소스(112)에 의해 수행되는 병렬 프로세싱을 활용하는 것에, 의해 끌어낼 수 있다.
요약하면, 상기의 피처는, 사용자가 그의 또는 그녀의 환경을 통해 효율적으로, 안전하게 그리고 즐겁게 이동하는 것을 허용하는 상기 언급된 목표에 기여한다. 예를 들면, 피처는 사용자가 환경을 통과함에 따라 사용자에게 상이한 카테고리의 정보를, 상이한 표시 모드를 사용하여, 제공한다. 기능성은, 임의의 주어진 시간에 너무 많은 정보로 사용자를 압도하는 것을 방지하는 사용자에게 친숙한 방식으로, 이 정보를 사용자에게 제시한다. 삼차원 사운드의 사용은, 제공되는 정보와 환경에서의 오브젝트, 영역, 및 이벤트 사이의 관계를 이해하는 사용자의 능력을 더 향상시킨다.
E. 환경과 상호작용함에 있어서 사용자에 대한 지원을 위한 비콘의 사용
다음의 섹션은, 비콘 기반의 안내 모듈(422)의 동작에 관한 추가 정보를 제공한다. 반복해서 말하자면, 비콘 기반의 안내 모듈(422)은, 정의된 각각의 범위를 갖는 비콘의 사용을 활용하는 것에 의해 공간을 통해 사용자를 안내하기 위한 전략을 제공한다. 공간은 실내 공간, 예를 들면, 하나 이상의 빌딩 또는 임의의 타입의 구조물의 내부에 의해 정의되는 공간에 대응할 수도 있다. 대안적으로, 또는 추가적으로, 공간은 실외 공간에 대응할 수도 있다.
비콘은 임의의 타입의 전자기 방사선, 예컨대 전파(radio wave), 적외선파, 등을 방출할 수도 있다. 다른 경우에, 비콘은 (예를 들면, 초음파 범위의) 음파(sound wave)를 방출할 수도 있다. 또한, 몇몇 경우에, 비콘은, BLUETOOTH 프로토콜, 와이파이 프로토콜, 등과 같은, 임의의 프로토콜 또는 프로토콜의 조합에 따라 신호를 생성할 수도 있다. 비제한적인 예를 들면, 비콘은 BLUETOOTH 저에너지(BLUETOOTH Low Energy; BLE) 비콘에 대응할 수도 있다. 또한, 비콘은 그것이 전개되는 목표 환경에 가장 잘 적합하도록 임의의 소망하는 깊이의 범위를 가질 수 있다. 몇몇 실내 설정에서, 예를 들면, 상대적으로 짧은 범위, 예를 들면, 1미터 이상의 범위를 갖는 비콘이 선택된다. 몇몇 경우에, 비콘의 언급된 범위는, 그것의 신호가, 공지된 그리고 안정한 신호 수신 특성을 갖는 특정한 타입의 사용자 디바이스(예컨대 특정한 스마트폰), 또는 특정한 클래스의 사용자 디바이스(특정한 클래스의 스마트폰)에 의해 검출될 것이라는 암시적인 또는 명시적으로 언급된 가정에 기초할 수도 있다.
여전히 다른 경우에, 각각의 비콘은, 사용자 디바이스(106)(또는 몇몇 다른 질의 디바이스)가 비콘에 대해 규정된 거리 이내에 있을 때, 그 디바이스에 의해 질의 받을 수도 있는 패시브 디바이스(예컨대 패시브 RFID)이다. 그 규정된 거리는 디바이스의 범위에 대응한다. 그러나, 설명을 용이하게 하기 위해, 나머지 설명은, 각각의 비콘이 신호를 능동적으로 방출한다고 가정할 것이다.
하나의 구현예에서, 각각의 비콘은 자신의 아이덴티티를 정의하는 코드를 소유한다. 비콘은 지속적으로 또는 주기적으로(또는 온디맨드 방식으로) 자신의 코드(및/또는 임의의 다른 애플리케이션 고유의 정보)를 알리는 신호를 방출하는데, 그 신호는 비콘의 범위 내의 수신 디바이스에 의해 검출될 수도 있다. 예를 들면, 약 1미터의 범위를 갖는 BLE 비콘을 고려한다. 그 범위 내에 놓여 있는 수신 디바이스는 비콘의 신호를 검출할 수도 있고 그것의 특정한 코드를 판독할 수도 있다.
도 47의 예에서, 실내(및/또는 실외) 환경은, 복도(corridor) 및 장애물(예를 들면, 장애물 1, 장애물 2, 및 장애물 3)에 의해 특성 묘사된다. 이 시나리오는, 예를 들면, 두 개 이상의 복도의 모든 교차점에 비콘을 배치하는 것에 의해, 환경을 비콘의 콜렉션(예를 들면, b1, b2, ..., b7)으로 미리 채우는 것을 수반한다. 각각의 비콘을 둘러싸는 가장 바깥의 점선의 원은 비콘의 범위를 나타낸다. 상기에서 언급되는 바와 같이, 비콘의 범위 내에 놓여 있는 수신 디바이스는 비콘을 성공적으로 검출할 수 있다; 그렇지 않다면, 수신 디바이스는 비콘의 지식을 갖지 않을 것이다. 하나의 예시적인 구현예에서, 비콘의 범위는 중첩하지 않는다는 것을 유의한다. 이 특성은, 그것이 임의의 주어진 시간에서의 사용자의 위치에 관한 임의의 모호성을 제거하기 때문에, 유익하다. 다시 말하면, 사용자의 디바이스는, 이들 비콘의 범위가 중첩하지 않기 때문에, 두 개 이상의 비콘을 동시에 검출할 수 없고, 사용자는 동일한 시간에 두 개의 장소에서 동시에 존재할 수 없다. 몇몇 환경에서, 비콘 범위의 비중첩 성질은, 비콘으로부터 방출되는 신호를 수신할 사용자 디바이스(또는 디바이스의 클래스)의 성질을 또한 고려하는 것에 의해 보장될 수도 있다.
제1 예비 단계로서, 도 47의 환경의 모든 비콘의 위치가 데이터 저장소(424)에 로딩될 수도 있다. 데이터 저장소(424)는 또한 이들 비콘과 관련되는 코드를 저장할 수도 있다.
제2 예비 단계로서, 시스템(102)은 임의의 경로 계획 툴을 사용하여 도 47의 환경을 통한 경로를 생성할 수 있다. 경로 계획 툴은 이 태스크를 수행하기 위해 임의의 알고리즘을 적용할 수 있다. 예를 들면, 경로 계획 툴은 복도 및 장애물에 의해 정의되는 검색 공간을, 복수의 노드 및 링크를 갖는 그래프로서 표현할 수 있다. 즉, 링크는 복도를 나타내고 노드는 복도의 교차점을 나타낸다. 그 다음, 경로 계획 툴은, 그래프를 통해 가장 효율적인 경로를 찾기 위해 임의의 알고리즘(예컨대 널리 공지된 다이크스트라(Dijkstra)의 알고리즘)을 사용할 수 있다. 일단 경로가 정의되면, 비콘 기반의 안내 모듈(422)은, 경로를 여행함에 있어서 사용자에 의해 통과될 비콘의 서브셋(본원에서 경로 고유의 비콘(route-specific beacon)으로 칭해짐)을 식별할 수 있고, 이들 비콘의 아이덴티티를 저장할 수 있다. 도 47의 경우에서, 사용자는 모든 비콘과 조우할 것으로 예상되지만, 이것은 일반적으로 그런 것은 아니다(하기에서 명확히 될 것이다).
이제, 사용자가 상기 설명된 시스템(102)을 안내로 사용하여 경로에 착수하는 것을 가정한다. 시스템(102)은, 헤드셋(108) 및/또는 사용자 디바이스(106)를 사용하여 상기에서 설명되는 방식으로 사용자에게 실시간 안내를 제공할 수도 있다. 그러나, 이 경우, 시스템(102)은, 상기에서 설명되는 기술과 비교하여, 상이한 기술을 사용하여 각각의 시간에서의 사용자의 현재 위치를 결정한다.
더 구체적으로는, 비콘 기반의 안내 모듈(422)은 환경을 지속적으로 스캔하여 사용자가 임의의 비콘의 범위 내에 있는지의 여부를 결정한다. 만약 그렇다면, 비콘 기반의 안내 모듈(422)은 사용자의 현재 위치를 검출된 비콘의 현재 위치로서 식별한다. 다시 말하면, 비콘 기반의 안내 모듈(422)은, 검출된 비콘과 관련되는 코드 및 환경에서의 그것의 위치를 선험적으로 안다. 사용자의 헤드셋(108) 또는 사용자 디바이스(106)가 그 비콘의 존재를 (검출된 신호에 의해 전달되는 코드에 기초하여) 검출하면, 비콘 기반의 안내 모듈(422)은, 사용자가 검출된 비콘과 동일한 위치를 갖는다는 것을 가정할 수도 있다.
이 시점에서, 비콘 기반의 안내 모듈(422)은, 삼차원 사운드를 사용하여 및/또는 다른 안내 정보(예컨대 비삼차원 사운드, 디스플레이된 지시, 등)에 기초하여 사용자를 소망하는 방향으로 지향시키기 위해, 경로 안내 모듈(420)의 서비스를 활용할 수 있다. 예를 들면, 사용자의 사용자 디바이스(106)가 그것이 비콘(b4)의 범위 안에 있다는 것을 검출한다고 가정한다. 경로 안내 모듈(420)은, 미리 결정된 여정 정보에 기초하여, 사용자의 여정을 따른 다음 웨이포인트가 비콘(b5)에 대응한다는 것을 결정할 것이다. 그 다음, 경로 안내 모듈(420)은, 사용자의 우측으로부터 비롯하는 것으로 사용자가 인식할 삼차원 사운드를 생성할 수 있는데, 그 삼차원 사운드는 사용자를 다음 웨이포인트(예를 들면, 비콘(b5))를 향해 지향시키도록 기능한다. 사용자는 이 큐를, 그 또는 그녀가 우측으로 방향 전환해야 하는 지시로서 해석할 것이다. 사용자는, 그 또는 그녀가 다른 비콘(예를 들면, 비콘(b5))을 조우할 때까지 이 방향을 계속 유지할 것인데, 그 시점에서 사용자의 방향은 업데이트될 수도 있다.
몇몇 경우에, 사용자는, 그 또는 그녀가 다음에 조우할 것으로 예상되었던 비콘의 범위 밖에 있게 되는 그런 방식으로 계획된 경로로부터 예상치 못한 방식으로 벗어날 수도 있다. 도 48은 이 상황을 해결하는 하나의 방식을 나타낸다. 사용자의 계획된 경로를 따라 비콘의 수를 증가시키는 전략이 존재하는데, 그 전략은 사용자의 현재 포지션이 평가되는 빈도를 증가시키고, 따라서 (예를 들면, 그 또는 그녀가 조우할 것으로 예상되는 비콘의 범위 밖에 있게 되는 정도까지) 사용자가 경로 밖으로 헤맬 수도 있는 잠재성을 감소시키는 효과를 갖는다. 도 48은, 계획된 경로 상에서 사용자가 통과할 것으로 예상되는 비콘만을 도시한다는 것을 유의한다. 그러나, 환경은 사용자가 통과하지 않을 것으로 예상되는 추가적인 비콘(도시되지 않음)을 포함할 수도 있다.
도 47 및 도 48에서는 사용자가 크게 길을 잃을 가능성은 크지 않은데, 예를 들면, 사용자의 선택이 장애물에 의해 크게 제한되기 때문이다. 그럼에도 불구하고, 사용자는 혼란스럽게 될 수도 있고 잘못된 방향 전환을 하여, 그로 하여금 계획된 경로를 벗어나게 할 수도 있다. 또는 사용자는 의도적으로 계획된 경로에서 벗어날 것을 결정할 수도 있다. 예를 들면, 도 48에서 비콘(b9)과 관련되는 교차점에서, 사용자는 우회전 대신 좌회전할 수도 있다. 따라서, 사용자는 결국에는, 그가 조우할 것으로 예상되지 않은 경로 밖 비콘(도시되지 않음)을 조우하게 될 수도 있다.
비콘 기반의 안내 모듈(422)은 이 상황을 다른 방식으로 해결할 수 있다. 하나의 경우에서, 비콘 기반의 안내 모듈(422)은, 사용자가 궤도를 벗어나 헤맨 것처럼 보이기 때문에, 안내가 사용자에게 더 이상 제공될 수 없다는 것을 사용자에게 통지할 수 있으며, 진행 방향 및 사용자의 의도를 결정하는 것은 더 이상 가능하지 않다. 비콘 기반의 안내 모듈(422)은 또한, 사용자에게 그 또는 그녀가 환경을 통해 원래 정의된 경로를 따를 의도가 있는지의 여부를 질의 할 수 있다.
다른 경우에, 사용자의 현재 위치, 진행 방향, 및 의도에 관한 충분한 정보가 획득될 수 있으면, 비콘 기반의 안내 모듈(422)은 사용자를 계획된 경로로 되돌아 가게 할 수 있다. 예를 들면, 비콘 기반의 안내 모듈(422)은, 사용자의 가장 최근에 알려진 포지션의 세트에 기초하여 궤적을 형성하는 것에 의해, 사용자가 현재 향하고 있는 것처럼 보이는 방향을 (비록 그것이 잘못된 것처럼 보일지라도) 결정할 수 있다. 그 다음, 비콘 기반의 안내 모듈(422)은, 사용자의 현재 포지션(알고 있는 경우)에 관한 정보와 함께, 진행 방향 정보를 사용하여 사용자를 계획된 경로 상으로 되돌릴 수 있다. 또는 비콘 기반의 안내 모듈(422)은, 사용자에게 그 또는 그녀가 계획된 경로를 여전히 따를 의도가 있는지, 또는 다른 경로를 선택할 의도가 있는지의 여부를 결정할 것을 질의할 수 있다.
임의의 시나리오에서, 비콘 기반의 안내 모듈(422)은 또한, (BLE 비콘에 의해 제공되는 정보 외에) 사용자의 현재 위치 및 진행 방향의 다른 증거가 이용가능할 때, 그 정보에 의존할 수 있다. 예를 들면, 비콘 기반의 안내 모듈(422)은 GPS 센서 소스, 데드 레커닝 기술, 등으로부터 그 정보를 수집할 수 있다. 다른 경우에, 이들 추가적인 소스 중 적어도 일부는 이용가능하지 않거나, 또는 신뢰가능하지 않다는 것이 가정된다.
도 49는, 도 47 및 도 48과 비교하여, 사용자가 통과하는 공간이 더 많이 확장 가능한 다른 상황을 설명한다. 공간은 짧은 범위의 비콘의 콜렉션으로 채워진다. 예를 들면, 공간은, 공간의 물리적 특성에 의해 허용되면, 이러한 비콘의 규칙적인 매트릭스로 채워질 수도 있다. 비콘은 서로 중첩하지 않는 범위를 갖는다.
다시, 경로 계획 툴은, 임의의 입력 목표에 기초하여, 그리고 이 목적을 위한 임의의 경로 계획 알고리즘을 사용하여 공간을 통한 경로(4902)를 생성할 수도 있다. 그 다음, 비콘 기반의 안내 모듈(422)은, 그 또는 그녀가 계획된 경로(4902)를 통과함에 따라 사용자가 통과할 것으로 예상되는 비콘을 결정한다. 이들 비콘은 단일 흑색의 비콘 심볼(solid-black beacon symbol)로 표현된다.
경로(4902)의 실제 통과 동안, 비콘 기반의 안내 모듈(422)은 상기에서 설명되는 바와 동일한 기능을 수행한다. 즉, 사용자가 예상된 경로를 따라 비콘(예컨대 비콘(b22))의 범위에 진입했다는 것을 비콘 기반의 안내 모듈(422)이 결정하면, 비콘 기반의 안내 모듈(422)은 그 비콘의 위치를 사용자의 현재 위치로서 수용한다. 그 다음, 그것은 사용자의 진행 방향을 재계산하고 삼차원 비트 사운드(및/또는 다른 안내 정보)를 업데이트하여 사용자를 다음 비콘(예를 들면, 비콘(b33))을 향해 안내한다.
사용자가 도 49의 경우에서 궤도를 벗어날 위험성은 도 48의 경우보다 더 큰데, 그 이유는 사용자가 더 많은 자유도를 부여받기 때문이다. 도 50은 이 상황을 해결하는 하나의 방식을 설명한다. 여기서, 비콘 기반의 안내 모듈(422)은, 사용자가 계획된 경로(5002)를 따라 조우할 수도 있는 비콘(단일 흑색의 비콘 심볼로 표현됨)을 더욱 일반적인 방식으로, 예를 들면, 가장 최적의 경로(5002)의 양측에 놓여 있는 이웃 비콘을 또한 포괄하는 것에 의해, 정의한다. 비콘 기반의 안내 모듈(422)은, 사용자가 여전히 계획된 경로(5002)를 고수하려고 시도하고 있지만, 코스에서 단지 약간 벗어났다는 가정 하에서, 그 또는 그녀가 이들 이웃 비콘의 범위 안으로 헤매고 있는 경우 사용자에게 계속 안내를 제공할 수도 있다. 비콘 기반의 안내 모듈(422)은, 사용자가 가장 바깥쪽 이웃 비콘과 관련되는 경계를 넘어 헤매고 있는 경우에만 에러 조건을 생성할 수도 있다.
다른 구현예에서, 비콘 기반의 안내 모듈(422)은, 사용자가 그의 또는 그녀의 경로를 따라 지금까지 이미 조우했던 비콘에 기초하여 사용자의 소망하는 목적지에 관해 가정(postulate)을 형성할 수 있다. 예를 들면, 비콘 기반의 안내 모듈(422)은 지금까지 조우한 비콘의 위치에 기초하여 궤적을 형성할 수 있다. 그 다음, 비콘 기반의 안내 모듈(422)은, 예를 들면, 궤적을 그것의 현재 방향을 따라 연장하는 것에 의해, 궤적이 가리킬 가능성이 있는 중간 또는 최종 목적지를 결정할 수 있다. 그 다음, 비콘 기반의 안내 모듈(422)은 사용자에게 그 또는 그녀가 추정된 목적지를 향하는 경로를 따르기를 희망하는지의 여부를 물어볼 수 있다. 만약 그렇다면, 비콘 기반의 안내 모듈(422)은, 그 후, 사용자가 식별된 목적지에 도달하는 것을 돕는 상기에서 설명되는 동일한 타입의 내비게이션 지원을 제공할 수 있다.
본원에서 설명되는 경우 중 임의의 것에서, 비콘 기반의 안내 모듈(422)은 사용자의 이전 여행 습관에 관한 이력 정보, 및/또는 (명시된 환경에 대한) 타인의 여행 습관에 관한 이력 정보를 또한 고려할 수 있다. 그 정보는, 이용가능한 경우, 소망하는 목적지에 도달함에 있어서 사용자의 의도의 추가적인 증거를 제공할 수도 있다.
도 51은, 예를 들면, 도 47 내지 도 50의 환경의 타입의 콘텍스트 내에서, 비콘 기반의 안내 모듈(422)의 동작의 하나의 방식을 설명하는 프로세스(5102)를 도시한다. 블록 5104에서, 비콘 기반의 안내 모듈(422)은, 환경 내의 현재 위치에서 동작하는 컴퓨팅 디바이스의 센서(또는 센서들)로부터 특정한 비콘 신호를 수신한다. 컴퓨팅 디바이스는 사용자 디바이스(108), 또는 헤드셋(108), 등에 대응할 수도 있다. 상기에서 설명되는 바와 같이, 환경은, 하나의 예시적인 구현예에서, 각각의 비중첩 범위를 갖는 복수의 비콘으로 채워진다. 또한, 예비 단계로서, 경로 계획 모듈은, 여정 정보에 의해 설명되는 소망하는 경로를 정의했을 수도 있다. 또는, 소망하는 경로는, 사용자의 의도된 중간 또는 최종 목적지에 관해 만들어지는 가정에 기초하여, 사용자가 환경을 통과함에 따라 동적인 방식으로 생성될 수 있다. 임의의 경우에, 그 소망하는 경로는, 환경 내의 비콘의 전체 세트 중에서, 경로 고유의 비콘의 세트와 관련되는 범위를 통과한다.
블록 5106에서, 비콘 기반의 안내 모듈(422)은, 특정한 비콘 신호에 기초하여, 사용자가 경로 고유의 비콘 중 하나의 범위 내에 있는지의 여부를 결정한다; 이 동작은 사용자가 그 범위 내에 있을 때 현재 위치 정보를 산출한다. 블록 5108에서, 비콘 기반의 안내 모듈(422)은, 다음 웨이포인트 정보를 제공하기 위해, 사용자가 도달할 것으로 예상되는 다음 웨이포인트를, 미리 결정된 여정 정보에 기초하여 결정한다. 몇몇 경우에, 그 다음 웨이포인트는, 사용자의 미리 결정된 여정을 따른 다음 비콘에 대응할 수도 있다. 블록 5110에서, 비콘 기반의 안내 모듈(422)은, 다음으로, 현재 위치 정보 및 다음 웨이포인트 정보에 기초하여 방향 정보를 결정한다. 방향 정보는, 사용자가 다음 웨이포인트에 도달하기 위해 여행할 것을 지시 받는 방향을 반영한다. 블록 5112에서, 비콘 기반의 안내 모듈(422)은 방향 정보에 기초하여 오디오 정보(및/또는 다른 안내 정보)를 생성한다. 블록 5114에서, 비콘 기반의 안내 모듈(422)은 오디오 정보를, 예를 들면, 삼차원 비트 사운드로서, 사용자에게 전달한다. 오디오 정보는 다음 웨이포인트에 도달함에 있어서 사용자를 지원한다. 비콘 기반의 안내 모듈(422)은, 경로 안내 모듈(420) 및 사운드 생성 모듈(414)의 지원을 통해 상기 기능을 수행할 수 있다.
도 52는, 비콘 기반의 안내 모듈(422)이 환경 내에서 사용자의 현재 위치를 결정할 수 있는 하나의 방식에 관한 추가적인 세부 사항을 제공하는 프로세스(5202)를 도시한다. 블록 5204에서, 비콘 기반의 안내 모듈(422)은, 수신된 특정한 비콘 신호와 관련되는 특정한 비콘 코드를 식별한다. 블록 5206에서, 비콘 기반의 안내 모듈(422)은, 특정한 비콘 코드에 기초하여, 특정한 비콘 코드와 관련되는 특정한 비콘을 식별한다. 블록 5208에서, 비콘 기반의 안내 모듈(422)은, 비콘 코드 및 환경 내에서의 비콘의 각각의 위치를 식별하는 (데이터 저장소(424)에) 저장된 정보에 기초하여 특정한 비콘의 위치를 식별한다.
요약하면, 특히, 사용자가 (예를 들면, 위성 기반의 내비게이션 시스템에 기초하여) 그의 또는 그녀의 위치를 결정하는 다른 모드에 의존할 수 없는 상황에서, 상기 피처는 사용자가 그의 또는 그녀의 환경을 통해 안전하고 효율적으로 이동하는 것을 허용하는 상기 언급된 목표에 기여한다. 또한, (하나의 예시적인 구현예에 따른) 비중첩 비콘 범위의 사용은, 사용자가 동일한 시간에 두 개 이상의 비콘의 범위 내에 동시에 존재할 수 없기 때문에, 사용자의 위치를 명확하게 하기 위한 효율적인 메커니즘을 제공한다.
제1 구현예의 상기 설명에서, 사용자 디바이스(106)(및/또는 헤드셋(108))는, 임의의 주어진 시간에, 제로 비콘 또는 단일의 비콘 중 어느 하나에 의해 송신되지만, 그러나 복수의 비콘에 의해 송신되지 않는 신호를 수신한다. 다른 구현예에서, 상기 특성은 상이한 방식으로 완화될 수 있다.
예를 들면, 제2 구현예에서, 비콘 기반의 안내 모듈(422)은, 사용자 디바이스(106) 및/또는 헤드셋(108)이 규정된 임계치 위에 있는 신호 강도를 갖는 신호를 특정한 비콘으로부터 수신하면, 사용자 디바이스(106) 및/또는 헤드셋(108)은 그 특정한 비콘의 범위 내에 있다고 결론 내릴 것이다. 그러나, 제1 구현예와는 달리, 비콘 기반의 안내 모듈(422)은 또한 환경 내의 하나 이상의 다른 비콘으로부터 더 약한 신호를 동시에 수신할 수도 있는데, 여기서 이들 신호의 각각의 강도는 규정된 임계치 아래에 있다. 이 시나리오에서, 환경은, 임의의 주어진 시간에, 비콘 기반의 안내 모듈(422)이 다음 중 어느 하나를 수신하도록 하는 포지션을 갖는 비콘으로 채워진다: (1) 임계치 위의 신호 강도를 갖는 무신호(no signal); 또는 (2) 임계치 위에 있는 신호 강도를 갖는 단지 하나의 신호. 실제에서, 제2 구현예는, 예를 들면, 사용자가 비콘 중 하나의 범위 내에 있다는 것을 가정하여, 임의의 주어진 시간에 사용자의 위치를 명확하게 하기 위한 이진 메커니즘을 제공하는 것에 의해, 제1 구현예와 동일한 방식으로 기능하며 동일한 이점을 제공한다. 따라서, 제2 구현예의 비콘은, 상기의 거동으로 인해, 기능적으로 또는 효과적으로 비중첩인 것으로 간주될 수도 있다. 따라서, 본원에서 사용되는 바와 같은 "비중첩"에 대한 참조는, 비콘이 글자 뜻 그대로 중첩하지 않는 범위를 갖는 경우뿐만 아니라, 규정된 임계치를 넘는 신호 강도를 갖는 신호를 사용자 디바이스(106) 및/또는 헤드셋(108)이 기껏해야 하나의 비콘으로부터 수신할 수 있기 때문에 범위가 비중첩인 것으로 간주될 수도 있는 경우 둘 다를 포괄하는 것으로 이해되어야 한다.
제3 구현예에서, 비콘 기반의 안내 모듈(422)은, 임의의 주어진 시간에, 어떠한 임의적인 신호 강도를 갖는 신호를 임의의 수의 비콘으로부터 수신할 수도 있다. 특정한 위치에서의 신호(및 강도)의 세트는 그 위치에 대한 신호 프로파일 정보를 정의한다. 예비 동작에서, 비콘 기반의 안내 모듈(422)은, 환경에서의 각각의 통행에 알맞은(navigable) 위치에 대한, 예를 들면, 그 위치에서의 신호 및 그들 각각의 강도에 관한 정보를 구성하는 신호 프로파일 정보를 저장할 수 있다. 총괄하여, 저장된 정보는 환경의 프로파일 맵을 구성한다. 내비게이션 동안, 비콘 기반의 안내 모듈(422)은, 현재 신호 프로파일 정보를 제공하기 위해, 주어진 위치에서 주어진 시간에 자신이 수신하는 신호를 결정할 수 있다. 그 다음, 비콘 기반의 안내 모듈(422)은 현재 신호 프로파일 정보를, 가장 가깝게 매치하는 신호 프로파일 정보를 갖는 위치를 찾기 위한 키로서 사용할 수 있다. 그 위치는, 주어진 시간에 사용자의 예상 위치(probable location)를 정의한다. 몇몇 환경에서, 비콘에 의해 방출되는 신호의 강도 및/또는 이들 신호를 검출하는 능력은, 다양한 환경 고유의 이유 때문에, 경시적으로 변할 수도 있다. 비콘 기반의 안내 모듈(422)은, 신호 프로파일 정보의 정규화된 버전을 비교하는 것에 의해 이 문제를 해결할 수 있다. 제3 구현예에서의 비콘의 포지션은, 제1 또는 제2의 상기에서 설명된 구현예와 관련되는 비중첩 제약을 충족할 필요가 없다는 것을 유의한다.
F. 대표적인 컴퓨팅 기능성
도 53은, 상기에서 설명되는 시스템(102)의 임의의 양태를 구현하기 위해 사용될 수 있는 컴퓨팅 기능성(5302)을 도시한다. 예를 들면, 도 53에서 도시되는 컴퓨팅 기능성(5302)의 타입은, 사용자 디바이스(106), 원격 프로세싱 리소스(112) 중 임의의 것, 헤드셋(108)에 의해 사용되는 프로세싱 기기, 별개의 사용자 컴퓨팅 디바이스(110),등 중 임의의 것을 구현하기 위해 사용될 수 있다. 모든 경우에서, 컴퓨팅 기능성(5302)은 하나 이상의 물리적인 그리고 유형의 프로세싱 메커니즘을 나타낸다.
컴퓨팅 기능성(5302)은 하나 이상의 프로세싱 디바이스(5304), 예컨대 하나 이상의 중앙 프로세싱 유닛(central processing unit; CPU), 및/또는 하나 이상의 그래픽 프로세싱 유닛(graphical processing unit; GPU),등을 포함할 수 있다.
컴퓨팅 기능성(5302)은 또한, 임의의 종류의 정보, 예컨대 코드, 설정치, 데이터, 등을 저장하기 위한 임의의 스토리지 리소스(5306)를 포함할 수 있다. 비제한적인 예를 들면, 스토리지 리소스(5306)는, 임의의 타입(들)의 RAM, 임의의 타입(들)의 ROM, 플래시 디바이스, 하드 디스크, 광학 디스크,등 중 임의의 것을 포함할 수도 있다. 더 일반적으로는, 임의의 스토리지 리소스는 정보를 저장하기 위한 임의의 기술을 사용할 수 있다. 또한, 임의의 스토리지 리소스는, 정보의 휘발성 또는 비휘발성 유지를 제공할 수도 있다. 또한, 임의의 스토리지 리소스는, 컴퓨팅 기능성(5302)의 고정식 또는 가동(movable) 컴포넌트를 나타낼 수도 있다. 컴퓨팅 기능성(5302)은, 프로세싱 디바이스(5304)가 임의의 스토리지 리소스 또는 스토리지 리소스의 조합에 저장되는 명령어를 실행하면 상기에서 설명되는 기능 중 임의의 것을 수행할 수도 있다.
용어와 관련하여, 스토리지 리소스(5306) 중 임의의 것, 또는 스토리지 리소스(5306)의 임의의 조합은 컴퓨터 판독가능 매체로서 간주될 수도 있다. 많은 경우에, 컴퓨터 판독가능 매체는 물리적인 그리고 유형의 엔티티의 몇몇 형태를 나타낸다. 용어 컴퓨터 판독가능 매체는 또한, 예를 들면, 물리적 도관 및/또는 공기 또는 다른 무선 매체, 등을 통해 송신되거나 또는 수신되는 전파된 신호를 포괄한다. 그러나, 특정한 용어 "컴퓨터 판독가능 저장 매체" 및 "컴퓨터 판독가능 매체"는, 모든 다른 형태의 컴퓨터 판독가능 매체를 포함하지만, 전파된 신호 그 자체는 명시적으로 배제한다.
컴퓨팅 기능성(5302)은 또한, 임의의 스토리지 리소스, 예컨대 하드 디스크 드라이브 메커니즘, 광학 디스크 드라이브 메커니즘,등과 상호작용하기 위한 하나 이상의 드라이브 메커니즘(5308)을 포함한다.
컴퓨팅 기능성(5302)은 또한, (입력 디바이스(5312)를 통해) 다양한 입력을 수신하기 위한, 그리고 (출력 디바이스(5314)를 통해) 다양한 출력을 제공하기 위한 입/출력 모듈(5310)을 포함한다. 예시적인 입력 디바이스는, 키보드 디바이스, 마우스 입력 디바이스, 터치 감지 입력 디바이스, 디지타이징 패드, 하나 이상의 비디오 카메라, 하나 이상의 깊이 카메라, 자유 공간 제스처 인식 메커니즘, 하나 이상의 마이크, 음성 인식 메커니즘, 임의의 움직임 검출 메커니즘(예를 들면, 가속도계, 자이로스코프, 등),등을 포함한다. 하나의 특정한 출력 메커니즘은, 표시 디바이스(5316) 및 관련된 그래픽 사용자 인터페이스(graphical user interface; GUI)(5318)를 포함할 수도 있다. 다른 출력 디바이스는, 프린터, 모델 생성 메커니즘, 촉각 출력 메커니즘, (출력 정보를 저장하기 위한) 아카이브 메커니즘(archival mechanism),등을 포함한다. 컴퓨팅 기능성(5302)은 또한, 하나 이상의 통신 도관(5322)을 통해 다른 디바이스와 데이터를 교환하기 위한 하나 이상의 네트워크 인터페이스(5320)를 포함할 수 있다. 하나 이상의 통신 버스(5324)는 상기 설명된 컴포넌트를 통신 가능하게 함께 커플링한다.
통신 도관(들)(5322)은, 예를 들면, 근거리 통신망, 광역 통신망(예를 들면, 인터넷), 점 대 점(point-to-point) 접속, 등, 또는 이들의 임의의 조합에 의해, 임의의 방식으로 구현될 수 있다. 통신 도관(들)(5322)은, 임의의 프로토콜 또는 프로토콜의 조합에 의해 통제되는, 하드웨어에 내장되는 링크, 무선 링크, 라우터, 게이트웨이 기능성, 네임 서버, 등의 임의의 조합을 포함할 수 있다.
대안적으로, 또는 추가적으로, 이전 섹션에서 설명되는 기능 중 임의의 것은, 적어도 부분적으로, 하나 이상의 하드웨어 로직 컴포넌트에 의해 수행될 수 있다. 제한이 없는 예를 들면, 컴퓨팅 기능성(5302)은 다음 중 하나 이상을 사용하여 구현될 수 있다: 필드 프로그래머블 게이트 어레이(Field-programmable Gate Array; FPGA), 주문형 반도체(ASIC), 애플리케이션 고유의 표준 제품(Application-specific Standard Product; ASSP), 시스템 온칩 시스템(System-on-a-chip system; SOC), 복합 프로그래머블 로직 디바이스(Complex Programmable Logic Device; CPLD), 등.
마지막으로, 다음의 설명은 상기 설명된 시스템(102)의 각각의 양태를 요약한다.
제1 양태에 따르면, 공간과의 상호작용에 있어서 사용자를 지원하기 위한 시스템이 설명된다. 시스템은 사용자가 공간과 상호작용할 때 오디오 정보를 사용자에게 제시하기 위한 헤드셋을 포함한다. 헤드셋은, 결국에는, 적어도, 사용자로부터 커맨드 - 커맨드는 공간 상호작용 모듈에 의해 수행될 각각의 공간 상호작용 관련 기능을 호출함 - 를 수신하기 위한 입력 메커니즘의 세트를 구비한다.
제2 양태에 따르면, 헤드셋은 오디오 정보를 사용자에게 전달하기 위해 골 전도 메커니즘을 사용한다.
제3 양태에 따르면, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 청취 모드를 시작할 것을 지시한다. 청취 모드에서, 공간 상호작용 모듈은 사용자에 의해 구두로 표현되는 명령어를 수신한다.
제4 양태에 따르면, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 오디오 정보의 전달을 중지할 것을 지시한다.
제5 양태에 따르면, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 오디오 정보의 하나 이상의 이전에 전달된 아이템을 반복할 것을 지시한다.
제6 양태에 따르면, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 탐색 모드를 시작할 것을 지시한다. 탐색 모드에서, 공간 상호작용 모듈은, 사용자의 주목이 현재 지향되고 있는 부분 공간과 관련되는 관심 아이템의 세트에 관한 정보를 제공한다.
제7 양태에 따르면, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 오리엔테이션 모드를 시작할 것을 지시한다. 오리엔테이션 모드에서, 공간 상호작용 모듈은, 현재 시간에서의, 사용자 주위의 전체 공간과 관련되는 관심 아이템의 세트에 관한 정보를 제공한다.
제8 양태에 따르면, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 추가 정보 기능을 수행할 것을 지시한다. 공간 상호작용 모듈은 이전에 전달된 관심 아이템과 관련되는 토픽에 관한 부가적인 정보를 제공하는 것에 의해 추가 정보 기능을 수행한다.
제9 양태에 따르면, 적어도 하나의 입력 메커니즘은, 사용자가 입력 메커니즘과 상호작용하는 방식에 따라 복수의 기능을 호출할 수 있다.
제10 양태에 따르면, 공간 상호작용 모듈은 헤드셋에 의해 구현된다.
제11 양태에 따르면, 헤드셋은 다음 중 하나 이상을 더 포함한다: 헤드셋의 배향을 결정하여, 헤드셋 배향 정보를 제공하기 위한 헤드셋 배향 결정 메커니즘; 헤드셋의 움직임을 결정하여, 헤드셋 움직임 정보를 제공하기 위한 헤드셋 모션 결정 메커니즘; 및/또는 헤드셋의 포지션을 결정하여, 헤드셋 포지션 정보를 제공하기 위한 헤드셋 포지션 결정 메커니즘.
제12 양태에 따르면, 시스템은 적어도 하나의 사용자 컴퓨팅 디바이스를 더 포함한다. 사용자 컴퓨팅 디바이스는, 사용자에 의한 공간과의 상호작용에 관련이 있는 정보를 디스플레이하기 위한 디스플레이 출력 메커니즘을 제공한다. 사용자 컴퓨팅 디바이스는 공간 상호작용 모듈과 관련되는 기능성 중 적어도 일부를 구현한다. 또한, 헤드셋은 사용자 컴퓨팅 디바이스와 통신하기 위한 제1 통신 메커니즘을 포함하고, 사용자 컴퓨팅 디바이스는 헤드셋과 통신하기 위한 제2 통신 메커니즘을 포함한다.
제13 양태에 따르면, 사용자 컴퓨팅 디바이스는 헤드셋 배향 정보 및/또는 헤드셋 움직임 정보 및/또는 헤드셋 포지션 정보에 기초하여 프로세싱을 수행하여 결과를 생성하도록, 그리고 그 결과를 헤드셋으로 포워딩하도록 구성된다.
제14 양태에 따르면, 사용자 컴퓨팅 디바이스는 다음을 더 포함한다: 사용자 컴퓨팅 디바이스의 배향을 결정하여, 디바이스 배향 정보를 제공하기 위한 디바이스 배향 결정 메커니즘; 사용자 컴퓨팅 디바이스의 움직임을 결정하여, 디바이스 움직임 정보를 제공하기 위한 디바이스 모션 결정 메커니즘; 및/또는 사용자 컴퓨팅 디바이스의 포지션을 결정하여, 디바이스 포지션 정보를 제공하기 위한 디바이스 포지션 결정 메커니즘.
제15 양태에 따르면, 헤드셋은, 대응부 정보가 헤드셋으로부터 이용가능하지 않을 때, 사용자 컴퓨팅 디바이스에 의해 제공되는 바와 같은, 디바이스 배향 정보 및/또는 디바이스 움직임 정보 및/또는 디바이스 포지션 정보에 기초하여 기능을 수행하도록 구성된다.
제16 양태에 따르면, 적어도 헤드셋 및/또는 사용자 컴퓨팅 디바이스는 정보를 수신하도록 및/또는 외부 컴퓨팅 디바이스에 의해 제공되는 기능성을 사용하도록 구성된다.
제17 양태에 따르면, 공간과의 상호작용에 있어서 사용자를 지원하기 위한, 시스템에 의해 구현되는 방법이 설명된다. 방법은 다음을 포함한다: 헤드셋에 커플링되는 적어도 하나의 입력 메커니즘의, 사용자에 의한 작동에 기초하여 명령어를 수신하는 것; 명령어에 기초한 기능을 수행하여, 출력 결과를 제공하는 것; 및 출력 결과에 기초하여, 공간과의 상호작용에 있어서 사용자를 지원하는 오디오 정보를 헤드셋을 통해 전달하는 것.
제18 양태에 따르면, 기능을 수행하는 동작은, 헤드셋에 의해 적어도 부분적으로 구현되는 공간 상호작용 모듈을 사용하여 기능을 수행하는 것을 수반한다.
제19 양태에 따르면, 기능을 수행하는 동작은, 헤드셋에 통신 가능하게 커플링되는 별개의 사용자 컴퓨팅 디바이스에 의해 적어도 부분적으로 구현되는 공간 상호작용 모듈을 사용하여 기능을 수행하는 것을 수반한다.
제20 양태에 따르면, 다음을 포함하는 헤드셋이 설명된다: 사용자가 공간과 상호작용할 때 사용자를 지원하는 오디오 정보를 제시하기 위한 오디오 출력 메커니즘; 및 사용자로부터 커맨드 - 커맨드는 공간 상호작용 모듈에 의해 수행될 각각의 공간 상호작용 관련 기능을 호출함 - 를 수신하기 위한 입력 메커니즘의 세트. 적어도 하나의 커맨드는 공간 상호작용 모듈에게 탐색 모드를 시작할 것을 지시하고, 적어도 하나의 커맨드는 공간 상호작용 모듈에게 오리엔테이션 모드를 시작할 것을 지시한다. 탐색 모드에서, 공간 상호작용 모듈은, 사용자의 주목이 현재 지향되고 있는 부분 공간과 관련되는 관심 아이템의 세트에 관한 정보를 제공한다. 오리엔테이션 모드에서, 공간 상호작용 모듈은, 현재 시간에서의, 사용자 주위의 전체 공간과 관련되는 관심 아이템의 세트에 관한 정보를 제공한다.
제21 양태는, 상기에서 언급된 제1 내지 제20 양태의 임의의 조합(예를 들면, 임의의 순열(permutation) 또는 서브셋)에 대응한다.
제22 양태에 따르면, 제1 내지 제21 양태 중 임의의 것을 구현하기 위한 하나 이상의 컴퓨팅 디바이스(및/또는 하나 이상의 헤드셋)가 제공된다.
제23 양태에 따르면, 제1 내지 제21 양태 중 임의의 것을 구현하기 위한 시스템이 제공된다.
제24 양태에 따르면, 제1 내지 제21 양태 중 임의의 것을 구현하도록 구성되는 로직을 포함하는 하나 이상의 컴퓨터 판독가능 저장 매체가 제공된다.
제25 양태에 따르면, 제1 내지 제21 양태 중 임의의 것을 구현하기 위한 하나 이상의 수단이 제공된다.
또한, 마지막으로, 본원에서 설명되는 기능성은, 적용가능한 법, 사회적 규범, 및 개별 사용자의 기대와 선호도를 따르는 방식으로 임의의 사용자 데이터가 핸들링되는 것을 보장하기 위해, 다양한 메커니즘을 활용할 수 있다. 예를 들면, 기능성은 사용자가 기능성의 제공에 명시적으로 동의하는(opt in) 것(및 그 다음 명시적으로 동의하지 않는(opt out) 것)을 허용할 수 있다. 기능성은 또한, 사용자 데이터의 프라이버시를 보장하기 위해 적절한 보안 메커니즘(예컨대 데이터 소거 메커니즘, 암호화 메커니즘, 패스워드 보호 메커니즘, 등)을 제공할 수 있다.
비록 본 주제가 구조적 피처 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제는 상기에서 설명되는 특정 피처 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 상기에서 설명되는 특정 피처 및 액트는 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims (21)

  1. 공간과의 상호작용에 있어서 사용자를 지원하는 시스템에 있어서,
    상기 사용자가 상기 공간과 상호작용할 때, 상기 사용자에게 오디오 정보를 제시하도록 구성되는 헤드셋; 및
    상기 헤드셋 상에 또는 별개의 컴퓨팅 디바이스 상에 제공되는 하나 이상의 프로세싱 디바이스
    를 포함하며,
    상기 헤드셋은 상기 하나 이상의 프로세싱 디바이스에 의해 수행될 각각의 공간 상호작용 관련 기능(space-interaction-related function)들을 호출하는(invoke) 커맨드들을 상기 사용자로부터 수신하도록 구성된 입력 메커니즘들의 세트를 포함하고,
    상기 하나 이상의 프로세싱 디바이스는:
    상기 사용자로부터 수신된 특정 커맨드에 의해 명령될 때, 탐색 모드에 들어가고;
    상기 탐색 모드에 있는 동안:
    상기 헤드셋의 배향을 식별하고;
    적어도 상기 헤드셋의 배향에 기초하여, 상기 사용자가 현재 주목하고 있는 부공간(subspace)을 식별하고;
    상기 사용자가 현재 주목하고 있는 상기 부공간 내의 특정 관심 아이템들을 식별하고;
    상기 헤드셋으로 하여금, 상기 특정 관심 아이템들에 대한 대응 사운드들을 생성하게 하고;
    상기 사용자로부터 수신된 다른 특정 커맨드에 의해 명령될 때, 배향 모드에 들어가고;
    상기 배향 모드에 있는 동안;
    상기 사용자가 현재 주목하고 있는 상기 부공간 외부에 수직으로 배열된 관심 아이템들을 식별하고;
    적어도 상기 수직으로 배열된 관심 아이템들 간의 수직 관계들에 기초하여, 상기 수직으로 배열된 관심 아이템들을 알리는(announce) 특정 순서를 결정하고;
    상기 헤드셋으로 하여금, 상기 특정 순서로 상기 수직으로 배열된 관심 아이템들에 대한 다른 대응 사운드들을 생성하게 하도록
    구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  2. 제1항에 있어서,
    상기 헤드셋은 상기 사용자에게 상기 오디오 정보를 전달하기 위해 골전도 메커니즘을 사용하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  3. 제1항에 있어서,
    상기 하나 이상의 프로세싱 디바이스는:
    청취 모드를 시작하도록 상기 시스템에 명령하는 추가 커맨드를 수신하고;
    상기 추가 커맨드에 응답하여 상기 청취 모드에 들어가고;
    상기 청취 모드에 있는 동안, 상기 사용자에 의해 구두로 지시된 명령어들을 수신하고 따르도록
    구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  4. 제1항에 있어서,
    상기 하나 이상의 프로세싱 디바이스는:
    상기 오디오 정보의 전달을 중단하도록 상기 시스템에 명령하는 추가 커맨드를 수신하고;
    상기 추가 커맨드에 응답하여 상기 오디오 정보의 전달을 중단하도록
    구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  5. 제1항에 있어서,
    상기 하나 이상의 프로세싱 디바이스는:
    오디오 정보의 하나 이상의 이전에 전달된 아이템을 반복하도록 상기 시스템에 명령하는 추가 커맨드를 수신하고;
    상기 추가 커맨드에 응답하여 상기 오디오 정보의 하나 이상의 이전에 전달된 아이템을 반복하도록
    구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  6. 제1항에 있어서,
    상기 사운드들은 상기 부공간 내의 제1 관심 아이템을 식별하는 제1 3차원 사운드, 및 상기 부공간 내의 제2 관심 아이템을 식별하는 제2 3차원 사운드를 포함하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  7. 제1항에 있어서,
    상기 수직으로 배열된 관심 아이템들은 빌딩의 상이한 층들 상에 있는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  8. 제7항에 있어서,
    상기 하나 이상의 프로세싱 디바이스는:
    상기 수직으로 배열된 관심 아이템들이 층별로(on a floor-by-floor basis) 알려지게끔 지정하도록
    구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  9. 제1항에 있어서,
    상기 하나 이상의 프로세싱 디바이스는:
    상기 수직으로 배열된 관심 아이템들이 수직으로 가장 낮은 관심 아이템에서 시작하여 점진적으로 더 높은 관심 아이템들까지 알려지게끔 지정하도록
    구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  10. 제1항에 있어서,
    상기 하나 이상의 프로세싱 디바이스는 상기 헤드셋 상에 제공되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  11. 제1항에 있어서,
    상기 헤드셋은 상기 헤드셋의 배향을 결정하도록 구성되는 헤드셋 배향 결정 메커니즘을 더 포함하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  12. 제11항에 있어서,
    상기 시스템은 상기 하나 이상의 프로세싱 디바이스를 포함하는 적어도 하나의 사용자 컴퓨팅 디바이스를 더 포함하는, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  13. 제12항에 있어서,
    상기 사용자 컴퓨팅 디바이스 및 상기 헤드셋은 단거리 무선 라디오 송신을 사용하여 통신하도록 구성되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  14. 제12항에 있어서,
    상기 사용자 컴퓨팅 디바이스는 스마트폰 또는 태블릿 타입 컴퓨팅 디바이스를 포함하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  15. 제1항에 있어서,
    상기 특정 관심 아이템들은 물리적 관심 아이템 및 가상 관심 아이템을 포함하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  16. 컴퓨팅 디바이스에 의해 수행되는, 공간과의 상호작용에 있어서 사용자를 지원하는 방법에 있어서,
    상기 사용자에 의해 착용된 헤드셋의 배향을 식별하는 단계;
    적어도 상기 헤드셋의 배향에 기초하여, 상기 사용자의 관심 검색 볼륨(search volume)을 식별하는 단계;
    상기 헤드셋을 통해, 상기 사용자의 관심 검색 볼륨에 존재하는 적어도 2개의 상이한 관심 아이템들을 식별하는 오디오 정보를 전달하는 단계;
    상기 관심 검색 볼륨 외부에 수직으로 배열된 관심 아이템들을 식별하는 단계;
    적어도 상기 수직으로 배열된 관심 아이템들 간의 수직 관계들에 기초하여, 상기 수직으로 배열된 관심 아이템들을 알리는 특정 순서를 결정하는 단계; 및
    상기 수직으로 배열된 관심 아이템들을 식별하는 다른 오디오 정보를 상기 헤드셋을 통해 상기 특정 순서로 전달하는 단계
    를 포함하는, 공간과의 상호작용에 있어서 사용자를 지원하는 방법.
  17. 제16항에 있어서,
    상기 헤드셋에 의해 수행되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 방법.
  18. 제16항에 있어서,
    상기 헤드셋에 통신가능하게 커플링되는 별개의 사용자 컴퓨팅 디바이스에 의해 수행되는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 방법.
  19. 공간과의 상호작용에 있어서 사용자를 지원하는 시스템에 있어서,
    오디오 출력 메커니즘을 갖는 웨어러블 디바이스
    프로세싱 디바이스; 및
    로직
    을 포함하며,
    상기 로직은, 상기 프로세싱 디바이스에 의해 실행될 때, 상기 프로세싱 디바이스로 하여금:
    상기 웨어러블 디바이스의 배향을 결정하고;
    적어도 상기 웨어러블 디바이스의 배향에 기초하여, 상기 웨어러블 디바이스 주위의 검색 볼륨(search volume)을 식별하고;
    상기 검색 볼륨 내에 위치되는 관심 아이템을 식별하고;
    상기 웨어러블 디바이스의 상기 오디오 출력 메커니즘으로 하여금, 상기 관심 아이템이 상기 검색 볼륨에 존재함을 나타내는 사운드를 출력하게 하고;
    상기 검색 볼륨 외부에 수직으로 배열된 관심 아이템들을 식별하고;
    적어도 상기 수직으로 배열된 관심 아이템들 간의 수직 관계들에 기초하여, 상기 수직으로 배열된 관심 아이템들을 알려주는 특정 순서를 결정하고;
    상기 웨어러블 디바이스의 상기 오디오 출력 메커니즘이, 상기 수직으로 배열된 관심 아이템들을 식별하는 다른 사운드들을 상기 특정 순서로 출력하게
    하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  20. 제19항에 있어서,
    상기 검색 볼륨은 180도 미만의 각을 이룬 띠 모양(angular swath)을 포함하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
  21. 제19항에 있어서,
    상기 로직은, 상기 프로세싱 디바이스에 의해 실행될 때, 상기 프로세싱 디바이스로 하여금:
    상기 시스템 주위에 원통형 볼륨 - 상기 원통형 볼륨은 상기 검색 볼륨에 의해 둘러싸이지 않는 영역을 포함함 - 을 식별하고;
    상기 원통형 볼륨 내에 상기 수직으로 배열된 관심 아이템들을 식별하게
    하는 것인, 공간과의 상호작용에 있어서 사용자를 지원하는 시스템.
KR1020177014931A 2014-10-31 2015-10-28 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화 KR102470734B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073762P 2014-10-31 2014-10-31
US62/073,762 2014-10-31
US14/690,422 2015-04-19
US14/690,422 US9977573B2 (en) 2014-10-31 2015-04-19 Facilitating interaction between users and their environments using a headset having input mechanisms
PCT/US2015/057684 WO2016069672A1 (en) 2014-10-31 2015-10-28 Facilitating interaction between users and their environments using a headset having input mechanisms

Publications (2)

Publication Number Publication Date
KR20170080651A KR20170080651A (ko) 2017-07-10
KR102470734B1 true KR102470734B1 (ko) 2022-11-24

Family

ID=55852329

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177014931A KR102470734B1 (ko) 2014-10-31 2015-10-28 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화
KR1020177011515A KR102486763B1 (ko) 2014-10-31 2015-10-29 사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020177011515A KR102486763B1 (ko) 2014-10-31 2015-10-29 사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법

Country Status (11)

Country Link
US (4) US10048835B2 (ko)
EP (4) EP3213179A1 (ko)
JP (1) JP6689265B2 (ko)
KR (2) KR102470734B1 (ko)
CN (5) CN111367413A (ko)
AU (2) AU2015339427B2 (ko)
BR (1) BR112017005842A2 (ko)
CA (1) CA2965353C (ko)
MX (1) MX2017005657A (ko)
RU (1) RU2706462C2 (ko)
WO (4) WO2016069668A1 (ko)

Families Citing this family (197)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965028B2 (en) 2012-08-23 2015-02-24 Skullcandy, Inc. Speakers, headphones, and kits related to vibrations in an audio system, and methods for forming same
CN103677496A (zh) * 2012-09-07 2014-03-26 腾讯科技（深圳）有限公司 界面控制方法及控制装置
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
WO2015026862A1 (en) 2013-08-19 2015-02-26 Estimote, Inc. Wireless beacon and methods
KR102263695B1 (ko) * 2014-01-20 2021-06-10 삼성전자 주식회사 복수개의 카메라를 이용한 휴대 장치 및 제어방법
WO2015186069A2 (en) * 2014-06-03 2015-12-10 Realitygate (Pty) Ltd Display and interaction method in a user interface
US10026226B1 (en) * 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
JP6538825B2 (ja) 2014-09-02 2019-07-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 可変触覚出力のための意味論的フレームワーク
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
EP3041261B1 (en) 2014-12-31 2020-05-06 Skullcandy, Inc. Speaker assemblies for passive generation of vibrations and related headphone devices and methods
EP3328091B1 (en) * 2014-12-31 2020-04-08 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9622208B2 (en) 2015-09-02 2017-04-11 Estimote, Inc. Systems and methods for object tracking with wireless beacons
US9826351B2 (en) * 2015-09-02 2017-11-21 Estimote Polska Sp. Z O. O. System and method for beacon fleet management
US10136250B2 (en) 2015-09-02 2018-11-20 Estimote Polska Sp. Z O. O. System and method for lower power data routing
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
CN105894533A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 基于智能设备实现体感控制的方法、系统以及智能设备
KR102561572B1 (ko) * 2016-01-20 2023-07-31 삼성전자주식회사 센서 활용 방법 및 이를 구현한 전자 장치
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
WO2017165564A1 (en) 2016-03-22 2017-09-28 Estimote, Inc. System and method for multi-beacon interaction and management
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK180122B1 (en) 2016-06-12 2020-05-19 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
WO2017218234A1 (en) * 2016-06-15 2017-12-21 Irobot Corporation Systems and methods to control an autonomous mobile robot
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US11331242B2 (en) * 2016-07-06 2022-05-17 Bruce Corporation Travel assistance system
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10582328B2 (en) * 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
WO2018009878A1 (en) 2016-07-07 2018-01-11 Estimote Polska Sp. Z O. O. Method and system for content delivery with a beacon
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
KR20180029697A (ko) * 2016-09-13 2018-03-21 삼성전자주식회사 네비게이션 업데이트 방법 및 장치
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
JP6686829B2 (ja) * 2016-10-04 2020-04-22 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10058282B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10063957B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
EP3529999A4 (en) * 2016-11-17 2019-11-13 Samsung Electronics Co., Ltd. SYSTEM AND METHOD FOR PRODUCING AUDIO DATA FOR A HEAD-MOUNTED DISPLAY DEVICE
EP3324387A1 (de) * 2016-11-18 2018-05-23 Schaefer GmbH Leitsystem und -verfahren, insbesondere für sehbehinderte personen
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
WO2018136367A1 (en) 2017-01-17 2018-07-26 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
CA3049894A1 (en) 2017-02-03 2018-08-09 Benjamin Moore & Co. Autonomous system to assist consumers to select colors
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
DE112018001224T5 (de) * 2017-03-09 2019-11-28 Sony Corporation Datenprozessor, Datenverarbeitungsverfahren und Aufzeichnungsmedium
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US11193783B2 (en) * 2017-04-04 2021-12-07 Microsoft Technology Licensing, Llc Guidance audio cues for navigation assistance
US11638869B2 (en) * 2017-04-04 2023-05-02 Sony Corporation Information processing device and information processing method
JP6833018B2 (ja) 2017-04-18 2021-02-24 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11013990B2 (en) * 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11408749B2 (en) * 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
US11082792B2 (en) * 2017-06-21 2021-08-03 Sony Corporation Apparatus, system, method and computer program for distributing announcement messages
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2019038888A1 (ja) 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP7037567B2 (ja) 2017-08-29 2022-03-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
WO2019045622A1 (en) * 2017-08-31 2019-03-07 Terranet Ab HEADSET AND METHOD OF OPERATING THE HEADSET
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
KR101984557B1 (ko) * 2017-09-22 2019-09-03 (주)파트론 헤드셋 및 이의 충돌 경고 방법
EP3673240A1 (en) 2017-09-27 2020-07-01 Apple Inc. Spatial audio navigation
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US11651238B2 (en) * 2017-10-20 2023-05-16 Bragi GmbH Earpiece advisor
EP3477466A1 (en) * 2017-10-31 2019-05-01 Nokia Technologies Oy Provision of virtual reality content
US20190155568A1 (en) * 2017-11-20 2019-05-23 Serious Biz, LLC Live presentation delivery aid system and method
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
EP3495969A1 (en) * 2017-12-07 2019-06-12 Nokia Technologies Oy An apparatus and associated methods for presentation of augmented reality content
EP4390219A2 (en) 2017-12-10 2024-06-26 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
JP6408118B1 (ja) * 2017-12-12 2018-10-17 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CA3086206A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
CN108168546B (zh) * 2017-12-28 2021-08-06 重庆大学 定位系统及定位方法
CN108269460B (zh) * 2018-01-04 2020-05-08 高大山 一种电子屏幕的阅读方法、系统及终端设备
US11318050B2 (en) 2018-01-24 2022-05-03 American Printing House for the Blind, Inc. Navigation assistance for the visually impaired
CN108063997A (zh) * 2018-01-25 2018-05-22 芜湖应天光电科技有限责任公司 一种可实现跟随导航的骨传导耳机的控制方法及骨传导耳机
US10869154B2 (en) 2018-02-06 2020-12-15 Bose Corporation Location-based personal audio
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势（上海）汽车科技有限公司 用于辅助信息呈现的方法及装置
EP4415355A3 (en) 2018-03-15 2024-09-04 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10848894B2 (en) * 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
CN109753144A (zh) * 2018-05-08 2019-05-14 北京字节跳动网络技术有限公司 一种实现信息交互的方法、设备及系统
US11259108B2 (en) 2018-05-24 2022-02-22 Sony Corporation Information processing device and information processing method
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
CN112236713B (zh) 2018-05-30 2023-01-24 奇跃公司 紧凑的可变聚焦配置
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
CN112400157B (zh) 2018-06-05 2024-07-09 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
JP7421505B2 (ja) 2018-06-08 2024-01-24 マジック リープ， インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11567632B2 (en) * 2018-07-03 2023-01-31 Apple Inc. Systems and methods for exploring a geographic region
US11856479B2 (en) * 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11067403B2 (en) * 2018-07-05 2021-07-20 GM Global Technology Operations LLC Vehicle energy usage tracking
EP3827224B1 (en) 2018-07-24 2023-09-06 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
CN112789544B (zh) 2018-08-03 2023-06-30 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
US10583067B2 (en) 2018-08-08 2020-03-10 International Business Machines Corporation Source-of-sound based navigation for a visually-impaired user
CN109141453B (zh) * 2018-08-09 2021-06-18 恒大智慧科技有限公司 一种路线指引方法及系统
US12016719B2 (en) 2018-08-22 2024-06-25 Magic Leap, Inc. Patient viewing system
US10523685B1 (en) 2018-08-22 2019-12-31 Estimote Polska Sp z o.o. System and method for verifying device security
EP3841765A2 (en) 2018-08-24 2021-06-30 Estimote Polska Sp. Z O.O. A method and system for asset management
JP7234555B2 (ja) * 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
US11323815B2 (en) 2018-12-14 2022-05-03 Google Llc Graphical user interface indicator for broadcaster presence
US12044851B2 (en) 2018-12-21 2024-07-23 Magic Leap, Inc. Air pocket structures for promoting total internal reflection in a waveguide
US11844741B2 (en) * 2018-12-31 2023-12-19 Bruce Corporation Travel assistance system
CN114615603B (zh) * 2019-01-05 2023-11-24 深圳市韶音科技有限公司 骨传导扬声装置
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
WO2020163603A1 (en) 2019-02-06 2020-08-13 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US20200280814A1 (en) * 2019-03-01 2020-09-03 Bose Corporation Augmented reality audio playback control
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
CN109991592A (zh) * 2019-04-11 2019-07-09 上海山流智能科技有限公司 一种盲人导航系统及导航方法
US11105636B2 (en) * 2019-04-17 2021-08-31 Google Llc Radio enhanced augmented reality and virtual reality with truly wireless earbuds
EP3963565A4 (en) 2019-05-01 2022-10-12 Magic Leap, Inc. CONTENT DELIVERY SYSTEM AND PROCEDURES
CN110134307A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 实现室内导航楼层锁定的方法、系统、介质和电子设备
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
EP3963896B1 (en) * 2019-08-14 2024-07-17 Samsung Electronics Co., Ltd. Immersive display system and method thereof
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
CN111083590B (zh) * 2019-11-11 2020-09-18 深圳市音飙科技有限公司 一种带智能摄像头的骨传导耳机
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
US12033081B2 (en) 2019-11-14 2024-07-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN114667538A (zh) 2019-11-15 2022-06-24 奇跃公司 用于在外科手术环境中使用的观看系统
WO2021101844A1 (en) * 2019-11-18 2021-05-27 Magic Leap, Inc. Mapping and localization of a passable world
CN111121749B (zh) * 2019-12-26 2023-05-23 韩可 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
CN114902695A (zh) * 2020-01-07 2022-08-12 索尼集团公司 信号处理装置和方法、声学再现装置和程序
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
US11768083B2 (en) 2020-05-15 2023-09-26 Apple Inc. User interfaces for providing navigation directions
US11599194B2 (en) 2020-05-22 2023-03-07 International Business Machines Corporation Spatial guidance system for visually impaired individuals
US11740096B2 (en) 2020-06-11 2023-08-29 Apple Inc. User interfaces for customized navigation routes
EP4187900A1 (en) 2020-07-21 2023-05-31 Sony Group Corporation Information processing device, information processing method, and program
CN111870947B (zh) * 2020-08-10 2024-06-04 网易（杭州）网络有限公司 游戏交互方法、装置、电子设备及存储介质
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
CN112365153B (zh) * 2020-11-10 2022-08-02 吉林建筑大学 视力障碍者旅游计划制定方法及相关装置
WO2022106513A1 (en) * 2020-11-18 2022-05-27 Kalbermatter Jana System and device for informing about spatially distributed objects
US11356501B1 (en) 2020-12-29 2022-06-07 Here Global B.V. Method, apparatus, and system for dynamic beacons address allocation
CN113160666B (zh) * 2021-05-12 2022-08-30 咪咕数字传媒有限公司 盲文阅读方法、电子设备及存储介质
EP4334683A2 (en) 2021-06-07 2024-03-13 Apple Inc. User interfaces for maps and navigation
US20220390248A1 (en) 2021-06-07 2022-12-08 Apple Inc. User interfaces for maps and navigation
US20220401607A1 (en) * 2021-06-22 2022-12-22 International Business Machines Corporation Activating emitting modules on a wearable device
US12035200B2 (en) * 2021-08-03 2024-07-09 The Boeing Company Wayfinding assistance system for visually-impaired passengers
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
CN113532444B (zh) * 2021-09-16 2021-12-14 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
EP4177714A1 (en) 2021-11-03 2023-05-10 Sony Group Corporation Audio-based assistance during extravehicular activity
CN114267224A (zh) * 2022-01-04 2022-04-01 中国科学技术大学 助聋眼镜
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule
EP4276415A1 (en) * 2022-04-29 2023-11-15 Waymo Llc Spatial audio for wayfinding
CN114942032B (zh) * 2022-05-13 2024-06-04 上海大不自多信息科技有限公司 户外综合导航方法、系统及存储介质
US20240121569A1 (en) * 2022-10-09 2024-04-11 Sony Interactive Entertainment Inc. Altering audio and/or providing non-audio cues according to listener's audio depth perception
WO2024081353A1 (en) * 2022-10-13 2024-04-18 Bose Corporation Scene recentering
DE102022211314A1 (de) 2022-10-25 2024-04-25 Volkswagen Aktiengesellschaft Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System und Kraftfahrzeug mit einem datenverarbeitenden System
US12112001B1 (en) * 2023-03-14 2024-10-08 Meta Platforms, Inc. Preventing false activations based on don/doff detection for assistant systems
CN116592898B (zh) * 2023-07-17 2023-10-03 武汉工程大学 一种室内定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131072A (ja) 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
JP2007035043A (ja) 2005-07-26 2007-02-08 Samsung Electronics Co Ltd 受信装置、送信装置、位置認知システム及び位置認知方法
JP2011014082A (ja) 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
JP2012514392A (ja) 2008-12-30 2012-06-21 ゼンハイザー・エレクトロニック・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンデイトゲゼルシャフト 制御システム、イヤホン、および制御方法
US20140058662A1 (en) 2012-08-24 2014-02-27 Sony Mobile Communications, Inc. Acoustic navigation method

Family Cites Families (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7374294A (en) 1993-07-28 1995-02-28 Board Of Regents, The University Of Texas System Remotely controlled, infrared beacon system for guiding the visually impaired
FR2748807B1 (fr) 1996-05-14 1998-10-02 Rockwell Collins France Appareil individuel d'orientation
US5806017A (en) 1996-08-19 1998-09-08 Board Of Regents The University Of Texas System Electronic autorouting navigation system for visually impaired persons
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
US6684176B2 (en) 2001-09-25 2004-01-27 Symbol Technologies, Inc. Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation
US6999066B2 (en) 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
GB2392285B (en) 2002-08-06 2006-04-12 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
US7290219B2 (en) 2003-04-28 2007-10-30 International Business Machines Corporation System and method for selection based action bar
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7751829B2 (en) 2003-09-22 2010-07-06 Fujitsu Limited Method and apparatus for location determination using mini-beacons
US7039522B2 (en) 2003-11-12 2006-05-02 Steven Landau System for guiding visually impaired pedestrian using auditory cues
US8028239B1 (en) 2003-12-19 2011-09-27 Microsoft Corporation Context-based management user interface supporting extensible subtractive filtering
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
US7496445B2 (en) * 2005-04-27 2009-02-24 Proxemics, Llc Wayfinding
US20070018890A1 (en) 2005-07-22 2007-01-25 Kulyukin Vladimir A Multi-sensor wayfinding device
US8340304B2 (en) 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8098856B2 (en) 2006-06-22 2012-01-17 Sony Ericsson Mobile Communications Ab Wireless communications devices with three dimensional audio systems
KR20080063041A (ko) 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US20080218307A1 (en) * 2007-03-07 2008-09-11 Optimal Licensing Corporation Anticipatory utility control device
US7952961B2 (en) 2007-10-15 2011-05-31 Honeywell International Inc. Audio compass for motion tracking
WO2009070712A2 (en) 2007-11-27 2009-06-04 Jadi, Inc. Method and system for locating and navigating a target
PT104120B (pt) * 2008-06-30 2010-11-23 Metro Do Porto S A Sistema de orientação, navegação e informação especialmente adaptado para pessoas cegas ou amblíopes
US8326630B2 (en) 2008-08-18 2012-12-04 Microsoft Corporation Context based online advertising
US8040219B2 (en) 2008-11-06 2011-10-18 Sony Ericsson Mobile Communications Ab System and method for in-building location determination
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
EP2249239B1 (en) 2009-05-08 2015-07-15 BlackBerry Limited Target zones for menu items on a touch-sensitive display
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US20100317371A1 (en) 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
US9201143B2 (en) 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8140258B1 (en) * 2010-03-02 2012-03-20 The General Hospital Corporation Wayfinding system
US8618984B2 (en) * 2010-03-19 2013-12-31 Microsoft Corporation Selecting beacons for location inference
WO2011124271A1 (en) * 2010-04-09 2011-10-13 Tomtom International B.V. Method of generating a route
JP2011234139A (ja) 2010-04-28 2011-11-17 Sharp Corp ３次元音声信号生成装置
US20120046768A1 (en) 2010-08-19 2012-02-23 Sony Ericsson Mobile Communications Ab Method for providing multimedia data to a user
US20120077437A1 (en) 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
CN102457791A (zh) 2010-10-27 2012-05-16 赵圆 耳机指南针
CN201854394U (zh) 2010-10-27 2011-06-01 赵圆 耳机指南针
US20120159401A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Workspace Manipulation Using Mobile Device Gestures
US8618932B2 (en) * 2011-03-18 2013-12-31 Microsoft Corporation Device location detection
US8965284B2 (en) 2011-04-07 2015-02-24 Nokia Corporation Facilitating positioning through Bluetooth low energy wireless messaging
GB2490479A (en) 2011-04-20 2012-11-07 Nokia Corp Use of a virtual sound source to enhance a user interface
US9285944B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US8874366B2 (en) 2011-05-23 2014-10-28 Microsoft Corporation First waypoint distance
US20140164080A1 (en) 2011-06-07 2014-06-12 Solomon Thompson, JR. Organizational tools and or a collaboration system utilizing the same therein
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
TWI428249B (zh) * 2011-08-23 2014-03-01 Ind Tech Res Inst 車載裝置及其行車輔助系統與行車輔助資訊提供方法
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US8538686B2 (en) 2011-09-09 2013-09-17 Microsoft Corporation Transport-dependent prediction of destinations
US9445305B2 (en) 2011-09-12 2016-09-13 Microsoft Corporation Low energy beacon encoding
US9514717B2 (en) 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US8996296B2 (en) 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US20140133658A1 (en) 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
US8855798B2 (en) 2012-01-06 2014-10-07 Gracenote, Inc. User interface to media files
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US20130225197A1 (en) 2012-02-24 2013-08-29 Broadcom Corporation Low Power Location Beacon
CN102789313B (zh) * 2012-03-19 2015-05-13 苏州触达信息技术有限公司 一种用户交互系统和方法
US8949974B2 (en) 2012-05-11 2015-02-03 Tyfone, Inc. Mobile device with password protected desktop screen
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US20130339859A1 (en) * 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
EP2690407A1 (en) * 2012-07-23 2014-01-29 GN Store Nord A/S A hearing device providing spoken information on selected points of interest
US9015099B2 (en) 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
TWI484405B (zh) * 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US20140075370A1 (en) * 2012-09-13 2014-03-13 The Johns Hopkins University Dockable Tool Framework for Interaction with Large Scale Wall Displays
US20140078086A1 (en) 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US8965398B2 (en) 2012-09-26 2015-02-24 Hewlett-Packard Development Company, L.P. Bluetooth beacon based location determination
US9338622B2 (en) 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
EP2720001A1 (en) 2012-10-15 2014-04-16 GN Store Nord A/S A navigation system with a hearing device
WO2014080066A1 (en) * 2012-11-20 2014-05-30 Jolla Oy A graphical user interface for a portable computing device
EP2735845A1 (en) 2012-11-23 2014-05-28 GN Store Nord A/S Personal guide system providing spoken information on an address based on a line of interest of a user
EP2746726A1 (en) 2012-12-21 2014-06-25 GN Store Nord A/S System and method for tagging an audio signal to an object or a location; system and method of playing back a tagged audio signal
US9301069B2 (en) 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
EP2749843A1 (en) 2012-12-28 2014-07-02 GN Store Nord A/S Method for filtering and selecting geographical points of interest and mobile unit corresponding thereto
DE202014004802U1 (de) 2013-02-04 2014-07-16 Shopkick, Inc. Anwesenheitserkennung unter Verwendung von Bluetooth und Hybridmodus-Transmittern
US9063212B2 (en) 2013-02-11 2015-06-23 Trimble Navigation Limited Indoor navigation with low energy location beacons
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
DE102013203918A1 (de) 2013-03-07 2014-09-11 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US9207303B2 (en) 2013-03-15 2015-12-08 Christopher Thomas Beidel System and method for locating a mobile device
US9785240B2 (en) 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140287779A1 (en) 2013-03-22 2014-09-25 aDesignedPath for UsabilitySolutions, LLC System, method and device for providing personalized mobile experiences at multiple locations
WO2014157885A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for providing menu interface
WO2014171171A1 (ja) 2013-04-16 2014-10-23 本田技研工業株式会社 車両用電子装置
US20150046828A1 (en) 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9317183B2 (en) 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
KR102191972B1 (ko) 2013-08-22 2020-12-16 삼성전자주식회사 디스플레이 장치가 화면을 디스플레이 하는 방법 및 그 디스플레이 장치
EP2842529A1 (en) 2013-08-30 2015-03-04 GN Store Nord A/S Audio rendering system categorising geospatial objects
CN203523024U (zh) 2013-11-06 2014-04-02 彭庆国 一种智能型多功能耳机
JP6201770B2 (ja) 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150330787A1 (en) 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
US9372092B2 (en) 2014-08-08 2016-06-21 Here Global B.V. Method and apparatus for providing a contextual menu in a map display
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131072A (ja) 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
JP2007035043A (ja) 2005-07-26 2007-02-08 Samsung Electronics Co Ltd 受信装置、送信装置、位置認知システム及び位置認知方法
JP2012514392A (ja) 2008-12-30 2012-06-21 ゼンハイザー・エレクトロニック・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンデイトゲゼルシャフト 制御システム、イヤホン、および制御方法
JP2011014082A (ja) 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
US20140058662A1 (en) 2012-08-24 2014-02-27 Sony Mobile Communications, Inc. Acoustic navigation method

Also Published As

Publication number Publication date
AU2015339427A1 (en) 2017-04-13
AU2015339427B2 (en) 2020-07-30
KR20170078646A (ko) 2017-07-07
CA2965353C (en) 2023-08-22
CN107111332B (zh) 2021-04-23
WO2016069668A1 (en) 2016-05-06
BR112017005842A2 (pt) 2017-12-19
AU2020256377B2 (en) 2021-12-16
CN107111332A (zh) 2017-08-29
JP2018502360A (ja) 2018-01-25
CN107111358A (zh) 2017-08-29
MX2017005657A (es) 2017-06-29
AU2020256377A1 (en) 2020-12-10
US9652124B2 (en) 2017-05-16
WO2016069819A1 (en) 2016-05-06
US20160123745A1 (en) 2016-05-05
CN107111472B (zh) 2020-04-28
US10048835B2 (en) 2018-08-14
CN107111358B (zh) 2020-02-14
WO2016069671A1 (en) 2016-05-06
RU2706462C2 (ru) 2019-11-19
WO2016069672A1 (en) 2016-05-06
EP3213179A1 (en) 2017-09-06
EP3213177B1 (en) 2021-02-24
US20160124707A1 (en) 2016-05-05
JP6689265B2 (ja) 2020-04-28
US9977573B2 (en) 2018-05-22
US20160124588A1 (en) 2016-05-05
CA2965353A1 (en) 2016-05-06
US20160123759A1 (en) 2016-05-05
CN111367413A (zh) 2020-07-03
KR20170080651A (ko) 2017-07-10
CN107111473A (zh) 2017-08-29
RU2017114986A (ru) 2018-11-02
CN107111472A (zh) 2017-08-29
KR102486763B1 (ko) 2023-01-09
EP3213180A1 (en) 2017-09-06
US9612722B2 (en) 2017-04-04
RU2017114986A3 (ko) 2019-04-18
CN107111473B (zh) 2020-03-20
EP3213177A1 (en) 2017-09-06
EP3213181A1 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
KR102470734B1 (ko) 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화
US10915291B2 (en) User-interfaces for audio-augmented-reality
US11463839B2 (en) Cognitive location and navigation services for custom applications
US20190281389A1 (en) Prioritizing delivery of location-based personal audio
US20150063610A1 (en) Audio rendering system categorising geospatial objects
KR20240041834A (ko) 내비게이션 입력을 정제하기 위한 시스템들 및 방법들

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant