KR20170078646A - 사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법 - Google Patents

사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법 Download PDF

Info

Publication number
KR20170078646A
KR20170078646A KR1020177011515A KR20177011515A KR20170078646A KR 20170078646 A KR20170078646 A KR 20170078646A KR 1020177011515 A KR1020177011515 A KR 1020177011515A KR 20177011515 A KR20177011515 A KR 20177011515A KR 20170078646 A KR20170078646 A KR 20170078646A
Authority
KR
South Korea
Prior art keywords
user
sound
module
interest
information
Prior art date
Application number
KR1020177011515A
Other languages
English (en)
Other versions
KR102486763B1 (ko
Inventor
아모스 밀러
안드레이 스테판 어밀로브
브래들리 네빌 코티어
하니 나빌 차반
자네일 싱 츄드지
매튜 로빈 파머
마이클 제임스 벨필드 파커
오스카 제임스 프란시스 살란딘
로버트 존 윌콕스
윌리엄 에이 에스 벅스턴
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170078646A publication Critical patent/KR20170078646A/ko
Application granted granted Critical
Publication of KR102486763B1 publication Critical patent/KR102486763B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0295—Proximity-based methods, e.g. position inferred from reception of particular signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G06F17/30528—
    • G06F17/3087—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation
    • G06Q30/0205—Location or geographical consideration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

본원에서는 사용자가 공간과 상호 작용하는 것을 돕기 위한 공간 상호 작용(SI) 기능이 설명된다. SI 기능은 다양한 환경에서 3 차원 사운드를 생성하는 사운드 생성 모듈을 포함한다. 3 차원 사운드는 공간 내의 특정 위치로부터 발산하는 것으로 사용자에 의해 인지된다. 서로 다른 모듈들은 다른 목적으로 3 차원 사운드를 이용할 수 있다. 하나의 구현에서, 경로 안내 모듈은 3 차원 비트 사운드를 이용하여 사용자를 특정 방향으로 향하게 한다. 탐색 모듈은 3 차원 사운드를 사용하여 사용자의 관심이 현재 향하는 부분 공간 내에 있는(또는 아니면 그에 연관된) 관심 항목의 위치를 식별한다. 방향 모듈은 3 차원 사운드를 사용하여 사용자 주변의 전체 공간과 관련된 관심 항목들의 위치를 식별한다.

Description

사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법{FACILITATING INTERACTION BETWEEN USERS AND THEIR ENVIRONMENTS USING SOUNDS}
사용자가 여행 계획을 생성 및 실행하고 그리고/또는 보다 자연스럽고 제한되지 않은 방식으로 자신의 환경을 탐색하는데 있어서 다양한 종래의 메커니즘에 의존할 수 있다. 예를 들어, 사용자는 경로 선택 애플리케이션을 사용하여 두 위치 간을 이동하는데 사용할 경로를 생성할 수 있다. 그런 다음 사용자가 일련의 프롬프트를 통해 경로를 이동함에 따라 동일한 애플리케이션이 사용자를 안내할 수 있다. 프롬프트는 소정 거리 내에 방향을 돌리라고 사용자에게 구두로 지시하는 메시지와 같이, 음성 및/또는 시각 메시지에 해당할 수 있다. 그럼에도 불구하고, 이러한 종래의 메커니즘은 개선할 여지가 상당히 많다.
물리적 공간 및/또는 가상 공간과 상호 작용할 때 사용자를 돕기 위한 다양한 도구가 본원에서 설명된다. 예를 들어, 이렇게 도움으로써 물리적 공간 및/또는 가상 공간 내에서의 사용자의 네비게이션을 용이하게 할 수 있다. 본원에서 사용되는 용어, 네비게이션은 소정의 계획에 따른 공간을 통한 사용자의 의도적인 이동 및/또는 임의의 소정의 계획을 반드시 따르지는 않는 자발적인 결정을 반영할 수 있는 이동을 지칭한다. 또한, 이 도구들은, 예를 들어, 사용자가 공간에서 자신의 위치를 알게 하는 프로세스에 대응하는, 시간의 임의의 특정 순간에 공간 내에서의 사용자의 탐색을 도울 수 있다.
일반적인 원리로서, 도구들은 사용자에게 익숙한 방식으로 사용자에게 고도의 정보 제공 및 시기 적절한 보조를 제공하여, 공간과 상호 작용하는 실제 작업에서 사용자를 과도하게 산만하게 하지 않게 하면서, 사용자가 이동하는 물리적 및 가상 공간에 대한 사용자의 경험을 풍부하게 하도록 설계된다. 이러한 특성을 고려하여, 시각 장애인 및/또는 기타 장애가 있는 사용자조차도 이 도구들을 성공적으로 사용할 수 있다. 그러나 도구들은 본질적으로 범용이므로, 사용자가 자신의 환경 안에서 상호 작용하는 임의의 작업을 수행할 때 모든 사용자에게 친숙하고 작업에 방해가 되지 않는 안내를 제공할 수 있다.
도구들은 상기 요약된 성능에 기여하는 다양한 양태를 갖는다. 일 양태에 따르면, 다양한 환경에서 3 차원 사운드를 생성하는 사운드 생성 모듈(sound generation module)이 본원에서 설명된다. 3 차원 사운드는, 3 차원 사운드가 공간 내의 적어도 하나의 특정 위치(예를 들어, 물리적 공간의 물리적 위치)로부터 발산한다는, 사용자에 의한, 인지를 생성한다. 다른 모듈들은 사용자가 공간과 상호 작용하는 것을 돕기 위해 사운드 생성 모듈을 이용하여 각각 다른 동작 모드로 3 차원 사운드를 생성할 수 있다.
예를 들어, 경로 안내 모듈(path guidance module)은 사운드 생성 모듈을 사용하여 사용자를 특정 방향으로 향하게 하는 주기적인 사운드(예를 들어, 비트 사운드)를 생성 및 제공한다. 탐색 모듈(exploration module)은 사용자의 주의가 현재 향하는 부분 공간 내에 있거나 (또는 이와 관련이 있는) 관심 항목(item of interest, IOI) 집합을 식별한 다음, 사운드 생성 모듈을 사용하여 이들 IOI의 방향을 알려준다. 방향 모듈(orientation module)은 현재 시간에 사용자 주위의 전체 공간과 관련된 IOI들을 식별한 다음, 사운드 생성 모듈을 사용하여 해당 IOI들의 방향을 알려준다. 보다 구체적으로, 관심 항목(IOI)는, 본원에서 일반적으로 사용되는 용어로서, (음식점, 버스 정류장 등과 같은) 공간에서 물리적 표시를 갖는 일부 개체 또는 사용자의 현재 상황에 적합한 (광고, 정보 조각 등과 같은) 일부 항목에 해당할 수 있지만, 공간에서 별개의 위치를 갖는 상대 물리적 개체에 반드시 대응하지는 않을 수도 있다.
상기 특징들은 사용자가 자신의 환경에서 효율적으로, 안전하게, 그리고 즐겁게 이동하도록 하는 상기 목적에 기여한다. 예를 들어, 이 기능은 사용자가 서로 다른 프레젠테이션 모드를 사용하여 환경을 돌아다닐 때 서로 다른 카테고리의 정보를 사용자에게 제공한다. 이 기능은 임의의 주어진 시간에 너무 많은 정보로 사용자를 압도하지 않고 사용자에게 친숙한 방식으로 사용자에게 이런 정보를 제시한다. 3 차원 사운드를 사용하면 제공된 정보와 환경 내의 객체, 지역 및 이벤트 간의 연결점(nexus)를 사용자가 이해할 수 있는 능력이 한층 강화된다.
이상의 접근법은 다양한 유형의 시스템들, 장치들, 구성 요소들, 방법들, 컴퓨터 판독 가능 저장 매체들, 데이터 구조들, 그래픽 사용자 인터페이스 프레젠테이션들, 제조 물품들 등에 나타날 수 있다.
본 요약은 선택된 개념들을 간략화된 형태로 소개하기 위해 제공되며, 이 개념들은 이하에서 상세한 설명에서 추가로 기술된다. 본 요약은 청구 대상의 핵심적인 특징 또는 필수적인 특징을 식별하려는 것이 아니고, 청구 대상의 범위를 한정하기 위해 사용되는 것도 아니다.
도 1은 사용자가 물리적 및/또는 가상 공간과 상호 작용하는 것을 돕기 위한 시스템의 개요를 도시한다.
도 2는 사용자가 도 1의 시스템을 사용하여 복수의 웨이포인트(waypoint)로 정의된 여행을 하는 예를 도시한다. 다른 경우에, 사용자는 이 시스템을 사용하여 보다 개방적이고 자발적인 방식으로 환경과 상호 작용할 수 있다.
도 3은 도 1의 시스템을 구현하는데 사용될 수 있는 컴퓨팅 기능부의 개요를 도시한다.
도 4는 도 3의 컴퓨팅 기능부의 구성 요소인 공간 상호 작용 모듈의 일 구현을 도시한다.
도 5는 도 4의 공간 상호 작용 모듈의 구성 요소인 애플리케이션 인터페이스 모듈의 일 구현을 도시한다.
도 6은 헤드셋, 핸드 헬드 사용자 컴퓨팅 장치(간략하게 "사용자 장치") 및 다른 사용자 컴퓨팅 장치의 예를 도시하며, 이들 장치는 도 1의 시스템의 하나 이상의 양태를 구현할 수 있다.
도 7은 도 6의 헤드셋 및 사용자 장치를 구현하는 하나의 방식을 도시한다.
도 8은 도 6의 헤드셋 및 (선택적인) 사용자 장치를 구현하는 다른 방식을 도시한다.
도 9는 차량 안에서 사용자가 도 6의 사용자 장치와 상호 작용하는 시나리오를 도시한다.
도 10은 도 6에 도시된 장비의 하나의 작동 방식을 보여주는 순서도이다.
도 11은 예를 들어, 사용자 장치의 디스플레이 출력 메커니즘에 의해 제공되는 사용자 인터페이스 프레젠테이션에서, 도 4 및 도 5의 애플리케이션 인터페이스 모듈에 의해 프레젠테이션될 수 있는 상이한 작업 공간들을 도시한다.
도 12는 제 1 작업 공간에서 제 2 작업 공간으로 전환하는데 사용될 수 있는 제스처를 도시한다.
도 13은 일 구현에 따라, 홈 작업 공간(home workspace)에서 제공될 수 있는 디폴트 허브 메뉴를 도시한다.
도 14-16은 홈 작업 공간에서 제공될 수 있는 각각의 컨텍스트 메뉴를 도시한다.
도 17은 호출될 수 있는 복수의 기능을 식별하는 메뉴를 도시하며, 그 메뉴는 메인 작업 공간에 제시될 수 있다.
도 18은 사용자가 다양한 파라미터를 설정하는데 사용할 수 있는 메뉴를 도시하며, 그 메뉴는 설정 작업 공간에 제시될 수 있다.
도 19는 사용자가 여행을 하거나 환경과 상호 작용할 때 사용자에게 적합한 정보에 액세스하기 위해 사용자가 사용할 수 있는 메뉴를 도시하며, 그 메뉴는 정보 작업 공간에 제시될 수 있다.
도 20은 사용자가 가까운 관심 항목(IOI)에 속하는 정보에 액세스하는데 사용할 수 있는 메뉴를 도시하며, 그 메뉴는 "내 근처(nearby me)" 작업 공간에 제시될 수 있다.
도 21은 홈 작업 공간에 제공될 수 있는 임시 메뉴의 예를 도시한다.
도 22는 이 특정한 경우에, 설정 작업 공간에 제공되는 오버레이 메뉴의 예를 도시한다.
도 23은 사용자가 자신의 현재 컨텍스트에 관한 오디오 정보를 얻기 위해 사용할 수 있는 제스처를 나타낸다.
도 24는 사용자가 임의의 작업 공간에서 임의의 메뉴를 활성화시키는데 사용할 수 있는 제스처를 도시한다.
도 25는 사용자가 임의의 메뉴의 메뉴 항목들의 집합을 네비게이션하는데 사용할 수 있는 제스처를 도시한다.
도 26은 사용자가 현재 메뉴로부터 다른 선행 메뉴로 네비게이션하는데 사용할 수 있는 뒤로가기 제스처(back gesture)를 도시한다.
도 27은 도 11의 구현과 비교되는, 작업 공간의 대안적인 구성을 나타낸다.
도 28은 사용자가 아직 어떠한 탭도 생성하지 않은 상태에 대응하는, 도 27의 홈 작업 공간 내의 탭 정보를 도시한다.
도 29는 사용자가 현재 탭들의 집합을 생성한 상태에 대응하는, 도 27의 홈 작업 공간 내의 탭 메뉴를 도시한다.
도 30은 도 25의 구현과 비교하여, 메뉴 내의 메뉴 항목들을 구성하는 대안적인 방식을 나타낸다.
도 31 및 도 32는 도 25의 구현과 비교하여, 메뉴 내의 메뉴 항목을 스크롤링한 다음 메뉴 항목을 선택하는 대안적인 방식을 나타낸다.
도 33은 메뉴의 주변에서 행해진 뒤로가기 제스처 및 이 제스처에 응답하여 수행되는 액션을 도시한다.
도 34는 메뉴 상에서 원을 그리면서 수행되는 제스처와 그 제스처에 응답하여 수행되는 뒤로가기 액션(back action)을 도시한다.
도 35는 메뉴 상에서 반원을 그리면서 수행되는 제스처와 그 제스처에 응답하여 수행되는 뒤로가기 액션을 도시한다.
도 36 및 도 37은 도 1의 시스템에 의해 제공되는 상세도(verbosity)의 레벨 및 시스템이 제공하는 컨텍스트 정보의 레벨을 각각 증가 및 감소시키는데 사용될 수 있는 상이한 제스처를 도시한다.
도 38은 도 4 및 5의 애플리케이션 인터페이스 모듈의 동작의 한 방식을 요약한 순서도이다.
도 39는 3 차원 오디오 정보를 사용하여 공간 내의 특정 위치로부터 발산되는 사운드의 인지를 생성하는 것을 보여준다.
도 40은 3 차원 오디오 정보를 사용하여 공간 내의 일련의 위치를 가로질러 이동하는 사운드의 인지를 생성하는 것을 보여준다.
도 41은 경로 안내 모듈이 3 차원 사운드(예를 들어, 주기적 비트 사운드)를 이용하여 사용자를 소망의 방향으로 안내할 수 있는 방식을 나타낸다.
도 42는 탐색 모듈이 3 차원 사운드를 이용하여 사용자의 현재 관심의 초점과 관련된 IOI의 위치를 식별할 수 있는 방식을 나타낸다.
도 43은 방향 모듈이 3 차원 사운드를 사용하여 사용자 주위의 전체 공간과 관련된 IOI를 식별할 수 있는 방식을 나타낸다.
도 44는 사용자가 공간과 상호 작용하는 것을 돕기 위한 3 차원 사운드의 사용을 설명하는 순서도이다.
도 45는 (도 4 및 도 41의) 경로 안내 모듈이 3 차원 사운드를 사용하여 원하는 경로를 따라 사용자를 안내하게 할 수 있는 하나의 방식을 설명하는 순서도이다.
도 46은 공간 상호 작용 모듈이, 예를 들어, 자동 모드(예를 들어, 사용자가 경로를 횡단하거나 공간에서 이동하는 동안), 탐색 모드 또는 방향 모드에서 IOI를 식별하기 위해, 3 차원 사운드를 사용할 수 있는 하나의 방식을 설명하는 순서도이다.
도 47은 복수의 비컨(beacon)을 갖는 환경을 도시한다. 하나의 예시적인 구현에서, 비컨들은 중첩되지 않는 범위를 생성하는데, 여기서 그들 각각의 신호는 환경을 가로질러 이동하거나 아니면 환경과 상호 작용하는 사용자에 의해 검출될 수 있다.
도 48-50은 다른 환경을 도시하며, 그 각각은 도 47의 예와 비교하여 더 많은 수의 비컨을 갖는다.
도 51은 도 47-50의 환경 유형의 컨텍스트 내에서 비컨-기반 안내 모듈(beacon-based guidance module)의 동작의 한 방식을 나타내는 순서도이다.
도 52는 비컨-기반 안내 모듈이 환경 내의 사용자의 현재 위치를 결정할 수 있는 하나의 방식에 관한 보다 상세한 설명을 제공하는 순서도이다.
도 53은 전술한 도면에 도시된 특징의 임의의 양태를 구현하는데 사용될 수 있는 예시적인 컴퓨팅 기능부를 도시한다.
개시 내용 및 도면 전체에서 걸쳐서, 동일한 구성 요소 및 특징을 가리키는데 동일한 도면 부호가 사용된다. 백의 자리 숫자가 1이면 도 1에서 최초로 나타나는 특징부를 가리키고, 백의 자리 숫자가 2이면 도 2에서 최초로 나타나는 특징부를 가리키며, 백의 자리 숫자가 3이면 도 3에서 최초로 나타나는 특징부를 가리킨다.
본 명세서는 다음과 같이 구성된다. 섹션 A는 사용자가 실제 및/또는 가상 공간과 상호 작용하는 것을 돕는 시스템의 개요를 제공한다. 섹션 B는 섹션 A의 시스템에서 사용할 수 있는 상이한 유형의 헤드셋 및 핸드헬드 사용자 컴퓨팅 장치를 설명한다. 섹션 C는 섹션 A의 시스템에서 제공될 수 있는 예시적인 사용자 인터페이스 경험을 설명한다. 섹션 D는 3 차원 사운드 및 기타(3 차원이 아닌) 유형의 사운드를 생성하고 사용하는 기능을 설명한다. 섹션 E는, 하나의 예시적인 구현에서, 비-중첩 범위를 갖는 비컨들로 채워지는 환경을 통해 사용자가 네비게이션하는 것을 돕기 위한 비컨-기반 안내 기능을 설명한다. 섹션 F는 이전 섹션에서 설명한 기능의 임의의 양태들을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 기능부를 설명한다.
예비적인 사항으로서, 도면들 중 일부가 기능부, 모듈, 특징부, 요소 등이라고 다양하게 지칭되는 하나 이상의 구조적 구성 요소의 맥락에서 개념을 기술한다. 도면에 도시된 다양한 구성 요소는, 예를 들어, 컴퓨터 장비 상에서 실행 중인 소프트웨어, 하드웨어(예를 들어, 칩으로 구현되는 로직 기능부) 등, 및/또는 이들의 임의의 조합에 의해, 임의의 물리적이고 유형인(tangible) 메커니즘에 의해 임의의 방식으로 구현될 수 있다. 어느 한 경우에, 도면의 다양한 구성 요소들의 개별 유닛으로의 도시된 분리는 실제 구현에서 대응하는 별개의 물리적이고 유형인 구성 요소들의 사용을 반영할 수 있다. 대안으로 또는 추가적으로, 도면에 도시된 임의의 단일 구성 요소가 복수의 실제 물리적인 구성 요소들로 구현될 수 있다. 대안으로 또는 추가적으로, 도면에서 임의의 둘 이상의 개별 구성 요소들의 도시는 하나의 실제 물리적인 구성 요소에 의해 수행되는 서로 다른 기능들을 반영할 수 있다. 도 53은, 차례로 설명될 것이지만, 도면에 도시된 기능들의 한 가지 예시적 물리적 구현에 관한 추가 세부 사항을 제공한다.
다른 도면들이 순서도 형태로 개념을 설명한다. 이러한 형태에서, 특정 동작이 특정 순서로 수행되는 개별 블록을 구성하는 것으로 설명된다. 이러한 구현들은 예시이며 비제한적이다. 본원에서 설명되는 특정 블록들이 함께 그룹지어지고 단일 동작으로 수행될 수 있으며, 특정 블록은 복수의 구성 요소 블록들로 분할될 수 있고, 특정 블록은 본원에 도시된 것과 상이한 순서로(예를 들어, 블록을 병렬로 수행) 수행될 수 있다. 순서도에 도시된 블록은, 예를 들어, 컴퓨터 장비 상에서 실행되는 소프트웨어, 하드웨어(예를 들어, 칩으로 구현되는 로직 기능부) 등 및/또는 이들의 임의의 조합에 의해, 임의의 물리적이고 유형인 메커니즘에 의해 임의의 방식으로 구현될 수 있다.
용어와 관련하여, "~하도록 구성된(configured to)"이라는 구는 임의의 종류의 물리적이고 유형인 기능부가 식별된 동작을 수행하도록 구성될 수 있는 임의의 방식을 포함한다. 기능부는 예를 들어, 컴퓨터 장비 상에서 실행되는 소프트웨어, 하드웨어(예를 들어, 칩으로 구현되는 로직 기능부) 등 및/또는 이들의 임의의 조합을 이용해 동작을 수행하도록 구성될 수 있다.
용어 "로직"은 작업을 수행하기 위한 임의의 물리적이고 유형인 기능부를 포함한다. 예를 들어, 순서도에 도시된 각각의 동작은 그 동작을 수행하는 로직 구성 요소에 대응한다. 동작은, 예를 들어, 컴퓨터 장비 상에서 실행되는 소프트웨어, 하드웨어(예를 들어, 칩으로 구현되는 로직 기능부) 등 및/또는 이들의 임의의 조합을 이용해 수행될 수 있다. 컴퓨팅 장비에 의해 구현될 때, 로직 구성 요소는 구현되는 컴퓨팅 시스템의 물리적 부분인 전기적 구성 요소를 나타낸다.
다음의 설명이 하나 이상의 특징을 "선택적인" 것으로 식별할 수 있다. 이러한 종류의 서술은 선택적인 것으로 간주될 수 있는 특징만을 나타내는 것으로 해석되지 않으며, 즉, 명시적으로 언급되지는 않더라도, 그 밖의 다른 특징이 선택적인 것으로 여겨질 수 있다. 또한, 단일 개체의 임의의 설명이 이러한 개체의 복수 개의 사용을 배제하는 것이 아니며, 마찬가지로, 복수의 개체의 설명이 단일 개체의 사용을 배제하는 것이 아니다. 나아가, 본 설명이 식별된 기능을 실행하거나 식별된 메커니즘을 구현하는 대안적인 방법으로서 특정 특징들을 설명하였지만, 그 특징들은 임의의 조합으로 함께 결합될 수도 있다. 마지막으로, "예시적인(exemplary)" 또는 "예시적인(illustrative)"이라는 용어는 다수의 가능한 구현들 중에서 하나의 구현을 지칭한다.
A. 시스템 개요
도 1은 사용자(104)가 물리적 및/또는 가상 공간과 상호 작용하는 것을 돕기 위한 시스템(102)의 개요를 도시한다. 물리적 공간은, 예를 들어, 하나 이상의 건물의 내부에 의해 정의되는 실내 공간, 또는 건물 내부의 바깥에 존재하는 외부 공간, 또는 실내 및 실외 공간의 일부 조합에 해당할 수 있다. 가상 공간은, 예를 들어, 임의의 유형 또는 유형들의 가상 객체로 채워진 도메인에 해당할 수 있다. 일부 시나리오에서, 가상 공간은 사용자가 물리적으로 이동할 수 있는 물리적 공간 상에서 중첩될 수 있다. 이러한 경우에, 가상 공간의 일부 가상 객체가 물리적 공간에서 대응하는 실제 위치에 할당될 수 있다(아래에서 명확해짐).
도 1은 시스템(102)에서 사용될 수 있는 예시적인 구성 요소를 광범위하게 소개한다. 구성 요소는 시스템(102)의 특정 구현이 도시된 구성 요소들 중 하나 이상을 생략할 수 있다는 점에서 선택적이다. 추가적으로 또는 대안으로, 시스템(102)의 특정 구현이 도 1에 도시되지 않은 부가적인 구성 요소를 포함할 수 있다.
사용자(104)가 공간(들)을 탐색하는 동안, 사용자(104)는 임의의 유형의 사용자 컴퓨팅 장치(106, 아래에서 간략하게 하기 위해 간단히 "사용자 장치"라고 함) 및 헤드셋(108), 또는 단지 헤드셋(108)만을 통해 시스템(102)과 상호 작용할 수 있다. 사용자 장치(106)는 임의의 폼 팩터를 갖는 임의의 유형의 휴대용 컴퓨팅 장치에 해당할 수 있다. 예를 들어, 사용자 장치(106)는 스마트폰, 태블릿형 컴퓨팅 장치, 랩탑 컴퓨팅 장치, 넷북형 컴퓨팅 장치, (북 리더형 컴퓨팅 장치 또는 음악 재생 컴퓨팅 장치와 같은) 미디어 소비 장치, 휴대용 게임 장치, (안경류, 고글 등과 같은) 착용식 컴퓨팅 장치에 해당할 수 있다. 다른 경우에(도시되지 않음), 사용자(104)는 태블릿형 컴퓨팅 장치와 결합된 스마트폰과 같이, 둘 이상의 사용자 컴퓨팅 장치를 휴대하고 사용할 수 있다.
헤드셋(108)은 마찬가지로 오디오 정보를 사용자(104)에게 전달하기 위한 임의의 유형의 장치에 해당할 수 있다. 어느 한 경우에, 예를 들어, 헤드셋(108)은 사용자(104)의 하나 이상의 귀에, 또는 그 부근에, 위치한 종래의 스피커를 사용하여 오디오 정보를 전달할 수 있다. 또 다른 경우에, 헤드셋(108)은 골전도 기법(bone conduction technique)을 사용하여 오디오 정보를 전달할 수 있다. 골전도 기법에서, 헤드셋(108)은 사용자의 머리뼈에 전해지는 진동을 통해 사용자의 고막에 정보를 전달한다. 골전도를 사용하는 헤드셋은 사용자(104)의 외이도를 차단하지 못하므로, 따라서 사용자(104)는 자신이 네비게이션하는 공간에 의해 생성된 다른 (외부) 사운드를 들을 수 있게 되고, 이런 결과는, 경우에 따라서, 특히 시력이 손상된 사용자의 경우와 주변 환경에 익숙하지 않은 사용자의 경우에, 사용자가 자신의 물리적 환경과 상호 작용하는 안전성을 높이는데 바람직할 수 있다.
하나의 일반적인 사용 방식에 따르면, 사용자(104)가 사용자 장치(106)와 상호 작용하여 주로 시각적인 형태로 자신의 공간과의 상호 작용에 관한 정보를 수신할 수 있다. 부가적으로 또는 대안으로, 사용자 장치(106)가, 예를 들어, 촉각 피드백 신호들(haptic feedback cue, 예를 들어, 진동-기반 신호들)을 생성함으로써, 비-시각적인 형태로 정보를 전달할 수 있다. 사용자(104)는 주로 헤드셋(108)과 상호 작용하여 자신의 공간과의 상호 작용에 관한 오디오 정보를 수신할 수 있다. 오디오 정보는 음성 정보, 다른 소리 등을 포함할 수 있다. 또한, 시스템(102)은 사용자 장치(106) 또는 헤드셋(108), 또는 둘 모두로부터 명령을 수신할 수 있다.
또한, 사용자(104)는 데스크탑 컴퓨팅 장치, 게임 콘솔 장치, 셋탑 박스 장치 등과 같은 하나 이상의 종래의 고정된 컴퓨팅 장치(110)를 통해 시스템(102)과 선택적으로 상호 작용할 수 있다. 예를 들어, 사용자(104)는 공간을 통한 특정 경로를 정의하는 여행 정보를 생성하기 위해 여행에 앞서 다른 사용자 컴퓨팅 장치(110)를 사용하여 시스템(102)과 상호 작용할 수 있다. 다음으로, 사용자(104)는 사용자 장치(106) 및/또는 헤드셋(108)에 그 여행 정보를 로딩할 수 있다. 여행 후에, 사용자(104)는 다른 사용자 컴퓨팅 장치(110)를 통해 시스템(102)과 다시 상호 작용할 수 있다. 예를 들어, 시스템(102)은 완료된 여행에 관한 정보를 다른 사용자 컴퓨팅 장치(110)에 다운로드하여, 사용자(104)가 임의의 목적을 위해 언제든지 그 여행에 관한 정보를 검토할 수 있게 한다.
어느 한 경우에, 시스템(102)과 관련된 모든 기능들이 앞서 식별된 구성 요소, 즉, 사용자 장치(106), 헤드셋(108) 및 다른 사용자 컴퓨팅 장치(110)에 의해 제공되는 처리 기능을 처리함으로써 수행된다. 다른 경우에, 하나 이상의 원격 처리 자원(112)은, 특히 본질적으로 계산 집약적인 그 양태들과 같이, 시스템(102)에 의해 수행되는 처리의 적어도 일부 양태를 구현할 수 있다. 예를 들어, 원격 처리 자원(112)은 새로운 여행을 생성하고, 기존의 여행을 수정하고, 사용자의 음성 지시를 해석하는 등의 기능을 포함할 수 있다. 하나의 경우, 원격 처리 자원(112)은 하나 이상의 서버 컴퓨팅 장치, 하나 이상의 데이터 저장소 등에 해당할 수 있다.
시스템(102)은 전술한 구성 요소들을 함께 결합시키기 위해 통신 도관들(114)의 임의의 조합을 사용할 수 있다. 예를 들어, 사용자 장치(106)는 (예를 들어, 블루투스 통신을 사용하는) 임의의 무선 통신 메커니즘 및/또는 (예를 들어, USB 연결 등을 통한) 임의의 고정 배선 통신 메커니즘을 통해 헤드셋(108)과 상호 작용할 수 있다. 사용자 장치(106) 및 헤드셋(108)은 셀룰러 연결, 와이파이 연결, 고정 배선 연결 등 또는 이들의 임의의 조합을 통해 시스템(102)의 원격 구성 요소와 통신할 수 있다.
나아가, 도시되지는 않았지만, 사용자 장치(106)는 사용자 장치(106)의 위치를 결정하기 위해 임의의 원격 위치-결정 시스템과 상호 작용할 수 있다. 헤드셋(108)이 동일한 기능을 수행할 수 있다. 원격 위치-결정 메커니즘은 임의의 위성-기반 위치-결정 시스템(예컨대, GPS 시스템), 지상 통신 타워 등에 해당할 수 있다. 또한, 사용자 장치(106) 및/또는 헤드셋(108)은 임의의 통신 메커니즘을 통해(예를 들어, 블루투스 통신, 와이파이 통신 등을 통해) 로컬 비컨과 상호 작용할 수 있다.
이 섹션(섹션 A)의 나머지 부분은 시스템(102)에 의해 제공되는 기능의 개요를 제공한다. 후속 섹션들은 시스템의 개별 구성 요소에 관한 추가 세부 사항을 제공한다.
일반적으로, 사용자는 친숙하거나 또는 친숙하지 않은 임의의 유형의 공간에서 사용자가 이동함에 따라 사용자의 경험을 풍부하게 하는 하나의 방법으로서 시스템(102)을 사용할 수 있다. 하나의 시나리오에서, 예를 들어, 사용자는 원하는 시간표에 따라 소스 위치에서 목표 위치로 계획된 여행을 할 때 가이드로서 시스템(102)을 사용할 수 있다. 다른 경우에, 사용자는, 예를 들어, 미리 계획된 여행 및/또는 시간표 없이 더 개방적이고 자발적으로 공간을 탐색하는 데 도움을 제공하기 위해 시스템(102)을 사용할 수 있다. 예를 들어, 사용자는 시스템(102)을 사용하여 자신이 낯선 도시를 방황하거나 박람회 또는 박물관의 전시물을 지나 거닐 때 도움을 줄 수 있으며, 사용자는 고정된 여행 일정 없이 이런 활동에 참여할 수 있으며, 자신의 여행 경로와 목표를 자유로운 형태로 자발적으로 변경할 수 있다. 또 다른 경우에, 사용자는 친숙한 환경을 통해 친숙한 경로를 활력화시키는 방식으로서 시스템(102)을 사용할 수 있다. 또 다른 경우에, 예를 들어, 사용자의 상호 작용의 일부 양태들이 준비된 계획에 따르고 다른 양태들이 본질적으로 더 개방적이고 자발적인 하이브리드 동작 방식으로, 사용자가 시스템을 사용할 수 있다.
도 2로 진행하면, 이 도면은 사용자가 도 1의 시스템(102)을 사용하여 계획된 여행을 하는 일례를 도시한다. 이 여행의 수행 시 사용자의 예시적인 경험은 시스템(102)이 수행할 수 있는 기능의 유형을 독자에게 소개하는 방법으로서 아래에서 설명될 것이다. 이런 경험 예는 제한이 아닌 예시의 정신으로 제시된 것임을 유의해야 하며, 전술한 바와 같이, 시스템(102)은 사용자가 임의의 목적을 위해 자신의 환경과 상호 작용하는 다양한 다른 컨텍스트에서 적용될 수 있다.
도 2의 비제한적인 경우에, 사용자(죤이라는 남자)가 여행에 착수하기 전에 여정을 만들었다고 가정하자(다시 말하지만, 이 경우가 아니어도 됨). 예를 들어, 사용자가 자신의 런던 거주지에서 도시의 다른 부분에 있는 의사와의 약속까지 갈 경로를 생성했다고 가정하자. 사용자는 그가 여행할 도시의 부분에 익숙하지 않기 때문에 이 작업을 위한 여정을 만들었을 수도 있다. 또는, 사용자는 다양한 이동성-관련 문제를 나타내는 하나 이상의 장애가 있을 수 있다. 예를 들어, 사용자가 임의의 형태(및 정도)의 시각 장애가 있을 수 있다. 이러한 상황에서, 사용자는 자신이 경로에 익숙할지라도, 경로를 네비게이션하는데 도움이 되도록 여정을 만들었을 수도 있다. 다른 경우에, 사용자 이외의 일부 개체가 사용자를 대신하여 여정을 만들었을 수 있다. 이러한 경우, 계획된 여행은 여행의 모든 양태를 설명하는 여행 정보에 의해 정의된다.
도 2는 여행의 계획된 경로(202)를 구체적으로 실선으로 나타낸다. 경우에 따라서, 사용자는 계획된 경로(202)를 일반적으로 고수하기 위해 시스템(102)을 사용할 수 있다. 다른 경우에, 임의의 이유로, 예를 들어, 사용자가 계획된 경로(202)를 따라 장애물을 만났기 때문에, 사용자가 계획된 경로(202)로부터 벗어날 수 있거나, 또는 임의의 이유로 자신의 여행 경로를 변경하려는 자발적인 결정을 내린다. 예를 들어, 단지 예시에 불과한 이런 경우에, 사용자가 일부 항목(예를 들어, 샌드위치 등)을 구매하기 위해 길을 따라 상점(204)을 방문할 목적으로 계획된 경로(202)를 떠났다. 도 2는 사용자의 실제 경로(206)를 점선으로 나타낸다.
도 2에서 예시된 경우의 계획된 경로(202)는 본원에서 웨이포인트라고 지칭되는 일련의 전환점(w1, w2, w3, w4 및 w5) 또는 스테이션으로 정의된다. 예를 들어, 웨이포인트(w1)는 사용자의 여행의 시작점에 해당할 수 있는 반면, 웨이포인트(w5)는 사용자의 여행 목적지에 해당할 수 있다. 웨이포인트(w2와 w3)는 두 개의 교차점에 해당할 수 있고, 이런 각각의 교차점에서, 사용자는 제 1 도로에서 제 2 도로로 전환한다. 웨이포인트(w4)는 사용자가 자신의 교통 수단 모드를 변경할 수 있는 임의의 스테이션에 해당할 수 있다. 예를 들어, 사용자는 걸어서 웨이포인트(w4)로 이동할 수 있다. 웨이포인트(w4)는 사용자가 소정 스케줄에 따라 도착하는 셔틀(208)의 도착을 기다리는 셔틀 정류장에 해당할 수 있다. 그 후, 사용자는 웨이포인트(w5)까지 셔틀(208)로 계속 갈 수 있다. 다른 경우에, 교통 수단 모드는 기차, 지하철, 버스, 트램, 또는 임의의 모드의 개인 교통 수단(예를 들어, 개인 자동차, 자전거 등)에 해당할 수 있다.
따라서, 계획된 경로는 일련의 세그먼트(s1, s2, s3 및 s4)를 갖는 것으로 개념화될 수 있다. 도 2의 예시는 단순화된 경우이다. 다른 경우에는 더 많은 웨이포인트와 관련 세그먼트가 여행에 포함될 수 있다. 그리고 그 여행은 임의의 조합의 교통 수단 모드를 포함할 수 있다. 또 다른 경우, 여행은, 도 2에 표시된 것보다 덜 복잡할 수 있으며, 예를 들어, 시작 및 종료 웨이포인트만을 포함한다. 그리고 반복해서, 다른 경우에, 여행이 미리 정의되지 않을 수 있다.
본원에서 사용되는 용어로서 컨텍스트는 일반적으로, 여행을 수행하거나 또는 환경과 상호 작용하는 동안 임의의 지정된 시간에 사용자와 직면하는 상황을 지칭한다. 다시 그 상황은 적어도 사용자가 상호 작용하기를 원하는 환경의 특징, 현재 시간(및 요일) 등, 및 사용자와 현재 직면하는 목표에 의해 결정된다. 예를 들어, 시간(t1)에서, 사용자는 웨이포인트(w1)에서 웨이포인트(w2)로 이동하려는 시도로 세그먼트(s1)를 횡단하고 있다. 그러므로, 사용자의 여행의 컨텍스트(c1)는, 적어도 부분적으로, 계획된 여행을 따르는 사용자의 현재 위치 및 계획된 세그먼트(s2)를 통해 웨이포인트(w2)에 도달하려는 사용자의 노력에 의해 정의된다. 다른 시간대의 사용자 컨텍스트는 사용자가 해당 시점에 직면한 환경과 그 당시 사용자의 각 지역 목표에 따라 달라질 것이다.
계획된 경로(202) 및 실제 경로(206)의 상기 예비적인 설명과 함께, 사용자가 웨이포인트(w1)에서 웨이포인트(w5)로 이동할 때 예시적인 사용자 경험에 관해 이제부터 고려하자. 하나의 예시에서, 사용자가 적어도 사용자 장치(106)를 지니고 헤드셋(108, 도 1에 도시됨)을 착용한다고 가정하자. 사용자 장치(106)는 도 1과 관련해서 앞서 설명된 임의의 유형의 장치를 포함할 수 있지만, 이 장치에 대한 참조를 단순화하기 위해 이하 스마트폰으로 지칭된다. 또 다른 경우에, 사용자는 단지 헤드셋(108)만을 사용하여 (즉, 스마트폰을 사용하지 않음으로써) 네비게이션할 수 있다.
일반적인 원리로서, 시스템(102)은 사용자가 그의 여행을 수행하거나 아니면 공간과 상호 작용할 때, 사용자의 경로를 따라 적절한 시점에서 적합한 정보에 사용자를 노출시킨다. 청각, 시각 및/또는 촉각 형태로 사용자에게 자동으로 제시될 수 있는 정보의 인스턴스가 본원에서 관심 항목(IOI)으로 지칭된다. 이 기능을 수행하기 위해, 시스템(102)은 매 순간 사용자의 현재 컨텍스트를 결정한다. 예를 들어, 시스템(102)은 각각의 특정 시간에 사용자의 위치 및 방향(및 선택적으로 움직임)을 감지한다. 시스템(102)은 이 작업을 수행하기 위해 임의의 기술 또는 기술들의 조합을 사용할 수 있으며, 그 예들이 도 3의 설명 컨텍스트에서 아래에 제공된다. 그 다음에, 시스템(102)은 사용자의 현재 컨텍스트에 적합한 IOI를 식별한다. 경우에 따라서, 예를 들어, 시스템(102)은 사용자가 IOI와 연관되어 있는 물리적 객체(또는 영역)의 규정된 거리 내에 있기 때문에, IOI가 사용자의 현재 컨텍스트에 적합하다고 판단할 수 있으며, 그 거리는 미리 정의되어 저장된다. 그 후, 시스템(102)은 이들 IOI에 관한 정보를 사용자에게 전달한다. 아래에서 보다 상세히 설명하는 바와 같이, 사용자는 또한, 여행 중에 나중에, 그가 직면하게 될(또는 직면할 수 있는) 미래 컨텍스트를 수동으로 탐색하여, 사용자가 그러한 상황을 대비할 수 있게 한다.
시스템(102)은 다양한 소스들로부터 추출된 정보에 기초하여 IOI들을 제공할 수 있다. 예를 들어, 시스템(102)은 (워싱턴 주, 레드몬드의 마이크로소프트사에서 제공하는 BING 지도 서비스에 의해 제공되는 지도 정보와 같은) 공개적으로 이용 가능한 지도 정보로부터 도로의 위치, 자연적 특징 등을 결정할 수 있다. 시스템(102)은 임의의 공개된 디렉토리 정보로부터 공공 및 민간 단체(예를 들어, 상점, 정부 건물 등)의 위치를 결정할 수 있다. 시스템(102)은 대중 교통 스케줄 정보, 공공 안전 정보와 같은 다양한 공개 소스로부터 적합한 이벤트의 발생을 결정할 수 있다. 시스템(102)은 하나 이상의 온라인 소셜 네트워킹 애플리케이션, 하나 이상의 캘린더 애플리케이션 등과 같은 다양한 서비스로부터 사용자 관련 정보를 결정할 수 있다.
각각의 IOI는 특정 주제 또는 경험적 초점에 관련된다. IOI는 상이한 설명 차원에 따라 서로 다른 방법들로 분류될 수 있다. 예를 들어, 제 1 클래스의 IOI는 사용자가 이동 중이거나 다른 방식으로 상호 작용하는 공간의 물리적 객체 또는 물리적 이벤트에 직접 매핑된다. 예를 들어, 이런 유형의 IOI는 사용자 가까이에 있는 상점, 또는 사용자 앞에 있는 열린 맨홀, 또는 사용자가 도달하는 일정 거리 이내에 있는 다음 웨이포인트에 해당할 수 있다. IOI들 중 제 2 클래스의 IOI는 반드시 환경에서 직접적인 물리적 대응물을 가질 필요는 없다. 예를 들어, 이런 유형의 IOI는 사용자가 버스 정류장에 다가갈 때 재생되는 광고에 해당할 수 있다. 광고는 버스 정류장 주변의 공간과 관련될 수 있으며, 그게 아니더라도 버스 정류장 그 자체에 대한 설명은 아니다.
또 다른 "가상-유형" IOI는 사용자가 커피 스탠드에 접근할 때 사용자의 주의를 환기시키는 뉴스 헤드라인에 해당할 수 있다. 시스템(102)은 사용자가 한 잔의 커피를 마시는 동안 그 IOI를 소비하기를 원할 수 있다는 전제에 기초하여 그 IOI에 관한 정보를 사용자에게 제시할 수 있다. 또 다른 가상-유형 IOI는 사용자가 지하철역을 떠날 때 사용자에게 전달되는 일기 예보에 해당할 수 있다. 시스템(102)은 사용자가 역을 떠날 때 직면하게 되는 날씨에 대비하기를 원한다는 전제에 기초하여 사용자에게 그 IOI에 관한 정보를 제공할 수 있다. 다른 가상-유형 IOI는 사용자가 자신의 개인 거주지에 접근함에 따라 소셜 네트워크 애플리케이션으로부터 검색된 메시지에 해당할 수 있다. 시스템(102)은 자신의 집에 들어가기 전에, 사용자가 가족 구성원들 또는 친구들이 전송한 임의의 메시지를 확인하고 싶어할 수 있다는 전제에 기초하여 그 IOI에 관한 정보를 사용자에게 제시할 수 있다. 사용자의 현재 상황과 밀접한 관계가 있지만 사용자의 바로 근처에서의 실제 물건이나 이벤트를 기술하는 기능을 할 수 없는 일부 유형의 정보(및/또는 기능과 상호 작용할 수 있는 기회)를 사용자가 수신하는 많은 다른 시나리오들이 고려된다.
또한, (전술한 제 1 "실제" 클래스 또는 제 2 "가상" 클래스 중 하나인) 서로 다른 IOI들은 공간 탐색에서 자신들이 하는 역할에 기초하여 분류될 수 있다. 예를 들어, IOI는 이런 차원을 따라 경고(warning) IOI, 여행(journey) IOI, 컨텍스트(contextual) IOI, 및 이용 가능한 정보(available-information) IOI 등으로 분류될 수 있다(이러한 카테고리는 엄밀히 말하면 상호 배타적이지는 않다). 시스템(102)은 경고 IOI에 관한 정보를 전송하여, (예를 들어, 사용자 앞에 열린 맨홀이 있음을 나타내는 표시와 같이) 여행 중에 사용자의 안전에 영향을 줄 수 있는 사건을 사용자에게 알린다. 경고 메시지는 분명하고 간결하다. 시스템(102)은 여행 IOI에 관한 정보를 전송하여, (다음 웨이포인트가 다가오고 있거나 버스가 늦을 것이라는 표시와 같이) 사용자의 여행 진행에 영향을 줄 수 있는 사건을 사용자에게 알려준다. 시스템(102)은 컨텍스트 IOI에 관한 정보를 사용자에게 전송하여, (커피숍이 사용자의 여행 중에 사용자 앞에 있다는 표시와 같이) 사용자가 관심을 가질 수 있는 사용자 근처의 객체 및 이벤트(실제 또는 가상)를 사용자에게 알려준다. 시스템(102)은 이용 가능한 정보 IOI의 존재를 사용자에게 자동적으로 전달하지 않고 경고한다. 그런 다음 사용자는 주문형 방식으로 이 정보를 받거나 또는 무시하는 선택을 할 수 있다. 예를 들어, 사용자는 헤드셋(108) 상의 적절한 기능 버튼을 누르거나, 또는 사용자 장치(106)에 의해 제공되는 정보 메뉴를 통해, 또는 동등한 음성 명령을 사용함으로써, 이용 가능한 정보에 액세스할 수 있다.
시스템은 임의의 방식으로 각각의 IOI에 관한 정보를 전달할 수 있다. 예를 들어, 적어도 일부 IOI의 경우, 시스템은 안내음(telltale sound)에 이어 음성 메시지를 전송하여 IOI를 전달할 수 있다. 예비 사운드는 사용자가 음성 안내를 듣기 위해, 즉, 음성 안내에 주의를 기울임으로써, "조정(tune in)"할 수 있게 한다. 또한, 사운드는 따라야 할 정보 유형에 대해 사용자에게 경고하므로, 사용자가 그것에 대해 주의를 기울일지 여부를 더 잘 결정할 수 있다. 예를 들어, 사용자는 여행 정보에 더 많은 주의를 기울이고, 컨텍스트 정보(예를 들어, 사용자 주변의 상점 또는 사용자의 현재 상황과 관련된 프로모션 코드)에는 주의를 덜 기울이기로 선택할 수 있다.
여행 중 어느 지점에서든, 사용자는 가장 최근에 소리내어 읽혀진 하나 이상의 여행 IOI(및/또는 다른 유형의 IOI)에 관한 정보를 듣기를 요청할 수 있다. 이 요청은 아래에 설명된 다양한 방법으로 이루어질 수 있다. 지난 30 초 내에 경고가 소리내어 읽혀진 경우, 시스템(102)은 경고를 반복한 후 여행 정보를 반복함으로써 사용자의 행동에 응답할 것이다. 경우에 따라서, 사용자가 정보를 반복하도록 시스템(102)에 요청할 수 있지만, 이런 정보가 더 이상 이용 가능하지 않을 수 있다. 시스템(102)은 "현재는 정보를 이용할 수 없습니다"라는 음성 메시지 등의 전에 적절한 사운드를 재생하여 상황을 사용자에게 경고할 수 있다.
또 다른 일반적인 특징으로서, 시스템(102)은 사용자가 환경으로부터의 다른 감각 정보로 압도될 것으로 예상되지 않는 시간에 일부 IOI에 관한 정보를 자동으로 제공할 수 있다. 예를 들어, 시스템(102)은 사용자가 정보를 안전하고 즐겁게 소비할 수 있게, 계획된 경로를 따라 소정의 "조용한 지역"에 도달할 때까지, 계획된 경로(202)에 관한 사용자 메시지를 전송하지 않을 수 있다. 시스템(102)은 미리 "조용한 지역"으로 여겨지는 지역의 위치를 저장할 수 있다.
이제 도 2에 도시된 공간 상에서 네비게이션하는 동안 사용자의 특정 경험을 보다 면밀히 고려해보자. 시간(t1)에, 사용자는 제 2 웨이포인트(w2)에 도달하려고 시도한다고 가정하자. 사용자의 위치(및 방향)를 감지한 후에, 시스템(102)은 사용자가 제 2 웨이포인트(w2)에 도달하도록 보조하는 (시각 및/또는 청각 형태의) 사용자 방향을 전송할 수 있다. 나아가, 시스템(102)은 사용자가 제 2 웨이포인트(w2)로부터 소정 거리 내에 있을 때 제 2 웨이포인트(w2) 자체에 관한 사용자 정보를 전송할 수 있다. 이를 통해 사용자는 제 2 웨이포인트(w2)가 수반할 수 있는 코스의 임의의 변화에 대해 적절한 준비를 할 수 있다. 전술한 정보는 주로 여행 IOI로 표현될 수 있다.
특정 상황에서, 사용자의 실제 여행은, 예를 들어, 실제로 택한 경로 및/또는 사용자가 공간을 횡단하는 타이밍에 대해, 계획된 여행에서 벗어날 수 있다. 이러한 상황을 처리하기 위해, 시스템(102)은 사용자의 현재 상황이 사용자의 여행의 나머지 부분에 영향을 줄 것인지 여부를 자동으로(또는 주문형 방식으로) 결정할 수 있다. 예를 들어, 시스템(102)은 버스 정류장에서 사용자의 예상 도착 시간을 업데이트한 다음, 사용자가 이전에 식별된 버스나 셔틀을 잡기 위해 제 시간에 도착할 것인지 여부를 결정할 수 있다. 사용자의 현재 상황이 이러한 방식으로 사용자의 여행에 영향을 주면, 시스템(102)은 사용자가 공간 내에서 네비게이션하는 것을 돕기 위해 사용되는 정보를 자동으로 재생성할 수 있다. 이 정보는 새로운 IOI 집합으로 표현될 수 있다. 예를 들어, 시스템(102)은 사용자에게 나중의 버스나 셔틀을 탈 것을 조언할 수 있다(그리고 적절한 예약을 자동적으로 행하고, 적절한 통지를 보내며, 및/또는 다른 조치를 취할 수 있다). 또한, 전술한 바와 같이, 사용자는 임의의 방식으로, 예를 들어, 미래에 마주치게 될 웨이포인트에 관한 정보를 명시적으로 요구함으로써, 업데이트된 정보를 탐색할 수 있다.
또한, 도 2는 일반적으로, 시간(t1)에서, 시스템(102)이 컨텍스트 특성의 다양한 관심 항목(IOI)(즉, 전술한 용어로, "컨텍스트 IOI")의 존재를 사용자에게 자동으로 알리는 것을 나타낸다. 예를 들어, 예시적인 컨텍스트 IOI는 상점, 음식점, 관공서, 자연 표식 등에 해당할 수 있다. 어느 한 경우에, 시스템(102)은 현재 시간의 사용자의 규정된 거리 내에 있고 사용자가 아직 그것을 통과하지 않은 경우에만 사용자가 고려하도록 컨텍스트 IOI를 제공할 수 있다.
사용자는 (컨텍스트 IOI 및/또는 임의의 다른 유형의 IOI에 대해) 임의의 방식으로 시스템(102)의 동작을 커스터마이즈할 수 있다. 예를 들어, 사용자는, 예를 들어, 제 1 유형의 상점에 관한 정보를 수신하길 원하지만 제 2 유형의 상점에 관한 정보를 원하지 않는다고 표시함으로써, 자신의 경로를 따라 수신하고자 하는 프롬프트의 유형을 지정할 수 있다. 사용자는 정보 수신을 원하는 타이밍을 지정할 수도 있다. 예를 들어, 사용자는 컨텍스트 IOI가 있음을 사용자에게 알릴 때 고려해야 하는 (자신의 현재 위치로부터의) 최대 거리를 지정할 수 있다. 사용자는 여행을 시작하기 전에 이러한 설정을 할 수 있다. 또한, 사용자는, 예를 들어, 시스템에 의해 자동으로 제공되는 정보의 양을 줄임으로써, 여행 중에 시스템에 의해 전달되는 정보의 유형 및 양을 동적으로 변경할 수 있다. 사용자는 여행 중 특정 시점에 불필요하거나 혼란스럽기 때문에 정보의 양을 줄이기로 선택할 수 있다.
시스템(102)은 임의의 애플리케이션-특유의 방식으로 컨텍스트 IOI에 관한 정보를 제공할 수 있다. 예를 들어, 어느 하나의 경우에, 시스템(102)은 컨텍스트 IOI들이 사용자의 앞에 나타나는 순서대로 컨텍스트 IOI들의 집합을 (예를 들어, 사용자가 스윕(sweep)의 원점에 위치하고, 근본적으로 각도 스윕을 형성함으로써) 좌측에서 우측으로 또는 우측에서 좌측으로, (사용자와의 거리 면에서) 앞에서 뒤로, 또는 뒤에서 앞으로 안내할 수 있다. 전술한 바와 같이, 일 구현에서, 시스템(102)은 컨텍스트 IOI에 관한 정보가 뒤따를 것임을 사용자에게 알리는 안내음으로 각 안내를 선행할 수 있다. 다음으로, 시스템(102)은, 예를 들어, "제인네 커피샵, 150 피트"를 안내하는 오디오 정보를 제공함으로써, 컨텍스트 IOI를 설명할 수 있다. 시스템(102)은 음식점들에 대한 제 1 유형의 예비 사운드를 제공하고, 버스 정류장 등에 대한 제 2 유형의 사운드를 제공하는 것과 같이, 서로 다른 유형의 시설들과 연관되는 서로 다른 예비 사운드를 대안적으로 제공할 수 있다.
경우에 따라서, 현재 시간에 사용자의 부근의 다량의 컨텍스트 IOI가 있을 수 있다. 사용자에게 전해지는 정보의 양을 줄이기 위해, 시스템(102)은 "음식점, 일반적으로 100 피트에서"를 안내함으로써 이 정보를 하나 이상의 요약 메시지로 통합할 수 있다. 이는 임의의 유형의 IOI에 대해서도 마찬가지이다. 일반적으로, 시스템(102)은 주어진 시간에 사용자에게 전달될 개별 IOI의 그룹이 적어도 하나의 공통 특성을 갖는지 여부를 결정할 수 있다. 그 다음, 시스템(102)은 IOI들의 그룹을 개별적으로가 아니라 블록 또는 집합으로서 안내하는 요약 메시지를 제공할 수 있다. 전술한 특정 예에서, 시스템(102)은 컨텍스트 IOI들의 그룹이 사용자의 부근에 위치하고, 이 IOI들이 동일한 유형의 시설에 속한다는 것을 결정한다. 다른 예에서, 시스템(102)은 "다음 100 야드 내에 다수의 큰 구덩이"라는 요약 경고 IOI를 제공할 수 있다.
시스템(102)은 다른 규칙을 사용하여 지능적인 방식으로 안내를 제공할 수 있다. 예를 들어, 일부 IOI들은 사용자가 이러한 IOI들에 아주 근접한 경우에만 적합하다. 예를 들어, 사용자가 공원 벤치에서 몇 피트 이내에 있을 때에만 이 공원 벤치에 관심이 있을 수 있다. 따라서, 시스템(102)은 사용자가 이들 객체에 비교적 근접한 경우에만 이러한 종류의 객체의 존재를 안내할 수 있다. 그러나 여기에서도, 사용자는 이 점에 관해서 시스템의 동작을 커스터마이즈할 수 있다.
또 다른 예시적인 특징에 따르면, 시스템(102)은 일부 유형의 컨텍스트 IOI와 같이, 일부 유형의 IOI의 존재를 알리기 위해 3 차원 사운드를 사용할 수 있다. 3 차원 사운드는 물리적 공간 내의 특정 위치(또는 위치들)에서 발산하는 것으로 사용자가 인지하는 사운드를 나타낸다. 그러나, 실제로, 오디오 정보는 헤드셋(108)을 통해 사용자에게 제시되고 환경 내에 물리적인 기원을 갖지 않는다. 섹션 D에서 아래에서 설명하는 바와 같이, 시스템(102)은 서로 다른 유형의 광대역 오디오 사운드와 함께 머리-관련 전달 함수(Head-Related Transfer Functions, HRTF)의 사용을 통해 상기 결과를 얻을 수 있다. 다른 구현에서, 시스템(102)은 앰비오포닉스(Ambiophonics), 앰비소닉스(Ambisonics), 파동장 합성(Wave Field Synthesis) 등과 같은 (HRTF 대신에 또는 HRTF에 추가하여) 3 차원 오디오 효과를 생성하기 위해 다른 기법 및 기술을 사용할 수 있다.
예를 들어, 컨텍스트(c1)에서(시간(t1)에서), 시스템(102)은 적어도 3 개의 컨텍스트 IOI(IOI1, IOI2 및 IOI3)를 식별하는 일련의 방향 안내를 사용자에게 전송할 수 있다. 예를 들어, 시스템(102)은 컨텍스트 IOI와 관련된 개체가 물리적으로 위치하는 공간의 특정 위치로부터 발산하는 것으로 사용자가 인지하는 예비 사운드를 사용자에게 전송함으로써 컨텍스트(IOI1)의 존재를 알릴 수 있다. 즉, 컨텍스트 IOI가 제인네 커피샵에 해당하는 경우, 메시지는 사용자의 주의를 제인네 커피샵의 실제 위치로 돌린다. 또한, 시스템(102)은 예를 들어, "제인네 커피샵, 150 피트"를 지향성 방식으로 안내함으로써, 즉, 3 차원 음성 정보를 사용함으로써, 3 차원 사운드를 사용하여 이 시설에 대한 설명을 제공할 수 있다.
추가적으로 또는 대안으로, 시스템(102)은 하나 이상의 이용 가능한 정보 IOI에 관한 사용자 정보를 전송할 수 있다. 전술한 바와 같이, 시스템(102)은 일반적으로 사용자에게 사용자의 현재 컨텍스트에 속할 수 있는 정보의 존재를 알리는 메시지를 전송하지만 그 정보의 특정 실체를 즉시 안내하지 않음으로써 이 동작을 수행할 수 있다. 사용자는 예를 들어, "추가 정보" 지시를 함으로써, 정보를 수신하도록 시스템(102)에 수동으로 요청할 수 있다. 또는 사용자가 그 정보를 무시할 수 있다.
상기 정보-전달 특성 모두는 사용자가 공간을 돌아다닐 때 너무 많은 정보로 사용자를 압도하지 않고 사용자에게 유용한 정보를 드러나게 하는 목적에 기여한다.
다른 특징으로서, 사용자 경로를 따른 임의의 시점에서, 시스템(102)은 사용자의 실제 이동 방향을 원하는 이동 방향과 비교할 수 있다. 시스템(102)은 도 3과 함께 이하에 기술된 메커니즘들 중 임의의 것을 사용하여 사용자의 실제 이동 방향을 결정할 수 있다. 시스템(102)은 사용자가 현재 향하고 있을 것으로 예상되는 곳을 결정함으로써 소망의 방향을 결정할 수 있다. 그 후, 시스템(102)은 사용자의 실제 방향이 소망의 방향으로부터 벗어나는 정도를 결정하는 편차 정보(deviation information)를 결정할 수 있다. 그 후, 시스템(102)은 원하는 경로에 따라서 사용자를 조종하려고 시도하는 사용자 정보를 전송할 수 있다.
예를 들어, 시간(t2)에서의 사용자를 고려해보자. 이 시점에서, 사용자는 웨이포인트(w3)에 도달하려고 시도하고 있다. 사용자의 실제 방향이 화살표(210)로 표시되고, 사용자가 소망의 방향이 화살표(212)로 표시된다고 가정하자. 시스템(102)은 사용자를 현재 이탈 방향에서 멀어져 소망의 방향을 향하도록 사용자를 조종하기 위해 시도하는 사용자 명령을 전송할 것이다.
일 구현에서, 시스템(102)은 3 차원 비트 사운드 또는 다른 유형의 주기적인 사운드를 사용하여 상기 목표를 달성한다. 3 차원 비트 사운드는 물리적 공간의 특정 위치(또는 위치들)에서 발생하는 것으로 사용자가 인지하는 임의의 유형의 반복되는 사운드(예를 들어, 딸깍하는 사운드(clicking sound))이다. 도 2의 경우에, 시간(t2)에서, 시스템(102)은 자신의 이동 방향을 따라 사용자의 좌측에서 시작된 것처럼 보이는 3 차원 비트 사운드를 전달할 것이다. 이것은 (a) 사용자가 최적이 아닌 방향으로 향하고 있으며, (b) 사용자가 좀 더 바람직한 궤적을 얻기 위해 약간 좌측으로 돌아야 한다는 사실을 사용자에게 알려줄 것이다.
시스템(102)은 비트 사운드를 변조하여 다른 효과를 얻을 수 있다. 예를 들어, 시스템(102)은 사용자가 현재 최적이 아닌 방향으로 향하고 있는 정도에 따라 비트 사운드의 톤 및/또는 주기성 및/또는 볼륨(및/또는 다른 일부 양태)을 변경할 수 있다. 사용자는 비트 사운드를 그가 잘못된 방향으로 향하는 정도의 표시로 해석한다.
지금까지, 설명은 대부분 사용자 경로를 따라 적절한 시점에서 사용자에게 정보를 자동으로 전달하는 시스템(102)의 성능을 강조했다. 이런 동작 모드에서, 사용자와 환경의 만남은, 예를 들어, 전술한 상이한 유형의 IOI의 형태로, 정보의 전달을 트리거하는 이벤트를 구성할 수 있다. 또한, 언제든지, 사용자는 스마트폰 또는 헤드셋(108)과 수동으로 상호 작용하여, 수동으로 자신의 환경을 탐색하고 전술한 임의의 IOI에 관한 정보를 얻을 수 있다. 예를 들어, 제 1 상호 작용 방식에서, 사용자는 여행 중 임의의 특정 시간에 스마트폰의 터치-감지 표면을 두드릴 수 있다. 싱글 탭에 응답하여, 시스템(102)은 사용자의 현재 컨텍스트에 관한 최상위 정보를 안내할 것이다. 예를 들어, 시간(t1)에서, 시스템은 여행 IOI로 간주될 수 있는, 사용자가 웨이포인트(w2)로 향하고 있음을 안내함으로써 싱글 탭에 응답할 수 있다. 더블 탭에 응답하여, 시스템(102)은 현재의 컨텍스트에 관한 보다 상세한 정보를 제공할 것이다. 트리플 탭에 응답하여, 시스템(102)은, 예를 들어, 컨텍스트에 관한 부가적인 정보를 얻고 현재 컨텍스트에 속하는 다양한 기능을 호출하기 위해, 사용자가 스마트폰과 상호 작용할 수 있게 하는 명령을 제공할 것이다.
다른 특징으로서, 임의의 시점에서, 사용자가 스마트폰과 상호 작용하여 주어진 시간에 사용자에게 적합한 하나 이상의 메뉴를 활성화할 수 있다. 예를 들어, 시간(t1)에서, 사용자는 스마트폰의 표면 상에서 탭-앤-홀드 제스처를 취할 수 있다. 이에 응답하여, 시스템(102)은 사용자의 현재 컨텍스트와 관련된 메뉴를 활성화시킬 수 있다. 그런 다음 사용자는 스마트폰과 상호 작용하여 즉시 제시된 메뉴를 탐색하거나 임의의 다른 메뉴를 네비게이션할 수 있다.
보다 구체적으로, 아래의 섹션 C에서 상세하게 설명되는 바와 같이, 시스템(102)은 작업 공간들의 집합을 통해 액세스 가능한 메뉴들의 집합을 나타낼 수 있다. 각각의 작업 공간은 서로 다른 작업 공간에 대해 고정된 위치 관계를 갖는다. 사용자는 적절한 작업 공간 및 관련 메뉴를 네비게이션함으로써 원하는 정보 및/또는 기능에 액세스할 수 있다.
하나의 특징에 따르면, 사용자는, 예를 들어, 스마트폰을 들고 있는 손의 엄지 손가락을 사용하여, 상기 모든 화면-상호 작용 작업을 한 손으로 수행할 수 있다. 시스템(102)은 또한 사용자가 스마트폰의 터치-감지 표면과 상호 작용할 때 청각 및/또는 촉각 피드백 신호를 제공할 수 있다. 총체적으로, 이러한 모든 특징들은 사용자가 시스템(102)과 상호 작용하는 동안 환경으로부터 그의 주의를 돌리기 위해 필요한 정도까지 감소한다. 예를 들어, 사용자는 스마트폰과 상호 작용하면서 자신이 걷고 있는 길을 주시할 수 있다. 시각이 손상된 사람도 상기 요약된 비-시각적 특성으로 인해 시스템(102)과 성공적으로 상호 작용할 수 있다.
하위 섹션 C.3에서 설명되는 바와 같이, 사용자는 또한 음성 명령을 통해 시스템(102)과 수동으로 상호 작용할 수 있다. 추가적으로 또는 대안으로, 사용자는 헤드셋(108)이 제공하는 입력 메커니즘을 통해 시스템(102)과 수동으로 상호 작용할 수 있다(섹션 B에서 설명됨). 시스템(102)은 사용자가 수동으로 시스템(102)과 상호 작용할 수 있는 또 다른 메커니즘들도 제공할 수 있다.
사용자는 또한 자신의 인근 환경을 탐색하는 데 사용하기 위해 특별 모드를 호출할 수 있다. 예를 들어, 탐색 모드를 활성화하는 것에 응답하여, 시스템(102)은 사용자가 현재 시간을 보고 있을 것으로 추정되는 방향에 해당할 수 있는 사용자의 현재 관심 초점을 결정할 수 있다(이는 다시 하나 이상의 방향 결정 메커니즘에 기초하여 결정될 수 있다). 그 다음, 시스템(102)은 사용자의 주의 방향 주변에 형성된 부분 공간에 의해 둘러싸인(또는 아니면 그에 연관된) 컨텍스트 IOI를 결정할 수 있다. 그 후, 시스템(102)은 3 차원 사운드를 사용하여 이러한 컨텍스트 IOI를 안내함으로써, 및/또는 사용자의 스마트폰 상에 프레젠테이션될 시각 메시지를 전송함으로써, 이러한 컨텍스트 IOI를 읽을 수 있다.
이들 컨텍스트 IOI 중 일부는 부분 공간 내의 각각의 실제 위치를 갖는 환경에서의 실제 객체에 속할 수 있다. 이러한 IOI는 주로 물리적 공간에서 이러한 물리적 개체의 위치를 식별하거나 표시하는 데 사용된다. 다른 컨텍스트 IOI는 (주어진 사용자의 현재 컨텍스트에서) 부분 공간에 속하지만 사실상 그 부분 공간에 있는 객체를 직접적으로 설명하지 않을 수 있다는 점에서 사실상 가상(virtual)일 수 있다. 즉, 이러한 다른 컨텍스트 IOI는 물리적 개체의 위치를 식별하는 것 이상으로 사용자의 현재 컨텍스트에 관련된 정보 및/또는 경험을 전달한다.
일례를 인용하면, "가상" 종류의 컨텍스트 IOI는 사용자가 군대 막사에 접근함에 따라 "우리의 전사한 병사들을 기억하라"는 메시지에 해당할 수 있다. 그 메시지는 막사와 관련이 있지만 단순히 막사의 위치를 표시한다고 정확하게는 말할 수 없다. 그 메시지의 의도는 사용자가 막사에 접근할 때 사용자의 경험을 풍성하게 하기 위한 정신적 연관성을 만드는 것이다. 대안적으로, 그 상황에서의 컨텍스트 IOI는 (사용자에 의해 이전에 특정되고 시스템(102)에 로딩된 바와 같이) 노래 또는 영감 발언의 발췌 부분 또는 사용자에게 특별한 의미를 갖는 개인 메시지에 해당할 수 있다.
(컨텍스트 IOI 이외의) 다른 유형의 IOI들에 대해서도 마찬가지이다. 즉, 일부 IOI들이 주로 라벨 태그 역할을 하는 반면, 다른 IOI들은 인지적 연관성, 추억, 감정 등을 자극하려고 한다. 후자의 IOI 그룹은 환경에서 이벤트 및 객체의 지표 레벨의 표기(surface-level transcription)가 아닌 연관, 경험, 의미 등의 영역에 속한다는 의미에서 본원에서 "가상"이라고 지칭한다. 이러한 IOI는 추론적, 암시적, 관계적 IOI라고 할 수 있다.
또 다른 특징에 따르면, 방향 모드를 활성화하는 것에 응답하여, 시스템(102)은 사용자로부터의 소정 거리와 관련된 모든 관심 항목을 식별하기 위해 사용자 주위의 완벽한 360도 스캔을 수행할 수 있다. 시스템(102)은 또한, 예를 들어, 쇼핑몰 단지 등의 상이한 레벨에서 제공된 상점들을 결정하기 위해, 수직 차원에서 연속적인 레벨들에 대해 이런 360도 스캔을 수행할 수 있다. 사용자는, 예를 들어, 식별된 IOI 유형, IOI의 존재 여부를 검색할 공간의 크기 등을 변경함으로써, 탐색 모드 및 방향 모드의 동작을 전술한 방식으로 커스터마이즈할 수 있다. 또한, 사용자는 시스템(102)이 IOI를 읽는 방식을 제어하기 위해 시스템(102)과 상호 작용할 수 있다.
이제, 시간(t3)에서, 사용자는, 예를 들어, 샌드위치를 구매하려고, 상점(204)을 방문하기 위해 계획된 경로(202)로부터 벗어나기로 자발적으로 결정한다고 가정하자. 상점에 있을 때, 이 때 사용자의 컨텍스트(c3)는 상점 환경과 관련된다. 따라서, 시스템(102)은 전술한 것과 동일한 기능을 수행할 수 있지만, 이제 상점의 실내 환경의 컨텍스트에서 수행할 수 있다. 예를 들어, 시스템(102)은 사용자가 상점(204)의 통로를 가로지를 때 컨텍스트 IOI를 자동으로 결정할 수 있고, 사용자에게 그런 컨텍스트 IOI를 안내할 수 있다. 예를 들어, 상점(204)의 유제품 섹션에 접근할 때, 사용자는 "밀크, 치즈 및 요거트, 20 피트 앞"이라는 메시지를 수신할 수 있다. 시스템(102)은 사용자가 관심을 가질 수 있는 제품에 더 가까이 접근할수록 점진적으로 보다 상세한 정보를 전송할 수 있다. 다시 말하면, 예를 들어, 많은 수프에서의 고염분의 존재를 사용자에게 알리는 수프 섹션에서 전달되는 메시지에서와 같이, 컨텍스트 IOI의 일부가 상점의 물리적 객체와 직접적인 대응 관계가 적을 수 있다.
또한, 사용자는 임의의 방식으로 상점 환경 내에서 시스템(102)과 수동으로 상호 작용할 수 있다. 예를 들어, 사용자는 다른 제품과 관련된 여러 다른 메뉴를 수동으로 탐색할 수 있다. 또한, 사용자는 상점 환경에서 스마트폰을 사용하여 상품 구매, 상품 조사와 같은 다양한 처리를 수행할 수 있다.
일부 구현에서, 시스템(102)은 사용자가 (사전에) 상점(204) 내의 서로 다른 위치에 배치된 비컨 집합 중 하나의 범위 내에 있는지를 결정함으로써 상점(204) 내의 사용자 위치를 결정할 수 있다. 섹션 E에서 설명되는 바와 같이, 비컨은 중첩되지 않는 범위를 가질 수 있다.
상점(204)을 떠날 때, 시스템(102)은 사용자를 계획된 노선(202)으로 되돌아가도록 안내하기 위해 사용자의 여행을 다시 계산할 수 있다. 예를 들어, 시스템(102)은 셔틀 스탠드와 연관된 웨이포인트(w4)에 사용자가 도달할 수 있게 하는 명령을 사용자에게 제공할 수 있다. 그 웨이포인트에 도달하면, 시스템(102)은 사용자의 셔틀(208)의 예상 도착 시간을 안내하는 것과 같이 이 시점에서 사용자에게 적합한 정보를 전달할 수 있다. 이런 정보는 하나 이상의 여행 IOI로서 전달될 수 있다.
시스템(102)은 사용자가 셔틀(208)에서 이동하는 동안 사용자에게 서비스를 계속 제공할 수 있다. 예를 들어, 시스템(102)은 사용자에게 궁극적인 목적지, 즉, 웨이포인트(w5, 사용자의 병원)의 예상 도착 시간을 통지할 수 있다. 시스템(102)은 또한 사용자가 이동하는 대중(또는 개인) 교통 수단의 특성에 따라 사용자에게 유용할 수 있는 다른 메시지를 제공할 수 있다. 예를 들어, 버스를 타고 최종 목적지에 접근할 때, 시스템(102)은 버스에서 내릴 때 발생할 것으로 예상되는 높은 연석(curb)의 존재를 사용자에게 알려줄 수 있다. 나아가, 시스템(102)은 사용자의 허락 하에, 도움이 필요한 사람이 다음 버스 정류장에서 내릴 것임을 버스의 운전자에게 알려줄 수 있다.
요약하면, 사용자가 여행하는 내내, 사용자는 청각 형태로, 예를 들어, 음성 메시지, 다른 사운드(3 차원 사운드 및 3 차원이 아닌 사운드) 등의 형태로, 다량의 정보를 수신할 수 있다. 시스템(102)은 이 정보의 프레젠테이션을 관리하기 위해 다양한 기술을 사용할 수 있는데, (전달되는 정보의 양을 늘리거나 줄일 수 있는 기능과 같이) 그 중 일부가 이미 전술되었다. 이 기능을 사용하면 너무 많은 정보로 사용자를 압도하지 않고 적시에 가장 적합한 정보를 사용자가 수신하게 할 수 있다.
예를 들어, 시스템(102)은 하나의 사운드의 전달이 다른 사운드의 전달과 잠재적으로 간섭하는 상황을 해결하기 위해 다른 규칙에 따라 여행 중에 사운드를 재생할 수 있다. 하나의 예시적인 규칙에 따르면, 시스템(102)은 예를 들어, 걷는 동안, 사용자를 소망의 방향으로 조종하기 위해 연속 루프로 비트 사운드를 재생할 것이다. 그러나, 시스템(102)은 임의의 다른 사운드가 재생될 때 일시적으로 이 사운드를 비활성화시킬 수 있다(또는 이 사운드의 정상 상태에 비해 이 사운드의 볼륨을 감소시킬 수 있다). 이를 통해 사용자는 낮은 우선 순위 사운드로 여겨지는 비트 사운드의 간섭 없이 다른 사운드를 들을 수 있다.
다른 예시적인 규칙에 따르면, 시스템(102)은 어떤 메뉴 또는 컨텍스트가 사용자에게 제시될 것인지를 변경하는 플릭 제스처(flick gesture)와 같이, 인터페이스-관련 이벤트를 나타내는 사운드를 무조건 재생할 수 있다. 너무 많은 오디오 정보로 사용자에게 과부하가 걸리지 않도록 하려면, 이러한 유형의 사운드는 짧고 분명하게 설계되어야 한다. (사용자가 시스템(102)과 활발하게 상호 작용하지 않으면 어떠한 상호 작용 신호도 생성되지 않기 때문에) 사용자가 자신의 시스템(102)과의 상호 작용을 일시적으로 정지시킴으로써, 적어도 어느 정도는 이러한 유형의 신호의 재생을 제어할 수 있다.
예시적인 추가 규칙들에 따르면, 시스템(102)은 경고음에(예를 들어, 경고 IOI에 대해) 최고 우선 순위 레벨을, 여행 정보에(예를 들어, 여행 IOI에 대해) 그 다음으로 가장 높은 우선 순위 레벨을, 컨텍스트 정보에(예를 들어, 임의의 유형의 컨텍스트 IOI에 대해) 그 다음으로 가장 높은 레벨을 할당함으로써 탐색 사운드에 우선 순위를 매길 수 있다. 어떤 경우에, 예를 들어, 더 중요한 정보가 재생되고 있기 때문에, 시스템(102)이 정보의 전달을 지연시킬 것이다. 또한, 어떤 경우에, (예를 들어, 정보가 더 이상 적합하지 않은 새로운 컨텍스트로 사용자가 이동했기 때문에) 시스템(102)이 정보를 제공할 수 있는 시간에는 지연된 메시지가 더 이상 적합하지 않게 되고, 그런 경우, 시스템(102)은 그 정보를 제공하지 않을 수 있다.
결론적으로, 전술한 시나리오는 시스템(102)의 유리한 기술적 효과 중 일부를 강조하는 데에도 유용하다. 일반적으로, 시스템(102)은 상이하지만 관련된 목표에 도움이 되는 안내를 임의의 사용자로 하여금 수신하게 한다. 먼저, 시스템(102)은 사용자가 자신의 여행에 따르는 임의의 주어진 시간에 가장 유용한 정보에 사용자를 노출시키려고 하여, 사용자가 자신의 환경 내에서 보다 효과적으로 네비게이션하거나 다른 목적을 달성할 수 있도록 권한을 부여한다. 둘째로, 시스템(102)은 탐색 보조를 제공하는 것 이외에 환경에 대한 사용자의 경험을 풍부하게 하여, 사용자로 하여금 시스템(102)의 사용 없이는 사용자에게 즉각적으로 자명하지 않을 수 있는 환경에 관한 새로운 정보를 학습하게 할 수 있으며, 이와 관련하여, 시스템(102)은 사용자가 은유적으로 환경의 표면 아래를 파고들게 하여 환경(102)에 속한 이전에 감추어진 양태 및 연관성을 이해할 수 있게 한다. 셋째로, 시스템(102)은 사용자에게 주어진 혼란을 최소화하는 방식으로 이런 유용한 정보를 사용자에게 제공하려고 시도한다. 세 번째 목표는 예를 들어, 사용자로 하여금 실제 세계와 상호 작용하기 위해 자신이 사용하고 있는 도구에 대해서가 아니라, 자신의 "실제 세계"와의 상호 작용에 대해서 주된 초점을 유지할 수 있게 함으로써, 사용자에게 보다 즐겁고 유용한 경험을 제공하는 데 유용한다. 네거티브로 명시된 세 번째 목표는 사용자가 상당한 주의를 기울일 것으로 기대되는 성가시고 복잡한 도구와 상호 작용하도록 사용자에게 요청함으로써 발생할 수 있는 불안감을 줄이려고 시도한다. 세 번째 목표는 또한 사용자가 주어진 시간에 너무 많은 정보로 압도당하지 않고 안전한 방식으로 원하는 정보에 효율적으로 신속하게 액세스할 수 있게 한다.
다수의 기술적 특징들이 상기 요약된 목표에 대해, 특히 세 번째 목표와 관련하여 기여한다. 이 특징들에는 a) 한 손에 의한 상호 작용 경험 사용, b) 위치에 구애 받지 않고 터치-감지 표면 상에서 수행될 수 있는 제스처를 수용하는 사용자에게 친숙한 메뉴 구조의 사용(후술됨), c) "안전한" 홈 작업 공간에 대한 액세스를 제공하는 사용자에게 친숙하고 배우기 쉬운 작업 공간 구조의 사용(후술됨), d) (예를 들어, 헤드셋(108), 사용자 장치(106), 음성 인식 등을 통해) 명령을 입력하기 위한 다수의 메커니즘의 사용, e) 여행에 대한 사용자의 초점을 과도하게 방해하지 않고 정보를 전달하기 위한 오디오 정보 및/또는 촉각 신호(haptic cue)의 사용, f) 너무 많은 복잡한 명령을 사용자에게 제공하지 않고 소망의 방향으로 사용자를 조종하는 것을 돕거나 IOI 위치를 사용자에게 알려주기 위한 3 차원 및 3 차원이 아닌 사운드 사용이 포함되지만 이에 국한되지는 않는다.
상기 장점은 시스템(102)의 임의의 사용자에게 적용된다. 시스템(102)은 또한 여행을 하는 능력을 손상시키는 임의의 유형의 조건을 갖고 있는 사람들에 의해서도 성공적으로 사용될 수 있다. 이러한 사용자들은 시력을 부분적으로 또는 완전히 상실한 사용자, 인지적 또는 기타 심리적 장애가 있는 사용자, 이동성 관련 장애가 있는 사용자 등을 포함할 수 있다. 이러한 사용자들에 있어서, 시스템(102)은 가상 안내견으로서의 역할을 하여, 안전한 방식으로 그들의 여행의 각 단계에서 사용자를 돕거나, 아니면 사용자의 목표가 그 순간에 무엇이든 간에 사용자가 그들의 환경과 상호 작용하는 것을 돕는다. 이들 사용자의 경우, 상기 요약된 일반적인 이점에 더하여, 시스템(102)은 사용자가 그 시스템 없이는 이용할 수 없던 정보 및 안내에 액세스할 수 있게 하여, 이들 사용자의 이동성, 신뢰 및 일반적인 삶의 질을 잠재적으로 향상시킬 수 있다.
이제 도 3으로 진행하면, 이 도면은 도 1의 시스템(102)을 구현하는데 사용될 수 있는 컴퓨팅 기능부의 상위 레벨 개관을 도시한다. 도 3의 기능부는 장치에 무관한 방식으로 도시되어 있다. 실제 구현에서, 기능부는, 예를 들어, 도 1에 도입된 임의의 구성 요소에 또는 이들 구성 요소의 임의의 조합에 할당될 수 있다. 예를 들어, 도 3은 기능부가 공간 상호 작용(SI) 모듈(302)을 포함하는 것을 나타낸다. SI 모듈(302)은 도 2의 시나리오와 관련하여 설명된 기능의 전부(또는 대부분)를 수행한다. SI 모듈(302)의 일부는 사용자 장치(106)에 의해 구현될 수 있고, SI 모듈(302)의 다른 부분은 헤드셋(108)에 위치한 처리 구성 요소에 의해 구현될 수 있다. 추가적으로 또는 대안으로, SI 모듈(302)의 일부분은 원격 처리 자원(112)에 의해 수행될 수 있다.
SI 모듈(302)은 입력 메커니즘(304)의 임의의 조합으로부터 입력 정보를 수신할 수 있고, 임의의 출력 메커니즘(306) 상에 프레젠테이션하도록 그 출력 정보를 제공할 수 있다. 예를 들어, 입력 메커니즘(304)은 하나 이상의 방향 결정 메커니즘(308) 및/또는 하나 이상의 움직임 결정 메커니즘(310), 및/또는 하나 이상의 위치 결정 메커니즘(312) 등을 포함할 수 있다.
예를 들어, 방향 결정 메커니즘(들)(308)은 이들 메커니즘(들)(308)을 포함하는 장치의 방향을 결정한다. 예를 들어, 사용자 장치(106)에 의해 수용되면, 방향 결정 메커니즘(들)(308)은 이 사용자 장치(106)의 3 차원 방향을 결정한다. 핸드셋(108)에 의해 수용되면, 방향 결정 메커니즘(들)은 헤드셋(108)의 3 차원 방향을 결정한다. 보다 일반적으로 설명하면, 방향 결정 메커니즘(들)(308)은 사용자가 자신의 스마트폰을 가리키고 있거나 (헤드셋(108)이 놓인) 자신의 머리를 돌리는 방향을 결정할 수 있다. 움직임 결정 메커니즘(들)(310)은 이 메커니즘(들)(310)을 포함하는 장치의 특성 및 움직임 정도를 결정한다. 위치 결정 메커니즘(들)(312)은 이들 메커니즘(들)(312)을 포함하는 장치의 절대적 및/또는 상대적 위치를 결정한다.
메커니즘(308, 310, 312)은 자력계, 가속도계, 자이로스코프 센서, 중력-기반 센서, 토크 센서, 스트레인 게이지, 플렉스 센서, 광학 인코더 메커니즘 등을 포함하는, 그러나 이에 국한되지 않는 센서들의 임의의 조합을 사용하여 구현될 수 있다. 또한, 일부 메커니즘(308, 310, 312)은 외부 시스템 또는 소스로부터 신호를 수신할 수 있다. 예를 들어, 상기 메커니즘들(308, 310, 312)은 위성-기반 네비게이션 시스템(예를 들어, GPS(Global Positioning System) 시스템)으로부터 수신된 신호들에 기초하여 장치의 위치를 결정하기 위한 센서를 포함할 수 있다. 추가적으로 또는 대안으로, 상기 메커니즘들(308, 310, 312)은 복수의 무선 타워들 및/또는 로컬화된 방향성 안테나로부터 수신된 신호들과 같이, 복수의 외부 소스들로부터 수신된 신호들에 기초하여 삼각 측량 및/또는 다른 처리를 수행함으로써 장치의 위치를 결정하는 기능부를 포함할 수 있다. 추가적으로 또는 대안으로, 메커니즘(308, 310, 312)은 추측 항법(dead reckoning) 기법을 사용하여 장치의 위치를 결정하는 기능부를 포함할 수 있다. 추가적으로 또는 대안으로, 메커니즘(308, 310, 312)은 로컬 비컨(예를 들어, 와이파이 및/또는 블루투스 비컨 등) 등으로부터의 정보를 처리함으로써 장치의 위치를 결정하는 기능부를 포함할 수 있다.
입력 메커니즘(304)은 또한 수동 입력 메커니즘(314)의 임의의 조합을 포함할 수 있다. 이런 메커니즘은 키 입력 메커니즘, 터치-감지 입력 메커니즘(예를 들어, 터치-감지 화면(314')), 조이스틱, 마이크로폰(예를 들어, 음성 명령을 수신 하기 위함), 비디오 카메라 및/또는 깊이 카메라(예를 들어, 자유 공간 제스처를 수신하기 위함) 등 중 임의의 것을 포함할 수 있다. 예를 들어, 도 1의 경우에, 사용자 장치(106)는 사용자와의 상호 작용의 주요 방식으로서 터치-감지 디스플레이 화면을 사용할 수 있다. 예를 들어, 제한 없이, 그 터치-감지 디스플레이 화면은 사용자가 화면을 터치하거나 및/또는 호버링하고 있을 때를 결정하는 용량성 터치스크린 메커니즘을 포함할 수 있다. 사용자 장치(106)는 또한 카메라, 마이크로폰 등을 포함할 수 있다. 헤드셋(108)은, 예를 들어, 헤드셋(108)의 측면의 버튼들로서 구현되는 바와 같이, 하나 이상의 전용 입력 메커니즘들과 함께 (음성 명령들을 수신하기 위한) 마이크로폰을 포함할 수 있다(다음 섹션에서 보다 상세하게 설명됨).
출력 메커니즘(306)은 하나 이상의 오디오 출력 메커니즘(316), 하나 이상의 디스플레이 출력 메커니즘(318), 하나 이상의 촉각 출력 메커니즘(320) 등을 포함할 수 있다. 예를 들어, 오디오 출력 메커니즘(들)(316)은 임의의 유형의 종래의 스피커에 해당할 수 있다. 부가적으로 또는 대안으로, 오디오 출력 메커니즘(들)(316)은 뉴욕 주 시라큐스의 AFTERSHOKZ, LLC에 의해 제조된 골전도 변환기(bone conducting transducer)와 같이, (예를 들어, 헤드셋(108)에 의해 제공되는 바와 같은) 골전도 오디오 장치를 포함할 수 있다. 디스플레이 출력 메커니즘(들)(318)은, 예를 들어, (예를 들어, 사용자 장치(106)에 의해 제공되는 바와 같은) LCD 유형 디스플레이에 해당할 수 있다. 촉각 출력 메커니즘(들)(320)은, 예를 들어, (예를 들어, 사용자 장치(106) 및/또는 헤드셋(108) 등에 의해 제공되는 것과 같은) 진동-생성 메커니즘에 해당할 수 있다. 진동-생성 메커니즘은 회전하는 오프-밸런스 웨이트(off-balance weight) 및/또는 일부 다른 메커니즘(들)을 사용하여 진동 효과를 얻을 수 있다.
또한, SI 모듈(302)은 SI 모듈(302) 자체의 외부에 있다고 간주될 수 있는 원격 기능부(322)와 상호 작용할 수 있다. 예를 들어, SI 모듈(302)은 검색을 수행하기 위해 검색 엔진(324)과 상호 작용할 수 있다. 예를 들어, 검색 엔진(324)은 워싱턴 주 레드몬드의 마이크로소프트사에서 제공하는 BING 검색 엔진에 해당할 수 있다. 추가적으로 또는 대안으로, SI 모듈(302)은 새로운 여행을 생성하고 및/또는 기존의 여행을 수정하기 위한 목적으로 여행 계산 엔진(326)과 상호 작용할 수 있다. 추가적으로 또는 대안으로, SI 모듈(302)은 음성 처리 엔진(speech processing engine, 328)과 상호 작용하여 사용자가 말한 음성 지시를 해석할 수 있다. 예를 들어, 음성 처리 엔진(328)은 워싱턴 주 레드몬드의 마이크로소프트사에서 제공하는 코타나(CORTANA) 시스템에 해당할 수 있다. 다른 경우에, 원격 기능부(322)의 하나 이상의 양태가 기본적인 자원으로서 SI 모듈(302)에 포함될 수 있다.
또한, SI 모듈(302)은 하나 이상의 데이터 저장소(330)에 제공된 임의의 외부 정보와 상호 작용할 수 있다. 예를 들어, 외부 정보는 공개적으로 액세스 가능한 지도 정보, 교통 스케줄 정보, 경고 정보, 비즈니스 및 개인 디렉토리 정보, 소셜 네트워크 정보, 캘린더 정보 등을 제공할 수 있다. 일부 경우에, SI 모듈(302)은 외부 소스들에 의해 제공되는 애플리케이션 프로그래밍 인터페이스(API)를 사용하여 외부 소스들(예를 들어, 외부 웹사이트들)과 상호 작용할 수 있다.
이제 도 4를 참조하면, 이 도면은 위에서 소개된 SI 모듈(302)의 일 구현을 도시한다. 상위 레벨의 관점에서, SI 모듈(302)은 상이한 각각의 기능을 수행하는 복수의 하위 구성 요소를 포함할 수 있다(또는 포함하는 것으로 개념화될 수 있다). 또한, 일부 하위 구성 요소는 다른 하위 구성 요소에 의해 생성된 결과에 의존할 수 있다. 애플리케이션 인터페이스 모듈(AIM, 402)은 사용자가 임의의 하위 구성 요소와 상호 작용할 수 있게 한다. 예를 들어, 애플리케이션 인터페이스 모듈(402)은 하위 구성 요소들에 의해 제공되는 다양한 기능들을 노출시키는 메뉴 기능부를 제공할 수 있다.
일반적으로, 위에서 아래로 하위 구성 요소를 참조하면, SI 모듈(302)은 SI 모듈(302)이 그 기능을 수행하는데 사용될 수 있는 정보를 저장하기 위한 다양한 데이터 저장소를 포함할 수 있다. 예를 들어, 데이터 저장소(404)는 하나 이상의 여행을 정의하는 정보를 저장할 수 있다. 예를 들어, 여행 정보는 여행 중 웨이포인트 및/또는 여행에 관한 기타 정보를 설명할 수 있다. 데이터 저장소(406)는 검색 엔진에 의해 제공된 검색 결과를 저장할 수 있고, 그 결과는 여행 중에 또는 사용자가 보다 일반적으로 공간과 상호 작용할 때, 사용자의 지시에 따라 생성될 수 있다. 데이터 저장소(408)는 SI 모듈(302)과 사용자의 상호 작용 과정에서 사용자에 의해 생성된 탭들의 히스토리를 저장할 수 있다. 탭은 일반적으로 메뉴 또는 다른 정보 항목 및/또는 기능부 및/또는 옵션에 대한 북마크에 해당한다. 사용자는, 자신이 그 메뉴 또는 다른 정보 항목 및/또는 기능부 및/또는 옵션을 방문할 때 탭을 생성할 수 있고, 일 구현에서, 사용자가 여행을 시작하였지만 아직 시스템(102)과 상호 작용을 시작하지 않은 경우, 데이터 저장소(408)는 처음에는 어떤 탭도 포함하지 않는다. 시스템(102)은 탭 목록, 방사형(radial) 탭 메뉴 등과 같이 탭들의 집합을 나타내는 임의의 방식을 사용할 수 있다.
SI 모듈(302)은 또한 임의의 유형의 지원 서비스를 수행하는 다양한 지원 모듈(410)을 제공할 수 있다. 예를 들어, 설정 모듈은 사용자가 시스템(102)의 동작에 영향을 미치는 임의의 파라미터에 값을 할당하게 할 수 있다. 데이터 저장소(412)는 이러한 모든 설정을 저장할 수 있다. 또한, 지원 모듈(410)은 검색 결과를 제공하기 위해, 외부 검색 엔진과 상호 작용하는 포털을 포함할 수 있다. 또는, 지원 모듈들(410)은 기본적으로 제공된 검색 엔진을 포함할 수 있다.
사운드 생성 모듈(414)은 사운드 생성과 관련된 다양한 동작을 수행한다. 예를 들어, 사운드 생성 모듈(414)은 다양한 트리거링 상황이 발생할 때 특정 사운드를 재생할 수 있다. 일부 트리거링 상황은 애플리케이션 인터페이스 모듈(402)과 상호 작용할 때 사용자가 취한 액션에 해당한다. 다른 트리거링 상황은 사용자와 시스템(102)과의 상호 작용에 의해 직접적으로 야기되지 않는 시스템(102)의 상태 변화에 해당한다. 다른 트리거 상황은 여행 중 발생하는 이벤트(또는 보다 일반적으로, 사용자의 공간과의 상호 작용) 등에 해당한다. 데이터 저장소(416)는 재생될 때 원하는 사운드를 생성하는 파일을 저장할 수 있다. 하위 섹션 C.2(아래)는 생성될 수 있는 다양한 유형의 사운드 및 이러한 사운드가 재생되는 상황에 관한 추가 정보를 제공한다.
일부 사운드는 본질적으로 3 차원이 아니거나 또는 비-공간적이다. 또한, 사운드 생성 모듈(414)은 3 차원 오디오 정보를 생성할 수 있다. 전술한 바와 같이, 오디오 정보는 사용자가 이 정보를 3 차원 물리적 또는 가상 환경 내의 하나 이상의 위치로부터 발산하는 것으로 인지할 것이라는 점에서 3 차원이다. 사운드 생성 모듈(414)은 하나 이상의 HRTF(Head-Related Transfer Function)를 사용하여 원래 사운드 정보를 변환함으로써 이들 사운드를 생성할 수 있다.
유사하게, 촉각 신호 생성 모듈(418)은 상이한 트리거링 상황에서 상이한 유형의 촉각 피드백 경험을 생성할 수 있다. 어느 한 경우에, 촉각 신호 생성 모듈(418)은, 예를 들어, 사용자 장치(106), 헤드셋(108) 및/또는 기타 장치에 전달될 때, 진동 신호를 생성하는 신호를 생성한다.
경로 안내 모듈(420)은 사운드 생성 모듈(414)을 사용하여 전술한 3 차원 주기적(예를 들어, 비트) 사운드를 생성한다. 이런 주기적인 사운드의 목적은 사용자를 특정 방향으로 안내하는 것이다. 경로 안내 모듈(420)은 사용자의 현재 실제 방향, 소망의 방향, 및 실제 방향과 소망의 방향간의 차이(편차 정보에 대응)를 결정함으로써 이러한 효과를 낸다. 그 다음, 경로 안내 모듈(420)은 사운드 생성 모듈(414)을 이용하여 특정 방향으로부터 시작되는 것으로 사용자가 인지하는 적절한 루핑(looping) 사운드를 생성한다. 즉, 사운드 생성 모듈(414)은 경로 안내 모듈(420)에 의해 제공된 편차 정보에 기초하여 루핑 사운드를 생성한다. 사용자는 소망의 방향으로 이동함으로써 이 사운드에 응답할 수 있다. 다른 경우, 비트 사운드는 물리적 공간에서 일련의 위치를 가로질러 이동하는 것으로 인식될 수 있다. 사용자는 이런 경험을 이동 사운드(traveling sound)의 방향으로 이동하라는 지시로 해석할 수 있다.
비컨-기반 안내 모듈(422)은, 하나의 예시적인 구현에서, 각각의 비-중첩 범위를 갖는 비컨들의 집합으로부터 방출하는 신호들의 검출에 의해 실내 및/또는 출력 공간 내에서 네비게이션하는데 있어서 사용자에게 도움을 제공한다. 섹션 E는 비컨-기반 안내 모듈(422)의 동작에 관한 부가적인 정보를 제공한다. 비컨-기반 안내 모듈(422)은 데이터 저장소(424)에서 제공된 비컨 정보를 참조할 수 있다. 비컨 정보는 환경 내에 배치된 비컨 및 환경 내의 그 각각의 위치와 연관된 코드를 설명할 수 있다.
적합 정보 결정(relevant information determination, RID) 모듈(426)은 주어진 시간에 사용자에게 제시할 적합한 정보를 결정하는 일반적인 기능을 수행한다. 도 2의 설명 내용에서, RID 모듈(426)은 사용자의 현재 컨텍스트에 관계가 있는 다른 유형의 정보 항목(IOI)을 결정한다. 이 작업을 수행하기 위해, RID 모듈(426)은 현재 시간에 사용자의 컨텍스트를 정의하는 다양한 컨텍스트 입력을 수신한다. 이러한 컨텍스트 입력은 사용자의 현재 위치, 사용자의 현재 방향, 사용자의 현재 목표 등을 설명할 수 있다. 컨텍스트 입력은 물리적이든 가상이든, 환경과 관련된 객체 및 이벤트와 같이, 환경 자체를 설명할 수도 있다. 그러한 입력은 지도 정보, 디렉토리 정보, 소셜 네트워크 정보, 캘린더 정보 등으로부터 채취될 수 있다. 컨텍스트 입력은 임의의 소스(들)로부터 얻을 수 있는 대중 교통 정보, 날씨 정보 등과 같이, 사용자와 공간의 상호 작용에 영향을 미치는 환경 요인을 설명할 수도 있다.
RID 모듈(426)은 현재 시간의 컨텍스트 입력에 기초하여, 그리고 (데이터 저장소(428)에서 제공된) 다양한 규칙에 기초하여, 주어진 시간에 임의의 정보를 사용자에게 알리는 것이 적절한지 여부를 결정함으로써 동작한다. RID 모듈(426)의 동작은 또한 사용자에 의해 설정되고 데이터 저장소(412)에 저장된 하나 이상의 파라미터에 의해 정의될 수 있다. 예를 들어, RID 모듈(426)은 사용자에 의해 정의된 깊이 범위에 기초하여 현재 시간에 사용자 가까이에 임의의 컨텍스트 IOI가 있는지 여부를 결정할 수 있다. 그러한 컨텍스트 IOI가 존재하는 경우, RID 모듈(426)은 사운드 생성 모듈(414) 및/또는 애플리케이션 인터페이스 모듈(402)에 의해 제공되는 메뉴 기능부와 상호 작용하여, 이들 컨텍스트 IOI를 사용자에게 통지할 수 있다.
탐색 모듈(430) 및 방향 모듈(432)은 사용자에 의해 주문형 방식으로 호출될 수 있는 각각의 서비스를 수행한다. 도 2의 시나리오를 참조하여 설명된 바와 같이, 탐색 모듈(430)은 사용자의 앞에 있는 부분 공간과 관련된 컨텍스트 IOI를 결정한다(이는 다시, 조사 깊이를 규정하는 설정 파라미터 및 검색 공간의 범위를 설명하는 설정 파라미터와 함께, 사용자의 머리의 위치에 의해 결정될 수 있다). 이 작업을 수행하기 위해, 탐색 모듈(430)은 RID 모듈(426)의 서비스를 이용한다. 그 후 탐색 모듈(430)은 3 차원 사운드, 시각 메시지 등을 사용하여 컨텍스트 IOI를 사용자에게 통지한다. 방향 모듈(432)은 탐색 모듈(430)과 유사한 작업을 수행한다. 방향 모듈(432)은, 사용자 앞에 돌출된 부분 공간과 관련된 IOI를 조사하는 대신에, 현재 시간에 사용자 주위에 존재하는 전체 3 차원 공간을 스캔할 수 있다.
도 5는 애플리케이션 인터페이스 모듈(AIM, 402)의 일 구현을 도시한다. 전술한 바와 같이, 애플리케이션 인터페이스 모듈(402)은 일반적으로 사용자가 도 4와 관련해서 전술한 다양한 하위 구성 요소들과 상호 작용할 수 있게 하는 인터페이스를 제공한다.
애플리케이션 인터페이스 모듈(402)은, 예를 들어, 사용자가 하고 있는 지시의 특성을 결정하기 위해, 사용자의 입력을 해석하는 다양한 구성 요소를 포함할 수 있다. 예를 들어, 제스처 해석 모듈(502)은 사용자 장치(106)의 터치-감지 화면 또는 자유-공간 제스처 등과 상호 작용함으로써 사용자가 만든 제스처를 결정할 수 있다. 제스처 해석 모듈(502)은 사용자에 의해 만들어진 마크 또는 터치 또는 호버링(또는 다른 동작)을 알려진 제스처와 연관된 패턴을 식별하는 데이터 저장소와 비교함으로써 이 작업을 실행할 수 있다. 사용자의 행동이 결정된 정도의 일치 신뢰도로, 특정 제스처와 연관된 패턴과 일치한다면, 제스처 해석 모듈(502)은 사용자가 그 제스처를 취했다는 결론을 내릴 수 있다.
음성 해석 모듈(504)은 예를 들어, 사용자 장치(106) 및/또는 헤드셋(108) 상의 마이크로폰을 통해 수신될 수 있는, 사용자에 의한 음성 지시를 해석할 수 있다. 어느 한 경우, 음성 해석 모듈(504)은 원격 음성 처리 엔진(328, 예를 들어, 코타나 시스템)으로의 포털에 해당할 수 있다. 다른 경우에, 음성 해석 모듈(504)은 음성 발언을 해석하기 위한 임의의 유형의 기본 기능부에 해당할 수 있다. 어쨌든, 음성 인식을 수행하는 에이전트는 숨겨진 마르코프 모델-기반 기술, 신경망 기반 기술 등과 같이, 이 작업을 실행하기 위해 임의의 기술을 사용할 수 있다.
헤드셋 버튼 해석 모듈(506)은 사용자가 헤드셋(108)의 입력 메커니즘과 상호 작용하는 방식을 해석한다(후술됨). 예를 들어, 경우에 따라서, 사용자가 버튼들과 상호 작용하는 방식에 따라서, 예를 들어, 사용자가 버튼을 만지지만 누르지 않았는지 여부에 따라, 사용자가 버튼을 한 번 이상 만졌다 떼었다 했는지 여부에 기초하여, 또는 사용자가 버튼을 누르고 유지하고 있는지 여부에 기초하여, 버튼들의 집합이 다른 기능들을 수행할 수 있다. 헤드셋 버튼 해석 모듈(506)은 사용자의 행동을 특정한 지시에 매핑한다.
액션-수행 모듈(action-taking module, 508)은 전술한 해석 모듈(502, 504, 506)에 의해 제공된 해석에 기초하여 액션을 호출할 수 있다. 예를 들어, 해석에 응답하여, 액션-수행 모듈(508)은 메뉴를 호출하고, 메뉴를 닫고, 작업 공간들 사이를 전환하고(후술됨), 기능을 수행하고, 설정을 저장하고, 정보 항목을 표시하는 것 등을 할 수 있다.
B. 사용자와 환경 간의 상호 작용을 용이하게 하기 위한 헤드셋 및 사용자 장치 옵션
도 6은 도 1의 내용에서, 앞서 소개된 헤드셋(108), 사용자 장치(106) 및 다른 사용자 컴퓨팅 장치(110)에 관한 부가적인 세부 사항을 도시한다. 이들 장치의 특징은 제한이 아닌 예시의 정신으로 본원에 제시된다.
먼저 헤드셋(108)을 참조하면, 이 장치는 플라스틱 및/또는 금속 및/또는 임의의 다른 재료로 제조된 프레임(602)을 제공할 수 있다. 프레임(602)은 신축성이 있을 수 있으며, 사용자의 머리에 대해 측면에서 내측으로 미는 프레임의 장력을 통해 및/또는 다른 고정 메커니즘을 통해 사용자의 머리에 고정될 수 있다. 헤드셋(108)은 진동을 사용자의 머리뼈에 전달하는 변환기(604, 606)를 포함하고, 사용자의 머리뼈는 이 진동을 사용자의 고막으로 전달하여 그 진동이 오디오 정보로 인식된다. 골전도-유형의 헤드셋의 사용은 헤드셋(108)이 사용자의 외이도를 막는 것을 방지함으로써, 사용자가 환경 내의 다른 사운드에 안전하게 응답할 수 있게 한다. 그러나, 대안으로, 헤드셋(108)은 사용자의 귀 위에 또는 귀 근처에 배치된 종래의 스피커를 포함할 수 있다.
헤드셋(108)은 또한 그 프레임 상의 어디든지 입력 메커니즘(608) 집합을 선택적으로 포함할 수 있다. 사용자는 자신의 손(610)(또는 손들)의 하나 이상의 손가락으로 입력 메커니즘(608)과 상호 작용할 수 있다. 대안적으로, 별도의 장치(도시되지 않음)가 입력 메커니즘(608)을 제공할 수 있고, 그 별도의 장치는 무선 통신(예를 들어, 블루투스 통신) 및/또는 유선 통신을 통해 헤드셋(108)과 통신할 수 있다. 도 6은 입력 메커니즘(608)이 3 개의 버튼을 포함하지만, 보다 일반적으로, 입력 메커니즘(608)은 임의의 개수의 메커니즘을 포함할 수 있으며, 이들 입력 메커니즘이 임의의 방식으로 프레임 상에 배치될 수 있다. 게다가, 입력 메커니즘(608)은 휠(wheel) 또는 손잡이(knob) 메커니즘, 슬라이더 메커니즘 등과 같이, 버튼 이외의 다른 유형의 입력 메커니즘을 포함할 수 있다. 대안으로 또는 부가적으로, 헤드셋(108)은 하나 이상의 터치-감지 표면을 포함할 수 있다. 예를 들어, 헤드셋(108)의 상이한 영역이 상이한 터치-감지 메커니즘을 포함할 수 있고, 이들 영역은 상이한 각각의 기능과 연관될 수 있다.
헤드셋(108)은 다양한 작업을 수행하는 처리 메커니즘을 포함할 수 있다(후술됨). 헤드셋(108)은 이러한 처리 메커니즘을 수용하는 구획(612)을 포함할 수 있다. 예를 들어, 하나의 경우에, 구획(612)은 헤드셋(108)의 뒤쪽에 있다. 그러나, 처리 메커니즘은 헤드셋(108) 상의 임의의 위치(또는 위치들)에 물리적으로 위치될 수 있다. 처리 메커니즘 자체는 하나 이상의 임의의 유형의 처리 장치, 메모리 등, 및/또는 하나 이상의 주문형 집적 회로(ASIC) 등과 같은 전용 로직 구성 요소를 포함할 수 있다.
입력 메커니즘(608)은 활성화될 때 임의의 동작을 개시할 수 있다. 예를 들어, 제한 없이, 사용자는 입력 메커니즘(608)을 사용하여 SI 모듈(302)에게 탐색 모드 또는 방향 모드를 호출하도록 지시할 수 있다(전술됨). 추가적으로 또는 대안으로, 특정 주제(예를 들어, 컨텍스트 IOI의 이름)의 요약을 들은 후에, 사용자는 입력 메커니즘(608)을 사용하여 SI 모듈(302)에게 식별된 주제에 관한 추가 정보를 제공하도록 지시할 수 있으며, 이런 지시는 "추가 정보" 지시라고 할 수 있다.
추가적으로 또는 대안으로, 사용자는 입력 메커니즘(608)을 사용하여 SI 모듈(302)에게 청취 모드를 활성화시키거나 청취 모드를 중지시키도록 지시할 수 있다. 청취 모드에서, 음성 해석 모듈(504)은 사용자의 음성을 처리하여 사용자가 지시를 내렸는지 여부를 결정한다.
추가적으로 또는 대안으로, 사용자는 입력 메커니즘(608)을 사용하여 그것이 제공한 가장 최근의 오디오 메시지를 반복하도록 SI 모듈(302)에 지시할 수 있다. 부가적으로 또는 대안으로, 사용자는 입력 메커니즘(608)을 사용하여, 예를 들어, 가장 최근의 메시지로부터 시작하여 사전 결정된 수의 이전 메시지들에 대해 메시지 별로 시간 상 거슬러감으로써, 이전에 전달된 오디오 메시지들의 집합을 반복하도록 SI 모듈(302)에 요청할 수 있다. 그러한 명령을 "되감기" 명령이라고 할 수 있다.
대안으로, 또는 부가적으로, 사용자는 입력 메커니즘(608)을 사용하여 3 차원 비트 사운드를 켜거나 끌 수 있다. 다른 구현들은 입력 메커니즘(608)을 사용하여 다른 명령들을 내리고 및/또는 전술한 명령들 중 하나 이상을 생략할 수 있다.
상기 기능들 또는 그 몇몇의 부분 집합은 임의의 개수의 각각의 버튼들 및/또는 다른 입력 메커니즘들에 임의의 방식으로 매핑될 수 있다. 또한, 일부 구현에서, 시스템(102)은 사용자로 하여금 입력 메커니즘과 메커니즘이 호출하는 동작들 간의 매핑을 정의하게 하는 맞춤화 모듈(customization module)을 포함할 수 있다. 또한, 전술한 바와 같이, 동일한 버튼은 사용자가 그것과 상호 작용하는 방식에 따라 둘 이상의 기능을 수행할 수 있다. 일 구현에서, SI 모듈(302)은 사용자가 버튼을 터치하지만 누르지는 않을 때, 버튼에 의해 수행되는 기능을 안내할 수 있다.
또 다른 특징에 따르면, 사용자는 활성화시키는데 사용된 것과 동일한 버튼을 눌러 현재 활성 상태인 기능을 비활성화시킬 수 있다. 예를 들어, 사용자는 SI 모듈(302)이 정보를 전달하도록 요청하는데 사용된 것과 동일한 버튼을 누름으로써 SI 모듈(302)이 이러한 정보를 안내하는 것을 중지시킬 수 있다. 대안으로, 또는 부가적으로, 헤드셋(108)은 현재 실행 중인 기능을 정지하는 전용 버튼을 포함할 수 있다.
사용자 장치(106)는 스마트폰 또는 태블릿형의 컴퓨팅 장치와 같은, 전술한 임의의 유형의 휴대용 장치들에 해당할 수 있다. 전술한 바와 같이, 사용자는 한쪽 손(614)(및/또는 선택적으로 양손)을 사용하여 사용자 장치(106)와 상호 작용할 수 있다. 다른 사용자 컴퓨팅 장치(110)는 워크스테이션 컴퓨팅 장치, 게임 콘솔, 셋탑 박스 장치 등과 같은 임의의 유형의 종래의 고정된 컴퓨팅 장치에 해당할 수 있다.
하나 이상의 통신 경로(616)는 사용자 장치(106)를 헤드셋(108)과 결합시킬 수 있다. 이러한 통신 경로는, 예를 들어, 블루투스 통신 경로, 유선 배선 통신 경로(예를 들어, USB 통신 경로) 등에 해당할 수 있다. 하나 이상의 통신 경로(618)는 다른 사용자 컴퓨팅 장치(110)를 사용자 장치(106) 및/또는 헤드셋(108)에 결합시킬 수 있다. 전술한 바와 같이, 사용자가 다른 사용자 컴퓨팅 장치(110)와 사용자 장치(106) 및/또는 헤드셋(108) 사이에 연결을 설정하기 원하는 하나의 이유는 이들 장치에 정보를 업로드하기 위해서이다. 통신 경로들(618)은 임의의 방식으로, 예를 들어, 전술한 임의의 유형의 무선 및/또는 유선 통신 경로를 통해, 구현될 수 있다.
시스템(102)의 다른 구현들은, 예를 들어, 도 6에 도시된 특정 유형의 헤드셋(108)과 비교하여, 상이한 유형의 헤드셋을 사용할 수 있다. 예를 들어, 다른 구현에서, 헤드셋은 안경류(예를 들어, 고글), 헬멧 등으로 물리적으로 구현되는 것과 같은 임의의 유형의 머리 장착형 디스플레이(HMD) 장치와 함께 (입력 메커니즘(608)을 포함하는) 상기 식별된 임의의 특징을 포함할 수 있다. 시스템(102)은 머리 장착형 디스플레이 장치를 사용하여 임의의 유형의 정보를 디스플레이할 수 있다. 예를 들어, 시스템(102)은 머리 장착형 디스플레이 장치 또는 그 몇몇 부분 집합을 통해 다음 섹션(섹션 C)에 설명되는 메뉴 및 다른 정보 중 임의의 것을 디스플레이할 수 있다. 다른 경우에, 시스템(102)은 사용자가 상호 작용하는 실제 세계와 관련된 정보와 혼합된 컴퓨터 생성 정보를 디스플레이하여, 증강된 현실 경험을 제공할 수 있다. 예를 들어, 시스템(102)은 사용자의 시야 내의 관련 객체 및 이벤트에 위치적으로 근접한 설명 태그를 디스플레이할 수 있다. 다른 경우에, 시스템(102)은 사용자가 추천된 방향으로 이동하는 것 등을 돕는 방향 프롬프트를 디스플레이할 수 있다. 또한, 시스템(102)은, 예를 들어, 시각 장애가 있는 사용자에 대한 간략하고 확대된 정보를 디스플레이함으로써, 특정 사용자에게 영향을 줄 수 있는 임의의 시각 장애를 수용하도록 디스플레이된 정보의 유형을 수정할 수 있다.
시스템(102)은 임의의 기술을 사용하여, 예를 들어, (예를 들어, 부분적으로 반사하는 거울을 사용하여) 실제 환경의 사용자의 직접적인 시각적 인지 "위에" 컴퓨터 생성 정보를 디스플레이하는 광 혼합기(optical mixer)를 사용하여, 증강 현실 경험을 이룰 수 있다. 다른 구현에서, 시스템(102)은 비디오 카메라로부터의 비디오 정보를 컴퓨터 생성 정보와 혼합하는 광 혼합기와 함께, 실제 환경을 캡처하기 위한 비디오 카메라를 사용할 수 있다. 어느 경우에나, 시스템(102)은 환경 내의 사용자의 위치를 검출하는 하나 이상의 장치, 사용자의 머리의 위치 및 방향을 검출하는 하나 이상의 장치, 및/또는 사용자의 시선의 방향을 검출하는 하나 이상의 장치를 사용하여, 사용자의 추정된 시야를 결정할 수 있다.
또 다른 경우에, 헤드셋 외에, 또는 헤드셋에 추가하여, 다른 유형의 착용식 장치가 전술한 임의의 기능들을 수행할 수 있다. 예를 들어, 착용식 장치는 손목에 장착된 장치, 의류 품목 등에 해당할 수 있다.
설명을 단순화하기 위해, 다음의 설명은 사용자가 도 6에 도시된 기본 유형의 헤드셋(108)과 상호 작용한다고 가정할 것이지만, 반복하면, 헤드셋(108)은 (머리 장착 디스플레이와 같은) 전술한 임의의 개수의 보완적인 특징들을 포함할 수 있다. 나아가, 헤드셋 대신에 또는 헤드셋에 추가하여, 다른 유형의 착용식 장치가 사용될 수 있다.
도 7은 도 1의 시스템(102)을 구현하는 하나의 방식을 도시한다. 이 구현에서, 시스템(102)은 사용자 컴퓨팅 장치(702, 간결성을 위해 "사용자 장치") 및 헤드셋(704) 모두를 사용한다. 보다 구체적으로, 기능들의 하나의 할당에 따라, 사용자 장치(702)는 시스템(102)의 기능부의 대부분을 구현한다. 즉, 사용자 장치(702)는 SI 모듈(302)과, 임의의 방향, 움직임 및/또는 위치 결정 메커니즘(708), 임의의 터치-감지 입력 메커니즘(710), 임의의 촉각 출력 메커니즘(712), 임의의 디스플레이 출력 메커니즘(714) 등을 포함하는 입/출력 메커니즘들의 집합(706)을 포함한다. 이러한 메커니즘의 예는 도 3의 설명과 관련하여 위에서 제공되었다. 또한, 사용자 장치(702)는 전원(716, 예를 들어, 배터리)과, 헤드셋(704)과 통신하기 위한 하나 이상의 통신 메커니즘(718)을 포함한다.
한편, 헤드셋(704)은 단지 (골전도 오디오 메커니즘과 같은) 하나 이상의 오디오 출력 메커니즘(720), (배터리와 같은) 전원(722), 및 사용자 장치(702)와의 통신을 위한 하나 이상의 통신 메커니즘(724)을 포함한다. 또한, 헤드셋(704)은 도 6과 관련하여 전술한 임의의 유형의 입력 메커니즘(726)을 포함할 수 있다(예를 들어, 도 6의 입력 메커니즘(608)에 대응함). 통신 메커니즘(724)은 입력 장치(726)에 의해 호출된 명령을 사용자 장치(702)에 전송할 수 있다. 사용자 장치(702)는 다시 오디오 출력 메커니즘(들)(720)에 의한 프레젠테이션을 위해 오디오 정보를 헤드셋(704)으로 전송할 수 있다.
도 8은 시스템(102)을 구현하는 또 다른 방법을 도시한다. 여기서, 시스템(102)은 도 7의 헤드셋(704)과 비교하여 더 많은 처리 성능을 갖는 헤드셋(802)을 포함한다. 실제로, 일 구현에서, 헤드셋(802)은 임의의 별도의 사용자 장치(106)를 사용하지 않고 시스템(102)의 모든 공간-상호 작용-관련 양태들을 수행할 수 있다. 다른 구현에서, 헤드셋(802)은 여전히 별도의 사용자 장치(106, 도 8에는 도시되지 않음)와 상호 작용할 수 있다. 그 별도의 사용자 장치(106)는 도 7의 사용자 장치(702)의 모든 구성 요소 또는 그 임의의 부분 집합을 포함할 수 있다.
보다 구체적으로, 도 8의 경우의 헤드셋(802)은 도 4와 관련해서 전술한 기능들의 임의의 부분 집합을 수행하는 헤드셋-측 SI 모듈(804)을 포함할 수 있다. 또한, 헤드셋(802)은 임의의 방향, 움직임 및/또는 위치 결정 메커니즘(806)을 포함할 수 있다. 이들 메커니즘은, 사용자의 주의 집중 방향을 반영할 수 있는 사용자의 머리의 물리적인 자세 또는 움직임을 결정하기 때문에, 일반적으로 머리-감지 메커니즘으로 아래에서 지칭된다. 또한, 헤드셋(802)은 도 6과 관련해서 전술한 임의의 유형의 입력 메커니즘(808)을 포함할 수 있다. 또한, 헤드셋(802)은 (시스템(102)이 이 구현에서 이런 사용자 장치(106)를 이용하는 경우, 시스템이 필요로 하지 않는) 전원(810), 및 사용자 장치(106)와 상호 작용하기 위한 하나 이상의 통신 메커니즘(812)을 포함할 수 있다. 또한, 헤드셋(802)은 전술한 임의의 유형(들)의 오디오 출력 메커니즘(들)(814)을 포함한다.
하나의 동작 모드에서, 도 8의 시스템(102)은 헤드셋(802)에서 제공된 머리-감지 메커니즘이 제공되어 적절하게 작동할 때 이를 이용할 수 있다. 헤드셋(802)에 의해 제공되는 머리-감지 메커니즘은, 머리-감지 메커니즘이 사용자의 방향, 움직임 및/또는 위치를 보다 정확하게 반영할 수 있기 때문에, 사용자 장치(106)에 의해 제공되는 상대 감지 메커니즘보다 바람직할 수 있다. 나아가, 머리-감지 메커니즘의 사용으로 인해 사용자가 자신의 방향, 움직임 및/또는 위치를 등록하기 위해 사용자 장치(106)와 상호 작용할 필요가 사라진다.
경우에 따라서, 헤드셋(108)은 머리-감지 메커니즘에 의해 생성된 정보를 사용자 장치(106)에 선택적으로 전달할 수 있다. 사용자 장치(106)는 이 정보를 사용하여 처리를 수행한 다음, 그 처리 결과를 다시 헤드셋(802)으로 전달할 수 있다. 그 다음에 헤드셋(802)은 그 결과를 전달하는 골전도 기술을 통해 사용자의 귀에 소리를 전송할 수 있다. 또 다른 경우에, 헤드셋-측 SI 모듈(804)은 머리-감지 메커니즘에 의해 제공되는 정보를 사용자 장치(106)로 전달할 필요 없이 이러한 처리를 수행할 수 있다. 또 다른 경우에, 헤드셋-측 SI 모듈(804)은 일부 동작들을 기본적으로 수행하고, 다른 동작들을 수행하기 위해 사용자 장치(106)에 의존할 수 있다. 예를 들어, 이들 동작들이 헤드셋(108)에 비해 사용자 장치(106)에서 보다 효율적으로 수행될 수 있기 때문에, 헤드셋-측 SI 모듈(804)은 (예를 들어, 3 차원 사운드의 계산과 같은) 계산 집약적인 동작을 실행하기 위해 사용자 장치(106)에 의존할 수 있다.
또 다른 경우에, 시스템(102)은 상대 구성 요소가 헤드셋(802)에서 적절하게 작동하지 않는 경우에, 사용자 장치(106)에 의해 제공되는 방향 결정 메커니즘(들), 움직임 결정 메커니즘(들) 및/또는 위치 결정 메커니즘(들)을 이용할 수 있다.
또 다른 경우에, 시스템(102)은, 예를 들어, 한 장치의 센서 판독값을 사용하여 다른 장치의 센서 판독값에서 명백한 오류를 식별하고 및/또는 센서 판독값의 두 개의 다른 버전의 평균을 형성함으로써, 헤드셋(802) 및 사용자 장치(106) 모두에서 제공되는 센서 판독값을 이용할 수 있다.
도 7 및 도 8의 구현들 중 어느 하나에서, 헤드셋들(예를 들어, 704, 802) 및/또는 사용자 장치들(예를 들어, 702, 106)에 의해 수행되는 기능들 중 적어도 일부가, 대안적으로 또는 부가적으로, (예를 들어, 클라우드 컴퓨팅 자원에 대응하는) 도 1의 원격 처리 자원들(112)에 의해 실행될 수 있다.
도 9는 사용자(902)가 차량 내의 사용자 장치(904)와 상호 작용하는 시나리오를 도시한다. 도 9에 구체적으로 도시되지는 않았지만, 사용자(902)는 또한 사용자의 귀를 막지 않고 오디오 정보를 사용자에게 중계하는 골전도 헤드셋을 사용할 수 있다. 보다 일반적으로, 도 9는 전술한 기능부가 전술한 경우들보다 부가적인 사용 시나리오에 적용될 수 있는 보다 일반적인 포인트의 일례이다.
도 9의 경우에, 사용자(902)는 마운트(906)를 사용하여 차량의 계기판-영역 위에 사용자 장치(904)를 장착한다. 사용자(902)는 (도 9에 도시된 바와 같은) 차량의 운전자 또는 승객일 수 있다. 전원 코드(908)는 차량에 의해 제공된 전원 콘센트로부터 사용자 장치(904)로 전력을 전달할 수 있다.
도 10은 도 6에 도시된 장비의 하나의 동작 방식을 설명하는 프로세스(1004)를 도시한다. 블록(1004)에서, 시스템(102)은 (예를 들어, 도 6에 도시된 헤드셋 입력 메커니즘들(608) 중 하나의 사용자의 구동에 기초하여) 적어도 하나의 헤드셋 입력 메커니즘의 사용자 구동의 결과로서 지시를 수신한다. 블록(1006)에서, 시스템(102)은 블록(1004)에서 제공된 지시에 기초하여 기능을 수행하여 출력 결과를 제공한다. 블록(1006)은 헤드셋(108) 및/또는 사용자 장치(106)에 의해 수행될 수 있다. 블록(1008)에서, 헤드셋(108)은 출력 결과를 적용하여 오디오 정보를 제공하고, 이는 사용자가 공간 내에서, 경로 상에서 네비게이션하는 것을, 또는 보다 일반적으로는, 공간과 상호 작용하는 것을 돕는다.
요약하면, 상기 특징들은 사용자가 자신의 환경을 안전하고 효율적으로 이동할 수 있게 하는 상기 목적에 기여한다. 예를 들어, 상기 특징들은 사용자가 환경을 통해 이동할 때 사용자를 과하게 산만하게 하지 않고, 예를 들어, 사용자가 별도의 사용자 장치에 액세스하여 상호 작용할 필요 없이, (예를 들어, 헤드셋(108)의 사용자 입력 메커니즘(608)과 상호 작용함으로써) 사용자가 다양한 동작 모드를 활성화할 수 있는 편리한 방법을 제공한다.
C. 사용자와 환경 간의 상호 작용을 용이하게 하기 위한 예시적인 사용자 인터페이스 기능부
이 섹션은 도 4 및 도 5의 애플리케이션 인터페이스 모듈(402)의 동작의 한 방식에 관한 예시적인 세부 사항을 제공한다. 반복하면, 애플리케이션 인터페이스 모듈(402)은 사용자가 SI 모듈(302)의 다양한 구성 요소와 상호 작용할 수 있게 한다. 애플리케이션 인터페이스 모듈(402)을 반복해서 참조하는 것을 용이하게 하기 위해, 이 섹션은 AIM(402)과 같이 축약된 형태로 이 구성 요소를 참조할 것이다. AIM(402)은 개별 구성 요소, 또는 시스템(102)의 실제 구현에서 둘 이상의 구성 요소에 의해 수행되는 기능들의 집합을 지칭할 수 있다.
다시, 사용자 인터페이스 경험은 상이한 구성 요소 또는 양태를 갖는다. 하위 섹션 C.1은 AIM(402)이, 예를 들어, 사용자 장치(106)에 의해 제공되는 것과 같은, 시각적인 사용자 인터페이스 프레젠테이션을 통해 사용자로 하여금 SI 모듈(302)과 상호 작용하게 하는 하나의 예시적인 방식에 관한 세부 사항을 제공한다. 하위 섹션 C.2는 AIM(402)이 다양한 사운드와 촉각 피드백 신호를 사용자에게 제공할 수 있는 하나의 예시적인 방식에 관한 세부 사항이다. 하위 섹션 C.3은 AIM(402)이 사용자로 하여금 음성 명령을 통해 SI 모듈(302)과 상호 작용할 수 있게 하는 하나의 예시적인 방식에 관한 세부 사항을 제공한다.
다음의 설명은, 예를 들어, 도 2의 예에서와 같이, 공간에서 사용자가 하는 여행의 컨텍스트에서 AIM(402)을 기술한다는 점에 일반적으로 유의하자. 그러나 AIM(402)은, 사용자가 애드혹(ad hoc) 방식으로 공간을 탐색하기 위한 목적으로 준비된 경로 없이 공간을 방황하는 경우를 포함하는, 사용자가 공간과 상호 작용하는 다른 시나리오들에서 유사한 서비스를 제공한다. 추가적으로, 후술된 사용자 인터페이스 특징은 본질적으로 범용이기 때문에, 사용자와 공간의 상호 작용과 반드시 관련되지는 않는 다른 컨텍스트에도 적용될 수 있다.
또 다른 서문으로서, 본 설명은 제스처-관련 액션에 응답하여 AIM(402)에서 취해진 대응 동작과 함께, 사용자에 의해 수행되는 제스처-관련 액션을 기술함으로써 AIM(402)에 의해 해석되는 많은 제스처를 설명한다. 도 5와 관련하여 보다 상세하게 전술된 바와 같이, AIM(402)은 각각의 경우에, (a) 예를 들어, 사용자가 분명한 플릭 제스처 등을 취할 때, 사용자에 의해 수행된 제스처를 설명하는 입력 정보 검출, (b) 사용자가 호출한 특정 제스처를 결정하기 위해, 입력된 정보를 알려진 제스처와 연관된 저장 패턴과 비교, 및 (c) 검출된 제스처와 연관된 동작 실행에 의해 이 작업을 수행한다. 이러한 개별 작업에 대한 명시적인 설명은 간결함을 위해 이하에서 많은 경우에 생략된다.
C.1. 시각적 경험: 작업 공간 및 메뉴와의 상호 작용
하나의 접근 방법에서, AIM(402)은 마스터 작업 공간을 더 작은 작업 공간의 집합으로 구성한다. 작업 공간은 서로에 대해 위치 관계가 있다. 사용자가 그 영역과의 반복되는 만남을 통해 물리적 공간의 영역에 익숙해지는 것처럼, 이 구조는 사용자로 하여금 애플리케이션 구성의 모습을 머릿속에 떠올릴 수 있게 해주므로 유익하다. 이 기능은 다시, 사용자가 찾고자 하는 정보 및/또는 기능부에 효율적으로 액세스할 수 있게 한다.
예를 들어, 도 11은 AIM(402)이 마스터 작업 공간을 5 개의 작은 작업 공간으로 구성하는 예를 도시한다. 홈 작업 공간(1102)은 여행을 수행하는 동안 사용자의 상호 작용에서 중심점의 역할을 한다. 예를 들어, 아래에서 설명되는 바와 같이, 홈 작업 공간(1102)은 여행의 각 특정 포인트에서 또는 공간과의 임의의 다른 상호 작용에서 사용자의 현재 컨텍스트에 관한 정보를 제공한다. 사용자가 여행을 아직 시작하지 않았다면, 홈 작업 공간(1002)은 디폴트 허브 페이지를 제공할 수 있다.
메인 작업 공간(1104)은 홈 작업 공간(1102)의 좌측에 놓이고, "내 근처" 작업 공간(1106)은 홈 작업 공간(1102)의 우측에 놓인다. 정보 작업 공간(1108)은 홈 작업 공간(1102)의 위에 있으며, 설정 작업 공간(1110)은 홈 작업 공간(1102)의 아래에 위치한다. 이들 작업 공간의 각각의 역할이 이하에서 보다 상세하게 설명될 것이다.
전술한 각각의 작업 공간의 위치는 제한이 아닌 예시의 정신으로 설명된다. 다른 구현에서 작업 공간의 다른 배치를 제공할 수 있다. 또한, 다른 구현에서 AIM(402)에 의해 제공되는 작업 공간의 개수를 다양하게 할 수 있다. 예를 들어, 다른 구현에서는 홈 작업 공간(1102)에 대해 대각선으로 위치된 작업 공간을 제공함으로써 또 다른 4 개의 작업 공간을 제공할 수 있다.
도 12는 사용자가 홈 작업 공간(1102)에서 메인 작업 공간(1104)으로 네비게이션할 수 있는 하나의 방식을 도시한다. 이런 비제한적인 경우에, 사용자는 홈 작업 공간(1102) 상에서 플릭-라이트(flick-right) 제스처를 실행하여 메인 작업 공간(1104)을 네비게이션한다. 도시되지는 않았지만, 사용자는 플릭-레프트(flick-left) 제스처(또는 다른 플릭-라이트 제스처)를 실행하여 메인 작업 공간(1104)에서 다시 홈 작업 공간(1102)으로 이동할 수 있다.
유사한 방식으로, 사용자는 "내 근처" 작업 공간(1106)을 네비게이션하기 위해 홈 작업 공간(1102) 상에서 플릭-좌측 제스처를 실행할 수 있다. 사용자는 홈 작업 공간(1102) 상에서 플릭-다운 제스처를 실행하여 정보 작업 공간(1108)을 네비게이션할 수 있고, 사용자 작업 공간(1102)에서 플릭-업 제스처를 실행하여 설정 작업 공간(110)을 네비게이션할 수 있다. 사용자는, 예를 들어, 사용자 장치(106)를 들고 있는 손의 엄지 손가락을 사용하여, 예를 들어, 사용자 장치(106)의 터치 감지 표면 상에 엄지 손가락을 위치시키고 소망의 방향으로 플릭으로써, 이러한 제스처들 중 임의의 것을 수행할 수 있다. 플릭 동작에서, 사용자는 하나 이상의 손가락으로 터치 감지 표면과 접촉하고, 손가락(들)을 표면을 가로질러 거리를 이동시킨 후, 표면에서 손가락(들)을 제거하며, (마치 평평한 표면을 가로질러 물체를 튀기는 것처럼) 이들 모두는 상대적으로 빨리 연속된다.
일 구현에서, 임의의 주변 영역을 네비게이션하기 위해, 사용자는 먼저 홈 작업 공간(1102)을 네비게이션할 것으로 예상된다. 그러나, 다른 구현에서, AIM(402)은 사용자로 하여금 먼저 홈 작업 공간(1102)으로 이동하지 않고 하나의 주변 영역에서 다른 주변 영역으로 네비게이션하게 할 수 있다.
보다 일반적으로, 이 섹션의 모든 예들에서, 디스플레이의 표면 상의 점선 원은 사용자가 손가락으로 표면과 접촉하는 포인트를 나타낸다. 경우에 따라서, 디스플레이 표면에 크기가 다른 두 개의 점선 원이 표시될 것이다. 두 개의 원 중에서 큰 원은 사용자가 자신의 손가락을 누른 위치를 나타내며, 두 개의 원 중에서 작은 부분은 사용자가 자신의 손가락를 제거한 위치를 나타낸다. 다른 경우(도시되지 않음)에, 사용자는 둘 이상의 위치에서 (예를 들어, 핀치 형 제스처를 실행하기 위해) 터치 감지 표면을 동시에 터치하는 것을 포함하는 적어도 하나의 제스처를 취할 수 있다. 다른 경우(도시되지 않음)에, 사용자는 실제로 터치하지 않고 장치의 표면 위로 마우스를 호버링함으로써 적어도 하나의 제스처를 수행할 수 있다. 다른 경우(도시되지 않음)에, 사용자는 비디오 카메라 및/또는 깊이 카메라 등에 의해 검출될 수 있는 자유 공간 제스처를 수행할 수 있다.
마지막 서문으로서, 이 섹션은 특정 제스처, 메뉴 구조 및 메뉴 항목을 모두 예시적으로, 그러나 제한하지 않게 설명한다. 다른 구현에서는 이러한 사용자 인터페이스 기능의 임의의 양태들을 다양하게 할 수 있다. 예를 들어, 다른 구현(도시되지 않음)에서, AIM(402)은 사용자가 탭-유형의 제스처를 사용하여 또는 디스플레이의 표면 상에 특정 형상을 그림으로써 작업 공간 간에 전환하게 할 수 있다.
도 13-16은 홈 작업 공간(1102)에 제공될 수 있는 정보의 유형들을 도시한다. 전술한 바와 같이, 홈 작업 공간(1102)은 경로 상에서 네비게이션하거나 아니면 공간과 상호 작용할 때 사용자의 관심의 주된 초점으로서 작용한다. 도 13에 도시된 바와 같은 디폴트 상태에서, 홈 작업 공간(1102)이 허브 페이지를 나타낼 수 있다. 메뉴 구조의 특정 특성, 및 그 구조 내의 메뉴 항목은 아래에서 설명될 것이다.
사용자의 여행 중에, 홈 작업 공간(1102)은 사용자의 현재 컨텍스트에 관한 정보를 표시할 수 있다(사용자의 요청에 따라 여행 중에 홈 작업 공간(1102)에 다른 정보가 제시될 수도 있다). 예를 들어, 도 14의 경우에, 사용자가 현재 기차를 타고 있다고 가정하자. 홈 작업 공간(1102)은 기차 내의 사용자 경험에 초점을 맞춘 메뉴를 제공할 수 있다. 도 15에서, 사용자가 특정 거리를 현재 걷고 있다고 가정하자. 디폴트로, 홈 작업 공간(1102)은 거리에서의 사용자 경험에 관한 정보를 제공할 것이다. 예를 들어, 홈 작업 공간(1102)은 거리에서 사용자의 현재 위치(1502)를 보여주는 지도를 제공할 수 있다. 대안적으로, 사용자는 AIM(402)과 상호 작용하여 도 14에 도시된 유형의 메뉴를 생성할 수 있으며, 여기서 이 메뉴는 이제 거리를 걷는 동안 사용자의 경험과 관련된 메뉴 항목을 포함할 것이다. 상기 동작의 덕분에, AIM(402)은 환경에서의 사용자의 현재 컨텍스트에서 사용자에게 가장 적합한 정보를 표면화하여, 그 정보를 홈 작업 공간(1102) 안에 제공하고, 따라서, 사용자는 가장 적합한 정보를 "사냥"할 필요 없이, 예를 들어, 성가신 메뉴 구조를 네비게이션할 필요 없이, 쉽게 찾아서 소비할 수 있다. 이러한 특징은 또한 사용자를 산만하게 만드는 것을 감소시켜서, 시스템(102)의 안전에 기여한다.
그럼에도 불구하고, 사용자는 AIM(402)과 상호 작용하여 사용자의 바로 인근 주변 환경에 관련되지 않는 정보를 홈 작업 공간(1102)에서 프레젠테이션되도록 활성화할 수 있다. 예를 들어, 사용자는, 예를 들어, 탭 메뉴 옵션을 활성화하여, 탭 메뉴를 활성화할 수 있으며, 이는 후술될 것이다. 이에 응답하여, AIM(402)은 도 16에 도시된 탭 메뉴를 제공할 것이다. 탭 메뉴에는 이전에 열린 메뉴에 해당하는 열린 탭들의 집합이 표시된다. 이러한 탭 메뉴 중 일부는 사용자가 이미 완료한 이전 여행 세그먼트에 관한 정보에 해당할 수 있다. 사용자는 그러한 탭-관련 메뉴 항목을 활성화할 수 있다. 이에 응답하여, AIM(402)은 홈 작업 공간(1102)에서 이전의 여행 단계에 관한 정보를, 예를 들어, 메뉴 또는 일부 다른 포맷의 형태로 나타낼 수 있다. 또한, 메뉴 구조는 사용자가 아직 여행 중에 마주치지 않은 미래의 여행 단계를 사용자의 요청에 따라 조사할 수 있게 한다.
또한, 여행에 착수한 후에도, 사용자는 도 13에 도시된 허브 메뉴로 되돌아가도록 AIM(402)에게 지시할 수 있어서, 예를 들어, 사용자가 그 디폴트 허브 메뉴에 특정된 정보 및/또는 기능부에 액세스할 수 있게 된다.
상기의 예에서의 더 명확한 설명으로서, 현재의 컨텍스트는 사용자의 전체적인 여행에서 물리적인 위치 또는 세그먼트에 관련이 있다. 다른 경우, 홈 작업 공간(1102)은 가상 공간의 사용자 탐색에 관한 컨텍스트 정보를 제공할 수 있다. 예를 들어, 사용자는 상점에서 제공하는 제품들의 계층 구조 내에서 탐색할 수 있다. 이 시나리오에서, 홈 작업 공간(1102)은 제품 그룹, 개별 제품 등과 관련된 메뉴를 제공할 수 있다.
일반적으로 말해서, 도 13-16에 도시된 전술한 유형의 메뉴들은 기본 메뉴(primary menu)에 해당한다. AIM(402)은 홈 작업 공간(1102)에 이런 유형의 메뉴를 디스플레이한다. 이와 대조적으로, AIM(402)은 홈 작업 공간(1102)의 주변에 놓인 다른 작업 공간에 보조 메뉴를 제시한다. 도 17-20은 이러한 주변 작업 공간에 제공될 수 있는 예시적인 보조 메뉴를 도시한다.
예를 들어, 도 17은 메인 작업 공간(1104)에 프레젠테이션하기 위한 메인 메뉴를 도시한다. 메인 메뉴는 SI 모듈(302)의 상이한 양태들과 상호 작용할 때 통상적으로 사용되는 액션들을 식별한다. 도 18은 설정 작업 공간(1110)에 프레젠테이션하기 위한 설정 메뉴를 도시한다. 설정 메뉴는 사용자로 하여금 SI 모듈(302)의 동작에 영향을 미치는 다양한 파라미터를 변경하게 할 수 있다. 도 19는 정보 작업 공간(1108)에 프레젠테이션하기 위한 정보 메뉴를 도시한다. 정보 메뉴는 잔여 배터리 수명, 신호 세기와 같은 시스템 정보에 대한 편리한 액세스를 제공한다. 정보 메뉴는 대중 교통 서비스의 실시간 업데이트와 같은 알림 및 기타 유용한 경고 정보 및 여행 정보에 대한 편리한 포털을 제공한다.
도 20은 "내 근처" 작업 공간(1106)에 프레젠테이션되는 "내 근처" 메뉴를 제공한다. "내 근처" 메뉴는 도 4의 RID 모듈(426)에 의해 식별된 바와 같이, 현재 사용자와 가까운 거리에 있는(아니면 사용자의 현재 컨텍스트와 연관된) 컨텍스트 관심 항목(IOI)에 관한 정보를 제공한다. 사용자는 설정 메뉴를 사용하여 무엇이 "근처" 컨텍스트 IOI를 구성하는지를 결정하는 최대 거리를 지정할 수 있다. 각각의 컨텍스트 IOI는 그 이름, ("음식 및 음료" 카테고리와 같은) 해당 카테고리 및 사용자와의 거리에 의해 "내 근처" 메뉴에서 식별된다. 사용자는 이러한 메뉴에서 항목을 활성화하여, SI 모듈(302)로 하여금 이 컨텍스트 IOI에 관한 오디오 정보를 제공하게 할 수 있다. 그 오디오 정보는, 전달 시에, 컨텍스트 IOI와 관련된 개체가 물리적 공간에서 발견될 수 있는 것과 동일한 방향에서 발생하는 것처럼 보이는 3 차원 사운드 정보로 표현될 수 있다.
도 21은 홈 작업 공간(1102)에 제공될 수 있는 임시 메뉴의 일례를 도시한다. 예를 들어, 사용자는 먼저 도 19에 도시되고 정보 작업 공간(118)에 제공된 정보 메뉴를 네비게이션함으로써 이런 임시 메뉴를 활성화할 수 있다. 다음으로, 사용자는 그 메뉴에서 "알림" 메뉴 항목을 활성화할 수 있다. 이에 응답하여, AIM(402)은 도 21에 도시된 임시 메뉴를 제공할 수 있다.
도 22는, 대조적으로, 오버레이 메뉴의 일례를 도시한다. 이 특정 예에서, 사용자는, 설정 작업 공간(1110)에 프레젠테이션된 바와 같이, 도 18에 도시된 설정 메뉴로 먼저 진행함으로써 오버레이 메뉴를 활성화할 수 있다. 그런 다음, 사용자는 그 메뉴에서 "컨텍스트 인식" 메뉴 항목을 활성화할 수 있다. AIM(402)은 도 22에 도시된 오버레이 메뉴를 제시함으로써 사용자의 액션에 응답한다. 도 21에 도시된 임시 메뉴와 달리, 도 22에 도시된 오버레이 메뉴는 홈 작업 공간(1102)가 아닌 설정 작업 공간(1110)에서 도 18에 도시된 설정 메뉴의 "위에" 제공된다. 또한, 오버레이 메뉴 및 임시 메뉴는, 후술되는 바와 같이, "뒤로가기" 명령의 실행에 응답하여 다른 동작들을 나타낼 수 있다.
도 22의 특정 경우에, 오버레이 메뉴는 사용자가 SI 모듈(302)에 의해 제공된 컨텍스트 인식의 레벨을 변경하게 할 수 있다. 예를 들어, 이 메뉴를 통해, 사용자는 사용자에게 전달되는 정보의 양을 결정하는 파라미터값을 설정할 수 있다. 경우에 따라서, 사용자는 자신의 현재 컨텍스트에 잠재적으로 적합한 모든 정보를 수신하기로 선택할 수 있다. 다른 경우, 사용자는 중요도가 높은 것으로 간주되는 경고 및 기타 정보 항목만을 수신하도록 선택할 수 있다.
도 23은 사용자가 자신의 현재 컨텍스트에 관한 정보를 사용자의 여행 중에 임의의 시점에서 제공하도록 SI 모듈(302)에게 지시할 수 있는 하나의 방법을 나타낸다. 하나의 비제한적인 경우에 따르면, 사용자는 표면 상의 임의의 위치에서 사용자 장치(106)의 터치 감지 표면 상의 싱글 탭 제스처를 취하기 위해 손가락(예를 들어, 엄지 손가락)을 사용할 수 있다. 이 제스처를 검출하는 것에 응답하여, SI 모듈(302)은 사용자의 현재 컨텍스트에 관한 상위 레벨의 정보를 음성 메시지로서 제공할 수 있다. 예를 들어, SI 모듈(302)은 이 컨텍스트에 적합한 컨텍스트 메뉴의 제목을 안내할 수 있다. 예를 들어, 도 14의 예시에서, SI 모듈(302)은 "객차 E: 런던 패딩턴"을 안내할 수 있다.
대안으로, 사용자는 더블 탭 제스처를 취할 수 있다. 이 제스처를 검출하는 것에 응답하여, SI 모듈(302)은 사용자의 현재 컨텍스트에 관한 보다 상세한 정보를 다시 음성 메시지로서 제공할 수 있다. 예를 들어, 더블 탭 시에, SI 모듈(302)은 도 14에 도시된 메뉴에서 메뉴 항목을 안내할 수 있다.
다음으로, 사용자가 트리플 탭 제스처를 수행한다고 가정하자. 이러한 제스처를 감지하는 것에 응답하여, SI 모듈(302)은 도 14에 도시된 메뉴 유형과 상호 작용하는 방법을, 만일 그 메뉴가 실제로 사용자의 현재 컨텍스트와 관련이 있는 경우, 사용자에게 알려주라는 지시를 안내할 수 있다. 예를 들어, 이 지시는 사용자에게 메뉴를 활성화하는 방법, 메뉴 내에서 탐색하는 방법, 메뉴 내에서 메뉴 항목을 선택하는 방법 등을 알릴 수 있다.
도 24를 참조하면, 이 도면은 사용자가 메뉴를 어떻게 활성화할 수 있는지, 그리고 이어서 사용자가 어떻게 메뉴와 상호 작용할 수 있는지를 보여준다. 하나의 비제한적인 경우에, 사용자는 사용자 장치(106)의 터치 감지 디스플레이 표면의 표면 상의 어디에선가 탭-앤드-홀드 제스처를 취함으로써 도 24에 도시된 메뉴를 활성화할 수 있다. 예를 들어, 도 24에 도시된 바와 같이, 점선으로 표시된 원(2402)은 사용자가 터치 감지 표면의 표면 상에 자신의 엄지 손가락을 탭-앤-홀드한 위치를 나타낸다.
이런 제스처를 검출하는 것에 응답하여, AIM(402)은 메뉴(2404)를 제공한다. 메뉴는 사용자가 (터치 위치에 대응하는) 표면을 터치한 표면 상의 (디스플레이 위치에 대응하는) 포인트의 중심에 위치한다. 사용자는 메뉴(2404)를 활성화하기 위해 사용자 인터페이스 프레젠테이션에서 특정 구성 요소를 물색할 필요가 없으므로 이 특징이 유용할 수 있다. 오히려, 사용자는 표면 상의 어느 곳에서나 탭-앤-홀드 제스처를 취할 수 있다. 이 특징은 다시 시스템(102)을 사용함에 있어서 사용자에게 주어지는 혼란을 감소시킨다. 그러나 모든 위치가 메뉴(2404)를 성공적으로 활성화시키는 것은 아니다. 예를 들어, 사용자가 표면의 맨 위 또는 맨 아래에 너무 가깝게 두드린다면, AIM(402)은 사용자에게 (예를 들어, 음성 메시지로서) 오류 메시지를 선택적으로 제공하여, 사용자에게 표면의 중간에 더 가까이에서 탭-앤-홀드 제스처를 반복하도록 요청할 수 있다.
지금까지 예시된 메뉴는 특정한 균일(uniform) 메뉴 구조를 갖는다. 도 24에 도시된 메뉴(2404)도 동일한 구조를 가지며, 이에 대해 이제 후술될 것이며, 이 구조는 제한이 아닌 예시의 정신으로 설명된다. 다른 구현이 다른 메뉴 구조 및 동작을 채택할 수 있다. 예를 들어, 이 하위 섹션은 도 24의 메뉴(2404)와 비교하여 다른 메뉴 구조를 채택하고 다른 메뉴 동작을 나타내는 구현의 예와 함께 종료될 것이다. 또한, 본원에서 설명된 메뉴는 선형 목록의 형태로 메뉴 항목을 제공하지만, 다른 방법으로 그들의 메뉴 항목을 제공하는 다른 메뉴(예를 들어, 방사형 또는 파이 메뉴 등)가 사용될 수 있다.
도 24에 도시된 메뉴 구조는 마커 항목(marker item, 2406)에 의해 분리된 두 개의 메뉴 항목 그룹을 갖는다. 보다 구체적으로, 메뉴 항목의 제 1 그룹(2408)은 사용자의 현재 컨텍스트 또는 현재 작업에 특히 관련된 메뉴 항목을 제공한다. 메뉴 항목의 제 2 그룹(2410)은 상이한 작업 공간에 제공될 수 있는 다수의 유형의 메뉴에 적합한 메뉴 항목을 나타내므로 글로벌 또는 일반 메뉴 항목으로 지칭될 수 있다. 예를 들어, 제 2 그룹(2410) 내의 메뉴 항목인 "그만 듣기" 명령은 상이한 메뉴 및 작업 공간에 걸쳐 적합하지만, 제 1 그룹(2408)의 메뉴 항목인 "항목 A"는 그것이 어떤 작업이든 사용자가 메뉴(2404)와 상호 작용함으로써 완수하고자 하는 작업에 특히 적합하기 때문에 선택될 수 있다.
그러나, 제 2 그룹(2410)은 특정 메뉴에 적합하지 않은 특정 글로벌 선택을 생략할 수 있다. 예를 들어, 사용자가 이미 "탭" 메뉴를 보고 있는 경우, 해당 메뉴와 관련된 제 2 그룹은 (사용자가 이미 해당 메뉴를 보고 있기 때문에) 사용자가 탭 메뉴에 액세스할 수 있게 하는 메뉴 옵션을 생략할 수 있다.
(제 1 그룹(2408) 또는 제 2 그룹(2410) 중 하나에서) 상이한 메뉴 항목은 선택 시에 상이한 동작을 호출한다. 예를 들어, 제 1 유형의 메뉴 항목은 선택 시에 액션을 호출할 수 있다. 예를 들어, "듣기 시작" 메뉴 항목은, 호출될 때, 사용자의 음성 명령을 듣기 시작하도록 SI 모듈(302)에 지시한다. 제 2 유형의 메뉴 항목은, 호출될 때, 배터리 상태 정보 등과 같은 정보를 제공할 수 있다. 제 3 유형의 메뉴 항목은, 그 메뉴 항목이 호출될 때, 사용자가 속성값을 변경할 기회를 제공할 수 있다. 예를 들어, 경우에 따라서, 사용자가 이런 유형의 메뉴 항목을 활성화하면 오버레이 메뉴가 활성화될 수 있다. 그런 다음 사용자는 오버레이 메뉴와 상호 작용하여 고려 중인 속성값을 변경할 수 있다. 다른 경우에, 사용자가 이러한 유형의 메뉴 항목을 활성화하면, 예를 들어, 설정을 "on" 상태에서 "off" 상태로 또는 그 반대로 전환하여 속성값을 직접 변경할 수 있다. 또 다른 유형의 메뉴 항목 및 관련 호출 동작이 가능하다.
마커 항목(2406)은 "없애려면 손을 떼기(release to dismiss)" 메시지를 디스플레이한다. 즉, 사용자가 다른 메뉴 항목이 아닌 마커 항목(2406) 상에 위치하는 동안 자신의 손가락을 떼었다고 가정하면, 이 메시지는 사용자가 어떤 메뉴 항목도 선택하지 않아도 터치 감지 표면의 표면으로부터 손가락을 떼어낼 수 있음을 사용자에게 알려준다. 이러한 제스처에 응답하여, AIM(402)은 원래의 비활성화 상태로 메뉴(2412)를 디스플레이할 수 있다. 그 메뉴(2412)의 마커 항목(2414)은 사용자가 탭-앤-홀드 제스처를 실행하여 메뉴(2404)를 그 활성 상태로 재활성화하도록 요청하는 "탭 앤 홀드" 메시지를 제공한다.
도 25로 가서, 사용자는 메뉴(2404)를 비활성화하는 대신에 제 1 그룹(2408) 내의 항목들을 스크롤업하기로 결정한다고 가정하자. 사용자는 자신의 손가락을 터치 감지 표면 상에 유치하면서 손가락을 위쪽 방향으로 움직여 이 액션을 수행할 수 있다. 이에 응답하여, AIM(402)은 도 25에 도시된 메뉴 상태(2502)를 생성할 수 있다. 특히, AIM(402)은 사용자의 제스처에 응답하여, 메뉴 항목을 아래쪽 방향으로 이동시켜, 마커 항목(2406) 대신에 제 1 메뉴 항목(2504)이 강조되게 한다. 이 메뉴 항목(2504)을 선택하기 위해, 사용자는 메뉴 항목(2504)으로부터 자신의 손가락을 떼어낼 수 있다. 대안으로, 사용자는 마커 항목(2406)으로 다시 이동한 다음 그 항목에 위치하는 동안 자신의 손가락을 떼어냄으로써 메뉴를 비활성화시킬 수 있다. 또는 사용자는 메뉴 항목의 제 2 그룹(2410)과 반대 방향으로 스크롤다운할 수 있다. 사용자는 자신의 손가락이 제 2 그룹(2410)의 메뉴 항목 중 하나에 위치하는 동안 손가락을 떼어서 그 메뉴 항목을 선택할 수 있다. 사용자가 환경에서 이동할 때 사용자에게 최소한의 혼란을 주면서 원활하고 유동적인 방법으로 한 손으로 사용자 장치(106)와 상호 작용할 수 있기 때문에, 상기의 사용자 인터페이스 동작이 사용자에게 유익할 수 있다. 예를 들어, 이러한 구현에서, 사용자는 일련의 명령 버튼 또는 메뉴 항목을 물색하여 선택할 필요가 없고, 만일 그랬다면 사용자가 사용자 장치(106)에 특별한 주의를 기울일 것을 요구하게 되었을 것이다.
도 25의 특정 예에서, 사용자가 "추가 항목들" 메뉴 항목(2506)을 선택하기 위해 항목들의 제 1 그룹(2408)의 상단으로 스크롤업한 다음, 이 메뉴 항목(2506)에서 손가락을 뗀다고 가정하자. 이에 응답하여, AIM(402)은 도 26에 도시된 메뉴(2602)를 제공한다. 그 메뉴는 이전 메뉴에 도시된 제 1 그룹(2408)의 연속을 나타내는 메뉴 항목들의 또 다른 제 1 그룹(2604)을 제공하며, 즉, 도 25의 제 1 그룹(2408)이 메뉴 항목 1, 2 및 3을 제공하는 한편, 도 26의 제 1 그룹(2604)은 메뉴 항목 4, 5 및 6을 제공한다. 보다 일반적으로, 메뉴 구조는 메뉴 항목들의 전체 목록을 일련의 링크된 더 작은 목록들로 나타낼 수 있다. 두 개의 링크된 목록들이 도 25 및 도 26의 예에 도시되어 있지만, 전체 목록은 여러 개의 연결된 목록을 통해 형성될 수 있다.
사용자는 "이전 페이지" 메뉴 항목(2606)까지 스크롤업한 다음, 이 항목으로부터 자신의 손가락을 떼어냄으로써, 도 25에 도시된 메뉴 상태(2502)로 되돌아갈 수 있다. 대안으로, 이런 뒤로가기(back) 명령을 실행하기 위해서, 도 26에 도시된 바와 같이, 사용자는 (예를 들어, 점선 원(2608)으로 표시된 바와 같이) 터치 감지 표면의 주변으로 자신의 손가락을 이동시킨 다음, 표면의 중앙을 향해 안쪽으로 플릭할 수 있다. 사용자는 표면의 반대편 가장자리에서 안쪽으로 플릭함으로써 동일한 동작을 실행할 수 있다.
도 26에 도시되지는 않았지만, 메뉴(2606)는, 예를 들어, 일련의 뒤로가기 지시를 발행함으로써 링크된 목록을 통해 연속적으로 뒤로 이동하는 것이 아니라, 일련의 연속된 메뉴 목록의 제 1 페이지로 되돌아가기 위한 (적절한 메뉴 항목을 통한) 옵션을 사용자에게 제공할 수 있다. 또한, 도면에 도시되지 않았지만, 각 그룹은 그룹의 끝을 지정하는 목록-끝 마커 항목을 포함할 수 있다. 사용자는 이 항목으로 이동하여 해당 항목에 있는 동안 손가락을 제거하여 메뉴를 비활성화할 수 있다.
보다 일반적으로, 사용자는 다른 유형의 메뉴에 대해 도 26에 도시된 뒤로가기 제스처 유형을 실행할 수 있고, 이는 다른 유형의 액션을 생성할 수 있다. 예를 들어, 홈 작업 공간(1102)에 제시된 루트(기본) 메뉴에 대한 뒤로가기 액션은, 사용자가 이것이 자신이 의도하는 것임을 확인하면, 사용자가 SI 모듈(302)과 관련된 애플리케이션을 나가게 할 수 있다. 홈 작업 공간(1102)에 제시된 임시 메뉴에 대한 뒤로가기 액션은 AIM(402)이 홈 작업 공간(1102)에 마지막으로 제공된 컨텍스트 메뉴를 제공하게 할 수 있다. 오버레이 메뉴에 대한 뒤로가기 액션은 때때로 보조적인 작업 공간의 "기저의(underlying)" 보조 메뉴를 제공하게 한다. 예를 들어, (예를 들어, 도 22에 도시된 바와 같은) 특정한 설정-관련 오버레이 메뉴에 대한 뒤로가기 액션은 설정 작업 공간(1110)에 (예를 들어, 도 18에 도시된 바와 같은) 기저 설정 메뉴를 디스플레이할 수 있다.
도 27은 AIM(402)에 의해 제공되는 메뉴 기능부의 제 2 구현에 해당하는, 도 11의 구현과 비교되는, 작업 공간의 대안적인 구성을 나타낸다. 개략적으로, 도 27의 작업 공간 구조는 도 11에 도시된 것과 동일한 기본 기능을 수행하는 다섯 개의 작업 공간(2702, 2704, 2706, 2708, 2710)을 포함한다. 예를 들어, 홈 작업 공간(2702)은 여행 내내 사용자의 관심의 중심 포커스로 계속 기능한다. 홈 작업 공간(2702)은 또한 사용자의 여행에서 마주치는 현재의 컨텍스트(또는 공간과의 다른 유형의 상호 작용)와 관련된 메뉴 및 다른 정보를 계속해서 디스플레이한다. 그러나 홈 작업 공간(2702)은 더 이상 허브 메뉴를 디폴트로 제공하지 않는다. 그보다는, 홈 작업 공간은 탭-관련 정보를 디폴트로 보여주는 데에만 사용된다.
보다 구체적으로, 홈 작업 공간(2702)은 활성 탭이 없는 경우 도 28에 도시된 디폴트 탭 정보를 보여준다. 디폴트 탭 정보는 사용자가 탭의 생성을 시작할 수 있는 방법에 대한 지침을 제공할 수 있다. 대조적으로, 홈 작업 공간(2702)은 활성 탭이 있는 경우 도 29에 도시된 탭 메뉴를 디스플레이할 수 있다. 디폴트로, 목록의 제 1 위치를 갖는 탭 메뉴 항목(즉, 탭 번호 1)은 현재의 컨텍스트에 해당한다.
또한, 도 29는 제 2 구현이 지금까지 설명된 메뉴 구조와 비교해서 다른 메뉴 구조를 제공한다는 것을 보여준다. 예를 들어, 제 2 구현은 더 이상 메뉴 마커로 구분된 두 개의 메뉴 항목 그룹으로 메뉴를 구성하지 않다. 오히려, 제 2 구현은 사용자의 현재 관심 초점에 적합한 것으로 결정된 메뉴 항목의 단일 목록을 제공한다. 사용자가 제 2 그룹에서 이전에 제시된 글로벌 메뉴 항목 유형에 액세스하고자 하는 경우, 사용자는 메인 작업 공간(2704)을 네비게이션하여 이들 항목에 액세스할 수 있다.
도 30은 메뉴 항목 목록에서 메뉴 항목의 하나의 가능한 구성과 관한 추가 정보를 제공한다. 여기서, 메뉴 항목은 사용자 근처에 있는 상점 검색에 응답하여 생성된 검색 결과 항목을 나타낸다. 사용자는 제 1 구현과 관련하여(및 도 23 및 24에 도시된 바와 같이) 전술한 탭-앤-홀드 제스처를 수행함으로써 도 30에 도시된 메뉴와 같은 임의의 메뉴를 활성화할 수 있다.
메뉴의 활성화 시에, 제 2 구현에서, AIM(402)은 사용자 장치의 디스플레이 표면의 중간 부근의 목록에서 제 1 엔트리를 제공한다. 그런 다음 사용자는 위쪽 방향으로 하나 이상의 패닝(panning) 제스처를 취해서 목록을 위로 이동하거나, 아래쪽 방향으로 하나 이상의 패닝 제스처를 취해서 목록을 아래로 이동할 수 있다. 사용자가 어느 쪽으로든 목록의 끝에 도달하면, 목록이 반복된다. 즉, 사용자가 목록의 마지막 항목을 지나칠 때 사용자는 다음 엔트리로서 첫 번째 항목을 보게 될 것이다. 사용자가 목록의 첫 번째 항목을 지나칠 때, 사용자는 마지막 항목을 보게 될 것이다. 이러한 메뉴 제시 전략으로 인해, 제 2 구현은 제 1 구현에서 사용된 것처럼 여러 페이지 목록을 사용하지 않을 수 있다. 즉, 사용자는 하나 이상의 패닝 제스처를 사용하여 단일 마스터 목록을 네비게이션한다. 사용자는 하나 이상의 손가락을 터치-감지 표면에 접촉하게 두고, 이 손가락(들)을 원하는 패닝 방향으로 드래그함으로써 패닝 제스처를 취하며, 여기서의 움직임은 플릭 제스처보다 느리다.
도 31은 전술한 동작에 관한 추가 정보를 제공한다. 여기서 사용자는 디스플레이된 메뉴를 아래쪽 방향으로 드래그하여 패닝 제스처를 만든다. 그러나 제 1 구현의 경우와 달리, 사용자는 목록을 네비게이션할 때 자신의 손가락을 표면에 두지 않아도 된다. 예를 들어, 사용자는 복수의 패닝 제스처를 만들 수 있고, 각각의 패닝 제스처 사이에서, 사용자는 자신의 손가락을 표면에서 제거할 수 있다. 제 2 구현에서는 표면에서 사용자의 손가락을 제거하는 것을 그 시점에서 강조 표시될 메뉴 항목을 선택하라는 지시로 해석하지 않다. 제 2 구현은 사용자에 의한 소정의 비활성 시간 후에 또는 사용자가 뒤로가기 제스처를 취할 때 메뉴를 비활성화할 수 있다.
도 32에 도시된 바와 같이, 사용자는 표면의 주변을 향해 짧은 터치-앤-드래그 제스처(touch-and-drag gesture)를 함으로써 목록에서 강조된 항목을 선택할 수 있다. AIM(402)이 사용자의 제스처를 강조된 항목 선택 요청으로 해석할 때, 청각 및/또는 촉각 피드백을 제공할 것이다. 그 후, AIM(402)은 사용자가 사용자 장치(106)의 표면으로부터 자신의 손가락을 제거할 때 항목을 선택할 것이다. 대안으로, 사용자는, 자신의 손가락을 제거하는 대신에, 자신의 손가락을 반대 방향으로 다시 드래그하여 선택 동작을 취소할 수 있고, 이는 AIM(402)이 (예를 들어, 적절한 신호 또는 신호들을 제공함으로써) 다시 확인할 것이다.
도 33은 메뉴의 주변에서 수행되는 뒤로가기 제스처 및 이 제스처에 대한 응답을 도시한다. 보다 구체적으로, 사용자는 이제, AIM(402)이 (예를 들어, 적절한 신호 또는 신호들을 제공함으로써) 사용자의 제스처를 이해하였음을 나타낼 때까지, 짧은 거리 동안 각각의 가장자리로부터 좌측 또는 우측을 당김으로써 뒤로가기 제스처를 수행할 수 있다. 이 때, 사용자는 자신의 손가락을 떼어서 뒤로가기 액션을 수행할 수 있다. 또는 AIM(402)이 사용자의 액션을 뒤로가기 액션을 취소하라는 요청으로 해석할 때까지, 사용자는 자신의 손가락을 반대 방향으로 움직일 수 있다. 도 33에 도시된 바와 같이, 뒤로가기 액션은 AIM(402)이 검색 결과 메뉴에서 탭 메뉴로 전환되게 한다.
도 34는 메뉴 상에서 원 모양(3402)을 그림으로써, 예를 들어, (예를 들어) 홈 작업 공간(2702)에 제시된 검색 결과 메뉴 상에 원을 그림으로써, 사용자가 수행할 수 있는 제스처를 나타낸다. 이 제스처에 응답하여, AIM(402)은 탭 메뉴로 되돌아간다. 도시되지는 않았지만, 사용자는 이후 탭 메뉴에서 동일한 원 제스처를 수행할 수 있다. 이에 응답하여, AIM(402)은 검색 결과 메뉴(또는 사용자가 시작한 페이지 - 즉, 사용자가 원래 원을 그린 페이지)로 되돌아간다.
도 35는 메뉴 상에서 반원(3502)을 그림으로써, 예를 들어, (예를 들어) 홈 작업 공간(2702)에 제시된 검색 결과 메뉴 상의 반원을 그림으로써, 사용자가 수행할 수 있는 제스처를 도시한다. 이에 응답하여, AIM(402)은 현재 컨텍스트에서 제시되고 있는 것에 초점을 다시 둘 것이다. 도 35의 예시에서, AIM(402)은 (도 35의 우측에 도시된 바와 같이) 여행의 현재 단계와 관련된 정보로 되돌아간다. 사용자가 현재 여행을 떠나지 않은 경우, 현재 컨텍스트는 마지막에 열렸던 메뉴에 해당할 수 있다. 사용자는 도 35의 우측에 표시된 페이지에서 반원을 그려서 이러한 전환을 되돌릴 수 있다.
도 36 및 37은 각각 도 1의 시스템에 의해 제공되는 상세도 레벨 및 그 시스템이 제공하는 컨텍스트 정보의 레벨을 증가 및 감소시키는데 사용될 수 있는 상이한 제스처를 도시한다. 예를 들어, 도 36에 도시된 바와 같이, 사용자는 SI 모듈(302)의 상세도 레벨을 증가시키기 위해 임의의 메뉴(여기서는 탭 메뉴) 상에 우측 화살표 모양(3602)을 그릴 수 있다. 도 37에 도시된 바와 같이, 사용자는 SI 모듈(302)의 상세도 레벨을 감소시키기 위해 임의의 메뉴 상에 좌측 화살표 모양(3702)을 그릴 수 있다. 상세도 레벨은 SI 모듈(302)이, 예를 들어, 간결한 것에서 상세한 것까지 이르는, 그 오디오 정보를 전달하는 간결함을 지칭한다.
도 37에 또한 도시된 바와 같이, 사용자는 사용자에게 제공되는 정보의 레벨을 각각 증가시키거나 감소시키기 위해 임의의 메뉴 상에 위쪽 화살표 모양(3704) 또는 아래쪽 화살표 모양(3706)을 그릴 수 있다. 예를 들어, 사용자는 (컨텍스트 정보는 생략하지만, 경고 정보와 여행 정보를 보내는 것과 같이) 정보 항목의 가장 중요하지 않은 하나 이상의 카테고리 관한 사용자 정보를 전송하지 않음으로써 컨텍스트 정보의 양을 줄일 수 있다.
제 2 구현은 도면에 구체적으로 도시되지 않았지만 (제 1 구현과 비교하여) 다른 새로운 제스처를 실행할 수도 있다. 예를 들어, 사용자는 첫 번째 메뉴에서 탭-앤-홀드 제스처를 수행하여 그 메뉴에서 액션 메뉴(액션은 첫 번째 메뉴와 연관된 컨텍스트에 적합한 액션에 속함)로 전환할 수 있다. 사용자는 액션 메뉴 상에서 동일한 제스처를 수행하여 원래(첫 번째) 메뉴로 되돌아갈 수 있다. 이 경우의 탭-앤-홀드 동작에는 일반적으로 임의의 메뉴를 활성화하는 데 사용되는 탭-앤-홀드 제스처보다 더 긴 홀드 액션을 포함한다.
다른 새로운 제스처로서, 사용자는 메뉴의 메뉴 항목 상에 있는 동안 수직 플릭 제스처를 수행할 수 있다. AIM(402)은 이 동작을, 플릭의 방향에 따라 메뉴 항목을 통해 위쪽 또는 아래쪽 방향으로 신속하게 전진시키기 위한 요청으로 해석할 것이다. 다른 새로운 제스처로서, 사용자는 메뉴의 메뉴 항목에 수평 플릭 제스처를 수행하여 목록의 다음 메뉴 항목으로 진행할 수 있다. 사용자는 한 번에 하나의 메뉴 항목씩 목록에서 연속적으로 전진하기 위해 이러한 수평 플릭 제스처를 여러 번 취할 수 있다.
(도 11 및 도 27에 대응하는) 제 1 또는 제 2 구현 중 어느 하나에서, 사용자는 제스처를 실행하여 사용자 장치(106)를 포켓 모드에 위치시킬 수 있다. 사용자 장치(106)가 그 제스처를 검출하면, 포켓 모드를 취소하는 효과를 갖는 제스처를 제외하고, 사용자가 취할 수 있는 임의의 후속 제스처를 무시할 것이다. 이름이 제안하듯이, 포켓 모드는 사용자가 포켓 또는 다른 일부 구획(예를 들어, 지갑, 가방 등)에 사용자 장치(106)를 집어넣기를 원하는 경우에 유용하다. 활성화되면, 포켓 모드는 사용자에 의한 우연한 터치 접촉 및/또는 움직임을 의미 있는 제스처로 (잘못) 해석하는 것을 방지한다. 모드를 호출하고 취소하는 데 사용되는 제스처는, 예를 들어, 분명한 스와이프 동작 등에 해당할 수 있다.
C.2. 사운드 및 촉각 신호
AIM(402)은 사운드 생성 모듈(414)의 사용을 통해 다양한 사운드를 제공할 수 있다. AIM(402)은 촉각 신호 생성 모듈(418)을 사용하여 다양한 촉각 피드백 경험(예를 들어, 진동 신호)을 제공할 수 있다. AIM(402)은 다른 유형의 트리거링 이벤트에 대한 응답으로 이러한 사운드 및 진동 신호를 생성할 수 있다. 예를 들어, AIM(402)은 상태의 특정 변화에 응답하여, (메뉴 항목들 사이의 네비게이션과 같이) 사용자가 취한 특정 인터페이스 액션에 대해 응답하여, 여행 중의 특정 이벤트에 대한 응답하여, 이들 사운드 및 촉각 신호를 제공할 수 있다.
다음의 목록은 대표적인 사운드(및 연관된 촉각 신호)와 및 이 사운드들이 호출되는 예시적인 환경을 설명한다.
로딩/사용 중. AIM(402)은 SI 모듈(302)이 사용자와 상호 작용할 수 없는 상태에 있는 동안 로딩/사용 중 사운드를 반복적으로 재생할 수 있다. 이 사운드는 SI 모듈(302)이 작동하지만 현재 액션을 수행 중이라 바쁘다는 것이라고 사용자를 안심시킨다. 예를 들어, 이 사운드는 위아래로 튀는 탁구공과 비슷할 수 있고, 처리가 거의 완료됨에 따라 튀는 빈도가 증가할 수 있으며, 팡파레(flourish)-유형의 사운드로 끝날 수 있다.
영역 메뉴로의 전환(Transition-To-Zone-Menu). 이 사운드는 전용 보조 작업 공간 영역 중 하나에 제시된 보조 메뉴가 포커스로 이동하여 홈 작업 공간의 현재 컨텍스트 메뉴 대신에 표시되고 있음을 나타낸다. 또한, 이 사운드는 사용자가 해당 제스처를 수행한 방향을 전달할 수도 있다. 예를 들어, 이 사운드는 각각의 방향으로 돌풍처럼 휙 하는 소리(swoosh)와 유사할 수 있다. 나아가, 하나의 경우에, AIM(402)은 이 사운드를 3 차원 사운드로서 표현할 수 있다.
영역 메뉴로부터의 전환(Transition-From-Zone-Menu). 이 사운드는 현재 컨텍스트 메뉴가 다시 포커스로 이동했으며 전용 작업 공간 영역 중 하나의 보조 메뉴 대신에 현재 표시되고 있음을 나타낸다. 이 사운드는 사용자가 해당 제스처를 수행한 방향을 전달할 수도 있다. 예를 들어, 사운드는 영역 메뉴로의 전환의 휙 하는 소리의 대응물인 휙 하는 소리와 유사할 수 있지만, 이는 영역 메뉴로의 전환과는 반대 방향으로 이동한다. 다시, AIM(402)은 선택적으로 이 사운드를 3 차원 사운드로서 나타낼 수 있다.
메뉴 활성화. 이 사운드는 메뉴가 이제 활성화되어 조작할 수 있음을 나타낸다. 이 사운드는 스냅-인-유형의 사운드(snap-in-type sound)로 끝나는 페이드-인(fade-in) 사운드로 설명될 수 있다. 또한, AIM(402)은 상태의 변화를 생성하려는 사용자의 의도를 확인하는 짧은 진동 신호를 제공할 수 있다. 더 나아가, AIM(402)은, 예를 들어, "없애려면 메뉴에서 손을 떼주세요"를 안내하는 음성 신호를 호출할 수 있다. 그 신호는 사용자에게 메뉴가 활성화되어 사용자가 마커 항목에서 자신의 손가락을 떼어 메뉴를 비활성화할 수 있음을 알린다.
메뉴 비활성화. 이 사운드는 메뉴가 비활성화되었으며 다시 활성화하지 않으면 더 이상 조작할 수 없음을 나타낸다. 이 사운드는 페이드-어웨이-유형(fade-away-type) 사운드로 설명될 수 있다.
지원되지 않는 제스처. AIM(402)은 제스처가 인식되었지만, (예를 들어, 현재 지원되지 않기 때문에) 유효하지 않음을 나타내는 이런 짧은 사운드를 재생할 수 있다. 이 사운드는 쿵하는 소리(thud)와 유사할 수 있으며 부드러운 투-톤의 액세스가 거부된 스타일의 통지가 뒤따른다. AIM(402)은 뒤로가기 제스처가 수행되었음을 나타내기 위해 좀 더 구체적인 뒤로갈 수 없음(Cannot-Go-Back) 사운드를 재생할 수 있지만, 더 이상 뒤로 진행할 수 없기 때문에 이것은 수행될 수 없다.
메뉴 항목 선택 변경. 이 사운드는 사용자가 메뉴의 메뉴 항목으로 이동했음을 나타낸다. 이 사운드의 톤은 메뉴에서 메뉴 항목의 위치에 따라 달라지며, 예를 들어, 사용자가 목록에서 위로 이동하면 톤이 증가하고 사용자가 목록에서 아래로 이동하면 톤이 줄어들 수 있다. 또한, 일 구현에서, AIM(402)은 (글로벌 항목과 관련된) 메뉴 항목의 제 2 그룹과 비교하여, (컨텍스트-특유의 항목과 연관된) 메뉴 항목의 제 1 그룹을 횡단할 때 서로 다른 크기를 나타낼 수 있다. 두 경우 모두, 사용자가 손으로 피아노 건반을 연주할 때와 비슷한 사운드가 나는 것을 인지할 수 있지만, 이 경우에 각각의 사운드는 피아노 음보다 짧을 수 있으며 비누 방울이 터지는 것과 유사할 수 있다.
또한, AIM(402)은 각 메뉴 항목을 횡단할 때 진동 신호를 제공할 수 있다. 사용자는 울퉁불퉁한 표면 위로 손을 움직이는 것과 유사한 진동 신호를 경험할 수 있으며, 여기서 각각의 범프는 상이한 메뉴 항목을 나타낸다. 사용자는 의식적으로 또는 잠재의식적으로 범프의 수를 세어, 목록에서 자신의 위치를 신속하게 파악할 수 있다. 또한, AIM(402)은 메뉴 항목으로 진행할 때 그 메뉴 항목이 포커스되어 있고 사용자의 손가락을 뗄 때 선택될 것임을 사용자에게 알리는 오디오 메시지를 제시할 수 있다. 예를 들어, AIM(402)은 목록에 번호를 부여하고 그 항목에 대한 설명을 안내함으로써 메뉴 항목을 안내할 수 있다.
메뉴 선택 확인. 이 짧은 사운드는 액션으로 인해 상태가 변경된 시점을 나타낸다. 이는 마지막에 팡파레 소리와 함께 짧고 정확한 사운드로 구현될 수 있다. 예를 들어, 이 사운드는 끝 부분을 향할수록 희미해지는 이동하는 삐걱거리는(grating) 사운드가 뒤따르는 삑 소리(bleep)와 비슷할 수 있다. AIM(402)은 또한 선택 동작을 확인하는 짧은 진동 신호를 실행할 수 있다. 또한, AIM(402)은 항목이 선택되었음을 확인하는 음성 신호를 재생할 수 있다.
대화 상자 메뉴 표시. 이 짧은 사운드는 오버레이 메뉴가 현재 다른 컨텐츠 위에 표시되고 있음을 나타낸다. 이 사운드는 페이드-인 오름차순 형식의 사운드와 유사할 수 있다. AIM(402)은 또한 상태의 변화가 발생했음을 확인하는, 수반되는 짧은 진동 신호를 제공할 수 있다. 또한, AIM(402)은 오버레이 메뉴가 현재 표시되고 있음을 알려주는 음성 신호를 재생할 수 있다.
대화 상자 메뉴 닫기. 이 짧은 사운드는 대화 상자(예를 들어, 오버레이 메뉴)가 닫혔으며 포커스가 이전 컨텍스트로 되돌아갔음을 나타낸다. 사운드는 페이드-아웃 내림차순 형식의 사운드와 유사할 수 있다.
컨텍스트 -스위치. 이 짧고 명료한 사운드는, 예를 들어, 사용자가 새로운 여행 단계 등으로 진행했기 때문에, 현재 컨텍스트 메뉴의 상태가 새로운 컨텐츠를 제공하기 위해 전환되었음을 나타낸다. 사운드는 예리한 개찰구 소음이 뒤따르는 삑 소리와 비슷할 수 있다.
전술한 사운드는 대표적인 것들이며, AIM(402)이 제공할 수 있는 전체 사운드 집합을 포괄하지는 않는다. 예를 들어, 다음의 추가 사운드는 AIM(402)과 상호 작용하는 동안 사용자가 취하는 특정 액션 시에 트리거될 수 있다: a) 이전 메뉴에서 만들어진 메뉴 항목의 선택에 기초하여 액션 메뉴가 제공됨을 나타내는 투-액션(To-Actions) 사운드, b) 액션 메뉴로부터의 복귀에 응답하여 활성 메뉴가 제시되었음을 나타내는 프롬 -액션(From-Actions) 사운드, c) 특정 메뉴에 대한 액션을 표시하라는 명령이 인식되었지만 그 특정 메뉴와 관련된 액션이 없음을 나타내는 액션-이용 불가(Actions-Unavailable) 사운드, d) 사용자의 손가락을 뗄 때 메뉴 항목이 선택되도록 성공적으로 표시되었음을 나타내는 항목-선택 가능(Item-Selectable) 사운드, e) 이전에 릴리즈-시-선택(selection-upon-release)을 위해 이전에 표시된 항목이 이제 성공적으로 선택 해제되어 사용자의 손가락을 떼어도 더 이상 선택되지 않을 것임을 나타내는 위한 항목-넌- 셀렉터블 (Item-Non-Selectable) 사운드, f) 선택할 항목을 표시하는 제스처가 인식되었지만, 그 제스처는 고려 중인 항목에 적용될 수 없음을 나타내는 항목-낫- 셀렉터블 (Item-Not-Selectable) 사운드, g) 선택이 이루어졌지만 포커스 변화가 적절하지 않음을 나타내는 셀렉트 -벗-노- 체인지 (Select-But-No-Change) 사운드, h) 뒤로가기 제스처가 인식되고 뒤로가기 액션이 호출되었음을 나타내는 뒤로가기 -성공(Back-Success) 사운드, i) 스위치-투-탭 제스처가 성공적으로 인식되고 탭 메뉴가 현재 표시되고 있음을 나타내는 스위치-투-탭(Switch-To-Tabs) 사운드, j) 스위치-프롬-탭 제스처가 인식되고 탭 메뉴로 전환하기 전에 제시된 이전 메뉴가 복원되었음을 나타내는 스위치-프롬-탭(Switch-From-Tab) 사운드, k) SI 모듈(302)이 사용자의 음성 명령을 현재 듣고 있음을 나타내는 듣기-시작(Start-Listening) 사운드, l) 음성 인식 모드가 취소되었음을 나타내는 듣기-취소(Cancel-Listening) 사운드, m) 애플리케이션이 음성 입력의 수신 및 처리를 완료했음을 나타내는 처리-완료(Finished-Processing) 사운드, n) 음성 기반 입력의 결과로서 액션이 취해졌음을 나타내는 액션-수행(Action-Taken) 사운드 등. 또한, AIM(402)은 전술한 임의의 사운드를 동반하는 임의의 유형의 촉각 신호를 나타낼 수 있다.
다음의 예시적인 사운드들, a) 헤드셋 버튼에서 탭 제스처가 인식되었음을 나타내기 위한 (액션을 수행하기 전에 재생되는) 버튼-탭(Button-Tap) 사운드, b) 헤드셋 버튼에 프레스 제스처가 인식되었음을 나타내기 위한 (액션을 수행하기 전에 재생되는) 버튼-프레스(Button-Press) 사운드, c) 헤드셋 버튼에 홀드 제스처가 인식되었음을 나타내는 (액션을 수행하기 전에 재생되는) 버튼- 헬드 (Buttons-Held) 사운드, d) 예를 들어, 방향 액션의 일부로서 컨텍스트 IOI의 안내를 중지하는 요청에 대해, 헤드셋 버튼으로부터 호출된 임의의 이전 액션이 취소되었음을 나타내는 캔슬 -액션(Cancel-Action) 사운드 등은 헤드셋(108)과의 사용자 상호 작용 과정에서 발생할 수 있는 특정 이벤트에 대해 트리거될 수 있다. 나아가, AIM(402)은 전술한 사운드들 중 임의의 사운드를 동반하는 임의의 유형의 촉각 신호 또한 제공할 수 있다.
다음의 예시적인 사운드들, a) 여행이 시작되었고 네비게이션이 현재 진행 중임을 나타내는 여행-시작(Started-Journey) 사운드, b) 사용자가 자신의 교통 수단 모드를 (예를 들어, 도보에서 기차로) 전환했음을 나타내는 모드 -스위치(Mode-Swtich) 사운드, c) 사용자가 네비게이션의 일부로서 도달하려는 여행의 다음 지점을 방향성 있게 지시하기 위한 비트(Beat) 사운드, d) 사용자의 인식을 높이고, 사용자에게 그 정보를 들을 시간을 주기 위해 경고 정보가 소리내어 읽혀지고 재생되려 함을 알려주기 위한 경고음(Warning sound) e) 사용자가 여행 웨이포인트에 도달했음을 나타내고, 사용자의 인식을 높이고 사용자에게 해당 정보를 들을 시간을 주기 위해 네비게이션 정보가 소리내어 읽혀지고 재생되려고 함을 나타내는 웨이포인트 -도달(Waypoint-Reached) 사운드, f) 사용자가 여행 웨이포인트에 접근하고 있음을 나타내고, 사용자의 인식을 높이고 사용자에게 해당 정보를 들을 시간을 주기 위해 네비게이션 정보가 소리내어 읽혀지고 재생되려고 함을 나타내는 웨이포인트 -접근(Approaching Waypoint ) 사운드, g) 현재 여행의 변화에 관한 정보가 사용자의 인식을 높이고 사용자에게 해당 정보를 들을 시간을 주기 위해 소리내어 읽혀지고 재생되려고 함을 나타내는 여행- 업데이트 (Journey-Update) 사운드, h) 컨텍스트 정보가 소리내어 읽혀지려고 함을 나타내는 컨텍스트 -정보(Contextual-Information) 사운드, i) 추가 정보가 소리내어 읽혀지려고 함을 나타내는 추가-정보(Further-Information) 사운드 등은 여행 과정에서 발생할 수 있는 특정 이벤트에 대해 트리거될 수 있다. 나아가, AIM(402)은 전술한 사운드들 중 임의의 사운드를 동반하는 임의의 유형의 촉각 신호 또한 제공할 수 있다.
일반적으로, 상기 사운드 및 촉각 신호는 사용자가 자신의 환경과 상호 작용할 때 과도하게 사용자를 혼란스럽게 하지 않고 유용한 정보를 사용자에게 제공하려는 목표를 더욱 촉진시킨다. 예를 들어, 사용자가 메뉴를 탐색하는 동안 듣는 사운드 및 촉각 신호는 사용자로 하여금 환경으로부터 자신의 주의를 돌리지 않고 메뉴와 상호 작용할 수 있게 해준다.
C.3. 음성 인식 모드
시스템(102)은, 예를 들어, 헤드셋(108) 및/또는 사용자 장치(106)와 수동으로 상호 작용하는 것에 더해서, 음성 명령을 통해 시스템(102)에 명령을 내릴 수 있는 음성 인식 모드를 지원한다. 또는, 사용자가 시스템(102)과 상호 작용하는 유일한 모드로서 음성 인식 모드를 사용할 수 있다. 사용자의 음성 명령의 인식을 수행하기 위해, 시스템(102)은 기존의 음성 인식 기술(예를 들어, 마이크로소프트사에서 제공하는 코타나 시스템), 및/또는 기본 음성 인식 기술에 의존할 수 있다. 도 3은 음성 처리 엔진(328)으로서 음성 인식 기술을 도시한다.
전술한 바와 같이, 사용자는 헤드셋(108) 및/또는 사용자 장치(106)의 메뉴를 통해 내려진 적절한 명령을 통해 음성 인식 모드를 호출할 수 있다. 다른 경우에, 사용자 장치(106)는 이미 디폴트 동작 방식의 일부로서 음성 인식 시스템(예를 들어, 코타나)과 상호 작용하고 있을 수 있지만 네비게이션을 수행하는 컨텍스트에서는 상호 작용하지 않는다. 여기서, 사용자는, 예를 들어, "사운드스케이프, 네비게이션 모드 시작" 명령을 말함으로써, 네비게이션 애플리케이션의 이름이 선행된 음성 명령을 내림으로써 음성 인식 모드에서 SI 모듈(302)과 상호 작용할 수 있다. 사용자가 네비게이션 애플리케이션의 컨텍스트에서 음성 인식 모드를 이미 활성화한 경우라면, 사용자는 단지 "네비게이션 모드 시작" 등을 말할 수 있다.
다음의 목록은 음성 모드에서 시작될 수 있는 예시적인 동작을 식별한다: a) 사용자는 기존의(저장된) 여행을 열 수 있고, b) 사용자는 방향 모드를 활성화하거나 재활성화할 수 있고, c) 사용자는 탐색 모드를 활성화 또는 비활성화할 수 있으며, d) 사용자는 특정 주제에 대해 더 많은 정보를 요구할 수 있고, e) 사용자는 모든(또는 일부) 음성 메시지의 중단을 요청할 수 있으며, f) 사용자는 다양한 파라미터 설정을 할 수 있고, g) 사용자는 여행 정보 등을 저장할 수 있다.
예시적인 명령은 a) "[z] 대중 교통만을 이용하여 [y] 시간에 출발하는 [x] 목적지로의 경로를 생성하세요", (b) "가장 가까운 커피샵을 찾아주세요", c) "기차역에 데려다 주세요", d) "몇 시입니까?", e) "볼륨을 높여주세요", f) "관심 항목에서 음식점을 삭제하세요" 등에 해당할 수 있다.
음성 처리 엔진(328)은 때때로 사용자의 명령을 이해하는 상황에 직면할 수 있지만, 명령이 하나 이상의 필요한 정보 항목을 빠뜨리고 있다고 결정하게 된다. 이에 응답하여, 음성 처리 엔진(328)은 누락된 정보 항목을 사용자에게 제공할 것을 요구할 수 있다.
다른 경우에, 음성 처리 엔진(328)은 사용자의 명령을 이해하지 못하는 상황에 직면할 수 있다. 이러한 경우에, 음성 처리 엔진(328)은 사용자에게 명령을 바꾸어 말하도록 요청할 수 있다. 그것이 성공적이지 않으면, 음성 처리 엔진(328)은 (예를 들어, 사용자의 명령에서의 키워드의 검출에 기초하여) 사용자에게 사용자의 표현에 대한 제안된 해석을 제시할 수 있고, 그 후 해석 중 어느 것이 정확한지를 사용자에게 질문할 수 있다. 그것이 성공적이지 않으면, 음성 처리 엔진(328)은 헤드셋(108) 및/또는 사용자 장치(106)를 통해 등가 명령어를 입력하도록 사용자에게 요청할 수 있다.
도 38은 도 4 및 도 5의 AIM(402)의 동작의 한 방식을 요약하는 프로세스(3802)를 도시한다. 블록(3804)에서, AIM(402)은 연관된 작업 공간에서 메뉴를 활성화하라는 지시에 대응하는, 사용자가 취하는, 제 1 제스처를 검출한다. 연관된 작업 공간은 복수의 작업 공간 중 하나에 대응하고, 연관된 작업 공간은 복수의 작업 공간 내의 다른 작업 공간에 대해 결정된 공간 관계를 갖는다. 예를 들어, 제 1 제스처는 도 24를 참조하여 설명된 전술한 탭-앤-홀드 제스처에 해당할 수 있다. 블록(3806)에서, AIM(402)은 제 1 제스처에 메뉴를 활성화시킨다.
블록(3808)에서, AIM(402)은 메뉴 내의 메뉴 항목들의 집합 중에서 특정 메뉴 항목으로 진행하라는 지시에 대응하는, 사용자가 취하는, 제 2 제스처를 검출한다. 예를 들어, 제 2 제스처는 (예를 들어, 도 25 및 도 31을 참조하여) 전술한 스크롤링 또는 패닝 제스처 유형 중 임의의 것에 해당할 수 있다. 블록(3810)에서, AIM(402)은 제 2 제스처에 응답하여 특정 메뉴 항목으로 진행한다.
블록(3812)에서, AIM(402)은 특정 메뉴 항목을 선택하라는 지시에 대응하는, 사용자가 취하는, 제 3 제스처를 검출한다. 예를 들어, 제 3 제스처는 도 25에 도시된 릴리즈 제스처의 유형 또는 도 32에 도시된 풀-투-더-사이드(pull-to-the-side) 제스처의 유형에 해당할 수 있다. 블록(3814)에서, AIM(402)은 제 3 제스처에 응답하여 동작을 수행한다. 이 동작은 액션의 호출, 파라미터의 설정, 정보의 프레젠테이션 등에 해당할 수 있다.
요약하면, 상기 특징들은 사용자가 자신의 환경을 안전하고 효율적으로 이동할 수 있게 한다. 예를 들어, 작업 공간은 사용자가 환경에서 이동할 때 가장 적합한 정보를 사용자에게 표시하는 사용자 친화적인 방법을 제공한다. 또한, 일부 특징들은, 사용자가 그 프레젠테이션에 시각적인 주의를 기울이지 않고 및/또는 환경과 상호 작용하는 물리적인 작업으로부터 사용자의 주의를 벗어나게 하는 성가시고 복잡한 제스처를 수행할 필요가 없이, 사용자 인터페이스 프레젠테이션과 상호 작용할 수 있게 한다. 예를 들어, 사용자는 사용자 인터페이스 프레젠테이션을 보지 않고 한 손으로 일부 제스처를 수행할 수 있다.
D. 사운드를 사용하여 사용자와 환경 간의 상호 작용 촉진
도입 섹션 A에서 설명된 바와 같이, (도 4의) 사운드 생성 모듈(414)은 3 차원이 아닌(비공간적인) 사운드 및 3 차원(공간적인) 사운드를 생성할 수 있다. 3 차원 사운드는, 물리적 공간에서 실제 출처가 없더라도, 물리적 공간에서 적어도 하나의 위치에서 발산하는 것으로 사용자가 인지하는 사운드이다. 구체적으로, 도 39는 3 차원 오디오 정보를 사용하여 공간 내의 특정 위치로부터 발산되는 사운드의 인지를 생성하는 것을 나타낸다. 도 40은 3 차원 오디오 정보를 사용하여 공간 내의 일련의 위치를 가로질러 이동하는 사운드의 인지를 생성하는 것을 보여준다.
일 구현에서, 사운드 생성 모듈(414)은, 예를 들어, 데이터 저장소(416)에서 제공된 바와 같은 HRTF(Head-Related Transfer Functions)의 라이브러리를 사용하여 3 차원 사운드를 생성할 수 있다. HRTF는 사람이 자신의 환경에서 사운드의 출처를 감지하는 방식에서 그 사람 특유의 방향을 갖는 그 사람의 얼굴의 해부학적 특징을 모델링한다. 3 차원 사운드를 생성하기 위해, 사운드 생성 모듈(414)은 특정 사람 및 (그 사람의 위치에 대한) 공간에서의 특정 사운드 위치에 적합한 HRTF를 선택할 수 있다. 그 후, 사운드 생성 모듈(414)은, 예를 들어, 비공간적 사운드와 선택된 HRTF를 컨벌루션함으로써, 3 차원 사운드를 생성하기 위해 HRTF를 적용하여 3 차원이 아닌 사운드(예를 들어, 평평하거나 비공간적인 사운드)를 수정할 수 있다.
좀 더 구체적으로, 어느 한 경우에, 사운드 생성 모듈(414)은 (a) 재생될 3 차원이 아닌 사운드, (b) 사운드가 발산하는 것으로 인지되는 공간에서의 위치, (c) (선택적으로) 사용자의 신원을 설명하는 입력 정보를 수신할 수 있다. 입력 정보는 데이터 저장소(416)에서 오디오 정보를 식별하고, 및/또는 오디오 정보 자체를 제공할 수 있는 참조 정보를 제공함으로써 3 차원이 아닌 사운드를 설명할 수 있다. 예를 들어, 3 차원이 아닌 사운드는 안내음 및/또는 음성 메시지에 해당할 수 있다. 그 다음, 사용자의 귀 각각에 대해, 사운드 생성 모듈(414)은, (a) 고려 중인 특정 사용자에 대해, 그 위치와 관련된 HRTF를 식별하고, (b) 3 차원이 아닌 사운드에 HRTF를 적용하여 3 차원 사운드를 생성할 수 있다. 사운드 생성 모듈(414)에 제공되는 입력 정보는, 예를 들어, 경로 안내 모듈(420), 적합 정보 결정(RID) 모듈(426), 탐색 모듈(430), 방향 모듈(432) 등에 대응하는 후술될 SI 모듈(302)의 하나 이상의 다른 모듈에서 발생할 수 있다.
사운드 생성 모듈(414)은 데이터 저장소(416)에서 제공된 HRTF의 라이브러리에 관해 상기 기능들을 수행한다. 일 구현에서, SI 모듈(302)은 특정 개인들에 대해 준비된(따라서 이 사람들의 특정한 해부학적 특징을 고려하는) HRTF를 데이터 저장소(416)에 저장할 수 있다. 예를 들어, 각각의 사람의 얼굴의 신체적 특성을 측정하여 각각의 사람에 대한 HRTF를 얻을 수 있다. 그 작업은 다시, 깊이 카메라를 사용하는(예를 들어, 워싱턴 주 레드몬드의 마이크로소프트사에서 제공하는 키넥트(KINECT) 시스템 사용하는) 등에 의해 수작업으로(예를 들어, 물리적 거리 측정 도구를 사용하여) 실행될 수 있다. 보다 구체적으로, 특정 개인에 대해 생성된 HRTF 집합은 (사용자의 머리의 위치와 관련하여) 공간에서의 사운드의 각각의 위치에 대해, 그리고 각각의 양쪽 귀에 대해 HRTF를 포함한다. 서로 다른 구현은 이런 HRTF들을 생성하도록 다른 개인들(예를 들어, 음향 엔지니어, 시스템 관리자, 최종 사용자 등)에게 맡길 수 있다.
제 2 구현에서, 사운드 생성 모듈(414)은 상이한 각각의 사람들 그룹에 대해 잘 동작하는 개별 HRTF 그룹을 저장할 수 있다. 다음으로, 시스템(102)은 최종 사용자가 가장 사실적인 3 차원 사운드를 생성하는 것으로 인지되는 HRTF 집합을 선택하도록 요청할 수 있다. 예를 들어, 사용자는 다른 HRTF들을 사용하여 동일한 3 차원 사운드(들)를 생성하도록 시스템(102)에 요청함으로써 셋업 단계에서 이 선택을 할 수 있으며, 사용자는 가장 바람직한 결과를 생성하는 사운드(들)(및 대응하는 HRTF)를 선택할 수 있다. 제 3 구현에서, 사운드 생성 모듈(414)은 HRTF가 임의의 특정 개인에 대해 또는 사람들의 그룹에 대해 커스터마이즈되지 않더라도, 다수의 사용자에게 적합하다고 입증된 이들 HRTF의 단일 집합을 저장할 수 있다. 적절한 HRTF를 생성 및/또는 선택하는데 또 다른 기술이 사용될 수 있다.
일 구현에서, 사운드 생성 모듈(414)은 광대역 오디오 정보를 전달하는 3 차원 사운드를 생성한다. 광대역 오디오 정보는 광범위한 오디오 주파수 분포를 포함하는 오디오 정보로서, 예를 들어, 일 구현에서, 300 Hz 내지 3.4 kHz의 범위에 있다. 또한, 개별적인 3 차원 사운드는 그 방향성을 더욱 강조하도록 본질적으로 표현된다. 예를 들어, 하나의 그러한 입체적인 사운드는 좌측에서 우측으로 또는 우측에서 좌측으로 불어 오는 돌풍과 유사할 수 있다. 음향 정보의 (그 HRTF-기반 방향성 외에) 다른 특성들은, 예를 들어, 볼륨, 톤, 잔향, (반복되는 사운드에 관한) 루핑 주파수 등에 변화를 줌으로써, 표현력에 기여할 수 있다. 이러한 모든 요소는 사운드가 물리적 공간의 특정 위치(또는 위치들)에서 발생한다는 현실적인 인지에 기여한다.
또한 섹션 A에서 설명된 바와 같이, 서로 다른 모듈들은 서로 다른 목적 및 서로 다른 동작 모드로 3 차원 사운드를 이용할 수 있다. 이들 모듈은 경로 안내 모듈(420), RID 모듈(426), 탐색 모듈(420), 방향 모듈(432) 등을 포함한다. 설명을 단순화하기 위해, 각각의 이러한 모듈은 때로는 3 차원 사운드를 생성하는 것으로 기술된다. 실제로, 각 모듈은 사운드 생성 모듈(414)에 공급되는 전술한 입력 정보를 생성함으로써 사운드를 생성하고, 사운드 생성 모듈(414)은 입력 정보를 사용하여 실제 3 차원 사운드를 생성한다.
도 41에서, 먼저 경로 안내 모듈(420)의 동작을 고려하자. 이미 설명한 바와 같이, 경로 안내 모듈(420)은 사용자가 향하는 현재 방향을 결정한다. 경로 안내 모듈(420)은 시스템의 방향 결정 메커니즘(들), 움직임 결정 메커니즘(들), 위치 결정 메커니즘(들) 등에 의해 제공된 임의의 정보에 기초하여 이러한 평가를 할 수 있다. 일 구현에서, 예를 들어, 경로 안내 모듈(420)은 (예를 들어, 헤드셋(108)의 방향 결정 메커니즘에 기초하여) 사용자의 머리가 가리키는 방향을 결정한 후에, 이 정보를 사용자가 향하는 것으로 추정되는 방향에 대한 프록시로서 사용할 수 있다. 대안으로 또는 부가적으로, 경로 안내 모듈(420)은 사용자가 최근에 횡단한 일련의 위치들을 결정할 수 있다. 경로 안내 모듈(420)은 이 정보를 이용하여 사용자가 향하는 것으로 보이는 방향을 투사할 수 있다. 대안으로 또는 부가적으로, 경로 안내 모듈(420)은 사용자가 자신의 사용자 장치(106)를 의도적으로 가리키는 방향을 결정할 수 있다.
경로 안내 모듈(420)은 또한 사용자의 소망의 방향을 결정할 수 있다. 경로 안내 모듈(420)은 적어도 사용자의 현재 위치 및 다음 웨이포인트의 위치에 기초하여 소망의 방향을 결정할 수 있다. 경로 안내 모듈(420)은 또한 소망의 방향을 결정할 때 지도 정보를 고려할 수 있다. 예를 들어, 지도 정보는 사용자 경로가 다양한 경로, 예를 들어, 도로 코스, 임의 유형의 장애물 등에 의해 제한된다는 것을 나타낼 수 있다. 경로 안내 모듈(420)은 이 정보 모두를 사용하여, 가능한 한 가장 효율적인 방식으로 다음 웨이포인트에 도달하는 코스에 사용자를 배치하기 위해 사용자가 향해야 하는 방향을 결정할 수 있다.
실제 방향 및 소망의 방향에 기초하여, 경로 안내 모듈(420)은, 예를 들어, 편차 정보를 제공하기 위해, 사용자가 소망의 방향으로부터 벗어날 수 있는 범위를 결정할 수 있다. 그 후, 경로 안내 모듈(420)은 편차 정보를 이용하여, 예를 들어, 편차 정보를 입력의 일부로서 사운드 생성 모듈(414)에 공급함으로써, 사용자를 소망의 방향으로 조종하는 효과를 갖는 3 차원 사운드를 생성할 수 있다.
상기 설명을 명료하게 하기 위해, 도 41의 도시를 고려하자. 여기서, 사용자는 현재 위치(4102)에 위치한다. 다음 웨이포인트(w)는 목표 위치(4104)에 위치된다. 사용자의 현재 (실제) 방향은 방향(4106)으로 표시된다. 사용자가 소망의 방향(4108)은 사용자의 현재 위치(4102)를 목표 위치(4104)와 연결하는 벡터에 해당할 수 있지만, 전술한 바와 같이, (예를 들어, 현재 위치(4102)로부터 목표 목적지(4104)까지의 직접 경로를 차단하는 장애물로 인해) 이것이 모든 상황에서 필요하지는 않다. 편차 정보는 현재 방향(4106)과 소망의 방향(4108) 사이의 각도 차이에 해당할 수 있다.
상기 결정들에 응답하여, 경로 안내 모듈(420)은 위치(4110)로부터 발생하는 것으로 보이는 3 차원 사운드를 (사운드 생성 모듈(414)을 사용하여) 생성할 수 있다. 즉, 사용자는 소망의 방향(4108)의 좌측으로 현재 향하고 있다. 사용자는 우측으로 향하는 방향성 신호를 들을 것이다. 사용자는, 사용자의 경로의 방향을 정정하기 위해 우측으로 방향을 바꾸도록 사용자를 유도하는 것으로서 그 신호를 인지할 것이다. 사용자가 소망의 방향(4108)의 우측으로 너무 먼 방향으로 이동하기 시작하면, 경로 안내 모듈(420)은 사용자의 좌측으로 (사운드 생성 모듈(414)을 사용하여) 3 차원 사운드를 생성할 수 있다. 사용자는 인지된 3 차원 사운드의 방향을 계속해서 기본적으로 따르거나 추구할 수 있다. 사용자가 올바른 방향으로 향하면, 3 차원 사운드는 사용자 앞에서 직접적으로 발생하는 것으로 인지될 것이며, 사용자는 그 사운드를 똑바로 향하게 된다.
전술한 바와 같이, 경로 안내 모듈(420)은 사운드 생성 모듈(414)을 이용하여, 예를 들어, 비트 사운드에 대응하는, 특성상 주기적인 3 차원 사운드를 생성할 수 있다. 예를 들어, 비트 사운드는 반복되는 단일 톤 또는 투-톤 또는 n-톤 클립-클랍 사운드 등에 해당할 수 있다. 부가적으로 또는 대안으로, 3 차원 사운드는, 예를 들어, 좌측에서 우측 또는 우측에서 좌측 등으로, 사용자가 이동하도록 유도되는 방향으로 이동하는 것처럼 보일 수 있다.
게다가, 경로 안내 모듈(420)은 사용자의 실제 현재 방향(4106)이 소망의 방향(4108)에서 벗어나는 범위에 따라 비트 사운드의 하나 이상의 오디오 특성을 변화시키는 효과를 갖는 사운드 생성 모듈(414)에 입력 정보를 제공할 수 있다. 예를 들어, (사운드 생성 모듈(414)과 함께) 경로 안내 모듈(420)은 사용자의 이상적인 경로로부터의 현재 편차가 제 1 임계치 이내에 있을 때, 제 1 톤 및/또는 제 1 루핑 주파수를 갖는 비트 사운드를 생성할 수 있다. (사운드 생성 모듈(414)과 함께) 경로 안내 모듈(420)은 사용자의 현재 편차가 제 1 임계치 밖에 있지만 제 2 임계치 내에 있을 때 제 2 톤 및/또는 제 2 루핑 주파수를 갖는 비트 사운드를 생성할 수 있다. 경로 안내 모듈(420)은 사용자의 편차를 많은 이런 편차 카테고리로 분류할 수 있으며, 그 각각은 특정 비트 사운드에 관련된다.
도 41의 특정 예에서, 경로 안내 모듈(420)은 소망의 방향(4108)으로부터의 편차들의 제 1 범위(4112) 및 소망의 방향(4108)으로부터의 편차들의 제 2 범위(4114)를 정의하며, 제 2 범위(4114)는 제 1 범위(4114)보다 더 넓다. 현재 방향(4106)은 제 2 범위(4114)에 속하므로, (사운드 생성 모듈(414)과 함께) 경로 안내 모듈(420)은 이 범위(4114)에 적합한 비트 사운드를 생성할 것이다.
실제로, 경로 안내 모듈(420)은 많은 환경에서 유용하지만, 두 가지 환경에서 가장 유용하다고 인식될 수 있다. 첫 번째 경우, 사용자가 이용 가능한 옵션들의 고정 집합 중에서 특정 방향으로 회전할 것으로 예상되는 교차로에 도달할 수 있다. 또는, 사용자는 가능한 경로들 중 하나를 선택할 것으로 예상되는 도로에서 분기점에 도달할 수 있다. (사운드 생성 모듈(414)과 함께) 경로 안내 모듈(420)은 사용자가 자신의 네비게이션 선택을 해결하는 것으로 인식하는 3 차원 비트 사운드를 재생함으로써 사용자에게 명확한 안내를 제공할 수 있다. 예를 들어, 교차로에 서 있을 때, 사용자는 (예를 들어) 자신을 좌측이나 우측으로 인도하는 비트 사운드를 들을 수 있다. 도로의 분기점에 서 있을 때, 사용자는 자신을 길에서 올바른 분기점으로 인도하는 것으로 비트 사운드를 인식할 것이다.
제 2 시나리오에서, (사용자가 잘 정의된 도로 또는 경로를 걷고 있는 경우와 비교하여) 점진적으로 코스에서 벗어날 더 많은 자유도가 사용자에게 제공되는 더 많이 개방된 공간을 사용자가 이동하고 있다. 여기서, 경로 안내 모듈(420)은 사용자를 적절한 방향으로 계속 향하게 하기 위해 도 41에 도시된 방식으로 사용자에게 증분 이동(incremental nudge)을 제공할 수 있다.
또 다른 사용 시나리오에서, 적합 정보 결정(RID) 모듈(426)은, 사용자 경로를 따라 각각의 지점에서 그리고 각각의 대응하는 현재 컨텍스트에 대해, 컨텍스트 IOI들과 같은 적합한 관심 항목(IOI)의 위치를 결정할 수 있다. 그 후, RID 모듈(426)은 사운드 생성 모듈(414)을 사용하여 각 IOI에 대한 3 차원 사운드를 생성할 수 있다. 사용자는 이 사운드가 물리적 공간에서 해당 물리적 개체의 실제 위치에서 발산하는 것으로 인지할 것이며, 즉, IOI가 공간에서 별개의 물리적 위치를 갖는 물리적 개체에 해당한다고 가정하자. 예를 들어, (사운드 생성 모듈(414)과 함께) RID 모듈(426)은 사용자 주변에서 대응 물리적 개체를 갖는 특정 IOI에 대한 다음의 오디오 정보를, 즉, [3D 사운드], "제인네 커피샵, 음식점, 30 피트 앞"을 생성할 수 있다. 다시 말해서, 이 경우에, 오디오 정보는 3 차원 사운드와 바로 뒤따르는 음성 메시지를 포함한다. 사용자는 3 차원 예비 사운드가 제인네 커피샵의 물리적 위치에서 발산하는 것으로 인지할 것이다. 음성 메시지는 (반드시 그럴 필요는 없지만) 3 차원 사운드로 제공될 수도 있다. 음성 메시지는 대안적으로 추가(또는 더 적은) 정보 필드를 포함하거나, 또는 음성 메시지가 완전히 생략될 수 있다.
다른 경우에, IOI는 정확한 위치라기보다는 공간에서 일반적인 시작점을 가질 수 있다. 예를 들어, IOI가 버스 정류장에 대응하는 일반 영역과 관련된 광고에 해당할 수 있다. (사운드 생성 모듈(414)과 함께) RID 모듈(426)은 버스 정류장의 일반적인 영역 또는 그 영역의 중앙 등으로부터 발산하는 것으로 사용자가 인식하는 그 IOI에 대한 사운드를 생성할 수 있다. 버스 정류장을 설명하려는 의도가 아니고 버스 정류장의 오디오 속성으로서 작동한다는 것에 있어서, 이런 유형의 IOI는 가상으로 간주될 수 있다.
또 다른 구현에서, 오디오 정보는 또한 사용자에 대해, IOI의 방향성 위치를 지정하는 언어 신호를 포함할 수 있다. 방향성 신호는 (예를 들어, 제인네 커피샵이 사용자의 앞에 우측으로 있음을 지정함으로써) 광범위하게, 또는 (예를 들어, 사용자의 현재 방향에 대해, 제인네 커피샵이 10시 방향에 위치함을 지정함으로써) 더 좁은 의미로 표현될 수 있다. 추가적으로 또는 대안으로, (사운드 생성 모듈(414)과 함께) RID 모듈(426)은, 예를 들어, 레스토랑에 대해 제 1 유형의 사운드를 그리고 화장실 시설에 대해 제 2 유형의 사운드를 재생함으로써, IOI의 각각의 서로 다른 카테고리에 대해 서로 다른 3 차원 사운드를 제공할 수 있다.
탐색 모듈(430) 및 방향 모듈(432) 모두는, 예를 들어, 탐색 모드 및 방향 모드 각각에서, RID 모듈(426)의 전술한 동작을 각각 이용한다. 섹션 A에서 설명된 바와 같이, 사용자는, 예를 들어, 헤드셋(108) 및/또는 사용자 장치(106)와의 수동 상호 작용을 통해, 및/또는 음성 명령을 통해, 이들 모드를 명시적으로 활성화 및 비활성화하라는 명령을 입력할 수 있다.
보다 구체적으로, 도 42는 탐색 모드에서 동작하는 탐색 모듈(430)의 예시적인 동작을 도시한다. 이 모드에서, 일단 탐색 모드가 사용자에 의해 활성화되면, 탐색 모듈(430)은 사용자의 현재 위치 및 사용자의 현재 관심의 초점을 결정한다. 예를 들어, 탐색 모듈(430)은 헤드셋(108) 및/또는 사용자 장치(106) 상의 임의의 위치 결정 메커니즘(들)을 사용하여, (예를 들어, GPS 센서 등을 사용하여) 현재 사용자의 위치를 결정할 수 있다. 탐색 모듈(430)은 헤드셋(108) 및/또는 사용자 장치(106) 상의 임의의 방향(orientation) 메커니즘(들)을 이용하여, 사용자가 자신의 몸을 향하는 것으로 보이는 방향을 결정할 수 있다. 예를 들어, 헤드셋(108) 상의 방향 메커니즘은 사용자의 머리가 가리키는 방향을 결정할 수 있으며, 이는 사용자의 관심 초점의 프록시-표시로서 사용될 수 있다. 대안으로, 또는 부가적으로, 시스템(102)은 사용자의 관심 초점과 일치하는 방향으로 사용자 장치(106)를 가리키도록 사용자에게 지시할 수 있고, 이 경우에, 사용자 장치(106)의 방향 메커니즘(들)은 사용자가 의도하는 관심 초점을 정확하게 반영할 것이다. 사용자의 추정된 관심 초점을 평가하기 위해 또 다른 기법을 사용할 수 있다.
다음으로, 탐색 모듈(430)은 관심이 있는 검색 공간을 정의한다. 하나의 경우에, 탐색 모듈(430)은 사용자의 추정된 관심 초점에 중심을 둔 임의의 모양의 볼륨으로 탐색 공간을 정의할 수 있다. 예를 들어, 볼륨은 사용자의 현재 위치에서 기인하고 사용자의 추정된 관심 초점에 의해 양분되는 웨지(wedge)-모양 볼륨에 해당할 수 있다. 시스템-정의 및/또는 사용자-정의 파라미터 설정은 볼륨의 깊이, 볼륨의 각도 범위, 볼륨의 폭 등을 지정할 수 있다.
다음으로, 탐색 모듈(430)은 RID 모듈(416)을 사용하여 컨텍스트 IOI들과 같은, 그러나 이에 한정되지 않는, 관심있는 IOI들의 존재에 대해 볼륨을 검색할 수 있다. RID 모듈(416)은 사용자의 특정 관심사(예를 들어, 사용자는 자신이 기본적으로 커피샵 정보를 제외하고 음식점 정보에 관심이 있음을 나타냈을 수 있음)를 정의하는 임의의 파라미터 설정과 함께, IOI에 관한 정보를 제공하는 하나 이상의 데이터 저장소를 참조함으로써 이 작업을 수행할 수 있다. 경우에 따라서, IOI는 검색 공간에 물리적으로 위치하는 상대 물리적 개체를 가지고 있으므로 검색 공간과 연관이 있을 수 있다. 다른 경우, IOI는 다른 방식으로 설정된 다른 연결점 때문에 검색 공간과 연관될 수 있다. 예를 들어, 관리자(또는 최종 사용자 자신)는 지하철역의 출구 근처의 지역이 기상 보고 IOI와 연관되도록 사전에 수동으로 지정할 수 있다.
마지막으로, 탐색 모듈(430)은 식별된 IOI의 존재를 안내하는 3 차원 오디오 메시지를 생성할 수 있다. 탐색 모듈(430)은 사운드 생성 모듈(414)을 이용함으로써 전술한 임의의 방식으로 이들 메시지를 생성할 수 있다. 예를 들어, 전술한 바와 같이, 오디오 정보는 도입음(introductory sound)에 뒤이은 IOI를 안내하는 음성 메시지에 해당할 수 있다. (사운드 생성 모듈(414)과 함께) 탐색 모듈(430)은 볼륨을 통해 시계 방향 순서로, 또는 반시계 방향 순서와 같이 순서대로, 및/또는 사용자의 위치에 대한 거리를 증가 또는 감소시킴으로써, 이들 IOI를 읽을 수 있다.
도 42는 전술한 동작 방식을 명확히 한다. 여기서, 사용자는 현재 위치(4202)에 지금 위치한다. 사용자의 현재 주의 방향(4204)은 점선으로 표시된다. 검색 볼륨은 사용자의 주의 방향에 의해 양분되는 윤곽선(4206)에 의해 정의된다. 그 검색량은 각도 범위(angular swath)를 정의하며, 30 피트와 같이 소정의 높이(도시되지 않음)를 가질 수 있다. 전반적으로 검색량은 웨지와 유사한다. 탐색 모듈(430)은 RID 모듈(426)을 사용하여 검색 볼륨에서 세 개의 컨텍스트 IOI를 찾는다. (사운드 생성 모듈(414)과 함께) 탐색 모듈(430)은 컨텍스트 IOI들과 연관된 물리적 개체들의 위치들로부터 발생하는 것처럼 보이는 3 차원 사운드들에 의해 이러한 컨텍스트 IOI들을 안내한다.
전반적으로, 사용자는 자신의 현재 위치를 축으로 하여, 자신의 주의 방향을 단계적으로 회전시킴으로써 탐색 모듈(430)과 상호 작용할 수 있다. 각각의 단계에서, 사용자는 새로운 주의 초점으로 이동하기 전에 사용자의 현재 추정된 주의 초점에 의해 정의된 검색 볼륨 내에 있는(또는 아니면 그에 연관된) IOI를 듣기 위해 기다릴 수 있다. 예를 들어, 어느 한 경우에, 사용자의 관심 방향에 포함된 범위는 45 도이다. 사용자는 북동쪽, 남동쪽, 남서쪽 및 북서쪽으로 연속적으로 향하여 자신의 주변의 IOI의 전체 목록 작성을 수행할 수 있다. 각각의 방향에서, 사용자는 해당 사분면에 포함된 IOI를 듣게 된다.
또 다른 예시적인 특징에 따르면, 사용자는 IOI가 안내되는 것을 듣고 임의의 방식으로 IOI를 선택할 수 있다. 예를 들어, 사용자는 제인네 커피샵에 대한 정보를 듣고 "그곳으로 안내하세요" 또는 "추가 정보"라는 음성 명령을 내릴 수 있다. 또는 사용자는 IOI의 인지된 위치쪽으로 (예를 들어, 이 IOI를 안내하는 3 차원 사운드의 인지된 위치에 기초하여) 자신의 주의 초점을 돌림으로써 IOI를 선택할 수 있다. 사용자는, 예를 들어, IOI의 인지된 위치를 똑바로 향하도록 자신의 머리 또는 신체 또는 사용자 장치(106)를 돌림으로써 이러한 작업을 수행할 수 있다. 또는 사용자는 사용자 장치(106)에 의해 제공된 적절한 메뉴를 통해 IOI를 선택할 수 있다. 또는 사용자는 IOI가 안내되는 것을 듣고 헤드셋 버튼을 통해 적절한 선택을 할 수 있다. IOI의 선택에 응답하여, 어떤 방식으로든, SI 모듈(302)이 IOI에 관한 추가 정보를 제공하거나, IOI에 도달하는 방법에 관한 지시를 제공할 수 있다. SI 모듈(302)은 또한 선택된 IOI의 존재를 안내하는 3 차원 사운드의 볼륨을 증가시키거나, 그렇지 않으면 사용자의 경험에서 그 사운드를 더 두드러지게 함으로써 사용자의 선택을 확인할 수 있다.
마지막으로, 방향 모듈(432)은 전술한 방식으로 사용자의 현재 위치를 결정함으로써 동작한다. 그리고 나서, 사용자 주위에 3 차원 볼륨을 정의한다. 예를 들어, 3 차원 볼륨은 사용자가 볼륨의 중앙에 위치한 상태에서 (예를 들어) 원통 또는 구 또는 상자 또는 직사각형에 해당할 수 있다. 방향 모듈(432)은 RID 모듈(426)을 사용하여, 만일 존재한다면, 볼륨 내에 존재하는 IOI 집합을 식별한다. 방향 모듈(432)은 사운드 생성 모듈(414)을 사용하여 임의의 순서로 IOI를 읽는다.
예를 들어, 도 43에서, 방향 모듈(432)은 사용자가 현재 위치(4302)의 볼륨 중심에 위치한 상태에서 원통형을 갖는 3 차원 볼륨을 정의한다. 방향 모듈(432)은 RID 모듈(426)을 사용하여 원통 내부에 있는 IOI 또는 원통에 의해 정의된 공간과 연관된 IOI들을 식별한다. 그 후, 방향 모듈(432)은 임의의 순서로 IOI를 읽는다. 예를 들어, 3 층짜리 쇼핑몰을 방문하는 사용자를 생각해보자. 사용자가 쇼핑몰 1 층의 야외 아트리움에 서 있다고 가정하자. 방향 모듈(432)은 층 단위로, 예를 들어, 층(z1), 층(z2), 층(z3)에서 발견한 IOI를 읽을 수 있다. 방향 모듈(432)은 시계 방향, 반시계 방향 등과 같은 임의의 순서로 각 층에서의 IOI를 알릴 수 있다. 다음으로, 사용자는 전술한 임의의 방식으로 임의의 IOI를 선택적으로 선택할 수 있다.
맺음말로서, 상기 설명은 음식점 등과 같은 컨텍스트 IOI의 존재를 알리기 위해 3 차원 사운드의 사용을 설명한다. 그러나, SI 모듈(302)은 3 차원 사운드를 사용하여 경고 IOI 및 여행 IOI와 같은 임의의 유형의 IOI의 존재를 알릴 수 있다. 예를 들어, SI 모듈(302)은 팟홀(pothole)의 위치로부터 발산하는 것으로 보이는 도로의 팟홀에 관한 경고를 생성할 수 있다. 또 다른 설명으로서, SI 모듈(302)은 또한 평평하거나 비공간적인 방식으로 많은 유형의 IOI를 전달할 수 있다. 예를 들어, SI 모듈(302)은 사용자가 현재 이동하고 있는 도로가 비 때문에 매끄럽다는 것을 사용자에게 일반적으로 알려주는 방향성이 없는 다른 경고 IOI를 생성할 수 있다.
또한, 상기 설명은 물리적 공간에서의 위치로부터 기인하는 것으로 사용자가 인지하는 사운드의 사용을 전제로 한다. 부가적으로 또는 대안으로, 촉각 신호 생성 모듈(418)은 방향 정보를 전달하는 진동 신호를 생성할 수 있다. 예를 들어, 헤드셋(108)은 그 프레임(602)의 좌측에 제 1 진동 기구 및 그 프레임(602)의 우측에 제 2 진동 기구와 같은 둘 이상의 진동 기구를 포함할 수 있다. 촉각 신호 생성 모듈(418)은 제 1 또는 제 2 진동 메커니즘 중 어느 하나를 활성화하여 각각 사용자에게 좌측 또는 우측으로 회전하라는 지시를 제공한다. 이러한 유형의 지시에는 추가 진동 메커니즘을 포함하여 추가 그라데이션이 포함될 수 있다. 사용자 장치(106) 상에서 상이한 진동 메커니즘을 활성화시킴으로써, 예를 들어, 좌측 진동 메커니즘을 활성화하여 좌측으로 회전시키는 신호를 제공하고, 우측 진동 메커니즘을 활성화하여 우측으로 회전시키는 신호를 제공함으로써 동일한 효과를 얻을 수 있다. 진동 메커니즘은 또 다른 장치 또는 사용자 신체의 일부에 결합될 수 있다.
도 44는 사용자가 원하는 경로를 따라 네비게이션하는 것을 안내하기 위해 3 차원 사운드의 사용을 기술하는 프로세스(4402)를 도시한다. 블록(4404)에서, SI 모듈(302)은 공간 내의 경로를 따라 사용자의 현재 위치를 결정한다. 블록(4406)에서, SI 모듈(302)은 3 차원 사운드를 생성한다. 3 차원 사운드는, 3 차원 사운드가 공간 내의 적어도 하나의 특정 위치로부터 발산한다는, 사용자에 의한, 인지를 생성한다. 블록(4408)에서, SI 모듈(302)은 3 차원 사운드를 사용자에게 전달한다. 3 차원 사운드는 사용자가 경로를 따라 탐색하는 것을 돕는다.
도 45는 경로 안내 모듈(420)이 3 차원 사운드를 사용하여 원하는 경로를 따라 사용자를 안내하는 하나의 방식을 설명하는 프로세스(4502)를 도시한다. 블록(4504)에서, 경로 안내 모듈(420)은 사용자가 향하는 현재 방향을 결정한다. 블록(4506)에서, 경로 안내 모듈(420)은 사용자가 향할 것으로 예상되는 소망의 방향을 식별한다. 블록(4508)에서, 경로 안내 모듈(420)은 현재 방향과 소망의 방향 간의 차이를 결정하여 편차 정보를 제공한다. 블록(4510)에서, 경로 안내 모듈(420)은 사운드 생성 모듈(414)을 사용하여, 편차 정보에 기초하여 주기적인 3 차원 사운드(예를 들어, 비트 사운드)를 생성한다. 그 3 차원 사운드는 사용자를 소망의 방향으로 향하게 한다. 3 차원 사운드는 사용자가 소망의 방향으로부터 벗어난 정도에 따라 (톤과 같은) 하나 이상의 특성을 가질 수 있다.
도 46은 SI 모듈(302)이 3 차원 사운드를 이용하여 IOI를 식별하고 알릴 수 있는 하나의 방식을 설명하는 프로세스(4602)를 도시한다. 블록(4604)에서, SI 모듈(302)은 관심 항목(IOI)의 집합을 결정하고, 각각의 관심 항목은 현재의 컨텍스트에서 사용자에게 적합한 개체 또는 이벤트 또는 정보 조각에 해당한다. 블록(4606)에서, SI 모듈(302)은 각각의 관심 항목에 대해 3 차원 사운드를 생성한다. 사용자는, 예를 들어, 상점과 연관된 사운드를 상점의 위치로부터 발산하는 것으로 인지함으로써, 다시, 관심 항목과 연관된 동일한 물리적 위치(또는 위치들)로부터 발생하는 것으로 사운드를 인지할 것이다.
하나의 경우에, SI 모듈(302)은 사용자가 경로를 가로지를 때 배경 서비스로서 프로세스(4602)를 적용할 수 있다. 예를 들어, RID 모듈(426)은 임의의 거리-기반 파라미터 설정에 의해 관리되는 바와 같이, 사용자가 이들 IOI와 연관된 위치에 충분히 가까이 접근할 때 IOI의 존재를 사용자에게 경고할 수 있다.
다른 시나리오에서, 블록(4608)에 나타낸 바와 같이, 탐색 모듈(430)은 RID 모듈(426)을 사용하여 상기 일반 프로세스(4602)를 적용하여, 사용자의 관심이 현재 향하는 또는 현재 향하는 것으로 추정되는 부분 공간과 관련된 IOI 집합을 식별할 수 있다. 다른 시나리오에서, 블록(4610)에 표시된 바와 같이, 방향 모듈(432)은 RID 모듈(416)을 사용하여 상기 일반 프로세스(4602)를 적용하여, (사용자가 현재 자신의 주변 공간의 전체 볼륨에 관심을 갖기 때문에) 사용자의 현재 관심 초점을 참조하지 않고 현재 시간에 사용자 주위의 전체 공간과 관련된 IOI 집합을 식별할 수 있다. 사용자는, 예를 들어, 헤드셋(108) 또는 사용자 장치(106)를 통해, 적절한 지시를 내림으로써 탐색 모듈(430) 또는 방향 모듈(432)의 판독을 호출 및 중지할 수 있다.
마지막 주제로서, 상기의 예시들은 공간에서 가상 사운드-생성 개체(예를 들어, 가상 음원)의 위치가 적어도 3 차원 사운드의 전달 과정에서 청취자의 위치에 대해 안정적이라는 단순한 가정에 기초하고 있다. 이것은 많은 경우에 유효한 가정일 수 있지만, 모든 상황에서 유효하지는 않다.
예를 들어, 다음 시나리오를 고려해보자. 첫 번째 경우에, 사용자가 임의의 유형의 차량에서(예를 들어, 기차에서) 개체를 지나갈 때 고정-위치 개체를 기술하는(또는 아니면 이와 관련된) 3 차원 사운드를 들을 수 있다. 예를 들어, 사용자가 시애틀의 스페이스 니들 타워에 대한 임의의 방향으로 자동차의 승객으로서 여행할 때 스페이스 니들 타워를 설명하는 메시지를 들을 수 있다. 두 번째 경우에, 사용자가 가만히 서 있으면서 고정-위치 개체를 설명하는 (또는 아니면 이와 관련된) 3 차원 사운드를 들을 수 있지만, 그럼에도 불구하고 사용자의 머리를 움직여서 사용자의 좌측 및 우측 귀의 위치가 고정-위치 개체의 위치에 대해 상대적으로 변하게 된다. 세 번째 경우에, 사용자는 청취자의 고정된 위치에 대해, 움직이는 개체를 기술하는(또는 아니면 이와 관련이 있는) 3 차원 사운드를 들을 수 있다. 예를 들어, 사용자가 공항 터미널의 고정된 위치에 있는 동안, 사용자는 활주로를 내려간 비행기의 도착을 알리는 메시지를 들을 수 있다. 네 번째 경우에, IOI의 위치 및 사용자 모두는 오디오 정보의 전달 중에 움직일 수 있다.
IOI는 스페이스 니들이나 움직이는 비행기와 같은 물리적 개체에 항상 해당할 필요는 없다. 예를 들어, 움직이는 "가상" IOI는 사용자가 나이트클럽 입구쪽으로 이동할 때 인지하는 공간 메시지를 전달하여 사용자가 해당 시설에 들어가도록 유도하는 가상 광고판에 해당할 수 있다. 또한, IOI와 연관된 사운드와 관련하여 본원에서 설명된 모든 것은 주기적인 비트 사운드와 같은 다른 사운드에도 동일하게 적용된다.
상기 상황들 중 임의의 것을 처리하기 위해, SI 모듈(302)은 그 전달 과정 동안 생성하는 3 차원 오디오 정보를 동적으로 업데이트하여, 각각의 인스턴스 시간에, 사용자의 머리와 IOI 간의 상대적인 위치(예를 들어, 위에 인용된 예에서 스페이스 니들 또는 움직이는 비행기의 위치)를 반영할 수 있다. SI 모듈(302)은 이 작업을 다른 방식으로 수행할 수 있다. 하나의 비제한적인 접근에서, SI 모듈(302)은 오디오 정보의 전달의 반복적인 프로세스에서 다음의 동작들, (a) 상대 위치 정보를 제공하기 위해 IOI에 대한 사용자의 머리의 위치 결정, (b) 상대 위치 정보에 기초하여 (귀마다) HRTF 선택, (c) 선택된 HRTF에 의해 현재 시간에 전달될 오디오 정보가 무엇이든 간에 컨벌루션하여, 상대적인 위치 정보에 기초하여 적절한 3 차원 사운드 생성을 수행할 수 있다.
하나의 특정 예를 인용하기 위해, 사용자에게 전달하는데 5 초가 걸리는 메시지를 고려하자. SI 모듈(302)은 그 전달의 매 초마다 사용자의 머리와 IOI 사이의 상대 위치를 결정할 수 있다. SI 모듈(302)은 그 정보를 사용하여, 그 시간의 인스턴스에서의 사용자의 머리와 IOI 간의 상대적인 위치에 기초한 메시지 전달의 매초마다 3 차원 사운드를 생성할 수 있다.
보다 일반적으로, 상기 반복 처리는 상이한 업데이트 속도로 수행될 수 있다. 업데이트 속도는 청취자와 IOI 간의 상대적인 위치가 변경되는 속도에 따라 달라질 수 있다. 즉, SI 모듈(302)은 상대 위치 정보에 대해 상대적으로 큰 변화에 대해 비교적 빠른 속도로, 느린 변화에 대해서는 느린 속도로 HRTF를 업데이트할 수 있다. 업데이트 속도는 또한 3 차원 사운드 정보를 업데이트하기 위해 시스템(102)에서 이용 가능한 처리 자원의 양을 고려할 수 있다.
또한, SI 모듈(302)은 (그 자원에 대한 큰 처리 부담을 나타낼 수 있는) 상기 동적 처리를 촉진하도록 설계된 다양한 기술을 적용할 수 있다. 예를 들어, 경우에 따라서, 시스템(102)은 적어도 하나의 예측된 궤적에 대한 동적 사운드를 사전 계산할 수 있고, 이런 각각의 궤적은 (a) 공간에서 청취자의 움직임, (b) 공간에서 IOI의 움직임, 또는 (c) 청취자와 IOI의 움직임으로 인한 청취자와 IOI 간의 예상되는 상대적인 움직임의 일부 유형을 정의한다. 예를 들어, 기차가 매일 거의 같은 속도로 IOI를 지나간다고 가정하자. 이 경우, 동적으로 변화하는 HRTF에 근거하여 3 차원 사운드를 (귀마다) 미리 계산할 수 있다. 그 3 차원 사운드는 기차가 트랙을 따라 이동할 때 사용자의 머리의 추정된 진행을 고려하며, 사용자가 트랙을 따라 이동할 때 사용자의 머리가 사전 결정된 고정 방향을 갖는다는 단순한 가정에 기초할 수 있다. IOI로부터 사전 결정된 거리의 트랙 상의 위치와 같이, IOI에 대해 사전 결정된 트리거링 위치에 청취자의 위치가 도달하는 것을 SI 모듈(302)이 검출할 때, SI 모듈(302)은 그 3 차원 사운드를 발산할 수 있다.
상기 동작 방식은 상이한 시나리오들을 설명하기 위해 확장될 수 있다. 예를 들어, 시스템(102)은 상이한 동적 3 차원 사운드를 사전 계산하여 상이한 기차 속도, 상이한 고정된 머리 방향(예를 들어, 사용자가 메시지의 전달 중에 똑바로 앞을 보고 있는지, 또는 창 밖을 내다보고 있는지 여부를 표시함) 등을 고려할 수 있다.
상기 상황은 또한 사용자와 IOI 사이의 움직임이 다수의 가능성으로 분해될 수 있는 보다 일반적인 설정으로 확장될 수 있으며, 이러한 가능성을 위해 각각의 동적 3 차원 사운드를 미리 계산할 수 있다. 그 후, SI 모듈(302)은 사용자의 현재 컨텍스트가 미리 결정된 가능성들 중 하나와 일치한다고 결정할 때 임의의 사전 계산된 사운드를 발산할 수 있다.
또 다른 경우에, SI 모듈(302)은, 예를 들어, 사용자의 현재 방향에 기초하여, IOI의 위치에 대한 사용자의 이동을 예측하기 위한 처리를 동적으로 수행할 수 있다. 그 후, SI 모듈(302)은 IOI에 대한 사용자의 투사된 궤적에 기초하여 3 차원 사운드를 동적으로 미리 계산할 수 있다.
동적으로 변하는 3 차원 사운드의 계산을 촉진하기 위해 또 다른 기법이 사용될 수 있다. 일부 구현들에서, 예를 들어, SI 모듈(302)은, 예를 들어, 이들 자원들(112)에 의해 수행되는 병렬 처리를 이용함으로써, 원격 처리 자원들(112)의 강화된 처리 성능에 의지할 수 있다.
요약하면, 상기 특징들은 사용자가 자신의 환경에서 효율적으로, 안전하게 그리고 즐겁게 이동하도록 하는 전술한 목적에 기여한다. 예를 들어, 이 기능은 사용자가 다양한 프레젠테이션 모드를 사용하여 환경을 돌아다닐 때 서로 다른 카테고리의 정보를 사용자에게 제공한다. 이 기능은 주어진 시간에 너무 많은 정보로 사용자를 압도하지 않고 사용자에게 친숙한 방식으로 사용자에게 이 정보를 제공한다. 3 차원 사운드를 사용하면 제공된 정보와 환경 내의 객체, 지역 및 이벤트 간의 연결점을 사용자가 이해할 수 있는 능력이 한층 강화된다.
E. 사용자가 환경과 상호 작용하는 것을 돕기 위한 비컨의 사용
다음 섹션은 비컨-기반 안내 모듈(422)의 동작에 관한 부가적인 정보를 제공한다. 반복하면, 비컨-기반 안내 모듈(422)은 정의된 각각의 범위를 갖는 비컨을 이용함으로써 공간에서 사용자를 안내하기 위한 전략을 제공한다. 공간은 실내 공간에, 예컨대, 임의의 유형의 하나 이상의 건물 또는 구조물의 내부에 의해 정의된 공간에 해당할 수 있다. 대안적으로 또는 부가적으로, 공간은 실외 공간에 해당할 수 있다.
비컨은 전파, 적외선 등과 같은 임의의 유형의 전자기 방사선을 방출할 수 있다. 다른 경우에, 비컨은 (예를 들어, 초음파 범위에서) 음파를 방출할 수 있다. 또한, 경우에 따라서, 비컨들은 블루투스 프로토콜, 와이파이 프로토콜 등과 같은 임의의 프로토콜 또는 프로토콜들의 조합에 따라 신호들을 생성할 수 있다. 예를 들어, 제한 없이, 비컨들은 블루투스 저에너지(BLE) 비컨에 상응할 수 있다. 또한, 비컨은 그것이 배치되는 목표 환경에 가장 잘 맞도록 임의의 원하는 깊이의 범위를 가질 수 있다. 예를 들어, 일부 실내 설정에서, 비교적 짧은 범위, 예를 들어, 일 미터 이상의 범위를 갖는 비컨이 선택된다. 경우에 따라서는, 비컨의 명시된 범위는 그 신호가 (특정 스마트폰과 같은) 특정 유형의 사용자 장치 또는 (특정 클래스의 스마트폰과 같은) 특정 클래스의 사용자 장치에 의해 검출된다는 암시적인 또는 명시적인 가정을 기반으로 할 수 있으며, 이 사용자 장치들은 알려진 안정적인 신호 수신 특성을 가지고 있다.
또 다른 경우에, 각각의 비컨은, 비컨에 대해 소정의 거리 내에 있을 때 사용자 장치(106)(또는 일부 다른 질의(interrogating) 장치)에 의해 질의될 수 있는 (수동 RFID와 같은) 수동 장치이다. 그 소정의 거리는 장치의 범위에 해당한다. 그러나, 설명을 용이하게 하기 위해, 나머지 설명은 각 비컨이 능동적으로 신호를 방출한다고 가정할 것이다.
일 구현에서, 각각의 비컨은 그것의 신원을 정의하는 코드를 소유한다. 비컨은, 비컨의 범위 내에서 수신 장치에 의해 검출될 수 있는 그 코드(및/또는 임의의 다른 애플리케이션-특유의 정보)를 알리는 신호를 지속적으로 또는 주기적으로 (또는 주문형 방식으로) 방출할 수 있다. 예를 들어, 약 1 미터의 범위를 갖는 BLE 비컨을 생각해보자. 그 범위 내에 있는 수신 장치는 비컨의 신호를 검출하고 그 특정 코드를 판독할 수 있다.
도 47의 예시에서, 실내(및/또는 실외) 환경은 복도 및 장애물(예를 들어, 장애물 1, 장애물 2, 및 장애물 3)의 집합을 특징으로 한다. 이 시나리오는, 예를 들어, 둘 이상의 복도의 모든 교차점에 비컨을 배치함으로써, 비컨들의 집합(예를 들어, 비컨들(b1, b2, ... b7))으로 환경을 미리 채우는 것을 포함한다. 각 비컨을 둘러싼 가장 바깥쪽의 점선으로 된 원이 비컨의 범위를 나타낸다. 전술한 바와 같이, 비컨의 범위 내에 있는 수신 장치는 비컨을 성공적으로 검출할 수 있으며, 그렇지 않으면, 수신 장치는 비컨에 대해 알지 못할 것이다. 하나의 예시적인 구현에서, 비컨의 범위가 중첩되지 않는다는 점을 유의해야 한다. 이 특성은 임의의 주어진 시간에 사용자의 위치에 대한 모호성을 제거하기 때문에 유리하다. 즉, 이들 비컨의 범위가 중복되지 않고 사용자가 같은 시각에 두 장소에 동시에 존재할 수 없기 때문에, 사용자의 장치가 둘 이상의 비컨을 동시에 검출할 수 없다. 일부 환경에서, 비컨 범위의 중첩되지 않는 특성은 비컨으로부터 방출된 신호를 수신할 사용자 장치(또는 장치들의 클래스)의 특성을 고려함으로써 보장될 수 있다.
제 1 예비 단계로서, 도 47의 환경에서의 모든 비컨의 위치가 데이터 저장소(424)에 로딩될 수 있다. 또한 데이터 저장소(424)는 그 비컨들과 연관된 코드들을 저장할 수 있다.
제 2 예비 단계로서, 시스템(102)은 임의의 경로 계획 도구를 사용하여 도 47의 환경을 통한 경로를 생성할 수 있다. 경로 계획 도구는 임의의 알고리즘을 적용하여 이 작업을 수행할 수 있다. 예를 들어, 경로 계획 도구는 복도 및 장애물에 의해 정의된 검색 공간을 복수의 노드 및 링크를 갖는 그래프로 표현할 수 있다. 즉, 링크는 복도를 나타내고 노드는 복도의 교차점을 나타낸다. 그런 다음 경로 계획 도구는 (잘 알려진 다익스트라 알고리즘(Dijkstra's algorithm)과 같은) 임의의 알고리즘을 사용하여 그래프를 통해 가장 효율적인 경로를 찾을 수 있다. 일단 경로가 정의되면, 비컨-기반 안내 모듈(422)은 경로를 이동할 때 사용자가 횡단할 비컨(본원에서는 경로-특유의 비컨으로 지칭됨)의 부분 집합을 식별하고, 이들 비컨의 신원을 저장할 수 있다. 도 47의 경우에, 사용자는 모든 비컨과 만날 것으로 예상되지만, 일반적으로 그렇지 않다 (아래에서 명확해질 것임).
이제, 사용자가 전술한 시스템(102)을 안내로서 사용하여 경로에 착수한다고 가정하자. 시스템(102)은 헤드셋(108) 및/또는 사용자 장치(106)를 통해 전술한 방식으로 사용자에게 실시간 안내를 제공할 수 있다. 그러나, 이 경우, 시스템(102)은 전술한 기법과 비교해서, 다른 기법을 사용하여 매번 사용자의 현재 위치를 결정한다.
보다 구체적으로, 비컨-기반 안내 모듈(422)은 사용자가 임의의 비컨의 범위 내에 있는지 여부를 결정하기 위해 환경을 지속적으로 스캔한다. 범위 내에 있다면, 비컨-기반 안내 모듈(422)은 검출된 비컨의 현재 위치로서 사용자의 현재 위치를 식별한다. 다시 말해서, 비컨-기반 안내 모듈(422)은 환경에서 검출된 비컨 및 그 위치와 연관된 코드를 선험적으로 알게 된다. 사용자의 헤드셋(108) 또는 사용자 장치(106)가 (검출된 신호에 의해 전달된 코드에 기초하여) 그 비컨의 존재를 검출하면, 비컨-기반 안내 모듈(422)은 사용자가 검출된 비컨과 동일한 위치에 있다고 가정할 수 있다.
이 시점에서, 비컨-기반 안내 모듈(422)은 경로 안내 모듈(420)의 서비스를 이용하여, 3 차원 사운드를 사용하고 및/또는 (3 차원이 아닌 사운드, 디스플레이된 지시 등과 같은) 다른 안내 정보에 기초하여 사용자를 소망의 방향으로 향하게 할 수 있다. 예를 들어, 사용자의 사용자 장치(106)가 그것이 비컨(b4)의 범위 내에 있음을 검출한다고 가정하자. 경로 안내 모듈(420)은, 사전 결정된 여행 정보에 기초하여, 사용자의 여행에 따른 다음 웨이포인트가 비컨(b5)에 대응함을 결정할 것이다. 경로 안내 모듈(420)은 사용자의 우측으로부터 발생하는 것으로 인지되는 3 차원 사운드를 생성할 수 있고, 이는 사용자가 다음 웨이포인트(예를 들어, 비컨(b5))를 향하게 하는 역할을 한다. 사용자는 이 신호를 자신이 우측으로 향하라는 지시로 해석할 것이다. 사용자는 자신이 다른 비컨(예를 들어, 비컨(b5))을 만날 때까지 이 방향으로 계속 갈 것이며, 이 때 사용자의 방향이 업데이트될 수 있다.
경우에 따라서, 사용자는 자신이 다음에 만날 것으로 예상되는 비컨의 범위를 벗어나는 방식으로 계획된 경로로부터 예기치 않게 벗어날 수 있다. 도 48은 이 상황을 처리하는 하나의 방식을 나타낸다. 사용자의 현재 위치가 평가되는 빈도를 증가시키는 효과가 있도록, 사용자의 계획된 경로에 따른 비컨의 개수를 늘림으로써, (예를 들어, 사용자가 만날 것으로 예상되는 비컨의 범위 밖에 있을 정도로) 사용자가 경로에서 벗어날 가능성을 줄이는 전략이 있다. 도 48은 사용자가 계획된 경로를 횡단할 것으로 예상되는 비컨들만을 도시한다. 그러나 환경은 사용자가 횡단할 것으로 예상되지 않는 추가적인 비컨(도시되지 않음)을 포함할 수 있다.
예를 들어, 사용자의 선택이 장애물에 의해 상당히 제한되기 때문에, 사용자가 크게 벗어날 수 있는 기회가 도 47 및 도 48에서는 크지 않다. 그럼에도 불구하고 사용자는 혼란스러워지고 잘못 돌아가서, 계획 노선을 벗어날 수 있다. 또는 사용자가 의도적으로 계획 경로에서 벗어나기로 결정할 수도 있다. 예를 들어, 도 48에서 비컨(b9)와 관련된 교차점에서, 사용자는 우회전이 아니라 좌회전을 할 수 있다. 따라서, 사용자는 결과적으로 그가 만날 것으로 예상되지 않는 경로-외-비컨(도시되지 않음)을 만날 수 있다.
비컨-기반 안내 모듈(422)은 이러한 상황을 상이한 방식으로 처리할 수 있다. 하나의 경우, 비컨-기반 안내 모듈(422)은 사용자가 트랙을 방황한 것처럼 보이기 때문에 더 이상 사용자에게 안내를 제공할 수 없고, 또한 더 이상 사용자의 방향 및 의도를 결정할 수 없음을 사용자에게 알릴 수 있다. 비컨-기반 안내 모듈(422)은 또한 사용자가 환경을 통해 원래 정의된 경로를 추구할 의도가 있는지를 질의할 수 있다.
또 다른 경우에, 사용자의 현재 위치, 방향, 및 의도와 관련하여 충분한 정보를 얻을 수 있다면, 비컨-기반 안내 모듈(422)은 사용자를 계획된 경로로 되돌아가게 할 수 있다. 예를 들어, 비컨-기반 안내 모듈(422)은 사용자의 가장 최근에 알려진 위치의 집합에 기초하여 궤적을 형성함으로써, (잘못된 것처럼 보이지만) 사용자가 현재 향하고 있는 것으로 보이는 방향을 결정할 수 있다. 그 다음, 비컨-기반 안내 모듈(422)은 사용자의 현재 위치(알려진 경우)에 관한 정보와 함께 그 방향 정보를 이용하여 사용자를 계획된 경로로 되돌아가게 할 수 있다. 또는, 비컨-기반 안내 모듈(422)은 사용자가 계획된 경로를 계속 추구할 것인지 아니면 다른 경로를 선택할 것인지를 결정하도록 사용자에게 질의할 수 있다.
임의의 시나리오에서, 비컨-기반 안내 모듈(422)은 또한 (BLE 비컨에 의해 제공된 정보에 추가하여) 사용자의 현재 위치 및 방향에 대한 다른 증거에, 그 정보가 이용 가능할 때, 의존할 수 있다. 예를 들어, 비컨-기반 안내 모듈(422)은 GPS 센서 소스, 추측 항법 기법 등으로부터 그 정보를 수집할 수 있다. 다른 경우에, 이들 추가 소스 중 적어도 일부가 이용 가능하지 않거나 신뢰할 수 없다고 추정된다.
도 49는, 도 47 및 도 48의 예들과 비교하여, 사용자가 횡단하는 공간이 더 자유로운 다른 상황을 설명한다. 공간은 단거리 비컨 집합으로 미리 채워져 있다. 예를 들어, 공간의 물리적 특성에 의해 허용되는 경우, 공간은 이러한 비컨들의 정칙 행렬(regular matrix)로 채워질 수 있다. 비컨은 서로 중첩되지 않는 범위를 갖는다.
다시 말하면, 경로 계획 도구는 임의의 입력 목표에 기초한 공간을 통해, 그리고 이러한 목적을 위해 임의의 경로 계획 알고리즘을 사용하여 경로(4902)를 생성할 수 있다. 그 다음에, 비컨-기반 안내 모듈(422)은 사용자가 계획된 경로(4902)를 여행할 때 횡단할 것으로 예상되는 비컨을 결정한다. 이들 비컨은 진한 검은 단색 비컨 심볼로 표시된다.
경로(4902)의 실제 횡단 동안, 비컨-기반 안내 모듈(422)은 전술한 것과 동일한 기능을 수행한다. 즉, 비컨-기반 안내 모듈(422)이 사용자가 예상 경로(예를 들어, 비컨(b22))를 따라 비컨의 범위에 들어간 것으로 결정할 때, 비컨-기반 안내 모듈(422)은 그 비컨의 위치를 사용자의 현재 위치로 받아들인다. 그런 다음, 사용자를 다음 비컨(예를 들어, 비컨(b33))으로 안내하기 위해, 사용자의 방향을 다시 계산하고 3 차원 비트 사운드(및/또는 기타 안내 정보)를 업데이트한다.
사용자에게 실수를 할 수 있는 더 많은 자유도가 주어지기 때문에, 도 49의 경우에 사용자가 트랙에서 벗어날 위험이 도 48의 경우보다 크다. 도 50은 이 상황을 처리하는 한 가지 방법을 설명한다. 여기서, 비컨-기반 안내 모듈(422)은, 예를 들어, 최적의 경로(5002)의 양측에 놓이는 인접한 비컨들까지도 포함함으로써, 사용자가 보다 일반적인 방식으로 계획된 경로(5002)를 따라 마주칠 수 있는 (진한 검은 단색 비컨 심볼로 표시되는) 비컨을 정의한다. 비컨-기반 안내 모듈(422)은 사용자가 여전히 계획 경로(5002)를 고수하려고 하지만 코스를 아주 조금만 벗어났다는 가정 하에 사용자가 이들 인접한 비컨들의 범위를 방황한다면 계속해서 사용자에게 안내를 제공할 수 있다. 비컨-기반 안내 모듈(422)은 사용자가 가장 바깥쪽의 인접한 비컨과 관련된 경계를 넘어서 방황할 때에만 오류 상태를 생성할 수 있다.
또 다른 구현에서, 비컨-기반 안내 모듈(422)은 사용자가 지금까지 자신의 경로를 따라 이미 마주친 비컨들에 기초하여 사용자의 원하는 목적지에 대한 가정을 형성할 수 있다. 예를 들어, 비컨-기반 안내 모듈(422)은 지금까지 마주친 비컨들의 위치들에 기초하여 궤적을 형성할 수 있다. 그 다음, 비컨-기반 안내 모듈(422)은, 예를 들어, 그 현재 방향을 따라 궤적을 연장시킴으로써, 궤적이 가리킬 가능성이 있는 중간 또는 최종 목적지를 결정할 수 있다. 그 다음, 비컨-기반 안내 모듈(422)은 사용자가 가정된 목적지를 향한 경로를 추구하기를 원하는지 여부를 사용자에게 물어볼 수 있다. 추구하기를 원하는 경우, 비컨-기반 안내 모듈(422)은 그 후에 사용자가 식별된 목적지에 도달하는데 도움을 주는 동일한 유형의 전술한 네비게이션 지원을 제공할 수 있다.
본원에서 설명된 경우들 중 임의의 경우에, 비컨-기반 안내 모듈(422)은 또한 사용자의 이전 여행 습관에 관한 히스토리 정보 및/또는 (특정 환경과 관련된) 다른 사람들의 여행 습관에 관한 히스토리 정보를 고려할 수 있다. 이 정보는, 이용 가능한 경우, 원하는 목적지에 도달하려는 사용자의 의도에 대한 추가 증거를 제공할 수 있다.
도 51은, 예를 들어, 도 47-50의 환경 유형의 컨텍스트 내에서, 비컨-기반 안내 모듈(422)의 동작의 한 방식을 설명하는 프로세스(5102)를 도시한다. 블록(5104)에서, 비컨-기반 안내 모듈(422)은 환경 내의 현재 위치에서 동작하는 컴퓨팅 장치의 센서(센서들)로부터 특정 비컨 신호를 수신한다. 컴퓨팅 장치는 사용자 장치(108) 또는 헤드셋(108) 등에 해당할 수 있다. 전술한 바와 같이, 환경은 하나의 예시적인 구현에서 각각의 중첩되지 않는 범위를 갖는 복수의 비컨으로 채워진다. 또한, 예비 단계로서, 경로 계획 모듈은 여행 정보에 의해 기술된 원하는 경로를 정의할 수 있다. 또는 원하는 경로는 사용자의 의도된 중간 또는 최종 목적지에 대한 가정에 기반하여 사용자가 환경을 가로지르면서 동적인 방식으로 생성될 수 있다. 어쨌든, 원하는 경로는 환경 내의 전체 비컨 집합 중에서 경로-특유의 비컨 집합들과 관련된 범위를 횡단한다.
블록(5106)에서, 비컨-기반 안내 모듈(422)은, 특정 비컨 신호에 기초하여, 사용자가 경로-특유의 비컨들 중 하나의 범위 내에 있는지를 결정하고, 이런 동작은 사용자가 그 범위 내에 있을 때 현재 위치 정보를 산출한다. 블록(5108)에서, 비컨-기반 안내 모듈(422)은 다음 웨이포인트 정보를 제공하기 위해, 미리 결정된 여행 정보에 기초하여, 사용자가 도달할 것으로 예상되는 다음 웨이포인트를 결정한다. 경우에 따라서, 그 다음 웨이포인트는 사용자의 미리 결정된 여행을 따른 다음 비컨에 해당할 수 있다. 블록(5110)에서, 비컨-기반 안내 모듈(422)은 다음으로 현재 위치 정보 및 다음 웨이포인트 정보에 기초하여 방향 정보를 결정한다. 방향 정보는 사용자가 다음 웨이포인트에 도달하기 위해 이동하도록 권유 받은 방향을 반영한다. 블록(5112)에서, 비컨-기반 안내 모듈(422)은 방향 정보에 기초하여 오디오 정보(및/또는 다른 안내 정보)를 생성한다. 블록(5114)에서, 비컨-기반 안내 모듈(422)은, 예를 들어, 3 차원 비트 사운드로서, 오디오 정보를 사용자에게 전달한다. 오디오 정보는 사용자가 다음 웨이포인트에 도달하는 것을 도와준다. 비컨-기반 안내 모듈(422)은 경로 안내 모듈(420) 및 사운드 생성 모듈(414)의 도움을 받아 상기 기능들을 수행할 수 있다.
도 52는 비컨-기반 안내 모듈(422)이 환경 내의 사용자의 현재 위치를 결정할 수 있는 하나의 방식에 관한 보다 상세한 설명을 제공하는 프로세스(5202)를 도시한다. 블록(5204)에서, 비컨-기반 안내 모듈(422)은 수신된 특정 비컨 신호와 관련된 특정 비컨 코드를 식별한다. 블록(5206)에서, 비컨-기반 안내 모듈(422)은, 특정 비컨 코드에 기초하여, 그 특정 비컨 코드와 연관된 특정 비컨을 식별한다. 블록(5208)에서, 비컨-기반 안내 모듈(422)은 비컨 코드 및 환경 내의 비컨들의 각각의 위치를 식별하는 (데이터 저장소(424)에) 저장된 정보에 기초하여 특정 비컨의 위치를 식별한다.
요약하면, 상기 특징들은, 특히 사용자가 (예를 들어, 위성-기반 네비게이션 시스템의 사용에 기초하여) 자신의 위치를 결정하는 다른 모드에 의존할 수 없는 상황에서, 사용자가 자신의 환경을 안전하고 효율적으로 이동할 수 있게 하는 전술한 목표에 기여한다. 또한, (하나의 예시적인 구현에 따른) 비-중첩 비컨 범위의 사용은 사용자가 같은 시간에 둘 이상의 비컨의 범위 내에 동시에 존재할 수 없기 때문에, 사용자의 위치를 명확하게 하는 효율적인 메커니즘을 제공한다.
제 1 구현의 상기 설명에서, 사용자 장치(106)(및/또는 핸드셋(108))는 임의의 주어진 시간에 제로 비컨 또는 단일 비컨 중 하나에 의해 전송된 신호를 수신하지만, 복수의 비컨을 수신하지는 않는다. 다른 구현들에서, 상기 특성은 상이한 방식들로 완화될 수 있다.
예를 들어, 제 2 구현에서, 비컨 기반 안내 모듈(422)은 소정의 임계치를 초과하는 신호 강도를 갖는 비컨으로부터 신호를 수신하는 경우, 사용자 장치(106) 및/또는 핸드셋(108)이 특정 비컨의 범위 내에 있다고 결론을 내릴 것이다. 그러나, 제 1 구현과 달리, 비컨-기반 안내 모듈(422)이 환경 내의 하나 이상의 다른 비컨들로부터 약한 신호들을 동시에 수신할 수도 있으며, 이들 신호들의 각각의 세기는 소정의 임계치 아래이다. 이 시나리오에서, 환경은 임의의 주어진 시간에 비컨-기반 안내 모듈(422)이 (1) 임계치를 초과하는 신호 강도를 갖는 신호를 하나도 수신하지 못하거나, 또는 (2) 신호 강도가 임계치 이상인 단 하나의 신호를 수신하게 되는, 위치를 갖는 비컨으로 채워진다. 실제로 제 2 구현은 제 1 구현과 동일한 방식으로 기능하며, 예를 들어, 사용자가 비컨들 중 하나의 범위 내에 있다고 가정하면, 주어진 시간에 사용자의 위치를 명확하게 하는 이진 메커니즘을 제공함으로써, 동일한 이점을 제공한다. 따라서, 제 2 구현의 비컨은 상기의 동작으로 인해 기능적으로 또는 효과적으로 중첩되지 않는 것으로 간주될 수 있다. 따라서, 본원에서 사용되는 "비-중첩"에 대한 임의의 참조는 비컨이 문자 그대로 중첩되지 않는 범위를 갖는 경우뿐만 아니라, 사용자 장치(106) 및/또는 헤드셋(108)이 기껏해야 소정의 임계치를 초과하는 신호 강도를 갖는 하나의 비컨으로부터 신호를 수신할 수 있기 때문에 범위가 중첩되지 않는 것으로 간주될 수 있는 경우도 포괄하는 것으로 이해되어야 한다.
제 3 구현에서, 비컨-기반 안내 모듈(422)은, 임의의 주어진 시간에, 임의의 신호 강도를 갖는 임의의 개수의 비컨으로부터 신호를 수신할 수 있다. 특정 위치의 신호(및 강도) 집합은 해당 위치에 대한 신호 프로파일 정보를 정의한다. 예비 동작에서, 비컨-기반 안내 모듈(422)은 환경 내의 각각의 네비게이션 가능한 위치에 대한 신호 프로파일 정보를 저장할 수 있고, 이 정보는, 예를 들어, 그 위치에서의 신호 및 그 각각의 강도에 관한 정보를 구성한다. 집합적으로, 저장된 정보는 환경의 프로파일 지도를 구성한다. 네비게이션하는 동안, 비컨-기반 안내 모듈(422)은 현재의 신호 프로파일 정보를 제공하기 위해 주어진 시간에 주어진 위치에서 수신하고 있는 신호를 결정할 수 있다. 그 다음, 비컨-기반 안내 모듈(422)은 현재의 신호 프로파일 정보를 키로 사용하여 가장 가까운 매칭 신호 프로파일 정보를 갖는 위치를 찾을 수 있다. 해당 위치는 주어진 시간에 사용자의 예상 위치를 정의한다. 일부 환경에서, 비컨에 의해 방출된 신호의 강도 및/또는 이들 신호를 검출하는 성능은 다양한 환경-특유의 이유로 인해 시간에 따라 변할 수 있다. 비컨-기반 안내 모듈(422)은 신호 프로파일 정보의 정규화된 버전을 비교함으로써 이 문제를 해결할 수 있다. 제 3 구현에서 비컨의 위치는 전술한 제 1 또는 제 2 구현과 관련된 중첩되지 않는 제약을 충족시킬 필요는 없다는 점을 유의해야 한다.
F. 대표적인 컴퓨팅 기능부
도 53는 전술한 시스템(102)의 임의의 양태를 구현하는데 사용될 수 있는 컴퓨팅 기능부(5302)를 도시한다. 예를 들어, 도 53에 도시된 컴퓨팅 기능부(5302)의 유형은 임의의 사용자 장치(106), 임의의 원격 처리 자원(112), 헤드셋(108)에 의해 사용되는 처리 장비, 별도의 사용자 컴퓨팅 장치(110) 등 구현하는데 사용될 수 있다. 모든 경우에, 컴퓨팅 기능부(5302)는 하나 이상의 물리적이고 유형인 처리 메커니즘을 나타낸다.
컴퓨팅 기능부(5302)는 하나 이상의 처리 장치(5304), 예를 들어, 하나 이상의 중앙 처리 유닛(CPU), 및/또는 하나 이상의 그래픽 처리 유닛(GPU) 등을 포함할 수 있다.
또한, 컴퓨팅 기능부(5302)는 코드, 세팅, 데이터 등과 같은 임의의 유형의 정보를 저장하는 임의의 저장 자원(5306)을 더 포함할 수 있다. 비제한적인 예를 들면, 저장 자원(5306)은 임의의 유형(들)의 RAM, 임의의 유형(들)의 ROM, 플래시 장치, 하드 디스크, 광 디스크 등 중 임의의 것을 포함할 수 있다. 보다 일반적으로, 임의의 저장 자원은 정보를 저장하기 위한 임의의 기술을 이용할 수 있다. 또한 임의의 저장 자원은 휘발성 또는 비휘발성 정보 보유를 제공할 수 있다. 또한, 임의의 저장 자원은 컴퓨팅 기능부(5302)의 고정식 또는 이동식 구성 요소를 나타낼 수 있다. 컴퓨팅 기능부(5302)는 처리 장치(5304)가 임의의 저장 자원들 또는 저장 자원들의 조합에 저장된 지시를 실행할 때 전술한 기능들 중 임의의 것을 수행할 수 있다.
용어와 관련하여, 저장 자원(5306) 중 임의의 것, 또는 저장 자원(5306)의 임의의 조합이 컴퓨터 판독 가능 매체로 여겨질 수 있다. 여러 경우에서, 컴퓨터 판독 가능 매체는 일부 형태의 물리적이고 유형인 개체를 나타낸다. 컴퓨터 판독 가능 매체라는 용어는 또한 전파된 신호, 예를 들어, 물리 도관 및/또는 공중 또는 그 밖의 다른 무선 매체 등을 통해 송신 또는 수신된 신호를 포함한다. 그러나 특정 용어 "컴퓨터 판독 가능 저장 매체" 및 "컴퓨터 판독 가능 매체 장치"는 그 밖의 다른 모든 형태의 컴퓨터 판독 가능 매체는 포함하면서, 전파되는 신호 자체는 명확히 배제한다.
컴퓨팅 기능부(5302)는 또한 하드 디스크 드라이브 메커니즘, 광 디스크 드라이브 메커니즘 등과 같은 임의의 저장 자원과 상호 작용하기 위한 하나 이상의 드라이브 메커니즘(5308)을 포함한다.
컴퓨팅 기능부(5302)는 또한 (입력 장치(5312)를 통해) 다양한 입력을 수신하고, (출력 장치(5314)를 통해) 다양한 출력을 제공하기 위한 입/출력 모듈(5310)을 포함한다. 예시적인 입력 장치로는 키보드 장치, 마우스 입력 장치, 터치 감지 입력 장치, 디지털화 패드, 하나 이상의 비디오 카메라, 하나 이상의 깊이 카메라, 자유 공간 제스처 인식 메커니즘, 하나 이상의 마이크로폰, 음성 인식 메커니즘, 임의의 움직임 검출 메커니즘(예를 들어, 가속도계, 자이로스코프 등) 등을 포함한다. 하나의 특정 출력 메커니즘으로는 표시 장치(5316) 및 이와 연관된 그래픽 사용자 인터페이스(GUI, 5318)를 포함할 수 있다. 그 밖의 다른 출력 장치는 프린터, 모델-생성 메커니즘, 촉각 출력 메커니즘, (출력 정보를 저장하기 위한) 저장 메커니즘 등을 포함한다. 컴퓨팅 기능부(5302)는 또한 하나 이상의 통신 도관(5322)을 통해 데이터를 그 밖의 다른 장치와 교환하기 위한 하나 이상의 네트워크 인터페이스(5320)를 포함할 수 있다. 하나 이상의 통신 버스(5324)는 전술한 구성 요소들을 통신 가능하게 연결한다.
통신 도관(들)(5322)은 임의의 방식으로, 예를 들어, 근거리 통신망, 광역 통신망(예를 들어, 인터넷), 포인트-투-포인트 연결 등, 또는 이들의 조합으로 구현될 수 있다. 통신 도관(들)(5322)은 임의의 프로토콜 또는 프로토콜 조합에 의해 통제되는, 고정 배선된 링크, 무선 링크, 라우터, 게이트웨이 기능부, 네임 서버 등의 임의의 조합을 포함할 수 있다.
대안으로 또는 추가로, 상기의 섹션들에서 설명된 기능들 중 임의의 기능이, 하나 이상의 하드웨어 로직 구성 요소에 의해 적어도 부분적으로 수행될 수 있다. 비제한적 예를 들면, 컴퓨팅 기능부(5302)는 FPGA(Field-programmable Gate Array), ASIC(Application-specific Integrated Circuit), ASSP(Application-specific Standard Product), SOC(System-on-a-chip system), CPLD(Complex Programmable Logic Device) 등 중 하나 이상을 이용해 구현될 수 있다.
마지막으로, 이하의 기재는 전술한 시스템(102)의 각각의 양태를 요약한다.
제 1 양태에 따르면, 사용자가 공간과 상호 작용할 때 돕기 위한 공간 상호 작용 모듈을 구현하는 컴퓨팅 장치가 기술된다. 상기 컴퓨팅 장치는 3 차원 사운드를 생성하도록 구성된 사운드 생성 모듈을 포함하고, 상기 3 차원 사운드는, 상기 3 차원 사운드가 상기 공간 내의 적어도 하나의 특정 위치로부터 발산한다는, 사용자에 의한, 인지를 생성한다. 상기 컴퓨팅 장치는 또한 상기 사운드 생성 모듈을 사용하여, 상기 사용자에게 제시될 때, 상기 공간 내의 특정 방향으로 상기 사용자를 향하게 하는 3 차원의 주기적인 사운드를 생성하도록 구성된 경로 안내 모듈을 포함한다.
제 2 양태에 따르면, 상기 사운드 생성 모듈에 의해 생성된 각각의 3 차원 사운드는 광대역 오디오 정보로서 표현된다.
제 3 양태에 따르면, 상기 경로 안내 모듈은 상기 사용자가 소망의 방향으로부터 현재 벗어나는 정도에 따라 다른 오디오 특성을 갖는 상기 주기적인 사운드를 생성하도록 구성된다.
제 4 양태에 따르면, 상기 경로 안내 모듈은 상기 소망의 방향으로부터의 제 1 편차 범위에 대해, 제 1 오디오 특성을 갖는 제 1 주기적인 사운드, 및 상기 소망의 방향으로부터의 제 2 편차 범위에 대해 제 2 오디오 특성을 갖는 제 2 주기적인 사운드- 상기 제 2 범위의 편차는 상기 제 1 범위의 편차보다 큼 -를 적어도 제시하도록 구성된다.
제 5 양태에 따르면, 상기 공간 상호 작용 모듈은 적어도 하나의 관심 항목을 식별하도록 구성된 적합 정보 결정(RID) 모듈을 더 포함한다. 각각의 관심 항목은 상기 사용자에 의한 상기 공간과의 상호 작용 중에 현재 컨텍스트에서 상기 사용자에게 적합한 주제에 해당한다. 상기 공간 상호 작용 모듈은 상기 사운드 생성 모듈을 사용하여 각각의 식별된 관심 항목과 관련된 사운드를 제공하도록 구성된다.
제 6 양태에 따르면, 적어도 하나의 관심 항목은 물리적인 공간 내의 물리적인 개체의 존재를 식별하는 역할을 하며, 상기 물리적인 개체는 현재의 상황에서 사용자 가까이에 있다.
제 7 양태에 따르면, 적어도 하나의 관심 항목은 물리적 공간 내의 물리적 개체의 존재를 식별하는 것 이외에도, 현재의 상황에 관련된 정보 및/또는 경험을 전달한다.
제 8 양태에 따르면, 적어도 하나의 관심 항목은 그룹-유형의 관심 항목에 해당한다. 상기 그룹-유형의 관심 항목은 상기 현재 컨텍스트에 속하고 적어도 하나의 공통 특징을 갖는 개별 관심 항목들의 그룹을 식별한다.
제 9 양태에 따르면, 상기 공간 상호 작용 모듈은 관심 항목과 관련된 임의의 사운드의 프레젠테이션 시에, 주기적인 사운드의 프레젠테이션의 정상 상태에서 주기적인 사운드의 프레젠테이션을 중지하도록 구성된다.
제 10 양태에 따르면, 관련된 각각의 다른 우선 순위를 갖는 서로 다른 유형의 관심 항목이 존재한다. 상기 공간 상호 작용 모듈은, 서로 다른 각각의 우선 순위를 갖는 둘 이상의 관심 항목이 식별되는 경우, 가장 높은 우선 순위를 갖는 관심 항목과 관련된 사운드를 먼저 제공하도록 구성된다.
제 11 양태에 따르면, 다양한 유형의 관심 항목이 존재한다. 상기 공간 상호 작용 모듈은 특정 관심 항목과 관련된 유형의 사운드에 이어서 상기 특정 관심 항목과 연관된 음성 메시지를 제공함으로써 상기 특정 관심 항목과 관련된 사운드를 제공하도록 구성된다.
제 12 양태에 따르면, 상기 공간 상호 작용 모듈은, 상기 사용자에 의해 활성화될 때, 상기 RID 모듈을 사용하여, 상기 사용자의 주의가 현재 향하고 있는 부분 공간과 연관된 관심 항목들의 집합을 식별하도록 구성된 탐색 모듈을 더 포함한다. 상기 탐색 모듈은 상기 사운드 생성 모듈을 사용하여 상기 관심 항목들의 집합에 대한 3 차원 사운드를 생성하도록 더 구성된다.
제 13 양태에 따르면, 상기 공간 상호 작용 모듈은 상기 RID 모듈을 사용하여 현재 시각에 상기 사용자 주위의 전체 공간과 관련된 관심 항목들의 집합을 식별하도록 구성된 방향 모듈을 더 포함한다. 상기 방향 모듈은 상기 사운드 생성 모듈을 사용하여 상기 관심 항목들의 집합에 대한 3 차원 사운드를 생성하도록 더 구성된다.
제 14 양태에 따르면, 상기 방향 모듈은, 수직 방향의 복수의 레벨에 대하여, 현재 시각에 있어서의 사용자 주위의 3 차원 공간에 관한 관심 항목의 상기 3 차원 사운드를 제공하도록 구성된다.
제 15 양태에 따르면, 상기 공간 상호 작용 모듈은 사용자와 상기 3 차원 사운드의 가상 소스 간의 상대적인 움직임을 동적으로 고려한 3 차원 사운드를 제공하도록 구성된다.
제 16 양태에 따르면, 적어도 하나의 컴퓨팅 장치에 의해 구현되는, 공간과 상호 작용하는 사용자를 돕기 위한 방법이 설명된다. 상기 방법은 상기 공간 내의 경로를 따라 사용자의 현재 위치를 결정하고, 관심 항목들의 집합을 결정하고 - 상기 각각의 관심 항목은 다른 유형의 관심 항목들이 존재하는, 상기 현재 위치의, 현재의 컨텍스트에서 상기 사용자에게 적합한 주제에 해당함 -, 각각의 특정한 관심 항목에 관련된 사운드를 생성하고, 상기 공간 내의 소망의 방향으로 상기 사용자를 향하게 하는 주기적인 또 다른 사운드를 생성하는 동작들을 포함한다. 생성된 적어도 하나의 사운드는 3 차원 사운드에 해당하며, 상기 3 차원 사운드는, 상기 3 차원 사운드가 상기 공간 내의 적어도 하나의 특정 위치로부터 발산한다는, 사용자에 의한, 인지를 생성한다.
제 17 양태에 따르면, 각각의 특정 관심 항목과 관련된 사운드는 상기 특정 관심 항목과 연관된 유형의 음성에 이어지는 상기 특정 관심 항목과 관련된 음성 메시지에 해당한다.
제 18 양태에 따르면, 상기 주기적인 사운드는 상기 사용자가 소망의 방향으로부터 현재 벗어나는 정도에 따라 다른 적어도 하나의 오디오 특성을 갖는다.
제 19 양태에 따르면, 상기 사용자에 의해 활성화된 탐색 모드에서, 결정된 상기 설명된 관심 항목들의 집합은 사용자의 주의가 현재 향하는 부분 공간과 연관된다. 상기 사용자에 의해 활성화된 방향 모드에서, 결정된 관심 항목들의 집합은 현재 시간에 사용자 주위의 전체 공간과 관련된다.
제 20 양태에 따르면, 컴퓨터 판독 가능 저장 매체가 컴퓨터 판독 가능 명령어를 저장하는 것으로 설명된다. 상기 컴퓨터 판독 가능 명령어는 하나 이상의 처리 장치에 의해 실행될 때 공간 상호 작용 모듈을 구현한다. 상기 컴퓨터 판독 가능 명령어는, 3 차원 사운드를 생성하도록 구성된 사운드 생성 모듈 - 상기 3 차원 사운드는, 상기 3 차원 사운드가 공간 내의 적어도 하나의 특정 위치로부터 발산한다는, 사용자에 의한, 인지를 생성함 -, 상기 사용자에 의해 활성화될 때, 상기 사용자의 주의가 현재 향하는 부분 공간과 관련된 관심 항목들의 집합을 식별하도록 구성된 탐색 모듈, 및 상기 사용자에 의해 활성화될 때, 현재 시간에 상기 사용자 주위의 전체 공간과 관련된 관심 항목들의 집합을 식별하도록 구성된 방향 모듈을 포함한다. 상기 탐색 모듈 및 상기 방향 모듈은 상기 사운드 생성 모듈을 사용하여 식별된 관심 항목들에 대한 3 차원 사운드를 생성 및 제공하도록 더 구성된다.
제 21 양태는 상기 설명된 제 1 양태 내지 제 20 양태들의 임의의 조합(예를 들어, 임의의 치환 또는 부분 집합)에 해당한다.
제 22 양태에 따르면, 제 1 내지 제 21 양태들 중 임의의 것을 구현하기 위해 하나 이상의 컴퓨팅 장치들(및/또는 하나 이상의 헤드셋들)이 제공된다.
제 23 양태에 따르면, 제 1 양태 내지 제 21 양태들 중 임의의 것을 구현하기 위한 시스템이 제공된다.
제 24 양태에 따르면, 제 1 내지 제 21 양태들 중 임의의 것을 구현하기 위해 구성된 로직을 포함하는 하나 이상의 컴퓨터 판독 가능 저장 매체가 제공된다.
제 25 양태에 따르면, 제 1 내지 제 21 양태들 중 임의의 것을 구현하기 위한 하나 이상의 수단이 제공된다.
또한, 마지막으로, 본원에 설명된 기능은 임의의 사용자 데이터가 적용 가능한 법률, 사회적 규범, 및 개별 사용자의 기대 및 선호에 따르는 방식으로 처리되도록 하는 다양한 메커니즘을 채택할 수 있다. 예를 들어, 기능을 통해 사용자는 기능 조항을 명시적으로 선택(및 명시적으로 제외)할 수 있다. 또한, 이 기능은 사용자 데이터의 프라이버시를 보장하기 위해 (데이터 검사 메커니즘, 암호화 메커니즘, 암호 보호 메커니즘 등과 같은) 적절한 보안 메커니즘을 제공할 수도 있다.
본 발명은 구조적 특징 및/또는 방법적 동작에 특정적인 언어로 설명되었지만, 첨부된 청구항에서 정의된 본 발명은 전술한 특정의 특징 또는 동작에 반드시 한정되지 않음을 이해해야 한다. 오히려, 전술한 특정의 특징 및 동작이 청구항을 구현하는 예시적 형태로서 기재된다.

Claims (15)

  1. 사용자가 공간과 상호 작용하는 것을 돕기 위해 공간 상호 작용 모듈을 구현하는 컴퓨팅 장치로서,
    3 차원 사운드를 생성하도록 구성된 사운드 생성 모듈 - 상기 3 차원 사운드는, 상기 3 차원 사운드가 상기 공간 내의 적어도 하나의 특정 위치로부터 발산된다는, 사용자에 의한, 인지를 생성함 - 과,
    상기 사운드 생성 모듈을 사용하여, 상기 사용자에게 제시될 때, 상기 공간 내의 특정 방향으로 상기 사용자를 향하게 하는 3 차원의 주기적인 사운드를 생성하도록 구성된 경로 안내 모듈
    을 포함하는 컴퓨팅 장치.
  2. 제 1 항에 있어서,
    상기 경로 안내 모듈은, 상기 사용자가 소망의 방향으로부터 현재 벗어나는 정도에 따라 다른 오디오 특성을 갖는 상기 주기적인 사운드를 생성하도록 구성되는
    컴퓨팅 장치.
  3. 제 2 항에 있어서,
    상기 경로 안내 모듈은 적어도,
    상기 소망의 방향으로부터의 제 1 편차 범위에 대해서는, 제 1 오디오 특성을 갖는 제 1 주기적인 사운드를 제시하고,
    상기 소망의 방향으로부터의 제 2 편차 범위에 대해서는, 제 2 오디오 특성을 갖는 제 2 주기적인 사운드 - 상기 제 2 범위의 편차는 상기 제 1 범위의 편차보다 큼 - 를 제시하도록
    구성되는
    컴퓨팅 장치.
  4. 제 1 항에 있어서,
    상기 공간 상호 작용 모듈은 적어도 하나의 관심 항목을 식별하도록 구성된 적합 정보 결정(RID) 모듈을 더 포함하며,
    상기 적어도 하나의 관심 항목은 상기 사용자에 의한 상기 공간과의 상호 작용 중에 현재 컨텍스트에서 상기 사용자에게 적합한 주제에 대응하고,
    상기 공간 상호 작용 모듈은 상기 사운드 생성 모듈을 사용하여 각각의 식별된 관심 항목과 관련된 사운드를 제시하도록 구성되는
    컴퓨팅 장치.
  5. 제 4 항에 있어서,
    적어도 하나의 관심 항목은 그룹-유형의 관심 항목에 대응하고,
    상기 그룹-유형의 관심 항목은 상기 현재 컨텍스트에 속하고 적어도 하나의 공통 특징을 갖는 개별 관심 항목들의 그룹을 식별하는
    컴퓨팅 장치.
  6. 제 4 항에 있어서,
    서로 다른 유형의 관심 항목들이 존재하며,
    상기 공간 상호 작용 모듈은, 특정 관심 항목과 관련된 유형의 사운드에 이어서 상기 특정 관심 항목과 연관된 음성 메시지를 제시함으로써 상기 특정 관심 항목과 관련된 사운드를 제시하도록 구성되는
    컴퓨팅 장치.
  7. 제 4 항에 있어서,
    상기 공간 상호 작용 모듈은, 상기 사용자에 의해 활성화될 때, 상기 RID 모듈을 사용하여, 상기 사용자의 주의가 현재 향하고 있는 부분 공간과 연관된 관심 항목들의 집합을 식별하도록 구성된 탐색 모듈을 더 포함하고,
    상기 탐색 모듈은 상기 사운드 생성 모듈을 사용하여 상기 관심 항목들의 집합에 대한 3 차원 사운드를 생성하도록 더 구성되는
    컴퓨팅 장치.
  8. 제 4 항에 있어서,
    상기 공간 상호 작용 모듈은 상기 RID 모듈을 사용하여 현재 시각에 상기 사용자 주위의 전체 공간과 관련된 관심 항목들의 집합을 식별하도록 구성된 방향 모듈을 더 포함하고,
    상기 방향 모듈은 상기 사운드 생성 모듈을 사용하여 상기 관심 항목들의 집합에 대한 3 차원 사운드를 생성하도록 더 구성되는
    컴퓨팅 장치.
  9. 적어도 하나의 컴퓨팅 장치에 의해 구현되는, 공간과 상호 작용하는 사용자를 돕기 위한 방법으로서,
    상기 공간 내의 경로를 따라 사용자의 현재 위치를 결정하는 단계와,
    관심 항목들의 집합을 결정하는 단계 - 상기 각각의 관심 항목은, 상기 현재 위치에서 다양한 유형의 관심 항목들이 존재하는, 현재의 컨텍스트에서 상기 사용자에게 적합한 주제에 대응함 - 와,
    각각의 특정한 관심 항목에 관련된 사운드를 생성하는 단계와,
    상기 공간 내의 소망의 방향으로 상기 사용자를 향하게 하는 주기적인 또 다른 사운드를 생성하는 단계
    를 포함하고,
    생성된 적어도 하나의 사운드는 3 차원 사운드에 대응하며,
    상기 3 차원 사운드는, 상기 3 차원 사운드가 상기 공간 내의 적어도 하나의 특정 위치로부터 발산된다는, 사용자에 의한, 인지를 생성하는
    방법.
  10. 하나 이상의 처리 장치에 의해 실행될 때 공간 상호 작용 모듈을 구현하는 컴퓨터 판독 가능 명령어를 저장하는 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 판독 가능 명령어는,
    3 차원 사운드를 생성하도록 구성된 사운드 생성 모듈 - 상기 3 차원 사운드는, 상기 3 차원 사운드가 공간 내의 적어도 하나의 특정 위치로부터 발산된다는, 사용자에 의한, 인지를 생성함 - 과,
    상기 사용자에 의해 활성화될 때, 상기 사용자의 주의가 현재 향하는 부분 공간과 관련된 관심 항목들의 집합을 식별하도록 구성된 탐색 모듈과,
    상기 사용자에 의해 활성화될 때, 현재 시간에 상기 사용자 주위의 전체 공간과 관련된 관심 항목들의 집합을 식별하도록 구성된 방향 모듈
    을 포함하고,
    상기 탐색 모듈 및 상기 방향 모듈은 상기 사운드 생성 모듈을 사용하여 식별된 관심 항목들에 대한 3 차원 사운드를 생성 및 제시하도록 더 구성되는
    컴퓨터 판독 가능 저장 매체.
  11. 제 4 항에 있어서,
    상기 적어도 하나의 관심 항목은 물리적 공간 내에서의 상기 현재의 컨텍스트에서 상기 사용자 가까이에 있는 물리적 개체의 존재를 식별하는 기능을 하는
    컴퓨팅 장치.
  12. 제 4 항에 있어서,
    적어도 하나의 관심 항목은 물리적 공간 내의 물리적 개체의 존재를 식별하는 것 이외에, 상기 현재 컨텍스트에 적합한 정보 및/또는 경험을 전달하는
    컴퓨팅 장치.
  13. 제 4 항에 있어서,
    각각의 서로 다른 우선 순위가 관련되어 있는 서로 다른 유형의 관심 항목이 존재하고,
    상기 공간 상호 작용 모듈은, 서로 다른 각각의 우선 순위를 갖는 둘 이상의 관심 항목이 식별되는 경우, 가장 높은 우선 순위를 갖는 관심 항목과 관련된 사운드를 먼저 제시하도록 구성된
    컴퓨팅 장치.
  14. 제 4 항에 있어서,
    서로 다른 유형의 관심 항목들이 존재하며,
    상기 공간 상호 작용 모듈은 특정 관심 항목과 관련된 유형의 사운드에 이어서 상기 특정 관심 항목과 연관된 음성 메시지를 제시함으로써 상기 특정 관심 항목과 관련된 사운드를 제시하도록 구성된
    컴퓨팅 장치.
  15. 제 1 항에 있어서,
    상기 공간 상호 작용 모듈은 상기 사용자와 상기 3 차원 사운드의 가상 소스 간의 상대적인 움직임을 동적으로 고려한 3 차원 사운드를 제시하도록 구성된
    컴퓨팅 장치.
KR1020177011515A 2014-10-31 2015-10-29 사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법 KR102486763B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462073762P 2014-10-31 2014-10-31
US62/073,762 2014-10-31
US14/690,423 2015-04-19
US14/690,423 US9612722B2 (en) 2014-10-31 2015-04-19 Facilitating interaction between users and their environments using sounds
PCT/US2015/057919 WO2016069819A1 (en) 2014-10-31 2015-10-29 Facilitating interaction between users and their environments using sounds

Publications (2)

Publication Number Publication Date
KR20170078646A true KR20170078646A (ko) 2017-07-07
KR102486763B1 KR102486763B1 (ko) 2023-01-09

Family

ID=55852329

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177014931A KR102470734B1 (ko) 2014-10-31 2015-10-28 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화
KR1020177011515A KR102486763B1 (ko) 2014-10-31 2015-10-29 사운드를 사용하여 사용자와 환경 간의 상호 작용을 용이하게 하는 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177014931A KR102470734B1 (ko) 2014-10-31 2015-10-28 입력 메커니즘을 갖는 헤드셋을 이용한 사용자와 그들의 환경 간의 상호작용의 용이화

Country Status (11)

Country Link
US (4) US9612722B2 (ko)
EP (4) EP3213177B1 (ko)
JP (1) JP6689265B2 (ko)
KR (2) KR102470734B1 (ko)
CN (5) CN107111473B (ko)
AU (2) AU2015339427B2 (ko)
BR (1) BR112017005842A2 (ko)
CA (1) CA2965353C (ko)
MX (1) MX2017005657A (ko)
RU (1) RU2706462C2 (ko)
WO (4) WO2016069671A1 (ko)

Families Citing this family (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862491B (zh) * 2019-01-05 2023-11-24 深圳市韶音科技有限公司 骨传导扬声装置
US8965028B2 (en) 2012-08-23 2015-02-24 Skullcandy, Inc. Speakers, headphones, and kits related to vibrations in an audio system, and methods for forming same
CN103677496A (zh) * 2012-09-07 2014-03-26 腾讯科技（深圳）有限公司 界面控制方法及控制装置
EP3036930B1 (en) 2013-08-19 2019-12-18 Estimote Polska Sp. Zo. o. Method for distributing notifications
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
KR102263695B1 (ko) * 2014-01-20 2021-06-10 삼성전자 주식회사 복수개의 카메라를 이용한 휴대 장치 및 제어방법
US10691324B2 (en) * 2014-06-03 2020-06-23 Flow Labs, Inc. Dynamically populating a display and entering a selection interaction mode based on movement of a pointer along a navigation path
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
EP3691292A1 (en) 2014-12-31 2020-08-05 Skullcandy, Inc. Speaker assemblies for passive generation of vibrations and related headphone devices and methods
EP3041258B1 (en) * 2014-12-31 2018-02-28 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
US10298281B2 (en) * 2015-05-07 2019-05-21 Nxp B. V. Establishing communication with wireless devices using orientation data
US9949008B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Reproduction of ambient environmental sound for acoustic transparency of ear canal device system and method
US9972895B2 (en) 2015-08-29 2018-05-15 Bragi GmbH Antenna for use in a wearable device
US9949013B2 (en) 2015-08-29 2018-04-17 Bragi GmbH Near field gesture control system and method
US9905088B2 (en) 2015-08-29 2018-02-27 Bragi GmbH Responsive visual communication system and method
US9843853B2 (en) 2015-08-29 2017-12-12 Bragi GmbH Power control for battery powered personal area network device system and method
US9622208B2 (en) * 2015-09-02 2017-04-11 Estimote, Inc. Systems and methods for object tracking with wireless beacons
US10136250B2 (en) 2015-09-02 2018-11-20 Estimote Polska Sp. Z O. O. System and method for lower power data routing
US9826351B2 (en) * 2015-09-02 2017-11-21 Estimote Polska Sp. Z O. O. System and method for beacon fleet management
US10113877B1 (en) * 2015-09-11 2018-10-30 Philip Raymond Schaefer System and method for providing directional information
US10564794B2 (en) * 2015-09-15 2020-02-18 Xerox Corporation Method and system for document management considering location, time and social context
US9980189B2 (en) 2015-10-20 2018-05-22 Bragi GmbH Diversity bluetooth system and method
US10104458B2 (en) 2015-10-20 2018-10-16 Bragi GmbH Enhanced biometric control systems for detection of emergency events system and method
US9939891B2 (en) 2015-12-21 2018-04-10 Bragi GmbH Voice dictation systems using earpiece microphone system and method
US9980033B2 (en) 2015-12-21 2018-05-22 Bragi GmbH Microphone natural speech capture voice dictation system and method
CN105894533A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术（北京）有限公司 基于智能设备实现体感控制的方法、系统以及智能设备
KR102561572B1 (ko) * 2016-01-20 2023-07-31 삼성전자주식회사 센서 활용 방법 및 이를 구현한 전자 장치
US10085091B2 (en) 2016-02-09 2018-09-25 Bragi GmbH Ambient volume modification through environmental microphone feedback loop system and method
US10085082B2 (en) 2016-03-11 2018-09-25 Bragi GmbH Earpiece with GPS receiver
US10045116B2 (en) 2016-03-14 2018-08-07 Bragi GmbH Explosive sound pressure level active noise cancellation utilizing completely wireless earpieces system and method
WO2017165564A1 (en) 2016-03-22 2017-09-28 Estimote, Inc. System and method for multi-beacon interaction and management
US10052065B2 (en) 2016-03-23 2018-08-21 Bragi GmbH Earpiece life monitor with capability of automatic notification system and method
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10015579B2 (en) 2016-04-08 2018-07-03 Bragi GmbH Audio accelerometric feedback through bilateral ear worn device system and method
US10013542B2 (en) 2016-04-28 2018-07-03 Bragi GmbH Biometric interface system and method
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法
US10201309B2 (en) 2016-07-06 2019-02-12 Bragi GmbH Detection of physiological data using radar/lidar of wireless earpieces
US10045110B2 (en) 2016-07-06 2018-08-07 Bragi GmbH Selective sound field environment processing system and method
US10582328B2 (en) * 2016-07-06 2020-03-03 Bragi GmbH Audio response based on user worn microphones to direct or adapt program responses system and method
WO2018009584A1 (en) * 2016-07-06 2018-01-11 Coney Lillie Bruce Travel assistance system
WO2018009878A1 (en) 2016-07-07 2018-01-11 Estimote Polska Sp. Z O. O. Method and system for content delivery with a beacon
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
KR20180029697A (ko) * 2016-09-13 2018-03-21 삼성전자주식회사 네비게이션 업데이트 방법 및 장치
US10429191B2 (en) * 2016-09-22 2019-10-01 Amadeus S.A.S. Systems and methods for improved data integration in augmented reality architectures
JP6686829B2 (ja) * 2016-10-04 2020-04-22 コニカミノルタ株式会社 画像形成装置および画像形成装置の制御プログラム
US10062373B2 (en) 2016-11-03 2018-08-28 Bragi GmbH Selective audio isolation from body generated sound system and method
US10045112B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with added ambient environment
US10063957B2 (en) 2016-11-04 2018-08-28 Bragi GmbH Earpiece with source selection within ambient environment
US10058282B2 (en) * 2016-11-04 2018-08-28 Bragi GmbH Manual operation assistance with earpiece with 3D sound cues
US10045117B2 (en) 2016-11-04 2018-08-07 Bragi GmbH Earpiece with modified ambient environment over-ride function
WO2018093193A1 (en) 2016-11-17 2018-05-24 Samsung Electronics Co., Ltd. System and method for producing audio data to head mount display device
DE102017127136A1 (de) * 2016-11-18 2018-05-24 Schaefer Gmbh Leitsystem und -verfahren, insbesondere für sehbehinderte Personen
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
JP6634528B2 (ja) 2016-12-15 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10659906B2 (en) 2017-01-13 2020-05-19 Qualcomm Incorporated Audio parallax for virtual reality, augmented reality, and mixed reality
US10126132B2 (en) 2017-01-17 2018-11-13 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US10158963B2 (en) * 2017-01-30 2018-12-18 Google Llc Ambisonic audio with non-head tracked stereo based on head position and time
WO2018144273A1 (en) 2017-02-03 2018-08-09 Benjamin Moore & Co. Autonomous system of assist consumers to select colors
US10771881B2 (en) 2017-02-27 2020-09-08 Bragi GmbH Earpiece with audio 3D menu
WO2018163637A1 (ja) * 2017-03-09 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US11694771B2 (en) 2017-03-22 2023-07-04 Bragi GmbH System and method for populating electronic health records with wireless earpieces
US11544104B2 (en) 2017-03-22 2023-01-03 Bragi GmbH Load sharing between wireless earpieces
US10575086B2 (en) 2017-03-22 2020-02-25 Bragi GmbH System and method for sharing wireless earpieces
US11380430B2 (en) 2017-03-22 2022-07-05 Bragi GmbH System and method for populating electronic medical records with wireless earpieces
US11638869B2 (en) * 2017-04-04 2023-05-02 Sony Corporation Information processing device and information processing method
US11193783B2 (en) * 2017-04-04 2021-12-07 Microsoft Technology Licensing, Llc Guidance audio cues for navigation assistance
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193513A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193557A1 (ja) * 2017-04-19 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US10708699B2 (en) 2017-05-03 2020-07-07 Bragi GmbH Hearing aid with added functionality
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11408749B2 (en) * 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
US11116415B2 (en) 2017-06-07 2021-09-14 Bragi GmbH Use of body-worn radar for biometric measurements, contextual awareness and identification
US11013445B2 (en) 2017-06-08 2021-05-25 Bragi GmbH Wireless earpiece with transcranial stimulation
EP3643082A1 (en) * 2017-06-21 2020-04-29 Sony Corporation Apparatus, system, method and computer program for distributing announcement messages
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US11779836B2 (en) 2017-08-24 2023-10-10 Sony Interactive Entertainment Inc. Vibration control apparatus
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
US11198059B2 (en) 2017-08-29 2021-12-14 Sony Interactive Entertainment Inc. Vibration control apparatus, vibration control method, and program
WO2019045622A1 (en) * 2017-08-31 2019-03-07 Terranet Ab HEADSET AND METHOD OF OPERATING THE HEADSET
US10344960B2 (en) 2017-09-19 2019-07-09 Bragi GmbH Wireless earpiece controlled medical headlight
US11272367B2 (en) 2017-09-20 2022-03-08 Bragi GmbH Wireless earpieces for hub communications
KR101984557B1 (ko) * 2017-09-22 2019-09-03 (주)파트론 헤드셋 및 이의 충돌 경고 방법
KR102545721B1 (ko) * 2017-09-27 2023-06-21 애플 인크. 공간적 오디오 내비게이션
US10469968B2 (en) * 2017-10-12 2019-11-05 Qualcomm Incorporated Rendering for computer-mediated reality systems
US11651238B2 (en) * 2017-10-20 2023-05-16 Bragi GmbH Earpiece advisor
EP3477466A1 (en) * 2017-10-31 2019-05-01 Nokia Technologies Oy Provision of virtual reality content
US20190155568A1 (en) * 2017-11-20 2019-05-23 Serious Biz, LLC Live presentation delivery aid system and method
US11164380B2 (en) * 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
EP3495969A1 (en) * 2017-12-07 2019-06-12 Nokia Technologies Oy An apparatus and associated methods for presentation of augmented reality content
WO2019113570A1 (en) 2017-12-10 2019-06-13 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
JP6408118B1 (ja) * 2017-12-12 2018-10-17 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
CN108168546B (zh) * 2017-12-28 2021-08-06 重庆大学 定位系统及定位方法
CN108269460B (zh) * 2018-01-04 2020-05-08 高大山 一种电子屏幕的阅读方法、系统及终端设备
US11318050B2 (en) 2018-01-24 2022-05-03 American Printing House for the Blind, Inc. Navigation assistance for the visually impaired
CN108063997A (zh) * 2018-01-25 2018-05-22 芜湖应天光电科技有限责任公司 一种可实现跟随导航的骨传导耳机的控制方法及骨传导耳机
WO2019156961A1 (en) * 2018-02-06 2019-08-15 Bose Corporation Location-based personal audio
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势（上海）汽车科技有限公司 用于辅助信息呈现的方法及装置
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
CN109753144A (zh) * 2018-05-08 2019-05-14 北京字节跳动网络技术有限公司 一种实现信息交互的方法、设备及系统
EP3687193B1 (en) 2018-05-24 2024-03-06 Sony Group Corporation Information processing device and information processing method
US10909372B2 (en) * 2018-05-28 2021-02-02 Microsoft Technology Licensing, Llc Assistive device for the visually-impaired
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
US11092812B2 (en) 2018-06-08 2021-08-17 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11567632B2 (en) * 2018-07-03 2023-01-31 Apple Inc. Systems and methods for exploring a geographic region
WO2020010226A1 (en) * 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) * 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11067403B2 (en) * 2018-07-05 2021-07-20 GM Global Technology Operations LLC Vehicle energy usage tracking
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020028834A1 (en) 2018-08-02 2020-02-06 Magic Leap, Inc. A viewing system with interpupillary distance compensation based on head motion
EP3830631A4 (en) 2018-08-03 2021-10-27 Magic Leap, Inc. NON-FUSED POSE DRIFT CORRECTION OF A FUSED TOTEM IN A USER INTERACTION SYSTEM
US10583067B2 (en) 2018-08-08 2020-03-10 International Business Machines Corporation Source-of-sound based navigation for a visually-impaired user
CN109141453B (zh) * 2018-08-09 2021-06-18 恒大智慧科技有限公司 一种路线指引方法及系统
WO2020039252A1 (en) 2018-08-22 2020-02-27 Estimote Polska Sp Z.O.O. System and method for verifying device security
WO2020039251A2 (en) 2018-08-24 2020-02-27 Estimote Polska Sp z o.o. A method and system for asset management
JP7234555B2 (ja) * 2018-09-26 2023-03-08 ソニーグループ株式会社 情報処理装置、および情報処理方法、プログラム、情報処理システム
US10856097B2 (en) 2018-09-27 2020-12-01 Sony Corporation Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
WO2020122949A1 (en) * 2018-12-14 2020-06-18 Google Llc Graphical user interface indicator for broadcaster presence
US11844741B2 (en) * 2018-12-31 2023-12-19 Bruce Corporation Travel assistance system
US11285844B2 (en) 2019-01-31 2022-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
JP2022519292A (ja) 2019-02-06 2022-03-22 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
US11113092B2 (en) * 2019-02-08 2021-09-07 Sony Corporation Global HRTF repository
US20200280814A1 (en) * 2019-03-01 2020-09-03 Bose Corporation Augmented reality audio playback control
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
US11370330B2 (en) * 2019-03-22 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with morphing portions
US11752901B2 (en) 2019-03-28 2023-09-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vehicle seat with tilting seat portion
CN109991592A (zh) * 2019-04-11 2019-07-09 上海山流智能科技有限公司 一种盲人导航系统及导航方法
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
CN110134307A (zh) * 2019-05-13 2019-08-16 重庆八戒传媒有限公司 实现室内导航楼层锁定的方法、系统、介质和电子设备
US11451907B2 (en) 2019-05-29 2022-09-20 Sony Corporation Techniques combining plural head-related transfer function (HRTF) spheres to place audio objects
US11347832B2 (en) 2019-06-13 2022-05-31 Sony Corporation Head related transfer function (HRTF) as biometric authentication
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
CN114270870A (zh) * 2019-08-14 2022-04-01 三星电子株式会社 沉浸式显示系统及其方法
US11146908B2 (en) 2019-10-24 2021-10-12 Sony Corporation Generating personalized end user head-related transfer function (HRTF) from generic HRTF
CN111083590B (zh) * 2019-11-11 2020-09-18 深圳市音飙科技有限公司 一种带智能摄像头的骨传导耳机
US11070930B2 (en) 2019-11-12 2021-07-20 Sony Corporation Generating personalized end user room-related transfer function (RRTF)
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
US11423624B2 (en) * 2019-11-18 2022-08-23 Magic Leap, Inc. Mapping and localization of a passable world
CN111121749B (zh) * 2019-12-26 2023-05-23 韩可 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
WO2021140929A1 (ja) * 2020-01-07 2021-07-15 ソニーグループ株式会社 信号処理装置および方法、音響再生装置、並びにプログラム
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
US11768083B2 (en) 2020-05-15 2023-09-26 Apple Inc. User interfaces for providing navigation directions
US11599194B2 (en) 2020-05-22 2023-03-07 International Business Machines Corporation Spatial guidance system for visually impaired individuals
US11788851B2 (en) 2020-06-11 2023-10-17 Apple Inc. User interfaces for customized navigation routes
US20220309754A1 (en) 2020-07-21 2022-09-29 Sony Group Corporation Information processing device, information processing method, and program
CN111870947A (zh) * 2020-08-10 2020-11-03 网易（杭州）网络有限公司 游戏交互方法、装置、电子设备及存储介质
EP3968143A1 (en) * 2020-09-15 2022-03-16 Nokia Technologies Oy Audio processing
CN112365153B (zh) * 2020-11-10 2022-08-02 吉林建筑大学 视力障碍者旅游计划制定方法及相关装置
US20230412993A1 (en) * 2020-11-18 2023-12-21 Jana KALBERMATTER System and device for informing about spatially distributed objects
US11356501B1 (en) 2020-12-29 2022-06-07 Here Global B.V. Method, apparatus, and system for dynamic beacons address allocation
CN113160666B (zh) * 2021-05-12 2022-08-30 咪咕数字传媒有限公司 盲文阅读方法、电子设备及存储介质
US20220390248A1 (en) 2021-06-07 2022-12-08 Apple Inc. User interfaces for maps and navigation
US20230039479A1 (en) * 2021-08-03 2023-02-09 The Boeing Company Wayfinding assistance system for visually-impaired passengers
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
CN113532444B (zh) * 2021-09-16 2021-12-14 深圳市海清视讯科技有限公司 导航路径处理方法、装置、电子设备及存储介质
US11897379B2 (en) 2021-10-20 2024-02-13 Toyota Motor Engineering & Manufacturing North America, Inc. Seat with shape memory material member actuation
CN114267224A (zh) * 2022-01-04 2022-04-01 中国科学技术大学 助聋眼镜
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule
EP4276415A1 (en) * 2022-04-29 2023-11-15 Waymo Llc Spatial audio for wayfinding
CN114942032A (zh) * 2022-05-13 2022-08-26 上海大不自多信息科技有限公司 户外综合导航方法、系统及存储介质
WO2024081353A1 (en) * 2022-10-13 2024-04-18 Bose Corporation Scene recentering
DE102022211314A1 (de) 2022-10-25 2024-04-25 Volkswagen Aktiengesellschaft Verfahren zur Ausgabe einer Rückmeldung bei einer Interaktion eines Nutzers mit einem datenverarbeitenden System und Kraftfahrzeug mit einem datenverarbeitenden System
CN116592898B (zh) * 2023-07-17 2023-10-03 武汉工程大学 一种室内定位方法

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU7374294A (en) 1993-07-28 1995-02-28 Board Of Regents, The University Of Texas System Remotely controlled, infrared beacon system for guiding the visually impaired
FR2748807B1 (fr) 1996-05-14 1998-10-02 Rockwell Collins France Appareil individuel d'orientation
US5806017A (en) 1996-08-19 1998-09-08 Board Of Regents The University Of Texas System Electronic autorouting navigation system for visually impaired persons
US7085393B1 (en) 1998-11-13 2006-08-01 Agere Systems Inc. Method and apparatus for regularizing measured HRTF for smooth 3D digital audio
US6996244B1 (en) 1998-08-06 2006-02-07 Vulcan Patents Llc Estimation of head-related transfer functions for spatial sound representative
US7107539B2 (en) 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
AUPQ514000A0 (en) 2000-01-17 2000-02-10 University Of Sydney, The The generation of customised three dimensional sound effects for individuals
JP2002131072A (ja) 2000-10-27 2002-05-09 Yamaha Motor Co Ltd 位置案内システム、位置案内シミュレーションシステム及びナビゲーションシステム、並びに位置案内方法
US6684176B2 (en) 2001-09-25 2004-01-27 Symbol Technologies, Inc. Three dimensional (3-D) object locator system for items or sites using an intuitive sound beacon: system and method of operation
US6999066B2 (en) 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US7058902B2 (en) * 2002-07-30 2006-06-06 Microsoft Corporation Enhanced on-object context menus
GB2415071B (en) 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US7386279B2 (en) 2003-04-02 2008-06-10 Sun Microsystems, Inc. Context based main screen for mobile device
US7290219B2 (en) * 2003-04-28 2007-10-30 International Business Machines Corporation System and method for selection based action bar
US7055110B2 (en) * 2003-07-28 2006-05-30 Sig G Kupka Common on-screen zone for menu activation and stroke input
US7751829B2 (en) 2003-09-22 2010-07-06 Fujitsu Limited Method and apparatus for location determination using mini-beacons
US7039522B2 (en) 2003-11-12 2006-05-02 Steven Landau System for guiding visually impaired pedestrian using auditory cues
US8028239B1 (en) 2003-12-19 2011-09-27 Microsoft Corporation Context-based management user interface supporting extensible subtractive filtering
US8627213B1 (en) * 2004-08-10 2014-01-07 Hewlett-Packard Development Company, L.P. Chat room system to provide binaural sound at a user location
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
EP1848966A1 (en) 2005-02-17 2007-10-31 Lumus Ltd Personal navigation system
US7496445B2 (en) 2005-04-27 2009-02-24 Proxemics, Llc Wayfinding
US20070018890A1 (en) 2005-07-22 2007-01-25 Kulyukin Vladimir A Multi-sensor wayfinding device
KR100653091B1 (ko) 2005-07-26 2006-12-01 삼성전자주식회사 입체 음향을 이용한 위치 인지 시스템, 시스템에 구비되는송신부, 수신부 및 위치 인지 방법
US8340304B2 (en) 2005-10-01 2012-12-25 Samsung Electronics Co., Ltd. Method and apparatus to generate spatial sound
US7596765B2 (en) 2006-05-23 2009-09-29 Sony Ericsson Mobile Communications Ab Sound feedback on menu navigation
US8098856B2 (en) 2006-06-22 2012-01-17 Sony Ericsson Mobile Communications Ab Wireless communications devices with three dimensional audio systems
KR20080063041A (ko) 2006-12-29 2008-07-03 삼성전자주식회사 사용자 인터페이스 방법 및 장치
US20080215975A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world user opinion & response monitoring
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US20080218307A1 (en) * 2007-03-07 2008-09-11 Optimal Licensing Corporation Anticipatory utility control device
US7952961B2 (en) 2007-10-15 2011-05-31 Honeywell International Inc. Audio compass for motion tracking
WO2009070712A2 (en) 2007-11-27 2009-06-04 Jadi, Inc. Method and system for locating and navigating a target
PT104120B (pt) * 2008-06-30 2010-11-23 Metro Do Porto S A Sistema de orientação, navegação e informação especialmente adaptado para pessoas cegas ou amblíopes
US8326630B2 (en) 2008-08-18 2012-12-04 Microsoft Corporation Context based online advertising
US8040219B2 (en) 2008-11-06 2011-10-18 Sony Ericsson Mobile Communications Ab System and method for in-building location determination
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
DE102008055180A1 (de) 2008-12-30 2010-07-01 Sennheiser Electronic Gmbh & Co. Kg Steuersystem, Hörer und Steuerungsverfahren
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
EP2249239B1 (en) 2009-05-08 2015-07-15 BlackBerry Limited Target zones for menu items on a touch-sensitive display
US8160265B2 (en) 2009-05-18 2012-04-17 Sony Computer Entertainment Inc. Method and apparatus for enhancing the generation of three-dimensional sound in headphone devices
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
US20100317371A1 (en) 2009-06-12 2010-12-16 Westerinen William J Context-based interaction model for mobile devices
JP4824793B2 (ja) 2009-07-06 2011-11-30 東芝テック株式会社 ウエアラブル端末装置及びプログラム
US9201143B2 (en) 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
US20120212484A1 (en) 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US8140258B1 (en) 2010-03-02 2012-03-20 The General Hospital Corporation Wayfinding system
US8618984B2 (en) * 2010-03-19 2013-12-31 Microsoft Corporation Selecting beacons for location inference
EP2556339B8 (en) * 2010-04-09 2018-12-26 TomTom Navigation B.V. Method and device for generating a cost function
JP2011234139A (ja) 2010-04-28 2011-11-17 Sharp Corp ３次元音声信号生成装置
US20120046768A1 (en) 2010-08-19 2012-02-23 Sony Ericsson Mobile Communications Ab Method for providing multimedia data to a user
US20120077437A1 (en) 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
CN201854394U (zh) 2010-10-27 2011-06-01 赵圆 耳机指南针
CN102457791A (zh) 2010-10-27 2012-05-16 赵圆 耳机指南针
US20120159401A1 (en) 2010-12-16 2012-06-21 Microsoft Corporation Workspace Manipulation Using Mobile Device Gestures
US8618932B2 (en) * 2011-03-18 2013-12-31 Microsoft Corporation Device location detection
US8965284B2 (en) 2011-04-07 2015-02-24 Nokia Corporation Facilitating positioning through Bluetooth low energy wireless messaging
GB2490479A (en) 2011-04-20 2012-11-07 Nokia Corp Use of a virtual sound source to enhance a user interface
US9285944B1 (en) * 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US8874366B2 (en) 2011-05-23 2014-10-28 Microsoft Corporation First waypoint distance
US20140164080A1 (en) 2011-06-07 2014-06-12 Solomon Thompson, JR. Organizational tools and or a collaboration system utilizing the same therein
US8787584B2 (en) 2011-06-24 2014-07-22 Sony Corporation Audio metrics for head-related transfer function (HRTF) selection or adaptation
TWI428249B (zh) * 2011-08-23 2014-03-01 Ind Tech Res Inst 車載裝置及其行車輔助系統與行車輔助資訊提供方法
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US8538686B2 (en) 2011-09-09 2013-09-17 Microsoft Corporation Transport-dependent prediction of destinations
US9445305B2 (en) 2011-09-12 2016-09-13 Microsoft Corporation Low energy beacon encoding
US9514717B2 (en) * 2011-09-26 2016-12-06 Nokia Technology Oy Method and apparatus for rendering items in a user interface
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9563278B2 (en) * 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US20140133658A1 (en) 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
US8855798B2 (en) 2012-01-06 2014-10-07 Gracenote, Inc. User interface to media files
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US9594499B2 (en) * 2012-02-21 2017-03-14 Nokia Technologies Oy Method and apparatus for hover-based spatial searches on mobile maps
US20130225197A1 (en) 2012-02-24 2013-08-29 Broadcom Corporation Low Power Location Beacon
CN102789313B (zh) * 2012-03-19 2015-05-13 苏州触达信息技术有限公司 一种用户交互系统和方法
US8949974B2 (en) 2012-05-11 2015-02-03 Tyfone, Inc. Mobile device with password protected desktop screen
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9230556B2 (en) 2012-06-05 2016-01-05 Apple Inc. Voice instructions during navigation
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
EP2690407A1 (en) * 2012-07-23 2014-01-29 GN Store Nord A/S A hearing device providing spoken information on selected points of interest
US9015099B2 (en) 2012-08-14 2015-04-21 Sri International Method, system and device for inferring a mobile user's current context and proactively providing assistance
TWI484405B (zh) 2012-08-23 2015-05-11 Egalax Empia Technology Inc 圖形使用者界面的顯示方法及使用該方法的電子裝置
US8718930B2 (en) 2012-08-24 2014-05-06 Sony Corporation Acoustic navigation method
US20140075370A1 (en) * 2012-09-13 2014-03-13 The Johns Hopkins University Dockable Tool Framework for Interaction with Large Scale Wall Displays
US20140078086A1 (en) 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US8965398B2 (en) 2012-09-26 2015-02-24 Hewlett-Packard Development Company, L.P. Bluetooth beacon based location determination
US9338622B2 (en) 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
EP2720001A1 (en) 2012-10-15 2014-04-16 GN Store Nord A/S A navigation system with a hearing device
WO2014080066A1 (en) * 2012-11-20 2014-05-30 Jolla Oy A graphical user interface for a portable computing device
EP2735845A1 (en) 2012-11-23 2014-05-28 GN Store Nord A/S Personal guide system providing spoken information on an address based on a line of interest of a user
EP2746726A1 (en) 2012-12-21 2014-06-25 GN Store Nord A/S System and method for tagging an audio signal to an object or a location; system and method of playing back a tagged audio signal
US9301069B2 (en) 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
EP2749843A1 (en) 2012-12-28 2014-07-02 GN Store Nord A/S Method for filtering and selecting geographical points of interest and mobile unit corresponding thereto
CN105027148A (zh) 2013-02-04 2015-11-04 肖普基克公司 使用蓝牙和混合模式发射机的存在检测
US9063212B2 (en) 2013-02-11 2015-06-23 Trimble Navigation Limited Indoor navigation with low energy location beacons
US8769431B1 (en) 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
DE102013203918A1 (de) 2013-03-07 2014-09-11 Siemens Aktiengesellschaft Verfahren zum Betreiben einer Vorrichtung in einer sterilen Umgebung
US9207303B2 (en) 2013-03-15 2015-12-08 Christopher Thomas Beidel System and method for locating a mobile device
US9785240B2 (en) 2013-03-18 2017-10-10 Fuji Xerox Co., Ltd. Systems and methods for content-aware selection
US20140287779A1 (en) 2013-03-22 2014-09-25 aDesignedPath for UsabilitySolutions, LLC System, method and device for providing personalized mobile experiences at multiple locations
WO2014157885A1 (en) * 2013-03-27 2014-10-02 Samsung Electronics Co., Ltd. Method and device for providing menu interface
US9760270B2 (en) 2013-04-16 2017-09-12 Honda Motor Co., Ltd. Vehicular electronic device
US20150046828A1 (en) * 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US9317183B2 (en) 2013-08-20 2016-04-19 Google Inc. Presenting a menu at a mobile device
US10564843B2 (en) 2013-08-22 2020-02-18 Samsung Electronics Co., Ltd. Display device and method of displaying screen on said display device
EP2842529A1 (en) 2013-08-30 2015-03-04 GN Store Nord A/S Audio rendering system categorising geospatial objects
CN203523024U (zh) 2013-11-06 2014-04-02 彭庆国 一种智能型多功能耳机
JP6201770B2 (ja) 2014-01-15 2017-09-27 富士通株式会社 ジェスチャｕｉ装置、ジェスチャｕｉ方法及びプログラム
US20150330787A1 (en) 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
US9372092B2 (en) 2014-08-08 2016-06-21 Here Global B.V. Method and apparatus for providing a contextual menu in a map display
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US20160077793A1 (en) * 2014-09-15 2016-03-17 Microsoft Corporation Gesture shortcuts for invocation of voice input
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds

Also Published As

Publication number Publication date
KR20170080651A (ko) 2017-07-10
CN107111473A (zh) 2017-08-29
AU2020256377A1 (en) 2020-12-10
EP3213177B1 (en) 2021-02-24
EP3213179A1 (en) 2017-09-06
US9612722B2 (en) 2017-04-04
JP6689265B2 (ja) 2020-04-28
AU2020256377B2 (en) 2021-12-16
US20160124588A1 (en) 2016-05-05
WO2016069671A1 (en) 2016-05-06
WO2016069668A1 (en) 2016-05-06
CN107111472B (zh) 2020-04-28
US9977573B2 (en) 2018-05-22
CN107111358B (zh) 2020-02-14
US20160123759A1 (en) 2016-05-05
CA2965353C (en) 2023-08-22
CN107111332A (zh) 2017-08-29
KR102486763B1 (ko) 2023-01-09
EP3213181A1 (en) 2017-09-06
EP3213180A1 (en) 2017-09-06
US20160123745A1 (en) 2016-05-05
CA2965353A1 (en) 2016-05-06
KR102470734B1 (ko) 2022-11-24
RU2017114986A (ru) 2018-11-02
RU2017114986A3 (ko) 2019-04-18
AU2015339427A1 (en) 2017-04-13
CN107111332B (zh) 2021-04-23
CN107111358A (zh) 2017-08-29
CN111367413A (zh) 2020-07-03
WO2016069819A1 (en) 2016-05-06
CN107111472A (zh) 2017-08-29
CN107111473B (zh) 2020-03-20
US9652124B2 (en) 2017-05-16
AU2015339427B2 (en) 2020-07-30
MX2017005657A (es) 2017-06-29
US10048835B2 (en) 2018-08-14
US20160124707A1 (en) 2016-05-05
WO2016069672A1 (en) 2016-05-06
EP3213177A1 (en) 2017-09-06
JP2018502360A (ja) 2018-01-25
RU2706462C2 (ru) 2019-11-19
BR112017005842A2 (pt) 2017-12-19

Similar Documents

Publication Publication Date Title
AU2020256377B2 (en) Facilitating interaction between users and their environments using sounds
US10915291B2 (en) User-interfaces for audio-augmented-reality
US10330490B2 (en) Touch-based exploration of maps for screen reader users
US11343613B2 (en) Prioritizing delivery of location-based personal audio
Chanana et al. Assistive technology solutions for aiding travel of pedestrians with visual impairment
Kappers et al. Hand-held haptic navigation devices for actual walking
Innala Ahlmark AAL mission: towards a smart wearable navigation aid

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant