KR20200046075A - 공간적 오디오 내비게이션 - Google Patents

공간적 오디오 내비게이션 Download PDF

Info

Publication number
KR20200046075A
KR20200046075A KR1020207008896A KR20207008896A KR20200046075A KR 20200046075 A KR20200046075 A KR 20200046075A KR 1020207008896 A KR1020207008896 A KR 1020207008896A KR 20207008896 A KR20207008896 A KR 20207008896A KR 20200046075 A KR20200046075 A KR 20200046075A
Authority
KR
South Korea
Prior art keywords
sound
path
user
binaural audio
audio
Prior art date
Application number
KR1020207008896A
Other languages
English (en)
Other versions
KR102545721B1 (ko
Inventor
브루노 엠. 솜머
아비 바르-제브
프랭크 앵거만
스티븐 이. 핀토
릴리 잉그-마리 욘손
라훌 나이르
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20200046075A publication Critical patent/KR20200046075A/ko
Application granted granted Critical
Publication of KR102545721B1 publication Critical patent/KR102545721B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3688—Systems comprising multiple parts or multiple output devices (not client-server), e.g. detachable faceplates, key fobs or multiple output screens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Stereophonic System (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

예를 들어, 모바일 다목적 디바이스들에 의해 구현될 수 있는 공간적 오디오 내비게이션을 위한 방법들 및 장치. 공간적 오디오 내비게이션 시스템은 사용자들을 목표 위치들로 안내하기 위해 오디오 형태로 내비게이션 정보를 제공한다. 시스템은 사용자에게 내비게이션 큐들을 제공하기 위해 바이노럴 오디오 디바이스를 통해 재생되는 오디오의 방향성을 사용한다. 현재 위치, 목표 위치, 및 지도 정보는 사용자의 현재 위치와 목표 위치 사이의 현실 세계 경로를 결정하기 위해 경로탐색 알고리즘들에 입력될 수 있다. 이어서, 시스템은 현재 위치로부터 목표 위치로의 경로 상에서 사용자를 안내하기 위해 헤드셋을 통해 재생되는 방향성 오디오를 사용할 수 있다. 시스템은, 공간적 오디오 기반 큐들을 사용하여 경로를 따라갈 때 사용자를 안내하기 위한 여러 상이한 공간적 오디오 내비게이션 방법들 중 하나 이상을 구현할 수 있다.

Description

공간적 오디오 내비게이션
모바일 다목적 디바이스들 및 차량 A/V 시스템들을 포함하지만 이에 제한되지 않는 디바이스들에 대한 내비게이션 애플리케이션들은 사용자들을 목적지들로 안내하기 위해 "좌회전하세요" 또는 "우회전하세요"와 같은 시각적 큐들 및/또는 음성 지시들을 제공한다. 스마트폰들 및 태블릿/패드 디바이스들과 같은 모바일 다목적 디바이스들의 경우에, 내비게이션 애플리케이션들은, 걷거나 자전거를 탈 때, 시각적 큐들 및/또는 음성 지시들을 사용하여 도시, 공원 등을 통하는 경로 상에서 사용자를 안내하기 위해 사용될 수 있다. 모바일 다목적 디바이스 내비게이션 애플리케이션은, 또한, 차량에서, 모바일 다목적 디바이스를 통해 직접 또는 차량의 A/V 시스템에 대한 인터페이스를 통해, 운전하는 동안 시각적 큐들 및/또는 음성 지시들을 사용하여 사용자를 목적지로 안내하는 데 사용될 수 있다.
가상 현실(virtual reality, VR)은 사용자들이 몰입형 인공 환경을 경험하고/하거나 그와 상호작용하게 하고, 그에 따라, 사용자는 그가 물리적으로 그 환경 내에 있는 것처럼 느끼게 된다. 예를 들어, 가상 현실 시스템들은 깊이의 착각을 불러일으키기 위해 사용자들에게 입체 장면을 디스플레이할 수 있고, 컴퓨터는 장면 내에서 움직인다는 사용자의 착각을 제공하기 위해 장면 콘텐츠를 실시간으로 조정할 수 있다. 사용자가 가상 현실 시스템을 통해 이미지들을 볼 때, 사용자는 그에 따라 1인칭 시점으로부터 그가 장면 내에서 움직이고 있는 것처럼 느낄 수 있다. 혼합 현실(mixed reality, MR)은, 컴퓨터 생성된 정보(가상 콘텐츠로 지칭됨)를 현실 세계의 뷰들과 조합하여 사용자의 현실 환경(real environment)의 뷰에 가상 콘텐츠를 증강하거나 추가하는 증강 현실(augmented reality, AR)로부터, 현실 세계 객체들의 표현들을 컴퓨터 생성된 3차원(3D) 가상 세계의 뷰들과 조합하는 증강 가상 현실(augmented virtual reality, AV)에 이르는 영역을 다룬다. 따라서, 가상 현실의 시뮬레이션된 환경들 및/또는 혼합 현실의 혼합된 환경들은 다수의 애플리케이션들에 대한 대화형 사용자 경험을 제공하기 위해 이용될 수 있다.
공간적 오디오 내비게이션을 위한 방법들 및 장치의 다양한 실시예들이 기술된다. 예를 들어, 스마트폰들, 패드 디바이스들, 및 태블릿 디바이스들과 같은 모바일 다목적 디바이스들에 의해 구현될 수 있는 공간적 오디오 내비게이션 시스템 및 공간적 오디오 내비게이션 방법들의 실시예들이 기술된다. 공간적 오디오 내비게이션 시스템은 현실 세계 위치들, 사람들, 또는 물체들과 같은 목적지들로 사용자들을 안내하기 위해 오디오 형태로 내비게이션 정보를 제공한다. 종래의 내비게이션 애플리케이션들에서와 같이 음성 지시들을 사용하거나 시각적 큐들에 의존하는 대신에, 공간적 오디오 내비게이션 시스템은 사용자에게 내비게이션 큐들을 제공하기 위해 바이노럴 오디오 디바이스(binaural audio device)(예컨대, 헤드폰, 헤드셋, 유선 또는 무선 이어버드(earbud) 등, 이들은 "헤드셋"으로 총칭됨)를 통해 재생되는 오디오의 방향성 및 거리를 사용한다.
종래의 내비게이션 애플리케이션들은 목적지들로 사용자들을 안내하기 위해 "좌회전하세요" 또는 "우회전하세요"와 같은 음성 지시들을 제공할 수 있다. 그러나, 사용자는, 예를 들어 걷거나 자전거를 타는 동안, 내비게이션 애플리케이션을 사용하면서 오디오 소스(예컨대, 음악, 오디오 북, 전화 통화 등)를 청취하고 있을 수 있고, 오디오가 음성 지시들에 의해 중단되지 않는 것을 선호할 수 있다. 또한, 전화 통화 시에, 음성 지시들은 대화를 방해할 수 있고/있거나 대화가 음성 지시를 방해할 수 있다. 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 공간적 오디오 내비게이션 방법들의 실시예들은, 대신에, 사용자에게 내비게이션 큐들을 제공하기 위해 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 방향성 및 거리를 사용한다. 따라서, 실시예들은 소정 방향으로 사용자를 안내하기 위해 사운드의 겉보기 소스(apparent source)의 공간적 위치를 사용한다. 예를 들어, 음악을 청취하고 있는 동안 경로 상에서 사용자를 안내하기 위해, 음악의 겉보기 소스는 경로를 따라 사용자를 안내하기 위해 사용자의 전방에 위치될 수 있고, 경로 상에서 턴 하도록 사용자에게 촉구하기 위해 사용자의 측면으로 이동될 수 있다. 따라서, 음악은 중단되지 않고, 실시예들은 종래의 내비게이션 애플리케이션들보다, 내비게이션 정보를 전달하는 더 미묘한 방법을 제공한다. 오디오 북, 전화 대화, 시뮬레이션되거나 캡처된 주변 잡음, 시뮬레이션된 사운드 - 예컨대 톤, 벨, 사이렌, 또는 백색 잡음 -, 또는 녹음된 사운드 - 예컨대 기차 또는 이리 떼(a pack of wolves)의 사운드 - 를 포함하지만 이에 제한되지 않는 다른 오디오 소스들에도 동일하게 행해질 수 있다.
또한, 심리적으로 사용자는 음성 지시들이 옳은 것으로 가정하고 그에 따라 많은 생각 없이 지시들을 따르는 경향이 있어서, 잠재적으로 사고를 초래할 수 있다. 음성 지시들이 사용자에게 말하는 대신에 사용자를 안내하기 위해 오디오 큐로서 사운드의 방향성 및 거리를 사용함으로써, 방향성 오디오 큐를 따르는 것이 안전한지 여부를 결정하는 것은 사용자의 몫이다. 음성은 사용자에게 무언가를 하도록 말하지 않고(예컨대, "좌회전하세요" 또는 "우회전하세요"); 대신에, 사용자는 방향성 오디오 큐를 따르고 있다. 방향성 오디오 큐와 같은 무언가를 따를 때, 음성 명령들을 청취할 때와는 상이한 심리가 작동하기 시작한다.
공간적 오디오 내비게이션 시스템의 실시예들에서, 현재 위치, 목표 위치, 및 지도 정보는 사용자의 현재 위치와 목표 위치 사이의 현실 세계 경로를 결정하기 위해 경로탐색(pathfinding) 알고리즘들에 입력될 수 있다. 이어서, 공간적 오디오 내비게이션 시스템은 현재 위치로부터 목표 위치로의 경로 상에서 사용자를 안내하기 위해 헤드셋을 통해 재생되는 방향성 오디오를 사용할 수 있다. 모바일 다목적 디바이스에 의해 결정된 바와 같은 사용자의 현재 위치 및 모션의 방향, 및 헤드셋에 의해 결정된 바와 같은 머리 배향 및 움직임은, 오디오의 인지된 또는 가상 방향성 및 거리를 조정하기 위해 공간적 오디오 내비게이션 시스템에 의해 사용되는데, 예를 들어, 목표 위치로의 경로를 따라 사용자를 안내하기 위해 사용자가 현실 세계에서 이동함에 따라 좌측 및 우측 오디오 채널들의 볼륨을 조정함으로써 이루어진다. 볼륨을 조정하는 것 대신에 또는 그에 더하여, 오디오의 다른 양태들이, 오디오의 가상 방향성 및 거리에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다. 오디오의 다른 양태들은, 사용자를 목표 위치로 안내하는 것을 돕기 위해, 재생되고 있는 특정 사운드와 같은, 입력들에 기초하여 조정될 수 있다.
공간적 오디오 내비게이션 시스템은, 사용자가 공간적 오디오 의미로 사운드를 듣도록, 유선 또는 무선 연결을 통해 오디오를 헤드셋에 출력할 수 있다. 다시 말하면, 사용자는 사운드가 현실 세계 위치로부터 정확한 거리 및 방향으로 오는 것처럼 사운드를 듣는다. 예를 들어, 시스템은, 사용자가 그들의 좌측, 그들의 우측, 바로 앞, 뒤, 또는 소정 각도에서 나오는 사운드를 듣도록, 헤드셋을 통해 사운드를 재생할 수 있다. 사운드가 나오고 있는 것으로 보이는 방향은 경로 상에서 사용자를 안내하기 위해 변화할 수 있다. 예를 들어, 사용자가 경로 상에서 좌측 턴(left turn)에 접근함에 따라, 사운드는, 좌측 오디오 출력 채널의 볼륨을 증가시킴으로써 그리고/또는 우측 오디오 출력 채널의 볼륨을 감소시킴으로써, 좌측으로 이동될 수 있다. 일부 실시예들에서, 시스템은 예를 들어, 사운드가 3 피트, 10 피트, 또는 50 피트 떨어진 곳에서 나오는 것처럼 보이도록 사용자에게 거리감을 제공하기 위해 사운드의 볼륨을 변조할 수 있다. 볼륨을 조정하는 것 대신에 또는 그에 더하여, 좌측 및 우측 오디오 채널들의 다른 양태들이, 오디오의 가상 방향성 및 거리에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다. 일부 실시예들에서, 시스템은, 예를 들어 사용자가 턴을 놓치거나 장애물에 접근하고 있는 경우 경보 또는 경고 사운드를 재생함으로써, 검출된 이벤트들에 기초하여 사운드를 변화시킬 수 있다.
공간적 오디오 내비게이션 시스템의 실시예들은, 공간적 오디오 기반 큐들을 사용하여 경로를 따라갈 때 사용자를 안내하기 위한 여러 상이한 공간적 오디오 내비게이션 방법들 중 하나 이상을 구현할 수 있다. 방법들은 하기를 포함할 수 있지만, 이에 제한되지 않는다.
연속 경로 추적 - 사운드가 연속적으로 경로를 따르도록 사운드가 이동된다. 사운드가 경로의 끝에 도달할 때, 그것은 경로의 시작으로 복귀하고 프로세스는 반복된다.
개별 경로 추적 - 사운드가 경로를 따라 개별 간격들로 이동된다. 사운드가 경로의 끝에 도달할 때, 그것은 경로의 시작으로 복귀하고 프로세스는 반복된다.
현재 재생 중인 사운드의 로컬 방향(local direction of currently playing sound) - 사용자는 음악, 팟캐스트, 또는 전화 통화와 같은 오디오 소스를 청취하고 있다. 사용자가 헤드셋을 통해 간단한 스테레오 사운드로서 오디오 소스를 듣는 대신에, 공간적 오디오 내비게이션 시스템은 사용자가 경로를 따라가기 위해 이동해야 하는 방향으로 사용자로부터 소정 거리 떨어진 곳에 사운드를 위치시킨다. 사운드는 경로 내에서 굽은 곳(bend) 또는 턴들을 따르도록 좌측 또는 우측으로 이동될 수 있다.
사운드 방향성 - 사용자가 경로를 따라가기 위해 이동해야 하는 방향을 향해 사용자의 후방으로부터 전방으로 사운드가 이동하고, 정지하고, 이어서 반복된다. 사운드는 사용자의 머리로부터 소정 거리 떨어진 곳에 위치되며, 예를 들어, 귀 우위(ear dominance)에 따라, 그들의 좌측 또는 우측에 위치될 수 있다.
사운드 터널링(sound tunneling) - 환경 내의 주변 잡음이 샘플링되거나 시뮬레이션된다. 예를 들어, 사용자가 숲에 있는 경우, 주변 잡음은 나무들의 바스락거리는 소리를 포함할 수 있고, 또는 사용자가 도시에 있는 경우 주변 잡음은 군중 및 교통 사운드를 포함할 수 있다. 이어서, 이러한 주변 잡음은 공간적 오디오 내비게이션 시스템에 의해 재생된다. 사용자가 경로를 따라가기 위해 이동해야 하는 방향을 제외하고는 사용자를 완전히 둘러싸는, 사운드에 대한 장애물들이 공간적 오디오 내비게이션 시스템에 의해 배치된다. 이는 사용자가 주변 잡음의 방향으로 경로를 따라가도록 촉구하는 사운드 터널링 효과를 야기한다.
주변 사운드 폐색(ambient sound occlusion)- 상기와 같이, 환경 내의 적절한 주변 잡음은 공간적 오디오 내비게이션 시스템에 의해 샘플링되거나 시뮬레이션되고 사용자에게 재생된다. 그러나, 장애물은 사용자가 경로를 따라가기 위해 이동해야 하는 방향으로 배치되고 사용자를 향하도록 배향된다. 이는 그들이 이동해야 하는 방향으로 주변 잡음을 차단하여, 사용자가 주변 잡음이 없거나 주변 잡음 내의 갭의 방향으로 경로를 따라가도록 촉구하는, 주변 잡음 내에 갭이 있는 효과를 야기한다.
사운드 추격(sound chasing) - 사운드(예컨대, 이리 떼, 기차 등의 사운드)가 사용자의 후방의 소정 거리에서 재생되고; 사용자가 이동함에 따라, 사운드는 경로를 따라 사용자를 밀어붙이도록 사용자를 "추격(chase)"하거나 그를 따라간다.
공간적 오디오 내비게이션 시스템이 사용자에 의해 착용된 헤드셋에 유선 또는 무선 연결에 의해 연결된 모바일 다목적 디바이스에서 구현되는 실시예들이 주로 기술되지만, 공간적 오디오 내비게이션 시스템의 실시예들은 또한 위치 기술, 머리 배향 기술, 및 바이노럴 오디오 출력을 포함하는 헤드 마운트 디스플레이(head-mounted display, HMD)들로서 구현되는 VR/MR 시스템들에서 구현될 수 있고; HMD에 통합된 스피커들이 바이노럴 오디오 디바이스로서 사용될 수 있거나, 또는 대안적으로 외부 헤드셋이 바이노럴 오디오 디바이스로서 사용될 수 있다. HMD들, 및 스마트폰들 및 패드들과 같은 모바일 다목적 디바이스들이 "모바일 디바이스들"로 지칭될 수 있다는 것에 유의한다. 또한, 실시예들은 헤드셋이 없는 노트북 또는 넷북 컴퓨터와 같은 모바일 다목적 디바이스 또는 다른 휴대용 컴퓨팅 디바이스에서 사용될 수 있는데, 여기서 디바이스의 2개 이상의 스피커들이 오디오 형태로 내비게이션 정보를 출력하기 위해 사용되고 그에 따라 바이노럴 오디오 디바이스로서의 역할을 한다. 보다 일반적으로, 실시예들은, 바이노럴 오디오 출력을 포함하고 머리 모션 및 배향 추적을 제공하는 임의의 디바이스 또는 시스템에서 구현될 수 있다.
또한, 실시예들은 차량 A/V 시스템들에서 - 여기서, 차량 위치 및 배향 기술이 차량의 위치, 모션, 및 배향을 결정하기 위해 사용되고, 차량의 "서라운드" 스피커 시스템이 목표 위치로 운전하는 동안 사용자를 안내하기 위해 방향성 사운드들을 출력하는 바이노럴 오디오 디바이스로서 사용됨 -, 그리고 가정들 또는 다른 건물들 또는 환경들에서 - 여기서, 모바일 다목적 디바이스 또는 다른 기술이 사용자의 위치, 배향, 및 움직임을 결정하기 위해 사용되는 한편, "서라운드" 스피커 시스템이 사용자를 안내하기 위해 방향성 사운드들을 출력하는 바이노럴 오디오 디바이스로서 사용됨 - 작동하도록 구성될 수 있다.
도 1a 및 도 1b는 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들의 실시예들을 구현할 수 있는 예시적인 모바일 다목적 디바이스의 실시예들을 도시한다.
도 2a 및 도 2b는 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들의 실시예들을 구현할 수 있는 예시적인 VR/MR 시스템의 실시예들을 도시한다.
도 2c는 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들의 실시예들을 구현하기 위해 VR/MR 시스템과 함께 사용되는 모바일 다목적 디바이스를 도시한다.
도 3은 일부 실시예들에 따른, 공간적 오디오 내비게이션 시스템의 컴포넌트들 및 그에 대한 입력들을 도시한다.
도 4는 일부 실시예들에 따른, 도 3에 도시된 바와 같은 공간적 오디오 내비게이션 시스템에 의해 구현될 수 있는 방법의 고레벨 흐름도이다.
도 5a 및 도 5b는 바이노럴 오디오 디바이스를 통한 종래의 오디오 출력을 도시한다.
도 5c 내지 도 5i는 일부 실시예들에 따른, 도 3 및 도 4에 도시된 바와 같은 공간적 오디오 내비게이션 시스템에 의해 사용될 수 있는 다양한 공간적 오디오 내비게이션 방법들을 그래픽으로 도시한다.
도 6a 내지 도 6d는 일부 실시예들에 따른, 공간적 오디오 내비게이션 방법들을 추가로 도시한다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 턴들을 처리하기 위한 공간적 오디오 내비게이션 방법들을 도시한다.
본 명세서는 "하나의 실시예" 또는 "일 실시예"에 대한 언급을 포함한다. "일 실시예에서" 또는 "실시예에서"라는 문구들의 등장들은 반드시 동일한 실시예를 지칭하는 것은 아니다. 특정 특징들, 구조들 또는 특성들이 본 개시내용과 일관성을 유지하는 임의의 적합한 방식으로 조합될 수 있다.
"포함하는(Comprising)". 이 용어는 개방형(open-ended)이다. 청구범위에서 사용되는 바와 같이, 이러한 용어는 부가적인 구조 또는 단계들을 배제(foreclose)하지 않는다. "... 하나 이상의 프로세서 유닛들을 포함하는 장치"를 언급하는 청구항을 고려한다. 그러한 청구항은 장치가 부가적인 컴포넌트들(예를 들어, 네트워크 인터페이스 유닛, 그래픽 회로부 등)을 포함하는 것을 배제하지 않는다.
"~하도록 구성되는(configured to)". 다양한 유닛들, 회로들 또는 다른 컴포넌트들이 태스크 또는 태스크들을 수행"하도록 구성"되는 것으로 기술되거나 청구될 수 있다. 그러한 문맥들에서, "~하도록 구성되는"은 유닛들/회로들/컴포넌트들이 동작 동안에 그들 태스크 또는 태스크들을 수행하는 구조(예컨대, 회로부)를 포함한다는 것을 나타냄으로써 구조를 내포하는 데 사용된다. 이와 같이, 유닛/회로/컴포넌트는, 특정된 유닛/회로/컴포넌트가 현재 동작중이지 않은 경우(예를 들어, 켜진 상태가 아닌 경우)에도 태스크를 수행하도록 구성되는 것으로 칭해질 수 있다. "~하도록 구성되는"이라는 문구와 함께 사용되는 유닛들/회로들/컴포넌트들은 하드웨어 - 예를 들어, 회로들, 동작을 구현하도록 실행가능한 프로그램 명령어들을 저장하는 메모리 등 - 를 포함한다. 유닛/회로/컴포넌트가 하나 이상의 태스크들을 수행"하도록 구성"됨을 언급하는 것은 그 유닛/회로/컴포넌트에 대해 미국 특허법 35 U.S.C.§ 112, (f) 문단 규정이 적용되지 않도록 하기 위한 의도의 명시이다. 추가로, "~하도록 구성되는"은 사안이 되는 태스크(들)를 수행할 수 있는 방식으로 동작하도록 소프트웨어 또는 펌웨어(예컨대, FPGA 또는 소프트웨어를 실행하는 범용 프로세서)에 의해 조작되는 일반 구조물(예를 들어, 일반 회로부)을 포함할 수 있다. "~하도록 구성되는"은 또한 하나 이상의 태스크들을 구현하거나 수행하도록 적응된 디바이스들(예를 들어, 집적 회로들)을 제조하도록 제조 프로세스(예를 들어, 반도체 제조 설비)를 적응하는 것을 포함할 수 있다.
"제1", "제2", 등. 본 명세서에서 사용되는 바와 같이, 이러한 용어들은 이들이 선행하고 있는 명사들에 대한 라벨들로서 사용되고, 임의의 유형의(예를 들어, 공간적, 시간적, 논리적 등) 순서를 암시하는 것은 아니다. 예를 들어, 버퍼 회로는 "제1" 및 "제2" 값들에 대한 기입 동작들을 수행하는 것으로서 본 명세서에서 기술될 수 있다. 용어들 "제1" 및 "제2"는 반드시 제1 값이 제2 값 전에 기입되어야 한다는 것을 암시하지는 않는다.
"~에 기초하여" 또는 "~에 따라". 본 명세서에서 사용되는 바와 같이, 이 용어들은 결정에 영향을 주는 하나 이상의 인자들을 기술하는 데 사용된다. 이 용어들은 결정에 영향을 줄 수 있는 추가적 인자들을 배제하지 않는다. 즉, 결정은 오직 그들 인자들에만 기초하거나 또는 그들 인자들에 적어도 부분적으로 기초할 수 있다. "B에 기초하여 A를 결정한다"라는 문구를 고려한다. 이 경우에, B가 A의 결정에 영향을 주는 인자이기는 하지만, 그러한 문구는 A의 결정이 또한 C에도 기초하는 것임을 배제하지 않는다. 다른 예시들에서, A는 오직 B에만 기초하여 결정될 수 있다.
"또는". 청구범위에 사용될 때, 용어 "또는"은 포괄적인 '또는'으로서 사용되고 배타적인 '또는'으로서 사용되지 않는다. 예를 들어, 어구 "x, y, 또는 z 중 적어도 하나"는 x, y, 및 z 중 어느 하나뿐만 아니라 이들의 임의의 조합을 의미한다.
공간적 오디오 내비게이션을 위한 방법들 및 장치의 다양한 실시예들이 기술된다. 예를 들어, 모바일 다목적 디바이스들에 의해 구현될 수 있는 공간적 오디오 내비게이션 시스템 및 공간적 오디오 내비게이션 방법들의 실시예들이 기술된다. 공간적 오디오 내비게이션 시스템은 현실 세계 위치들, 사람들, 또는 물체들과 같은 목적지들로 사용자들을 안내하기 위해 오디오 형태로 내비게이션 정보를 제공한다. 종래의 내비게이션 애플리케이션들에서와 같이 음성 명령들을 사용하는 대신에, 공간적 오디오 내비게이션 시스템은 사용자에게 내비게이션 큐들을 제공하기 위해 바이노럴 오디오 디바이스(예컨대, 헤드폰, 헤드셋, 유선 또는 무선 이어버드 등, 이들은 "헤드셋"으로 총칭됨)를 통해 재생되는 오디오의 방향성을 사용한다.
헤드셋은 사용자의 좌측 귀 내에 또는 그 위에 착용된 좌측 오디오 출력 컴포넌트, 및 사용자의 우측 귀 내에 또는 그 위에 착용된 우측 오디오 출력 컴포넌트를 포함한다. 사운드의 방향성은, 예를 들어, 오디오 출력 컴포넌트들 중 하나에 의해 출력되는 사운드의 볼륨을 증가시키고/시키거나 다른 오디오 출력 컴포넌트에 의해 출력되는 사운드의 볼륨을 감소시킴으로써 제공될 수 있다. 둘 모두의 컴포넌트들이 동일한 볼륨 레벨에 있는 경우, 사운드는 사용자의 전방으로부터 나오는 것으로 보일 수 있다. 볼륨이 좌측 컴포넌트에서 0 초과이고 우측 컴포넌트에서 0인 경우, 사운드는 사용자의 직접 좌측으로부터 나오는 것으로 보일 수 있다. 볼륨이 우측 컴포넌트에서 0 초과이고 좌측 컴포넌트에서 0인 경우, 사운드는 사용자의 직접 우측으로부터 나오는 것으로 보일 수 있다. 볼륨이 좌측 컴포넌트에서 더 높고 우측 컴포넌트에서 더 낮은 경우, 사운드는 사용자의 전방의 그리고 사용자의 좌측의 위치로부터 나오는 것으로 보일 수 있다. 볼륨이 우측 컴포넌트에서 더 높고 좌측 컴포넌트에서 더 낮은 경우, 사운드는 사용자의 전방의 그리고 사용자의 우측의 위치로부터 나오는 것으로 보일 수 있다. 또한, 하나 또는 둘 모두의 컴포넌트에 의해 출력된 사운드는 사운드가 사용자의 후방으로부터 나오는 것으로 보이도록 변조될 수 있다. 또한, 하나 또는 둘 모두의 컴포넌트의 볼륨을 변조하는 것은 거리감을 제공할 수 있고; 더 낮은 볼륨에서, 사운드는 더 멀리 떨어진 곳으로부터 나오는 것으로 보일 수 있고; 더 높은 볼륨에서, 사운드는 인근으로부터 나오는 것으로 보일 수 있다. 볼륨을 조정하는 것 대신에 또는 그에 더하여, 좌측 및 우측 오디오 채널들의 다른 양태들이, 오디오의 가상 방향성 및 거리에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다.
공간적 오디오 내비게이션 시스템에 대한 입력들은, 현실 세계 목표 위치(전형적으로, 모바일 다목적 디바이스 상의 애플리케이션에 대한 인터페이스를 통해 사용자에 의해 제공됨), 모바일 다목적 디바이스에 의해 결정된 사용자의 현실 세계 현재 위치, 사용자의 머리의 모션 및 배향, 모바일 다목적 디바이스 상의 지도 또는 내비게이션 애플리케이션에 의해 전형적으로 제공된 현실 세계 지도 정보, 및 오디오 소스를 포함할 수 있다. 목표 위치는 장소, 사람(예컨대, 자신의 위치를 사용자의 모바일 다목적 디바이스에 통신할 수 있는 다른 모바일 다목적 디바이스를 보유한 사람), 또는 위치가 공간적 오디오 내비게이션 시스템에 알려지거나 그에 의해 발견가능한 물체(예컨대, 키들의 세트)일 수 있다. 사용자의 모바일 다목적 디바이스는 현실 세계에서의 자신의 위치를 계산하기 위해 하나 이상의 위치 센서들로부터의 입력들을 사용한다. 위치 센서들은 GPS(global positioning system) 기술 센서들, dGPS(차동 GPS) 기술 센서들, 카메라들, 실내 포지셔닝 기술 센서들, SLAM(simultaneous localization and mapping) 기술 센서들 등 중 하나 이상을 포함할 수 있지만, 이에 제한되지 않는다. 사용자에 의해 착용된 헤드셋은 현실 세계에 대한 사용자의 머리의 모션 및 배향을 검출하고 추적하는 데 사용되는 모션 센서들을 포함한다. 모션 센서들은 IMU(inertial measurement unit), 자이로스코프, 자세 센서, 나침반 중 하나 이상을 포함할 수 있지만, 이에 제한되지 않는다. 현실 세계 지도 정보는 위치들 사이의 루트들에 관한 정보, 적절한 통행가능 지역들(보도, 거리, 문 등), 및 장애물들(벽, 건물, 울타리 등)을 포함할 수 있지만, 이에 제한되지 않는다. 오디오 소스는, 예를 들어, 환경으로부터 샘플링되거나 그에 대해 시뮬레이션된 주변 잡음, 사용자가 청취하고 있는 오디오 소스(예컨대, 음악, 팟캐스트, 오디오 북, 라디오 방송, 전화 통화 등), 또는 다양한 사전-녹음되거나 생성된 사운드들을 포함할 수 있다.
현재 위치, 목표 위치, 및 지도 정보는 사용자의 현재 위치와 목표 위치 사이의 현실 세계 경로를 결정하기 위해 경로탐색 알고리즘들에 입력될 수 있다. 이어서, 공간적 오디오 내비게이션 시스템은 현재 위치로부터 목표 위치로의 경로 상에서 사용자를 안내하기 위해 헤드셋을 통해 재생되는 방향성 오디오를 사용할 수 있다. 모바일 다목적 디바이스에 의해 결정된 바와 같은 사용자의 현재 위치 및 모션의 방향, 및 헤드셋에 의해 결정된 바와 같은 머리 배향 및 움직임은, 예를 들어, 목표 위치로의 경로를 따라 사용자를 안내하기 위해 사용자가 현실 세계에서 이동함에 따라 오디오의 가상 방향성 및 거리를 조정하기 위해 공간적 오디오 내비게이션 시스템에 의해 사용된다. 일부 실시예들에서, 오디오의 가상 방향성 및 거리는 좌측 및/또는 우측 오디오 채널들에 출력되는 오디오의 하나 이상의 양태들 - 볼륨, 주파수, 및 잔향을 포함하지만 이에 제한되지 않음 - 을 감쇠시킴으로써 조정될 수 있다. 오디오의 다른 양태들은, 사용자를 목표 위치로 안내하는 것을 돕기 위해, 볼륨 및 오디오의 유형과 같은, 입력들에 기초하여 조정될 수 있다.
공간적 오디오 내비게이션 시스템은, 사용자가 공간적 오디오 의미로 사운드를 듣도록, 유선 또는 무선 연결을 통해 오디오를 헤드셋에 출력할 수 있다. 다시 말하면, 사용자는 사운드가 현실 세계 위치로부터 정확한 거리 및 방향으로 오는 것처럼 사운드를 듣는다. 예를 들어, 시스템은, 사용자가 그들의 좌측, 그들의 우측, 바로 앞, 뒤, 또는 소정 각도에서 나오는 사운드를 듣도록, 헤드셋을 통해 사운드를 재생할 수 있다. 사운드가 나오고 있는 것으로 보이는 방향은 경로 상에서 사용자를 안내하기 위해 변화할 수 있다. 예를 들어, 사용자가 경로 상에서 좌측 턴에 접근함에 따라, 사운드는 좌측으로 이동될 수 있다. 일부 실시예들에서, 시스템은 예를 들어, 사운드가 3 피트, 10 피트, 또는 50 피트 떨어진 곳에서 나오는 것처럼 보이도록 사용자에게 거리감을 제공하기 위해 사운드의 볼륨을 변조할 수 있다. 볼륨을 조정하는 것 대신에 또는 그에 더하여, 오디오의 다른 양태들이, 오디오의 가상 거리에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다. 일부 실시예들에서, 시스템은, 예를 들어 사용자가 턴을 놓치거나 장애물에 접근하고 있는 경우 경보 또는 경고 사운드를 재생함으로써, 검출된 이벤트들에 기초하여 사운드를 변화시킬 수 있다.
공간적 오디오 내비게이션 시스템의 실시예들은, 공간적 오디오 기반 큐들을 사용하여 경로를 따라갈 때 사용자를 안내하기 위한 여러 상이한 공간적 오디오 내비게이션 방법들 중 하나 이상을 구현할 수 있다. 방법들은 연속 경로 추적, 개별 경로 추적, 현재 재생 중인 사운드의 로컬 방향, 사운드 방향성, 사운드 터널링, 주변 사운드 폐색, 및 사운드 추격 방법들을 포함할 수 있지만, 이에 제한되지 않는다. 실시예들에서 사용될 수 있는 이들 다양한 공간적 오디오 내비게이션 방법들 및 다른 방법들이 도 5c 내지 도 5i, 도 6a 내지 도 6d, 및 도 7a 내지 도 7c와 관련하여 추가로 기술된다.
예를 들어 도 1a 및 도 1b에 도시된 바와 같은, 공간적 오디오 내비게이션 시스템이 사용자에 의해 착용된 헤드셋에 유선 또는 무선 연결에 의해 연결된 모바일 다목적 디바이스에서 구현되는 실시예들이 주로 기술되지만, 공간적 오디오 내비게이션 시스템의 실시예들은 또한, 예를 들어 도 2a 및 도 2b에 도시된 바와 같은, 위치 기술, 머리 배향 기술, 및 바이노럴 오디오 출력을 포함하는 헤드 마운트 디스플레이(HMD)들로서 구현되는 VR/MR 시스템들에서 구현될 수 있고; HMD에 통합된 스피커들이 바이노럴 오디오 디바이스로서 사용될 수 있거나, 또는 대안적으로 외부 헤드셋이 바이노럴 오디오 디바이스로서 사용될 수 있다. 또한, 실시예들은 헤드셋이 없는 노트북 또는 넷북 컴퓨터와 같은 모바일 다목적 디바이스 또는 다른 휴대용 컴퓨팅 디바이스에서 사용될 수 있는데, 여기서 디바이스의 2개 이상의 스피커들이 오디오 형태로 내비게이션 정보를 출력하기 위해 사용되고 그에 따라 바이노럴 오디오 디바이스로서의 역할을 한다. 보다 일반적으로, 실시예들은, 바이노럴 오디오 출력을 포함하고 머리 모션 및 배향 추적을 제공하는 임의의 디바이스 또는 시스템에서 구현될 수 있다.
또한, 실시예들은 차량 A/V 시스템들에서 - 여기서, 차량 위치 및 배향 기술이 차량의 위치, 모션, 및 배향을 결정하기 위해 사용되고, 차량의 "서라운드" 스피커 시스템이 목표 위치로 운전하는 동안 사용자를 안내하기 위해 방향성 사운드들을 출력하는 바이노럴 오디오 디바이스로서 사용됨 -, 그리고 가정들 또는 다른 건물들 또는 환경들에서 - 여기서, 모바일 다목적 디바이스 또는 다른 기술이 사용자의 위치, 배향, 및 움직임을 결정하기 위해 사용되는 한편, "서라운드" 스피커 시스템이 사용자를 안내하기 위해 방향성 사운드들을 출력하는 바이노럴 오디오 디바이스로서 사용됨 - 구현될 수 있다.
도 1a 및 도 1b는 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들의 실시예들을 구현할 수 있는 예시적인 모바일 다목적 디바이스의 실시예들을 도시한다. 도 1a에 도시된 바와 같이, 스마트폰, 태블릿, 또는 패드 디바이스와 같은 모바일 다목적 디바이스(100)는 사용자(190)에 의해, 예를 들어 손에서 또는 주머니 내에서 휴대될 수 있다. 디바이스(100)는 디바이스(100)의 현실 세계 위치가 결정될 수 있게 하는 하나 이상의 위치 센서들, 예를 들어 GPS(global positioning system) 기술 센서, dGPS(차동 GPS) 기술 센서, 카메라, 실내 포지셔닝 기술 센서, SLAM(simultaneous localization and mapping) 기술 센서 등을 포함할 수 있다. 헤드셋(108)으로 지칭되는 바이노럴 오디오 디바이스(예컨대, 헤드폰, 헤드셋, 유선 또는 무선 이어버드 등)는 사용자(190)에 의해 착용될 수 있다. 헤드셋(108)은 우측 오디오(110A) 및 좌측 오디오(110B) 출력 컴포넌트들(예컨대, 이어버드들), 및 현실 세계에 대한 사용자(190)의 머리의 모션 및 배향을 검출하고 추적하는 데 사용되는 하나 이상의 모션 센서들을 포함할 수 있다. 모션 센서들은 IMU(inertial measurement unit), 자이로스코프, 자세 센서, 나침반 중 하나 이상을 포함할 수 있지만, 이에 제한되지 않는다. 모바일 디바이스(100)는 유선 또는 무선 연결을 통해 우측(112A) 및 좌측 (112B) 오디오 채널들을 우측 오디오(110A) 및 좌측 오디오(110B) 출력 컴포넌트들(예를 들어, 이어버드들)로 송신할 수 있고; 헤드셋(108)은 유선 또는 무선 연결을 통해 머리 배향 및 움직임 정보를 디바이스(100)에 통신할 수 있다.
도 1b는 일부 실시예들에 따른, 도 1a에 도시된 시스템의 컴포넌트들을 도시한 블록도이다. 스마트폰, 태블릿, 또는 패드 디바이스와 같은 모바일 다목적 디바이스(100)는 하나 이상의 프로세서들(104), 메모리(130), 하나 이상의 센서들(120), 및 터치-인에이블드 디스플레이(102)를 포함할 수 있지만, 이에 제한되지 않는다.
디바이스(100)는, 콘텐츠가 사용자에게 디스플레이될 수 있게 하고 사용자가 정보 및 명령들을 디바이스(100)에 입력할 수 있게 하는 터치-인에이블드 디스플레이(102)를 포함할 수 있다. 디스플레이(202)는 다양한 유형의 터치-인에이블드 디스플레이 기술들 중 임의의 것을 구현할 수 있다.
디바이스(100)는 또한 모바일 다목적 디바이스의 기능을 구현하는 하나 이상의 프로세서들(104)을 포함할 수 있다. 디바이스(100)는 또한, 프로세서들(104)에 의해 실행가능한 소프트웨어(코드(132))뿐만 아니라, 프로세서들(104) 상에서 실행될 때 코드(132)에 의해 사용될 수 있는 데이터(134)를 저장하는 메모리(130)를 포함할 수 있다. 코드(132) 및 데이터(134)는, 예를 들어, 디바이스(100)의 운영 체제를 실행하기 위한 코드 및 데이터뿐만 아니라, 디바이스(100) 상의 다양한 애플리케이션들을 구현하기 위한 코드 및 데이터를 포함할 수 있다. 코드(132)는 또한 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들을 구현하기 위해 제어기(104)에 의해 실행가능한 프로그램 명령어들을 포함할 수 있지만, 이에 제한되지 않는다. 데이터(134)는 또한 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템에 의해 사용될 수 있는 현실 세계 지도 정보, 오디오 파일들, 또는 다른 데이터를 포함할 수 있지만, 이에 제한되지 않는다.
다양한 실시예들에서, 프로세서들(104)은 하나의 프로세서를 포함하는 단일프로세서 시스템, 또는 여러 개(예를 들어, 2개, 4개, 8개, 또는 다른 적합한 개수)의 프로세서들을 포함하는 멀티프로세서 시스템일 수 있다. 프로세서들(104)은 임의의 적합한 명령어 세트 아키텍처를 구현하도록 구성된 중앙 프로세싱 유닛(CPU)들을 포함할 수 있고, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행하도록 구성될 수 있다. 예를 들어, 다양한 실시예들에서, 프로세서들(104)은 x86, PowerPC, SPARC, RISC 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA와 같은 다양한 명령어 세트 아키텍처(ISA)들 중 임의의 것을 구현하는 범용 또는 임베디드 프로세서들을 포함할 수 있다. 멀티프로세서 시스템들에서, 프로세서들 각각은 일반적으로 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다. 프로세서들(104)은 스칼라, 수퍼스칼라, 파이프라인형, 수퍼파이프라인형, 비순차형, 순차형, 추측형, 비추측형(non-speculative) 등 또는 이들의 조합을 포함하는 임의의 마이크로아키텍처를 채택할 수 있다. 프로세서들(104)은 마이크로코딩 기법들을 구현하기 위한 회로부를 포함할 수 있다. 프로세서들(104)은 하나 이상의 프로세싱 코어들을 포함할 수 있고, 이는 각각 명령어들을 실행하도록 구성된다. 프로세서들(104)은 하나 이상의 레벨들의 캐시들을 포함할 수 있고, 이는 임의의 크기 및 임의의 구성(세트 연관(set associative), 직접 맵핑 등)을 채택할 수 있다. 일부 실시예들에서, 프로세서들(104)은 임의의 적합한 그래픽 프로세싱 회로부를 포함할 수 있는 적어도 하나의 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 일반적으로, GPU는 디스플레이될 객체들을 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것) 내에 렌더링하도록 구성될 수 있다. GPU는 그래픽 동작의 일부 또는 전부를 수행하기 위한 그래픽 소프트웨어 또는 소정 그래픽 동작들의 하드웨어 가속을 실행할 수 있는 하나 이상의 그래픽 프로세서들을 포함할 수 있다. 일부 실시예들에서, 프로세서들(104)은 비디오 및/또는 이미지들을 프로세싱 및 렌더링하기 위한 하나 이상의 다른 컴포넌트들, 예를 들어 이미지 신호 프로세서(ISP)들, 코더/디코더들(코덱들) 등을 포함할 수 있다. 일부 실시예들에서, 프로세서들(104)은 적어도 하나의 시스템 온 칩(SOC)을 포함할 수 있다.
메모리(130)는, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM(mDDR3 등과 같은 모바일 버전들의 SDRAM들, 또는 LPDDR2 등과 같은 저전력 버전들의 SDRAM들을 포함), RAMBUS DRAM(RDRAM), 정적 RAM(SRAM) 등과 같은 임의의 유형의 메모리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 메모리 디바이스들은 단일 인라인 메모리 모듈(single inline memory module, SIMM)들, 듀얼 인라인 메모리 모듈(DIMM)들 등과 같은 메모리 모듈들을 형성하기 위해 회로 보드 상에 결합될 수 있다. 대안적으로, 디바이스들은 칩-온-칩(chip-on-chip) 구성, 패키지-온-패키지(package-on-package) 구성 또는 멀티-칩 모듈 구성으로 시스템을 구현하는 집적 회로로 실장될 수 있다.
디바이스(100)는 디바이스(100)의 현실 세계 위치가 결정될 수 있게 하는 하나 이상의 위치 센서들(120), 예를 들어 GPS(global positioning system) 기술 센서, dGPS(차동 GPS) 기술 센서, 카메라, 실내 포지셔닝 기술 센서, SLAM(simultaneous localization and mapping) 기술 센서 등을 포함할 수 있다.
헤드셋(108)으로 지칭되는 바이노럴 오디오 디바이스(예컨대, 헤드폰, 헤드셋, 유선 또는 무선 이어버드 등)는 사용자에 의해 착용될 수 있다. 헤드셋(108)은 우측 오디오(110A) 및 좌측 오디오(110B) 출력 컴포넌트들(예컨대, 이어버드들), 및 현실 세계에 대한 사용자(190)의 머리의 모션 및 배향을 검출하고 추적하는 데 사용되는 하나 이상의 모션 센서들(106)을 포함할 수 있다. 모션 센서들(106)은 IMU(inertial measurement unit), 자이로스코프, 자세 센서, 나침반 중 하나 이상을 포함할 수 있지만, 이에 제한되지 않는다. 모바일 디바이스(100)는 유선 또는 무선 연결을 통해 우측(112A) 및 좌측 (112B) 오디오 채널들을 우측 오디오(110A) 및 좌측 오디오(110B) 출력 컴포넌트들(예를 들어, 이어버드들)로 송신할 수 있고; 헤드셋(108)은 유선 또는 무선 연결을 통해 머리 배향 및 움직임 정보를 디바이스(100)에 통신할 수 있다.
도 2a 및 도 2b는 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들의 실시예들을 구현할 수 있는 예시적인 VR/MR 시스템의 실시예들을 도시한다.
도 2a는 적어도 일부 실시예들에 따른 VR/MR 시스템을 도시한다. 일부 실시예들에서, VR/MR 시스템은 사용자(290)에 의해 착용될 수 있는 헬멧, 고글 또는 안경과 같은 HMD(200)를 포함할 수 있다. 일부 실시예들에서, HMD(200)는 독립형 유닛일 수 있다. 그러나, 일부 실시예들에서, VR/MR 시스템은, VR/MR 시스템의 기능 중 적어도 일부(예컨대, 디스플레이를 위해 가상 콘텐츠를 렌더링함)를 수행하고 유선 또는 무선 연결을 통해 HMD(200)와 통신하는 기지국(도시되지 않음)을 포함할 수 있다.
HMD(200)는 사용자(290)의 환경에 대한 정보(비디오, 깊이 정보, 조명 정보 등) 및 사용자(290)에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 머리 움직임, 시선 방향, 손 제스처들 등)를 수집하는 센서들을 포함할 수 있다. 가상 콘텐츠는 사용자(290)에게의 디스플레이를 위해 센서들로부터 획득된 다양한 정보에 적어도 부분적으로 기초하여 렌더링될 수 있다. 가상 콘텐츠는 (VR 애플리케이션들에서) 가상 현실 뷰를 제공하기 위해 또는 (MR 애플리케이션들에서) 현실의 증강된 뷰를 제공하기 위해 HMD(200)에 의해 사용자(290)에게 디스플레이될 수 있다. HMD(200)는 다양한 유형의 디스플레이 기술들 중 임의의 것을 구현할 수 있다.
HMD(200)는 HMD(200)의 현실 세계 위치가 결정될 수 있게 하는 하나 이상의 위치 센서들, 예를 들어 GPS(global positioning system) 기술 센서, dGPS(차동 GPS) 기술 센서, 카메라, 실내 포지셔닝 기술 센서, SLAM(simultaneous localization and mapping) 기술 센서 등을 포함할 수 있다.
HMD(200)는 (예컨대, 우측 오디오(210A) 및 좌측 오디오(210B) 출력 컴포넌트들을 통해) 바이노럴 오디오 출력을 제공할 수 있다. 예를 들어, 우측 오디오(210A) 및 좌측 오디오(210B) 출력 컴포넌트들은 HMD(200)에 통합된 오버-이어 스피커(over-the ear speaker)들 또는 이어피스들일 수 있고, 각각 사용자의 우측 귀 및 좌측 귀에 또는 그 위에 위치될 수 있다. 다른 예로서, 우측 오디오(210A) 및 좌측 오디오(210B) 출력 컴포넌트들은 유선 또는 무선 연결에 의해 HMD(200)에 결합된 우측 및 좌측 이어버드 또는 헤드폰일 수 있다.
도 2b는 일부 실시예들에 따른, 도 2a에 도시된 VR/MR 시스템의 컴포넌트들을 도시한 블록도이다. 일부 실시예들에서, VR/MR 시스템은 헤드셋, 헬멧, 고글 또는 안경과 같은 HMD(200)를 포함할 수 있다. 일부 실시예들에서, HMD(200)는 독립형 유닛일 수 있다. 그러나, 일부 실시예들에서, VR/MR 시스템은, VR/MR 시스템의 기능 중 적어도 일부(예컨대, 디스플레이를 위해 가상 콘텐츠를 렌더링함)를 수행하고 유선 또는 무선 연결을 통해 HMD(200)와 통신하는 기지국(도시되지 않음)을 포함할 수 있다.
HMD(200)는, 가상 콘텐츠가 (VR 애플리케이션들에서) 가상 현실 뷰를 제공하기 위해 또는 (MR 애플리케이션들에서) 현실의 증강된 뷰를 제공하기 위해 사용자에게 디스플레이될 수 있는, 디스플레이(202) 컴포넌트 또는 서브시스템을 포함할 수 있다. 디스플레이(202)는 다양한 유형의 디스플레이 기술들 중 임의의 것을 구현할 수 있다. 예를 들어, HMD(200)는 DLP(digital light processing), LCD(liquid crystal display) 및 LCoS(liquid crystal on silicon) 기술 디스플레이 시스템들과 같은, 사용자(290)의 눈들 앞의 스크린 상에 좌측 및 우측 이미지들을 디스플레이하는 근안(near-eye) 디스플레이 시스템을 포함할 수 있다. 다른 예로서, HMD(200)는 피험자의 눈들에 좌측 및 우측 이미지들을 스캐닝하는 프로젝터 시스템을 포함할 수 있다. 이미지들을 스캐닝하기 위해, 좌측 및 우측 프로젝터들은 사용자(290)의 눈들 앞에 위치된 좌측 및 우측 디스플레이들(예컨대, 타원형 미러들)로 지향되는 빔들을 생성하고; 디스플레이들은 빔들을 사용자의 눈들로 반사한다. 좌측 및 우측 디스플레이들은 환경으로부터의 광이 통과하도록 허용하는 시스루(see-through) 디스플레이들일 수 있어서, 사용자가 투영된 가상 콘텐츠에 의해 증강된 현실의 뷰를 보게 한다.
HMD(200)는 또한 VR/MR 시스템의 기능을 구현하는 하나 이상의 프로세서들을 포함하는 제어기(204)를 포함할 수 있다. HMD(200)는 또한, 제어기(204)에 의해 실행가능한 소프트웨어(코드(232))뿐만 아니라, 제어기(204) 상에서 실행될 때 코드(232)에 의해 사용될 수 있는 데이터(234)를 저장하는 메모리(230)를 포함할 수 있다. 코드(232) 및 데이터(234)는, 예를 들어, 가상 콘텐츠를 렌더링하고 사용자에게 디스플레이하기 위한 VR 및/또는 AR 애플리케이션 코드 및 데이터를 포함할 수 있다. 코드(232)는 또한 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들을 구현하기 위해 제어기(204)에 의해 실행가능한 프로그램 명령어들을 포함할 수 있지만, 이에 제한되지 않는다. 데이터(234)는 또한 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템에 의해 사용될 수 있는 현실 세계 지도 정보, 오디오 파일들, 또는 다른 데이터를 포함할 수 있지만, 이에 제한되지 않는다.
다양한 실시예들에서, 제어기(204)는 하나의 프로세서를 포함하는 단일프로세서 시스템, 또는 여러 개(예를 들어, 2개, 4개, 8개, 또는 다른 적합한 개수)의 프로세서들을 포함하는 멀티프로세서 시스템일 수 있다. 제어기(204)는 임의의 적합한 명령어 세트 아키텍처를 구현하도록 구성된 중앙 프로세싱 유닛(CPU)들을 포함할 수 있고, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행하도록 구성될 수 있다. 예를 들어, 다양한 실시예들에서, 제어기(204)는 x86, PowerPC, SPARC, RISC 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA와 같은 다양한 명령어 세트 아키텍처(ISA)들 중 임의의 것을 구현하는 범용 또는 임베디드 프로세서들을 포함할 수 있다. 멀티프로세서 시스템들에서, 프로세서들 각각은 일반적으로 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다. 제어기(204)는 스칼라, 수퍼스칼라, 파이프라인형, 수퍼파이프라인형, 비순차형, 순차형, 추측형, 비추측형 등 또는 이들의 조합을 포함하는 임의의 마이크로아키텍처를 채택할 수 있다. 제어기(204)는 마이크로코딩 기법들을 구현하기 위한 회로부를 포함할 수 있다. 제어기(204)는 하나 이상의 프로세싱 코어들을 포함할 수 있고, 이는 각각 명령어들을 실행하도록 구성된다. 제어기(204)는 하나 이상의 레벨들의 캐시들을 포함할 수 있고, 이는 임의의 크기 및 임의의 구성(세트 연관, 직접 맵핑 등)을 채택할 수 있다. 일부 실시예들에서, 제어기(204)는 임의의 적합한 그래픽 프로세싱 회로부를 포함할 수 있는 적어도 하나의 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 일반적으로, GPU는 디스플레이될 객체들을 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것) 내에 렌더링하도록 구성될 수 있다. GPU는 그래픽 동작의 일부 또는 전부를 수행하기 위한 그래픽 소프트웨어 또는 소정 그래픽 동작들의 하드웨어 가속을 실행할 수 있는 하나 이상의 그래픽 프로세서들을 포함할 수 있다. 일부 실시예들에서, 제어기(204)는 비디오 및/또는 이미지들을 프로세싱 및 렌더링하기 위한 하나 이상의 다른 컴포넌트들, 예를 들어 이미지 신호 프로세서(ISP)들, 코더/디코더들(코덱들) 등을 포함할 수 있다. 일부 실시예들에서, 제어기(204)는 적어도 하나의 시스템 온 칩(SOC)을 포함할 수 있다.
메모리(230)는, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM(mDDR3 등과 같은 모바일 버전들의 SDRAM들, 또는 LPDDR2 등과 같은 저전력 버전들의 SDRAM들을 포함), RAMBUS DRAM(RDRAM), 정적 RAM(SRAM) 등과 같은 임의의 유형의 메모리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 메모리 디바이스들은 단일 인라인 메모리 모듈(SIMM)들, 듀얼 인라인 메모리 모듈(DIMM)들 등과 같은 메모리 모듈들을 형성하기 위해 회로 보드 상에 결합될 수 있다. 대안적으로, 디바이스들은 칩-온-칩 구성, 패키지-온-패키지 구성 또는 멀티-칩 모듈 구성으로 시스템을 구현하는 집적 회로로 실장될 수 있다.
일부 실시예들에서, HMD(200)는 사용자의 환경에 대한 정보(비디오, 깊이 정보, 조명 정보 등), 및 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 센서들(220)을 포함할 수 있다. 센서들(220)은 수집된 정보를 HMD(200)의 제어기(204)에 제공할 수 있다. 센서들(220)은 가시광 카메라들(예컨대, 비디오 카메라들), 적외선(IR) 카메라들, IR 조명원을 갖는 IR 카메라들, 광 검출 및 레인지측정(LIDAR) 방출기들 및 수신기들/검출기들, 및 레이저 방출기들 및 수신기들/검출기들을 갖는 레이저-기반 센서들 중 하나 이상을 포함할 수 있지만, 이에 제한되지 않는다.
HMD(200)는 현실 세계와 관련하여 HMD(200)의 - 및 그에 따라, 사용자의 머리의 - 위치, 배향 및 모션을 검출하기 위한 적어도 하나의 관성 측정 유닛(IMU)(206)을 포함할 수 있다. IMU(206) 대신에 또는 그에 더하여, HMD(200)는 자이로스코프, 자세 센서, 나침반, 또는 현실 세계와 관련하여 HMD(200)의 - 및 그에 따라, 사용자의 머리의 - 위치, 배향 및 모션을 검출하기 위한 다른 센서 기술들을 포함할 수 있다.
HMD(200)는 HMD(200)의 현실 세계 위치가 결정될 수 있게 하는 하나 이상의 위치 센서들, 예를 들어 GPS(global positioning system) 기술 센서, dGPS(차동 GPS) 기술 센서, 카메라, 실내 포지셔닝 기술 센서, SLAM(simultaneous localization and mapping) 기술 센서 등을 포함할 수 있다.
HMD(200)는 (예컨대, 우측 오디오(210A) 및 좌측 오디오(210B) 출력 컴포넌트들을 통해) 바이노럴 오디오 출력을 제공할 수 있다. 예를 들어, 우측 오디오(210A) 및 좌측 오디오(210B)는 HMD(200)에 통합된 오버-이어 스피커들 또는 이어피스들일 수 있고, 각각 사용자의 우측 귀 및 좌측 귀에 또는 그 위에 위치될 수 있다. 다른 예로서, 우측 오디오(210A) 및 좌측 오디오(210B)는 유선 또는 무선 연결에 의해 HMD(200)에 결합된 우측 및 좌측 이어버드 또는 헤드폰일 수 있다. HMD는 유선 또는 무선 연결을 통해 우측(212A) 및 좌측 (212B) 오디오 채널들을 우측 오디오(210A) 및 좌측 오디오(210B) 출력 컴포넌트들로 송신할 수 있다.
일부 실시예들에서, 공간적 오디오 내비게이션 시스템은 HMD(200)에 통합될 수 있다. 그러나, 도 2c에 도시된 바와 같은 일부 실시예들에서, 도 1a 및 도 1b에 도시된 바와 같은 모바일 다목적 디바이스(100)가 유선 또는 무선 연결을 통해 HMD(200)에 연결될 수 있다. 모바일 다목적 디바이스(100)는 공간적 오디오 내비게이션 시스템의 기능을 지원하여, HMD(200)의 IMU(206)로부터 머리 위치 및 모션 정보를 수신하고, HMD의 바이노럴 오디오 스피커들 또는 이어피스들(210A, 210B) 상에서 재생될 우측(212A) 및 좌측(212B) 오디오 채널들을 HMD(200)에 송신할 수 있다.
도 3은 일부 실시예들에 따른, 공간적 오디오 내비게이션 시스템(300)의 컴포넌트들 및 그에 대한 입력들을 도시한다. 공간적 오디오 내비게이션 시스템(300)은 도 1a 및 도 1b에 도시된 바와 같은 모바일 다목적 디바이스(100) 및 헤드셋(108)에 의해, 또는 도 2a 및 도 2b에 도시된 바와 같은 HMD(200)에 의해, 또는 도 2c에 도시된 바와 같은 모바일 다목적 디바이스(100) 및 HMD(200)에 의해 구현될 수 있다. 보다 일반적으로, 실시예들은, 바이노럴 오디오 출력을 포함하고 머리 모션 및 배향 추적을 제공하는 임의의 디바이스 또는 시스템에서 구현될 수 있다.
또한, 공간적 오디오 내비게이션 시스템(300)의 실시예들은 차량 A/V 시스템들에서 - 여기서, 차량의 위치 및 배향 기술이 차량의 위치, 모션, 및 배향을 결정하기 위해 사용되고, 차량의 스피커 시스템이 목표 위치로 운전하는 동안 사용자를 안내하기 위한 방향성 사운드들을 출력하기 위해 사용됨 -, 그리고 가정들 또는 다른 건물들에서 - 여기서, 모바일 다목적 디바이스 또는 다른 기술이 사용자의 위치, 배향, 및 움직임을 결정하기 위해 사용되는 한편, 가정용 스피커 시스템이 사용자를 안내하기 위한 방향성 사운드들을 출력하기 위해 사용됨 - 구현될 수 있다.
공간적 오디오 내비게이션 시스템(300)의 실시예들에서, 현재 위치, 목표 위치, 및 지도 정보는 사용자의 현재 위치와 목표 위치 사이의 현실 세계 경로(304)를 결정하기 위해 경로탐색 컴포넌트(302)에 입력될 수 있다. 사용자의 현실 세계 현재 위치는 디바이스의 위치 기술(예컨대, GPU 기술)에 의해 결정될 수 있다. 현실 세계 목표 위치는, 예를 들어, 디바이스 상의 공간적 오디오 내비게이션 시스템(300)에 대한 인터페이스를 통해 사용자에 의해 제공될 수 있거나, 또는 그렇지 않으면 공간적 오디오 내비게이션 시스템(300)에 의해 결정되거나 그것에 입력될 수 있다. 현실 세계 지도 정보는, 예를 들어, 디바이스 상의 지도 또는 내비게이션 애플리케이션에 의해 사용되는 지도 정보의 데이터베이스로부터 제공될 수 있다.
경로(304)가 결정된 후, 공간적 오디오 내비게이션 시스템(304)의 내비게이션 컴포넌트(306)는, 현재 위치로부터 목표 위치로의 경로(304) 상에서 사용자를 안내하기 위해 헤드셋을 통해 재생되는 방향성 오디오를 사용할 수 있다. 사용자의 현재 위치는 디바이스에 의해 추적되고 내비게이션 컴포넌트(306)에 입력될 수 있다. 또한, 머리 배향 및 모션은 헤드셋 또는 HMD의 센서들에 의해 추적되고 내비게이션 컴포넌트(306)에 입력될 수 있다. 내비게이션 컴포넌트(306)는 이어서, 경로(304)를 따라 목표 위치로 사용자를 안내하기 위해 사용자가 현실 세계에서 이동함에 따라 오디오 소스에 의해 제공되는 오디오의 방향성을 조정한다. 일부 실시예들에서, 오디오의 가상 방향성은 좌측 및/또는 우측 오디오 채널들에 출력되는 오디오의 하나 이상의 양태들 - 볼륨, 주파수, 및 잔향을 포함하지만 이에 제한되지 않음 - 을 감쇠시킴으로써 조정될 수 있다. 오디오의 다른 양태들은, 경로(304)를 따라 목표 위치로 사용자를 안내하는 것을 돕기 위해, 볼륨 및 오디오의 유형과 같은, 입력들에 기초하여 조정될 수 있다.
공간적 오디오 내비게이션 시스템(300)은, 사용자가 공간적 오디오 의미로 사운드를 듣도록, 유선 또는 무선 연결을 통해 우측(312A) 및 좌측(312B) 오디오 채널들을 헤드셋에 출력할 수 있다. 다시 말하면, 사용자는 사운드가 현실 세계 위치로부터 정확한 거리 및 방향으로 오는 것처럼 사운드를 듣는다. 예를 들어, 시스템(300)은, 사용자가 그들의 좌측, 그들의 우측, 바로 앞, 뒤, 또는 소정 각도에서 나오는 사운드를 듣도록, 헤드셋을 통해 사운드를 재생할 수 있다. 사운드가 나오고 있는 것으로 보이는 방향은 경로(304) 상에서 사용자를 안내하기 위해 변화할 수 있다. 예를 들어, 사용자가 경로(304) 상에서 좌측 턴에 접근함에 따라, 사운드는 좌측으로 이동될 수 있다. 일부 실시예들에서, 시스템(300)은 예를 들어, 사운드가 3 피트, 10 피트, 또는 50 피트 떨어진 곳에서 나오는 것처럼 보이도록 사용자에게 거리감을 제공하기 위해 사운드의 볼륨을 변조할 수 있다. 볼륨을 조정하는 것 대신에 또는 그에 더하여, 오디오의 다른 양태들이, 오디오의 가상 거리에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다. 일부 실시예들에서, 시스템(300)은, 예를 들어 사용자가 턴을 놓치거나 장애물에 접근하고 있는 경우 경보 또는 경고 사운드를 재생함으로써, 검출된 이벤트들에 기초하여 사운드를 변화시킬 수 있다. 내비게이션 컴포넌트(306)는 경로(304) 상에서 사용자를 안내하기 위해 하나 이상의 공간적 오디오 내비게이션 방법들을 사용할 수 있다. 공간적 오디오 내비게이션 방법들은 도 5c 내지 도 5i, 도 6a 내지 도 6d, 및 도 7a 내지 도 7c와 관련하여 추가로 기술된다.
도 4는 일부 실시예들에 따른, 도 3에 도시된 바와 같은 공간적 오디오 내비게이션 시스템(300)에 의해 구현될 수 있는 방법의 고레벨 흐름도이다. 400에 나타낸 바와 같이, 공간적 오디오 내비게이션 시스템(300)은 현재 위치 및 목표 위치를 획득 또는 결정할 수 있다. 사용자의 현실 세계 현재 위치는, 예를 들어, 디바이스의 위치 기술(예컨대, GPU 기술)에 의해 결정될 수 있다. 현실 세계 목표 위치는, 예를 들어, 디바이스 상의 공간적 오디오 내비게이션 시스템(300)에 대한 인터페이스를 통해 사용자에 의해 제공될 수 있거나, 또는 그렇지 않으면 공간적 오디오 내비게이션 시스템(300)에 의해 결정되거나 그것에 입력될 수 있다. 410에 나타낸 바와 같이, 지도 정보가 획득될 수 있다. 현실 세계 지도 정보는, 예를 들어, 디바이스 상의 지도 또는 내비게이션 애플리케이션에 의해 사용되는 지도 정보의 데이터베이스로부터 획득될 수 있다. 현재 위치, 목표 위치, 및 지도 정보는 경로탐색 컴포넌트에 입력될 수 있다. 420에 나타낸 바와 같이, 경로탐색 컴포넌트는 현재 위치로부터 목표 위치로의 현실 세계에서의 경로를 결정하기 위해 하나 이상의 경로탐색 방법들을 입력 정보에 적용할 수 있다. 경로는 내비게이션 컴포넌트에 입력될 수 있다. 430에 나타낸 바와 같이, 내비게이션 컴포넌트는 경로를 따라 목표 위치로 사용자를 안내하기 위해 하나 이상의 공간적 오디오 경로탐색 방법들을 오디오 소스에 적용할 수 있다. 사용자의 현재 위치, 머리 배향, 및 모션은 헤드셋 또는 HMD의 센서들에 의해 추적되고, 내비게이션 컴포넌트에 입력되고, 사용자를 목표 위치로 안내하기 위한 방향성 오디오 큐들을 제공하도록 좌측 및 우측 오디오 채널들을 조정하기 위해 경로와 함께 공간적 오디오 경로탐색 방법들에서 사용될 수 있다.
도 5c 내지 도 5i, 도 6a 내지 도 6d, 및 도 7a 내지 도 7c는 도 1 내지 도 4에 도시된 바와 같은 공간적 오디오 내비게이션 시스템의 실시예들에서 사용될 수 있는 다양한 공간적 오디오 내비게이션 방법들을 그래픽으로 도시한다. 일부 실시예들에서, 사용될 특정 방법 또는 방법들은 사용자에 관한 지식, 사용자가 무엇을 하고 있는지(예컨대, 음악 청취 중, 전화 통화 중, 또는 어떠한 것도 청취하고 있지 않음), 지도 정보로부터 결정된 현실 세계 환경, 및 오디오 소스(예컨대, 존재한다면, 사용자가 현재 청취하고 있는 것)를 포함하지만 이에 제한되지 않는 하나 이상의 인자들에 기초하여 시스템에 의해 자동으로 결정될 수 있다. 일부 실시예들에서, 공간적 오디오 내비게이션 시스템은, 사용자가 공간적 오디오 내비게이션 방법들 및 사운드들을 선택할 수 있게 하거나, 또는 어떤 방법(들)이 사용될지, 어떤 사운드들이 재생될지, 볼륨 등을 포함하지만 이에 제한되지 않는, 공간적 오디오 내비게이션에 대한 선호도를 특정할 수 있게 하는 인터페이스를 제공할 수 있다. 일부 실시예들에서, "자전거 타기", "걷기", "달리기", 또는 "운전"과 같이 사용자가 선택할 수 있는 특정 활동들에 대한 미리결정된 설정들이 있을 수 있다.
도 5a 및 도 5b는 바이노럴 오디오 디바이스(이어버드 또는 헤드폰과 같은 우측(510A) 및 좌측(510B) 오디오 디바이스들)를 통한 종래의 오디오 출력을 도시한다. 도 5a는, 사운드가 사용자의 사방에서, 또는 대안적으로 사용자의 우측 및 좌측으로부터 나오는 것으로 보일 수 있음을 도시한다. 도 5b에 도시된 바와 같이, 사용자가 그들의 머리를 돌림에 따라, 종래의 시스템들에서, 사운드는 사용자의 머리에 대해 동일한 상대적 위치에서 유지된다.
도 5c 내지 도 5i는 일부 실시예들에 따른, 도 3 및 도 4에 도시된 바와 같은 공간적 오디오 내비게이션 시스템에 의해 사용될 수 있는 다양한 공간적 오디오 내비게이션 방법들을 그래픽으로 도시한다.
도 5c는, 사용자의 전방의 사운드의 볼륨을 증가시킴으로써 그리고/또는 사운드의 볼륨을 감소시키거나 사용자의 측면들 및 후방으로 사운드를 차단함으로써 사운드가 소정 거리에서 사용자의 전방으로부터 나오는 것처럼 보이도록 좌측 및 우측 오디오 출력이 조정되는, 공간적 오디오 내비게이션 방법을 도시한다. 볼륨 대신에 또는 그에 더하여, 오디오의 다른 양태들이 오디오의 가상 거리 및 방향성에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다. 이는 사용자에게, 경로를 따라가기 위해 사운드를 향해 이동하도록 촉구한다. 도 5d 및 도 5e는, 예를 들어 사용자가 코너에 접근하고 있거나 코너에 있을 때, 사용자가 경로 상에서 우회전 또는 좌회전을 행하도록 촉구하기 위해 사운드의 방향이 사용자의 우측 또는 좌측으로 이동될 수 있음을 도시한다.
도 5c 내지 도 5e의 방법은, 예를 들어, 현재 재생 중인 사운드의 로컬 방향 방법에서 사용될 수 있다. 이 방법에서, 사용자는 음악, 팟캐스트, 또는 전화 통화와 같은 오디오 소스를 청취하고 있다. 사용자가 헤드셋을 통해 간단한 스테레오 사운드로서 오디오 소스를 듣는 대신에, 공간적 오디오 내비게이션 시스템은, 사용자가 경로를 따라가기 위해 이동해야 하는 방향으로 사용자로부터 소정 거리 떨어진 곳에 사운드를 위치시키고, 경로를 따라가도록 사용자를 안내하기 위해 경로를 따라 사운드를 이동시킨다.
도 5c 내지 도 5e의 방법은 또한 사운드 터널링 방법에서 사용될 수 있다. 사운드 터널링 방법에서, 환경 내의 주변 잡음이 샘플링되거나 시뮬레이션된다. 예를 들어, 사용자가 숲에 있는 경우, 주변 잡음은 나무들의 바스락거리는 소리를 포함할 수 있고, 또는 사용자가 도시에 있는 경우 주변 잡음은 군중 및 교통 사운드를 포함할 수 있다. 이어서, 이러한 주변 잡음은 공간적 오디오 내비게이션 시스템에 의해 재생된다. 사용자가 경로를 따라가기 위해 이동해야 하는 방향을 제외하고는 사용자를 완전히 둘러싸는, 사운드에 대한 장애물들이 공간적 오디오 내비게이션 시스템에 의해 배치된다. 이는 사용자가 주변 잡음의 방향으로 경로를 따라가도록 촉구하는 사운드 터널링 효과를 야기한다.
도 5f는, 사용자의 전방의 사운드를 차단함으로써 사용자의 전방을 제외한 모든 방향들로부터 사운드가 나오는 것처럼 보이도록 좌측 및 우측 오디오 출력이 조정되는, 공간적 오디오 내비게이션 방법을 도시한다. 이는 사용자에게, 경로를 따라가기 위해 사운드 내의 갭을 향해 이동하도록 촉구한다. 도 5g는, 예를 들어 사용자가 코너에 접근하고 있거나 코너에 있을 때, 사용자가 경로 상에서 우회전 또는 좌회전을 행하도록 촉구하기 위해 사운드 내의 갭의 위치가 사용자의 우측 또는 좌측으로 이동될 수 있음을 도시한다.
도 5f 및 도 5g의 방법은, 예를 들어, 주변 사운드 폐색 방법에서 사용될 수 있다. 주변 사운드 폐색 방법에서, 환경의 잡음이 공간적 오디오 내비게이션 시스템에 의해 샘플링되거나 시뮬레이션되고 사용자에게 재생된다. 그러나, 장애물은 사용자가 경로를 따라가기 위해 이동해야 하는 방향으로 배치되고 사용자를 향하도록 배향된다. 이러한 장애물은 사용자가 이동해야 하는 방향으로 주변 잡음을 차단하여, 사용자가 주변 잡음 내의 갭의 방향으로 경로를 따라가도록 촉구하는, 주변 잡음 내에 갭이 있는 효과를 야기한다.
도 5h는, 사용자의 후방의 사운드의 볼륨을 증가시킴으로써 그리고/또는 사운드의 볼륨을 감소시키거나 사용자의 측면들 및 전방으로 사운드를 차단함으로써 사운드가 소정 거리에서 사용자의 후방으로부터 나오는 것처럼 보이도록 좌측 및 우측 오디오 출력이 조정되는, 공간적 오디오 내비게이션 방법을 도시한다. 이는 사용자에게, 경로를 따라가기 위해 사운드로부터 멀어지게 이동하도록 촉구한다. 예를 들어 사용자가 코너에 접근하고 있거나 코너에 있을 때, 사용자가 경로 상에서 좌회전 또는 우회전을 행하도록 촉구하기 위해, 사운드의 방향은 사용자의 후방에서 우측 또는 좌측으로 이동될 수 있다. 볼륨 대신에 또는 그에 더하여, 오디오의 다른 양태들이 오디오의 가상 거리 및 방향성에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다.
도 5h의 방법은, 예를 들어, 사운드 추격 방법에서 사용될 수 있다. 사운드 추격 방법에서, 사운드(예컨대, 이리 떼, 기차 등의 사운드)가 사용자의 후방의 소정 거리로부터 나오는 것으로 보이도록 재생되고; 사용자가 이동함에 따라, 사운드는 경로를 따라 사용자를 밀어붙이도록 사용자를 "추격"하거나 그를 따라간다.
도 5i는, 도 5c 내지 도 5h에 도시된 바와 같은 방법들에서, 예로서 도 5c를 사용하여, 공간적 오디오 내비게이션 시스템이 헤드셋 또는 HMD 내의 IMU에 의해 검출되고 추적된 바와 같은 사용자의 머리의 모션 및 배향에 응답하여 좌측 및 우측 오디오 채널들을 조정하여 사운드가 계속되거나 경로의 방향으로 유지되도록 하는 것을 도시한다. 도 5c에 도시된 바와 같이, 사용자는 바로 앞을 보고 있으며, 사운드는 사용자에게 소정 거리에서 사용자의 바로 앞에서 나오는 것으로 보인다. 도 5i에서, 사용자는 그들의 머리를 좌측으로 돌렸지만, 도 5b에 도시된 바와 같이 사용자의 머리와 함께 회전하는 대신에, 사운드의 방향은 경로의 방향으로 유지된다.
도 6a 내지 도 6d는 일부 실시예들에 따른, 공간적 오디오 내비게이션 방법들을 추가로 도시한다. 도 6a는 여러 장애물들을 포함하는 현실 세계 환경에서 사용자로부터 목표 위치(X로 표현됨)로의 결정된 경로를 도시한다. 목표 위치는 다른 사람, 물품 또는 물체, 장소, 랜드마크 등일 수 있다. 사용자의 현재 위치로부터 목표 위치로의 경로는 장애물들(예컨대, 건물, 하천, 울타리 등) 및 루트들(예컨대, 거리, 보도, 골목길, 통로 등)에 대한 지식을 포함하는 지도 정보를 사용하여 공간적 오디오 내비게이션 시스템에 의해 결정될 수 있다.
도 6b는, 사운드(동심원들로 표현됨)가 경로를 연속적으로 따르도록 이동되는, 연속 경로 추적 방법을 도시한다. 일부 실시예들에서, 사운드가 경로의 끝에 도달할 때, 그것은 경로의 시작으로 복귀하고 프로세스는 반복된다.
도 6c는, 사운드가 경로를 따라 개별 간격들로 이동되는, 개별 경로 추적 방법을 도시한다. 일부 실시예들에서, 사운드가 경로의 끝에 도달할 때, 그것은 경로의 시작으로 복귀하고 프로세스는 반복된다.
도 6d는, 사운드가, 사용자의 후방으로부터 사용자가 경로를 따라가기 위해 이동해야 하는 방향을 향해 이동하고, 사용자의 전방에서 소정 거리에서 멈추고, 이어서 반복되는, 사운드 방향성 방법을 도시한다. 사운드는 사용자의 머리로부터 소정 거리 떨어진 곳에 위치될 수 있으며, 예를 들어, 귀 우위에 따라, 그들의 좌측 또는 우측에 위치될 수 있다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 턴들을 처리하기 위한 공간적 오디오 내비게이션 방법들을 도시한다. 도 7a는 턴을 포함하는 현실 세계 환경에서 사용자에 대해 결정된 경로를 도시한다. 사용자가 턴에 접근함에 따라, 사운드는 사운드가 턴의 전방 그리고 턴의 좌측으로부터 나오는 것으로 보이도록 재생될 수 있다. 사운드의 볼륨 및 위치는 사용자가 턴에 접근함에 따라 조정될 수 있다. 도 7b에서, 사용자가 턴에 도달함에 따라, 사운드는 볼륨이 증가될 수 있고, 턴의 방향으로 경로를 따라가며; 이 경우에, 사운드는 사용자의 좌측으로부터 나오는 것처럼 보인다. 사용자가 사운드를 따라가고 턴을 하는 경우, 사운드는 사용자가 경로 내의 다른 턴에 접근할 때까지 볼륨이 감소하거나 사라질 수 있다. 일부 실시예들에서, 사용자가 정확한 턴을 했고 여전히 경로 상에 있음을 나타내기 위해, 특정 사운드 또는 톤이 사용자에게 재생될 수 있다. 도 7c에 도시된 바와 같이, 사용자가 턴을 놓치는 경우, 사운드는 볼륨이 감소할 수 있고, 사용자가 턴을 놓쳤음을 사용자에게 프롬프트하기 위해 사용자의 후방으로부터 나오는 것으로 보이도록 이동될 수 있다. 대안적으로, 일부 실시예들에서, 사용자가 턴을 놓칠 때 경보 사운드가 재생될 수 있다. 일부 실시예들에서, 사용자가 턴을 지나 계속 가거나 또는 다른 식으로 시스템에 의해 결정된 경로로부터 벗어나는 경우, 시스템은 목표 위치로의 새로운 경로를 재계산할 수 있고, 공간적 오디오 내비게이션 방법들을 사용하여 새로운 경로 상에서 사용자를 안내하는 것을 시작할 수 있다. 볼륨 대신에 또는 그에 더하여, 오디오의 다른 양태들이 오디오의 가상 거리 및 방향성에 영향을 미치도록 감쇠될 수 있으며, 이는 주파수 및 잔향을 포함하지만 이에 제한되지 않는다.
예시적인 사용 사례들
다음은 본 명세서에 기술된 바와 같은 공간적 오디오 내비게이션 시스템 및 방법들의 실시예들에 대한 일부 예시적이고 비제한적인 사용 사례들을 제공한다.
자전거 라이더 또는 조깅하는 사람은 (예컨대, 터치 또는 음성 명령들을 사용함으로써) 그들의 모바일 다목적 디바이스 상의 공간적 오디오 내비게이션 시스템에 대한 인터페이스를 통해 라이드(ride) 또는 달리기에 대한 5-마일 경로 또는 루프를 특정하거나 요청할 수 있다. 이어서 사용자는 음악 재생 목록을 청취하기 시작할 수 있고, 이어서 오디오 내비게이션 시스템은 경로 상에서 사용자를 안내하기 위해 바이노럴 헤드셋을 통해 재생되는 음악의 방향성을 사용할 것이다. 공간적 오디오 내비게이션 방법들 중 하나 이상이 사용될 수 있다. 예를 들어, 현재 재생 중인 사운드의 로컬 방향 방법이 사용될 수 있는데, 여기서, 공간적 오디오 내비게이션 시스템은, 사용자가 경로를 따라가기 위해 이동해야 하는 방향으로 사용자로부터 소정 거리 떨어진 곳에 사운드를 위치시키고, 경로를 따라가도록 사용자를 안내하기 위해 경로를 따라 사운드를 이동시킨다.
사용자는 쇼핑몰, 도시, 공원, 또는 다른 환경에서 누군가를 만날 필요가 있을 수 있다. 사용자는 그들의 모바일 다목적 디바이스를 사용하여, 다른 사람이 있는 위치, 또는 만날 위치를 찾을 수 있다. 목표 위치는 인터페이스를 통해 공간적 오디오 내비게이션 시스템에 입력될 수 있다. 공간적 오디오 내비게이션 시스템은 사용자의 현재 위치, 목표 위치, 및 지도 정보에 기초하여 경로를 생성한다. 이어서, 공간적 오디오 내비게이션 시스템은 공간적 오디오 내비게이션 방법들(예컨대, 연속 경로 추적, 개별 경로 추적, 현재 재생 중인 사운드의 로컬 방향, 사운드 방향성, 사운드 터널링, 및/또는 주변 사운드 폐색) 중 하나 이상을 사용하여, 사용자를 경로 상에서 목표 위치로, 그리고 그에 따라 다른 사람에게로 안내할 수 있다.
차량에서, 공간적 오디오 내비게이션 시스템은 차량 내비게이션 시스템에 의해 제공되는 시각적 큐들 및/또는 음성 지시들을 증강시키는 데 사용될 수 있다. 예를 들어, 사용자가 차량의 내비게이션 시스템(내장되거나, 또는 연결된 모바일 다목적 디바이스에 의해 제공됨)에 의해 디스플레이 스크린 상에 디스플레이된 루트를 따라가고 있는 경우, 차량의 스피커들에 의해 재생되고 있는 음악 또는 다른 오디오는 공간적 오디오 내비게이션 시스템에 의해 방향성을 가져서(directionalized), 방향성 오디오 큐들을 사용하여 루트 상에서 사용자를 안내하는 것을 도울 수 있다. 예를 들어, 좌측 턴이 다가오고 있는 경우, 음악의 소스는 음악이 좌측으로부터 나오는 것으로 보이도록 이동될 수 있다. 공간적 오디오 내비게이션 기법들은 또한 내비게이션 시스템에 의해 제공되는 음성 지시들과 통합될 수 있다. 예를 들어, 퍼스트 스트리트(First Street)에서 좌측 턴에 다가갈 때, 시스템은 "퍼스트 스트리트로 좌회전하세요"라고 말할 수 있다. 그러나, 사용자의 주위에서 또는 전방에서 나오는 음성 명령 대신에, 사용자가 턴 해야 하는 방향에 대한 방향성 오디오 큐를 제공하기 위해 차량의 좌측으로부터 나오는 것으로 보이도록 명령이 이루어질 수 있다.
사용자의 가정에서, 키 또는 지갑과 같은 물품들이 잘못 놓일 수 있다. 모바일 다목적 디바이스는 (예컨대, 디바이스가 위치파악할 수 있는, 물품 상에 배치된 동글(dongle) 또는 "도트(dot)"를 통해) 물품을 위치파악할 수 있거나, 또는 (예컨대, 디바이스가 물품들의 위치들을 기록하고 태그하는 컴퓨터 비전 또는 다른 기술을 사용하여) 물품의 마지막 위치를 기억할 수 있다. 사용자가 물품을 찾을 수 없는 경우, 사용자는 물품을 위치파악하도록 디바이스에 요청할 수 있다(예컨대, "내 키들을 찾아줘"). 이어서, 공간적 오디오 내비게이션 시스템은 헤드셋을 통해 또는 가정의 스피커 시스템을 통해 재생되는 방향성 오디오 큐들을 사용하여 사용자를 물품으로 안내할 수 있다.
본 명세서에 기술된 방법들은, 상이한 실시예들에서, 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 부가적으로, 방법들의 블록들의 순서는 변경될 수 있고, 다양한 요소들이 부가, 재순서화, 조합, 생략, 수정, 기타 등등될 수 있다. 본 개시내용의 이익을 가진 당업자에게 명백한 바와 같이 다양한 수정들 및 변화들이 이루어질 수 있다. 본 명세서에 기술된 다양한 실시예들은 예시적인 것이며 제한하려는 것으로 의도되지 않는다. 많은 변형들, 수정들, 부가들 및 개선들이 가능하다. 따라서, 복수의 예시들이 본 명세서에 기술된 컴포넌트들에 대해 단일 예시로서 제공될 수 있다. 다양한 컴포넌트들, 동작들, 및 데이터 저장들 사이의 경계들은 다소 임의적이고, 특정 동작들은 특정 예시 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 계획되고, 다음의 청구범위의 범주 내에 속할 수 있다. 마지막으로, 예시적인 구성들에서 별개의 컴포넌트들로서 제시된 구조들 및 기능은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 이들 및 다른 변형들, 수정들, 부가들 및 개선들은 다음의 청구범위에 정의된 바와 같은 실시예들의 범주 내에 속할 수 있다.

Claims (29)

  1. 경로를 따라 사용자를 안내하기 위한 시스템으로서,
    모바일 디바이스를 포함하며, 상기 모바일 디바이스는,
    하나 이상의 프로세서들;
    상기 모바일 디바이스의 현재 위치를 검출하고 추적하기 위한 하나 이상의 위치 센서들; 및
    프로그램 명령어들을 포함하는 메모리를 포함하고, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해:
    상기 모바일 디바이스의 목표 위치를 결정하고;
    상기 현재 위치로부터 상기 목표 위치로의 경로를 결정하고;
    상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 바이노럴 오디오 디바이스(binaural audio device)를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하도록 실행가능한, 시스템.
  2. 제1항에 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 상기 바이노럴 오디오 디바이스의 모션 및 배향을 나타내는 데이터에 적어도 부분적으로 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드의 상기 가상 방향성을 조정하도록 추가로 실행가능한, 시스템.
  3. 제2항에 있어서, 상기 시스템은 상기 바이노럴 오디오 디바이스를 추가로 포함하고, 상기 바이노럴 오디오 디바이스는 유선 또는 무선 연결에 의해 상기 모바일 디바이스에 연결되고, 상기 바이노럴 오디오 디바이스는 상기 바이노럴 오디오 디바이스의 상기 모션 배향을 검출하고 추적하도록 구성된 하나 이상의 모션 센서들을 포함하는, 시스템.
  4. 제1항에 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 지도 정보에 적어도 부분적으로 기초하여 상기 현재 위치로부터 상기 목표 위치로의 상기 경로를 결정하도록 추가로 실행가능한, 시스템.
  5. 제1항에 있어서, 상기 시스템은 상기 바이노럴 오디오 디바이스를 추가로 포함하고, 상기 바이노럴 오디오 디바이스는 좌측 및 우측 오디오 출력 컴포넌트들을 포함하고, 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드의 상기 가상 방향성 및 거리는, 상기 유선 또는 무선 연결을 통해 상기 모바일 디바이스에 의해 상기 바이노럴 오디오 디바이스의 상기 좌측 및 우측 오디오 출력 컴포넌트들로 송신되는 좌측 및 우측 오디오 채널들의 볼륨, 주파수, 또는 잔향 중 하나 이상을 조정함으로써 제어되는, 시스템.
  6. 제1항에 있어서, 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드는 음악, 전화 대화, 오디오 북, 팟캐스트, 라디오 방송, 현실 환경(real environment)으로부터 샘플링되거나 그에 대해 시뮬레이션된 주변 잡음, 톤들 및 백색 잡음을 포함하는 시뮬레이션된 사운드들, 또는 녹음된 사운드들 중 하나 이상을 포함하는, 시스템.
  7. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해 하나 이상의 공간적 오디오 내비게이션 방법들을 적용하도록 실행가능하며, 상기 하나 이상의 공간적 오디오 내비게이션 방법들은,
    상기 사운드가 상기 경로를 따라 연속적으로 이동되는 방법;
    상기 사운드가 상기 경로를 따라 개별 간격들로 이동되는 방법;
    상기 사운드가 상기 경로를 따르는 방향으로 상기 바이노럴 오디오 디바이스의 상기 현재 위치로부터 소정 거리에 위치되는 방법;
    상기 사운드가 상기 경로를 따라 하나의 방향으로부터 다른 방향으로 이동되는 방법;
    샘플링되거나 시뮬레이션된 주변 잡음이 상기 경로를 따르는 방향으로 재생되고 다른 방향들로 차단되어 사운드 터널링 효과(sound tunneling effect)를 야기하는 방법;
    샘플링되거나 시뮬레이션된 주변 잡음이 상기 경로를 따르는 방향으로 차단되고 다른 방향들로 재생되어 상기 주변 잡음 내의 갭 효과를 야기하는 방법; 또는
    상기 사운드가 상기 경로의 방향과 반대인 방향으로 재생되는 방법
    중 하나 이상을 포함하는, 시스템.
  8. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 상기 사운드가 상기 경로를 따라 연속적으로 이동되는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  9. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 상기 사운드가 상기 경로를 따라 개별 간격들로 이동되는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  10. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스에 대한 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 상기 사운드가 상기 경로를 따르는 방향으로 상기 바이노럴 오디오 디바이스의 상기 현재 위치로부터 소정 거리에 위치되는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  11. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 상기 사운드가 상기 경로 상의 바이노럴 오디오 디바이스의 상기 현재 위치의 후방의 위치로부터 상기 경로 상의 상기 바이노럴 오디오 디바이스의 상기 현재 위치의 전방의 위치로 이동하는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  12. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 샘플링되거나 시뮬레이션된 주변 잡음이 상기 경로를 따르는 방향으로 재생되고 다른 방향들로 차단되어 사운드 터널링 효과를 야기하는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  13. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 샘플링되거나 시뮬레이션된 주변 잡음이 상기 경로를 따르는 방향으로 차단되고 다른 방향들로 재생되어 상기 주변 잡음 내의 갭을 야기하는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  14. 제1항에 있어서, 상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 상기 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 가상 방향성 및 거리를 제어하는 데 있어서, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해, 상기 사운드가 상기 경로의 방향과 반대인 방향으로 재생되는 공간적 오디오 내비게이션 방법을 적용하도록 실행가능한, 시스템.
  15. 제1항에 있어서, 상기 시스템은 상기 바이노럴 오디오 디바이스를 추가로 포함하고, 상기 바이노럴 오디오 디바이스는 헤드셋이고, 상기 모바일 디바이스는 모바일 다목적 디바이스인, 시스템.
  16. 제1항에 있어서, 상기 모바일 디바이스는 헤드 마운트 디스플레이 디바이스(head-mounted display device)인, 시스템.
  17. 제16항에 있어서, 상기 시스템은 상기 바이노럴 오디오 디바이스를 추가로 포함하고, 상기 바이노럴 오디오 디바이스는 헤드셋인, 시스템.
  18. 제16항에 있어서, 상기 시스템은 상기 바이노럴 오디오 디바이스를 추가로 포함하고, 상기 바이노럴 오디오 디바이스는 상기 헤드 마운트 디스플레이 디바이스에 통합된 스피커들을 포함하는, 시스템.
  19. 방법으로서,
    하나 이상의 프로세서들을 포함하는 모바일 디바이스에 의해:
    현재 위치 및 목표 위치를 결정하는 것;
    상기 현재 위치로부터 상기 목표 위치로의 경로를 결정하는 것; 및
    상기 경로에 대한 상기 모바일 디바이스의 상기 현재 위치에 기초하여 바이노럴 오디오 디바이스를 통해 재생되는 사운드의 방향성 및 거리를 제어하기 위해, 상기 바이노럴 오디오 디바이스의 좌측 및 우측 오디오 출력 컴포넌트들로 송신되는 좌측 및 우측 오디오 채널들의 볼륨, 주파수, 또는 잔향 중 하나 이상을 조정하는 것
    을 수행하는 단계를 포함하는, 방법.
  20. 제19항에 있어서, 상기 모바일 디바이스의 상기 현재 위치를 검출하고 추적하도록 구성된 상기 모바일 디바이스의 하나 이상의 위치 센서들에 의해 제공된 위치 데이터에 기초하여 상기 현재 위치를 결정하는 단계를 추가로 포함하는, 방법.
  21. 제19항에 있어서, 지도 정보에 적어도 부분적으로 기초하여 상기 현재 위치로부터 상기 목표 위치로의 상기 경로를 결정하는 단계를 추가로 포함하는, 방법.
  22. 제19항에 있어서, 바이노럴 오디오 디바이스의 모션 및 배향을 나타내는 데이터에 적어도 부분적으로 기초하여, 상기 바이노럴 오디오 디바이스의 좌측 및 우측 오디오 출력 컴포넌트들로 송신되는 상기 좌측 및 우측 오디오 채널들의 볼륨, 주파수, 또는 잔향 중 하나 이상을 조정하는 단계를 추가로 포함하는, 방법.
  23. 제19항에 있어서, 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드는 음악, 전화 대화, 오디오 북, 팟캐스트, 라디오 방송, 현실 환경으로부터 샘플링되거나 그에 대해 시뮬레이션된 주변 잡음, 톤들 및 백색 잡음을 포함하는 시뮬레이션된 사운드들, 또는 녹음된 사운드들 중 하나 이상을 포함하는, 방법.
  24. 제19항에 있어서, 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드의 상기 방향성 및 거리를 조정함으로써 상기 사용자에게 제공되는 내비게이션 큐들은,
    상기 경로를 따라 연속적으로 상기 사운드를 이동시키는 것;
    상기 경로를 따라 개별 간격들로 상기 사운드를 이동시키는 것;
    상기 경로를 따르는 방향으로 상기 바이노럴 오디오 디바이스의 상기 현재 위치로부터 소정 거리에 상기 사운드를 위치시키는 것;
    상기 경로 상의 바이노럴 오디오 디바이스의 상기 현재 위치의 후방의 위치로부터 상기 경로 상의 상기 바이노럴 오디오 디바이스의 상기 현재 위치의 전방의 위치로 상기 사운드를 이동시키는 것; 또는
    상기 경로의 방향과 반대인 방향으로 상기 사운드를 배치하는 것
    중 하나 이상을 포함하는, 방법.
  25. 제19항에 있어서, 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드의 상기 방향성 및 거리를 조정함으로써 상기 사용자에게 제공되는 내비게이션 큐들은, 상기 경로를 따르는 방향으로 상기 사운드를 재생하고 다른 방향들로 상기 사운드를 차단하여 사운드 터널링 효과를 야기하는 것을 포함하는, 방법.
  26. 제19항에 있어서, 상기 바이노럴 오디오 디바이스를 통해 재생되는 상기 사운드의 상기 방향성 및 거리를 조정함으로써 상기 사용자에게 제공되는 내비게이션 큐들은, 상기 경로를 따르는 방향으로 상기 사운드를 차단하고 다른 방향들로 상기 사운드를 재생하여 상기 사운드 내의 갭을 야기하는 것을 포함하는, 방법.
  27. 제19항에 있어서, 상기 바이노럴 오디오 디바이스는 이어버드(earbud)들이고, 상기 모바일 디바이스는 모바일 다목적 디바이스인, 방법.
  28. 제19항에 있어서, 상기 모바일 디바이스는 헤드 마운트 디스플레이 디바이스인, 방법.
  29. 공간적 오디오 내비게이션 시스템으로서,
    오디오 헤드셋 - 상기 오디오 헤드셋은,
    좌측 및 우측 오디오 출력 컴포넌트들; 및
    상기 오디오 헤드셋의 모션 및 배향을 검출하고 추적하는 하나 이상의 모션 센서들을 포함함 -; 및
    모바일 다목적 디바이스를 포함하며, 상기 모바일 다목적 디바이스는,
    하나 이상의 프로세서들;
    상기 디바이스의 위치를 검출하고 추적하는 하나 이상의 위치 센서들; 및
    프로그램 명령어들을 포함하는 메모리를 포함하고, 상기 프로그램 명령어들은 상기 하나 이상의 프로세서들에 의해:
    목표 위치를 결정하고;
    위치 센서 데이터에 적어도 부분적으로 기초하여 상기 모바일 다목적 디바이스의 위치를 결정하고;
    지도 정보에 적어도 부분적으로 기초하여 현재 위치로부터 상기 목표 위치로의 경로를 결정하고;
    바이노럴 오디오 디바이스를 통해 재생되는 사운드의 방향성 및 거리를 제어하기 위해 위치 센서 데이터 및 모션 센서 데이터에 적어도 부분적으로 기초하여, 유선 또는 무선 연결을 통해 상기 바이노럴 오디오 디바이스의 상기 좌측 및 우측 오디오 출력 컴포넌트들로 송신되는 좌측 및 우측 오디오 채널들의 볼륨, 주파수, 또는 잔향 중 하나 이상을 조정하도록 실행가능한, 공간적 오디오 내비게이션 시스템.
KR1020207008896A 2017-09-27 2018-09-25 공간적 오디오 내비게이션 KR102545721B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564197P 2017-09-27 2017-09-27
US62/564,197 2017-09-27
PCT/US2018/052642 WO2019067443A1 (en) 2017-09-27 2018-09-25 AUDIO SPACE NAVIGATION

Publications (2)

Publication Number Publication Date
KR20200046075A true KR20200046075A (ko) 2020-05-06
KR102545721B1 KR102545721B1 (ko) 2023-06-21

Family

ID=63841072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008896A KR102545721B1 (ko) 2017-09-27 2018-09-25 공간적 오디오 내비게이션

Country Status (6)

Country Link
US (2) US11709068B2 (ko)
EP (1) EP3673240A1 (ko)
JP (1) JP7053855B2 (ko)
KR (1) KR102545721B1 (ko)
CN (1) CN111148969B (ko)
WO (1) WO2019067443A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6559921B1 (ja) * 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
AT522549B1 (de) 2019-04-18 2022-09-15 Dreamwaves Gmbh Verfahren zum Leiten von Verkehrsteilnehmern
KR102152675B1 (ko) * 2019-04-29 2020-09-07 김희성 러닝용 음성지원 이어셋
US11356793B2 (en) * 2019-10-01 2022-06-07 Qualcomm Incorporated Controlling rendering of audio data
CN110989831B (zh) * 2019-11-15 2021-04-27 歌尔股份有限公司 音频设备的控制方法、音频设备及存储介质
CN111010641A (zh) * 2019-12-20 2020-04-14 联想(北京)有限公司 信息处理方法、耳机和电子设备
EP4060522A4 (en) * 2019-12-27 2022-12-14 Huawei Technologies Co., Ltd. DATA GENERATING METHOD AND DEVICE
US11089427B1 (en) * 2020-03-31 2021-08-10 Snap Inc. Immersive augmented reality experiences using spatial audio
CN111741405B (zh) * 2020-06-05 2021-12-21 北京搜狗智能科技有限公司 一种提醒方法、装置、耳机和服务器
US11750998B2 (en) 2020-09-30 2023-09-05 Qualcomm Incorporated Controlling rendering of audio data
US11537120B2 (en) * 2020-11-17 2022-12-27 Ford Global Technologies, Llc Systems and methods for providing enhanced feedback on a personal communication device used for vehicle maneuvering
US11743670B2 (en) 2020-12-18 2023-08-29 Qualcomm Incorporated Correlation-based rendering with multiple distributed streams accounting for an occlusion for six degree of freedom applications
WO2022151336A1 (en) * 2021-01-15 2022-07-21 Harman International Industries, Incorporated Techniques for around-the-ear transducers
US11315335B1 (en) 2021-03-30 2022-04-26 Honda Motor Co., Ltd. Mixed-reality interaction with touch device
FR3128285B1 (fr) 2021-10-15 2023-11-10 Runblind Système de guidage d’un utilisateur par un signal sonore, et procédé de guidage correspondant
US20230179942A1 (en) * 2021-12-02 2023-06-08 At&T Intellectual Property I, L.P. Audio-based visual orientation in a user-perceived environment
FR3132363A1 (fr) * 2022-02-02 2023-08-04 Renault Paire de lunettes connectée pour utilisateur d’un véhicule
CN114461022A (zh) * 2022-02-09 2022-05-10 维沃移动通信有限公司 终端的可分离模组管理方法、装置及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028663A (ja) * 2001-07-17 2003-01-29 Yamaha Corp ナビゲーション装置及び制御プログラム
JP2008023237A (ja) * 2006-07-25 2008-02-07 Miki Yasuma 視覚障害者向けナビシステム
EP2685217A1 (en) * 2012-07-12 2014-01-15 GN Store Nord A/S A hearing device providing spoken information on the surroundings
WO2014014145A1 (ko) * 2012-07-19 2014-01-23 엘지전자 주식회사 뇌파 신호를 이용하는 헤드 마운트 디스플레이 장치 및 그 제어 방법
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
WO2016178820A1 (en) * 2015-05-06 2016-11-10 Google Inc. Binaural navigation cues

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2415071B (en) * 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
CN101055494B (zh) * 2006-04-13 2011-03-16 上海虚拟谷数码科技有限公司 基于空间索引立方体全景视频的虚拟场景漫游方法及其系统
WO2008106680A2 (en) 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation
KR101384528B1 (ko) 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
CN103282872B (zh) 2010-11-30 2016-05-25 国际商业机器公司 用于借助于声音来映射移动方向的方法和设备
US8660581B2 (en) * 2011-02-23 2014-02-25 Digimarc Corporation Mobile device indoor navigation
JP5112547B2 (ja) 2011-08-09 2013-01-09 パイオニア株式会社 ナビゲーション装置、経路案内方法、経路案内プログラム及び記憶媒体
US8996296B2 (en) 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US9997069B2 (en) 2012-06-05 2018-06-12 Apple Inc. Context-aware voice guidance
US10156455B2 (en) 2012-06-05 2018-12-18 Apple Inc. Context-aware voice guidance
CN104321622B (zh) 2012-06-05 2017-09-08 苹果公司 情景感知语音引导
US9301069B2 (en) 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
CN203313378U (zh) * 2013-07-12 2013-11-27 黄通兵 一种便于收纳的扬声器连接装置和新型眼镜式设备
US11022456B2 (en) 2013-07-25 2021-06-01 Nokia Technologies Oy Method of audio processing and audio processing apparatus
US20160116298A1 (en) 2014-10-24 2016-04-28 Leadnav Systems, Llc System and method for using audible waypoints in mobile navigation
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
CN105372026B (zh) 2015-10-15 2018-10-26 Tcl移动通信科技（宁波）有限公司 一种麦克风拾音结构路径的气密性检测装置及其方法
CN107077318A (zh) 2016-12-14 2017-08-18 深圳前海达闼云端智能科技有限公司 一种声音处理方法、装置、电子设备及计算机程序产品
CN107036605B (zh) 2017-03-14 2020-05-22 广东小天才科技有限公司 一种基于可穿戴设备进行导航的方法及可穿戴设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028663A (ja) * 2001-07-17 2003-01-29 Yamaha Corp ナビゲーション装置及び制御プログラム
JP2008023237A (ja) * 2006-07-25 2008-02-07 Miki Yasuma 視覚障害者向けナビシステム
EP2685217A1 (en) * 2012-07-12 2014-01-15 GN Store Nord A/S A hearing device providing spoken information on the surroundings
WO2014014145A1 (ko) * 2012-07-19 2014-01-23 엘지전자 주식회사 뇌파 신호를 이용하는 헤드 마운트 디스플레이 장치 및 그 제어 방법
KR20140129654A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법
WO2016178820A1 (en) * 2015-05-06 2016-11-10 Google Inc. Binaural navigation cues

Also Published As

Publication number Publication date
JP7053855B2 (ja) 2022-04-12
US20200264006A1 (en) 2020-08-20
WO2019067443A1 (en) 2019-04-04
KR102545721B1 (ko) 2023-06-21
CN111148969B (zh) 2023-09-29
US11709068B2 (en) 2023-07-25
US20230332914A1 (en) 2023-10-19
EP3673240A1 (en) 2020-07-01
JP2020535446A (ja) 2020-12-03
CN111148969A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
KR102545721B1 (ko) 공간적 오디오 내비게이션
US11202164B2 (en) Predictive head-tracked binaural audio rendering
US10701509B2 (en) Emulating spatial perception using virtual echolocation
US10558274B2 (en) Teleportation in an augmented and/or virtual reality environment
US20170103574A1 (en) System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170103576A1 (en) Production and packaging of entertainment data for virtual reality
US11310618B2 (en) Virtual reality, augmented reality, and mixed reality systems with spatialized audio
US20180136744A1 (en) Input controller stabilization techniques for virtual reality systems
JP2019502193A (ja) 仮想現実環境におけるナビゲーション用制御システム
US20190094955A1 (en) Range finding and accessory tracking for head-mounted display systems
US10542368B2 (en) Audio content modification for playback audio
JP6764490B2 (ja) 媒介現実
CN110809751B (zh) 用于实现介导现实虚拟内容消耗的方法、装置、系统、计算机程序
US10667073B1 (en) Audio navigation to a point of interest
US11647260B2 (en) Content event mapping
US20230122450A1 (en) Anchored messages for augmented reality
US20150016615A1 (en) Audio and location arrangements
US20220095123A1 (en) Connection assessment system
US20230396874A1 (en) Virtual indicator for capturing a sequence of images

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)