KR102502647B1 - 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들 - Google Patents

가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들 Download PDF

Info

Publication number
KR102502647B1
KR102502647B1 KR1020197018040A KR20197018040A KR102502647B1 KR 102502647 B1 KR102502647 B1 KR 102502647B1 KR 1020197018040 A KR1020197018040 A KR 1020197018040A KR 20197018040 A KR20197018040 A KR 20197018040A KR 102502647 B1 KR102502647 B1 KR 102502647B1
Authority
KR
South Korea
Prior art keywords
sound
environment
virtual
monitoring devices
location
Prior art date
Application number
KR1020197018040A
Other languages
English (en)
Other versions
KR20190091474A (ko
Inventor
조지 에이. 생어
브라이언 로이드 슈미트
아나스타샤 안드레예브나 타지크
테리 마이클 오'가라
데이비드 매튜 슘웨이
알렌 하워스
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020237005538A priority Critical patent/KR20230027330A/ko
Publication of KR20190091474A publication Critical patent/KR20190091474A/ko
Application granted granted Critical
Publication of KR102502647B1 publication Critical patent/KR102502647B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 가상 현실, 증강 현실, 및 혼합 현실 시스템들과 같은 애플리케이션들에서 사용될 수 있는, 오디오를 캡처하기 위한 시스템들 및 방법들에 관한 것이다. 일부 시스템들은 환경 내의 복수의 분산된 모니터링 디바이스들을 포함할 수 있고, 이들 각각은 마이크로폰 및 위치 추적 유닛을 갖는다. 시스템은, 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 나타내는 위치 추적 신호들을 또한 캡처하면서, 오디오 신호들을 캡처할 수 있다. 시스템은 오디오 신호들 및 위치 추적 신호들에 기반하여 환경 내의 사운드 웨이브 필드 중 적어도 일부의 표현을 생성할 수 있다. 시스템은 또한 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정할 수 있다.

Description

가상 현실(VR), 증강 현실(AR), 및 혼합 현실(MR) 시스템들을 위한 분산형 오디오 캡처링 기술들
[0001] 본 출원과 제출된 출원 데이터 시트에서 외국 또는 국내 우선권 청구가 식별되는 임의의 그리고 모든 출원들은 이로써 37 CFR 1.57 하에서 인용에 의해 이에 포함된다. 즉, 본 출원은 2016년 12월 5일에 출원되고 "DISTRIBUTED AUDIO CAPTURING TECHNIQUES FOR VIRTUAL REALITY (VR), AUGMENTED REALITY (AR), AND MIXED REALITY (MR) SYSTEMS"이란 명칭의 미국 가특허 출원 제62/430,268호를 우선권으로 주장하고, 이로써 상기 출원의 전체 내용은 인용에 의해 본원에 포함된다.
[0002] 본 개시내용은 가상 현실, 증강 현실, 및 혼합 현실 시스템들과 같은 애플리케이션들에서 사용될 수 있는 분산형 오디오를 캡처링 기술들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 가상 현실, 증강 현실, 및 혼합 현실 시스템들의 개발을 가능하게 하였다. 가상 현실 또는 "VR" 시스템들은 사용자가 경험하기 위한 시뮬레이팅된 환경을 생성한다. 이는 머리-장착 디스플레이를 통해 사용자에게 컴퓨터-생성 이미저리를 제시함으로써 행해질 수 있다. 이러한 이미저리는 사용자를 시뮬레이팅된 환경에 몰입시키는 감각적 경험을 생성한다. 가상 현실 시나리오는 전형적으로 실제 실세계 이미저리를 또한 포함하기보다는, 컴퓨터-생성 이미저리만의 프리젠테이션(presentation)을 수반한다.
[0004] 증강 현실 시스템들은 일반적으로 시뮬레이팅된 엘리먼트들로 실세계 환경을 보완한다. 예컨대, 증강 현실 또는 "AR" 시스템들은 머리-장착 디스플레이를 통해 주변 실세계 환경의 뷰(view)를 사용자에게 제공할 수 있다. 그러나 컴퓨터-생성 이미저리가 또한 실세계 환경을 향상시키기 위해 디스플레이 상에 제시될 수 있다. 이 컴퓨터-생성 이미저리는 실세계 환경과 맥락적으로 관련된 엘리먼트들을 포함할 수 있다. 이러한 엘리먼트들은 시뮬레이팅된 텍스트, 이미지들, 객체들 등을 포함할 수 있다. 혼합 현실 또는 "MR" 시스템들은 또한, 시뮬레이팅된 객체들을 실세계 환경에 도입하지만 이러한 객체들은 통상적으로 AR 시스템들에서보다 더 뛰어난 정도의 상호작용성(interactivity)을 특징으로 한다.
[0005] 도 1은 예시적인 AR/MR 장면(1)을 도시하며, 여기서 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(20)을 피처링(featuring)하는 실세계 공원 세팅(6)을 본다. 이들 아이템들 이외에, 컴퓨터-생성 이미저리가 또한 사용자에게 제시된다. 컴퓨터-생성 이미저리는, 예컨대, 실세계 플랫폼(20) 상에 서 있는 로봇 동상(10), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(2)를 포함할 수 있지만, 이들 엘리먼트들(2, 10)은 실세계 환경에 사실상 존재하지 않는다.
[0006] 가상 이미저리 엘리먼트들의 자연스러운 느낌의, 설득력 있는 프리젠테이션을 가능하게 하는 VR/AR/MR 기술을 생성하는 것은 난제일 수 있다. 그러나, 오디오는 VR/AR/MR 경험들에 더 몰입하게 하는 것을 도울 수 있다. 따라서, 이러한 타입들의 시스템들에 대한 개선된 오디오 기술들에 대한 필요성이 존재한다.
[0007] 일부 실시예들에서, 시스템은: 복수의 분산된 모니터링 디바이스들 ― 각각의 모니터링 디바이스는 적어도 하나의 마이크로폰 및 위치 추적 유닛을 포함하고, 모니터링 디바이스들은 사운드 소스로부터 복수의 오디오 신호들을 캡처하고, 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타내는 복수의 위치 추적 신호들을 캡처하도록 구성됨 ― ; 및 복수의 오디오 신호들 및 복수의 위치 추적 신호들을 수신하도록 구성된 프로세서를 포함하고, 프로세서는, 오디오 신호들 및 위치 추적 신호들에 기반하여 사운드 소스에 의해 생성된 사운드 웨이브 필드(sound wave field) 중 적어도 일부의 표현을 생성하도록 추가로 구성된다.
[0008] 일부 실시예들에서, 디바이스는: 방법을 수행하도록 구성된 프로세서; 및 오디오 신호들 및 위치 추적 신호들을 저장하는 메모리를 포함하고, 방법은: 복수의 분산된 모니터링 디바이스들로부터, 사운드 소스로부터 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 오디오 신호들 및 위치 추적 신호들에 기반하여 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0009] 일부 실시예들에서, 방법은: 복수의 분산된 모니터링 디바이스들로부터, 사운드 소스로부터 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 오디오 신호들 및 위치 추적 신호들에 기반하여 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0010] 일부 실시예들에서, 시스템은: 복수의 분산된 모니터링 디바이스들 ― 각각의 모니터링 디바이스는 적어도 하나의 마이크로폰 및 위치 추적 유닛을 포함하고, 모니터링 디바이스들은 환경에서 복수의 오디오 신호들을 캡처하고, 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타내는 복수의 위치 추적 신호들을 캡처하도록 구성됨 ― ; 및 복수의 오디오 신호들 및 복수의 위치 추적 신호들을 수신하도록 구성된 프로세서를 포함하고, 프로세서는 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정하도록 추가로 구성된다.
[0011] 일부 실시예들에서, 디바이스는: 방법을 수행하도록 구성된 프로세서; 및 오디오 신호들 및 위치 추적 신호들을 저장하기 위한 메모리를 포함하고, 방법은, 복수의 분산된 모니터링 디바이스들로부터, 환경에서 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정하는 단계를 포함한다.
[0012] 일부 실시예들에서, 방법은: 복수의 분산된 모니터링 디바이스들로부터, 환경에서 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 및 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정하는 단계를 포함한다.
[0013] 일부 실시예들에서, 시스템은: 복수의 상이한 관점들로부터 공간의 중앙 부분의 복수의 비디오들을 캡처하기 위해 공간의 주변 주위에 위치된 복수의 분산된 비디오 카메라들; 복수의 비디오들의 캡처 동안 복수의 오디오 신호들을 캡처하기 위해 공간의 주변 주위에 위치된 복수의 분산된 마이크로폰들; 및 복수의 비디오들, 복수의 오디오 신호들, 및 공간 내의 각각의 마이크로폰의 포지션에 관한 위치 정보를 수신하도록 구성된 프로세서를 포함하고, 프로세서는, 오디오 신호들 및 위치 정보에 기반하여 공간에 대한 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하도록 추가로 구성된다.
[0014] 일부 실시예들에서, 디바이스는: 방법을 수행하도록 구성된 프로세서; 및 오디오 신호들 및 위치 추적 신호들을 저장하기 위한 메모리를 포함하고, 방법은: 복수의 분산된 비디오 카메라들로부터, 복수의 관점들로부터 캡처된 장면의 복수의 비디오들을 수신하는 단계; 복수의 분산된 마이크로폰들로부터, 복수의 비디오들의 캡처 동안 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 마이크로폰들의 포지션들에 관한 위치 정보를 수신하는 단계; 및 오디오 신호들 및 위치 정보에 기반하여 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0015] 일부 실시예들에서, 방법은: 복수의 분산된 비디오 카메라들로부터, 복수의 관점들로부터 캡처된 장면의 복수의 비디오들을 수신하는 단계; 복수의 분산된 마이크로폰들로부터, 복수의 비디오들의 캡처 동안 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 마이크로폰들의 포지션들에 관한 위치 정보를 수신하는 단계; 및 오디오 신호들 및 위치 정보에 기반하여 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0016] 도 1은 예시적인 AR/MR 시스템을 사용하는 증강/혼합 현실 장면의 사용자의 뷰를 예시한다.
[0017] 도 2는 예시적인 VR/AR/MR 시스템을 도시한다.
[0018] 도 3은 사운드 웨이브 필드의 표현을 생성하기 위해 복수의 분산된 디바이스들을 사용하기 위한 시스템을 예시한다.
[0019] 도 4는, 사운드 웨이브 필드를 생성하기 위한, 도 3에 도시된 시스템의 동작 방법의 예시적인 실시예를 예시하는 흐름도이다.
[0020] 도 5는 이벤트에 대한 사운드 웨이브 필드의 표현을 생성하기 위해 복수의 사용자 디바이스들을 사용하기 위한 웹-기반 시스템을 예시한다.
[0021] 도 6은, 이벤트의 사운드 웨이브 필드를 생성하기 위한, 도 5에 도시된 웹-기반 시스템의 동작의 예시적인 실시예를 예시하는 흐름도이다.
[0022] 도 7은 환경의 음향 특성들을 결정하는데 사용될 수 있는 시스템의 예시적인 실시예를 예시한다.
[0023] 도 8은, 환경의 하나 이상의 음향 특성들을 결정하기 위해, 도 7에 도시된 시스템을 사용하기 위한 방법의 예시적인 실시예를 예시하는 흐름도이다.
[0024] 도 9는 볼류메트릭 비디오 캡처(volumetric video capture)를 수행하기 위한 예시적인 시스템을 예시한다.
[0025] 도 10은 볼류메트릭 비디오 캡처 동안 오디오를 캡처하기 위한 예시적인 시스템을 예시한다.
[0026] 도 11은, 볼류메트릭 비디오에 대한 오디오를 캡처하기 위해, 도 10에 도시된 시스템을 사용하기 위한 예시적인 방법을 도시하는 흐름도이다.
[0027] 도 2는 예시적인 가상/증강/혼합 현실 시스템(80)을 도시한다. 가상/증강/혼합 현실 시스템(80)은 디스플레이(62), 및 그 디스플레이(62)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(62)는, 사용자(60)에 의해 착용 가능하고 그리고 사용자(60)의 눈들의 전면에 디스플레이(62)를 포지셔닝하도록 구성된 프레임(64)에 커플링될 수 있다. 일부 실시예들에서, 스피커(66)는 프레임(64)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공함). 디스플레이(62)는, 이를테면, 유선 또는 무선 연결(68)에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(64)에 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 부착되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(60)에게 제거 가능하게 부착되는 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성 등으로) 로컬 데이터 프로세싱 모듈(70)에 동작 가능하게 커플링된다.
[0028] 로컬 프로세싱 및 데이터 모듈(70)은 프로세서뿐만 아니라, 디지털 메모리, 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이들 둘 모두는 데이터의 프로세싱 및 저장을 보조하기 위해 활용될 수 있다. 이는 시스템(80)의 부분으로서 제공된 로컬 센서들, 이를테면, 이미지 모니터링 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들로부터 캡처된 데이터를 포함한다. 로컬 센서들은 프레임(64)에 동작 가능하게 커플링되거나 그렇지 않다면 사용자(60)에 부착될 수 있다. 대안적으로 또는 부가적으로, 센서 데이터는 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 포착 및/또는 프로세싱될 수 있다(이는 가능하다면, 이러한 프로세싱 또는 리트리벌(retrieval) 후에 디스플레이(62) 및/또는 스피커(66)로의 전달을 위한 것임). 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(70)은 원격 센서들, 이를테면, 본원에서 논의되는 바와 같이, 도 3에 도시된 오디오/위치 모니터링 디바이스들(310) 내의 원격 센서들로부터 캡처된 데이터를 프로세싱 및/또는 저장한다. 로컬 프로세싱 및 데이터 모듈(70)은 통신 링크들(76, 78)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용 가능하다. 일부 실시예들에서, 원격 데이터 저장소(74)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있다.
VR, AR 및 MR 시스템들에서의 사운드 웨이브 필드 캡처 및 사용
[0029] 본 섹션은, 가상 현실(VR), 증강 현실(AR) 및 혼합 현실(MR) 시스템들과 같은 애플리케이션에서 사용될 수 있는 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하기 위해 다수의 분산된 디바이스들의 오디오 녹음들(audio recordings)을 사용하는 것에 관한 것이다.
[0030] 사운드들은 공기와 같은 매체의 압력 변동들로부터 기인한다. 이러한 압력 변동들은 사운드 소스에서의 진동들에 의해 생성된다. 이어서, 사운드 소스로부터의 진동은 종파들(longitudinal waves)로서 매체를 통해 전파된다. 이 웨이브들은 매체에서 압축(증가된 압력)과 희박(rarefaction)(감소된 압력)의 교번하는 영역들로 구성된다.
[0031] 공간 내 한 포인트에서의 사운드를 특징화하기 위해 다양한 수량들이 사용될 수 있다. 이들은, 예컨대, 압력 값들, 진동 진폭들, 주파수들 또는 다른 수량들을 포함할 수 있다. 사운드 웨이브 필드는 일반적으로 공간 내의 다양한 포인트들 및/또는 다양한 시점들에서 하나 이상의 이러한 사운드-정의 수량들의 수집으로 구성된다. 예컨대, 사운드 웨이브 필드는 다양한 시점들에서 공간 그리드(spatial grid) 상의 각각의 포인트에 존재하는 사운드의 측정 또는 다른 특징화로 구성될 수 있다. 전형적으로, 사운드 웨이브 필드의 공간 그리드는 규칙적으로 이격된 포인트들로 구성되며, 사운드의 측정들은 규칙적인 시간 인터벌로 취해진다. 그러나, 사운드 웨이브 필드의 공간적 및/또는 시간적 해상도는 애플리케이션에 의존하여 변동할 수 있다. 포인트 소스들의 세트에 의한 표현과 같은 사운드 웨이브 필드의 특정 모델들은 부동 소수점 좌표들에 의해 지정되고 미리 규정된 그리드에 결속되지 않은 임의의 위치들에서 평가될 수 있다.
[0032] 사운드 웨이브 필드는 사운드 소스에 상대적으로 가까운 근거리장 영역(near field region) 및 근거리장 영역을 넘어서는 원거리장 영역(far field region)을 포함할 수 있다. 사운드 웨이브 필드는, 장애물 없이 소스로부터 자유롭게 전파되는 사운드 웨이브들 및 영역 내의 객체들로부터 또는 영역의 경계들로부터 반사하는 웨이브들로 구성될 수 있다.
[0033] 도 3은 사운드 웨이브 필드(340)의 표현을 생성하기 위해 복수의 분산된 디바이스들(310)을 사용하기 위한 시스템(300)을 예시한다. 일부 실시예들에서, 시스템(300)은 본원에서 추가로 논의되는 바와 같이, VR/AR/MR 시스템(80)에 오디오를 제공하는 데 사용될 수 있다. 도 3에 도시된 바와 같이, 사운드 소스(302)는 사운드를 환경(304)에 투사한다. 사운드 소스(302)는, 예컨대, 연주자, 악기, 오디오 스피커, 또는 임의의 다른 사운드 소스를 나타낼 수 있다. 환경(304)은, 예컨대, 콘서트 홀, 원형 극장, 회의실 등을 포함하는 임의의 실내 또는 실외 공간일 수 있다. 단일 사운드 소스(302)만이 예시되지만, 환경(304)은 다수의 사운드 소스들을 포함할 수 있다. 그리고, 다수의 사운드 소스들은 임의의 방식으로 환경(304) 전체에 걸쳐 분산될 수 있다.
[0034] 시스템(300)은 복수의 분산된 오디오 및/또는 위치의 모니터링 디바이스들(310)을 포함한다. 이러한 디바이스들 각각은 물리적으로 구별될 수 있으며 독립적으로 동작할 수 있다. 모니터링 디바이스(310)는 이동식일 수 있고(예컨대 사람에 의해 운반됨), 환경(304) 전체에 걸쳐 분산된 방식으로 이격될 수 있다. 모니터링 디바이스들(310) 사이에 어떠한 고정된 상대적 공간적 관계도 존재할 필요는 없다. 실제로, 모니터링 디바이스들(310)이 독립적으로 이동식이기 때문에, 다양한 디바이스들(310) 간의 공간 관계는 시간에 걸쳐 변동할 수 있다. 5개의 모니터링 디바이스들(300)이 예시되지만, 임의의 수의 모니터링 디바이스들이 사용될 수 있다. 또한, 도 3이 2-차원 도면이고, 따라서 모니터링 디바이스들(300)을 2개의 치수들에서 분산되는 것으로 도시하지만, 그들은 또한 환경(304)의 모두 3개의 치수들 전체에 걸쳐 분산될 수 있다.
[0035] 각각의 모니터링 디바이스(310)는 적어도 하나의 마이크로폰(312)을 포함한다. 마이크로폰(312)은, 예컨대, 등방성(isotropic) 또는 방향성일 수 있다. 사용 가능한 마이크로폰 픽업 패턴들은, 예컨대, 카디오이드(cardioid), 하이퍼 카디오이드 및 슈퍼카디오이드를 포함할 수 있다. 마이크로폰(312)은, 하나 이상의 사운드 소스들(302)로부터의 사운드들을 전기 신호들로 변환함으로써 오디오 신호들을 캡처하기 위해 모니터링 디바이스들(310)에 의해 사용될 수 있다. 일부 실시예들에서, 모니터링 디바이스들(310) 각각은 단일 마이크로폰을 포함하고, 모노럴 오디오(monaural audio)를 녹음한다. 그러나, 다른 실시예들에서, 모니터링 디바이스들(310)은 다수의 마이크로폰들을 포함할 수 있으며, 예컨대, 스테레오 오디오를 캡처할 수 있다. 다수의 마이크로폰들(312)은 각각의 모니터링 디바이스(310)에서 사운드 웨이브들의 도달각(angle-of-arrival)을 결정하는 데 사용될 수 있다.
[0036] 예시되지 않지만, 모니터링 디바이스들(310) 각각은 또한 마이크로폰(312)에 의해 픽업된 오디오 신호를 로컬적으로 녹음하기 위한 프로세서 및 저장 디바이스를 포함할 수 있다. 대안적으로 및/또는 부가적으로, 각각의 모니터링 디바이스(310)는 캡처된 사운드가 디지털 방식으로 인코딩되어 하나 이상의 원격 시스템들 또는 디바이스들(예컨대, 프로세서(330))에 실시간으로 송신될 수 있게 하는 송신기(예컨대, 무선 송신기)를 포함할 수 있다. 원격 시스템 또는 디바이스에서의 수신 시에, 캡처된 사운드는, 사운드가 캡처된 공간의 음향 특성들의 저장된 모델을 업데이트하는 데 사용될 수 있거나, 캡처된 사운드는, 본원에 추가로 논의되는 바와 같이, VR/AR/MR 경험에서 캡처된 사운드의 현실적인 팩시밀리를 생성하는 데 사용될 수 있다.
[0037] 각각의 모니터링 디바이스(310)는 또한 위치 추적 유닛(314)을 포함한다. 위치 추적 유닛(314)은 환경(304) 내의 모니터링 디바이스(310)의 위치를 추적하는 데 사용될 수 있다. 각각의 위치 추적 유닛(314)은 (예컨대, 시스템(300)의 하나 이상의 다른 컴포넌트들에 대해) 절대적인 의미 또는 상대적인 의미로 자신의 대응하는 모니터링 디바이스(310)의 위치를 표현할 수 있다. 일부 실시예들에서, 각각의 위치 추적 유닛(314)은, 시간의 함수로써 모니터링 디바이스(310)의 위치를 나타낼 수 있는 위치 추적 신호를 생성한다. 예컨대, 위치 추적 신호는 규칙적인 시간 인터벌들로 모니터링 디바이스(310)가 위치된 곳을 나타내는 일련의 공간 좌표들을 포함할 수 있다.
[0038] 일부 실시예들에서, 위치 추적 유닛들(314)은 위치를 직접적으로 측정한다. 이러한 위치 추적 유닛(314)의 일 예는 GPS(Global Positioning System)이다. 다른 실시예들에서, 위치 추적 유닛들(314)은 위치를 간접적으로 측정한다. 예컨대, 이러한 타입들의 유닛들은 다른 측정들 또는 신호들에 기반하여 위치를 추론할 수 있다. 이러한 타입의 위치 추적 유닛(314)의 예는, 위치 큐들(cues)을 제공하는 특징들을 추출하기 위해 카메라로부터의 이미저리를 분석하는 것이다. 모니터링 디바이스들(310)은 또한 오디오 이미터들(예컨대, 스피커들) 또는 라디오 이미터들을 포함할 수 있다. 오디오 또는 라디오 신호들은 모니터링 디바이스들 사이에서 교환될 수 있고, 다변측량(multilateration) 및/또는 삼각측량(triangulation)은 모니터링 디바이스들(310)의 상대적 위치들을 결정하는 데 사용될 수 있다.
[0039] 위치 추적 유닛들(314)은 또한, 예컨대, 자이로스코프들, 가속도계들 및/또는 다른 센서들을 사용하여 모니터링 디바이스들(310)의 위치뿐만 아니라 이들의 공간적 배향들을 측정하고 추적할 수 있다. 일부 실시예들에서, 위치 추적 유닛들(314)은 모니터링 디바이스(310)의 위치 및/또는 배향을 결정하기 위해 다수의 타입들의 센서들로부터의 데이터를 결합할 수 있다.
[0040] 모니터링 디바이스들(310)은, 예컨대, 스마트 폰들, 태블릿 컴퓨터들, 랩톱 컴퓨터들 등(도 5에 도시됨)일 수 있다. 이러한 디바이스들이 유비쿼터스(ubiquitous)이며, 종종 마이크로폰들, GPS 유닛들, 카메라들, 자이로스코프들, 가속도계들 및 내장된 다른 센서들을 갖기 때문에, 이러한 디바이스들이 유리하다. 모니터링 디바이스들(310)은 또한 VR/AR/MR 시스템들(80)과 같은 웨어러블 디바이스들일 수 있다.
[0041] 도 3에 도시된 시스템(300)은 또한 프로세서(330)를 포함한다. 프로세서(330)는 복수의 분산된 모니터링 디바이스들(310)과 통신 가능하게 커플링될 수 있다. 이것은, 개개의 모니터링 디바이스들(310)과 프로세서(330) 사이의 통신 링크들을 나타내는, 모니터링 디바이스들(310)로부터 프로세서(330)로의 화살표들로 예시된다. 통신 링크들은 임의의 통신 표준 또는 인터페이스에 따라 유선 또는 무선일 수 있다. 개개의 모니터링 디바이스들(310)과 프로세서(330) 간의 통신 링크들은 오디오 및 위치 추적 신호들을 프로세서(330)에 다운로드하는 데 사용될 수 있다. 일부 실시예들에서, 프로세서(330)는 도 1에 도시된 VR/AR/MR 시스템(80)의 부분일 수 있다. 예컨대, 프로세서(330)는 로컬 프로세싱 모듈(70) 또는 원격 프로세싱 모듈(72)일 수 있다.
[0042] 프로세서(330)는, 모니터링 디바이스들(310)로부터 개개의 캡처된 오디오 신호들 및 위치 추적 신호들을 수신하는 데 사용될 수 있는 인터페이스를 포함한다. 오디오 신호들 및 위치 추적 신호들은, 자신들이 캡처될 때, 실시간으로 프로세서(330)에 업로드될 수 있거나, 그들은 일부 시간 인터벌에 대한 또는 일부 이벤트들 등에 대한 캡처의 완료 후에 모니터링 디바이스들(310)에 의해 로컬적으로 저장되고 업로드될 수 있다. 프로세서(330)는 범용 또는 특수 컴퓨터일 수 있고, 복수의 분산된 오디오 모니터링 디바이스들(310)로부터의 오디오 신호들 및 위치 추적 신호들을 프로세싱 및 저장하기 위한 휘발성 및/또는 비-휘발성 메모리/저장소를 포함할 수 있다. 시스템(300)의 동작은 이제 도 4와 관련하여 논의될 것이다.
[0043] 도 4는 도 3에 도시된 시스템(300)의 동작 방법(400)의 예시적인 실시예를 예시하는 흐름도이다. 동시에 수행되는 블록들(410a 및 410b)에서, 모니터링 디바이스들(310)은, 그들의 개개의 위치들을 또한 추적하면서, 환경(304) 전체에 걸쳐 다수의 분산된 위치들에서 사운드 소스(302)로부터 오디오 신호들을 캡처한다. 각각의 오디오 신호는 전형적으로 상이한 시점들에서 취해진 복수의 사운드 측정들로 구성된 디지털 신호일 수 있지만, 아날로그 오디오 신호들이 또한 사용될 수 있다. 각각의 위치 추적 신호는 또한 전형적으로 상이한 시점들에서 취해진 복수의 위치 측정들을 포함하는 디지털 신호일 수 있다. 모니터링 디바이스들(310)로부터의 결과적인 오디오 신호들 및 위치 추적 신호들 둘 모두는, 오디오 녹음의 각각의 인터벌이 환경(304) 내의 특정 위치와 연관될 수 있도록, 적절하게 타임 스탬핑될 수 있다. 일부 실시예들에서, 사운드 샘플들 및 위치 샘플들은 규칙적인 시간 인터벌들로 동기적으로 취해지지만, 이것이 필수적인 것은 아니다.
[0044] 블록(420)에서, 프로세서(330)는 분산된 모니터링 디바이스들(310)로부터 오디오 신호들 및 추적 신호들을 수신한다. 신호들은 커맨드에 따라 또는 특정 시간들 또는 간격들로 자동으로 모니터링 디바이스들(310)로부터 업로드될 수 있다. 오디오 및 위치 추적 신호들의 타임스탬프 데이터에 기반하여, 프로세서(330)는 복수의 모니터링 디바이스들(310)로부터 수신된 다양한 오디오 및 위치 추적 신호들을 동기화할 수 있다.
[0045] 블록(430)에서, 프로세서(330)는 환경(304) 내의 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하기 위해 오디오 신호들 및 추적 신호들을 분석한다. 일부 실시예들에서, 환경(304)은 공간 포인트들의 그리드로 분할되고, 사운드 웨이브 필드는 특정 시점에서 또는 일정 시간 기간에 걸쳐 그 공간 포인트에서 사운드를 특징화하는, 공간 포인트 당 하나 이상의 값들(예컨대, 사운드 측정들)을 포함한다. 따라서, 그리드 상의 각각의 공간 포인트에 대한 데이터는 시간에 걸쳐 그 공간 포인트에서 사운드를 특징화하는 시계열의 값들을 포함할 수 있다. (사운드 웨이브 필드의 공간 및 시간 해상도는 애플리케이션, 모니터링 디바이스들(310)의 수, 위치 추적 신호들의 시간 해상도 등에 의존하여 변동할 수 있다.)
[0046] 일반적으로, 분산된 모니터링 디바이스들(310)은 환경(304) 내의 포인트들의 그리드 상의 위치들의 서브세트에서 사운드 웨이브 필드의 실제 측정들만을 수행한다. 게다가, 모니터링 디바이스들(310)이 이동식이기 때문에, 시간의 각각의 순간에서의 실제 사운드 측정들로 표현된 공간 포인트들의 특정 서브세트가 변동할 수 있다. 따라서, 프로세서(330)는, 손실된 정보를 근사화하도록 나머지 공간 포인트들 및 시간들에 대한 사운드 웨이브 필드를 추정하기 위해 다양한 기술들을 사용할 수 있다. 예컨대, 사운드 웨이브 필드는 사운드의 포인트 소스들의 세트를 시뮬레이팅함으로써 대략 재생될 수 있고, 여기서 세트 내의 각각의 포인트 소스는 위치에서 모니터링 디바이스들 중 특정 모니터링 디바이스에 대응하고, 모니터링 디바이스들 중 특정 모니터링 디바이스에 의해 캡처된 오디오를 출력한다. 게다가, 모니터링 디바이스(310)에서 수신된 오디오 세그먼트들에 기반한 다변측량, 삼각측량 또는 다른 위치측정(localization) 방법들은 사운드 소스들의 좌표들을 결정하는 데 사용될 수 있고, 이어서 가상 콘텐츠에 포함되는 사운드 웨이브 필드의 표현은 결정된 좌표들(즉, 다중 포인트 소스 모델)로부터 발산되는 오디오 세그먼트들을 포함할 수 있다. 사운드 웨이브 필드가 매우 많은 수의 공간 포인트들을 포함할 수 있지만, 프로세서(330)가 전체 사운드 웨이브 필드를 반드시 계산할 필요는 없으며, 오히려 애플리케이션에 기반하여 필요에 따라 전체 사운드 웨이브 중 일부만을 계산할 수 있다는 것이 이해되어야 한다. 예컨대, 프로세서(330)는 관심있는 특정 공간 포인트에 대한 사운드 웨이브 필드만을 계산할 수 있다. 이 프로세스는, 관심있는 공간 포인트가 변할 때, 반복적으로 수행될 수 있다.
[0047] 프로세서(330)는 또한 환경(302) 내의 하나 이상의 사운드 소스들(304)의 위치(들) 및/또는 사운드 소스들(304)을 향한 방향(들)을 결정하기 위해 사운드 위치측정을 수행할 수 있다. 사운드 위치측정은, 다음과 같이, 환경(304)의 상이한 위치들에서 특정 식별된 사운드들의 개개의 도달 시간들의 비교; 환경(304)의 상이한 위치들에서 특정의 식별된 사운드들의 개개의 크기들의 비교; 환경(304)의 상이한 위치들에서 특정 식별된 사운드들의 특정 주파수 컴포넌트들의 크기들 및/또는 위상들의 비교(및 이들의 조합)를 포함하는 다수의 기술들에 따라 행해질 수 있다. 일부 실시예들에서, 프로세서(330)는 TDOA(Time Difference of Arrival)를 결정하기 위해 상이한 모니터링 디바이스들(310)에서 수신된 오디오 신호들 간의 교차 상관을 계산하고, 이어서 오디오 소스(들)의 위치를 결정하기 위해 다변측량을 사용할 수 있다. 삼각측량이 또한 사용될 수 있다. 프로세서(330)는 또한 격리된 사운드 소스로부터 오디오를 추출할 수 있다. 특정 오디오 소스로부터 각각의 모니터링 디바이스에 대한 TDOA에 대응하는 시간 오프셋은, 특정 소스를 증폭시키기 위해 오디오 트랙들을 합하기 전에 특정 소스로부터의 오디오 콘텐츠를 동기화하기 위해, 모니터링 디바이스들의 세트에 의해 캡처된 각각의 대응하는 오디오 트랙으로부터 제외될(subtract) 수 있다. 추출된 오디오는, 본원에서 논의된 바와 같이, VR/AR/MR 환경에서 사용될 수 있다.
[0048] 프로세서(330)는 또한 전체적으로 사운드 웨이브 필드에 대한 변환들을 수행할 수 있다. 예컨대, 저장된 소스 고도, 방위각 및 거리(θ, φ, r) 종속 HRTF(Head Related Transfer Function)들을 적용함으로써, 프로세서(330)는 가상 좌표계에서의 사운드 소스에 대한 임의의 포지션 및 배향에 대해 좌측 및 우측 스피커 채널들을 통한 출력을 위해 캡처된 오디오를 수정할 수 있다. 부가적으로, 프로세서(330)는 사운드 웨이브 필드에 회전 변환들을 적용할 수 있다. 게다가, 프로세서(330)가 환경 내의 특정 사운드 소스(302)로부터 오디오를 추출할 수 있기 때문에, 그 소스는 3 차원 오디오 프로세싱을 사용함으로써 모델링된 환경 내의 임의의 위치에 배치 및/또는 이동될 수 있다.
[0049] 일단 프로세서(330)가 사운드 웨이브 필드(340)의 표현을 계산하였다면, 이는 사운드 웨이브 필드 내의 임의의 원하는 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정하는 데 사용될 수 있다. 예컨대, 도 3은 가상 마이크로폰(320)을 예시한다. 가상 마이크로폰(320)은, 가상 마이크로폰(320)의 위치에서 사운드 웨이브 필드의 실제 측정들을 캡처하는 하드웨어 디바이스가 아니다. 대신에, 가상 마이크로폰(320)은 환경(304) 내의 임의의 위치에 배치될 수 있는 시뮬레이팅된 구조이다. 환경(304) 내의 사운드 웨이브 필드(340)의 표현을 사용하여, 프로세서(330)는, 가상 마이크로폰(320)의 포지션에 위치된 물리적 마이크로폰에 의해 검출되었을 오디오 신호의 추정인 시뮬레이팅된 오디오 신호를 결정할 수 있다. 이것은, 예컨대, 사운드 데이터가 이용 가능한 가상 마이크로폰의 위치에 가장 가까운 사운드 웨이브 필드의 그리드 포인트를 결정하고, 이어서 그 사운드 데이터와 가상 마이크로폰을 연관시킴으로써 수행될 수 있다. 다른 실시예들에서, 가상 마이크로폰(320)으로부터의 시뮬레이팅된 오디오 신호는, 예컨대, 가상 마이크로폰 부근의 다수의 그리드 포인트들로부터의 오디오 신호들 사이를 보간(interpolating)함으로써 결정될 수 있다. 가상 마이크로폰(320)은 (예컨대, 소프트웨어 제어 인터페이스를 사용하여) 환경(304) 주위에 언제든지 임의의 위치로 이동될 수 있다. 따라서, 가상 마이크로폰(320)의 현재 위치에 기반하여 사운드 데이터와 가상 마이크로폰(320)을 연관시키는 프로세스는, 가상 마이크로폰이 이동할 때 시간에 걸쳐 반복적으로 반복될 수 있다.
[0050] 방법(400)은 블록들(440-460)을 계속할 수 있다. 이들 블록들에서, 사운드 웨이브 필드(340)의 표현은 도 3에 도시된 바와 같이 VR/AR/MR 시스템(80)에 제공될 수 있다. 이미 논의된 바와 같이, VR/AR/MR 시스템(80)은 가상 환경 내의 시뮬레이팅된 경험 또는 실제 환경 내의 증강/혼합된 현실 경험을 제공하는 데 사용될 수 있다. 가상 현실 경험의 경우에, 실세계 환경(304)으로부터 수집된 사운드 웨이브 필드(340)는 시뮬레이팅된 가상 환경으로 전달되거나 맵핑될 수 있다. 증강 및/또는 혼합 현실 경험의 경우에, 사운드 웨이브 필드(340)는 하나의 실세계 환경(304)으로부터 다른 환경으로 전달되거나 맵핑될 수 있다.
[0051] 사용자에 의해 경험된 환경이 실제 환경이든지 또는 가상 환경이든지 간에, 도 4의 블록(440)에서, VR/AR/MR 시스템(80)은, 사용자가 환경 내에서 돌아다닐 때, 가상 또는 실제 환경 내의 사용자의 위치 및/또는 배향을 결정할 수 있다. 가상 또는 실제 환경 내의 사용자의 위치 및/또는 배향에 기반하여, VR/AR/MR 시스템(80)(또는 프로세서(330))은 사용자의 위치와 사운드 웨이브 필드(340)의 표현의 포인트를 연관시킬 수 있다.
[0052] 도 4의 블록(450)에서, VR/AR/MR 현실 시스템(80)(또는 프로세서(330))은 사운드 웨이브 필드 내의 사용자의 위치 및/또는 배향에 대응하는 시뮬레이팅된 오디오 신호를 생성할 수 있다. 예컨대, 본원에서 논의된 바와 같이, 하나 이상의 가상 마이크로폰들(320)은 사용자의 위치에 포지셔닝될 수 있고, 시스템(80)(또는 프로세서(330))은, 그 위치에 있는 실제 마이크로폰에 의해 검출되었을 오디오 신호를 시뮬레이팅하기 위해 사운드 웨이브 필드(340)의 표현을 사용할 수 있다.
[0053] 블록(460)에서, 가상 마이크로폰(320)으로부터 시뮬레이팅된 오디오 신호는, 예컨대, 사용자가 착용한 헤드폰들을 통해 VR/AR/MR 시스템(80)의 사용자에게 제공된다. 물론, VR/AR/MR 현실 시스템(80)의 사용자는 환경 내에서 돌아다닐 수 있다. 따라서, 블록들(440-460)은, 사운드 웨이브 필드 내의 사용자의 포지션 및/또는 배향이 변할 때, 반복적으로 반복될 수 있다. 이러한 방식으로, 시스템(300)은, 마치 사용자가 환경(304) 내의 임의의 포인트에 실제 존재하고 그를 통해 돌아다닐 수 있는 것처럼, VR/AR/MR 시스템(80)의 사용자에게 현실적인 오디오 경험을 제공하는 데 사용될 수 있다.
[0054] 도 5는 이벤트에 대한 사운드 웨이브 필드의 표현을 생성하기 위해 복수의 사용자 디바이스들(510)을 사용하기 위한 웹-기반 시스템(500)을 예시한다. 시스템(500)은 콘서트와 같은 이벤트에서 오디오를 캡처하기 위한 복수의 사용자 디바이스들(510)을 포함한다. 사용자 디바이스들(510)은, 예컨대, 이벤트의 참석자들에 속하는 스마트 폰들, 태블릿 컴퓨터들, 랩톱 컴퓨터들 등이다. 도 3과 관련하여 논의된 오디오/위치 모니터링 디바이스들(310)과 유사하게, 도 5의 사용자 디바이스들(510) 각각은 적어도 하나의 마이크로폰 및 위치 추적 유닛, 이를테면, GPS를 포함한다. 시스템은 또한, 인터넷을 통해 사용자 디바이스들(510)에 통신 가능하게 커플링되는 웹-기반 컴퓨터 서버(530)를 포함한다. 시스템(400)의 동작은 도 6과 관련하여 논의된다.
[0055] 도 6은, 이벤트의 사운드 웨이브 필드를 생성하기 위한, 도 5에 도시된 웹-기반 시스템의 동작 방법의 예시적인 실시예를 예시하는 흐름도이다. 블록(610)에서, 컴퓨터 서버(530)는 사용자에 의한 다운로드를 위한 모바일 디바이스 애플리케이션을 제공한다. 모바일 디바이스 애플리케이션은, 스마트폰 또는 다른 사용자 디바이스에 설치될 때, 사용자들이 이벤트들에 등록하고 이벤트 동안에 오디오 신호들 및 위치 추적 신호들을 캡처할 수 있게 하는 것이다. 도 6이 컴퓨터 서버(530)가 다운로드를 위한 모바일 디바이스 애플리케이션을 제안하는 것을 도시하지만, 제3 자 애플리케이션 스토어들과 같은 다른 서버들 상의 다운로드를 위한 애플리케이션이 또한 제공될 수 있다.
[0056] 블록(620)에서, 사용자들은 애플리케이션을 자신들의 디바이스들(510)에 다운로드하고, 이를 설치한다. 애플리케이션은 이벤트들의 리스트를 제공할 수 있고, 여기서 이벤트들의 리스트는 이벤트의 사운드 웨이브 필드를 생성하는 데 도움을 주기 위해 사용될 수 있다. 사용자들은, 자신들이 참석할 이벤트를 선택하고 이에 등록한다.
[0057] 블록(630)에서, 이벤트 동안, 애플리케이션은 사용자들이 자신들의 좌석들로부터 그리고/또는 자신들이 그 장소를 통해 돌아다닐 때 오디오를 캡처할 수 있게 한다. 애플리케이션은 또한, 예컨대, 디바이스의 내장 GPS를 사용하여 위치 추적 신호를 생성한다. 오디오 및 위치 추적 신호들의 캡처링을 포함하는, 디바이스(410)의 동작은 오디오/위치 모니터링 디바이스들(310)의 동작과 관련하여 본원에 설명된 바와 같을 수 있다.
[0058] 블록(640)에서, 사용자의 디바이스들은 자신들의 캡처된 오디오 신호들 및 위치 추적 신호들을 인터넷을 통해 컴퓨터 서버(530)에 업로드한다. 이어서, 컴퓨터 서버(530)는 이벤트에 대한 사운드 웨이브 필드의 표현을 생성하기 위해 오디오 신호들 및 위치 추적 신호들을 프로세싱한다. 이 프로세싱은 프로세서(330)의 동작과 관련하여 본원에 설명된 바와 같이 행해질 수 있다.
[0059] 마지막으로, 블록(660)에서, 컴퓨터 서버(530)는 (예컨대, 선택적으로 배치된 가상 마이크로폰으로부터의) 시뮬레이팅된 오디오 신호들을 다운로드를 위해 사용자들에게 제공한다. 가상 마이크로폰으로부터의 오디오 신호는 본원에서 논의된 기술들을 사용하여 이벤트에 대한 사운드 웨이브 필드로부터 생성될 수 있다. 사용자들은, 예컨대, 웹-기반 인터페이스를 통해 가상 마이크로폰의 포지션을 선택할 수 있다. 이런 방식으로, 이벤트 참석자들은, 그 장소 내의 상이한 위치들로부터 그리고 상이한 관점들로 이벤트로부터 오디오를 경험하기 위해 모바일 애플리케이션을 사용할 수 있다. 따라서, 애플리케이션은 콘서트 또는 다른 이벤트에서의 참석자들의 경험을 향상시킨다.
[0060] 컴퓨터 서버(530)가, 방금 논의된 바와 같이, 이벤트에 대한 사운드 웨이브 필드를 계산할 수 있지만, 다른 실시예들은 사용자들이 이벤트 장소의 다양한 위치들로부터 오디오를 경험할 수 있게 하기 위해 상이한 기술들을 사용할 수 있다. 예컨대, 이벤트에서 등록된 사용자들의 밀도에 의존하여, 가상 마이크로폰으로부터의 오디오 신호는 가상 마이크로폰의 위치에 가장 가까운 등록된 사용자에 의해 캡처된 오디오 신호에 간단히 대응할 수 있다. 가상 마이크로폰의 포지션이 변하거나, 이벤트 동안 등록된 사용자들의 움직임들로 인해 가장 가까운 등록된 사용자가 변동할 때, 가상 마이크로폰으로부터의 오디오는, 하나의 등록된 사용자에 의해 캡처된 오디오 신호로부터 다른 등록된 사용자에 의해 캡처된 오디오 신호로 크로스-페이딩(cross-fading)함으로써 합성될 수 있다.
VR, AR 및 MR 시스템들을 사용하는 환경 음향 정보의 결정
[0061] 이미 논의된 바와 같이, VR, AR 및 MR 시스템들은 가상 또는 실세계 환경에서 시뮬레이팅된 텍스트, 이미지들 및 객체들을 포함하는 가상 이미저리를 사용자(60)에게 제공하기 위해 디스플레이(62)를 사용한다. 가상 이미저리가 현실적이도록 하기 위해, 사운드 효과들 및 다른 오디오가 종종 동반된다. 환경의 음향 특성들이 알려지면, 이 오디오는 더 현실적인 것으로 될 수 있다. 예컨대, 환경에 존재하는 음향 반사체들의 위치 및 타입이 알려지면, 오디오 사운드를 더욱 설득력있는 현실로 만들기 위해 리버브(reverb) 또는 다른 효과들을 추가하기 위해 적절한 오디오 프로세싱이 수행될 수 있다.
[0062] 그러나, 특히 AR과 MR 시스템들의 경우에, 시뮬레이팅된 경험이 발생하는 실세계 환경의 음향 특성들을 결정하는 것이 어려울 수 있다. 음향 반사체들 및 흡수체들, 이를테면, 벽들, 바닥들, 천장들 및 객체들의 타입, 위치, 크기 등을 포함하는, 환경의 음향 특성들에 대한 지식 없이, 현실적인 오디오 환경을 제공하기에 적절한 오디오 프로세싱을 적용하는 것이 어려울 수 있다. 예컨대, 환경의 음향 특징들의 지식 없이, 그 환경에서 시뮬레이팅된 객체들의 음향 특징들이 진본인 것처럼 만들기 위해 공간화(spatialization)를 시뮬레이팅된 객체들에 현실적으로 추가하는 것이 어려울 수 있다. 따라서, 환경의 음향 특징들이 VR/AR/MR 시스템들에서 사용되는 음향 모델들 및 오디오 프로세싱에 사용될 수 있도록, 이러한 음향 특징들을 결정하기 위한 개선된 기술에 대한 필요성이 존재한다.
[0063] 도 7은 환경(704)의 음향 특성들을 결정하는 데 사용될 수 있는 시스템(700)의 예시적인 실시예를 예시한다. 도 7에 도시된 바와 같이, 4명의 사용자들(60a, 60b, 60c 및 60d)이 환경(704)에 존재한다. 환경(704)은, 예컨대, AR 또는 MR 경험을 호스팅하기 위해 사용되는 실세계 환경일 수 있다. 각각의 사용자(60)는 연관된 디바이스(80a, 80b, 80c 및 80d)를 갖는다. 일부 실시예들에서, 이들 디바이스들은, 개개의 사용자들(60)이 착용하고 있는 VR/AR/MR 시스템들(80)이다. 이들 시스템들(80) 각각은 마이크로폰(712) 및 위치 추적 유닛(714)을 포함할 수 있다. VR/AR/MR 시스템들(80)은 또한 카메라들, 자이로스코프들, 가속도계들 및 오디오 스피커들을 포함하는 다른 센서들을 포함할 수 있다.
[0064] 시스템(700)은 또한, VR/AR/MR 시스템들(80)에 통신 가능하게 커플링된 프로세서(730)를 포함한다. 일부 실시예들에서, 프로세서(730)는 VR/AR/MR 시스템들(80)과 별개의 디바이스인 반면에, 다른 실시예들에서, 프로세서(730)는 이들 시스템 중 하나의 시스템의 컴포넌트이다.
[0065] 각각의 VR/AR/MR 시스템(80)의 마이크로폰(712)은 환경(704) 내의 사운드 소스들의 오디오를 캡처하는 데 사용될 수 있다. 캡처된 사운드들은, 환경(704)의 음향 특성들에 의해 크게 영향을 받지 않는 알려진 소스 사운드들 및 소스 사운드들이 환경의 음향 특성들에 의해 영향을 받은 후의 소스 사운드들의 환경-변경 버전들 둘 모두를 포함할 수 있다. 이들 중에는 발화된 말 및 사용자들(60)에 의해 만들어진 다른 사운드들, 즉, VR/AR/MR 시스템들(80) 중 임의의 것에 의해 방출된 사운드 및 환경(704)에 존재할 수 있는 다른 사운드 소스들로부터의 사운드가 존재한다.
[0066] 한편, 위치 추적 유닛들(714)은, 이러한 오디오 녹음들이 행해지는 동안, 환경(704) 내의 각각의 사용자(60)의 위치를 결정하는 데 사용될 수 있다. 게다가, 말하는 동안 사용자들(60)의 배향 및/또는 사용자들이 사운드들을 방출하거나 캡처할 때 VR/AR/MR 시스템들(80)의 배향을 결정하기 위해, 자이로스코프들 및 가속도계들과 같은 센서들이 사용될 수 있다. 오디오 신호들 및 위치 추적 신호들은 분석을 위해 프로세서(730)에 전송될 수 있다. 시스템(700)의 동작은 이제 도 8에 관련하여 설명될 것이다.
[0067] 도 8은, 환경(704)의 하나 이상의 음향 특성들을 결정하기 위해, 도 7에 도시된 시스템(700)을 사용하기 위한 방법(800)의 예시적인 실시예를 예시하는 흐름도이다. 방법(800)은 동시에 수행되는 블록들(810a 및 810b)에서 시작한다. 이들 블록들에서, VR/AR/MR 시스템들(80)은, 그들 개개의 위치들 및/또는 배향들을 또한 추적하면서, 환경(704) 전체에 걸쳐 다수의 분산된 위치들에서 오디오 신호들을 캡처한다. 다시 한번, 각각의 오디오 신호는 전형적으로 상이한 시점들에서 취해진 복수의 사운드 측정들로 구성된 디지털 신호일 수 있지만, 아날로그 오디오 신호들이 또한 사용될 수 있다. 각각의 위치 추적 신호는 또한 전형적으로 상이한 시점들에서 취해진 복수의 위치 및/또는 배향 측정들을 포함하는 디지털 신호일 수 있다. VR/AR/MR 시스템들(80)로부터의 결과적인 오디오 신호들 및 위치 추적 신호들 둘 모두는, 오디오 녹음의 각각의 인터벌이 환경(704) 내의 특정 위치와 연관될 수 있도록, 적절하게 타임 스탬핑될 수 있다. 일부 실시예들에서, 사운드 샘플들 및 위치 샘플들은 규칙적인 시간 인터벌들로 동기적으로 취해지지만, 이것이 필수적인 것은 아니다.
[0068] 블록(830)과 관련하여 이후에 설명되는 프로세싱에 대해, 적어도 2개의 타입들의 사운드들: 1) 선험적으로 알려지거나 소스 사운드가 환경(704)의 음향에 의해 크게 영향을 받기 전에 캡처된 알려진 소스 사운드들; 및 2) 환경(704)의 음향에 의해 크게 영향을 받은 후에 캡처된 환경-변경 사운드들의 오디오 사본을 갖는 것이 유리할 수 있다.
[0069] 일부 실시예들에서, VR/AR/MR 시스템들(80) 중 하나 이상은 음향 임펄스 또는 하나 이상의 음향 톤들(예컨대, 인간의 청력의 대략 정상적인 범위인 약 20Hz 내지 약 20kHz의 범위 내의 톤들의 주파수 스위프(frequency sweep))과 같은, 오디오 스피커로부터 알려진 소스 사운드를 방출하는 데 사용될 수 있다. 시스템(80a)이 알려진 소스 사운드를 방출하는 데 사용되면, 나머지 시스템들(80b, 80c 및 80d)의 마이크로폰들은 대응하는 환경-변경 사운드들을 획득하는 데 사용될 수 있다. 음향 임펄스들 및 주파수 스위프들이 인간의 귀에 들리는 주파수들의 전체 범위를 포함하는 광범위한 주파수들에 대해 환경(704)의 음향 주파수 응답을 특징화하는 데 사용될 수 있기 때문에, 이들이 유리할 수 있다. 그러나, 인간 청력의 정상 범위를 벗어나는 사운드들이 또한 사용될 수 있다. 예컨대, 초음파 주파수들은 VR/AR/MR 시스템들(80)에 의해 방출되고, 환경(704)의 하나 이상의 음향 및/또는 공간 특성들을 특징화하는 데 사용될 수 있다.
[0070] VR/AR/MR 시스템들(80) 자체에 의해 방출된 알려진 소스 사운드들을 사용하는 것의 대안으로서, 발화된 말 또는 사용자들(60) 중 한 명 이상에 의해 만들어진 다른 사운드들의 캡처된 오디오는 또한 알려진 소스 사운드들로서 사용될 수 있다. 이것은 사용자의 발언들을 캡처하기 위해 사용자 자신의 마이크로폰을 사용하여 행해질 수 있다. 예컨대, 사용자(60a)에 대응하는 VR/AR/MR 시스템(80a)의 마이크로폰(712a)은 사용자의 말하기의 오디오를 캡처하는 데 사용될 수 있다. 사용자(60a)로부터의 사운드들이 환경(704) 내의 음향 반사체들 및/또는 흡수체들에 의해 크게 영향을 받기 전에 사용자 자신의 마이크로폰(712a)에 의해 캡처되기 때문에, 사용자 자신의 마이크로폰에 의한 이들 녹음들이 고려되고, 알려진 소스 사운드 녹음들로서 사용될 수 있다. 다른 사용자들(60b, 60c 및 60d) 개개의 마이크로폰들(712b, 712c 및 712d)을 사용하여 다른 사용자들에 대해 동일한 것이 행해질 수 있다. 물론, 사용자의 실제 발언들과 사용자의 마이크로폰에 의해 픽업된 오디오 신호 간의 차이들을 보상하기 위해 이러한 오디오 신호들에 대해 일부 프로세싱이 수행될 수 있다. (이러한 차이들은 사용자의 마이크로폰(712a)이 사용자의 입으로부터 방출되는 사운드 웨이브들의 경로 내에 직접적으로 위치되지 않는 것과 같은 효과들에 의해 발생될 수 있다.) 한편, 하나의 사용자로부터의 발언들은, 발언들의 환경-변경 버전들을 획득하기 위해 다른 사용자들의 마이크로폰들에 의해 캡처될 수 있다. 예컨대, 사용자(60a)의 발언들은 나머지 사용자들(60b, 60c, 및 60d)의 개개의 VR/AR/MR 시스템들(80b, 80c, 및 80d)에 의해 캡처될 수 있고, 이러한 녹음들은 환경-변경 사운드들로서 사용될 수 있다.
[0071] 이러한 방식으로, 사용자들(60)로부터의 발언들은, 본원에서 추가로 논의되는 바와 같이, 음향 주파수 응답 및 환경(704)의 다른 특징들을 결정하는 데 사용될 수 있다. 사용자로부터의 임의의 주어진 발언이 인간 청력의 전체 범위에 걸쳐 환경(704)의 주파수 응답을 완전히 특징화하기 위해 다양한 충분한 주파수 콘텐츠를 포함하지 않을 수 있지만, 새로운 주파수 콘텐츠를 갖는 발언들이 사용자들(60)에 의해 만들어질 때, 시스템(700)은 시간에 걸쳐 반복적으로 환경의 주파수 응답을 구축할 수 있다.
[0072] 환경(704)의 주파수 응답과 같은 음향 특징들을 결정하기 위해 사운드들을 사용하는 것에 부가하여, 사운드들은 또한 환경(704)의 공간 특징들에 관한 정보를 결정하는 데 사용될 수 있다. 이러한 공간 정보는, 예컨대, 환경 내의 특징들의 위치, 크기 및/또는 반사/흡수 특성들을 포함할 수 있다. 이는, VR/AR/MR 시스템들(80) 내의 위치 추적 유닛들(714)이 또한 발언할 때 사용자들(60)의 배향, 또는 사운드들을 방출하거나 캡처할 때 시스템들(80)의 배향을 측정할 수 있기 때문에, 달성될 수 있다. 이미 언급된 바와 같이, 이것은 웨어러블 VR/AR/MR 시스템들(80)에 내장된 자이로스코프들, 가속도계들 또는 다른 센서들을 사용하여 달성될 수 있다. 사용자들(60) 및 VR/AR/MR 시스템들(80)의 배향이 측정될 수 있기 때문에, 임의의 특정 알려진 소스 사운드 또는 환경-변경 사운드의 전파 방향이 결정될 수 있다. 이 정보는, 환경 내의 음향 반사체들 및 흡수체들의 크기들, 형상들, 위치들 및/또는 다른 특징들을 포함하는, 환경(704)에 관한 특징들을 결정하기 위해 소나 기술들을 사용하여 프로세싱될 수 있다.
[0073] 블록(820)에서, 프로세서(730)는 VR/AR/MR 시스템들(80)로부터 오디오 신호들 및 추적 신호들을 수신한다. 신호들은 커맨드에 따라 또는 특정 시간들에서 또는 인터벌들로 자동으로 업로드될 수 있다. 오디오 및 위치 추적 신호들 내의 타임스탬프 데이터에 기반하여, 프로세서(730)는 VR/AR/MR 시스템들(80)로부터 수신된 다양한 오디오 및 위치 추적 신호들을 동기화할 수 있다.
[0074] 블록(830)에서, 프로세서(730)는 환경(704)의 하나 이상의 음향 특성들을 결정하기 위해 오디오 신호들 및 추적 신호들을 분석한다. 이것은, 예컨대, 오디오 신호들로부터 하나 이상의 알려진 소스 사운드들을 식별함으로써 행해질 수 있다. 알려진 소스 사운드들은 환경(704) 내의 다양한 위치들로부터 다양한 시간들에서 그리고 다양한 방향들로 방출되었을 수 있다. 시간들은 오디오 신호들의 타임스탬프 데이터로부터 결정될 수 있는 반면, 위치들 및 방향들은 위치 추적 신호들로부터 결정될 수 있다.
[0075] 프로세서(730)는 또한 하나 이상의 환경-변경 사운드들을 식별하고, 이들과 각각의 알려진 소스 사운드를 연관시킬 수 있다. 이어서, 프로세서(730)는 각각의 알려진 소스 사운드와 그의 대응하는 환경-변경 사운드(들)를 비교할 수 있다. 주파수 콘텐츠, 위상, 도달 시간 등의 차이들을 분석함으로써, 프로세서(730)는 알려진 소스 사운드들에 대한 환경의 효과에 기반하여 환경(730)의 하나 이상의 음향 특성들을 결정할 수 있다. 프로세서(730)는 또한 환경(704) 내의 객체들 또는 표면들의 위치들, 크기들, 형상들 및 특징들에 관한 공간 정보를 결정하기 위해 소나 프로세싱 기술들을 사용할 수 있다.
[0076] 블록(840)에서, 프로세서(730)는 환경(704)의 결정된 음향 특성들을 VR/AR/MR 시스템(80)에 다시 송신할 수 있다. 이러한 음향 특성들은 환경의 음향 반사/흡수 특성들, 공간 내의 물체들의 크기들, 위치들 및 형상들 등을 포함할 수 있다. 다수의 모니터링 디바이스들이 존재하기 때문에, 이러한 디바이스들 중 특정 디바이스는 각각의 사운드 소스에 더 가까울 것이고, 따라서 오리지널 소스의 더 순수한 녹음을 획득할 가능성이 높을 것이다. 상이한 위치들에서의 다른 모니터링 디바이스들은 다양한 정도들의 잔향이 추가된 사운드를 캡처할 것이다. 이러한 신호들을 비교함으로써, 환경의 잔향 특성들(예컨대, 주파수 종속 잔향 소멸 시간)의 특징이 평가되고, 더 현실적인 가상 사운드 소스들을 생성하는 데 장래에 사용하기 위해 저장될 수 있다. 모니터링 디바이스들의 다수의 포지션들에 대해 주파수 종속 잔향 시간이 저장될 수 있고, 다른 포지션들에 대한 값들을 획득하기 위해 보간이 사용될 수 있다.
[0077] 이어서, 블록(850)에서, VR/AR/MR 시스템들(80)은 VR/AR/MR 경험들 동안 사용자들(60)에게 재생되는 오디오 신호들을 향상시키기 위해 환경(704)의 음향 특성들을 사용할 수 있다. 음향 특성들은, 사용자(60)에게 디스플레이되는 가상 객체들을 동반하는 음향 효과들을 향상시키는 데 사용될 수 있다. 예컨대, VR/AR/MR 시스템(80)의 사용자의 포지션에 대응하는 주파수 종속 잔향은 VR/AR/MR 시스템(80)을 통해 출력된 가상 사운드 소스들에 적용될 수 있다.
볼류메트릭 비디오들을 위한 오디오 캡처
[0078] 본원에 설명된 타입의 분산된 오디오/위치 모니터링 디바이스들은 또한 볼류메트릭 비디오들을 위한 오디오를 캡처하는 데 사용될 수 있다. 도 9는 볼류메트릭 비디오 캡처를 수행하기 위한 예시적인 시스템(900)을 예시한다. 시스템(900)은, 전형적으로 그린 스크린 룸인 환경(904)에 위치된다. 그린 스크린 룸은, 자신들의 컬러 콘텐츠에 기반하여 이미지들 또는 비디오들을 합성하기 위한 종래의 재생-후 비디오 프로세싱 기술인 크로마 키 합성(chroma key compositing)에 사용되는 타입의 그린 스크린들로 둘러싸인 중앙 공간(970)을 갖는 룸이다.
[0079] 시스템(900)은 그린 스크린 룸(904)의 둘레 주변에 상이한 관점들로 설정된 복수의 비디오 카메라들(980)을 포함한다. 비디오 카메라들(980) 각각은, 촬영될 장면이 연출되는 그린 스크린 룸(904)의 중앙부(970)를 겨냥한다. 장면이 연출될 때, 비디오 카메라들(980)은 장면 주위의 360° 범위에 걸쳐 별개의 수의 관점들로부터 장면을 촬영한다. 이들 카메라들(980)로부터의 비디오들은, 카메라들(980)에 의해 실제로 촬영된 것들 사이의 관점들을 포함하여, 환경(904) 내의 임의의 원하는 관점에 위치된 비디오 카메라에 의해 캡처되었을 비디오 이미저리를 시뮬레이팅하기 위해 프로세서(930)에 의해 나중에 수학적으로 결합될 수 있다.
[0080] 이러한 타입의 볼류메트릭 비디오는, VR/AR/MR 시스템들에서 효과적으로 사용될 수 있는데, 왜냐하면 이는 이러한 시스템들의 사용자들이 임의의 유리한 포인트로부터 촬영된 장면을 경험하도록 허용할 수 있기 때문이다. 마치 가상 공간의 피사체(subject)가 사용자 앞에 실제로 존재하는 것처럼, 사용자는 장면 주위의 가상 공간에서 움직이고, 이를 경험할 수 있다. 따라서, 볼류메트릭 비디오는 매우 몰입형 VR/AR/MR 경험을 제공할 가능성을 제공한다.
[0081] 그러나, 볼류메트릭 비디오에서의 하나의 어려움은, 이러한 타입의 촬영 프로세스 동안에 고품질 오디오를 효과적으로 캡처하는 것이 어려울 수 있다는 것이다. 이는, 붐 마이크로폰들 또는 배우들이 착용하는 소형 마이크로폰들(lavalier microphones)을 사용할 수 있는 전형적인 오디오 캡처 기술들이 실현될 수 없기 때문이고, 그 이유는, 장면이 많은 상이한 관점들에서 촬영된 경우, 카메라들(1080)로부터 이러한 마이크로폰들을 효과적으로 은닉하는 것이 가능하지 않을 수 있기 때문이다. 따라서, 볼류메트릭 비디오의 촬영 동안에 오디오를 캡처하기 위한 개선된 기술들에 대한 필요성이 존재한다.
[0082] 도 10은 볼류메트릭 비디오 캡처 동안에 오디오를 캡처하기 위한 예시적인 시스템(1000)을 예시한다. 도 9에서와 같이, 시스템(1000)은, 전형적으로 그린 스크린 룸일 수 있는 환경(1004)에 위치된다. 시스템(1000)은 또한, 그린 스크린 룸(1004) 주위의 상이한 관점들에 위치되고 장면이 연출될 룸의 중앙 부분(1070)을 겨냥하는 다수의 비디오 카메라들(1080)을 포함한다.
[0083] 시스템(1000)은 또한, 마찬가지로 룸(1004) 둘레 주변에 분산된 다수의 분산된 마이크로폰들(1012)을 포함한다. 마이크로폰들(1012)은 (예시된 바와 같이) 비디오 카메라들(1080) 사이에 위치될 수 있거나, 그들은 비디오 카메라들과 콜로케이팅될 수 있거나, 그들은 임의의 다른 원하는 구성을 가질 수 있다. 도 10은, 마이크로폰들(1012)이 룸(1004)의 중앙부(1070)의 전체 360° 커버리지를 제공하도록 설정되는 것을 도시한다. 예컨대, 마이크로폰들(1012)은 룸(1004)의 둘레 주변에 적어도 45°마다, 또는 적어도 30°마다, 또는 적어도 10°마다, 또는 적어도 5°마다 배치될 수 있다. 도 10의 2-차원 도면에 예시되지 않았지만, 마이크로폰들(1012)은 또한 3-차원 커버리지를 제공하도록 설정될 수 있다. 예컨대, 마이크로폰들(1012)은, 장면이 연출되는 공간을 둘러싸는 가상의 반구 주위의 몇몇의 이산 위치들에 배치될 수 있다. 시스템(1000)의 동작은 이제 도 11에 관련하여 설명될 것이다.
[0084] 도 11은, 볼류메트릭 비디오에 대한 오디오를 캡처하기 위해, 도 10에 도시된 시스템(1000)을 사용하기 위한 예시적인 방법(1100)을 도시하는 흐름도이다. 블록(1110a)에서, 그린 스크린 룸(1004)에서 장면이 연출되고, 볼류메트릭 비디오는 다수의 상이한 관점들로부터 카메라들(1080)에 의해 캡처된다. 동시에, 마이크로폰들(1012)은 마찬가지로 다양한 유리한 포인트들로부터 장면의 오디오를 캡처한다. 블록(1120)에 도시된 바와 같이, 이들 마이크로폰들(1012) 각각으로부터 녹음된 오디오 신호들은 비디오 카메라들(1080) 각각으로부터의 비디오 신호들과 함께 프로세서(1030)에 제공될 수 있다.
[0085] 개개의 마이크로폰들(1012)로부터의 오디오 신호들 각각은, 그린 스크린 룸(1004) 내의 마이크로폰(1012)의 포지션을 나타내는 위치 정보로 태깅될 수 있다. 블록(1110b)에서, 이 포지션 정보는 본원에 설명된 종류의 위치 추적 유닛들을 사용하여 수동으로 또는 자동으로 결정될 수 있다. 예컨대, 각각의 마이크로폰(1012)은, 룸(1004) 내의 마이크로폰(1012)의 포지션에 관한 데이터를 프로세서(1030)에 제공할 수 있는 위치 추적 유닛과 함께 모니터링 디바이스에 제공될 수 있다.
[0086] 블록(1130)에서, 프로세서는 볼류메트릭 비디오를 생성하는 데 필요한 프로세싱을 수행한다. 따라서, 프로세서는, 장면이 임의의 지정된 관점에 위치된 카메라에 의해 촬영되었을 때, 그러한 장면을 추정하는 시뮬레이팅된 비디오를 생성할 수 있다. 블록(1140)에서, 프로세서는, 본원의 다른 곳에서 설명된 바와 같이, 환경(1104) 내의 사운드 웨이브 필드의 표현을 생성하기 위해 마이크로폰들(1012)로부터의 오디오 신호들을 분석한다. 사운드 웨이브 필드를 사용하여, 프로세서는, 임의의 오디오 신호가 환경(1104) 내의 임의의 원하는 포인트에 위치된 마이크로폰에 의해 캡처되었을 때, 그러한 임의의 오디오 신호를 추정할 수 있다. 이 능력은, 볼류메트릭 비디오가 이미 촬영된 후에, 볼류메트릭 비디오에 대한 마이크로폰 배치를 효과적으로 그리고 가상으로 지정하기 위한 유연성을 허용할 수 있다.
[0087] 일부 실시예들에서, 사운드 웨이브 필드는 VR/AR/MR 환경에 맵핑될 수 있고, VR/AR/MR 시스템(80)에 오디오를 제공하는 데 사용될 수 있다. 볼류메트릭 비디오의 관점이 가상 환경 내의 사용자의 현재 관점에 기반하여 변경될 수 있는 것과 같이, 오디오도 마찬가지일 수 있다. 일부 실시예들에서, 오디오 청취 포인트는, 사용자가 가상 공간 내에서 돌아다닐 때 비디오 관점과 관련하여 이동될 수 있다. 이러한 방식으로, 사용자는 장면의 매우 현실적인 재생을 경험할 수 있다.
예시적인 실시예들
[0088] 시스템은: 복수의 분산된 모니터링 디바이스들 ― 각각의 모니터링 디바이스는 적어도 하나의 마이크로폰 및 위치 추적 유닛을 포함하고, 모니터링 디바이스들은 사운드 소스로부터 복수의 오디오 신호들을 캡처하고, 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타내는 복수의 위치 추적 신호들을 캡처하도록 구성됨 ― ; 및 복수의 오디오 신호들 및 복수의 위치 추적 신호들을 수신하도록 구성된 프로세서를 포함하고, 프로세서는, 오디오 신호들 및 위치 추적 신호들에 기반하여 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하도록 추가로 구성된다.
[0089] 이전 실시예의 시스템에 있어서, 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계가 존재한다.
[0090] 이전 실시예들 중 임의의 것의 시스템에 있어서, 복수의 분산된 모니터링 디바이스들은 이동식이다.
[0091] 이전 실시예들 중 임의의 것의 시스템에 있어서, 위치 추적 유닛은 GPS(Global Positioning System)를 포함한다.
[0092] 이전 실시예들 중 임의의 것의 시스템에 있어서, 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함한다.
[0093] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 사운드 소스의 위치를 결정하도록 추가로 구성된다.
[0094] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 사운드 웨이브 필드를 가상, 증강 또는 혼합 현실 환경에 맵핑하도록 추가로 구성된다.
[0095] 이전 실시예들 중 임의의 것의 시스템에 있어서, 사운드 웨이브 필드의 표현을 사용하여, 프로세서는 사운드 웨이브 필드 내의 선택된 위치에서 가상 오디오 신호를 결정하도록 추가로 구성되고, 가상 오디오 신호는 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정한다.
[0096] 이전 실시예들 중 임의의 것의 시스템에 있어서, 위치는 가상 또는 증강 현실 환경 내의 가상, 증강 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택된다.
[0097] 디바이스는: 방법을 수행하도록 구성된 프로세서; 및 오디오 신호들 및 위치 추적 신호들을 저장하는 메모리를 포함하고, 방법은: 복수의 분산된 모니터링 디바이스들로부터, 사운드 소스로부터 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 오디오 신호들 및 위치 추적 신호들에 기반하여 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0098] 이전 실시예의 디바이스에 있어서, 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계가 존재한다.
[0099] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 복수의 분산된 모니터링 디바이스들은 이동식이다.
[0100] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함한다.
[0101] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 프로세서는 사운드 소스의 위치를 결정하도록 추가로 구성된다.
[0102] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 프로세서는 사운드 웨이브 필드를 가상, 증강 또는 혼합 현실 환경에 맵핑하도록 추가로 구성된다.
[0103] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 사운드 웨이브 필드의 표현을 사용하여, 프로세서는 사운드 웨이브 필드 내의 선택된 위치에서 가상 오디오 신호를 결정하도록 추가로 구성되고, 가상 오디오 신호는 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정한다.
[0104] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 위치는 가상 또는 증강 현실 환경 내의 가상, 증강 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택된다.
[0105] 방법은: 복수의 분산된 모니터링 디바이스들로부터, 사운드 소스로부터 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 오디오 신호들 및 위치 추적 신호들에 기반하여 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0106] 이전 실시예의 방법에 있어서, 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계가 존재한다.
[0107] 이전 실시예들 중 임의의 것의 방법에 있어서, 복수의 분산된 모니터링 디바이스들은 이동식이다.
[0108] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함한다.
[0109] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 소스의 위치를 결정하는 단계를 더 포함한다.
[0110] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 웨이브 필드를 가상, 증강 또는 혼합 현실 환경에 맵핑하는 단계를 더 포함한다.
[0111] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 웨이브 필드의 표현을 사용하여, 사운드 웨이브 필드 내의 선택된 위치에서의 가상 오디오 신호를 결정하는 단계를 더 포함하고, 가상 오디오 신호는 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정한다.
[0112] 이전 실시예들 중 임의의 것의 방법에 있어서, 위치는 가상 또는 증강 현실 환경 내의 가상, 증강 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택된다.
[0113] 시스템은: 복수의 분산된 모니터링 디바이스들 ― 각각의 모니터링 디바이스는 적어도 하나의 마이크로폰 및 위치 추적 유닛을 포함하고, 모니터링 디바이스들은 환경에서 복수의 오디오 신호들을 캡처하고, 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타내는 복수의 위치 추적 신호들을 캡처하도록 구성됨 ― ; 및 복수의 오디오 신호들 및 복수의 위치 추적 신호들을 수신하도록 구성된 프로세서를 포함하고, 프로세서는 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정하도록 추가로 구성된다.
[0114] 이전 실시예의 시스템에 있어서, 하나 이상의 음향 특성들은 환경의 음향 반사 또는 흡수 또는 환경의 음향 주파수 응답을 포함한다.
[0115] 이전 실시예들 중 임의의 것의 시스템에 있어서, 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계가 존재한다.
[0116] 이전 실시예들 중 임의의 것의 시스템에 있어서, 복수의 분산된 모니터링 디바이스들은 이동식이다.
[0117] 이전 실시예들 중 임의의 것의 시스템에 있어서, 위치 추적 유닛은 GPS(Global Positioning System)를 포함한다.
[0118] 이전 실시예들 중 임의의 것의 시스템에 있어서, 위치 추적 신호들은 또한 모니터링 디바이스들의 개개의 배향들에 관한 정보를 포함한다.
[0119] 이전 실시예들 중 임의의 것의 시스템에 있어서, 복수의 분산된 모니터링 디바이스들은 가상 현실, 증강 현실, 또는 혼합 현실 시스템들을 포함한다.
[0120] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 복수의 오디오 신호들 내에서 알려진 소스 사운드를 식별하도록 추가로 구성된다.
[0121] 이전 실시예들 중 임의의 것의 시스템에 있어서, 알려진 소스 사운드는 가상 현실, 증강 현실 또는 혼합 현실 시스템들 중 하나에 의해 재생되는 사운드를 포함한다.
[0122] 이전 실시예들 중 임의의 것의 시스템에 있어서, 알려진 소스 사운드는 음향 톤들의 음향 임펄스 또는 스위프를 포함한다.
[0123] 이전 실시예들 중 임의의 것의 시스템에 있어서, 알려진 소스 사운드는 사용자에 의해 착용된 가상 현실, 증강 현실 또는 혼합 현실 시스템에 의해 캡처된 사용자의 발언을 포함한다.
[0124] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 하나 이상의 환경-변화 사운드들을 식별하고, 이들과 알려진 소스 사운드를 연관시키도록 추가로 구성된다.
[0125] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 환경의 하나 이상의 음향 특성들을 복수의 가상 현실, 증강 현실 또는 혼합 현실 시스템들에 전송하도록 추가로 구성된다.
[0126] 이전 실시예들 중 임의의 것의 시스템에 있어서, 복수의 가상 현실, 증강 현실 또는 혼합 현실 시스템들은 가상 현실, 증강 현실 또는 혼합 현실 경험 동안 사용자에게 재생되는 오디오를 향상시키기 위해 하나 이상의 음향 특성들을 사용하도록 구성된다.
[0127] 디바이스는: 방법을 수행하도록 구성된 프로세서; 및 오디오 신호들 및 위치 추적 신호들을 저장하기 위한 메모리를 포함하고, 방법은, 복수의 분산된 모니터링 디바이스들로부터, 환경에서 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정하는 단계를 포함한다.
[0128] 이전 실시예의 디바이스에 있어서, 하나 이상의 음향 특성들은 환경의 음향 반사 또는 흡수 또는 환경의 음향 주파수 응답을 포함한다.
[0129] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 위치 추적 신호들은 또한 모니터링 디바이스들의 개개의 배향들에 관한 정보를 포함한다.
[0130] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 복수의 분산된 모니터링 디바이스들은 가상 현실, 증강 현실, 또는 혼합 현실 시스템들을 포함한다.
[0131] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 프로세서는 복수의 오디오 신호들 내에서 알려진 소스 사운드를 식별하도록 추가로 구성된다.
[0132] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 알려진 소스 사운드는 가상 현실, 증강 현실 또는 혼합 현실 시스템들 중 하나에 의해 재생되는 사운드를 포함한다.
[0133] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 알려진 소스 사운드는 음향 톤들의 음향 임펄스 또는 스위프를 포함한다.
[0134] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 알려진 소스 사운드는 사용자에 의해 착용된 가상 현실, 증강 현실 또는 혼합 현실 시스템에 의해 캡처된 사용자의 발언을 포함한다.
[0135] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 프로세서는 하나 이상의 환경-변화 사운드들을 식별하고, 이들과 알려진 소스 사운드를 연관시키도록 추가로 구성된다.
[0136] 이전 실시예들 중 임의의 것의 디바이스에 있어서, 프로세서는 환경의 하나 이상의 음향 특성들을 복수의 가상 현실, 증강 현실 또는 혼합 현실 시스템들에 전송하도록 추가로 구성된다.
[0137] 방법은: 복수의 분산된 모니터링 디바이스들로부터, 환경에서 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 복수의 위치 추적 신호들은 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 모니터링 디바이스들의 위치들을 각각 나타냄 ― ; 및 오디오 신호들 및 위치 추적 신호들에 기반하여 환경의 하나 이상의 음향 특성들을 결정하는 단계를 포함한다.
[0138] 이전 실시예의 방법에 있어서, 하나 이상의 음향 특성들은 환경의 음향 반사 또는 흡수 또는 환경의 음향 주파수 응답을 포함한다.
[0139] 이전 실시예들 중 임의의 것의 방법에 있어서, 위치 추적 신호들은 또한 모니터링 디바이스들의 개개의 배향들에 관한 정보를 포함한다.
[0140] 이전 실시예들 중 임의의 것의 방법에 있어서, 복수의 분산된 모니터링 디바이스들은 가상 현실, 증강 현실, 또는 혼합 현실 시스템들을 포함한다.
[0141] 이전 실시예들 중 임의의 것의 방법에 있어서, 복수의 오디오 신호들 내에서 알려진 소스 사운드를 식별하는 단계를 더 포함한다.
[0142] 이전 실시예들 중 임의의 것의 방법에 있어서, 알려진 소스 사운드는 가상 현실, 증강 현실 또는 혼합 현실 시스템들 중 하나에 의해 재생되는 사운드를 포함한다.
[0143] 이전 실시예들 중 임의의 것의 방법에 있어서, 알려진 소스 사운드는 음향 톤들의 음향 임펄스 또는 스위프를 포함한다.
[0144] 이전 실시예들 중 임의의 것의 방법에 있어서, 알려진 소스 사운드는 사용자에 의해 착용된 가상 현실, 증강 현실 또는 혼합 현실 시스템에 의해 캡처된 사용자의 발언을 포함한다.
[0145] 이전 실시예들 중 임의의 것의 방법에 있어서, 하나 이상의 환경-변화 사운드들을 식별하고, 이들과 알려진 소스 사운드를 연관시키는 단계를 더 포함한다.
[0146] 이전 실시예들 중 임의의 것의 방법에 있어서, 환경의 하나 이상의 음향 특성들을 복수의 가상 현실, 증강 현실 또는 혼합 현실 시스템들에 전송하는 단계를 더 포함한다.
[0147] 시스템은: 복수의 상이한 관점들로부터 공간의 중앙 부분의 복수의 비디오들을 캡처하기 위해 공간의 주변 주위에 위치된 복수의 분산된 비디오 카메라들; 복수의 비디오들의 캡처 동안 복수의 오디오 신호들을 캡처하기 위해 공간의 주변 주위에 위치된 복수의 분산된 마이크로폰들; 및 복수의 비디오들, 복수의 오디오 신호들, 및 공간 내의 각각의 마이크로폰의 포지션에 관한 위치 정보를 수신하도록 구성된 프로세서를 포함하고, 프로세서는, 오디오 신호들 및 위치 정보에 기반하여 공간에 대한 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하도록 추가로 구성된다.
[0148] 이전 실시예의 시스템에 있어서, 복수의 마이크로폰들은 360°의 공간을 제공하기 위해 이격된다.
[0149] 이전 실시예들 중 임의의 것의 시스템에 있어서, 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함한다.
[0150] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 사운드 웨이브 필드를 가상, 증강 또는 혼합 현실 환경에 맵핑하도록 추가로 구성된다.
[0151] 이전 실시예들 중 임의의 것의 시스템에 있어서, 사운드 웨이브 필드의 표현을 사용하여, 프로세서는 사운드 웨이브 필드 내의 선택된 위치에서 가상 오디오 신호를 결정하도록 추가로 구성되고, 가상 오디오 신호는 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정한다.
[0152] 이전 실시예들 중 임의의 것의 시스템에 있어서, 위치는 가상 또는 증강 현실 환경 내의 가상, 증강 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택된다.
[0153] 디바이스는: 방법을 수행하도록 구성된 프로세서; 및 오디오 신호들 및 위치 추적 신호들을 저장하기 위한 메모리를 포함하고, 방법은: 복수의 분산된 비디오 카메라들로부터, 복수의 관점들로부터 캡처된 장면의 복수의 비디오들을 수신하는 단계; 복수의 분산된 마이크로폰들로부터, 복수의 비디오들의 캡처 동안 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 마이크로폰들의 포지션들에 관한 위치 정보를 수신하는 단계; 및 오디오 신호들 및 위치 정보에 기반하여 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0154] 이전 실시예의 시스템에 있어서, 복수의 마이크로폰들은 360°의 공간을 제공하기 위해 이격된다.
[0155] 이전 실시예들 중 임의의 것의 시스템에 있어서, 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함한다.
[0156] 이전 실시예들 중 임의의 것의 시스템에 있어서, 프로세서는 사운드 웨이브 필드를 가상, 증강 또는 혼합 현실 환경에 맵핑하도록 추가로 구성된다.
[0157] 이전 실시예들 중 임의의 것의 시스템에 있어서, 사운드 웨이브 필드의 표현을 사용하여, 프로세서는 사운드 웨이브 필드 내의 선택된 위치에서의 가상 오디오 신호를 결정하도록 추가로 구성되고, 가상 오디오 신호는 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정한다.
[0158] 이전 실시예들 중 임의의 것의 시스템에 있어서, 위치는 가상 또는 증강 현실 환경 내의 가상, 증강 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택된다.
[0159] 방법은: 복수의 분산된 비디오 카메라들로부터, 복수의 관점들로부터 캡처된 장면의 복수의 비디오들을 수신하는 단계; 복수의 분산된 마이크로폰들로부터, 복수의 비디오들의 캡처 동안 캡처된 복수의 오디오 신호들을 수신하는 단계; 복수의 마이크로폰들의 포지션들에 관한 위치 정보를 수신하는 단계; 및 오디오 신호들 및 위치 정보에 기반하여 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계를 포함한다.
[0160] 이전 실시예의 방법에 있어서, 복수의 마이크로폰들은 360°의 공간을 제공하기 위해 이격된다.
[0161] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함한다.
[0162] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 웨이브 필드를 가상, 증강 또는 혼합 현실 환경에 맵핑하는 단계를 더 포함한다.
[0163] 이전 실시예들 중 임의의 것의 방법에 있어서, 사운드 웨이브 필드의 표현을 사용하여, 사운드 웨이브 필드 내의 선택된 위치에서의 가상 오디오 신호를 결정하는 단계를 더 포함하고, 가상 오디오 신호는 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정한다.
[0164] 이전 실시예들 중 임의의 것의 방법에 있어서, 위치는 가상 또는 증강 현실 환경 내의 가상, 증강 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택된다.
결론
[0165] 본 개시내용을 요약할 목적들로, 본 발명의 특정 양상들, 이점들 및 특징들이 본원에 설명되었다. 본 발명의 임의의 특정 실시예에 따라 이러한 이점들 모두가 반드시 달성되지는 않을 수 있다는 것이 이해되어야 한다. 따라서, 본 발명은, 본원에 교시되거나 제안될 수 있는 다른 이점들을 반드시 달성하지는 않고서, 본원에 교시된 하나의 이점 또는 이점들의 그룹을 달성하거나 최대한 활용하는 방식으로 구현 또는 수행될 수 있다.
[0166] 실시예들은 첨부된 도면들과 관련하여 설명되었다. 그러나, 도면들이 반드시 실척대로 도시되지는 않는다는 것이 이해되어야 한다. 거리들, 각도들 등은 단지 예시적이며, 예시된 디바이스들의 실제 치수들 및 레이아웃에 대한 정확한 관계를 반드시 갖는 것은 아니다. 게다가, 전술한 실시예들은 당업자가 본원에 설명된 디바이스들, 시스템들, 방법들 등을 생산 및 사용할 수 있게 하기 위해 상세한 레벨로 설명되었다. 매우 다양한 변동이 가능하다. 컴포넌트들, 엘리먼트들 및/또는 단계들이 변경, 부가, 제거 또는 재배열될 수 있다.
[0167] 본원에 설명된 디바이스들 및 방법들은 유리하게도, 예컨대, 컴퓨터 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 및 펌웨어의 임의의 조합을 사용하여 적어도 부분적으로 구현될 수 있다. 소프트웨어 모듈들은, 본원에 설명된 기능들을 수행하기 위한, 컴퓨터의 메모리에 저장된 컴퓨터 실행 가능 코드를 포함할 수 있다. 일부 실시예들에서, 컴퓨터-실행 가능 코드는 하나 이상의 범용 컴퓨터들에 의해 실행된다. 그러나, 본 개시내용을 고려하여, 범용 컴퓨터 상에서 실행될 소프트웨어를 사용하여 구현될 수 있는 임의의 모듈이 또한 하드웨어, 소프트웨어, 또는 펌웨어의 상이한 조합을 사용하여 구현될 수 있다는 것을 당업자는 인지할 것이다. 예컨대, 이러한 모듈은 집적 회로들의 조합을 사용하여 하드웨어로 완전히 구현될 수 있다. 대안적으로 또는 부가적으로, 이러한 모듈은, 범용 컴퓨터들보다는, 본원에 설명된 특정 기능들을 수행하도록 설계된 특수 컴퓨터들을 사용하여 완전히 또는 부분적으로 구현될 수 있다. 게다가, 컴퓨터 소프트웨어에 의해 적어도 부분적으로 수행되거나 수행될 수 있는 방법들이 설명되는 경우, 이러한 방법들이, 컴퓨터 또는 다른 프로세싱 디바이스에 의해 판독될 때, 이로 하여금 방법을 수행하게 하는 비-일시적인 컴퓨터-판독 가능 매체들(예컨대, 광학 디스크들, 이를테면, CD들 또는 DVD들, 하드 디스크 드라이브들, 플래시 메모리들, 디스켓들 등) 상에 제공될 수 있다는 것이 이해되어야 한다.
[0168] 특정 실시예들이 명시적으로 설명되었지만, 본 개시내용에 기반하여 다른 실시예들이 당업자들에게 자명해질 것이다.

Claims (25)

  1. 복수의 분산된 모니터링 디바이스들 ― 각각의 모니터링 디바이스는 적어도 하나의 마이크로폰 및 위치 추적 유닛을 포함하고, 상기 모니터링 디바이스들은 사운드 소스로부터 복수의 오디오 신호들을 캡처하고, 상기 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 상기 모니터링 디바이스들의 위치들을 각각 나타내는 복수의 위치 추적 신호들을 캡처하도록 구성됨 ― ;
    웨어러블 가상, 증강, 또는 혼합 현실 시스템; 및
    상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 수신하고;
    상기 오디오 신호들 및 상기 위치 추적 신호들에 기반하여 상기 사운드 소스에 의해 생성된 사운드 웨이브 필드(sound wave field) 중 적어도 일부의 표현을 생성하고;
    상기 오디오 신호들 및 상기 위치 추적 신호들에 기반하여 상기 복수의 분산된 모니터링 디바이스들을 둘러싼 환경의 하나 이상의 음향 특성들을 결정하고;
    상기 사운드 웨이브 필드의 생성된 부분을 상기 웨어러블 가상, 증강, 또는 혼합 현실 시스템에 의해 사용자에게 제공되는 가상, 증강, 또는 혼합 현실 환경에 맵핑하고; 그리고
    상기 사운드 웨이브 필드의 생성된 부분 및 상기 환경의 하나 이상의 음향 특성들을 사용하여, 상기 사운드 웨이브 필드 내의 선택된 위치에서 가상 오디오 신호를 결정하도록 ― 상기 가상 오디오 신호는 상기 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정하고, 상기 위치는 상기 가상, 증강, 또는 혼합 현실 환경 내의 상기 웨어러블 가상, 증강, 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택됨 ―
    구성되는 프로세서를 포함하는,
    시스템.
  2. 제1 항에 있어서,
    상기 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계(unknown relative spatial relationship)가 존재하는,
    시스템.
  3. 제2 항에 있어서,
    상기 복수의 분산된 모니터링 디바이스들은 이동식인,
    시스템.
  4. 제1 항에 있어서,
    상기 위치 추적 유닛은 GPS(Global Positioning System)를 포함하는,
    시스템.
  5. 제1 항에 있어서,
    상기 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드(grid) 상의 복수의 공간 포인트들(spatial points) 각각에서의 사운드 값들을 포함하는,
    시스템.
  6. 제1 항에 있어서,
    상기 프로세서는 상기 사운드 소스의 위치를 결정하도록 추가로 구성되는,
    시스템.
  7. 제1 항에 있어서,
    상기 프로세서는 다운로드를 위한 모바일 디바이스 애플리케이션을 제공하고 ― 상기 모바일 디바이스 애플리케이션은 상기 복수의 분산된 모니터링 디바이스들에 설치될 때, 사용자들이 이벤트들에 등록하고 상기 이벤트 동안에 상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 캡처할 수 있게 하는 것임 ―; 상기 이벤트로부터의 업로드들로서 상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 수신하고; 그리고 다운로드를 위한 상기 가상 오디오 신호를 제공하도록 추가로 구성되는,
    시스템.
  8. 제1 항에 있어서,
    상기 프로세서는 상기 복수의 오디오 신호들 내의 알려진 소스 사운드를 식별하고 ― 상기 알려진 소스 사운드는 선험적으로 알려지거나 또는 상기 환경의 하나 이상의 음향 특성들에 의해 변경되기 이전에 캡처됨 ―; 환경-변경 사운드를 식별하고 상기 환경-변경 사운드와 상기 알려진 소스 사운드를 연관시키고; 그리고 상기 환경의 하나 이상의 음향 특성들을 결정하기 위해 상기 알려진 소스 사운드와 상기 환경-변경 사운드를 비교하도록 추가로 구성되는,
    시스템.
  9. 제8 항에 있어서,
    상기 프로세서는 상기 가상, 증강, 또는 혼합 현실 시스템에 의해 상기 사용자에게 디스플레이되는 가상 객체를 동반하는 하나 이상의 사운드 효과들을 향상시키기 위해 상기 환경의 상기 하나 이상의 음향 특성들을 사용하도록 추가로 구성되는,
    시스템.
  10. 방법을 수행하도록 구성된 프로세서; 및
    메모리를 포함하고,
    상기 방법은:
    복수의 분산된 모니터링 디바이스들로부터, 사운드 소스로부터 캡처된 복수의 오디오 신호들을 수신하는 단계;
    상기 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 상기 복수의 위치 추적 신호들은 상기 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 상기 모니터링 디바이스들의 위치들을 각각 나타냄 ―;
    상기 오디오 신호들 및 상기 위치 추적 신호들에 기반하여 상기 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계;
    상기 오디오 신호들 및 상기 위치 추적 신호들에 기반하여 상기 복수의 분산된 모니터링 디바이스들을 둘러싼 환경의 하나 이상의 음향 특성들을 결정하는 단계;
    상기 사운드 웨이브 필드의 생성된 부분을 웨어러블 가상, 증강, 또는 혼합 현실 시스템에 의해 사용자에게 제공되는 가상, 증강, 또는 혼합 현실 환경에 맵핑하는 단계; 및
    상기 사운드 웨이브 필드의 생성된 부분 및 상기 환경의 하나 이상의 음향 특성들을 사용하여, 상기 사용자에게 재생하기 위해 상기 사운드 웨이브 필드 내의 선택된 위치에서 가상 오디오 신호를 결정하는 단계 ― 상기 가상 오디오 신호는 상기 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정하고, 상기 위치는 상기 가상, 증강, 또는 혼합 현실 환경 내의 상기 웨어러블 가상, 증강, 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택됨 ―
    를 포함하고,
    상기 메모리는 상기 오디오 신호들 및 상기 위치 추적 신호들을 저장하는,
    디바이스.
  11. 제10 항에 있어서,
    상기 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계가 존재하는,
    디바이스.
  12. 제11 항에 있어서,
    상기 복수의 분산된 모니터링 디바이스들은 이동식인,
    디바이스.
  13. 제10 항에 있어서,
    상기 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함하는,
    디바이스.
  14. 제10 항에 있어서,
    상기 프로세서는 상기 사운드 소스의 위치를 결정하도록 추가로 구성되는,
    디바이스.
  15. 제10 항에 있어서,
    상기 프로세서는 다운로드를 위한 모바일 디바이스 애플리케이션을 제공하고 ― 상기 모바일 디바이스 애플리케이션은 상기 복수의 분산된 모니터링 디바이스들에 설치될 때, 사용자들이 이벤트들에 등록하고 상기 이벤트 동안에 상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 캡처할 수 있게 하는 것임 ―; 상기 이벤트로부터의 업로드들로서 상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 수신하고; 그리고 다운로드를 위한 상기 가상 오디오 신호를 제공하도록 추가로 구성되는,
    디바이스.
  16. 제10 항에 있어서,
    상기 프로세서는 상기 복수의 오디오 신호들 내의 알려진 소스 사운드를 식별하고 ― 상기 알려진 소스 사운드는 선험적으로 알려지거나 또는 상기 환경의 하나 이상의 음향 특성들에 의해 변경되기 이전에 캡처됨 ―; 환경-변경 사운드를 식별하고 상기 환경-변경 사운드와 상기 알려진 소스 사운드를 연관시키고; 그리고 상기 환경의 하나 이상의 음향 특성들을 결정하기 위해 상기 알려진 소스 사운드와 상기 환경-변경 사운드를 비교하도록 추가로 구성되는,
    디바이스.
  17. 제16 항에 있어서,
    상기 프로세서는 상기 가상, 증강, 또는 혼합 현실 시스템에 의해 상기 사용자에게 디스플레이되는 가상 객체를 동반하는 하나 이상의 사운드 효과들을 향상시키기 위해 상기 환경의 상기 하나 이상의 음향 특성들을 사용하도록 추가로 구성되는,
    디바이스.
  18. 복수의 분산된 모니터링 디바이스들로부터, 사운드 소스로부터 캡처된 복수의 오디오 신호들을 수신하는 단계;
    상기 복수의 모니터링 디바이스들로부터, 복수의 위치 추적 신호들을 수신하는 단계 ― 상기 복수의 위치 추적 신호들은 상기 복수의 오디오 신호들의 캡처 동안 시간에 걸쳐 상기 모니터링 디바이스들의 위치들을 각각 나타냄 ― ;
    상기 오디오 신호들 및 상기 위치 추적 신호들에 기반하여 상기 사운드 소스에 의해 생성된 사운드 웨이브 필드 중 적어도 일부의 표현을 생성하는 단계
    상기 오디오 신호들 및 상기 위치 추적 신호들에 기반하여 상기 복수의 분산된 모니터링 디바이스들을 둘러싼 환경의 하나 이상의 음향 특성들을 결정하는 단계;
    상기 사운드 웨이브 필드의 생성된 부분을 웨어러블 가상, 증강, 또는 혼합 현실 시스템에 의해 사용자에게 제공되는 가상, 증강, 또는 혼합 현실 환경에 맵핑하는 단계; 및
    상기 사운드 웨이브 필드의 생성된 부분 및 상기 환경의 하나 이상의 음향 특성들을 사용하여, 상기 사용자에게 재생하기 위해 상기 사운드 웨이브 필드 내의 선택된 위치에서 가상 오디오 신호를 결정하는 단계 ― 상기 가상 오디오 신호는 상기 선택된 위치에서 마이크로폰에 의해 검출되었을 오디오 신호를 추정하고, 상기 위치는 상기 가상, 증강, 또는 혼합 현실 환경 내의 상기 웨어러블 가상, 증강, 또는 혼합 현실 시스템의 사용자의 위치에 기반하여 선택됨 ―
    를 포함하는,
    방법.
  19. 제18 항에 있어서,
    상기 복수의 분산된 모니터링 디바이스들 간에 미지의 상대적인 공간 관계가 존재하는,
    방법.
  20. 제19 항에 있어서,
    상기 복수의 분산된 모니터링 디바이스들은 이동식인,
    방법.
  21. 제18 항에 있어서,
    상기 사운드 웨이브 필드의 표현은 복수의 시간들에 대해 그리드 상의 복수의 공간 포인트들 각각에서의 사운드 값들을 포함하는,
    방법.
  22. 제18 항에 있어서,
    상기 사운드 소스의 위치를 결정하는 단계를 더 포함하는,
    방법.
  23. 제18 항에 있어서,
    다운로드를 위한 모바일 디바이스 애플리케이션을 제공하는 단계 ― 상기 모바일 디바이스 애플리케이션은 상기 복수의 분산된 모니터링 디바이스들에 설치될 때, 사용자들이 이벤트들에 등록하고 상기 이벤트 동안에 상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 캡처할 수 있게 하는 것임 ―; 상기 이벤트로부터의 업로드들로서 상기 복수의 오디오 신호들 및 상기 복수의 위치 추적 신호들을 수신하는 단계; 및 다운로드를 위한 상기 가상 오디오 신호를 제공하는 단계를 더 포함하는,
    방법.
  24. 제18 항에 있어서,
    상기 복수의 오디오 신호들 내의 알려진 소스 사운드를 식별하는 단계 ― 상기 알려진 소스 사운드는 선험적으로 알려지거나 또는 상기 환경의 하나 이상의 음향 특성들에 의해 변경되기 이전에 캡처됨 ―; 환경-변경 사운드를 식별하고 상기 환경-변경 사운드와 상기 알려진 소스 사운드를 연관시키는 단계; 및 상기 환경의 하나 이상의 음향 특성들을 결정하기 위해 상기 알려진 소스 사운드와 상기 환경-변경 사운드를 비교하는 단계를 더 포함하는,
    방법.
  25. 제24 항에 있어서,
    상기 가상, 증강, 또는 혼합 현실 시스템에 의해 상기 사용자에게 디스플레이되는 가상 객체를 동반하는 하나 이상의 사운드 효과들을 향상시키기 위해 상기 환경의 상기 하나 이상의 음향 특성들을 사용하는 단계를 더 포함하는,
    방법.
KR1020197018040A 2016-12-05 2017-12-04 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들 KR102502647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237005538A KR20230027330A (ko) 2016-12-05 2017-12-04 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430268P 2016-12-05 2016-12-05
US62/430,268 2016-12-05
PCT/US2017/064540 WO2018106605A1 (en) 2016-12-05 2017-12-04 Distributed audio capturing techniques for virtual reality (vr), augmented reality (ar), and mixed reality (mr) systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237005538A Division KR20230027330A (ko) 2016-12-05 2017-12-04 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들

Publications (2)

Publication Number Publication Date
KR20190091474A KR20190091474A (ko) 2019-08-06
KR102502647B1 true KR102502647B1 (ko) 2023-02-21

Family

ID=62244248

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020237005538A KR20230027330A (ko) 2016-12-05 2017-12-04 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
KR1020197018040A KR102502647B1 (ko) 2016-12-05 2017-12-04 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020237005538A KR20230027330A (ko) 2016-12-05 2017-12-04 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들

Country Status (9)

Country Link
US (2) US10531220B2 (ko)
EP (1) EP3549030A4 (ko)
JP (2) JP7125397B2 (ko)
KR (2) KR20230027330A (ko)
CN (3) CN110249640B (ko)
AU (2) AU2017372721A1 (ko)
CA (1) CA3045512A1 (ko)
IL (2) IL282046B1 (ko)
WO (1) WO2018106605A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10531220B2 (en) * 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
JP7541922B2 (ja) 2018-02-15 2024-08-29 マジック リープ， インコーポレイテッド 複合現実仮想反響音
US10585641B2 (en) * 2018-04-30 2020-03-10 Qualcomm Incorporated Tagging a sound in a virtual environment
EP3797529A1 (en) * 2018-05-23 2021-03-31 Koninklijke KPN N.V. Adapting acoustic rendering to image-based object
CN109274575B (zh) * 2018-08-08 2020-07-24 阿里巴巴集团控股有限公司 消息发送方法及装置和电子设备
US20220021998A1 (en) * 2018-11-09 2022-01-20 Whoborn Inc. Method for generating sound and devices for performing same
US11221820B2 (en) * 2019-03-20 2022-01-11 Creative Technology Ltd System and method for processing audio between multiple audio spaces
GB2582952B (en) * 2019-04-10 2022-06-15 Sony Interactive Entertainment Inc Audio contribution identification system and method
US11399253B2 (en) 2019-06-06 2022-07-26 Insoundz Ltd. System and methods for vocal interaction preservation upon teleportation
US11082756B2 (en) 2019-06-25 2021-08-03 International Business Machines Corporation Crowdsource recording and sharing of media files
EP4049466A4 (en) * 2019-10-25 2022-12-28 Magic Leap, Inc. REVERBER FOOTPRINT ESTIMATION
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
CN117897971A (zh) * 2021-09-03 2024-04-16 索尼集团公司 信息处理装置、信息处理方法和程序
CN114286278B (zh) * 2021-12-27 2024-03-15 北京百度网讯科技有限公司 音频数据处理方法、装置、电子设备及存储介质
WO2024101683A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
CN115556115B (zh) * 2022-11-11 2024-07-23 创客天下(北京)科技发展有限公司 基于mr技术的协作机器人控制系统
CN116709162B (zh) * 2023-08-09 2023-11-21 腾讯科技（深圳）有限公司 音频处理方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012072798A1 (en) * 2010-12-03 2012-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sound acquisition via the extraction of geometrical information from direction of arrival estimates
WO2012177139A2 (en) * 2011-06-24 2012-12-27 Bright Minds Holding B.V. Method and device for processing sound data
US20150221334A1 (en) * 2013-11-05 2015-08-06 LiveStage°, Inc. Audio capture for multi point image capture systems

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
AUPR647501A0 (en) 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
NO319467B1 (no) * 2003-12-29 2005-08-15 Tandberg Telecom As System og fremgangsmate for forbedret subjektiv stereolyd
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8094838B2 (en) * 2007-01-15 2012-01-10 Eastman Kodak Company Voice command of audio emitting device
US20090262137A1 (en) * 2008-01-10 2009-10-22 Walker Jay S Systems and methods for presenting prediction in a broadcast
JP5018520B2 (ja) 2008-02-01 2012-09-05 富士通株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
US8243970B2 (en) 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
US9253560B2 (en) * 2008-09-16 2016-02-02 Personics Holdings, Llc Sound library and method
US8396577B2 (en) 2009-08-14 2013-03-12 Dts Llc System for creating audio objects for streaming
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP4036630A1 (en) 2010-12-24 2022-08-03 Magic Leap, Inc. Image display system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US9084068B2 (en) * 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
GB2493029B (en) * 2011-07-22 2013-10-23 Mikko Pekka Vainiala Method and apparatus for impulse response measurement and simulation
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
CN106484115B (zh) 2011-10-28 2019-04-19 奇跃公司 用于增强和虚拟现实的系统和方法
EP4036862A1 (en) 2011-11-23 2022-08-03 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US20150131824A1 (en) 2012-04-02 2015-05-14 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
US9851563B2 (en) 2012-04-05 2017-12-26 Magic Leap, Inc. Wide-field of view (FOV) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
JP5773960B2 (ja) * 2012-08-30 2015-09-02 日本電信電話株式会社 音響再生装置とその方法とプログラム
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
US20140100839A1 (en) 2012-09-13 2014-04-10 David Joseph Arendash Method for controlling properties of simulated environments
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
IL301489B2 (en) 2013-01-15 2024-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
WO2014111829A1 (en) * 2013-01-17 2014-07-24 Koninklijke Philips N.V. Binaural audio processing
CA2905427C (en) 2013-03-11 2022-07-12 Magic Leap, Inc. System and method for augmented and virtual reality
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9483228B2 (en) * 2013-08-26 2016-11-01 Dolby Laboratories Licensing Corporation Live engine
WO2015057994A1 (en) 2013-10-16 2015-04-23 Kaji Masamune Virtual or augmented reality headsets having adjustable interpupillary distance
GB2520305A (en) * 2013-11-15 2015-05-20 Nokia Corp Handling overlapping audio recordings
KR102651578B1 (ko) 2013-11-27 2024-03-25 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
JP6525436B2 (ja) 2014-01-31 2019-06-05 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多焦点表示システムおよび方法
JP6509883B2 (ja) 2014-01-31 2019-05-08 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多焦点表示システムおよび方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106165402A (zh) * 2014-04-22 2016-11-23 索尼公司 信息再现装置、信息再现方法、信息记录装置和信息记录方法
CN106537290B (zh) 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
JP2016092772A (ja) * 2014-11-11 2016-05-23 ソニー株式会社 信号処理装置及びその信号処理方法、並びにプログラム
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
FR3049084B1 (fr) * 2016-03-15 2022-11-11 Fraunhofer Ges Forschung Dispositif de codage pour le traitement d'un signal d'entree et dispositif de decodage pour le traitement d'un signal code
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
JP6410769B2 (ja) * 2016-07-28 2018-10-24 キヤノン株式会社 情報処理システム及びその制御方法、コンピュータプログラム
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012072798A1 (en) * 2010-12-03 2012-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sound acquisition via the extraction of geometrical information from direction of arrival estimates
WO2012177139A2 (en) * 2011-06-24 2012-12-27 Bright Minds Holding B.V. Method and device for processing sound data
US20150221334A1 (en) * 2013-11-05 2015-08-06 LiveStage°, Inc. Audio capture for multi point image capture systems

Also Published As

Publication number Publication date
IL266889B (en) 2021-04-29
US20180160251A1 (en) 2018-06-07
AU2022235566A1 (en) 2022-10-13
CN113556665B (zh) 2024-06-04
EP3549030A1 (en) 2019-10-09
JP7125397B2 (ja) 2022-08-24
EP3549030A4 (en) 2020-06-17
CN113556665A (zh) 2021-10-26
IL282046B1 (en) 2024-07-01
CN110249640B (zh) 2021-08-10
CN110249640A (zh) 2019-09-17
US20200112813A1 (en) 2020-04-09
CN118400680A (zh) 2024-07-26
KR20230027330A (ko) 2023-02-27
JP2022163173A (ja) 2022-10-25
CA3045512A1 (en) 2018-06-14
IL282046A (en) 2021-05-31
WO2018106605A1 (en) 2018-06-14
JP2020501428A (ja) 2020-01-16
US10531220B2 (en) 2020-01-07
US11528576B2 (en) 2022-12-13
AU2017372721A1 (en) 2019-06-13
KR20190091474A (ko) 2019-08-06
IL266889A (en) 2019-07-31

Similar Documents

Publication Publication Date Title
KR102502647B1 (ko) 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
US11521591B2 (en) Apparatus and method for processing volumetric audio
US20190313201A1 (en) Systems and methods for sound externalization over headphones
JP2020509492A5 (ko)
US10979806B1 (en) Audio system having audio and ranging components
CN112005556B (zh) 确定声源的位置的方法、声源定位系统以及存储介质
US11546703B2 (en) Methods for obtaining and reproducing a binaural recording
JP2017199017A (ja) 模擬地震被害の仮想現実体験システム、模擬地震被害の仮想現実体験方法
JP2017198867A (ja) 模擬地震被害の実現象データ生成システム、模擬地震被害の実現象データ生成方法
US11696085B2 (en) Apparatus, method and computer program for providing notifications
NZ795232A (en) Distributed audio capturing techniques for virtual reality (1vr), augmented reality (ar), and mixed reality (mr) systems
EP3713256A1 (en) Sound processing system of ambisonic format and sound processing method of ambisonic format
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20180113072A (ko) 음향 구현 장치 및 방법
WO2024008313A1 (en) Head-related transfer function calculation
CN118250628A (zh) 音频信号的处理方法、系统、设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant