KR20190027934A - 공간화 오디오를 가진 혼합 현실 시스템 - Google Patents

공간화 오디오를 가진 혼합 현실 시스템 Download PDF

Info

Publication number
KR20190027934A
KR20190027934A KR1020197006247A KR20197006247A KR20190027934A KR 20190027934 A KR20190027934 A KR 20190027934A KR 1020197006247 A KR1020197006247 A KR 1020197006247A KR 20197006247 A KR20197006247 A KR 20197006247A KR 20190027934 A KR20190027934 A KR 20190027934A
Authority
KR
South Korea
Prior art keywords
cinema
audio
user
sound
spatialized
Prior art date
Application number
KR1020197006247A
Other languages
English (en)
Other versions
KR102197544B1 (ko
Inventor
데이비드 토마스 로치
사무엘 에이. 밀러
조지 알리스테어 생어
브라이언 슈미트
테리 마이클 오개라
아나스타샤 안드레예브나 타지크
자항기르 타지크
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20190027934A publication Critical patent/KR20190027934A/ko
Application granted granted Critical
Publication of KR102197544B1 publication Critical patent/KR102197544B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

듀얼 소스 공간화 오디오 시스템은 일반적인 오디오 시스템 및 개인 오디오 시스템을 포함한다. 일반적인 시스템은 일반적인 사운드를 생성하기 위해서 일반적인 오디오 프로세서 및 일반적인 스피커들을 포함한다. 개인 시스템은 사용자의 머리에 착용될 프레임 및 그 프레임에 부착된 복수의 개인 스피커들을 포함한다. 개인 시스템은 사용자의 머리 포즈 데이터를 수집하기 위해서 머리 포즈 센서를 또한 포함한다. 개인 시스템은 머리 포즈 데이터로부터 사용자의 머리 포즈를 결정하기 위해서 머리 포즈 프로세서를 추가로 포함한다. 게다가, 개인 시스템은 사용자의 머리 포즈에 기반하여 개인 오디오 데이터를 생성하기 위해서 개인 오디오 프로세서를 포함한다. 개인 스피커들은 개인 오디오 데이터에 대응하는 개인 사운드를 생성한다. 개인 프로세서는 개인 사운드를 일반적인 사운드와 동기화시키기 위해서 일반적인 오디오 프로세서로부터 타이밍 정보/메타데이터를 수신한다.

Description

공간화 오디오를 가진 혼합 현실 시스템
[0001] 본 출원은 대리인 문서 번호 ML.30041.00 하에서 "MIXED REALITY SYSTEM WITH SPATIALIZED AUDIO"라는 명칭으로 2016년 8월 1일에 출원된 미국 가출원 일련번호 제62/369,561호에 대해 우선권을 주장한다. 본 출원은 2014년 2월 4일에 출원된 미국 가특허 출원 일련번호 제62/291,363호(대리인 문서 번호 ML.30043.00), 2014년 6월 14일에 출원된 미국 가특허 출원 일련번호 제62/012,273호(대리인 문서 번호 ML.30019.00), 2013년 6월 13일에 출원된 미국 특허 출원 일련번호 제14/738,877호(대리인 문서 번호 ML.20019.00) 및 2014년 11월 27일에 출원된 미국 특허 출원 일련번호 제14/555,585호(대리인 문서 번호 ML.20011.00)와 관련된다. 이에 의해, 이들 특허 출원들의 내용들은 전부가 기재된 것처럼 그들 전체가 인용에 의해 명확히 그리고 완전히 통합된다. 공간화 오디오 시스템들을 포함하는 가상 현실, 증강 현실 또는 혼합 현실 시스템들의 다양한 실시예들이 전술한 통합된 특허 출원들에 설명되어 있다. 공간화 오디오 시스템들 및 방법들을 가진 가상, 증강 또는 혼합 현실 시스템들의 추가 실시예들이 본원에서 설명된다.
[0002] 본 개시내용은 공간화 오디오 시스템들, 개별 시네마 비디오 및 오디오 시스템들 및 이를 사용하여 공간화 오디오를 포함하는 가상 현실, 증강 현실 또는 혼합 현실 경험을 생성하기 위한 방법들을 이용한 가상, 증강 또는 혼합 현실에 관한 것이다.
[0003] 현재의 공간화 오디오 시스템들, 이를테면 홈 시어터들 및 비디오 게임들을 위한 시스템들은 “5.1” 및 “7.1” 포맷들을 활용한다. 5.1 공간화 오디오 시스템은 왼쪽 및 오른쪽 전방 채널들, 왼쪽 및 오른쪽 후방 채널들, 중심 채널 및 서브우퍼를 포함한다. 7.1 공간화 오디오 시스템은 5.1 오디오 시스템의 채널들 및 의도된 청취자와 정렬된 왼쪽 및 오른쪽 채널들을 포함한다. 앞서-언급된 채널들 각각은 별개의 스피커에 대응한다. 시네마 오디오 시스템들 및 시네마 등급 홈 시어터 시스템들은 앞의 의도된 청취자로부터 전달되도록 구성된 채널들을 부가하는 DOLBY ATMOS를 포함하며, 이에 의해 사운드 필드 내의 청취자 및 주변 청취자가 사운드에 몰입하게 한다.
[0004] 공간화 오디오 시스템들의 개선들에도 불구하고, 현재의 공간화 오디오 시스템들은 복수의 청취자들의 개개의 위치들 및 배향들은 말할 것도 없고 한 청취자의 위치 및 배향을 고려할 수 있다. 따라서, 현재의 공간화 오디오 시스템들은 모든 청취자들이 사운드 필드의 중심에 인접하게 포지셔닝되고 시스템의 중심 채널을 향해 배향되며 최적화 성능을 위한 청취자 포지션 및 배향 요건들을 갖는다는 가정하에 사운드 필드들을 생성한다. 따라서, 전형적인 일-대-다 시스템에서, 공간화 오디오는, 만일 청취자가 예상된 배향의 반대쪽을 향하고 있는 것 같으면, 사운드가 후방향들에서 나오는 것으로 보이도록 그 청취자에게 전달될 수 있다. 그러한 오정렬된 사운드는 감각 및 인지 불협화로 이어지며, 공간화 오디오 경험 및 그와 함께 제공된 임의의 “가상 현실” 또는 “증강 현실” 경험을 악화시킬 수 있다. 심각한 경우에, 감각 및 인지 불협화는 사용자들로 하여금 공간화 오디오 경험들, “가상 현실” 경험들 또는 “증강 현실” 경험들을 회피하게 하는 것으로 이어질 수 있는 생리적 부작용들, 이를테면 두통들, 구토, 불편함 등을 유발할 수 있다.
[0005] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실(VR: virtual reality)", "증강 현실(AR: augmented reality)" 및 "혼합 현실(MR: mixed reality)" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털적으로 재생된 것은 사용자의 실세계 환경에 통합되며 마치 그들이 실세계 환경의 관성 기준 프레임에 존재하는 실제 오브젝트들인 것처럼 제공된다. 가상 현실 또는 "VR" 시나리오는 실세계의 사용자 뷰를 가리면서 디지털 또는 가상 이미지 정보의 제공을 수반할 수 있다. 증강 현실 또는 "AR" 시나리오는 전형적으로 사용자 주위의 가시적인 실제 세계에 대한 증강(즉, 다른 실제 실세계 시각적 입력에 대한 투명성)으로서 디지털 또는 가상 이미지 정보의 제공을 수반한다. 혼합 현실 또는 "MR" 시스템은 또한 시뮬레이팅된 오브젝트들을 실세계 환경에 도입하나, 이들 오브젝트들은 전형적으로 AR 시스템들에서 보다 더 큰 상호작용 정도를 특징으로 한다. 시뮬레이팅된 엘리먼트들은 종종 실시간으로 상호작용할 수 있다. 그에 따라서, AR 및 MR 시나리오들은 사용자에게 동시적으로 가시적인 사용자의 실세계 환경상에 중첩된 디지털 또는 가상 이미지 정보의 제공을 수반한다.
[0006] 다양한 광학 시스템들은 VR/AR/MR 시나리오들을 디스플레이하기 위한 다수의 깊이들의 이미지들을 생성할 수 있다. 그러한 일부 광학 시스템들은 미국 특허 출원 일련번호 제14/738,877호(대리인 문서 번호 ML.20019.00) 및 2014년 11월 27일에 출원된 미국 특허 출원 일련번호 제14/555,585호(대리인 문서 번호 ML.20011.00)에 설명되어 있으며, 이들의 내용들은 본원에 인용에 의해 사전에 통합되었다.
[0007] 현재의 공간화 오디오 시스템들은 가상 오브젝트들을 광학적 그리고 음성학적 둘 모두로 렌더링하기 위하여 3-D 광학 시스템들, 이를테면 3-D 시네마, 3-D 비디오 게임들 및 VR/AR/MR 시스템들의 3-D 광학 시스템들과 협력할 수 있다. 오브젝트들은 그들이 3-차원 공간의 개개의 포지션들에 위치된 실제 물리적 오브젝트들이 아니라는 점에서 “가상”이다. 대신에, 가상 오브젝트들은 청중 멤버들의 눈들 및/또는 귀들에 각각 지향되는 광빔들 및/또는 음파들에 의해 자극될 때 시청자들 및/또는 청취자들의 뇌들(예컨대, 광학 및/또는 청각 중추들)에만 존재한다. 불행하게도, 현재의 공간화 오디오 시스템들의 청취자 포지션 및 배향 요건들은 부적당한 위치에 있는 청취자들에 대해 실현가능한 방식으로 가상 오브젝트들의 오디오 부분들을 생성하는 시스템들의 능력을 제한한다.
[0008] 현재의 머리-착용 오디오 시스템들(즉, 헤드폰들 또는 초소형 헤드폰들)은 공간화 오디오를 생성하도록 구성될 수 있다. 그러나, 이들 머리-착용 오디오 시스템들은 청취자의 귀들 상에 또는 청취자의 귀들 내에 배치된다. 따라서, 현재의 머리-착용 오디오 시스템들은 머리-착용 오디오 시스템들과 청취자의 귀들 간의 물리적 접촉으로부터 발생하는 촉각 신호들을 청취자의 뇌에 송신한다. 이들 촉각 신호들은 머리-착용 오디오 시스템들에 의해 생성된 사운드들이 청취자의 귀들에 대해 단거리로부터 나온다는 것을 청취자에게 제안하는 음향심리학 효과로 이어질 수 있다. 결과적으로, 현재의 머리-착용 오디오 시스템들에 의해 생성된 공간화 오디오는 가상 오브젝트의 위치와 상이한 위치로부터 나오는 것으로 보일 수 있다. 게다가, 현재의 머리-착용 오디오 시스템들은 현재의 공간화 오디오 시스템들의 사용자 포지션 및 배향 요건들을 해결하지 못한다.
[0009] 홈 시어터 시스템들의 개선과 함께, 통상의 시네마들은 홈 시어터들에게 청중들을 잃고 있다. 따라서, 영화 제작자들 및 영화 회사들은 모션 사진 기술의 개선들을 탐구하고 있다. 유사한 기술 공간에서, 혼합형 미디어 시스템들, 이를테면 테마 파크 놀이기구들(즉, DISNEY'S STAR TOURS)에서 발견되는 시스템들은 광들 및 모션과 같은 실생활 특수 효과들을 3-D 영화 및 공간화 오디오에 부가할 수 있다. 그러나, 이러한 시스템들은 너무 비싸며 개별화되지 못한다. 더욱이, 이러한 혼합형 미디어 시스템들은 현재의 공간화 오디오 시스템들의 고유한 사용자 포지션 및 배향 요건들을 해결하지 못한다.
[0010] 3-D 혼합형 미디어 시스템들의 사용자들은 전형적으로 3-D 이미저리의 인지를 가능하게 하는 안경을 착용하도록 요구된다. 이러한 안경은 통상의 아나글립 입체 3-D 시스템들에서 처럼 상이한 편광들 또는 컬러 필터들을 가진 왼쪽 및 오른쪽 렌즈들을 포함할 수 있다. 3-D 혼합형 미디어 시스템은 입체 안경을 착용한 사용자들이 자신들의 왼쪽 및 오른쪽 눈에서 약간 상이한 이미지들을 보도록 상이한 편광들 또는 컬러들을 가진 오버랩핑 이미지들을 프로젝팅한다. 이들 이미지들의 차이점들은 3-D 광학 이미지들을 생성하도록 이용된다.
[0011] 유사하게, 공간 오디오 시스템들은 사용자들의 머리에 착용될 수 있다. 그러나, 앞서-설명된 음향심리학 효과는 시스템들에 의해 렌더링된 가상 오디오 소스들의 지각된 포지션에 영향을 미침으로써 현재의 머리-착용 공간 오디오 시스템들의 유효성을 감소시킨다.
[0012] 요약하면, 현재의 공간화 오디오 시스템들은 청취자 포지션 및 배향 제약들, 및 다양한 포지션들 및 배향들의 복수의 청취자들 및 이동하는 청취자들에 대한 가상 오브젝트에 대응하는 공간 오디오를 렌더링할 때 자신들의 유효성을 제한하는 음향심리학 효과들을 가진다. 게다가, 통상의 2-D 및 3-D 영화들, 2-D 및 3-D 비디오 게임들 및 혼합형 미디어 시스템들은 사용자 포지션 및 배향 제약들과 음향심리학 효과들에 대해 고심하는 복수의 이동하는 사용자들/시청자들/청취자들에 대한 공간화 오디오를 포함하는 개별화로부터 이익을 얻을 수 있다.
[0013] 공간화 오디오 시스템에 관한 일 실시예에서, 공간화 오디오 시스템은 사용자의 머리에 착용될 프레임을 포함한다. 시스템은 또한, 프레임이 사용자에 의해 착용될 때 복수의 스피커들 각각이 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 복수의 스피커들 각각이 사용자의 귀들을 포함해서 사용자의 머리의 어떤 표면에도 접촉하지 않도록, 프레임에 부착되는 복수의 스피커들을 포함한다. 시스템은 사용자의 머리 포즈 데이터를 수집하기 위한 머리 포즈 센서를 더 포함한다. 게다가, 시스템은 머리 포즈 데이터로부터 사용자의 머리 포즈를 결정하기 위한 머리 포즈 프로세서를 포함한다. 게다가, 시스템은 사용자의 결정된 머리 포즈에 기반하여 공간화 오디오 데이터를 생성하기 위한 공간화 오디오 프로세서를 포함한다.
[0014] 하나 이상의 실시예들에서, 스피커들은 생성된 공간화 오디오 데이터에 대응하는 사운드를 생성한다. 시스템은 또한, 복수의 스피커들에 커플링된(예컨대, 견고하게 커플링된) 하나 이상의 증폭기들을 포함할 수 있다. 증폭기들은, 스피커들에 인가되는 전류 및 전압을 모니터하고 그리고 스피커들을 과도구동하는 것을 회피하도록 구성된 스마트 증폭기들일 수 있다.
[0015] 하나 이상의 실시예들에서, 생성된 공간화 오디오 데이터는 복수의 가상 오디오 소스들 각각에 대한 포지션, 배향 및 볼륨 데이터를 포함한다. 복수의 스피커들은 생성된 사운드를 사용자의 귀들에 집중시킬 수 있다. 복수의 스피커들 각각은 트랜스듀서를 포함할 수 있다.
[0016] 하나 이상의 실시예들에서, 프레임은 생성된 사운드를 사용자의 귀들에 집중시킨다. 프레임은, 생성된 사운드를 사용자의 귀들에 지향시키기 위한 음향 도파관을 포함할 수 있다.
[0017] 하나 이상의 실시예들에서, 머리 포즈 센서는 IMU 및/또는 시각적 주행거리측정 시스템이다. 복수의 스피커들은 프레임에 제거가능하게 부착될 수 있다. 복수의 스피커들은 개개의 자석들을 이용해 프레임에 제거가능하게 부착될 수 있다.
[0018] 하나 이상의 실시예들에서, 시스템은 또한, 공간화 오디오 프로세서에 동작가능하게 커플링된 시네마 오디오 프로세서를 포함하며, 시네마 오디오 프로세서는 시네마 오디오 데이터를 생성한다. 시스템은, 생성된 시네마 오디오 데이터에 대응하는 시네마 사운드를 생성하기 위한 복수의 시네마 스피커들을 더 포함한다.
[0019] 하나 이상의 실시예들에서, 공간화 오디오 프로세서는 사운드를 시네마 사운드와 동기화시키기 위해서 시네마 오디오 프로세서로부터 타이밍 정보/메타데이터를 수신한다. 타이밍 정보는 시간 코드 및/또는 큐(cue)를 포함할 수 있다. 시스템은 또한, 무선 네트워크를 포함할 수 있으며, 시네마 오디오 프로세서는 무선 네트워크를 통해서 공간화 오디오 프로세서에 타이밍 정보를 송신한다. 타이밍 정보는 또한, 생성된 시네마 사운드에 대응하는 비디오 내의 광학 큐를 포함할 수 있다. 타이밍 정보는 또한, 생성된 시네마 사운드에 대응하는 비디오로부터 별개로 프로젝팅되는 광학 큐를 포함할 수 있다. 타이밍 정보는 또한, 적외선 광을 이용하여 프로젝팅되는 광학 큐를 포함할 수 있다.
[0020] 하나 이상의 실시예들에서, 시네마 오디오 프로세서는 시네마 정보를 공간화 오디오 프로세서에 송신한다. 시네마 정보는, 타이밍 정보, 가상 오브젝트 사운드 정보, 포지션 정보, 배향 정보, 하이퍼링크, 또는 음향 모델링 정보 중 하나를 포함할 수 있다. 가상 오브젝트 사운드 정보는 모노 오디오 스트림을 포함할 수 있다.
[0021] 하나 이상의 실시예들에서, 공간화 오디오 프로세서는, 제1 시간에 사운드를 시네마 사운드와 동기화시키기 위해서 제1 시간에 시네마 오디오 프로세서로부터 제1 타이밍 정보를 수신하고, 그리고 공간화 오디오 프로세서는 제1 시간보다 나중의 제2 시간에 사운드를 시네마 사운드와 동기화시키기 위해서 제2 시간에 시네마 오디오 프로세서로부터 제2 타이밍 정보를 수신한다.
[0022] 하나 이상의 실시예들에서, 공간화 오디오 프로세서는 공간화 오디오 소스 데이터로부터 공간화 오디오 데이터를 생성한다. 공간화 오디오 소스 데이터는 공간화 오디오 프로세서에 사전 로딩될 수 있다. 공간화 오디오 소스 데이터는 공간화 오디오 프로세서에 스트리밍될 수 있다. 스트리밍된 공간화 오디오 소스 데이터는 공간화 오디오 프로세서에서 버퍼링/캐싱될 수 있다.
[0023] 하나 이상의 실시예들에서, 공간화 오디오 프로세서는 공간화 오디오 프로세서/복수의 스피커들과 시네마 오디오 프로세서/복수의 시네마 스피커들 간의 레이턴시 차이를 보상한다.
[0024] 하나 이상의 실시예들에서, 시스템은 또한, 시네마 오디오 프로세서에 송신할 사용자 정보를 수집하기 위한 사용자 센서를 포함한다. 사용자 센서는 프레임에 부착될 수 있다. 시네마 오디오 프로세서는, 사용자 정보에 기반하여 시네마 오디오 데이터를 수정함으로써, 시네마 사운드가 수정된 시네마 오디오 데이터에 대응하게 될 수 있다. 사용자 정보는 사용자로부터의 샘플링된 사운드를 포함할 수 있고, 그리고 수정된 시네마 오디오 데이터는 샘플링된 사운드를 포함한다.
[0025] 하나 이상의 실시예들에서, 복수의 시네마 스피커들은 저주파수 사운드를 생성하도록 구성된 서브우퍼를 포함한다. 사용자 정보는 저주파수 오디오 데이터를 포함한다. 시네마 오디오 프로세서는 저주파수 오디오 데이터에 기반하여 시네마 오디오 데이터를 수정하며, 서브우퍼는 수정된 시네마 오디오 데이터에 대응하는 저주파수 사운드를 생성한다. 서브우퍼는 사용자를 위한 좌석에 인접하게 배치될 수 있다. 서브우퍼는 사용자에 의해 착용될 수 있다.
[0026] 하나 이상의 실시예들에서, 시스템은 또한, 소스 데이터를 제공하기 위해서 공간화 오디오 프로세서에 동작가능하게 커플링된 애플리케이션 프로세서를 포함하고, 공간화 오디오 프로세서는 소스 데이터로부터 공간화 오디오 데이터를 생성한다. 애플리케이션 프로세서는 시네마 오디오 프로세서에 동작가능하게 커플링될 수 있다. 애플리케이션 프로세서는 공간화 오디오 데이터를 시네마 오디오 데이터와 동기화시킬 수 있다. 시네마 오디오 데이터는 분기 구조로 구성될 수 있으며, 수정된 시네마 오디오 데이터는 시네마 오디오 데이터의 분기 구조보다 작은 수정된 분기 구조를 갖는다.
[0027] 하나 이상의 실시예들에서, 시스템은 또한, 시네마 사운드를 레코딩하기 위해서 프레임에 부착되는 마이크로폰을 포함한다. 시스템은 공간화 오디오 프로세서에 동작가능하게 커플링된 동기화 모듈을 더 포함하고, 동기화 모듈은 시네마 사운드트랙 및 시네마 사운드트랙 내의 시간을 식별하기 위해서 레코딩된 시네마 사운드를 분석한다. 동기화 모듈은 또한, 사운드를 시네마 사운드와 동기화시키기 위해서 시네마 사운드트랙의 아이덴티티 및 시네마 사운드트랙 내의 식별된 시간에 기반하여 타이밍 정보를 생성한다. 마이크로폰은 시네마 사운드의 플레이백 동안 시네마 사운드를 나중 시간에 레코딩할 수 있고, 동기화 모듈은 사운드와 시네마 사운드 간의 동기화를 유지하기 위해 시네마 사운드트랙 내의 나중 시간을 식별하기 위해서 나중에 레코딩된 시네마 사운드를 분석한다.
[0028] 하나 이상의 실시예들에서, 시스템은 또한, 시네마 사운드트랙 데이터베이스를 더 포함하고, 동기화 모듈은 시네마 사운드트랙 및 시네마 사운드트랙 내의 시간을 식별하기 위해서 레코딩된 시네마 사운드를 시네마 사운드트랙 데이터베이스에 비교한다. 동기화 모듈은 레코딩된 시네마 사운드로부터의 제1 레코딩된 패킷과 시네마 사운드트랙 데이터베이스로부터의 제1 데이터베이스 패킷 간의 제1 매치를 식별할 수 있다. 동기화 모듈은 동기화 모듈이 제1 매치를 식별한 이후에 레코딩된 시네마 사운드로부터의 제2 레코딩된 패킷과 시네마 사운드트랙 데이터베이스로부터의 제2 데이터베이스 패킷 간의 제2 매치를 식별할 수 있다.
[0029] 하나 이상의 실시예들에서, 시네마 사운드트랙 데이터베이스는 복수의 토널(tonal) 클러스터들을 포함한다. 시네마 사운드트랙 데이터베이스는 토널 클러스터에 대응하는 식별자, 시네마 사운드트랙 내의 개개의 시간, 및 토널 클러스터에 후속하는 토널 클러스터들의 시퀀스를 포함할 수 있다. 레코딩된 시네마 사운드를 시네마 사운드트랙 데이터베이스에 비교할 수 있는 동기화 모듈은 레코딩된 시네마 사운드 내의 토널 클러스터들을 시네마 사운드트랙 데이터베이스 내의 토널 클러스터들과 매칭하는 것을 포함한다. 복수의 토널 클러스터들의 각각의 토널 클러스터는 길이가 약 1 ms일 수 있다.
[0030] 하나 이상의 실시예들에서, 시스템은 또한, 시네마 사운드트랙을 스캔하고 그리고 시네마 사운드트랙 내의 복수의 토널 클러스터들을 식별하기 위해서 시네마 사운드트랙 데이터베이스 구축자를 포함한다. 타이밍 정보는 시간 코드들을 포함할 수 있다.
[0031] 하나 이상의 실시예들에서, 공간화 오디오 시스템은 복수의 개인 오디오 디바이스들을 포함한다. 복수의 개인 오디오 디바이스들의 각각의 개인 오디오 디바이스는 사용자의 머리에 착용될 프레임을 포함한다. 각각의 개인 오디오 디바이스는 또한, 프레임이 사용자에 의해 착용될 때 복수의 스피커들 각각이 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 복수의 스피커들 각각이 사용자의 귀들을 포함해서 사용자의 머리에 접촉하지 않도록, 프레임에 부착되는 복수의 스피커들을 포함한다. 각각의 개인 오디오 디바이스는 사용자의 머리 포즈 데이터를 수집하기 위한 머리 포즈 센서를 더 포함한다. 게다가, 각각의 개인 오디오 디바이스는, 머리 포즈 데이터로부터 사용자의 머리 포즈를 결정하기 위한 머리 포즈 프로세서를 포함한다. 게다가, 각각의 개인 오디오 디바이스는, 결정된 머리 포즈 및 사용자의 특징에 기반하여 공간화 오디오 데이터를 생성하기 위한 공간화 오디오 프로세서를 포함한다. 시스템은 또한, 공간화 오디오 프로세서에 동작가능하게 커플링된 시네마 오디오 프로세서를 포함하며, 시네마 오디오 프로세서는 시네마 오디오 데이터를 생성한다. 시스템은, 생성된 시네마 오디오 데이터에 대응하는 시네마 사운드를 생성하기 위한 복수의 시네마 스피커들을 더 포함한다. 복수의 스피커들 각각은 개개의 생성된 공간화 오디오 데이터에 대응하는 사운드를 생성한다.
[0032] 하나 이상의 실시예들에서, 복수의 개인 오디오 디바이스들 중 제1 개인 오디오 디바이스의 제1 사용자를 위한 제1 생성된 공간화 오디오 데이터는 복수의 개인 오디오 디바이스들 중 제2 개인 오디오 디바이스의 제2 사용자를 위한 제2 생성된 공간화 오디오 데이터와 상이한데, 그 이유는 제1 사용자의 제1 특징이 제2 사용자의 제2 특징과 상이하기 때문이다. 제1 특징과 제2 특징은 게임에서 상이한 레벨들일 수 있다. 제1 특징과 제2 특징은 상이한 개인 선호도들일 수 있다. 제1 특징과 제2 특징은 사용자 초점의 상이한 위치들일 수 있다. 제1 특징과 제2 특징은 극장에서 상이한 위치들일 수 있다. 제1 특징과 제2 특징은 관심의 상이한 표시자들일 수 있다. 제1 특징과 제2 특징은 제1 사용자 및 제2 사용자에 의해서 각각 방출되는 상이한 사운드들일 수 있다.
[0033] 하나 이상의 실시예들에서, 시스템은 또한, 사용자가 배치되는 룸(room)의 음향 특성을 측정하기 위한 룸 센서를 포함하며, 공간화 오디오 프로세서는 사용자의 결정된 머리 포즈 및 룸의 측정된 음향 특성에 기반하여 공간화 오디오 데이터를 생성한다. 룸 센서는 룸의 음향 특성을 측정하기 위해서 룸 사운드들을 수집하기 위한 마이크로폰일 수 있다. 룸 센서는 룸의 음향 특성을 측정하기 위해서 룸 이미지를 수집하기 위한 카메라일 수 있다.
[0034] 다른 실시예에서, AR/MR 시스템은 가상 이미지들을 생성하기 위한 디스플레이 시스템을 포함한다. 시스템은 또한, 위에서 설명된 공간화 오디오 시스템을 포함한다. 가상 이미지들과 생성된 사운드는 동기화된다.
[0035] 하나 이상의 실시예들에서, 생성된 사운드는 가상 오브젝트로부터 나오는 것으로 보인다. 생성된 사운드는 실제 물리적 오브젝트로부터 나오는 것으로 보일 수 있다. 생성된 사운드는 실제 물리적 사람으로부터 나오는 것으로 보일 수 있다. 생성된 사운드는 실제 물리적 사람의 입으로부터 나오는 것으로 보일 수 있다. 생성된 사운드는 실제 물리적 사람의 실제 음성과 상이할 수 있다. 생성된 사운드는 사용자 주위의 다수의 소스들로부터 나오는 것으로 보일 수 있다. 생성된 사운드는 사용자 내로부터 나오는 것으로 보일 수 있다.
[0036] 또 다른 실시예에서, 개인화 미디어 시스템은 일반적인 미디어 시스템을 포함하며, 일반적인 미디어 시스템은, 미디어 제품에 대응하는 일반적인 비디오 및 오디오 데이터를 생성하기 위한 일반적인 미디어 프로세서를 포함한다. 일반적인 미디어 시스템은 또한, 일반적인 비디오 데이터에 대응하는 일반적인 광 필드를 제공하기 위한 일반적인 미디어 디스플레이를 포함한다. 일반적인 미디어 시스템은, 일반적인 시네마 오디오 데이터에 대응하는 일반적인 사운드 필드를 제공하기 위한 복수의 일반적인 미디어 스피커들을 더 포함한다. 개인화 미디어 시스템은 또한 복수의 개인 미디어 디바이스들을 포함한다. 복수의 개인 미디어 디바이스들의 각각의 개인 미디어 디바이스는, 사용자의 포즈 데이터를 수집하기 위한 포즈 센서를 포함한다. 각각의 개인 미디어 디바이스는 또한, 포즈 데이터로부터 사용자의 포즈를 결정하기 위한 포즈 프로세서를 포함한다. 각각의 개인 미디어 디바이스는, 결정된 포즈 및 사용자의 특징에 기반하여 개인 비디오 및 오디오 데이터를 생성하기 위한 개인 미디어 프로세서를 더 포함한다. 게다가, 각각의 개인 미디어 디바이스는, 사용자의 머리에 착용될 프레임을 포함한다. 게다가, 각각의 개인 미디어 디바이스는, 프레임에 부착되고 그리고 개인 비디오 데이터에 대응하는 사용자를 위한 개인 3-차원 광 필드를 제공하도록 구성되는 개인 디스플레이를 포함한다. 각각의 개인 미디어 디바이스는 또한, 프레임이 사용자에 의해 착용될 때 복수의 개인 스피커들 각각이 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 복수의 개인 스피커들 각각이 사용자의 귀들을 포함해서 사용자의 머리에 접촉하지 않도록, 프레임에 부착되는 복수의 개인 스피커들을 포함한다. 복수의 개인 스피커들은 개인 오디오 데이터에 대응하는 사용자를 위한 개인 공간화 사운드 필드를 제공하도록 구성된다. 복수의 개인 미디어 디바이스들 각각이 일반적인 미디어 시스템과 동기화됨으로써, 개개의 개인 3-차원 광 필드, 개인 공간화 사운드 필드, 일반적인 미디어 광 필드 및 일반적인 미디어 사운드 필드는 사용자에 대한 코히어런트(coherent) 미디어 경험을 형성한다.
[0037] 하나 이상의 실시예들에서, 미디어 제품은 시네마 제품, 게이밍 제품, 및/또는 혼합형-미디어 제품이다. 사용자의 특징은 사용자의 아이덴티티 및/또는 사용자의 위치일 수 있다. 사용자의 특징은 미디어에 관련된 소프트웨어와의 사용자의 상호작용에 관련될 수 있다.
[0038] 하나 이상의 실시예들에서, 미디어 제품은 시네마 제품이고 그리고 소프트웨어는 게임이다. 사용자의 포즈는 머리 포즈일 수 있다. 개인 디스플레이는 AR/MR 디스플레이일 수 있다. 일반적인 미디어 프로세서는 일반적인 광 필드의 부분이 비워지게 일반적인 비디오 데이터를 수정하도록 구성될 수 있으며, 일반적인 광 필드의 부분은 개인 3-차원 광 필드 내에서 오브젝트의 위치에 대응한다.
[0039] 도면들은 본 발명의 다양한 실시예들의 설계 및 유용성을 예시한다. 도면들은 실척대로 도시된 것이 아니며, 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전반에 걸쳐 동일한 참조 번호들로 표현된다는 것이 주목되어야 한다. 본 발명의 다양한 실시예들의 위에서-언급된 및 다른 장점들 및 목적들을 획득하기 위한 방식을 더 잘 인지하기 위해, 위에서 간략하게 설명된 본 발명들의 더 상세한 설명이 본 발명의 특정 실시예들을 참조하여 제공될 것이고, 그 특정 실시예들은 첨부 도면들에서 예시된다. 이러한 도면들이 본 발명의 단지 전형적인 실시예들만을 묘사하고 그에 따라 본 발명의 범위를 제한하는 것으로 간주되지 않아야 한다는 것이 이해되면서, 본 발명은 첨부 도면들의 사용을 통해 부가적인 특성 및 세부사항과 함께 기술 및 설명될 것이다.
[0040] 도 1은 일 실시예에 따른, 웨어러블 AR/MR 사용자 디바이스를 통한 AR(augmented reality) 또는 MR(mixed reality)의 사용자의 뷰를 묘사한다.
[0041] 도 2는 사용자/청취자의 머리에 착용되는, 일 실시예에 따른 공간화 오디오 시스템의 개략적인 상면도이다.
[0042] 도 3은, 도 2에 묘사된 바와 같이 사용자/청취자의 머리에 착용된 공간화 오디오 시스템의 개략적인 배면도이다.
[0043] 도 4는, 도 2에 묘사된 바와 같이 사용자/청취자의 머리에 착용되는 공간화 오디오 시스템의 더욱 상세한 개략적인 상면도이다.
[0044] 도 5 내지 도 8은 다양한 실시예에 따른, 사용자/청취자의 머리에 착용된 공간화 오디오 시스템들의 부분 사시도들 및 부분 개략도들이다.
[0045] 도 9는 일 실시예에 따른 공간화 오디오 시스템의 상세한 개략도이다.
[0046] 도 10은 실제의 물리적 오디오 소스에 의해 생성된 공간화 사운드 필드의 개략도이다.
[0047] 도 11은 다른 실시예에 따른 공간화 오디오 시스템의 상세한 개략도이다.
[0048] 도 12는 일 실시예에 따른, 다양한 가상 사운드 소스들 및 가상 오브젝트를 포함하는 공간화 시네마 오디오 경험의 개략적인 배면도이다.
[0049] 도 13은, 도 12에 묘사된 공간화 시네마 오디오 경험의 개략적인 측면도이다.
[0050] 도 14는 종래 시네마 오디오 시스템의 상면도이다.
[0051] 도 15는 종래 시네마 오디오 시스템의 개략도이다.
[0052] 도 16 및 도 17은 일 실시예에 따른 개별 시네마 오디오 시스템의 상면도들이며, 도 16에서, 사용자는 전방향을 향하고, 도 17에서, 사용자는 왼쪽을 향한다.
[0053] 도 18 내지 도 20은 다양한 실시예들에 따른 개별 시네마 오디오 시스템들의 상세한 개략도들이다.
[0054] 도 21은 일 실시예에 따른 개인화 공간화 오디오 시스템을 활용하여 공간화 오디오를 제공하는 방법을 묘사하는 흐름도이다.
[0055] 도 22 및 도 23은 2개의 실시예에 따른 개별 시네마 오디오 시스템을 활용하여 개별 시네마 오디오의 컴포넌트들을 동기화시키고, 개별 시네마 오디오를 제공하는 방법들을 묘사하는 흐름도들이다.
[0056] 도 24는 일 실시예에 따른 개별 시네마 오디오 시스템을 활용하여 수정된 시네마 오디오를 제공하는 방법을 묘사하는 흐름도이다.
[0057] 도 25는 일 실시예에 따른 개별 시네마 오디오 시스템을 활용하여 개인 오디오를 선택적으로 제공하는 방법을 묘사하는 흐름도이다.
[0058] 본 발명의 다양한 실시예들은 단일 실시예 또는 다수의 실시예들에서 공간화 오디오 시스템들을 위한 시스템들, 방법들 및 제조 물품들에 관한 것이다. 본 발명의 다른 목적들, 특징들 및 장점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.
[0059] 당업자들이 본 발명을 실시하는 것을 가능하게 하도록 본 발명의 예시적인 예들로서 제공되는 도면들을 참조하여 다양한 실시예들이 이제 상세하게 설명될 것이다. 특히, 이하의 도면들 및 예들은 본 발명의 범위를 제한하는 것으로 의도되지 않는다. 본 발명의 소정의 엘리먼트들이 알려진 컴포넌트들(또는 방법들 또는 프로세스들)을 사용하여 부분적으로 또는 완전히 구현될 수 있는 경우, 본 발명의 이해에 필수적인 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 그들 부분들만이 설명될 것이며, 그러한 알려진 컴포넌트들(또는 방법들 또는 프로세스들)의 다른 부분들의 상세한 설명들은 본 발명을 불명료하게 하지 않도록 생략될 것이다. 또한, 다양한 실시예들은 예시로서 본원에서 언급된 컴포넌트들에 대한 현재 알려진 등가물들 및 미래에 알려질 등가물들을 포함한다.
[0060] 공간화 오디오 시스템들은 VR/AR/MR 시스템들과 독립적으로 구현될 수 있지만, 이하의 다수의 실시예들은 단지 예시 목적들을 위해 AR/MR 시스템들과 관련하여 설명된다.
문제점들 및 솔루션들의 요약
[0061] 공간화 오디오 시스템들, 이를테면, 2-D/3-D 시네마 시스템들, 2-D/3-D 비디오 게임들 및 VR/AR/MR 시스템들과 함께 사용되거나 이들의 부분들을 형성하기 위한 것들은 실제 및 물리적 3-D 공간에서 가상 위치들을 갖는 가상 오브젝트들에 대응하는 공간화 오디오를 렌더링, 제공 및 방출한다. 본 출원에 사용된 바와 같이 오디오를 "방출하는 것" 또는 "제공하는 것"은 사운드(이음속 저주파수 음파들을 포함함)로서 인간 청각 시스템에 의해 지각될 수 있는 음파들의 형성을 유발하는 것을 포함(그러나 이에 제한되지 않음)한다. 이러한 가상 위치들은 전형적으로, 좌표계(예컨대, 공간화 오디오 시스템에 대한 알려진 배향 및 원점에서의 공간화 오디오 시스템을 갖는 좌표계)를 사용하여 공간화 오디오 시스템에게 "알려진다"(즉 이에 레코딩됨). 가상 오브젝트들과 연관된 가상 오디오 소스들은 콘텐츠, 포지션 및 배향을 갖는다. 가상 오디오 소스들의 다른 특징은, 청취자로부터의 거리의 제곱으로서 떨어지는 볼륨이다. 그러나 현재의 공간화 오디오 시스템들(예컨대, 5.1 공간화 오디오 시스템들, 7.1 공간화 오디오 시스템들, 시네마 오디오 시스템들 및 머리-착용 오디오 시스템들)은 모두 공간화 오디오 시스템들이 현실적 공간화 오디오를 생성할 수 있는 청취자들의 수 및 특징들을 제한하는 청취자의 포지션 및 배향 제약들을 갖는다. 게다가, 현재의 머리-착용 오디오 시스템들은 착용자들에서 음향심리학 효과를 유발하며, 이는 머리-착용 오디오 시스템들의 음향 이미징 능력을 추가로 저해한다.
[0062] 본원에서 설명된 공간화 오디오 시스템들은, 다양한 가상 오브젝트들과 연관된 오디오가 개개의 가상 오브젝트들에 대응하는 가상 포지션들로부터 발생하는 것으로 나타나도록 공간화 오디오를 보다 정확하게 렌더링하기 위해 청취자의 포지션을 추적한다. 또한, 본원에서 설명된 공간화 오디오 시스템들은, 다양한 가상 오브젝트들과 연관된 방향성 오디오가 개개의 가상 오브젝트들에 적합한 가상 방향들에서 전파되는 것으로(예컨대, 가상 캐릭터의 머리 뒷쪽에서 나오는 것이 아니라 가상 캐릭터의 입으로부터 나옴) 나타나도록 공간화 오디오를 보다 정확하게 렌더링하기 위해 청취자의 머리 포즈를 추적한다. 더욱이, 본원에서 설명된 공간화 오디오 시스템들은, 다양한 가상 오브젝트들과 연관된 오디오가 실제 물리적 및 가상 오브젝트들로부터 적합하게 반사되는 것으로 나타나도록 공간화 오디오의 그들의 렌더링에서 다른 실제 물리적 및 가상 오브젝트들을 포함한다. 게다가, 공간화 오디오 시스템들은, 음향 이미징에 부정적으로 영향을 주는 음향심리학 효과를 방지하기 위해 스피커들이 청취자의 귀들로부터 개개의 비-제로 거리들(예컨대, 약 1cm 범위)에 배치되도록 청취자에 의해 착용된 프레임에 부착된 스피커들을 포함한다. 소정의 실시예들에서, 스피커들은 사용자의 귀들로부터 3mm 내지 3cm 의 거리에 배치된다.
[0063] 2-D 던지 또는 3-D 던지 간에, 통상의 시네마는 개선된 홈 공간화 오디오 시스템들을 포함하는 홈 시어터 시스템들의 계속된 개선으로 그의 청중을 잃어가고 있다. 본원에서 설명된 공간화 오디오 시스템들 및 증강 현실 시스템들을 활용하여, 통상의 시네마는 동기화되는 공간화 오디오 이미징 및 AR/MR로 증강되어 시네마 경험을 향상시키고 콘텐츠를 개별화/맞춤화하여 시네마 경험을 개인화할 수 있다. 개별 시네마는 사용자에 대응하는 이용가능한 데이터를 통합하여 시네마, 게이밍 및 혼합 미디어 시스템의 엔터테인먼트 가치를 증가시키는 새로운 경험을 제공한다.
공간화 오디오 시스템들
[0064] AR/MR 시나리오들은 종종, 실세계 오브젝트들에 대한 관계들에서 가상 오브젝트들에 대응하는 이미지들 및 사운드의 제공을 포함한다. 예컨대, 도 1을 참조하면, 증강 현실 장면(100)이 묘사되며, 여기서 AR/ MR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 실세계의 물리적 콘크리트 플랫폼(104)을 특징으로 하는 실세계의 물리적 공원형 장소(102)를 본다. 이들 아이템들 외에도, AR/MR 기술의 사용자는 또한, 그가 실세계의 물리적 플랫폼(104) 상에 서있는 가상 로봇 동상(106), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 가상 만화형 아바타 캐릭터(108)를 보는 것을 지각하는데, 이들 가상 오브젝트들(106, 108)은 실세계에 존재하지 않는다.
[0065] 믿을 수 있거나 통용가능한 AR/MR 장면(100)을 제공하기 위해, 가상 오브젝트들(예컨대, 로봇 동상(106) 및 호박벌(108))은 그것들과 각각 연관된 동기화되는 공간화 오디오를 가질 수 있다. 예컨대, 로봇 동상(106)과 연관된 기계식 사운드들은, 이들이 로봇 동상(106)에 대응하는 가상 위치로부터 나오는 것으로 나타나도록 생성될 수 있다. 유사하게, 호박벌(108)과 연관된 윙윙거리는 사운드는, 이들이 호박벌(108)에 대응하는 가상 위치로부터 나오는 것으로 나타나도록 생성될 수 있다.
[0066] 공간화 오디오는 포지션 외에도, 배향을 가질 수 있다. 예컨대, 호박벌(108)과 연관된 "만화형" 음성은 호박벌(108)의 입(110)으로부터 나오는 것으로 나타날 수 있다. 호박벌(108)이 도 1에 묘사된 시나리오에서 시청자/청취자를 향하고 있지만, 호박벌(108)은 시청자/청취자가 가상 호박벌(108) 뒤에서 이동한 시나리오와 같은 다른 시나리오에서 시청자/청취자를 등질 수 있다. 이 경우에, 호박벌(108)의 음성은 시나리오 내의 다른 오브젝트들(예컨대, 로봇 동상(106))로부터의 반사된 사운드로서 렌더링될 것이다.
[0067] 일부 실시예들에서, 가상 사운드는, 그것이 실제 물리적 오브젝트로부터 나오는 것으로 나타나도록 생성될 수 있다. 예컨대, 가상 새 사운드는, 그것이 AR/MR 장면(100)의 실제 나무들로부터 발생하는 것으로 나타나도록 생성될 수 있다. 유사하게, 가상 스피치는, 그것이 AR/MR 장면(100)의 실제 사람들로부터 발생하는 것으로 나타나도록 생성될 수 있다. AR/MR 컨퍼런스에서, 가상 스피치는, 그것이 실제 사람의 입으로부터 나오는 것으로 나타나도록 생성될 수 있다. 가상 스피치는 실제 사람의 음성 또는 완전히 상이한 음성처럼 사운딩될 수 있다. 일 실시예에서, 가상 스피치는 청취자 주위의 복수의 사운드 소스들로부터 동시적으로 나오는 것으로 나타날 수 있다. 다른 실시예에서, 가상 스피치는 청취자의 신체 내부로부터 나오는 것으로 나타날 수 있다.
[0068] 유사한 방식으로, VR 시나리오들은 또한, 음향심리학 효과들을 최소화하면서, 보다 정확하고 덜 거슬리는 공간화 오디오 생성 및 전달의 이익을 누릴 수 있다. AR/MR 시나리오들과 유사하게, VR 시나리오들은 또한 공간화 오디오를 렌더링하는 하나 이상의 이동하는 시청자/청취자 유닛들을 고려해야 한다. 포지션, 배향 및 볼륨의 관점에서 공간화 오디오를 정확하게 렌더링하는 것은 VR 시나리오들의 몰입감을 개선하거나, 또는 VR 시나리오들을 적어도 손상시키지 않을 수 있다.
[0069] 도 2는 청취자의 머리(200)에 착용된 공간화 오디오 시스템(202)을 청취자의 머리(200) 위로부터의 상면도로 개략적으로 묘사한다. 도 2에 도시된 바와 같이, 공간화 오디오 시스템(202)은 프레임(204) 및 프레임(204)에 부착된 4개의 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)을 포함한다. 공간화 오디오 시스템 스피커(206-1)가 프레임(204)에 부착되어, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-1)는 청취자의 머리(200)의 전방향(F) 및 왼쪽(L)에 있다. 공간화 오디오 시스템 스피커(206-2)가 프레임(204)에 부착되어, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-2)는 청취자의 머리(200)의 전방향(F) 및 오른쪽(R)에 있다. 공간화 오디오 시스템 스피커(206-3)가 프레임(204)에 부착되어, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-3)는 청취자의 머리(200)의 후방향(B) 및 왼쪽(L)에 있다. 공간화 오디오 시스템 스피커(206-4)가 프레임(204)에 부착되어, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-4)는 청취자의 머리(200)의 후방향(B) 및 오른쪽(R)에 있다. 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4) 모두는 청취자의 머리(200)쪽으로 향한다. 도 2에 묘사된 공간화 오디오 시스템 스피커 배치는 공간화 오디오의 생성을 가능하게 한다.
[0070] 본 출원에 사용된 바와 같이, "스피커"는, 전형적인 인간 청취 범위 외부의 사운드를 포함하는 사운드를 생성하는 임의의 디바이스를 포함(그러나 이에 제한되지 않음)하지만, 이에 제한되지 않는다. 사운드가 기본적으로 공기 분자들의 움직임이기 때문에, 사운드를 생성하기 위해 많은 상이한 타입들의 스피커들이 사용될 수 있다. 도 2에 묘사된 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4) 중 하나 이상은, 사운드를 생성하기 위해 표면을 진동시키는 진동 트랜스듀서 또는 종래의 전자다이내믹 스피커일 수 있다. 진동 트랜스듀서들을 포함하는 실시예들에서, 트랜스듀서들은, 청취자의 두개골 및 프레임(204)을 포함(그러나 이에 제한되지 않음)하여, 사운드를 생성하기 위해 임의의 표면들을 진동시킬 수 있다. 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)은, 스피커들(206-1, 206-2, 206-3, 206-4)이 대체 및/또는 업그레이드될 수 있도록 프레임(204)에 제거가능하게 (예컨대, 자기적으로) 부착될 수 있다.
[0071] 도 3은, 청취자의 머리(200) 후방향의 후방뷰로부터 도 2에 묘사된 공간화 오디오 시스템(202)을 개략적으로 묘사한다. 도 3에 도시된 바와 같이, 공간화 오디오 시스템(202)의 프레임(204)은, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 프레임(204)의 전방향이 청취자의 머리(200) 위(A)에 있고, 프레임(204)의 뒷쪽은 청취자의 머리(200) 아래(U)에 있도록 구성될 수 있다. 공간화 오디오 시스템(202)의 4개의 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)이 프레임(204)에 부착되기 때문에, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커들은 또한 청취자의 머리(200) 위(A)(206-1, 206-2) 및 아래(U)(206-3, 206-4)에 배치된다. 도 3에 묘사된 공간화 오디오 시스템 스피커 배치는 공간화 오디오, 특히, 청취자의 머리(200) 위(A) 및 아래(U)의 평면들에 위치된 가상 오디오 소스들을 포함하는 공간화 오디오의 생성을 가능하게 한다.
[0072] 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)이 청취자의 머리(200)쪽으로 향한다고 언급되었지만, 도 4에 도시된 바와 같이, 스피커들(206-1, 206-2, 206-3, 206-4)이 청취자의 귀들(208-L, 208-R)쪽으로 향하는 것으로 설명하는 것이 더 정확하다. 도 4는 도 2에 묘사된 상면도와 유사한 상면도이다. 공간화 오디오 시스템 스피커들(206-1, 206-3)은 청취자의 왼쪽 귀(208-L)쪽으로 향한다. 공간화 오디오 시스템 스피커들(206-2, 206-4)은 청취자의 오른쪽 귀(208-R)쪽으로 향한다. 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)을 청취자의 귀들(208-L, 208-R)쪽으로 향하게 하는 것은 청취자에 대한 공간화 오디오를 렌더링하는데 필요한 볼륨을 최소화한다. 이는, 결국, 공간화 오디오 시스템(202)으로부터 누설되는(즉, 의도되지 않은 청취자들쪽으로 지향되는) 사운드의 양을 감소시킨다. 프레임(204)은 또한 공간화 오디오를 청취자의 귀들(208-L, 208-R)쪽으로 집중시키도록 구성될 수 있다. 예컨대, 프레임(204)은 공간화 오디오를 지향시키기 위한 음향 도파관을 포함하거나 이를 형성할 수 있다.
[0073] 도 4는, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)이 청취자의 머리(200)로부터 개개의 비-제로 거리들(210-1, 210-2, 210-3, 210-4)에 위치되도록, 스피커들(206-1, 206-2, 206-3, 206-4)이 프레임(204)에 부착되는 것을 또한 예시한다. 본 출원에서 사용된 바와 같이, "비-제로 거리"는, 2개의 표면들 간의 현저한 접촉을 방지하는 임의의 거리를 포함(그러나 이에 제한되지 않음)한다. 예컨대, 스피커(206)가 청취자/사용자의 머리(200)로부터 "비-제로 거리"에 위치된다는 것은, 스피커와 청취자/사용자의 머리(200) 간의 가장 짧은 거리가, 스피커(206)와 청취자/사용자의 머리(200) 간에 어떠한 접촉도 없도록 하는 것을 의미한다. 청취자/사용자의 머리(200)는 청취자의 귀들(208-L, 208-R)(거리들(210-3, 210-4) 참조)을 포함한다.
[0074] 도 2 내지 도 4의 시스템(202)이 4개의 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)을 포함하지만, 다른 공간화 오디오 시스템들은 더 적거나 더 많은 공간화 오디오 시스템 스피커들을 포함할 수 있다.
[0075] 이제 도 5 내지 도 8을 참조하면, 일부 예시적인 공간화 오디오 시스템 컴포넌트 옵션들이 예시된다. 도 5에 도시된 바와 같이, 복수의 공간화 오디오 시스템 스피커들(206)에 커플링된 프레임(204)을 포함하는 머리-장착 공간화 오디오 시스템(202)은 청취자에 의해 청취자의 머리(200)에 착용된다. 다음은 예시적인 공간화 오디오 시스템(202)의 가능한 컴포넌트들을 설명한다. 설명된 컴포넌트들 모두가 공간화 오디오 시스템(202)을 구현하는 데 필요한 것은 아니다.
[0076] 묘사된 공간화 오디오 시스템(202)의 2개의 공간화 오디오 시스템 스피커들(206)은 청취자의 머리(200)로부터 개개의 비-제로 거리들에 포지셔닝되어, 스피커들(206)이 청취자의 머리(200)의 임의의 표면에 접촉하지 않는다. 도 5 내지 도 8에 도시되지 않지만, 다른 쌍의 공간화 오디오 시스템 스피커들(206)은 공간화 사운드를 제공하기 위해 청취자의 머리(206)의 다른 측 상에서 청취자의 머리(200)로부터 개개의 비-제로 거리들에 포지셔닝된다. 이로써, 이러한 공간화 오디오 시스템(202)은 도 2 내지 도 4에 묘사된 시스템들과 같은 총 4개의 공간화 오디오 시스템 스피커들(206)을 포함한다. 도 5, 도 7 및 도 8에 묘사된 공간화 오디오 시스템(202)의 공간화 오디오 시스템 스피커들(206)이 개개의 프레임들(204)에 부착되지만, 공간화 오디오 시스템(202)의 스피커들(206) 중 일부 또는 전부는, 도 6에 묘사된 실시예에 도시된 바와 같이, 헬멧 또는 모자(212)에 부착되거나 이에 임베딩될 수 있다.
[0077] 공간화 오디오 시스템(202)의 공간화 오디오 시스템 스피커들(206)은, 다양한 구성들로 장착될 수 있는 로컬 프로세싱 및 데이터 모듈(216)에, 이를테면, 유선 리드 및/또는 무선 연결성(214)에 의해, 동작 가능하게 커플링되는데, 이를테면, 프레임(204)에 고정적으로 부착되거나, 도 6에 묘사된 실시예에 도시된 바와 같이 헬멧 또는 모자(212)에 고정적으로 부착되고/그에 임베딩되거나, 도 7의 실시예에 도시된 바와 같이 백팩-스타일 구성으로 청취자의 몸통(218)에 제거가능하게 부착되거나, 도 8의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 청취자의 엉덩이(220)에 제거가능하게 부착된다.
[0078] 로컬 프로세싱 및 데이터 모듈(216)은 하나 이상의 전력-효율적 프로세서 또는 제어기뿐만 아니라 디지털 메모리, 이를테면, 플래시 메모리를 포함할 수 있고, 이들 둘 모두는 데이터의 프로세싱, 캐싱 및 저장을 보조하는 데 활용될 수 있다. 데이터는 프레임(204)에 동작가능하게 커플링될 수 있는 센서들, 이를테면, 이미지 캡처 디바이스들(이를테면, 가시 광 및 적외선 광 카메라들), 관성 측정 유닛들(가속도계들 및 자이로스코프들, "IMU"를 포함함), 컴파스들, 마이크로폰들, GPS 유닛들, 및/또는 라디오 디바이스들로부터 캡처될 수 있다. 대안적으로 또는 부가적으로, 데이터는 원격 프로세싱 모듈(222) 및/또는 원격 데이터 저장소(224)를 사용하여 획득 및/또는 프로세싱되어, 가능하게는 그러한 프로세싱 또는 리트리벌 후에 스피커들(206)에 의한 사운드의 생성을 가능하게 하고/지시할 수 있다. 로컬 프로세싱 및 데이터 모듈(216)은, 원격 프로세싱 모듈(222) 및 원격 데이터 저장소(224)가 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(216)에 대해 자원들로서 이용가능하도록, 이를테면, 유선 또는 무선 통신 링크들(226, 228)을 통해 이들 원격 모듈들(222, 224)에 동작가능하게 커플링될 수 있다.
[0079] 일 실시예에서, 원격 프로세싱 모듈(222)은 오디오 데이터 및/또는 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(224)는, "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통해 이용가능할 수 있는 비교적 대규모 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되며, 모든 컴퓨테이션은 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용하는 로컬 프로세싱 및 데이터 모듈(216)에서 수행된다.
[0080] 하나 이상의 실시예들에서, 전형적으로, 공간화 오디오 시스템은 특정 청취자의 머리에 맞춰지며, 공간화 오디오 시스템 스피커들은 청취자의 귀들에 정렬된다. 이들 구성 단계들은, 임의의 생리적 부작용들, 이를테면 두통들, 구토, 불편함 등을 유발함 없이, 청취자에게 최적의 공간화 오디오 경험이 제공되는 것을 보장하기 위해 사용될 수 있다. 따라서, 하나 이상의 실시예들에서, 청취자-착용 공간화 오디오 시스템은 각각의 개별 청취자를 위해 (물리적 및 디지털 방식 둘 모두로) 구성되며, 프로그램들의 세트는 청취자를 위해 특별히 교정될 수 있다. 예컨대, 일부 실시예들에서, 청취자 착용 공간화 오디오 시스템은, 청취자의 귀들과 머리 착용 공간화 오디오 시스템의 공간화 오디오 시스템 스피커들 간의 개개의 거리들, 및 청취자의 머리의 3-D 맵핑을 검출하거나 이들을 제공받을 수 있다. 이들 측정들 모두는 정해진 청취자에게 맞춰지도록 맞춤화된 머리-착용 공간화 오디오 시스템을 제공하기 위해 사용된다. 다른 실시예들에서, 이러한 측정들은 공간화 오디오 기능들을 수행하는 데 필요하지 않을 수 있다. 예컨대, 가상 오디오 소스들의 덜 정확한 공간화가 있을 가능성이 있지만, 느슨한 맞춤 공간화 오디오 시스템은 다양한 청취자들에 의해 편안하게 사용될 수 있다.
[0081] 공간화 오디오 시스템을 구현할 필요는 없지만, 도 5 내지 도 8에 도시된 바와 같이, 디스플레이(230)는 (예컨대, 공간 오디오 경험 이외에 광학 AR/MR 경험을 위해) 프레임(204)에 커플링될 수 있다. 예시적인 AR/MR 디스플레이들은 미국 특허 출원 일련 번호 제14/738,877호(대리인 문서 번호 ML.20019.00) 및 제14/555,585호(대리인 문서 번호 ML.20011.00)에서 설명되었고, 이들의 내용들은 이전에 인용에 의해 본원에 포함되었다. 디스플레이(230)를 포함하는 실시예들에서, 로컬 프로세싱 및 데이터 모듈(216), 원격 프로세싱 모듈(222) 및 원격 데이터 저장소(224)는 공간 오디오 데이터 외에도 3-D 비디오 데이터를 프로세싱할 수 있다.
[0082] 도 9는 유선 리드 및/또는 무선 연결성(214)을 통해 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링되는 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)을 포함하는, 일 실시예에 따른 공간화 오디오 시스템(202)을 묘사한다. 공간화 오디오 시스템(202)은 또한, 유선 리드 및/또는 무선 연결성(214)을 통해 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링된 머리 포즈 센서(232)를 포함한다. 머리 포즈 센서(232)는 청취자/사용자의 머리 포즈 데이터를 수집하도록 구성된다. 머리 포즈 센서(232)는 이미지 캡처 디바이스들(이를테면, 가시 광 및 적외선 광 카메라들), 관성 측정 유닛들(가속도계들 및 자이로스코프들 포함), 컴퍼스들, 마이크로폰들, GPS 유닛들 또는 라디오 디바이스들 중 하나 이상을 포함할 수 있다. 도 9에 묘사된 공간화 오디오 시스템(202)은 단지 2개의 공간화 오디오 시스템 스피커들(206-1, 206-2)만을 포함하지만, 다른 실시예들에 따른 공간화 오디오 시스템들은 더 많은 스피커들을 포함할 수 있다.
[0083] 공간화 오디오 시스템(202)은, 적어도 머리 포즈 센서(232)에 의해 수집된 머리 포즈 데이터에 기반하여, 공간화 오디오 시스템(202)을 착용하고 있는 청취자/사용자의 머리 포즈를 결정하는 머리 포즈 프로세서(234)를 더 포함한다. 본 출원에서 사용되는 바와 같이, "머리 포즈 프로세서"는 하나 이상의 별개의 그리고 독립적인 소프트웨어, 및/또는 컴퓨터가 머리 포즈를 결정할 수 있기 전에 범용 컴퓨터에 부가되어야 하는 컴퓨터의 하드웨어 컴포넌트들, 및 이들에 부가되는 이러한 컴포넌트들을 갖는 컴퓨터들을 포함(그러나 이에 제한되지 않음)한다.
[0084] 공간화 오디오 시스템(202)은, 적어도 머리 포즈 프로세서(234)에 의해 결정되는 머리 포즈에 기반하여, 공간화 오디오 시스템(202)을 착용하고 있는 청취자/사용자에게 전달될 공간화 오디오에 대한 공간화 오디오 데이터를 생성하는 공간화 오디오 프로세서(236)를 더 포함한다. 생성된 공간화 오디오 데이터는 공간화 사운드 필드에서 각각의 가상 오디오 소스에 대한 콘텐츠, 포지션, 배향 및 볼륨 데이터를 포함할 수 있다. 본 출원에서 사용되는 바와 같이, "오디오 프로세서"는, 하나 이상의 별개의 그리고 독립적인 소프트웨어, 및/또는 컴퓨터가 공간화 오디오 데이터를 생성할 수 있기 전에 범용 컴퓨터에 부가되어야 하는 컴퓨터의 하드웨어 컴포넌트들, 및 이들에 부가되는 이러한 컴포넌트들을 갖는 컴퓨터들을 포함(그러나 이에 제한되지 않음)한다. 또한, 공간화 오디오 프로세서(234)는 공간화 오디오를 청취자/사용자에게 전달하기 위해, 공간화 오디오 데이터에 기반하여 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)에 대한 오디오 신호들을 생성할 수 있다.
[0085] 도 10은 실제 물리적 오디오 소스(302)에 의해 생성된 공간화 사운드 필드(300)를 묘사한다. 실제 물리적 사운드 소스(302)는 위치 및 배향을 갖는다. 실제 물리적 사운드 소스(302)는 많은 부분들을 갖는 음파를 생성한다. 청취자의 머리(200)에 대한 실제 물리적 사운드 소스(302)의 위치 및 배향으로 인해, 음파의 제1 부분(306)은 청취자의 왼쪽 귀(208-L)로 지향된다. 음파의 제2 부분(306')은 청취자의 머리(200)로부터 멀어져 공간화 사운드 필드(300) 내의 오브젝트(304)쪽으로 지향된다. 음파의 제2 부분(306')은, 반사된 제3 부분(306")을 생성하는 오브젝트(304)로부터 반사되며, 이는 청취자의 오른쪽 귀(208-R)로 지향된다. 음파의 제1 부분(306) 및 제2 및 제3 부분들(306', 306")에 의해 이동되는 상이한 거리들 때문에, 이들 부분들은 청취자의 왼쪽 및 오른쪽 귀들(208-L, 208-R)에 약간 다른 시간들에 도달할 것이다. 또한, 오브젝트(304)는 음파의 반사된 제3 부분(306")의 사운드를, 그 사운드가 청취자의 오른쪽 귀(208-R)에 도달하기 전에 변조할 수 있다.
[0086] 도 10에 묘사된 공간화 사운드 필드(300)는 단지 하나의 실제 물리적 사운드 소스(302) 및 하나의 오브젝트(304)를 포함하는 매우 간단한 것이다. 심지어 이러한 간단한 공간화 사운드 필드(300)를 재생하는 공간화 오디오 시스템(202)은 음파들의 다양한 반사들 및 변조들을 고려해야 한다. 내부에 하나 초과의 사운드 소스 및/또는 음파(들)와 상호작용하는 하나 초과의 오브젝트를 갖는 공간화 사운드 필드들은 기하급수적으로 더욱 복잡하다. 공간화 오디오 시스템들(202)은 이 점차 복잡해지는 공간화 사운드 필드들을 재생하기 위해 점점 더 강력해져야 한다. 도 9에 묘사된 공간화 오디오 프로세서(236)는 로컬 프로세싱 및 데이터 모듈(216)의 일부이지만, 다른 실시예들에서 보다 강력한 공간화 오디오 프로세서(236)는 로컬 프로세싱 및 데이터 모듈(216)에서의 공간 및 전력을 보존하기 위해, 원격 프로세싱 모듈(222)의 일부일 수 있다.
[0087] 도 11은 다른 실시예에 따른 공간화 오디오 시스템(202)을 묘사한다. 도 10에 묘사된 시스템(202)은 도 9에 묘사된 시스템(202)과 유사하다. 차이는, 도 10에 묘사된 공간화 오디오 시스템이 유선 리드 및/또는 무선 연결성(214)을 통해 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링된 증폭기(238)를 포함한다는 것이다. 또 다른 차이는, 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)이, 유선 리드 및/또는 무선 연결성(214)을 통해, 로컬 프로세싱 및 데이터 모듈(216) 대신에, 증폭기(238)에 동작가능하게 연결된다는 것이다. 증폭기(238)는 공간화 오디오 시스템(202)을 착용하는 있는 청취자/사용자에게 공간화 오디오를 전달하기 위해, 로컬 프로세싱 및 데이터 모듈(216)로부터의 공간화 오디오 데이터에 기반하여 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)에 대한 오디오 신호들을 생성한다. 증폭기(238)는, 오디오 왜곡을 최소화하고 오디오 재생의 정확도를 개선시키기 위해, 오디오 신호들을 생성할 때 증폭기(238)가 공간화 오디오 시스템 스피커(206-1, 206-2)를 모니터링하도록 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)에 견고하게 커플링된다.
개별 공간화 시네마 오디오 및 비디오 경험
[0088] 도 12는, 일 실시예에 따른 공간화 시네마 오디오 및 비디오 경험(400)을 청취자/시청자/사용자의 머리(200) 뒤의 전방향 사시도로 묘사한다. 공간화 시네마 오디오 및 비디오 경험(400)에서, 청취자/시청자/사용자는 시네마 경험을 위한 룸(예를 들어, 영화 시어터 또는 홈 시네마 룸)에 포지셔닝된다. 공간화 영화 오디오 및 비디오 경험(400)은 제1 및 제2 가상 오디오 소스들(402-1, 402-2)을 포함한다. 이러한 가상 오디오 소스들(402-1, 402-2)은 시네마 프로젝터 및 AR/MR 디스플레이(230)를 사용하여 사용자에게 제공되는 시각적 정보에 대응한다. 예컨대, 제1 가상 오디오 소스(402-1)는 영화 장면 내의 캐릭터에 대응할 수 있고, 제2 가상 오디오 소스(402-2)는 관련된 AR/MR 장면의 호른에 대응할 수 있다. 영화 장면 내의 캐릭터는 시네마 디스플레이/스크린(408) 상에서 사용자에게 디스플레이될 수 있고, 호른은 공간화 오디오/AR/MR 시스템(202)(도 12에 도시되지 않음, 도 5 내지 도 8 참조)의 프레임(204)에 커플링된 디스플레이(230) 상에서 사용자에게 디스플레이될 수 있다. 대안적으로, 영화 장면 내의 캐릭터는 통상의 시네마 3-D 기술들, 이를테면, 애너글리프, 편광 또는 셔터 기반을 사용하여 사용자에게 디스플레이될 수 있다.
[0089] 도 12는 또한, 청취자의 왼쪽 귀(208-L)로 지향되는 제1 가상 오디오 소스(402-1)(즉, 가상 캐릭터)에 대응하는 음파의 일부(406)를 묘사한다. 도 12는 가상 오브젝트(404)로 지향되는 제2 가상 오디오 소스(402-2)(즉, 호른)에 대응하는 음파의 제1 부분(406')을 추가로 묘사한다. 제1 부분(406')은 청취자의 오른쪽 귀(208-R)로 지향되는 제2 부분(406")을 형성하는 가상 오브젝트(404)로부터 반사한다.
[0090] 도 13은, 도 12에 묘사된 공간화 시네마 오디오 및 비디오 경험(400)의 실시예를 측면도로 묘사한다. 도 13은, 제1 가상 오디오 소스(402-1)(즉, 가상 캐릭터)가 청취자의 왼쪽 귀(208-L) 약간 아래에 그리고 시네마 디스플레이/스크린(408) 뒤에 있음을 도시한다. 도 13은 또한, 제2 가상 오디오 소스(402-2)(즉, 호른)가 청취자의 오른쪽 귀(208-R) 약간 위에 있고, 가상 오브젝트(404)는 청취자의 오른쪽 귀(208-R)와 제2 가상 오디오 소스(402-2) 사이의 높이를 갖는 것을 도시한다.
[0091] 제2 가상 오디오 소스(402-2)(즉, 호른)는 AR/MR 디스플레이(204)를 사용하여 디스플레이된다. AR/MR 디스플레이(204)는, 제2 가상 오디오 소스(402-2)의 가상 위치가 시청자의 포즈의 포지션과 독립적인 세계에 세팅되도록 "세계-중심" 뷰에 제2 가상 오디오 소스(402-2)(및 임의의 가상 오브젝트)를 디스플레이하도록 구성될 수 있다. 그에 따라서, 시청자들이 자신들의 머리들을 제2 가상 오디오 소스(402-2)로부터 멀어지게 돌리면, 시청자들은 더 이상 가상 오브젝트를 보지 않을 것이다. 다른 가능성들은 "신체-중심"(여기서 가상 오브젝트의 가상 위치가 시청자의 신체에 대해 세팅됨) 및 "머리-중심"(여기서 가상 오브젝트의 가상 위치가 시청자의 머리에 대해 세팅됨(예컨대, 헤드-업 디스플레이))을 포함(그러나 이에 제한되지 않음)한다.
[0092] 제1 및 제2 가상 오디오 소스(402-1, 402-2)는 실제 물리적 위치들을 갖지 않지만, 이들의 가상 위치들은 제1 및 제2 가상 오디오 소스(402-1, 402-2)에 대응하는 각각의 공간화 오디오를 렌더링하는 데 중요하다. 도 12 및 도 13에 묘사된 공간화 시네마 오디오 및 비디오 경험(400)이 단지 2개의 가상 오디오 소스(402-1, 402-2)만을 포함하지만, 다른 공간화 시네마 오디오 경험들은 더 많거나 더 적은 가상 오디오 소스들을 포함할 수 있다. 예컨대, 전형적인 영화 장면은, 많은 가상 오디오 소스들, 이를테면, 배경 음악, 배경 잡음, 물리적 액션들과 연관된 사운드들 및 대화를 포함할 수 있다. 이러한 많은 가상 오디오 소스들을 정확하게 재생하는 것은, 공간화 시네마 오디오 경험에 대한 청취자의 향유를 증가시킨다.
[0093] 공간화 시네마 오디오 및 비디오 경험(400)은, 경험(400)을 생성하고 전달하기 위해 본원에서 사용되는 AR/MR 및 공간화 오디오 시스템들의 실시예들을 참조하여 설명되었다. 다른 비디오 및 오디오 시스템들은, 비록 상이한 레벨의 정확도 및 정밀도로 이제 설명될 것이지만, 공간화 시네마 오디오 및 비디오 경험(400)을 전달하도록 구성될 수 있다.
공간화 시네마 오디오 시스템
[0094] 도 14는 공간화 시네마 오디오 경험을 생성하는 데 사용될 수 있는 종래의 공간화 시네마 오디오 시스템(502)을 상면도로 묘사한다. 공간화 시네마 오디오 시스템(502)은 시네마 경험을 위한 룸(예컨대, 영화 시어터 또는 홈 시네마 룸) 주위에 배치된 복수의 시네마 스피커들(506-1, 506-2, 506-3, 506-4)을 포함한다. 시네마 스피커들(506-1, 506-2, 506-3, 506-4)은, 각각의 시네마 스피커(506)가 특정 주파수(예컨대, 트위터들, 미드레인지 스피커들 및 서브우퍼들)에서 사운드를 생성하도록 최적화될 수 있도록 다양한 크기들의 종래의 전자다이내믹 스피커들일 수 있다.
[0095] 도 14에 묘사된 공간화 시네마 오디오 시스템(502)은 4개의 시네마 스피커들(506-1, 506-2, 506-3, 506-4)을 포함하지만, 다른 공간화 시네마 오디오 시스템들은 더 적거나 더 많은 시네마 스피커들을 가질 수 있다. 예컨대, 대형 영화 시어터들의 공간화 시네마 오디오 시스템들은 더 많은 시네마 스피커들을 가질 것이다. 도 14는 청취자의 머리(200) 주위에 비교적 균일하게 분산된 것으로 시네마 스피커들(506-1, 506-2, 506-3, 506-4)을 묘사하지만, 이는 단지 공간화 시네마 오디오 시스템(502)에 의해 생성된 오디오 필드의 중심에 포지셔닝된 청취자들에 대한 경우이다. 특히 대형 영화 시어터들에서, 청취자들은 오디오 필드의 중심으로부터 상당한 거리가 떨어져서 포지셔닝될 수 있다. 중심에서 벗어난 이러한 청취자들은 오디오 필드의 중심으로부터 떨어진 거리에 비례하는 왜곡 양으로 왜곡된 오디오 경험을 지각할 것이다.
[0096] 게다가, 종래의 공간화 시네마 오디오 시스템들은 AR/MR 디바이스들로 자신들의 시네마 경험을 증강시킬 수 있는 사용자들/청취자들의 머리 포즈를 고려하지 않는다. 그에 따라서, 종래의 공간화 시네마 오디오 시스템은 상이한 증강된 시네마 경험들을 가질 수 있는 복수의 사용자들/청취자들에 대한 오디오를 동시적으로 생성/제공할 수 없을 것이다.
[0097] 도 15는 또 다른 종래의 공간화 시네마 오디오 시스템(502)을 개략적으로 묘사한다. 공간화 시네마 오디오 시스템(502)은 복수의 시네마 스피커들(506-1, 506-2) 및 시네마 오디오 프로세서(536)를 포함한다. 시네마 오디오 프로세서(536)는 광섬유, 유선 리드들 및/또는 무선 연결성(214)에 의해 시네마 스피커들(506-1, 506-2)에 통신가능하게 커플링된다. 시네마 오디오 프로세서(536)는 시네마 오디오 소스 데이터를 수신하고 수신된 소스 데이터로부터 시네마 오디오 데이터를 생성한다. 시네마 오디오 프로세서(536)는 인터넷과 같은 네트워크를 통해 영화 스튜디오 또는 미디어 콘텐츠 분배기에 의해 유지되는 데이터베이스로부터 시네마 오디오 소스 데이터를 수신할 수 있다. 시네마 오디오 프로세서(536)는 영화가 상영되기 전에 또는 영화가 상영되는 동안 실시간으로 시네마 오디오 소스 데이터를 수신할 수 있다. 도 15에 도시된 공간화 시네마 오디오 시스템(502)은 2개의 시네마 스피커들(506-1, 506-2)을 포함하지만, 다른 공간화 시네마 오디오 시스템들은 더 적거나 더 많은 시네마 스피커들을 가질 수 있다.
개별 공간화 시네마 오디오 시스템
[0098] 도 16은 개별 공간화 시네마 오디오 경험을 생성하는 데 사용될 수 있는, 일 실시예에 따른 개별 공간화 시네마 오디오 시스템(500)을 상면도 묘사한다. 개별 공간화 시네마 오디오 경험은 도 12 및 도 13에 묘사된 것과 같은 종래의 공간화 시네마 오디오 경험의 많은 엘리먼트들을 포함한다. 게다가, 종래의 공간화 시네마 오디오 외에 개별 공간화 시네마 오디오 경험 레이어들은 사용자/청취자의 포지션, 배향 및 포즈를 고려한 개별 공간화 오디오 경험을 경험한다.
[0099] 개별 공간화 시네마 오디오 시스템(500)은 공간화 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)을 포함한다. 공간화 시네마 오디오 시스템(502)은 시네마 경험을 위한 룸(예컨대, 영화 시어터 또는 홈 시네마 룸) 주위에 배치된 복수의 시네마 스피커들(506-1, 506-2, 506-3, 506-4)을 포함한다. 공간화 시네마 오디오 시스템(502)은 도 14에 묘사되고 위에서 설명된 시스템(502)과 공통되는 소정의 양상을 갖는다. 이러한 시스템들 간의 차이들은 아래에 자세히 설명될 것이다.
[00100] 개인 공간화 오디오 시스템(202)은 청취자의 머리(200)에 착용된 것으로 도 16에 도시된다. 공간화 오디오 시스템(202)은 프레임(204), 및 프레임(204)에 부착된 4개의 개인 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)을 포함한다. 공간화 오디오 시스템 스피커(206-1)는, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-1)가 청취자의 머리(200)의 전방향(F) 및 왼쪽(L)에 있도록, 프레임(204)에 부착된다. 공간화 오디오 시스템 스피커(206-2)는, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-2)가 청취자의 머리(200)의 전방향(F) 및 오른쪽(R)에 있도록, 프레임(204)에 부착된다. 공간화 오디오 시스템 스피커(206-3)는, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-3)가 청취자의 머리(200)의 후방향(B) 및 왼쪽(L)에 있도록, 프레임(204)에 부착된다. 공간화 오디오 시스템 스피커(206-4)는, 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커(206-4)가 청취자의 머리(200)의 후방향(B) 및 오른쪽(R)에 있도록, 프레임(204)에 부착된다. 모든 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)은 청취자의 머리(200)쪽으로 지향된다. 개인 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)은 또한, 개인 공간화 오디오 시스템(202)이 청취자의 머리(200)에 착용될 때, 스피커들(206-1, 206-2, 206-3, 206-4)이 청취자의 머리(200)로부터 개개의 비-제로 거리들에 위치되도록, 프레임(204)에 부착된다.
[00101] 도 16에 묘사된 개별 공간화 시네마 오디오 시스템(500)에서의 시네마 스피커들(506) 및 개인 스피커들(206)의 배치는 개별 공간화 시네마 오디오의 생성 및 제공을 가능하게 한다. 예컨대, 시네마 스피커들(506)은, 모든 사용자들/청취자들에게 공통인 영화 사운드트랙 및 배경 오브젝트들 및 캐릭터들에 대응하는 시네마 오디오를 제공할 수 있다. 게다가, 개인 스피커들(206)은, 개인 공간화 오디오 시스템(202)(예컨대, AR/MR 시스템)을 착용하고 있는 특정 사용자/청취자에게만 제공되는 가상 오브젝트들에 대응하는 개인 오디오를 제공할 수 있다. 이러한 방식으로, 개별 공간화 시네마 오디오 경험은 각각의 사용자/청취자에 대해(예컨대, 그의 위치, 배향 및 머리 포즈에 대해) 맞춤화될 수 있다.
[00102] 개인 스피커들(206)이, 특정 사용자/청취자에게만 제공되는 가상 오브젝트들에 대응하는 개인 오디오를 제공하는 데 사용될 수 있기는 하지만, 개인 스피커들(206)로부터의 개인 오디오는, 영화 시어터에서 모든 사용자들/청취자들에게 제공되는, 영화 내의 오브젝트들 및 캐릭터들에 대응할 수 있다. 그러한 실시예들에서, 각각의 사용자/청취자의 개인 스피커들(206)로부터의 개인 오디오는 영화 오브젝트들 및 캐릭터들에 대응하는 시네마 오디오를 보충하거나 대체할 수 있다. 개인 오디오가 시네마 오디오를 보충하거나 대체하는 지에 상관없이, 개별 공간화 시네마 오디오 시스템(500)은 개인 오디오에 의해 보충되거나 대체되는 시네마 오디오의 부분들을 감소시키거나 제거하기 위해 활성 노이즈 감소 기법들을 이용할 수 있다. 이들 실시예들은 시네마 오디오 시스템 오디오 필드의 중심으로부터 변위된 사용자들/청취자들에 대한 시네마 오디오를 정확하게 생성하는 이슈를 해결할 수 있다.
[00103] 도 17은 도 16에 묘사된 개별 공간화 시네마 오디오 시스템(500)의 실시예의 상면도를 묘사한다. 그러나, 도 17에서, 사용자/청취자의 머리(200)는 그 위에 착용된 개인 공간화 오디오 시스템(202)과 함께 왼쪽으로 90°회전되었다. 이러한 구성에서, 개인 공간화 오디오 시스템(202)의 기준 프레임은 왼쪽으로 90° 회전되었다. 이로써, 사용자/청취자의 머리(200)의 오른쪽 측(R)은 시네마 스크린/디스플레이(408)를 향하고 있는 한편, 사용자/청취자의 머리(200)의 왼쪽 측(L)은 시어터의 뒷쪽을 향하고 있다.
[00104] 도 9 및 도 11에서 (그리고 아래에서) 묘사된 공간화 오디오 시스템(202)에 대해 상기 설명된 바와 같이, 개인 공간화 오디오 시스템(202)은 사용자들/청취자의 머리 포즈를 인식하고, 그 머리 포즈를 활용하여, 영화 (및/또는 다른 미디어) 및 사용자/청취자의 머리(200)의 포지션과 일치하는 개인 오디오를 생성 및 제공한다. 예컨대, 제2 가상 오디오 소스(402-2)(호른)에 대응하는 것과 같은, 개별 공간화 시네마 오디오 및 비디오 경험(400) 내의 사운드는, 오디오 소스가 청취자의 머리(200) 약간 위로 오른쪽에 위치되는 것으로(도 12 및 도 13 참조) 사용자/청취자가 지각하도록 제공되어야 한다. 도 16에 묘사된 개별 공간화 시네마 오디오 시스템(500)의 구성에서, 호른에 대응하는 사운드는 개인 공간화 오디오 시스템 스피커들(206-2, 206-4)에 의해 청취자의 머리(200)의 오른쪽 측에 생성될 수 있다. 다른 한편, 도 17에 묘사된 구성에서, 호른에 대응하는 사운드는 개인 공간화 오디오 시스템 스피커들(206-3, 206-4)에 의해 청취자의 머리(200)의 뒷쪽 측에 생성될 수 있다. 이러한 방식으로, 개별 공간화 시네마 오디오 시스템(500)은 각각의 사용자/청취자에 대한 공간화 시네마 오디오를 보다 정확하고 정밀하게 생성할 수 있다.
[00105] 도 16 및 도 17에 묘사된 개별 공간화 시네마 오디오 시스템(500)이 4개의 시네마 스피커들(506-1, 506-2, 506-3, 506-4) 및 4개의 개인 공간화 오디오 시스템 스피커들(206-1, 206-2, 206-3, 206-4)을 포함하지만, 다른 개별 공간화 시네마 오디오 시스템(500)은 더 적거나 더 많은 시네마 스피커들(506) 및 개인 공간화 오디오 시스템 스피커들(206)을 포함할 수 있다. 시네마 스피커들(506) 및 개인 공간화 오디오 시스템 스피커들(206)의 수, 타입, 포지션 및 배향은 사용자들/청취자들로의 개별 공간화 시네마 오디오의 제공을 최적화하도록 조정될 수 있다. 예컨대, 더 큰 시네마 스피커들(506)(예컨대, 서브우퍼들)은 저주파수 사운드들을 제공하는 데 사용될 수 있는 한편, 더 작은 개인 공간화 오디오 시스템 스피커들(206)은 고주파수 및 중간 주파수 사운드들을 제공하는 데 사용될 수 있다.
[00106] 도 18은 일 실시예에 따른 개별 공간화 시네마 오디오 시스템(500)을 개략적으로 묘사한다. 개별 공간화 시네마 오디오 시스템(500)은 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)을 포함한다.
[00107] 도 18에 묘사된 공간화 시네마 오디오 시스템(502)은 복수의 시네마 스피커들(506-1, 506-2) 및 시네마 오디오 프로세서(536)를 포함한다. 시네마 오디오 프로세서(536)는 유선 리드들 및/또는 무선 연결성(214)에 의해 시네마 스피커들(506-1, 506-2)에 통신가능하게 커플링된다. 시네마 오디오 프로세서(536)는 시네마 오디오 소스 데이터를 수신하고, 수신된 소스 데이터로부터 시네마 오디오 데이터를 생성한다. 시네마 오디오 프로세서(536)는, 이를테면 인터넷과 같은 네트워크를 통해, 영화 스튜디오 또는 미디어 콘텐츠 분배기에 의해 유지되는 데이터베이스로부터 시네마 오디오 소스 데이터를 수신할 수 있다. 시네마 오디오 프로세서(536)는, 영화가 상영되기 전에 또는 영화가 상영되는 동안 실시간으로 시네마 오디오 소스 데이터를 수신할 수 있다. 도 18에 묘사된 공간화 시네마 오디오 시스템(502)은 2개의 시네마 스피커들(506-1, 506-2)을 포함하지만, 다른 공간화 시네마 오디오 시스템들은 더 적거나 더 많은 시네마 스피커들을 가질 수 있다.
[00108] 도 18에 묘사된 개인 공간화 오디오 시스템(202)은, 유선 리드 및/또는 무선 연결성(214)을 통해 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링된 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)을 포함한다. 개인 공간화 오디오 시스템(202)은 또한, 유선 리드 및/또는 무선 연결성(214)을 통해 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링된 머리 포즈 센서(232)를 포함한다. 머리 포즈 센서(232)는 청취자/사용자의 머리 포즈 데이터를 수집하도록 구성된다. 머리 포즈 센서(232)는 이미지 캡처 디바이스들(이를테면, 가시 광 및 적외선 광 카메라들), 관성 측정 유닛들(가속도계들 및 자이로스코프들을 포함함), 컴퍼스들, 마이크로폰들, GPS 유닛들, 또는 라디오 디바이스들 중 하나 이상을 포함할 수 있다. 도 18에 묘사된 개인 공간화 오디오 시스템(202)은 단지 2개의 공간화 오디오 시스템 스피커들(206-1, 206-2)을 포함하지만, 다른 실시예들에 따른 공간화 오디오 시스템들은 더 많은 스피커들을 포함할 수 있다.
[00109] 개인 공간화 오디오 시스템(202)은 적어도 머리 포즈 센서(232)에 의해 수집된 머리 포즈 데이터에 기반하여 개인 공간화 오디오 시스템(202)을 착용하고 있는 청취자/사용자의 머리 포즈를 결정하기 위한 머리 포즈 프로세서(234)를 더 포함한다. 본 출원에서 사용되는 바와 같이, "머리 포즈 프로세서"는, 범용 컴퓨터가 머리 포즈를 결정할 수 있기 전에 그러한 범용 컴퓨터에 부가되어야 하는, 컴퓨터의 하나 이상의 별개의 그리고 독립적인 소프트웨어 및/또는 하드웨어 컴포넌트들, 및 그러한 컴포넌트들이 부가된 컴퓨터들을 포함(그러나 이에 제한되지 않음)한다.
[00110] 개인 공간화 오디오 시스템(202)은 적어도 머리 포즈 프로세서(234)에 의해 결정된 머리 포즈에 기반하여 개인 공간화 오디오 시스템(202)을 착용하고 있는 청취자/사용자에게 전달될 공간화 오디오에 대한 공간화 오디오 데이터를 생성하기 위한 공간화 오디오 프로세서(236)를 더 포함한다. 생성된 공간화 오디오 데이터는 공간화 사운드 필드 내의 각각의 가상 오디오 소스에 대한 콘텐츠, 포지션, 배향 및 볼륨 데이터를 포함할 수 있다. 본 출원에서 사용되는 바와 같이, "오디오 프로세서"는 컴퓨터가 공간화 오디오 데이터를 생성할 수 있기 전에 범용 컴퓨터에 부가되어야 하는, 컴퓨터의 하나 이상의 별개의 그리고 독립적인 소프트웨어 및/또는 하드웨어 컴포넌트들, 및 그러한 컴포넌트들이 부가된 컴퓨터들을 포함(그러나 이에 제한되지 않음)한다. 공간화 오디오 프로세서(234)는 또한, 공간화 오디오를 청취자/사용자에게 전달하기 위해, 공간화 오디오 데이터에 기반하여 복수의 공간화 오디오 시스템 스피커들(206-1, 206-2)에 대한 오디오 신호들을 생성할 수 있다.
[00111] 게다가, 개인 공간화 오디오 시스템(202)은 개인 공간화 오디오 시스템(202)에 의해 제공된 개인 오디오를 시네마 오디오 시스템(502)에 의해 제공된 시네마 오디오에 일시적으로 동기화시키기 위한 동기화 모듈(244)을 포함한다. 이 시간적 동기화는 개인 오디오 콘텐츠가 시네마 오디오 콘텐츠를 따름을 보장한다.
[00112] 도 18에 묘사된 개별 공간화 시네마 오디오 시스템(500) 내의 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)은 개인 시네마 시스템 링크(550)를 통해 동작가능하게 그리고 통신가능하게 커플링된다. 소정의 실시예들에 따르면, 개별 공간화 시네마 오디오 시스템(500)은 시네마 오디오 시스템(502)으로부터 개인 공간화 오디오 시스템(202)으로의 일방향 통신을 포함한다. 일방향 통신은 개인 공간화 오디오 시스템(202)이 (1) 시네마 오디오 시스템(502)에 의해 제공된 시네마 미디어(예컨대, 영화)를 식별할 수 있게 하고, (2) 개인 미디어(예컨대, 청취자/사용자에 특정적인 사운드)를 시네마 미디어에 동기화시킬 수 있게 한다. 이로써, 일부 타입의 타이밍 정보는 개별 공간화 시네마 오디오 시스템(500)을 구현하는데 유용하다.
[00113] 도 18에 도시된 실시예에서의 개인 시네마 시스템 링크(550)는 양방향 통신 링크이다. 예컨대, 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)은 Wi-Fi(IEEE 802.11x), 블루투스 및 근거리 통신들을 포함(그러나 이에 제한되지 않음)하는 무선 연결에 의해 동작가능하게 그리고 통신가능하게 커플링될 수 있다. 양방향 통신은 시네마 오디오 시스템(502)이 개인 공간화 오디오 시스템(202)으로 미디어 정보(552)(예컨대, 미디어에 대한 메타데이터)를 전송할 수 있게 하고, 개인 공간화 오디오 시스템(202)이 시네마 오디오 시스템(502)으로 사용자/청취자 정보(554)를 전송할 수 있게 한다.
[00114] 미디어 정보(552)는 미디어 식별 정보 및/또는 타이밍 정보를 포함할 수 있다. 미디어 식별 정보는 명칭, EIDR 넘버 및/또는 다른 디지털 오브젝트 식별자를 포함할 수 있다. 타이밍 정보는 시간 코드 및/또는 큐를 포함할 수 있다. 예시적인 시간 코드는 UDP 패킷 내의 SMPTE 시간 코드 또는 MIDI 시간 코드이다. 미디어 식별 정보는 미디어 식별 정보를 수신하는 개인 공간화 오디오 시스템(202)이 시네마 오디오 시스템(502)에 의해 제공된 시네마 오디오 콘텐츠를 보충하는 개인 오디오 콘텐츠를 사용자/청취자에게 전달할 수 있게 한다. 타이밍 정보는 개인 오디오 콘텐츠가 시네마 오디오 콘텐츠를 따르도록, 개별 시네마 오디오 시스템(500)이 개인 공간화 오디오 시스템(202)을 시네마 오디오 시스템(502)과 동기화시킬 수 있게 한다.
[00115] 사용자/청취자 정보(554)는 미디어에 대한 사용자/청취자 반응에 관련된 정보를 포함할 수 있다. 이러한 반응 정보는 (예컨대, UI를 통해) 수동으로 입력되거나 자동으로 수집될 수 있다(예컨대, 레코딩된 눈 움직임들 및/또는 사운드들, 이를테면 비명들). 사용자/청취자 정보(554)는 또한, 미디어와 관련된 애플리케이션과의 사용자/청취자의 상호작용에 관련된 정보를 포함할 수 있다. 이러한 애플리케이션의 예는 영화(즉, 미디어)에 기반하여 사용자/청취자의 모바일 폰 상에서 실행되는 게임 애플리케이션이다. 사용자/청취자 정보(554), 이를테면 게임 애플리케이션으로부터의 것은 개별 시네마 오디오 시스템(500)이 아래에서 설명되는 바와 같이, 특정 사용자/청취자에 대한 개인 오디오 콘텐츠를 개인화하는 것을 도울 수 있다.
[00116] 다른 실시예들, 이를테면 도 19 및 도 20에 묘사된 개별 공간화 시네마 오디오 시스템(500)에서, 개인 시네마 시스템 링크(550)는 (시네마 오디오 시스템(502)으로부터 개인 공간화 오디오 시스템(202)으로의) 일방향 통신 링크이다. 예컨대, 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)은 시네마 시스템(예컨대, 시네마 오디오 시스템(502))에 의해 생성되고 개인 공간화 오디오 시스템(202)에 의해 인식된 하나 이상의 광학 및/또는 오디오 큐들에 의해 동작가능하게 그리고 통신가능하게 커플링될 수 있다.
[00117] 오디오 및/또는 광학 큐들은 미디어 식별 정보 및 타이밍 정보 둘 모두를 통신할 수 있다. 오디오 큐들은 특정 오디오 큐들(예컨대, 영화 사운드트랙 이외의 음파들) 또는 오디오 미디어(예컨대, 영화 사운드트랙) 자체를 포함할 수 있다. 개인 오디오 시스템(202)이 특정 오디오 큐를 검출하고 인식할 수 있는 한, 특정 오디오 큐는 인간들에게 들리거나 들리지 않을 수 있다. 특정 오디오 큐는 미디어 정보(552)(예컨대, 미디어 식별 정보 및/또는 타이밍 정보)로 인코딩된 오디오일 수 있다. 특정 오디오 큐들은 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)의 시간적 동기화를 가능하게 하도록, 알려진 인터벌들로 반복될 수 있다.
[00118] 동기화 인터벌들은 시스템 성능에 따라 변경될 수 있다. 예컨대, 시네마 오디오 시스템(502) 타이밍 및 개인 공간화 오디오 시스템(202) 타이밍이 고정 범위(예컨대, 1ms) 내에 있다면, 동기화 인터벌이 증가될 수 있다. 다른 한편으로는, 타이밍이 벗어나고 있다면, 동기화 인터벌이 감소될 수 있다.
[00119] 특정 오디오 큐들은, 대부분의 시청자들/사용자들에 의해 인식되지 않도록 짧은 시간 동안 하나 이상의 시네마 스피커들을 통해 플레이될 수 있는 사운드들일 수 있다. 이러한 실시예들에서, 개인 오디오 시스템(202)은 도 19에 도시된 바와 같이, 사운드들을 검출하기 위한 오디오 센서(240)(예컨대, 마이크로폰)를 포함한다. 오디오 센서(240)는 이를테면, 유선 리드 및/또는 무선 연결성(214)에 의해 개인 공간화 오디오 시스템(202)의 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링된다. 사운드들은 개인 오디오 시스템(202) 내의 대응하는 오디오 센서들(240)로, 일반 사용자에게 들리거나 들리지 않을 수 있다.
[00120] 오디오 큐가 오디오 미디어 자체를 포함하는 실시예들에서, 오디오 미디어(예컨대, 영화 사운드트랙)는, 샘플 오디오 데이터 패킷과 연관된 미디어를 식별하기 위해 데이터베이스(예컨대, 영화 사운드트랙 오디오 데이터 패킷들의 데이터베이스) 내의 복수의 기준 오디오 데이터 패킷들과 비교되는 토널 클러스터들로 이루어진 샘플 오디오 데이터 패킷으로서 큐 인식 시스템에 의해 검출될 수 있다. 샘플 오디오 데이터 패킷이 기준 오디오 데이터 패킷과 매칭할 때, 개인 오디오 시스템(202)은 샘플 오디오 데이터 패킷과 연관된 미디어 제품(예컨대, 영화)을 식별한다.
[00121] 기준 오디오 데이터 패킷들의 데이터베이스는 개개의 기준 오디오 데이터 패킷과 각각 연관된 복수의 식별자들을 포함할 수 있다. 각각의 식별자는 영화 사운드트랙 내의 개개의 시간 및/또는 식별자와 연관된 기준 오디오 데이터 패킷 다음의 기준 오디오 데이터 패킷들의 시퀀스에 대응할 수 있다. 개별 시네마 오디오 시스템(500)은, 오디오 미디어를 스캔하고 그 오디오 미디어에서 복수의 기준 오디오 데이터 패킷들(예컨대, 토널 클러스터들)을 식별하도록 구성된 기준 오디오 데이터 패킷 데이터베이스 구축자를 포함할 수 있다. 다른 실시예들에서, 기준 오디오 데이터 패킷 데이터베이스 구축자는 네트워크(예컨대, 인터넷)를 통해 기준 오디오 데이터 패킷 데이터베이스에 액세스하는 개별 시네마 오디오 시스템(500)과는 별개이다.
[00122] 유사한 방식으로, 개인 오디오 시스템(202)은 샘플 오디오 데이터 패킷과 연관된 식별된 미디어 제품(예컨대, 영화)에서 시간(예컨대, 시간 코드)를 식별하기 위해 샘플 오디오 데이터 패킷을 데이터베이스의 복수의 기준 오디오 데이터 패킷들과 매칭시킬 수 있다. 샘플 오디오 데이터 패킷이 기준 오디오 데이터 패킷에 매칭할 때, 개인 오디오 시스템(202)은 미디어 제품(예컨대, 영화)에서 시간(예컨대, 시간 코드)을 식별한다. 미디어 제품에서 시간을 식별하기 위해 샘플 오디오 데이터 패킷을 기준 오디오 데이터 패킷에 매칭시키는 것은 미디어 제품을 식별하는 것과 동시에 또는 미디어 제품이 식별된 후에 발생할 수 있다. 후자의 경우, 개인 오디오 시스템(202)은 시스템 효율성을 개선하기 위해, 샘플 오디오 데이터 패킷을, 이미 식별된 미디어 제품에 특정적인 복수의 기준 오디오 데이터 패킷들과 비교할 수 있다. 오디오 데이터 패킷들은 알려진 인터벌들로 반복적으로 샘플링 및 식별되어, 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)의 시간적 동기화를 가능하게 할 수 있다. 반복된 오디오 데이터 패킷 식별은 시스템 효율성을 개선하기 위해, 예측된 매칭하는 오디오 패킷 데이터들을 활용하고 그로부터 전방향으로 및/또는 후방향으로 전진할 수 있다.
[00123] 오디오 큐들과 같이, 광학 큐들은 특정 광학 큐들(예컨대, 영화 이외의 이미지들) 또는 광학 미디어(예컨대, 영화) 자체를 포함할 수 있다. 광학 큐들은 시네마 광학 시스템에 의해 제공될 수 있다. 특정 광학 큐는, 개인 오디오 시스템(202)이 특정 광학 큐를 검출 및 인식할 수 있는 한, 인간들에게 보이거나 보이지 않을 수 있다. 특정 광학 큐는 미디어 정보(552)(예컨대, 미디어 식별 정보 및/또는 타이밍 정보)로 인코딩된 하나 이상의 이미지들일 수 있다. 특정 광학 큐들은 알려진 인터벌들로 반복되어, 시네마 오디오 시스템(502) 및 개인 공간화 오디오 시스템(202)의 시간적 동기화를 가능하게 할 수 있다.
[00124] 특정 광학 큐들은 대부분의 시청자들/사용자들에 의해 인식되지 않도록 짧은 시간 동안 스크린 상에 디스플레이될 수 있는 “워터마크들”일 수 있다. 이러한 실시예들에서, 개인 오디오 시스템(202)은 도 20에 도시된 바와 같이, 워터마크들을 검출하기 위한 광학 센서(242)를 포함한다. 광학 센서(240)는 이를테면 유선 리드 및/또는 무선 연결성(214)에 의해, 개인 공간화 오디오 시스템(202)의 로컬 프로세싱 및 데이터 모듈(216)에 동작가능하게 커플링된다. 워터마크들은 개인 오디오 시스템(202)의 대응하는 광학 센서들(240)로, 가시 광 또는 비가시(예컨대, 적외선) 광을 사용하여 제공될 수 있다.
[00125] 광학 큐가 광학 미디어 자체를 포함하는 실시예들에서, 광학 미디어(예컨대, 영화)는 샘플 광학 데이터 패킷으로서 큐 인식 시스템에 의해 검출될 수 있고, 이는, 샘플 광학 데이터 패킷과 연관된 미디어를 식별하기 위해 데이터베이스(예컨대, 영화 이미지 광학 데이터 패킷들의 데이터베이스)의 복수의 기준 광학 데이터 패킷들에 비교된다. 샘플 광학 데이터 패킷이 기준 광학 데이터 패킷에 매칭할 때, 개인 오디오 시스템(202)은 샘플 광학 데이터 패킷과 연관된 미디어 제품(예컨대, 영화)을 식별한다.
[00126] 유사한 방식으로, 개인 오디오 시스템(202)은 샘플 광학 데이터 패킷과 연관된 식별된 미디어 제품(예컨대, 영화)에서 시간(예컨대, 시간 코드)을 식별하기 위해 샘플 광학 데이터 패킷을 데이터베이스의 복수의 기준 광학 데이터 패킷들과 매칭시킬 수 있다. 샘플 광학 데이터 패킷이 기준 광학 데이터 패킷에 매칭할 때, 개인 오디오 시스템(202)은 미디어 제품(예컨대, 영화)에서 시간(예컨대, 시간 코드)을 식별한다. 미디어 제품에서 시간을 식별하기 위해 샘플 광학 데이터 패킷을 기준 광학 데이터 패킷에 매칭시키는 것은 미디어 제품을 식별하는 것과 동시에 또는 미디어 제품이 식별된 후에 발생할 수 있다. 후자의 경우, 개인 오디오 시스템(202)은 시스템 효율성을 개선하기 위해, 샘플 광학 데이터 패킷을, 이미 식별된 미디어 제품에 특정적인 복수의 기준 광학 데이터 패킷들과 비교할 수 있다. 광학 데이터 패킷들은 알려진 인터벌들로 반복적으로 샘플링 및 식별되어, 시네마 광학 시스템(502) 및 개인 공간화 광학 시스템(202)의 시간적 동기화를 가능하게 할 수 있다. 반복된 광학 데이터 패킷 식별은 시스템 효율성을 개선하기 위해, 예측된 매칭하는 광학 패킷 데이터들을 활용하고 그로부터 전방향으로 및/또는 후방향으로 전진할 수 있다.
[00127] 개인 시네마 시스템 링크(550)가 양방향 통신 링크이든 또는 일방향 통신 링크이든, 시네마 오디오 시스템(502)은 도 19 및 도 20에 도시된 바와 같이, 미디어 정보(552)(예컨대, 미디어 식별 정보 및 타이밍 정보)를 개인 시네마 시스템 링크(550)를 통해 개인 공간화 오디오 시스템(202)에 전송할 수 있다.
[00128] 다양한 실시예들에 따른 개인화 공간화 오디오 시스템(202) 및 개별 시네마 오디오 시스템(500)의 다양한 양상들을 설명했으며, 이제 공간화 오디오 시스템들(예컨대, 202) 및 개별 시네마 오디오 시스템들(예컨대, 500)을 사용하여 개인화 공간화 오디오 및 개별 시네마 오디오를 제공하기 위한 방법이 설명될 것이다.
[00129] 도 21은 일 실시예에 따른 개인화 공간화 오디오 시스템을 활용하여 공간화 오디오를 제공하는 방법(600)을 묘사한다. 개인화 공간화 오디오 시스템(202)은 예컨대, 도 9, 도 11 및 도 18-20에 도시된 바와 같이, 머리 포즈 센서(232), 머리 포즈 프로세서(234), 공간화 오디오 프로세서(236) 및 개인 공간화 오디오 시스템 스피커들(206)을 포함할 수 있다.
[00130] 단계(602)에서, 개인화 공간화 오디오 시스템(202)은 선택적으로 소스 오디오 데이터를 수신한다. 소스 오디오 데이터는 개인화 공간화 오디오 시스템(202)의 스피커들(206)을 통해 사용자/청취자에게 전달되도록 의도된 사운드에 대응한다. 소스 오디오 데이터는 유선 또는 무선 연결을 통해 데이터베이스로부터 수신될 수 있다. 대안적으로, 소스 오디오 데이터는 이전에 수신되고 개인화 공간화 오디오 시스템(202) 상에 저장될 수 있다. 개인화 공간화 오디오 시스템(202)은, 스피커들(206)에 의해 제공되는 사운드가 사용자/청취자의 머리 포즈에 따르도록 소스 오디오 데이터를 수정한다. (현재 머리 포즈에 의해 수정된) 사용자의 머리와 가상 사운드 소스 간의 상대적인 좌표들(각도 좌표들을 포함함)은, 모노 채널 오디오를 프로세싱하여 스피커들(206)을 통해 출력되는 왼쪽 및 오른쪽 측 공간화 오디오 채널들을 제공하기 위해 사용될 수 있는 대응하는 HRTF(Head Related Transfer Function)를 선택하기 위해 사용될 수 있다.
[00131] 단계(604)에서, 개인화 공간화 오디오 시스템(202)은 포즈 데이터(예컨대 머리 포즈 센서(232)를 통한 머리 포즈 데이터)를 수집한다. 머리 포즈 센서(232)는 이미지 캡처 디바이스들(이를테면 가시 광 및 적외선 광 카메라들), 관성 측정 유닛들(가속도계들 및 자이로스코프들을 포함함), 컴퍼스들, 마이크로폰들, GPS 유닛들 및 라디오 디바이스들 중 하나 이상을 포함할 수 있다. 머리 포즈 센서(232)는 이미지들, 가속도 및 자이로스코픽 정보, 컴퍼스 정보, 사운드들, GPS 정보 및 라디오 송신들 중 하나 이상의 형태로 머리 포즈 데이터를 수집할 수 있다. 이러한 데이터 모두는 사용자/청취자의 머리 포즈를 결정하기 위해 사용될 수 있다.
[00132] 단계(606)에서, 개인화 공간화 오디오 시스템(202)(예컨대, 머리 포즈 프로세서(234))는 개인화 공간화 오디오 시스템(202)을 현재 착용하고 있는 사용자/청취자의 포즈(예컨대, 머리 포즈)를 결정한다. 머리 포즈 프로세서(234)에 의해 수행되는 계산들은 (예컨대, 머리 포즈 센서(232)를 통해) 수집된 포즈 데이터의 타입(들)에 따라 변한다.
[00133] 단계(608)에서, 개인화 공간화 오디오 시스템(202)(예컨대, 오디오 프로세서(236))는 소스 오디오 데이터 및 사용자/청취자의 결정된 포즈로부터 공간화 오디오 데이터를 생성한다. 예컨대, 사용자/청취자의 머리는 도 17에 도시된 바와 같이 왼쪽으로 돌려지고, 개인화 공간화 오디오 시스템(202)은, 가상 오브젝트로부터 사용자/청취자의 왼쪽으로 가상으로 나오는 사운드들이 사용자/청취자의 머리의 전방으로부터 발생하는 것으로 보이도록 공간화 오디오 데이터를 생성할 것이다. 공간화 오디오 데이터는 또한, 사용자/청취자의 머리의 요(yaw) 외에도 피치(pitch) 및 롤(roll)을 고려하도록 생성될 수 있다. 추가로, 공간화 오디오 데이터는 사용자/청취자의 머리로부터 가상 사운드 소스들의 가상 거리를 고려하도록 생성될 수 있다.
[00134] 단계(610)에서, 개인화 공간화 오디오 시스템(202)(예컨대, 스피커들(206))은 공간화 오디오 데이터에 기반하여 사운드를 제공한다. 스피커들(206)의 구성들, 이를테면 도 2 내지 도 8에 도시된 구성들은 3개의 축들(예컨대, X, Y, 및 Z 축들)을 따라 가변하는 사운드(예컨대, 공간화 오디오)의 제공을 가능하게 한다.
[00135] 도 22는 일 실시예에 따른, 개별 시네마 오디오의 컴포넌트들을 동기화시키고, 개별 시네마 오디오 시스템을 활용하는 개별 시네마 오디오를 제공하는 방법(700)을 묘사한다. 개별 시네마 오디오 시스템(500)은, 예컨대 도 18 내지 도 20에 도시된 바와 같이, 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)을 포함할 수 있다. 개인화 공간화 오디오 시스템(202)은 머리 포즈 센서(232), 머리 포즈 프로세서(234), 공간화 오디오 프로세서(236), 동기화 모듈(244) 및 개인 공간화 오디오 시스템 스피커들(206)을 포함한다. 시네마 오디오 시스템(502)은 시네마 프로세서(536) 및 시네마 스피커들(506)을 포함한다. 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)은, 양방향 링크(도 18) 또는 일방향 링크(도 19 및 도 20)일 수 있는 개인 시네마 시스템 링크(550)에 의해 동작가능하게 커플링된다.
[00136] 단계(702)에서, 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)은 선택적으로 연결된다. 이러한 단계는 전형적으로 양방향 링크들(550), 이를테면 Wi-Fi(IEEE 802.11x), 블루투스, 및 근거리 통신들을 포함(그러나 이에 제한되지 않음)하는 무선 연결을 이용하여 발생한다. 양방향 링크들(550)을 이용한 실시예들에서, 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)은, 인증(예컨대, Wi-Fi 패스워드)을 수반할 수 있는 핸드셰이크 프로토콜을 사용하여 연결될 수 있다. 동기화 모듈(244)이 이러한 연결에 기여할 수 있다.
[00137] 단계(704)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은 시네마 오디오 시스템(502)으로부터 미디어 식별 정보를 수신한다. 미디어 식별 정보는 명칭, EIDR 넘버, 및/또는 다른 디지털 오브젝트 식별자를 포함할 수 있다. 미디어 식별 정보는 미디어 식별 정보를 수신하는 개인 공간화 오디오 시스템(202)이 시네마 오디오 시스템(502)에 의해 제공된 시네마 오디오 콘텐츠를 보충하는 개인 오디오 콘텐츠를 사용자/청취자에게 전달할 수 있게 한다. 미디어 식별 정보는 (예컨대, 양방향 링크(550)를 통해) 시네마 오디오 시스템(502)으로부터 개인 공간화 오디오 시스템(202)으로 통신될 수 있다.
[00138] 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)이 연결되지 않는 실시예들에서, 미디어 식별 정보는 또한, 오디오 큐들, 이를테면 특정 오디오 큐들(예컨대, 영화 사운드트랙 이외의 음파들) 또는 오디오 미디어(예컨대, 영화 사운드트랙) 그 자체를 사용하여 통신될 수 있다. 추가로, 미디어 식별 정보는 또한, 광학 큐들, 이를테면 특정 광학 큐들(예컨대, 영화 이외의 이미지들) 또는 광학 미디어(예컨대, 영화) 그 자체를 사용하여 통신될 수 있다.
[00139] 단계(706)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은 수신된 미디어 식별 정보를 분석함으로써 미디어를 식별한다. 미디어를 식별하기 위해, 공간화 오디오 프로세서(236)는 단순히 명칭, EIDR 넘버, 및/또는 다른 디지털 오브젝트 식별자를 판독할 수 있다. 대안적으로, 공간화 오디오 프로세서(236)는 미디어 식별 정보를 알려진 세트의 데이터(예컨대, 특정 오디오/광학 큐들)와 비교할 수 있다. 큐가 미디어 그 자체를 포함하는 실시예들에서, 미디어(예컨대, 영화 사운드트랙 또는 영화)는 샘플 데이터 패킷으로서 큐 인식 시스템에 의해 검출될 수 있으며, 샘플 데이터 패킷은 그 샘플 데이터 패킷과 연관된 미디어를 식별하기 위해 데이터베이스(예컨대, 영화 사운드트랙 오디오 데이터 패킷들의 데이터베이스 또는 영화 이미지 광학 데이터 패킷들의 데이터베이스)의 복수의 기준 데이터 패킷들과 비교된다. 샘플 데이터 패킷이 기준 데이터 패킷과 매칭할 때, 개인 오디오 시스템(202)은 샘플 데이터 패킷과 연관된 미디어 제품(예컨대, 영화)을 식별한다.
[00140] 단계(708)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은 시네마 오디오 시스템(502)으로부터 타이밍 정보를 수신한다. 타이밍 정보는 시간 코드 및/또는 큐를 포함할 수 있다. 타이밍 정보는, 개인 오디오 콘텐츠가 시네마 오디오 콘텐츠에 따르도록 개별 시네마 오디오 시스템(500)이 개인 공간화 오디오 시스템(202)을 시네마 오디오 시스템(502)과 동기화시킬 수 있게 한다. 타이밍 정보는 (예컨대, 양방향 링크(550)를 통해) 시네마 오디오 시스템(502)으로부터 개인 공간화 오디오 시스템(202)으로 통신될 수 있다.
[00141] 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)이 연결되지 않는 실시예들에서, 타이밍 정보는 또한, 오디오 큐들, 이를테면 특정 오디오 큐들(예컨대, 영화 사운드트랙 이외의 음파들) 또는 오디오 미디어(예컨대, 영화 사운드트랙) 그 자체를 사용하여 통신될 수 있다. 추가로, 타이밍 정보는 또한, 광학 큐들, 이를테면 특정 광학 큐들(예컨대, 영화 이외의 이미지들) 또는 광학 미디어(예컨대, 영화) 그 자체를 사용하여 통신될 수 있다.
[00142] 단계(710)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은 수신된 타이밍 정보를 분석함으로써 미디어의 시간을 식별한다. 시간을 식별하기 위해, 공간화 오디오 프로세서(236)는 단순히 시간 코드를 판독할 수 있다. 대안적으로, 공간화 오디오 프로세서(236)는 타이밍 정보를 알려진 세트의 데이터(예컨대, 특정 오디오/광학 큐들)와 비교할 수 있다. 큐가 미디어 그 자체를 포함하는 실시예들에서, 미디어(예컨대, 영화 사운드트랙 또는 영화)는 샘플 데이터 패킷으로서 큐 인식 시스템에 의해 검출될 수 있으며, 샘플 데이터 패킷은 그 샘플 데이터 패킷과 연관된 미디어를 식별하기 위해 데이터베이스(예컨대, 영화 사운드트랙 오디오 데이터 패킷들의 데이터베이스 또는 영화 이미지 광학 데이터 패킷들의 데이터베이스)의 복수의 기준 데이터 패킷들과 비교된다. 샘플 데이터 패킷이 기준 데이터 패킷과 매칭할 때, 개인 오디오 시스템(202)은 샘플 데이터 패킷과 연관된 미디어 제품(예컨대, 영화)을 식별한다. 개인 오디오 시스템(202)은 시스템 효율성을 개선시키기 위해, 이미 식별된 미디어에 특정적인 복수의 기준 데이터 패킷들과 샘플 데이터 패킷을 비교할 수 있다.
[00143] 단계(712)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은, 미디어의 식별된 시간 및 개인화 오디오의 알려진 시간을 사용하여 개인화 오디오 데이터와 시네마 오디오 데이터(즉, 개인화 공간화 오디오 시스템(202)과 시네마 오디오 시스템(502))를 동기화시킨다. 개인화 오디오 데이터와 시네마 오디오 데이터를 동기화시키는 것은, 개인 오디오 콘텐츠가 시네마 오디오 콘텐츠에 따르는 것을 보장한다. 예컨대, 개인 오디오 콘텐츠가 심포니를 연주하는 오케스트라이고 시네마 오디오 콘텐츠가 심포니의 베이스 부분이면, 개인화 오디오 데이터와 시네마 오디오 데이터를 동기화시키는 것은, 베이스 부분이 시네마 오디오 시스템(502)의 더 큰 스피커들(506)을 통해 전달되고 심포니의 나머지가 개인 공간화 오디오 시스템(202)의 더 작은 스피커들(206)을 통해 전달되는 것을 보장한다.
[00144] 단계(714)에서, 개별 시네마 오디오 시스템(500)(예컨대, 공간화 오디오 시스템(202)의 공간화 오디오 시스템 스피커들(206) 및 시네마 오디오 시스템(502)의 시네마 스피커들(206))은 동기화된 개인 오디오 데이터 및 시네마 오디오 데이터에 대응하는 오디오/사운드(예컨대, 개인화 오디오 및 시네마 오디오)를 제공한다. 개별 시네마 오디오 시스템(500)은 개인 오디오 데이터 및 시네마 오디오 데이터를 디지털-아날로그 변환기 및 증폭기를 통해 오디오/사운드로서 렌더링할 수 있다.
[00145] 도 22에 도시되지 않았지만, 시간 코드들 및/또는 데이터 패킷들은 시네마 오디오 데이터와 개인 공간화 오디오 데이터의 시간적 동기화를 용이하게 하기 위해, 알려진 인터벌들로 반복적으로 샘플링 및 식별될 수 있다. 반복되는 데이터 패킷 식별은 예측된 매칭 데이터 패킷들을 활용하고, 그들로부터의 전방향 및/또는 후방향으로 전진시켜 시스템 효율성을 개선시킬 수 있다.
[00146] 미디어 제품의 시간을 식별하기 위해 샘플 데이터 패킷을 기준 데이터 패킷과 매칭시키는 것은, 미디어 제품이 식별된 이후(도 22) 또는 미디어 제품을 식별하는 것과 동시에 발생할 수 있다. 예컨대, 도 23은 다른 실시예에 따른, 개별 시네마 오디오 시스템을 활용하여 개별 시네마 오디오를 제공하는 방법(700')을 묘사한다. 도 23에 묘사된 방법(700')의 단계들(702, 712 및 714)은 도 22에 묘사된 방법(700)의 대응하는 단계들과 동일하다.
[00147] 방법들(700, 700') 간의 하나의 차이는, 방법(700)으로부터의 단계들(704 및 708)이 방법(700')의 새로운 단계(704')로 정리된다는 것이다. 단계(704')에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은 시네마 오디오 시스템(502)으로부터 미디어 식별 정보 및 타이밍 정보를 수신한다. 미디어 식별 정보 및 타이밍 정보의 수신에 관한 세부사항들은 방법(700)으로부터의 단계들(704 및 708)에 대해 위에서 설명된 것들과 유사하다. 하나의 차이는, 식별 정보와 타이밍 정보 둘 모두가 동일한 큐를 사용하여 송신될 수 있다는 것이다.
[00148] 방법들(700, 700') 간의 다른 차이는, 방법(700)으로부터의 단계들(706 및 710)이 방법(700')의 새로운 단계(706')로 정리된다는 것이다. 단계(706')에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202)의 동기화 모듈(244))은, 수신된 미디어 식별 정보 및 타이밍 정보를 분석함으로써, 미디어 및 미디어에서의 시간을 식별한다. 미디어 및 미디어에서의 시간의 식별에 관한 세부사항들은 방법(700)으로부터의 단계들(706 및 710)에 대해 위에서 설명된 것들과 유사하다. 하나의 차이는, 큐가 미디어 자체를 포함하는 실시예들의 경우, 미디어(예컨대, 영화 사운드트랙 또는 영화)가 샘플 데이터 패킷으로서 큐 인식 시스템에 의해 검출될 수 있다는 것이며, 이 샘플 데이터 패킷은, 샘플 데이터 패킷과 연관된 미디어 및 이 미디어에서의 시간을 식별하기 위해, 데이터베이스(예컨대, 영화 사운드트랙 오디오 데이터 패킷들의 데이터베이스, 또는 영화 이미지 광학 데이터 패킷들의 데이터베이스) 내의 복수의 기준 데이터 패킷들과 비교된다.
[00149] 도 24는 일 실시예에 따른 개별 시네마 오디오 시스템을 활용하여 수정된 시네마 오디오를 제공하는 방법(800)을 묘사한다. 개별 시네마 오디오 시스템(500)은, 예컨대, 도 18에 도시된 바와 같이, 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)을 포함할 수 있다. 개인화 공간화 오디오 시스템(202)은 머리 포즈 센서(232), 머리 포즈 프로세서(234), 공간화 오디오 프로세서(236), 동기화 모듈(244) 및 개인 공간화 오디오 시스템 스피커들(206)을 포함한다. 시네마 오디오 시스템(502)은 시네마 프로세서(536) 및 시네마 스피커들(506)을 포함한다. 개인화 공간화 오디오 시스템(202)과 시네마 오디오 시스템(502)은 양방향 개인 시네마 시스템 링크(550)에 의해 동작가능하게 커플링된다.
[00150] 단계(802)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202))은 사용자/청취자 정보를 수집한다. 사용자/청취자 정보(554)는 미디어에 대한 사용자/청취자 반응에 관련된 정보를 포함할 수 있다. 그러한 반응 정보는 (예컨대, UI를 통해) 수동으로 입력되거나, 또는 자동으로 수집(예컨대, 눈 움직임들 및/또는 사운드들, 이를테면 비명들이 레코딩)될 수 있다. 사용자/청취자 정보(554)는, 개인화 공간화 오디오 시스템(202)에 동작가능하게 커플링된 다양한 센서들에 의해 수집될 수 있다.
[00151] 단계(804)에서, 개인화 공간화 오디오 시스템(202)은 사용자/청취자 정보를 시네마 오디오 시스템(502)에 전송한다. 결국, 시네마 오디오 시스템(502)은 개인화 공간화 오디오 시스템(202)으로부터 사용자/청취자 정보를 수신한다. 사용자/청취자 정보의 이 송신은 양방향 개인 시네마 시스템 링크(550)를 통해 이루어질 수 있다.
[00152] 단계(806)에서, 개별 시네마 오디오 시스템(500)(즉, 시네마 오디오 시스템(502))은 선택적으로, 시네마 오디오 데이터를 수신한다. 시네마 오디오 데이터는, 영화 배포자에 의해 운영되는 호스트 컴퓨터 상의 데이터베이스로부터 수신될 수 있다. 그러한 실시예에서, 시네마 오디오 시스템(502)은 선택적으로, 호스트 컴퓨터로부터 네트워크(예컨대, 인터넷)를 통해 시네마 오디오 데이터를 수신한다.
[00153] 단계(808)에서, 개별 시네마 오디오 시스템(500)(즉, 시네마 오디오 시스템(502))은 사용자/청취자 정보에 기반하여 시네마 오디오 데이터를 수정한다. 예컨대, 사용자/청취자 정보가 개개의 개인화 공간화 오디오 시스템들(202)을 착용하고 있는 많은 청중 멤버들로부터의 비명들을 포함하는 실시예에서, 시네마 오디오 시스템(502)은 청중 멤버들로부터의 비명들을 부가하기 위해 시네마 오디오 데이터를 수정할 수 있다. 이 수정은 청중에 대해 영화 사운드트랙을 개인화한다.
[00154] 단계(810)에서, 시네마 오디오 시스템(502)(예컨대, 시네마 스피커들(506))은 수정된 시네마 오디오 데이터에 기반하여 사운드를 제공한다. 시네마 스피커들(506)은 3개의 축들(예컨대, X, Y, 및 Z 축들)을 따라 가변적인 사운드(예컨대, 공간화 오디오)의 제공을 가능하게 하도록 구성될 수 있다.
[00155] 일부 실시예들에서, 사용자/청취자 정보(554)는 미디어에 관련된 애플리케이션과 사용자/청취자의 상호작용에 관련된 정보를 포함할 수 있다. 그러한 애플리케이션의 예는 영화(즉, 미디어)에 기반하여 사용자/청취자의 모바일 폰 상에서 실행하는 게임 애플리케이션이다. 사용자/청취자 정보(554), 이를테면 게임 앱으로부터의 사용자/청취자 정보(554)는, 개별 시네마 오디오 시스템(500)이 특정 사용자/청취자에 대한 개인 오디오 콘텐츠들을 개인화하는 것을 도울 수 있다. 예컨대, 미디어의 일부로서 사용자/청취자에 제공되는 캐릭터/아바타는 미디어에 기반하여 게임 앱에서의 사용자/청취자의 레벨에 따라 변화될 수 있다. 캐릭터/아바타는, AR/MR 디스플레이 시스템에 연결된 개인화 공간화 오디오 시스템(202)을 통해 제공될 수 있다.
[00156] 예컨대, 도 25는 일 실시예에 따른 개별 시네마 오디오 시스템을 활용하여 개인 오디오를 선택적으로 제공하는 방법(900)을 묘사한다. 개별 시네마 오디오 시스템(500)은, 예컨대, 도 18에 도시된 바와 같이, 개인화 공간화 오디오 시스템(202) 및 시네마 오디오 시스템(502)을 포함할 수 있다. 개인화 공간화 오디오 시스템(202)은 머리 포즈 센서(232), 머리 포즈 프로세서(234), 공간화 오디오 프로세서(236), 동기화 모듈(244) 및 개인 공간화 오디오 시스템 스피커들(206)을 포함한다. 시네마 오디오 시스템(502)은 시네마 프로세서(536) 및 시네마 스피커들(506)을 포함한다. 개인화 공간화 오디오 시스템(202)과 시네마 오디오 시스템(502)은 양방향 개인 시네마 시스템 링크(550)에 의해 동작가능하게 커플링된다.
[00157] 단계(902)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202))은 사용자/청취자 정보를 수집한다. 사용자/청취자 정보(554)는 미디어에 관련된 애플리케이션과 사용자/청취자의 상호작용에 관련된 정보를 포함할 수 있다. 위에서 설명된 바와 같이, 사용자/청취자 정보(554)는 영화에 관련된 게임 앱에서의 사용자의 레벨 또는 진행을 포함할 수 있다. 게임 앱이 사용자/청취자의 폰 상에서 실행되고 있는 실시예들에서, 개인화 공간화 오디오 시스템(202)은 사용자/청취자의 폰에 대한 무선 링크(예컨대, Wi-Fi, 블루투스, NFC 등)를 통해 사용자/청취자 정보(554)를 수집할 수 있다.
[00158] 단계(904)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202))은 수신된 사용자/청취자 정보에 기반하여 개인 오디오 데이터를 선택적으로 요청한다. 예컨대, 요청된 개인 오디오 데이터는 게임 앱에서의 사용자/청취자의 레벨에 대응할 수 있다. 개인 오디오 데이터에 대한 요청은, 게임에서의 사용자/청취자의 레벨에 또한 대응하는 개인 AR/MR 데이터에 대한 요청을 동반할 수 있다. 개인 오디오 데이터는, 영화 시어터 또는 영화 배포자에 의해 운영되는 호스트 컴퓨터 상의 데이터베이스로부터 요청될 수 있다. 그러한 실시예에서, 개인화 공간화 오디오 시스템(202)은 네트워크(예컨대, WLAN 네트워크 및/또는 인터넷)를 통해 호스트 컴퓨터에 요청을 전송한다.
[00159] 단계(906)에서, 개별 시네마 오디오 시스템(500)(즉, 개인화 공간화 오디오 시스템(202))은 요청된 개인 오디오 데이터를 수신한다. 개인 오디오 데이터는, 영화 시어터 또는 영화 배포자에 의해 운영되는 호스트 컴퓨터 상의 데이터베이스로부터 수신될 수 있다. 그러한 실시예에서, 개인화 공간화 오디오 시스템(202)은 호스트 컴퓨터로부터 네트워크(예컨대, 인터넷)를 통해 개인 오디오 데이터를 수신한다.
[00160] 단계(908)에서, 개인화 공간화 오디오 시스템(202)(예컨대, 개인 공간화 오디오 시스템 스피커들(206))은 요청된 개인 오디오 데이터에 기반하여 사운드를 제공한다. 스피커들(206), 이를테면 도 2 내지 도 8에 도시된 스피커들의 구성들은 3개의 축들(예컨대, X, Y, 및 Z 축들)을 따라 가변적인 사운드(예컨대, 공간화 오디오)의 제공을 가능하게 한다.
[00161] 단계(910)에서, 개인화 공간화 오디오 시스템(202)은 요청된 개인 오디오 데이터를 시네마 오디오 시스템(502)에 선택적으로 전송하며, 시네마 오디오 시스템(502)은 결국, 요청된 개인 오디오 데이터를 수신한다. 시네마 오디오 시스템(502)으로의 요청된 개인 오디오 데이터의 송신은, 시네마 오디오 시스템이, 적절한 경우 개인 오디오를 따르도록 시네마 오디오를 수정할 수 있게 한다.
개별 공간화 시네마 경험
[00162] 하나의 예시적인 개별 공간화 시네마 경험은, AR/MR 디스플레이를 착용하고 있는 다수의 사용자들 및 시네마에 동반되는(attending) 공간화 오디오 시스템들을 수반한다. AR/MR 디스플레이 및 공간화 오디오 시스템들 각각은, 각각의 사용자에게 개별 공간화 시네마 경험을 제공하기 위해 시네마 비디오 및 오디오 프로세서들에 동기화된다. 예컨대, AR/MR 디스플레이 및 공간화 오디오 시스템들은 위에서 설명된 기법들 중 임의의 기법을 사용하여 시네마 비디오 및 오디오 프로세서들과 동기화될 수 있다. 그에 따라서, 공간화 오디오 시스템의 AR/MR 디스플레이는, 시네마 비디오 및 오디오 프로세서들을 사용하여 디스플레이되는 미디어에 대응하는 미디어 식별 및 타이밍 정보에 액세스할 수 있다. 위에서 논의된 바와 같이, 타이밍 정보는 시간적 동기화를 유지하기 위한 적합한 인터벌들로 요구될 수 있다.
[00163] 예컨대, 미디어(예컨대, 영화)는, 사용자들 쪽으로 이동하는 로봇을 시네마 스크린 상에 묘사할 수 있다. 로봇이 시네마 스크린의 가장자리에 도달하기 전에, 시네마 비디오 및 오디오 시스템들은, 이미지들 또는 오디오를 활성적으로 생성하고 있지 않은 AR/MR 디스플레이 및 공간화 오디오 시스템들로 이미지들 및 오디오 전부를 제공할 수 있다. AR/MR 디스플레이 및 공간화 오디오 시스템들이 사용자의 귀들 및 눈들을 가리지 않기 때문에, 사용자들은 시네마 시스템들에 의해 생성된 미디어를 보고 들을 수 있다. 로봇이 시네마 스크린의 가장자리에 도달할 때, 청중의 AR/MR 디스플레이 및 공간화 오디오 시스템들은 AR/MR 이미지들 및 공간화 오디오를 생성하기 시작한다. 동시에, 시네마 디스플레이의 부분은 AR/MR 이미지들을 따르도록 수정될 수 있다. 예컨대, 시네마 디스플레이의 소정의 픽셀들이 지워질 수 있다.
[00164] 로봇은 "스크린을 벗어나게 걸어서" 각각의 사용자의 팔의 길이 이내로 올 수 있다. 로봇이 이제 각각의 사용자의 AR/MR 디스플레이 및 공간화 오디오 시스템에 의해 제공되기 때문에, 각각의 사용자는 공간화 오디오 시스템에서 자신의 AR/MR 디스플레이에 의해 생성된 광 필드 및 사운드 필드에 의해 렌더링되는 개별 로봇을 보고 들을 것이다. 로봇이 이제 각각의 사용자에게 개별화되기 때문에, 사용자들은 그들 옆에 앉아 있는 사용자와 상호작용하는 로봇을 보거나 듣지 못할 수 있다. 대안적으로, 각각의 사용자는 그들의 이웃들과 상호작용하는 복수의 로봇들을 보고 들을 수 있다.
[00165] 이것이 개별 공간화 시네마 경험으로서 설명되었지만, 본원에서 설명된 시스템들 및 방법들은 게이밍 및 혼합형 미디어 경험들과 같은 다른 경험들에 동등하게 적용된다. 공간화 오디오의 부가를 포함하여 그러한 경험들을 개별화하는 것은 사용자 향유를 크게 증가시킨다.
[00166] 위에서 설명된 개인화 공간화 오디오 시스템들 및 개별 시네마 오디오 시스템들에서 다양한 시스템 컴포넌트들이 다양한 구성들로 설명되었지만, 시스템 구성들은 제한적인 것이 아니라 예시적인 것으로 의도된다. 예컨대, 묘사되지 않은 실시예들에서, 특정 시스템 컴포넌트들이 시스템의 상이한 부분에 배치될 수 있다. 게다가, 다수의 시스템 컴포넌트들에 기인한 기능들이 단일 시스템 컴포넌트에 의해 수행될 수 있다. 추가로, 단일 시스템 컴포넌트에 기인한 다수의 기능들이 다수의 시스템 컴포넌트들에 의해 수행될 수 있다.
[00167] 다양한 방법들에서 (예컨대, 공간화 오디오를 생성하고, 개인 오디오 시스템들을 시네마 오디오 시스템들에 링크하고, 그리고 개별 시네마 오디오를 생성하는) 다양한 단계들이 특정 순서들로 설명되었지만, 본원에서 설명된 단계들은 원하는 결과들이 달성되는 한 임의의 순서로 수행될 수 있다.
[00168] 개인 오디오 데이터(예컨대, 미디어, 미디어 식별 정보, 및 타이밍 정보)는 일부 실시예들에서 개인 오디오 시스템들로 스트리밍될 수 있다. 다른 실시예들에서, 개인 오디오 데이터는, 개인 오디오 데이터가 개별 시네마 오디오 경험을 생성하는 데 필요해지기 전에 개인 오디오 시스템들 상에 사전 로딩될 수 있다. 또 다른 실시예들에서, 개인 오디오 데이터는, 소정의 수 분의 오디오 데이터를 홀딩하는 개인 오디오 시스템의 작업 버퍼로 스트리밍될 수 있다. 그런 다음, 영화가 상영됨에 따라, 시스템은 개인 오디오 데이터를 작업 버퍼로 스트리밍할 수 있다. 그러한 시스템은 요구되는 메모리를 최소화하고, 사전-로딩 시간을 최소화하고, 그리고 네트워크 중단들의 경우에 기능을 제공할 것이다.
[00169] 일부 실시예들에서, 시네마 프로세서는, 현재 영화 장면에 관련된 음향 모델링을 개선하기 위해 개인 오디오 시스템의 공간화 오디오 프로세서에 전송될 수 있는 현재 영화 장면에 관한 메타데이터(예컨대, 지오메트리 및 자료 데이터)를 전달할 수 있다.
[00170] 본 발명의 다양한 예시적 실시예들이 본원에서 설명된다. 비-제한적인 의미로 이들 예들에 대한 참조가 이루어진다. 그 예들은, 본 발명의 더 넓게 적용가능한 양상들을 예시하기 위해 제공된다. 본 발명의 실제 사상 및 범위를 벗어나지 않으면서, 다양한 변화들이 설명된 본 발명에 대해 이루어질 수 있고 등가물들이 대체될 수 있다. 게다가, 특정 상황, 재료, 재료의 구성물, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키기 위해 많은 수정들이 이루어질 수 있다. 추가로, 당업자들에 의해 인지될 바와 같이, 본원에서 설명되고 예시된 개별 변동들 각각은, 본 발명들의 범위 및 사상을 벗어나지 않으면서, 다른 수개의 실시예들 중 임의의 실시예의 특징들로부터 용이하게 분리되거나 또는 그 특징들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 갖는다. 그러한 모든 수정들은 본 개시내용과 연관된 청구항들의 범위 내에 있는 것으로 의도된다.
[00171] 본 발명은 대상 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 그러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 그러한 제공은 최종 사용자에 의해 수행될 수 있다. 다시 말해서, "제공하는" 동작은 단지 대상 방법에서 필요한 디바이스를 제공하도록 최종 사용자가 획득, 액세스, 접근, 포지셔닝, 셋업, 활성화, 파워-업 또는 그렇지 않으면 동작하게 요구한다. 본원에서 언급된 방법들은 논리적으로 가능한 언급된 이벤트들의 임의의 순서뿐만 아니라 이벤트들의 언급된 순서로 수행될 수 있다.
[00172] 재료 선택 및 제조에 관한 세부사항들과 함께 본 발명의 예시적인 양상들이 위에 기재되었다. 본 발명의 다른 세부사항들에 대해, 이들은 위에서-참조된 특허들 및 공개물들과 관련하여 인지될 뿐만 아니라 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 바와 같은 부가적인 동작들의 측면들에서 본 발명의 방법-기반 양상들에 대해 동일한 것이 참으로 유지될 수 있다.
[00173] 게다가, 본 발명이 다양한 특징들을 선택적으로 통합하는 수개의 예들을 참조하여 설명되었지만, 본 발명은, 본 발명의 각각의 변동에 관해 고려될 때 설명되거나 또는 표시되는 것으로 제한되지 않는다. 본 발명의 실제 사상 및 범위를 벗어나지 않으면서, 다양한 변화들이 설명된 본 발명에 대해 이루어질 수 있고 (본원에서 인용되는지 또는 일부 간략화를 위해 포함되지 않는지에 관계없이) 등가물들이 대체될 수 있다. 게다가, 값들의 범위가 제공되는 경우, 그 범위의 상한과 하한 간의 모든 각각의 중간값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 중간값이 본 발명 내에 포함된다는 것이 이해된다.
[00174] 또한, 설명된 본 발명의 변동들의 임의의 선택적인 특징이 독립적으로 또는 본원에서 설명된 특징들 중 임의의 하나 이상의 특징과 조합하여 기재되고 청구될 수 있다는 것이 고려된다. 단수형 아이템들에 대한 참조는 복수의 동일한 아이템들이 존재하는 가능성을 포함한다. 보다 상세하게는, 본원에서 그리고 그와 연관된 청구항들에서 사용되는 바와 같이, 단수형들은, 달리 상세하게 언급되지 않으면 복수의 지시물들을 포함한다. 다시 말해서, 물품들의 사용은, 본 개시내용과 연관된 위의 설명뿐만 아니라 청구항들에서 대상 아이템 중 "적어도 하나"를 허용한다. 그러한 청구항들이 임의의 선택적인 엘리먼트를 배제하도록 선발될 수 있다는 것이 추가로 주목된다. 그러므로, 이러한 진술은 청구항 엘리먼트들의 인용과 관련하여 "단독으로", "유일한" 등으로서 그러한 배타적인 전문용어의 사용 또는 "네거티브" 제한의 사용에 대한 선행 기반의 역할을 하도록 의도된다.
[00175] 그러한 배타적인 전문용어의 사용 없이, 본 개시내용과 연관된 청구항들의 용어 "포함하다"는, 주어진 수의 엘리먼트들이 그러한 청구항들에서 열거되는지 또는 특징의 부가가 그러한 청구항들에서 기재된 엘리먼트의 성질을 변환시키는 것으로 간주될 수 있는지에 관계없이, 임의의 부가적인 엘리먼트의 포함을 허용해야 한다. 본원에서 상세하게 정의된 것을 제외하고, 본원에서 사용된 모든 기술 용어들 및 과학 용어들은 청구 유효성을 유지하면서 가능한 일반적으로 이해되는 의미로 광범위하게 주어질 것이다.
[00176] 본 발명의 폭은 제공된 예들 및/또는 대상 명세서로 제한되는 것이 아니라 오히려 본 개시내용과 연관된 청구 언어의 범위에 의해서만 제한된다.
[00177] 전술한 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 변형들 및 변화들이 본 발명에 행해질 수 있다는 것은 명백할 것이다. 예컨대, 위에서-설명된 프로세스 흐름들은, 프로세스 액션들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 발명의 범위 또는 동작에 영향을 주지 않으면서 변화될 수 있다. 그에 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims (100)

  1. 사용자의 머리에 착용될 프레임;
    복수의 스피커들 ― 상기 복수의 스피커들은, 상기 프레임이 상기 사용자에 의해 착용될 때 상기 복수의 스피커들 각각이 상기 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 상기 복수의 스피커들 각각이 상기 사용자의 귀들을 포함해서 상기 사용자의 머리의 어떤 표면에도 접촉하지 않도록, 상기 프레임에 부착됨 ―;
    상기 사용자의 머리 포즈 데이터를 수집하기 위한 머리 포즈 센서;
    상기 머리 포즈 데이터로부터 상기 사용자의 머리 포즈를 결정하기 위한 머리 포즈 프로세서; 및
    상기 사용자의 상기 결정된 머리 포즈에 기반하여 공간화 오디오 데이터(spatialized audio data)를 생성하기 위한 공간화 오디오 프로세서를 포함하고,
    상기 스피커들은 상기 생성된 공간화 오디오 데이터에 대응하는 사운드를 생성하는, 공간화 오디오 시스템.
  2. 제1 항에 있어서,
    상기 공간화 오디오 프로세서에 동작가능하게 커플링된 시네마 오디오 프로세서 ― 상기 시네마 오디오 프로세서는 시네마 오디오 데이터를 생성함 ―; 및
    상기 생성된 시네마 오디오 데이터에 대응하는 시네마 사운드를 생성하기 위한 복수의 시네마 스피커들을 더 포함하고,
    상기 공간화 오디오 프로세서는 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 시네마 오디오 프로세서로부터 타이밍 정보/메타데이터를 수신하는, 공간화 오디오 시스템.
  3. 제2 항에 있어서,
    상기 공간화 오디오 프로세서는 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 시네마 오디오 프로세서로부터 타이밍 정보/메타데이터를 수신하는, 공간화 오디오 시스템.
  4. 제3 항에 있어서,
    무선 네트워크를 더 포함하고,
    상기 시네마 오디오 프로세서는 상기 무선 네트워크를 통해서 상기 공간화 오디오 프로세서에 상기 타이밍 정보를 송신하는, 공간화 오디오 시스템.
  5. 제3 항에 있어서,
    상기 타이밍 정보는 상기 생성된 시네마 사운드에 대응하는 비디오 내의 광학 큐(optical cue), 상기 생성된 시네마 사운드에 대응하는 비디오로부터 별개로 프로젝팅되는 광학 큐, 또는 적외선 광을 이용하여 프로젝팅되는 광학 큐를 포함하는, 공간화 오디오 시스템.
  6. 제2 항에 있어서,
    상기 시네마 오디오 프로세서는 시네마 정보를 상기 공간화 오디오 프로세서에 송신하는, 공간화 오디오 시스템.
  7. 제6 항에 있어서,
    상기 시네마 정보는 타이밍 정보, 가상 오브젝트 사운드 정보, 포지션 정보, 배향 정보, 하이퍼링크, 또는 음향 모델링 정보 중 하나를 포함하는, 공간화 오디오 시스템.
  8. 제2 항에 있어서,
    상기 공간화 오디오 프로세서는 제1 시간에 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 제1 시간에 상기 시네마 오디오 프로세서로부터 제1 타이밍 정보를 수신하고, 그리고
    상기 공간화 오디오 프로세서는 상기 제1 시간보다 나중의 제2 시간에 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 제2 시간에 상기 시네마 오디오 프로세서로부터 제2 타이밍 정보를 수신하는, 공간화 오디오 시스템.
  9. 제2 항에 있어서,
    상기 공간화 오디오 프로세서는 상기 공간화 오디오 프로세서/상기 복수의 스피커들과 상기 시네마 오디오 프로세서/상기 복수의 시네마 스피커들 간의 레이턴시 차이를 보상하는, 공간화 오디오 시스템.
  10. 제2 항에 있어서,
    상기 시네마 오디오 프로세서에 송신할 사용자 정보를 수집하기 위한 사용자 센서를 더 포함하는, 공간화 오디오 시스템.
  11. 제10 항에 있어서,
    상기 시네마 오디오 프로세서는 상기 사용자 정보에 기반하여 상기 시네마 오디오 데이터를 수정함으로써, 상기 시네마 사운드가 상기 수정된 시네마 오디오 데이터에 대응하게 하는, 공간화 오디오 시스템.
  12. 제11 항에 있어서,
    상기 복수의 시네마 스피커들은 저주파수 사운드를 생성하도록 구성된 서브우퍼(subwoofer)를 포함하고,
    상기 사용자 정보는 저주파수 오디오 데이터를 포함하고,
    상기 시네마 오디오 프로세서는 상기 저주파수 오디오 데이터에 기반하여 상기 시네마 오디오 데이터를 수정하며, 그리고
    상기 서브우퍼는 상기 수정된 시네마 오디오 데이터에 대응하는 상기 저주파수 사운드를 생성하는, 공간화 오디오 시스템.
  13. 제12 항에 있어서,
    상기 서브우퍼는 상기 사용자를 위한 좌석에 인접하게 배치되거나, 상기 서브우퍼는 상기 사용자에 의해 착용되는, 공간화 오디오 시스템.
  14. 제11 항에 있어서,
    상기 시네마 오디오 데이터는 분기 구조로 구성되고, 그리고
    상기 수정된 시네마 오디오 데이터는 상기 시네마 오디오 데이터의 상기 분기 구조보다 작은 수정된 분기 구조를 갖는, 공간화 오디오 시스템.
  15. 제10 항에 있어서,
    상기 사용자 정보는 상기 사용자로부터의 샘플링된 사운드를 포함하고, 그리고
    상기 수정된 시네마 오디오 데이터는 샘플링된 사운드를 포함하는, 공간화 오디오 시스템.
  16. 제2 항에 있어서,
    소스 데이터를 제공하기 위해서 상기 공간화 오디오 프로세서에 동작가능하게 커플링된 애플리케이션 프로세서를 더 포함하고,
    상기 공간화 오디오 프로세서는 상기 소스 데이터로부터 상기 공간화 오디오 데이터를 생성하는, 공간화 오디오 시스템.
  17. 제16 항에 있어서,
    상기 애플리케이션 프로세서는 상기 공간화 오디오 데이터를 상기 시네마 오디오 데이터와 동기화시키는, 공간화 오디오 시스템.
  18. 제1 항에 있어서,
    상기 프레임은 상기 생성된 사운드를 상기 사용자의 귀들에 집중시키는, 공간화 오디오 시스템.
  19. 제1 항에 있어서,
    상기 생성된 공간화 오디오 데이터는 복수의 가상 오디오 소스들 각각에 대한 포지션, 배향 및 볼륨 데이터를 포함하는, 공간화 오디오 시스템.
  20. 제1 항에 있어서,
    상기 복수의 스피커들은 개개의 자석들을 이용해 상기 프레임에 제거가능하게 부착되는, 공간화 오디오 시스템.
  21. 사용자의 머리에 착용될 프레임;
    복수의 스피커들 ― 상기 복수의 스피커들은, 상기 프레임이 상기 사용자에 의해 착용될 때 상기 복수의 스피커들 각각이 상기 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 상기 복수의 스피커들 각각이 상기 사용자의 귀들을 포함해서 상기 사용자의 머리의 어떤 표면에도 접촉하지 않도록, 상기 프레임에 부착됨 ―;
    상기 사용자의 머리 포즈 데이터를 수집하기 위한 머리 포즈 센서;
    상기 머리 포즈 데이터로부터 상기 사용자의 머리 포즈를 결정하기 위한 머리 포즈 프로세서; 및
    상기 사용자의 상기 결정된 머리 포즈에 기반하여 공간화 오디오 데이터를 생성하기 위한 공간화 오디오 프로세서를 포함하고,
    상기 스피커들은 상기 생성된 공간화 오디오 데이터에 대응하는 사운드를 생성하는, 공간화 오디오 시스템.
  22. 제21 항에 있어서,
    상기 복수의 스피커들에 커플링된 증폭기를 더 포함하는, 공간화 오디오 시스템.
  23. 제21 항에 있어서,
    상기 생성된 공간화 오디오 데이터는 복수의 가상 오디오 소스들 각각에 대한 포지션, 배향 및 볼륨 데이터를 포함하는, 공간화 오디오 시스템.
  24. 제21 항에 있어서,
    상기 복수의 스피커들은 상기 생성된 사운드를 상기 사용자의 귀들에 집중시키는, 공간화 오디오 시스템.
  25. 제24 항에 있어서,
    상기 복수의 스피커들 각각은 트랜스듀서를 포함하는, 공간화 오디오 시스템.
  26. 제21 항에 있어서,
    상기 프레임은 상기 생성된 사운드를 상기 사용자의 귀들에 집중시키는, 공간화 오디오 시스템.
  27. 가상 이미지들을 생성하기 위한 디스플레이 시스템; 및
    제21 항의 상기 공간화 오디오 시스템을 포함하고,
    상기 가상 이미지들과 생성된 사운드는 동기화되는, AM/MR 시스템.
  28. 제27 항에 있어서,
    상기 생성된 사운드는 가상 오브젝트로부터 나오는 것으로 보이는, AM/MR 시스템.
  29. 제27 항에 있어서,
    상기 생성된 사운드는 실제 물리적 오브젝트로부터 나오는 것으로 보이는, AM/MR 시스템.
  30. 제27 항에 있어서,
    상기 생성된 사운드는 실제 물리적 사람으로부터 나오는 것으로 보이는, AM/MR 시스템.
  31. 제30 항에 있어서,
    상기 생성된 사운드는 상기 실제 물리적 사람의 입으로부터 나오는 것으로 보이는, AM/MR 시스템.
  32. 제31 항에 있어서,
    상기 생성된 사운드는 상기 실제 물리적 사람의 실제 음성과 상이한, AM/MR 시스템.
  33. 제27 항에 있어서,
    상기 생성된 사운드는 상기 사용자 주위의 다수의 소스들로부터 나오는 것으로 보이는, AM/MR 시스템.
  34. 제27 항에 있어서,
    상기 생성된 사운드는 상기 사용자 내로부터 나오는 것으로 보이는, AM/MR 시스템.
  35. 제21 항에 있어서,
    상기 머리 포즈 센서는 IMU인, AM/MR 시스템.
  36. 제21 항에 있어서,
    상기 머리 포즈 센서는 카메라인, AM/MR 시스템.
  37. 제21 항에 있어서,
    상기 복수의 스피커들은 상기 프레임에 제거가능하게 부착되는, AM/MR 시스템.
  38. 제37 항에 있어서,
    상기 복수의 스피커들은 개개의 자석들을 이용해 상기 프레임에 제거가능하게 부착되는, AM/MR 시스템.
  39. 제21 항에 있어서,
    상기 공간화 오디오 프로세서에 동작가능하게 커플링된 시네마 오디오 프로세서 ― 상기 시네마 오디오 프로세서는 시네마 오디오 데이터를 생성함 ―; 및
    상기 생성된 시네마 오디오 데이터에 대응하는 시네마 사운드를 생성하기 위한 복수의 시네마 스피커들을 더 포함하는, AM/MR 시스템.
  40. 제39 항에 있어서,
    상기 공간화 오디오 프로세서는 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 시네마 오디오 프로세서로부터 타이밍 정보/메타데이터를 수신하는, AM/MR 시스템.
  41. 제40 항에 있어서,
    상기 타이밍 정보는 시간 코드를 포함하는, AM/MR 시스템.
  42. 제40 항에 있어서,
    상기 타이밍 정보는 큐를 포함하는, AM/MR 시스템.
  43. 제40 항에 있어서,
    무선 네트워크를 더 포함하고,
    상기 시네마 오디오 프로세서는 상기 무선 네트워크를 통해서 상기 공간화 오디오 프로세서에 상기 타이밍 정보를 송신하는, AM/MR 시스템.
  44. 제40 항에 있어서,
    상기 타이밍 정보는 상기 생성된 시네마 사운드에 대응하는 비디오 내의 광학 큐를 포함하는, AM/MR 시스템.
  45. 제40 항에 있어서,
    상기 타이밍 정보는 상기 생성된 시네마 사운드에 대응하는 비디오로부터 별개로 프로젝팅되는 광학 큐를 포함하는, AM/MR 시스템.
  46. 제40 항에 있어서,
    상기 타이밍 정보는 적외선 광을 이용해 프로젝팅되는 광학 큐를 포함하는, AM/MR 시스템.
  47. 제39 항에 있어서,
    상기 시네마 오디오 프로세서는 시네마 정보를 상기 공간화 오디오 프로세서에 송신하는, AM/MR 시스템.
  48. 제47 항에 있어서,
    상기 시네마 정보는 타이밍 정보, 가상 오브젝트 사운드 정보, 포지션 정보, 배향 정보, 하이퍼링크, 또는 음향 모델링 정보 중 하나를 포함하는, AM/MR 시스템.
  49. 제48 항에 있어서,
    상기 가상 오브젝트 사운드 정보는 모노 오디오 스트림을 포함하는, AM/MR 시스템.
  50. 제39 항에 있어서,
    상기 공간화 오디오 프로세서는 제1 시간에 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 제1 시간에 상기 시네마 오디오 프로세서로부터 제1 타이밍 정보를 수신하고, 그리고
    상기 공간화 오디오 프로세서는 상기 제1 시간보다 나중의 제2 시간에 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 제2 시간에 상기 시네마 오디오 프로세서로부터 제2 타이밍 정보를 수신하는, AM/MR 시스템.
  51. 제39 항에 있어서,
    상기 공간화 오디오 프로세서는 상기 공간화 오디오 소스 데이터로부터 상기 공간화 오디오 데이터를 생성하는, AM/MR 시스템.
  52. 제51 항에 있어서,
    상기 공간화 오디오 소스 데이터는 상기 공간화 오디오 프로세서에 사전 로딩되는, AM/MR 시스템.
  53. 제51 항에 있어서,
    상기 공간화 오디오 소스 데이터는 상기 공간화 오디오 프로세서에 스트리밍되는, AM/MR 시스템.
  54. 제53 항에 있어서,
    상기 스트리밍된 공간화 오디오 소스 데이터는 상기 공간화 오디오 프로세서에서 버퍼링/캐싱되는, AM/MR 시스템.
  55. 제39 항에 있어서,
    상기 공간화 오디오 프로세서는 상기 공간화 오디오 프로세서/상기 복수의 스피커들과 상기 시네마 오디오 프로세서/상기 복수의 시네마 스피커들 간의 레이턴시 차이를 보상하는, AM/MR 시스템.
  56. 제39 항에 있어서,
    상기 시네마 오디오 프로세서에 송신할 사용자 정보를 수집하기 위한 사용자 센서를 더 포함하는, AM/MR 시스템.
  57. 제56 항에 있어서,
    상기 사용자 센서는 상기 프레임에 부착되는, AM/MR 시스템.
  58. 제56 항에 있어서,
    상기 시네마 오디오 프로세서는 상기 사용자 정보에 기반하여 상기 시네마 오디오 데이터를 수정함으로써, 상기 시네마 사운드가 상기 수정된 시네마 오디오 데이터에 대응하게 하는, AM/MR 시스템.
  59. 제58 항에 있어서,
    상기 사용자 정보는 상기 사용자로부터의 샘플링된 사운드를 포함하고, 그리고
    상기 수정된 시네마 오디오 데이터는 샘플링된 사운드를 포함하는, AM/MR 시스템.
  60. 제58 항에 있어서,
    상기 복수의 시네마 스피커들은 저주파수 사운드를 생성하도록 구성된 서브우퍼를 포함하고,
    상기 사용자 정보는 저주파수 오디오 데이터를 포함하고,
    상기 시네마 오디오 프로세서는 상기 저주파수 오디오 데이터에 기반하여 상기 시네마 오디오 데이터를 수정하며, 그리고
    상기 서브우퍼는 상기 수정된 시네마 오디오 데이터에 대응하는 상기 저주파수 사운드를 생성하는, AM/MR 시스템.
  61. 제60 항에 있어서,
    상기 서브우퍼는 상기 사용자를 위한 좌석에 인접하게 배치되는, AM/MR 시스템.
  62. 제60 항에 있어서,
    상기 서브우퍼는 상기 사용자에 의해 착용되는, AM/MR 시스템.
  63. 제39 항에 있어서,
    소스 데이터를 제공하기 위해서 상기 공간화 오디오 프로세서에 동작가능하게 커플링된 애플리케이션 프로세서를 더 포함하고,
    상기 공간화 오디오 프로세서는 상기 소스 데이터로부터 상기 공간화 오디오 데이터를 생성하는, AM/MR 시스템.
  64. 제63 항에 있어서,
    상기 애플리케이션 프로세서는 상기 시네마 오디오 프로세서에 동작가능하게 커플링되는, AM/MR 시스템.
  65. 제63 항에 있어서,
    상기 애플리케이션 프로세서는 상기 공간화 오디오 데이터를 상기 시네마 오디오 데이터와 동기화시키는, AM/MR 시스템.
  66. 제58 항에 있어서,
    상기 시네마 오디오 데이터는 분기 구조로 구성되고, 그리고
    상기 수정된 시네마 오디오 데이터는 상기 시네마 오디오 데이터의 상기 분기 구조보다 작은 수정된 분기 구조를 갖는, AM/MR 시스템.
  67. 제39 항에 있어서,
    상기 시네마 사운드를 레코딩하기 위해서 상기 프레임에 부착되는 마이크로폰; 및
    상기 공간화 오디오 프로세서에 동작가능하게 커플링된 동기화 모듈을 더 포함하고,
    상기 동기화 모듈은 시네마 사운드트랙 및 상기 시네마 사운드트랙 내의 시간을 식별하기 위해서 상기 레코딩된 시네마 사운드를 분석하며, 그리고
    상기 동기화 모듈은 상기 사운드를 상기 시네마 사운드와 동기화시키기 위해서 상기 시네마 사운드트랙의 아이덴티티 및 상기 시네마 사운드트랙 내의 상기 식별된 시간에 기반하여 타이밍 정보를 생성하는, AM/MR 시스템.
  68. 제67 항에 있어서,
    상기 마이크로폰은 상기 시네마 사운드의 플레이백 동안 상기 시네마 사운드를 나중 시간에 레코딩하고, 그리고
    상기 동기화 모듈은 상기 사운드와 상기 시네마 사운드 간의 동기화를 유지하기 위해 상기 시네마 사운드트랙 내의 나중 시간을 식별하기 위해서 상기 나중에 레코딩된 시네마 사운드를 분석하는, AM/MR 시스템.
  69. 제67 항에 있어서,
    시네마 사운드트랙 데이터베이스를 더 포함하고,
    상기 동기화 모듈은 상기 시네마 사운드트랙 및 상기 시네마 사운드트랙 내의 시간을 식별하기 위해서 상기 레코딩된 시네마 사운드를 상기 시네마 사운드트랙 데이터베이스에 비교하는, AM/MR 시스템.
  70. 제69 항에 있어서,
    상기 동기화 모듈은 상기 레코딩된 시네마 사운드로부터의 제1 레코딩된 패킷과 상기 시네마 사운드트랙 데이터베이스로부터의 제1 데이터베이스 패킷 간의 제1 매치를 식별하는, AM/MR 시스템.
  71. 제70 항에 있어서,
    상기 동기화 모듈은 상기 동기화 모듈이 상기 제1 매치를 식별한 이후에 상기 레코딩된 시네마 사운드로부터의 제2 레코딩된 패킷과 상기 시네마 사운드트랙 데이터베이스로부터의 제2 데이터베이스 패킷 간의 제2 매치를 식별하는, AM/MR 시스템.
  72. 제69 항에 있어서,
    상기 시네마 사운드트랙 데이터베이스는 복수의 토널 클러스터들을 포함하는, AM/MR 시스템.
  73. 제72 항에 있어서,
    상기 시네마 사운드트랙 데이터베이스는 토널 클러스터에 대응하는 식별자, 상기 시네마 사운드트랙 내의 개개의 시간, 및 상기 토널 클러스터에 후속하는 토널 클러스터들의 시퀀스를 포함하는, AM/MR 시스템.
  74. 제72 항에 있어서,
    상기 레코딩된 시네마 사운드를 상기 시네마 사운드트랙 데이터베이스에 비교하는 상기 동기화 모듈은 상기 레코딩된 시네마 사운드 내의 토널 클러스터들을 상기 시네마 사운드트랙 데이터베이스 내의 토널 클러스터들과 매칭하는 것을 포함하는, AM/MR 시스템.
  75. 제72 항에 있어서,
    상기 복수의 토널 클러스터들의 각각의 토널 클러스터는 길이가 약 1 ms인, AM/MR 시스템.
  76. 제72 항에 있어서,
    상기 시네마 사운드트랙을 스캔하고 그리고 상기 시네마 사운드트랙 내의 상기 복수의 토널 클러스터들을 식별하기 위해서 시네마 사운드트랙 데이터베이스 구축자를 더 포함하는, AM/MR 시스템.
  77. 제67 항에 있어서,
    상기 타이밍 정보는 시간 코드들을 포함하는, AM/MR 시스템.
  78. 복수의 개인 오디오 디바이스들 ― 상기 복수의 개인 오디오 디바이스들의 각각의 개인 오디오 디바이스는,
    사용자의 머리에 착용될 프레임,
    복수의 스피커들 ― 상기 복수의 스피커들은, 상기 프레임이 상기 사용자에 의해 착용될 때 상기 복수의 스피커들 각각이 상기 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 상기 복수의 스피커들 각각이 상기 사용자의 귀들을 포함해서 상기 사용자의 머리에 접촉하지 않도록, 상기 프레임에 부착됨 ―,
    상기 사용자의 머리 포즈 데이터를 수집하기 위한 머리 포즈 센서,
    상기 머리 포즈 데이터로부터 상기 사용자의 머리 포즈를 결정하기 위한 머리 포즈 프로세서, 및
    상기 결정된 머리 포즈 및 상기 사용자의 특징에 기반하여 공간화 오디오 데이터를 생성하기 위한 공간화 오디오 프로세서를 포함함 ―;
    상기 공간화 오디오 프로세서에 동작가능하게 커플링된 시네마 오디오 프로세서 ― 상기 시네마 오디오 프로세서는 시네마 오디오 데이터를 생성함 ―; 및
    상기 생성된 시네마 오디오 데이터에 대응하는 시네마 사운드를 생성하기 위한 복수의 시네마 스피커들을 포함하고,
    상기 복수의 스피커들 각각은 개개의 생성된 공간화 오디오 데이터에 대응하는 사운드를 생성하는, 공간화 오디오 시스템.
  79. 제78 항에 있어서,
    상기 복수의 개인 오디오 디바이스들 중 제1 개인 오디오 디바이스의 제1 사용자를 위한 제1 생성된 공간화 오디오 데이터는 상기 복수의 개인 오디오 디바이스들 중 제2 개인 오디오 디바이스의 제2 사용자를 위한 제2 생성된 공간화 오디오 데이터와 상이한데, 그 이유는 상기 제1 사용자의 제1 특징이 상기 제2 사용자의 제2 특징과 상이하기 때문인, 공간화 오디오 시스템.
  80. 제79 항에 있어서,
    상기 제1 특징과 상기 제2 특징은 게임에서 상이한 레벨들인, 공간화 오디오 시스템.
  81. 제79 항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 상이한 개인 선호도들인, 공간화 오디오 시스템.
  82. 제79 항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 사용자 초점의 상이한 위치들인, 공간화 오디오 시스템.
  83. 제79 항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 극장에서 상이한 위치들인, 공간화 오디오 시스템.
  84. 제79 항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 관심의 상이한 표시자들인, 공간화 오디오 시스템.
  85. 제79 항에 있어서,
    상기 제1 특징 및 상기 제2 특징은 상기 제1 사용자 및 상기 제2 사용자에 의해서 각각 방출되는 상이한 사운드들인, 공간화 오디오 시스템.
  86. 제21 항에 있어서,
    상기 사용자가 배치되는 룸(room)의 음향 특성을 측정하기 위한 룸 센서를 더 포함하고,
    상기 공간화 오디오 프로세서는 상기 사용자의 결정된 머리 포즈 및 상기 룸의 측정된 음향 특성에 기반하여 상기 공간화 오디오 데이터를 생성하는, 공간화 오디오 시스템.
  87. 제86 항에 있어서,
    상기 룸 센서는 상기 룸의 음향 특성을 측정하기 위해서 룸 사운드들을 수집하기 위한 마이크로폰인, 공간화 오디오 시스템.
  88. 제86 항에 있어서,
    상기 룸 센서는 상기 룸의 음향 특성을 측정하기 위해서 룸 이미지를 수집하기 위한 카메라인, 공간화 오디오 시스템.
  89. 일반적인 미디어 시스템; 및
    복수의 개인 미디어 디바이스들을 포함하고,
    상기 일반적인 미디어 시스템은,
    미디어 제품에 대응하는 일반적인 비디오 및 오디오 데이터를 생성하기 위한 일반적인 미디어 프로세서,
    상기 일반적인 비디오 데이터에 대응하는 일반적인 광 필드를 제공하기 위한 일반적인 미디어 디스플레이, 및
    상기 일반적인 시네마 오디오 데이터에 대응하는 일반적인 사운드 필드를 제공하기 위한 복수의 일반적인 미디어 스피커들을 포함하고,
    상기 복수의 개인 미디어 디바이스들의 각각의 개인 미디어 디바이스는,
    사용자의 포즈 데이터를 수집하기 위한 포즈 센서,
    상기 포즈 데이터로부터 상기 사용자의 포즈를 결정하기 위한 포즈 프로세서,
    상기 결정된 포즈 및 상기 사용자의 특징에 기반하여 개인 비디오 및 오디오 데이터를 생성하기 위한 개인 미디어 프로세서,
    사용자의 머리에 착용될 프레임,
    상기 프레임에 부착되고, 그리고 상기 개인 비디오 데이터에 대응하는 상기 사용자를 위한 개인 3-차원 광 필드를 제공하도록 구성되는 개인 디스플레이, 및
    복수의 개인 스피커들 ― 상기 복수의 개인 스피커들은, 상기 프레임이 상기 사용자에 의해 착용될 때 상기 복수의 개인 스피커들 각각이 상기 사용자의 머리로부터 개개의 비-제로 거리에 배치됨으로써 상기 복수의 개인 스피커들 각각이 상기 사용자의 귀들을 포함해서 상기 사용자의 머리에 접촉하지 않도록, 상기 프레임에 부착됨 ― 을 포함하고,
    상기 복수의 개인 스피커들은 상기 개인 오디오 데이터에 대응하는 상기 사용자를 위한 개인 공간화 사운드 필드를 제공하도록 구성되며, 그리고
    상기 복수의 개인 미디어 디바이스들 각각이 상기 일반적인 미디어 시스템과 동기화됨으로써, 상기 개개의 개인 3-차원 광 필드, 상기 개인 공간화 사운드 필드, 상기 일반적인 미디어 광 필드 및 상기 일반적인 미디어 사운드 필드는 상기 사용자에 대한 코히어런트 미디어 경험을 형성하는, 개인화 미디어 시스템.
  90. 제89 항에 있어서,
    상기 미디어 제품은 시네마 제품인, 개인화 미디어 시스템.
  91. 제89 항에 있어서,
    상기 미디어 제품은 게이밍 제품인, 개인화 미디어 시스템.
  92. 제89 항에 있어서,
    상기 미디어 제품은 혼합형 미디어 제품인, 개인화 미디어 시스템.
  93. 제89 항에 있어서,
    상기 사용자의 특징은 상기 사용자의 아이덴티티인, 개인화 미디어 시스템.
  94. 제89 항에 있어서,
    상기 사용자의 특징은 상기 사용자의 위치인, 개인화 미디어 시스템.
  95. 제89 항에 있어서,
    상기 사용자의 특징은 미디어에 관련된 소프트웨어와의 상기 사용자의 상호작용에 관련되는, 개인화 미디어 시스템.
  96. 제95 항에 있어서,
    상기 미디어 제품은 시네마 제품이고, 그리고
    상기 소프트웨어는 게임인, 개인화 미디어 시스템.
  97. 제89 항에 있어서,
    상기 사용자의 포즈는 머리 포즈인, 개인화 미디어 시스템.
  98. 제89 항에 있어서,
    상기 개인 디스플레이는 AR/MR 디스플레이인, 개인화 미디어 시스템.
  99. 제89 항에 있어서,
    상기 일반적인 미디어 프로세서는 상기 일반적인 광 필드의 부분이 비워지게 상기 일반적인 비디오 데이터를 수정하도록 구성되고, 그리고
    상기 일반적인 광 필드의 부분은 상기 개인 3-차원 광 필드 내에서 오브젝트의 위치에 대응하는, 개인화 미디어 시스템.
  100. 제89 항에 있어서,
    상기 개인 비디오 데이터는 다른 사용자에 대응하는 다른 개인 비디오 데이터를 포함하는, 개인화 미디어 시스템.
KR1020197006247A 2016-08-01 2017-08-01 공간화 오디오를 가진 혼합 현실 시스템 KR102197544B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662369561P 2016-08-01 2016-08-01
US62/369,561 2016-08-01
PCT/US2017/044921 WO2018026828A1 (en) 2016-08-01 2017-08-01 Mixed reality system with spatialized audio

Publications (2)

Publication Number Publication Date
KR20190027934A true KR20190027934A (ko) 2019-03-15
KR102197544B1 KR102197544B1 (ko) 2020-12-31

Family

ID=61010443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197006247A KR102197544B1 (ko) 2016-08-01 2017-08-01 공간화 오디오를 가진 혼합 현실 시스템

Country Status (9)

Country Link
US (3) US10390165B2 (ko)
EP (1) EP3491495B1 (ko)
JP (3) JP6799141B2 (ko)
KR (1) KR102197544B1 (ko)
CN (1) CN109791441A (ko)
AU (2) AU2017305249B2 (ko)
CA (1) CA3032603A1 (ko)
IL (1) IL264478B (ko)
WO (1) WO2018026828A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390165B2 (en) 2016-08-01 2019-08-20 Magic Leap, Inc. Mixed reality system with spatialized audio
US10089063B2 (en) * 2016-08-10 2018-10-02 Qualcomm Incorporated Multimedia device for processing spatialized audio based on movement
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
CN111713091A (zh) * 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
WO2019161312A1 (en) * 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
KR102637876B1 (ko) * 2018-04-10 2024-02-20 가우디오랩 주식회사 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치
US11395089B2 (en) 2018-05-08 2022-07-19 Google Llc Mixing audio based on a pose of a user
WO2019246159A1 (en) * 2018-06-18 2019-12-26 Magic Leap, Inc. Spatial audio for interactive audio environments
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
US11100909B2 (en) * 2019-05-06 2021-08-24 Apple Inc. Devices, methods, and graphical user interfaces for adaptively providing audio outputs
US11445238B2 (en) * 2019-05-10 2022-09-13 Cinewav Pte. Ltd. System and method for synchronizing audio content on a mobile device to a separate visual display system
EP4035418A2 (en) * 2019-09-23 2022-08-03 Dolby Laboratories Licensing Corporation Hybrid near/far-field speaker virtualization
US11228857B2 (en) * 2019-09-28 2022-01-18 Facebook Technologies, Llc Dynamic customization of head related transfer functions for presentation of audio content
CN114026527A (zh) * 2019-10-22 2022-02-08 谷歌有限责任公司 可穿戴装置的空间音频
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定
US11741159B2 (en) * 2019-10-29 2023-08-29 Shmuel Ur Innovation Ltd Digital media authentication
US11270115B2 (en) * 2019-11-18 2022-03-08 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality content based on identification of trigger accompanying video content
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN111093142B (zh) * 2019-12-24 2021-06-08 杭州当虹科技股份有限公司 一种基于vr多方向音源合成的实现方法
WO2021243098A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions
CN113596673A (zh) * 2021-07-14 2021-11-02 宁波旗芯电子科技有限公司 Ar眼镜扬声器的定向发声方法、装置和发声设备
CN114040318A (zh) * 2021-11-02 2022-02-11 海信视像科技股份有限公司 一种空间音频的播放方法及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR920014231A (ko) * 1990-12-31 1992-07-30 이헌조 무선헤드폰 송 수신회로
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
JP4281937B2 (ja) * 2000-02-02 2009-06-17 パナソニック株式会社 ヘッドホンシステム
FR2847376B1 (fr) * 2002-11-19 2005-02-04 France Telecom Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede
JP2004229221A (ja) * 2003-01-27 2004-08-12 Yamaha Corp 楽音発生システム
US8201080B2 (en) 2006-05-24 2012-06-12 International Business Machines Corporation Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
JP4735993B2 (ja) * 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
JP5281695B2 (ja) * 2009-12-03 2013-09-04 独立行政法人科学技術振興機構 音響変換装置
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
JP2012129800A (ja) 2010-12-15 2012-07-05 Sony Corp 情報理装置および方法、プログラム、並びに情報処理システム
JP5716451B2 (ja) 2011-02-25 2015-05-13 ソニー株式会社 ヘッドホン装置およびヘッドホン装置の音声再生方法
US9107023B2 (en) * 2011-03-18 2015-08-11 Dolby Laboratories Licensing Corporation N surround
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
DE102012208118A1 (de) * 2012-05-15 2013-11-21 Eberhard-Karls-Universität Tübingen Headtracking-Headset und Gerät
US9124966B2 (en) 2012-11-28 2015-09-01 Qualcomm Incorporated Image generation for collaborative sound systems
US20140176591A1 (en) * 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
US20140328485A1 (en) 2013-05-06 2014-11-06 Nvidia Corporation Systems and methods for stereoisation and enhancement of live event audio
CA2913218C (en) * 2013-05-24 2022-09-27 Awe Company Limited Systems and methods for a shared mixed reality experience
US20150058877A1 (en) 2013-08-21 2015-02-26 Harman International Industries, Incorporated Content-based audio/video adjustment
KR102493498B1 (ko) 2013-11-27 2023-01-27 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
DE102014204630A1 (de) * 2014-03-13 2015-09-17 Steffen Armbruster Mobile Vorrichtung für immersive Sounderlebnisse
CN106937531B (zh) 2014-06-14 2020-11-06 奇跃公司 用于产生虚拟和增强现实的方法和系统
US10057706B2 (en) * 2014-11-26 2018-08-21 Sony Interactive Entertainment Inc. Information processing device, information processing system, control method, and program
CN105797366A (zh) * 2016-03-25 2016-07-27 中国传媒大学 一种基于声源定位的头戴式交互音频游戏终端
US10390165B2 (en) 2016-08-01 2019-08-20 Magic Leap, Inc. Mixed reality system with spatialized audio

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9285872B1 (en) * 2013-12-12 2016-03-15 Google Inc. Using head gesture and eye position to wake a head mounted device
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Also Published As

Publication number Publication date
CA3032603A1 (en) 2018-02-08
US20190327574A1 (en) 2019-10-24
AU2021250896B2 (en) 2023-09-14
IL264478B (en) 2021-02-28
EP3491495B1 (en) 2024-04-10
US20210044915A1 (en) 2021-02-11
US20180035234A1 (en) 2018-02-01
JP6799141B2 (ja) 2020-12-09
NZ750048A (en) 2023-08-25
US10856095B2 (en) 2020-12-01
US10390165B2 (en) 2019-08-20
JP2022166062A (ja) 2022-11-01
JP7118121B2 (ja) 2022-08-15
AU2017305249A1 (en) 2019-02-07
WO2018026828A1 (en) 2018-02-08
EP3491495A4 (en) 2019-07-24
AU2021250896A1 (en) 2021-11-11
IL264478A (en) 2019-02-28
CN109791441A (zh) 2019-05-21
JP2021036722A (ja) 2021-03-04
AU2017305249B2 (en) 2021-07-22
JP7270820B2 (ja) 2023-05-10
EP3491495A1 (en) 2019-06-05
JP2019523607A (ja) 2019-08-22
KR102197544B1 (ko) 2020-12-31
US11240622B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
AU2021250896B2 (en) Mixed reality system with spatialized audio
US11310618B2 (en) Virtual reality, augmented reality, and mixed reality systems with spatialized audio
RU2759012C1 (ru) Аппаратура и способ для воспроизведения аудиосигнала для проигрывания пользователю
US20220225050A1 (en) Head tracked spatial audio and/or video rendering
NZ750048B2 (en) Mixed reality system with spatialized audio
US20230283976A1 (en) Device and rendering environment tracking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right