KR101676634B1 - 오브젝트―기반 오디오를 위한 반사된 사운드 렌더링 - Google Patents

Abstract

실시예들은 청취 환경의 하나 이상의 표면들의 오디오를 반사하도록 구성되는 시스템을 통해 공간 오디오 콘텐트를 렌더링하기 위해 설명된다. 상기 시스템은 룸 주위에 분포된 오디오 드라이버들의 어레이로서, 상기 드라이버들의 어레이 중 적어도 하나의 드라이버는 상기 청취 환경 내에서의 청취 영역으로의 반사를 위한 청취 환경의 하나 이상의 표면들을 향해 음파들을 투사하도록 구성되는, 상기 오디오 드라이버들의 어레이 및 오디오 스트림들과 상기 오디오 스트림들 각각과 연관되며 청취 환경에서의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 수신 및 프로세싱하도록 구성된 렌더러를 포함한다.

Description

오브젝트―기반 오디오를 위한 반사된 사운드 렌더링{REFLECTED SOUND RENDERING FOR OBJECT-BASED AUDIO}

관련 출원들에 대한 상호-참조

본 출원은 전체적으로 참조로서 여기에 통합된, 2012년 8월 31일에 출원된 미국 가 특허 출원 번호 제 61/695,893호에 대한 우선권이 이득을 주장한다.

하나 이상의 구현들은 오디오 신호 프로세싱에 관한 것이며, 보다 구체적으로 특정한 청취 환경들에서 직접 및 반사된 드라이버들을 통해 적응적 오디오 콘텐트를 렌더링하는 것에 관한 것이다.

배경 기술에서 논의된 주제는 단지 배경 기술에서 언급되었다는 이유로 종래 기술인 것으로 전제되지 않아야 한다. 유사하게, 배경 기술에 언급된 또는 배경 기술의 주제와 연관된 문제점은 종래 기술에서 이전에 인지되어 온 것으로 가정되지 않아야 한다. 배경 기술에서의 주제는 단지 상이한 접근법들만을 나타내며, 이것은 그 자체로 및 자신에 의해 또한 발명들일 수 있다.

시네마 사운드 트랙들은 보통 스크린 상에서의 이미지들에 대응하는 많은 상이한 사운드 요소들, 대화, 잡음들, 및 스크린 상에서의 상이한 장소들에서 나오는 사운드 효과들을 포함하며 전체 청중 경험을 생성하기 위해 배경 음악 및 주변 효과들과 조합한다. 정확한 재생은 사운드 소스 위치, 강도, 움직임, 및 깊이에 대하여 스크린 상에 도시되는 것에 가능한 한 가깝게 부합하는 방식으로 사운드들이 재생될 것을 요구한다. 종래의 채널-기반 오디오 시스템들은 재생 환경에서 개개의 스피커들로 스피커 피드들의 형태로 오디오 콘텐트를 전송한다. 디지털 시네마의 도입은 콘텐트 창작자들에 대한 보다 큰 창의성, 및 청중들에 대한 보다 감싸며 현실적인 청각 경험을 허용하기 위해 오디오의 다중 채널들의 통합과 같은, 시네마 사운드에 대한 새로운 표준들을 생성했다. 공간 오디오를 분배하기 위한 수단으로서 종래의 스피커 피드들 및 채널-기반 오디오를 넘어 확대되는 것이 중요하며, 청취자가 구체적으로 그들의 선택된 구성에 대해 렌더링된 오디오를 가지는 원하는 재생 구성을 선택하도록 허용하는 모델-기반 오디오 디스크립션에 상당한 관심이 있어 왔다. 청취자 경험을 추가로 개선하기 위해, 실제 3-차원(3D) 또는 가상 3D 환경들에서의 사운드의 재생은 증가된 연구 및 개발의 영역이 되었다. 사운드의 공간 프리젠테이션은 오디오 오브젝트들을 이용하여, 이것은 겉보기 소스 위치(예로서, 3D 좌표들), 겉보기(apparent) 소스 폭, 및 다른 파라미터들의 연관된 파라미터 소스 디스크립션들을 가지는 오디오 신호들이다. 오브젝트-기반 오디오는 디지털 영화들, 비디오 게임들, 시뮬레이터들과 같은, 많은 멀티미디어 애플리케이션들을 위해 사용될 수 있으며 스피커들의 수 및 그것들의 배치가 일반적으로 비교적 작은 청취 환경의 범위들에 의해 제한되거나 한정되는 홈 환경에서 특히 중요하다.

다양한 기술들이 시네마 환경들에서 사운드 시스템들을 개선하기 위해 및 영화 사운드 트랙에 대한 창작자의 예술적 의도를 보다 정확하게 캡처하고 재생하기 위해 개발되어 왔다. 예를 들면, 오디오 오브젝트들에 대한 위치 메타데이터와 함께 오디오 오브젝트들 및 종래의 채널-기반 스피커 피드들의 믹싱을 포함하는 차세대 공간 오디오(또한 "적응적 오디오"로서 불리우는) 포맷이 개발되어 왔다. 공간 오디오 디코더에서, 채널들은 그것들의 연관된 스피커들(적절한 스피커들이 존재한다면)에 직접 전송되거나 기존의 스피커 세트로 다운-믹싱되며, 오디오 오브젝트들은 유연한 방식으로 디코더에 의해 렌더링된다. 3D 공간에서의 위치 궤적과 같은, 각각의 오브젝트와 연관된 파라미터 소스 디스크립션은 디코더에 연결된 스피커들의 수 및 위치와 함께 입력으로서 취해진다. 렌더러는 그 후 첨부된 세트의 스피커들에 걸쳐 각각의 오브젝트와 연관된 오디오를 분배하기 위해, 패닝 법칙(panning law)과 같은, 특정한 알고리즘들을 이용한다. 이러한 방식으로, 각각의 오브젝트의 저작된 공간적 의도는 청취 환경에 존재하는 특정 스피커 구성에 대해 최적으로 제공된다.

현재 공간적 오디오 시스템들(spatial audio systems)은 일반적으로 시네마 사용을 위해(for cinema use) 개발되어 왔으며, 따라서 청취 환경 주위에 나누어 배치된 다수의 스피커들의 어레이들을 포함하여, 비교적 값비싼 장비의 사용 및 큰 룸들에서의 배치를 수반한다. 현재 생성되는 증가하는 양의 시네마 콘텐트는 블루-레이 등과 같은 스트리밍 기술 및 개선된 미디어 기술을 통해 홈 환경(home environment)에서 재생을 위해 이용가능해지고 있다. 또한, 3D 텔레비전 및 개선된 컴퓨터 프로그램들 및 시뮬레이터들과 같은 최근 생겨난 기술들은 홈 및 다른 청취(비-시네마/극장) 환경들에서 대형-스크린 모니터들, 서라운드-사운드 수신기들 및 스피커 어레이들과 같은, 비교적 정교한 장비의 사용을 권장하고 있다. 그러나, 장비 비용, 설치 복잡도, 및 룸 크기는 대부분의 홈 환경에서 공간 오디오의 전체 이용을 방지하는 현실적인 제약들이다. 예를 들면, 개선된 오브젝트-기반 오디오 시스템들(object-based audio systems)은 통상적으로 청취자의 머리 위에서 비롯하도록 의도되는 사운드를 재생하기 위해 오버헤드 또는 높이 스피커들(overhead or height speakers)을 이용한다. 많은 경우들에서, 및 특히 홈 환경에서, 이러한 높이 스피커들은 이용가능하지 않을 수 있다. 이 경우에, 사운드 오브젝트들이 단지 바닥 또는 벽-장착 스피커들을 통해 재생된다면 그러한 높이 정보는 손실되어 버린다.

그러므로 요구되는 것은 적응적 오디오 시스템의 전체 공간 정보가, 제한된 또는 무 오버헤드 스피커들(limited or no overhead speakers)과 같이, 재생을 위해 의도된 전체 스피커 어레이의 단지 일부분 만을 포함하는 청취 환경에서 재생되도록 허용하고, 직접 스피커들이 존재하지 않을 수 있는 장소들로부터 사운드를 발하기 위해 반사된 스피커들을 이용할 수 있는 시스템이다.

시스템들 및 방법들이 새로운 스피커 및 채널 구성들을 포함하는 적응적 오디오 시스템에 기초한 업데이트된 콘텐트 생성 툴들, 배급 방법들 및 강화된 사용자 경험을 포함하는 오디오 포맷 및 시스템, 뿐만 아니라 가능하게는 시네마 사운드 믹서들을 위해 생성된 개선된 콘텐트 생성 툴들의 묶음에 의해 이루어진 새로운 공간 기술 포맷에 대해 설명된다. 실시예들은 홈 시어터(예로서, A/V 수신기, 사운드바, 및 블루-레이 플레이어), E-미디어(예로서, PC, 태블릿, 모바일 디바이스, 및 헤드폰 재생), 방송(예로서, TV 및 셋-탑 박스), 음악, 게이밍, 라이브 사운드, 사용자 생성 콘텐트("UGC") 등을 포함하는 특정한 오디오 재생 생태계로 시네마-기반 적응적 오디오 개념을 확장시키는 시스템을 포함한다. 홈 환경 시스템은 연극 콘텐트와의 호환성을 제공하는 구성요소들, 및 창의적인 의도를 전달하기 위한 콘텐트 생성 정보, 오디오 오브젝트들에 관한 매체 지능 정보, 스피커 피드들, 공간 렌더링 정보 및 대화, 음악, 분위기 등과 같은 콘텐트 유형을 표시하는 콘텐트 의존적 메타데이터를 포함하는 특징 메타데이터 정의들을 포함한다. 적응적 오디오 정의들은 오디오 채널들 더하기 연관된 공간 렌더링 정보(크기, 속도 및 3차원 공간에서의 위치)를 가지는 오디오 오브젝트들을 통한 표준 스피커 피드들을 포함할 수 있다. 신규 스피커 레이아웃(또는 채널 구성) 및 다수의 렌더링 기술들을 지원할 수반하는 새로운 공간 디스크립션 포맷이 또한 설명된다. 오디오 스트림들(일반적으로 채널들 및 오브젝트들을 포함한)은 오디오 스트림의 원하는 위치를 포함하여, 콘텐트 창작자의 또는 사운드 믹서의 의도를 설명하는 메타데이터와 함께 송신된다. 위치는 명명된 채널로서(미리 정의된 채널 구성 내에서부터) 또는 3D 공간 위치 정보로서 표현될 수 있다. 이러한 채널 더하기 오브젝트 포맷은 채널-기반 및 모델-기반 오디오 장면 디스크립션 방법들 양쪽 모두의 최상을 제공한다.

실시예들은 구체적으로 반사된 사운드 요소들을 사용하여 사운드를 렌더링하기 위한 시스템에 관한 것이며, 상기 시스템은 청취 환경 주위에 나누어 배치하기 위한 오디오 드라이버들의 어레이로서, 드라이버들의 일부는 직접 드라이버들이며 다른 것들은 특정 청취 영역으로의 반사를 위해 청취 환경의 하나 이상의 표면들을 향해 음파를 투사하도록 구성되는 반사 드라이버들인, 상기 오디오 드라이버들의 어레이; 오디오 스트림들 및 각각의 오디오 스트림과 연관되며 각각의 오디오 스트림의 청취 환경에서의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 프로세싱하기 위한 렌더러로서, 상기 오디오 스트림들은 하나 이상의 반사된 오디오 스트림들 및 하나 이상의 직접 오디오 스트림들을 포함하는, 상기 렌더러; 및 상기 하나 이상의 메타데이터 세트들에 따라 상기 오디오 드라이버들의 어레이로의 상기 오디오 스트림들을 렌더링하기 위한 재생 시스템으로서, 상기 하나 이상의 반사된 오디오 스트림들은 상기 반사된 오디오 드라이버들로 송신되는, 상기 재생 시스템을 포함한다.

참조에 의한 통합

본 명세서에 언급된 임의의 공개, 특허, 및/또는 특허 출원은 각각의 개개의 공개 및/또는 특허 출원이 구체적으로 및 개별적으로 참조로서 통합되는 것으로 표시되는 것처럼 동일한 정도로 전체적으로 참조로서 통합된다.

다음의 도면들에서, 유사한 참조 번호들은 유사한 요소들을 나타내기 위해 사용된다. 다음의 도면들은 다양한 예들을 묘사하지만, 하나 이상의 구현들은 도면들에 묘사된 예들에 제한되지 않는다.

도 1은 높이 채널들의 재생을 위한 높이 스피커를 제공하는 서라운드 시스템(예로서, 9.1 서라운드)에서의 일 예시적인 스피커 배치를 도시한 도면.
도 2는 일 실시예 하에서, 적응적 오디오 믹스를 생성하기 위해 채널 및 오브젝트-기반 데이터의 조합을 도시한 도면.
도 3은 일 실시예 하에서, 적응적 오디오 시스템에서의 사용을 위한 재생 아키텍처의 블록도.
도 4a는 일 실시예 하에서 청취 환경에서의 사용을 위해 시네마 기반 오디오 콘텐트를 적응시키기 위한 기능적 구성요소들을 도시하는 블록도.
도 4b는 일 실시예 하에서, 도 3a의 구성요소들의 상세한 블록도.
도 4c는 일 실시예 하에서, 적응적 오디오 환경의 기능적 구성요소들의 블록도.
도 5는 일 예시적인 홈 시어터 환경에서 적응적 오디오 시스템의 배치를 도시한 도면.
도 6은 청취 환경에서 오버헤드 스피커를 시뮬레이팅(simulating)하기 위해 반사된 사운드를 사용하는 상향-파이어링 드라이버의 사용을 도시한 도면.
도 7a는 일 실시예 하에서, 반사된 사운드 렌더러를 가지는 적응적 오디오 시스템에서의 사용을 위한 제 1 구성에서 복수의 드라이버들을 가지는 스피커를 도시한 도면.
도 7b는 일 실시예 하에서, 반사된 사운드 렌더러를 가지는 적응적 오디오 시스템에서의 사용을 위한 다수의 엔클로저들에 분포된 드라이버들을 가지는 스피커 시스템을 도시한 도면.
도 7c는 일 실시예 하에서, 반사된 사운드 렌더러를 사용하여 적응적 오디오 시스템에서 사용된 사운드바에 대한 일 예시적인 구성을 도시한 도면.
도 8은 청취 환경 내에 위치된 상향-파이어링 드라이버들을 포함하는 개별적으로 어드레싱가능한 드라이버들을 가지는 스피커들의 일 예시적인 배치를 도시한 도면.
도 9a는 일 실시예 하에서, 반사된 오디오에 대한 다수의 어드레싱가능한 드라이버들을 이용하는 적응적 오디오 5.1 시스템에 대한 스피커 구성을 도시한 도면.
도 9b는 일 실시예 하에서, 반사된 오디오에 대한 다수의 어드레싱가능한 드라이버들을 이용하는 적응적 오디오 7.1 시스템에 대한 스피커 구성을 도시한 도면.
도 10은 일 실시예 하에서, 양-방향 상호연결의 구성을 도시한 도면.
도 11은 일 실시예 하에서, 적응적 오디오 시스템에서의 사용을 위한 자동 구성 및 시스템 교정 프로세스를 도시한 도면.
도 12는 일 실시예 하에서, 적응적 오디오 시스템에 사용된 교정 방법에 대한 프로세스 단계들을 도시하는 흐름도.
도 13은 일 예시적인 텔레비전 및 사운드바 사용 경우에서 적응적 오디오 시스템의 사용을 도시한 도면.
도 14는 일 실시예 하에서, 적응적 오디오 시스템에서 3-차원 양이 헤드폰 가상화의 간소화된 표현을 도시한 도면.
도 15는 일 실시예 하에서, 청취 환경들을 위한 반사된 사운드 렌더러를 이용하는 적응적 오디오 시스템에서의 사용을 위한 특정한 메타데이터 정의들을 도시하는 표.
도 16은 일 실시예 하에서, 조합된 필터에 대한 주파수 응답을 도시하는 그래프.

시스템들 및 방법들이 오버헤드 스피커들이 부족한 적응적 오디오 시스템들에 대한 반사된 사운드를 렌더링하는 적응적 오디오 시스템에 대해 설명된다. 여기에 설명된 하나 이상의 실시예들의 양태들은 소프트웨어 지시들을 실행하는 하나 이상의 컴퓨터들 또는 프로세싱 디바이스들을 포함하는 믹싱, 렌더링, 및 재생 시스템에서 소스 오디오 정보를 프로세싱하는 오디오 또는 시청각 시스템에서 구현될 수 있다. 설명된 실시예들 중 임의의 것이 단독으로 또는 임의의 조합으로 서로와 함께 사용될 수 있다. 다양한 실시예들이 명세서에서의 하나 이상의 장소들에서 논의되거나 암시될 수 있는, 종래 기술이 가지는 다양한 결점들에 의해 동기 부여되었지만, 실시예들은 이들 결점들 중 임의의 것을 반드시 다루지는 않는다. 다시 말해서, 상이한 실시예들은 명세서에서 논의될 수 있는 상이한 결점들을 다룰 수 있다. 몇몇 실시예들은 명세서에서 논의될 수 있는 몇몇 결점들 또는 단지 하나의 결점을 단지 부분적으로 다룰 수 있으며, 몇몇 실시예들은 이들 결점들 중 임의의 것을 다루지 않을 수 있다.

본 설명의 목적을 위해, 다음의 용어들은 연관된 의미들을 가진다: 용어("채널")는 오디오 신호 더하기 위치가 채널 식별자로서 코딩되는 메타데이터, 예로서 좌측-전방 또는 우측-최상부 서라운드를 의미하고; "채널-기반 오디오"는 연관된 공칭 위치들을 가지는 미리-정의된 세트의 스피커 구역들을 통해 재생을 위해 포맷팅된 오디오, 예로서 5.1, 7.1 등이고; 용어("오브젝트" 또는 "오브젝트-기반 오디오")는 겉보기 소스 위치(예로서, 3D 좌표들), 겉보기 소스 폭 등과 같은, 파라미터 소스 디스크립션을 가지는 하나 이상의 오디오 채널들을 의미하며; "적응적 오디오"는 오디오 스트림 더하기 위치가 공간에서 3D 위치로서 코딩되는 메타데이터를 사용하는 재생 환경에 기초하여 오디오 신호들을 렌더링하는 메타데이터 더하기 채널-기반 및/또는 오브젝트-기반 오디오 신호들을 의미하며; "청취 환경"은 단독으로 또는 비디오 또는 다른 콘텐트와 함께 오디오 콘텐트의 재생을 위해 사용될 수 있으며, 홈, 시네마, 극장, 강당, 스튜디오, 게임 콘솔 등에서 구체화될 수 있는 룸과 같은, 임의의 개방된, 부분적으로 밀폐된, 또는 완전히 밀폐된 영역을 의미한다. 이러한 영역은 음파들을 직접 또는 널리 반사할 수 있는 벽들 또는 칸막이들과 같은, 그 안에 배치된 하나 이상의 표면들을 가질 수 있다.

적응적 오디오 포맷 및 시스템

실시예들은 사운드 포맷과 함께 작동하도록 구성되는 반사된 사운드 렌더링 시스템 및 강화된 청중 몰감입, 보다 큰 예술적 제어, 및 시스템 유연성 및 확장성을 허용하기 위해 오디오 포맷 및 렌더링 기술에 기초하는 "공간 오디오 시스템" 또는 "적응적 오디오 시스템"으로서 불리울 수 있는 프로세싱 시스템에 관한 것이다. 전체 적응적 오디오 시스템은 일반적으로 종래의 채널-기반 오디오 요소들 및 오디오 오브젝트 코딩 요소들 양쪽 모두를 포함하는 하나 이상의 비트스트림들을 생성하도록 구성된 오디오 인코딩, 분배, 및 디코딩 시스템을 포함한다. 이러한 조합된 접근법은 개별적으로 취해진 채널-기반 또는 오브젝트-기반 접근법들에 비교하여 보다 큰 코딩 효율성 및 렌더링 유연성을 제공한다. 본 실시예들과 함께 사용될 수 있는 적응적 오디오 시스템의 예는, 전체적으로 여기에 참조로서 통합되는, 2012년 4월 20일에 출원되고 "적응적 오디오 신호 생성, 코딩, 및 렌더링을 위한 시스템 및 방법(System and Method for Adaptive Audio Signal Generation, Codinig and Rendering)"이라는 제목의, 계류 중인 미국 가 특허 출원 제 61/636,429호에 설명된다.

적응적 오디오 시스템 및 연관된 오디오 포맷의 일 예시적인 구현은 돌비® 애트모스™ 플랫폼이다. 이러한 시스템은 9.1 서라운드 시스템, 또는 유사한 서라운드 사운드 구성으로서 구현될 수 있는 높이(상/하) 치수를 통합한다. 도 1은 높이 채널들의 재생을 위해 높이 스피커들을 제공하는 현재 서라운드 시스템(예로서, 9.1 서라운드)에서의 스피커 배치를 도시한다. 9.1 시스템(100)의 스피커 구성은 바닥 평면에 5개의 스피커들(102) 및 높이 평면에 4개의 스피커들(104)로 구성된다. 일반적으로, 이들 스피커들은 청취 환경 내에서 더 또는 덜 정확하게 임의의 위치에서 나오도록 설계되는 사운드를 생성하기 위해 사용될 수 있다. 도 1에 도시된 바와 같은, 미리 정의된 스피커 구성들은 물론 주어진 사운드 소스의 위치를 정확하게 표현하기 위한 능력을 제한할 수 있다. 예를 들면, 사운드 소스는 좌측 스피커 자체보다 더 좌측으로 패닝될 수 없다. 이것은 모든 스피커에 적용하며, 그러므로 1-차원(예로서, 좌측-우측), 2-차원(예로서, 전방-후방), 또는 3-차원(예로서, 좌측-우측, 전방-후방, 상-하) 기하학적 형태를 형성하며, 여기에서 다운믹스가 제한된다. 다양한 상이한 스피커 구성들 및 유형들이 이러한 스피커 구성에 사용될 수 있다. 예를 들면, 특정한 강화된 오디오 시스템은 9.1, 11.1, 13.1, 19.4, 또는 다른 구성에서 스피커들을 사용할 수 있다. 스피커 유형들은 전체 범위 직접 스피커들, 스피커 어레이들, 서라운드 스피커들, 서브우퍼들, 트위터들, 및 다른 유형들의 스피커들을 포함할 수 있다.

오디오 오브젝트들은 청취 환경에서 특정한 물리적 위치 또는 위치들에서 나오기 위해 인지될 수 있는 사운드 요소들의 그룹들로서 고려될 수 있다. 이러한 오브젝트들은 정적(즉, 정지된)이거나 동적(즉, 움직이는)일 수 있다. 오디오 오브젝트들은 다른 기능들과 함께, 주어진 시간 포인트에서 사운드의 위치를 정의하는 메타데이터에 의해 제어된다. 오브젝트들이 재생될 때, 그것들은 미리 정의된 물리 채널로 반드시 출력되기보다는, 존재하는 스피커들을 사용하여 위치 메타데이터에 따라 렌더링된다. 세션에서의 트랙은 오디오 오브젝트일 수 있으며, 표준 패닝 데이터는 위치 메타데이터와 유사하다. 이러한 식으로, 스크린 상에 위치된 콘텐트는 효과적으로 채널-기반 콘텐트와 동일한 방식으로 패닝할 수 있지만, 서라운드들에 위치된 콘텐트는 원한다면 개개의 스피커로 렌더링될 수 있다. 오디오 오브젝트들의 사용은 별개의 효과들을 위한 원하는 제어를 제공하지만, 사운드트랙의 다른 양태들은 채널-기반 환경에서 효과적으로 작동할 수 있다. 예를 들면, 많은 주변 효과들 또는 반향은 스피커들의 어레이들에 공급되는 것으로부터 이익을 얻는다. 이것들은 어레이를 채우기에 충분한 폭을 가지는 오브젝트들로서 처리될 수 있지만, 몇몇 채널-기반 기능을 보유하는 것이 유익하다.

적응적 오디오 시스템은 오디오 오브젝트들 이외에 "베드(bed)들"을 지원하도록 구성되며, 여기에서 베드들은 효과적 채널-기반 서브-믹싱들 또는 스템들이다. 이것들은 콘텐트 창작자의 의도에 의존하여, 개별적으로 최종 재생(렌더링)을 위해 전달되거나, 단일 베드로 조합될 수 있다. 이들 베드들은 도 1에 도시된 바와 같이, 5.1, 7.1, 및 9.1과 같은 상이한 채널-기반 구성들, 및 오버헤드 스피커들을 포함하는 어레이들로 생성될 수 있다. 도 2는 일 실시예 하에서, 적응적 오디오 믹스를 생성하기 위해 채널 및 오브젝트-기반 데이터의 조합을 도시한다. 프로세스(200)에 도시된 바와 같이, 예를 들면, 펄스-코드 변조(PCM) 데이터의 형태로 제공된 5.1 또는 7.1 서라운드 사운드 데이터일 수 있는 채널-기반 데이터(202)는 적응적 오디오 믹스(208)를 생성하기 위해 오디오 오브젝트 데이터(204)와 조합된다. 상기 오디오 오브젝트 데이터(204)는 오디오 오브젝트들의 위치에 관계된 특정한 파라미터들을 특정하는 연관된 메타데이터와 원래 채널-기반 데이터의 요소들을 조합함으로써 생성된다. 개념적으로 도 2에 도시된 바와 같이, 저작 툴들은 스피커 채널 그룹들 및 오브젝트 채널들의 조합을 동시에 포함하는 오디오 프로그램들을 생성하기 위한 능력을 제공한다. 예를 들면, 오디오 프로그램은 선택적으로 그룹들(또는 트랙들, 에로서 스테레오 또는 5.1 트랙)로 조직된 하나 이상의 스피커 채널들, 하나 이상의 스피커 채널들에 대한 기술적 메타데이터, 하나 이상의 오브젝트 채널들, 및 하나 이상의 오브젝트 채널들에 대한 서술적 메타데이터를 포함할 수 있다.

적응적 오디오 시스템은 공간 오디오를 분배하기 위한 수단으로서 간단한 "스피커 피드들"을 넘어 효과적으로 이동하며, 그것들 개개의 요구들 또는 예산에 맞는 재생 구성을 선택하기 위한 자유를 청취자에게 허용하며 구체적으로 그것들의 개별적으로 선택된 구성에 대해 렌더링된 오디오를 갖는 개선된 모델-기반 오디오 기술들이 개발되어 왔다. 고 레벨에서, 4개의 주요 공간 오디오 기술 포맷들이 있다: (1) 스피커 피드, 여기에서 오디오는 공칭 스피커 위치들에 위치된 라우드스피커들에 대해 의도된 신호들로서 설명된다; (2) 마이크로폰 피드, 여기에서 상기 오디오는 미리 정의된 구성(마이크로폰들의 수 및 그것들의 상대적인 위치)에서 실제 또는 가상 마이크로폰들에 의해 캡처된 신호들로서 설명된다; (3) 모델-기반 기술, 여기에서 상기 오디오는 설명된 시간들 및 위치들에서 오디오 이벤트들의 시퀀스에 대하여 설명된다; (4) 양이, 여기에서 상기 오디오는 청취자의 2개의 귀들에 도달하는 신호들에 의해 설명된다.

4개의 기술 포맷들은 종종 다음의 공통 렌더링 기술들과 연관되며, 여기에서 용어("렌더링")는 스피커 피드들로서 사용된 전기 신호들로의 변환을 의미한다: (1) 패닝, 여기에서 오디오 스트림은 패닝 법칙들의 세트 및 알려진 또는 가정된 스피커 위치들(통상적으로 분배 이전에 렌더링되는)을 사용하여 스피커 피드들로 변환된다; (2) 앰비소닉스(Ambisonics), 여기에서 마이크로폰 신호들은 라우드스피커들의 확장가능한 어레이(통상적으로 분배 후 렌더링되는)에 대한 피드들로 변환된다; (3) 음장 합성(Wave Field Synthesis; WFS), 여기에서 사운드 이벤트들은 사운드 필드(통상적으로 분배 후 렌더링되는)를 합성하기 위해 적절한 스피커 신호들로 변환된다; (4) 양이, 여기에서 L/R 양이 신호들은 통상적으로 헤드폰들을 통해, 그러나 크로스토크 소거와 함께 스피커들을 통해 L/R 귀에 전달된다.

일반적으로, 임의의 포맷은 또 다른 포맷(이것은 블라인드 소스 분리 또는 유사한 기술)으로 변환되며 앞서 언급한 기술들 중 임의의 것을 사용하여 렌더링될 수 있지만; 모든 변환들이 실제로 양호한 결과들을 산출하는 것은 아니다. 스피커-피드 포맷은 그것인 간단하며 효과적이기 때문에 가장 보편적이다. 최상의 음파 결과들(즉, 가장 정확하며 신뢰성 있는)은 콘텐트 창작자 및 청취자 사이에 요구된 프로세싱이 없기 때문에 스피커 피드들에서 믹싱/모니터링하며 그 후 이를 직접 분배함으로써 달성된다. 재생 시스템이 사전에 알려져 있다면, 스피커 피드 디스크립션은 가장 높은 충실도를 제공하지만; 재생 시스템 및 그것의 구성은 종종 사전에 알려지지 않는다. 반대로, 모델-기반 디스크립션은 그것이 재생 시스템에 대한 가정들을 하지 않으며 그러므로 다수의 렌더링 기술들에 가장 쉽게 적용되기 때문에 가장 적응가능하다. 모델-기반 디스크립션은 공간 정보를 효율적으로 캡처할 수 있지만, 오디오 소스들의 수가 증가함에 따라 매우 비효율적이게 된다.

적응적 오디오 시스템은 동일한 채널 구성, 렌더링 구성에 대한 "하향" 적응을 가지는 단일 재고, 시스템 파이프라인에 대한 비교적 낮은 영향, 및 보다 미세한 수평 스피커 공간 분해능 및 새로운 높이 채널들을 통한 증가된 몰입감을 사용하여 믹싱 및 렌더링할 때 예술적 의도의 높은 음색 품질, 최적의 재생을 포함하는 특정 이득들을 갖고, 채널 및 모델-기반 시스템들 양쪽 모두의 이익들을 조합한다. 적응적 오디오 시스템은 특정 시네마 렌더링 구성, 즉 지연 렌더링 및 재생 환경에서 이용가능한 스피커들의 최적의 사용으로의 하향 및 상향 적응을 가지는 단일 재고; 채널-간 상관(ICC) 아티팩트들을 회피하기 위해 최적화된 다운믹싱을 포함한, 증가된 임장감; 스티어-스루(steer-thru) 어레이들(예로서, 오디오 오브젝트가 서라운드 어레이 내에서 하나 이상의 라우드스피커들에 동적으로 할당되도록 허용하는)을 통해 증가된 공간 분해능; 및 높은 분해능 센터 또는 유사한 스피커 구성을 통해 증가된 전방 채널 분해능을 포함한, 여러 개의 새로운 특징들을 제공한다.

오디오 신호들의 공간 효과들은 청취자에 대한 실감나는 경험을 제공할 때 중요하다. 시청 스크린 또는 청취 환경의 특정 영역에서 나오도록 의도되는 사운드들은 동일한 상대적 위치에 위치된 스피커(들)를 통해 플레이되어야 한다. 따라서, 모델-기반 디스크립션에서의 사운드 이벤트의 1차 오디오 메타데이텀은 크기, 배향, 속도 및 음향 분산과 같은 다른 파라미터들이 또한 설명될 수 있을지라도, 취될 수 있다. 위치를 전달하기 위해, 모델-기반 3D 오디오 공간 디스크립션은 3D 좌표 시스템을 요구한다. 송신을 위해 사용된 좌표 시스템(유클리드, 구체, 원통형)은 일반적으로 편리함 또는 압축성을 위해 선택되지만; 다른 좌표 시스템들은 렌더링 프로세싱을 위해 사용될 수 있다. 좌표 시스템 외에, 기준 프레임이 공간에서의 오브젝트들의 위치들을 나타내기 위해 요구된다. 다양한 상이한 환경들에서 위치-기반 사운드를 정확하게 재생하기 위한 시스템들에 대해, 적절한 기준 프레임을 선택하는 것이 중대할 수 있다. 환경중심적 기준 프레임을 갖고, 오디오 소스 위치는 룸 벽들 및 코너들, 표준 스피커 위치들, 및 스크린 위치와 같은 렌더링 환경 내에서의 특징들에 대하여 정의된다. 자기중심적 기준 프레임에서, 위치들은 "내 앞에", "좌측으로 약간" 등과 같은, 청취자의 관점에 대하여 표현된다. 공간 지각(이동 및 그 외)의 과학적인 연구들은 자기중심적 관점이 거의 보편적으로 사용됨을 도시하고 있다. 그러나, 시네마에 대해, 환경중심적 기준 프레임이 일반적으로 더 적합하다. 예를 들면, 오디오 오브젝트의 정확한 위치는 스크린 상에 연관된 오브젝트가 있을 때 가장 중요하다. 환경중심적 기준을 사용할 때, 모든 청취 위치에 대해 및 임의의 스크린 크기에 대해, 사운드는 스크린 상에서의 동일한 상대적인 위치, 예로서 "스크린 중간의 1/3 좌측"에서 국소화할 것이다. 또 다른 이유는 믹서들이 자기중심적 조건에서 생각하고 믹싱하려는 경향이 있으며, 패닝 툴들이 자기중심적 프레임을 갖고 배치되며(즉, 룸 벽), 믹서들은 그것들을 상기 방식으로, 예로서, "이 사운드는 스크린 상에 있어야 한다", "이 사운드는 스크린 밖에 있어야 한다", 또는 "좌측 벽으로부터" 등으로 렌더링될 것으로 예상된다.

시네마 환경에서 환경중심적 기준 프레임의 사용에도 불구하고, 자기중심적 기준 프레임이 유용하며 보다 적절할 수 있는 몇몇 경우들이 있다. 이것들은 비-다이제틱 사운드들, 즉 "이야기 공간"에 존재하지 않는 것들, 예로서 무드 음악을 포함하며, 이것에 대해 자기중심적으로 균일한 프리젠테이션이 바람직할 수 있다. 또 다른 경우는 자기중심적 표현을 요구하는 근거리-장 효과들(예로서, 청취자의 좌측 귀에서 윙윙거리는 모기)이다. 또한, 무한으로 먼 사운드 소스들(및 결과적인 평면 파들)이 일정한 자기중심적 위치(예로서, 좌측으로 30도들)로부터 오는 것처럼 보일 수 있으며, 이러한 사운드들은 환경중심적 조건들보다 자기중심적 조건에서 설명하기에 더 용이하다. 몇몇 경우들에서, 공칭 청취 위치가 정의되는 한 환경중심적 기준 프레임을 사용하는 것이 가능한 반면, 몇몇 예들은 렌더링하는 것이 아직 가능하지 않은 자기중심적 표현을 요구한다. 환경중심적 기준이 보다 유용하며 적절할 수 있지만, 오디오 표현은, 자기중심적 표현을 포함하는 많은 새로운 특징들이 특정 애플리케이션 및 청취 환경들에서 더 바람직할 수 있기 때문에, 확장가능해야 한다.

적응적 오디오 시스템의 실시예들은 최적의 충실도를 위한 및 자기중심적 기준을 사용하는 분산된 또는 복잡한, 다중-포인트 소스들(예로서, 경기장 관중, 환경), 더하기 증가된 공간 분해능 확장성을 효율적으로 가능하게 하기 위해 환경 중심적, 모델-기반 소스 디스크립션의 렌더링을 위한 추천된 채널 구성을 포함하는 하이브리드 공간 디스크립션 접근법을 포함한다. 도 3은 일 실시예 하에서, 적응적 오디오 시스템에서의 사용을 위한 재생 아키텍처의 블록도이다. 도 3의 시스템은 후-처리 및/또는 증폭 및 스피커 스테이지들로 전송되는 오디오 이전에 레거시, 오브젝트 및 채널 오디오 디코딩, 오브젝팅 렌더링, 채널 재매핑 및 신호 프로세싱을 수행하는 프로세싱 블록들을 포함한다.

재생 시스템(300)은 하나 이상의 캡처, 전-처리, 저작 및 코딩 구성요소들을 통해 생성된 오디오 콘텐트를 렌더링 및 재생하도록 구성된다. 적응적 오디오 전-처리기는 입력 오디오의 분석을 통해 적절한 메타데이터를 자동으로 생성하는 소스 분리 및 콘텐트 유형 검출 기능을 포함할 수 있다. 예를 들면, 위치 메타데이터는 채널 쌍들 사이에서 상관된 입력의 상대적인 레벨들의 분석을 통해 다중-채널 기록으로부터 도출될 수 있다. "스피치" 또는 "음악"과 같은, 콘텐트 유형의 검출은 예를 들면, 특징 추출 및 분류에 의해, 달성될 수 있다. 특정한 저작 툴들은 그로 하여금 일단 그것이 실제로 임의의 재생 환경에서 재생을 위채 최적화된다면 최종 오디오 믹스를 생성하도록 허용하는 사운드 엔지니어의 창의적 의도의 입력 및 코드화를 최적화함으로써 오디오 프로그램들의 저작을 허용한다. 이것은 원래 오디오 콘텐트와 연관되며 그것을 갖고 인코딩되는 오디오 오브젝트들 및 위치 데이터의 사용을 통해 성취될 수 있다. 강당 주변에 소리들을 정확하게 위치시키기 위해, 사운드 엔지니어는 사운드가 어떻게 궁극적으로 재생 환경의 실제 제약들 및 특징들에 기초하여 렌더링될 것인지에 대한 제어를 요구한다. 적응적 오디오 시스템은 사운드 엔지니어로 하여금 오디오 콘텐트가 오디오 오브젝트들 및 위치 데이터의 사용을 통해 설계되고 믹싱되는 방법을 변경하도록 허용함으로써 이러한 제어를 제공한다. 일단 적응적 오디오 콘텐트가 적절한 코덱 디바이스들에서 저작되고 코딩된다면, 그것은 재생 시스템(300)의 다양한 구성요소들에서 디코딩되며 렌더링된다.

도 3에 도시된 바와 같이, (1) 레거시 서라운드-사운드 오디오(302), (2) 오브젝트 메타데이터를 포함하는 오브젝트 오디오(304), 및 (3) 채널 메타데이터를 포함하는 채널 오디오(306)가 프로세싱 블록(310) 내에서 디코더 상태들(308, 309)로 입력된다. 오브젝트 메타데이터는 오브젝트 렌더러(312)에서 렌더링되는 반면, 채널 메타데이터는 필요에 따라 재매핑될 수 있다. 청취 환경 구성 정보(307)는 오브젝트 렌더러 및 채널 재-매핑 구성요소에 제공된다. 하이브리드 오디오 데이터는 그 후 B-체인 프로세싱 스테이지(316)로의 출력 및 스피커들(318)을 통해 재생 이전에 이퀄라이저들 및 리미터들(314)과 같은 하나 이상의 신호 프로세싱 스테이지들을 통해 프로세싱된다. 시스템(300)은 적응적 오디오를 위한 재생 시스템의 예를 나타내며, 다른 구성들, 구성요소들, 및 상호연결들이 또한 가능하다.

도 3의 시스템은 렌더러가 선택적 채널-기반 오디오 콘텐트와 함께 오브젝트-기반 오디오 콘텐트를 프로세싱하기 위한 입력 오디오 채널들에 오브젝트 메타데이터를 적용하는 구성요소를 포함하는 일 실시예를 도시한다. 실시예들은 또한 입력 오디오 채널들이 단지 레거시 채널-기반 콘텐트를 포함하며, 렌더러가 서라운드-사운드 구성에서 드라이버들의 어레이로의 송신을 위한 스피커 피드들을 생성하는 구성요소를 포함하는 경우에 관한 것일 수 있다. 이 경우에, 입력은 반드시 오브젝트-기반 콘텐트인 것은 아니지만, 돌비 디지털 또는 돌비 디지털 플러스, 또는 유사한 시스템들에 제공된 바와 같은, 레거시 5.1 또는 7.1(또는 다른 비-오브젝트 기반) 콘텐트이다.

재생 애플리케이션들

상기 언급된 바와 같이, 적응적 오디오 포맷 및 시스템의 초기 구현은 신규 저작 툴들을 사용하여 저작되고, 적응적 오디오 시네마 인코더를 사용하여 패키징되며, 기존의 디지털 시네마 모음(Digital Cinema Initiative; DCI) 분배 메커니즘을 사용하는 독점 무손실 코덱 또는 PCM을 사용하여 분배되는 콘텐트 캡처(오브젝트들 및 채널들)를 포함하는 디지털 시네마(D-시네마) 맥락에 있다. 이 경우에, 오디오 콘텐트는 실감나는 공간 오디오 시네마 경험을 생성하기 위해 디지털 시네마에서 디코딩되고 렌더링되도록 의도된다. 그러나, 아날로그 서라운드, 디지털 다중-채널 오디오 등과 같은, 이전 시네마 개선들과 마찬가지로, 적응적 오디오 포맷에 의해 그들의 홈들에서 사용자들에게 직접 제공된 강화된 사용자 경험을 전달하는데 반드시 해야 하는 것이 있다. 이것은 포맷 및 시스템의 특정 특성들이 보다 제한된 청취 환경들에서의 사용을 위해 적응되는 것을 요구한다. 예를 들면, 홈들, 룸들, 작은 강당 또는 유사한 장소들은 시네마 또는 극장 환경에 비교하여 감소된 공간, 음향 속성들 및 장비 능력들을 가질 수 있다. 설명의 목적들을 위해, 용어("소비자-기반 환경")는 집, 스튜디오, 룸, 콘솔 영역, 강당 등과 같은, 정기적인 소비자들 또는 전문가들에 의한 사용을 위한 청취 환경을 포함하는 임의의 비-시네마 환경을 포함하도록 의도된다. 오디오 콘텐트는 단독으로 소싱되고 렌더링될 수 있거나 그것은 그래픽 콘텐트, 예로서 정지 화상들, 광 디스플레이들, 비디오 등과 연관될 수 있다.

도 4a는 일 실시예 하에서 청취 환경에서의 사용을 위한 시네마 기반 오디오 콘텐트를 적응시키기 위한 기본 구성요소들을 도시하는 블록도이다. 도 4a에 도시된 바와 같이, 통상적으로 동화상 사운드트랙을 포함하는 시네마 콘텐트는 블록(402)에서 적절한 장비 및 툴들을 사용하여 캡처되고/되거나 저작된다. 적응적 오디오 시스템에서, 이 콘텐트는 블록(404)에서 구성요소들 및 인터페이스들을 인코딩/디코딩 및 렌더링하는 것을 통해 프로세싱된다. 결과적인 오브젝트 및 채널 오디오 피드들은 그 후 시네마 또는 극장(406)에서의 적절한 스피커들로 전송된다. 시스템(400)에서, 시네마 콘텐트는 또한 홈 시어터 시스템(416)과 같은, 청취 환경에서의 재생을 위해 프로세싱된다. 청취 환경이 제한된 공간, 감소된 스피커 카운트 등으로 인해 콘텐트 창작자에 의해 의도된 바와 같이 사운드 콘텐트의 모두를 재생할 수 있거나 포괄적인 것은 아님이 추정된다. 그러나, 실시예들은 원래 오디오 콘텐트로 하여금 청취 환경의 감소된 용량에 의해 부여된 제한들을 최소화하는 방식으로 렌더링되도록 허용하며, 위치 큐들이 이용가능한 장비를 최대화하는 방식으로 프로세싱되도록 허용하는 시스템들 및 방법들에 관한 것이다. 도 4a에 도시된 바와 같이, 시네마 오디오 콘텐트는 그것이 소비자 콘텐트 코딩 및 렌더링 체인(414)에서 프로세싱되는 시네마-소비자 변환기 구성요소(408)를 통해 프로세싱된다. 이러한 체인은 또한 블록(412)에서 캡처되고/되거나 저작되는 원래 오디오 콘텐트를 프로세싱한다. 원래 콘텐트 및/또는 변환된 시네마 콘텐트는 그 후 청취 환경(416)에서 재생된다. 이러한 방식으로, 오디오 콘텐트에서 코딩되는 관련된 공간 정보는, 심지어 홈 또는 청취 환경(416)의 가능하게 제한된 스피커 구성을 사용하여, 보다 실감나는 방식으로 사운드를 렌더링하기 위해 사용될 수 있다.

도 4b는 도 4a의 구성요소들을 보다 상세히 도시한다. 도 4b는 오디오 재생 생태계 전체에 걸쳐 적응적 오디오 시네마 콘텐트를 위한 예시적인 분배 메커니즘을 도시한다. 다이어그램(420)에 도시된 바와 같이, 원래 시네마 및 TV 콘텐트는 시네마 경험(427) 또는 소비자 환경 경험들(434)을 제공하기 위해 다양한 상이한 환경들에서의 재생을 위해 캡처되고(422) 저작된다(423). 마찬가지로, 특정한 사용자 생성 콘텐트(UGC) 또는 소비자 콘텐트는 청취 환경(434)에서 재생을 위해 캡처되고(423) 저작된다(425). 시네마 환경(427)에서의 재생을 위한 시네마 콘텐트는 알려진 시네마 프로세스들(426)을 통해 프로세싱된다. 그러나, 시스템(420)에서, 시네마 저작 툴 박스(423)의 출력은 또한 오디오 오브젝트들, 오디오 채널들 및 사운드 믹서의 예술적 의도를 전달하는 메타데이터로 이루어진다. 이것은 재생을 위한 시네마 콘텐트의 다수의 버전들을 생성하기 위해 사용될 수 있는 메자닌(mezzanine) 스타일 오디오 패키지로서 여겨질 수 있다. 일 실시예에서, 이러한 기능은 시네마-소비자 적응적 오디오 변환기(430)에 의해 제공된다. 이러한 변환기는 적응적 오디오 콘텐트로의 입력을 가지며 그로부터 원하는 소비자 종점들(434)을 위한 적절한 오디오 및 메타데이터 만들어낸다. 변환기는, 분배 메커니즘 및 종점에 의존하여 분리된, 및 가능하게는 상이한, 오디오 및 메타데이터 출력들을 생성한다.

시스템(420)의 예에 도시된 바와 같이, 시네마-소비자 변환기(430)는 화상(방송, 디스크, OTT 등) 및 게임 오디오 비트스트림 생성 모듈들(428)을 위한 사운드를 공급한다. 시네마 콘텐트를 전달하기에 적절한, 이들 두 개의 모듈들은 그 모두가 소비자 종점들로 전달할 수 있는, 다수의 분배 파이프라인들(432)로 공급될 수 있다. 예를 들면, 적응적 오디오 시네마 콘텐트는 채널들, 오브젝트들 및 연관된 메타데이터를 전달하기 위해 수정될 수 있는, 돌비 디지털 플러스와 같은 방송 목적들을 위해 적절한 코덱을 사용하여 인코딩될 수 있으며, 케이블 또는 위성을 통해 방송 체인을 통해 송신되고 그 후 홈 시어터 또는 텔레비전 재생을 위한 홈에서 디코딩 및 렌더링된다. 유사하게, 동일한 콘텐트는 대역폭이 제한되는, 온라인 분배에 적합한 코덱을 사용하여 인코딩되고, 그것은 그 후 3G 또는 4G 모바일 네트워크를 통해 송신되며 그 후 헤드폰들을 사용하여 모바일 디바이스를 통해 재생을 위해 디코딩 및 렌더링될 수 있다. TV, 라이브 방송, 게임들 및 음악과 같은 다른 콘텐트 소스들이 또한 차세대 오디오 포맷을 위한 콘텐트를 생성 및 제공하기 위해 적응적 오디오 포맷을 사용할 수 있다.

도 4b의 시스템은 홈 시어터(A/V 수신기, 사운드바 및 블루레이), E-미디어(PC, 태블릿, 헤드폰 재생을 포함하는 모바일), 방송(TV 및 셋-탑 박스), 음악, 게이밍, 라이브 사운드, 사용자 생성 콘텐트("UGC") 등을 포함할 수 있는 전체 소비자 오디오 생태계 전체에 걸쳐 강화된 사용자 경험을 위해 제공한다. 이러한 시스템은: 모든 종점 디바이스들을 위해 청중을 위한 강화된 몰입감, 오디오 콘텐트 창작자들을 위한 확장된 예술적 제어, 개선된 렌더링을 위한 개선된 콘텐트 의존적(기술적) 메타데이터, 재생 시스템들을 위한 확장된 유연성 및 확장성, 음색 보존 및 매칭, 및 사용자 위치 및 상호작용에 기초한 콘텐트의 동적 렌더링을 위한 기회를 제공한다. 시스템은 콘텐트 창작자들을 위한 새로운 믹싱 툴들, 패키징 및 분배 및 재생을 위한 업데이트되고 새로운 패키징 및 코딩 툴들, 홈-내 동적 믹싱 및 렌더링(상이한 구성들에 대해 적절한), 부가적인 스피커 위치들 및 설계들을 포함하는 여러 개의 구성요소들을 포함한다.

적응적 오디오 생태계는 많은 수의 종점 디바이스들 및 사용 경우들에 걸쳐 콘텐트 생성, 패키징, 분배 및 재생/렌더링을 포함하는 적응적 오디오 포맷을 사용하여 완전히 포괄적인, 단-대-단, 차세대 오디오 시스템이도록 구성된다. 도 4b에 도시된 바와 같이, 시스템은 다수의 상이한 사용 경우들(422 및 424)로부터 캡처되며 그것을 위한 콘텐트에서 비롯한다. 이들 캡처 포인트들은 시네마, TV, 라이브 방송(및 사운드), UGC, 게임들 및 음악을 포함하는 모든 관련된 콘텐트 포맷들을 포함한다. 그것이 생태계를 통과함에 따라 콘텐트는 전-처리 및 저작 툴들, 변환 툴들(즉, 시네마 대 소비자 콘텐트 분배 애플리케이션들을 위한 적응적 오디오 콘텐트의 변환), 특정 적응적 오디오 패키징/비트스트림 인코딩(부가적인 메타데이터 및 오디오 재생 정보 뿐만 아니라 오디오 본지 데이터를 캡처하는), 다양한 오디오 채널들을 통해 효율적인 분배를 위한 기존의 또는 새로운 코덱들(예로서, DD+, TrueHD, 돌비 펄스)을 사용하는 분배, 관련된 분배 채널들(방송, 디스크, 모바일, 인터넷 등)을 통한 송신 및 최종적으로 공간 오디오 경험의 이익들을 제공하는 콘텐트 창작자에 의해 정의된 적응적 오디오 사용자 경험을 재생하고 이를 운반하기 위한 종점 인식 동적 렌더링과 같은, 여러 개의 주요 단계들을 겪는다. 적응적 오디오 시스템은 광범위하게 변화하는 수의 소비자 종점들에 대한 렌더링 동안 사용될 수 있으며, 적용되는 렌더링 기술은 종점 디바이스에 의존하여 최적화될 수 있다. 예를 들면, 홈 시어터 시스템들 및 사운드바들은 다양한 위치들에서 2, 3, 5, 7 또는 심지어 9개의 별개의 스피커들을 가질 수 있다. 많은 다른 유형들의 시스템들은 단지 2개의 스피커들(TV, 랩탑, 음악 독(music dock))만을 가지며 거의 모든 일반적으로 사용된 디바이스들은 헤드폰 출력(PC, 랩탑, 태블릿, 셀 전화기, 음악 플레이어 등)을 가진다.

서라운드-사운드 오디오에 대한 현재 저작 및 분배 시스템들은 오디오 본질(즉, 재생 시스템에 의해 재생되는 실제 오디오)에서 운반된 콘텐트의 유형에 대한 제한된 지식을 갖고 미리 정의되며 고정된 스피커 위치들에 대한 재생을 위해 의도되는 오디오를 생성 및 전달한다. 그러나, 적응적 오디오 시스템은 고정된 스피커 위치 특정 오디오(좌측 채널, 우측 채널 등) 및 위치, 크기 및 속도를 포함하는 일반화된 3D 공간 정보를 가지는 오브젝트-기반 오디오 요소들 양쪽 모두에 대한 옵션을 포함하는 오디오 생성에 대한 새로운 하이브리드 접근법을 제공한다. 이러한 하이브리드 접근법은 렌더링(일반화된 오디오 오브젝트들) 시 충실도(고정된 스피커 위치들에 의해 제공된) 및 유연성을 위한 균형 잡힌 접근법을 제공한다. 이 시스템은 또한 콘텐트 생성/저작시 콘텐트 창작자에 의해 오디오 본질과 쌍을 이루는 새로운 메타데이터를 통해 오디오 콘텐트에 대한 부가적인 유용한 정보를 제공한다. 이 정보는 렌더링 동안 사용될 수 있는 오디오의 속성들에 대한 상세한 정보를 제공한다. 이러한 속성들은 공간 속성들(3D 위치, 오브젝트 크기, 속도 등)과 같은 오디오 오브젝트 정보 및 유용한 렌더링 정보(스피커 위치에 대한 스냅, 채널 가중치들, 이득, 베이스 관리 정보 등) 뿐만 아니라 콘텐트 유형(대화, 음악, 효과, 효과음 녹음(Foley), 배경/분위기 등)을 포함할 수 있다. 오디오 콘텐트 및 재생 의도 메타데이터는 콘텐트 창작자에 의해 수동으로 생성되거나 저작 프로세스 동안 배경에서 구동될 수 있는 자동, 미디어 지능 알고리즘들의 사용을 통해 생성되며 원한다면 최종 품질 제어 단계 동안 콘텐트 창작자에 의해 검토될 수 있다.

도 4c는 일 실시예 하에서 적응적 오디오 환경의 기능적 구성요소들의 블록도이다. 다이어그램(450)에 도시된 바와 같이, 시스템은 하이브리드 오브젝트 및 채널-기반 오디오 스트림 양쪽 모두를 운반하는 인코딩된 비트스트림(452)을 프로세싱한다. 비트스트림은 렌더링/신호 프로세싱 블록(454)에 의해 프로세싱된다. 일 실시예에서, 적어도 이러한 기능 블록의 부분들이 도 3에 예시된 렌더링 블록(312)에 구현될 수 있다. 렌더링 기능(454)은 적응적 오디오를 위한 다양한 렌더링 알고리즘들, 뿐만 아니라, 업믹싱, 프로세싱 직접 대 반사 사운드 등과 같은 특정한 후-처리 알고리즘들을 구현한다. 렌더러로부터의 출력은 양방향 상호연결들(456)을 통해 스피커들(458)에 제공된다. 일 실시예에서, 스피커들(458)은 서라운드-사운드, 또는 유사한 구성에 배열될 수 있는 다수의 개개의 드라이버들을 포함한다. 드라이버들은 개별적으로 어드레싱가능하며 개개의 엔클로저들 또는 다중-드라이버 캐비넷들 또는 어레이들에 구체화될 수 있다. 시스템(450)은 또한 렌더링 프로세스를 교정하기 위해 사용될 수 있는 룸 특성들 또는 청취 환경의 측정들을 제공하는 마이크로폰들(460)을 포함할 수 있다. 시스템 구성 및 교정 기능들은 블록(462)에서 제공된다. 이들 기능들은 렌더링 구성요소들의 부분으로서 포함될 수 있거나 그것들은 렌더러에 기능적으로 결합되는 별개의 구성요소들로서 구현될 수 있다. 양-방향 상호연결들(456)은 청취 환경에서의 스피커들로부터 교정 구성요소(462)로 다시 피드백 신호 경로를 제공한다.

청취 환경들

적응적 오디오 시스템의 구현들은 다양한 상이한 청취 환경들에 배치될 수 있다. 이것들은 오디오 재생 애플리케이션들의 3개의 2차 영역들을 포함한다: 홈 시어터 시스템들, 텔레비전들 및 사운드바들, 및 헤드폰들. 도 5는 예시적인 홈 시어터 환경에서 적응적 오디오 시스템의 배치를 도시한다. 도 5의 시스템은 적응적 오디오 시스템에 의해 제공될 수 있는 구성요소들 및 기능들의 슈퍼세트를 예시하며, 특정한 양태들은 사용자의 요구들에 기초하여 감소되거나 제거될 수 있는 반면, 여전히 강화된 경험을 제공한다. 시스템(500)은 다양한 상이한 캐비넷들 또는 어레이들(504)에서 다양한 상이한 스피커들 및 드라이버들을 포함한다. 스피커들은 전방, 측면, 및 상향-파이어링 옵션들 뿐만 아니라, 특정한 오디오 프로세싱 기술들을 사용하는 오디오의 동적 가상화를 제공하는 개개의 드라이버들을 포함한다. 다이어그램(500)은 9.1 스피커 구성에 배치된 다수의 스피커들을 도시한다. 이것들은 좌측 및 우측 높이 스피커들(LH, RH), 좌측 및 우측 스피커들(L, R), 중앙 스피커(수정된 중앙 스피커로서 도시된), 및 좌측 및 우측 서라운드 및 후방 스피커들(LS, RS, LB, 및 RB, 저 주파수 요소(LFE)는 도시되지 않는다).

도 5는 청취 환경의 중심 위치에서 사용된 중심 채널 스피커(510)의 사용을 도시한다. 일 실시예에서, 이 스피커는 수정된 중심 채널 또는 고-분해능 중심 채널(510)을 사용하여 구현된다. 이러한 스피커는 스크린 상에서의 비디오 오브젝트들의 움직임과 일치하는 어레이를 통해 오디오 오브젝트들의 별개의 팬들을 허용하는 개별적으로 어드레싱가능한 스피커들을 가지는 전방 파이어링 중심 채널 어레이일 수 있다. 그것은 여기에 전체적으로 참조로서 통합되는, 국제 출원 번호 PCT/US2011/028783에 설명된 것과 같은, 고-분해능 중심 채널(HRC) 스피커로서 구체화될 수 있다. HRC 스피커(510)는 또한 도시된 바와 같이, 측면-파이어링 스피커들을 포함할 수 있다. 이것들은 HRC 스피커가 중앙 스피커로서 뿐만 아니라, 사운드바 능력들을 가지는 스피커로서 또한 사용된다면 활성화되고 사용될 수 있다. HRC 스피커는 또한 오디오 오브젝트들에 대한 2-차원, 고 분해능 패닝 옵션을 제공하기 위해, 상기 및/또는 스크린(502)의 측면들에 통합될 수 있다. 중앙 스피커(510)는 또한 부가적인 드라이버들을 포함하며 별개로 제어된 사운드 구역들을 갖고 가동되는 사운드 빔을 구현할 수 있다.

시스템(500)은 또한 좌석 위치의 앞에 있는 테이블 상에서와 같이, 청취자의 전방 우측에 또는 전방 가까이에 위치될 수 있는 근거리장 효과(NFE) 스피커(512)를 포함한다. 적응적 오디오를 갖고, 오디오 오브젝트들을 룸으로 가져가며 단지 룸의 주위로 고정되지 않는 것이 가능하다. 그러므로, 3-차원 공간을 통한 오브젝트들 트래버스를 갖는 것은 옵션이다. 일 예는 오브젝트가 L 스피커에서 비롯되고, NFE 스피커를 통해 청취 환경을 지나 이동하며, RS 스피커에서 종료할 수 있는 경우이다. 다양한 상이한 스피커들이 무선, 배터리-동력 스피커와 같은, NFE 스피커로서 사용하기에 적합할 수 있다.

도 5는 홈 시어터 환경에서 실감나는 사용자 경험을 제공하기 위해 동적 스피커 가상화의 사용을 도시한다. 동적 스피커 가상화는 적응적 오디오 콘텐트에 의해 제공된 오브젝트 공간 정보에 기초하여 스피커 가상화 알고리즘들 파라미터들의 동적 제어를 통해 가능해진다. 이러한 동적 가상화는 청취 환경의 측면들을 따라 이동하는 오브젝트들의 지각을 생성하기 위해 고려하는 것이 당연한 L 및 R 스피커들에 대해 도 5에 도시된다. 별개의 가상화기가 각각의 관련된 오브젝트를 위해 사용될 수 있으며 조합된 신호는 다수의 오브젝트 가상화 효과를 생성하기 위해 L 및 R 스피커들로 전송될 수 있다. 동적 가상화 효과들은 L 및 R 스피커들, 뿐만 아니라 NFE 스피커에 대해 도시되며, 이것은 스테레오 스피커이도록 의도된다(두 개의 독립적인 입력들을 갖고). 오디오 오브젝트 크기 및 위치 정보와 함께, 이 스피커는 환산 또는 포인트 소스 근거리장 오디오 경험을 생성하기 위해 사용될 수 있다. 유사한 가상화 효과들이 또한 시스템에서 다른 스피커들 중 임의의 것 또는 모두에 적용될 수 있다. 일 실시예에서, 카메라가 믹서의 예술적 의도에 더 충실한 보다 강력한 경험을 제공하기 위해 적응적 오디오 렌더러에 의해 사용될 수 있는 부가적인 청취자 위치 및 아이덴티티 정보를 제공할 수 있다.

적응적 오디오 렌더러는 믹스와 재생 시스템 사이에서의 공간적 관계를 이해한다. 재생 환경의 몇몇 인스턴스들에서, 별개의 스피커들이 도 1에 도시된 바와 같이, 오버헤드 위치들을 포함하여, 청취 환경의 모든 관련된 영역들에서 이용가능할 수 있다. 별개의 스피커들이 특정한 위치들에서 이용가능한 이들 경우들에서, 렌더러는 스피커 가상화 알고리즘들의 패닝 또는 사용을 통해 둘 이상의 스피커들 사이에서 팬텀 이미지를 생성하는 대신에 가장 가까운 스피커들에 오브젝트들을 "스냅"하도록 구성될 수 있다. 그것은 믹스의 공간 표현을 약간 왜곡하지만, 그것은 또한 렌더러로 하여금 의도되지 않은 팬텀 이미지들을 회피하도록 허용한다. 예를 들면, 믹싱 스테이지의 좌측 스피커의 각도 위치가 재생 시스템의 좌측 스피커의 각도 위치에 대응하지 않다면, 이러한 기능을 가능하게 하는 것은 초기 좌측 채널의 일정한 팬텀 이미지를 갖는 것을 회피할 것이다.

그러나, 많은 경우들에서 및 특히 홈 환경에서, 천장에 장착된 오버헤드 스피커들과 같은 특정한 스피커들이 이용가능하지 않다. 이 경우에, 특정한 가상화 기술들은 기존의 바닥 또는 벽 장착 스피커들을 통해 오버헤드 오디오 콘텐트를 재생하기 위해 렌더러에 의해 구현된다. 일 실시예에서, 적응적 오디오 시스템은 각각의 스피커에 대해 전방-파이어링 능력 및 최상부(또는 "상향") 파이어링 능력 양쪽 모두의 포함을 통해 표준 구성에 대한 수정을 포함한다. 종래의 홈 애플리케이션들에서, 스피커 제조사들은 전방-파이어링 트랜듀서들이 아닌 새로운 드라이버 구성들을 도입하려고 시도하였으며 원래 오디오 신호들(또는 그것들에 대한 변경들) 중 어떤 것이 이들 새로운 드라이버들로 전송되어야 하는지를 식별하기 위해 노력하는 문제점에 부딪혀왔다. 적응적 오디오 시스템을 갖고, 어떤 오디오 오브젝트들이 표준 수평 평면 위에서 렌더링되어야 하는지에 관한 매우 특정한 정보가 있다. 일 실시예에서, 적응적 오디오 시스템에 존재하는 높이 정보는 상향-파이어링 드라이버들을 사용하여 렌더링된다. 마찬가지로, 측면-파이어링 스피커들은 현장음 효과들과 같은, 특정한 다른 콘텐트를 렌더링하기 위해 사용될 수 있다.

상향-파이어링 드라이버들의 하나의 이점은 그것들이 천장에 위치된 오버헤드/높이 스피커들의 존재를 시뮬레이팅하기 위해 단단한 천장 표면의 사운드를 반사하기 위해 사용될 수 있다는 것이다. 적응적 오디오 콘텐트의 강력한 속성은 공간적으로 다양한 오디오가 오버헤드 스피커들의 어레이를 사용하여 재생된다는 것이다. 상기 서술된 바와 같이, 그러나, 많은 경우들에서, 오버헤드 스피커들을 설치하는 것은 홈 환경에서 너무 비싸거나 비현실적이다. 수평 평면에서 정상적으로 위치된 스피커들을 사용하여 높이 스피커들을 시뮬레이팅함으로써, 강력한 3D 경험이 스피커들을 위치시키기 위해 용이하게 생성될 수 있다. 이 경우에, 적응적 오디오 시스템은 오디오 오브젝트들 및 그것들의 공간 재생 정보가 상향-파이어링 드라이버들에 의해 재생되는 오디오를 생성하기 위해 사용되는 새로운 방식으로 상향-파이어링/높이 시뮬레이팅 드라이버들을 사용하고 있다.

도 6은 홈 시어터에서 단일 오버헤드 스피커를 시뮬레이팅하기 위해 반사된 사운드를 사용하여 상향-파이어링 드라이버의 사용을 도시한다. 임의의 수의 상향-파이어링 드라이버들이 다수의 시뮬레이팅된 높이 스피커들을 생성하기 위해 조합하여 사용될 수 있다는 것이 주의되어야 한다. 대안적으로, 다수의 상향-파이어링 드라이버들이 특정한 사운드 강도 또는 효과를 달성하기 위해 천장 상에서의 실질적으로 동일한 스팟으로 사운드를 송신하도록 구성될 수 있다. 다이어그램(600)은 보통의 청취 위치(602)가 청취 환경 내에서의 특정한 장소에 위치되는 일 예를 도시한다. 시스템은 높이 큐들을 포함하는 오디오 콘텐트를 송신하기 위한 임의의 높이 스피커들을 포함하지 않는다. 대신에, 스피커 캐비넷 또는 스피커 어레이(604)는 전방 파이어링 드라이버(들)과 함께 상향-파이어링 드라이버를 포함한다. 상향-파이어링 드라이버는 그것이 청취 위치(602) 아래로 다시 반사될 천장(608) 상에서의 특정한 포인트까지 그것의 음파(606)를 전송하도록 구성된다(위치 및 경사각에 대하여). 천장은 청취 환경으로 사운드를 적절히 반사하기 위해 적절한 재료 및 구성으로 이루어진다고 가정된다. 상향-파이어링 드라이버의 관련 특성들(예로서, 크기, 전력, 위치 등)은 청취 환경의 천장 구성, 룸 크기, 및 다른 관련된 특성들에 기초하여 선택될 수 있다. 단지 하나의 상향-파이어링 드라이버가 도 6에 도시되지만, 다수의 상향-파이어링 드라이버들이 몇몇 실시예들에서 재생 시스템으로 통합될 수 있다.

일 실시예에서, 적응적 오디오 시스템은 높이 요소를 제공하기 위해 상향-파이어링 드라이버들을 이용한다. 일반적으로, 상향-파이어링 드라이버들에 공급된 오디오 신호로 지각적 높이 큐들을 도입하기 위해 신호 프로세싱을 통합하는 것은 가상 높이 신호의 위치 결정 및 지각된 품질을 개선한다는 것이 도시되어 있다. 예를 들면, 파라미터 지각적 양이 청각 모델은 높이 큐 필터를 생성하기 위해 개발되어 왔으며, 이것은 상향-파이어링 드라이버에 의해 재생되는 오디오를 프로세싱하기 위해 사용될 때, 재생의 지각된 품질을 개선한다. 일 실시예에서, 높이 큐 필터는 물리적 스피커 위치(대략 청취자가 갖는 레벨) 및 반사된 스피커 위치(청취자 위) 양쪽 모두로부터 도출된다. 물리적 스피커 위치에 대해, 방향성 필터가 외부 귀(또는 귓바퀴)의 모델에 기초하여 결정된다. 이러한 필터의 역은 물리적 스피커로부터 높이 큐들을 제거하기 위해 다음에 결정되고 사용된다. 다음으로, 반사된 스피커 위치에 대해, 제 2 방향성 필터가, 외부 귀의 동일한 모델을 사용하여 결정된다. 이러한 필터는 직접 적용되어, 근본적으로 사운드가 청취자 위에 있다면 귀가 수신할 큐들을 재생한다. 실제로, 이들 필터들은 단일 필터가 (1) 물리적 스피커 위치로부터 높이 큐를 제거하며 (2) 반사된 스피커 위치로부터 높이 큐를 삽입하는 양쪽 모두를 하도록 허용하는 방식으로 조합될 수 있다. 도 16은 이러한 조합된 필터에 대한 주파수 응답을 도시하는 그래프이다. 조합된 필터는 적용되는 필터링의 공격성 또는 양에 대하여 몇몇 조정가능성을 허용하는 방식으로 사용될 수 있다. 예를 들면, 몇몇 경우들에서, 물리적 스피커 높이 큐를 완전히 제거하지 않거나, 물리적 스피커로부터의 사운드의 일부만이 청취자에 직접 도달(나머지는 천장 밖으로 반사된다)하기 때문에 반사된 스피커 높이 큐를 완전히 적용하는 것이 유리할 수 있다.

스피커 구성

적응적 오디오 시스템의 주요 고려사항은 스피커 구성이다. 시스템은 개별적으로 어드레싱가능한 드라이버들을 이용하며, 이러한 드라이버들의 어레이는 직접 및 반사된 사운드 소스들 양쪽 모두의 조합을 제공하도록 구성된다. 시스템 제어기(예로서, A/V 수신기, 셋-탑 박스)에 대한 양-방향 링크는 오디오 및 구성 데이터가 스피커로 전송되고, 스피커 및 센서 정보가 제어기로 다시 전송되도록 허용하여, 활성의, 폐쇄-루프 시스템을 생성한다.

설명의 목적들을 위해, 용어("드라이버")는 전기 오디오 입력 신호에 응답하여 사운드를 생성하는 단일 전기 음향 트랜듀서를 의미한다. 드라이버는 임의의 적절한 유형, 기하학적 구조, 및 크기로 구현될 수 있으며, 혼들, 콘들, 리본 트랜듀서들 등을 포함할 수 있다. 용어("스피커")는 단일 엔클로저에서의 하나 이상의 드라이버들을 의미한다. 도 7a는 일 실시예 하에서, 제 1 구성에서의 복수의 드라이버들을 가지는 스피커를 도시한다. 도 7a에 도시된 바와 같이, 스피커 엔클로저(700)는 엔클로저 내에 장착된 다수의 개개의 드라이버들을 가진다. 통상적으로, 엔클로저는 우퍼들, 중역 스피커들, 또는 트위터들, 또는 그것의 임의의 조합과 같은, 하나 이상의 전방-파이어링 드라이버들(702)을 포함할 것이다. 하나 이상의 측면-파이어링 드라이버들(704)이 또한 포함될 수 있다. 전방 및 측면-파이어링 드라이버들은 통상적으로 그것들이 스피커에 의해 정의된 수직 평면으로부터 바깥쪽으로 수직으로 사운드를 투사하도록 엔클로저의 측면에 대하여 장착된 플러시이며, 이들 드라이버들은 보통 캐비넷(700) 내에 영구적으로 고정된다. 반사된 사운드의 렌더링을 특징으로 하는 적응적 오디오 시스템에 대해, 하나 이상의 상향의 기울어진 드라이버들(706)이 또한 제공된다. 이들 드라이버들은 그것들이 도 6에 도시된 바와 같이, 그것이 그 후 청취자 아래로 회복할 수 있는 천장까지 비스듬히 사운드를 투사하도록 위치된다. 기울기의 정도는 청취 환경 특성들 및 시스템 요건들에 의존하여 설정될 수 있다. 예를 들면, 상향 드라이버(706)는 30 및 60도들 사이에서 위로 기울어질 수 있으며 전방-파이어링 드라이버(702)로부터 생성된 음파들의 방해를 최소화하기 위해 스피커 엔클로저(700)에서 전방-파이어링 드라이버(702) 위에 위치될 수 있다. 상향-파이어링 드라이버(706)는 고정된 각도에서 설치될 수 있거나, 그것은 기울기 각도가 수동으로 조정될 수 있도록 설치될 수 있다. 대안적으로, 서보-메커니즘은 상향-파이어링 드라이버의 기울기 각도 및 투사 방향의 자동 또는 전기적 제어를 허용하기 위해 사용될 수 있다. 주위 사운드와 같은, 특정 사운드들에 대해, 상향-파이어링 드라이버가 "최상부-파이어링" 드라이버로서 불리울 수 있는 것을 생성하기 위해 스피커 엔클로저(700)의 상부 표면 밖으로 똑바로 향하여질 수 있다. 이 경우에, 사운드의 큰 구성요소는 천장의 음향 특성들에 의존하여, 스피커 아래로 다시 반사할 수 있다. 그러나, 대부분의 경우들에서, 몇몇 기울기 각도는 도 6에 도시된 바와 같이, 보통 청취 환경 내에서의 상이한 또는 보다 중심 위치로 천장 외 반사를 통해 사운드를 투사하도록 돕기 위해 사용된다.

도 7a는 스피커 및 드라이버 구성의 일 예를 예시하도록 의도되며 많은 다른 구성들이 가능하다. 예를 들면, 상향-파이어링 드라이버가 기존의 스피커들과 함께 사용을 허용하기 위해 그 자신의 엔클로저에 제공될 수 있다. 도 7b는 일 실시예 하에서, 다수의 엔클로저들에 분포된 드라이버들을 가지는 스피커 시스템을 도시한다. 도 7b에 도시된 바와 같이, 상향-파이어링 드라이버(712)는 별개의 엔클로저(710)에 제공되며, 이것은 그 후 전방 및/또는 측면-파이어링 드라이버들(716 및 718)을 가지는 엔클로서(714)에 근접하여 또는 그것의 최상부 상에 위치될 수 있다. 드라이버들은 또한 많은 홈 시어터 환경들에서 사용된 바와 같은, 스피커 사운드바 내에 동봉될 수 있으며, 여기에서 다수의 작은 또는 중간 크기 드라이버들이 단일 수평 또는 수직 엔클로저 내에서의 축을 따라 배열된다. 도 7c는 일 실시예 하에서, 사운드 바 내에서의 드라이버들의 배치를 도시한다. 이 예에서, 사운드바 엔클로저(730)는 측면-파이어링 드라이버들(734), 상향-파이어링 드라이버들(736), 및 전방-파이어링 드라이버(들)(732)를 포함하는 수평 사운드바이다. 도 7c는 단지 예시적인 구성이도록 의도되며, 기능들 각각에 대한 임의의 실질적인 수의 드라이버들 - 전방, 측면, 및 상향-파이어링 - 이 사용될 수 있다.

도 7a 내지 도 7c의 실시예에 대해, 드라이버들이 요구된 주파수 응답 특성들, 뿐만 아니라 크기, 전력 소요량, 구성요소 비용 등과 같은 임의의 다른 관련된 제약들에 의존하여 임의의 적절한 형태, 크기, 및 유형일 수 있다는 것이 주의되어야 한다.

통상적인 적응적 오디오 환경에서, 다수의 스피커 엔클로저들은 청취 환경 내에 포함될 것이다. 도 8은 청취 환경 내에 위치된 상향-파이어링 드라이버들을 포함하는 개별적으로 어드레싱가능한 드라이버들을 가지는 스피커들의 일 예시적인 배치를 도시한다. 도 8에 도시된 바와 같이, 청취 환경(800)은 각각이 적어도 하나의 전방-파이어링, 측면-파이어링, 및 상향-파이어링 드라이버를 갖는, 4개의 개별적인 스피커들(806)을 포함한다. 청취 환경은 또한 중앙 스피커(802) 및 서브우퍼 또는 LFE(804)와 같은, 서라운드-사운드 애플리케이션들을 위해 사용된 고정된 드라이버들을 포함할 수 있다. 도 8에 보여질 수 있는 바와 같이, 청취 환경 및 각각의 스피커 유닛들의 크기에 의존하여, 청취 환경 내에서의 스피커들(806)의 적절한 배치가 다수의 상향-파이어링 드라이버들로부터 천장 밖으로 사운드들의 반사로부터 기인한 풍부한 오디오 환경을 제공할 수 있다. 스피커들은 콘텐트, 청취 환경 크기, 청취자 위치, 음향 특성들, 및 다른 관련된 파라미터들에 의존하여 천장 평면상에서의 하나 이상의 포인트들의 반사를 제공하는 것이 목표로 될 수 있다.

홈 시어터 또는 유사한 청취 환경을 위해 적응적 오디오 시스템에 사용된 스피커들은 기존의 서라운드-사운드 구성들(예로서, 5.1, 7.1, 9.1 등)에 기초하는 구성을 사용할 수 있다. 이 경우에, 다수의 드라이버들이 알려진 서라운드 소스 관례에 따라 제공되고 정의되며, 부가적인 드라이버들 및 정의들이 상향-파이어링 사운드 구성요소들을 위해 제공된다.

도 9a는 일 실시예 하에서, 반사된 오디오에 대한 다수의 어드레싱가능한 드라이버들을 이용하는 적응적 오디오 5.1 시스템을 위한 스피커 구성을 도시한다. 구성(900)에서, LFE(901), 중앙 스피커(902), L/R 전방 스피커들(904/906), 및 L/R 후방 스피커들(908/910)을 포함하는 표준 5.1 라우드스피커 풋프린트는 8개의 부가적인 드라이버들을 제공받아서, 총 14개의 어드레싱가능한 드라이버들을 제공한다. 이들 8개의 부가적인 드라이버들은 각각의 스피커 유닛(902 내지 910)에서 "전방향"(또는 "전방") 드라이버들 외에 "상향" 및 "측방향"으로 표시된다. 직접 전방향 드라이버들은 적응적 오디오 오브젝트들을 포함하는 서브-채널들 및 높은 정보의 방향성을 갖도록 설계되는 임의의 다른 구성요소들에 의해 구동될 것이다. 상향-파이어링(반사된) 드라이버들은 보다 전-방향 또는 무 방향인 서브-채널 콘텐트를 포함할 수 있지만, 그렇게 제한되지 않는다. 예들은 배경 음악, 또는 환경 사운드들을 포함할 것이다. 시스템으로의 입력이 레거시 서라운드-사운드 콘텐트를 포함한다면, 이 콘텐트는 지능적으로 직접 및 반사된 서브-채널들로 요인으로 포함되며 적절한 드라이버들에 공급될 수 있다.

직접 서브-채널들에 대해, 스피커 엔클로저는 드라이버의 중앙 축이 청취 환경의 "스윗-스팟(sweet spot)", 또는 음향 중심을 이등분하는 드라이버들을 포함할 것이다. 상향-파이어링 드라이버들은 드라이버의 중앙 평면과 음향 중심 사이에서의 각도가 45 내지 180도들의 범위에서의 몇몇 각도이도록 위치될 것이다. 180도들로 드라이버를 배치하는 경우에, 후방-향 드라이버는 후방 벽에서 반사함으로써 몇몇 확산을 제공할 수 있다. 이러한 구성은 직접 드라이버들과의 상향-파이어링 드라이버들의 시간-정렬 후, 조기 도착 신호 구성요소가 간섭성일 반면, 연착 구성요소들은 청취 환경에 의해 제공된 자연 확산으로부터 이익을 얻을 것이라는 음향 원리를 이용한다.

적응적 오디오 시스템에 의해 제공된 높이 큐들을 달성하기 위해, 상향-파이어링 드라이버들은 수평 평면으로부터 위쪽으로 각이 있을 수 있으며, 극도로 똑바로 방사하며 편평한 천장, 또는 엔클로저 바로 위에 위치된 음향 확산기와 같은 하나 이상의 반사성 표면들에서 반사하기 위해 위치될 수 있다. 부가적인 방향성을 제공하기 위해, 중앙 스피커는 고-분해능 중심 채널을 제공하기 위해 스크린에 걸쳐 사운드를 조향하기 위한 능력을 갖고 사운드바 구성(도 7c에 도시된 바와 같은)을 이용할 수 있다.

도 9a의 5.1 구성은 표준 7.1 구성과 유사한 두 개의 부가적인 후방 엔클로저들을 부가함으로써 확장될 수 있다. 도 9b는 이러한 일 실시예 하에서, 반사된 오디오에 대한 다수의 어드레싱가능한 드라이버들을 이용하는 적응적 오디오 7.1 시스템에 대한 스피커 구성을 도시한다. 구성(920)에 도시된 바와 같이, 두 개의 부가적인 엔클로저들(922 및 924)은 기존의 전방 및 후방 상들 사이의 중간에 천장에 부딪혀 튕기도록 설정된 상향-파이어링 드라이버들 및 전방 엔클로저들에 유사한 방식으로 측면 벽들을 가리키는 측면 스피커들을 가지는 '좌측 측면 서라운드' 및 '우측 측면 서라운드' 위치들에 위치된다. 이러한 증분적 부가들은 원하는 대로 여러 번 이루어질 수 있으며, 부가적인 쌍들은 측면 또는 후방 벽들을 따라 갭들을 채운다. 도 9a 및 도 9b는 청취 환경들을 위한 적응적 오디오 시스템에서 상향 및 측면-파이어링 스피커들과 함께 사용될 수 있는 연장된 서라운드 사운드 스피커 레이아웃들의 가능한 구성들의 몇몇 예들만을 예시하며, 많은 다른 것들이 또한 가능하다.

상기 설명된 n.1 구성들에 대한 대안으로서, 그에 의해 각각의 드라이버가 그 자신의 엔클로저 내에 포함되는 보다 유연한 포드-기반 시스템이 이용될 수 있으며, 이것은 그 후 임의의 편리한 위치에 장착될 수 있다. 이것은 도 7b에 도시된 바와 같은 드라이버 구성을 사용할 것이다. 이들 개개의 유닛들은 그 후 n.1 구성들과 유사한 방식으로 클러스터링될 수 있거나, 그것들은 청취 환경 주위에서 개별적으로 확산될 수 있다. 포드들은 반드시 청취 환경의 에지들에 위치되는 것으로 제한되지 않으며, 그것들은 또한 그것 내에서의 임의의 표면(예로서, 커피 테이블, 책 선반 등) 상에 위치될 수 있다. 이러한 시스템은 확장하기 쉬울 것이며, 사용자로 하여금 보다 실감나는 경험을 생성하기 위해 시간에 걸쳐 보다 많은 스피커들을 부가하도록 허용한다. 스피커들이 무선이면, 포드 시스템은 재충전 목적들을 위해 스피커들을 도킹시키기 위한 능력을 포함할 수 있다. 이러한 설계에서, 포드들은 아마도 스테레오 음악을 청취하기 위해, 그것들이 재충전하는 동안 단일 스피커로서 동작하도록 함께 도킹될 수 있으며, 그 후 도킹 해제되며 적응적 오디오 콘텐트에 대한 청취 환경 주위에 위치된다.

상향-파이어링 어드레싱가능한 드라이버들을 사용하는 적응적 오디오 시스템의 구성 가능성 및 정확도를 강화하기 위해, 다수의 센서들 및 피드백 디바이스들이 렌더링 알고리즘에서 사용될 수 있는 특성들을 렌더러에 알리기 위해 엔클로저들에 부가될 수 있다. 예를 들면, 각각의 엔클로저에 설치된 마이크로폰은 시스템이 엔클로저들 자체의 삼각측량 및 HRTF-형 함수들을 사용하여 서로에 대한 스피커들의 위치와 함께, 청취 환경의 위상, 주파수, 및 반향 특성들을 측정하도록 허용한다. 관성 센서들(예로서, 자이로스코프들, 나침반들 등)은 엔클로저들의 방향 및 각도를 검출하기 위해 사용될 수 있으며; 광학 및 시각 센서들(예로서, 레이저-기반 적외선 거리계를 사용한)은 청취 환경 자체에 대한 위치 정보를 제공하기 위해 사용될 수 있다. 이것들은 시스템에서 사용될 수 있는 부가적인 센서들의 단지 몇몇 가능성들을 나타내며 다른 것들이 또한 가능하다.

이러한 센서 시스템들은 엔클로저들의 음향 수정기들 및/또는 드라이버들의 위치가 전기화학적 서보들을 통해 자동으로 조정가능하도록 허용함으로써 추가로 강화될 수 있다. 이것은 드라이버들의 방향성이 벽들 및 다른 드라이버들("능동 조향")에 대한 청취 환경에서 그것들의 배치를 맞추기 위해 런타임시 변경되도록 허용할 것이다. 유사하게, 임의의 음향 수정기들(배플들, 혼들 또는 도파관들과 같은)은 임의의 청취 환경 구성("능동 동조")에서 최적의 재생을 위해 정확한 주파수 및 위상 응답들을 제공하도록 동조될 수 있다. 능동 조향 및 능동 동조 양쪽 모두는 콘텐트가 렌더링되는 것에 응답하여 초기 청취 환경 구성(예로서, 자동-EQ/자동-룸 구성 시스템과 함께) 동안 또는 재생 동안 수행될 수 있다.

양-방향 상호연결

일단 구성되면, 스피커들은 렌더링 시스템에 연결되어야 한다. 종래의 상호 연결들은 통상적으로 두 개의 유형들이다: 수동형 스피커들을 위한 스피커-레벨 입력 및 능동형 스피커들을 위한 라인-레벨 입력. 도 4c에 도시된 바와 같이, 적응적 오디오 시스템(450)은 양-방향 상호 연결 기능을 포함한다. 이러한 상호 연결은 렌더링 스테이지(454) 및 증폭기/스피커(458) 및 마이크로폰 스테이지(460) 사이에서 물리적 및 논리적 연결들의 세트 내에 구체화된다. 각각의 스피커 캐비넷에서 다수의 드라이버들을 어드레싱하기 위한 능력은 사운드 소스와 스피커 사이에서의 이들 지능적 상호 연결들에 의해 지원된다. 양-방향 상호 연결은 제어 신호들 및 오디오 신호들 양쪽 모두를 포함하는 사운드 소스 (렌더러)로부터 스피커로의 신호들의 송신을 허용한다. 스피커로부터 사운드 소스로의 신호는 제어 신호들 및 오디오 신호들 양쪽 모두로 이루어지며, 이 경우에 오디오 신호들은 선택적 내장 마이크로폰들로부터 소싱된 오디오이다. 전력은 또한 적어도 스피커들/드라이버들이 별개로 동력을 공급받지 않는 경우에 대해, 양-방향 상호 연결의 일부로서 제공될 수 있다.

도 10은 일 실시예 하에서, 양-방향 상호 연결의 구성을 도시하는 다이어그램(1000)이다. 렌더러 더하기 증폭기/사운드 프로세서 체인을 나타낼 수 있는 사운드 소스(1002)는 한 쌍의 상호 연결 링크들(1006 및 1008)을 통해 스피커 캐비넷(1004)에 논리적으로 및 물리적으로 결합된다. 스피커 캐비넷(1004) 내에서 사운드 소스(1002)로부터 드라이버들(1005)로의 상호 연결(1006)은 각각의 드라이버에 대한 전기음향 신호, 하나 이상의 제어 신호들, 및 선택적 전력을 포함한다. 스피커 캐비넷(1004)으로부터 다시 사운드 소스(1002)로의 상호 연결(1008)은 마이크로폰(1007) 또는 렌더러의 교정, 또는 다른 유사한 사운드 프로세싱 기능을 위한 다른 센서들로부터의 사운드 신호들을 포함한다. 피드백 상호연결(1008)은 또한 상호 연결(1006)을 통해 드라이버들에 설정된 사운드 신호들을 수정 또는 프로세싱하기 위해 렌더러에 의해 사용되는 특정한 드라이버 정의들 및 파라미터들을 포함한다.

일 실시예에서, 시스템의 캐비넷들 각각에서의 각각의 드라이버는 시스템 셋업 동안 식별자(예로서, 수치 할당)를 할당받는다. 각각의 스피커 캐비넷(엔클로저)은 또한 고유하게 식별될 수 있다. 이러한 수치 할당은 어떤 오디오 신호가 캐비넷 내에서의 어떤 드라이버로 전송되는지를 결정하기 위해 스피커 캐비넷에 의해 사용된다. 할당은 적절한 메모리 디바이스에서의 스피커 캐비넷에 저장된다. 대안적으로, 각각의 드라이버는 로컬 메모리에 그 자신의 식별자를 저장하기 위해 구성될 수 있다. 추가의 대안에서, 드라이버들/스피커들이 어떤 로컬 저장 용량도 갖지 않는 것과 같이, 식별자들은 렌더링 스테이지 또는 사운드 소스(1002) 내에서의 다른 구성요소에 저장될 수 있다. 스피커 발견 프로세스 동안, 각각의 스피커(또는 중심 데이터베이스)는 사운드 소스에 의해 그것의 프로파일에 대해 질의된다. 프로파일은 스피커 캐비넷 또는 다른 정의된 어레이에서의 드라이버들의 수, 각각의 드라이버의 음향 특성들(예로서, 드라이버 유형, 주파수 응답 등), 스피커 캐비넷의 전방 면의 중심에 대하여 각각의 드라이버의 중심의 x, y, z 위치, 정의된 평면(예로서, 천장, 바닥, 캐비넷 수직 축 등)에 대하여 각각의 드라이버의 각도, 및 마이크로폰들 및 마이크로폰 특성들의 수를 포함하는 특정한 드라이버 정의들을 정의한다. 다른 관련된 드라이버 및 마이크로폰/센서 파라미터들이 또한 정의될 수 있다. 일 실시예에서, 드라이버 정의들 및 스피커 캐비넷 프로파일이 렌더러에 의해 사용된 하나 이상의 XML 문서들로서 표현될 수 있다.

하나의 가능한 구현에서, 인터넷 프로토콜(IP) 제어 네트워크는 사운드 소스(1002) 및 스피커 캐비넷(1004) 사이에 생성된다. 각각의 스피커 캐비넷 및 사운드 소스는 단일 네트워크 종점으로서 작용하며 초기화 또는 파워-온 시 링크-로컬 어드레스를 제공받는다. 제로 구성 네트워킹(zeroconf)과 같은 자동-발견 메커니즘이 사운드 소스로 하여금 네트워크 상에서의 각각의 스피커를 위치시키도록 허용하기 위해 사용될 수 있다. 제로 구성 네트워킹은 수동의 운영자 개입 또는 특별한 구성 서버들 없이 사용 가능한 IP 네트워크를 자동으로 생성하는 프로세스의 예이며 다른 유사한 기술들이 사용될 수 있다. 지능적 네트워크 시스템을 고려해볼 때, 다수의 소스들이 스피커들로서 IP 네트워크 상에 존재할 수 있다. 이것은 다수의 소스들로 하여금 "마스터" 오디오 소스(예로서, 종래의 A/V 수신기)를 통해 사운드를 라우팅하지 않고 스피커들을 직접 구동하도록 허용한다. 또 다른 소스가 스피커들을 어드레싱하려고 시도한다면, 통신들은 어떤 소스가 현재 "활성인지", 활성인 것이 필요한지의 여부, 및 제어가 새로운 사운드 소스로 전이될 수 있는지의 여부를 결정하기 위해 모든 소스들 사이에서 수행된다. 소스들은 그것들의 분류에 기초하여 제조하는 동안 우선순위를 사전-할당받을 수 있으며, 예를 들면, 원격통신 소스는 엔터테인먼트 소스보다 더 높은 우선순위를 가질 수 있다. 통상적인 홈 환경과 같은, 다중-룸 환경에서, 전체 환경 내에서의 모든 스피커들이 단일 네트워크 상에 존재할 수 있지만, 동시에 어드레싱될 필요가 없을 수 있다. 셋업 및 자동-구성 동안, 상호연결(1008)에 걸쳐 다시 제공된 사운드 레벨은 어떤 스피커들이 동일한 물리적 공간에 위치되는지를 결정하기 위해 사용될 수 있다. 일단 이러한 정보가 결정된다면, 스피커들은 클러스터들로 그룹핑될 수 있다. 이러한 경우에, 클러스터 ID들이 할당되며 드라이버 정의들의 일부를 만들 수 있다. 클러스터 ID는 각각의 스피커로 전송되며, 각각의 클러스터는 사운드 소스(1002)에 의해 동시에 어드레싱될 수 있다.

도 10에 도시된 바와 같이, 선택적 전력 신호는 양-방향 상호 연결을 통해 송신될 수 있다. 스피커들은 수동형(사운드 소스로부터 외부 전력을 요구하는) 또는 능동형(콘센트로부터 전력을 요구하는)일 수 있다. 스피커 시스템이 무선 지원 없이 능동형 스피커들로 이루어진다면, 스피커로의 입력은 IEEE 802.3 순응 유선 이더넷 입력으로 이루어진다. 스피커 시스템이 무선 지원을 갖고 능동형 스피커들로 이루어진다면, 스피커로의 입력은 IEEE 802.11 순응 무선 이더넷 입력, 또는 대안적으로 WISA 기구에 의해 특정된 무선 표준으로 이루어진다. 수동형 스피커들은 사운드 소스에 의해 직접 제공된 적절한 전력 신호들에 의해 제공될 수 있다.

시스템 구성 및 교정

도 4c에 도시된 바와 같이, 적응적 오디오 시스템의 기능은 교정 기능(462)을 포함한다. 이러한 기능은 도 10에 도시된 마이크로폰(1007) 및 상호 연결(1008) 링크들에 의해 가능해진다. 시스템(1000)에서의 마이크로폰 구성요소의 기능은 전체 시스템 응답을 도출하기 위해 청취 환경에서 개개의 드라이버들의 응답을 측정하는 것이다. 다수의 마이크로폰 토폴로지들은 단일 마이크로폰 또는 마이크로폰들의 어레이를 포함하는 이러한 목적을 위해 사용될 수 있다. 가장 간단한 경우는 청취 환경의 중심에 위치된 단일 전-방향 측정 마이크로폰이 각각의 드라이버의 응답을 측정하기 위해 사용되는 경우이다. 청취 환경 및 재생 조건들이 보다 정제된 분석을 보장한다면, 다수의 마이크로폰들이 대신 사용될 수 있다. 다수의 마이크로폰들에 대한 가장 편리한 위치는 청취 환경에서 사용되는 특정한 스피커 구성의 물리적 스피커 캐비넷들 내에 있다. 각각의 엔클로저에 설치된 마이크로폰들은 시스템으로 하여금, 청취 환경에서의 다수의 위치들에서, 각각의 드라이버의 응답을 측정하도록 허용한다. 이러한 토폴리지에 대한 일 대안은 청취 환경에서 그럴듯한 청취 위치들에 위치된 다수의 전-방향 측정 마이크로폰들을 사용하는 것이다.

마이크로폰(들)은 렌더러 및 후-처리 알고리즘들의 자동 구성 및 교정을 가능하게 하기 위해 사용된다. 적응적 오디오 시스템에서, 렌더러는 하나 이상의 물리적 스피커들 내에서, 하이브리드 오브젝트 및 채널-기반 오디오 스트림을 특정 어드레싱가능한 드라이버들을 위해 지정된 개개의 오디오 신호들로 변환할 책임이 있다. 후-처리 구성요소는: 지연, 이득, 스피커 가상화, 및 업믹싱을 포함할 수 있다. 스피커 구성은 종종 렌더러 구성요소가 오디오 콘텐트의 최적의 재생을 제공하기 위해 하이브리드 오브젝트 및 채널-기반 오디오 스트림을 개개의 드라이버-당 오디오 신호들로 변환하기 위해 사용할 수 있는 중요한 정보를 나타낸다. 시스템 구성 정보는: (1) 시스템에서 물리적 스피커들의 수, (2) 각각의 스피커에서 개별적으로 어드레싱가능한 드라이버들의 수, 및 (3) 청취 환경 기하학적 구조에 대하여, 각각의 개별적으로 어드레싱가능한 드라이버의 위치 및 방향을 포함한다. 다른 특성들이 또한 가능하다. 도 11은 일 실시예 하에서, 자동 구성 및 시스템 교정 구성요소의 기능을 도시한다. 다이어그램(1100)에 도시된 바와 같이, 하나 이상의 마이크로폰들의 어레이(1102)는 음향 정보를 구성 및 교정 구성요소(1104)에 제공한다. 이러한 음향 정보는 청취 환경의 특정한 관련 특성들을 캡처한다. 구성 및 교정 구성요소(1104)는 이러한 정보를 렌더러(1106) 및 임의의 관련 후-처리 구성요소들(1108)에 제공하여 그 후 궁극적으로 스피커들로 전송되는 오디오 신호들이 청취 환경을 위해 조정되며 최적화되도록 한다.

시스템에서 물리적 스피커들의 수 및 각각의 스피커에서 개별적으로 어드레싱가능한 드라이버들의 수는 물리적 스피커 속성들이다. 이들 속성들은 양-방향 상호 연결(456)을 통해 스피커들로부터 렌더러(454)로 직접 송신된다. 렌더러 및 스피커들은 공통 발견 프로토콜을 사용하여, 스피커들이 시스템으로부터 연결되거나 연결 해제될 때, 렌더러가 변화를 통지받게 하고, 그에 따라 시스템을 재구성할 수 있다.

청취 환경의 기하학적 구조(크기 몇 형태)는 구성 및 교정 프로세스에서 정보의 필요한 아이템이다. 기하학적 구조는 다수의 상이한 방식들로 결정될 수 있다. 수동 구성 모드에서, 청취 환경에 대한 최소 경계 큐브의 폭, 길이, 및 높이는 적응적 오디오 시스템 내에서 렌더러 또는 다른 프로세싱 유닛에 입력을 제공하는 사용자 인터페이스를 통해 청취자 또는 기술자에 의해 시스템으로 입력된다. 다양한 상이한 사용자 인터페이스 기술들 및 툴들은 이러한 목적을 위해 사용될 수 있다. 예를 들면, 청취 환경 기하학적 구조는 청취 환경의 기하학적 구조를 자동으로 매핑하거나 추적하는 프로그램에 의해 렌더러로 전송될 수 있다. 이러한 시스템은 컴퓨터 비전, 소나, 및 3D 레이저-기반 물리적 매핑의 조합을 사용할 수 있다.

렌더러는 직접 및 반사된(상향-파이어링) 드라이버들 양쪽 모두를 포함하여, 각각의 개별적으로 어드레싱가능한 드라이버에 대한 오디오 신호들을 도출하기 위해 청취 환경 기하학적 구조 내에서 스피커들의 위치를 사용한다. 직접 드라이버들은 대다수의 그것들의 분산 패턴이 하나 이상의 반사성 표면들(바닥, 벽 또는 천장과 같은)에 의해 확산되기 전에 청취 위치를 교차하도록 목표로 되는 것들이다. 반사된 드라이버들은 대다수의 그것들의 분산 패턴들이 도 6에 예시된 바와 같은 청취 위치를 교차하기 전에 반사되도록 목표로 되는 것들이다. 시스템이 수동 구성 모드에 있다면, 각각의 직접 드라이버에 대한 3D 좌표들이 UI를 통해 시스템에 입력될 수 있다. 반사된 드라이버들에 대해, 1차 반사의 3D 좌표들은 UI로 입력된다. 레이저들 또는 유사한 기술들이 청취 환경의 표면들로의 확산 드라이버들의 분산 패턴을 가시화하기 위해 사용될 수 있으며, 따라서 3D 좌표들이 측정되며 수동으로 시스템에 입력될 수 있다.

드라이버 위치 및 목표는 통상적으로 수동 또는 자동화 기술들을 사용하여 수행된다. 몇몇 경우들에서, 관성 센서들은 각각의 스피커로 통합될 수 있다. 이 모드에서, 중앙 스피커는 "마스터"로서 지정되며 그것의 나침반 측정은 기준으로 고려된다. 다른 스피커들은 그 후 그것들의 개별적으로 어드레싱가능한 드라이버들 각각에 대한 분산 패턴들 및 나침반 위치들을 송신한다. 청취 환경 기하학적 구조와 결합되면, 중앙 스피커의 기준 각도 및 각각의 부가 드라이버 사이에서의 차이는 드라이버가 직접인지 또는 반사형인지를 자동으로 결정하기 위해 시스템에 대한 충분한 정보를 제공한다.

스피커 위치 구성은 3D 위치(즉, 앰비소닉) 마이크로폰이 사용된다면 완전히 자동화될 수 있다. 이 모드에서, 시스템은 테스트 신호를 각각의 드라이버로 전송하며 응답을 기록한다. 마이크로폰 유형에 의존하여, 신호들은 x, y, z 표현으로 변환될 필요가 있을 수 있다. 이들 신호들은 우세한 제 1 도착의 x, y, 및 z 구성요소들을 발견하기 위해 분석된다. 청취 환경 기하학적 구조와 결합되면, 이것은 직접 또는 반사형인, 모든 스피커 위치들에 대한 3D 좌표들을 자동으로 설정하기 위해 시스템에 대한 충분한 정보를 제공한다. 청취 환경 기하학적 구조에 의존하여, 스피커 좌표들을 구성하기 위한 3개의 설명된 방법들의 하이브리드 조합이 단지 하나의 기술을 단독으로 사용하는 것보다 더 효과적일 수 있다.

스피커 구성 정보는 렌더러를 구성하기 위해 요구된 하나의 구성요소이다. 스피커 교정 정보가 또한 후처리 체인을 구성하기 위해 필요하다: 지연, 균등화, 및 이득. 도 12는 일 실시예 하에서, 단일 마이크로폰을 사용하여 자동화 스피커 교정을 수행하는 프로세스 단계들을 도시하는 흐름도이다. 이 모드에서, 지연, 균등화, 및 이득은 청취 위치의 중간에 위치된 단일 전-방향 측정 마이크로폰을 사용하여 시스템에 의해 자동으로 산출된다. 다이어그램(1200)에 도시된 바와 같이, 프로세스는 각각의 단일 드라이버에 대한 룸 임펄스 응답을 단독으로 측정함으로써 시작한다(블록(1202)). 각각의 드라이버에 대한 지연은 그 후 직접 캡처된 전기 임펄스 응답을 갖고 음향 임펄스 응답(마이크로폰을 갖고 캡처된)의 교차-상관의 피크의 오프셋을 발견함으로써 산출된다(블록(1204)). 블록(1206)에서, 산출된 지연은 직접 캡처된(기준) 임펄스 응답에 적용된다. 프로세스는 그 후 측정된 임펄스 응답에 적용될 때, 그것 및 직접 캡처(기준) 임펄스 응답 사이에서의 최소 차이를 야기하는 광대역 및 대역-당 이득 값들을 결정한다(블록(1208)). 이것은 측정된 및 기준 임펄스 앙듭의 윈도우잉된 FFT를 취하고, 두 개의 신호들 사이에서 빈-당 크기 비들을 산출하고, 중앙 필터를 빈-당 크기 비들에 적용하고, 완전히 대역 내에 속하는 빈들의 모두에 대한 이득들을 평균함으로써 대역-당 이득 값들을 산출하고, 모든 대역-당 이득의 평균을 취함으로써 광-대역 이들을 산출하고, 대역-당 이득들로부터 광대역 이득을 감하며, 작은 룸 X 곡선(2kHz 위 -2dB/옥타브)을 적용함으로써 행해질 수 있다. 일단 이득 값들이 블록(1208)에서 결정된다면, 프로세스는 다른 것들로부터 최소 지연을 감함으로써 최종 지연 값들을 결정하며, 따라서 시스템에서의 적어도 하나의 드라이버가 항상 0 부가 지연을 가진다(블록(1210)).

다수의 마이크로폰들을 사용하는 자동화 교정의 경우에, 지연, 균등화, 및 이득은 다수의 전-방향 측정 마이크로폰들을 사용하여 시스템에 의해 자동으로 산출된다. 프로세스는 단일 마이크로 기술에 실질적으로 동일하고, 그것이 마이크로폰들 각각에 대해 반복된다는 것을 수용하며, 결과들이 평균된다.

대안적인 애플리케이션들

전체 청취 환경 또는 극장에서 적응적 오디오 시스템을 구현하는 대신에, 텔레비전들, 컴퓨터들, 게임 콘솔들, 또는 유사한 디바이스들과 같은, 보다 국소화된 애플리케이션들에서 적응적 오디오 시스템의 양태들을 구현하는 것이 가능하다. 이러한 경우는 시청 스크린 또는 모니터 표면에 대응하는 편평한 평면에 어레이되는 스피커들에 효과적으로 의존한다. 도 13은 예시적인 텔레비전 및 사운드바 사용 경우에서 적응적 오디오 시스템의 사용을 도시한다. 일반적으로, 텔레비전 사용 경우는 종종 감소된 품질의 장비(TV 스피커들, 사운드바 스피커들 등) 및 스피커 위치들/구성(들)에 기초하여 실감나는 오디오 경험을 생성하는 것에 대한 도전들을 제공하며, 이것은 공간 분해능(즉, 서라운드 또는 후방 스피커들이 없음)에 대하여 제한될 수 있다. 도 13의 시스템(1300)은 좌측 및 우측 상향-파이어링 드라이버들(TV-LH 및 TV-RH) 뿐만 아니라, 표준 텔레비전 좌측 및 우측 위치들(TV-L 및 TV-R)에 스피커들을 포함한다. 텔레비전(1302)은 또한 몇몇 종류의 높이 어레이에 사운드바(1304) 또는 스피커들을 포함할 수 있다. 일반적으로, 텔레비전 스피커들의 크기 및 품질은 독립형 또는 홈 시어터 스피커들과 비교하여 비용 제약들 및 설계 선택들로 인해 감소된다. 그러나, 동적 가상화의 사용은 이들 결함들을 극복하도록 도울 수 있다. 도 13에서, 동적 가상화 효과는 특정 청취 위치(1308)에서의 사람들이 수평 평면에서 개별적으로 렌더링된 적절한 오디오 오브젝트들과 연관된 수평 요소들을 듣도록 TV-L 및 TV-R 스피커들에 대해 예시된다. 부가적으로, 적절한 오디오 오브젝트들과 연관된 높이 요소들은 LH 및 RH 드라이버들에 의해 송신된 반사된 오디오를 통해 정확하게 렌더링될 것이다. 텔레비전 L 및 R 스피커들에서의 스테레오 가상화의 사용은 잠재적으로 실감나는 동적 스피커 가상화 사용자 경험이 적응적 오디오 콘텐트에 의해 제공된 오브젝트 공간 정보에 기초하여 스피커 가상화 알고리즘들 파라미터들의 동적 제어를 통해 가능할 수 있는 L 및 R 홈 시어터 스피커들과 유사하다. 이러한 동적 가상화는 청취 환경상에서의 측면들을 따라 이동하는 오브젝트들의 지각을 생성하기 위해 사용될 수 있다.

텔레비전 환경은 또한 사운드바(1304) 내에 도시된 바와 같이 HRC 스피커를 포함할 수 있다. 이러한 HRC 스피커는 HRC 어레이를 통해 패닝하는 것을 허용하는 조향가능한 유닛일 수 있다. 스크린 상에서 비디오 오브젝트들의 움직임과 일치하는 어레이를 통해 오디오 오브젝트들의 이산 팬들을 허용하는 개별적으로 어드레싱가능한 스피커들을 갖는 전방 파이어링 중앙 채널 어레이를 가짐으로써 이익들(특히 보다 큰 스크린들에 대해)이 있을 수 있다. 이 스피커는 측면-파이어링 스피커들을 갖도록 또한 도시된다. 이것들은 스피커가 측면-파이어링 드라이버들이 서라운드 또는 후방 스피커들의 부족으로 인해 더 많은 몰입을 제공하도록 사운드바로서 사용된다면 활성화되고 사용될 수 있다. 동적 가상화 개념은 도한 HRC/사운드바 스피커에 대해 도시된다. 동적 가상화는 전방 파이어링 스피커 어레이의 가장 먼 측면들 상에서 L 및 R 스피커들에 대해 도시된다. 다시, 이것은 청취 환경상에서의 측면들을 따라 이동하는 오브젝트들의 지각을 생성하기 위해 사용될 수 있다. 이러한 수정된 중앙 스피커는 또한 보다 많은 스피커들을 포함할 수 있으며 별개로 제어된 사운드 구역들을 가지는 조향가능한 사운드 빔을 구현할 수 있다. 주 청취 위치(1308)의 앞에 위치된 NFE 스피커(1306)가 또한 도 13의 예시적인 구현에 도시된다. NFE 스피커의 포함은 청취 환경의 전방으로부터 멀리 및 청취자에 더 가깝게 사운드를 이동시킴으로써 적응적 오디오 시스템에 의해 제공된 보다 큰 임장감을 제공할 수 있다.

헤드폰 렌더링에 대하여, 적응적 오디오 시스템은 공간 위치에 HRTF들을 매칭시킴으로서 생성기의 원래 의도를 유지한다. 오디오가 헤드폰들을 통해 재생될 때, 양이 공간 가상화는 오디오를 프로세싱하는, 헤드 관련 전송 함수(HRTF)의 적용에 의해 달성될 수 있으며 표준 스테레오 헤드폰들을 통해서가 아닌, 3차원 공간에서 재생되는 오디오의 지각을 생성하는 지각적 큐들을 부가한다. 공간 재생의 정확도는 렌더링되는 오디오 채널들 또는 오브젝트들의 공간 위치를 포함한, 여러 개의 인자들에 기초하여 변할 수 있는 적절한 HRTF의 선택에 의존적이다. 적응적 오디오 시스템에 의해 제공된 공간 정보를 사용하는 것은 재생 경험을 크게 개선하기 위해 3D 공간을 나타내는 HRTF들 중 하나 - 또는 연속하는 가변 수 - 의 선택을 야기할 수 있다.

시스템은 또한 가이딩된, 3-차원 양이 렌더링 및 가상화를 부가하는 것을 용이하게 한다. 공간적 렌더링에 대한 경우와 유사하게, 새로운 및 수정된 스피커 유형들 및 위치들을 사용하여, 그것은 3-차원 HRTF들의 사용을 통해 수평 평면 및 수직 축 양쪽 모두로부터 온 오디오의 사운드를 시뮬레이팅하기 위해 큐들을 생성하는 것이 가능하다. 단지 채널 및 고정된 스피커 위치 정보 렌더링만을 제공하는 이전 오디오 포맷들은 보다 제한적이다. 적응적 오디오 포맷 정보를 갖고, 양이, 3차원 렌더링 헤드폰 시스템은 오디오의 어떤 요소들이 수평 및 수직 평면들 양쪽 모두에서 렌더링하기에 적합한지를 지시하기 위해 사용될 수 있는 상세한 및 유용한 정보를 가진다. 몇몇 콘텐트는 보다 큰 임장감을 제공하기 위해 오버헤드 스피커들의 사용에 의존할 수 있다. 이들 오디오 오브젝트들 및 정보는 헤드폰들을 사용할 때 청취자의 머리 위에 있는 것으로 지각되는 양이 렌더링을 위해 사용될 수 있다. 도 14는 일 실시예 하에서, 적응적 오디오 시스템에서의 사용을 위한 3-차원 양이 헤드폰 가상화 경험의 간소화된 표현을 도시한다. 도 14에 도시된 바와 같이, 적응적 오디오 시스템으로부터 오디오를 재생하기 위해 사용된 헤드폰 세트(1402)는 특정한 오디오 오브젝트들 또는 사운드들과 연관된 높이가 그것들이, 그것들이 x, y, 발생 사운드들 위 또는 아래에서 발생하는 것처럼 들리도록 재생되도록 z-평면에서 뿐만 아니라 표준 x, y 평면에서 오디오 신호들(1404)을 포함한다.

메타데이터 정의들

일 실시예에서, 적응적 오디오 시스템은 원래 공간적 오디오 포맷으로부터 메타데이터를 생성하는 구성요소들을 포함한다. 시스템(300)의 방법들 및 구성요소들은 종래의 채널-기반 오디오 요소들 및 오디오 오브젝트 코딩 요소들 양쪽 모두를 포함하는 하나 이상의 비트스트림들을 프로세싱하도록 구성된 오디오 렌더링 시스템을 포함한다. 오디오 오브젝트 코딩 요소들을 포함하는 새로운 확장 층이 정의되며 채널-기반 오디오 코덱 비트스트림 또는 오디오 오브젝트 비트스트림 중 하나에 부가된다. 이러한 접근법은 비트스트림들을 가능하게 하며, 이것은 개별적으로 어드레싱가능한 드라이버들 및 드라이버 정의들을 이용하는 기존의 스피커 및 드라이버 설계들 또는 차세대 스피커들과 함께 사용하기 위한 렌더러들에 의해 프로세싱될 확장 층을 포함한다. 공간 오디오 프로세서로부터의 공간 오디오 콘텐트는 오디오 오브젝트들, 채널들, 및 위치 메타데이터를 포함한다. 오브젝트가 렌더링될 때, 그것은 위치 메타데이터에 따른 하나 이상의 스피커들, 및 재생 스피커들의 위치에 할당된다. 부가적인 메타데이터는 재생 위치를 변경하거나 그 외 재생을 위해 사용될 스피커들을 제한하기 위해 오브젝트와 연관될 수 있다. 메타데이터는 공간 파라미터들(예로서, 위치, 속도, 강도, 음색 등)을 제어하며 청취 환경에서의 어떤 드라이버(들) 또는 스피커(들)가 표현 동안 각각의 사운드들을 재생할지를 특정하는 렌더링 코들을 제공하기 위해 엔지니어의 믹싱 입력들에 응답하여 오디오 워크스테이션에서 생성된다. 메타데이터는 공간 오디오 프로세서에 의한 패키징 및 전송을 위해 워크스테이션에서의 각각의 오디오 데이터와 연관된다.

도 15는 일 실시예 하에서, 청취 환경들을 위한 적응적 오디오 시스템에서의 사용을 위한 특정한 메타데이터 정의를 도시하는 표이다. 표(1500)에 도시된 바와 같이, 메타데이터 정의들은: 오디오 콘텐트 유형, 드라이버 정의들(수, 특성들, 위치, 투사 각), 능동 조향/동조를 위한 제어 신호들, 및 룸 및 스피커 정보를 포함하는 교정 정보를 포함한다.

특징들 및 능력들

상기 서술된 바와 같이, 적응적 오디오 생태계는 콘텐트 창작자가 메타데이터를 통해 비트스트림 내에서 믹스(위치, 크기, 속도 등)의 공간적 의도를 내장하도록 허용한다. 이것은 오디오의 공간 재생에서 굉장한 양의 유연성을 허용한다. 공간 렌더링 관점으로부터, 적응적 오디오 포맷은 콘텐트 창작자가 저작 시스템에 동일하지 않은 재생 시스템의 기하학적 구조에 의해 야기된 공간적 왜곡을 회피하기 위해 청취 환경에서 스피커들의 정확한 위치로 믹스를 적응시킬 수 있게 한다. 단지 스피커 채널에 대한 오디오만이 전송되는 현재 오디오 재생 시스템들에서, 콘텐트 창작자의 의도는 고정된 스피커 위치들이 아닌 청취 환경에서의 위치들에 대해 알려지지 않는다. 현재 채널/스피커 패러다임 하에서, 알려진 유일한 정보는 특정 오디오 채널이 청취 환경에서 미리 정의된 위치를 갖는 특정 스피커로 전송되어야 한다는 것이다. 적응적 오디오 시스템에서, 생성 및 왜곡 파이프라인을 통해 전달된 메타데이터를 사용하여, 재생 시스템은 콘텐트 창작자의 원래 의도에 매칭시키는 방식으로 콘텐트를 재생하기 위해 이 정보를 사용할 수 있다. 예를 들면, 스피커들 사이에서의 관계는 상이한 오디오 오브젝트들에 대해 알려져 있다. 오디오 오브젝트에 대한 공간 위치를 제공함으로써, 콘텐트 창작자의 의도가 알려지며 이것은 그것들의 위치를 포함하여, 스피커 구성으로 "매핑"될 수 있다. 동적 렌더링 오디오 렌더링 시스템을 갖고, 이러한 렌더링은 부가적인 스피커들을 부가함으로써 업데이트되며 개선될 수 있다.

시스템은 또한 가이딩된, 3차원 공간 렌더링을 부가하는 것을 가능하게 한다. 새로운 스피커 설계들 및 구성들의 사용을 통해 보다 실감나는 오디오 렌더링 경험을 생성하려는 많은 시도들이 있어 왔다. 이것들은 양극자 및 쌍극자 스피커들, 측면-파이어링, 후방-파이어링 및 상향 파이어링 드라이버들의 사용을 포함한다. 이전 채널 및 고정된 스피커 위치 시스템들을 갖고, 오디오의 어떤 요소들이 이들 수정된 스피커들로 전송되어야 하는지를 결정하는 것은 비교적 어렵다. 적응적 오디오 포맷을 사용하여, 렌더링 시스템은 오디오의 어떤 요소들(오브젝트들 또는 그 외)이 새로운 스피커 구성들로 전송되기에 적합한지에 대한 상세하며 유용한 정보를 가진다. 즉, 시스템은 어떤 오디오 신호들이 전방-파이어링 드라이버들로 전송되는지 및 어떤 것이 상향-파이어링 드라이버들로 전송되는 지에 대한 제어를 허용한다. 예를 들면, 적응적 오디오 시네마 콘텐트는 보다 큰 임장감을 제공하기 위해 오버헤드 스피커들의 사용에 심하게 의존한다. 이들 오디오 오브젝트들 및 정보는 유사한 효과를 생성하기 위해 청취 환경에서 반사된 오디오를 제공하기 위해 상향-파이어링 드라이버들로 전송될 수 있다.

시스템은 또한 재생 시스템의 정확한 하드웨어 구성에 믹스를 적응시키는 것을 허용한다. 텔레비전들, 홈 시어터들, 사운드바들, 휴대용 음악 플레이어 독들 등과 같은 렌더링 장비에서 많은 상이한 가능한 스피커 유형들 및 구성들이 존재할 수 있다. 이들 시스템들이 채널 특정 오디오 정보(즉, 좌측 및 우측 채널 또는 표준 다중채널 오디오)를 전송할 때, 시스템은 렌더링 장비의 능력들에 적절히 매칭시키기 위해 오디오를 프로세싱해야 한다. 통상적인 예는 표준 스테레오(좌측, 우측) 오디오가 두 개 이상의 스피커들을 갖는, 사운드바로 전송될 때이다. 단지 스피커 채널을 위한 오디오만이 전송되는 현재 오디오 시스템들에서, 콘텐트 창작자의 의도는 알려지지 않으며 강화된 장비에 의해 가능해진 보다 실감나는 오디오 경험은 하드웨어 상에서의 재생을 위해 오디오를 수정하는 방법에 대한 가정들을 하는 알고리즘들에 의해 생성되어야 한다. 이것의 일 예는 원래 수의 채널 피드들보다 더 많은 스피커들로 "업-믹스" 채널-기반 오디오로의 PLII, PLII-z, 또는 차세대 서라운드의 사용이다. 적응적 오디오 시스템을 갖고, 생성 및 분배 파이프라인 전체에 걸쳐 전달된 메타데이터를 사용하여, 재생 시스템은 콘텐트 창작자의 원래 의도에 보다 가깝게 일치하는 방식으로 콘텐트를 재생하기 위해 이러한 정보를 사용할 수 있다. 예를 들면, 몇몇 사운드바들은 임장감을 생성하기 위해 측면-파이어링 스피커들을 갖는다. 적응적 오디오를 갖고, 공간 정보 및 콘텐트 유형 정보(즉, 대화, 음악, 주변 효과들 등)가 단지 적절한 오디오만을 이들 측면-파이어링 스피커들로 전송하기 위해 TV 또는 A/V 수신기와 같은 렌더링 시스템에 의해 제어될 때 사운드바에 의해 사용될 수 있다.

적응적 오디오에 의해 전달된 공간 정보는 존재하는 스피커들의 위치 및 유형의 인식을 갖고 콘텐트의 동적 렌더링을 허용한다. 또한 오디오 재생 장비에 대한 청취자 또는 청취자들의 관계에 대한 정보가 이제 잠재적으로 이용가능하며 렌더링 시 사용될 수 있다. 대부분의 게이밍 콘솔들은 청취 환경에서 사람의 위치 및 아이덴티티를 결정할 수 있는 지능적 이미지 프로세싱 및 카메라 액세서리를 포함한다. 이러한 정보는 청취자의 위치에 기초하여 콘텐트 창작자의 창의적 의도를 보다 정확하게 전달하기 위해 렌더링을 변경하도록 적응적 오디오 시스템에 의해 사용될 수 있다. 예를 들면, 거의 모든 경우들에서, 재생을 위해 렌더링된 오디오는 청취자가 종종 각각의 스피커로부터 등거리인 이상적인 "스윗 스팟" 및 콘텐트 생성 동안 사운드 믹서가 위치되는 동일한 위치에 위치된다고 가정한다. 그러나, 여러 번 사람들은 이러한 이상적인 위치에 있지 않으며 그들의 경험은 믹서의 창의적 의도와 일치하지 않는다. 통상적인 예는 청취자가 의자 또는 카우치 상에서의 청취 환경의 좌측 측면 상에 앉아 있을 때이다. 이러한 경우에 대해, 좌측 상에서 보다 가까운 스피커들로부터 재생되는 사운드는 라우더이며 오디오 믹스의 공간적 지각을 좌측으로 왜곡하는 것으로서 지각될 것이다. 청취자의 위치를 이해함으로써, 시스템은 좌측 스피커들 상에서의 사운드의 레벨을 낮추기 위해 오디오의 렌더링을 조정하며 오디오 믹스를 재균형시키고 그것을 지각적으로 정확하게 만들기 위해 우측 스피커들의 레벨을 올릴 수 있다. 스윗 스팟으로부터 청취자의 거리를 보상하기 위해 오디오를 지연시키는 것이 또한 가능하다. 청취자 위치는 카메라의 사용 또는 청취자 위치를 렌더링 시스템에 시그널링할 몇몇 내장 시그널링을 갖고 수정된 원격 제어를 통해 검출될 수 있다.

청취 위치를 어드레싱하기 위해 표준 스피커들 스피커 위치들을 사용하는 것 외에, 청취자 위치 및 콘텐트에 의존하여 변화하는 사운드 필드 "구역들"을 생성하도록 빔 조향 기술들을 사용하는 것이 또한 가능하다. 오디오 빔 형성은 스피커들의 어레이(통상적으로 8 내지 16 수평으로 이격된 스피커들)를 사용하며 조향가능한 사운드 빔을 생성하기 위해 상 조작 및 프로세싱을 사용한다. 빔 형성 스피커 어레이는 특정 공간적 위치에 대한 선택적 프로세싱을 갖고 특정 사운드들 또는 오브젝트들을 지향시키기 위해 사용될 수 있는 오디오가 주로 가청가능한 오디오 구역들의 생성을 허용한다. 분명한 사용 경우는 오디오 오브젝트가 청각 장애가 있는 사용자에게 향해지는 빔 및 대화 강화 후-처리 알고리즘을 사용하여 사운드트랙에서의 대화를 프로세싱하는 것이다.

매트릭스 인코딩 및 공간 업믹싱

몇몇 경우들에서, 오디오 오브젝트들은 적응적 오디오 콘텐트의 원하는 구성요소일 수 있지만; 대역폭 제한들에 기초하여, 채널/스피커 오디오 및 오디오 오브젝트들 양쪽 모두를 전송하는 것이 가능하지 않을 수 있다. 과거에 매트릭스 인코딩은 주어진 분배 시스템에 대해 가능한 것보다 더 많은 오디오 정보를 전달하기 위해 사용되어 왔다. 예를 들면, 이것은 다중-채널 오디오가 사운드 믹서들에 의해 생성되지만 필름은 단지 제공된 스테레오 오디오만을 포맷팅하는 예전의 시네마의 경우였다. 매트릭스 인코딩은 다중-채널 오디오를 두 개의 스테레오 채널들로 지능적으로 다운믹싱하기 위해 사용되었으며, 이것은 그 후 스테레오 오디오로부터 다중-채널 믹스의 가까운 근사를 재생성하기 위해 특정한 알고리즘들을 갖고 프로세싱되었다. 유사하게, 오디오 오브젝트들을 베이스 스피커 채널들 및 적응적 오디오 메타데이터의 사용을 통해 오브젝트들을 추출하며 적응적 오디오 렌더링 시스템을 갖고 그것들을 정확하게 공간적으로 렌더링하기 위해 차세대 서라운드 알고리즘들에 민감한 정교한 시간 및 주파수로 지능적으로 다운믹싱하는 것이 가능하다.

부가적으로, 오디오를 위한 송신 시스템(예를 들면 3G 및 4G 무선 애플리케이션들)의 대역폭 제한들이 있다면, 개개의 오디오 오브젝트들과 함께 매트릭스 인코딩되는 공간적으로 다양한 다중-채널 베드들을 송신하는 것으로부터의 이익이 또한 있다. 이러한 송신 방법론의 하나의 사용 경우는 두 개의 별개의 오디오 베드들 및 다수의 오디오 오브젝트들을 갖는 스포츠 방송의 송신을 위한 것일 것이다. 오디오 베드들은 두 개의 상이한 팀 외야석 섹션들에서 캡처된 다중-채널 오디오를 나타낼 수 있으며 오디오 오브젝트들은 하나의 팀 또는 다른 팀에 호의적일 수 있는 상이한 아나운서들을 나타낼 수 있다. 표준 코딩을 사용하여 둘 이상의 오브젝트들과 함께 각각의 베드의 5.1 표현은 송신 시스템의 대역폭 제약들을 초과할 수 있다. 이 경우에, 5.1 베드들 각각이 스테레오 신호로 매트릭스 인코딩되면, 원래 5.1 채널들로서 캡처된 두 개의 베드들은 5.1 + 5.1 + 2 또는 12.1 채널들 대신에 오디오의 단지 4개의 채널들로서 2-채널 베드 1, 2-채널 베드 2, 오브젝트 1, 및 오브젝트 2로서 송신될 수 있다.

위치 및 콘텐트 의존적 프로세싱

적응적 오디오 생태계는 콘텐트 창작자가 개개의 오디오 오브젝트들을 생성하며 재생 시스템에 전달될 수 있는 콘텐트에 대한 정보를 부가하도록 허용한다. 이것은 재생 이전에 오디오의 프로세싱에 다량의 유연성을 허용한다. 프로세싱은 오브젝트 위치 및 크기에 기초하여 스피커 가상화의 동적 제어를 통해 오브젝트의 위치 및 유형에 적응될 수 있다. 스피커 가상화는 가상 스피커가 청취자에 의해 지각되도록 오디오를 프로세싱하는 방법을 나타낸다. 이 방법은 종종 소스 오디오가 서라운드 스피커 채널 피드들을 포함하는 다중-채널 오디오일 때 스테레오 스피커 재생을 위해 사용된다. 가상 스피커 프로세싱은 그것이 스테레오 스피커들 상에서 재생될 때, 서라운드 오디오 요소들이 거기에 위치된 가상 스피커가 있는 것처럼 청취자의 측면 및 후면으로 가상화되는 방식으로 서라운드 스피커 채널 오디오를 수정한다. 현재, 가상 스피커 위치의 위치 속성들은 서라운드 스피커들의 의도된 위치가 고정되기 때문에 정적이다. 그러나, 적응적 오디오 콘텐트를 갖고, 상이한 오디오 오브젝트들의 공간적 위치들이 동적이며 개별적(즉, 각각의 오브젝트에 고유한)이다. 가상 스피커 가상화와 같은 후 처리는 이제 각각의 오브젝트에 대한 스피커 위치 각도와 같은 파라미터들을 동적으로 제어하고 그 후 사운드 믹서의 의도를 보다 가깝게 표현하는 보다 실감나는 오디오 경험을 생성하기 위해 여러 개의 가상화된 오브젝트들의 렌더링된 출력들을 조합함으로써 보다 잘 아는 방식으로 제어될 수 있는 것이 가능하다.

오디오 오브젝트들의 표준 수평 가상화 외에, 고정 채널 및 동적 오브젝트 오디오를 프로세싱하며 보통의, 수평 평면, 위치에서 표준 쌍의 스테레오 스피커들로부터 오디오의 높이 재생의 지각을 얻는 지각적 높이 큐들을 사용하는 것이 가능하다.

특정한 효과들 또는 강화 프로세스들이 적절한 유형들의 오디오 콘텐트에 분별력 있게 적용될 수 있다. 예를 들면, 대화 강화는 단지 대화 오브젝트들에 적용될 수 있다. 대화 강화는 대화의 가청도 및/또는 양해도가 증가되며 또는 개선되도록 대화를 포함하는 오디오를 프로세싱하는 방법을 나타낸다. 많은 경우들에서, 대화에 적용되는 오디오 프로세싱은 비-대화 오디오 콘텐트(즉, 음악, 주변 효과들 등)에 대해 부적절하며 불쾌한 가청 아티팩트를 야기할 수 있다. 적응적 오디오를 갖고, 오디오 오브젝트는 콘텐트의 조각에서 대화만을 포함할 수 있으며 렌더링 해법이 단지 대화 콘텐트에 대화 강화를 선택적으로 적용하도록 그에 따라 라벨링될 수 있다. 또한, 오디오 오브젝트가 단지 대화(및 종종 그 경우인, 다이얼로그 및 다른 콘텐트의 혼합이 아닌)이면, 대화 강화 프로세싱은 대화를 배타적으로 프로세싱할 수 있다(그에 의해 임의의 다른 콘텐트 상에서 수행되는 임의의 프로세싱을 제한한다).

유사하게 오디오 응답 또는 균등화 관리는 또한 특정 오디오 특성들에 맞춰질 수 있다. 예를 들면, 베이스 관리(필터링, 감쇠, 이득)는 그것들의 유형에 기초하여 특정 오브젝트에서 타겟팅된다. 베이스 관리는 콘텐트의 특정한 조각에서 베이스(또는 하위) 주파수들만을 선택적으로 분리 및 프로세싱하는 것을 나타낸다. 현재 오디오 시스템들 및 전달 메커니즘들을 갖고, 이것은 오디오의 모두에 적용되는 "블라인드" 프로세스이다. 적응적 오디오를 갖고, 베이스 관리가 적절한 특정 오디오 오브젝트들이 적절히 적용된 메타데이터 및 렌더링 프로세싱에 의해 식별될 수 있다.

적응적 오디오 시스템은 또한 오브젝트-기반 동적 범위 압축을 용이하게 한다. 종래의 오디오 트랙들은 콘텐트 자체와 동일한 지속 기간을 갖는 반면, 오디오 오브젝트는 콘텐트에서의 제한된 양의 시간 동안 발생할 수 있다. 오브젝트와 연관된 메타데이터는 그것의 평균 및 피크 신호 진폭, 뿐만 아니라 그것의 시작 또는 공격 시간(특히 과도 재료에 대해)에 대한 레벨-관련 정보를 포함할 수 있다. 이 정보는 압축기가 콘텐트에 보다 양호하게 맞추기 위해 그것의 압축 및 시간 상수들(공격, 해제 등)을 보다 양호하게 적응시키도록 허용할 것이다.

시스템은 또한 자동화 라우드스피커-룸 균등화를 용이하게 한다. 라우드스피커 및 청취 환경 음향 시설은 사운드에 가청 착색을 도입할 때 중요한 역할을 하며 그에 의해 재생된 사운드의 음색에 영향을 준다. 더욱이, 음향 시설은 청취 환경 반사들 및 라우드스피커-방향성 변화들로 인해 위치-의존적이며 이러한 변화 때문에 지각된 음색은 상이한 청취 위치들에 대해 상당히 변할 것이다. 시스템에 제공된 AutoEQ(자동화 룸 균등화)는 자동화 라우드스피커-룸 스펙트럼 측정 및 균등화, 자동화된 시간-지연 보상(적절한 이미징 및 가능하게는 최소-제곱들 기반 상대적 스피커 위치 검출을 제공하는) 및 레벨 설정, 라우드스피커 헤드룸 능력에 기초한 베이스-리디렉션, 뿐만 아니라 서브우퍼(들)을 가지는 주 라우드스피커들의 최적의 스플라이싱을 통해 이들 이슈들 중 일부를 완화하도록 돕는다. 홈 시어터 또는 다른 청취 환경에서, 적응적 오디오 시스템은 (1) 재생 룸-음향학에 기초한 자동화된 타겟 곡선 계산(가정 청취 환경들에서 균등화를 위한 연구시 개방-문제점으로 고려되는), (2) 시간-주파수 분석을 사용하는 모드 감쇠 제어의 영향, (3) 임장감/거대함/소스-폭/양해도를 통제하는 측정들로부터 도출된 파라미터들을 이해하며 최상의 가능한 청취 환경을 제공하기 위해 이를 제어하는 것, (4) 전방과 "다른" 라우드스피커들 사이에서 음색을 매칭시키기 위해 헤드-모델들을 통합한 방향성 필터링, 및 (5) 청취자에 대한 이산 셋업에서의 라우드스피커들의 공간 위치들 및 공간 재-매핑을 검출하는 것(예로서, 서밋(Summit) 무선이 예일 것이다)과 같은, 특정한 부가적인 기능들을 포함한다. 라우드스피커들 사이에서의 음색에서의 불일치는 특히 전방-앵커 라우드스피커(예로서, 중앙) 및 서라운드/후방/폭/높이 라우드스피커들 사이에서의 특정한 패닝된 콘텐트 상에서 드러내어 진다.

종합적으로, 적응적 오디오 시스템은 또한, 몇몇 오디오 요소들의 재생된 공간 위치가 스크린 상에서의 이미지 요소들과 일치한다면, 특히 홈 환경에서 보다 큰 스크린 크기들을 갖고, 강력한 오디오/비디오 재생 경험을 가능하게 한다. 예는 영화 또는 텔레비전 프로그램에서의 대화가 스크린 상에서 말하고 있는 사람 또는 캐릭터와 공간적으로 일치하게 하는 것이다. 정상 스피커 채널-기반 오디오를 갖고, 대화가 스크린 상에서 사람 또는 캐릭터의 위치와 일치하도록 공간적으로 위치되어야 하는 곳을 결정하기 위한 용이한 방법은 없다. 적응적 오디오 시스템에서 이용가능한 오디오 정보를 갖고, 이러한 유형의 오디오/시각적 정렬은, 보다 큰 크기의 스크린들을 특징으로 하는 홈 시어터 시스템들에서조차, 쉽게 달성될 수 있다. 시각적 위치 및 오디오 공간 정렬은 또한 자동차들, 트럭들, 애니메이션 등과 같은 비-캐릭터/대화 오브젝트들을 위해 사용될 수 있다.

적응적 오디오 생태계는 또한, 콘텐트 창작자가 개개의 오디오 오브젝트들을 생성하며 재생 시스템에 전달될 수 있는 콘텐트에 대한 정보를 부가하도록 허용함으로써, 강화된 콘텐트 관리를 허용한다. 이것은 오디오의 콘텐트 관리에 많은 유연성을 허용한다. 콘텐트 관리 관점으로부터, 적응적 오디오는 단지 콘텐트 파일 크기를 감소시키며 및/또는 다운로드 시간을 감소시키기 위해 대화 오브젝트를 교체함으로써 오디오 콘텐트의 언어를 변경하는 것과 같은 다양한 것들을 가능하게 한다. 영화, 텔레비전, 및 다른 엔터테인먼트 프로그램들은 통상적으로 국제적으로 분배된다. 이것은 종종 콘텐트의 조각에서의 언어가 그것이 재생될 곳(프랑스에서 보여지는 영화들에 대해 프랑스, 독일에서 보여지는 TV 프로그램들에 대해 독일 등)에 의존하여 변경되는 것을 요구한다. 오늘날, 이것은 종종 완전히 독립적인 오디오 사운드트랙이 각각의 언어에 대해 생성되고, 패키징되며, 분배되도록 요구한다. 적응적 오디오 시스템 및 오디오 오브젝트들의 내재된 개념을 갖고, 콘텐트의 조각에 대한 대화는 독립적인 오디오 오브젝트일 수 있다. 이것은 콘텐트의 언어가 음악, 효과들 등과 같은 오디오 사운드트랙의 다른 요소들을 업데이트 또는 변경하지 않고 용이하게 변경되도록 허용한다. 이것은 외국 언어들에 뿐만 아니라 특정한 청중, 타겟팅된 광고 등에 대한 부적절한 언어에도 또한 적용할 것이다.

여기에 설명된 오디오 환경의 양태들은 적절한 스피커들 및 재생 디바이스들을 통해 오디오 또는 오디오/비디오 콘텐트의 재생을 표현하며, 청취자가 시네마, 콘서트 홀, 야외 극장, 홈 또는 룸, 청취 부스, 자동차, 게임 콘솔, 헤드폰, 또는 헤드셋 시스템, 공개 어드레스(PA) 시스템, 또는 임의의 다른 재생 환경과 같은, 캡처된 콘텐트의 재생을 경험하는 임의의 환경을 나타낼 수 있다. 실시예들이 공간 오디오 콘텐트가 텔레비전 콘텐트와 연관되는 홈 시어터 환경에서의 예들 및 구현들에 대하여 주로 설명되었지만, 실시예들은 또한 다른 시스템들에서 구현될 수 있다는 것이 주의되어야 한다. 오브젝트-기반 오디오 및 채널-기반 오디오를 포함하는 공간 오디오 콘텐트는 임의의 관련된 콘텐트(연관된 오디오, 비디오, 그래픽 등)와 함께 사용될 수 있거나, 그것은 독립형 오디오 콘텐트를 구성할 수 있다. 재생 환경은 헤드폰들 또는 근거리 장 모니터들에서 소형 또는 대형 룸들, 자동차들, 야외 경기장들, 콘서트 홀들 등까지 임의의 적절한 청취 환경일 수 있다.

여기에 설명된 시스템들의 양태들은 디지털 또는 디지털화된 오디오 파일들에 대한 적절한 컴퓨터-기반 사운드 프로세싱 네트워크 환경에서 구현될 수 있다. 적응적 오디오 시스템의 부분들은 버퍼로 작용하며 컴퓨터들 중에서 송신된 데이터를 라우팅하는 하나 이상의 라우터들(도시되지 않음)을 포함하여, 임의의 원하는 수의 개개의 기계들을 포함하는 하나 이상의 네트워크들을 포함할 수 있다. 이러한 네트워크는 다양한 상이한 네트워크 프로토콜들 상에 형성될 수 있으며, 인터넷, 광역 네트워크(WAN), 근거리 네트워크(LAN), 또는 그것의 임의의 조합일 수 있다. 네트워크가 인터넷을 포함하는 일 실시예에서, 하나 이상의 기계들이 웹 브라우저 프로그램들을 통해 인터넷을 액세스하도록 구성될 수 있다.

구성요소들, 블록들, 프로세스들 또는 다른 기능적 구성요소들 중 하나 이상이 시스템의 프로세서-기반 컴퓨팅 디바이스의 실행을 제어하는 컴퓨터 프로그램을 통해 구현될 수 있다. 여기에 개시된 다양한 기능들이 하드웨어, 펌웨어의 임의의 수의 조합들을 사용하여, 및/또는 그것들의 행동, 레지스터 전달, 로직 구성요소, 및/또는 다른 특성들에 대하여, 다양한 기계-판독가능한 또는 컴퓨터-판독가능한 미디어에 구체화된 데이터 및/또는 지시들로서 설명될 수 있다는 것이 또한 주의되어야 한다. 이러한 포맷팅된 데이터 및/또는 지시들이 구체화될 수 있는 컴퓨터-판독가능한 미디어는 이에 제한되지 않지만, 광학, 자기, 또는 반도체 저장 미디어와 같은, 다양한 형태들에서의 물리적(비-일시적), 비-휘발성 미디어를 포함한다.

맥락이 달리 명확하게 요구하지 않는다면, 설명 및 청구항들 전체에 걸쳐, 단어들("포함하다", "포함하는" 등)은 배타적 또는 철저한 의미와 대조적으로 포괄적인 의미로, 즉, "이에 제한되지 않지만, 포함하는"의 의미로 해석될 것이다. 단수형 또는 복수형 숫자를 사용하는 단어들은 또한 각각 복수형 또는 단수형 숫자를 포함한다. 부가적으로, 단어들("여기에", "아래에", "위에", "이하에") 및 유사한 중요성의 단어들은 본 출원의 임의의 특정한 부분들이 아닌, 전체로서 본 출원을 나타낸다. 단어("또는")가 둘 이상의 아이템들의 리스트에 대한 참조에 사용될 때, 상기 단어는 단어의 다음의 해석들의 모두를 커버한다: 리스트에서의 아이템들 중 임의의 것, 리스트에서의 아이템들의 모두 및 리스트에서의 아이템들의 임의의 조합.

하나 이상의 구현들이 예로서 및 특정 실시예들에 대하여 설명되었지만, 하나 이상의 구현들은 개시된 실시예들에 제한되지 않는다는 것이 이해될 것이다. 반대로, 그것은 당업자들에게 명백할 바와 같이, 다양한 수정들 및 유사한 배열들을 커버하도록 의도된다. 그러므로, 첨부된 청구항들의 범위는 모든 이러한 수정들 및 유사한 배열들을 포괄하도록 가장 광범위한 해석에 부합되어야 한다.

100: 9.1 시스템
102, 104, 318, 458, 806: 스피커 208: 적응적 오디오 믹스
300: 재생 시스템
302: 레거시 서라운드-사운드 오디오 304: 오브젝트 오디오
306: 채널 오디오 312: 오브젝트 렌더러
314: 이퀄라이저 및 리미터 316: B-체인 프로세싱 스테이지
406: 시네마 또는 극장
408: 시네마-소비자 변환기 구성요소
414: 소비자 콘텐트 코딩 및 렌더링 체인 416: 홈 시어터 시스템
423: 시네마 저작 툴 박스
428: 게임 오디오 비트스트림 생성 모듈
430: 시네마-소비자 적응적 오디오 변환기 432: 분배 파이프라인
450: 적응적 오디오 시스템
454: 렌더링/신호 프로세싱 블록 462: 교정 구성요소
502: 스크린 510: HRC 스피커
604: 스피커 캐비넷 또는 스피커 어레이 608: 천장
700: 스피커 엔클로저
702, 716, 732: 전방-파이어링 드라이버
704, 718, 734: 측면-파이어링 드라이버
706, 1005: 드라이버 710, 714, 922, 924: 엔클로저
712, 736: 상향-파이어링 드라이버 730: 사운드바 엔클로저
802, 902: 중앙 스피커 804: 서브우퍼 또는 LFE
901: LFE 904: L 전방 스피커
906: R 전방 스피커 908: L 후방 스피커
910: R 후방 스피커 1002: 사운드 소스
1004: 스피커 캐비넷 1007: 마이크로폰
1102: 어레이 1104: 구성 및 교정 구성요소
1106: 렌더러 1302: 텔레비전
1304: 사운드바 1306: NFE 스피커
1402: 헤드폰 세트

Claims (39)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 반사된 사운드 요소들을 사용하여 사운드를 렌더링하기 위한 시스템에 있어서:
    청취 환경 주위에 나누어 배치하기 위한 오디오 드라이버들의 어레이로서, 상기 오디오 드라이버들의 어레이의 적어도 하나의 드라이버는 상기 청취 환경 내에서의 청취 영역으로의 반사를 위해 상기 청취 환경의 하나 이상의 표면들을 향해 음파들을 투사하도록 구성되는 상향-파이어링 드라이버인, 상기 오디오 드라이버들의 어레이;
    오디오 스트림들 및 상기 오디오 스트림들 각각과 연관되며 각각의 오디오 스트림의 상기 청취 환경에서의 재생 위치를 특정하는 하나 이상의 메타데이터 세트들을 포함하는 비트스트림을 수신 및 프로세싱하도록 구성된 렌더러로서, 상기 오디오 스트림들은 하나 이상의 반사된 오디오 스트림들 및 하나 이상의 직접 오디오 스트림들을 포함하고, 상기 렌더러는 상향-파이어링 드라이버를 사용하여 표준 수평 평면 위에서 렌더링되어야 하는 오디오 오브젝트들 및 상기 오디오 오브젝트들 중 하나 이상에 관련된 높이 정보를 렌더링하도록 추가로 구성되는, 상기 렌더러; 및
    상기 렌더러에 결합되며 상기 오디오 스트림들을 상기 하나 이상의 메타데이터 세트들에 따라 상기 오디오 드라이버들의 어레이에 대응하는 복수의 오디오 피드들로 렌더링하도록 구성된 재생 구성요소로서, 상기 하나 이상의 반사된 오디오 스트림들은 상기 적어도 하나의 상향-파이어링 드라이버로 전송되는, 상기 재생 구성요소를 포함하고; 상기 시스템은 상기 적어도 하나의 상향-파이어링 드라이버에 공급되는 상기 반사된 오디오 스트림들로 지각 높이 큐들을 도입하기 위해 신호 프로세싱을 수행하는 것을 특징으로 하는, 사운드를 렌더링하기 위한 시스템.
24. 제 23 항에 있어서,
    상기 오디오 드라이버들의 어레이의 각각의 오디오 드라이버는 상기 렌더러 및 상기 재생 구성요소에 의해 사용된 통신 프로토콜에 따라 고유하게 어드레싱가능한, 사운드를 렌더링하기 위한 시스템.
25. 제 24 항에 있어서,
    상기 적어도 하나의 오디오 드라이버는: 측면-파이어링 드라이버 및 상향-파이어링 드라이버 중 하나를 포함하며, 상기 적어도 하나의 오디오 드라이버는: 스피커 엔클로저 내에서의 독립형 드라이버 및 단일 스피커 엔클로저에서 하나 이상의 전방 파이어링 드라이버들에 근접하여 위치된 드라이버 중 하나에 추가로 구체화되는, 사운드를 렌더링하기 위한 시스템.
26. 제 25 항에 있어서,
    상기 오디오 드라이버들의 어레이는 정의된 서라운드 사운드 구성에 따라 상기 청취 환경 주위에 분포되는 드라이버들을 포함하는, 사운드를 렌더링하기 위한 시스템.
27. 제 26 항에 있어서,
    상기 청취 환경은 홈 환경을 포함하며, 상기 렌더러 및 재생 구성요소는 홈 오디오 시스템의 부분을 포함하며, 추가로 상기 오디오 스트림들은: 홈 환경에서의 재생을 위해 변환된 시네마 콘텐트, 텔레비전 콘텐트, 사용자 생성 콘텐트, 컴퓨터 게임 콘텐트, 및 음악으로 이루어진 그룹으로부터 선택된 오디오 콘텐트를 포함하는, 사운드를 렌더링하기 위한 시스템.
28. 제 26 항에 있어서,
    상기 적어도 하나의 드라이버로 송신된 상기 오디오 스트림과 연관된 메타데이터 세트는 상기 반사에 관계된 하나 이상의 특성들을 정의하는, 사운드를 렌더링하기 위한 시스템.
29. 제 28 항에 있어서,
    상기 메타데이터 세트는 공간 오디오 정보의 오브젝트-기반 스트림과 연관된 메타데이터 요소들을 포함하는 기본 메타데이터 세트를 보완하며, 상기 오브젝트-기반 스트림에 대한 상기 메타데이터 요소들은 대응하는 오브젝트-기반 사운드의 상기 재생을 제어하며 사운드 위치, 사운드 폭, 및 사운드 속도 중 하나 이상을 포함하는 공간 파라미터들을 특정하는, 사운드를 렌더링하기 위한 시스템.
30. 제 29 항에 있어서,
    상기 메타데이터 세트는 상기 공간 오디오 정보의 채널-기반 스트림과 연관된 메타데이터 세트들을 추가로 포함하며, 각각의 채널-기반 스트림과 연관된 상기 메타데이터 요소들은 상기 정의된 서라운드-사운드 구성에서의 상기 오디오 드라이버들의 서라운드-사운드 채널들의 지정들을 포함하는, 사운드를 렌더링하기 위한 시스템.
31. 제 28 항에 있어서,
    상기 적어도 하나의 드라이버는 상기 청취 환경에 위치된 마이크로폰과 연관되며, 상기 마이크로폰은 상기 렌더러에 결합된 교정 구성요소에 상기 청취 환경의 특성들을 캡슐화하는 구성 오디오 정보를 송신하도록 구성되고, 상기 구성 오디오 정보는 상기 렌더러에 의해 상기 적어도 하나의 오디오 드라이버로 송신된 상기 오디오 스트림과 연관된 상기 메타데이터 세트를 정의 또는 수정하기 위해 사용되는, 사운드를 렌더링하기 위한 시스템.
32. 제 23 항에 있어서,
    상기 적어도 하나의 드라이버는: 상기 청취 환경의 바닥 평면에 대한 사운드 파이어링 각도에 대하여 조정가능한 엔클로저 내에서의 수동으로 조정가능한 오디오 트랜듀서 및 사운드 파이어링 각도에 대하여 자동으로 조정가능한 엔클로저 내에서의 전기적으로 제어가능한 오디오 트랜듀서 중 하나를 포함하는, 사운드를 렌더링하기 위한 시스템.
33. 청취 환경에서 사운드들을 생성하기 위한 스피커에 있어서:
    스피커 캐비넷;
    상기 스피커 캐비넷에 포함되거나 상기 스피커 캐비넷에 결합된 오디오 드라이버들의 어레이로서, 상기 오디오 드라이버들의 어레이의 적어도 하나의 드라이버는 상기 청취 환경 내에서의 청취 영역으로의 반사를 위해 상기 청취 환경의 하나 이상의 표면들을 향해 음파들을 투사하도록 구성되는, 상기 오디오 드라이버들의 어레이; 및
    상기 스피커에 의해 렌더링되는 오디오 신호로 지각적 높이 큐들을 도입하기 위한 신호 프로세싱 유닛을 포함하는, 사운드들을 생성하기 위한 스피커.
34. 제 33 항에 있어서,
    상기 신호 프로세싱 유닛은 능동형 또는 수동형 높이 큐 필터인, 사운드들을 생성하기 위한 스피커.
35. 제 33 항에 있어서,
    상기 하나의 드라이버는 상향-파이어링 드라이버인, 사운드들을 생성하기 위한 스피커.
36. 제 33 항에 있어서,
    상기 하나의 드라이버는 측면-파이어링 드라이버인, 사운드들을 생성하기 위한 스피커.
37. 제 33 항에 있어서,
    상기 오디오 드라이버들의 어레이의 적어도 하나는 전방-파이어링 드라이버이며 상기 지각적 높이 큐들은 상기 전방-파이어링 드라이버로 도입되는, 사운드들을 생성하기 위한 스피커.
38. 제 35 항에 있어서,
    상기 오디오 드라이버들의 어레이의 적어도 하나의 드라이버는 서브우퍼인, 사운드들을 생성하기 위한 스피커.
39. 제 33 항에 있어서,
    상기 오디오 드라이버들의 어레이의 상기 적어도 하나는 상향-파이어링 드라이버이며 상기 지각적 높이 큐들은 상기 상향-파이어링 드라이버로 도입되는, 사운드들을 생성하기 위한 스피커.
    
    

Images