KR20230096147A - 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들 - Google Patents

Abstract

오디오 재생 데이터를 오서링 및 렌더링하는 개선된 툴들이 제공된다. 몇몇의 이러한 오서링 툴들은 오디오 재생 데이터가 매우 다양한 재생 환경들에 대해 일반화될 수 있도록 한다. 오디오 재생 데이터는 오디오 객체들에 대한 메타데이터를 생성하는 것에 의해 오서링될 수 있다. 메타데이터는 스피커 존들을 참조하여 생성될 수 있다. 렌더링 처리 동안, 오디오 재생 데이터는 특정 재생 환경의 재생 스피커 레이아웃에 따라 재생될 수 있다.

Description

향상된 3D 오디오 오서링과 렌더링을 위한 시스템 및 툴들{SYSTEM AND TOOLS FOR ENHANCED 3D AUDIO AUTHORING AND RENDERING}

관련 출원에 대한 상호-참조

본 출원은 2011년 7월 1일에 출원된 미국 가출원 번호 제61/504,005 및 2012년 4월 20일에 출원된 가출원 번호 제61/636,102호에 대한 우선권을 주장하며, 이들 모두는 모든 목적을 위해 그 전체내용이 참조에 의하여 본 명세서에 포함된다.

기술 분야

본 발명은 오디오 재생 데이터의 오서링(authoring) 및 렌더링(rendering)에 관한 것이다. 특히, 본 발명은 시네마 사운드 재생 시스템과 같은 재생 환경용 오디오 재생 데이터를 오서링 및 렌더링하는 것에 관한 것이다.

1927년 필름에 대한 음향의 도입으로 인하여, 동화상 사운드 트랙의 예술적 의도를 담아내고 시네마 환경에서 그것을 재생하기 위하여 사용되는 기술이 꾸준히 발전되어 왔다. 1930년대의 디스크 상에 동기화되는 음향은 필름 가변 영역 음향에 대한 방식을 제공하였고, 이것은 1940년대 극장 음향 고려사항들에 있어서 더욱 개선되었으며, 또한 멀티 레코딩 및 조종가능 재생(제어 톤을 사용한 음향 이동)과 함께 라우드스피커 설계를 개선하였다. 1950년대 및 1960년대에는, 필름의 자기 스트라이핑(magnetic striping)으로 인하여 극장에서의 멀티-채널 재생을 가능하게 되었으며, 이것은 고급 극장에서 5개까지 스크린 채널 및 서라운드 채널을 도입할 수 있게 하였다.

1970년대 돌비(Dolby)는 3개 스크린 채널들과 모노 서라운드 채널의 믹스들을 인코딩 및 디스트리뷰팅하는 비용-효율적 방식에 따라, 필름 및 포스트-프로덕션(post-production) 모두에 있어서의 노이즈 저감을 도입하였다. 시네마 사운드의 품질은 THX와 같은 인증 프로그램들과 돌비 SR(Spectral Recording) 노이즈 저감에 따라 1980년대에 더욱 개선되었다. 돌비는 저음역 효과(low-frequency effect)를 위해 개별적인 좌측, 중앙 및 우측 스크린 채널들, 좌측 및 우측 서라운드 어레이들 및 서브 우퍼 채널를 제공하는 5.1 채널 포맷을 이용하여 1990년 동안 시네마에 디지털 사운드를 제공하였다. 2010년에 도입된 돌비 서라운드 7.1은 기존의 좌측 및 우측 서라운드 채널들을 4개의 "존(zone)들"로 분할하는 것에 의해 서라운드 채널들의 개수를 증가시켰다.

채널들의 개수 증가 및 평면 2-차원(2D) 어레이에서 엘리베이션(elevation)을 포함하는 3-차원(3D) 어레이로의 라우드스피커 레이아웃 전환으로 인하여, 사운드를 포지셔닝하고 렌더링하는 작업이 갈수록 더 어려워지고 있다. 개선된 오디오 오서링 및 렌더링 방법들이 바람직할 것이다.

본 발명은 상기한 바와 같은 문제점을 해소하기 위해 안출된 것으로, 향상된 3D 오디오 오서링과 렌더링을 위한 시스템 및 툴들을 제공함에 그 목적이 있다.

본 발명에 기술된 주된 내용의 일부 양태들은 오디오 재생 데이터를 오서링 및 렌더링하는 툴들로 구현될 수 있다. 오디오 재생 데이터를 오서링 및 렌더링하는 개선된 툴들이 제공된다. 몇몇의 이러한 오서링 툴들은 오디오 재생 데이터가 매우 다양한 재생 환경들에 대해 일반화될 수 있도록 한다. 몇몇의 이러한 구현들에 따르면, 오디오 재생 데이터는 오디오 객체들에 대한 메타데이터를 생성하는 것에 의해 오서링될 수 있다. 메타데이터는 스피커 존들을 참조하여 생성될 수 있다. 렌더링 처리 동안, 오디오 재생 데이터는 특정 재생 환경의 재생 스피커 레이아웃에 따라 재생될 수 있다.

본 명세서에 기술된 몇몇 구현들은 인터페이스 시스템 및 로직 시스템을 포함하는 장치를 제공한다. 로직 시스템은 인터페이스 시스템을 통하여, 하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는 오디오 재생 데이터와 재생 환경 데이터를 수신하도록 구성될 수 있다. 재생 환경 데이터는 재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내에 있는 각 재생 스피커의 로케이션의 표시를 포함할 수 있다. 로직 시스템은 관련 메타데이터에 적어도 부분적으로 기초하여, 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링하되, 각각의 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중의 적어도 하나에 대응하도록 구성될 수 있다. 로직 시스템은 가상 스피커 위치들에 대응하는 스피커 이득들을 계산하도록 구성될 수 있다.

재생 환경은, 예를 들어 시네마 사운드 시스템 환경일 수 있다. 재생 환경은 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 하마사키 22.2 서라운드 사운드 구성을 가질 수도 있다. 재생 환경 데이터는 재생 스피커 로케이션들을 표시하는 재생 스피커 레이아웃 데이터를 포함할 수도 있다. 재생 환경 데이터는 재생 스피커 영역들을 표시하는 재생 스피커 존 레이아웃 데이터 및 그 재생 스피커 영역들과 대응하는 재생 스피커 로케이션들을 포함할 수 있다.

메타데이터는 오디오 객체 위치를 단일의 재생 스피커 로케이션으로 매핑하는 정보를 포함할 수 있다. 렌더링은 소망하는 오디오 객체 위치, 상기 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하는 종합적인 이득(gain)을 생성하는 것을 포함할 수 있다. 메타데이터는 오디오 객체의 위치를 1-차원 곡선 또는 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 메타데이터는 오디오 객체에 대한 경로 데이터를 포함할 수 있다.

렌더링은 스피커 존 제한들을 부과하는 것을 포함할 수 있다. 예를 들어, 상기 장치는 사용자 입력 시스템을 포함할 수 있다. 몇몇 구현들에 따르면, 렌더링은 사용자 입력 시스템으로부터 수신되는 스크린-투-룸 밸런스 제어 데이터에 따라 스크린-투-룸 밸런스 제어를 적용하는 것을 포함할 수 있다.

상기 장치는 디스플레이 시스템을 포함할 수 있다. 상기 로직 시스템은 재생 환경의 동적 3-차원 뷰를 디스플레이하도록 상기 디스플레이 시스템을 제어하도록 구성될 수 있다.

상기 렌더링은 3개 차원들 중의 하나 이상으로의 스프레드되도록 오디오 객체를 제어하는 것을 포함할 수 있다. 상기 렌더링은 스피커 과부하에 대응하는 동적 객체 블로빙(dynamic object blobbing)을 포함할 수 있다. 상기 렌더링은 오디오 객체 로케이션들을 상기 재생 환경의 스피커 어레이들의 평면들로 매핑하는 것을 포함할 수 있다.

상기 장치는 하나 이상의 비일시적 저장 매체, 예컨대 메모리 시스템의 메모리 디바이스들을 포함할 수 있다. 상기 메모리 디바이스들은 예를 들어, RAM(random access memory), ROM(read-only memory), 플래시 메모리, 하나 이상의 하드 드라이브 등을 포함할 수 있다. 상기 인터페이스 시스템은 상기 로직 시스템과 하나 이상의 메모리 디바이스들 사이의 인터페이스를 포함할 수 있다. 또한, 상기 인터페이스 시스템은 네트워크 인터페이스를 포함할 수도 있다.

상기 메타데이터는 스피커 존 제한 메타데이터를 포함할 수 있다. 상기 로직 시스템은 선택된 스피커들로부터의 기여도(contribution)들을 포함하는 제 1 이득들을 계산하는 동작; 상기 선택된 스피커들로부터의 기여도들을 포함하지 않는 제 2 이득들을 계산하는 동작; 및 상기 제 1 이득들과 상기 제 2 이득들을 조합하는 동작을 수행하는 것에 의하여, 선택된 스피커 급전 신호들을 감쇄시키도록 구성될 수 있다. 상기 로직 시스템은 오디오 객체 위치에 대해 패닝 규칙들(panning rules)을 적용할 지의 여부 또는 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑할 지의 여부를 결정하도록 구성될 수 있다. 상기 로직 시스템은 제 1 단일의 스피커 로케이션에서 제 2 단일의 스피커 로케이션으로의 오디오 객체 위치 매핑의 전환시에, 스피커 이득들의 전환들을 부드럽게 하도록 구성될 수 있다. 상기 로직 시스템은 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑하는 것과 상기 오디오 객체 위치에 대해 패닝 규칙들을 적용하는 것 사이의 전환시에, 스피커 이득들의 전환들을 부드럽게 하도록 구성될 수 있다. 상기 로직 시스템은 가상 스피커 위치들 사이에서 1-차원 곡선을 따르는 오디오 객체 위치들에 대한 스피커 이득들을 계산하도록 구성될 수 있다.

본 명세서에 기술된 몇몇 방법들은 하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 것과 재생 환경에서의 복수의 재생 스피커들의 표시를 포함하는 재생 환경 데이터를 수신하는 것을 포함한다. 상기 재생 환경 데이터는 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함할 수 있다. 상기 방법들은 상기 관련 메타데이터에 적어도 부분적으로 기초하여, 상기 오디오 객체들을 하나 이상의 스피커 급전 신호로 렌더링하는 것을 포함할 수 있다. 각 스피커 급전 신호는 상기 재생 환경 내의 재생 스피커들 중의 적어도 하나에 대응할 수 있다. 상기 재생 환경은 시네마 사운드 시스템 환경일 수 있다.

상기 렌더링은 소망하는 오디오 객체 위치, 상기 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하는 종합적인 이득을 생성하는 것을 포함할 수 있다. 상기 메타데이터는 오디오 객체의 위치를 1-차원 곡선 또는 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 상기 렌더링은 스피커 존 제한들을 부과하는 것을 포함할 수 있다.

몇몇 구현들은 소프트웨어가 저장된 하나 이상의 비일시적 매체로 나타날 수 있다. 상기 소프트웨어는 인스트럭션들을 포함하며, 상기 인스트럭션들은, 하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 동작; 재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함하는 재생 환경 데이터를 수신하는 동작; 및 상기 관련 메타데이터에 적어도 부분적으로 기초하여 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링하는 동작을 수행하도록 하나 이상의 디바이스들을 제어한다. 각 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중의 적어도 하나에 대응할 수 있다. 상기 재생 환경은 예를 들어 시네마 사운드 시스템 환경일 수 있다.

상기 렌더링은 소망하는 오디오 객체 위치, 상기 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하는 종합적인 이득을 생성하는 것을 포함할 수 있다. 상기 메타데이터는 오디오 객체의 위치를 1-차원 곡선 또는 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 상기 렌더링은 스피커 존 제한들을 부과하는 것을 포함할 수 있다. 상기 렌더링은 스피커 과부하에 대응하는 동적 객체 블로빙을 포함할 수 있다.

다른 디바이스들 및 장치들이 본 명세서에 기술되어 있다. 몇몇의 이러한 장치는 인터페이스 시스템, 사용자 입력 시스템 및 로직 시스템을 포함할 수 있다. 상기 로직 시스템은 상기 인터페이스 시스템을 통하여 오디오 데이터를 수신하고, 상기 사용자 입력 시스템 또는 상기 인터페이스 시스템을 통하여 오디오 객체의 위치를 수신하고, 또한 3-차원 공간에서 상기 오디오 객체의 위치를 결정하도록 구성될 수 있다. 상기 결정은 상기 위치를 상기 3-차원 공간 내의 1-차원 곡선 또는 2-차원 표면으로 제한하는 것을 포함할 수 있다. 상기 로직 시스템은 상기 사용자 입력 시스템을 통하여 수신되는 사용자 입력에 적어도 부분적으로 기초하여 상기 오디오 객체와 관련된 메타데이터를 생성하도록 구성될 수 있으며, 상기 메타데이터는 상기 3-차원 공간에 상기 오디오 객체의 위치를 표시하는 데이터를 포함할 수 있다.

상기 메타데이터는 상기 3-차원 공간 내에 상기 오디오 객체의 시간-가변 위치를 표시하는 경로 데이터를 포함할 수 있다. 상기 로직 시스템은 상기 사용자 입력 시스템으로부터 수신되는 사용자 입력에 따라 상기 경로 데이터를 계산하도록 구성될 수 있다. 상기 경로 데이터는 복수의 시간 인스턴스들에서의 상기 3-차원 공간 내의 위치들의 세트를 포함할 수 있다. 상기 경로 데이터는 초기 위치, 속도 데이터 및 가속도 데이터를 포함할 수 있다. 상기 경로 데이터는 초기 위치 및 3-차원 공간과 대응 시간들에서의 위치들을 규정하는 등식을 포함할 수 있다.

상기 장치는 디스플레이 시스템을 포함할 수 있다. 상기 로직 시스템은 상기 경로 데이터에 따라 오디오 객체 경로를 디스플레이하도록 상기 디스플레이 시스템을 제어하도록 구성될 수 있다.

상기 로직 시스템은 상기 사용자 입력 시스템을 통하여 수신되는 사용자 입력에 다라 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다. 상기 스피커 존 제한 메타데이터는 선택된 스피커들을 디스에이블하는 데이터를 포함할 수 있다. 상기 로직 시스템은 오디오 객체 위치를 단일의 스피커로 매핑하는 것에 의해 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다.

상기 장치는 사운드 재생 시스템을 포함할 수 있다. 상기 로직 시스템은, 적어도 부분적으로, 상기 메타데이터에 따라 상기 사운드 재생 시스템을 제어하도록 구성될 수 있다.

상기 오디오 객체의 위치는 1-차원 곡선으로 제한될 수 있다. 상기 로직 시스템은 상기 1-차원 곡선을 따르는 가상 스피커 위치들을 생성하도록 더 구성될 수 있다.

다른 방법들이 본 명세서에 기술되어 있다. 몇몇의 이러한 방법들은 오디오 데이터를 수신하는 것과, 오디오 객체의 위치를 수신하는 것과, 3-차원 공간에서의 상기 오디오 객체의 위치를 결정하는 것을 포함한다. 상기 결정은 상기 위치를 상기 3-차원 공간 내의 1-차원 곡선 또는 2-차원 표면으로 제한하는 것을 포함할 수 있다. 상기 방법들은 사용자 입력에 적어도 부분적으로 기초하여 상기 오디오 객체와 관련된 메타데이터를 생성하는 것을 포함할 수 있다.

상기 메타데이터는 상기 3-차원 공간에 상기 오디오 객체의 위치를 표시하는 데이터를 포함할 수 있다. 상기 메타데이터는 상기 3-차원 공간 내에 상기 오디오 객체의 시간-가변 위치를 표시하는 경로 데이터를 포함할 수 있다. 상기 메타데이터를 생성하는 것은 예를 들어, 상기 사용자 입력에 따라 스피커 존 제한 메타데이터를 생성하는 것을 포함할 수 있다. 상기 스피커 존 제한 메타데이터는 선택된 스피커들을 디스에이블하는 데이터를 포함할 수 있다.

상기 오디오 객체의 위치는 1-차원 곡선으로 제한될 수 있다. 상기 방법들은 상기 1-차원 곡선에 따르는 가상 스피커 위치들을 생성하는 것을 포함할 수 있다.

본 발명의 다른 양태들은 소프트웨어가 저장된 하나 이상의 비일시적 매체로 구현될 수 있다. 상기 소프트웨어는 오디오 데이터를 수신하는 동작; 오디오 객체의 위치를 수신하는 동작; 및 3-차원 공간에서의 상기 오디오 객체의 위치를 결정하는 동작을 수행하도록 하나 이상의 디바이스들을 제어하는 인스트럭션들을 포함할 수 있다. 상기 결정은 상기 위치를 상기 3-차원 공간 내의 1-차원 곡선 또는 2-차원 표면으로 제한하는 것을 포함할 수 있다. 상기 소프트웨어는 상기 오디오 객체와 관련된 메타데이터를 생성하도록 하나 이상의 디바이스들을 제어하는 인스트럭션들을 포함할 수 있다. 상기 메타데이터는 사용자 입력에 적어도 부분적으로 기초하여 생성될 수 있다.

상기 메타데이터는 상기 3-차원 공간에 상기 오디오 객체의 위치를 표시하는 데이터를 포함할 수 있다. 상기 메타데이터는 상기 3-차원 공간 내에 상기 오디오 객체의 시간-가변 위치를 표시하는 경로 데이터를 포함할 수 있다. 상기 메타데이터를 생성하는 것은 예를 들어, 사용자 입력에 따라 스피커 존 제한 메타데이터를 생성하는 것을 포함할 수 있다. 상기 스피커 존 제한 메타데이터는 선택된 스피커들을 디스에이블하는 데이터를 포함할 수 있다.

상기 오디오 객체의 위치는 1-차원 곡선으로 제한될 수 있다. 상기 소프트웨어는 상기 1-차원 곡선을 따르는 가상 스피커 위치들을 생성하도록 하나 이상의 디바이스들을 제어하는 인스트럭션들을 포함할 수 있다.

본 명세서에 기술된 주된 발명의 하나 이상의 구현들에 관한 상세가 첨부 도면들 및 하기의 상세한 설명에서 기술되어 있다. 다른 특징들, 양태들, 및 이점들은 본 상세한 설명, 도면, 및 청구범위로부터 명백해질 것이다. 다음 도면들의 상대적 치수들은 일정한 비례로 확대 또는 축소하여 그려진 것이 아닐 수 있음에 유의해야 한다.

본 발명은 향상된 3D 오디오 오서링과 렌더링을 위한 시스템 및 툴들을 제공하는 효과가 있다.

또한, 본 발명은 시네마 사운드 재생 시스템과 같은 재생 환경용 오디오 재생 데이터를 오서링 및 렌더링하는 효과가 있다.

도 1은 돌비 서라운드 5.1 구성을 가진 재생 환경의 일 예를 나타내고 있다.
도 2는 돌비 서라운드 7.1 구성을 가진 재생 환경의 일 예를 나타내고 있다.
도 3은 하마사키 22.2 서라운드 사운드 구성을 가진 재생 환경의 일 예를 나타내고 있다.
도 4a는 가상 재생 환경에서 다양한 엘리베이션들에 있는 스피커 존들을 보여주는 그래픽 사용자 인터페이스(GUI)의 일 예를 나타내고 있다.
도 4b는 다른 재생 환경의 일 예를 나타내고 있다.
도 5a 내지 도 5c는 3-차원 공간의 2-차원 표면에 대해 제한된 위치를 갖는 오디오 객체에 대응하는 스피커 응답들의 예를 나타내고 있다.
도 5d 및 도 5e는 오디오 객체가 제한될 수 있는 2-차원 표면의 예들을 나타내고 있다.
도 6a는 2-차원 표면에 대한 오디오 객체의 위치들을 제한하는 프로세스 일 예의 개요를 보여주는 흐름도이다.
도 6b는 단일의 스피커 로케이션 또는 단일의 스피커 존으로 오디오 객체 위치를 매핑시키는 프로세스 일 예의 개요를 보여주는 흐름도이다.
도 7은 가상 스피커들을 확립 및 사용하는 프로세스의 개요를 보여주는 흐름도이다.
도 8a 내지 도 8c는 라인 엔드포인트들에 매핑된 가상 스피커들 및 대응하는 스피커 응답들의 예들을 나타내고 있다.
도 9a 내지 도9c는 오디오 객체를 이동시키기 위해 가상 테더(tether)를 사용하는 예들을 나타내고 있다.
도 10a는 오디오 객체를 이동시키기 위해 가상 테더를 사용하는 프로세스의 개요를 보여주는 흐름도이다.
도 10b는 오디오 객체를 이동시키기 위해 가상 테더를 사용하는 다른 프로세스의 개요를 보여주는 흐름도이다.
도 10c 내지 도 10e는 도 10b에서 개요로 보여준 프로세스의 예들을 나타내고 있다.
도 11은 가상 재생 환경에서 스피커 존 제한을 적용하는 일 예를 나타내고 있다.
도 12는 스피커 존 제한 규칙들을 적용하는 몇몇 예들의 개요를 보여주는 흐름도이다.
도 13a 및 도 13b는 가상 재생 환경의 2-차원 뷰와 3-차원 뷰 사이에서 전환될 수 있는 GUI의 일 예를 나타내고 있다.
도 13c 내지 도 13e는 재생 환경들의 2-차원 및 3-차원 묘사들의 조합을 나타내고 있다.
도 14a는 도 13c 내지 도 13e에 나타낸 GUI들을 제공하는 장치의 제어 프로세스의 개요를 보여주는 흐름도이다.
도 14b는 재생 환경을 위해 오디오 객체들을 렌더링하는 프로세스의 개요를 보여주는 흐름도이다.
도 15a는 가상 재생 환경에서의 오디오 객체 및 관련 오디오 객체 폭의 일 예를 나타내고 있다.
도 15b는 도 15a에 나타낸 오디오 객체 폭에 대응하는 스프레드 프로파일(spread profile)의 일 예를 나타내고 있다.
도 16은 오디오 객체들을 블로빙(blobbing)하는 프로세스의 개요를 보여주는 흐름도이다.
도 17a 및 도 17b는 3-차원 가상 재생 환경에 위치된 오디오 객체의 예들을 나타내고 있다.
도 18은 패닝 모드(panning mode)에 대응하는 존들의 예들을 나타내고 있다.
도 19a 내지 도 19d는 상이한 로케이션들에 있는 오디오 객체들에 대해 근계(near-field) 및 원계(far-field) 패닝 기술들 적용하는 예들을 나타내고 있다.
도 20은 스크린-투-룸 바이어스 제어 프로세스에 사용될 수 있는 재생 환경의 스피커 존들을 나타내고 있다.
도 21은 오서링 및/또는 렌더링 장치들의 컴포넌트들의 예를 제공하는 블록도이다.
도 22a는 오디오 콘텐츠 생성을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타내는 블록도이다.
도 22b는 재생 환경에서의 오디오 플레이백을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타내는 블록도이다.
여러 도면들에서의 유사 참조부호들 및 표시들은 유사한 구성요소들을 나타낸다.

다음의 설명은 본 발명의 진보적인 양태들을 설명할 목적의 소정 구현들, 및 이들 진보적인 양태들이 구현될 수 있는 콘텍스트들의 예들에 관한 것이다. 그러나, 본 명세서의 교시들이 각종 상이한 방식들로 적용될 수도 있다. 예를 들어, 여러 구현들이 특정 재생 환경들의 관점에서 기술되었지만, 본 명세서의 교시들은 다른 공지의 재생 환경들 및 향후에 도입될 수 있는 재생 환경들에 폭넓게 적용될 수 있는 것이다. 마찬가지로, 그래픽 사용자 인터페이스(GUI)들의 예가 여기에 제안되었지만, 이들의 일부는 스피커 로케이션들, 스피커 존들 등의 예들을 제공하며, 다른 구현들이 발명자들에 의해 고려될 수 있다. 또한, 여기에 기술된 구현들은 각종 오서링 및/또는 렌더링 툴들로 구현될 수 있지만, 이것은 다양한 하드웨어, 소프트웨어, 펌웨어 등으로 구현될 수도 있다. 그러므로, 본 발명의 교시들은 도면 및/또는 본 설명에 나타낸 구현들로 한정되는 것을 의도치 않으며, 폭 넓은 적용 가능성을 갖는다.

도 1은 돌비 서라운드 5.1 구성을 가진 재생 환경의 일 예를 나타내고 있다. 돌비 서라운드 5.1은 1990년대에 개발되었지만, 이 구성은 여전히 시네마 사운드 시스템 환경에서 널리 사용되고 있다. 프로젝터(105)는 스크린(150) 상에 비디오 이미지들, 예컨대 무비를 투사하도록 구성될 수 있다. 오디오 재생 데이터는 비디오 이미지와 동기화되어 사운드 프로세서(110)에 의해 처리될 수 있다. 전력 증폭기들(115)은 재생 환경(100)의 스피커들에 대해 스피커 급전 신호(speaker feed signal)들을 제공할 수 있다.

돌비 서라운드 5.1 구성은 좌측 서라운드 어레이(120), 우측 서라운드 어레이(125)를 포함하며, 그 각각은 단일 채널에 의해 집단 구동(gang-drive)된다. 또한, 돌비 서라운드 5.1 구성은 좌측 스크린 채널(130), 중앙 스크린 채널(135) 및 우측 스크린 채널(140)에 관한 별개의 채널들을 포함한다. 서브 우퍼(145)에 관한 별개의 채널은 저음역 효과(low-frequency effect; LFE)를 위해 제공된다.

2010년에, 돌비는 돌비 서라운드 7.1을 도입함으로써 디지털 시네마 사운드에 대한 개선을 제공하였다. 도 2는 돌비 서라운드 7.1 구성을 가진 재생 환경의 일 예를 나타내고 있다. 디지털 프로젝터(205)는 디지털 비디오 데이터를 수신하여 스크린(150) 상에 비디오 이미지들을 투사하도록 구성될 수 있다. 오디오 재생 데이터는 사운드 프로세서(210)에 의해 처리될 수 있다. 전력 증폭기들(215)은 재생 환경(200)의 스피커들에 대해 스피커 급전 신호를 제공할 수 있다.

돌비 서라운드 7.1 구성은 좌측 서라운드 어레이(220) 및 우측 서라운드 어레이(225)를 포함하며, 그 각각은 단일 채널에 의해 구동될 수 있다. 돌비 서라운드 5.1과 마찬가지로, 돌비 서라운드 7.1 구성은 좌측 스크린 채널(230), 중앙 스크린 채널(235), 우측 스크린 채널(240) 및 서브 우퍼(245)에 관한 별개의 채널들을 포함한다. 그러나, 돌비 서라운드 7.1은 돌비 서라운드 5.1의 좌측 및 우측 서라운드 채널들을 4개의 존들로 분할하는 것에 의해(즉, 좌측 서라운드 어레이(220)와 우측 서라운드 어레이(225)에 부가하여, 후방 좌측 서라운드 스피커들(224)과 후방 우측 서라운드 스피커들(226)에 관한 별개의 채널들이 포함됨), 서라운드 채널들의 개수를 증가시키고 있다. 재생 환경(200) 내의 서라운드 존들의 개수를 증가시키는 것은 사운드의 로컬리제이션(localization)을 상당히 향상시킬 수 있다.

더 몰입된 환경을 생성하기 위해, 몇몇 재생 환경들은 스피커들의 개수를 증가시키고, 채널들의 개수를 증가시키는 것으로 구성될 수 있다. 또한, 몇몇 재생 환경들은 다양한 엘리베이션들에 배치되는 스피커들을 포함할 수 있으며, 그들의 몇몇은 재생 환경 중의 좌석 영역(seating area) 위에 존재할 수 있다.

도 3은 하마사키 22.2 서라운드 사운드 구성을 가진 재생 환경의 일 예를 나타내고 있다. 하마사키 22.2는 UHDTV(Ultra High Definition Television)의 서라운드 사운드 컴포넌트로서 일본의 NHK Science & Technology Research Laboratories에서 개발되었다. 하마사키 22.2는 24 스피커 채널들을 제공하며, 이것은 3 레이어에 배열된 스피커들을 구동하는데 사용될 수 있다. 재생 환경(300) 중의 상부 스피커 레이어(310)는 9 채널들로 구동될 수 있다. 중간 스피커 레이어(320)는 10 채널들로 구동될 수 있다. 하부 스피커 레이어(330)는 5 채널들로 구동될 수 있으며, 그 중의 2개는 서브 우퍼들(345a 및 345b)을 위한 것이다.

이에 따라, 최신의 트렌드는 더 많은 스피커들과 채널들을 포함할 뿐만 아니라, 상이한 높이에 있는 스피커들을 포함하는 것이다. 채널 개수의 증가와 2D 어레이에서 3D 어레이로의 스피커 레이아웃 전환으로 인하여, 사운드들을 포지셔닝하고 렌더링하는 작업들은 점점 더 어려워지고 있다.

본 발명은 3D 오디오 사운드 시스템에 관한 기능을 증가시키고/시키거나 오서링 복잡도를 감소시키는, 각종 툴과 관련 사용자 인터페이스들을 제공한다.

도 4a는 가상 재생 환경에서 상이한 엘리베이션들에 존재하는 스피커 존들을 보여주는 그래픽 사용자 인터페이스(GUI)의 일 예를 나타낸다. GUI(400)는 예를 들어, 사용자 입력 장치 등으로부터 수신된 신호들에 따라, 로직 시스템으로부터의 인스트럭션들에 따르는 디스플레이 장치에 디스플레이될 수 있다. 이러한 몇몇 디바이스들이 도 21을 참조하여 아래에 기술되어 있다.

가상 재생 환경들, 예컨대 가상 재생 환경(404)을 참조하여 본 명세서에서 사용된, 용어 "스피커 존"은 일반적으로 실제 재생 환경의 재생 스피커와 일대일 대응을 가지거나 그렇지 않을 수 있는 논리적 구성을 지칭한다. 예를 들어, "스피커 존 로케이션"은 시네마 재생 환경의 특정 재생 스피커 로케이션에 해당하거나 그렇지 않을 수 있다. 대신에, 용어 "스피커 존 로케이션"은 일반적으로 가상 재생 환경의 존을 지칭할 수도 있다. 몇몇 구현들에서, 가상 재생 환경의 스피커 존은 예컨대, Dolby Headphone,™(때때로 Mobile Surround™로 지칭됨)과 같은 가상화 기술을 통한 가상 스피커에 해당할 수 있으며, 이것은 2-채널 스테레오 헤드폰 세트를 사용하여 실시간으로 가상 서라운드 사운드 환경을 생성한다. GUI(400)에서, 제 1 엘리베이션에는 7개의 스피커 존들(402a)이 존재하고, 제 2 엘리베이션에는 2개의 스피커 존들(402b)이 존재하며, 이들은 가상 재생 환경(404)에서 총 9개의 스피커 존들을 만들어 내고 있다. 이 예에서, 가상 재생 환경(404)의 전방 영역(405)에는 스피커 존들(1-3)이 존재하고 있다. 전방 영역(405)은 예를 들어, 스크린(150)이 위치되는 시네마 재생 환경의 영역, 텔레비젼 스크린이 위치되는 홈의 영역 등에 해당할 수 있다.

여기서, 스피커 존(4)은 일반적으로 가상 재생 환경(404)의 좌측 영역(410)에 있는 스피커들에 해당하고, 스피커 존(5)은 가상 재생 환경(404)의 우측 영역(415)에 있는 스피커들에 해당한다. 스피커 존(6)은 가상 재생 환경(404)의 후방 좌측 영역(412)에 해당하고, 스피커 존(7)은 가상 재생 환경(404)의 후방 우측 영역(414)에 해당한다. 스피커 존(8)은 상부 영역(420a)에 있는 스피커들에 해당하고, 스피커 존(9)은 상부 영역(420b)에 있는 스피커들에 해당하며, 이것은 가상 천장 영역 예컨대 도 5d 및 도 5e에 나타낸 가상 천장(520)의 영역일 수 있다. 이에 따라, 아래에서 더 상세히 기술되는 바와 같이, 도 4a에 나타나 있는 스피커 존들(1-9)의 로케이션들은 실제 재생 환경의 재생 스피커들의 로케이션들에 해당하거나 그렇지 않을 수도 있다. 또한, 다른 구현들은 더 많거나 더 적은 스피커 존들 및/또는 엘리베이션들을 포함할 수도 있다.

여기에 기술된 각종 구현들에서, GUI(400)와 같은 사용자 인터페이스는 오서링 툴 및/또는 렌더링 툴의 부분으로 사용될 수도 있다. 몇몇 구현들에서, 오서링 툴 및/또는 렌더링 툴은 하나 이상의 비일시적 매체에 저장된 소프트웨어를 통해 구현될 수도 있다. 오서링 툴 및/또는 렌더링 툴은 도 21을 참조하여 아래에 기술된 로직 시스템 및 다른 디바이스들과 같은, 하드웨어, 펌웨어 등에 의해 (적어도 부분적으로) 구현될 수 있다. 몇몇 오서링 구현들에서는, 관련 오서링 툴이 관련 오디오 데이터에 대한 메타데이터를 생성하기 위해 사용될 수도 있다. 메타데이터는 예를 들어, 3-차원 공간에서의 오디오 객체의 위치 및/또는 경로를 나타내는 데이터, 스피커 존 제한 데이터 등을 포함할 수 있다. 메타데이터는 실제 재생 환경의 특정 스피커 레이아웃에 대한 것이 아니라, 가상 재생 환경(404)의 스피커 존들(402)에 대해 생성될 수 있다. 렌더링 툴은 오디오 데이터 및 관련 메타데이터를 수신할 수 있고, 또한 재생 환경에 대한 오디오 이득들과 스피커 급전 신호를 계산할 수도 있다. 이러한 오디오 이득들 및 스피커 급전 신호들은, 재생 환경의 위치 P로부터 사운드가 들어오는 감지(perception)를 생성할 수 있는, 진폭 패닝 프로세스(amplitude panning 프로세스)에 따라 계산될 수 있다. 예를 들어, 스피커 급전 신호들은 다음의 등식에 따라 재생 환경의 재생 스피커들(1 내지 N)에 제공될 수 있다.

x_i(t) = g_ix(t), i = l, . . . N (등식 1)

등식 1에서, x_i(t)는 스피커 i에 적용되는 스피커 급전 신호를 나타내고, g_i는 대응 채널의 이득 인자를 나타내며, x(t)는 오디오 신호를 나타내고 또한 t는 시간을 나타낸다. 이득 인자들은 예를 들어, V.Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources(Audio Engineering Society(AES) International Conference on Virtual, Synthetic and Entertainment Audio) 의 페이지 3-4, 섹션 2에 기술된 진폭 패닝 방법(amplitude panning method)들에 따라 결정될 수 있으며, 그 내용은 참조에 의해 본 명세서에 포함된다. 몇몇 구현들에서, 이득들은 주파수 종속적일 수 있다. 몇몇 구현들에서는, x(t)를 x(t-Δt)로 대체함으로써 시간 지연이 도입될 수도 있따.

몇몇 렌더링 구현들에서, 스피커 존들(402)과 관련하여 생성된 오디오 재생 데이터는 다양한 재생 환경의 스피커 로케이션들로 매핑될 수 있으며, 이것은, 상기 재생 환경은 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 하마사키 22.2 구성, 또는 다른 구성일 수 있다. 예를 들어, 도 2를 참조하면, 렌더링 툴은 스피커 존들(4 및 5)에 대한 오디오 재생 데이터를, 돌비 서라운드 7.1 구성을 가진 재생 환경의 좌측 서라운드 어레이(220) 및 우측 서라운드 어레이(225)로 매핑할 수 있다. 스피커 존들(1,2 및 3)에 대한 오디오 재생 데이터는 좌측 스크린 채널(230), 우측 스크린 채널(240) 및 중앙 스크린 채널(235)로 각각 매핑될 수 있다. 스피커 존들(6 및 7)에 대한 오디오 재생 데이터는 후방 좌측 서라운드 스피커들(224) 및 후방 우측 서라운드 스피커들(226)로 매핑될 수 있다.

도 4b는 다른 재생 환경의 일 예를 나타낸다. 몇몇 구현들에서, 렌더링 툴은 스피커 존들(1, 2 및 3)에 관한 오디오 재생 데이터를 재생 환경(450)의 대응하는 스크린 스피커들(455)로 매핑할 수 있다. 렌더링 툴은 스피커 존들(4 및 5)에 관한 오디오 재생 데이터를 좌측 서라운드 어레이(460) 및 우측 서라운드 어레이(465)로 매핑할 수 있으며, 또한 스피커 존들(8 및 9)에 관한 오디오 재생 데이터를 좌측 오버헤드 스피커들(470a) 및 우측 오버헤드 스피커들(470b)로 매핑할 수 있다. 스피커 존들(6 및 7)에 관한 오디오 재생 데이터는 후방 좌측 서라운드 스피커들(480a) 및 후방 우측 서라운드 스피커들(480b)로 매핑될 수 있다.

몇몇 오서링 구현들에서, 오서링 툴은 오디오 객체들에 관한 메타데이터를 생성하는데 사용될 수 있다. 본 명세서에서 사용되는, 용어 "오디오 객체"는 오디오 데이터의 스트림 및 관련 메타데이터를 지칭할 수 있다. 일반적으로, 메타데이터는 객체의 3D 위치, 렌더링 제한들 및 콘텐츠 타입(예컨대, 다이얼로그, 이펙트 등)을 나타낸다. 구현에 따라, 메타데이터는 다른 타입의 데이터, 예컨대 폭 데이터, 이득 데이터, 경로 데이터 등을 포함할 수도 있다. 몇몇 오디오 객체들은 정적(static)일 수 있고, 반면에 다른 객체들은 이동할 수도 있다. 오디오 객체 상세들은, 특히 소정 시점에서 3-차원 공간으로 오디오 객체의 위치를 나타낼 수 있는, 관련 메타데이터에 따라 오서링 또는 렌더링될 수 있다. 재생 환경에서 오디오 객체들이 모니터링 되거나 플레이 백 되는 경우, 오디오 객체들은, 돌비 5.1 및 돌비 7.1과 같은 종래의 채널-기반 시스템들의 경와 같이 소정 물리적 채널로 출력되는 것이 아니라, 그 재생 환경에 존재하고 있는 재생 스피터들을 사용하여 위치적 메타데이터에 따라 렌더링될 수 있다.

본 명세서에서는 GUI(400)와 실질적으로 동일한 GUI를 참조하여 각종 오서링 및 렌더링 툴들이 기술되어 있다. 그러나, GUI들을 포함하지만 이에 한정되지 않는 각종 다른 사용자 인터페이스들이 이들 오서링 및 렌더링 툴들과 연동하여 사용될 수도 있다. 몇몇의 이러한 툴들은 여러 가지 타입의 제한들을 적용하는 것에 의해 오서링 프로세스를 단순화할 수 있다. 이제 도 5a 이하를 참조하여 몇몇 구현들을 설명하도록 한다.

도 5a 내지 도 5c는 3-차원 공간(본 예에서는 반구체)의 2-차원 표면에 대해 제한된 위치를 갖는 오디오 객체에 대응하는 스피커 응답들의 예를 나타내고 있다. 이 예들에서, 스피커 응답들은 그 각 스피커가 스피커 존들(1-9)의 하나에 대응하는 9-스피커 구성을 가정하여 렌더러에 의해 계산되었다. 그러나, 본 명세서의 다른 부분에서 언급된 바와 같이, 일반적으로 가상 재생 환경의 스피커 존들과 재생 환경의 재생 스피커들 사이에는 일대일 매핑이 존재하지 않을 수도 있다. 먼저 도 5a를 참조하면, 가상 재생 환경(404)의 좌측 전방부 로케이션에는 오디오 객체(505)가 나타나 있다. 따라서, 스피커 존(1)에 대응하는 스피커는 상당한 이득을 나타내고, 스피커 존들(3 및 4)에 대응하는 스피커들은 보통의 이득들을 나타낸다.

이 예에서, 오디오 객체(505)의 로케이션은 오디오 객체(505) 상에 커서(510)를 놓고 그 오디오 객체(505)를 가상 재생 환경(404)의 x,y 평면에서 소망하는 로케이션으로 "드래깅(dragging)"하는 것에 의해 변경될 수 있다. 재생 환경의 가운데쪽으로 객체가 드래깅됨에 따라, 또한 그것은 반구체의 표면으로 매핑되며 그것의 엘리베이션이 증가하게 된다. 여기서, 오디오 객체(505)의 엘리베이션의 증가는 오디오 객체(505)를 나타내는 원의 직경 증가로 표시되며, 즉 도 5b 및 도 5c에 도시된 바와 같이, 오디오 객체(505)가 가상 재생 환경(404)의 상단 중앙으로 드래깅됨에 따라, 오디오 객체(505)는 점점 더 커지는 것으로 나타난다. 대안적으로, 또는 추가적으로, 오디오 객체(505)의 엘리베이션은 색상, 밝기, 수치적 엘리베이션 표시 등의 변경에 의해 표시될 수도 있다. 오디오 객체(505)가 가상 재생 환경(404)의 상단 중앙에 위치되는 경우, 도 5c에 도시된 바와 같이, 스피커 존들(8 및 9)에 대응하는 스피커들은 상당한 이득들을 나타내며, 다른 스피커들은 거의 없거나 없는 이득을 나타낸다.

이 구현에서, 오디오 객체(505)의 위치는 2-차원 표면, 예컨대 구 표면(spherical surface), 타원형 표면(elliptical surface), 원뿔 표면(conical surface), 원통형 표면(cylindrical surface), 웨지(wedge) 등으로 제한된다. 도 5d 및 도 5e는 오디오 객체가 제한될 수 있는 2-차원 표면들의 예를 나타낸다. 도 5d 및 도 5e는 가상 재생 환경(404)에 대한 단면도들이며, 전방 영역(405)은 좌측에 나타나 있다. 도 5d 및 도 5e에서, y-z 축의 y 값들은 가상 재생 환경(404)의 전방 영역(405)의 전방 영역(405) 방향으로 증가하며, 이에 따라 도 5a 내지 도 5c에 도시된 x-y 축의 배향들과의 일관성을 유지한다.

도 5d에 나타낸 예에서, 2-차원 표면(515a)는 타원체의 일 부분이다. 도 5e에 나타낸 예에서, 2-차원 표면(515b)은 웨지(wedge)의 일 부분이다. 그러나, 도 5d 및 도 5e에 나타낸 2-차원 표면들(515)의 형상, 배향 및 위치는 단순 예시일 뿐이다. 다른 구현들에서는, 2-차원 표면(515)의 적어도 일부가 가상 재생 환경(404)의 바깥쪽으로 연장될 수도 있다. 몇몇 이러한 구현들에서, 2-차원 표면(515)은 가상 천장(520)의 위로 연장될 수 있다. 따라서, 2-차원 표면(515)이 연장되는 3-차원 공간은 가상 재생 환경(404)의 볼륨과 반드시 동일한 공간을 갖는 것은 아니다. 또 다른 구현들에서, 오디오 객체는 1-차원적 특징들 예컨대 곡선, 직선 등으로 제한될 수도 있다.

도 6a는 2-차원 표면에 대한 오디오 객체의 위치들을 제한하는 프로세스 일 예의 개요를 보여주는 흐름도이다. 본 명세서에서 제공되는 다른 흐름도들과 같이, 프로세스(600)의 동작들은 반드시 도시된 순서대로 수행될 필요는 없다. 또한, 프로세스(600)(및 본 명세서에서 제공된 다른 프로세스들)는 도면에 표시되고/되거나 기술된 것보다 많거나 적은 동작들을 포함할 수도 있다. 이 예에서, 블록들(605 내지 622)은 오서링 툴에 의해 수행되며, 블록들(624 내지 630)은 렌더링 툴에 의해 수행된다. 오서링 툴 및 렌더링 툴은 단일 장치 또는 하나 보다 많은 장치로 구현될 수 있다. 도 6a(및 본 명세서에서 제공된 다른 흐름도들)는 오서링 및 렌더링 프로세스들이 순차적 방식으로 수행되는 임프레션(impression)을 생성할 수 있지만, 다수의 구현들에서는 오서링 및 렌더링 프로세스들이 실질적으로 동시에 수행된다. 오서링 프로세스들과 렌더링 프로세스들은 상호작용적 일 수 있다. 예를 들어, 오서링 동작의 결과들은 렌더링 툴로 전송될 수 있으며, 이에 대응하는 렌더링 툴의 결과들은 그 결과들 등에 기초하여 추가 오더링을 수행할 수도 있는, 사용자에 의해 평가될 수 있다.

블록(605)에서는, 오디오 객체 위치가 2-차원 표면으로 제한되어야 한다는 표시가 수신된다. 그 표시는, 예를 들어, 오서링 및/또는 렌더링 툴을 제공하도록 구성된 장치의 로직 시스템에 의해 수신될 수 있다. 본 명세서에 기술된 다른 구현들과 같이, 로직 시스템은 펌웨어 등에 따라, 비일시적 매체에 저장된 소프트웨어의 인스트럭션들에 따라 동작할 수 있다. 이 표시는 사용자로부터의 입력에 반응하는 사용자 입력 장치(예컨대, 터치 스크린, 마우스, 트랙 볼(track ball), 제스처 인식 디바이스 등)로부터의 신호일 수 있다.

선택적 블록(607)에서는, 오디오 데이터가 수신된다. 블록(607)은 이 예에서 선택적이며, 오디오 데이터는 메타데이터 오서링 툴로 시각 동기화된 다른 소스(예컨대, 믹싱 콘솔)로부터 렌더러로 직접 진행할 수도 있다. 몇몇 이러한 구현들에서, 비명시적 메커니즘은 각각의 오디오 스트림을 대응하는 유입 메타데이터 스트림에 결합하여 오디오 객체를 형성하도록 존재할 수 있다. 예를 들어, 메타데이터 스트림은 예를 들어, 1 내지 N까지의 수치값을 나타내는 오디오 객체에 대한 식별자를 포함할 수 있다. 또한 1에서 N으로 넘버링된 오디오 입력들로 렌더링 장치가 구성되는 경우, 렌더링 툴은 오디오 객체가 수치값(예컨대, 1)로 식별된 메타데이터 스트림 및 제 1 오디오 입력상에 수신된 오디오 데이터로 형성되는 것으로 자동적으로 가정할 수 있다. 마찬가지로, 숫자 2로 식별된 메타데이터 스트림은 제 2 오디오 입력 채널 상에 수신된 오디오를 이용하여 객체를 형성할 수 있다. 몇몇 구현들에서, 오디오 및 메타데이터는 오서링 툴에 의해 프리패키징되어 오디오 객체들을 형성할 수 있으며, 상기 오디오 객체들은 예컨대, TCP/IP 패킷들과 같은 네트워크를 통해 전송된 렌더링 툴로 제공될 수 있다.

다른 구현들에서, 오서링 툴은 네트워크로 메타데이터를 전송만 할 수 있으며, 렌더링 툴이 다른 소스로부터(예컨대, PCM(pulse-code modulation) 스트림을 통해, 아날로그 오디오 등을 통해) 오디오를 수신할 수 있다. 이러한 구현들에서, 렌더링 툴은 오디오 데이터 및 메타데이터를 그룹화하여 오디오 객체들을 형성하도록 구성될 수 있다. 오디오 데이터는, 예를 들어, 인터페이스를 통해 로직 시스템에 의해 수신될 수 있다. 인터페이스는, 예를 들어, 네트워크 인터페이스, 오디오 인터페이스(예컨대, AES/EBU로도 알려진 Audio Engineering Society and the European Broadcasting Union에 의해 개발된 AES3 표준을 통해, MADI(Multichannel Audio Digital Interface) 프로토콜을 통해, 아날로그 신호 등을 통해 통신하도록 구성된 인터페이스), 로직 시스템과 메모리 디바이스 사이의 인터페이스일 수 있다. 이 예에서, 렌더러에 의해 수신된 데이터는 적어도 하나의 오디오 객체를 포함한다.

블록(610)에서, 오디오 객체 위치의 (x,y) 또는 (x,y,z) 좌표들이 수신된다. 블록(610)은, 예를 들어, 오디오 객체의 초기 위치를 수신하는 것을 포함할 수 있다. 또한, 블록(610)은 예를 들어 도 5a 내지 도 5c을 참조하여 위에서 기술된 바와 같이, 사용자가 오디오 객체를 위치시켰거나 재위치시켰다는 표시를 수신하는 것을 포함할 수 있다. 오디오 객체의 좌표들은 블록(615)의 2-차원 표면으로 매핑된다. 2-차원 표면은 도 5d 및 도 5e를 참조하여 위에서 기술한 것과 유사할 수 있으며, 또는 그것은 상이한 2-차원 표면일 수도 있다. 이 예에서, x-y 평면의 각 포인트는 단일의 z 값으로 매핑되며, 이에 따라 블록(615)은 블록(610)에서 수신된 x 및 y 좌표들을 z의 값으로 매핑하는 것을 포함한다. 다른 구현들에서는, 상이한 매핑 프로세스들 및/또는 좌표 시스템들이 사용될 수도 있다. 오디오 객체는 블록(615)에서 결정된 (x,y,z) 로케이션에 디스플레이 될 수 있다(블록(620)). 상기 매핑된, 블록(615)에서 결정된 (x,y,z) 로케이션을 포함하는 오디오 데이터 및 메타데이터는 블록(621)에 저장될 수 있다. 오디오 데이터 및 메타데이터는 렌더링 툴로 송신될 수 있다(블록(622)). 몇몇 구현들에서, 메타데이터는 몇몇 오서링 동작들이 수행되고 있는 동안, 예컨대, 오디오 객체가 GUI(400) 등에 위치되고, 제한되고, 디스플레이되는 동안 연속적으로 송신될 수 있다.

블록(623)에서는, 오서링 프로세스를 계속할 지의 여부가 결정된다. 예를 들어, 오서링 프로세스는 사용자가 더 이상 오디오 객체 위치들을 2-차원 표면으로 제한하기를 원치 않음을 나타내는, 사용자 인터페이스로부터의 입력 수신시에 종료될 수 있다(블록(625)). 그렇지 않은 경우, 오서링 프로세스는 예컨대, 블록(607) 또는 블록(610)으로 되돌아가는 것에 의해 계속될 수 있다. 몇몇 구현들에서, 렌더링 동작들은 오서링 프로세스가 계속되는지의 여부를 계속할 수 있다. 몇몇 구현들에서, 오디오 객체들은 오서링 플랫폼상의 디스크에 기록된 후에, 사운드 프로세서(예컨대, 도 2의 사운드 프로세서(210)와 유사한 사운드 프로세서)에 연결된 시네마 서버 또는 전용 사운드 프로세서로부터 플레이백 될 수 있다.

몇몇 구현들에서, 렌더링 툴은 오서링 기능을 제공하도록 구성된 장치에서 실행되는 소프트웨어일 수 있다. 다른 구현들에서, 렌더링 툴은 다른 디바이스에 제공될 수 있다. 오서링 툴과 렌더링 툴 사이의 통신을 위해 사용된 통신 프로토콜의 타입은, 양쪽 모두의 툴들이 동일 디바이스 상에서 실행되고 있는지의 여부 또는 그들이 네트워크를 통해 통신하고 있는지의 여부에 따라 달라질 수 있다.

블록(626)에서, 오디오 데이터 및 메타데이터(블록(615)에서 결정된 (x,y,z) 위치(들)을 포함)이 렌더링 툴에 의해 수신된다. 다른 구현들에서, 오디오 데이터 및 메타데이터는 개별적으로 수신되어, 비명시적 메커니즘을 통해 오디오 객체로서 렌더링 툴에 의해 인터프리팅될 수 있다. 전술한 바와 같이, 예를 들어, 메타데이터 스트림은 오디오 객체 식별 코드(예컨대, 1,2,3 등)를 포함할 수 있고, 렌더링 시스템상의 제 1, 제 2, 제 3 오디오 입력들(즉, 디지털 또는 아날로그 오디오 연결)과 각각 결합됨으로써 라우드스피커들로 렌더링될 수 있는 오디오 객체를 형성할 수 있다.

프로세스(600)의 렌더링 동작들 (및 본 명세서에 기술된 다른 렌더링 동작들) 동안, 특정 재생 환경의 재생 스피커 레이아웃에 따라서 패닝 이득(panning gain) 등식들이 적용될 수 있다. 그러므로, 렌더링 툴의 로직 시스템은 재생 환경에서의 다수의 재생 스피커들의 표시 및 재생 환경 내의 각 재생 스피커의 로케이션 표시를 포함하는 재생 환경을 수신할 수 있다. 이들 데이터는, 예를 들어, 로직 시스템에 의해 액세스가능한 메모리에 저장된 데이터 구조 또는 인터페이스 시스템을 통해 수신된 데이터 구조에 액세스함으로써 수신될 수 있다.

이 예에서, 패닝 이득 등식들이 (x,y,z) 위치(들)에 대해 적용되어 오디오 데이터를 적용하기 위한(블록(630)) 이득 값들을 결정한다(블록(628)). 몇몇 구현들에서, 이득 값들에 따른 레벨로 조절된 오디오 데이터는 재생 스피커들에 의해, 예컨대, 렌더링 툴의 로직 시스템과 통신하도록 구성된 헤드폰들의 스피커들(또는 다른 스피커들)에 의해 재생될 수 있다. 몇몇 구현들에서, 재생 스피커 로케이션들은 가상 재생 환경, 예컨대 전술한 가상 재생 환경(404)의 스피커 존들의 로케이션들에 대응할 수 있다. 대응하는 스피커 응답들이 예컨대 도 5a 내지 도 5c에 도시된 바와 같이, 디스플레이 장치에 디스플레이될 수 있다.

블록(635)에서는, 프로세스가 계속될지의 여부가 결정된다. 예를 들어, 프로세스는 사용자가 더 이상 렌더링 프로세스를 계속하길 원치 않는다고 표시하는 사용자 인터페이스로부터의 입력 수신시에 종료될 수 있다(블록(640)). 그렇지 않은 경우, 프로세스는 예컨대 블록(626)으로 되돌아감으로써 계속될 수 있다. 사용자가 대응하는 오서링 프로세스로 되돌아가기를 원한다는 표시를 로직 시스템이 수신한 경우, 프로세스(600)는 블록(607) 또는 블록(610)으로 복귀할 수 있다.

다른 구현들은 각종 다른 타입의 제한들을 부과하는 것과 오디오 객체들에 관한 메타데이터의 다른 타입의 제한을 생성하는 것을 포함할 수 있다. 도 6b는 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑하는 프로세스 일 예의 개요를 보여주는 흐름도이다. 이 프로세스는 본 명세서에서 "스냅핑(snapping)"으로도 지칭될 수 있다. 블록(655)에서는, 오디오 객체 위치가 단일의 스피커 로케이션 또는 단일의 스피커 존으로 스냅핑될 수 있다는 표시가 수신된다. 이 예에서, 상기 표시는 적절한 시점에, 오디오 객체 위치가 단일의 스피커 로케이션으로 스냅핑될 것이라는 것이다. 상기 표시는 예를 들어, 오서링 툴들을 제공하도록 구성된 장치의 로직 시스템에 의해 수신될 수 있다. 상기 표시는 사용자 입력 장치로부터 수신된 입력에 대응할 수 있다. 그러나, 상기 표시는 오디오 객체의 카테고리(예컨대, 블릿 사운드(bullet sound), 음성화(vocalization) 등과 같은) 및/또는 오디오 객체의 폭에 대응할 수도 있다. 카테고리 및/또는 폭에 관한 정보는, 예를 들어, 오디오 객체의 메타데이터로서 수신될 수 있다. 이러한 구현들에서, 블록(657)은 블록(655) 이전에 발생할 수 있다.

블록(656)에서는, 오디오 데이터가 수신된다. 오디오 객체 위치의 좌표들은 블록(657)에서 수신된다. 이 예에서, 오디오 객체 위치는 블록(657)에서 수신된 좌표들에 따라 디스플레이된다(블록(658)). 오디오 객체 좌표들 및 스냅 플래그(snap flag)를 포함하고, 스냅핑 기능을 표시하는 메타데이터가 블록(659)에서 저장된다. 오디오 데이터 및 메타데이터는 오서링 툴에 의하여 렌더링 툴로 송신된다(블록(660)).

블록(662)에서는, 오서링 프로세스가 계속될지의 여부가 결정된다. 예를 들어, 오서링 프로세스는 사용자가 더 이상 오디오 객체 위치들을 스피커 로케이션으로 스냅핑하는 것을 원치않는다고 표시하는 사용자 인터페이스로부터의 입력 수신시에 종료될 수 있다(블록(663)). 그렇지 않은 경우, 오서링 프로세스는 예를 들어 블록(665)으로 복귀하는 것에 의해 계속될 수 있다. 몇몇 구현들에서, 렌더링 동작들은 오서링 프로세스가 계속되는지의 여부를 계속할 수 있다.

오서링 툴에 의해 송신된 오디오 데이터 및 메타데이터가 블록(664)에서 렌더링 툴에 의해 수신된다. 블록(665)에서는, (예컨대, 로직 시스템에 의하여) 오디오 객체 위치를 스피커 로케이션으로 스냅핑할지의 여부가 결정된다. 이 결정은, 재생 환경의 가장 가까운 재생 스피커 로케이션과 오디오 객체 위치 사이의 거리에, 적어도 부분적으로 기초할 수 있다.

이 예에서, 오디오 객체 위치를 스피커 로케이션으로 스냅핑하는 것으로 블록(665)에서 결정되는 경우, 블록(670)에서는 일반적으로 오디오 객체에 대해 수신된 예정된 (x,y,z) 위치에 가장 가까운 스피커 로케이션으로 오디오 객체 위치가 매핑되게 된다. 이 경우, 이 스피커 로케이션에 의해 재생되는 오디오 데이터에 관한 이득은 1.0이 되는 반면, 다른 스피커들에 의해 재생되는 오디오 데이터에 관한 이득은 0이 되게 된다. 다른 구현들에서, 블록(670)에서는 오디오 객체 위치가 매핑되어 스피커 로케이션들을 그룹화할 수 있다.

예를 들어, 도 4b를 참조하면, 블록(670)은 오디오 객체의 위치를 좌측 오버헤드 스피커들(470a) 중의 하나에 스냅핑하는 것을 포함할 수 있다. 다르게는, 블록(670)은 오디오 객체의 위치를 단일의 스피커 및 이웃하는 스피커들, 예컨대 1 또는 2개의 이웃하는 스피커들로 스냅핑하는 것을 포함할 수 있다. 그러므로, 대응하는 메타데이터가 작은 그룹의 재생 스피커들로 및/또는 개별 재생 스피커로 적용될 수 있다.

그러나, 블록(665)에서 오디오 객체 위치가 스피커 로케이션으로 스냅핑되지 않는 것으로 결정된 경우, 예를 들어, 이것이 원래 의도되었던 객체에 관해 수신된 위치에 대한 위치에 큰 차이를 야기하는 경우, 패닝 규칙(panning rules)이 적용되게 된다(블록(675)). 이 패닝 규칙은 오디오 객체 위치 및 오디오 객체의 다른 특징(예컨대 폭, 볼륨 등)에 따라 적용될 수 있다.

블록(675)에서 결정된 이득 데이터는 블록(681)에서 오디오 데이터로 적용될 수 있으며, 그 결과가 저장될 수 있다. 몇몇 구현들에서, 결과적으로 생성된 오디오 데이터는 로직 시스템과 통신하도록 구성된 스피커들에 의해 재생될 수 있다. 블록(685)에서 프로세스(650)가 계속되는 것으로 결정되는 경우, 프로세스(650)는 블록(664)으로 복귀하여 렌더링 동작들을 계속할 수 있다. 다르게는, 프로세스(650)는 블록(655)으로 복귀하여 오서링 동작들을 재개할 수 있다.

프로세스(650)는 여러 가지 타입의 스무딩 동작들(smoothing operations)을 포함할 수 있다. 예를 들어, 로직 시스템은 제 1 단일의 스피커 로케이션으로부터 제 2 단일의 스피커 로케이션으로 오디오 객체 위치를 매핑하는 전환시에 오디오 데이터에 적용되는 이득들의 전환을 부드럽게 하도록 구성될 수 있다. 도 4b를 참조하면, 오디오 객체의 위치가 처음에 좌측 오버헤드 스피커들(470a) 중의 하나로 매핑되고 이후에 후방 우측 서라운드 스피커들(480b) 중의 하나로 매핑되는 경우, 로직 시스템은 스피커들 사이의 전환을 부드럽게 함으로써 오디오 객체가 갑작스럽게 한 스피커(또는 스피커 존)으로부터 다른것으로 "점프"하지 않도록 구성될 수 있다. 몇몇 구현들에서, 이 스무딩은 크로스페이드 레이트(crossfade rate) 파라미터에 따라 구현될 수 있다.

몇몇 구현들에서, 로직 시스템은 오디오 객체 위치를 단일의 스피커 로케이션으로 매핑하는 것과 오디오 객체 위치에 대해 패닝 규칙을 적용하는 것 사이의 전환 시에, 오디오 데이터에 적용되는 이득들의 전환을 부드럽게 하도록 구성될 수 있다. 예를 들어, 블록(665)에서 오디오 객체의 위치가 가장 가까운 스피커로부터 매우 먼 것으로 결정된 위치로 이동된 것으로 후속적으로 결정되는 경우, 블록(675)에서 오디오 객체 위치에 대한 패닝 규칙이 적용될 수 있다. 그러나, 스냅핑으로부터 패닝으로의 전환시(또는 그 역의 경우), 로직 시스템은 오디오 데이터에 적용되는 이득들의 전환을 부드럽게 하도록 구성될 수 있다. 본 프로세스는 예컨대 사용자 인터페이스로부터의 대응 입력 수신시에, 블록(690)에서 종료될 수 있다.

몇몇 다른 구현들은 논리적 제한들을 생성하는 것을 포함할 수 있다. 몇몇 예들에서, 예를 들어, 사운드 믹서는 특정 패닝 동작 동안 사용되고 있는 스피커들의 세트에 대한 더욱 명시적인 제어를 소망할 수 있다. 몇몇 구현들은 사용자로 하여금 스피커들의 세트와 패닝 인터페이스 사이에 1-차원 또는 2-차원의 "논리 매핑(logical mapping)"을 생성하도록 할 수 있다.

도 7은 가상 스피커들을 확립하여 사용하는 프로세스의 개요를 보여주는 흐름도이다. 도 8a 내지 도 8c는 라인 엔드포인트들에 매핑된 가상 스피커들 및 대응하는 스피커 존 응답들의 예를 나타낸다. 먼저 도 7의 프로세스(700)를 참조하면, 블록(705)에서 가상 스피커들을 생성하는 표시가 수신된다. 상기 표시는 예를 들어, 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신된 입력에 대응할 수 있다.

블록(710)에서, 가상 스피커 로케이션의 표시가 수신된다. 예를 들어, 도 8a를 참조하면, 사용자는 사용자 입력 장치를 사용하여 가상 스피커(805a)의 위치에 커서(510)를 위치시키고, 예컨대 마우스 클릭을 통해 그 로케이션을 선택할 수 있다. 블록(715)에서는, (예컨대, 사용자 입력에 따라) 추가의 가상 스피커들이 이 예에서 선택되도록 하는 것이 결정된다. 본 프로세스는 블록(710)으로 복귀하며, 사용자는 본 예에서, 도 8a에 나타낸 가상 스피커(805b)의 위치를 선택한다.

이 예에서는, 사용자가 단지 2개의 가상 스피커 로케이션만을 확립하기를 소망한다. 그러므로, 블록(715)에서는, (예컨대, 사용자 입력에 따라) 어떠한 추가의 가상 스피커들도 선택되지 않는 것으로 결정된다. 도 8a에 도시된 바와 같이, 가상 스피커(805a 및 805b)의 위치들을 연결시키는 폴리라인(810)이 디스플레이될 수 있다. 몇몇 구현들에서, 오디오 객체(505)의 위치는 폴리라인(810)으로 제한되게 된다. 몇몇 구현들에서, 오디오 객체(505)의 위치는 파라메트릭 곡선(parametric curve)으로 제한될 수 있다. 예를 들어, 일련의 제어 포인트들이 사용자 입력에 따라 제공될 수 있으며, 슬라라인(spline)과 같은 곡선-맞춤 알고리즘이 파라메트릭 곡선을 결정하는데 사용될 수 있다. 블록(725)에서, 폴리라인(810)을 따르는 오디오 객체 위치의 표시가 수신된다. 몇몇 이러한 구현들에서, 상기 위치는 0과 1 사이의 스칼라 값으로 표시되게 된다. 블록(725)에서, 오디오 객체의 (x,y,z) 좌표들 및 가상 스피커들에 의해 규정된 폴리라인이 디스플레이될 수 있다. 획득된 스칼라 위치 및 가상 스피커들의 (x,y,z) 좌표들을 포함하는, 오디오 데이터 및 관련 메타데이터가 디스플레이될 수 있다(블록(727)). 여기서는, 블록(728)에서 적절한 통신 프로토콜을 통해 오디오 데이터 및 메타데이터가 렌더링 툴로 송신될 수 있다.

블록(729)에서는, 오서링 프로세스가 계속될지의 여부가 결정된다. 계속되지 않는 것으로 결정된 경우, 프로세스(700)가 종료되거나(블록(730)), 사용자 입력에 따라 렌더링 동작들을 계속할 수도 있다. 전술한 바와 같이, 그러나, 다수의 구현들에서는 적어도 몇몇 렌더링 동작들이 오서링 동작들과 동시에 수행될 수도 있다.

블록(732)에서는, 오디오 데이터 및 메타데이터가 렌더링 툴에 의해 수신된다. 블록(735)에서는, 오디오 데이터에 적용될 이득들이 각각의 가상 스피커 위치에 관하여 계산된다. 도 8b는 가상 스피커(805a)의 위치에 대한 스피커 응답들을 나타낸다. 도 8c는 가상 스피커(805b)의 위치에 대한 스피커 응답들을 나타낸다. 이 예에서, 본 명세서에 기술된 다수의 다른 예들에서와 같이, 그 표시된 스피커 응답들은, GUI(400)의 스피커 존들에 대해 나타나 있는 로케이션들과 대응하는 로케이션들을 갖는 재생 스피커들에 관한 것이다. 여기서, 가상 스피커들(805a 및 805b), 및 라인(810)은 스피커 존들(8 및 9)과 대응하는 로케이션들을 갖는 재생 스피커들이 근처에 존재하지 않는 평면에 위치되어 있다. 그러므로, 도 8b 또는 도 8c에는 이들 스피커들에 대한 어떠한 이득도 표시되어 있지 않다.

사용자가 라인(810)을 따르는 다른 위치들로 오디오 객체(505)를 이동시키는 경우, 로직 시스템은 예를 들어, 오디오 객체 스칼라 위치 파라미터에 따라, 이들 위치들에 대응하는 크로스-페이딩을 계산하게 된다(블록 740). 몇몇 구현들에서는, 페어-와이즈 패닝 법칙(pair-wise panning law)(예컨대, 에너지 보존 사인 또는 멱법칙(power law))이, 가상 스피커(805a)의 위치에 관해 오디오 데이터에 적용되는 이득들과, 가상 스피커(805b)의 위치에 관한 오디오 데이터에 적용되는 이득들 사이를 조합하기 위해 사용될 수 있다.

블록(742)에서는, 이어서 프로세스(700)를 계속할 지의 여부가 (예컨대, 사용자 입력에 따라) 결정될 수 있다. 예를 들어, 사용자에게는 렌더링 동작들을 계속하거나 오서링 동작들로 복귀하는 옵션이 (예컨대, GUI를 통해) 제공될 수 있다. 프로세스(700)가 계속되지 않는 것으로 결정된 경우, 본 프로세스는 종료된다(블록(745)).

패닝이 오디오 객체들(예를 들어, 자동차, 제트기 등에 대응하는 오디오 객체들)을 급속히 이동시킬 시에, 일 시점에 사용자가 오디오 객체 위치들을 선택하는 경우에는 부드러운 경로를 오서링하는 것이 어려울 수 있다. 오디오 객체 경로에 있어서의 부드러움(smoothness)의 결여는 지각되는 사운드 이미지에 영향을 미칠 수도 있다. 그러므로, 본 명세서에서 제공되는 몇몇 오서링 구현들은 오디오 객체의 위치에 저역 필터(low-pass filter)를 적용함으로써, 결과적으로 생성되는 패닝 이득들을 부드럽게 한다. 다른 오서링 구현들은 오디오 데이터에 적용된 이득에 대해 저역 필터를 적용한다.

다른 오서링 구현들은 사용자로 하여금 그래빙(grabbing), 풀링(pulling), 스로윙(throwing) 또는 오디오 객체들과의 유사한 상호작용을 모사 가능하게 할 수 있다. 몇몇의 이러한 구현들은 속도, 가속도, 모멘텀, 운동 에너지, 힘의 적용 등을 묘사하기 위해 사용되는 규칙 세트들과 같은, 모사된 물리 법칙의 적용을 포함할 수 있다.

도 9a 내지 도9c는 가상 테더를 사용하여 오디오 객체를 드래깅하는 예들을 나타낸다. 도 9a에서, 가상 테더(905)가 오디오 객체(505)와 커서(510) 사이에 형성되어 있다. 이 예에서, 가상 테더(905)는 가상 스프링 상수를 갖는다. 몇몇 이러한 구현들에서, 가상 스프링 상수는 사용자 입력에 따라 선택될 수 있다.

도 9b는 사용자가 스피커 존(3)쪽으로 커서(510)를 이동시킨 이후의 시간에서의 오디오 객체(505) 및 커서(510)를 나타낸다. 사용자는 마우스, 조이스틱, 트랙 볼(track ball), 제스처 검출 장치, 또는 임의 타입의 사용자 입력 장치를 사용하여, 커서(510)를 이동시켰을 수 있다. 가상 테더(905)는 신장되어 있으며, 오디오 객체(505)는 스피커 존(8) 근처로 이동되어 있다. 도 9a 및 도 9b에서 오디오 객체(505)는 거의 동일한 사이즈를 가지며, 이것은 (본 예에서) 오디오 객체(505)의 엘리베이션이 실질적으로 변경되지 않았다는 것을 나타낸다.

도 9c는 사용자가 스피커 존(9) 근처로 커서를 이동시킨 이후 시간에서의 오디오 객체(505) 및 커서(510)를 나타낸다. 가상 테더(905)는 또한 더 신장되어 있다. 오디오 객체(505)의 사이즈 감소로 나타난 바와 같이, 오디오 객체(505)는 아래쪽으로 이동되어 있다. 오디오 객체(505)는 부드러운 아크(arc)로 이동되어 있다. 이 예는 이러한 구현들의 어떤 잠재적인 이점, 즉 사용자가 단순히 포인트 바이 포인트(point by point)로 오디오 객체(505)에 대한 위치들을 선택하는 경우에 비해, 오디오 객체(505)가 더 부드러운 경로로 이동될 수 있다는 이점을 예시하고 있다.

도 10a는 가상 테더를 사용하여 오디오 객체를 이동시키는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1000)는 오디오 데이터가 수신되는 블록(1005)과 함께 시작된다. 블록(1007)에서는, 오디오 객체와 커서 사이에 가상 테더를 부여하는 신호가 수신된다. 상기 표시는 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 도 9a를 참조하면, 예를 들어, 사용자는 오디오 객체(505) 위에 커서(510)를 위치시킬 수 있으며, 그 후에, 사용자 입력 장치 또는 GUI를 통해, 커서(510)와 오디오 객체(505) 사이에 가상 테더(905)가 형성되어야 함을 표시한다. 커서 및 객체 위치 데이터가 수신될 수 있다(블록(1010)).

이 예에서, 커서(510)가 이동되는 경우, 커서 속도 및/또는 가속도 데이터는 커서 위치 데이터에 따라 로직 시스템에 의해서 계산될 수 있다(블록 1015). 오디오 객체(505)에 대한 위치 데이터 및/또는 경로 데이터는 가상 테더(905)의 가상 스프링 상수와 커서 위치, 속도 및 가속도 데이터에 따라 계산될 수 있다. 몇몇의 이러한 구현들은 오디오 객체(505)에 대해 가상 질량을 할당하는 것을 포함할 수 있다(블록(1020)). 예를 들어, 커서(510)가 상대적으로 일정한 속도로 이동되는 경우, 가상 테더(905)는 신장되지 않을 수 있으며, 오디오 객체(505)는 상대적으로 일정한 속도로 당겨질 수 있다. 커서(510)가 가속되는 경우, 가상 테더(905)는 신장될 수 있으며, 이에 대응하는 힘이 가상 테더(905)에 의해 오디오 객체(505)로 적용될 수 있다. 커서(510)의 가속도와 가상 테더(905)에 의해 적용된 힘 사이에는 타임 래그(time lag)가 존재할 수 있다. 다른 구현들에서, 오디오 객체(505)의 위치 및/또는 경로는 상이한 방식으로, 예컨대, 가상 테더(905)에 대해 가상 스프링 상수를 할당하는 것 없이도, 오디오 객체(505)에 대해 마찰 및/또는 관성 법칙들 등을 적용하는 것에 의해서 결정될 수 있다.

오디오 객체(505) 및 커서(510)의 개별 위치들 및/또는 경로가 디스플레이 될 수 있다(블록(1025)). 이 예에서, 로직 시스템은 일 시간 구간에서의 오디오 객체 위치들을 샘플링한다(블록(1030)). 몇몇 이러한 구현들에서, 사용자는 샘플링을 위한 시간 구간을 결정할 수도 있다. 오디오 객체 로케이션 및/또는 경로 메타데이터 등이 저장될 수 있다(블록(1034))

블록(1036)에서는, 이 오서링 모드가 계속될지의 여부가 결정된다. 본 프로세스는 사용자가 원하는 경우, 예컨대 블록(1005) 또는 블록(1010)으로 복귀하는 것에 의해 계속될 수 있다. 그렇지 않은 경우, 프로세스(1000)가 종료될 수 있다(블록(1040)).

도 10b는 가상 테더를 사용하여 오디오 객체를 이동시키는 다른 프로세스의 개요를 보여주는 흐름도이다. 도 10c 내지 도 10e는 도 10b에 나타낸 프로세스의 예들을 보여준다. 먼저 도 10b를 참조하면, 프로세스(1050)는 오디오 데이터가 수신되는 블록(1055)과 함께 시작된다. 블록(1057)에서는, 오디오 객체와 커서 사이에 가상 테더를 부여하는 표시가 수신된다. 상기 표시는 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 도 10c를 참조하면, 예를 들어, 사용자는 오디오 객체(505) 위에 커서(510)를 위치시킬 수 있으며, 이어서 사용자 입력 장치 또는 GUI를 통해, 커서(510)와 오디오 객체(505) 사이에 가상 테더(905)가 형성되어야 함을 표시할 수 있다.

커서 및 오디오 객체 위치 데이터가 블록(1060)에서 수신될 수 있다. 블록(1062)에서, 로직 시스템은 (예를 들어, 사용자 입력 장치 또는 GUI를 통해) 오디오 객체(505)가 표시된 위치, 예컨대, 커서(510)에 의해 표시된 위치로 가야한다는 표시를 수신할 수 있다. 블록(1065)에서, 로직 디바이스는 커서(510)가 새로운 위치로 이동되었다는 표시를 수신하며, 이 새로운 위치는 오디오 객체(505)의 위치와 함께 디스플레이 될 수 있다(블록(1067)). 도 10d를 참조하면, 예를 들어, 커서(510)는 가상 재생 환경(404)의 좌측에서 우측으로 이동되었다. 그러나, 오디오 객체(510)는 도 10c에 표시된 것과 동일한 위치에서 계속 유지되고 있다. 그 결과, 가상 테더(905)는 실질적으로 신장되었다.

블록(1069)에서, 로직 시스템은 (예를 들어, 사용자 입력 장치 또는 GUI를 통해) 오디오 객체(505)가 해제될 것이라는 신호를 수신한다. 로직 시스템은 결과적으로 생성되는 오디오 객체 위치 및/또는 경로 데이터를 계산할 수 있으며, 이것은 디스플레이될 수 있다(블록(1075)). 결과적으로 생성되는 디스플레이는 도 10e에 나타낸 것과 유사할 수 있으며, 이것은 오디오 객체(505)가 가상 재생 환경(404)을 가로질러 부드럽고 신속히 이동하고 있는 것을 보여준다. 로직 시스템은 오디오 객체 로케이션 및/또는 경로 메타데이터를 메모리 시스템에 저장할 수 있다(블록(1080)).

블록(1085)에서는, 오서링 프로세스(1050)가 계속될 지의 여부가 결정된다. 본 프로세스는 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신하는 경우 계속될 수 있다. 예를 들어, 프로세스(1050)는 블록(1055) 또는 블록(1060)으로 복귀함으로써 계속될 수 있다. 그렇지 않은 경우, 오서링 툴은 오디오 데이터 및 메타데이터를 렌더링 툴로 송신할 수 있으며(블록(1090)), 그 후에 프로세스(1050)가 종료될 수 있다(블록(1095)).

인지되는 오디오 객체 움직임의 사실감을 최적화하기 위해, 오서링 툴(또는 렌더링 툴)의 사용자로 하여금 재생 환경에서의 스피커들의 서브세트를 선택하도록 하고 또한 액티브 스피커들의 세트를 그 선택된 서브세트로 제한하도록하는 것이 바람직할 수 있다. 몇몇 구현들에서, 스피커 존들 및/또는 스피커 존들의 그룹들은 어서링이나 렌더링 동작 동안에 활성 또는 비활성으로 지정될 수 있다. 예를 들어, 도 4a를 참조하면, 전방 영역(405), 좌측 영역(410), 우측 영역(415) 및/또는 상부 영역(420)의 스피커 존들은 한 그룹으로 제어될 수 있다. 스피커 존들(6 및 7)을 포함하는 후방 영역의 스피커 존들(및, 다른 구현들에서는, 스피커 존들(6 및 7) 사이에 위치된 하나 이상의 다른 스피커 존들)도 또한 한 그룹으로 제어될 수 있다. 특정 스피커 존 또는 다수의 스피커 존들을 포함하는 영역에 대응하는 모든 스피커들을 동적으로 인에이블 또는 디스에이블시키는 사용자 인터페이스가 제공될 수도 있다.

몇몇 구현들에서, 오서링 디바이스(또는 렌더링 디바이스)의 로직 시스템은 사용자 입력 시스템을 통해 수신되는 사용자 입력에 따라 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다. 스피커 존 제한 메타데이터는 선택된 스피커 존들을 디스에이블시키는 데이터를 포함할 수 있다. 이제 도 11 및 도 12를 참조하여 몇몇의 이러한 구현들을 설명하도록 한다.

도 11은 가상 재생 환경에서 스피커 존 제한을 적용한 일 예를 나타낸다. 몇몇 이러한 구현들에서, 사용자는 마우스와 같은 사용자 입력 장치를 사용하여, GUI(400)와 같은 GUI에서 그들의 표현을 클릭함으로써 스피커 존들을 선택할 수 있다. 여기서, 사용자는 가상 재생 환경(404)의 사이드들 상의 스피커 존들(4 및 5)을 디스에이블하였다. 스피커 존들(4 및 5)은 시네마 사운드 시스템 환경과 같은 물리적 재생 환경에서 대부분의(또는 모든) 스피커들에 대응할 수 있다. 이 예에서, 또한 사용자는 오디오 객체(505)의 위치들을 라인(1105)을 따르는 위치들로 제한하였다. 측벽들을 따르는 대부분의 또는 모든 스피커들이 디스에이블되어 있으므로, 스크린(150)으로부터 가상 재생 환경(404)의 후방으로의 팬(pan)은 사이드 스피커들을 사용하지 않는 것으로 제한되어 진다. 이것은 넓은 관중 영역에 대한, 특히 스피커 존들(4 및 5)에 대응하는 재생 스피커들 근처에 앉아 있는 관중 구성원들에 대한 전방에서 후방으로의 개선된 움직임 지각을 생성할 수 있다.

몇몇 구현들에서, 스피커 존 제한들은 모든 리-렌더링 모드(re-rendering mode)들을 통해 행해질 수 있다. 예를 들어, 스피커 존 제한들은 렌더링을 위해 사용가능한 존들이 적은 상황, 예를 들어, 7 또는 5 존들만이 노출되는 돌비 서라운드 7.1 또는 5.1 구성으로 렌더링하는 상황에서 행해질 수 있다. 또한, 스피커 존 제한들은 렌더링을 위해 사용가능한 존들이 더 많은 경우 행해질 수도 있다. 그러므로, 스피커 존 제한들은 리-렌더링을 안내하여, 종래의 "업믹싱/다운믹싱" 프로세스에 대한 넌-블라인드 해결책을 제공하기 위한 방식으로 인식될 수 있다.

도 12는 스피커 존 제한 규칙들을 적용하는 몇몇 예들의 개요를 보여주는 흐름도이다. 프로세스(1200)는 스피커 존 제한 규칙들을 적용하는 하나 이상의 표시들이 수신되는 블록(1205)과 함께 시작된다. 상기 표시(들)은 오서링 또는 렌더링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 예를 들어, 상기 표시들은 비활성화할 하나 이상의 스피커 존들에 관한 사용자 선택에 대응할 수 있다. 몇몇 구현들에서, 블록(1205)은 예컨대, 아래에서 기술되는 바와 같이 어떤 타입의 스피커 존 제한 규칙들이 적용되어야 하는지의 표시를 수신하는 것을 포함할 수 있다.

블록(1207)에서, 오디오 데이터가 오서링 툴에 의해 수신된다. 오디오 객체 위치 데이터는 예컨대, 오서링 툴의 사용자로부터의 입력에 따라 수신될 수 있으며(블록(1210)), 이것은 디스플레이될 수 있다(블록(1215)). 위치 데이터는 이 예에서 (x,y,z) 좌표들이다. 여기서, 블록(1215)에서는, 선택된 스피커 존 제한 규칙들에 대한 활성 및 비활성 스피커 존들이 또한 디스플레이된다. 블록(1220)에서는, 오디오 데이터 및 관련 메타데이터가 저장된다. 이 예에서, 메타데이터는 스피커 존 식별 플래그를 포함할 수 있는 스피커 존 제한 메타데이터 및 오디오 객체 위치를 포함한다.

몇몇 구현들에서, 스피커 존 제한 메타데이터는 예컨대, 선택된(디스에이블된) 스피커존들의 모든 스피커들을 "오프"로 간주하고 또한 모든 다른 스피커 존들을 "온"으로 간주하는 것에 의해, 렌더링 툴이 패닝 등식들을 적용하여 2진 방식으로 이득들을 계산해야 한다는 것을 표시할 수 있다. 로직 시스템은 선택된 스피커 존들을 디스에이블시키는 데이터를 포함하는 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다.

다른 구현들에서, 스피커 존 제한 메타데이터는 디스에이블된 스피커 존들의 스피커들로부터 기여 정도를 포함하는 조합 방식으로 패닝 등식들을 적용하여 이득들을 계산한다는 것을 표시할 수 있다. 예를 들어, 로직 시스템은 선택된(디스에이블된) 스피커 존들로부터의 기여들을 포함하는 제 1 이득들을 계산하는 동작; 상기 선택된 스피커 존들로부터의 기여들을 포함하지 않는 제 2 이득들을 계산하는 동작; 및 제 1 이득들과 제 2 이득들을 조합하는 동작을 수행함으로써 선택된 스피커 존들을 감쇄시켜야 한다는 것을 표시한 스피커 존 제한 메타데이터를 생성하도록 구성될 수 있다. 몇몇 구현들에서는, 바이어스(bias)가 제 1 이득들 및/또는 제 2 이득들에 대해(예컨대, 선택된 최소 값에서부터 선택된 최대 값까지)적용됨으로써 선택된 스피커 존들로부터의 잠재적인 기여들의 범위를 허용할 수 있다.

이 예에서, 블록(1225)에서는 오서링 툴이 오디오 데이터 및 메타데이터를 렌더링 툴로 송신한다. 그 후에, 로직 시스템은 오서링 프로세스가 계속될 지의 여부를 결정할 수 있다(블록(1227)). 사용자가 그렇게 하기를 원한다는 표시를 로직 시스템이 수신한 경우, 오서링 프로세스가 계속될 수 있다. 그렇지 않은 경우, 오서링 프로세스는 종료될 수 있다(블록(1229)). 몇몇 구현들에서, 렌더링 동작들은 사용자 입력에 따라 계속될 수 있다.

블록(1230)에서, 오서링 툴에 의해 생성된 오디오 데이터 및 메타데이터를 포함하는 오디오 객체들이 렌더링 툴에 의해 수신된다. 이 예에서, 블록(1235)에서는 특정 오디오 객체에 대한 위치 데이터가 수신된다. 렌더링 툴의 로직 시스템은 스피커 존 제한 규칙들에 따라 패닝 등식들을 적용함으로써 오디오 객체 위치 데이터에 대한 이득들을 계산할 수 있다.

블록(1245)에서는, 상기 계산된 이득들이 오디오 데이터로 적용된다. 로직 시스템은 이득, 오디오 객체 로케이션 및 스피커 존 제한 메타데이터를 메모리 시스템에 저장할 수 있다. 몇몇 구현들에서, 오디오 데이터는 스피커 시스템에 의해 재생될 수 있다. 대응하는 스피커 응답들이 몇몇 구현들의 디스플레이 상에 나타날 수 있다.

블록(1248)에서는, 프로세스(1200)가 계속될 지의 여부가 결정된다. 사용자가 그렇게 하기를 원한다는 표시를 로직 시스템이 수신한 경우, 프로세스가 계속될 수 있다. 예를 들어, 렌더링 프로세스는 블록(1230) 또는 블록(1235)으로 복귀함으로써 계속될 수 있다. 사용자가 대응하는 오서링 프로세스로 복귀하기를 원한다는 표시가 수신된 경우, 프로세스가 블록(1207) 또는 블록(1210)으로 복귀될 수도 있다. 그렇지 않은 경우, 프로세스(1200)가 종료될 수 있다(블록(1250)).

3-차원 가상 재생 환경에서 오디오 객체들을 포지셔닝하고 렌더링하는 작업들은 점점 더 어려워지고 있다. 어려움 중의 일부는 GUI에서 가상 재생 환경을 나타냄에 있어서의 장애들에 관한 것이다. 본 명세서에서 제공되는 몇몇 오서링 및 렌더링 구현들은, 사용자로 하여금 2-차원 스크린 공간 패닝과 3-차원 룸-공간 패닝 사이에서 전환할 수 있게 한다. 이러한 기능은 사용자에게 편리한 GUI를 제공하면서 오디오 객체 포지셔닝의 정밀도를 유지하는데 도움이 될 수 있다.

도 13a 및 도 13b는 가상 재생 환경의 2-차원 뷰와 3-차원 뷰 사이에서 전환할 수 있는 GUI의 일 예를 나타낸다. 먼저 도 13a를 참조하면, GUI(400)는 스크린상의 이미지(1305)를 나타낸다. 이 예에서, 이미지(1305)는 칼날-이빨 호랑이(saber-toothed tiger)에 관한 것이다. 가상 재생 환경(404)에 관한 이 평면도에서, 사용자는 오디오 객체(505)가 스피커 존(1) 근처에 있다는 것을 쉽게 관측할 수 있다. 엘리베이션은 예를 들어, 오디오 객체(505)의 사이즈, 색상, 또는 몇몇 다른 속성에 의해 추론될 수 있다. 그러나, 이미지(1305)에 대한 상기 위치의 관계는 이 도면에서 결정하기 어려울 수 있다.

이 예에서, GUI(400)는 축(1310)과 같은 축 주위를 동적으로 회전할 수 있는 것으로 나타날 수 있다. 도 13b는 회전 프로세스 이후의 GUI(1300)를 나타낸다. 이 도면에서, 사용자는 이미지(1305)를 더욱 명확하게 볼 수 있으며, 이미지(1305)로부터의 정보를 사용하여 더욱 정확하게 오디오 객체(505)의 위치를 결정할 수 있다. 이 예에서, 오디오 객체는 칼날-이빨 호랑이가 보고 있는 사운드에 대응한다. 가상 재생 환경(404)의 탑 뷰와 스크린 뷰 사이에서의 전환을 가능하게 하는 것은, 사용자로 하여금 스크린상 내용의 정보를 사용하여, 오디오 객체(505)에 대한 적절한 엘리베이션을 신속하고 정확하게 선택할 수 있게 한다.

오서링 및/또는 렌더링에 대한 여러 가지 다른 편리한 GUI들이 여기에 제공되어 있다. 도 13c 내지 도 13e는 재생 환경들에 관한 2-차원 및 3-차원 묘사들의 조합을 나타낸다. 먼저 도 13c를 참조하면, 가상 재생 환경(404)의 평면도가 GUI(1310)의 좌측 영역에 도시되어 있다. 또한, GUI(1310)는 가상(또는 실제) 재생 환경의 3-차원 묘사(1345)를 포함한다. 3-차원 묘사(1345) 중의 영역(1350)은 GUI(400)의 스크린(150)에 대응한다. 오디오 객체(505)의 위치, 특히 그것의 엘리베이션은 3-차원 묘사(1345)에서 명확하게 알 수 있다. 이 예에서, 오디오 객체(505)의 폭이 또한 3-차원 묘사(1345)에 나타나 있다.

스피커 레이아웃(1320)은 스피커 로케이션들(1324 내지 1340)을 나타내고 있으며, 그것의 각각은 가상 재생 환경(404)에서 오디오 객체(505)의 위치에 대응하는 이득을 표시할 수 있다. 몇몇 구현들에서, 스피커 레이아웃(1320)은 예를 들어, 오버헤드 스피커들 등으로 증강된 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성, 돌비 7.1 구성과 같은, 실제 재생 환경의 재생 스피커 로케이션들을 나타낼 수 있다. 로직 시스템이 가상 재생 환경(404)에서의 오디오 객체(505)의 위치 표시를 수신하는 경우, 로직 시스템은 예컨대 전술한 진폭 패닝 프로세스(amplitude panning process)에 의해, 스피커 레이아웃(1320)의 스피커 로케이션들(1324 내지 1340)에 대한 이득들로 이 위치를 매핑하도록 구성될 수 있다. 예를 들어, 도 13c에서, 스피커 로케이션들(1325, 1335 및 1337) 각각은 오디오 객체(505)의 위치에 대응하는 이득들을 표시하는 색상 변경을 갖는다.

이제 도 13d를 참조하면, 오디오 객체가 스크린(150) 뒤쪽의 위치로 이동되었다. 예를 들어, 사용자는 GUI(400)에 있는 오디오 객체(505) 상에 커서를 놓고 그것을 새로운 위치로 드래깅하는 것에 의해 오디오 객체(505)를 이동시켰을 수 있다. 또한 이 새로운 위치는 새로운 배향으로 회전된 3-차원 묘사(1345)로 나타나 있다. 스피커 레이아웃(1320)의 응답들은 도 13c 및 도 13d와 실질적으로 동일하게 나타날 수 있다. 그러나, 실제의 GUI에서, 스피커 로케이션들(1325, 1335 및 1337)은 상이한 모습(예컨대, 상이한 밝기 또는 색상)을 가질 수 있으며, 이에 따라 오디오 객체(505)의 상이한 위치에 의해 야기된 대응하는 이득 차이들을 표시할 수 있다.

이제 도 13e를 참조하면, 가상 재생 환경(404)의 후방 우측부 위치로 신속히 이동되었다. 도 13e에 도시된 순간에, 스피커 로케이션(1326)은 오디오 객체(505)의 현재 위치에 대응하며, 스피커 로케이션들(1325 및 1337)은 여전히 오디오 객체(505)의 이전 위치에 대응한다.

도 14a는 도 13c 내지 도 13e에 나타낸 것과 같은 GUI들을 제공하는 장치를 제어하는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1400)는 재생 환경에 대한 오디오 객체 로케이션들, 스피커 존 로케이션들 및 재생 스피커 로케이션들을 디스플레이하는 하나 이상의 표시들이 수신되는 블록(1405)과 함께 시작된다. 스피커 존 로케이션들은 예를 들어, 도 13c 내지 도 13e에 나타낸 바와 같이 가상 재생 환경 및/또는 실제 재생 환경에 대응할 수 있다. 상기 표시(들)은 렌더링 및/또는 오서링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 예를 들어, 상기 표시들은 재생 환경 구성에 대한 사용자 선택에 대응할 수 있다.

블록(1407)에서는, 오디오 데이터가 수신된다. 블록(1410)에서는, 오디오 객체 위치 데이터 및 폭이 예를 들어 사용자 입력에 따라 수신된다. 블록(1415)에서는, 오디오 객체, 스피커 존 로케이션들 및 재생 스피커 로케이션들이 디스플레이된다. 오디오 객체 위치는 예를 들어 도 13c 내지 도 13e에 도시된 바와 같이 2-차원 및/또는 3-차원 뷰들로 디스플레이될 수 있다. 폭 데이터는 오디오 객체 렌더링을 위해서만 사용될 수 있을 뿐만아니라, 오디오 객체가 디스플레이되는 방식에도 영향을 미칠 수 있다(도 13c 내지 도 13e의 3-차원 묘사(1345)에서 오디오 객체(505) 묘사 참조).

오디오 데이터 및 관련 메타데이터가 기록될 수 있다(블록(1420)). 블록(1425)에서, 오서링 툴은 오디오 데이터 및 메타데이터를 렌더링 툴로 송신한다. 그 후에, 로직 시스템은 오서링 프로세스가 계속될 지의 여부를 결정할 수 있다(블록(1427)). 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신한 경우, (예컨대, 블록(1405)으로 복귀하는 것에 의해) 오서링 프로세스는 계속될 수 있다. 그렇지 않은 경우, 오서링 프로세스가 종료될 수 있다(블록(1429)).

블록(1430)에서는, 오서링 툴에 의해 생성된 오디오 데이터 및 메타데이터를 포함하는 오디오 객체들이 렌더링 툴에 의해 수신된다. 이 예에서, 블록(1435)에서는 특정 오디오 객체에 대한 위치 데이터가 수신된다. 렌더링 툴의 로직 시스템은, 폭 메타데이터에 따라, 패닝 등식들을 적용하여 오디오 객체 위치 데이터에 대한 이득들을 계산할 수 있다.

몇몇 렌더링 구현들에서, 로직 시스템은 스피커 존들을 재생 환경의 재생 스피커들로 매핑할 수 있다. 예를 들어, 로직 시스템은 스피커 존들 및 대응하는 재생 스피커 로케이션들을 포함하는 데이터 구조에 액세스할 수 있다. 보다 상세한 내용 및 예들이 아래의 도 14b를 참조하여 기술되어 있다.

몇몇 구현들에서는, 패닝 등식들이 오디오 객체 위치, 폭 및/또는 다른 정보, 예컨대 재생 환경의 스피커 로케이션들에 따라, 예를 들어 로직 시스템에 의해 적용될 수 있다(블록(1440)). 블록(1445)에서는, 블록(1440)에서 획득된 이득들에 따라 오디오 데이터가 처리된다. 결과적으로 생성된 오디오 데이터의 적어도 일부는, 원하는 경우, 오서링 툴로부터 수신된 대응하는 오디오 객체 위치 데이터 및 다른 메타데이터와 함께 저장될 수 있다. 오디오 데이터는 스피커들에 의해 재생될 수 있다.

그 후에, 로직 시스템은 프로세스(1400)가 계속될 지의 여부를 결정할 수 있다(블록(1448)). 예를 들어, 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신한 경우, 프로세스(1400)는 계속될 수 있다. 그렇지 않을 경우, 프로세스(1400)는 종료될 수 있다(블록(1449)).

도 14b는 재생 환경에 대한 오디오 객체들을 렌더링하는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1450)는 재생 환경에 대한 오디오 객체들을 렌더링하는 하나 이상의 표시들이 수신되는 블록(1455)과 함께 시작된다. 상기 표시(들)은 렌더링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 예를 들어, 상기 표시들은 재생 환경 구성에 대한 사용자 선택에 대응할 수 있다.

블록(1457)에서는, (하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는) 오디오 재생 데이터가 수신된다. 블록(1460)에서는, 재생 환경 데이터가 수신될 수 있다. 재생 환경 데이터는 재생 환경 내의 다수의 재생 스피커들의 표시 및 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함할 수 있다. 재생 환경은 시네마 사운드 시스템 환경, 홈 시어터 환경 등일 수 있다. 몇몇 구현들에서, 재생 환경 데이터는 재생 스피커 존들 및 그 스피커 존들에 대응하는 재생 스피커 로케이션들을 표시하는 재생 스피커 존 레이아웃 데이터를 포함할 수 있다.

블록(1465)에서는 재생 환경이 디스플레이될 수 있다. 몇몇 구현들에서, 재생 환경은 도 13c 내지 도 13e에 나타낸 스피커 레이아웃(1320)과 유사한 방식으로 디스플레이될 수 있다.

블록(1470)에서는, 오디오 객체들이 재생 환경에 대한 하나 이상의 스피커 급전 신호(speaker feed signal)들로 렌더링될 수 있다. 몇몇 구현들에서, 오디오 객체들과 관련된 메타데이터는, 전술한 바와 같이, 메타데이터가 스피커 존들에 대응하는(예를 들어, GUI(400)의 스피커 존들(1-9)에 대응하는) 이득 데이터 포함할 수 있도록 하는 방식으로 오서링될 수 있다. 로직 시스템은 스피커 존들을 재생 환경의 재생 스피커들로 매핑할 수 있다. 예를 들어, 로직 시스템 스피커 존들 및 대응하는 재생 스피커 로케이션들을 포함하는, 메모리에 저장되어 있는 데이터 구조에 액세스할 수 있다. 이러한 렌더링 디바이스는 그 각각이 상이한 스피커 구성에 대응하는 다양한 데이터 구조들을 가질 수 있다. 몇몇 구현들에서, 렌더링 장치는 다양한 표준 재생 환경 구성들, 예컨대 돌비 서라운드 5.1 구성, 돌비 서라운드 7.1 구성 및/또는 하마사키 22.2 서라운드 사운드 구성에 대한 데이터 구조들을 가질 수 있다.

몇몇 구현들에서, 오디오 객체들에 대한 메타데이터는 오서링 프로세스로부터의 다른 정보를 포함할 수 있다. 예를 들어, 메타데이터는 스피커 제한 데이터를 포함할 수 있다. 메타데이터는 오디오 객체 위치를 단일의 재생 스피커 로케이션 또는 단일의 재생 스피커 존으로 매핑하는 정보를 포함할 수 있다. 메타데이터는 오디오 객체의 위치를 1차원 곡선이나 2-차원 표면으로 제한하는 데이터를 포함할 수 있다. 메타데이터는 오디오 객체에 대한 경로 데이터를 포함할 수 있다. 메타데이터는 콘텐츠 타입에 대한 식별자(예컨대, 다이얼로그, 뮤직 또는 이펙트)를 포함할 수 있다.

이에 따라, 렌더링 프로세스는 예컨대 스피커 존 제한들을 부과하기 위한 메타데이터의 사용을 포함할 수 있다. 몇몇 이러한 구현들에서, 렌더링 장치는 메타데이터에 의해 표시되는 제한들을 변경하는 옵션, 예를 들어, 스피커 제한들을 변경하고 이에 따라 리렌더링하는 옵션을 사용자에게 제공할 수 있다. 리렌더링은 소망하는 오디오 객체 위치, 소망하는 오디오 객체 위치에서 기준 위치까지의 거리, 오디오 객체의 속도 또는 오디오 객체 콘텐츠 타입 중의 하나 이상에 기초하여 총 이득을 생성하는 것을 포함할 수 있다. 재생 스피커들의 대응하는 응답들이 디스플레이될 수 있다(블록(1475)). 몇몇 구현들에서, 로직 시스템은 렌더링 프로세스의 결과들에 대응하는 사운드를 재생하도록 스피커들을 제어할 수 있다.

블록(1480)에서는, 로직 시스템이 프로세스(1450)가 계속될 지의 여부를 판정할 수 있다. 예를 들어, 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신하는 경우, 프로세스(1450)가 계속될 수 있다. 예를 들어, 프로세스(1450)는 블록(1457) 또는 블록(1460)으로 복귀하는 것에 의해 계속될 수 있다. 그렇지 않은 경우, 프로세스(1450)가 종료될 수도 있다(블록(1485)).

스프레드 및 외관상 소스 폭 제어(spread and apparent source width control)는 몇몇 기존의 서라운드 사운드 오서링/렌더링 시스템들의 특징들이다. 본 발명에서, 용어 "스프레드(spread)"는 동일한 신호를 복수의 스피커들에게 분재하여 사운드 이미지를 블러링(blurring)하는 것을 지칭한다. 용어 "폭(width)"은 출력 신호들을 외관상 폭 제어를 위한 각 채널로 상관해제시키는 것을 지칭한다. 폭은 각각의 스피커 급전 신호에 대해 적용되는 상관해제의 양을 제어하는 추가적인 스칼라 값일 수 있다.

본 명세서에 기술된 몇몇 구현들은 3D 축 배향 스프레드 제어를 제고한다. 이제 도 15a 및 도 15b를 참조하여 하나의 이러한 구현을 설명하도록 한다. 도 15a는 가상 재생 환경에서 오디오 객체 및 관련 오디오 객체 폭의 일 예를 나타낸다. 여기서, GUI(400)는 오디오 객체(505) 근처로 연장되고 오디오 객체 폭을 표시하는 타원체(1505)를 표시한다. 오디오 객체 폭은 오디오 객체 메타데이터에 의해 표시되고/되거나 사용자 입력에 따라 수신될 수 있다. 이 예에서는, 타원체(1505)의 x 및 y 치수들이 상이하지만, 다른 구현들에서는 이 치수들이 동일할 수도 있다. 타원체(1505)의 z 치수들은 도 15a에 나타나 있지 않다.

도 15b는 도 15a에 도시된 오디오 객체 폭에 대응하는 스프레드 프로파일(spread profile)의 일 예를 나타낸다. 스프레드는 3-차원 벡터 파라미터로 표현될 수 있다. 이 예에서, 스프레드 프로파일(1507)은 예를 들어, 사용자 입력에 따른 3 차원들을 따라서 독립적으로 제어될 수 있다. x 및 y 축들을 따르는 이득들은 곡선들(1510 및 1520)의 각각의 높이에 의해 도 15b에 표현되어 있다. 또한, 각각의 샘플(1512)에 대한 이득은 스프레드 프로파일(1507) 내의 해당 원들(1515)의 사이즈에 의해 표시된다. 도 15b에서 스피커들(1510)의 응답들은 회색 음영으로 표시되어 있다.

몇몇 구현들에서, 스프레드 프로파일(1507)은 각 축에 대한 가분 적분(separable integral)에 의해 구현될 수 있다. 몇몇 구현들에 따르면, 패닝(panning) 시의 음색 차(timbral discrepancies)를 방지하기 위하여, 최소 스프레드 값이 스피커 배치의 함수로서 자동 설정될 수 있다. 대안적으로, 또는 추가적으로는, 동화상 내의 신속 이동 이미지들이 블러링하는 방식과 유사하게, 오디오 객체 속도가 증가함에 따라 객체가 공간적으로 더욱 스프레드 아웃 하도록 하기 위해, 패닝된 오디오 객체의 속도 함수로서 자동 설정될 수 있다.

본 명세서에 기술된 바와 같은, 오디오 객체-기반 오디오 렌더링 구현들을 사용하는 경우, 잠재적으로 많은 개수의 오디오 트랙들과 첨부된 메타데이터(3-차원 공간에서 오디오 객체 위치들을 표시하는 메타데이터를 포함하며 이에 한정되지 않음)가 재생 환경으로 단독상태로 전달될 수 있다. 실시간 렌더링 툴은 이러한 재생 환경에 관한 정보 및 메타데이터를 사용하여 각 오디오 객체 재생을 최적화하기 위한 스피커 급전 신호들을 계산할 수 있다.

많은 개수의 오디오 객체들이 스피커 출력들로 함께 혼합되는 경우, 증폭된 아날로그 신호가 재생 스피커들로 플레이 백 될 시에, 디지털 영역(예를 들어, 아날로그 변환 이전에 디지털 신호가 클리핑(clipped) 될 수 있음) 또는 아날로그 영역에는 과부하가 발생할 수 있다. 두 케이스 모두 바람직하지 않은 가청 왜곡(audible distortion)을 야기할 수 있다. 또한, 아날로그 영역에서의 과부하는 재생 스피커들에 손상을 가할 수 있다.

그러므로, 본 명세서에 기술된 몇몇 구현들은 재생 스피커 과부하에 대응하여 동적 객체 "블로빙(blobbing)"을 포함한다. 주어진 스프레드 프로파일로 오디오 객체들이 렌더링 되는 경우, 몇몇 구현들에서는, 전체적으로는 일정한 에너지를 유지하면서, 에너지가 증가된 개수의 이웃 재생 스피커들로 향해질 수 있다. 예를 들어, 오디오 객체에 관한 에너지가 N 재생 스피커들에 대해 균일하게 퍼지게 되는 경우, 그것은 gain l/sqrt(N)로 출력되는 각 재생 스피커에 기여할 수 있다. 이러한 접근방식은 추가적인 혼합 "헤드룸(headroom)"을 제공하여, 클리핑과 같은 재생 스피커 왜곡을 제거 또는 방지할 수 있다.

수치적 예를 사용하기 위해, 스피커는 그것이 1.0 보다 큰 입력을 수신하는 경우, 클리핑하는 것으로 가정한다. 2개의 객체들이 스피커 A로 혼합되며, 하나는 레벨 1.0 이고, 다른 것은 레벨 0.25로 나타나는 것으로 가정한다. 블로빙(blobbing)이 사용되지 않는 경우, 스피커 A에서의 혼합 레벨은 총 1.25이 되며, 클립핑이 발생한다. 그러나, 제 1 객체가 다른 스피커 B와 블로빙되는 경우, (몇몇 구현들에 따르면) 각 스피커는 0.707로 그 객체를 수신하게 되며, 추가 객체들을 혼합하기 위해 스피커 A에서 추가적인 "헤드롬(headroom)"을 야기하게 된다. 스피커 A의 혼합 레벨은 0.707 + 0.25 = 0.957이 될 것이므로, 제 2 객체는 클립핑 없이 스피커 A로 안전하게 혼합될 수 있다.

몇몇 구현들에서는, 오서링 단계 동안, 각각의 오디오 객체가 주어진 혼합 이득을 가지고 스피커 존들(또는 모든 스피커 존들)의 서브세트로 혼합될 수 있다. 각 라우드스피커에 기여하는 모든 객체들의 동적 리스트는 미리 구성될 수 있다. 몇몇 구현들에서는, 이 리스트가 예를 들어, 혼합 이득만큼 승산된 신호의 본래 RMS(root mean square) 레벨의 프로덕트를 사용하여, 에너지 레벨들을 감소시킴으로써 소팅될 수 있다. 다른 구현들에서는, 이 리스트가 다른 기준, 예컨대 오디오 객체에 할당된 상대적 중요성에 따라 소팅될 수도 있다.

렌더링 프로세스 동안에, 주어진 재생 스피커 출력에 대한 과부하가 검출되는 경우, 오디오 객체들의 에너지는 수개의 재생 스피커들에 걸쳐 확산될 수 있다. 예를 들어, 오디오 객체들의 에너지는 과부하의 양 및 주어진 재생 스피커에 대한 각 오디오 객체의 상대적 기여도에 비례하는 폭 또는 스프레드 인자를 사용하여 확산될 수 있다. 동일한 오디오 객체가 수개의 과부하 재생 스피커들에 기여하는 경우, 몇몇 구현들에서, 그것의 폭 또는 스프레드 인자는 추가적으로 증가되어 오디오 데이터의 다음 렌더링 되는 프레임에 적용될 수 있다.

일반적으로, 하드 리미터(hard limiter)는 임계값에 대한 한계를 초과하는 값을 클립핑하게 된다. 위의 예에서와 같이, 스피커가 레벨 1.25에서 혼합 객체를 수신하고, 1.0의 최대 레벨만을 허용할 수 있는 경우에는, 그 객체가 1.0에 대한 "하드 리미터"가 된다. 소프트 리미터(soft limiter)는 절대 임계값에 도달하기 이전에 제한을 적용하기 시작하며, 이에 의해 더 부드럽고, 더 가청적으로 즐겁게 하는 결과물을 제공한다. 또한, 소프트 리미터는 향후 클립핑이 발생할 수 있는 시점을 예측하기 위해 "룩 어헤드(look ahead)" 특징을 사용할 수 있으며, 이에 의해 클립핑이 발생하는 시점 이전에 이득을 부드럽게 감소시키며 이에 따라 클립핑을 방지하게 된다.

본 명세서에서 제공되는 각종 "블로빙" 구현들은 공간 정확도/선명도의 열화를 방지하면서 가청 왜곡을 제한하기 위하여, 하드 리미터나 소프트 리미터와 함께 사용될 수 있다. 글로벌 스프레드 또는 리미터들 단독 사용과는 대조적으로, 블로빙 구현들은 라우드 객체들, 또는 주어진 콘텐츠 타입의 객체들을 선택적으로 타게팅할 수 있다. 이러한 구현들은 혼합기(mixer)에 의해 제어될 수 있다. 예를 들어, 재생 스피커들의 서브세트가 사용되지 않아야 한다는 것을 오디오 객체에 관한 스피커 존 제한 메타데이터가 표시하는 경우, 렌더링 장치는 블로빙 방법을 구현하는 것에 부가하여 해당 스피커 존 제한 규칙들을 적용할 수 있다.

도 16은 오디오 객체들을 블로빙하는 프로세스의 개요를 보여주는 흐름도이다. 프로세스(1600)는 오디오 객체 블로빙 기능을 활성화하는 하나 이상의 표시들이 수신되는 블록(1605)와 함께 시작된다. 상기 표시(들)은 렌더링 장치의 로직 시스템에 의해 수신될 수 있으며, 사용자 입력 장치로부터 수신되는 입력에 대응할 수 있다. 몇몇 구현들에서, 상기 표시들은 재생 환경 구성에 대한 사용자 선택을 포함할 수 있다. 다른 구현들에서, 재생 환경 구성을 미리 선택할 수 있다.

블록(1607)에서는, (하나 이상의 오디오 객체들 및 관련 메타데이터를 포함하는) 오디오 재생 데이터가 수신된다. 몇몇 구현들에서, 메타데이터는 예를 들어 전술한 바와 같은 스피커 존 제한 메타데이터를 포함할 수 있다. 이 예에서, 블록(1610)에서는 오디오 객체 위치, 시간 및 스프레드 데이터가 오디오 재생 데이터로부터 파싱된다(또는 그렇지 않은 경우, 예컨대 사용자 인터페이스로부터의 입력을 통해 수신됨).

재생 스피커 응답들은 예를 들어 전술한 바와 같은 오디오 객체 데이터에 패닝 등식들을 적용함으로써 재생 환경 구성이 결정된다(블록 1612). 블록(1615)에서는, 오디오 객체 위치 및 재생 스피커 응답들이 디스플레이된다(블록(1615)). 또한, 재생 스피커 응답들은 로직 시스템과 통신하도록 구성된 스피커들을 통해 재생될 수 있다.

블록(1620)에서는, 재생 환경의 임의 재생 스피커에 대한 과부하가 검출되었는지의 여부를 로직 시스템이 결정한다. 검출된 경우에는, 전술한 바와 같은 오디오 객체 블로빙 규칙들이, 과부하가 검출되지 않을 때까지 적용될 수 있다(블록(1625)). 원하는 경우, 블록(1630)에서 출력된 오디오 데이터가 저장될 수 있으며, 재생 스피커들로 출력될 수도 있다.

블록(1635)에서는, 로직 시스템이 프로세스(1600)가 계속될 지의 여부를 결정할 수 있다. 예를 들어, 사용자가 그렇게 하기를 원하는 표시를 로직 시스템이 수신하는 경우, 프로세스(1600)는 계속될 수 있다. 예를 들어, 프로세스(1600)는 블록(1607) 또는 블록(1610)으로 복귀함으로써 계속될 수 있다. 그렇지 않은 경우, 프로세스(1600)는 종료될 수 있다(블록(1640)).

몇몇 구현들은 3-차원 공간에서 오디오 객체 위치를 이미지화하는데 사용될 수 있는 확장된 패닝 이득 등식들을 제공한다. 이제 도 17a 내지 도 17b를 참조하여 몇몇 예들을 설명하도록 한다. 도 17a 및 도 17b는 3-차원 가상 재생 환경에 위치된 오디오 객체의 예들을 보여주고 있다. 먼저 도 17a를 참조하면, 오디오 객체(505)의 위치가 가상 재생 환경(404) 내에서 확인될 수 있다. 이 예에서는, 도 17b에 나타낸 바와 같이, 스피커 존들(1-7)이 하나의 평면에 위치되어 있으며, 스피커 존들(8 및 9)이 다른 평면에 위치되어 있다. 그러나, 스피커 존들, 평면들 등의 개수는 단지 예시의 방법으로 이루진 것이며; 여기에 기술된 개념들은 상이한 개수의 스피커 존들(또는 개별 스피커들) 및 2개보다 많은 엘리베이션 평면들로 확장될 수도 있다.

이 예에서, 0에서 1의 범위로 존재할 수 있는 엘리베이션 파라미터 "z"는, 오디오 객체의 위치를 엘리베이션 평면들로 매핑한다. 이 예에서, 값 z = 0 는 스피커 존들(1-7)을 포함하는 베이스 평면에 대응하고, 값 z = 1 은 스피커 존들(8 및 9)을 포함하는 오버헤드 평면에 대응한다. 0과 1 사이의 e 의 값들은 베이스 평면의 스피커들만을 사용하여 생성된 사운드 이미지와 오버헤드 평면의 스피커들만을 사용하여 생성된 사운드 이미지 간의 조합에 대응한다.

도 17b에 나타낸 예에서, 오디오 객체(505)에 대한 엘리베이션 파라미터는 0.6의 값을 갖는다. 그러므로, 일 구현에서, 제 1 사운드 이미지는 베이스 평면에서의 오디오 객체(505)의 (x,y) 좌표들에 따라서, 베이스 평면에 관한 패닝 등식들을 사용하여 생성될 수 있다. 제 2 사운드 이미지는 오버헤드 평면에서의 오디오 객체(505)의 (x,y) 좌표들에 따라서, 오버헤드 평면에 관한 패닝 등식들을 사용하여 생성될 수 있다. 최종적으로 생성되는 사운드 이미지는 각 평면에 대한 오디오 객체(505)의 근접성에 따라, 제 1 사운드 이미지와 제 2 사운드 이미지를 조합함으로써 재생될 수 있다. 엘리베이션 z의 에너지 보존 함수 또는 진폭 보존 함수가 적용될 수도 있다. 예를 들어, z가 0에서 1의 범위에 있을 수 있는 것으로 가정하면, 제 1 사운드 이미지의 이득 값들은 Cos(z*π/2) 만큼 곱해질 수 있고, 제 2 사운드 이미지의 이득 값들은 sin(z*π/2) 만큼 곱해질 수 있으며, 이에 따라 그들의 제곱의 합은 1이 된다(에너지 보존).

본 명세서에 기술된 다른 구현들은 2개 이상의 패닝 기술들에 기초하여 이득들을 계산하는 것과, 하나 이상의 파라미터들에 기초하여 종합적인 이득을 생성하는 것을 포함할 수 있다. 상기 파라미터들은 다음 중의 하나 이상을 포함할 수 있다: 소망하는 오디오 객체 위치; 소망하는 오디오 객체 위치에서 기준 위치까지의 거리; 오디오 객체의 속력 또는 속도; 또는 오디오 객체 콘텐츠 타입.

이제 도 18 이하를 참조하여 몇몇의 이러한 구현들을 설명하도록 한다. 도 18은 상이한 패닝 모드들에 대응하는 존들의 예를 나타낸다. 이들 존들의 사이즈, 형상 및 규모는 단순히 예시의 방법으로 이루어져 있다. 이 예에서는, 존(1805) 내에 위치된 오디오 객체들에 대해 근계(near-field) 패닝 방법들이 적용되어 있으며, 존(1810)의 바깥쪽에 있는 존(1815)에 위치된 오디오 객체들에 대해서는 원계(far-field) 패닝 방법들이 적용되어 있다.

도 19a 내지 도 19d는 상이한 로케이션들에 있는 오디오 객체들에 대해 근계(near-field) 및 원계(far-field) 패닝 기술들을 적용한 예들을 나타낸다. 먼저 도 19a를 참조하면, 오디오 객체는 실질적으로 가상 재생 환경(1900)의 바깥쪽에 있다. 이 로케이션은 도 18의 존(1815)에 대응한다. 그러므로, 이 예에서는 하나 이상의 원계 패닝 방법들이 적용될 것이다. 몇몇 구현들에서, 원계 패닝 방법들은 당업자에게 알려진 벡터-기반 진폭 패닝(vector-based amplitude panning; VBAP)에 기초할 수 있다. 예를 들어, 원계 패닝 방법들은 V. Pulkki, Compensating Displacement of Amplitude-Panned Virtual Sources(AES International Conference on Virtual, Synthetic and Entertainment Audio)의 4페이지, 섹션 2.3에 기술된 VBAP 등식들에 기초할 수 있으며, 이것은 참조에 의해 본 명세서에 포함된다. 다른 구현들에서, 다른 방법들이 원계 및 근계 오디오 객체들을 패닝하는데 사용될 수 있으며, 예를 들어, the synthesis of corresponding acoustic planes or spherical wave. D. de Vries, Wave Field Synthesis(AES Monograph 1999)을 포함하는 방법들이 적절한 방법들을 기술하고 있고, 이 내용은 참조에 의해 본 명세서에 포함된다.

이제 도 19b를 참조하면, 오디오 객체가 가상 재생 환경(1900)의 내부에 존재한다. 이 로케이션은 도 18의 존(1805)에 대응한다. 그러므로, 이 예에서는 하나 이상의 근계 패닝 방법들이 적용될 것이다. 몇몇의 이러한 근계 패닝 방법들은 가상 재생 환경(1900)에서 오디오 객체(505)를 둘러싸는 스피커 존들의 개수를 사용하게 된다.

몇몇 구현들에서, 근계 패닝 방법은 "듀얼-밸런스(dual-balance)" 패닝 및 2 세트의 이득들을 조합하는 것을 포함할 수 있다. 도 19b에 도시된 예에서, 제 1 세트의 이득들은 y축을 따라 오디오 객체(505)의 위치들을 둘러싸는 2 세트의 스피커 존들 사이의 전방/후방 밸런스에 대응한다. 대응하는 응답들은 스피커 존들(1915 및 1960)을 제외한, 가상 재생 환경(1900)의 모든 스피커 존들을 포함한다.

도 19c에 도시된 예에서, 제 2 세트의 이득들은 x축을 따라 오디오 객체(505)의 위치들을 둘러싸는 2 세트의 스피커 존들 사이의 좌측/우측 밸런스에 대응한다. 대응하는 응답들은 스피커 존들(1905 내지 1925)을 포함한다. 도 19d는 도 19b 및 도 19c에 나타낸 응답들을 조합한 결과를 나타낸다.

오디오 객체가 가상 재생 환경(1900)에 들어오고 나감에 따라 상이한 패닝 모드들 사이를 조합하는 것이 바람직할 수 있다. 그러므로, 근계 패닝 방법들 및 원계 패닝 방법들에 따라 계산된 이득들의 조합이 존(1810)에 위치된 오디오 객체들에 대해 적용된다(도 18 참조). 몇몇 구현들에서는, 페어-와이즈 패닝 법칙(pair-wise panning law)(예컨대, 에너지 보존 사인 또는 멱법칙)이 근계 패닝 방법들 및 원계 패닝 방법들에 따라 계산된 이득들 사이를 조합하는데 사용될 수 있다. 다른 구현들에서, 페어-와이즈 패닝 법칙은 에너지 보존이 아닌 진폭 보존일 수 있으며, 이에 따라 그 제곱의 합이 1이 되는 대신에 그 합이 1이 되도록 한다. 또한, 최종적으로 생성된 처리 신호들을 조합하는 것이 가능할 수 있으며, 예를 들어 패닝 방법들을 독립적으로 사용하여 오디오 신호를 처리하고 또한 2개의 최종 오디오 신호들을 크로스 패이드(cross-fade) 하는 것이 가능하다.

주어진 오서링 경로에 대한 상이한 리렌더링을 용이하게 미세조정하기 위해, 콘텐츠 생성기 및/또는 콘텐츠 재생기를 허용하는 메커니즘을 제공하는 것이 바람직할 수 있다. 동화상들을 혼합하는 문맥에서, 스크린-투-룸 에너지 밸런스의 개념은 중요하게 고려된다. 몇몇 예들에서, 주어진 사운드 경로(또는 '팬(pan)')의 자동 리렌더링은 재생 환경 내의 재생 스피커들의 개수에 따라, 상이한 스크린-투-룸 밸런스를 야기하게 된다. 몇몇 구현들에 따르면, 오서링 프로세스 동안 생성된 메타데이터에 따라 스크린-투-룸 바이어스가 제어될 수 있다. 다른 구현들에 따르면, 스크린-투-룸 바이어스는 메타데이터에 대한 응답으로가 아닌, 렌더링 쪽에서(즉, 콘텐츠 재생기의 제어하에) 단독으로 제어될 수 있다.

그러므로, 본 명세서에 기술된 몇몇 구현들은 하나 이상 형태의 스크린-투-룸 바이어스 제어를 제공한다. 몇몇 이러한 구현들에서, 스크린-투-룸 바이어스는 스케일링 동작(scaling operation)으로서 구현될 수 있다. 예를 들어, 스케일링 동작은 프론트-투-백 방향을 따르는 본래 의도된 오디오 객체의 경로 및/또는 패닝 이득들을 결정하기 위해 렌더러에서 사용되는 스피머의 스케일링을 포함할 수 있다. 몇몇 이러한 구현들에서, 스크린-투-룸 바이어스 제어는 0과 최대값(예컨대, 1) 사이의 가변값일 수 있다. 변동(variation)은 예를 들어, GUI, 가상 또는 물리적 슬라이더, 놉(knob) 등으로 제어될 수 있다.

대안적으로, 또는 추가적으로, 스크린-투-룸 바이어스 제어는 몇몇 형태의 스피커 영역 제한을 사용하여 구현될 수도 있다. 도 20은 스크린-투-룸 바이어스 제어 프로세스에서 사용될 수 있는 재생 환경의 스피커 존들을 나타낸다. 이 예에서, 전방 스피커 영역(2005)과 후방 스피커 영역(2010)(또는 2015)이 확립될 수 있다. 스크린-투-룸 바이어스는 선택된 스피커 영역들의 함수로서 조절될 수 있다. 몇몇 이러한 구현들에서, 스크린-투-룸 바이어스는 전방 스피커 영역(2005)과 후방 스피커 영역(2010)(또는 2015) 사이의 스케일링 동작으로서 구현될 수 있다. 다른 구현들에서, 스크린-투-룸 바이어스는 예를 들어, 사용자로 하여금 전방-쪽 바이어스, 후방-쪽 바이어스 또는 바이어스 없음을 선택할 수 있게 함으로써 2진 방식으로 구현될 수 있다. 각 경우에 대한 바이어스 설정들은 전방 스피커 영역(2005) 및 후방 스피커 영역(2010)(또는 2015)에 대한 미리결정된(및 일반적으로는 넌-제로인) 바이어스 레벨들에 대응할 수 있다. 본질적으로, 이러한 구현들은 연속 값인 스케일링 동작 대신에(또는 이에 부가하여) 스크린-투-룸 바이어스 제어에 대한 3개의 프리-세트들을 제공할 수 있다.

몇몇의 이러한 구현들에 따르면, 측벽들을 전방 측벽과 후방 측벽으로 분할하는 것에 의해, 오서링 GUI(예컨대, 400)에 2개의 추가의 논리적 스피커 존들이 생성될 수 있다. 몇몇 구현들에서, 2개의 추가의 논리적 스피커 존들은 렌더러의 좌측 벽/좌측 서라운드 사운드 영역 및 우측 벽/우측 서라운드 사운드 영역에 대응한다. 이 2개 논리적 스피커 존들 중의 어떤 것이 활성화되는지의 사용자 선택에 따라, 렌더링 툴은 돌비 5.1 또는 돌비 7.1 구성들로의 렌더링 시에 (예컨대, 전술한 바와 같은) 프리세트 스케일링 인자들을 적용할 수 있다. 또한, 렌더링 툴은 예를 들어, 그들의 물리적 스피커 구성들이 측벽 상에 단지 하나의 물리적 스피커를 가지기 때문에, 이들 2개의 추가 논리적 존들의 정의를 지원하지 않는 재생 환경들에 대한 렌더링시에, 그러한 프리세트 스케일링 인자들을 적용할 수 있다.

도 21은 오서링 및/또는 렌더링 장치들의 컴포넌트들의 예들을 제공하는 블록도이다. 이 예에서, 디바이스(2100)는 인터페이스 시스템(2105)을 포함한다. 인터페이스 시스템(2105)은 무선 네트워크 인터페이스와 같은 네트워크 인터페이스를 포함할 수 있다. 대안적으로, 또는 추가적으로, 인터페이스 시스템(2105)은 USB(universal serial bus) 인터페이스 또는 다른 이러한 인터페이스를 포함할 수 있다.

디바이스(2100)는 로직 시스템(2110)을 포함한다. 로직 시스템(2110)은 범용 단일-칩 프로세서 또는 멀티-칩 프로세서와 같은 프로세서를 포함할 수 있다. 로직 시스템(2110)은 DSP(digital signal processor), ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 다른 프로그래머블 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 또는 이산 하드웨어 컴포넌트들, 그 조합들을 포함할 수 있다. 로직 시스템(2110)은 디바이스(2100)의 다른 컴포넌트들을 제어하도록 구성될 수 있다. 디바이스(2100)의 컴포넌트들 사이에는 인터페이스들이 존재하지 않는 것으로 도 21에 나타나 있지만, 로직 시스템(2110)은 다른 컴포넌트들과의 통신을 위한 인터페이스들을 갖도록 구성될 수 있다. 다른 컴포넌트들은 적절하게 서로 통신하도록 구성되거나, 또는 그렇지 않을 수도 있다.

로직 시스템(2110)은 오디오 오서링 및/또는 렌더링 기능을 수행하도록 구성될 수 있고, 이것은 본 명세서에 기술된 오디오 오서링 및/또는 렌더링 기능의 타입들을 포함하지만 이에 한정되지 않는다. 몇몇 이러한 구현들에서, 로직 시스템(2110)은 (적어도 부분적으로는) 하나 이상의 비일시적 매체에 저장된 소프트웨어에 따라 동작하도록 구성될 수 있다. 비일시적 매체는 로직 시스템(2110)과 연동되는 메모리, 예를 들어 RAM(random access memory) 및/또는 ROM(read-only memory)를 포함할 수 있다. 비일시적 매체는 메모리 시스템(2115)의 메모리를 포함할 수 있다. 메모리 시스템(2115)은 하나 이상의 적절한 타입의 비일시적 저장 매체, 예컨대 플래시 메모리, 하드 드라이브 등을 포함할 수 있다.

디스플레이 시스템(2130)은 디바이스(2100)의 표시에 따라, 하나 이상의 적절한 타입의 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이 시스템(2130)은 액정 디스플레이, 플라즈마 디스플레이, 쌍안정 디스플레이 등을 포함할 수 있다.

사용자 입력 시스템(2135)은 사용자로부터의 입력을 받아들이도록 구성된 하나 이상의 디바이스들을 포함할 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(2135)은 디스플레이 시스템(2130)의 디스플레이 위에 놓인 터치 스크린을 포함할 수 있다. 사용자 입력 시스템(2135)은 마우스, 트랙 볼(track ball), 제스처 검출 시스템, 조이스틱, 하나 이상의 GUI 및/또는 디스플레이 시스템(2130)에 제공된 메뉴들, 버튼들, 키보드, 스위치들 등을 포함할 수 있다. 몇몇 구현들에서, 사용자 입력 시스템(2135)은 마이크로폰(2125)을 포함할 수 있으며: 사용자는 마이크로폰(2125)을 통해 디바이스(2100)에 대해 음성 명령을 제공할 수 있다. 로직 시스템은 음성을 인식하고 또한 이러한 음성 명령에 따라 디바이스(2100)의 적어도 몇몇 동작들을 제어하도록 구성될 수 있다.

전력 시스템(2140)은 하나 이상의 적절한 에너지 저장 디바이스들, 예컨대 니켈-카드뮴 배터리 또는 리튬-이온 배터리를 포함할 수 있다. 전력 시스템(2140)은 콘센트로부터 전력을 수신하도록 구성될 수 있다.

도 22a는 오디오 콘텐츠 생성을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타낸 블록도이다. 시스템(2200)은 예를 들어 믹싱 스튜디오 및/또는 더빙 스테이지에서의 오디오 콘텐츠 생성을 위해 사용될 수 있다. 이 예에서, 시스템(2200)은 오디오 및 메타데이터 오서링 툴(2205)과 렌더링 툴(2210)을 포함한다. 이 구현에서, 오디오 및 메타데이터 오서링 툴(2205)과 렌더링 툴(2210)은 각각 오디오 커넥트 인터페이스들(2207 및 2212)을 포함하며, 이것은 AES/EBU, MADI, 아날로그 등을 통해 통신하도록 구성될 수 있다. 오디오 및 메타데이터 오서링 툴(2205)과 렌더링 툴(2210)은 각각 네트워크 인터페이스들(2209 및 2217)을 포함하며, 이것은 TCP/IP 또는 임의의 다른 적절한 프로토콜을 통해 메타데이터를 송수신하도록 구성될 수 있다. 인터페이스(2220)는 오디오 데이터를 스피커들로 출력하도록 구성된다.

시스템(2200)은 예를 들어 플러그인으로서 메타데이터 생성 툴(즉, 본 명세서에 기술된 패너(panner))을 실행하는, Pro Tools™ 시스템과 같은 기존의 오서링 시스템을 포함할 수 있다. 또한, 패너는 렌더링 툴(2210)에 연결된 독립형 시스템(예컨대, PC 또는믹싱 콘솔)에서 실행되거나, 렌더링 툴(2210)과 동일한 물리적 디바이스에서 실행될 수 있다. 후자의 경우에, 패너 및 렌더러는 예컨대 공유 메모리를 통한 로컬 연결을 사용할 수 있다. 또한, 패너 GUI는 태블릿 디바이스, 랩톱 등에 대한 원격지에 존재할 수 있다. 렌더링 툴(2210)은 렌더링 소프트웨어를 실행하도록 구성된 사운드 프로세서를 포함하는 렌더링 시스템으로 구성될 수 있다. 렌더링 시스템은 예를 들어, 오디오 입/출력 및 적절한 로직 시스템을 위한 인터페이스들을 포함하는 개인용 컴퓨터, 랩톱 등을 포함할 수 있다.

도 22b는 재생 환경(예컨대, 무비 시어터)에서 오디오 플레이백을 위해 사용될 수 있는 몇몇 컴포넌트들을 나타내는 블록도이다. 이 예에서, 시스템(2250)은 시네마 서버(2255) 및 렌더링 시스템(2260)을 포함한다. 시네마 서버(2255) 및 렌더링 시스템(2260)은 각각 네트워크 인터페이스들(2257 및 2262)을 포함하며, 이것은 TCP/IP 또는 임의의 다른 적절한 프로토콜을 통해 오디오 객체들을 송수신하도록 구성될 수 있다. 인터페이스(2264)는 오디오 데이터를 스피커들로 출력하도록 구성된다.

본 발명에서 기술된 구현들에 대한 여러 가지 변형들이 당업자에게는 쉽고 명백할 수 있다. 본 명세서에 규정된 일반 원리들은 본 발명의 사상 또는 범위를 일탈하지 않는 범위 내에서 다른 구현들에 적용될 수 있다. 따라서, 본 청구범위들은 여기에 나타낸 구현들로 한정되는 것으로 의도치 않으며, 본 발명, 원리들 및 여기에 개시된 신규 특징들과 일치하는 최광의 범위가 주어져야만 한다.

Claims (9)

1. 하나 이상의 오디오 객체들, 및 상기 하나 이상의 오디오 객체들 각각에 관련된 메타데이터를 포함하는 오디오 재생 데이터를 수신하는 단계; 및
   재생 환경에서의 복수의 재생 스피커들의 표시 및 상기 재생 환경 내의 각 재생 스피커의 로케이션의 표시를 포함하는 재생 환경 데이터를 수신하는 단계; 및
   각 오디오 객체에 진폭 패닝(panning) 프로세스를 적용하여 상기 오디오 객체들을 하나 이상의 스피커 급전 신호들로 렌더링(rendering)하는 단계로서, 상기 진폭 패닝 프로세스는: 각 오디오 객체에 관련된 상기 메타데이터 및 상기 재생 환경 내의 각 재생 스피커의 로케이션에 적어도 부분적으로 기초하여, 오디오 객체에 대해, 각 재생 스피커에 대응하는 스케일링 인자를 결정하는 단계를 포함하고, 각 스피커 급전 신호는 상기 재생 환경 내의 상기 재생 스피커들 중 적어도 하나에 대응하는, 상기 렌더링(rendering)하는 단계;
   를 포함하고,
   상기 각 오디오 객체에 관련된 상기 메타데이터는:
   상기 재생 환경 내에서 상기 오디오 객체의 예정된 재생 위치를 표시하는 오디오 객체 좌표들과,
   상기 진폭 패닝 프로세스가 상기 오디오 객체를 단일 스피커 급전 신호로 렌더링해야 하는지, 또는 상기 오디오 객체를 복수의 스피커 급전 신호들로 렌더링하도록 패닝 규칙들을 적용해야 하는지 여부를 표시하는 스냅 플래그(snap flag)를 포함하는, 방법.
2. 제1항에 있어서,
   상기 스냅 플래그는, 상기 진폭 패닝 프로세스가 상기 오디오 객체를 단일 스피커 급전 신호로 렌더링해야 한다고 표시하고,
   상기 진폭 패닝 프로세스는 상기 오디오 객체를, 상기 오디오 객체의 예정된 재생 위치에 가장 인접한 재생 스피커에 대응하는 스피커 급전 신호로 렌더링하는, 방법.
3. 제1항에 있어서,
   상기 스냅 플래그는, 상기 진폭 패닝 프로세스가 상기 오디오 객체를 단일 스피커 급전 신호로 렌더링해야 한다고 표시하고,
   상기 오디오 객체의 예정된 재생 위치와, 상기 오디오 객체의 예정된 재생 위치에 가장 인접한 재생 스피커 사이의 거리는 임계값을 초과하며,
   상기 진폭 패닝 프로세스는 상기 스냅 플래그를 오버라이드(override)하고, 상기 오디오 객체를 복수의 스피커 급전 신호들로 렌더링하도록 패닝 규칙들을 적용하는, 방법.
4. 제2항에 있어서,
   상기 메타데이터는 시간-가변(time-varying)이고,
   상기 재생 환경 내에서 상기 오디오 객체의 예정된 재생 위치를 표시하는 오디오 객체 좌표들은, 제1 시간(time instant)과 제2 시간에서 서로 상이하고,
   상기 제1 시간에서, 상기 오디오 객체의 예정된 재생 위치에 가장 인접한 재생 스피커는 제1 재생 스피커에 해당하고,
   상기 제2 시간에서, 상기 오디오 객체의 예정된 재생 위치에 가장 인접한 재생 스피커는 제2 재생 스피커에 해당하며,
   상기 진폭 패닝 프로세스는: 상기 오디오 객체를 상기 제1 재생 스피커에 대응하는 제1 스피커 급전 신호로 렌더링하는 것과, 상기 오디오 객체를 상기 제2 재생 스피커에 대응하는 제2 스피커 급전 신호로 렌더링하는 것, 사이에서 부드럽게 전환하는, 방법.
5. 제1항에 있어서,
   상기 메타데이터는 시간-가변이고,
   제1 시간에 상기 스냅 플래그는, 상기 진폭 패닝 프로세스가 상기 오디오 객체를 단일 스피커 급전 신호로 렌더링해야 한다고 표시하고,
   제2 시간에 상기 스냅 플래그는, 상기 진폭 패닝 프로세스가 상기 오디오 객체를 복수의 스피커 급전 신호들로 렌더링하도록 패닝 규칙들을 적용해야 한다고 표시하고,
   상기 진폭 패닝 프로세스는: 상기 오디오 객체를 상기 오디오 객체의 예정된 재생 위치에 가장 인접한 재생 스피커에 대응하는 스피커 급전 신호로 렌더링하는 것과, 상기 오디오 객체를 복수의 스피커 급전 신호들로 렌더링하도록 패닝 규칙들을 적용하는 것, 사이에서 부드럽게 전환하는, 방법.
6. 장치로서,
   인터페이스 시스템; 및 로직 시스템을 포함하고,
   상기 장치는 청구항 제1항 내지 제5항 중 어느 한 항의 방법을 수행하도록 구성되는, 장치.
7. 컴퓨터에서 실행될 때, 청구항 제1항 내지 제5항 중 어느 한 항의 방법을 수행하기 위한 실행가능한 명령어들을 포함하는 컴퓨터 프로그램 제품.
8. 컴퓨팅 장치에서 구현될 때, 청구항 제1항 내지 제5항 중 어느 한 항의 방법의 단계들을 수행하고, 프로세서에서 실행하도록 구성되는 소프트웨어 프로그램.
9. 컴퓨팅 장치에서 구현될 때, 청구항 제1항 내지 제5항 중 어느 한 항의 방법의 단계들을 수행하고, 프로세서에서 실행하도록 구성되는 소프트웨어 프로그램을 포함하는 저장 매체.

Images