KR20130132971A

KR20130132971A - 몰입형 오디오 렌더링 시스템

Info

Publication number: KR20130132971A
Application number: KR1020137020526A
Authority: KR
Inventors: 알란 디 크래머; 제임스 트라세이; 테미스 캇시아노스
Original assignee: 디티에스 엘엘씨
Priority date: 2011-01-04
Filing date: 2012-01-03
Publication date: 2013-12-05
Also published as: EP2661907A1; KR101827036B1; US20160044431A1; US9088858B2; JP5955862B2; US20120170757A1; EP2661907A4; EP2661907B1; EP2661907B8; CN103329571A; WO2012094338A1; US20120170756A1; US10034113B2; WO2012094335A1; US9154897B2; JP2014505427A; CN103329571B

Abstract

심도 프로세싱 시스템은 몰입적 효과를 달성하기 위해 스테레오 스피커를 사용할 수 있다. 심도 프로세싱 시스템은 청취자의 정중면을 따라 오디오를 렌더링하기 위해 위상 및/또는 진폭 정보를 유리하게 조작할 수 있어, 다양한 심도에 따라 오디오를 렌더링할 수 있게 된다. 일 실시예에서, 심도 프로세싱 시스템은 시간 경과에 따라 변할 수 있는 심도를 추론하기 위해 좌측 및 우측 스테레오 입력 신호들을 분석한다. 그 다음에 심도 프로세싱 시스템은 오디오 신호들에 이미 존재하는 심도의 감지를 인핸스먼트시키기 위해 시간 경과에 따라 오디오 신호들 간의 위상 및/또는 진폭 비상관화를 변경시킬 수 있어, 몰입적 심도 효과를 발생시킬 수 있게 된다.

Description

몰입형 오디오 렌더링 시스템{IMMERSIVE AUDIO RENDERING SYSTEM}

관련 출원

본 출원은 미국 가출원 번호 제61/429,600호(발명의 명칭: "Immersive Audio Rendering System", 출원일: 2011년 1월 4일)에 대해 35 U.S.C. § 119(e) 하의 우선권을 주장하는바, 상기 가출원의 개시내용은 그 전체가 참조로 본 명세서에 통합된다.

증가하는 기술 성능 및 사용자 선호도는 광범위한 다양한 오디오 녹음 및 재생 시스템(audio recording and playback systems)을 가져오고 있다. 오디오 시스템은 분리된 좌측 및 우측 녹음/재생 채널들을 구비한 보다 간단한 스테레오 시스템(stereo systems)을 넘어, 일반적으로 서라운드 사운드 시스템(surround sound systems)으로 지칭되는 것으로 발전하고 있다. 서라운드 사운드 시스템들은, 일반적으로 청취자 뒤에 위치한 사운드 소스들(sound sources)을 비롯하여 청취자 주변에 배치된 복수의 공간 위치들로부터 나오거나 나오는 것과 같은 사운드 소스들을 제공함으로써, 일반적으로 청취자에게 더욱 실감나는 재생 경험을 제공하도록 설계된다.

서라운드 사운드 시스템은, 일반적으로 청취자 전방에서 사운드를 발생시키도록 구성되어 있는, 중앙 채널, 적어도 하나의 좌측 채널, 및 적어도 하나의 우측 채널을 흔히 포함한다. 서라운드 사운드 시스템들은 또한, 일반적으로 청취자 뒤에서 사운드를 발생시키도록 구성되어 있는 적어도 하나의 좌측 서라운드 소스 및 적어도 하나의 우측 서라운드 소스를 포함한다. 서라운드 사운드 시스템들은 또한, 저주파 사운드의 재생을 개선시키기 위해, 때때로 서브우퍼 채널(subwoofer channel)로 지칭되는 저주파 효과(Low Frequency Effects, LFE) 채널을 포함할 수 있다. 하나의 특정 예로서, 중앙 채널, 좌측 전방 채널, 우측 전방 채널, 좌측 서라운드 채널, 우측 서라운드 채널, 그리고 LFE 채널을 구비한 서라운드 사운드 시스템은 5.1 서라운드 시스템으로 지칭될 수 있다. 마침표 앞에 있는 숫자 5는 존재하는 무베이스 스피커(non-bass speakers)의 수를 표시하고, 마침표 뒤에 있는 숫자 1은 한 개의 서브우퍼의 존재를 표시한다.

본 개시내용을 개괄할 목적으로, 본 발명들의 특정 실시형태, 장점 및 신규한 특징이 본 명세서에서 설명된다. 본 명세서에서 설명되는 본 발명의 임의의 특정 실시예에 따라 이러한 장점 모두가 반드시 달성될 필요는 없는 것으로 이해해야 한다. 따라서, 본 명세서에서 개시되는 발명들은, 본 명세서에서 개시 또는 시사될 수 있는 다른 장점들을 반드시 달성할 필요 없이 본 명세서에서 개시된 하나의 장점 또는 장점들의 그룹을 달성하거나 또는 최대한 활용하는 방식으로 구현되거나 수행될 수 있다.

특정 실시예들에서, 오디오 출력 신호에서의 심도(depth)를 렌더링(rendering)하는 방법이 제공되며, 이 방법은 복수의 오디오 신호들을 수신하는 단계, 제 1 시간에 오디오 신호들로부터 제 1 심도 조종 정보(depth steering information)를 식별하는 단계, 그리고 제 2 시간에 오디오 신호들로부터 후속 심도 조종 정보를 식별하는 단계를 포함한다. 추가적으로, 이 방법은 제1의 비상관된 오디오 신호들(decorrelated audio signals)을 발생시키기 위해 제 1 심도 조종 정보에 적어도 부분적으로 의존하는 제1의 양만큼 복수의 오디오 신호들을 하나 이상의 프로세서들에 의해 비상관시키는 단계를 포함할 수 있다. 이 방법은 또한, 제1의 비상관된 오디오 신호들을 재생을 위해 청취자에게 출력하는 단계를 포함할 수 있다. 추가적으로, 이 방법은, 상기 출력 단계에 후속하여, 제1의 양과는 다른 제2의 양만큼 복수의 오디오 신호들을 상관시키는 단계를 포함할 수 있고, 여기서 제2의 양은 제2의 비상관된 오디오 신호들을 발생시키기 위해 후속 심도 조종 정보에 적어도 부분적으로 의존할 수 있다. 더욱이, 이 방법은 제2의 비상관된 오디오 신호들을 재생을 위해 청취자에게 출력하는 단계를 포함할 수 있다.

다른 실시예들에서, 오디오 출력 신호에서의 심도를 렌더링하는 방법이 제공되며, 이 방법은 복수의 오디오 신호들을 수신하는 단계, 시간 경과에 따라 변하는 심도 조종 정보를 식별하는 단계, 복수의 비상관된 오디오 신호들을 발생시키기 위해 심도 조종 정보에 적어도 부분적으로 근거하여 복수의 오디오 신호들을 시간 경과에 따라 동적으로 비상관시키는 단계, 그리고 복수의 비상관된 오디오 신호들을 재생을 위해 청취자에게 출력하는 단계를 포함할 수 있다. 적어도 상기 비상관시키는 단계 또는 이 방법의 임의의 다른 서브세트는 전자 하드웨어(electronic hardware)에 의해 구현될 수 있다.

일부 실시예들에서, 오디오 출력 신호에서의 심도를 렌더링하기 위한 시스템이 제공되며, 이 시스템은 둘 이상의 오디오 신호들을 수신할 수 있으며 둘 이상의 오디오 신호들과 관련된 심도 정보를 식별할 수 있는 심도 추정기(depth estimator), 그리고 하나 이상의 프로세서들을 포함하는 심도 렌더러(depth renderer)를 포함할 수 있다. 심도 렌더러는 복수의 비상관된 오디오 신호들을 발생시키기 위해 심도 정보에 적어도 부분적으로 근거하여 둘 이상의 오디오 신호들을 시간 경과에 따라 동적으로 비상관시킬 수 있고, 그리고 복수의 비상관된 오디오 신호들을 출력(예를 들어, 재생을 위해 청취자에게 출력 및/또는 다른 오디오 프로세싱 컴포넌트에 출력)할 수 있다.

오디오 출력 신호에서 심도를 렌더링하는 방법의 다양한 실시예들이 제공되며, 이들은 둘 이상의 오디오 신호들을 갖는 입력 오디오를 수신하는 단계, 입력 오디오와 관련된 심도 정보를 추정하는 단계(여기서 심도 정보는 시간 경과에 따라 변할 수 있음), 그리고 추정된 심도 정보에 근거하여 하나 이상의 프로세서들에 의해 오디오를 동적으로 향상(enhance)시키는 단계를 포함한다. 이러한 향상은 시간 경과에 따라 심도 정보에서의 변화에 근거하여 동적으로 변할 수 있다. 더욱이, 이 방법은 향상된 오디오를 출력하는 것을 포함할 수 있다.

여러 실시예들에서, 오디오 출력 신호에서 심도를 렌더링하기 위한 시스템이 제공되며, 이 시스템은, 둘 이상의 오디오 신호들을 갖는 입력 오디오를 수신할 수 있으며 입력 오디오와 관련된 심도 정보를 추정할 수 있는 심도 추정기; 그리고 하나 이상의 프로세서들을 갖는 인핸스먼트 컴포넌트(enhancement component)를 포함할 수 있다. 인핸스먼트 컴포넌트는 추정된 심도 정보에 근거하여 오디오를 동적으로 향상시킬 수 있다. 이러한 향상은 시간 경과에 따라 심도 정보에서의 변화에 근거하여 동적으로 변할 수 있다.

특정 실시예들에서, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트(perspective enhancement)를 조절(modulating)하는 방법이 제공되며, 이 방법은 좌측 및 우측 오디오 신호들을 수신하는 단계를 포함하고, 여기서 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 갖는다. 이 방법은 또한, 좌측 및 우측 오디오 신호들에서의 차이 정보(difference information)를 계산하는 것, 좌측 및 우측 출력 신호들을 생성하기 위해 좌측 및 우측 오디오 신호들에서의 차이 정보에 적어도 하나의 퍼스펙티브 필터(perspective filter)를 적용하는 것, 그리고 좌측 및 우측 출력 신호들에 이득(gain)을 적용하는 것을 포함할 수 있다. 이러한 이득의 값은 계산된 차이 정보에 적어도 부분적으로 근거할 수 있다. 적어도 상기 이득을 적용하는 것(또는 방법 전체 또는 방법의 서브세트)은 하나 이상의 프로세서들에 의해 수행된다.

일부 실시예들에서, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템이 제공되며, 이 시스템은, 적어도: 좌측 및 우측 오디오 신호들을 수신하는 것(여기서, 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 가짐) 및 좌측 및 우측 오디오 신호들로부터 차이 신호(difference signal)를 획득하는 것을 수행함으로써, 복수의 오디오 신호들을 분석할 수 있는 신호 분석 컴포넌트를 포함한다. 이 시스템은 또한, 하나 이상의 물리적 프로세서들을 갖는 서라운드 프로세서를 포함할 수 있다. 서라운드 프로세서는, 좌측 및 우측 출력 신호들을 생성하기 위해 차이 신호에 적어도 하나의 퍼스펙티브 필터를 적용할 수 있고, 여기서 적어도 하나의 퍼스펙티브 필터의 출력은 계산된 차이 정보에 적어도 부분적으로 근거하여 조절될 수 있다.

특정 실시예들에서, 명령어들이 저장되어 있는 비-일시적 물리적 컴퓨터 저장장치가 제공되며, 이 명령어들은 하나 이상의 프로세서들로 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 동작들을 구현할 수 있다. 이러한 동작들은: 좌측 및 우측 오디오 신호들을 수신하는 동작(여기서, 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 가짐), 좌측 및 우측 오디오 신호들에서의 차이 정보를 계산하는 동작, 좌측 및 우측 출력 신호들을 생성하기 위해 좌측 및 우측 오디오 신호들 각각에 적어도 하나의 퍼스펙티브 필터를 적용하는 동작, 그리고 계산된 차이 정보에 적어도 부분적으로 근거하여 상기 적어도 하나의 퍼스펙티브 필터의 적용을 조절하는 동작을 포함할 수 있다.

특정 실시예들에서, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템이 제공되며, 이 시스템은, 좌측 및 우측 오디오 신호들을 수신하기 위한 수단(여기서, 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 가짐), 좌측 및 우측 오디오 신호들에서의 차이 정보를 계산하기 위한 수단, 좌측 및 우측 출력 신호들을 생성하기 위해 좌측 및 우측 오디오 신호들 각각에 적어도 하나의 퍼스펙티브 필터를 적용하기 위한 수단, 그리고 계산된 차이 정보에 적어도 부분적으로 근거하여 상기 적어도 하나의 퍼스펙티브 필터의 적용을 조절하기 위한 수단을 포함한다.

도면 전체에 걸쳐, 참조 번호들이 그 참조되는 요소들 간의 대응성을 표시하기 위해 반복 사용될 수 있다. 도면들은 본 명세서에 설명되는 발명들의 실시예들을 예시하기 위해 제공되는 것일 뿐 본 발명의 범위를 한정하기 위해 제공되는 것이 아니다.

도 1a는 심도 프로세싱 시스템의 실시예를 사용하는 예시적인 심도 렌더링 시나리오를 나타낸다.
도 1b, 도 2a, 및 도 2c는 심도 렌더링 알고리즘의 실시예와 관련된 청취 환경의 실시형태들을 나타낸다.
도 3a 내지 도 3d는 도 1의 심도 프로세싱 시스템의 예시적 실시예들을 나타낸다.
도 3e는 본 명세서에서 설명되는 심도 프로세싱 시스템들 중 어느 하나에 포함될 수 있는 크로스토크 제거기의 실시예를 나타낸다.
도 4는 본 명세서에서 설명되는 심도 프로세싱 시스템 중 어느 하나에 의해 구현될 수 있는 심도 렌더링 프로세스의 실시예를 나타낸다.
도 5는 심도 추정기의 실시예를 나타낸다.
도 6a 및 도 6b는 심도 렌더러의 실시예들을 나타낸다.
도 7a, 도 7b, 도 8a 및 도 8b는 도 6a 및 도 6b에 도시된 예시적 심도 렌더러들과 관련된 예시적인 폴-제로 및 위상-지연 플롯들을 나타낸다.
도 9는 예시적인 주파수-영역 심도 추정 프로세스를 나타낸다.
도 10a 및 도 10b는 심도를 추정하기 위해 사용될 수 있는 비디오 프레임들의 예들을 나타낸다.
도 11은 비디오 데이터로부터 심도를 추정하기 위해 사용될 수 있는 심도 추정 및 렌더링 알고리즘의 실시예를 나타낸다.
도 12는 비디오 데이터에 근거하는 예시적인 심도의 분석을 나타낸다.
도 13 및 도 14는 서라운드 프로세서의 실시예들을 나타낸다.
도 15 및 도 16은 가상 서라운드 효과를 발생시키기 위해 서라운드 프로세서들에 의해 사용될 수 있는 퍼스펙티브 커브의 실시예들을 나타낸다.

I. 소개( Introduction )

서라운드 사운드 시스템들은, 청취자 주위에 배치된 복수의 스피커들로부터의 사운드를 투사(projecting)시킴으로써 몰입적 오디오 환경(immersive audio environments)을 생성하려 한다. 서라운드 사운드 시스템은 오디오 매니아들에 의해, 전형적으로 스테레오 시스템과 같은 보다 적은 수의 스피커들을 갖는 시스템보다 선호된다. 그러나, 스테레오 시스템들은 보다 적은 수의 스피커들을 갖기 때문에 보통은 가격이 더 싸며, 이에 따라 스테레오 스피커들로 서라운드 사운드 효과에 근사시키려는 많은 시도들이 있어 왔다. 이러한 시도들에도 불구하고, 둘 이상의 스피커들을 갖는 서라운드 사운드 환경이 스테레오 시스템들보다 종종 더 몰입적 환경을 제공한다.

본 개시내용은, 물론 다른 스피커 구성들도 가능하지만은, 몰입적 효과를 달성하기 위해 스테레오 스피커들을 사용하는 심도 프로세싱 시스템을 설명한다. 심도 프로세싱 시스템은 청취자의 정중면(median plane)을 따라 오디오를 렌더링하기 위해 위상 및/또는 진폭 정보를 유리하게 조작할 수 있고, 이에 따라 청취자를 위해 다양한 심도로 오디오를 렌더링할 수 있게 된다. 일 실시예에서, 심도 프로세싱 시스템은 시간 경과에 따라 변할 수 있는 심도를 추론(infer)하기 위해 좌측 및 우측 스테레오 입력 신호들을 분석한다. 그 다음에 심도 프로세싱 시스템은 시간 경과에 따라 오디오 신호들 간의 위상 및/또는 진폭 비상관화를 변경시킬 수 있고, 이에 따라 몰입적 심도 효과를 발생시킬 수 있게 된다.

본 명세서에서 설명되는 오디오 시스템들의 특징들은, 둘 이상의 스피커들을 사용하여 몰입적 오디오 효과를 발생시키기 위해 전자 디바이스, 예컨대, 전화기, 텔레비젼, 랩탑, 다른 컴퓨터, 휴대용 미디어 플레이어, 차량 스테레오 시스템 등에서 구현될 수 있다.

Ⅱ. 오디오 심도 추정 및 렌더링 실시예들( Audio Depth Estimation and Rendering Embodiments )

도 1a는 몰입적 오디오 환경(100)의 실시예를 나타낸다. 제시된 몰입적 오디오 환경(100)은 심도 프로세싱 시스템(110)을 포함하며, 이 심도 프로세싱 시스템(110)은 두 개(또는 그 이상)의 채널 오디오 입력을 수신하여 좌측 및 우측 스피커들(112, 114)에 두 개의 채널 오디오 출력들을 발생시킨다(선택에 따라서는, 서브우퍼(116)를 위한 제3 출력이 있음). 유리하게, 특정 실시예들에서, 심도 프로세싱 시스템(110)은 2-채널 오디오 입력 신호들을 분석하여 이러한 신호들에 대한 심도 정보를 추정 또는 추론하게 된다. 이러한 심도 정보를 사용하여, 심도 프로세싱 시스템(110)은 좌측 및 우측 스테레오 스피커들(112, 114)에 제공되는 오디오 출력 신호들에서 심도의 감지(sense)를 발생시키기 위해 오디오 입력 신호들을 조정할 수 있다. 결과적으로, 좌측 및 우측 스피커들은 청취자(102)에 대해 몰입적 사운드 필드(immersive sound field)(도면에서 곡선으로 제시됨)를 출력할 수 있다. 이러한 몰입적 사운드 필드는 청취자(102)에 대해 심도의 감지를 발생시킬 수 있다.

심도 프로세싱 시스템(110)에 의해 제공되는 몰입적 사운드 필드 효과는 서라운드 사운드 스피커들의 몰입적 효과보다 더 효과적으로 기능할 수 있다. 따라서, 서라운드 시스템들에 근사화되는 것으로 고려된다기보다는 오히려, 심도 프로세싱 시스템(110)은 기존의 서라운드 시스템들보다 우위의 혜택을 제공할 수 있다. 특정 실시예들에서 제공되는 한 가지 이점은, 몰입적 사운드 필드 효과가 상대적으로 최적의 감상 위치(sweet-spot)와는 무관할 수 있다는 것인바, 이것은 청취 공간 전체에 걸쳐 몰입적 효과를 제공할 수 있다. 그러나, 일부 구현예들에서는, 청취자(102)가 스피커들 사이에 대략 등거리에서 두 개의 스피커들과 실질적으로 정삼각형(도면에서 점선(140)으로 제시됨)을 형성하는 각도에 위치함으로써, 몰입적 효과의 상승이 달성될 수 있다.

도 1b는 심도 렌더링의 실시예들과 관련된 청취 환경(150)의 실시형태를 나타낸다. 청취자(102)와 관련된 두 개의 기하학적 평면들(160, 170)에 있어서의 청취자(102)가 제시되어 있다. 이러한 평면들은 정준면(median plane) 또는 시상면(saggital plane)(160)과 전두면(frontal plane) 또는 관상면(coronal plane)(170)을 포함한다. 삼차원 오디오 효과는 일부 실시예들에서 청취자(102)의 정준면을 따라 오디오를 렌더링함으로써 유익하게 획득될 수 있다.

예시적인 좌표계(180)가 참조를 위해 청취자(102) 옆에 제시되어 있다. 이러한 좌표계(180)에서, 정준면(160)은 y-z 평면에 있고, 관상면(170)은 x-y 평면에 있다. x-y 평면은 또한 청취자(102)를 향하고 있는 두 개의 스테레오 스피커들 사이에 형성될 수 있는 평면에 대응한다. 좌표계(180)의 z-축은 이러한 평면에 대한 법선(normal line)일 수 있다. 정준면(160)을 따라 오디오를 렌더링하는 것은 일부 구현예들에서 좌표계(180)의 z-축을 따라 오디오를 렌더링하는 것으로 고려될 수 있다. 따라서, 예를 들어, 심도 효과는 정준면을 따라 심도 프로세싱 시스템(110)에 의해 렌더링될 수 있어, 일부 사운드들은 정준면(160)을 따라 청취자에게 더 가깝게 소리가 나게 되고 일부는 정준면(160)을 따라 청취자(102)로부터 더 멀게 소리가 나게 된다.

심도 프로세싱 시스템(110)은 또한 정준면(160) 및 관상면(170) 모두를 따라 사운드들을 렌더링할 수 있다. 일부 실시예들에서 삼차원으로 렌더링을 행하는 능력은, 오디오 장면에 몰입하게 되는 청취자(102)의 감지를 증진시킬 수 있고, 또한 삼차원 비디오의 착시효과를 높일 수 있다(이들 모두가 함께 경험되는 경우).

청취자가 심도를 지각(perception)하는 것은, 도 2a 및 도 2b에 도시된 예시적인 사운드 소스 시나리오들(200)에 의해 시각화될 수 있다. 도 2a에서, 사운드 소스(252)는 청취자(202)로부터 멀리 배치되어 있고, 반면 도 2b에서, 사운드 소스(252)는 청취자(202)로부터 상대적으로 더 가깝게 배치되어 있다. 사운드 소스는 전형적으로 양쪽 귀에 의해 지각되는바, 사운드 소스(252)에 더 가까이 있는 귀는 전형적으로 다른 귀보다 먼저 사운드를 듣게 된다. 한쪽 귀로부터 다른 쪽 귀로의 사운드 지각에서의 지연은 두 귀 사이의 시간 지연(Interaural Time Delay, ITD)으로서 고려될 수 있다. 더욱이, 사운드 소스의 강도는 더 가까이 있는 귀에 대해 더 클 수 있고, 이것은 결과적으로 두 귀 사이의 강도 차이(Interaural Intensity Difference, IID)를 일으킨다.

도 2a 및 도 2b에서, 사운드 소스(252)로부터 청취자(102)의 각각의 귀에 이르도록 도시된 라인들(272, 274)은 끼인각(included angle)을 형성한다. 도 2a 및 도 2b에 제시된 바와 같이, 이 각도는 멀리 있을 때 더 작고 사운드 소스(252)가 더 가까이 있을 때는 더 커진다. 사운드 소스(252)가 청취자(102)로부터 더 멀리 있을수록, 사운드 소스(252)는 점점 더 0도의 끼인각을 갖는 포인트 소스(point source)에 근사하게 된다. 따라서, 좌측 및 우측 오디오 신호들은 상대적으로 위상이 동일할 수 있어(in-phase) 원거리 사운드 소스(252)를 나타낼 수 있고, 이러한 신호들은 상대적으로 위상이 다를 수 있어(out of phase) 근거리 사운드 소스(252)를 나타낼 수 있다(청취자(102)에 대한 도달 방위각(azimuthal arrival angle)은 0이 아니라고 가정함, 따라서 사운드 소스(252)는 청취자 바로 앞에 있지 않다고 가정함). 따라서, 원거리 소스(252)의 ITD 및 IID는 근거리 소스(252)의 ITD 및 IID보다 상대적으로 더 작을 수 있다.

두 개의 스피커들을 가지고 있기 때문에 스테레오 녹음은, 청취자(102)에 대한 사운드 소스(252)의 심도를 추론하기 위해 분석될 수 있는 정보를 포함할 수 있다. 예를 들어, 좌측 및 우측 스테레오 채널들 간의 ITD 및 IID 정보는 이들 두 개의 채널들 간의 위상 및/또는 진폭 비상관화로서 나타내질 수 있다. 두 개의 채널들이 비상관되면 될수록, 사운드 필드는 더 넓어(spacious)질 수 있으며, 그 반대의 경우도 가능하다. 심도 프로세싱 시스템(110)은 청취자(102)의 정중면(160)을 따라 오디오를 렌더링하기 위해 이러한 위상 및/또는 진폭 비상관화를 유리하게 조작할 수 있고, 이에 따라 다양한 심도에 따른 오디오 렌더링이 가능하게 된다. 일 실시예에서, 심도 프로세싱 시스템(110)은 시간 경과에 따라 변할 수 있는 심도를 추론하기 위해 좌측 및 우측 스테레오 입력 신호들을 분석한다. 그 다음에 심도 프로세싱 시스템(110)은 심도의 이러한 감지를 발생시키기 위해 시간 경과에 따라 입력 신호들 간의 위상 및/또는 진폭 비상관화를 변경시킬 수 있다.

도 3a 내지 도 3d는 심도 프로세싱 시스템(110)의 보다 더 상세한 실시예들을 나타낸다. 특히, 도 3a는 스테레오 및/또는 비디오 입력들에 근거하여 심도 효과를 렌더링하는 심도 프로세싱 시스템(310A)을 나타낸다. 도 3b는 서라운드 사운드 및/또는 비디오 입력들에 근거하여 심도 효과를 발생시키는 심도 프로세싱 시스템(310B)을 나타낸다. 도 3c에서, 심도 프로세싱 시스템(310C)은 오디오 객체 정보(audio object information)를 사용하여 심도 효과를 발생시킨다. 도 3d는 도 3a와 유사하며, 차이점은 추가적인 크로스토크 제거 컴포넌트(crosstalk cancellation component)가 제공된다는 것이다. 이러한 심도 프로세싱 시스템들(310) 각각은 앞서 설명된 심도 프로세싱 시스템(110)의 특징들을 구현할 수 있다. 더욱이, 제시된 컴포넌트들 각각은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.

구체적으로 도 3a를 참조하면, 심도 프로세싱 시스템(310A)은 좌측 및 우측 입력 신호들을 수신하는바, 이 신호들은 심도 추정기(320a)에 제공된다. 심도 추정기(320a)는 두 개의 신호들에 의해 나타내어지는 오디오의 심도를 추정하기 위해 두 개의 신호들을 분석할 수 있는 신호 분석 컴포넌트의 예이다. 심도 추정기(320a)는 이러한 심도 추정에 근거하여 심도 제어 신호들을 발생시킬 수 있는바, 심도 렌더러(330a)는 이것을 사용해 두 개의 채널들 간의 위상 및/또는 진폭 비상관화(예를 들어, ITD 및 IID 차이들)를 강조할 수 있다. 심도-렌더링된 출력 신호들은 제시된 실시예에서 선택적인 서라운드 프로세싱 모듈(340a)에 제공되는바, 선택에 따라서 이것은 사운드 스테이지(sound stage)를 확장(broaden)시킬 수 있고, 이에 따라 심도의 감지를 증진시킬 수 있다.

특정 실시예들에서, 심도 추정기(320a)는 좌측 및 우측 입력 신호들에서의 차이 정보를 분석하는바, 이것은 예를 들어, L-R 신호를 계산함으로써 행해진다. L-R 신호의 크기(magnitude)는 두 개의 입력 신호들에서의 심도 정보를 반영할 수 있다. 도 2a 및 도 2b에 대해 앞서 설명된 바와 같이, L 및 R 신호들은 사운드가 청취자에게 더 가까워짐에 따라 위상이 더 달라지게 될 수 있다. 따라서, L-R 신호에서의 더 커진 크기는 L-R 신호의 더 작은 크기보다 더 가까워지는 신호들을 반영할 수 있다.

심도 추정기(320a)는 또한, 두 개의 신호들 중 어느 신호가 우세한 신호인지를 결정하기 위해 개별적인 좌측 및 우측 신호들을 분석할 수 있다. 하나의 신호에서의 우세(dominance)는, 우세한 채널을 강조하기 위해 그리고 이에 따라 심도를 강조하기 위해 ITD 및/또는 IID 차이들을 어떻게 조정해야 할지에 관한 실마리(cules)를 제공할 수 있다. 따라서, 일부 실시예들에서, 심도 추정기(320a)는 다음과 같은 제어 신호들, 즉 L-R, L, R, 그리고 또한 선택에 따라서는 L+R 중 일부 또는 모두를 발생시킨다. 심도 추정기(320a)는 (아래에서 설명되는) 심도 렌더러(330a)에 의해 적용되는 필터 특성들을 조정하기 위해 이러한 제어 신호들을 사용할 수 있다.

일부 실시예들에서, 심도 추정기(320a)는 또한, 앞서 설명된 오디오-기반 심도 분석 대신에 또는 이에 추가하여, 비디오 정보에 근거하여 심도 정보를 결정할 수 있다. 심도 추정기(320a)는 3-차원 비디오로부터 심도 정보를 합성할 수 있거나, 또는 2-차원 비디오로부터 심도 맵(depth map)을 발생시킬 수 있다. 이러한 심도 정보로부터, 심도 추정기(320a)는 앞서 설명된 제어 신호들과 유사한 제어 신호들을 발생시킬 수 있다. 비디오-기반 추정은 도 10a 내지 도 12를 참조하여 아래에서 보다 더 상세히 설명된다.

심도 추정기(320a)는 샘플 블록 단위로 동작할 수 있거나, 또는 샘플 단위로 동작할 수 있다. 설명의 편의를 위해, 본 명세서의 나머지 부분에서는 블록-기반의 구현예들이 언급되지만, 유사한 구현예들이 샘플 단위로 구현될 수 있음을 이해해야 한다. 일 실시예에서, 심도 추정기(320a)에 의해 발생된 제어 신호들은, 샘플들의 블록을 포함하는바, 예를 들어, L-R 샘플들의 블록, L, R, 및/또는 L+R 샘플들의 블록, 등을 포함한다. 더욱이, 심도 추정기(320a)는 L-R, L, R, 또는 L+R 신호들의 엔벨로프(envelope)를 평활화 및/또는 검출할 수 있다. 따라서, 심도 추정기(320a)에 의해 발생된 제어 신호들은, 다양한 신호들의 평활화된 버전 및/또는 엔벨로프를 나타내는 샘플들의 하나 이상의 블록들을 포함할 수 있다.

이러한 제어 신호들을 사용하여, 심도 추정기(320a)는 심도 렌더러(330a)에 의해 구현되는 하나 이상의 심도 렌더링 필터들의 필터 특성들을 조작할 수 있다. 심도 렌더러(330a)는 심도 추정기(320a)로부터 좌측 및 우측 입력 신호들을 수신할 수 있고, 하나 이상의 심도 렌더링 필터들을 입력 오디오 신호들에 적용할 수 있다. 심도 렌더러(330a)의 심도 렌더링 필터(들)는 좌측 및 우측 입력 신호들을 선택적으로 상관 및 비상관시킴으로써 심도의 감지를 발생시킬 수 있다. 심도 렌더링 모듈은 심도 추정기(320a) 출력에 근거하여 채널들 간의 위상 및/또는 이득 차이들을 조작함으로써 이러한 상관화 및 비상관화를 수행할 수 있다. 이러한 비상관화는 출력 신호들의 부분 비상관화 또는 전체 비상관화일 수 있다.

유리하게, 특정 실시예들에서, 입력 신호들로부터 획득된 제어 또는 조종 정보에 근거하여 심도 렌더러(330a)에 의해 수행되는 동적 비상관화는 단지 스테레오 공간감(stereo spaciousness)을 발생시키기보다는 오히려 심도의 인상(impression)을 발생시킨다. 따라서, 청취자는 사운드 소스를 청취자를 향해 또는 청취자로부터 멀리 동적으로 움직이는 스피커들로부터 나오는 것으로 지각할 수 있다. 비디오와 결합되는 경우, 비디오 내의 객체들에 의해 나타내어지는 사운드 소스들은 비디오 내의 객체들과 함께 움직이는 것처럼 보일 수 있고, 이것은 결과적으로 3-D 오디오 효과를 발생시킬 수 있다.

제시된 실시예에서, 심도 렌더러(330a)는 심도-렌더링된 좌측 및 우측 출력들을 서라운드 프로세서(340a)에 제공한다. 서라운드 프로세서(340a)는 사운드 스테이지를 확장시킬 수 있고, 이에 따라 심도 렌더링 효과의 최적의 감상 위치를 넓힐 수 있다. 일 실시예에서, 서라운드 프로세서(340a)는, 미국 특허번호 제7,492,907호(대리인 관리번호 SRSLABS.100C2)(이 특허문헌의 개시내용은 그 전체가 참조로 본 명세서에 통합됨)에 설명된 하나 이상의 머리전달함수(head-related transfer function)들 또는 퍼스펙티브 커브(perspective curve)들을 사용하여 사운드 스테이지를 확장시킨다. 일 실시예에서, 서라운드 프로세서(340a)는 심도 추정기(320a)에 의해 발생되는 제어 또는 조종 신호들 중 하나 이상의 신호에 근거하여 사운드-스테이지 확장 효과를 조절한다. 결과적으로, 사운드 스테이지는 검출된 심도의 양에 따라 유리하게 확장될 수 있고, 그럼으로써 심도 효과를 더 향상시킬 수 있다. 서라운드 프로세서(340a)는 좌측 및 우측 출력 신호들을 재생을 위해 청취자에게 출력할 수 있다(또는 후속 프로세싱을 위해 출력할 수 있음, 예를 들어, 도 3d 참조). 그러나, 서라운드 프로세서(340a)는 선택적인 것이며, 일부 실시예들에서는 생략될 수 있다.

도 3a의 심도 프로세싱 시스템(310A)은 둘 이상의 오디오 입력들을 프로세싱하도록 구성될 수 있다. 예를 들어, 도 3b는 5.1 서라운드 사운드 채널 입력들을 프로세싱하는 심도 프로세싱 시스템(310B)의 실시예를 도시한다. 이러한 입력들은, 좌측 전방(Left front)(L), 우측 전방(Right front)(R), 중앙(Center)(C), 좌측 서라운드(Left Surround)(LS), 우측 서라운드(Right Surround)(RS), 및 서브우퍼(Subwoofer)(S) 입력들을 포함한다.

심도 추정기(320b), 심도 렌더러(320b), 및 서라운드 프로세서(340b)는, 심도 추정기(320a) 및 심도 렌더러(320a)와 동일한 또는 실질적으로 동일한 기능을 각각 수행할 수 있다. 심도 추정기(320b) 및 심도 렌더러(320b)는 LS 및 RS 신호들을 개별적인 L 및 R 신호들로서 다룰 수 있다. 따라서, 심도 추정기(320b)는 L 및 R 신호들에 근거하여 제 1 심도 추정/제어 신호들을 발생시킬 수 있고, LS 및 RS 신호들에 근거하여 제 2 심도 추정/제어 신호들을 발생시킬 수 있다. 심도 프로세싱 시스템(310B)은 심도-프로세싱된 L 및 R 신호들 및 개별적인 심도-프로세싱된 LS 및 RS 신호들을 출력할 수 있다. C 및 S 신호들은 출력들에 전해질 수 있거나, 또는 이러한 신호들에도 또한 인핸스먼트들이 적용될 수 있다.

서라운드 사운드 프로세서(340b)는 심도-렌더링된 L, R, LS, 및 RS 신호들(뿐만 아니라 선택에 따라서는 C 및/또는 S 신호들)을 두 개의 L 및 R 출력들로 다운믹스(downmix)할 수 있다. 대안적으로, 서라운드 사운드 프로세서(340b)는 전체 L, R, C, LS, RS, 및 S 출력들을 출력할 수 있거나, 이들의 어떤 다른 서브세트를 출력할 수 있다.

도 3c를 참조하면, 심도 프로세싱 시스템(310C)의 또 다른 실시예가 제시된다. 별개의 오디오 채널들 수신하는 것이 아니라, 제시된 실시예에서, 심도 프로세싱 시스템(310C)은 오디오 객체(audio object)들을 수신한다. 이러한 오디오 객체들은 오디오 에센스(audio essence)(예컨대, 사운드들) 및 객체 메타데이터(object metadata)를 포함한다. 오디오 객체들의 예들은 (사람, 기계, 동물, 환경적 영향 등과 같은) 비디오 내의 객체들에 대응하는 사운드 소스들 또는 객체들을 포함할 수 있다. 객체 메타데이터는 오디오 객체들의 위치에 관한 위치 정보를 포함할 수 있다. 따라서, 일 실시예에서 심도 추정은 필요 없는데, 이는 청취자에 대한 객체의 심도가 오디오 객체들 내에 명시적으로 인코딩되기 때문이다. 심도 추정 모듈 대신에, 필터 변환 모듈(320c)이 제공되는바, 이것은 객체 위치 정보에 근거하여 적절한 심도-렌더링 필터 파라미터들(예를 들어, 계수(coefficient)들 및/또는 지연(delay)들)을 발생시킬 수 있다. 그 다음에 심도 렌더러(330c)는 계산된 필터 파라미터들에 근거하여 동적 비상관화를 수행하기 위해 진행할 수 있다. 선택적인 서라운드 프로세서(340c)가 또한 제공되는바, 이는 앞서 설명된 바와 같다.

객체 메타데이터 내의 위치 정보는, x, y, z 좌표, 구면 좌표 등과 같은 3-차원 공간 내에서의 좌표들의 포맷으로 존재할 수 있다. 필터 변환 모듈(320c)은, 메타데이터 내에 반영된 바와 같은, 객체들의 변하는 위치들에 근거하여, 변하는 위상 및 이득 관계들을 발생시키는 필터 파라미터들을 결정할 수 있다. 일 실시예에서, 필터 변환 모듈(320c)은 객체 메타데이터로부터 듀얼 객체(dual object)를 발생시킨다. 이러한 듀얼 객체는, 스테레오 좌측 및 우측 입력 신호와 유사한 2-소스 객체(two-source object)일 수 있다. 필터 변환 모듈(320c)은 이러한 듀얼 객체를 모노폰 오디오 에센스 소스 및 객체 메타데이터 또는 객체 메타데이터를 갖는 스테레오 오디오 에센스 소스로부터 발생시킬 수 있다. 필터 변환 모듈(320c)은 듀얼 객체들의 메타데이터-특정 위치, 속도, 가속도 등에 근거하여 필터 파라미터들을 결정할 수 있다. 3-차원 공간에서의 위치는 청취자를 둘러싸는 사운드 필드에서의 내부 포인트(interior point)일 수 있다. 따라서, 필터 변환 모듈(320c)은 이러한 내부 포인트들을 심도 렌더러(330c)의 필터 파라미터들을 조정하기 위해 사용될 수 있는 심도 정보를 특정하는 것으로서 해석할 수 있다. 필터 변환 모듈(320c)은 심도 렌더러(330c)로 하여금 일 실시예에서 심도 렌더링 효과의 일부로서 오디오를 퍼뜨리거나 확산시키도록 할 수 있다.

오디오 객체 신호 내에는 수 개의 객체들이 존재할 수 있기 때문에, 필터 변환 모듈(320c)은, 전체 위치 추정을 합성하는 대신, 오디오 내의 하나 이상의 우세한 객체들의 위치(들)에 근거하여 필터 파라미터들을 발생시킬 수 있다. 객체 메타데이터는 어떤 객체들이 우세한지를 표시하는 특정 메타데이터를 포함할 수 있고, 또는 필터 변환 모듈(320c)은 메타데이터의 분석에 근거하여 우세를 추론할 수 있다. 예를 들어, 다른 객체들보다 더 큰 소리로 렌더링돼야함을 표시하는 메타데이터를 갖는 객체들은 우세한 것으로 고려될 수 있고, 또는 청취자에게 더 가까이 있는 객체들이 우세한 것일 수 있는 등이다.

심도 프로세싱 시스템(310C)은, 미국 출원번호 제12/856,442호(발명의 명칭: "Object-Oriented Audio Streaming System", 출원일: 2010년 8월 13일, 대리인 관리번호 SRSLABS.501A1)(이 특허문헌의 개시내용은 그 전체가 참조로 본 명세서에 통합됨)에 설명된 MPEG-인코딩된 객체들 또는 오디오 객체들을 포함하는, 임의 타입의 오디오 객체를 프로세싱할 수 있다. 일부 실시예들에서, 오디오 객체들은, 미국 가출원번호 제61/451,085호(발명의 명칭: "System for Dynamically Creating and Rendering Audio Objects", 출원일: 2011년 3월 9일)(이 특허문헌의 개시내용은 그 전체가 참조로 본 명세서에 통합됨)에 설명된 바와 같이, 베이스 채널 객체들(base channel objects) 및 확장 객체들(extension objects)을 포함할 수 있다. 따라서, 일 실시예에서, 심도 프로세싱 시스템(310C)은 베이스 채널 객체들로부터 (예를 들어, 심도 추정기(320)를 사용하여) 심도 추정을 수행할 수 있고, 확장 객체들 및 이들 각각의 메타데이터에 근거하여 필터 변환 조절(블록(320c))을 수행할 수도 있다. 달리 말하면, 오디오 객체 메타데이터는 심도를 결정하기 위해 채널 데이터에 추가하여 또는 채널 데이터 대신 사용될 수 있다.

도 3d에서, 심도 프로세싱 시스템(310d)의 또 다른 실시예가 제시된다. 이러한 심도 프로세싱 시스템(310d)은 도 3a의 심도 프로세싱 시스템(310a)과 유사하며, 크로스토크 제거기(350a)가 추가되어 있다. 크로스토크 제거기(350a)가 도 3a의 프로세싱 시스템(310a)의 특징들과 함께 제시되고 있지만, 크로스토크 제거기(350a)는 실제로는 이전의 심도 프로세싱 시스템들 중 어느 하나에 포함될 수 있다. 크로스토크 제거기(350a)는 일부 스피커 구성에 대해 심도 렌더링 효과의 품질을 유리하게 개선시킬 수 있다.

크로스토크는 두 개의 스테레오 스피커들과 청취자의 귀 사이의 공중에서 일어날 수 있고, 이에 따라 각각의 스피커로부터의 사운드들은 한쪽 귀에 국한되는 대신에 양쪽 귀에 도달하게 된다. 이러한 상황에서, 스테레오 효과는 저하된다. 또 다른 타입의 크로스토크는 텔레비젼 밑과 같은 빡빡한 공간에 맞도록 설계된 어떤 스피커 캐비닛들 내에서 일어날 수 있다. 이러한 하향 스테레오 스피커들은 종종 개개의 인클로저(enclosure)들을 갖지 않는다. 결과적으로, 이러한 스피커들의 후방(back)으로부터 나오는 백웨이브 사운드들(backwave sound)(이것은 전방(front)으로부터 나오는 사운드들의 반전된 버전(inverted versions)일 수 있음)은 백웨이브 믹싱(backwave mixing)으로 인해 서로 간의 크로스토크의 형태를 발생시킬 수 있다. 이러한 백웨이빙 믹싱 크로스토크(backwaving mixing crosstalk)는 본 명세서에서 설명되는 심도 렌더링 효과를 감소시킬 수 있거나 또는 완전히 제거시킬 수 있다.

이러한 영향들에 대처하기 위해, 크로스토크 제거기(350a)는 두 개의 스피커들 간의 크로스토크를 제거할 수 있거나 또는 감소시킬 수 있다. 텔레비젼 스피커들에 대해 더 좋은 심도 렌더링을 가능하게 하는 것에 추가하여, 크로스토크 제거기(350a)는, 셀 폰, 태블릿, 및 다른 휴대용 전자 디바이스들 상의 후향 스피커들(back-facing speakers)을 포함하는 다른 스피커들에 대해 더 좋은 심도 렌더링을 가능하게 할 수 있다. 크로스토크 제거기(350)의 일 예는 도 3e에서 보다 상세히 제시된다. 크로스토크 제거기(350b)는 도 3d의 크로스토크 제거기(350a)의 가능한 많은 구현예들 중 하나를 나타낸다.

크로스토크 제거기(350b)는, 앞서 설명된 바와 같은 심도 효과들을 갖도록 프로세싱된 두 개의 신호들, 즉 좌측 및 우측 신호들을 수신한다. 각각의 신호는 반전기(inverter)(352, 362)에 의해 반전된다. 각각의 반전기(352, 362)의 출력은 지연 블록(delay block)(354)에 의해 지연된다. 지연 블록의 출력은 합산기(summer)(356, 356)에서 입력 신호와 합산된다. 따라서, 각각의 신호는 반전되고, 지연되고, 그리고 반대쪽 입력 신호와 합산되어 출력 신호를 발생시키게 된다. 만약 지연이 정확하게 선택된다면, 반전 및 지연된 신호는 백웨이브 믹싱으로 인한 크로스토크(또는 다른 크로스토크)를 제거하거나 또는 적어도 부분적으로 감소시키게 된다.

지연 블록들(354, 364)에서의 지연은 두 개의 귀 간의 사운드 웨이브 진행 시간에서의 차이를 나타낼 수 있고, 스피커들에 대한 청취자의 거리에 따라 달라질 수 있다. 지연은 디바이스의 대부분의 사용자에 대한 예상된 지연(expected delay)에 매칭시키기 위해 심도 프로세싱 시스템(110, 310)을 포함하는 디바이스에 대해 제조자에 의해 설정될 수 있다. 사용자가 (랩탑과 같은) 디바이스에 가깝게 앉게 되는 경우의 디바이스는, 사용자가 (텔레비젼과 같은) 디바이스로부터 멀리 앉게 되는 경우의 디바이스보다 더 짧은 지연을 가질 확률이 높다. 따라서, 지연 설정은 사용되는 디바이스의 타입에 근거하여 맞춤조정될 수 있다. 이러한 지연 설정은 사용자(예를 들어, 디바이스의 제조자, 소프트웨어를 디바이스에 설치하는 설치자, 또는 최종 사용자 등)에 의한 선택을 위해 사용자 인터페이스에서 노출될 수 있다. 대안적으로, 지연은 사전설정될 수 있다. 또 다른 실시예에서, 지연은 스피커들에 대한 청취자의 위치에 관해 획득된 위치 정보에 근거하여 동적으로 변할 수 있다. 이러한 위치 정보는 카메라 또는 광학 센서, 예컨대, 마이크로소프트(Microsoft™)사로부터 입수가능한 엑스박스(Xbox™) 키넥트(Kinect™)로부터 획득될 수 있다.

머리전달함수(HRTF) 필터들 등을 또한 포함할 수 있는 크로스토크 제거기들의 다른 형태들이 사용될 수 있다. 만약 HRTF-파생 필터(HRTF-derived filter)들을 이미 포함할 수 있는 서라운드 프로세서(340)가 시스템으로부터 제거되었다면, HRTF 필터들을 크로스토크 제거기(350)에 추가하는 것은 더 큰 최적의 감상 위치 및 공간감의 감지를 제공할 수 있다. 서라운드 프로세서(340)와 크로스토크 제거기(350) 모두는 일부 실시예들에서 HRTF 필터들을 포함할 수 있다.

도 4는 본 명세서에서 설명되는 심도 프로세싱 시스템들(110, 310) 중 어느 하나에 의해 구현될 수 있거나 또는 본 명세서에서 설명되지 않은 다른 시스템들에 의해 구현될 수 있는 심도 렌더링 프로세스(400)의 실시예를 나타낸다. 심도 렌더링 프로세스(400)는 렌더링 심도가 몰입적 오디오 청취 경험을 발생시키도록 하는 예시적인 접근법을 나타낸다.

블록(402)에서, 하나 이상의 오디오 신호들을 포함하는 입력 오디오가 수신된다. 둘 이상의 오디오 신호들은, 좌측 및 우측 스테레오 신호들, 앞서 설명된 바와 같은 5.1 서라운드 신호들, 다른 서라운드 구성들(예를 들어, 6.1. 7.1 등), 오디오 객체들, 또는 심지어 심도 프로세싱 시스템이 심도 렌더링 이전에 스테레오로 변환시킬 수 있는 모노포닉 오디오(monophonic audio)를 포함할 수 있다. 블록(404)에서는, 일정 시간 동안 입력 오디오와 관련된 심도 정보가 추정된다. 심도 정보는, 앞서 설명된 바와 같이(또한 도 5 참조) 오디오 자체의 분석으로부터, 비디오 정보로부터, 객체 메타데이터로부터, 또는 이들의 임의의 조합으로부터 직접적으로 추정될 수 있다.

블록(406)에서, 하나 이상의 오디오 신호들은 추정된 심도 정보에 의존하는 양만큼 동적으로 비상관된다. 블록(408)에서, 비상관된 오디오가 출력된다. 이러한 비상관화는 추정된 심도에 근거하여 동적으로 오디오의 두 개의 채널들 간의 위상 및/또는 이득 지연들을 조정하는 것을 포함할 수 있다. 따라서, 추정된 심도는 발생되는 비상관화의 양을 조종하는 조종 신호로서 동작할 수 있다. 입력 오디오에서의 사운드 소스들이 하나의 스피커로부터 또 다른 스피커로 움직임에 따라, 비상관화는 대응하는 방식으로 동적으로 변할 수 있다. 예를 들어, 스테레오 설정에서, 만약 사운드가 좌측으로부터 우측 스피커로 움직인다면, 좌측 스피커 출력이 먼저 강조될 수 있고, 그 다음에 사운드 소스가 우측 스피커로 움직임에 따라 우측 스피커 출력이 강조될 수 있다. 일 실시예에서, 비상관화의 결과는 효과적으로 두 개의 채널들 간의 차이를 증가시킬 수 있고, 이것은 더 큰 L-R 또는 LS-RS 값을 발생시킬 수 있다.

도 5는 심도 추정기(520)의 보다 상세한 실시예를 나타낸다. 심도 추정기(520)는 앞서 설명된 심도 추정기(320)의 특징들 중 어느 하나의 특징을 구현할 수 있다. 제시된 실시예에서, 심도 추정기(520)는 좌측 및 우측 입력 신호들에 근거하여 심도를 추정하고 심도 렌더러(530)에게 출력들을 제공한다. 심도 추정기(520)는 또한, 좌측 및 우측 서라운드 입력 신호들로부터 심도를 추정하기 위해 사용될 수 있다. 더욱이, 심도 추정기(520)의 실시예들은, 본 명세서에서 설명되는 비디오 심도 추정기들 또는 객체 필터 변환 모듈들과 결합되어 사용될 수 있다.

좌측 및 우측 신호들은 합산 및 감산 블록들(502, 504)에 제공된다. 일 실시예에서, 심도 추정기(520)는 좌측 및 우측 샘플들의 블록을 한 번에 수신한다. 따라서, 심도 추정기(520)의 나머지는 샘플들의 블록을 조작할 수 있다. 합산 블록(502)은 L+R 출력을 발생시키고, 감산 블록(504)은 L-R 출력을 발생시킨다. 본래의 입력들과 함께 이러한 출력들 각각은 엔벨로프 검출기(510)에 제공된다.

엔벨로프 검출기(510)는 L+R, L-R, L, 및 R 신호들(또는 이들의 서브세트)에서 엔벨로프들을 검출하기 위해 다양한 기법들 중 어느 하나를 사용할 수 있다. 한 가지 엔벨로프 검출 기법은 신호의 제곱평균제곱근(Root-Mean Square, RMS) 값을 취하는 것이다. 따라서, 엔벨로프 검출기(510)에 의해 출력된 엔벨로프 신호들이, RMS(L-R), RMS(L), RMS(R), 및 RMS(L+R)로서 제시된다. 이러한 RMS 출력들은 평활화기(smoother)(512)에 제공되고, 평활화기(512)는 평활화 필터를 RMS 출력들에 적용한다. 엔벨로프를 취하고 오디오 신호들을 평활화하는 것은 오디오 신호들에서의 변화(예컨대, 피크(peaks))를 평활화할 수 있고, 그럼으로써 심도 프로세싱에서 후속의 급격한 또는 부조화된 변경을 피할 수 있거나 또는 감소시킬 수 있다. 일 실시예에서, 평활화기(512)는 빠른-공격, 느린-소멸(Fast-Attack, Slow-Decay, FASD) 평활화기이다. 또 다른 실시예에서, 평활화기(512)는 생략될 수 있다.

평활화기(512)의 출력들은 도 5에서 RMS()'로서 표시되어 있다. RMS(L+R)' 신호는 심도 계산기(524)에 제공된다. 앞서 설명된 바와 같이, L-R 신호의 크기는 두 개의 입력 신호들에서 심도 정보를 반영할 수 있다. 따라서, RMS 및 평활화된 L-R 신호의 크기는 또한 심도 정보를 반영할 수 있다. 예를 들어, RMS(L-R)' 신호에서의 더 큰 크기들은 RMS(L-R)' 신호의 더 작은 크기들보다 더 가까운 신호들을 반영할 수 있다. 다른 방식으로 말하면, L-R 또는 RMS(L-R)' 신호의 값들은 L-R 신호들 간의 상관도를 반영한다. 특히, L-R 또는 RMS(L-R)' (또는 RMS(L-R)) 신호는 좌측 및 우측 신호들 간의 두 귀 사이의 상호-상관 계수(InterAural Cross-correlation Coefficient, IACC)의 역표시자(inverse indicator)일 수 있다. (예를 들어, 만약 L 및 R 신호들이 높게 상관된다면, 이들의 L-R 값은 0에 가깝게 될 것이고, 이들의 IACC는 1에 가깝게 될 것인바, 그 반대의 경우도 가능하다.)

RMS(L-R)' 신호는 L 및 R 신호들 간의 역상관화(inverse correlation)를 반영할 수 있기 때문에, RMS(L-R)' 신호는 얼마나 많은 비상관화를 L 및 R 출력 신호들 간에 적용해야 하는지를 결정하는데 사용될 수 있다. 심도 계산기(524)는 또한, (L 및 R 신호들에 비상관화를 적용하는데 사용될 수 있는) 심도 추정을 제공하기 위해 RMS(L-R)' 신호를 프로세싱할 수 있다. 일 실시예에서, 심도 계산기(524)는 RMS(L-R)' 신호를 정규화시킨다. 예를 들어, 엔벨로프 신호들을 정규화시키기 위해RMS 값들은 L 및 R 신호들의 기하 평균(또는 다른 평균 또는 통계적 단위(statistical measure))으로 나누어질 수 있다(예를 들어,

). 정규화는 신호 레벨 또는 볼륨에서 변동들이 심도에서의 변동들로서 잘못 해석되지 않도록 보장하는 것을 도울 수 있다. 따라서, 도 5에 제시된 바와 같이, RMS(L)' 및 RMS(R)' 값들은 승산 블록(538)에서 함께 곱해지고, 심도 계산기(524)에 제공되는바, 심도 계산기(524)는 정규화 프로세스를 완료시킬 수 있다.

RMS(L-R)' 신호를 정규화시키는 것에 추가하여, 심도 계산기(524)는 또한 추가적인 프로세싱을 적용할 수 있다. 예를 들어, 심도 계산기(524)는 RMS(L-R)' 신호에 비-선형 프로세싱(non-linear processing)을 적용할 수 있다. 이러한 비-선형 프로세싱은 RMS(L-R)' 신호의 크기를 강조시킬 수 있어 RMS(L-R)' 신호에서 기존의 비상관화를 비선형으로 강조할 수 있게 된다. 따라서, L-R 신호에서의 빠른 변경은 L-R 신호에 대한 느린 변경보다 훨씬 더 강조될 수 있다. 비-선형 프로세싱은, 일 실시예에서는 멱 함수(power function) 또는 지수 함수이고, 또는 다른 실시예에서는 선형 증가보다 더 큰 것이다. 예를 들어, 심도 계산기(524)는

와 같은 지수 함수를 사용할 수 있는바, 여기서 x = RMS(L-R)'이고 a > 1이다. 지수 함수들의 다른 형태들을 포함하는 다른 함수들이 비선형 프로세싱을 위해 선택될 수 있다.

심도 계산기(524)는 정규화되고 비선형-프로세싱된 신호를 심도 추정으로서 계수 계산 블록(coefficient calculation block)(534) 및 서라운드 스케일 블록(surround scale block)(536)에 제공한다. 계수 계산 블록(534)은 심도 추정의 크기에 근거하여 심도 렌더링 필터의 계수들을 계산한다. 심도 렌더링 필터는 도 6a 및 도 6b를 참조하여 아래에서 더 상세히 설명된다. 그러나, 일반적으로, 계산 블록(534)에 의해 발생된 계수들은 좌측 및 우측 오디오 신호들에 적용되는 위상 지연 및/또는 이득 조정의 양에 영향을 미칠 수 있음에 유의해야 한다. 따라서, 예를 들어, 계산 블록(534)은 심도 추정의 더 큰 값들에 대해 더 큰 위상 지연을 일으키는 계수들을 발생시킬 수 있으며, 그 반대의 경우도 가능하다. 일 실시예에서, 계산 블록(534)에 의해 발생된 위상 지연과 심도 추정 간의 관계는 비선형이다(예를 들어, 멱 함수 등). 이러한 멱 함수는, 선택에 따라서는 스피커들에 대한 청취자의 근접성(closeness)에 근거하는 조율가능한 파라미터인 멱(power)을 가질 수 있는바, 이는 심도 추정기(520)가 구현되는 디바이스의 타입에 의해 결정될 수 있다. 예를 들어, 텔레비젼은 셀 폰보다 더 클 것으로 예측되는 청취자 거리를 가질 수 있고, 따라서, 계산 블록(534)은 이런 타입 또는 다른 타입의 디바이스들에 대해 서로 다르게 멱 함수를 조율할 수 있다. 계산 블록(534)에 의해 적용되는 멱 함수는 심도 추정의 효과를 확대시킬 수 있고, 이것은 과장된 위상 및/또는 진폭 지연을 일으키는 심도 렌더링 필터의 계수들을 발생시킬 수 있다. 또 다른 실시예에서, 위상 지연과 심도 추정 간의 관계는 비선형이 아닌 선형(또는 이들의 결합)이다.

서라운드 스케일 모듈(536)은 선택적인 서라운드 프로세서(340)에 의해 적용되는 서라운드 프로세싱의 양을 조정하는 신호를 출력할 수 있다. 따라서, 심도 추정에 의해 계산된 바와 같은, L-R 콘텐츠에서의 비상관화 또는 공간감의 양은 적용되는 서라운드 프로세싱의 양을 조절할 수 있다. 서라운드 스케일 모듈(536)은 (심도 추정의 더 큰 값들에 대해서는 더 큰 값들을 갖고 심도 추정의 더 낮은 값들에 대해서는 더 낮은 값들을 갖는) 스케일 값을 출력할 수 있다. 일 실시예에서, 서라운드 스케일 모듈(536)은 스케일 값을 발생시키기 위해 비선형 프로세싱(예컨대, 멱 함수 등)을 심도 추정에 적용한다. 예를 들어, 스케일 값은 심도 추정의 멱의 어떤 함수일 수 있다. 다른 실시예들에서, 스케일 값과 심도 추정은 비선형 관계가 아닌 선형 관계(또는 이들의 결합)를 갖는다. 스케일 값에 의해 적용되는 프로세싱에 관한 더 상세한 것은 도 13 내지 도 17을 참조하여 아래에서 설명된다.

개별적으로, RMS(L)' 및 RMS(R)' 신호들은 또한, 지연 및 진폭 계산 블록(540)에 제공된다. 계산 블록(540)은, 예를 들어, 가변 지연 라인 포인터(variable delay line pointer)를 업데이트함으로써, 심도 렌더링 필터(도 6a 및 도 6b)에서 적용될 지연의 양을 계산할 수 있다. 일 실시예에서, 계산 블록(540)은 L 및 R 신호들(또는 이들의 등가적인 RMS()') 중 어느 것이 우세한지 또는 레벨에 있어 더 높은지를 결정한다. 계산 블록(540)은 이러한 우세를 RMS(L)'/RMS(R)'과 같은 두 개의 신호들의 비율을 취함으로써 결정할 수 있는바, 이 경우 1보다 큰 값은 좌측 우세를 표시하고 1보다 작은 값은 우측 우세를 표시한다(만약 분자와 분모가 바뀐다면 그 반대의 경우도 가능함). 대안적으로, 계산 블록(540)은 더 큰 크기를 갖는 신호를 결정하기 위해 두 개의 신호들의 간단한 감산을 수행할 수 있다.

만약 좌측 신호가 우세하다면, 계산 블록(540)은 좌측 신호에 적용되는 위상 지연을 감소시키기 위해 심도 렌더링 필터의 좌측 부분을 조정할 수 있다(도 6a). 만약 우측 신호가 우세하다면, 계산 블록(540)은 우측 신호에 적용되는 필터에 대해 동일한 것을 수행할 수 있다(도 6b). 신호들에서의 우세가 변경됨에 따라, 계산 블록(540)은 심도 렌더링 필터에 대한 지연 라인 값들을 변경시킬 수 있고, 이는 좌측 및 우측 채널들 간의 시간 경과에 따른 위상 지연들에서의 푸시-풀 변경(push-pull change)을 일으킬 수 있다. 위상 지연에서의 이러한 푸시-풀 변경은, (예를 들어, 우세가 변경되는 시간 동안) 채널들 간의 비상관화를 증가시키는 것과 채널들 간의 상관화를 증가시키는 것을 선택적으로 행하는 것에 대해 적어도 부분적으로 원인이 될 수 있다. 계산 블록(540)은 부조화된 변경 또는 신호 아티팩트(signal artifacts)의 출력을 피하기 위해 좌측 및 우측 신호 우세에서의 변경에 응답하여 좌측과 우측 간에 지연 우세를 페이드(fade)할 수 있다.

더욱이, 계산 블록(540)은 좌측 및 우측 신호들(또는 프로세싱된 것, 예컨대, 이들의 RMS 값들)의 비율에 근거하여 좌측 및 우측 채널들에 적용될 전체 이득을 계산할 수 있다. 계산 블록(540)은, 위상 지연들의 푸시-풀 변경과 유사한, 푸시-풀 방식으로 이러한 이득들을 변경시킬 수 있다. 예를 들어, 만약 좌측 신호가 우세하다면, 계산 블록(540)은 좌측 신호를 증폭시킬 수 있고 우측 신호를 감쇠시킬 수 있다. 우측 신호가 우세하게 됨에 따라, 계산 블록(540)은 우측 신호를 증폭시킬 수 있고 좌측 신호를 감소시킬 수 있는 등이다. 계산 블록(540)은 또한, 부조화된 이득 변이 또는 신호 아티팩트를 피하기 위해 채널들 간에 이득들을 크로스페이드(crossfade)할 수 있다.

따라서, 특정 실시예들에서, 지연 및 진폭 계산기는 심도 렌더러(530)로 하여금 위상 지연 및/또는 이득에서의 비상관화를 행하도록 하는 파라미터들을 계산한다. 사실상, 지연 및 진폭 계산기(540)는 심도 렌더러(530)로 하여금 좌측 및 우측 신호들 간의 기존의 위상 및/또는 이득 비상관화를 증폭시키는 확대경 또는 증폭기로서 동작하도록 할 수 있다. 위상 지연 비상관화 또는 이득 비상관화가 단독으로 임의의 소정 실시예에서 수행될 수 있다.

심도 계산기(524), 계수 계산 블록(534), 및 계산 블록(540)은 심도 렌더러(530)의 심도 렌더링 효과를 제어하기 위해 함께 동작할 수 있다. 따라서, 일 실시예에서, 비상관화에 의해 유발되는 심도 렌더링의 양은 가능하게는 복수의 인자들(예를 들어, 우세한 채널, 및 (선택에 따라서는 프로세싱된) 차이 정보(예컨대, L-R, 등))에 따라 달라질 수 있다. 도 6a 및 도 6b를 참조하여 아래에서 더 상세히 설명되는 바와 같이, 차이 정보에 근거하는 블록(534)으로부터의 계수 계산은 심도 렌더러(530)에 의해 제공되는 위상 지연 효과를 턴온(turn on) 또는 턴오프(turn off)시킬 수 있다. 따라서, 일 실시예에서, 차이 정보는 위상 지연의 수행 여부를 효과적으로 제어하며, 채널 우세 정보는 위상 지연의 양을 제어하고, 그리고/또는 이득 비상관화가 수행된다. 또 다른 실시예에서, 차이 정보는 또한, 수행된 위상 비상관화 및/또는 이득 비상관화의 양에 영향을 미친다.

제시된 것들과는 다른 실시예들에서, 심도 계산기(524)의 출력은 위상 및/또는 진폭 비상관화의 양을 오로지 제어하기 위해 사용될 수 있고, 계산 블록(540)의 출력은 계수 계산을 제어하기 위해 사용될 수 있다(예를 들어, 계산 블록(534)에 제공될 수 있음). 또 다른 실시예에서, 심도 계산기(524)의 출력은 계산 블록(540)에 제공되고, 계산 블록(540)의 위상 및 진폭 비상관화 파라미터 출력들은 차이 정보 및 우세 정보 모두에 근거하여 제어된다. 유사하게, 계수 계산 블록(534)은 계산 블록(540)으로부터 추가적인 입력들을 취할 수 있고, 차이 정보 및 우세 정보 모두에 근거하여 계수들을 계산할 수 있다.

제시된 실시예에서, RMS(L+R)' 신호는 또한, 비-선형 프로세싱(Non-Linear Processing)(NLP) 블록(522)에 제공된다. NLP 블록(522)은 예를 들어, RMS(L+R)' 신호에 지수 함수를 적용함으로써, 심도 계산기(524)에 의해 적용되었던 것과 유사한 NLP 프로세싱을 RMS(L+R)' 신호에 대해 수행할 수 있다. 다수의 오디오 신호들에서, L+R 정보는 다이얼로그(dialog)를 포함하고, 종종 중앙 채널에 대한 대체물로서 사용된다. 비선형 프로세싱을 통해 L+R 블록의 값을 강조하는 것은 L+R 또는 C 신호에 얼마나 많은 동적 범위 압축을 적용할지를 결정함에 있어 유용할 수 있다. 더 큰 압축 값들은 결과적으로 소리를 더 크게 할 수 있고, 이에 따라 다이얼로그를 더 뚜렷하게 한다. 그러나, 만약 L+R 신호의 값이 너무 낮다면, 어떠한 다이얼로그도 존재할 수 없고, 따라서 적용되는 압축의 양은 감소될 수 있다. 따라서, NLP 블록(522)의 출력은 L+R 또는 C 신호에 적용되는 압축의 양을 조정하기 위해 압축 스케일 블록(550)에 의해 사용될 수 있다.

심도 추정기(520)의 다수의 실시형태들이 서로 다른 구현예들에서 수정될 수 있거나 생략될 수 있음에 유의해야 한다. 예를 들어, 엔벨로프 검출기(510) 또는 평활화기(512)는 생략될 수 있다. 따라서, 심도 추정들은 L-R 신호에 직접적으로 근거하여 수행될 수 있고, 신호 우세는 L 및 R 신호들에 직접적으로 근거할 수 있다. 그 다음에, 입력 신호들을 평활화하는 대신 심도 추정 및 우세 계산(뿐만 아니라 L+R에 근거하는 압축 스케일 계산)이 평활화될 수 있다. 더욱이, 또 다른 실시예에서, L-R 신호(또는 이 신호의 평활화된/엔벨로프 버전) 또는 심도 계산기(524)로부터의 심도 추정은 계산 블록(540)에서 지연 라인 포인터 계산을 조정하기 위해 사용될 수 있다. 마찬가지로, (예를 들어, 비율 또는 차이에 의해 계산된 바와 같은) L 및 R 신호들 간의 우세는 블록(534)에서 계수 계산들을 조작하기 위해 사용될 수 있다. 압축 스케일 블록(550) 또는 서라운드 스케일 블록(536)이 또한 생략될 수 있다. 아래에서 더 상세히 설명되는 비디오 심도 추정과 같은 다른 많은 추가적인 실시형태들이 또한 심도 추정기(520)에 포함될 수 있다.

도 6a 및 도 6b는 심도 렌더러들(630a, 630b)의 실시예들을 나타내며, 앞서 설명된 심도 렌더러들(330, 530)의 더 상세한 실시예들을 나타낸다. 도 6a에서의 심도 렌더러(630a)는 좌측 채널에 대해 심도 렌더링 필터를 적용하고, 도 6b에서의 심도 렌더러(630b)는 우측 채널에 대해 심도 렌더링 필터를 적용한다. 따라서, (비록 일부 실시예들에서 두 개의 필터들 간에 차이들이 제공될 수 있지만) 각각의 도면에서 제시된 컴포넌트들은 동일하다. 따라서, 설명의 편의를 위해, 심도 렌더러들(630a, 630b)은 단일의 심도 렌더러(630)로서 총칭하여 설명된다.

앞서 설명된(그리고 도 6a 및 도 6b에서 다시 제시되는) 심도 추정기(520)는 심도 렌더러(630)에 수 개의 입력들을 제공할 수 있다. 이러한 입력들은, 가변 지연 라인들(610, 622)에 제공되는 하나 이상의 지연 라인 포인터들, 승산기(602)에 적용되는 피드포워드 계수(feedforward coefficient)들, 승산기(616)에 적용되는 피드백 계수(feedback coefficient)들, 그리고 승산기(624)에 적용되는 전체 이득 값(예를 들어, 도 5의 블록(540)으로부터 획득된 것)을 포함한다.

특정 실시예에서, 심도 렌더러(630)는 입력 신호의 위상을 조정할 수 있는 올-패스 필터(all-pass filter)이다. 제시된 실시예에서, 심도 렌더러(630)는 피드-포워드 컴포넌트(632) 및 피드백 컴포넌트(634)를 갖는 무한 임펄스 응답(Infinite Impulse Response, IIR) 필터이다. 일 실시예에서, 피드백 컴포넌트(634)는 실질적으로 유사한 위상-지연 효과를 획득하기 위해 생략될 수 있다. 그러나, 피드백 컴포넌트(634)가 없는 경우, 잠재적으로 일부 오디오 주파수들이 존재하지 않도록 하거나 또는 감쇠되도록 하는 콤-필터 효과(comb-filter effect)가 일어날 수 있다. 따라서, 피드백 컴포넌트(634)는 이러한 콤-필터 효과를 유리하게 감소시키거나 제거할 수 있다. 피드-포워드 컴포넌트(632)는 필터(630A)의 제로(zero)들을 나타내고, 피드백 컴포넌트는 필터의 폴(pole)들을 나타낸다(도 7 및 도 8 참조).

피드-포워드 컴포넌트(632)는 가변 지연 라인(610), 승산기(602), 및 결합기(612)를 포함한다. 가변 지연 라인(610)은 입력으로서 입력 신호(예를 들어, 도 6a에서 좌측 신호)를 취하고, 심도 추정기(520)에 의해 결정된 양에 따라 신호를 지연시키고, 그리고 지연된 신호를 결합기(612)에 제공한다. 입력 신호는 또한 승산기(602)에 제공되고, 승산기(602)는 이 신호를 스케일링하고 스케일링된 신호를 결합기(612)에 제공한다. 승산기(602)는 도 5의 계수 계산 블록(534)에 의해 계산된 피드-포워드 계수를 나타낸다.

결합기(612)의 출력은 피드백 컴포넌트(634)에 제공되고, 피드백 컴포넌트(634)는 가변 지연 라인(622), 승산기(616), 및 결합기(614)를 포함한다. 피드-포워드 컴포넌트(632)의 출력은 결합기(614)에 제공되고, 결합기(614)는 출력을 가변 지연 라인(622)에 제공한다. 가변 지연 라인(622)은 가변 지연 라인(610)의 지연에 대한 대응하는 지연을 가지며, 심도 추정기(520)(도 5 참조)에 의한 출력에 의존한다. 지연 라인(622)의 출력은 승산기 블록(616)에 제공되는 지연된 신호이다. 승산기 블록(616)은 계수 계산 블록(534)(도 5 참조)에 의해 계산된 피드백 계수를 적용한다. 이러한 블록(616)의 출력은 결합기(614)에 제공되고, 결합기(614)는 또한 출력을 승산기(624)에 제공한다. 이러한 승산기(624)는 (아래에서 설명되는) 전체 이득을 심도 렌더링 필터(630)의 출력에 적용한다.

피드-포워드 컴포넌트(632)의 승산기(602)는 입력 신호와 지연된 신호를 합한 것의 습식/건식 혼합(wet/dry mix)을 제어할 수 있다. 승산기(602)에 더 많은 이득이 적용되는 것은 입력 신호(건식 또는 덜 반향되는(reverberant) 신호) 대 지연된 신호(습식 또는 더 반향되는 신호)의 양을 증가시킬 수 있으며, 그 반대의 경우도 가능하다. 입력 신호에 더 적은 이득을 적용하는 것은 입력 신호의 위상-지연된 버전이 우세하도록 할 수 있고, 이것은 심도 효과를 강조하는바, 그 반대의 경우도 가능하다. 이러한 이득의 반전된 버전(미도시)은 승산기(602)에 의해 적용되는 추가 이득(extra gain)을 보상하기 위해 가변 지연 블록(610) 내에 포함될 수 있다. 승산기(616)의 이득은, 콤-필터 널(comb-filter null)들을 적절하게 제거할 수 있게 이득(602)과 부합하도록 선택될 수 있다. 따라서, 승산기(602)의 이득은 특정 실시예들에서 시변 습식-건식 혼합(time-varying wet-dry mix)을 조절할 수 있다.

동작시, 두 개의 심도 렌더링 필터들(630A, 630B)은, 좌측 및 우측 입력 신호들(또는 LS 및 RS 신호들)을 선택적으로 상관 및 비상관시키기 위해 심도 추정기(520)에 의해 제어될 수 있다. 두 귀 사이의 시간 지연을 발생시키고 이에 따라 좌측으로부터 나오는 심도의 감지를 발생시키기 위해(좌측으로부터 더 큰 심도가 검출되었다고 가정함), 좌측 지연 라인(610)(도 6a)은 일 방향으로 조정될 수 있고, 반면 우측 지연 라인(610)(도 6b)은 반대 방향으로 조정될 수 있다. 두 개의 채널들 간에 지연을 반대로 조정하는 것은 채널들 간의 위상 차이를 발생시킬 수 있고, 그럼으로써 채널들을 비상관시킬 수 있다. 유사하게, 두 귀 사이의 강도 차이는 좌측 이득(도 6a에서 승산기 블록(624))을 일 방향으로 조정하고 반면 우측 이득(도 6b에서 승산기 블록(624))을 다른 방향으로 조정함으로써 발생될 수 있다. 따라서, 오디오 신호들에서의 심도가 좌측 및 우측 채널들 간에 시프트(shift)됨에 따라, 심도 추정기(520)는 채널들 간에 푸시-풀 방식으로 지연들 및 이득들을 조정할 수 있다. 대안적으로, 좌측 및 우측 지연들 및/또는 이득들 중 단지 하나만이 임의의 소정 시간에 조정된다.

일 실시예에서, 심도 추정기(520)는 두 개의 채널들에서 ITD 및 IID 차이들을 무작위로 변경시키기 위해 (지연 라인들(610)에서의) 지연들 또는 이득들(624)을 무작위로 변경시킨다. 이러한 무작위 변화는 작거나 또는 클 수 있지만, 미묘한 무작위 변화는 일부 실시예들에서 더 자연스러운-사운딩 몰입 환경을 발생시킬 수 있다. 더욱이, 사운드 소스들이 입력 오디오 신호에 있어 청취자로부터 더 멀리 움직이거나 또는 더 가깝게 움직임에 따라, 심도 렌더링 모듈은 두 개의 채널들에서 심도 조정들 간의 부드러운 변이(smooth transitions)를 제공하기 위해 심도 렌더링 필터(630)의 출력에 선형 페이드 및/또는 평활화(미도시)를 적용할 수 있다.

특정 실시예들에서, 승산기(602)에 적용되는 조종 신호가 상대적으로 큰 경우(예컨대, > 1), 심도 렌더링 필터(630)는 단위 원의 바깥쪽에 모든 제로들을 갖는 최대 위상 필터가 되고, 위상 지연이 도입된다. 이러한 최대 위상 효과의 예가 도 7a에 예시되는바, 도 7a는 단위 원의 바깥쪽에 제로들을 갖는 폴-제로 플롯(pole-zero plot)(710)을 제시한다. 대응하는 위상 플롯(730)이 도 7b에 제시되는바, 도 7b는 승산기(602) 계수의 상대적으로 큰 값에 대응하는 대략 32개의 샘플들의 예시적 지연을 나타낸다. 다른 지연 값들이 승산기(602) 계수의 값을 조정함으로써 설정될 수 있다.

승산기(602)에 적용되는 조종 신호가 상대적으로 더 작은 경우(예컨대, < 1), 심도 렌더링 필터(630)는 단위 원의 안쪽에 제로들을 갖는 최소 위상 필터가 된다. 결과적으로, 위상 지연은 0이다(또는 0에 가깝다). 이러한 최소 위상 효과의 예가 도 8a에 제시되는바, 도 8a는 단위 원의 안쪽에 모든 제로들을 갖는 폴-제로 플롯(810)을 나타낸다. 대응하는 위상 플롯(830)이 도 8b에 제시되는바, 도 8b는 0개의 샘플들의 지연을 나타낸다.

도 9는 예시적인 주파수-영역 심도 추정 프로세스(900)를 나타낸다. 주파수-영역 프로세스(900)는 앞서 설명된 시스템들(110, 310) 중 어느 하나에 의해 구현될 수 있고, 도 6a 내지 도 8b를 참조하여 앞서 설명된 시간-영역 필터들 대신에 사용될 수 있다. 따라서, 심도 렌더링은 시간 영역 또는 주파수 영역에서(또는 이들 모두에서) 수행될 수 있다.

일반적으로, 다양한 주파수 영역 기법들이, 심도를 강조하도록 좌측 및 우측 신호들을 렌더링하기 위해 사용될 수 있다. 예를 들어, 각각의 입력 신호에 대한 고속 퓨리에 변환(Fast Fourier Transform, FFT)이 계산될 수 있다. 그 다음에 각각의 FFT 신호의 위상은 신호들 간의 위상 차이들을 발생시키도록 조정될 수 있다. 유사하게, 강도 차이들이 두 개의 FFT 신호들에 적용될 수 있다. 역-FFT가 시간-영역의 렌더링된 출력 신호들을 발생시키기 위해 각각의 신호에 적용될 수 있다.

도 9을 구체적으로 참조하면, 블록(902)에서, 샘플들의 스테레오 블록이 수신된다. 샘플들의 스테레오 블록은 좌측 및 우측 오디오 신호들을 포함할 수 있다. 블록(904)에서, 윈도우 함수(window function)(904)가 샘플들의 블록에 적용된다. 해밍 윈도우(Hamming window) 또는 해닝 윈도우(Hanning window)와 같은 임의의 적절한 윈도우 함수가 선택될 수 있다. 블록(906)에서, 주파수 영역 신호를 발생시키기 위해 각각의 채널에 대한 고속 퓨리에 변환(FFT)이 계산되고, 블록(908)에서, 각각의 채널의 주파수 영역 신호로부터 크기 및 위상 정보가 추출된다.

ITD 효과들에 대한 위상 지연들은 주파수 영역 신호의 위상각(phase angle)을 변경시킴으로써 주파수 영역에서 달성될 수 있다. 유사하게, 두 개의 채널들 간의 IID 효과들에 대한 크기 변경은 두 개의 채널들 간의 패닝(panning)에 의해 달성될 수 있다. 따라서, 블록들(910 및 912)에서 주파수 종속 각도들 및 패닝이 계산된다. 이러한 각도들 및 패닝 이득 값들은 심도 추정기(320 또는 520)에 의해 출력된 제어 신호들에 적어도 부분적으로 근거하여 계산될 수 있다. 예를 들어, 좌측 채널이 우세하다고 표시하는 심도 추정기(520)로부터의 우세 제어 신호는 주파수 종속 패닝으로 하여금 좌측 채널로의 패닝을 행할 일련의 샘플들에 걸쳐 이득들을 계산하도록 할 수 있다. 마찬가지로, RMS(L-R)' 신호 등은 변하는 위상각들에서 반영되는 바와 같은 위상 변경들을 계산하기 위해 사용될 수 있다.

회전 변환(rotation transform)을 사용하여, 예를 들어 극좌표 복소 위상 시프트(polar complex phase shifts)를 사용하여, 블록(914)에서, 위상각들 및 패닝 변경들이 주파수 영역 신호들에 적용된다. 블록(916)에서, 각각의 신호에서의 크기 및 위상 정보가 업데이트된다. 그 다음에, 블록(918)에서 크기 및 위상 정보는 역 FFT 프로세싱이 가능하도록 극좌표로부터 직교좌표 복소 형태(Cartesian complex form)로 역변환(unconvert)된다. 이러한 역변환 단계는, FFT 알고리즘의 선택에 따라, 일부 실시예들에서 생략될 수 있다.

블록(920)에서, 시간 영역 신호들을 발생시키기 위해 각각의 주파수 영역 신호에 대한 역 FFT가 계산된다. 그 다음에, 블록(922)에서 스테레오 샘플 블록이 중첩-합산 합성(overlap-add synthesis)을 사용하여 이전 스테레오 샘플 블록과 결합되고, 그 다음에 블록(924)에서 출력된다.

Ⅲ. 비디오 심도 추정 실시예들( Video Depth Estimation Embodiments )

도 10a 및 도 10b는 심도를 추정하기 위해 사용될 수 있는 비디오 프레임들(video frames)(1000)의 예들을 나타낸다. 도 10에서, 비디오 프레임(1000A)은 비디오로부터의 컬러 장면(color scene)을 나타낸다. 비록 제시되는 특정 비디오 프레임(1000A) 내의 객체들 중 어느 것으로부터도 오디오가 방출되지 않을 것 같지만, 보다 더 편리하게 심도 맵핑(depth mapping)을 예시하기 위해 단순화된 장면이 선택되었다. 컬러 비디오 프레임(1000A)에 근거하여, 현재-이용가능한 기법들을 사용하여 (도 10b에서 그레이스케일 프레임(1000B)으로 제시되는 바와 같이) 그레이스케일 심도 맵(grayscale depth map)이 발생될 수 있다. 그레이스케일 영상에서의 픽셀들의 강도는 영상 내의 픽셀들의 심도를 반영하는바, 더 어두운 픽셀들은 더 큰 심도를 반영하고 더 밝은 픽셀들은 더 작은 심도를 반영한다(이러한 규칙은 바뀔 수 있음).

임의의 소정 비디오에 대해서, 심도 추정기(예를 들어, 320)는 비디오 내의 하나 이상의 프레임들에 대한 그레이스케일 심도 맵을 획득할 수 있고, 그리고 프레임들에서의 심도의 추정을 심도 렌더러(예를 들어, 330)에 제공할 수 있다. 심도 렌더러는 (심도 정보가 획득되었던) 특정 프레임이 보여지는 비디오에서의 시간에 대응하는 오디오 신호에서 심도 효과를 렌더링할 수 있다(도 11 참조).

도 11은 비디오 데이터로부터 심도를 추정하기 사용될 수 있는 심도 추정 및 렌더링 알고리즘(1100)의 실시예를 나타낸다. 알고리즘(1100)은 비디오 프레임의 그레이스케일 심도 맵(1102) 및 스펙트럼 팬 오디오 심도 맵(spectral pan audio depth map)(1104)을 수신한다. 오디오 심도 맵(1104) 내의 시간에서 (비디오 프레임이 재생되는 시간에 대응하는) 순간이 선택될 수 있다. 상관기(1110)는 그레이스케일 심도 맵(1102)으로부터 획득된 심도 정보를 스펙트럼 팬 오디오 맵(또는 L-R, L, 및/또는 R 신호들)으로부터 획득된 심도 정보와 결합시킬 수 있다. 이러한 상관기(1110)의 출력은 심도 렌더러(1130)(또는 330 또는 630)에 의해 심도 렌더링을 제어하는 하나 이상의 심도 조종 신호들일 수 있다.

특정 실시예들에서, 심도 추정기(미도시)는 그레이스케일 심도 맵을 사분면들(quadrants), 이분면들(halves) 등과 같은 영역들로 나눌 수 있다. 그 다음에 심도 추정기는 어느 영역이 우세한지를 결정하기 위해 영역들 내의 픽셀 심도들을 분석할 수 있다. 예를 들어, 만약 좌측 영역이 우세하다면, 심도 추정기는 심도 렌더러(1130)로 하여금 좌측 신호들을 강조하도록 하는 조종 신호를 발생시킬 수 있다. 심도 추정기는 이러한 조종 신호를, 앞서 설명된 바와 같은(도 5 참조) 오디오 조종 신호(들)와 결합하여 발생시킬 수 있거나, 또는 오디오 신호를 사용함이 없이 독립적으로 발생시킬 수 있다.

도 12는 비디오 데이터에 근거하는 예시적인 심도의 분석 플롯(1200)을 나타낸다. 플롯(1200)에서, 피크들은 도 11의 비디오와 오디오 맵들 간의 상관을 반영한다. 이러한 피크들의 위치가 시간 경과에 따라 변경됨에 따라서, 심도 추정기는 비디오 및 오디오 신호들에서의 심도를 강조하기 위해 이에 대응되게 오디오 신호들을 비상관시킬 수 있다.

Ⅳ. 서라운드 프로세싱 실시예들( Surround Processing Embodiments )

도 3a를 참조하여 앞서 설명된 바와 같이, 심도-렌더링된 좌측 및 우측 신호들은 선택적인 서라운드 프로세싱 모듈(340a)에 제공된다. 앞서 설명된 바와 같이, 서라운드 프로세서(340a)는, 앞에서 통합되었던 미국 특허번호 제7,492,907호에서 설명된 것과 같은 것 또는 하나 이상의 퍼스펙티브 커브들을 사용하여, 사운드 스테이지를 확장시킬 수 있고, 이에 따라 최적의 감상 위치를 넓힐 수 있으며 심도의 감지를 증진시킬 수 있다.

일 실시예에서, 제어 신호들 하나, L-R 신호(또는 이것의 정규화된 엔벨로프)는 서라운드 프로세싱 모듈에 의해 적용되는 서라운드 프로세싱을 조절하기 위해 사용될 수 있다(도 5 참조). L-R 신호의 더 큰 크기는 더 큰 심도를 반영할 수 있기 때문에, L-R이 상대적으로 더 클 때 더 많은 서라운드 프로세싱이 적용될 수 있고, L-R이 상대적으로 더 작을 때 더 적은 서라운드 프로세싱이 적용될 수 있다. 서라운드 프로세싱은 퍼스펙티브 커브(들)에 적용되는 이득 값을 조정함으로써 조정될 수 있다. 적용되는 서라운드 프로세싱의 양을 조정하는 것은 오디오 신호들에 작은 심도가 존재하는 경우 잠재적으로 너무 많은 서라운드 프로세싱을 적용하는 역효과를 감소시킬 수 있다.

도 13 내지 도 16은 서라운드 프로세서들의 실시예들을 나타낸다. 도 17 및 도 18은 가상 서라운드 효과를 발생시키기 위해 서라운드 프로세서들에 의해 사용될 수 있는 퍼스펙티브 커브들의 실시예들을 나타낸다.

도 13을 참조하면, 서라운드 프로세서(1340)의 실시예가 제시된다. 서라운드 프로세서(1340)는 앞서 설명된 서라운드 프로세서(340)의 더 상세한 실시예이다. 서라운드 프로세서(1340)는 디코더(1380)를 포함하는바, 디코더(1380)는 수동 매트릭스 디코더(passive matrix decoder), 써클 서라운드 디코더(Circle Surround decoder)(미국 특허번호 제5,771,295호(발명의 명칭 "5-2-5 Matrix System") 참조, 이 특허문헌의 개시내용은 그 전체가 참조로 본 명세서에 통합됨) 등일 수 있다. 디코더(1380)는 (예를 들어, 심도 렌더러(330a)로부터 수신된) 좌측 및 우측 입력 신호들을 (퍼스펙티브 커브 필터(들)(1390)로 서라운드-프로세싱될 수 있는) 복수의 신호들로 디코딩할 수 있다. 일 실시예에서, 디코더(1380)의 출력은 좌측, 우측, 중앙, 및 서라운드 신호들을 포함한다. 서라운드 신호들은 좌측 및 우측 서라운드 양쪽 모두 또는 간단히 단일 서라운드 신호를 포함할 수 있다. 일 실시예에서, 디코더(1380)는 L 및 R 신호들을 합산함으로써(L+R) 중앙 신호를 합성하고, R을 L로부터 감산함으로써(L-R) 후방 서라운드 신호를 합성한다.

하나 이상의 퍼스펙티브 커브 필터(들)(1390)는 디코더(1380)에 의해 출력된 신호들에 공간감 인핸스먼트를 제공할 수 있는바, 이는 앞서 설명된 바와 같이 심도 렌더링 목적으로 최적의 감상 위치를 넓힐 수 있다. 이러한 필터(들)(1390)에 의해 제공되는 공간감 또는 퍼스펙티브 효과는 제시된 바와 같이 L-R 차이 정보에 근거하여 조절 또는 조정될 수 있다. 이러한 L-R 차이 정보는 도 5를 참조하여 앞서 설명된 엔벨로프, 평활화, 및/또는 정규화 효과들에 따라 L-R 차이 정보 프로세싱될 수 있다.

일부 실시예에서, 서라운드 프로세서(1340)에 의해 제공되는 서라운드 효과는 심도 렌더링과는 독립적으로 사용될 수 있다. 좌측 및 우측 신호들에서의 차이 정보에 의한 이러한 서라운드 효과의 조절은 심도 렌더링과는 독립적으로 사운드 효과의 품질을 향상시킬 수 있다.

퍼스펙티브 커브들 및 서라운드 프로세서들에 관한 더 많은 정보는 다음과 같은 미국 특허들에서 설명되어 있는바, 이들은 본 명세서에서 설명되는 시스템들 및 방법들과 결합되어 구현될 수 있다: 미국 특허번호 제7,492,907호(발명의 명칭: "Multi-Channel Audio Enhancement System For Use In Recording And Playback And Methods For Providing Same"), 미국 특허번호 제8,050,434호(발명의 명칭: "Multi-Channel Audio Enhancement System"), 및 미국 특허번호 제5,970,152호(발명의 명칭: "Audio Enhancement System for Use in a Surround Sound Environment"), 이 특허문헌들 각각의 개시내용은 그 전체가 참조로 본 명세서에 통합된다.

도 14는 서라운드 프로세서(1400)의 더 상세한 실시예를 나타낸다. 서라운드 프로세서(1400)는 서라운드 프로세서(1340)와 같이 앞서 설명된 서라운드 프로세서들의 특징들 중 어느 하나를 구현하기 위해 사용될 수 있다. 용이한 설명을 위해, 디코더는 도시되지 않았다. 대신, 오디오 입력들, ML(좌측 전방), MR(우측 전방), 중앙(CIN), 선택적인 서브우퍼(B), 좌측 서라운드(SL), 및 우측 서라운드(SR)가 서라운드 프로세서(1400)에 제공되고, 서라운드 프로세서(1400)는 퍼스펙티브 커브 필터들(1470, 1406, 및 1420)을 오디오 입력들의 다양한 혼합체에 적용한다.

신호들(ML 및 MR)은 볼륨 조정 신호(volume adjustment signal)(Mvolume)에 의해 제어되는 대응하는 이득-조정 승산기(1452 및 1454)에 공급된다. 중앙 신호(C)의 이득은 (신호(Mvolume)에 의해 제어되는) 제 1 승산기(1456) 및 (중앙 조정 신호(Cvolume)에 의해 제어되는) 제 2 승산기(1458)에 의해 조정될 수 있다. 유사하게, 서라운드 신호들(SL 및 SR)은 볼륨 조정 신호(Svolume)에 의해 제어되는 각각의 승산기들(1460 및 1462)에 먼저 공급된다.

메인 전방 좌측 및 우측 신호들(ML 및 MR)은 각각 합산 접합부들(1464 및 1466)에 공급된다. 합산 접합부들(1464)은 MR을 수신하는 반전 입력 및 ML을 수신하는 비-반전 입력을 구비하며 이들을 결합시켜 출력 경로(1468)를 따라 ML-MR을 발생시킨다. 신호(ML-MR)는 전달 함수(P1)에 의해 특징지어지는 퍼스펙티브 커브 필터(1470)에 공급된다. 프로세싱된 차이 신호((ML-MR)p)는 퍼스펙티브 커브 필터(1470)의 출력에서 이득 조정 승산기(1472)에 전달된다. 이득 조정 승산기(1472)는 도 5를 참조하여 앞서 설명된 서라운드 스케일(536) 설정을 적용할 수 있다. 결과적으로, 퍼스펙티브 커브 필터(1470)의 출력은 L-R 신호에서의 차이 정보에 근거하여 조절될 수 있다.

승산기(1472)의 출력은 직접적으로 좌측 혼합기(left mixer)(1480)에 그리고 반전기(1482)에 공급된다. 반전된 차이 신호((MR-ML)p)는 반전기(1482)로부터 우측 혼합기(1484)로 전송된다. 합산 신호(ML+MR)가 접합부(1466)에서 나와 이득 조정 승산기(1486)에 공급된다. 이득 조정 승산기(1486)는 또한 도 5를 참조하여 앞서 설명된 서라운드 스케일(536) 설정을 적용할 수 있고 또는 어떤 다른 이득 설정을 적용할 수 있다.

승산기(1486)의 출력은, 중앙 채널 신호(C)를 신호(ML+MR)와 더하는 합산 접합부에 공급된다. 결합된 신호(ML+MR+C)는 접합부(1490)에서 나와 좌측 혼합기(1480)와 우측 혼합기(1484) 모두에 전해진다. 마지막으로, 본래 신호들(ML 및 MR)은, 혼합기들(1480 및 1484)에 전송되기 전에, 먼저 고정 이득 조정 컴포넌트들(fixed gain adjustment components), 예를 들어, 증폭기들(1490 및 1492)을 통해 각각 공급된다.

서라운드 좌측 및 우측 신호들(SL 및 SR)은 승산기들(1460 및 1462)에서 각각 나오며, 이들 각각은 합산 접합부들(1400 및 1402)에 공급된다. 합산 접합부(1401)는 SR을 수신하는 반전 입력 및 SL을 수신하는 비-반전 입력을 구비하며 이들을 결합시켜 출력 경로(1404)를 따라 SL-SR을 발생시킨다. 합산 접합부들(1464, 1466, 1400, 및 1402) 모두는 합산 신호가 발생되었는지 또는 차이 신호가 발생되었는지에 따라 반전 증폭기 또는 비-반전 증폭기로서 구성될 수 있다. 반전 및 비-반전 증폭기들 모두는 본 발명의 기술분야에서 통상의 기술을 가진 자에게 공통적인 원리들에 따라 보통의 연산 증폭기들(operational amplifiers)로부터 구성될 수 있다. 신호(SL-SR)는 전달 함수(P2)에 의해 특징지어지는 퍼스펙티브 커브 필터(1406)에 공급된다.

프로세싱된 차이 신호((SL-SR)p)는 퍼스펙티브 커브 필터(1406)의 출력에서 이득 조정 승산기(1408)에 전달된다. 이득 조정 승산기(1408)는 도 5를 참조하여 앞서 설명된 서라운드 스케일(536) 설정을 적용할 수 있다. 이러한 서라운드 스케일(536) 설정은 승산기(1472)에 의해 적용되는 것과 동일할 수 있거나 또는 다를 수 있다. 또 다른 실시예에서, 승산기(1408)는 생략되거나, 또는 서라운드 스케일(536) 설정과는 다른 설정에 의존한다.

승산기(1408)의 출력은 직접적으로 좌측 혼합기(1480)에 그리고 반전기(1410)에 공급된다. 반전된 차이 신호((SR-SL)p)는 반전기(1410)로부터 우측 혼합기(1484)로 전송된다. 합산 신호(SL+SR)가 접합부(1402)에서 나와 전달 함수(P3)에 의해 특징지어지는 별개의 퍼스펙티브 커브 필터(1420)에 공급된다. 프로세싱된 합산 신호((SL+SR)p)는 퍼스펙티브 커브 필터(1420)의 출력에서 이득 조정 승산기(1432)에 전달된다. 이득 조정 승산기(1432)는 도 5를 참조하여 앞서 설명된 서라운드 스케일(536) 설정을 적용할 수 있다. 이러한 서라운드 스케일(536) 설정은 승산기들(1472, 1408)에 의해 적용되는 것과 동일할 수 있거나 또는 다를 수 있다. 또 다른 실시예에서, 승산기(1432)는 생략되거나, 또는 서라운드 스케일(536) 설정과는 다른 설정에 의존한다.

합산 및 차이 신호들에 관해 언급되고 있지만, 실제 합산 및 차이 신호들의 사용은 단지 대표적인 예임에 유의해야 한다. 신호들의 쌍의 주변 및 모노포닉 컴포넌트들이 어떻게 분리되는가에 상관없이 동일한 프로세싱이 달성될 수 있다. 승산기(1432)의 출력은 직접적으로 좌측 혼합기(1480)에 그리고 우측 혼합기(1484)에 공급된다. 또한, 본래 신호들(SL 및 SR)은, 혼합기들(1480 및 1484)에 전송되기 전에, 먼저 고정-이득 증폭기들(fixed-gain amplifiers)(1430 및 1434)을 통해 각각 공급된다. 마지막으로, 저주파 효과 채널(B)은 출력 저주파 효과 신호(BOUT)를 발생시키기 위해 증폭기(1436)를 통해 공급된다. 선택에 따라서는, 저주파 채널(B)은, 만약 서브우버가 이용가능하지 않다면, 출력 신호들(LOUT 및 ROUT)의 일부로서 혼합될 수 있다.

더욱이, 퍼스펙티브 커브 필터(1470), 뿐만 아니라 퍼스펙티브 커브 필터들(1406 및 1420)은 다양한 오디오 인핸스먼트 기법들을 사용할 수 있다. 예를 들어, 퍼스펙티브 커브 필터들(1470, 1406, 및 1420)은 원하는 오디오 효과를 달성하기 위해 시간-지연 기법들, 위상-시프트 기법들, 신호 등화, 또는 이러한 기법들 모두의 조합을 이용할 수 있다.

일 실시예에서, 서라운드 프로세서(1400)는 두 개의 출력 신호들(LOUT 및 ROUT)의 재생을 통해 서라운드 사운드 경험을 제공하기 위해 다중-채널 신호들의 세트를 고유하게 조절한다. 구체적으로, 신호들(ML 및 MR)은 이러한 신호들에 존재하는 주변 정보를 분리시킴으로써 집합적으로 프로세싱된다. 주변 신호 컴포넌트는 오디오 신호들의 쌍 간의 차이들을 나타낸다. 따라서, 오디오 신호들의 쌍으로부터 획득된 주변 신호 컴포넌트는 "차이(difference)" 신호 컴포넌트로서 종종 지칭된다. 퍼스펙티브 커브 필터들(1470, 1406, 및 1420)이 합산 및 차이 신호들을 발생시키는 것으로 제시 및 설명되고 있지만, 퍼스펙티브 커브 필터들(1470, 1406, 및 1420)의 다른 실시예들은 합산 및 차이 신호들을 뚜렷하게 전혀 발생시키지 않을 수 있다.

5.1 서라운드 오디오 신호 소스들의 프로세싱에 추가하여, 서라운드 프로세서(1400)는 더 적은 수의 개개의 오디오 채널들을 갖는 신호 소스들을 자동으로 프로세싱할 수 있다. 예를 들어, 만약 돌비 프로-로직(Dolby Pro-Logic) 신호들 또는 수동-매트릭스 디코딩된 신호들(도 13 참조)이 서라운드 프로세서(1400)에 의해 입력된다면(예를 들어, SL=SR인 경우), 후방 채널 신호들을 수정하기 위해 일 실시예에서 단지 퍼스펙티브 커브 필터(1420)만이 동작할 수 있는바, 이는 어떠한 주변 컴포넌트도 접합부(1400)에서 발생되지 않기 때문이다. 유사하게, 만약 단지 2-채널 스테레오 신호들(ML 및 MR)만이 존재한다면, 서라운드 프로세서(1400)는 퍼스펙티브 커브 필터(1470)의 동작을 통해 단지 두 개의 채널들만으로부터 공간적으로 향상된 청취 경험을 발생시키도록 동작한다.

도 15는 본 명세서에서 설명되는 서라운드 프로세서들 중 어느 하나에 의해 구현될 수 있는 예시적인 퍼스펙티브 커브들(1500)을 나타낸다. 이러한 퍼스펙티브 커브들(1500)은 일 실시예에서 전방 퍼스펙티브 커브들인바, 이는 도 14의 퍼스펙티브 커브 필터(1470)에 의해 구현될 수 있다. 도 15는, 입력(1502), -15 dBFS 로그 스위프(log sweep)를 도시하고, (디스플레이되는 주파수 범위에 걸쳐 퍼스펙티브 커브 필터의 예시적인 크기 응답들을 보여주는) 트레이스(trace)들(1504, 1506, 및 1508)을 또한 도시한다.

도 15에서 트레이스들에 의해 제시된 응답은 20 Hz 내지 20 kHz 주파수 범위 전체에 걸쳐 제시되지만, 특정 실시예들에서 이러한 응답은 전체 가청 범위를 통해 제공될 필요가 없다. 예를 들어, 특정 실시예들에서, 주파수 응답의 특정 양이, 기능의 약간의 손실 또는 전혀 손실 없이 예를 들어, 40 Hz 내지 10 kHz 범위로 트런케이트(truncate)될 수 있다. 주파수 응답들에 대한 다른 범위들이 또한 제공될 수 있다.

특정 실시예들에서, 트레이스들(1504, 1506, 및 1508)은, 전방 또는 (선택에 따라서는) 후방 퍼스펙티브 필터들과 같은, 앞서 설명된 퍼스펙티브 필터들 중 하나 이상의 퍼스펙티브 필터의 예시적인 주파수 응답들을 나타낸다. 이러한 트레이스들(1504, 1506, 및 1508)은 도 5의 서라운드 스케일(536) 설정에 근거하는 퍼스펙티브 커브 필터들의 서로 다른 레벨들을 나타낸다. 서라운드 스케일(536) 설정의 더 큰 크기는 결과적으로 크기 커브(예를 들어, 커브(1404))를 더 크게 할 수 있고, 반면 서라운드 스케일(536) 설정의 더 낮은 크기들은 결과적으로 크기 커브들(예를 들어, 1406 또는 1408)을 더 낮게 할 수 있다. 제시된 실제 크기들은 단지 예시적인 것들일 뿐이며 변경될 수 있다. 더욱이, 특정 실시예들에서는 서라운드 스케일 값(536)에 근거하여 세 개 이상의 서로 다른 크기들이 선택될 수 있다.

더 상세히 살펴보면, 트레이스(1504)는 대략 20 Hz에서 대략 -16 dBFS로 시작하여 대략 100 Hz에서의 대략 -11 dBFS로 증가한다. 이후, 트레이스(1504)는 대략 2 kHz에서의 대략 -17.5 dBFS로 감소하고, 이후 대략 15 kHz에서의 대략 -12.5 dBFS로 증가한다. 트레이스(1506)는 대략 20 Hz에서 대략 -14 dBFS로 시작하고 대략 100 Hz에서의 대략 -10 dBFS로 증가하며, 대략 2 kHz에서의 대략 -16 dBFS로 감소하고, 그리고 대략 15 kHz에서의 대략 -11 dBFS로 증가한다. 트레이스(1508)는 대략 20 Hz에서 대략 -12.5 dBFS로 시작하고, 그리고 대략 100 Hz에서의 대략 -9 dBFS로 증가하며, 그리고 대략 2 kHz에서의 대략 -14.5 dBFS로 감소하고, 그리고 대략 15 kHz에서의 대략 -10.2 dBFS로 증가한다.

트레이스들(1504, 1506, 및 1508)의 도시된 실시예들에서 제시되는 바와 같이, 대략 2 kHz 범위에서의 주파수들은 퍼스펙티브 필터에 의해 비-강조(de-emphasize)되고, 대략 100 Hz 및 대략 15 kHz에서의 주파수들은 퍼스펙티브 필터들에 의해 강조(emphasize)된다. 이러한 주파수들은 특정 실시예들에서 변경될 수 있다.

도 16은 본 명세서에서 설명되는 서라운드 프로세서들 중 어느 하나에 의해 구현될 수 있는 퍼스펙티브 커브들(1600)의 또 다른 예를 나타낸다. 이러한 퍼스펙티브 커브들(1600)은 일 실시예에서는 후방 퍼스펙티브 커브들인바, 이는 도 14의 퍼스펙티브 커브 필터들(1406 또는 1420)에 의해 구현될 수 있다. 도 15에서와 같이, 입력 로그 주파수 스위프(1610)가 제시되며, 이것은 결과적으로 두 개의 서로 다른 퍼스펙티브 커브 필터들의 출력 트레이스들(1620, 1630)을 발생시키고 있다.

일 실시예에서, 퍼스펙티브 커브(1620)는 서라운드 차이 신호에 적용된 퍼스펙티브 커브 필터에 대응한다. 예를 들어, 퍼스펙티브 커브(1620)는 퍼스펙티브 커브(1406)에 의해 구현될 수 있다. 특정 실시예들에서, 퍼스펙티브 커브(1620)는 서라운드 합산 신호에 적용된 퍼스펙티브 커브 필터에 대응한다. 예를 들어, 퍼스펙티브 커브(1630)는 퍼스펙티브 커브(1420)에 의해 구현될 수 있다. 커브들(1620, 1630)의 유효 크기들은 앞서 설명된 서라운드 스케일(536) 설정에 근거하여 변경될 수 있다.

더 상세히 살펴보면, 제시된 예시적 실시예에서, 커브(1620)는 대략 -10 dBFS에서 대략적으로 평탄 이득(flat gain)을 갖고, 대략 2 kHz와 대략 4 kHz 사이에서(또는 대략적으로 2.5 kHz와 3 kHz 사이에서) 골(trough)을 형성하며 감쇠한다. 이러한 골로부터, 커브(1620)의 크기는 대략 11 kHz까지(또는 대략 10 kHz와 12 kHz 사이에서) 증가하는바, 여기서 피크가 일어난다. 이러한 피크 이후, 커브(1620)는 대략 20 kHz까지 또는 이보다 작은 주파수까지 다시 감쇠한다. 커브(1630)는 유사한 구조를 갖지만, 덜 두드러진 피크 및 골을 갖고 있으며, 대략 3 kHz에서의(또는 대략 2 kHz와 4 kHz 사이에서의) 골까지 평탄한 커브를 갖고, 피크는 대략 11 kHz에서(또는 대략 10 kHz와 12 kHz 사이에서) 일어나며, 대략 20 kHz까지 또는 이보다 작은 주파수까지 감쇠한다.

제시된 커브들은 단지 예시적인 것들이고 서로 다른 실시예들에서 변경될 수 있다. 예를 들어, 하이 패스 필터(high pass filter)는 평탄한 저주파 응답을 감쇠하는 저주파 응답으로 변경시키기 위한 커브들과 결합될 수 있다.

Ⅴ. 용어( Terminology )

본 명세서에서 설명되는 것들과는 다른 많은 변형들이 본 개시내용으로부터 명백해질 것이다. 예를 들어, 실시예에 따라, 본 명세서에서 설명되는 알고리즘들 중의 어느 하나의 알고리즘의 특정 동작들, 이벤트들, 또는 기능들이 서로 다른 시퀀스로 수행될 수 있고, 추가될 수 있고, 병합될 수 있고, 또는 모두 함께 배제될 수 있다(예를 들어, 설명되는 모든 동작들 또는 이벤트들이 알고리즘들의 실행을 위해 필요한 것은 아님). 더욱이, 특정 실시예들에서, 동작들 또는 이벤트들은 순차적을 수행되는 것이 아니라, 예를 들어, 멀티-스레디드 프로세싱(multi-threaded processing), 인터럽트 프로세싱(interrupt processing), 또는 복수의 프로세서들 또는 프로세서 코어들을 통해, 또는 다른 병렬 아키텍처들 상에서, 동시에 수행될 수 있다. 추가적으로, 서로 다른 태스크들 또는 프로세스들이 (함께 기능할 수 있는) 서로 다른 머신들 및/또는 컴퓨팅 시스템들에 의해 수행될 수 있다.

본 명세서에서 개시되는 실시예들과 결합되어 설명된 다양한 예시적 로직 블록들, 모듈들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어 또는 이들 모두의 조합으로서 구현될 수 있다. 하드웨어와 소프트웨어의 이러한 교환가능성을 명확하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 모듈들, 및 단계들이 이들의 기능에 관해 앞에서 일반적으로 설명되었다. 이러한 기능이 하드웨어로서 구현될 것인지 또는 소프트웨어로서 구현될 것인지는 전체 시스템에 부여된 설계 제약 및 특정 애플리케이션에 따라 달라진다. 설명된 기능은 각각의 특정 애플리케이션에 대해 다양한 방식으로 구현될 수 있으며, 하지만 이러한 구현 결정이 본 개시내용의 범위를 벗어나게 하는 것으로서 해석돼서는 안 된다.

본 명세서에서 개시되는 실시예들과 결합되어 설명된 다양한 예시적 로직 블록들 및 모듈들은, 범용 프로세서, 디지털 신호 프로세서(Digital Signal Processor, DSP), 애플리케이션 특정 집적 회로(Application Specific Integrated Circuit, ASIC), 현장 프로그래밍가능 게이트 어레이(Field Programmable Gate Array, FPGA), 또는 다른 프로그래밍가능 로직 디바이스, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 컴포넌트들, 또는 (본 명세서에서 설명되는 기능을 수행하도록 설계된) 이들의 임의의 조합과 같은 머신에 의해 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안적으로, 프로세서는 제어기, 마이크로제어기, 또는 상태 머신, 이들의 조합 등일 수 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합으로서 구현될 수 있는바, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 이러한 구성으로서 구현될 수 있다. 본 명세서에서는 디지털 기술과 관련하여 주로 설명되고 있지만, 프로세서는 또한 아날로그 컴포넌트들을 주로 포함할 수 있다. 예를 들어, 본 명세서에서 설명되는 신호 프로세싱 알고리즘들 중 어느 하나는 아날로그 회로로 구현될 수 있다. 컴퓨팅 환경은, 몇 가지 예를 들자면, 마이크로프로세서에 기반하는 컴퓨터 시스템, 메인프레임 컴퓨터, 디지털 신호 프로세서, 휴대용 컴퓨팅 디바이스, 개인용 오거나이저(personal organizer), 디바이스 제어기, 및 기기 내의 연산 엔진을 포함하는(하지만 이러한 것에만 한정되지는 않는) 임의 타입의 컴퓨터 시스템을 포함할 수 있다.

본 명세서에서 개시되는 실시예들과 결합되어 설명된 방법, 프로세스 또는 알고리즘의 단계들은 직접적으로 하드웨어로, 또는 프로세서에 의해 실행되는 소프트웨어 모듈로, 또는 이 둘의 조합으로 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 탈착가능 디스크, CD-ROM, 또는 임의의 다른 형태의 비-일시적 컴퓨터-판독가능 저장 매체, 매체들 또는 종래 기술에서 알려진 물리적 컴퓨터 저장장치 내에 상주할 수 있다. 예시적인 저장 매체는 프로세서에 결합될 수 있고, 이에 따라 프로세서는 저장 매체로부터 정보를 판독할 수 있게 되고 아울러 저장 매체에 정보를 기입할 수 있게 된다. 대안적으로, 저장 매체는 프로세서에 통합될 수 있다. 프로세서 및 저장 매체는 ASIC 내에 상주할 수 있다. ASIC은 사용자 단말기 내에 상주할 수 있다. 대안적으로, 프로세서 및 저장 매체는 사용자 단말기 내에서 개별 컴포넌트들로서 상주할 수 있다.

본 명세서에서 사용되는 조건부 용어, 예컨대 다른 것들 중에서도, "할 수 있다", "일 것이다", "일 수 있다", "예를 들어" 등과 같은 것은, 달리 특정적으로 기재되지 않는다면, 또는 사용되는 바와 같은 문맥 내에서 다르게 이해되지 않는다면, 일반적으로 특정 실시예들이 특정 특징들, 요소들 및/또는 상태들을 포함하지만 다른 실시예들은 포함하지 않는다는 의미를 전달하도록 의도된 것이다. 따라서, 이러한 조건부 용어는 일반적으로, 특징들, 요소들 및/또는 상태들이 하나 이상의 실시예들에 대해 임의의 방식으로 요구됨을 시사하도록 의도된 것이 아니며, 또는 하나 이상의 실시예들이 이러한 특징들, 요소들 및/또는 상태들이 임의의 특정 실시예에서 포함되는지 아니면 수행돼야 하는지를 저작자 입력 또는 프롬프팅(prompting)으로 또는 이러한 것 없이 결정할 로직을 반드시 포함함을 시사하도록 의도된 것도 아니다. 용어 "포함하는", "구비하는", "갖는" 등은 비슷한 의미를 가지며 포함적 의미로서 개방적으로 사용된 것이며, 추가적인 요소들, 특징들, 작용들, 동작들 등을 배제하지 않는다. 또한, 용어 "또는", "또는"도 (배제적 의미가 아닌) 포함적 의미로 사용되었고, 이에 따라 일련의 나열되는 요소들을 연결시키기 위해 사용되는 경우 용어 "또는", "또는"은 일련의 그 나열되는 요소들 중 하나, 또는 일부, 또는 모두를 의미하게 된다.

앞서의 상세한 설명이 다양한 실시예들에 적용되는 바와 같은 신규한 특징들을 제시, 기술 및 지적하고 있지만, 예시되는 디바이스들 또는 알고리즘들의 형태 및 세부사항에서 다양한 생략, 대체, 및 변형이 본 개시내용의 사상으로부터 벗어남이 없이 행해질 수 있음이 이해될 것이다. 인식할 수 있는 바와 같이, 본 명세서에서 설명되는 발명들의 특정 실시예들은 본 명세서에서 제시되는 특징들 및 혜택들을 모두 제공하지는 않는 형태로 구현될 수 있는바, 이는 일부 특징들이 다른 것들과 별개로 사용 또는 실시될 수 있기 때문이다.

Claims

오디오 신호(audio signal)에 적용되는 퍼스펙티브 인핸스먼트(perspective enhancement)를 조절(modulating)하는 방법에 있어서,
좌측 및 우측 오디오 신호들을 수신하는 단계로서, 상기 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스(sound source)의 공간 위치(spatial position)에 관한 정보를 포함하는 것인, 상기 수신 단계와;
상기 좌측 및 우측 오디오 신호들에서의 차이 정보(difference information)를 계산하는 단계와;
좌측 및 우측 출력 신호들을 생성하도록 상기 좌측 및 우측 오디오 신호들에서의 상기 차이 정보에 적어도 하나의 퍼스펙티브 필터(perspective filter)를 적용하는 단계와;
상기 좌측 및 우측 출력 신호들에 이득(gain) - 상기 이득의 값은 상기 계산된 차이 정보에 적어도 부분적으로 근거함 - 을 적용하는 단계를 포함하고,
적어도 상기 이득을 적용하는 단계는 하나 이상의 프로세서들에 의해 수행되는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제1항에 있어서,
상기 차이 정보의 엔벨로프(envelope)를 검출하는 것과 상기 차이 정보를 평활화(smoothing)하는 것 중 하나 이상을 수행하는 단계를 더 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제2항에 있어서,
상기 조절하는 것은, 상기 차이 정보의 엔벨로프와 상기 평활화된 차이 정보 중 하나 또는 모두에 적어도 부분적으로 근거하여 상기 적어도 하나의 퍼스펙티브 필터의 적용을 조절하는 것을 포함하는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제1항, 제2항 또는 제3항에 있어서,
상기 좌측 및 우측 오디오 신호들의 신호 레벨들에 적어도 부분적으로 근거하여 상기 차이 정보를 정규화(normalizing)시키는 단계를 더 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제4항에 있어서,
상기 조절하는 것은 상기 정규화된 차이 정보에 적어도 부분적으로 근거하여 상기 적어도 하나의 퍼스펙티브 필터의 적용을 조절하는 것을 포함하는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제4항 또는 제5항에 있어서,
상기 정규화시키는 것은, 상기 좌측 및 우측 오디오 신호들의 기하 평균(geometric mean)을 계산하고, 상기 계산된 기하 평균으로 상기 차이 정보를 나누는 것(dividing)을 포함하는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제1항 내지 제6항 중 어느 하나의 항에 있어서,
백웨이브 크로스토크(backwave crosstalk)를 감소시키기 위해 상기 좌측 및 우측 출력 신호들에 크로스토크 제거를 적용하는 단계를 더 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제1항 내지 제7항 중 어느 하나의 항에 있어서,
상기 적어도 하나의 퍼스펙티브 필터를 적용하기 전에, 상기 차이 정보에 적어도 부분적으로 근거하여 상기 좌측 및 우측 오디오 신호들에 심도 렌더링 인핸스먼트(depth rendering enhancement)를 적용하는 단계를 더 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
제8항에 있어서,
상기 좌측 및 우측 오디오 신호들에 심도 렌더링 인핸스먼트를 적용하는 단계는 상기 좌측 및 우측 오디오 신호들을 비상관(decorrelating)시키는 것을 포함하는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하는 방법.
오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템에 있어서,
복수의 오디오 신호들을 분석하도록 구성되어 있는 신호 분석 컴포넌트와;
하나 이상의 물리적 프로세서들을 포함하는 서라운드 프로세서(surround processor)를 포함하고,
상기 신호 분석 컴포넌트는 적어도,
좌측 및 우측 오디오 신호들을 수신하되, 상기 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 포함하고,
상기 좌측 및 우측 오디오 신호들로부터 차이 신호(difference signal)를 획득함으로써,
상기 복수의 오디오 신호들을 분석하도록 구성되어 있고,
상기 서라운드 프로세서는, 좌측 및 우측 출력 신호들을 생성하도록 상기 차이 신호에 적어도 하나의 퍼스펙티브 필터를 적용하도록 구성되어 있고, 상기 적어도 하나의 퍼스펙티브 필터의 출력은 상기 계산된 차이 정보에 적어도 부분적으로 근거하여 조절되는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제10항에 있어서,
상기 신호 분석기는 또한, 상기 차이 신호의 엔벨로프를 검출하는 것과 상기 차이 신호를 평활화하는 것 중 하나 이상을 적어도 수행하도록 구성되어 있는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제11항에 있어서,
상기 서라운드 프로세서는 또한, 상기 차이 신호의 엔벨로프와 상기 평활화된 차이 신호 중 하나 또는 모두에 적어도 부분적으로 근거하여 상기 조절을 수행하도록 구성되어 있는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제10항, 제11항 또는 제12항에 있어서,
상기 신호 분석기는 또한, 상기 좌측 및 우측 오디오 신호들의 신호 레벨들에 적어도 부분적으로 근거하여 상기 차이 신호를 정규화시키도록 구성되어 있는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제13항에 있어서,
상기 서라운드 프로세서는 또한, 상기 정규화된 차이 신호에 적어도 부분적으로 근거하여 상기 조절을 수행하도록 구성되어 있는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제13항 또는 제14항에 있어서,
상기 신호 분석기는 또한, 적어도 상기 좌측 및 우측 오디오 신호들의 기하 평균을 계산하고 상기 계산된 기하 평균으로 상기 차이 신호를 나눔으로써 상기 차이 신호를 정규화시키도록 구성되어 있는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제10항 내지 제15항 중 어느 하나의 항에 있어서,
상기 좌측 및 우측 출력 신호들에 크로스토크 제거를 적용하도록 구성되어 있는 크로스토크 제거기(crosstalk canceller)를 더 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제10항 내지 제16항 중 어느 하나의 항에 있어서,
상기 적어도 하나의 퍼스펙티브 필터를 적용하기 전에, 상기 차이 신호에 적어도 부분적으로 근거하여 상기 좌측 및 우측 오디오 신호들에서의 심도를 렌더링하도록 구성되어 있는 심도 렌더링 컴포넌트를 더 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
제17항에 있어서,
상기 심도 렌더링 컴포넌트는 또한, 적어도 상기 좌측 및 우측 오디오 신호들을 비상관시킴으로써 상기 심도를 렌더링하도록 구성되어 있는 것인, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.
하나 이상의 프로세서들에서, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 동작들을 구현하도록 구성되어 있는 명령어들이 저장된 비일시적 물리적 컴퓨터 저장장치에 있어서, 상기 동작들은,
좌측 및 우측 오디오 신호들을 수신하되, 상기 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 포함하고;
상기 좌측 및 우측 오디오 신호들에서의 차이 정보를 계산하고;
좌측 및 우측 출력 신호들을 생성하도록 상기 좌측 및 우측 오디오 신호들 각각에 적어도 하나의 퍼스펙티브 필터를 적용하고;
상기 계산된 차이 정보에 적어도 부분적으로 근거하여 상기 적어도 하나의 퍼스펙티브 필터의 상기 적용을 조절하는 것을 포함하는 것인, 비일시적 물리적 컴퓨터 저장장치.
오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템에 있어서,
좌측 및 우측 오디오 신호들을 수신하기 위한 수단으로서, 상기 좌측 및 우측 오디오 신호들 각각은 청취자에 대한 사운드 소스의 공간 위치에 관한 정보를 포함하는 것인, 상기 수단과;
상기 좌측 및 우측 오디오 신호들에서의 차이 정보를 계산하기 위한 수단과;
좌측 및 우측 출력 신호들을 생성하도록 상기 좌측 및 우측 오디오 신호들 각각에 적어도 하나의 퍼스펙티브 필터를 적용하기 위한 수단과;
상기 계산된 차이 정보에 적어도 부분적으로 근거하여 상기 적어도 하나의 퍼스펙티브 필터의 적용을 조절하기 위한 수단을 포함하는, 오디오 신호에 적용되는 퍼스펙티브 인핸스먼트를 조절하기 위한 시스템.