KR20110112376A

KR20110112376A - 센드 이펙트 처리에 의한 출력 신호의 생성

Info

Publication number: KR20110112376A
Application number: KR1020117017068A
Authority: KR
Inventors: 하. 코펜스 예론 헤.; 페이. 사위에르스 에릭 헤.
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2008-12-22
Filing date: 2009-12-16
Publication date: 2011-10-12
Also published as: JP2012513700A; EP2380364A1; US20110249758A1; WO2010073187A1; JP5679340B2; EP2380364B1; RU2011130551A; KR101595995B1; PL2380364T3; CN102265647A; CN102265647B; US9591424B2

Abstract

입력 신호에 센드 이펙트 처리를 적용함으로써 입력 신호로부터 출력 신호가 생성된다. 입력 신호는 구성요소 신호들의 가중된 합을 포함한다. 가중된 구성요소 신호들 간의 의존도들은 매개변수들로 표현된다. 본원 발명에 따라, 입력 신호에 포함된 구성요소 신호들의 상이한 가중치에 대하여 보상하기 위해 매개변수들에 의존하여 출력 신호가 생성된다. 이 보상으로, 개별적인 구성요소 신호들에 대응하는 센드 이펙트의 세기가 구성요소 신호들 각각의 세기에 (거의) 비례하고, 결과적으로 보다 현실적인 서라운드 경험을 제공한다.

Description

센드 이펙트 처리에 의한 출력 신호의 생성{GENERATING AN OUTPUT SIGNAL BY SEND EFFECT PROCESSING}

본원 발명은 입력 신호에 센드 이펙트 처리(send effect processing)를 적용하여 입력 신호로부터 출력 신호를 생성하기 위한 방법 및 장치에 관한 것이며, 여기서, 입력 신호는 구성요소 신호들의 가중된 합을 포함하고, 가중된 구성요소 신호들 간의 의존도들은 매개변수(parameter)들에 의해 표현된다. 본원 발명은 또한 개선된 바이노럴(binaural) 출력 신호를 생성하기 위한 바이노럴 디코더, 및 컴퓨터 프로그램 제품에 관한 것이다.

MPEG 서라운드(MPEG Surround)는 MPEG에 의해 최근 표준화된, 오디오 코딩에서 주요한 진보들 중 하나이다(ISO/IEC 23003-1 MPEG 서라운드 참조). MPEG 서라운드는 기존의 모노- 및 스테레오-기반 코더들을 멀티-채널로 확장되게 하는 멀티-채널 오디오 코딩 툴(tool)이다. MPEG 서라운드 엔코더(encoder)는 전형적으로 멀티-채널 입력 신호로부터 모노 또는 스테레오 다운믹스(downmix)를 생성하고, 멀티-채널 입력 신호로부터 공간 매개변수들을 유도해낸다. 다운믹스 및 공간 매개변수들은 개별적인 스트림들로 엔코딩된다. 그러나, 공간 매개변수 스트림은 다운믹스 스트림에 포함될 수 있다. MPEG 서라운드 디코더는 멀티-채널 출력 신호를 획득하기 위해, 디코딩된 다운믹스를 업믹스(upmix)하기 위해 사용되는 공간 매개변수들을 디코딩한다. 멀티-채널 입력 신호의 공간 이미지가 매개변수화(parameterized)되어 있기 때문에, MPEG 서라운드는 헤드폰들 상에서 재생하는 것을 포함하는 것들과 같은 다른 렌더링(rendering) 장치들 상에서 엔코딩된 스테레오 다운믹스를 디코딩하는 것을 허용한다. 이 특정한 동작 모드는 MPEG 서라운드 바이노럴 디코딩 처리로 불리고, 여기서, 소위 바이노럴 출력을 생성하기 위해, 공간 매개변수들은 HRTF(Head Related Transfer Function) 데이터와 조합된다(J. Breebaart의 Analysis and Synthesis of Binaural Parameters for Efficient 3D Audio Rendering in MPEG Surround, ICME 07). 이 모드에서, 표준 헤드폰들을 사용하여, 현실적인 서라운드 경험이 제공될 수 있다. 전형적으로 HRTF 데이터는 각각의 스피커에서 양쪽 귀로 가는 임펄스 응답들의 쌍들의 세트로서 설명된다.

MPEG 서라운드 바이노럴 디코더가 저전력(LP) 모드에서 동작하면, 그것은 모바일 장치들에서 구현될 수 있다. 이 모드에서, 오프라인 처리에서, 원시 HRTF 데이터는 낮은 컴퓨터 복잡도를 사용하여 처리하는 것을 허용하는 매개변수 도메인으로 변환됐었다. 그러나, LP 모드의 단점은, 매개변수 HRTF 데이터가 전형적으로 원시 HRTF 데이터의 무반사(anechoic) 부분만을 나타낸다는 것, 즉, 그것이 주로 방향 큐들에 연관된 완전한 시간 도메인 응답들의 일부만을 커버한다는 것이다. 실제로, 이것은 바이노럴 디코더 출력 신호가 방향 정보는 포함하지만, HRTF 데이터의 무반사 부분에 주로 연관된 어떤 외부표출화(externalization)도 거의 없기 때문에, 매우 자연스럽게 들리지는 않을 것임을 의미한다. 이 외부표출화의 이 부족한 점을 보상하기 위해, MPEG 서라운드 표준은 ISO/IEC 23003-1 MPEG 서라운드 부록 D에 규정된 바와 같은, 반향의 사용을 허용한다. 이러한 경우, MPEG 서라운드 바이노럴 디코더는 평행한 반향으로 확장된다. 입력 스테레오 다운믹스는 반향 처리로 공급된다. 이 처리의 출력은 MPEG 서라운드 바이노럴 출력으로 바로 추가된다. 전형적으로 전방향인(omni-directional), 즉, 방향에 무관한 이러한 평행한 반향 신호로, 반사 부분이 생성되고, 이에 따라, 보다 현실적인 서라운드 경험이 생성된다.

그러나, 바이노럴 출력 신호에 추가되는, 소위 센드 이펙트의 유형인, 반향을 포함하는 주관적인 테스트들은 만족스러운 수행을 보여주지 않는다. 이러한 바이노럴 출력의 두드러진 결함들(artifacts)은, 본래의(original) 멀티-채널 엔코더 콘텐츠가 주로 중앙 채널에 존재하면, 바이노럴 출력 신호가 너무 울려퍼지게 들린다는 것이다.

유사한 단점이 예를 들어 코러스, 보컬 더블러(vocal doubler), 퍼즈(fuzz), 공간 확장자 등과 같은 다른 센드 이펙트들에 대하여 유지된다.

본원 발명의 목적은, 입력 신호에 센드 이펙트 처리를 적용함으로써 입력 신호로부터 출력 신호를 생성하는 개선된 방법을 제공하는 것인데, 이는 몇몇의 센드 이펙트들에 대하여 결과적으로 개선된 서라운드 경험을 제공하는 개선된 출력 신호를 제공한다. 본원 발명은 독립 청구항들에 의해 정의된다. 종속 청구항들은 유익한 실시예들을 정의한다.

이 목적은 앞서 언급된 바와 같은 출력 신호를 생성하는 방법으로 본원 발명에 따라 달성되고, 출력 신호가 입력 신호에 포함된 구성요소 신호들의 상이한 가중치에 대하여 보상하기 위해, 매개변수들에 의존하여 생성되는 것을 특징으로 한다.

센드 이펙트들은 입력 신호 전체에 적용되고, 개개의 구성요소 신호들에 적용되지 않는다. 따라서, 센드 이펙트를 적용하면서, 입력 신호 내의 구성요소 신호들의 상이한 가중치에 대하여 보상하는 것이 특히 이롭다. 이러한 보상 때문에, 개별적인 구성요소 신호들에 대응하는 센드 이펙트의 세기는 구성요소 신호들 각각의 세기에 (거의) 비례하며, 따라서 결과적으로 보다 현실적인 서라운드 경험을 제공한다. 본원 발명은 센드 이펙트의 일례로서 반향 효과에 대하여 설명된다.

반향은 전형적으로 어쿠스틱(acoustic) 반사들을 시뮬레이션하는데 사용되고, 따라서, 듣는 사람의 머리 밖에 가상 사운드 원들(virtual sound sources)을 위치시키기 위해, 즉, 거리의 인식을 생성하기 위해, (무반사) HRTF 데이터와 조합하여 사용될 수 있다. 입력 신호는 다운믹싱하기 전에 가중된 구성요소 신호들(예를 들어, 멀티채널 재생의 6 채널들)의 다운믹스이다.

전형적으로, 멀티 채널 신호에 포함된 서라운드 채널들에 대응하는 구성요소 신호들은 다운믹싱 전에 감쇠된다. MPEG 서라운드 엔코딩이 사용되면, 중앙 채널에 대응하는 구성요소 신호는 스테레오 다운믹스에서 효율적으로 증폭된다(좌측과 우측 다운믹스 채널을 합할 때, 채널 당 sqrt(0.5)는 sqrt(2)에 달한다). 입력 신호에 포함되는 구성요소 신호들의 이 상이한 가중치는 중앙 채널에 대응하는 구성요소에 대하여 보다 강하고 서라운드 채널들에 대응하는 구성요소들에 대해서 보다 결과적으로 약한 반향 효과를 제공하는데, 이는 평행한 반향이 직접적으로 상이하게 가중된 다운믹스 상에서 반향을 사용하기 때문이다. 그러나, 이러한 상이한 가중치는, 복원된 구성요소 신호들을 바이노럴 신호에 (적어도 개념적으로) 맵핑하는(map), HRTF 매개변수들을 사용함으로써 5.1 채널들의 방향성 렌더링과 매치하지 않는다. 따라서, 이러한 신호들, 즉, 복원된 구성요소 신호들에 기초한 방향성 렌더링되는 신호 및 입력 신호에 반향을 적용함으로써 얻어진 출력 신호가 믹스되면, 반향 효과 세기가 본래의 멀티채널 콘텐츠의 우세한 방향에 따른다는 점에서, 외부표출화는 자연스럽지 않을 수 있다. 반향 효과 또는 임의의 다른 센드 이펙트를 입력 신호에 적용하여 발생한, 출력 신호의 생성을 수정함으로써 상이한 가중치의 부정적 효과가 줄어들며, 따라서 그것은 입력 신호에 포함된 구성요소 신호들의 상이한 가중치를 보상하도록 적응된다. 이 적응은 가중된 구성요소 신호들 간의 의존도들을 포함하는 매개변수들을 사용한다. 입력 신호에 기여하는 개별적으로 가중된 구성요소들 또는 가중된 구성요소들의 조합은 더이상 이용 불가능한데, 이는 구성요소 신호들이 가중된 이후 합해지기(다운믹스되기) 때문이다. 그러나, 매개변수들은, 매개변수들에 의해 표현되는 가중된 구성요소 신호들 간의 의존도들에 기초하여 그들의 기여도들을 평가하도록 허용한다. 다음의 실시예들에서 설명되는, 출력 신호의 생성의 적응이 만들어지는 다양한 방법들이 있다.

일 실시예에서, 입력 신호는 복수의 중간 신호들로 분해되며, 여기서 각각의 중간 신호들은 입력 신호에 포함된 구성요소 신호들의 상이한 가중치를 보상하기 위해 각각의 이득(gain)으로 스케일링된다. 중간 신호들의 생성(또는 적어도 개념적으로 중간 신호들의 사용)은, 다수의 구성요소 신호들로부터의 정보가 중간 신호들로 조합될 수 있을 때 유익하다. 예를 들어, MPEG 서라운드 표준이 스테레오 호환가능 방법에서 사용될 때, 입력 신호의 좌측 및 우측 채널 신호들 모두는 중앙 채널로부터의 정보를 포함한다. 이러한 경우, 중앙 채널에 대응하는 중간 신호는 입력 신호의 좌측 및 우측 신호들 모두를 사용하여 구성될 수 있다. 또한, 멀티 채널 신호가 5개의 채널 신호들, 즉, 중앙 채널 신호, 좌측 전방 채널 신호, 좌측 서라운드 채널 신호, 우측 전방 채널 신호, 및 우측 서라운드 채널 신호를 포함하면, 좌측 전방 채널 신호와 좌측 서라운드 채널 신호는 중간 신호에 조합될 수 있고, 우측 전방 채널 신호와 우측 서라운드 채널 신호는 또한 중간 신호에 조합될 수 있다.

추가의 실시예에서, 각각의 중간 신호에 대응하는 각각의 이득은 미리결정된 추가의 이득들의 가중된 합으로 계산되며, 여기서, 미리결정된 추가의 이득들은 입력 신호를 생성하기 위해 사용되는 가중치들로부터 유도되고, 미리결정된 추가의 이득들은 각각의 중간 신호에 대한 가중된 구성요소 신호들의 상대적 기여도들로부터 유도되는 각각의 가중치들로 가중된다. 하나는 중간 신호로부터 구성요소 신호들을 대략화할 수 있다. MPEG 서라운드는, 예를 들어, OTT(1-대-2; one-to-two) 처리 블럭은 채널-간 강도 차(IID;inter-channel intensity difference) 매개변수들을 사용하여 하나의 신호로부터 2개의 신호들을 생성하기 위해 사용되고, TTT(2-대-3; two-to-three) 처리 블럭은 채널 예측 매개변수들 및/또는 IID 매개변수들을 사용하여 2개의 신호들로부터 3개의 신호들을 생성하기 위해 사용된다고 규정한다. 이득들은 OTT 및/또는 TTT 처리 블럭들을 사용하여 생성된 신호들 상에 적용될 수 있고, 결과 신호들은 다시 다운믹스될 수 있다(결국 신호 채널이 센드 이펙트를 위해 요구된다). 그러나, 업믹스 단계, 즉, 입력 신호로부터 다수의 중간 신호들을 생성하는 것은 생략될 수 있는데, 이는 중간 신호들에 관련된 에너지 분산이 알려져있기 때문이다. 따라서, 당해의 실시예는, 이러한 중간 신호들에 기여하는 개개의 구성요소 신호들의 실제적인 복원 없이, 중간 신호들에 이득들을 적용하기 위한 효율적인 방법을 제공한다.

추가의 실시예에서, 각각의 중간 신호에 대한 가중된 구성요소 신호들의 관련 기여도는 중간 신호에 기여하는 가중된 구성요소 신호들 간의 강도 차로부터 유도되며, 여기서 강도 차는 매개변수들로부터 유도된다. 가중된 구성요소 신호들 중의 에너지 분포는 채널-간 강도 차들에 포함되고, 입력 신호를 수반하는 매개변수들 내에 조화롭게 포함된다.

추가의 실시예에서, 입력 신호는 추가의 이득들의 가중된 합으로 계산되는 이득으로 스케일링되고, 여기서 추가의 이득들은 가중된 구성요소 신호들에 대응하는 매개변수들로부터 유도되고, 추가의 이득들은 입력 신호에 대한 가중된 구성요소 신호들 또는 가중된 구성요소 신호들의 조합들의 상대적인 기여도들로부터 유도되는 가중치들로 가중된다. 이는, 가중된 구성요소 신호들 또는 가중된 구성요소 신호들의 조합들의 복원을 실제로 필요로 하지 않으면서, 입력 신호에 이득을 적용하는 효율적인 방법을 제공한다. 모노(mono) 입력 신호에 대해서, 이는, 신호 이득이 입력 신호에 적용되는 것을 의미한다. 스테레오 입력 신호에 대해서, 이는, 2개의 개개의 이득들이 적용되며, 각각은 입력 신호에 포함된 2개의 채널들 중 하나에 대한 것이란 것을 의미한다.

추가의 실시예에서, 가중된 구성요소 신호들 또는 가중된 구성요소 신호들의 조합들의 상대적인 기여도는 입력 신호에 기여하는 가중된 구성요소 신호들 간의 강도 차들로부터 유도되고, 여기서 강도 차들은 매개변수들로부터 유도된다. 개념적으로, 이전 실시예들 중 하나에서와 같이, 하나는 예를 들어 캐스케이드된(cascaded) 또는 평행한 몇몇의 OTT 처리 블럭들을 사용하여 입력 신호로부터 가중된 구성요소 신호들을 복원할 수 있다. OTT 처리 블럭들은 에너지 보존하며, 따라서, 입력 신호 내의 가중된 구성요소 신호들의 에너지 분포는 매개변수들 내에 포함된 강도 차들에 기초하여 계산된다. 이 분포는 입력 신호의 에너지에 관련되며, 따라서, OTT 처리 블럭은 그것의 입력 신호의 에너지를 2개의 출력 채널들에 걸쳐 분포시킨다. 이득들을 개개의 구성요소 신호들에 적용하는 것은 따라서 입력 신호에 단일의 이득을 적용함에 의해 발효될 수 있다.

추가의 실시예에서, 출력 신호를 생성하는 것은 매개변수에 기초하여, 입력 신호에 적용되는 센드 이펙트 처리에 적응하는 것을 포함한다. 하나는 구성요소의 가중치를 보상하도록 이펙트 자체를 조정할 수 있지만, 이것은 종종 효율성 면에서 차선의 해결책이다.

추가의 실시예에서, 출력 신호를 생성하는 것은 출력 신호 자체에 적응하는 것을 포함하고, 여기서, 출력 신호는 매개변수들에 의존하여 조정되는 이득으로 스케일링된다. 예를 들어, 입력 신호의 큰 시간 간격에 의해 영향을 받는 센드 이펙트 처리의 출력 신호에 적응하면(그것은 종종 반향 필터들에 대한 경우임), 특정 시간 간격들에 대응하는 매개변수들은 시간적인 스미어링(smearing) 때문에 신호 의존적인 방법으로 믹스될 수 있다. 이러한 경우, 효과 및 신호 속성들뿐만 아니라, 매개변수에 의존하여 시간에 걸쳐 이득에 적응하는 것이 이롭다.

추가의 실시예에서, 입력 신호 및 매개변수들은 MPEG 서라운드 표준에 따른 각각 다운믹스 신호 및 공간 매개변수들이다. MPEG 서라운드에 대해서, 구성요소 신호들은 멀티 채널원(multichannel source)의 채널들에 의해 형성되고(예를 들어, DVD로부터의 5.1 오디오, 멀티채널 마이크로폰으로 기록하는 멀티 채널), 공간 매개변수들은 시간- 및 주파수 의존적인 방법으로 채널들 또는 채널들의 조합들(중간 다운믹스들) 간의 관계들을 나타낸다.

본원 발명의 다른 양태에 따라, 입력 신호에 센드 이펙트 처리를 적용함으로써 입력 신호로부터 출력 신호를 생성하기 위한 센드 이펙트 장치가 제공된다. 앞서 설명된 특징들, 이점들, 의견들은 본원 발명의 이 양태에 동일하게 적용가능함이 명백해져야 한다.

본원 발명의 이들 및 다른 양태들, 특징들, 및 이점들은 이하 설명되는 실시예(들)로부터 명백해지고 그것을 참조하여 설명될 것이다.

도 1은 평행한 센드 이펙트 처리 블럭을 갖는 바이노럴 렌더러(renderer)의 예시적인 아키텍처를 도시하는 도면.
도 2는 본원 발명에 따른 센드 이펙트 장치의 일 실시예를 도시하는 도면.
도 3은 입력 신호에 적응하는 것을 포함하는 센드 이펙트 장치의 일 실시예를 도시하는 도면.
도 4는 입력 신호는 복수의 중간 신호들로 분해되고, 중간 신호들 각각은 각각의 이득으로 스케일링되는, 센드 이펙트 장치의 예시적인 아키텍처를 도시하는 도면.
도 5는 MPEG 서라운드 엔코더의 아키텍처의 일례를 도시하는 도면.
도 6은 515 구성의 MPEG 서라운드 다운믹싱의 아키텍처의 일례를 도시하는 도면.
도 7은 입력 신호에 적용되는 센드 이펙트 처리에 적응하는 것을 포함하는 센드 이펙트 장치의 일 실시예를 도시하는 도면.
도 8은 매개변수들에 의존하여 출력 신호 자체에 적응하는 것을 포함하는 센드 이펙트 장치의 일 실시예를 도시하는 도면.
도 9는 센드 이펙트 장치와 평행하게 바이노럴 렌더러를 포함하는 바이노럴 디코더의 실시예를 도시하는 도면.

도 1은 센드 이펙트 처리 장치(100-A)를 평행하게 갖는 바이노럴 렌더러(200)의 아키텍처의 일례를 도시한다. 가중된 구성요소 신호들 간의 의존도들을 포함하는 매개변수들(102)과 함께 구성요소 신호들의 가중된 합을 포함하는 입력 신호(101)가 바이노럴 렌더러(200)에 공급된다. 바이노럴 렌더러(200)는 헤드폰들에 의한 재생에 적합한 바이노럴 출력(201)을 제공하기 위해 입력 신호(101) 및 매개변수들(102)의 처리를 수행한다. 바이노럴 렌더러의 예들 중 하나는 MPEG 서라운드 바이노럴 디코딩이다(ISO/IEC 23003-1, MPEG 서라운드). 입력 신호(101)는 바이노럴 렌더러(200)에 공급되는 것과 평행하게 센드 이펙트 장치(100-A)에 공급되는데, 센드 이펙트 장치(100-A)에서, 입력 신호(101)에 센드 이펙트 처리를 적용하여 결과적으로 출력 신호(121)를 제공한다. 출력 신호(121)는 부가 회로(300)에 의해 바이노럴 렌더러의 출력에 부가된다. 부가 회로의 출력(301)은 헤드폰들(도시되지 않음)에 제공된다. 예를 들어, 반향, 코러스, 보컬 더블러, 퍼즈, 공간 확장기 등과 같은 다양한 센드 이펙트들이 있다. 반향은 가장 대중적인 센드 이펙트들 중 하나이고, 이는 듣는 사람의 머리 밖에 가상 사운드 원들을 위치시키기 위해, 즉, 거리의 인식을 생성하기 위해 사용될 수 있다. 입력 신호로부터 반향된 신호를 생성하는 것은 예를 들어 William G. Gardner의 "Applications of Digital Signal Processing to Audio and Acoustics" 내의 "반향 알고리즘들(Reverberation Algorithms)", Mark Kahrs 및 Karlheinz Brandenburg(편집자들), Kluwer(1998년 3월) 또는 Shreyas A. Paranjpe의, 2001년 5월 12-15일 네덜란드 암스테르담의 국제 오디오 공학회 110번째 회의지 5381의, Time- variant Orthogonal Matrix Feedback Delay Network Reverberator에 설명되어 있다. 반향 효과는 입력 신호 전체에 적용된다.

본원 발명은 입력 신호(101)에 센드 이펙트 처리를 적용하여 출력 신호(121)를 생성하는 방법을 제안하고, 이는 매개변수들(102)에 의존하여 입력 신호(101) 내의 구성요소 신호들의 상이한 가중치에 대하여 보상한다. 입력 신호에 기여하는 구성요소 신호들은 종종 상이하게 가중된다. 센드 이펙트 장치(100)는 상이한 가중치가 매개변수들(102)에 의존하여 보상되는 방식으로 출력 신호(121)를 생성한다. 매개변수들(102)은 가중된 구성요소 신호들 간의 의존도를 포함한다. 특히, 매개변수들(102)은 입력 신호(101)에 대한 개개의 가중된 구성요소 신호들의 상대적인 기여도들에 대한 정보를 포함한다. 매개변수들(102)은 입력 신호에 관련된 가중된 구성요소 신호들의 추정을 허용한다. 구성요소 신호들을 가중시키기 위해 사용되는 가중치들이 알려져 있기 때문에, 그들이 MPEG 서라운드 비트-스트림 및 디코더에 의해 규정되어 있으므로, 구성요소 신호들은 추정될 수 있다. 이는 입력 신호(101) 내의 구성요소 신호들의 상이한 가중치를 보상하기 위한 효율적인 처리를 이끌어낸다.

도 2는 본원 발명에 따른 센드 이펙트 장치의 일 실시예를 도시한다. 이 이펙트 처리 장치(100)는 부가적인 입력으로서 매개변수들(102)을 갖는다는 점에서, 도 1의 이펙트 처리 장치들(100-A)과 다르다. 추가로, 도 2의 이펙트 처리 장치(100)는 매개변수들(102)에 의존하여 입력 신호에 포함된 구성요소 신호들의 상이한 가중치에 대하여 보상하도록 적응된 출력 신호(121)를 생성하는 단계를 구현한다.

일 실시예에 따라, 출력 신호(121)를 생성하는 것은 입력 신호(101)에 적응하는 것을 포함한다. 이 경우, 입력 신호에 적응하는 단계는 센드 이펙트 처리를 적용하는 단계에 선행한다.

도 3은 입력 신호(101)에 적응하는 것을 포함하는 센드 이펙트 장치의 실시예를 포함한다. 센드 이펙트 장치는 2개의 회로들, 즉, 입력 신호에 적응하는 단계를 수행하는 적응 회로(120) 및 센드 이펙트 처리를 적용하는 단계를 수행하는 센드 이펙트 처리 회로(110)를 포함한다. 입력 신호(101) 및 매개변수들(102)은 회로(120)에 공급되고, 그것의 출력(103)은 회로(110)에 공급된다. 회로(110)의 출력은 출력 신호(121)로서 동작한다. 입력 신호(101)는 모노 신호 또는 스테레오 신호일 수 있다.

도 4는 센드 이펙트 장치(100)의 아키텍처의 일례를 도시하며, 여기서, 입력 신호(101)는 복수의 중간 신호들(401, 402, 403)로 분해되고, 중간 신호들 각각은 각각의 이득으로 스케일링된다. 입력 신호(101)는 스테레오 신호이고, 그것은 입력 신호(101)의 좌측 채널(101a) 및 입력 신호(101)의 우측 채널(101b)을 포함한다. 입력 신호는 좌측 채널, 우측 채널, 및 중앙 채널에 대응하는 3개의 중간 신호들로의 입력 신호의 업믹싱을 수행하는 회로(410)에 공급된다. 이들 3개의 신호들은 각각 좌측 중간 신호, 우측 중간 신호, 및 중앙 중간 신호로 불린다. 회로(410)는 MPEG 서라운드로부터 알려진 TTT(2-대-3) 모듈일 수 있다. 입력 신호의 좌측 채널인 l_dmx, 입력 신호의 우측 채널인 r_dmx, 및 예술적인 다운믹스 버전 및/또는 행렬 호환성 인버전(matrix compatibility inversion)이 곱해진 디코더 TTT 모듈을 나타내는 행렬 및/또는 3D 인버전 행렬인 T_umx(각각 MPEG 서라운드 명세의 하위 조항들 6.5.2.3, 6.5.2.4, 및 6.11.5):

(여기서 c_ij는 MPEG 서라운드 매개변수들 및 잠재적으로 HRTF 데이터로부터 계산됨)에 대하여,

회로(410)의 출력은 행렬 곱의 결과이다:

.

MPEG 서라운드 매개변수들에 대한 T_umx 행렬의 의존 때문에, 매개변수들(102)은 또한 회로(410)에 공급된다. 결과의 중간 신호들은 이득 보상 회로(420)에 공급되고, 여기서 중간 신호들 각각은 입력 신호에 포함된 구성요소 신호들의 상이한 가중치를 보상하기 위해 각각의 이득으로 스케일링된다. 회로(420)는 이득 보상 행렬로, 3개의 중간 신호들을 포함하는 벡터의 행렬 곱을 구현하고:

여기서, G_l은 좌측 중간 신호에 대응하는 이득이고, G_r은 우측 중간 신호에 대응하는 이득이고, G_c는 중앙 중간 신호에 대응하는 이득이다. 이득 G_l, 및 G_r은 서라운드 이득 g_s로 인한 임의의 전력 손실에 대해 보상하기 위해 사용된다. 이득 G_c는 중앙 이득 g_c로 인한 전력 증가에 대해 보상하기 위해 사용된다. 이 이득은 MPEG 서라운드 매개변수들에 독립적이고 G_c=1/(2·g_c)와 같다. 서라운드 이득 및 중앙 이득의 의미는 도 5를 설명할 때 보다 상세하게 설명될 것이며, 이제, g_s는 입력 신호에 포함되는 서라운드 채널 신호를 스케일링하기 위해 사용되는 실제 가중치이고, g_c는 입력 신호에 포함되는 중앙 채널 신호를 스케일링하기 위해 사용되는 실제 가중치임을 알기에 충분하다.

일 실시예에서, 각각의 중간 신호(좌측 중간 신호, 우측 중간 신호, 또는 중양 중간 신호)에 대응하는 각각의 이득 G_l, G_r, 또는 G_c는 미리결정된 추가의 이득들의 가중된 합으로 계산되고, 여기서 미리결정된 추가의 이득들은 입력 신호(101)를 생성하기 위해 사용되는 가중치들로부터 유도된다. 이들 미리결정된 추가의 이득들은 각각의 중간 신호에 대한 가중된 구성요소 신호들의 상대적인 기여도들로부터 유도되는 각각의 가중치들로 가중된다.

각각의 이득들 G_l 및 G_r은 다음의 일반식에 따라 계산되는 것이 바람직하고:

,

여기서 g_f는 입력 신호에 속하는 전방 채널 신호를 스케일링하기 위해 사용되는 실제 가중치이고(전형적으로 g_f=1, 보다 세부적인 것을 위해서 도 5에 나타낸 것을 참조), g_s는 입력 신호에 기여하는 서라운드 채널 신호를 스케일링하기 위해 사용되는 실제 가중치이고, f(IID_l)는 좌측 중간 신호에 대한 좌측 전방 채널에 대응하는 가중된 구성요소 신호의 상대적인 기여도이고, (1-f(IID_l))는 좌측 중간 신호에 대한 좌측 서라운드 채널에 대응하는 가중된 구성요소 신호의 상대적인 기여도이다. 좌측 채널과 우측 채널 간에 구별하기 위해, 색인 l은 "좌측"을 의미하고, 색인 r은 "우측"을 의미하며, a는 가중치들이 서로를 보완하는 방식을 나타내는 매개변수이다(전력 보상 가중치들에 대해서는 a=0.5, 진폭 보상 가중치들에 대해서는 a=1).

각각의 중간 신호에 대한 가중된 구성요소 신호들의 상대적인 기여도는, 중간 신호에 기여하는 가중된 구성요소 신호들 간의 강도 차 IID_l, 또는 IID_r(색인 l 및 r은 각각 "좌측 채널" 및 "우측 채널"을 의미함)로부터 유도되고, 여기서 강도 차는 매개변수들(102)로부터 유도된다. 이들 상대적인 기여도들은 함수 f 및 (1-f)를 사용하여 나타내진다. IID_l는 가중된 좌측 전방 채널과 가중된 좌측 서라운드 채널 간의 대수의 채널-간 강도 차(IID)이고, IID_r은 가중된 우측 전방 채널과 가wnd된 우측 서라운드 채널 간의 대수의 채널-간 강도 차(IID)이다. f(IID)의 일례는 다음과 같다:

.

다른 함수들이 또한 가능하며, 그러나 그들은 대수의 IID 값들을, 0과 1 간의 값들을 갖는 가중치들에 맵핑해야 한다.

스케일링된 중간 신호들(421, 422, 및 423)은 회로(430)에 공급되고, 이 회로(430)는 MPEG 서라운드로부터 알려진 3-대-2(Three-to-Two)(역-TTT) 엔코더 모듈이다. 회로(430)는 3개의 스케일링된 중간 신호들을 신호(103)로 다운믹스하고, 이 신호(103)는 이어서 센드 이펙트 처리 회로(110)로 공급된다. 역-TTT 모듈을 나타내는 행렬인 T_dmx에 대해서, 다운믹싱은 다음에 의한 행렬 곱으로 구현된다:

.

앞에 표시된 다운믹싱은 결과적으로 스테레오 신호(103)를 제공하지만, 다운믹싱은 모노 신호를 또한 제공할 수 있다.

도 4에 나타낸 예에 대하여, 신호들(103a, 103b)은 다음의 행렬 곱의 결과로서 표현될 수 있다:

.

회로들(410, 420, 및 430)이 도 4에서 개별적인 회로들로 나타내져 있지만, 실제 하드웨어 또는 소프트웨어 구현은 이 엄격한 회로 분할을 요구하지 않는다. 이 회로들에서 수행되는 처리는 효율성 이유에서 조합될 수 있다. 또한, 행렬 곱은 중간 신호들을 명백하게 가시적으로 만들지 않으면서, 프로세서 상에서 수행될 수 있다.

회로(110)는 센드 이펙트 처리 회로를 나타내고, 이는 회로들(530, 520, 510)을 포함한다. 회로(530)에서, 입력 신호(101)에 적응한 결과인 생성된 스테레오 신호(103)의 다운믹싱이 행해지고, 그 결과 모노 다운믹스(501)를 제공한다. 이 다운믹스(501)는 다운믹스 신호(501)로부터 반향 출력 신호(121)를 생성하는 회로들(520, 510)에 평행하게 공급된다. 반향 센드 이펙트에 대해서, 회로들(510, 520)에서 사용되는 처리는 William G. Gardner의 "Applications of Digital Signal Processing to Audio and Acoustics"의 "반향 알고리즘들", Mark Kahrs 및 Karlheinz Brandenburg(편집자들), Kluwer(1998년 3월) 또는 Shreyas A. Paranjpe의, 2001년 5월 12-15일 네덜란드 암스테르담의 국제 오디오 공학회 110번째 회의지 5381의, Time-variant Orthogonal Matrix Feedback Delay Network Reverberator에 설명되어 있는 것과 같을 수 있다. 다른 센드 이펙트 처리는 Udo Zoelzer, Xavier Amatriain, Daniel Arfib, Jordi Bonada, Giovanni De Poli, Pierre Dutilleux, Gianpaolo Evangelista, Florian Keiler, Alex Loscos, Davide Rocchesso, Mark Sandler, Xavier Serra, Todor Todoroff, 배급자 Udo Zoelzer, Xavier Amatriain, Daniel Arfib, John Wiley and Sons(2002)의 DAFX: Digital Audio Effects에 설명되어 있다.

중간 신호들의 개수가 3개이지만, 중간 신호들의 개수는 오직 3개에 제한되지 않으며, 그것은 임의의 다른 값을 취할 수 있다. 그러나, 중간 신호들의 개수는 구성요소 신호들의 개수를 초과하지 않는 것이 바람직하다. MPEG 서라운드에 대하여, 입력 신호가 모노이면, 중간 신호들의 선호되는 개수는, MPEG 서라운드에 의해 선호되는 특정 구성들에 관련된 2, 3, 또는 5의 값들을 취한다.

도 5는 스테레오 호환가능 MPEG 서라운드 엔코더의 아키텍처의 일례를 도시하고, 그것은 입력 신호(101)가 어떻게 생성되는지를 나타낸다. 신호들(601-605)은 각각 서라운드 좌측 채널, 전방 좌측 채널, 중앙 채널, 전방 우측 채널, 및 서라운드 우측 채널이다. 이들 신호들은 입력 신호(101)가 생성되는 구성요소 신호들에 대응한다. 회로들(610, 620, 630)은 이득들로 스케일링하는 것을 구현한다. 회로(610)는 이득 g_s로 신호(601)를 스케일링한다. 회로(620)는 이득 g_c로 신호(603)를 스케일링한다. 회로(630)는 이득 g_s로 신호(605)를 스케일링한다. 남아있는 신호들(602, 604)도 또한 스케일링되지만, 그들을 스케일링하기 위해 사용되는 이득은 전형적으로 값 1을 취하므로, 이 스케일링을 구현하는 회로는 도면에서 생략된다(이 이유로, 신호(602)는 또한 622로 참조되고, 신호(604)는 624로 참조됨). 매개변수들(102)은 매개변수 추출 회로(640) 내에서 가중된 신호들(601-605)로부터 유도된다. 좌측 신호(631) 및 우측 신호(632)는 합산 회로들(650, 660)에서 수행되는 더하기들로부터 얻어진다. 좌측 채널에 관련된 신호들(621, 622)은 회로(650) 내의 중앙 채널에 관련된 신호(623)와 더해진다. 유사하게, 우측 채널에 관련된 신호들(625, 624)은 회로(660) 내의 중앙 채널에 관련된 신호(623)와 더해진다. 신호들(631, 632)은 이후 엔코딩된다. 스테레오 입력 신호(101)는 디코딩 후 신호(631, 632)를 나타낸다.

입력 신호(101)는 또한 모노 신호일 수 있다. 도 6은 모노 입력 신호를 생성하는, 515 구성의 MPEG 서라운드 다운믹싱의 아키텍처의 일례를 나타낸다. 회로들(710, 720, 730, 740, 750)은 2개의 신호들을 1개의 신호로 다운믹스하는 역-OTT(역-1-대-2) 모듈들이다. 이러한 모노 입력 신호는 다음에 표현된 바와 같은, 이득 g로 스케일링함으로써 상이한 가중치를 보상하도록 적응될 수 있으며:

여기서 c_i _,j는 OTT(1-대-2) 박스 i의 IID에 의해 다음과 같이 정의되고,

여기서 색인 i는 0 내지 4의 값들을 취하고, 여기서 값 0을 갖는 색인은 회로(750)에 관련되고, 값 1을 갖는 색인은 회로(740)에 관련되고, 값 2을 갖는 색인은 회로(730)에 관련되고, 값 3을 갖는 색인은 회로(710)에 관련되고, 값 4을 갖는 색인은 회로(720)에 관련된다. 색인 j는 값들 1 또는 2를 취하고, MPEG 서라운드 디코더 구성(도 6의 역)의 대응하는 OTT 박스 i의 출력 채널을 나타낸다. c_i _,j에 대한 표현은 특정 유형의 함수 f(IID)를 사용하지만, 다른 유형들도 또한 가능하다. 앞의 구성은 MPEG 서라운드에 의해 규정되는 가능한 구성들 중 하나이다. 다른 구성들도 또한 가능하지만, 이득 g에 대한 표현은 사용된 구성에 적응되어야 한다. 표 1은 입력 신호(101)를 생성하기 위해 사용되는 가중치들로부터 유도된 g₁ 내지 g₆에 대한 이득 값들을 나타낸다.

표 1 - 대응하는 정렬 이득들을 갖는 2개의 MPEG 서라운드 515 구성들에 대한 채널 순서화.

추가의 실시예에서, 입력 신호(101)는 추가의 이득들의 가중된 합으로 계산되는 이득(120)으로 스케일링되고, 추가의 이득들은 가중된 구성요소 신호들에 대응하는 매개변수들(102)로부터 유도되고, 추가의 이득들은 입력 신호에 대한 가중된 구성요소 신호들 또는 가중된 구성요소 신호들의 조합들의 상대적인 기여도들로부터 유도되는 가중치들로 가중된다. 가중된 구성요소 신호들 또는 가중된 구성요소 신호들의 조합들의 상대적인 기여도는 입력 신호에 기여하는 가중된 구성요소 신호들 간의 강도 차들로부터 유도되고, 강도 차들은 매개변수들(102)로부터 유도된다. 앞서 나타낸 바와 같이, 신호들(103a, 103b)은 따라서 다음의 행렬 곱의 결과로서 표현될 수 있고:

, 이는 다음과 같이 표현될 수 있고:

,

여기서 이득들 g₁ 및 g₂는 추가의 이득들로 불릴 수 있다.

도 7은 입력 신호(101)에 적용되는 센드 이펙트 처리에 적응하는 것을 포함하는 센드 이펙트 장치의 일 실시예는 나타내고, 도 8은 매개변수들에 의존하여 출력 신호 자체에 적응하는 것을 포함하는 센드 이펙트 장치의 일 실시예를 나타낸다. 이 2개의 실시예들은, 입력 신호(101)의 적응이 다른 단계들에서, 또한 센드 이펙트 처리 동안 또는 센드 이펙트 처리에 뒤따르는 사후-처리로서 실현될 수 있다는 것을 보여준다. 첫번째 경우에서, 도 7의 센드 이펙트 처리 회로(110)는 매개변수들(102)이 제공되는 부가적인 입력을 갖는다. 센드 이펙트 처리 자체는 예를 들어 스케일링 수단에 의해 입력 신호(101)의 적응을 포함하도록 적응된다. 두번째 경우에서, 출력 적응 회로(130)에는 센드 이펙트 처리 회로(110) 내에서 입력 신호(101)에 센드 이펙트를 적용하여 생성된 신호가 공급된다. 출력 적응 회로(130)는 또한 입력으로서 매개변수들(102)을 갖는다. 그러나, 센드 이펙트 처리 회로(110)가 어떻게 적응되어야 하는지 또는 어떤 출력 적응 회로가 수행되야 하는지는, 당업자에게는 자명할 것이다.

도 8의 실시예에 대해서, 센드 이펙트 처리에 적응하는 것은

,

로 표현되는 이득 g_m을 회로들(510, 520)의 출력들 모두에 적용함으로써 실현될 수 있으며, 이는 센드 이펙트 처리를 수행한다. 이득은 반향 효과에 관련된, 예를 들어, 타임-스프레딩(time-spreading) 효과를 통합하도록 지연되고 및/또는 조정될 수 있다. 이러한 경우, 이득들 g_m'는 다음과 같이 수정되고:

,

여기서, 예를 들어,

이고, α는 반향에 의해 다음의 프레임들에 걸친 신호 강도의 시간 스프레딩에 따른 현재 프레임(n)과 이전 프레임(n-1)의 이득을 가중하는 계수이다.

추가의 실시예에서, 입력 신호 및 매개변수들은 각각 MPEG 서라운드 표준에 따른 다운믹스 신호 및 매개변수들이다. MPEG 서라운드의 다운믹스에 대한 입력 신호 및 공간 매개변수들에 대한 매개변수들의 관계는 도면들에 나타낸 것에 기초하여 명확해질 것이다.

도 9는 센드 이펙트 장치와 평행한 바이노럴 렌더러를 포함하는 바이노럴 디코더의 일 실시예를 도시한다. 이 도면은, 센드 장치(100)가 매개변수(102)를 제공하기 위한 부가적인 입력을 갖는 점이 도 1과 다르다.

본원 발명이 몇몇의 실시예들에 관련하여 설명되었지만, 여기서 설명된 특정 형태들에 제한된 것으로 의도된 것은 아니다. 오히려, 본원 발명의 범위는 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 한 특징이 특정한 실시예들에 관련하여 설명된 것으로 보이지만, 설명된 실시예들의 다양한 특징들이 본원 발명에 따라 조합될 수 있음을 당업자들은 알 것이다. 청구항들에서, "포함한다"는 용어는 다른 요소들 또는 단계들의 존재를 배제하는 것은 아니다.

또한, 개별적으로 나열되어 있지만, 복수의 수단들, 요소들, 또는 방법 단계들은, 예를 들어, 단일 유닛 또는 프로세서로 구현될 수 있다. 부가적으로, 개개의 특징들이 서로 다른 청구항들에 포함될 수 있지만, 이들은 유익하게 조합될 수 있으며, 상이한 청구항들에의 포함이 특징들의 조합이 실현불가능하거나 및/또는 유익하지 않다는 것을 의미하는 것은 아니다. 또한 청구항들의 하나의 카테고리에 한 특징을 포함한 것은 이 카테고리에 제한하는 것을 의미하는 것이 아니라, 오히려 그 특징이 적절하게 다른 청구항 카테고리들에도 동일하게 적용가능하다는 것을 나타낸다. 부가적으로, 단수형의 참조들은 복수개를 배제하는 것은 아니다. 따라서, "한", "첫번째", "두번째" 등의 참조들은 복수를 배제하는 것은 아니다. 청구항들 내의 참조 부호들은 단지 명확하게 하는 예로서 제공되었을 뿐 어떤 방법으로든 청구항들의 범위를 제한하는 것으로 구성되지 않아야 한다. 본원 발명은 몇몇의 이산적인 요소들을 포함하는 하드웨어 수단, 및 적절하게 프로그래밍된 컴퓨터 또는 다른 프로그래밍가능한 장치의 수단에 의해 구현될 수 있다.

100-A: 센드 이펙트 처리 장치
101: 입력 신호
102: 매개변수
200: 바이노럴 렌더러
201: 바이노럴 출력

Claims

센드 이펙트 처리(send effect processing)를 입력 신호(101)에 적용함으로써 상기 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법으로서, 상기 입력 신호는 구성요소 신호들의 가중된 합을 포함하고, 상기 가중된 구성요소 신호들 간의 의존도들은 매개변수들(102)에 의해 표현되는, 상기 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법에 있어서,
상기 출력 신호(121)는 상기 매개변수들(102)에 의존하여 상기 입력 신호에 포함된 구성요소 신호들의 상이한 가중치에 대하여 보상하도록 생성되는 것을 특징으로 하는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 1 항에 있어서, 상기 입력 신호(101)는 복수의 중간 신호들(401, 402, 403)로 분할되고, 상기 중간 신호들 각각은 입력 신호(101)에 포함된 구성요소 신호들의 상기 상이한 가중치에 대하여 보상하기 위해 각각의 이득(420)으로 스케일링되는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 2 항에 있어서, 상기 각각의 중간 신호에 대응하는 상기 각각의 이득은 미리결정된 추가의 이득들의 가중된 합으로 계산되고, 상기 미리결정된 추가의 이득들은 상기 입력 신호(101)를 생성하기 위해 사용되는 가중치들로부터 유도되고, 상기 미리결정된 추가의 이득들은 상기 각각의 중간 신호에 대한 상기 가중된 구성요소 신호들의 상대적인 기여들로부터 유도되는 각각의 가중치들로 가중되는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 3 항에 있어서,
상기 각각의 중간 신호에 대한 상기 가중된 구성요소 신호들의 상기 상대적인 기여도는 상기 중간 신호에 기여하는 상기 가중된 구성요소 신호들 간의 강도 차로부터 유도되고, 상기 강도 차는 상기 매개변수들(102)로부터 유도되는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 1 항에 있어서, 상기 입력 신호(101)는 추가의 이득들의 가중된 합으로 계산되는 이득(120)으로 스케일링되고, 상기 추가의 이득들은 상기 가중된 구성요소 신호들에 대응하는 상기 매개변수들(102)로부터 유도되고, 상기 추가의 이득들은 입력 신호에 대한 상기 가중된 구성요소 신호들 또는 상기 가중된 구성요소 신호들의 조합들의 상대적인 기여도들로부터 유도되는 가중치들로 가중되는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 5 항에 있어서, 상기 가중된 구성요소 신호들 또는 상기 구성요소 신호들의 가중된 조합들의 상기 상대적인 기여도는 상기 입력 신호에 기여하는 가중된 구성요소 신호들 간의 강도 차들로부터 유도되고, 상기 강도 차들은 상기 매개변수들(102)로부터 유도되는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 1 항에 있어서, 상기 출력 신호(104)는 매개변수들(102)에 의존하여 조정되는 이득으로 스케일링되는, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
제 1 항에 있어서, 상기 입력 신호 및 상기 매개변수들은 각각 MPEG 서라운드 표준에 따른 다운믹스 신호 및 매개변수들인, 입력 신호(101)로부터 출력 신호(121)를 생성하는 방법.
입력 신호(101)로부터 출력 신호(121)를 생성하기 위한 센드 이펙트 장치(100)로서, 상기 센드 이펙트 장치(100)는 센드 이펙트를 상기 입력 신호에 적용하기 위한 센드 이펙트 처리 회로(101)를 포함하고, 상기 입력 신호(101)는 구성요소 신호들의 가중된 합을 포함하고, 상기 가중된 구성요소 신호들 간의 의존도들은 매개변수들(102)에 의해 표현되는, 상기 센드 이펙트 장치(100)에 있어서,
상기 입력 신호(101)에 포함되는 구성요소 신호들의 상이한 가중치에 대하여 보상하도록 상기 매개변수들(102)에 의존하여 상기 출력 신호(121)를 생성하기 위한 수단을 포함하는 것을 특징으로 하는, 센드 이펙트 장치(100).
개선된 바이노럴(binaural) 출력 신호(301)를 생성하기 위한 바이노럴 디코더(800)에 있어서,
입력 신호를 바이노럴 출력 신호(201)로 디코딩하기 위한 것이고, MPEG 서라운드 바이노럴 디코더인, 바이노럴 렌더러(binaural renderer; 200);
출력 신호(121)를 생성하기 위한 제 9 항에 따른 센드 이펙트 장치(100); 및
상기 개선된 바이노럴 출력 신호(301)를 얻기 위해 상기 바이노럴 출력 신호(201)에 상기 출력 신호(121)를 부가하기 위한 부가 회로(300)를 포함하는, 바이노럴 디코더(800).
프로그래밍가능한 장치로 하여금 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 실행하게 하기 위한 컴퓨터 프로그램 제품.