KR101414736B1

KR101414736B1 - 캐스케이드 필터뱅크들을 이용한 입력 오디오 신호를 처리하는 장치 및 방법

Info

Publication number: KR101414736B1
Application number: KR1020127026332A
Authority: KR
Inventors: 라즈 빌레모스; 페르 엑스트랜드; 사샤 디쉬; 프레드리크 나겔; 스테판 빌데
Original assignee: 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.; 돌비 인터네셔널 에이비
Priority date: 2010-03-09
Filing date: 2011-03-04
Publication date: 2014-08-06
Also published as: AR080477A1; JP5523589B2; TWI446337B; US20180366130A1; US11894002B2; AU2011226211A1; AR080476A1; AU2011226211B2; JP5588025B2; US20130090933A1; PL2545553T3; BR122021019082B1; US20200279571A1; ES2935637T3; CN103038819A; US11495236B2; SG183967A1; BR122021014312B1; EP2545548A1; ES2522171T3

Abstract

필터뱅크의 캐스케이드에 의존하는 입력 오디오 신호(2300)을 처리하는 장치에 관한 발명으로, 캐스케이드는 입력 오디오 신호(2300)으로부터 중간 신호(2306)을 합성하기 위한 합성 필터뱅크(2304)를 포함하며, 입력 오디오 신호는 분석 필터뱅크(2302)에 의해 발생하는 다수의 첫번째 부대역 신호들(2303)에 의해 표현되며, 여기서 합성 필터뱅크의 필터뱅크 채널들의 숫자는 분석 필터뱅크(2302)의 채널 숫자보다 작다. 상기 장치는 오디오 중간 신호(2306)으로부터 다수의 두번째 부대역 신호들(2308)을 발생시키기 위한 추가 분석 필터뱅크(2307)을 포함하며, 여기서 추가 분석 필터뱅크는 합성 필터뱅크(2304)의 채널 숫자와 다른 채널 숫자를 갖고, 다수의 두번째 부대역 신호들(2308)의 부대역 신호의 샘플링 레이트는 다수의 첫번째 부대역 신호들(2303)의 첫번째 부대역 신호의 샘플링 레이트와 다르다.

Description

캐스케이드 필터뱅크들을 이용한 입력 오디오 신호를 처리하는 장치 및 방법{Apparatus and method for processing an input audio signal using cascaded filterbanks}

본 발명은 고주파수 복원(HFR)을 위한 고조파 교차를 이용하는 오디오 소스 코딩 시스템에 관한 것이며, 예를 들어 익사이터(exciters)라 불리는, 고조파 왜곡의 발생이 처리된 신호의 명암에 더해지는 디지탈 이펙트 프로세서, 원래 스펙트럴 내용이 유지되는 동안 신호의 지속이 연장되는 시간 연장기(strecher)들에 관련된 것이다.

PCT WO 98/57436에서 교차의 개념은 오디오 신혼의 더 낮은 주파수 대역으로부터 고주파수 대역을 재생하는 방법에 의해 정립되었다. 비트레이트의 실질적 세이빙은 이 오디오 코딩의 개념을 이용하여 얻어질 수 있다. HFR 기반 오디오 코딩 시스템에서, 낮은 대역폭 신호는 상기 디코더 사이드의 목적 스펙트럴 형태를 묘사하는 매우 낮은 비트레이트의 추가적 부가 정보와 교차를 이용하여 재생된 더 높은 주파수들 그리고 코어 웨이브폼 코더에 의해 처리된다. 낮은 비트레이트에 대해, 코어가 코딩된 신호의 대역폭은 좁고, 그것은 개념적으로 좋은 특성의 높은 대역을 재생하는데 점차적으로 중요해진다. PCT WO 98/57436에 정의된 고조파 교차는 낮은 크로스오버 주파수의 상황에서 복합 음악적 재료들을 잘 수행한다.

고조파 교차의 원리는 T>1이 교차의 순서를 정의하는 정수일 때 주파수 Tw의 사인곡선에 보여지는 주파수 w의 사인곡선이다. 이와 대조적으로, 단일 사이드밴드(sideband, 측파대) 변조(SSB) 기반 HFR 방법은 △w 가 정 주파수 시프(shift) 노트일 때 주파수 w+△w의 사인곡선에 대한 주파수 w의 사인곡선을 보여준다. 낮은 대역폭의 코어 신호가 주어질 때, 불협화음으로 울리는 결과가 SSB 교차로부터 야기될 수 있다.

최적의 오디오 신호 품질에 도달하기 위하여, 최첨단의 고품질 고조파 HFR 방법들은 복합 변조 필터뱅크들을 이용하는데, 예를 들어, 숏 타임 푸리에 트랜스폼(STFT), 고주파수 해상도와 고도의 오버샘플링을 함께 이용하여 요구되는 오디오 품질에 도달하고자 한다.

선명한 해상도는 사인곡선들의 총합의 비선형 처리로부터 일어나는 원치않는 변조간 왜곡을 피하기 위하여 필요하다. 충분한 고주파수 해상도와 함께, 예를 들어 좁은 대역폭들 같은, 높은 품질 방법들은 각 부대역의 하나의 사인곡선의 최대치를 갖는 것을 목표로 한다. 시간의 높은 오버샘플링 정도는 왜곡의 종류라 불리는 것들은 피하기 위해 필요하며, 주파수의 특정 오버샘플링 정도는 과도 신호들에 대한 프리-에코들(pre-echoes)을 피하기 위해 필요하다. 명백한 단점은 컴퓨터적인 복잡성이 높아질 수 있다는 것이다.

부대역 블록 기반 고조파 교차는 억제 상호변조 결과물에 이용되는 또다른 HFR 방법인데, 그러한 경우 더 거칠은(coarser) 주파수 해상도와 더 낮은 등급의오버샘플링이 적용되는데, 예를 들어 멀티채널 QMF 뱅크 같은 것이다. 이 방법에서, 복합 부대역 샘플들의 시간 블록은 몇몇 변조된 샘플들의 중첩이 출력 부대역 샘플을 형성하는 동안 공통 위상 변조기에 의해 처리된다. 이것은 억제 상호변조 결과물들의 순수 효과를 가지며 이는 반면에 입력 부대역 신호가 몇몇 사인곡선들로 구성될 때 일어난다. 블록 기반 부대역 프로세싱에 기반한 교차는 고품질 교차기들보다 훨씬 낮은 컴퓨터적인 복잡성을 가지며 많은 신호들과 거의 동일한 품질을 달성한다. 그러나, 복잡성은 여전히 사소한 SSB 기반 HFR 방법들보다는 훨씬 높으며, 다수의 분석 필터 뱅크들, 다른 교차 순서들 T의 각 프로세싱 신호들, 이 요구되는 대역폭을 합성하기 위하여 전형적인 HFR 어플리케이션을 필요로 하기 때문이다.

추가적으로, 비록 다른 교차 순서들의 필터뱅크 프로세스 신호들이라도, 공통적인 접근은 일정한 사이즈의 분석 필터뱅크들에 맞는 입력 신호의 샘플링 레이트를 적용하는 것이다. 또한 공통적인 것은, 비-오버랩핑 파워 스펙트럴 밀도들과 함께, 다른 교차 순서들로 처리된 출력 신호들을 얻기 위하여 입력 신호들에 밴드패스 필터들을 적용하는 것이다. 오디오 신호들의 저장 또는 전송은 엄격한 비트레이트 제약을 종종 조건으로 한다. 과거에, 코드를 작성하는 사람들은 오직 아주 낮은 비트레이트가 가능할 때만 전송된 오디오 대역폭을 급격히 감소시키도록 강제되었다. 현대 오디오 코덱들은 요즘 대역폭 연장(BWE) 방법들 [1-12]를 이용해서 넓은 대역 신호들을 코딩하는 것이 가능해졌다. 이러한 알고리즘들은 고주파수 컨텐츠(HF)의 파라메트릭 표현에 의존하며, 이는 HF 스펙트럴 지역의 교차("패칭", "patching") 그리고 후처리되는 파라미터들의 어플리케이션 수단에 의하여 디코딩 된 신호들의 낮은 주파수 파트(LF)로부터 발생된다.

LF 부분은 아무 오디오 또는 스피치 코더들로 코딩된다. 예를 들어, [1-4]에 설명된 대역폭 연장 방법들은, 복수의 HF 패치들을 발생시키기 위해, 종종 "copy-up" 방법이라는 용어로 정의되는, 단일 부대역 변조(SSB)에 의존한다.

최근 새로운 알고리즘, 다른 패치들의 발생을 위한 위상 보코더들의 뱅크 [15-17] 를 적용하는 것이 표현되었다. [13] (도20을 참고) 이러한 방법은 청각적 거칠음을 피하기 위해 개발되었고 종종 SSB 대역폭 연장을 조건으로 한 신호들에서 관찰된다.

그러나, BWE 알고리즘은 코덱 체인의 디코더 측면에서 수행되며, 컴퓨터적인 복잡성은 심각한 문제이다. 최첨단 방법들, 특히 위상 보코더 기반 HBE는 SSB 기반 방법들과 비교하여 크게 증가된 컴퓨터적인 복잡성에서 이점을 가진다.

위에 요약된대로, 현존 대역폭 연장 구조들은 시간에서 주어진 신호 블록의 오직 하나의 패칭 방법만을 적용하고 있고, 그것은 SSB 기반 패칭 [1-4] 또는 HBE 보코더 기반 패칭 [15-17]이 되게 한다.

추가적으로, 현대 오디오 보코더들 [19-20]은 대체 패칭 설계들 사이의 시간 블록 베이시스에서 패칭 방법들을 전체적으로 스위칭하는 가능성을 제공한다.

SSB 카피-업 패칭은 오디오 신호에 원치않은 거칠음을 가져오지만, 컴퓨터적으로 간단하며 과도기의 시간 포락선을 보존한다. 게다가 컴퓨터적인 복잡성은 컴퓨터적으로 매우 간단한 SSB 카피-업 방법을 넘어 상당히 증가된다.

M. Dietz, L. Liljeryd, K. Kjoling and O. Kunz, "Spectral Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002. S. Meltzer, R. Bohm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale(DRM)," in 112th AES Convention, Munich, May 2002. T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm" in 112th AES Convention, Munich, May 2002. International Standard ISO/IEC 14496-3:2001/FPDAM 1, "Bandwidth Extension, ISO/IEC, 2002. Speech bandwidth extension method and apparatus Vasu Iyengar et al E. Larsen, R. M. Aarts, and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002. R. M. Aarts, E. Larsen, and O. Ouweltjes. A unified approach to low- and high frequency bandwidth extension. In AES 115th Convention, New York, USA, October 2003. K. Kayhko. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio Signal Processing, 2001. E. Larsen and R. M. Aarts. Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004. E. Larsen, R. M. Aarts, and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. In AES 112th Convention, Munich, Germany, May 2002. J. Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973. United States Patent Application 08/951,029, Ohmori , et al. Audio band width extending system and method United States Patent 6895375, Malah, D & Cox, R. V.: System for bandwidth extension of Narrow-band speech Frederik Nagel, Sascha Disch, A harmonic bandwidth extension method for audio codecs, ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009 Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs,126th AES Convention , Munich, Germany, May 2009 M. Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.", Robel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html Laroche L., Dolson M.: Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323--332, United States Patent 6549884 Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting Herre, J.; Faller, C.; Ertel, C.; Hilpert, J.; Hozer, A.; Spenger, C, MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio, 116th Conv. Aud. Eng. Soc., May 2004 Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jeremie; Bessette, Bruno; Geiger, Ralf; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard: Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates, ICASSP 2009, April 19-24, 2009, Taipei, Taiwan Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralf; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jeremie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederik; Neuendorf, Max; Rettelbach, Nikolaus; Robilliard, Julien; Salami, Redwan; Schuller, Gerald: A Novel Scheme for Low Bitrate Unified Speech and Audio Coding, 126th AES Convention, May 7, 2009, Munchen

복잡성 감소에 관하여, 샘플링 레이트는 특히 중요하다. 이것은 높은 샘플링 레이트는 높은 복잡성을 의미하며, 요구되는 작업들의 감소된 숫자 때문에 낮은 샘플링 레이트는 일반적으로 낮은 복잡성을 의미하기 때문이다.

그러나 반면에, 대역폭 연장 어플리케이션들의 상황은 특히, 코어 코더 출력 신호의 샘플링 레이트는 전형적으로 느리게 되기 때문에, 이 샘플링 레이트는 최대 대역폭 신호에 대해 너무 낮게 된다.

다르게 말하면, 디코더 출력 신호의 샘플링 레이트가, 예를 들어, 코어 코더 출력 신호의 최대 주파수의 2 또는 2.5배일 때, 예를 들어 인수 2에 의한 대역폭 연장은 ,샘플링이 추가적으로 발생된 고주파수 구성요소들을 "커버"할 수 있게 대역폭 연장 신호의 샘플링 레이트가 높도록, 언샘플링 작업이 요구되는 것을 의미한다.

추가적으로, 분석 필터뱅크와 합성 필터뱅크 같은 필터뱅크들은 작업을 처리하는 양에 상당히 책임이 있다. 그래서, 필터뱅크들의 사이즈는, 즉, 필터뱅크가 32채널 필터뱅크인지, 64 채널 필터뱅크인지 또는 더 높은 채널 숫자를 갖는 필터뱅크인지는 오디오 처리 알고리즘의 복잡성에 상당한 영향을 미친다는 것이다.

일반적으로, 필터뱅크 채널의 높은 숫자는 더 많은 처리 작업들을 필요로 하며, 따라서, 필터뱅크 채널들의 작은 숫자보다 더 높은 복잡성을 갖는다. 이러한 관점에서, 대역폭 연장 어플리케이션들 그리고 다른 오디오 처리 어플리케이션들에서, 다른 샘플링 레이트는 이슈이고, 보코더-유사 어플리케이션들이나 다른 오디오 효과 어플리케이션들에서와 마찬가지로, 복잡성과 샘플링 레이트 또는 오디오 대역폭 사이에 특정 상호의존이 있다는 것이고, 그것은 언샘플링이나 부대역 필터링 작업이 다른 도구나 알고리즘이 특정 작업을 위해 선택되었을 때 좋은 감각적 오디오 품질에 특정적으로 영향을 미치지 않고 복잡성을 상당히 개선할 수 있다는 것을 의미한다.

그것은 오디오 처리의 개념을 향상시키는 것을 제공하기 위한 본 발명의 목적이고, 다른 면에서 좋은 오디오 품질과 한편으로는 낮은 복잡성 처리를 가능케 한다. 이 목적은 청구항 1 또는 18에 따른 입력 오디오 신호를 처리하는 장치, 청구항 20 또는 21에 따른 입력 오디오 신호를 처리하는 방법, 또는 청구항 22에 따른 컴퓨터 프로그램에 의해 달성된다.

일반적으로, 필터뱅크 채널의 높은 숫자는 더 많은 처리 작업들을 필요로 하며, 따라서, 필터뱅크 채널들의 작은 숫자보다 더 높은 복잡성을 갖는다. 이러한 관점에서, 대역폭 연장 어플리케이션들 그리고 다른 오디오 처리 어플리케이션들에서, 다른 샘플링 레이트는 이슈이고, 보코더-유사 어플리케이션들이나 다른 오디오 효과 어플리케이션들에서와 마찬가지로, 복잡성과 샘플링 레이트 또는 오디오 대역폭 사이에 특정 상호의존이 있다는 것이고, 그것은 언샘플링이나 부대역 필터링 작업이 다른 도구나 알고리즘이 특정 작업을 위해 선택되었을 때 좋은 감각적 오디오 품질에 특정적으로 영향을 미치지 않고 복잡성을 상당히 개선할 수 있다는 것을 의미한다. 그것은 오디오 처리의 개념을 향상시키는 것을 제공하기 위한 본 발명의 목적이고, 다른 면에서 좋은 오디오 품질과 한편으로는 낮은 복잡성 처리를 가능케 한다.

본 발명의 실시예들은 단일 분석 그리고 합성 필터뱅크 쌍의 프레임워크에서 부대역 블록 기반 교차의 몇몇 순서들을 효과적을 실행함으로써 부대역 블록 기반 고조파 교차의 컴퓨터적인 복잡성을 감소시키는 것을 돕는다. 추가적으로, 실시예들은 HFR 도구들의 스펙트럴 정렬 수단에 의하여 부대역 블록 기반 고조파 HFR 방법들(methods) 뿐만 아니라 고품질 고조파 HFR 방법들(methods)을 개선하는 방법도 제공한다.

도 1은 HFR 향상 디코더 프레임워크에서 2, 3, 4의 교차 순서를 이용한 블록 기반 교차기의 작동을 나타내는 도면.
도 2는 도 1의 비선형 부대역 연장 유닛들의 작업을 나타내는 도면.
도 3은 도 1의 블록 기반 교차기의 효과적 실행을 도시하는 도면(HFR 분석 필터 뱅크를 진행하는 리샘플러(resampler)와 밴드패스 필터는 멀티-레이트 시간 영역 리샘플러들과 QMF기반 밴드패스 필터들을 이용하여 실행됨)
도 4는 도 3의 멀티-레이트 시간 영역 리샘플러의 효과적 실행을 위한 블록들을 구성하는 예들을 나타낸 도면
도 5는 두번째 순서의 교차를 위한 도 4의 다른 블록들에 의해 처리된 신호 예에서의 효과를 나타낸 도면.
도 6은 도 1의 블록 기반 교차기의 효과적 실행을 나타내는 도면(여기서 HFR 분석 필터 뱅크들을 진행하는 리샘플러와 밴드패스 필터들은 32-대역 분석 필터 뱅크로부터 선택된 부대역들에서 부표본화된 작은 합성 필터뱅크 작업들에 의해 재배치됨)
도 7은 두번째 순서의 교차를 위한 도6의 부표본화된 합성 필터뱅크에 의해 처리되는 신호 예에서의 효과를 나타내는 도면.
도 8은 인수 2의 효과적인 멀티-레이트 시간 영역 다운샘플러의 블록들의 실행을 나타내는 도면.
도 9는 인수 3/2의 효과적인 멀티-레이트 시간 영역 다운샘플러의 블록들의 실행을 나타내는 도면.
도 10은 HFR 향상 코더에서 포락선 조정 주파수 대역들의 경계선에 대한 HFR 교차기 신호들의 스펙트럴 경계의 정렬을 나타내는 도면.
도 11은 HFR 교차기 신호들의 정렬되지 않은 스펙트럴 경계로 인해 일어나는 결과물의 시나리오를 나타내는 도면.
도 12는 HFR 교차기 신호들의 정렬된 스펙트럴 경계들의 결과에 따라 도 11의 결과물이 회피되는 시나리오를 나타내는 도면.
도 13은 HFR 교차기 신호들의 스펙트럴 경계에 대한 리미터 툴에서의 스펙트럴 경계의 적응을 나타내는 도면.
도 14는 부대역 블록 기반 고조파 교차의 원리를 나타내는 도면.
도 15는 HFR 향상 오디오 코덱에서 교차의 몇몇 순서들을 이용하는 부대역 블록 기반 교차의 어플리케이션에 대한 시나리오 예시를 보여주는 도면.
도 16은 교차 순서당 분리 분석 필터 뱅크를 적용하는 다중 순서 부대역 블록 기반 교차의 작업에 대한 시나리오 예를 보여주는 종래 기술을 나타내는 도면.
도 17은 단일 64 대역 QMF 분석 필터뱅크를 적용하는 다중 순서 부대역 블록 기반 교차의 효과적인 작업에 대한 독창적인 시나리오 예를 보여주는 도면.
도 18은 부대역 단일-방향 처리의 형성에 대한 또 다른 예를 나타내는 도면.
도 19는 단일 사이드밴드 변조 (SSB) 패칭을 나타내는 도면.
도 20은 고조파 대역폭 연장 (HBE) 패칭을 나타내는 도면.
도 21은 낮은-주파수 부분의 SSB 카피-업에 의해 발생되는 두번째 패치와 주파수 확산에 의해 발생하는 첫번째 패치가 있을 때의 혼합 패칭을 나타내는 도면.
도 22는 첫번째 HBE 패치를 SSB 카피업 작업에 대해 두번째 패치를 발생시키기 위해 활용한 대체 혼합 패칭을 나타내는 도면.
도 23은 분석 합성 필터뱅크들의 바람직한 캐스케이드 구조를 나타내는 도면.
도 24a는 도 23의 작은 합성 필터뱅크의 바람직한 실행을 나타내는 도면.
도 24b는 도 23의 추가 분석 필터뱅크의 바람직한 실행을 나타내는 도면.
도 25a는 ISO/IEC 14496-3: 2005(E)의 특정 분석과 합성 필터뱅크의 개요.(특히 도 23의 최종 합성 필터뱅크를 위해 사용될 수 있는 합성 필터뱅크의 실행과 도 23의 분석 필터뱅크를 위해 사용될 수 있는 분석 필터뱅크의 실행을 나타내는 도면.)
도 25b는 도 25a의 분석 필터뱅크의 플로우챠트에 따른 실행을 나타내는 도면.
도 25c는 도 25a의 합성 필터뱅크의 바람직한 실행을 나타내는 도면.
도 26은 대역폭 연장 처리의 맥락에서 프레임워크의 개요를 나타내는 도면.
도 27은 도 23의 추가 분석 필터뱅크의 부대역 신호 출력의 처리의 바람직한 실행을 나타내는 도면.

[발명의 요약]

복잡성 감소에 관하여, 샘플링 레이트는 특히 중요하다. 이것은 높은 샘플링 레이트는 높은 복잡성을 의미하며, 요구되는 작업들의 감소된 숫자 때문에 낮은 샘플링 레이트는 일반적으로 낮은 복잡성을 의미하기 때문이다. 그러나 반면에, 대역폭 연장 어플리케이션들의 상황은 특히, 코어 코더 출력 신호의 샘플링 레이트는 전형적으로 느리게 되기 때문에, 이 샘플링 레이트는 최대 대역폭 신호에 대해 너무 낮게 된다. 다르게 말하면, 디코더 출력 신호의 샘플링 레이트가, 예를 들어, 코어 코더 출력 신호의 최대 주파수의 2 또는 2.5배일 때, 예를 들어 인수 2에 의한 대역폭 연장은 ,샘플링이 추가적으로 발생된 고주파수 구성요소들을 "커버"할 수 있게 대역폭 연장 신호의 샘플링 레이트가 높도록, 언샘플링 작업이 요구되는 것을 의미한다.

추가적으로, 분석 필터뱅크와 합성 필터뱅크 같은 필터뱅크들은 작업을 처리하는 양에 상당히 책임이 있다. 그래서, 필터뱅크들의 사이즈는, 즉, 필터뱅크가 32채널 필터뱅크인지, 64 채널 필터뱅크인지 또는 더 높은 채널 숫자를 갖는 필터뱅크인지는 오디오 처리 알고리즘의 복잡성에 상당한 영향을 미친다는 것이다. 일반적으로, 필터뱅크 채널의 높은 숫자는 더 많은 처리 작업들을 필요로 하며, 따라서, 필터뱅크 채널들의 작은 숫자보다 더 높은 복잡성을 갖는다. 이러한 관점에서, 대역폭 연장 어플리케이션들 그리고 다른 오디오 처리 어플리케이션들에서, 다른 샘플링 레이트는 이슈이고, 보코더-유사 어플리케이션들이나 다른 오디오 효과 어플리케이션들에서와 마찬가지로, 복잡성과 샘플링 레이트 또는 오디오 대역폭 사이에 특정 상호의존이 있다는 것이고, 그것은 언샘플링이나 부대역 필터링 작업이 다른 도구나 알고리즘이 특정 작업을 위해 선택되었을 때 좋은 감각적 오디오 품질에 특정적으로 영향을 미치지 않고 복잡성을 상당히 개선할 수 있다는 것을 의미한다. 그것은 오디오 처리의 개념을 향상시키는 것을 제공하기 위한 본 발명의 목적이고, 다른 면에서 좋은 오디오 품질과 한편으로는 낮은 복잡성 처리를 가능케 한다.

이 목적은 청구항 1 또는 18에 따른 입력 오디오 신호를 처리하는 장치, 청구항 20 또는 21에 따른 입력 오디오 신호를 처리하는 방법, 또는 청구항 22에 따른 컴퓨터 프로그램에 의해 달성된다.

본 발명의 실시예들은 오디오 품질의 희생 없이 낮은 복잡도 리샘플링을 얻기 위해 분석 및/또는 합성 필터뱅크의 특정 캐스케이드 배치에 의존한다. 하나의 실시예에서, 입력 오디오 신호를 처리하는 장치는 입력 오디오 신호로부터 오디오 중간 신호를 합성하기 위한 합성 필터뱅크, 여기서 입력 오디오 신호는 합성 필터 뱅크 전의 처리 방향으로 놓여진 분석 필터뱅크에 의해 발생되는 다수의 첫번째 부대역 신호에 의해 표현되며, 여기서 합성 필터뱅크의 필터뱅크 채널 숫자는 분석 필터뱅크의 채널 숫자보다 작다. 중간 신호는 오디오 중간 신호로부터 다수의 두번째 부대역 신호들을 발생시키기 위한 추가 분석 필터뱅크에 의해 더 처리되며, 여기서 추가 분석 필터뱅크는, 다수의 부대역 신호들의 부대역 신호의 샘플링 레이트가 분석 필터뱅크에 의해 발생되는 다수의 첫번째 부대역 신호들의 첫번째 부대역 신호의 샘플링 레이트와 다른 다수의 부대역 신호들의 부대역 신호의 샘플링 레이트를 갖도록 합성 필터뱅크의 채널 숫자와 다른 채널 숫자를 갖는다.

합성 필터뱅크의 캐스캐이드와 순차적으로 연결된 추가 분석 필터뱅크는 샘플링 레이트 변환을 제공하며 추가적으로 기저 대역으로 합성 필터뱅크에 입력되는 원래 오디오 입력 신호의 대역폭 부분의 변조를 제공한다. 이 시간 중간 신호는, 원래 입력 오디오 신호로부터 추출되며, 예를 들어 그것은 대역폭 연장 배치의 코어 디코더의 출력 신호가 될 수 있고, 바람직하게는 기저 대역에 변조되는 임계적으로 샘플링된 신호로 표현되고, 이 표현은 즉 리샘플링된 출력 신호(resampled output signal)로 발견되고, 추가 처리 작업의 낮은 복잡성 처리를 가능하게 하는 부대역 표현을 얻기 위한 추가 필터뱅크에 의해 처리될 때, 여기서 추가 처리 작업은 에를 들어 일어날 수도 일어나지 않을 수도 있고 최종 합성 필터뱅크에서 부대역들의 합성에 의해 그리고 고주파수 복원 처리에 따라오는 비선형 부대역 작업들 같은 대역폭 연장 관련 처리 작업들이 될 수도 있다.

본 어플리케이션은 다른 관점의 장치, 방법 또는 컴퓨터 프로그램을 제공하며, 이는 대역폭 연장의 맥락에서 처리되는 오디오 신호들 그리고 대역폭 연장에 관계없는 다른 오디오 어플리케이션들의 맥락에서 처리되는 것을 위한 것이다.

순차적으로 설명되고 주장되는 개별 관점들의 특징은 부분적 또는 전체적으로 결합될 수 있고, 각 개별로 분리되어 사용될 수도 있고, 이는 컴퓨터 시스템 또는 마이크로 프로세서에서 실행될 때, 개별 관점들은 이미 개념적 품질, 컴퓨터적 복잡성과 프로세서/메모리 자원들의 관점에서 이점을 제공하기 때문이다. 실시예들은 효과적인 필터링 그리고 HFR 필터뱅크 분석 스테이지에 대한 입력의 샘플링 레이트 변환에 의한 부대역 블록 기반 고조파 HFR 방법의 컴퓨터적인 복잡성을 감소시키는 방법을 제공한다. 게다가, 밴드패스 필터들은 부대역 블록 기반 교차기에 필요없도록 보여질 수 있는 입력 신호들에 적용된다.본 실시예들은 단일 분석 그리고 합성 필터뱅크 쌍의 프레임워크에서 부대역 블록 기반 교차의 몇몇 순서들을 효과적을 실행함으로써 부대역 블록 기반 고조파 교차의 컴퓨터적인 복잡성을 감소시키는 것을 돕는다.

컴퓨터적 복잡성 트레이드-오프에 대한 지각적 품질에 의존하여, 오직 교차의 모든 순서 또는 순서들의 적합한 부분집합(서브-셋, sub-set) 순서는 필터뱅크 쌍에서 공동으로 수행될 수 있다. 게다가, 결합 교차 설계는, 잔여 대역폭이 이용가능한 교차 순서, 예를 들어 이전에 계산된 것, 및/또는 코어 코딩 대역폭의 복제에 의해 채워지는 반면, 특정 교차 순서(예를 들어, 2^nd 순서)들만 직접 계산된다. 이 경우 패칭은 복제를 위해 이용가능한 소스 범위의 상상 가능한 모든 결합을 이용하여 수행될 수 있다. 추가적으로, 실시예들은 HFR 도구들의 스펙트럴 정렬 수단에 의하여 부대역 블록 기반 고조파 HFR 방법들(methods) 뿐만 아니라 고품질 고조파 HFR 방법들(methods)을 개선하는 방법도 제공한다. 특히, 개선된 성능은 포락선 조정 주파수 테이블의 스펙트럴 경계선에 대해 HFR 발생 신호들의 스펙트럴 경계를 정렬시킴에 의해 달성될 수 있다. 게다가, 리미터 툴의 스펙트럴 경계들은 동일한 원리에 의해 HFR 발생 시그널들의 스페트럴 경계에 정렬되게 된다.

게다가 실시예들은 과도기의 지각적 품질을 개선하기 위해 구성되며, 같은 시간에, 고조파 패칭과 카피-업 패칭으로 구성되는 혼합 패칭을 적용하는 패칭 설계의 어플리케이션에 의해 컴퓨터적 복잡성을 감소시키기 위해 구성될 수 있다. 특정 실시예들에서, 캐스케이드 필터뱅크 구조의 개별 필터뱅크들은 정사각형 미러 필터뱅크(QMF)이고, 이는 모두 로우패스 프로토타입 필터 또는 필터뱅크 채널들의 중심 주파수를 정의하는 변조 주파수들의 셋트를 이용하는 윈도우 변조에 의존한다. 바람직하게, 모든 윈도우 기능들 또는 프로토타입 필터들은, 서로간에 다른 사이즈 (필터뱅크 채널들)의 필터뱅크들의 필터들이 상호간에 의존하는 것과 마찬가지로, 상호간에 의존한다.

바람직하게, 필터뱅크들의 캐스케이드 구조에서 가장 큰 필터뱅크는, 실시예들에서, 첫번째 분석 필터뱅크, 순차적 연결 필터뱅크, 추가 분석 필터뱅크, 그리고 최종 합성 필터뱅크 처리의 조금 나중 상태는 특정 윈도우 기능의 숫자 또는 프로토타입 필터 계수들을 갖는 윈도우 펑션 또는 프로토타입 필터 응답을 갖는다. 더 작은 사이즈의 필터뱅크들은 모두 이 윈도우 기능의 부표본화된 버젼이고, 이는 다른 필터뱅크들을 위한 윈도우 기능들이 "큰" 윈도우 기능의 부표본화된 버젼이라는 것을 의미한다.

예를 들어, 만약 필터뱅크가 큰 필터뱅크의 절반 사이즈를 갖고 있다면, 윈도우 펑션은 절반의 계수 숫자를 갖고, 더 작은 사이즈의 필터뱅크의 계수는 부표본화에 의해 유도된다. 이 상황에서, 부표본화는, 예를 들어 모든 두번째 필터 계수는 절반 사이즈를 갖는 더 작은 필터뱅크들에 대해 취해진다는 것을 의미한다. 그러나, 비정수 값인 필터뱅크 사이즈들 사이에 다른 관계가 있을 때, 윈도우 계수의 특정 보간 종류가, 결국 더 작은 필터뱅크의 윈도우가 다시 더 큰 필터뱅크의 윈도우의 부표본화 버전이 되도록, 수행된다. 본 발명의 실시예들은 특히 입력 오디오 신호의 부분만이 추가적 처리를 위해 필요할 때 유용하고, 이러한 상황은 특히 고조파 대역폭 연장의 맥락에서 일어난다. 이 맥락에서, 보코더-유사 처리 작업들은 특히 바람직하다. 실시예들의 이점은 실시예들이 효율적인 시간과 주파수 영역 작업에 의해 QMF 교차기에 더 낮은 복잡성, QMF에 더 나은 오디오 품질, 그리고 스펙트럴 정렬을 이용하는 DFR 기반 고조파 스펙트럴 대역 복제를 제공한다는 것이다.

실시예들은 예를 들어 고 주파수 복원(HFR)에 대한 부대역 블록 기반 고조파 교차 방법을 적용한 오디오 소스 코딩 시스템 에 관련되어 있고, 예를 들어 소위 익사이터(exciter)라 불리는 디지털 이펙트 프로세서에 관련되어 있는데, 여기서 고조파 왜곡의 발생은 처리된 신호에 대한 명암을 추가하며, 실시예들은 시간 연장기에 관련이 되어 있고, 여기서 신호의 지속은 원래 스펙트럴 내용이 유지되는 동안 연장된다. 실시예들은 HFR 필터 뱅크 분석 스테이지에 선행하는 입력 신호들의 샘플링 레이트 변환 그리고 효율적 필터링 수단에 의한 부대역 블록 기반 고조파 HFR 방법의 컴퓨터적인 복잡성을 감소시키는 방안을 제공한다. 이에 더하여, 실시예들은 입력 신호들에 적용되는 일반적인 밴드패스 필터들이 부대역 블록 기반 HFR 시스템에 필요없다는 것을 보인다. 추가적으로, 실시예들은 HFR 도구의 스펙트럴 정렬 수단에 의한 부대역 블록 기반 고조파 HFR 방법 뿐만 아니라 고 품질 고조파 HFR 방법 양쪽을 개선시키는 방법을 제공한다. 특히, 실시예들은 어떻게 증가된 성능이 포락선 조정 주파수 테이블의 스펙트럴 경계선에 대한 HFR 발생 신호들의 스펙트럴 경계의 정렬에 의해 얻어지는지를 가르쳐준다. 이에 더하여, 리미터 툴의 스펙트럴 경계들은 같은 원리에 의하여 HFR 발생 신호들의 스펙트럴 경계에 정렬된다.

[바람직한 실시예의 설명]

아래 설명된 실시예들은 스펙트럴 정렬에 의한 DFT 기반 고조파 SBR 과 QMF 양쪽의 개선된 오디오 품질, 효과적 시간과 주파수 영역 작업에 의한 QMF 교차기의 더 낮은 복잡성을 제공할 수 있는 단순히 설명적인 것들이다. 여기서 설명된 배열과 세부사항들의 변형과 변화는 다른 통상의 지식을 가진 기술자에게 명백하다고 이해된다.

도 23은 입력 오디오 신호가 처리되는 장치의 바람직한 실행을 나타내는 도면인데 여기서 입력 오디오 신호는, 예를 들어, 코어 오디오 디코더 2301에 의한 라인 2300 출력에의 시간 영역 출력 신호가 될 수 있다. 입력 오디오 신호는 첫번째 분석 필터뱅크(2302)에의 입력이고, 그것은, 예를 들어, M 채널들을 갖는 분석 필터뱅크이다. 특히, 분석 필터뱅크 2302는 따라서 M 부대역 신호들(2303)을 출력하고, 그것은 샘플링 레이트 f_S = f_S/M를 갖는다. 이것은 분석 필터뱅크가 임계적으로 샘플링된 분석 필터뱅크라는 것은 의미한다. 이것은 분석 필터뱅크(2302)가 각 부대역 채널에 대한 라인(2300) 단일 샘플에서 M 입력 샘플들의 각 블록을 제공한다는 것을 의미한다. 바람직하게, 분석 필터뱅크(2302)는 복합 변조 필터뱅크이고 그것은 각 부대역 샘플은 크기와 위상 또는 동일하게 실수 부분과 허수 부분을 갖는다는 것을 의미한다. 그래서, 라인(2300)의 입력 오디오 신호는 다수의 첫번째 부대역 신호들(2303)에 의해 표현되며 그것은 분석 필터뱅크(2302)에 의해 발생된다.

모든 첫번째 부대역 신호들의 부분집합(서브셋, subset)은 합성 필터뱅크(2304)에 대한 입력이다. 합성 필터뱅(2304)는 Ms 채널들을 가지며, 여기서 Ms는 M보다 작다. 이런 이유로, 필터뱅크 (2302)에 의해 발생되는 모든 부대역 신호들이 합성 필터뱅크(2304)의 입력인 것은 아니고, 오직 부분집합, 즉, 2305에 의해 지적되는 바와 같이 특정 더 작은 량의 채널들만이 그렇게 된다. 도 23의 실시예에서, 부분집합(2305)는 특정 중간 대역폭을 커버하나, 이와 반대로, 부분집합은 M보다 더 작은 채널 숫자를 갖는 채널까지 필터뱅크(2302)의 필터뱅크 채널 1로 시작하는 대역폭을 커버할 수도 있고, 또는 그렇지않으면 부분집합(2305)는 채널 숫자 1보다 높은 채널 숫자를 갖는 더 낮은 채널로 연장되고 가장 높은 채널 M으로 정렬되는 부대역 신호들의 그룹을 커버할 수도 있다. 대안적으로, 채널 인덱싱은 실제로 알려진 표기법에 의존하여 0으로 시작하게 될 수 있다. 그러나 바람직하게는, 대역폭 연장 작업을 위하여, 2305에서 지시되는 부대역 신호들의 그룹에 의해 표현되는 특정 중간 대역폭은 합성 필터뱅크(2304)에의 입력이다.

그룹(2305)에 속하지 않는 다른 채널들은 합성 필터뱅크(2304)에의 입력이 아니다. 합성 필터뱅크(2304)는 중간 오디오 신호(2306)을 발생시키며, 이것은 f_S·M_S/M 와 동일한 샘플링 레이트를 갖는다. Ms가 M보다 작기 때문에, 중간 신호(2306)의 샘플링 레이트는 라인(2300)의 입력 오디오 신호의 샘플링 레이트보다 작다. 그래서, 부분집합(2305)의 경계에서 엘리어싱 문제를 피하기 위해 가장 낮거나 가장 높은 채널에 대한 몇몇 제로 패딩 작업을 제외하고는, 중간 신호(2306)은 부대역(2305)에 의해 표현되는 대역폭 신호에 대응하는 다운샘플되고 복조된 신호를 표현하며, 여기서 신호는 기저 대역에 대해 복조되며, 그룹(2305)의 가장 낮은 채널이 Ms 합성 필터뱅크의 채널 1에 대한 입력이고 블록(2305)의 가장 높은 채널이 블록(2304)의 가장 높은 입력에 대한 입력이기 때문이다. 입력 오디오 신호를 처리하는 장치는 중간 신호(2306)을 분석하기 위한 추가 분석 필터뱅크(2307), M_A 채널들을 갖는 추가 분석 필터뱅크를 더 포함하며, 여기서 M_A는M_S 와 다르며 바람직하게는 M_S 보다 크다. M_A 가 M_S보다 클 때, 부대역 신호들의 샘플링 레이트는 추가 분석 필터뱅크(2307)에 의해 출력을 내며, 2308에 지적된대로 부대역 신호(2303)의 샘플링 레이트보다 작아지게 된다. 그러나 M_A 가 M_S보다 작을 때, 부대역 신호(2308)의 샘플링 레이트는 다수의 첫번째 부대역 신호들(2303)의 부대역 신호의 샘플링 레이트보다 커지게 된다.

그래서, 필터뱅크들(2304와 2307, 바람직하게는 2302)의 캐스케이드는 매우 효율적이고 고품질의 업샘플링 또는 다운샘플링 작업 또는 일반적으로 매우 효율적인 리샘플링 작업 툴을 제공한다. 다수의 두번째 부대역 신호들(2308)은 바람직하게는 프로세서(2309)에서 추가로 처리되며, 이 프로세서는 필터뱅크들(2304, 2307, 바람직하게는 2302)의 캐스케이드에 의한 리샘플링된 데이타의 처리를 수행한다. 추가적으로, 블록(2309) 또한 대역폭 연장 처리 작업들에 대한 업샘플링 작업을 수행하는 것이 선호되며, 이는 결국에 블록(2309)에 의해 출력되는 부대역이 블록(2302)에 의해 출력되는 부대역처럼 같은 샘플링 레이트에서 있게 하기 위함이다. 그러면, 대역폭 연장 처리 어플리케이션에서, 이러한 부대역들은 2310에서 지적된 추가 부대역들과 함께 입력되는데, 이것은 바람직하게는, 예를 들어 합성 필터뱅크(2311)으로 분석 필터뱅크(2302)에 의해 발생되는 것처럼 저 대역 부대역들이고, 결국 처리된 시간 영역 신호를 제공하며, 이는 예를 들어 샘플링 레이트 2f_S 를 갖는 대역폭 연장 신호이다. 블록(2311)에 의해 출력되는 이 샘플링 레이트는 이 실시예에서 라인(2300) 신호의 샘플링 레이트의 2배이고, 블록(2311)에 의해 출력되는 이 샘플링 레이트는 블록(2309)에 의해 처리되는 것에 의해 발생하는 추가 대역폭이 높은 오디오 품질로 처리된 시간 영역 신호에서 표현될 수 있도록 충분히 크다.

본 발명의 캐스케이드 필터뱅크의 특정 어플리케이션에 의존하여, 필터뱅크(2302)는 분리된 장치 그리고 기구에서 오직 합성 필터뱅크(2304)와 추가 분석 필터뱅크(2307)을 포함하는 입력 오디오 신호를 처리하기 위한 것이 될 수 있다. 다르게 말하면, 분석 필터뱅크(2302)는 블록들(2304, 2307), 실시예에 따라 블록(2309, 2311)도 포함하는 "후" 프로세서로부터 개별적으로 분배될 수 있다.

다른 실시예에서, 본 발명에 적용된 캐스케이드 필터뱅크의 어플리케이션은 분석 필터뱅크(2302) 그리고 더 작은 합성 필터뱅크(2304) 포함하는 특정 장치에서 달라질 수 있고, 중간 신호는 다른 분배기에 의해 또는 다른 분배 채널에 의해 분배되는 다른 프로세서에 제공된다. 분석 필터뱅크(2302)와 더 작은 합성 필터뱅크(2304)의 결합은 다운샘플링과 동시에 기저 대역에 대한 부분집합(2305)에 의해 표현되는 대역폭 복조의 매우 효율적인 방법을 제시한다. 기저 대역에 대한 다운샘플링과 복조화는 오디오 품질의 어떠한 손실도 없이 수행되며, 특히 오디오 정보의 어떠한 손실도 없이 수행되고 따라서 매우 고품질 프로세싱이다.

도 23의 표에서 다른 장치들의 특정 예시적 숫자들을 도시하고 있다. 바람직하게는, 분석 필터뱅크(2302)는 32채널들을 갖고, 합성 필터뱅크는 12채널을 갖고, 추가 분석 필터뱅크는, 24채널들처럼, 합성 필터뱅크 채널들 2배를 가지며, 최종 합성 필터뱅크(2311)은 64채널들을 갖는다. 일반적으로 말하자면, 분석 필터뱅크(2302) 채널의 숫자는 크고, 합성필터뱅크(2304)의 채널 숫자는 작고, 추가 분석 필터뱅크(2307)의 채널 숫자는 중간이고, 합성 필터뱅크(2311)의 채널 숫자는 매우 크다. 분석 필터뱅크(2302)에 의한 부대역 출력 신호의 샘플링 레이트는 f_S/M 이다. 중간 신호는 샘플링 레이트 f_S _· M_S/M 를 갖는다. 2308에 표시된 추가 분석 필터의 부대역 채널들은 샘플링 레이트 f_S·M_S/(M·M_A)를 갖고, 블록(2309)에서 프로세싱이 샘플링 레이트를 두배로 할 때, 합성 필터뱅크(2311)는 샘플링 레이트 2f_S 갖는 출력 신호를 제공한다. 그러나, 블록(2309)에서 프로세싱이 샘플링 레이트를 두배로 하지 않을 때, 합성 필터뱅크에 의한 샘플링 레이트 출력은 이에 대응하여 낮아진다. 그 뒤에, 본 발명에 관련된 더 바람직한 실시예가 논의된다.

도14는 교차에 기반한 부대역 블록의 원리는 도시한다. 입력 시간 영역 신호는 다수의 복소수 부대역 신호들을 제공하는 분석 필터뱅크(1401)에 주어진다. 이러한 것들은 부대역 프로세싱 유닛(1402)에 주어진다. 다수의 복소수 출력 부대역들은, 변조된 시간 영역 신호를 차례로 출력하는 합성 필터뱅크(1403)에 주어진다. 부대역 처리(프로세싱) 유닛(1402)는 변조된 시간 영역 신호와 같은 비선형 블록 기반 부대역 처리 작업들을 수행하는데, 이는 교차 순서 T>1 에 대응하는 입력 신호의 교차된 버젼이다. 블록 기반 부대역 프로세싱의 개념은 시간에 한번에 하나 이상의 부대역 샘플의 블록들에서 비선형 작업들을 포함하는 것에 의해 정의되며, 여기서 순차적인 블록들은 출력 부대역 신호들을 발생시키기 위해 윈도우(windowed)되고 오버랩 애드(overlap added)된다.

필터뱅크(1401, 1403)는 QMF나 윈도우된 DFT같은 어떠한 복합 지수형 변조된 타입이 될 수 있다. 그들은 변조에서 고르게 또는 특이하게 누적될 수 있고, 프로토타입 필터들이나 윈도우들의 넓은 범위로부터 정의될 수 있다. 물리적 단위로 측정된 다음 두개의 필터뱅크 파라미터들의 몫

를 아는 것은 중요하다.

●

: 분석 필터뱅크(1401)의 부대역 주파수 스페이싱;

●

: 합성 필터뱅크(1403)의 부대역 주파수 스페이싱.

부대역 처리(1402)의 구성을 위해, 소스와 타겟 부대역 지수들 사이의 대응을 찾는 것이 필요하다. 물리적 주파수 Ω의 입력 사인곡선이 지수

의 입력 부대역들에서 일어나는 주요 기여를 하는 것이 관찰된다. 요구되는 교차 물리적 주파수 T·Ω의 출력 사인곡선은 지수

를 공급하는 것으로부터 도출된다.

이런 이유로, 주어진 타겟 부대역 인덱스 m 을 위해 알맞은 부대역 처리의 소스 부대역 지수 값들은

(1)

를 반드시 따라야 한다.

도 15는 HFR 향상 오디오 코덱에서 교차의 몇몇 순서들을 이용하는 부대역 블록 기반 교차의 어플리케이션에 대한 시나리오 예시를 보여주는 도면이다. 전송 비트-스트림은 코어 디코더(1501)에서 받아지며, 그것은 샘플링 주파수 fs 에서 낮은 대역폭 디코딩된 코어 신호를 제공한다. 저 대역폭은 64 대역 QMF 합성 뱅크(역 QMF, 1505)가 잇달아 오는 복합 변조된 32대역 QMF 분석 뱅크(1502)의 수단들을 써서 샘플링 주파수 2fs 를 출력하기 위해 리샘플링된다. 두 필터뱅크들(1502와 1505)은 동일 물리적 해상도 파라미터들

를 가지며 HFR 처리 유닛(1504)는 저 대역폭 코어 신호에 대응하는 비변조된 더 낮은 부대역들을 간단히 지나가게 한다. 출력 신호의 고주파수 콘텐츠는 64 대역 QMF 합성 뱅크(1505)의 더 높은 부대역들을 다중 교차기 유닛(1503)으로부터 출력 대역들을 함께 제공하는 것에 의해 얻어지며,HFR 처리 유닛(1504)에 의해 수행되는 스펙트럴 쉐이핑과 변조의 대상이다. 다중 교차기(1503)은 입력으로 디코딩된 코어 시그널을 출력으로 다수의 부대역 신호들을 취하며, 이는 몇몇 교차 신호 구성요소들의 중첩 또는 결합의 64 QMF 대역 분석을 표현한다. 그 목적은 만약 HFR 처리가 우회된다면, 각 구성요소가 코어 신호의 정수 물리적 교차에 대응하는 것이다.(T=2,3,...)

도 16은 교차 순서당 분리 분석 필터 뱅크를 적용하는 다중 순서 부대역 블록 기반 교차(1603)의 작업에 대한 시나리오 예를 보여주는 종래 기술을 나타내는 도면이다. 여기서 세개의 교차 순서들 T = 2,3,4 가 출력 샘플링 레이트 2fs 에서 64대역 QMF 작업 영역에서 생산되고 전달된다. 병합 유닛(1604)는 HFR 처리 유닛에 공급되기 위한 단일 다수의 QMF 부대역들을 통해 각 교차 인수 분기로부터 연관된 부대역들을 선택하고 결합한다.

첫번째 케이스 T=2 를 고려하자. 목표는 특정적으로 64 대역 QMF 분석(1602-2), 부대역 처리 유닛(1603-2), 64 대역 QMF 합성(1505)의 처리 체계는 T=2의 물리적 교차로 도출된다. 이 세 블록들을 도 14의 (1401, 1402, 그리고 1403)과 함께 확인할 때, (1)은 (1603-2)을 위한 특정을 제공하는 것처럼

리샘플링 하는 것 때문에, 소스 n과 타겟 부대역들 m의 대응은 n=m에 의해 주어진다.

T=3인 경우, 예시적 시스템은 샘플링 레이트 변환기(컨버터, converter, 1601-3)를 포함하며, 이는 3/2 인수를 이용하여 입력 샘플링 레이트 다운을 fs 에서 2fs / 3 로 변환한다.

목적은 특정적으로 64 대역 QMF 분석 (1602-3), 부대역 처리 유닛(1603-3), 그리고 64대역 QMF 합성 (1505)의 처리 체계는 물리적 교차 T=3의 결과를 도출한다. 이 세 블록들을 도 14의 (1401, 1402, 그리고 1403)과 함께 확인할 때, (1)은 (1603-3)을 위한 특정을 제공하는 것처럼

T=4인 경우, 예시적 시스템은 샘플링 레이트 변환기(컨버터, converter, 1601-4)를 포함하며, 이는 인수 2를 이용하여 입력 샘플링 레이트 다운을 fs 에서 fs / 2 로 변환한다.목적은 특정적으로 64 대역 QMF 분석 (1602-4), 부대역 처리 유닛(1603-4), 그리고 64대역 QMF 합성 (1505)의 처리 체계는 물리적 교차 T=4의 결과를 도출한다. 이 세 블록들을 도 14의 (1401, 1402, 그리고 1403)과 함께 확인할 때, (1)은 (1603-4)을 위한 특정을 제공하는 것처럼

도 17은 단일 64 대역 QMF 분석 필터뱅크를 적용하는 다중 순서 부대역 블록 기반 교차의 효과적인 작업에 대한 독창적인 시나리오 예를 보여주는 도면이다. 정말로, 세개의 분리된 QMF 분석 뱅크들과 두개의 샘플링 레이트 컨버터들(도 16 참조)의 사용은 상당히 높은 컴퓨터적인 복잡성을 야기하며, 또한 프레임 기반 처리에 있어 샘플링 레이트 변환(1601-3) 때문에 실행시 몇몇 불이익을 가져온다. 현재 실시예는, 1703-3과 1703-4 각각에 의해, 두 분기들, 1601-3 → 1602-3 → 1603-3 and 1601-4 → 1602-4 → 1603-4 의 교체를 가르쳐주며, 여기서 분기 1602- → 1603-2는 도16과 비교하여 바뀌지 않은채로 유지된다. 교차의 모든 세 순서들은

인 도14의 참조에 따라 이제 필터뱅크 영역에서 수행되어야 한다. T=3 케이스에서 (1)에 의해 주어진 (1703-3)의 특정은

에 의해 주어진 소수 n 과 타겟 부대역들 m 사이의 대응이다. T=4 케이스에서 (1)에 의해 주어진 (1703-4)의 특정은

에 의해 주어진 소수 n 과 타겟 부대역들 m 사이의 대응이다. 추가적인 복잡성의 감소를 위하여, 몇몇 교차 순서들은 이미 계산된 교차 순서들의 복사 또는 코어 디코더의 출력에 의하여 발생될 수 있다.

도 1은 SBR같은 HFR 향상 디코더 프레임워크에서 2, 3, 4의 교차 순서를 이용한 블록 기반 교차기의 작동을 나타내는 도면이다.[SBR [ISO/IEC 14496-3:2009, "Information technology - Coding of audio-visual objects - Part 3: Audio"]. 비트스트림은 코어 디코더(101)에 의해 시간 영역에 디코딩되며, HFR 모듈(103)을 지나가게 되는데, 이것은 고주파수 신호를 기저 대역 코어 신호로부터 발생시킨다.발생 이후에, HFR 발생 신호는 전송된 사이드 정보에 의해 가능한 가깝게 원래 신호에 매치되도록 급격히 조정된다. 조정은 부대역 신호에서 HFR 프로세서(105)에 의해 수행되며, 하나 또는 몇개의 분석 QMF 뱅크들로부터 얻어진다. 코어 디코더가 시간 영역에서 작동될 때 전형적인 시나리오는 신호가 입력 그리고 출력 신호들의 주파수의 반으로 샘플링 되는 것이고, 즉, HFR 디코더 모듈은 효과적으로 샘플링 주파수를 두배로 하기 위하여 코어 신호를 리샘플링한다는 것이다. 샘플 레이트 변환은 보통 32대역 분석 QMF 뱅크(102)에 의해 코어 디코더를 필터링하는 첫번째 단계에 의해 얻어진다. 크로스오버 주파수라 불리는 아래의 부대역들, 즉, 전체 코어 코더 신호 에너지를 포함하는 32 부대역들의 더 낮은 부분집합은, HFR 발생 신호를 운반하는 부대역들의 집합과 결합한다. 보통, 결합된 부대역들의 숫자는 64이고, 합성 QMF 뱅크(106)을 통한 필터링 후에, HFR 모듈로부터의 출력과 결합되는 샘플 레이트가 변환된 코어 코더 신호를 도출한다.

HFR 모듈(103)의 부대역 블록 기반 교차기에서, 세 교차 순서들 T = 2, 3, 그리고 4는 출력 샘플링 레이트 2fs에서 작동되는 64 대역 QMF의 영역에서 생산되고 전달된다. 입력 시간 영역 신호는 블록들(103-12,103-13,103-14)에서 밴드패스 필터링된다. 이는 출력 신호들을 만들기 위해서 수행되며, 비-오버랩핑 스펙트럴 컨텐츠(non-overlapping spectral contents)를 갖기 위해 다른 교차 순서들에 의해 처리된다. 입력 신호들의 샘플링 레이트를 일정한 사이즈(이 경우 64)의 분석 필터뱅크에 맞추기 위해 이 신호들은 더 다운샘플링(103-23,103-24) 되는 것이 적용된다. 그것은 샘플링 레이트의 증가, fs to 2fs, 에 의해 알려질 수 있으며, 샘플링 레이트 변환기가 T 대신 T/2 다운샘플링 인수들을 이용한다는 사실에 의해 설명될 수 있으며, 여기서 후자는 입력 신호처럼 같은 샘플링 레이트를 갖는 교차된 부대역 신호들을 도출한다. 다운샘플링된 신호들은 분리 HFR 분석 필터 뱅크들(103-32,103-33 그리고 103-34)에, 각 교차 순서를 위해 하나씩, 공급되며, 다수의 복소수값 부대역 신호들을 공급한다. 이들은 비선형 부대역 연장 유닛들(103-42,103-43 그리고 103-44)에 공급된다. 다수의 복소수값 출력 부대역들은 병합/결합 모듈(104)에 부표본화된(subsampled) 분석 뱅크(102)의 출력과 함께 공급된다. 병합/결합 유닛은 코어 분석 필터뱅크(102)로부터 부대역들을 단순히 병합하고 각 연장 인수는 HFR 처리 유닛(105)로 공급되기 위하여 단일의 다수 QMF 부대역들로 갈라진다.

다른 교차 순서들의 신호 스펙트럼들이 오버랩 되지 않게 설정될 때, 즉, 두번째 교차 순서 신호의 스펙트럼이 T-1 순서 신호의 스펙트럼이 끝나는 곳에서 시작해야 하고, 교차된 신호들은 대역통과 특성을 필요로 한다. 이런 이유로, 전통적인 대역통과 필터들(103-12-103-14)이 도1에 도시되어 있다. 그러나, 병합/결합 유닛(104)에 의한 가능한 부대역들 중에서 단순 배타적 선택을 통해, 독립 대역통과 필터들은 불필요하고 회피될 수 있다. 대신에, QMF 뱅크에 의해 제공되는 고유 대역통과 특성은 교차기 분기들로부터 독립적으로 다른 부대역 채널들(104)에 다른 기여를 하는 것에 의해 이용된다. 그것은 또한 (104)에 결합된 대역들에만 시간 연장을 적용하는 것으로 충분하다.

도2는 비선형 부대역 연장 유닛의 작업을 도시하고 있다. 블록 추출기(201)은 복소수값 입력 신호로부터 샘플들의 유한한 프레임을 샘플링한다. 프레임은 입력 포인터 포지션에 의해 정의된다. 이 프레임은 (202)에서 비선형 처리가 일어나며, (203)의 유한 길이 윈도우에 의해 순차적으로 윈도우된다(windowed). 결과적인 샘플들은 출력 프레임 위치가 출력 포인터 위치에 의해 정의되는 오버랩-애드 유닛(204)에서 이전의 출력 샘플들에 더해진다. 입력 포인트는 고정된 양에 의해 증가되며 출력 포인터는 같은 양만큼 배가 된 부대역 연장 인수에 의해 증가된다. 이러한 작업체계의 반복은 지속시간이 부대역 연장 인수배인 입력 부대역 신호 지속시간이 출력 신호를 생산하며, 이는 합성 윈도우의 길이에 달려 있다.

SSB 교차기가, 고 대역 신호를 발생시키기 위해, 첫번째 부대역을 제외하고, 전형적으로 전체 기저 대역을 이용하는, SBR[ISO/IEC 14496-3:2009, Information technology - Coding of audio-visual objects - Part 3: Audio]에 의해 이용되는 반면, 고조파 교차기는 일반적으로 코어 코더 스펙트럼의 더 작은 부분을 이용한다. 소스 범위라 불리는, 이용되는 양(amount)은 교차 순서, 대역폭 연장 인수, 결합 결과에 적용되는 규칙들에 의존하며, 예를 들어, 만약 다른 교차 순서들로부터 발생되는 신호들이 스펙트럼으로 중첩되는 것이 허용되는지 아닌지이다. 결과적으로, 주어진 교차 순서에 대한 고조파 교차기 출력 스펙트럼의 제한된 부분은 단지 사실상 HFR 처리 모듈(105)에 의해 이용된다.

도 18은 단일 부대역 신호를 처리하는 예시적 처리 실행의 또 다른 실시예를 도시한다. 단일 부대역 신호는 도18에 보이지 않은 분석 필터 뱅크에 의해 필터링되기 전이나 후 모두 어떤 종류의 데시메이션의 대상이 된다. 그래서, 단일 부대역 신호의 시간 길이는 데시메이션을 형성하기 전의 시간 길이보다 더 짧아진다. 단일 부대역 신호는 블록 추출기(1800)의 입력이며, 이는 블록 추출기(201)과 동일할 수 있으나 다른 방식으로 실행될 수 있다. 도18의 블록 추출기(1800)는 예시적으로 e라 불리는 샘플/블록 선행 값을 이용하여 작동된다. 샘플/블록 선행 값은 다양할 수 있거나 고정적으로 설정될 수 있고 블록 추출기 박스(1800)로 향하는 화살로 도18에 도시되어 있다. 블록 추출기(1800)의 출력에서, 다수의 추출된 블록들이 존재한다. 이 블록들은 고도로 중첩되고, 이는 샘플/블록 선행 값 e가 블록 추출기의 블록 길이보다 훨씬 더 작기 때문이다. 예시는 블록 추출기는 12샘플들의 블록을 추출한다는 것이다. 첫번째 블록은 0에서 11까지의 샘플들을 포함하고, 두번째 블록은 1에서 12까지, 세번째 블록은 2에서 13까지의 샘플을 포함하는 등등이다. 이 실시예에서, 샘플/블록 선행 값 e는 1과 같고 11-폴드(fold)의 중첩이 있다.

개별 블록들은 각 블록에 윈도우 기능을 이용하여 블록을 윈도윙하기 위한 윈도우어(1802)에 들어가는 입력이다. 추가적으로, 위상 계산기(1804)가 구비되며, 이는 각 블록에 대한 위상을 계산한다. 위상 계산기(1804)는 윈도윙 이전 또는 윈도윙 이후에 모두 개별 블록을 이용할 수 있다. 그리고, 위상 조정 값 p x k 이 계산되고 위상 조정기(1806)의 입력이 된다. 위상 조정기는 조정 값을 블록의 각 샘플에 적용한다. 게다가, 인수 k는 대역폭 연장 인수와 같다. 예를 들어, 인수 2에 의한 대역폭 연장이 얻어졌을 때, 블록 추출기(1800)에 의해 추출되는 블록에 대해 계산되는 위상 p는 인수 2에 의해 곱해지며, 위상 조정기(1806) 블록의 각 샘플에 적용되는 조정 값은 2에 의해 곱해지는 p이다. 이것은 예시적 값/규칙이다. 이를 대체하여, 합성을 위한 보정된 위상은 k * p, p + (k-1)*p 이다. 따라서 이 예시에서, 만약 1*p에 의해 곱해지거나 더해지면 보정 인수 또한 2이다. 다른 값들/규칙들도 위상 보정 값을 계산하기 위해 적용될 수 있다.

실시예에서, 단일 부대역 신호는 복합 부대역 신호이고, 블록의 위상은 다수의 다른 방법으로 계산될 수 있다. 하나의 방법은 블록의 중간 또는 중간 근처에서 샘플을 취하고 이 복합 샘플의 위상을 계산하는 것이다. 모든 샘플의 위상을 계산하는 것도 가능하다.

도18에 도시되었지만, 위상 조정기가 윈도우어 이후에 작동하는 방법에 있어서, 이 두 블록들은 상호 교환될 수 있고, 위상 조정은 블록 추출기에 의해 추출되는 블록들에 대해 수행되고, 차후 윈도윙 작업이 수행된다. 두 작업들 모두, 즉, 윈도윙과 위상 조정은 실수값 또는 복소값 곱셈이며, 이 두 작업들은 복합 곱셈 인수를 이용하는 단일 작업으로 요약될 수 있고, 이는 그 자체로, 위상 조정 곱셈 인수 그리고 윈도우잉 인수의 결과물이다.

위상-조정된 블록들은 오버랩/애드 그리고 진폭 보정 블록(1808)에의 입력이며, 여기서 윈도우되고(windowed) 위상-조정된 블록들은 오버랩-애드된다.(overlap-added) 그러나, 중요하게, 블록(1808)의 샘플/블록 선행 값은 블록 추출기(1800)에서 사용된 값과는 다르다. 특히, 블록(1808)의 샘플/블록 선행 값은 블록(1800)에 쓰인 값 e 보다 크며, 블록(1808)에 의한 신호 출력의 시간 연장이 얻어지게 된다. 그래서, 블록(1808)에 의해 처리된 부대역 신호 출력은 블록(1800)에 대한 부대역 신호 입력보다 더 긴 길이를 갖게 된다. 그래서, 두개의 대역폭 연장이 얻어지며, 따라서 샘플/블록 선행 값이 사용되고, 이것은 블록(1800)의 대응하는 값의 2배이다. 이는 인수 2에 의해 시간 연장되는 결과이다. 그러나, 다른 시간 연장 인수들이 필요할 때, 다른 샘플/블록 선행 값들이 이용될 수 있는데 블록(1808)의 출력이 필요한 시간 길이를 갖게 하기 위함이다.

오버랩 문제를 다루기 위해, 진폭 보정은 블록(1800과1808)의 다른 오버랩들의 문제를 다루기 위해 바람직하게 수행된다. 그러나, 이 진폭 보정이 윈도우어/위상 조정기 곱셈 인수에 도입될 수도 있으나, 진폭 보정 또한 오버랩/처리(overlap/processing) 차후에 수행될 수 있다.

블록 길이 12와 하나의 블록 추출기의 샘플/블록 선행 값에 대한 상기 예에서, 대역폭 연장이 인수2에 의해 수행될 때, 오버랩/애드 블록(1808)에 대한 샘플/블록 선행 값은 2와 동일하다. 이는 여전히 다섯 블록들의 중첩을 낳는다. 인수 3에 의한 대역폭 연장이 수행되어야 할 때, 블록(1808)에 의해 이용되는 샘플/블록 선행 값은 3과 동일하고, 오버랩은 오버랩 3으로 떨어진다. 4-폴드(fold) 대역폭 연장이 수행되어야 할 때, 오버랩/애드 블록(1808)은 4의 샘플/블록 선행 값을 이용해야 하고, 이는 여전히 2 블록들 이상의 오버랩을 야기한다.

단지 소스 범위를 포함하기 위한 큰 컴퓨터적인 절약이 교차기 분기들에 대한 입력 신호들을 제한함으로써 달성될 수 있고, 샘플링 레이트에서 각 교차 순서에 적용될 수 있다. 입력 코어 코더 신호는 HFR 분석 필터 뱅크들에 앞서는 전용 다운샘플러들에 의해 처리된다.

각 다운샘플러의 필수적인 효과는 소스 범위 신호를 걸러내고 그것을 가장 낮을 수 있는 샘플링 레이트에서 분석 필터뱅크에 전달하는 것이다. 여기서, '가장 낮을 수 있는'이란 것은 다운스트림 처리에 대해 여전히 적합한 가장 낮은 샘플링 레이트를 언급하는 것이고, 데시메이션 후 앨리어싱(aliasing)을 회피하는 가장 낮은 샘플링 레이트를 필요로 하는 것은 아니다. 샘플링 레이트 변환은 다양한 방버들에 의해 얻어질 수 있다. 발명의 범위를 제한하지 않고, 두개의 예가 주어질 것이다 : 첫번째는 멀티-레이트 시간 영역 처리에 의해 수행되는 리샘플링을 보여주고, 두번째는 QMF 부대역 처리 수단에 의해 달성되는 리샘플링을 도시한다.

도4는 교차 순서 2에 대한 멀티-레이트 시간 영역 다운샘플러에서 블록들의 예를 보여준다. 대역폭 B Hz를 갖는 입력신호, 샘플링 주파수 f _s , 는

같은 DC 주파수에 대한 소스 범위의 시작을 주파수-시프트하기 위한 복소 지수(401)에 의해 변조된다. 입력신호와 변조 후 스펙트럼의 예들이 도 5a와 5b에 도시되어 있다. 변조된 신호는 대역폭 제한 0 그리고 B/2 Hz로 복소값 저대역 필터(403)에 의해 보간되고(402) 필터링된다. 각 단계 다음의 스펙트럼들은 도 5c와 5d에 나타나있다. 필터링된 신호는 순차적으로 데시메이트되고(404) 신호의 실수부분이 계산된다(405) 이러한 단계들 뒤의 결과들이 도 5e와 5f 에 나타나 있다. 이 특정 예에서, T=2, B=0.6 일 때(정규화된 스케일, 즉, fs=2), P ₂ 는 24로 선택되고, 이는 소스 범위를 안전하게 커버하기 위함이다. 다운샘플링 인수는, 프랙션(fraction)이 공통 인수 8에 의해 감소될 때

가 얻어진다. 이런 이유로, (도 5c에 보여지는대로) 보간 인수는 3이고 데시메이션 인수는 8이다. 노블 아이덴티티(Noble Identities [Multirate Systems And Filter Banks, P.P. Vaidyanathan, 1993, Prentice Hall, Englewood Cliffs])를 이용하는 것에 의해, 데시메이터는 계속 왼쪽으로 이동될 수 있고, 보간기(interpolator)는 계속 오른쪽으로 이동될 수 있다.(도4) 이러한 방식으로, 변조와 필터링은 가장 낮을 수 있는 샘플링 레이트에서 마쳐지며 컴퓨터적인 복잡성을 더 감소된다.

다른 접근법은 SBR HFR 방법에 이미 존재하는 부표본화된 32대역 분석 QMF 뱅크(102)로부터 부대역 출력을 이용하는 것이다. 다른 교차기 분기들에 대한 소스 범위를 커버하는 부대역들은 HFR 분석 필터 뱅크들에 선행하는 작은 부표본화된 QMF 뱅크들에 의해 시간 영역으로 합성된다. HFR 시스템의 타입은 도6에 도시되어 있다. 작은 QMF 뱅크들은 부표본화된 원래 64대역 QMF 뱅크에 의해 얻어지며, 여기서 프로토타입 필터 계수들은 원래 프로토타입 필터의 선형 보간법에 의해 발견된다.

도6의 다음 기호에 따라, 2^nd 순서 교차 분기에 선행하는 합성 QMF 뱅크는 Q ₂=12 대역들을 갖는다. (32대역 QMF 에서 8에서 19까지 제로-기반(zero-based) 지수들의 부대역들) 합성 프로세서에스 앨리어싱을 방지하기 위해, 첫번째 (지수 8) 그리고 마지막(지수 19) 대역들은 0에 의해 설정된다. 결과 스펙트럴 출력은 도7에 도시되어 있다. 블록 기반 교차기 분석 필터 뱅크는 2Q ₂=24 대역들, 즉, 멀티-레이트 시간 영역 다운샘플러 기반 예(도3)에서처럼 대역들의 같은 숫자를, 갖는다는 것을 상기하라.

도6과 도23이 비교될 때, 도6의 구성요소(601)이 도23의 분석 필터뱅크(2302)에 대응한다는 것이 명확해진다. 게다가, 도 23의 합성 필터뱅크(2304)는 구성요소(602-2)에 대응하며, 도23의 추가 분석 필터뱅크(2307)은 구성요소(603-2)에 대응한다. 블록(604-2)는 블록(2309)에 대응하고 결합기(605)는 합성 필터뱅크(2311)에 대응할 수 있으나, 다른 실시예들에서는, 결합기는 부대역 신호들을 출력하기 위해 구성될 수 있고, 따라서 결합기에 연결된 추가 합성 필터뱅크가 이용될 수 있다. 그러나, 실행에 따라, 차후 도26의 맥락에서 논의된 특정 고주파수 복원은 합성 필터뱅크(2311)이나 결합기(205)에 의해 합성 필터링 전에 수행될 수 있고, 또는 도6의 블록(605)의 결합기 다음이나 도23의 합성 필터뱅크(2311)에서의 합성 필터링 다음에 수행될 수 있다.

602-3부터 604-3까지 연장되는 또는 602-T 부터 604-T 까지 연장되는 다른 분기들은 도 23에 도시되어 있지 않지만, 다만 도6의 T가 교차 인수에 대응할 때 다른 사이즈의 필터뱅크들과 함께, 비슷한 방법으로 실행될 수 있다. 그러나, 도27의 맥락에서 논의되는 것처럼, 교차 인수 3에 의한 교차 그리고 교차 인수 4에 의한 교차는 구성요소(602-2 부터 602-4)를 구성하는 처리 분기에 도입될 수 있고, 이는 블록(604-2)가 단순히 인수 2에 의한 교차를 제공하는 것 뿐만 아니라 인수 3, 인수4에 의한 교차가 특정 합성 필터뱅크와 함께, 도26 및 도27의 맥락에서 논의되는 것처럼, 이용되는 것이다.

도6 실시예에서, Q₂ 는 M_S 에 대응하고, M_S 는, 예를 들어, 12와 같다. 게다가, 구성요소(2307)에 대응하는 추가 분석 필터뱅크(603-2)는 실시예의 24처럼 2M_S 와 같다.

게다가, 이전에 요약된것처럼, 합성 필터뱅크(2304)의 가장 낮은 부대역 채널 그리고 가장 높은 부대역 채널은 앨리어싱 문제들을 회피하기 위해 0들과 함께 제공될 수 있다. 도1에 개략적으로 보인 시스템은 도 3과 도4에 간략히 보여진 리샘플링의 단순화된 특수 케이스처럼 보여질 수 있다. 배치를 단순화하기 위해, 변조기들은 제외된다. 추가로, 모든 HFR 분석 필터링은 64대역 분석 필터 뱅크들을 이용하여 얻어진다. 이런 이유로, 도 3에서 P ₂ = P ₃ = P ₄ = 64이고, 다운샘플링 인수들은 2^nd, 3^rd 그리고 4^th 순서 교차기 분기들에 대하여 각각 1, 1.5 그리고 2 이다.

본 발명의 이점은 발명의 결정적인 샘플링 처리의 맥락에서, MPEG4 (ISO/IEC 14496-3) 로 정의된 도6의 블록(601) 또는 도23의 블록(2302)에 대응하는 32대역 분석 QMF 뱅크로부터 부대역 신호들이 이용될 수 있다는 것이다. MPEG-4 Standard에서 이 분석 필터뱅크의 정의는 도 25a의 상부에 도시되어 있고, 도25b의 플로우챠트에 도시되어 있으며, 이 또한 MPEG-4 Standard로부터 얻어지는 것이다. 이 기준의 SBR (스펙트럴 대역폭 복제) 부분은 여기에 레퍼런스로 포함되어 있다. 특히, 도23의 분석 필터뱅크(2302) 또는 도6의 32대역 QMF(601)은 도 25a의 상부, 도25b의 플로우챠트에 도시된것처럼 실행될 수 있다.

게다가, 도23의 블록(2311)에 도시된 합성 필터뱅크는 또한 도25a의 낮은 부분에서 지적된 것처럼, 도25c 의 플로우챠트에 도시된 것처럼 실행될 수 있다. 그러나, 다른 필터뱅크 정의들도 적용될 수 있는데, 적어도 분석 필터뱅크(2302)에 대한 것이어야 하며, 도25a와 도25b 에 도시된 실행은 스펙트럴 대역폭 복제, ㄸ또또는 일반적으로 언급되는, 고주파수 복원 처리 어플리케이션들처럼 적어도 대역폭 연장 어플리케이션들의 맥락에서 32채널들을 갖는 이 MPEG-4 분석 필터뱅크에 의해 제공되는 견고성(robustness), 안정성 그리고 고품질 때문에 바람직하다.

합성 필터뱅크(2304)는 교차기의 소스 범위를 커버하는 부대역의 부분집합을 합성하기 위해 구성된다. 이 합성은 시간 영역에서 중간 신호(2306)을 합성하기 위해 수행된다. 바람직하게는, 합성 필터뱅크(2304)는 작은 부-표본화된 실수치(실수값) QMF 뱅크이다.

이 필터뱅크의 시간 영역 출력(2306)은 그 후 두배 필터뱅크 크기의 복소값 분석 QMF 뱅크에 제공된다. 이 QMF 뱅크는 도23의 블록(2307)에 의해 도시되어 있다. 이 절차는 오직 관련된 소스 범위가 두배로 된 주파수 해상도를 가지는 QMF 부대역 영역에 변환되기 때문에 컴퓨터적인 복잡성에서 실질적인 절감(saving)을 가능하게 한다. 작은 QMF 뱅크들은 원래 64대역 QMF 뱅크의 부-표본화에 의해 얻어지며, 여기서 프로토타입 필터 계수들은 원래 프로토타입 필터들의 선형 보간법에 의해 얻어진다. 바람직하게는, 640 샘플들을 갖는 MPEG-4 합성 필터뱅크와 연관되는 프로토타입 필터가 사용되고, 여기서 MPEG-4 분석 필터뱅크는 320 윈도우 샘플들의 윈도우를 갖는다.

부표본화된 필터뱅크들의 처리는 도24a와 도24b에 그려진 플로우 챠트에 설명되어 있다. 다음 변수들은 첫번째로 결정된다:

여기서 Ms 는 부표본화된 합성 필터뱅크의 크기이고, k _L 은 부표본화 합성 필터 뱅크에 들어가기 위한 32 대역 QMF 뱅크로부터 첫번째 채널의 부대역 지수를 표현한다. startSubband2kL 의 배열은 표 1에 나열되어 있다. 펑션 플로어{χ}(function floor{χ})는 가장 가까운 정수를 마이너스 무한대로 라운딩(round)한다.

이런 이유로, Ms 값은 도23의 합성 필터뱅크(2304)의 크기를 정의하며, K_L 은 도23에 지시된 부분집합(2305)의 첫번째 채널이다. 구체적으로, 방정식 f_tableLow 의 값은 여기에 레퍼런스로 포함된 ISO/IEC 14496-3, section 4.6.18.3.2 에 정의되어 있다. Ms 값은 4의 증가로 가는 것이 알려지며, 이것은 합성 필터뱅크(2304)의 크기가 4, 8, 12, 16, 20, 24, 28, 또는 32가 될 수 있다는 것을 의미한다.

바람직하게는, 합성 필터뱅크(2304)는 실수치 합성 필터뱅크이다. 이 끝에서, Ms 실수치 부대역 샘플들의 집합은 Ms 새로운 복소수값 부대역 샘플들로부터 도 24a의 첫번째 단계에 따라 계산된다. 이 끝에서, 다음 방정식이 사용된다.

이 방정식에서, exp() 복소 지수 기능을 보여주며, i 는 허수 단위이고, k _L 은 이전에 정의되었다.

● 배열 v에서 2M _S 위치들에 의해 샘플을 시프트하라. 가장 오래된 2M _S 샘플들은 버려진다.

● Ms 실수치 부대역 샘플들은 매트릭스 N에 의해 곱해지는데, 즉, 매트릭스-벡터 프로덕트(matrix-vector product) N·V 가 계산되고, 여기서

이다.

이 작업으로 인한 출력은 배열 v의 0부터 2Ms -1까지의 위치들에 저장된다.

● 10Ms-구성요소 배열 g를 생성하기 위해 도24a의 플로우챠트에 따라 v로부터 샘플들을 추출하라.

● 배열 w를 생성하기 위해 윈도우 c _i 에 의해 배열 g의 샘플들을 곱하라. 윈도우 계수들 c _i 는 즉, 방정식을 통해, 계수들 c의 선형 보간(interpolation)에 의해 얻어진다.

여기서 μ(n)과 ρ(n)은 정수와 64·n/Ms의 단편적 부분들로 개별적으로 정의된다. c의 윈도우 계수들은 ISO/IEC 14496-3:2009의 표 4.A.87에서 찾을 수 있다.

이런 이유로, 합성 필터뱅크는 다른 크기를 갖는 필터뱅크에 대해 저장된 윈도우 기능을 이용하는 부표본화 또는 보간법에 의한 프로토타입 윈도우 기능을 계산하기 위한 프로토타입 윈도우 기능 계산기를 갖는다.

● Ms 새로운 출력 샘플들을 도 24a의 플로우챠트의 마지막 단계에 따라 배열 w 로부터 샘플들의 합에 의해 계산하라.

순차적으로, 도23의 추가 분석 필터뱅크(2307)의 바람직한 실행이 도24b의 플로우챠트에 함께 도시되어 있다.

● 도24b의 첫번째 단계에 따라 2Ms 위치들에 의해 배열 x에서 샘플들을 시프트하라. 가장 오래된 2Ms 샘플들은 버려지고 2Ms 새로운 샘플들은 0에서 2Ms-1 까지의 위치들에 저장된다.

● 윈도우 c _2i 의 계수들에 의한 배열 x의 샘플들을 곱하라. 윈도우 계수들 c _2i 는 즉, 방정식

을 통해 계수들 c의 선형 보간에 의해 얻어진다.

여기서 μ(n)과 ρ(n)은 각각 정수와 32·n/Ms의 단편적 부분들로 정의된다. c의 윈도우 계수들은 ISO/IEC 14496-3:2009의 표4.A.87에서 찾을 수 있다.

이런 이유로, 추가 분석 필터뱅크(2307)은 다른 사이즈의 필터뱅크를 갖는 저장된 윈도우 기능을 이용하는 부표본화와 보간법에 의해 프로토타입 윈도우 기능을 계산하기 위한 프로토타입 윈도우 기능 계산기를 갖는다.

● 4Ms-구성요소 배열 u를 생성하기 위해 도24b의 플로우챠트의 공식에 따른 샘플들을 합하라.

● 2Ms 새로운 복소수값 부대역 샘플들을 매트릭스-벡터 곱셈 M·u에

의해 계산하라, 여기서

이다.

이 방정식에서, exp()는 복소 지수 기능을 의미하며, i는 허수 단위이다.

인수 2의 다운샘플러의 블록 다이어그램이 도8a에 도시되어 있다. 이제 실수치 저대역 필터는 H(z)=B(z)/A(z)로 쓰여질 수 있고, 여기서 B(z)는 비-반복적 부분(FIR)이고 A(z)는 반복적인 부분(IIR)이다. 그러나, 효율적인 실행을 위해, 컴퓨터적 복잡성의 감소를 위해 노블 아이덴티티(Noble Identities)를 사용하고, 이는 모든 폴들이 A( z ² )처럼 다중도 2(쌍극)를 갖는 필터를 디자인하는데 이점이 있다. 이런 이유로 도8b에서 보여지는 것처럼 인수화 될 수 있다. 노블 아이덴티티 1을 이용하여, 반복적인 부분은 도8c에서처럼 데시메이터를 지나 이동될 수 있다. 비-반복적 필터B(z)는

처럼 표준 2-구성요소 다중위상 분해를 이용하여 실행될 수 있다.

이런 이유로, 다운샘플러는 도8d에서 구축될 수 있다. 노블 아이덴티티 1을 이용한 후에, FIR 부분은 도8e에 보여지는 것처럼 가장 낮을 수 있는 샘플링 레이트에서 계산된다. 도 8e로부터, 두 샘플들의 입력 스트라이드를 이용하는 윈도우-애드 작업(window-add operation)처럼 보여질 수 있는 FIR 작업(지연, 데시메이터들 그리고 다중위상 구성요소)을 보는 것은 쉽다. 두 입력 샘플들에 대하여, 하나의 새로운 출력 샘플이 생성될 것이고, 효율적으로 인수2의 다운샘플링을 도출할 것이다.

인수 1.5=3/2 다운샘플러의 블록 다이어그램이 도9a에 도시되어 있다. 실수치 저대역 필터는 H(z)=B(z)/A(z)로 다시 쓰여질 수 있고, 여기서 B(z)는 비-반복적 부분(FIR)이고 A(z)는 반복적 부분(IIR)이다. 이전처럼, 효율적인 실행을 위하여, 노블 아이덴티티를 컴퓨터적인 복잡성의 감소를 위해 사용하고, 그것은 모든 폴들(poles)들이 A(z²) 또는 A(z³) 각각처럼, 다중도 2(쌍극) 또는 다중도 3(삼극, triple poles)를 갖는 필터를 설계하는 데 이점이 있다. 여기서, 쌍극은 저대역 필터가 더 효율적이 되도록 하는 설계 알고리즘 때문에 선택되는데, 다만 반복적 부분은 사실 트리플 폴(triple pole) 접근에 비하여 1.5배 더 복잡하다. 이런 이유로, 필터는 도9b에 보여지는대로 인수화될 수 있다. 노블 아이덴티티 2를 이용하여, 반복적 부분은 도9c에서처럼 보간기(interpolator)의 앞에서 이동될 수 있다. 비-반복적 필터 B(z)는

처럼 기준 2·3=6 구성요소 다중위상 분해를 이용하여 실행될 수 있다.

이런 이유로, 다운 샘플러는 도9d에서처럼 구조화될 수 있다. 노블 아이덴티티 1과 2를 이용한 후에, FIR 부분은 도9e에서 보여지는 것처럼 가장 낮을 수 있는 샘플링 레이트에서 계산된다. 짝수-지수화된 출력 샘플들이 세개의 다중위상 필터들(E₀(z),E₂(z),E₄(z))의 더 낮은 그룹을 이용하여 계산되는 반면에, 홀수-지수화된 샘플들은 더 높은 그룹(E₁(z),E₃(z),E₅(z))으로부터 계산되는 것을 보는 것은 쉽다. 각 그룹의 작업(지연 연계, 데시메이터들 그리고 다중위상 구성요소들)은 세 샘플들의 입력 스트라이드를 이용하는 윈도우-애드 오퍼레이션에 의해 보여질 수 있다. 더 높은 그룹에서 이용되는 윈도우 계수들은 홀수 지수화 계수임에 반해, 더 낮은 그룹은 원래 필터 B(z)로부터 짝수 지수 계수들을 이용한다. 이런 이유로, 세 입력 샘플들의 그룹에 대하여, 두개의 새로운 출력 샘플들이 생성될 것이고, 효율적으로 인수 1.5의 다운샘플링을 도출한다.

코어 디코더(도1의 101)의 시간 영역 신호는 코어 디코더에서 더 작게 부표본화된 합성 변형을 이용하여 부표본화 될 수 있다. 더 작은 합성 변형은 심지어 더 감소된 컴퓨터적인 복잡성을 제공한다. 크로스-오버 주파수에 의존하여, 즉, 코어 코더 신호의 대역폭, 합성 변형 크기와 호칭 지수(nominal size) Q(Q<1)의 비율, 은 샘플링 레이트 Qfs를 갖는 코어 코더 출력 신호를 도출한다. 현재 어플리케이션에서 요약된 예들에서 부표본화된 코어 코더 신호를 처리하기 위하여, 도1의 모든 분석 필터뱅크들(102,103-32,103-33 그리고 103-34)는 인수 Q에 의하여 스케일링 될 필요가 있으며, 도3의 다운샘플러들(301-2,301-3,301-T), 도4의 데시메이터(404), 도6의 분석 필터 뱅크(601)도 마찬가지이다. 명백하게, Q는 모든 필터 뱅크 크기들이 정수가 되도록 선택되어야 한다.

도 10은,SBR [ISO/IEC 14496-3:2009, "Information technology - Coding of audio-visual objects - Part 3 : Audio] 처럼, 향상된 HFR 코더의 포락선 조정 주파수 테이블의 포락선 테이블에 대한 HFR 교차기 신호들의 스펙트럴 경계 스펙트럴 보더들의 정렬을 도시한다.

도10a는, 소위 스케일-팩터 대역들(scale-factor bands)라 불리는, 포락선 조정 테이블을 포함하는 주파수 대역들의 스타일리스틱(stylistic) 그래프를 보여주며, 크로스-오버 주파수 k_x 부터 정지 주파수 k_s 까지 주파수 범위를 커버한다. 재발생된 고대역 주파수, 즉 주파수 포락선,의 에너지 레벨을 조정할 때, 스케일-팩터 대역들은 HFR 향상 코더에서 이용디는 주파수 그리드를 구성한다. 포락선을 조정하기 위해, 신호 에너지는 스케일-팩터 대역 경계들과 선택된 시간 경계들에 의해 제한된 시간/주파수 블록을 넘어 평균화된다. 다른 교차 순서들에 의해 발생되는 신호들이 스케일-팩터 대역들에 대해 정렬되지 않는다면, 도10b에 도시되는 것처럼, 스펙트럴 에너지가 교차 대역 경계의 근접에서 급격히 변한다면, 포락선 조정 처리가 하나의 스케일-팩터 대역 내에서 스펙트럴 구조를 유지하게 되기 때문에, 결과물들(artifacts)이 발생할 수 있다. 이런 이유로, 제안된 해법은 도10c에 보여진 스케일-팩터 대역의 경계선에 대해 교차된 신호들의 주파수 경계를 적응시키는 것이다. 도면에서, 2 그리고 3(T=2,3)의 교차 순서에 의해 발생된 신호들의 위쪽 경계는, 도10b와 비교하여, 존재하는 스케일-팩터 경계들의 교차 대역들의 주파수 경계들을 정렬하기 위하여, 작은 양이 낮아진다.

정렬되지 않은 경계들을 이용할 때의 잠재적인 결과물들을 나타내는 실제적인 시나리오는 도11 에 묘사되어 있다. 도11a는 스케일-팩터 대역 경계들도 다시 보여준다. 도11b는 교차 순서 T=2, 3, 그리고 4의 조정되지 않은 HFR 발생 신호들과 코어 디코딩 기반 대역 신호를 함께 보여준다. 도11c는 평탄한 타겟 포락선이 가정될 때 포락선 조정 신호를 보여준다. 체크무늬 영역의 블록들은 높은 내부-대역 에너지 변화와 스케일-팩터 대역을 보여주며, 이는 출력 신호의 비정상을 야기시킬 수 있다.

도12는 도11의 시나리오를 도시하지만, 이 시간은 정렬된 경계들을 이용한다. 도12a는 스케일-팩터 대역 경계들을 보여주며, 도12b는, 도11c의 라인에서, 코어 디코딩 기반 대역 신호와 함께 T=2, 3, rmflrh 4 교차 순서의 비정렬 HFR 발생된 신호들을 묘사하고, 도12c는 평탄한 타겟 포락선이 가정될 때 포락선 조정 신호를 보여준다. 이 도면에서 보이듯이, 교차된 신호 대역들과 스케일-팩터 대역들의 잘못된 정렬로 인한 고 내부-대역 에너지 변화들의 스케일-팩터 대역들이 없고, 이런 이유로 잠재적인 결과물들(artifacts)이 소멸된다.

도13은 HFR 리미터(limiter) 대역 경계들의 적용을 도시하는데, 예를 들어 [ISO/IEC 14496-3:2009, " Information technology - Coding of audio - visual objects " Part 3: Audio] 에 설명된 것처럼, SBR HFR 향상 코더에서 고조파 패치들에 대한 것이다. 리미터(limiter)는 스케일-팩터 대역들보다 훨씬 거친(coarser) 해상도를 갖는 주파수 대역들에서 작동하나, 작동의 원리는 아주 많이 동일하다. 리미터에서, 각 스케일-팩터 대역들에 대한 평균 이득-값이 계산된다. 개별 이득 값들, 즉 스케일-팩터 대역들에 대해 계산되는 포락선 이득-값은, 더 많은 특정 다중 팩터에 의해 리미터 평균 이득 값을 초과하지 못하게 된다. 리미터의 목적은 각 리미터 대역 내에서 스케일-팩터 대역 게인들의 큰 변화를 억제하는 것이다. 스케일 팩터 대역들에 대한 교차기 발생 대역들의 적용이 스케일 팩터 대역들 내에서의 내부 대역 에너지의 작은 변화를 확실히 하는 반면, 교차기 대역 경계들에 대한 리미터 대역 경계들의 적용은, 본 발명에 따라서, 교차기 처리 대역들 사이의 더 큰 스케일 에너지 차이를 다룬다. 도13a는 교차 순서들 T=2, 3, 그리고 4의 HFR 발생 신호들의 주파수 한계들을 보여준다. 다른 교차된 신호들의 에너지 레벨은 실질적으로 다를 수 있다. 도13b는 로그형태 주파수 스케일에서 전형적으로 일정한 너비의 리미터의 주파수 대역들을 나타낸다. 교차기 주파수 대역 경계들은 일정한 리미터 경계들에 따라 더해지고 잔존하는 리미터 경계들은, 예를 들어 도13c에 도시된 것처럼, 가능한 가까이 로그함수적 관계들을 유지하기 위해 재계산된다. 비록 몇몇 관점들이 장치의 맥락에서 설명되었으나, 이러한 관점들은 대응하는 방법에 대한 설명도 표현하고 있으며, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 대응한다. 비슷하게, 방법 단계의 맥락에서 설명된 관점들을 또한 블록 또는 아이템 또는 대응하는 장치의 특징들의 설명을 표현한다.

추가 실시예들은 도21에 보여지는 혼합 패칭을 이용하며, 여기서 시간 블록 내의 혼합 패칭 방법이 수행된다. HF 스펙트럼의 다른 영역의 모든 커버리지에 대하여, BWE 는 몇몇 패치들을 포함한다. HBE에서, 더 높은 패치들은 위상 보코더들 내의 높은 교차 인수들을 요구하며, 이는 특히 과도기의 지각적인 품질을 악화시킨다.

그래서 실시예들은 바람직하게 컴퓨터적으로 효율적인 SSB 카피-업 패칭과 중간 스펙트럴 영역을 커버하는 더 낮은 순서의 패치들에 의한 상위 스펙트럴 영역을 차지하는 더 높은 순서의 패치들을 발생시키며, 이를 위해, 바람직하게는 HBE 패칭에 의한, 고조파 구조의 보존이 요구된다. 패칭 방법들의 개별적인 혼합은 시간을 넘어 고정될 수 있거나, 바람직하게는 비트스트림 안에서 신호화될 수 있다.

카피-업 작업에 대하여, 낮은 주파수 정보는 도21에서 보여지는 것처럼 이용될 수 있다. 대안적으로, HBE 방법들을 이용하여 발생된 패치들로 인한 데이타는 도21에 도시된 것처럼 이용될 수 있다. 나중의 것은 더 높은 패치들에 대해 더 낮은 밀도의 음색 구조를 이끈다.게다가 이러한 두 예들은, 카피-업 그리고 HBE 의 모든 조합이 생각될 수 있다.

제안된 컨셉들의 이점은 다음과 같다.

● 과도기의 개선된 지각적 품질(Improved perceptual quality of transients)

● 감소된 컴퓨터적인 복잡성(Reduced computational complexity)

도26은 대역폭 연장의 목적을 위한 바람직한 처리 연쇄(processing chain)를 도시하고 있는데, 여기서 다른 처리 작업들은 블록들(1020a, 1020b)에 지시된 비선형 부대역 처리 내에서 수행될 수 있다. 필터뱅크들(2302, 2304, 2307)의 캐스케이드는 블록(1010)에 의해 도26에 표현되어 있다. 게다가, 블록(2309)는 구성요소(1020a, 1020b)에 대응할 수 있고 포락선 조정기(1030)은 도 23의 블록(2309)와 블록(2311) 사이에 위치할 수 있거나 블록(2311)의 처리 후에 위치할 수 있다. 이 실행에서, 대역폭 연장된 신호처럼 처리된 시간 영역 신호의 대역-선택적 처리는 부대역 영역보다 시간 영역에서 수행되며, 이는 합성 필터뱅크(2311) 이전에 존재한다.

도26은 추가 실시예에 따른 저대역 입력 신호(1000)으로부터 대역폭 연장된 오디오 신호를 발생시키는 장치를 도시한다. 상기 장치는 분석 필터뱅크(1010), 부대역-방향 비선형 부대역 프로세서(1020a,1020b), 순차적으로 연결된 포락선 조정기(1030) 또는, 일반적으로 언급되는, 예를 들어, 파라미터 라인(1040)에서 입력처럼, 고주파수 복원 파라미터들에서의 고주파수 복원 프로세서 작업을 포함한다. 포락선 조정기, 또는 일반적으로 언급되는 것처럼, 고주파수 복원 프로세서는 각 개별 부대역 채널에 대한 개별 부대역 신호들을 처리하고 합성 필터뱅크(1050)에 대해 각 부대역 채널에 대한 처리된 부대역 신호들을 입력한다. 더 낮은 채널 입력 신호들에서, 합성 필터뱅크(1050)은, 저대역 코어 디코더 신호의 부대역 표현을 수신한다. 실행에 의존하여, 저대역은 도26의 분석 필터뱅크(1010)의 출력으로부터 유도될 수도 있다. 교차된 부대역 신호들은 고주파수 복원을 수행하기 위해 합성 필터뱅크의 더 높은 필터뱅크 채널들에 입력된다.

필터뱅크(1050)은 결국 교차기 출력 신호를 출력하며 이는 교차 인수 2, 3, 그리고 4에 의한 대역폭 연장과 블록(1050)에 의한 신호 출력을 포함하고, 더 이상 크로스 오버 주파수, 즉, SBR 또는 HFR 발생된 신호 구성요소들의 가장 낮은 주파수에 대응하는 코어 코더 신호의 가장 높은 주파수,에 대하여 대역폭-제한적이지 않다. 도26 실시예에서, 분석 필터뱅크는 샘플링을 두배로 수행하고 특정 분석 부대역 스페이싱(1060)을 갖는다. 합성 필터뱅크(1050)는 합성 부대역 스페이싱(1070)을 가지며, 이는 이 실시예에서, 도27 문맥에서 나중에 논의될 교차 기여를 야기하는 분석 부대역 스페이싱 크기의 두배이다. 도27은 도26의 비선형 부대역 프로세서(1020a)의 바람직한 실시예의 세부적인 실행을 도시한다. 도27에 도시된 회로는 입력으로 단일 부대역 신호(108)을 수신하며, 이는 세 "분기"(branches)에서 처리된다 : 상위 분기(110a)는 교차 인수 2의 교차를 위한 것이다. 도면부호(110b)에 지시되어 있는 도27의 중간의 분기는 교차 인수 3에 의한 교차를 위한 것이고, 도27의 더 낮은 분기는 교차 인수 4에 의한 교차를 위한 것이고 도면부호 (110c)에 의해 지시된다. 그러나, 도27에서 각 처리 요소에 의해 얻어지는 실제 교차는 분기(110a)에 대해 오직 1이다. (즉. 교차가 없다)

도27의 중간 분기(110b)에서 도시된 처리 요소에 의해 얻어지는 실제 교차는 1.5와 같고 더 낮은 분기(110c)에 대한 실제 교차는 2와 같다. 이는 도27의 왼쪽에 괄호들의 숫자들에 의해 지시되며, 여기서 교차 인수들 T가 지시된다. 1.5 그리고 2의 교차들은 분기(110b,110c)에서 데시메이션 작업을 가짐으로써 얻어지는 첫번째 교차 기여와 오버랩-애드 프로세서에 의한 시간 연장을 표현한다. 두번째 기여, 즉 교차의 배가(doubling)는, 합성 필터뱅크(105)에 의해 얻어지며, 이는 분석 필터뱅크 부대역 스페이싱의 두배인 합성 부대역 스페이싱(107)을 갖는다. 따라서, 합성 필터뱅크는 분석 부대역 스페이싱의 두배를 가지며, 어떤 데시메이션 기능도 분기(110a)에서 일어나지 않는다.

그러나, 분기(110b)는, 1.5에 의한 교차를 얻기 위하여 데시메이션 기능을 갖는다. 합성 필터뱅크는 분석 필터뱅크의 물리적 부대역 스페이싱의 두배를 갖는다는 사실 때문에, 교차 인수 3은 도27에서 두번째 분기(110b)에 대한 블록 추출기의 왼쪽에 묘사된것처럼 얻어진다.

유사하게, 세번째 분기는 교차인수 2에 대응하는 데시메이션 기능을 가지며, 분석 필터뱅크와 합성 필터뱅크에서 다른 부대역 스페이싱의 최종 기여는 결국 세번째 분기(110c)의 교차인수4에 대응한다.

특히, 각 분기는 블록 추출기(120a,120b,120c)를 가지며 이 세 추출기 각각은 도18의 블록 추출기(1800)에 유사할 수 있다. 게다가, 각 분기는 위상 계산기(122a,122b 그리고 122c)를 가지며, 상기 위상 계산기는 도18의 위상 계산기(1804)에 유사할 수 있다. 게다가, 각 분기는 위상 조정기(124a,124b 그리고 124c)를 가지며, 상기 위상 조정기는 도18의 위상 조정기(1806)에 유사할 수 있다. 게다가, 각 분기는 윈도우어(126a,126b 그리고 126c)를 가지며, 여기서 각 윈도우어는 도18의 윈도우어(1802)에 유사할 수 있다. 그럼에도 불구하고, 윈도우어(126a,126b,126c)는 몇몇 "제로 패딩(zero padding)"과 함께 직사각형 윈도우를 적용하기 위해 구성될 수도 있다. 도27의 실시예에서, 각 분기(110a,110b,110c)로부터의 교차 또는 패치 신호들은 애더(128)에 대한 입력이고, 이것은 애더(128)의 출력에서 소위 교차 블록들이라 불리는 것들을 최종적으로 얻기 위해 현재 부대역 신호에 대해 각 분기로부터의 기여를 더하는 것이다. 그러면, 오버랩-애더(130)에서 오버랩-애드 절차가 수행되는데, 오버랩-애더(130)은 도18의 오버랩/애드 블록(1808)과 유사할 수 있다. 오버랩-애더는 오버랩-애드 선행 값 2·e 를 적용하는데, 여기서 e는 블록 추출기들(120a, 120b, 120c)의 오버랩-선행 값 또는 "스트라이드 값(stride value)"이고, 오버랩-애더(130)은 교차 신호를 출력하는데, 이는 도27의 실시예에서, 채널 k에 대한, 즉 현재 관찰된 부대역 채널에 대한, 단일 부대역 출력이다. 도27에 도시된 처리(프로세싱)은 각 분석 부대역 또는 분석 부대역의 특정 그룹에 대하여 수행되고, 도26에 도시된대로, 교차 부대역 신호들은 도26 블록(1050)의 출력에 도시된 교차기 출력 신호를 최종적으로 얻기 위한 블록(1030)에 의해 처리된 후 합성 필터뱅크(1050)에의 입력이 된다.

실시예에서, 첫번째 교차기 분기(110a)의 블록 추출기(120a)는 10 부대역 샘플들을 추출하고 순차적으로 이 10 QMF 샘플들의 극좌표로의 변환이 수행된다. 위상 조정기(124a)에 의해 발생된, 이 출력은 윈도우어(126a)로 향하고, 이는 블록의 첫번째와 마지막 값에 대해 0(zeroes)들에 의한 출력을 연장하는데, 여기서 이 작업은 길이 10 직사각형 윈도우의 (합성) 윈도윙과 동등하다. 분기(110a)의 블록 추출기(120a)는 데시메이션을 수행하지 않는다. 그래서, 블록 추출기에 의해 추출되는 샘플들은 그들이 추출되었던 대로 동일 샘플 스페이싱에서 추출된 블록으로 사상(맵핑)된다.(mapped)

그러나, 이는 분기(110b 그리고 110c)와 다르다. 블록 추출기(120b)는 바람직하게 8 부대역 샘플들의 블록을 추출하고 이 추출된 블록의 8 부대역 샘플들을 다른 부대역 샘플 스페이싱에서 분배한다. 추출된 블록에 대해 입력되는 비-정수 부대역 샘플이 보간법(interpolation)에 의해 얻어지며, 따라서 보간된 샘플들과 함께 얻어진 QMF 샘플들은 극좌표로 변환되고 위상 조정기에 의해 처리된다. 그런 후 다시, 윈도우어(126b)의 윈도윙이 첫번째 두 샘플들과 마지막 두 샘플들에 대한 0(zeroes)들에 의한 위상 조정기(124b)에 의한 블록 출력을 연장하기 위해 수행되며, 이 작업은 길이 8의 직사각형 윈도우의 (합성)윈도윙과 동등하다.

블록 추출기(120c)는 6 부대역 샘플들의 시간 연장과 함께 블록을 추출하기 위해 구성되며, 데시메이션 인수 2의 데시메이션을 수행하고, QMF 샘플들의 극좌표로의 변환을 수행하고 다시 위상 조정기(124b)에서 작업을 수행하고, 출력은 0에 의해 다시 연장되나, 지금은 맨 앞의 세 부대역 샘플들과 마지막 세 부대역 샘플들에 대하여이다. 이 작업은 길이 6의 직사각형 윈도우의 (합성) 윈도윙과 동등하다.

각 분기의 교차 출력들은 그 후 애더(128)에 의해 결합된 QMF 출력을 형성하기 위해 더해지며, 결합된 QMF 출력들은 최종적으로 블록(130)의 오버랩-애더를 이용하여 겹쳐지는데, 여기서 오버랩-애드 선행 또는 스트라이드 값은 이전에 논의되었던 블록 추출기(120a,120b,120c)의 스트라이드 값의 두배이다.

실시예는 부대역 블록 기반 고조파 교차를 이용하는 것에 의해 오디오 신호를 디코딩하는 방법을 포함하고, 부대역 신호들의 집합을 얻기 위한 M-대역 분석 필터 뱅크를 통해 코어 디코딩되는 신호의 필터링을 포함한다; 부표본화된 소스 범위 신호들을 얻기 위해, 부대역들의 감소된 숫자를 갖는 부표본화된 합성 필터 뱅크들에 의하여 언급된 부대역 신호들의 부분집합의 합성을 말한다.

실시예는 파라메트릭 프로세스(parametric process)에서 활용되는 스펙트럴 경계들에 대한 HFR 발생 신호들의 스펙트럴 밴드 경계들을 정렬하는 방법에 관한 것이다. 실시예는 포락선 조정 주파수 테이블의 스펙트럴 경계들에 대한 HFR 발생 신호들의 스펙트럴 경계를 정렬하는 방법에 관련되어 있다. 이는 교차 인수 T의 HFR 발생 신호의 기초 대역폭 제한을 초과하지 않는 포락선 조정 주파수 테이블의 가장 높은 경계의 탐색; 그리고 교차 인수 T의 HFR 발생 신호의 주파수 제한에 따라 발견된 가장 높은 경계의 이용;을 포함한다.

실시예는 HFR 발생 신호들의 스펙트럴 경계들에 대한 리미터 툴(limiter tool)의 스펙트럴 경계를 정렬하는 방법에 관련된다. 이는 리미터 툴에 의해 이용되는 주파수 대역 경계들을 생성할 때 이용되는 경계들의 테이블에 대해 HFR 발생 신호들의 주파수 경계들의 추가; 일정한 경계에 따라 그리고 잔존하는 경계에 따라 조정하기 위하여 추가된 주파수 경계들을 이용하기 위한 리미터의 강제;를 포함한다.

실시예는 낮은 해상도 필터 뱅크 영역에서 몇몇 정수 교차 순서들을 포함하는 오디오 신호의 결합된 교차에 관련되는데, 여기서 교차 작업은 부대역 신호의 시간 블록 상에서 수행된다.

추가 실시예는 결합된 교차에 관련되며, 여기서 2보다 큰 교차 순서들이 순서 2 교차 환경(order 2 transposition envionment)에 내재된다.

추가 실시예는 결합된 교차에 관련되며, 여기서 3보다 큰 교차 순서들이 순서 3 교차 환경에 내재되며, 4보다 작은 교차 순서들이 각각 수행된다.

추가 실시예는 결합된 교차와 관련되며, 교차 순서들(예를 들어, 2보다 큰 교차 순서들)이 코어 코딩된 대역폭을 포함하는 이전에 계산된 교차 순서들(즉, 특히 더 낮은 순서들)의 복제에 의해 생성된다. 가능한 교차 순서와 코어 대역폭의 모든 생각가능한 조합이 제한없이 가능하다.

실시예는 교차를 요구하는 분석 필터뱅크의 감소된 숫자 때문에 컴퓨터적인 복잡성의 감소와 관련된다.

실시예는 입력 오디오 신호로부터 대역폭이 연장된 신호를 발생시키는 장치에 관련되며, 첫번째로 패치된 신호와 두번째로 패치된 신호를 얻기 위한 입력 오디오 신호를 패칭하는 패쳐(patcher); 두번째로 패치된 신호는 첫번째로 패치된 신호와 비교하여 다른 패치 주파수를 가지며, 여기서 첫번째 패치된 신호는 첫번째 패칭 알고리즘을 이용하여 발생되며, 두번째 패치 신호는 두번째 패칭 알고리즘을 이용하여 발생되며, 대역폭 연장된 신호를 얻기 위한 첫번째 패치된 신호와 두번째 패치된 신호를 결합하기 위한 결합기;를 포함한다.

추가 실시예는 이 장치에 관련되어 있는데, 첫번째 패칭 알고리즘은 고조파 패칭 알고리즘이고 두번째 패칭 알고리즘은 비-고조파 패칭 알고리즘이다.

추가 실시예는 선행 장치들과 관련되어 있으며, 첫번째 패칭 주파수는 두번째 패칭 주파수보다 낮거나 그 반대이다.

추가 실시예는 선행하는 장치에 관련되어 있고, 입력 신호는 패칭 정보;를 포함하고, 패쳐는 패칭 정보에 따른 첫번째 패칭 알고리즘 또는 두번째 패칭 알고리즘을 다양화하기 위한 입력 신호로부터 추출된 패칭 정보에 의해 컨트롤되기 위해 구성된다.

추가 실시예는 선행 장치에 관련되고, 패쳐는 오디오 신호 샘플들의 순차적 블록들을 패치하기 위해 작동되고, 패쳐는 오디오 샘플들의 같은 블록에 대한 첫번째 패칭 알고리즘 그리고 두번째 패칭 알고리즘을 적용하기 위해 구성된다.

추가 실시예는 선행 장치에 관련되어 있으며, 패쳐는, 임의의 순서로, 대역폭 연장 인수에 의해 컨트롤되는 데시메이터, 필터뱅크, 필터뱅크 부대역 신호에 대한 연장기를 포함한다.

추가 실시예는 선행 장치들에 관련되며, 연장기는 추출 선행 값에 따른 오버랩핑 블록들의 숫자를 추출하기 위한 블록 추출기; 윈도우 기능 또는 위상 보정에 기반한 각 블록의 부대역 샘플링 값들을 조정하기 위한 위상 조정기나 윈도우어; 추출 선행 값보다 큰 오버랩 선행 값을 이용하는 윈도우되고(windowed) 위상 조정된 블록들의 오버랩-애드-프로세싱(overlap-add-processing)을 수행하기 위한 오버랩/애더;를 포함한다.

추가 실시예는 대역폭 연장 오디오 신호에 관한 장치에 관련되고, 다운샘플링된 부대역 신호들을 얻기 위한 오디오 신호를 필터링 하기 위한 필터뱅크; 다른 방법으로 다른 부대역 신호들을 처리하기 위한 다수의 다른 부대역 프로세서; 여기서 부대역 프로세서는 다른 연장 인수들을 이용하여 다른 부대역 신호 시간 연장 작업들을 수행하며, 대역폭 연장된 오디오 신호를 얻기 위한 다수의 다른 부대역 프로세서들에 의해 처리된 부대역 출력을 병합하기 위한 병합기(머져, merger);를 포함한다.

추가 실시예는 오디오 신호를 다운샘플링하는 장치에 관련되고, 변조기(모듈레이터, modulator); 보간 인수를 이용하는 보간기(interpolator); 데시메이션 인수를 이용하는 데시메이터;를 포함하며 여기서 데시메이션 인수는 보간 인수보다 높다.

실시예는 오디오 신호를 다운샘플링하는 장치에 관련되고, 오디오 신호로부터 다수의 부대역 신호들을 발생시키는 첫번째 필터 뱅크; 여기서 부대역 신호의 샘플링 레이트는 오디오 신호의 샘플링 레이트보다 작고, 샘플 레이트 변환을 수행하는 분석 필터뱅크에 따라오는 적어도 하나의 합성 필터뱅크; 여기서 합성 필터뱅크는 분석 필터뱅크의 채널 숫자와 다른 채널 숫자를 갖고, 샘플 레이트가 변환된 신호를 처리하기 위한 시간 연장 프로세서; 시간 연장된 신호 그리고 저대역 신호 또는 다른 시간 연장된 신호를 결합하기 위한 결합기(combiner);를 포함한다.

추가 실시예는 비-정수 다운샘플링 인수에 의해 오디오 신호를 다운샘플링 하기 위한 장치에 관련되고, 디지탈 필터; 보간 인수를 갖는 보간기; 짝수(even) 그리고 홀수 탭(odd taps)들을 갖는 다중-위상 요소; 보간 인수보다 큰 데시메이션 인수를 갖는 데시메이터;를 포함하며, 데시메이션 인수와 보간 인수는 보간 인수와 데시메이션 인수의 비율이 비-정수(non-integer)가 되도록 선택된다.

실시예는 오디오 신호를 처리하는 장치에 관련되며, 출력 신호가 명목 변형 크기에 대응하는 명목 샘플링 레이트보다 작은 샘플링 레이트를 갖는 코어 디코더에 의해 발생되도록 하는, 인수에 의한 명목 변형 크기보다 작은 합성 변형 크기를 갖는 코어 디코더; 하나 또는 그 이상의 필터 뱅크들, 하나 또는 그 이상의 시간 연장기 그리고 병합기를 포함하는 후-처리기(post processor)를 포함하며, 여기서 하나 또는 그 이상의 필터뱅크들의 필터뱅크 채널들 숫자는 명목 변형 크기에 의해 결정되는 숫자에 비하여 감소된다.

추가 실시예는 저대역 신호를 처리하는 장치에 관계되고, 저 대역 오디오 신호를 이용하는 다중 패치들을 발생시키는 패치 발생기; 스케일 인수(factor) 대역 경계들을 갖는 근접한 스케일 인수 대역들에 주어진 스케일 인수들을 이용하는 신의 포락선을 조정하기 위한 포락선 조정기; 를 포함하며, 여기서 패치 발생기는, 근접한 패치들 사이의 경계가 주파수 스케일에서 근접한 스케일 인수 대역들 사이의 경계에 일치하도록, 다중 패치들을 수행하도록 구성된다.

실시예는 저대역 오디오 신호를 처리하기 위한 장치에 관련되어 있고, 저대역 오디오 신호를 이용하는 다중 패치들을 발생시키기 위한 패치 발생기; 리미터 대역 경계Emf을 갖는 근접한 리미터 대역들에서 제한되는 신호에 대한 포락선 근접 값들을 제한하기 위한 포락선 근접 리미터;를 포함하며, 여기서 패치 발생기는 근접 패치들이 주파수 스케일에서 근접 리미터 대역들 사이의 경계에 일치하도록 다중 패치들을 수행하기 위해 구성된다.

발명의 프로세싱(processing)은 대역폭 연장 배치에 의존하는 향상된 오디오 코덱들에 유용하다. 특히, 주어진 비트레이트에서 최적의 지각적 품질이 아주 중요하다면, 동시에, 프로세싱 전력이 제한되어 있다면 말이다.

대부분의 지배적인 어플리케이션들은 오디오 디코더들이고, 종종 핸드-헬드 장치들(휴대용 장치들)에서 실행되고 그래서 배터리 전력 공급에 의해 작동된다.

발명의 인코딩된 오디오 신호는 디지탈 저장 매체에 저장되거나 또는 무선 전송 매체 또는 인터넷 같은 유선 전송 매체처럼 전송 매체에서 전송될 수 있다.

특정 실행 요건에 의존하여, 발명의 실시예는 하드웨어 또는 소프트웨어 상에서 실행될 수 있다. 상기 실행은, 예를 들어 플로피 디스크, DVD, CD, ROM, PROM, EPROM, EEPROM 또는 플래쉬 메모리 등 전자기적 판독 제어 신호들이 저장되고, 각 방법들이 수행되는 프로그램 가능한 컴퓨터 시스템과 상호연동(또는 상호연동할 수 있는) 하는 디지탈 저장 매체를 이용하여 수행될 수 있다.

발명에 따른 몇몇 실시예들은 여기서 수행되는 것으로 설명된 방법들 중 하나처럼, 프로그램 가능한 컴퓨터 시스템과 상호 연동가능한 전자기적 판독가능한 제어 신호들을 갖는 데이터 캐리어를 포함한다.

일반적으로, 본 발명의 실시예들은 프로그램 코드와 함께 컴퓨터 프로그램 제품처럼 실행될 수 있고, 프로그램 코드는 컴퓨터 프로그램 제품이 컴퓨터 상에서 수행될 때 방법들 중 하나를 수행하기 위해 작동된다.

다른 실시예들은 여기서 설명되고, 기계 판독가능한 캐리어에 저장된, 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함한다.

다른 말로 하면, 본 발명의 방법 실시예들은 컴퓨터 프로그램이 컴퓨터 상에서 수행될 때 여기서 설명된 방법들 중 하나를 수행하기 위한 프로그래 코드를 갖는 컴퓨터 프로그램이다.

본 방법 발명들의 추가 실시예는, 그래서, 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 포함하는, 거기에 기록된, 데이타 캐리어(또는 디지탈 저장 매체, 또는 컴퓨터-판독가능 매체)이다.

본 방법발명의 추가 실시예는, 그래서, 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 표현하는 신호들의 시퀀스(sequence) 또는 데이타 스트림이다. 신호들의 데이타 스트림 또는 시퀀스는 데이타 통신 연결, 예를 들어 인터넷을 통해 전송되기 위해 예시적으로 구성될 수 있다.

추가 실시예는 예를 들어 컴퓨터, 또는 프로그램 가능한 논리 장치같은 프로세싱(처리) 수단을 포함하며, 여기서 설명된 방법들 중 하나를 수행하기 위해 적용되거나 구성된다.

추가 실시예는 여기서 설명된 방법들 중 하나를 수행하기 위한 컴퓨터 프로그램을 설치한 컴퓨터를 포함한다.

몇몇 실시예에서, 프로그램 가능한 논리 장치(예를 들어 필드 프로그래머블 게이트 어레이(field programmable gate array))가 여기서 설명된 방법들의 기능 모두 또는 몇몇을 수행하기 위해 이용될 수 있다. 몇몇 실시예에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위하여 마이크로프로세서와 함께 상호연동할 수 있다. 일반적으로, 방법들은 바람직하게는 어떤 하드웨어 장치에서나 수행된다.

상기 설명된 실시예들은 단지 본 발명의 원리에 대해 설명적일 뿐이다. 여기서 설명된 배치와 세부사항들의 변화와 변형은 다른 당업자에게 명백하다고 이해되어야 한다. 본 발명은 현존하는 청구항들의 청구범위에 의해서만 제한되고, 여기 실시예들의 설명이나 묘사방법에 의해 표현된 특정 세부사항들에 한정되는 것은 아니다.

Claims

입력 오디오 신호(2300)를 처리하는 장치에 있어서,
상기 입력 오디오 신호(2300)는 분석 필터뱅크에 의해 발생되는 다수의 첫번째 부대역 신호들(2303)에 의해 나타내어지며, 합성 필터뱅크(2304)의 필터뱅크 채널들의 숫자(Ms)는 상기 분석 필터뱅크(2302)의 채널 숫자(M)보다 작은, 상기 입력 오디오 신호(2300)로부터 오디오 중간 신호를 합성하기 위한 합성 필터뱅크(2304); 및
다수의 두번째 부대역 신호들(2308)의 부대역 신호의 샘플링 레이트가 다수의 첫번째 부대역 신호들(2303)의 첫번째 부대역 신호의 샘플링 레이트와 다르도록, 상기 합성 필터뱅크(2304)의 상기 채널들의 숫자와 다른 채널 숫자(Ms)를 갖는, 상기 오디오 중간 신호(2306)으로부터 다수의 두번째 부대역 신호들을 발생시키기 위한 추가 분석 필터뱅크(2307);를 포함하는,
입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 합성 필터뱅크(2304)가 실수치 필터뱅크인 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 다수의 첫번째 부대역 신호들(2303)의 첫번째 부대역 신호들의 숫자가 24와 같거나 그보다 크고,
상기 합성 필터뱅크의 상기 필터뱅크 채널들의 숫자가 22와 같거나 그보다 작은, 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 합성 필터뱅크(2304)는 최대 대역폭 입력 오디오 신호(2300)을 나타내는 상기 다수의 첫번째 부대역 신호들의 모든 첫번째 부대역 신호들(2303)의 서브-그룹만을 처리하기 위하여 구성되며, 상기 합성 필터뱅크(2304)는 기저 대역에 조정되는 상기 최대 대역폭 오디오 신호(2300)의 대역 세그먼트(segment)에 따라 상기 오디오 중간 신호(2306)를 발생시키기 위하여 구성되는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서,
상기 입력 오디오 신호(2300)의 시간 영역 표현을 수신하고 상기 다수의 첫번째 부대역 신호들(2303)을 얻기 위한 상기 시간 영역 표현을 분석하기 위한 상기 분석 필터뱅크(2302)를 더 포함하며,
여기서 상기 다수의 첫번째 부대역 신호들(2303)의 서브-그룹(2305)은 상기 합성 필터뱅크(2304)의 입력이고, 상기 다수의 첫번째 부대역 신호들의 잔여 부대역 신호들은 상기 합성 필터뱅크(2304)의 입력이 아닌, 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 분석 필터뱅크(2302)는 복소수 필터뱅크이고, 상기 합성 필터뱅크(2304)는 상기 첫번째 부대역 신호들로부터 실수치 부대역 신호들을 계산하기 위한 실수치 계산기를 포함하며, 여기서 상기 실수치 계산기에 의해 계산된 상기 실수치 부대역 신호들은 상기 오디오 중간 신호(2306)를 얻기 위해 상기 합성 필터뱅크(2304)에 의해 더 처리되는, 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 추가 분석 필터뱅크(2307)는 복소수 필터뱅크이고 복합 부대역 신호들에 따른 상기 다수의 두번째 부대역 신호들을 발생시키기 위해 구성되는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 합성 필터뱅크(2304), 상기 추가 분석 필터뱅크(2307) 또는 상기 분석 필터뱅크(2302)는 상기 합성 필터뱅크(2304), 상기 추가 분석 필터뱅크(2307), 상기 분석 필터뱅크(2302)에 동일한 필터뱅크 윈도우의 부-표본 버젼들을 이용하기 위해 구성되는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서,
상기 다수의 두번째 부대역들(2308)을 처리하기 위한 부대역 신호 프로세서; 및
상기 추가 합성 필터뱅크(2311), 상기 합성 필터뱅크(2304), 상기 분석 필터뱅크(2302) 또는 상기 추가 필터뱅크(2307)은 상기 합성 필터뱅크(2304), 상기 추가 분석 필터뱅크(2307), 상기 분석 필터뱅크(2302)에 동일한 필터뱅크 윈도우의 부표본 버젼들을 이용하기 위하여 구성되고, 또는 상기 추가 합성 필터뱅크(2311)은 합성 윈도우를 적용하기 위하여 구성되며, 여기서 상기 추가 분석 필터뱅크(2307), 상기 합성 필터뱅크(2304) 또는 상기 분석 필터뱅크(2302)는 상기 추가 합성 필터뱅크(2311)에 의해 사용되는 상기 합성 윈도우의 부표본 버젼을 적용하기 위하여 구성되는, 다수의 처리된 부대역들을 필터링하기 위한 추가 합성 필터뱅크(2311); 를 더 포함하는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서,
다수의 처리된 부대역들을 얻기 위해 부대역마다 비선형 처리 작업을 수행하기 위한 부대역 프로세서(2309);
전송된 파라미터들(1040)에 기반한 입력 신호를 조정하기 위한 고주파수 복원 프로세서(1030); 및
상기 다수의 처리된 부대역 신호들과 상기 입력 오디오 신호(2300)을 결합하기 위한 추가 합성 필터뱅크(2311, 1050); 를 더 포함하며,
여기서 상기 고주파수 복원 프로세서(1030)는, 상기 다수의 처리된 부대역들이 상기 추가 합성 필터뱅크(2311, 1050)에 입력되기 전에, 상기 추가 합성 필터뱅크의 출력을 처리하거나 상기 다수의 처리된 부대역들을 처리하기 위하여 구성되는 것을 특징으로 하는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 추가 분석 필터뱅크(2307) 또는 상기 합성 필터뱅크(2304)는 상기 합성 필터뱅크(2304)나 상기 추가 분석 필터뱅크(2307)를 위한 채널들의 숫자의 정보를 이용하는 다른 크기를 가지는 필터뱅크를 위해 저장된 윈도우 기능을 이용하는 보간법이나 부표본화에 의한 프로토타입 윈도우 기능을 계산하기 위한 프로토타입 윈도우 기능 계산기를 가지는 것을 특징으로 하는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 합성 필터뱅크(2304)는 상기 합성 필터뱅크(2304)에서 가장 높고 가장 낮은 필터뱅크 채널에 대한 입력을 제로로 설정하기 위해 구성되는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 블록 기반 고조파 교차를 수행하기 위해 구성되며, 여기서 상기 합성 필터뱅크(2304)는 부표본화된 필터뱅크인 것을 특징으로 하는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기다수의 두번째 부대역 신호들(2308)을 처리하기 위한 부대역 프로세서(2309);를 더 포함하며,
여기서 상기 부대역 프로세서는(2309,1020a,1020b), 임의의 순서로,
대역폭 연장 인수에 의해 컨트롤 되는 데시메이터(decimator);
부대역 신호를 위한 연장기(stretcher);
여기서, 상기 연장기는 추출 선행 값에 따른 오버랩핑된 블록들의 숫자를 추출하기 위한 블록 추출기(1800,120a,120b,120c);
윈도우 기능이나 위상 보정에 기반한 각 블록의 부대역 샘플링 값들을 조정하기 위한 위상 조정기(1806, 124a, 124b, 124c) 또는 윈도우어 (1802, 126a, 126b, 126c);
상기 추출 선행 값보다 더 큰 오버랩 선행 값을 이용하여 윈도우되고(windowed) 위상 조정된 블록들의 오버랩-애드-프로세싱(overlap-add-processing)을 수행하기 위한 오버랩-애더(1808,130);를 포함하는 것을 특징으로 하는,
입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 부대역 프로세서(2309)를 더 포함하며, 상기 부대역 프로세서(2309, 1020a.1020b)는,
각 프로세싱 분기는 부대역 샘플들의 블록들을 추출(120a,120b,120c)하기 위해 구성되는, 교차 신호를 얻기 위한 다른 교차 인수들을 위한 다수의 다른 프로세싱 분기들(110a,110b,110c);
교차 블록들을 얻기 위한 상기 교차 신호들을 더하기 위한 애더(adder, 128);
상기 다수의 다른 프로세싱 분기들(110a,110b,110c)의 블록들을 추출(120a,120b,120c)하기 위해 사용되는 블록 선행 값보다 큰 블록 선행값을 이용한 시간 연속 교차 블록들을 오버랩-애드 하기 위한 오버랩-애더(130);를 포함하는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서,
상기 합성 필터뱅크(2304)와 상기 추가 분석 필터뱅크(2307)은 샘플 레이트 변환을 수행하기 위해 구성되는,상기 분석 필터뱅크(2302);
상기 샘플 레이트 변환된 신호를 처리하기 위한 시간 연장 프로세서(100a, 100b, 100c);
처리된 시간 영역 신호를 얻기 위한 상기 시간 연장 프로세서에 의해 발생되는 처리된 부대역 신호들을 결합하기 위한 결합기(combiner, 2311, 605);를 포함하는 입력 오디오 신호를 처리하는 장치.
제 1항에 따른 장치에 있어서, 상기 추가 분석 필터뱅크(2307)의 상기 채널들의 숫자는 상기 합성 필터뱅크(2304)의 상기 채널들의 숫자보다 큰 것을 특징으로 하는 입력 오디오 신호를 처리하는 장치.
입력 오디오 신호(2300)를 처리하는 장치에 있어서,
분석 필터뱅크(2302)는 다수의 첫번째 부대역 신호(2303)을 얻기 위한 상기 입력 오디오 신호(2300)을 필터링하기 위해 구성되는, 분석 필터뱅크 채널들의 숫자(M)을 갖는 분석 필터뱅크(2302); 및
첫번째 부대역 신호들(2303)의 그룹(2305)를 이용하는 오디오 중간 신호(2306)을 합성하기 위한 합성 필터뱅크(2304); 를 포함하며,
여기서 상기 그룹은 상기 분석 필터뱅크(2302)의 상기 필터뱅크 채널들의 숫자보다 작은 부대역 신호들의 숫자를 포함하고, 상기 중간 오디오 신호(2306)은 상기 입력 오디오 신호(2300)의 대역폭 부분의 부표본화된 표현인 것을 특징으로 하는 입력 오디오 신호를 처리하는 장치.
청구항 18에 따른 장치에 있어서, 상기 분석 필터뱅크(2302)는 임계적으로 표본조사된(sampled) 복합 QMF 필터뱅크이고, 상기 합성 필터뱅크(2304)는 임계적으로 표본조사된 실수치 QMF 필터뱅크인 것을 특징으로 하는 입력 오디오 신호를 처리하는 장치.
입력 오디오 신호(2300)을 처리하는 방법에 있어서,
상기 입력 오디오 신호(2300)은 분석 필터뱅크(2302)에 의해 발생되는 다수의 첫번째 부대역 신호들에 의해 표현되며, 합성 필터뱅크(2304)의 필터뱅크 채널들의 숫자(Ms)는 상기 분석 필터뱅크(2302)의 채널들의 숫자보다 작고, 상기 입력 오디오 신호(2300)로부터 오디오 중간 신호를 합성하기 위한 합성 필터뱅크(2304)를 이용하여 합성 필터링하고,
다수의 두번째 부대역 신호들(2308)의 부대역 신호의 샘플링 레이트가 상기 다수의 첫번째 부대역 신호들(2303)의 첫번째 부대역 신호들의 샘플링 레이트와 다르도록, 추가 분석 필터뱅크(2307)는 상기 합성 필터뱅크(2304)의 상기 채널들의 숫자와 다른 채널들의 숫자(Ms)를 가지며, 상기 오디오 중간 신호(2306)으로부터 다수의 두번째 부대역 신호들을 발생시키는 추가 분석 필터뱅크(2307)를 이용하여 분석 필터링하는 것을 특징으로 하는 입력 오디오 신호를 처리하는 방법.
입력 오디오 신호(2300)을 처리하기 위한 방법에 있어서,
분석 필터뱅크 채널들의 숫자(M)을 갖는 분석 필터뱅크(2302)를 이용하여 분석 필터링하고, 여기서 분석 필터뱅크(2302)는 다수의 첫번째 부대역 신호들(2303)을 얻기 위해 상기 입력 오디오 신호를 필터링하기 위해 구성되며,
첫번째 부대역 신호들(2303)의 그룹(2305)을 이용하는 오디오 중간 신호(2306)을 합성하기 이한 합성 필터뱅크(2304)를 이용하는 합성 필터링하고, 여기서 상기 그룹은 상기 분석 필터뱅크(2302)의 상기 필터뱅크 채널들의 숫자보다 작은 부대역 신호들의 숫자를 포함하며, 상기 중간 오디오 신호(2306)는 상기 입력 오디오 신호(2300)의 대역폭 부분의 부표본화된 표현인 것을 특징으로 하는 입력 오디오 신호를 처리하는 방법.
컴퓨터에서 실행될 때, 제 20항 또는 제21항에 따른 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 기록매체.