KR101164351B1 - 오디오 신호의 대역폭 확장을 위한 장치 및 방법 - Google Patents

Abstract

오디오 신호의 대역폭 확장을 위해, 신호 확산기에서, 오디오 신호는 1보다 큰 확산 인자에 의해 시간적으로 확산된다. 시간적으로 확산된 오디오 신호는 그런 다음, 확산 인자에 매칭되는 데시메이션 인자에 의해 시간적으로 확산된 버전을 데시메이트하는 데시메이터로 공급된다. 이 데시메이션 동작에 의해 발생된 대역은 추출되어 왜곡되며, 최종적으로 대역폭 확장된 오디오 신호를 획득하기 위해 오디오 신호와 결합된다. 필터뱅크 구현 또는 변환 구현에서 위상 보코더가 신호 확산을 위해 사용될 수 있다.

Description

오디오 신호의 대역폭 확장을 위한 장치 및 방법{Device and method for a bandwidth extension of an audio signal}

본 발명은 오디오 신호 처리에 관한 것으로, 더욱 상세하게는 가용 데이터 레이트가 어느정도 작은 상황에서의 오디오 신호 처리에 관한 것이다.

오디오 신호의 효율적인 저장 및 전송을 위한 데이터 감소를 위해 오디오 신호의 청취-적합화된 인코딩이 많은 분야에 걸쳐 받아들여지고 있다. 인코딩 알고리즘은 특히 "MP3" 또는 "MP4"로서 공지되어 있다. 이를 위해 사용되는 코딩은 특히 가장 낮은 비트 레이트를 달성할 때 전송될 오디오 신호 대역폭의 인코더측 제한조건에 의해 종종 주로 발생되는 오디오 품질의 감소를 초래한다.

오디오 신호는 인코더측 상에서 이러한 상황에서 대역 한정되며, 고품질 오디오 인코더에 의해 오디오 신호의 저대역(lower band)만을 인코딩하는 것이 WO 98 57436으로부터 공지되어 있다. 그러나, 고대역(upper band)은 단지 이 고대역의 스펙트럼 포락선을 재생하는 파라미터 세트에 의해 매우 조악하게만(coarsely) 특징지워진다. 그런 다음, 디코더측 상에서 고대역은 합성된다. 이 목적을 위해, 디코딩된 오디오 신호의 저대역은 필터뱅크에 공급되는, 고조파 치환(transposition)이 제안된다. 저대역의 필터뱅크 채널들이 고대역의 필터뱅크 채널들에 접속되거나, "패치"되며, 각 패치된 대역통과 신호는 포락선 조정이 된다. 특별한 분석 필터뱅크에 속하는 합성 필터뱅크는 저대역에서 오디오 신호의 대역통과 신호 및 고대역에서 고조파적으로 패치된 저대역의 포락선-조정된 대역통과 신호를 수신한다. 합성 필터뱅크의 출력 신호는 그 대역폭에 관련하여 확장된 오디오 신호이며, 매우 낮은 데이터 레이트로 인코더측에서 디코더측으로 전송된다. 특히, 필터뱅크 계산 및 필터뱅크 영역에서의 패칭이 높은 계산적 노력이 될 수 있다.

대역-제한된 오디오 신호의 대역폭 확장을 위한 복잡도-감소된 방법들이 대역 제한으로 인해 잃어버린 정보에 근사화하기 위해 저주파수 신호 부분(LF)을 고주파수 범위(HF)로 복사하는 기능을 대신 사용한다. 이러한 방법들은, 2002년 5월, 뮌헨, 112차 AES Convention에서 M. Dietz, L. Liljeryd, K. Kjorling 및 0. Kunz에 의한 "Spectral Band Replication, a novel approach in audio coding"; 2002년 5월, 뮌헨, 112차 AES Convention에서 S. Meltzer, R. Bohm 및 F. Henn,에 의한 "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale" (DRM)"; 2002년 5월, 뮌헨, 112차 AES Convention에서 T. Ziegler, A. Ehret, P. Ekstrand 및 M. Lutzky에 의한 "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm";2002년 ISO/IEC, 국제 표준 ISO/IEC 14496-3:2001/FPDAM l, "Bandwidth Extension," 또는 Vasu Iyengar 등에 의한 미국 특허 제5,455,888호의 "Speech bandwidth extension method and apparatus"에 개시되어 있다.

이들 방법들에서 어떤 고조파 치환도 수행되지 않지만, 저대역의 연속적인 대역통과 신호가 고대역의 연속적인 필터뱅크 채널들로 유입된다. 이에 의해, 오디오 신호의 고대역의 조악한 근사화가 달성된다. 그런 다음, 이 신호의 조악하게 근사화된 것은, 추가 단계에서, 원래의 신호로부터 얻어진 제어 정보를 이용하는 이후의 프로세싱에 의해 원래의 신호로 근사화된다. 여기에서, 예컨대, 스케일 인자들은, MPEG-4 표준에도 개시된 바와 같이, 스펙트럼 포락선, 역필터링 및, 음조를 조정하기 위한 노이즈 카펫(noise carpet)과 정현파(sinusoidal) 신호 부분에 의한 보충물(supplementation)의 가산을 조정하는 데 사용된다.

이와 다르게, 2002년 5월, 뮌헨, 112차 AES Convention에서 E. Larsen, R.M. Aarts, 및 M. Danessis에 의한 "Efficient high-frequency bandwidth extension of music and speech"에 개시된, 원래의 HF 상의 어떠한 정보도 사용되지 않는 소위 "블라인드 대역폭 확장"이 존재한다. 또한, 2001년 헬싱키 공과 대학, 음향 및 오디오 신호 처리 연구소의 연구 보고서(Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing, 2001)인, K. kayhko에 의한 A Robust Wideband Enhancement for Narrowband Speech Signal에 개시된 소위 "모조 대역폭 확산(artificial bandwidth extension)"의 방법이 또한 존재한다.

J. Makinen 등: AMR-WB+: a new audio coding standard for 3rd generation mobile audio services Broadcasts, IEEE, ICASSP '05에서, 대역폭 확장을 위한 방법이 개시되는데, 여기에서, SBR 기술에 따른 연속하는 대역통과 신호들의 업-복사(up-copying)를 이용한 대역폭 확장의 복사 동작은 미러링에 의해, 예컨대, 업샘플링에 의해 대체된다.

대역폭 확장을 위한 다른 기술들은 다음 문서들에 개시되어 있다. 2003년 10월 미국 뉴욕, AES 115차 Convention에서, R.M. Aarts, E. Larsen, 및 O. Ouweltjes에 의한 "A unified approach to low- and high frequency bandwidth extension"; 2004년 John Wiley & Sons, Ltd.에서 E. Larsen 및 R.M. Aarts에 의한 "Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design"; 2002년 5월 뮌헨, AES 112차 Convention에서 E. Larsen, R.M. Aarts, 및 M. Danessis에 의한 "Efficient high-frequency bandwidth extension of music and speech"; 1973년 6월, IEEE Transactions on Audio and Electroacoustics, AU-21(3)에서 J. Makhoul에 의한 "Spectral Analysis of Speech by Linear Prediction"; 미국 특허 출원 제08/951,029호; 미국 특허 제6,895,375호.

고조파 대역폭 확장의 공지된 방법들은 높은 복잡도를 나타낸다. 반면, 복잡도-감소된 대역폭 확장의 방법들은 품질 저하를 나타낸다. 특히, 낮은 비트레이트에서 그리고 LF 범위의 저대역폭과의 결합시에, 바람직하지 않은 것으로 여겨질 거칠음(roughness) 및 장애물(timber)과 같은 아티펙트들이 발생할 수 있다. 그 이유는 근사화된 HF 부분이 서로 인지되지 않는 음조 부분들의 고조파 관계를 남기는 복사 동작에 기초한다는 사실 때문이다. 이는 LF와 HF 사이의 고조파 관계 및 HF 부분 그 자체 내에서의 고조파 관계 모두에 대해 적용된다. SBR를 사용하면, 예컨대, LF 범위와 발생된 HF 범위 사이의 경계에서, 예컨대, 도 4a에 도시된 바와 같이, LF 범위로부터 HF 범위로 복사된 음조 부분들이 전체 신호 범위에서, 스펙트럼적으로 밀접하게 인접되는 LF 범위의 음조 부분들과 마주칠 수 있기 때문에 종종 거친 사운드 느낌이 발생한다. 따라서, 도 4a에서, 401, 402, 403 및 404에서 피크들을 갖는 원래의 신호가 도시된 반면, 405, 406, 407 및 408에서 피크들을 갖는 테스트 신호가 도시된다. 음조 부분들을 LF 범위로부터 HF 범위로 복사함으로써, 도 4a에서 경계는 4250 Hz에 있으며, 테스트 신호에서 2개의 좌측 피크들의 거리는 고조파 래스터를 겪는 베이스 주파수보다 작으며, 그에 따라 거칠음이 지각된다.

Zwicker, E. 및 H. Fastl (1999)에 의한 Psychoacoustics: Facts and models. Berlin ? Springerverlag에 개시된 바와 같이, 음조-보상된 주파수 그룹들의 폭이 중심 주파수가 증가함에 따라 증가하기 때문에, HF 범위로 복사함으로써, 서로 다른 주파수 그룹들의 LF 범위에 있는 정현파 부분들(sinusoidal portions)은 여기에서 동일한 주파수 그룹에 놓일 수 있으며, 이는 또한 4b에 도시된 바와 같이 거친 청취 느낌을 초래한다. 여기에서, 특히, LF 범위를 HF범위로 복사하는 것은 원래와 비교하여 테스트 신호에서 더 조밀한 음조 구조를 초래한다. 원래 신호는 특히 410에서 도시된 바와 같이, 더 높은 주파수 범위에서 스펙트럼에 걸쳐 비교적 균일하게 분포되어 있다. 반면, 특히 이 높은 범위에서, 테스트 신호(411)는 스펙트럼에 걸쳐 비교적 균일하지 않게 분포되며, 그에 따라 원래의 신호(410)보다 분명하게 더 음조적이다.

본 발명의 목적은 약간의 지연 및 약간의 노력으로 구현될 수 있고 그에 따라 프로세서 속도 및 요구된 메모리에 대한 감소된 하드웨어 요구사항을 갖는 프로세서로 구현될 수 있는, 여전히 고품질을 갖는 대역폭 확장을 달성하는 동시에 낮은 복잡도를 갖는 신호 프로세싱을 달성하는 것이다.

이 목적은 청구항 1에 따른 대역폭 확장을 위한 장치 및 청구항 13에 따른 대역폭 확장을 위한 방법 또는 청구항 14에 따른 컴퓨터 프로그램에 의해 달성된다.

대역폭 확장을 위한 본 발명의 개념은 1 < 확산 인자에 의해 확산된 시간 신호로서 상기 오디오 신호의 버전을 생성하기 위해 시간 신호 확산, 및 치환된 신호를 획득하기 위해 시간 신호의 후속 데시메이션에 기초하는데, 상기 치환된 신호는 원래의 고주파수 부분으로의 양호한 근사화를 달성하기 위해, 그 진폭에 대해 각각 왜곡되거나 변화될 수 있는 고주파수 신호 부분을 추출하도록 단순한 대역통과 필터에 의해 필터링된다. 선택적으로, 대역통과 필터링은 신호 확산이 수행되기 전에 발생하여, 원하는 주파수 범위만이 확산 신호에서 확산 후에 존재할 수 있으며, 확산 이후의 대역통과 필터링은 생략될 수 있다.

한편으로 고조파 대역폭 확장을 사용하면, 복사 또는 미러링 동작 또는 이들 동작들 모두에 의해 발생되는 문제점들은 고조파 연속(harmonic continuation) 및 시간 신호를 확산하는 신호 확산기를 이용한 스펙트럼의 확산에 기반하여 방지될 수 있다. 다른 한편으로, 시간 확산 및 차후의 데시메이션은 단순한 프로세서들에 의해 예컨대, 고조파 치환에서 사용된, 완전한 분석/합성 필터뱅크보다 더 용이하게 실행될 수 있으며, 여기에서 필터뱅크 영역 내에서 패칭이 어떻게 발생하는지에 대한 추가적인 결정이 이루어져야 한다.

바람직하게, 약소한 노력의 구현들이 존재하는 위상 보코더가 신호 확산을 위해 사용된다. 2 < 인자들로 대역폭 확장을 획득하기 위해, 몇 개의 위상-보코더들이 병렬로 사용될 수 있으며, 이는 실시간 응용들에서 낮아야 하는 대역폭 확장의 지연에 대하여 특히 바람직하다. 선택적으로, 예컨대, PSOLA 방법(Pitch Synchronous Overlap Add)과 같은, 신호 확장을 위한 다른 방법들이 이용 가능하다.

본 발명의 바람직한 실시예에서, LF 오디오 신호가 먼저 위상 보코더의 도움으로 시간 방향에서 최대 주파수 LF_max로 신호의 통상적인 구간의 정수배로 확장된다. 이에 대해, 다운스트림 데시메이터에서, 시간 확장의 인자에 의해 신호의 데시메이션이 발생하여, 전체적으로 스펙트럼의 확산을 초래한다. 이는 오디오 신호의 치환에 대응한다. 최종적으로, 결과적인 신호는 범위(확장 인자 - 1) LF_max 내지 확장 인자?LF_max로 대역통과 필터링된다. 선택적으로, 확산 및 데시메이션에 의해 발생된 개별 고주파수 신호는 대역통과 필터링이 되며, 결국, 완전한 고주파수 범위(즉, LF_max 로부터 k?LF_max까지)에 걸쳐 추가적으로 중첩되어 놓인다(overlay). 이는 고조파의 더 높은 스펙트럼 밀도가 여전히 요구되는 경우에 적절하다.

고조파 대역폭 확장 방법은 본 발명의 바람직한 실시예에서 몇 개의 서로 다른 확장 인자들에 대해 병렬로 실행된다. 병렬 프로세싱에 대한 다른 실시예로서, 직렬로 동작되고 중간 결과물이 버퍼링되는 단일 위상 보코더가 사용될 수 있다. 따라서, 어떠한 대역폭 확장 차단 주파수들도 달성될 수 있다. 신호의 확장은 주파수 방향으로 즉, 특히, 위상 보코더의 기능상 원리에 대응하는 이중 동작에 의해, 선택적으로 직접 실행될 수 있다.

바람직하게, 본 발명의 실시예들에서 신호의 어떠한 분석도 고조파 또는 기본 주파수에 대해 요구되지 않는다.

이하, 본 발명의 바람직한 실시예들이 첨부된 도면을 참조하여 더 상세히 설명된다.

도 1은 오디오 신호의 대역폭 확장을 위한 본 발명의 개념에 대한 블록도를나타낸다.
도 2a는 본 발명의 일 측면에 따라 오디오 신호의 대역폭 확장을 위한 장치의 블록도를 나타낸다.
도 2b는 과도 검출기를 가진 도 2a의 개념의 개선을 나타낸다.
도 3은 본 발명의 대역폭 확장의 시간에서 어떤 부분들에서 스펙트럼을 사용한 신호 처리의 도해적인 표시를 나타낸다.
도 4a는 원래 신호와 거친 음 느낌을 제공하는 테스트 신호 간의 비교를 나타낸다.
도 4b는 거친 청각적 느낌을 또한 초래하는 테스트 신호에 대한 원래 신호의 비교를 나타낸다.
도 5a는 위상 보코더의 필터뱅크 구현의 도해적 그림을 나타낸다.
도 5b는 도 5a의 필터의 상세한 그림을 나타낸다.
도 5c는 도 5a의 필터 채널에서 크기 신호 및 주파수 신호의 조작에 대한 도해적 그림을 나타낸다.
도 6은 위상 보코더의 변환 구현의 도해적 그림을 나타낸다.
도 7a는 대역폭 확장에 관련하여 인코더측의 도해적 그림을 나타낸다.
도 7b는 오디오 신호의 대역폭 확장에 관련하여 디코더측의 도해적 그림을 나타낸다.

도 1은 오디오 신호의 대역폭 확장을 위한 장치 또는 방법의 도해적 도시를각각 나타낸다. 도 1이 대역폭 확장을 위한 방법의 흐름도와 동시에 간주되더라도, 단지 예시를 위해, 도 1은 장치로서 설명된다. 여기에서, 오디오 신호는 입력(100)에서 장치로 제공된다. 오디오 신호는 1보다 큰 확산 인자(spread factor)에 의해 시간 상에서 확산된 시간 신호로서 오디오 신호의 버전을 생성하도록 구현된 신호 확산기(102)로 공급된다. 도 1에 도시된 실시예에서 확산 인자는 확산 인자 입력(104)을 통해 공급된다. 신호 확산기(102)의 출력(103)에서 나타나는 확산 오디오 시간 신호는 시간적으로 확산된 오디오 시간 신호(103)를 확산 인자(104)에 매칭된 데시메이션 인자에 의해 데시메이트(decimate)하도록 구현된 데시메이터(105)로 공급된다. 이는 점선으로 그려져 있고, 데시메이터(105)로 들어가는, 도 1의 확산 인자 입력(104)에 의해 도해적으로 도시되어 있다. 일 실시예에서, 신호 확산기에서의 확산 인자는 데시메이션(decimation) 인자의 역과 동일하다. 만약, 예컨대, 2.0의 확산 인자가 신호 확산기(102)에 적용된다면, 0.5의 데시메이션 인자에 의한 데시메이션이 실행된다. 그러나, 만약 데시메이션이 2의 인자에 의한 데시메이션이 수행되는 결과, 즉 매 두번째 샘플 값이 제거되는 결과로 설명된다면, 이 도시에서, 데시메이션 인자는 확산 인자와 동일하다. 다른 실시예에 따른, 확산 인자와 데시메이션 인자 사이의 비, 예컨대, 정수 비 또는 유리수 비가 구현에 따라 사용될 수도 있다. 그러나, 확산 인자가 각각 데시메이션 인자와 동일하거나 데시메이션 인자의 역과 동일할 때 최대 고조파 대역폭 확장이 달성된다.

본 발명의 바람직한 실시예에서, 데시메이터(105)는 원래 오디오 신호(100)와 동일한 시간 길이를 갖는 데시메이트된 오디오 신호가 발생되도록, (2와 동일한 확산 인자에 의해) 매 두번째 샘플(every second sample value)을 제거하도록 구현된다. 그러나, 단순한 데시메이션이 샘플들의 제거에 의해 매우 작은 노력으로 구현될 수 있을지라도 예컨대, 가중된 평균 값들을 형성하는, 또는 과거 또는 미래로부터의 경향들을 고려하는, 다른 데시메이션 알고리즘들이 사용될 수도 있다. 데시메이터(105)에 의해 생성된 데시메이트된 시간 신호(106)가 필터(107)로 공급되며, 필터(107)는 장치의 입력에서 오디오 신호(100)에 포함되지 않은 주파수 범위들을 포함하는 데시메이트된 오디오 신호(106)로부터 대역통과 신호를 추출하도록 구현된다. 이 구현에서, 필터(107)는 디지털 대역통과 필터, 예컨대, FIR 필터 또는 IIR 필터로서 구현될 수 있으며, 또는 디지털 구현이 바람직하더라도 아날로그 대역통과 필터로서도 구현될 수 있다. 또한, 필터(107)는 동작들(102 및 105)에 의해 생성된 상위 스펙트럼 범위를 추출하도록 구현되지만, 오디오 신호(100)에 의해 어떻게든 커버되는 하위 스펙트럼 범위는 가능한 많이 억압된다. 그러나, 이 구현에서, 필터(107)는 또한 원래의 신호(100)에 포함된 대역통과 신호로서 주파수들을 갖는 신호 부분을 추출하도록 구현될 수 있으며, 추출된 대역통과 신호는 원래의 오디오 신호(100)에 포함되지 않은 적어도 하나의 주파수 범위를 포함한다.

필터(107)에 의해 출력된 대역통과 신호(108)는, 대역통과 신호가 미리결정된 포락선을 갖도록 대역통과 신호를 왜곡시키도록 구현된 왜곡기(109)에 공급된다. 왜곡을 위해 사용될 수 있는 이 왜곡 포락선 정보는, 외부로부터 입력될 수 있고 심지어 인코더로부터 제공될 수도 있으며, 또는 오디오 신호(100)로부터 예컨대, 블라인드 외삽(blind extrapolation)에 의해, 또는 디코더측에 저장된, 오디오 신호(100)의 포락선으로 인덱스화된 테이블에 기초하여, 내부적으로 발생될 수 있다. 왜곡기(109)에 의해 출력된 왜곡된 대역통과 신호(110)는 출력(112)에서 그 대역폭 면에서 확장된 오디오 신호를 생성하기 위해, 왜곡된 대역통과 신호(110)를 원래의 오디오 신호(100)에 결합하도록 구현된 결합기(111)로 공급되는데, 상기 왜곡된 대역통과 신호(110)는 구현(지연 스테이지는 도 1에서 도시되지 않음)에 따라 또한 왜곡되었다.

다른 구현에서, 왜곡기(109)와 결합기(111)의 순서는 도 1에 도시된 구성의 역이다. 여기에서, 필터 출력 신호 즉, 대역통과 신호(108)가 오디오 신호(100)와 직접 결합되고, 결합기(111)로부터 출력된 결합된 신호의 고대역의 왜곡만이 왜곡기(109)에 의해 결합되기 전에 추출된다. 이 구현에서, 왜곡기는, 결합 신호가 미리결정된 포락선을 포함하도록 결합 신호를 왜곡하는 왜곡기로서 동작한다. 따라서, 결합기는 이 실시예에서 대역통과 신호(108)를, 그 대역폭 면에서 확장된 오디오 신호를 획득하기 위해, 오디오 신호(100)와 결합하도록 구현된다. 결합 후에야 왜곡이 발생하는 이 실시예에서, 오디오 신호의 저대역은 고품질 인코더에 의해 인코딩되었고, 디코더측에서 고대역의 합성시, 말하자면 모든 것들의 측정이며, 대역폭 확장에 의해 간섭되지 않아야 하기 때문에, 오디오 신호(100)에 의해 각각 제공된, 오디오 신호(100) 또는 결합 신호의 대역폭에 영향을 주지 않도록 왜곡기(109)를 구현하는 것이 바람직하다.

본 발명의 상세한 실시예들이 설명되기 전에, 본 발명이 유리하게 구현될 수 있는, 대역폭 확장 시나리오가 도 7a 및 7b를 참조하여 설명된다. 오디오 신호는 입력(700)에서 저역통과/고역통과 조합으로 제공된다. 저역통과/고역통과 조합은 한편으로는 도 7a의 703에 도시된, 오디오 신호(700)의 저역통과 필터링된 버전을 발생시키도록 저역통과(LP)를 포함한다. 이 저역통과 필터링된 오디오 신호는 오디오 인코더(704)에서 인코딩된다. 오디오 인코더는 예컨대, MP3 인코더(MPEG1 Layer 3) 또는 MP4 인코더로서 알려지고 MPEG4 표준에 개시된, ACC 인코더이다. 대역-제한된 오디오 신호(703)의 투명한 또는 유리하게 심리음향적으로 투명한 표현을 제공하는 다른 실시예의 오디오 인코더가 완전하게 인코딩된 또는 심리-음향적으로 인코딩된 그리고 바람직하게 심리음향적으로 투명하게 인코딩된 오디오 신호(705)를 각각 생성하도록 인코더(704)에서 사용될 수 있다. 오디오 신호의 고대역은 필터(702)의, "HP"에 의해 지시된, 고역통과 부분에 의해 출력(706)에서 출력된다. 오디오 신호의 고역통과 부분은 즉, HF 부분으로 또한 지시된, 고대역 또는 HF 대역은 서로 다른 파라미터들을 계산하도록 구현된 파라미터 계산기(707)로 공급된다. 이들 파라미터들은 예컨대, 상대적으로 조악한 해상도에서, 예컨대, 각 심리음향적 주파수 그룹을 위한 또는 바크 스케일(Bark scale) 상의 각 바크 대역을 위한 스케일 인자의 표현에 의한, 고대역(706)의 스펙트럼 포락선이다. 파라미터 계산기(707)에 의해 계산될 수 있는 추가적인 파라미터는 고대역에서의 노이즈 카펫인데, 그 대역당 에너지는 이 대역에서 포락선의 에너지에 바람직하게 관련된다. 파라미터 계산기(707)에 의해 계산될 수 있는 추가적인 파라미터는 스펙트럼 에너지가 어떻게 대역에서 분포되어 있는지 즉, 대역에서의 스펙트럼 에너지가 비교적 균일하게 분포되어 비-음조 신호가 이 대역에 존재하는지의 여부, 또는 이 대역에서의 에너지가 이 대역에서 어떤 위치에서 비교적 강하게 집중되어 오히려 음조 신호가 이 대역에 존재하는지의 여부를 나타내는, 고대역의 각 부분 대역을 위한 음조 측정을 포함한다. 고대역에서 현저한 정현파 부분들의 이러한 명백한 인코딩이 없는 재구성에서 대역폭 확장 개념은 동일한 것을 매우 기본으로만 커버하거나 전혀 커버하지 않기 때문에, 그 높이 및 그 주파수에 관하여 고대역에서 비교적 강하게 돌출한 피크들을 명백하게 인코딩하는데 추가적인 파라미터들이 존재한다.

어떤 경우에도, 파라미터 계산기(707)는 예컨대, 차동 인코딩(differential encoding), 예측 또는 호프만 인코딩 등과 같은 양자화된 스펙트럼 값들에 대해 오디오 인코더(704)에서 수행될 수 있기 때문에, 유사한 엔트로피 감소가 될 수 있는 고대역을 위한 파라미터들(708)만을 생성하도록 구현된다. 그런 다음, 파라미터 표현(708) 및 오디오 신호(705)는 MPEG4 표준에서 예컨대, 정규화된 어떤 포맷에 따라 통상적으로 비트스트림이 되는 출력측(output side) 비트스트림(710)을 제공하도록 구현되는 비트스트림 포맷터(709)로 공급된다.

본 발명에 특히 적합한, 디코더측이 도 7b를 참조하여 이하 설명된다. 비트스트림(710)은 오디오 신호 부분(705)으로부터 파라미터 부분(708)을 분리하도록 구현된 비트스트림 인터프리터(711)로 입력된다. 파라미터 부분(708)은 디코딩된 파라미터들(713)을 획득하기 위해 파라미터 디코더(712)에 의해 디코딩된다. 이와 병렬적으로, 오디오 신호 부분(705)은 도 1의 100에서 도시된 오디오 신호를 획득하기 위해 오디오 디코더(714)에 의해 디코딩된다.

구현에 따라, 오디오 신호(100)는 제1 출력(715)을 통해 출력될 수 있다. 출력(715)에서, 작은 대역폭을 가지며 그에 따라 또한 저품질인 오디오 신호가 획득될 수 있다. 그러나, 품질 개선을 위해, 예컨대, 도 1에 도시된 바와 같이 구현된 본 발명의 대역폭 확장(720)이, 확장된 또는 높은 대역폭을 각각 가진 고품질의 오디오 신호(112)를 획득하기 위해 출력측 상에서 수행된다.

이하에서, 도 2a를 참조하여, 도 7b의 블록(712)에서 바람직하게 사용될 수 있는, 도 1의 대역폭 확장 구현의 바람직한 구현이 설명된다. 도 2a는 먼저 도 7b의 블록 711, 712 및 714에 대응할 수 있고 200에 의해 지시된, "오디오 신호 및 파라미터"에 의해 지시된 블록을 포함한다. 블록(200)은 출력측 상에서 예컨대, 음조 정정(109a) 및 포락선 조정(109b)과 같은 서로 다른 왜곡을 위해 사용될 수 있는, 디코딩된 파라미터(713) 뿐만 아니라 출력 신호(100)를 제공한다. 음조 정정(109a) 및 포락선 조정(109b)에 의해 생성되고 정정된 신호는 출력측 상에서 확장된 대역폭(112)을 갖는 오디오 신호를 획득하기 위해 결합기(111)에 공급된다.

바람직하게, 도 1의 신호 확산기(102)는 위상 보코더(202a)에 의해 구현된다. 도 1의 데시메이터(105)는 바람직하게 단순한 샘플 레이트 컨버터(205a)에 의해 구현된다. 대역통과된 신호의 추출을 위한 필터(107)는 바람직하게 단순한 대역통과 필터(107a)에 의해 구현된다. 특히, 위상 보코더(202a) 및 샘플 레이트 데시메이터(205a)는 확산 인자 = 2로 동작된다.

바람직하게, 위상 보코더(202b), 데시메이터(205b) 및 대역통과 필터(207b)로 구성된 추가적인 "열(train)"이 필터(207b)의 출력에서, 대역통과 필터(207a)의 상위 차단 주파수(upper cut-off frequency)와 오디오 신호(100)의 최대 주파수의 3배 주파수 사이의 주파수 범위를 포함하는, 추가적인 대역통과 신호를 추출하기 위해 제공된다.

이에 추가하여, 인자 k에 의해 오디오 신호의 확산을 달성하는 k-위상 보코더(202c)가 제공되는데, 여기에서 k는 바람직하게 1보다 큰 정수이다. 인자 k에 의해 데시메이트하는 데시메이터(205)는 위상 보코더(202c) 아래로 연결된다. 최종적으로, 데시메이트된 신호는 인접 브랜치의 상위 차단 주파수와 동일한 하위 차단 주파수를 갖도록 구현되고, 오디오 신호(100)의 최대 주파수의 k-겹(k-fold)에 대응하는 상위 차단 주파수를 갖는 대역통과 필터(207c)에 공급된다. 모든 대역통과 신호들은 결합기(209)에 의해 결합되는데, 결합기(209)는 예컨대, 가산기로서 구현될 수 있다. 선택적으로, 결합기(209)는 구현에 따라, 구성요소들(109a, 109b)에 의한 다운스트림 왜곡에 상관없이, 저대역들보다 더 강하게 고대역들을 감쇠시키는 가중형 가산기(weighted adder)로서 구현될 수도 있다. 이에 추가하여, 도 2a에 도시된 시스템은 예컨대, 샘플-식 가산(sample-wise addtion)이 될 수 있는 동기화된 결합(synchronized combination)이 결합기(111)에서 발생하는 것을 보장하는 지연 스테이지(211)를 포함한다.

도 3은 도 1 및 도 2a에 도시된 프로세싱에서 발생할 수 있는 서로 다른 스펙트럼들의 도해적 도시를 나타낸다. 도 3의 부분 이미지 (1)은 예컨대, 도 1의 100 또는 도 7a의 703에서 존재하는 것과 같이, 대역-제한된 오디오 신호를 나타낸다. 이 신호는 바람직하게 신호 확산기(102)에 의해 신호의 원래의 구간의 정수배로 확산되어 정수 인자에 의해 데시메이트되며, 이는 도 3의 부분 이미지 (2)에 도시된 바와 같이, 스펙트럼의 전체 확산을 초래한다. 통과대역(300)을 포함하는 대역통과 필터에 의해 추출된 바와 같은 HF 부분이 도 3에 도시되어 있다. 세번째 부분 이미지 (3)에서, 도 3은 대역통과 신호가 대역통과 신호의 왜곡 이전에 원래의 오디오 신호(100)와 이미 결합되는 데 있어서의 변동을 나타낸다. 따라서, 스펙트럼의 왜곡되지 않은 대역통과 신호와의 결합은 부분 이미지 (4)에 도시된 바와 같이, 고대역의 왜곡을 초래하지만, 만약 가능하다면, 확장된 대역폭을 갖는 오디오 신호(112)을 획득하기 위해 저대역의 어떠한 변형도 일어나지 않는다.

부분 이미지 (1)에서의 LF 신호는 최대 주파수 LF_max를 갖는다. 위상 보코더(202a)는 위치가 바뀐(transposed) 오디오 신호의 최대 주파수가 2LF_max가 되도록 오디오 신호의 치환을 수행한다. 현재, 부분 이미지 (2)에서 결과적인 신호는 LF_max 내지 2LF_max의 범위로 대역통과 필터링된다. 일반적으로 보여지는 바와 같이, 확산 인자가 k(k > 1)로 지정되면, 대역통과 필터는 (k-1)?LF_max 내지 k?LF_max의 통과대역을 포함한다. 도 3에 도시된 프로시저는 원하는 가장 높은 주파수 k?LF_max가 달성될 때까지 서로 다른 확산 인자들에 대해 반복되는데, 여기에서 k = 최대 확산 인자 k_max이다.

다음으로, 도 5 및 도 6을 참조하여, 위상 보코더(202a, 202b, 202c)의 바람직한 구현이 본 발명에 따라 도시된다. 도 5a는 위상 보코더의 필터뱅크 구현을 도시하는데, 여기에서 오디오 신호는 입력(500)에서 제공되어 출력(510)에서 획득된다. 특히, 도 5a에 도시된 도해적 필터뱅크의 각 채널은 대역통과 필터(501) 및 다운스트림 오실레이터(502)를 포함한다. 매 채널로부터 모든 오실레이터들의 출력 신호들은 출력 신호를 획득하기 위해 예컨대, 가산기로서 구현되고 503으로 지시된 결합기에 의해 결합된다. 각 필터(501)는 한편으로 진폭 신호를 제공하고 다른 한편으로 주파수 신호를 제공하도록 구현된다. 진폭 신호 및 주파수 신호는 시간 상에서 필터(501)에서 진폭의 발전(development)을 도시하는 시간 신호들인 반면, 주파수 신호는 필터(501)에 의해 필터링된 신호의 주파수의 발전을 나타낸다.

필터(501)의 도해적 셋업이 도 5b에 도시되어 있다. 도 5a의 각 필터(501)는 도 5b에서와 같이 셋업될 수 있으며, 여기에서, 그러나 2개의 입력 믹서들(551) 및 가산기(552)에 공급되는 주파수들 f_i만이 채널마다 다르다. 믹서 출력 신호들은 모두 저역통과들(553)에 의해 저역통과 필터링되는데, 저역통과 신호들은 90°만큼 위상이 어긋난 로컬 오실레이터 주파수들(LO 주파수들)에 의해 생성되는 한에서는 서로 다르다. 상위 대역통과 필터(553)는 직각 신호(554)를 제공하는 반면 하위 필터(553)는 동위상(in-phase) 신호(555)를 제공한다. 이들 2개의 신호들 즉, I 및 Q는 직교 표현으로부터 크기 위상 표현을 발생시키는 좌표 변환기(556)로 공급된다. 시간 상에서 도 5a의 각각 크기 신호 또는 진폭 신호가 출력(557)에서 출력된다. 위상 신호는 위상 언래퍼(unwrapper)(558)에 공급된다. 구성요소(558)의 출력에는, 항상 0와 360° 사이에 있는 위상 값이 더이상 존재하지 않지만, 선형적으로 증가하는 위상 값은 있다. 이 "언래핑된(unwrapped)" 위상 값은 시간 상에서 현재의 지점에 대한 주파수 값을 획득하기 위해 시간 상에서 현재의 지점에서의 위상으로부터 시간 상에서 이전 지점에서의 위상을 차감하는 간단한 위상차 형성기(former)로서 예컨대, 구현될 수 있다. 이 주파수 값은 출력(560)에서 시간적으로 변화하는 주파수 값을 획득하기 위해 필터 채널 i의 일정한 주파수 값 f_i에 가산된다. 출력(560)에서의 주파수 값은 다이렉트 성분 = fi 및 교호 성분 = 주파수 편차(frequency deviation)을 가지는데, 신호의 현재의 주파수는 평균 주파수 fi로부터 상기 주파수 편차만큼 벗어나 있다.

따라서, 도 5a 및 도 5b에 도시된 바와 같이, 위상 보코더는 스펙트럼 정보 및 시간 정보의 분리를 달성한다. 스펙트럼 정보는 각 채널에 대해 주파수의 다이렉트 부분을 제공하는 주파수 f_i 또는 특정 채널에 있는 반면, 시간 정보는 주파수 편차 또는 시간 상에서의 크기에 각각 포함된다.

도 5c는 본 발명에 따라, 특히, 위상 보코더(202a)에서 그리고, 특히 도 5a에 도시된 점선으로 그려진, 도시된 원의 위치에서 대역폭 증가에 대해 수행되는 조작을 나타낸다.

시간 스케일링으로부터, 예컨대, 각 채널에서의 진폭 신호 A(t) 또는 각 신호에서의 신호 f(t)의 주파수는 각각 데시메이트되거나 보간된다. 치환을 위해, 치환, 즉 신호들 A(t) 및 f(t)의 시간 확장 또는 확산이 확산 신호들 A'(t) 및 f'(t)를 획득하기 위해 수행되며, 여기에서 치환은 도 1에 도시된 바와 같이, 확산 인자(104)에 의해 제어된다. 위상 변동의 보간에 의해 즉, 가산기(552)에 의한 일정한 주파수의 추가 이전의 값에 의해, 도 5a의 각 개별 오실레이터(502)의 주파수는 변하지 않는다. 그러나, 전체 오디오 신호의 시간 변화는 즉, 인자 2에 의해 늦춰진다. 그 결과물은 원래의 피치를 갖는 시간적으로 확산된 음조, 즉 그 고조파들을 갖는 원래의 기본파이다.

도 5에서 모든 필터 대역 채널에서 이러한 프로세싱이 수행되는, 도 5c에 도시된 신호 프로세싱을 수행함으로써 그리고 결과적인 시간 신호가 도 1의 데시메이터(105) 또는 도 5a의 데시메이터(205a)에서 각각 데시메이트됨으로써, 오디오 신호는 모든 주파수들이 동시에 2배가 되면서 그 원래의 구간으로 다시 감소된다. 이는 인자 2에 의한 피치 치환을 초래하는데, 그러나 여기에서 원래의 오디오 신호와 동일한 길이, 즉 동일한 개수의 샘플들을 가지는 오디오 신호가 획득된다.

도 5a에 도시된 필터뱅크 구현에 대한 다른 실시예로서, 위상 보코더의 변환 구현이 또한 사용될 수 있다. 여기에서, 오디오 신호(100)는 FFT 프로세서로 공급되거나, 더 일반적으로 시간 샘플들의 시퀀스로서 단시간 푸리에 변환 프로세서(600)로 공급된다. FFT 프로세서(600)는 FFT에 의해 크기 스펙트럼 및 또한 위상 스펙트럼 모두를 계산하기 위해, 오디오 신호의 시간 윈도우잉을 수행하도록 도 6에서 도해적으로 구현되는데, 여기에서 이 계산은 강하게 오버랩되는 오디오 신호의 블록들에 관련된 연속적인 스펙트럼들에 대해 수행된다.

극한의 경우에, 새로운 오디오 신호 샘플마다, 새로운 스펙트럼이 계산될 수 있으며, 새로운 스펙트럼은 예컨대, 각 20번째 새로운 샘플에 대해서만 계산될 수 있다. 두 개의 스펙트럼들 사이의 샘플들에서의 거리 a는 바람직하게 제어기(602)에 의해 주어진다. 제어기(602)는 오버랩 동작에서 동작하도록 구현된 IFFT 프로세서(604)에 대해 공급을 수행하도록 추가로 구현된다. 특히, IFFT 프로세서(604)는 시간 범위가 초래되는, 오버랩 가산 동작을 수행하기 위해, 크기 스펙트럼 및 위상 스펙트럼에 기초하여 스펙트럼마다 하나의 IFFT를 수행함으로써 역 단시간 변환을 수행하도록 구현된다. 오버랩 가산 동작은 분석 윈도우의 영향을 제거한다.

시간 신호의 확산은 IFFT 프로세서(604)에 의해 수행되어 FFT 스펙트럼의 생성시에 스펙트럼들 간의 거리 a보다 큰, 두 개의 스펙트럼들 간의 거리 b에 의해 달성된다. 기본 아이디어는 오디오 신호를 단지 분석 FFT보다 더 멀리 떨어져 있는 역 FFT에 의해 확산시키는 것이다. 그 결과로 합성된 오디오 신호에서의 스펙트럼 변화가 원래의 오디오 신호에서보다 더 천천히 발생한다.

그러나, 블록(606)에서의 위상 재스케일링 없이는, 이는 주파수 아티펙트를 초래힌다. 45°만큼의 연속하는 위상 값들이 구현되는 예컨대, 하나의 단일 주파수 빈(frequency bin)이 고려될 때, 이는 이 필터뱅크 내의 신호는 사이클의 1/8 비율, 즉, 시간 간격당 45°로 증가함을 내포하며, 여기에서 시간 간격은 연속하는 FFT들 간의 시간 간격이다. 만약 역 FFT들이 서로 더 떨어져 있다면, 이는 45°위상이 더 긴 시간 간격에 걸쳐 발생함을 의미한다. 이는 이 신호 부분의 주파수가 의도하지 않게 감소됨을 의미한다. 이러한 아티펙트 주파수 감소를 제거하기 위해, 위상은 오디오 신호가 시간 상에서 확산되는 정확히 동일한 인자에 의해 재스케일링된다. 따라서, 각 FFT 스펙트럼 값의 위상은 인자 b/a만큼 증가되며, 그에 따라 이 의도되지 않은 주파수 감소가 제거된다.

도 5c에 도시된 실시예에서, 진폭/주파수 제어 신호들의 보간에 의한 확산이 도 5a의 필터뱅크 구현에서 하나의 신호 오실레이터에 대해 달성되는 동시에, 도 6에서의 확산은 두 개의 FFT 스펙트럼들 간의 거리보다 큰 즉, a보다 큰, 두 개의 IFFT 스펙트럼들 간의 거리에 의해 달성되지만, 여기에서 아티펙트 방지를 위해 위상 재스케일링이 b/a에 따라 실행된다.

위상-보코더에 대한 상세한 설명에 관하여 다음 문서들이 참조된다.

1986년 Computer Music Journal, vol. 10, no. 4의 pp. 14 -- 27에서 Mark Dolson에 의한 "The phase Vocoder: A tutorial", 또는 1999년 10월 17-20일 뉴욕, 뉴 팔츠(New Paltz), Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics의 페이지 91 내지 94에서 L. Laroche 및 M. Dolson에 의한 "New phase Vocoder techniques for pitch-shifting, harmonizing and other exotic effects; 2003년 9월 8-11일, 영국, 런던, Proceeding of the 6th international conference on digital audio effects (DAFx-03)의 페이지 DAFx-1 내지 DAFx-6A에서 A. Robel에 의한 "New approached to transient processing interphase vocoder"; Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustic에서 Meller Puckette에 의한 "Phase-locked Vocoder" 또는 미국 특허 출원 제6,549,884호.

도 2b는 도 2a에 도시된 시스템의 개선을 도시하는데, 여기에서 오디오 신호의 현재의 시간 동작이 과도 부분(transient detector)을 포함하는지를 결정하도록 구현된 과도 검출기(250)가 사용된다. 과도 부분은, 오디오 신호가 전체적으로 많이 변화한다는 사실 즉, 예컨대, 오디오 신호의 에너지가 하나의 시간 부분에서 다음 시간 부분으로 50% 이상 변화하는데, 즉 증가하거나 감소한다는 사실에 존재한다. 그러나, 50% 임계값은 단지 예시일 뿐이며, 더 작거나 더 큰 값이 될 수 있다. 선택적으로, 과도 검출을 위해, 에너지 분포의 변화는 예컨대, 음성으로부터 치찰음(sibilant)으로의 변환시에 또한 고려될 수 있다.

오디오 신호의 과도 부분이 결정되면, 고조파 치환이 남겨지며, 과도 시간 범위에 대해, 260에 나타난 바와 같이, 비-고조파 복사 동작 또는, 비-고조파 미러링 또는 일부 다른 대역폭 확장 알고리즘 사이에서 스위칭(switch)이 수행된다. 만약 오디오 신호가 더이상 과도적이지 않음이 다시 검출되면, 도 1의 구성요소 102, 105에 의해 도시된 바와 같이, 고조파 치환이 다시 수행된다. 이는 도 2b에서 270에서 도시되어 있다.

오디오 신호의 시간 부분이 과도적 또는 비과도적일 수 있다는 사실로 인해 시간 상에서 오프셋에 도달하는, 블록들(270 및 260)의 출력 신호들은 예컨대, 도 2a의 블록(109a)에서 음조 정정으로 공급될 수 있는, 대역통과 신호를 시간 상에서 제공하도록 구현된 결합기(280)로 공급된다. 선택적으로, 블록(280)에 의한 결합은 예컨대, 가산기(111) 이후에 수행될 수 있다. 그러나, 이는 오디오 신호의 전체 변환 블록에 대해, 과도 특성이 가정됨을 의미하며, 또는 필터뱅크 구현이 또한 블록들에 기반하여 동작한다면, 전체 이러한 블록에 대해, 각각 과도적인지 비과도적인지를 위한 결정이 이루어진다.

도 2a에 도시되고, 도 5 및 6에서 상세히 설명된 바와 같이, 위상 보코더(202a, 202b, 202c)는 비과도 신호 부분들의 프로세싱에서보다 과도 신호 부분들의 프로세싱에서 더 많은 아티펙트를 발생시키기 때문에, 도 2b에서의 260에서 도시된 바와 같이, 비-고조파 복사 동작 또는 미러링에 대해 스위칭이 수행된다. 선택적으로, 예컨대, 상기 언급한 Laroche에 의한 전문 서적에서 또는 미국 특허 제6,549,884호에 개시된 바와 같이, 과도적인 것으로의 위상 리셋(reset)이 수행될 수 있다.

이미 기술한 바와 같이, 블록들(109a, 109b)에서, 스펙트럼의 HF 부분의 생성 이후에, 스펙트럼 형성 및 노이즈의 원래의 측정치로의 조정이 수행된다. 스펙트럼 형성은 예컨대, 스케일 인자, dB(A)-가중된 스케일 인자 또는 선형 예측에 의해 발생할 수 있으며, 여기에서 선형 예측시에 시간/주파수 변환 및 후속하는 주파수/시간 변환이 요구되지 않는 장점이 있다.

본 발명은 위상 보코더의 사용에 의해, 증가하는 주파수를 갖는 스펙트럼이 더 확산되고 정수 확산에 의해 항상 정확하고 고조파적으로 계속되는 한 장점을 가진다. 따라서, LF 범위의 차단 주파수에서의 조악함의 결과가 배제되고, 스펙트럼의 너무 조밀하게 차지한 HF 부분들에 의한 간섭이 방지된다. 또한, 필터뱅크 패칭(patching) 동작들 없이 이루어질 수 있는 효율적인 위상 보코더 구현들이 사용된다.

선택적으로, 예컨대, PSOLA(Pitch Synchronous Overlap Add) 방법과 같은, 신호 확산을 위한 다른 방법이 이용가능하다. 피치 동기 오버랩 가산, 짧게는 PSOLA는 확신 신호의 기록이 데이터베이스에 위치되는 합성 방법(synthesis method)이다. 주기적인 신호들이 존재하는 한, 이들에는 기본 주파수(피치)에 대한 정보가 제공되며, 각 주기의 시작이 마킹된다. 합성시, 이들 주기들은 윈도우 함수에 의해 어떤 환경에서 차단되며, 적절한 위치에서 합성될 신호에 가산된다: 원하는 기본 주파수가 데이터베이스 엔트리의 기본 주파수보다 높은지 낮은지에 따라, 이들은 원래보다 더 조밀하게 또는 덜 조밀하게 합성된다. 가청 구간을 조정하기 위해, 주기들은 생략되거나 2배로 출력될 수 있다. 이 방법은 소위 TD-PSOLA라고 하는데, 여기에서 TD는 시간 영역(time domain)을 의미하며, 방법들이 시간 영역에서 동작함을 강조한다. 또다른 개발물은 멀티밴드 재합성 오버랩 가산 방법(MultiBand Resynthesis Overlap Add method), 짧게는 MBROLA이다. 여기에서, 데이터베이스에서의 세그먼트들은 사전-프로세싱에 의해 균일한 기본 주파수로 들어간다. 이에 의해 세그먼트로부터 다음 세그먼트로의 전이의 합성에서, 덜 인지적인 간섭이 초래되며, 달성된 음성 품질은 더 높다.

또 다른 실시예에서, 오디오 신호는 확산 전에 이미 대역통과 필터링되어, 확산 및 데시메이션 후의 신호가 이미 원하는 부분을 포함하고, 후속 대역통과 필터링이 생략될 수 있다. 이 경우, 대역폭 확장 후에 필터링 제거된, 오디오 신호 부분이 여전히 대역통과 필터의 출력 신호에 포함되도록 대역통과 필터가 설정된다. 따라서, 대역통과 필터는 확산 및 데시메이션 이후에 오디오 신호(106)에 포함되지 않은 주파수 범위를 포함한다. 이 주파수 범위를 갖는신호는 합성된 고주파수 신호를 형성하는 원하는 신호이다. 이 실시예에서, 왜곡기(109)는 대역통과 신호를 왜곡하지 않고, 대역통과 필터링된 오디오 신호로부터 도출된 확산된 그리고 데시메이트된 신호를 왜곡한다.

추가적으로, 확산 신호가 원래의 신호의 주파수 범위에서 예컨대, 원래의 신호와 확산 신호를 결합함으로써 어떠한 "엄격한(strict)" 통과대역이 요구되지 않으므로, 또한 도움이 될 수 있음이 주지되어야 한다. 따라서, 이 확산 신호는 오버랩 범위에서 원래의 신호의 특성을 변경하기 위해, 원래의 신호 관련 주파수와 오버랩하는 주파수에서 원래의 신호와 결합될 수 있다.

추가로, 왜곡(109) 및 필터링(107)의 기능들은 하나의 단일 필터 블록 또는 2개의 캐스케이드된 개별 필터들로 구현될 수 있다. 왜곡은 신호에 따라 발생하기 때문에, 이 필터 블록의 진폭 특성은 가변적이다. 그러나, 그 주파수 특성은 신호와 관련없다.

구현에 따라, 도 1에 도시된 바와 같이, 먼저 전체 오디오 신호가 확산되고, 데시메이트된 후 필터링되는데, 필터링은 구성요소들(107, 109)의 동작들에 대응한다. 따라서, 왜곡(distorting)은 필터링 후에 또는 필터링과 동시에 수행되는데, 여기에서 이 목적을 위해, 디지털 필터 형태의 하나의 결합된 필터/왜곡기 블록이 적절하다. 다른 실시예에서, (대역통과-) 필터링(107) 이전에, 왜곡이 두 개의 서로다른 필터 엘리먼트들이 사용될 때 발생할 수 있다.

다시, 다른 실시예에서, 대역통과 필터링은 왜곡(109)만이 데시메이션 이후에 후속하도록 확산 이전에 발생할 수 있다. 이들 기능들을 위해 여기에서 두 개의 서로 다른 구성요소들이 바람직하다.

다시, 다른 실시예에서, 전술한 모든 변형들에서 또한, 왜곡이 예컨대, 합성 신호가 원래의 오디오 신호, 예컨대, 원래의 필터의 주파수 범위에서 필터링될 신호에 대해 영향을 갖지 않거나 단지 매우 조금의 영향을 갖지만 확장된 주파수 범위에서 원하는 포락선을 생성하는, 필터와 결합한 후에 발생할 수도 있다. 이 경우, 다시 두 개의 서로 다른 엘리먼트들이 추출 및 왜곡을 위해 바람직하게 사용된다.

본 발명의 개념은 전체 대역폭이 이용가능하지 않은 모든 오디오 응용들에 대해 적합하다. 예컨대, 디지털 라디오, 인터넷 스트리밍 및 오디오 통신 응용들과 같은 오디오 컨텐츠의 전파시, 본 발명의 개념이 사용될 수 있다.

환경에 따라, 본 발명의 방법이 정보 신호를 분석하기 위해 하드웨어 또는 소프트웨어로 구현될 수 있다. 구현은 그 위해 저장된 판독가능한 제어 신호를 갖는 디지털 저장 매체, 특히, 플로피 디스크 또는 CD 상에서 실행될 수 있는데, 이러한 디지털 저장 매체는 프로그래머블 컴퓨터 시스템과 연동하여 본 발명의 방법이 수행될 수 있다. 따라서, 일반적으로 본 발명은 컴퓨터 프로그램 제품이 컴퓨터 상에서 동작할 때 본 발명에 따른 방법을 실행하는 기계-판독가능한 캐리어 상에 저장된 프로그램 코드를 갖는 컴퓨터 프로그램 제품에 구성될 수 있다. 다시 말해, 본 발명은 컴퓨터 프로그램이 컴퓨터 또는 다른 프로세서 수단 상에서 동작할 때, 본 발명의 방법을 실행하는 프로그램 코드를 갖는 컴퓨터 프로그램으로서 구현될 수 있다.

Claims (16)

1. 오디오 신호의 대역폭 확장을 위한 장치에 있어서,
   제1 확산 신호를 획득하기 위해 2의 확산 인자에 의해 시간 상에서 확산된 시간 신호로서 오디오 신호의 버전을 생성하는 신호 확산기(102);
   제2 확산 신호를 획득하기 위해 3의 확산 인자에 의해 상기 오디오 신호를 확산하도록 구현된 추가 신호 확산기(202b);
   제1 데시메이트된 오디오 신호를 획득하기 위해 2의 데시메이션 인자에 의해 상기 제1 확산 신호를 데시메이트하는 데시메이터(105);
   제2 데시메이트된 오디오 신호를 획득하기 위해 3의 데시메이션 인자에 의해 상기 제2 확산 신호를 데시메이트하도록 구현된 추가 데시메이터(205b);
   상기 오디오 신호(100)에 포함되지 않은 주파수 범위를 포함하는 데시메이트된 오디오 신호(106)로부터 왜곡된 신호를 추출하거나, 상기 신호 확산기(102)에 의한 확산 이전에 상기 오디오 신호로부터 신호를 추출하는 필터(107, 109)로서, 상기 신호는 확산 및 데시메이션 이후에 상기 오디오 신호(106)에 포함되지 않은 주파수 범위를 포함하며, 상기 왜곡된 신호(108), 상기 제1 데시메이트된 오디오 신호 및 상기 제2 데시메이트된 오디오 신호 또는 결합 신호는 미리결정된 포락선을 포함하며, 상기 필터(107)가 제1 데시메이터에 의해 출력된 신호에서 새롭게 생성된 대역을 필터링 제거하거나, 대역통과 신호를 획득하기 위해 확산 이전에 필터링을 실행하도록 구현되는, 필터(107, 109);
   상기 제2 데시메이트된 오디오 신호로부터 상기 제1 데시메이트된 오디오 신호에 관한 새로운 대역을 추출하거나, 확산 이전에 필터링을 실행하도록 구현된 대역통과 필터(207b); 및
   2의 인자 및 3의 인자에 의해 대역폭 확장된 오디오 신호(112)를 획득하기 위해 상기 왜곡된 또는 왜곡되지 않은 신호를 상기 오디오 신호(100)와 결합하는 결합기(111)를 포함하는 오디오 신호의 대역폭 확장 장치.
2. 청구항 1에 있어서,
   상기 신호 확산기(102)는 상기 오디오 신호의 피치가 변하지 않도록 상기 오디오 신호(100)를 확산하도록 구현되는 오디오 신호의 대역폭 확장 장치.
3. 청구항 1에 있어서,
   상기 신호 확산기(102) 또는 추가 신호 확산기(202b)는 상기 오디오 신호의 시간 구간이 증가되고, 확산 오디오 신호의 대역폭이 상기 오디오 신호의 대역폭과 동일하도록 상기 오디오 신호를 확산하도록 구현되는 오디오 신호의 대역폭 확장 장치.
4. 청구항 1에 있어서,
   상기 신호 확산기(102)는 위상 보코더(202a, 202b, 202c)를 포함하는 오디오 신호의 대역폭 확장 장치.
5. 청구항 4에 있어서,
   상기 위상 보코더는 필터뱅크로 구현되거나 푸리에 변환 구현으로 구현되는 오디오 신호의 대역폭 확장 장치.
6. 청구항 1에 있어서,
   가산기(209)로 공급될 수 있는 추가 대역통과 신호를 생성하기 위해, 1의 확산 인자 및 2의 확산 인자와 다른 확산 인자(k)에 대해 설정되는, 추가 위상 보코더(202c), 다운스트림 데시메이터(205c) 및 다운스트림 대역통과 필터(207c)의 추가 그룹이 제공되는 오디오 신호의 대역폭 확장 장치.
7. 청구항 1에 있어서,
   상기 필터(107, 109)는 왜곡기(109)를 포함하고, 상기 왜곡기(109)는 상대적으로 조악한(coarse) 해상도로 고대역의 스펙트럼 포락선을 설명하는 전송된 스펙트럼 파라미터들(713)에 기초하여 상기 왜곡을 실행하도록 구현된 오디오 신호의 대역폭 확장 장치.
8. 청구항 1에 있어서,
   과도 부분이 상기 오디오 신호에서 검출되면, 더 높은 스펙트럼 부분을 생성하는 비-고조파 복사 동작 또는 미러링(mirroring) 동작을 수행(260)하기 위해 상기 신호 확산기(102) 또는 상기 데시메이터(105)를 제어하도록 구현된 과도 검출기(250)를 더 포함하는 오디오 신호의 대역폭 확장 장치.
9. 청구항 1에 있어서,
   상기 왜곡된 신호가 기초로 하는 신호 또는 상기 왜곡된 신호의 음조 또는 노이즈를 조작하도록 구현된 음조/노이즈 정정 모듈(109a)을 더 포함하는 오디오 신호의 대역폭 확장 장치.
10. 청구항 1에 있어서,
    상기 신호 확산기(102)는 복수의 필터 채널들을 포함하는데, 각 필터 채널은 크기의 시간적 진행을 설명하는 시간적으로 변화하는 크기 신호(557), 주파수의 시간적 진행을 설명하는 시간적으로 변화하는 주파수 신호(560)를 생성하는 필터 및 상기 시간적으로 변화하는 신호들에 의해 제어가능한 오실레이터(502)를 포함하며, 상기 각 필터 채널은 보간된 시간적으로 변화하는 크기 신호(A'(t))를 획득하기 위해 상기 시간적으로 변화하는 크기 신호(A(t))를 보간하는 보간기, 또는 보간된 주파수 신호를 획득하기 위해 상기 확산 인자(104)에 의해 상기 주파수 신호를 보간하는 보간기를 포함하며,
    각 필터 채널의 상기 오실레이터(502)는 상기 보간된 크기 신호 또는 보간된 주파수 신호에 의해 제어되도록 구현되는 오디오 신호의 대역폭 확장 장치.
11. 청구항 1에 있어서,
    상기 신호 확산기(102)는,
    상기 오디오 신호의 시간 샘플들의 블록들을 오버랩하기 위해 연속하는 스펙트럼들을 생성하는 FFT 프로세서(600)로서, 상기 오버랩 블록들은 제1 시간 거리(a)만큼 서로 이격되어 있는, FFT 프로세서(600),
    상기 제1 거리(a)보다 큰 제2 시간 거리(b)만큼 서로 이격된 시간 샘플들의 오버랩 블록들을 생성하기 위해 연속하는 스펙트럼들을 주파수 영역으로부터 시간 영역으로 변환하는 IFFT 프로세서; 및
    상기 제1 거리(a) 및 제2 거리(b)의 비에 따라 생성된 FFT 스펙트럼들의 시퀀스의 스펙트럼 값들의 위상들을 재스케일링하는 위상 재스케일러(606)를 포함하는 오디오 신호의 대역폭 확장 장치.
12. 오디오 신호의 대역폭 확장을 위한 방법에 있어서,
    제1 확산 신호를 획득하기 위해 2의 확산 인자에 의해 시간적으로 확산된 시간 신호로서 상기 오디오 신호의 버전을 생성하는 단계(102);
    제2 확산 신호를 획득하기 위해 3의 확산 인자에 의해 상기 오디오 신호를 확산하는 단계;
    2의 데시메이션 인자에 의해 상기 제1 확산 신호를 데시메이트하는 단계(105);
    3의 데시메이션 인자에 의해 상기 제2 확산 신호를 데시메이트하는 단계;
    상기 오디오 신호(100)에 포함되지 않은 주파수 범위를 포함하는 데시메이트된 오디오 신호(106)로부터 왜곡된 신호를 추출하거나, 확산(102) 이전의 상기 오디오 신호로부터 신호를 추출하는 단계로서, 상기 신호는 확산 및 데시메이션 이후에 상기 오디오 신호(106)에 포함되지 않은 주파수 범위를 포함하며, 상기 왜곡된 신호는 추출된 신호(108), 상기 데시메이트된 오디오 신호 또는 결합 신호가 미리결정된 포락선을 포함하도록 왜곡되며, 필터(107)가 제1 데시메이터에 의해 출력된 신호에서 새롭게 생성된 대역을 필터링 제거하거나, 확산 이전에 필터링을 실행하도록 구현되는, 단계(107, 109);
    상기 제2 데시메이트된 오디오 신호로부터 상기 제1 데시메이트된 오디오 신호에 관한 새로운 대역을 추출하거나, 확산 이전에 필터링을 실행하는 단계; 및
    2의 인자 및 3의 인자에 의해 대역폭 확장된 오디오 신호(112)를 획득하기 위해 상기 왜곡된 또는 왜곡되지 않은 신호를 상기 오디오 신호(100)와 결합하는 단계(111)를 포함하는 오디오 신호의 대역폭 확장 방법.
13. 컴퓨터 상에서 실행될 때, 청구항 12에 따른 방법을 수행하는 프로그램 코드를 갖는 컴퓨터 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체.
14. 삭제
15. 삭제
16. 삭제

Images