KR101773631B1

KR101773631B1 - 대역 확장 방법, 대역 확장 장치, 프로그램, 집적 회로 및 오디오 복호 장치

Info

Publication number: KR101773631B1
Application number: KR1020127003109A
Authority: KR
Inventors: 도모카즈 이시카와; 다케시 노리마츠; 후안 조우; 콕 셍 총; 하이산 종
Original assignee: 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date: 2010-06-09
Filing date: 2011-06-06
Publication date: 2017-08-31
Also published as: BR112012002839A2; EP3001419B1; CA2770287C; EP3001419A1; KR20130042460A; US11341977B2; CN102473417A; US10566001B2; TWI545557B; US20120136670A1; ES2565959T3; EP2581905A1; CA2770287A1; RU2582061C2; RU2012104234A; AU2011263191A1; AU2011263191B2; SG178320A1; HUE028738T2; JP2013084018A

Abstract

대역 확장의 연산량을 저감함과 더불어, 확장되는 대역의 품질 저하를 억제할 수 있는 대역 확장 방법을 제공한다. 이 대역 확장 방법에서는, 저주파수 대역 신호를 QMF 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하고(S11), 저주파수 대역 신호에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고(S12), QMF 영역에서 시간 신장시킴으로써, 고주파 QMF 스펙트럼을 생성하고(S13), 그 고주파 QMF 스펙트럼을 수정하고(S14), 수정된 고주파 QMF 스펙트럼과, 제1의 저주파 QMF 스펙트럼을 조합한다(S15).

Description

대역 확장 방법, 대역 확장 장치, 프로그램, 집적 회로 및 오디오 복호 장치{BAND ENHANCEMENT METHOD, BAND ENHANCEMENT APPARATUS, PROGRAM, INTEGRATED CIRCUIT AND AUDIO DECODER APPARATUS}

본 발명은, 오디오 신호의 주파수 대역을 확장하는 대역 확장 방법 등에 관한 것이다.

오디오 대역 확장(BWE) 기술은, 광 대역의 오디오 신호를 저비트 레이트로 효율적으로 부호화하기 위해서, 최근의 오디오 코덱에 있어서 일반적으로 이용되고 있는 기술이다. 그 원리는, 원래의 고주파(HF) 내용의 파라메트릭 표현을 이용하여, 저주파(LF) 데이터로부터 고주파(HF)의 근사를 합성하는 것이다.

도 1은 이러한 BWE 기술 베이스의 오디오 코덱을 나타내는 도면이다. 이 오디오 코덱의 인코더에 있어서, 광대역 오디오 신호는, 우선 LF 부분과 HF 부분으로 분리되고(101 및 103), 이 LF 부분은 파형을 유지하도록 부호화된다(104). 그 한편으로, LF 부분과 HF 부분의 관계가 (일반적으로는, 주파수 영역에서) 분석되고(102), 1세트의 HF 파라미터에 의해 표시된다. HF 부분을 파라미터로 나타냄으로써, 다중화된 (105) 파형 데이터 및 HF 파라미터를 저비트 레이트로 디코더에 송신할 수 있다.

디코더에 있어서는, 우선 LF 부분이 복호된다(107). 원래의 HF 부분을 근사하기 위해서, 복호된 LF 부분이 주파수 영역으로 변환되고(108), 얻어진 LF 스펙트럼은, 복호된 일부 HF 파라미터에 따라서 수정되어(109), HF 스펙트럼이 생성된다. HF 스펙트럼도 또한, 복호된 일부 HF 파라미터에 따라, 후처리에 의해 더욱 세밀화된다(110). 세밀화된 HF 스펙트럼이 시간 영역으로 변환되고(111), 지연된 (112) LF 부분에 조합된다. 그 결과, 재구축된 최종 광대역 오디오 신호가 출력된다.

또한, BWE 기술에 있어서, 중요한 단계의 하나는, LF 스펙트럼으로부터 HF 스펙트럼을 생성하는 것이다(109). 이를 실현하기 위한 방법은 몇가지가 있고, 예를 들면, LF 부분을 HF 위치에 복사하는 방법, 비선형 처리, 또는 업 샘플링 등이 있다.

이러한 BWE 기술을 이용하는 가장 주지의 오디오 코덱은, MPEG―4 HE―AAC이고, 여기서 BWE 기술은, SBR(스펙트럼 대역 복제) 또는 SBR기술로서 규정되어 있다. SBR에 있어서, HF 부분은 단순히 QMF(직교 미러 필터) 표시 내의 LF 부분을 HF 스펙트럼 위치에 복사함으로써 생성된다.

이러한 스펙트럼 복사 처리는 패칭(patching)이라고도 불리고 있고, 이 처리는 단순하고, 또한 대부분의 경우에 있어서 효율적이라고 증명되어 있다. 그러나, 미소한 LF 부분 대역만이 실행가능한, 매우 낮은 비트 레이트(예를 들면, ＜20kbits/s mono)에 있어서의 SBR 기술은, 거칠거나 불쾌한 음질 등과 같은, 바람직하지 않은 청감적 아티팩트를 초래할 가능성이 있다(예를 들면, 비특허문헌 1 참조).

따라서, 저비트 레이트로 부호화하는 경우에 있어서 든, 미러링 또는 복사 처리에 기인하는 아티팩트를 회피하기 위해서, 표준적인 SBR 기술은 개량되고, 이하의 주요 변경에 의해 확장되어 있다(예를 들면, 비특허문헌 2 참조).

(1) 패칭 알고리즘을 복사 패턴으로부터 페이즈 보코더 구동의 패칭 패턴으로 변경한다.

(2) 적응적 시간 분해능을 후처리 파라미터용으로 올린다.

제1의 변경(상기(1))을 행한 결과, 복수의 정수 계수로 LF 스펙트럼을 확산시킴으로써, HF에 있어서의 고조파의 연속성이 본질적으로 확보된다. 특히, 낮게 울리는 소리의 영향에 의해 야기되는, 원하지 않는 조도(粗度)감은, 저주파와 고주파의 경계, 및 다른 고주파 부분간의 경계에서는 발생하지 않는다(예를 들면, 비특허 문헌 1 참조).

또한, 제2의 변경(상기(2))에 의해, 세밀화된 HF 스펙트럼을, 재현된 주파수 대역에 있어서의 신호의 흔들림에 대하여 적응할 수 있도록 하는 것이 더욱 용이해진다.

새로운 패칭이 고조파 관계를 유지하기 위해서, 이는 고조파 대역 확장(HBE)으로 불린다. 표준적인 SBR을 초과하는 선행 기술의 HBE의 효과는, 저비트 레이트에서의 오디오 부호화에 대해서 실험에 의해서도 확인되어 있다(예를 들면, 비특허문헌 1 참조).

또한, 상기 2개의 변경은, HF 스펙트럼 제너레이터에만 영향을 주는 것이며 (109), HBE에 있어서의 그 외의 방법은, SBR과 완전히 동일하다.

도 2는, 선행 기술의 HBE에 있어서의 HF 스펙트럼 제너레이터를 도시하는 도면이다. 또한, HF 스펙트럼 제너레이터는, 도 1의 T―F 변환(108) 및 HF 재구축(109)으로 구성된다. 어느 신호의 LF 부분이 입력되고, 그 HF 스펙트럼이, 제2차(최저 주파수를 갖는 HF 패치)부터 제T차(최고 주파수를 갖는 HF 패치)까지의 (T－1)개의 HF 고조파 패치(각 패칭 공정에 있어서 1개의 HF 패치가 작성된다)로 이루어진다고 가정한다. 선행 기술의 HBE에 있어서, 이들 HF 패치는 모두 페이즈 보코더로부터, 병행하여 따로따로 생성된다.

도 2에 도시하는 바와같이, 다른 신장 계수(2부터 k)를 갖는, (T－1)개의 페이즈 보코더(201∼203)가, 입력된 LF 부분을 신장시키기 위해서 이용된다. 신장된 출력은 다른 길이를 가지고 있고, 이들 출력에 대하여, 대역 필터를 통과시키고(204∼206), 또한 재샘플링을 행하여(207∼209), 시간 확장을 주파수 확장으로 변환함으로써 HF 패치가 생성된다. 신장 계수를 재샘플링 계수의 2배로 설정함으로써, HF 패치는 신호의 고조파 구조를 유지하고, LF 부분의 2배의 길이를 가지게 된다. 그리고, HF 패치가 모두 지연 조정되어(210∼212), 재샘플링 처리가 하나의 원인이 되는, 여러가지 잠재적 지연을 보상한다. 마지막 단계에 있어서, 지연 조정된 모든 HF 패치가 합산되고, 또한 QMF 영역으로 변환되어(213), HF 스펙트럼이 작성된다.

상기 HF 스펙트럼 제너레이터를 보면, 매우 많은 연산량을 가지고 있다. 연산량에 기여하는 것은, 주로 시간 확장 처리에 의한 것이며, 이 시간 확장 처리는, 페이즈 보코더에 있어서 채용된 일련의 단시간 푸리에 변환(STFT) 및 역 단시간 푸리에 변환(ISTFT), 및 시간 신장된 HF 부분에 적용되는, 후속의 QMF 처리에 의해 실현된다.

페이즈 보코더 및 QMF 변환의 개략을 이하에 소개한다.

페이즈 보코더는, 주파수 영역 변환을 이용함으로써 시간 신장 효과를 실현하는, 주지의 기술이다. 즉, 국부적인 스펙트럼 특징을 변경하지 않고 유지하면서, 신호의 경시 변화를 수정하는 기술이다. 그 기본적인 원리는, 이하와 같다.

도 3a 및 도 3b는 페이즈 보코더에 의한 시간 신장의 원리를 나타내는 도면이다.

도 3a에 나타내는 바와같이, 오디오를 겹쳐지는 블록으로 분할하고, 홉 사이즈(연속하는 블록간의 시간 간격)가 입력시 및 출력시에 있어서 동일하지 않은 블록간의 간격을 조정한다. 여기서는, 입력 홉 사이즈(R_a)가 출력 홉 사이즈(R_s)보다 작기 때문에, 그 결과, 원래의 신호는, 이하의 (식 1)에 표시하는 비(r)로 확장된다.

[수 1]

도 3b에 도시하는 바와같이, 간격을 조정한 블록을, 주파수 영역 변환을 필요로 하는 코히런트 패턴으로 포갠다. 일반적으로, 입력 블록을 주파수로 변환하고, 위상을 적절하게 수정한 후, 새로운 블록을 원래의 출력 블록으로 변환한다.

상기의 원리에 따라, 대부분의 전형적인 페이즈 보코더는, 단시간 푸리에 변환(STFT)을 주파수 영역 변환으로서 채용하고 있고, 분석의 명시적인 순서, 및 시간 신장을 위한 수정 및 재합성이 필요하다.

QMF 뱅크는, 시간 영역 표시를 시간―주파수 영역 결합 표시(반대도 동일)로 변환하고, 이는 스펙트럼 대역 복제(SBR), 파라메트릭 스테레오 부호화(PS), 및 공간 오디오 부호화(SAC) 등의 파라메트릭 베이스의 부호화 방식에 있어서 일반적으로 이용되고 있다. 이들 필터 뱅크의 특징은, 복소 주파수(서브 밴드) 영역 신호가 계수(2)에 의해 효율적으로 오버 샘플링된다는 것이다. 이에 따라, 서브 밴드 영역 신호의 후처리를, 에일리어싱에 의한 왜곡을 발생시키지 않고 행할 수 있다.

더욱 상세하게는, 실수치의 이산 시간 신호를 x(n)로 하면, QMF 뱅크의 분석에 의해, 복소 서브 밴드 영역 신호(s_k(n))가 이하의 (식 2)에 의해 구해진다.

[수 2]

(식 2)중, p(n)은, 제L－1차의 저역 통과 프로토타입 필터의 임펄스 응답을 나타내고, α는 위상 파라미터, M은 대역의 수를 나타내고, k는 서브 밴드 인덱스를 나타내고, k＝0, 1, …, M－1이다.

또한, STFT와 마찬가지로, QMF 변환도 시간－주파수 결합 변환이다. 즉, 이에 따라 신호의 주파수 내용 및 주파수 내용에 있어서의 시간 경과에 의한 변화의 어느쪽이나 구할 수 있고, 여기에서 주파수 내용은, 주파수 서브 밴드에 의해 나타나고, 시간축은 타임 슬롯에 의해 나타난다.

도 4는, QMF 분석 및 합성 방식을 나타내는 도면이다.

구체적으로는, 도 4에 나타나는 바와같이, 어떤 실제의 음성 입력은, 길이가 L, 또한 홉 사이즈가 M인, 연속하여 겹치는 블록으로 분할되고(도 4의 (a)), QMF 분석 처리에 의해, 각 블록은, 1개의 타임 슬롯으로 변환되고, 타임 슬롯은 각각, M개의 복소 서브 밴드 신호로 구성된다. 이 방법에 의해, L시간 영역 입력 샘플은, L개의 복소 QMF 계수로 변환되고, L/M 타임 슬롯 및 M개의 서브 밴드로 구성된다(도 4의 (b)). 각 타임 슬롯은, 선행하는 (L/M－1) 타임 슬롯과 조합되고, QMF 합성 처리에 의해 합성되어, M개의 실시간 영역 샘플(도 4의 (c))이 거의 완벽하게 재구축된다.

비특허문헌 1 : Frederik Nagel and Sascha Disch, 「A harmonic bandwidth extension method for audio codecs」, IEEE Int. Conf. on Acoustics, Speech and Signal Proc. , 2009년 비특허문헌 2: Max Neuendorf, et al, 「A novel scheme for low bitrate unified speech and audio coding- MPEG RM0」, 126th AES Convention, Munich, Germany, 2009년5월

선행 기술인 HBE 기술에 부수되는 과제는, 연산량이 많다는 것이다. 신호를 신장시키기 위해서, HBE에 의해 채용된 종래의 페이즈 보코더는, 연속하는 STFT 및 ISTFT, 즉 연속하는 FFT(고속 푸리에 변환) 및 IFFT(역고속 푸리에 변환)을 적용하기 때문에 연산량이 많고，후속의 QMF 변환은, 시간 신장 신호에 적용되기 때문에, 연산량이 증가한다. 또한, 일반적으로는, 연산량을 저감하고자 하면, 품질 저하를 초래할 가능성이 있다.

여기서, 본 발명은, 이러한 문제를 감안하여 이루어진 것이며, 대역 확장의 연산량을 저감시킴과 더불어, 확장되는 대역의 품질 저하를 억제할 수 있는 대역 확장 방법을 제공하는 것을 목적으로 한다.

상기 목적을 달성하기 위해서, 본 발명의 일양태에 관련된 대역 확장 방법은, 저주파수 대역 신호로부터 전 대역 신호를 생성하는 대역 확장 방법이며, 상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저 주파 QMF 스펙트럼을 생성하는 제1의 변환 단계와, 상기 저주파수 대역 신호에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하는 피치 시프트 단계와, 피치 시프트시킨 상기 복수개의 신호를 QMF 영역에서 시간 신장시킴으로써, 고주파 QMF 스펙트럼을 생성하는 고주파 생성 단계와, 고주파 에너지 및 음조의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정 단계와, 수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전 대역 신호를 생성하는 전 대역 생성 단계를 포함한다.

이에 따라, 피치 시프트시킨 복수개의 신호가 QMF 영역에서 시간 신장됨으로써, 고주파 QMF 스펙트럼이 생성된다. 따라서, 고주파 QMF 스펙트럼을 생성하기 위해서, 종래와 같은 복잡한 처리(연속하여 반복되는 FFT 및 IFFT와, 후속의 QMF 변환)를 피할 수 있어, 대역 확장의 연산량을 저감시킬 수 있다. 또한, STFT와 마찬가지로, QMF 변환 그 자체는, 시간－주파수 결합 분해능을 제공하기 위해서, QMF 변환은, 일련의 STFT 및 ISTFT의 대신으로 된다. 또한, 본 발명의 일양태에 관련된 대역 확장 방법에서는, 1개의 시프트 계수뿐만 아니라, 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호가 생성되고, 이들에 대하여 시간 신장이 행해지기 때문에, 고주파 QMF 스펙트럼의 품질의 저하를 억제할 수 있다.

또한, 상기 고주파 생성 단계는, 피치 시프트시킨 상기 복수개의 신호를 QMF 영역으로 변환함으로써 복수개의 QMF 스펙트럼을 생성하는 제2의 변환 단계와, 상기 복수개의 QMF 스펙트럼을 서로 다른 복수의 신장 계수로 시간 차원 방향으로 신장시킴으로써 복수개의 고조파 패치를 생성하는 고조파 패치 생성 단계와, 상기 복수개의 고조파 패치를 시간 조정하는 조정 단계와, 시간 조정된 상기 고조파 패치를 합산하는 합산 단계를 포함한다.

또한, 상기 고조파 패치 생성 단계는, 상기 QMF 스펙트럼의 진폭 및 위상을 산출하는 산출 단계와, 상기 위상을 조작함으로써 새로운 위상을 생성하는 위상 조작 단계와, 상기 진폭과 상기 새로운 위상을 조합시킴으로써, 새로운 QMF 계수의 세트를 생성하는 QMF 계수 생성 단계를 포함한다.

또한, 상기 위상 조작 단계에서는, QMF 계수의 세트 전체의 원래의 위상에 의거하여 상기 새로운 위상을 생성한다.

또한, 상기 위상 조작 단계에서는, QMF 계수의 세트에 대하여 조작을 반복하여 행하고, 상기 QMF 계수 생성 단계에서는, 복수의 상기 새로운 QMF 계수의 세트를 생성한다.

또한, 상기 위상 조작 단계에서는, QMF 서브 밴드 지표에 의존하여 다른 조작을 행한다.

또한, 상기 QMF 계수 생성 단계에서는, 복수의 상기 새로운 QMF 계수의 세트를 오버랩 가산함으로써, 시간 신장된 오디오 신호에 대응하는 QMF 계수를 생성한다.

즉, 본 발명의 일양태에 관련된 대역 확장 방법에 있어서의 시간 신장에서는, 입력된 QMF 블록의 위상을 수정하고, 수정된 QMF 블록을 다른 홉 사이즈로 오버랩 가산함으로써, STFT 베이스의 신장 방법을 모방하고 있다. 연산량의 관점에서, 이러한 시간 신장과, STFT 베이스의 방법에 있어서의, 연속하는 FFT 및 IFFT를 비교하면, 이 시간 신장에서는, QMF 분석 변환을 1도만 행하기 때문에 연산량이 적다. 따라서, 대역 확장의 연산량을 보다 저감시킬 수 있다.

또한, 상기 목적을 달성하기 위해서, 본 발명의 다른 양태에 관련된 대역 확장 방법은, 저주파수 대역 신호로부터 전 대역 신호를 생성하는 대역 확장 방법이며, 상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하는 제1의 변환 단계와, 상기 QMF 영역에서 상기 저주파수 대역 신호를 시간 신장함으로써, 저차 고조파 패치를 생성하는 저차 고조파 패치 생성 단계와, 상기 저차 고조파 패치에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고, 상기 복수개의 신호로부터 고주파 QMF 스펙트럼을 생성하는 고주파 생성 단계와, 상기 고주파 에너지 및 음조의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정 단계와, 수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전 대역 신호를 생성하는 전 대역 생성 단계를 포함한다.

이에 따라, 저주파수 대역 신호가 QMF 영역에서 시간 신장되어 피치 시프트됨으로써, 고주파 QMF 스펙트럼이 생성된다. 따라서, 고주파 QMF 스펙트럼을 생성하기 위해서, 종래와 같은 복잡한 처리(연속하여 반복되는 FFT 및 IFFT와, 후속의 QMF 변환)를 피할 수 있어, 연산량을 저감시킬 수 있다. 또한, 1개의 시프트 계수뿐만 아니라, 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호가 생성되고, 이들 신호로부터 고주파 QMF 스펙트럼이 생성되기 때문에, 고주파 QMF 스펙트럼의 품질의 저하를 억제할 수 있다. 또한, 저차 고조파 패치로부터 고주파 QMF 스펙트럼이 생성되기 때문에, 그 품질의 저하를 더욱 억제할 수 있다.

또한, 본 발명의 다른 양태에 관련된 대역 확장 방법에서는, 피치 시프트도 QMF 영역에서 행해진다. 이는, 저차 패치의 LF QMF 서브 밴드를, 높은 주파수 분해능을 위해서 복수의 서브·서브 밴드로 분해하기 위함이며, 그 후, 이들 서브·서브 밴드를 고차의 QMF 서브 밴드에 매핑하여, 고차의 패치 스펙트럼을 생성한다.

또한, 상기 저차 고조파 패치 생성 단계는, 상기 저주파수 대역 신호를 제2의 저주파 QMF 스펙트럼으로 변환하는 제2의 변환 단계와, 상기 제2의 저주파 QMF 스펙트럼을 대역 통과시키는 대역 통과 단계와, 대역 통과시킨 상기 제2의 저주파 QMF 스펙트럼을 시간 차원 방향으로 신장시키는 신장 단계를 포함한다.

또한, 상기 제2의 저주파 QMF 스펙트럼은, 상기 제1의 저주파 QMF 스펙트럼보다도 높은 주파수 분해능을 갖는다.

또한, 상기 고주파 생성 단계는, 상기 저차 고조파 패치를 대역 통과시킴으로써 복수개의 대역 통과시킨 패치를 생성하는 패치 생성 단계와, 대역 통과시킨 상기 복수개의 패치를 각각 고주파로 매핑하여 복수개의 고차 고조파 패치를 생성하는 고차 생성 단계와, 상기 복수개의 고차 고조파 패치를 상기 저차 고조파 패치와 합산하는 합산 단계를 포함한다.

또한, 상기 고차 생성 단계는, 대역 통과시킨 패치에 있어서의 각 QMF 서브 밴드를 복수의 서브·서브 밴드로 나누는 분해 단계와, 상기 복수의 서브·서브 밴드를 복수의 고주파 QMF 서브 밴드에 매핑하는 매핑 단계와, 상기 복수의 서브·서브 밴드의 매핑 결과를 조합시키는 조합 단계를 포함한다.

또한, 상기 매핑 단계는, QMF 서브 밴드의 상기 복수의 서브·서브 밴드를 저지 대역 부분과 통과 대역 부분으로 분할하는 분할 단계와, 상기 통과 대역 부분 상의 복수의 서브·서브 밴드의 전위된 중심 주파수를, 패치의 차수에 의존하는 계수로 산출하는 주파수 산출 단계와, 상기 통과 대역 부분상의 복수의 서브·서브 밴드를, 상기 중심 주파수에 따라 복수의 고주파 QMF 서브 밴드에 매핑하는 제1의 매핑 단계와, 상기 저지 대역 부분 상의 복수의 서브·서브 밴드를, 상기 통과 대역 부분 상의 복수의 서브·서브 밴드에 따라 고주파 QMF 서브 밴드에 매핑하는 제2의 매핑 단계를 포함한다.

또한, 본 발명에 관련된 대역 확장 방법에서는, 상술의 처리 동작(단계)을 어떻게 조합시켜도 된다.

이러한 본 발명에 관련된 대역 확장 방법은, 연산량을 저감한 HF 스펙트럼 제너레이터를 이용하는 저연산량의 HBE 기술이다. HF 스펙트럼 제너레이터는, HBE 기술의 연산량에 기여하는 제일 큰 요인이 되고 있다. 이 연산량을 저감시키기 위해서, 본 발명의 일양태에에 관련된 대역 확장 방법에서는, 저연산량으로 QMF 영역에서의 시간 신장을 행하는, 새로운 QMF 베이스의 페이즈 보코더를 이용한다. 또한, 본 발명의 다른 양태에 관련된 대역 확장 방법에서는, 이 해결책에 부수되는 가능성이 있는 품질의 문제를 회피하기 위해서, QMF 영역에서 저차의 패치로부터 고차의 고조파 패치를 생성하는, 새로운 피치 시프트 알고리즘을 이용한다.

본 발명의 목적은, 시간 신장,또는 시간 신장 및 주파수 확장의 어느쪽이나 QMF 영역에서 실행가능한, QMF 베이스의 패치를 설계하는 것이며, 또한, 그에 따라, QMF 베이스의 페이즈 보코더에 의해 구동되는 저연산량 HBE 기술을 개발하는 것이다.

또한, 본 발명은, 이러한 대역 확장 방법으로서 실현할 수 있을 뿐만 아니라, 그 대역 확장 방법에 의해 오디오 신호의 주파수 대역을 확장하는 대역 확장 장치, 집적 회로, 그 대역 확장 방법에 의해 컴퓨터에 주파수 대역을 확장시키기 위한 프로그램, 그 프로그램을 저장하는 기억 매체로서도 실현할 수 있다.

본 발명의 대역 확장 방법은, 새로운 고조파 대역 확장(HBE) 기술을 설계하는 것이다. 본 기술의 핵심은, 시간 신장, 또는, 시간 신장 및 피치 시프팅의 양쪽을, 종래의 FFT 영역이나 시간 영역이 아니라, QMF 영역에서 행하는 것이다. 선행 기술의 HBE 기술과 비교하면, 이 발명의 대역 확장 방법에 의해, 양호한 음질을 얻을 수 있고, 또한 연산량을 대폭 저감시킬 수 있다.

도 1은 통상의 BWE 기술을 이용하는 오디오 코덱 방식을 나타내는 도면이다.
도 2는 고조파 구조를 유지하는 HF 스펙트럼 제너레이터를 나타내는 도면이다.
도 3a는 오디오 블록의 간격을 조정함에 의한 시간 신장의 원리를 나타내는 도면이다.
도 3b는 오디오 블록의 간격을 조정함에 의한 시간 신장의 원리를 나타내는 도면이다.
도 4는 QMF 분석 및 합성 방식을 나타내는 도면이다.
도 5는 본 발명의 실시의 형태 1에 있어서의 대역 확장 방법을 나타내는 플로우 챠트이다.
도 6은 본 발명의 실시의 형태 1에 있어서의 HF 스펙트럼 제너레이터를 나타내는 도면이다.
도 7은 본 발명의 실시의 형태 1에 있어서의 오디오 디코더를 나타내는 도면이다.
도 8은 본 발명의 실시의 형태 1에 있어서의 QMF 변환에 의거하는 신호의 타임 스케일 변경 방식을 나타내는 도면이다.
도 9는 본 발명의 실시의 형태 1에 있어서의 QMF 영역에 있어서의 시간 신장 방법을 나타내는 도면이다.
도 10은 다른 신장 계수를 이용한 정현파 음조 신호의 신장 효과의 비교를 나타내는 도면이다.
도 11은 HBE 방식에 있어서의 배치 어긋남과 에너지 확산 효과를 나타내는 도면이다.
도 12는 본 발명의 실시의 형태 2에 있어서의 대역 확장 방법을 나타내는 플로우 챠트이다.
도 13은 본 발명의 실시의 형태 2에 있어서의 HF 스펙트럼 제너레이터를 나타내는 도면이다.
도 14는 본 발명의 실시의 형태 2에 있어서의 오디오 디코더를 나타내는 도면이다.
도 15는 본 발명의 실시의 형태 2에 있어서의 QMF 영역에 있어서의 주파수 확장 방법을 나타내는 도면이다.
도 16은 본 발명의 실시의 형태 2에 있어서의 서브·서브 밴드 스펙트럼 분포를 나타내는 도면이다.
도 17은 본 발명의 실시의 형태 2에 있어서의 복소 QMF 영역에 있어서의, 정현파를 위한 통과 대역 성분과 저지 대역 성분간의 관계를 나타내는 도면이다.

이하의 형태는, 간단히, 다양한 발명 단계의 원리를 설명하는 것이다. 여기에 설명하는 구체적 예의 다양한 변형예는, 당업자에게는 명백한 것이다.

(실시의 형태 1)

이하, 본원 발명의 HBE 방식(고조파 대역 확장 방법) 및 이를 이용한 디코더(오디오 디코더 또는 오디오 복호 장치)에 관해서 설명한다.

도 5는, 본 실시의 형태에 있어서의 대역 확장 방법을 나타내는 플로우 챠트이다.

이 대역 확장 방법은, 저주파수 대역 신호로부터 전 대역 신호를 생성하는 대역 확장 방법이며, 상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하는 제1의 변환 단계(S11)와, 상기 저주파수 대역 신호에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하는 피치 시프트 단계(S12)와, 피치 시프트시킨 상기 복수개의 신호를 QMF 영역에서 시간 신장함으로써, 고주파 QMF 스펙트럼을 생성하는 고주파 생성 단계(S13)와, 고주파 에너지 및 음조의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정 단계(S14)와, 수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전 대역 신호를 생성하는 전 대역 생성 단계(S15)를 포함한다.

또한, 제1의 변환 단계(S11)는, 후술의 T－F 변환부(1406)에 의해 행해지고, 피치 시프트 단계(S12)는, 후술의 샘플링부(504∼506) 및 시간 재샘플링부(1403)에 의해 행해진다. 또한, 고주파 생성 단계(S13)는, 후술의 QMF 변환부(507∼509), 페이즈 보코더(510∼512), QMF 변환부(1404) 및 시간 신장부(1405)에 의해 행해진다. 또한, 스펙트럼 수정 단계(S14)는, 후술의 HF 처리부(1408)에 의해 행해지고, 전 대역 생성 단계(S15)는, 후술의 가산부(1410)에 의해 행해진다.

또한, 제2의 변환 단계는, QMF 변환부(507∼509) 및 QMF 변환부(1404)에 의해 행해지고, 고조파 패치 생성 단계는, 페이즈 보코더(510∼512) 및 시간 신장부(1405)에 의해 행해진다. 또한, 조정 단계는, 후술하는 지연 조정부(513∼515)에 의해 행해지고, 합산 단계는, 후술하는 가산부(516)에 의해 행해진다.

본 실시의 형태의 HBE 방식에서는, HBE 기술에 있어서의 HF 스펙트럼 제너레이터가, 시간 영역에 있어서의 피치 시프트 처리, 및 후속의 QMF 영역에 있어서의 보코더 구동의 시간 신장 처리를 이용하여 설계되어 있다.

도 6은 본 실시의 형태의 HBE 방식으로 이용하는 HF 스펙트럼 제너레이터를 나타내는 도면이다. HF 스펙트럼 제너레이터는, 대역 통과부(501, 502, …, 503)와, 샘플링부(504, 505, …, 506)와, QMF 변환부(507, 508, …, 509)와, 페이즈 보코더(510, 511, …, 512)와, 지연 조정부(513, 514, …, 515)와, 가산부(516)를 구비한다.

주어진 LF 대역의 입력이, 우선 대역 통과되고(501∼503), 재샘플링됨으로써(504∼506), 이 HF 대역 부분이 생성된다. 이들 HF 대역 부분은, QMF 영역으로 변환되고(507∼509), 얻어진 QMF 출력은 그에 따른 재샘플링 계수의 2배의 신장 계수를 이용하여 시간 신장된다(510∼512). 신장된 HF 스펙트럼은 지연 조정되고(513∼515), 스펙트럼 변환 처리로부터 기여하는 다양한 잠재적 지연을 보상하고, 이들을 합산(516)하여 최종의 HF 스펙트럼이 생성된다. 또한, 상기 괄호 내의 숫자 501－516은 각각 HF 스펙트럼 제너레이터의 구성 요소를 나타낸다.

본 실시의 형태의 방식과 선행 기술의 방식(도 2)을 비교하면, 주요 차이는 이하와 같다. 1) 보다 많은 QMF 변환이 적용되고, 2) 시간 신장 처리는, FFT 영역이 아니라 QMF 영역에서 행해진다. QMF 영역에서의 시간 신장 처리의 더욱 상세한 것은 후술한다.

도 7은 본 실시의 형태에 있어서의 HF 스펙트럼 제너레이터를 채용한 디코더를 나타내는 도면이다. 이 디코더(오디오 복호 장치)는, 역다중화부(1401)와, 복호부(1402)와, 시간 재샘플링부(1403)와, QMF 변환부(1404)와, 시간 신장부(1405)와, T－F 변환부(1406)와, 지연 조정부(1407)와, HF 후처리부(1408)와, 가산부(1410)와, 역 T－F 변환부(1409)를 구비한다. HF 스펙트럼 제너레이터는, 시간 재샘플링부(1403), QMF 변환부(1404), 및 시간 신장부(1405)로 구성된다. 또한, 본 실시의 형태에서는, 역다중화부(1401)는, 부호화 정보(비트 스트림)로부터, 부호화된 저주파수 대역 신호를 분리하는 분리부에 상당한다. 또한, 역 T－F 변환부(1409)는, 전 대역 신호를 직교 미러 필터 밴드(QMF) 영역의 신호로부터 시간 영역의 신호로 변환시키는 역변환부에 상당한다.

이 디코더에서는, 우선 비트 스트림이 역다중화되고(1401), 다음에 신호의 LF 부분이 복호된다(1402). 원래의 HF 부분에 근사하기 위해서, 복호된 LF 부분(저주파수 대역 신호)이 시간 영역에서 재샘플링됨으로써(1403) HF 부분이 생성되고, 얻어진 HF 부분은 QMF 영역으로 변환된다(1404). 얻어진 HF QMF 스펙트럼은 시간 방향으로 신장되고(1405), 신장된 HF 스펙트럼은, 복호된 일부의 HF 파라미터에 따라, 후처리에 의해 더욱 세밀화된다(1408). 한편, 복호된 LF 부분도 QMF 영역으로 변환된다(1406). 마지막에, 세밀화된 HF 스펙트럼과, 지연된(1407) LF 스펙트럼이 조합되어(1410), 전 대역의 QMF 스펙트럼이 작성된다. 얻어진 전 대역의 QMF 스펙트럼은, 원래의 시간 영역으로 변환되어 (1409) 복호된 광대역 오디오 신호가 출력된다. 또한, 상기 괄호 내의 숫자 1401―1410은 각각 디코더의 구성 요소를 나타낸다.

시간 신장 방법

본 실시의 형태의 HBE 방식의 시간 신장 처리는, 오디오 신호를 대상으로 하고 있고, 그 시간 신장 신호는, QMF 변환, 위상 조작, 및 역QMF 변환에 의해 생성할 수 있다. 즉, 상기 고조파 패치 생성 단계는, 상기 QMF 스펙트럼의 진폭 및 위상을 산출하는 산출 단계와, 상기 위상을 조작함으로써 새로운 위상을 생성하는 위상 조작 단계와, 상기 진폭과 상기 새로운 위상을 조합함으로써, 새로운 QMF 계수의 세트를 생성하는 QMF 계수 생성 단계를 포함한다. 또한, 산출 단계, 위상 조작 단계 및 QMF 계수 생성 단계는, 각각 후술의 모듈(702)에 의해 행해진다.

도 8은, QMF 변환부(1404) 및 시간 신장부(1405)에 의한 QMF 베이스의 시간 신장 처리를 나타내는 도면이다. 우선, 오디오 신호가, QMF 분석 변환(701)에 의해, 1세트의 QMF 계수, 예를 들면 X(m, n)로 변환된다. 이들 QMF 계수는, 모듈(702)에 있어서 수정된다. 여기서는, 각 QMF 계수의 진폭(r) 및 위상(a)이 산출된다. 예를 들면, X(m, n)＝r(m, n)·exp(j·a(m, n))로 한다. 이 위상 a(m, n)은, a^∼(m, n)로 수정(조작)된다. 수정된 위상(a^∼)과 원래의 진폭(r)이, 새로운 1세트의 QMF 계수를 구축한다. 예를 들면, 새로운 1세트의 QMF 계수는 이하의 (식3)에 의해 표시된다.

[수 3]

마지막에, 그 새로운 1세트의 QMF 계수가, 타임 스케일이 수정된 원래의 오디오 신호에 대응하는, 새로운 오디오 신호로 변환된다(703).

본 실시의 형태의 HBE 방식에 있어서의 QMF 베이스의 시간 신장 알고리즘은, STFT 베이스의 신장 알고리즘을 모방하고 있다. 즉, 1) 이 수정 단계에 있어서, 순간 주파수 개념을 이용하여 위상의 수정이 행해지고 있고, 또한 2) 연산량을 저감시키기 위해서, QMF 변환의 가법성 특성을 이용하여 QMF 영역에 있어서 오버랩 가산이 행해진다.

본 실시의 형태의 HBE 방식에 있어서의 시간 신장 알고리즘의 상세를 이하에 기재한다.

신장 계수(s)로 신장되는, 2L개의 실수치 시간 영역 신호(x(n))가 있다고 가정하면, QMF 분석 단계의 후에는, 2L/M의 타임 슬롯 및 M개의 서브 밴드에 의해 구성되는, 2L개의 QMF 복소 계수가 존재한다.

또한, STFT 베이스의 신장 방법과 마찬가지로, 변환된 QMF 계수는, 필요에 따라 위상 조작의 전에 해석창 처리의 대상으로 해도 된다. 본 발명에 있어서, 상기는, 시간 영역 또는 QMF 영역의 어디에 있어서나 실현가능하다.

시간 영역에 있어서, 시간 영역 신호는, 통상은 이하의 (식 4)와 같이 창 처리된다.

[수 4]

(식 4)중의 mod(.)는, 모듈레이션 처리를 나타낸다.

QMF 영역에 있어서, 동등한 동작을 이하와 같이 실현하는 것이 가능하다.

1) 해석창 h(n)(길이(L)를 갖는다)을 QMF 영역으로 변환하고, L/M 시간 슬롯 및 M개의 서브 밴드를 갖는 H(v, k)를 얻는다.

2) 창의 QMF 표시를 이하의 (식 5)에 표시하는 바와같이 간략화한다.

[수 5]

여기서, v＝0, …, L/M－1로 한다.

3) 해석창 처리를, QMF 영역에서 X(m, k)＝X(m, k)·H₀(w)에 의해 행하고, 그 식 중, w＝mod(m, L/M)이다(또한, mod(.)는, 모듈레이션 처리를 나타낸다).

또한, 본 실시의 형태의 HBE 방식에 있어서, 상기 위상 조작 단계에서는, QMF 계수의 세트 전체의 원래의 위상에 의거하여 상기 새로운 위상을 생성한다. 즉, 본 실시의 형태에서는, 시간 신장의 실현에 관한 상세로서, QMF 블록에 의거하여 위상 조작을 행한다.

도 9는, QMF 영역에 있어서의 시간 신장 방법을 나타내는 도면이다.

도 9의 (a)에 나타내는 바와같이, 원래의 QMF 계수는, L＋1개가 겹쳐진 QMF 블록으로서 취급하는 것이 가능하고, 그 홉 사이즈는 1타임 슬롯, 블록의 길이는, L/M 타임 슬롯이다.

위상 점프에 의한 영향을 확실하게 없애기 위해서, 원래의 각 QMF 블록은 수정되고, 수정된 위상을 갖는 새로운 QMF 블록이 생성된다. 그 새로운 QMF 블록의 위상은, 겹쳐지는 (μ)번째 및 (μ＋1)번째의 새로운 QMF 블록에 대하여, μ·s의 점에 있어서 연속하는 것이며, 이는 시간 영역에 있어서의 μ·M·s(μ∈N)의 접합점에 있어서 연속하는 것과 동등하다.

또한, 본 실시의 형태의 HBE 방식에 있어서, 상기 위상 조작 단계에서는, QMF 계수의 세트에 대하여 조작을 반복하여 행하고, 상기 QMF 계수 생성 단계에서는, 복수의 상기 새로운 QMF 계수의 세트를 생성해도 된다. 이 경우, 위상은, 이하의 기준에 따라서 블록 단위로 수정된다.

주어진 QMF 계수 X(u, k)의 원래의 위상이 φ_u(k)라고 가정하고, u＝0, …, 2L/M－1 및 k＝0, 1, …, M－1로 한다. 원래의 QMF 블록은 각각, 도 9의 (b)에 나타내는 바와 같이, 순차적으로 새로운 QMF 블록으로 수정되고, 동 도면에 있어서, 새로운 QMF 블록은 다른 필터 패턴으로 나타나 있다.

이하에 있어서, ψ_u ⁽ⁿ⁾(k)은, 새로운 QMF 블록의 n번째의 위상 정보를 나타내고 있고, n＝1, …, L/M, u＝0, …L/M－1 및 k＝0, 1, …, M－1이다. 이들 새로운 위상은, 새로운 블록의 간격이 조정되었는지 여부에 의존하여 이하와 같이 설계된다.

제1의 새로운 QMF 블록인, X⁽¹⁾(u, k)(u＝0, …L/M－1)의 간격이 조정되어 있지 않다고 가정한다. 그러면, 새로운 위상 정보 ψ_u ⁽¹⁾(k)은, φ_u(k)과 동일하다. 즉, ψ_u ⁽¹⁾(k)＝φ_u(k)이며, u＝0, …L/M－1 및 k＝0, 1, …, M－1이다.

제2의 새로운 QMF 블록, X⁽²⁾(u, k)(u＝0, …L/M－1)은, s 타임 슬롯(예를 들면, 도 9에 도시하는 바와같이, 2타임 슬롯)의 홉 사이즈로 간격이 조정된다. 이 경우, 블록 개시의 순간 주파수는, 제1의 새로운 QMF 블록 X⁽¹⁾(u, k)의 s번째의 타임 슬롯의 순간 주파수와 일치할 것이다. 따라서, X⁽²⁾(u, k)의 1번째의 타임 슬롯의 순간 주파수는, 원래의 QMF 블록에 있어서의 2번째 타임 슬롯의 순간 주파수와 동일할 것이다. 즉, ψ₀ ⁽²⁾(k)＝ψ₀ ⁽¹⁾(k)＋s·Δφ₁(k)이다.

또한, 1번째 타임 슬롯의 위상이 변경되기 때문에, 나머지의 위상은 원래의 순간 주파수를 유지하도록 적절히 조정된다. 즉, ψ_u ⁽²⁾(k)＝ψ_u－1 ⁽²⁾(k)＋Δφ_u＋1(k)이며, u＝1, …L/M－1이다. 식 중, Δφ_u(k)＝φ_u(k)－φ_u－1(k)은, 원래의 QMF 블록의 원래의 순간 주파수를 나타낸다.

후속의 합성 블록에 대하여, 동일한 위상 수정 규칙이 적용된다. 즉, m번째의 새로운 QMF 블록(m＝3, …L/M)에 대하여, 그 위상 ψ_u ^(m)(k)이 이하의 식에 의해 결정된다.

ψ₀ ^(m)(k)＝ψ₀ ^(m－1)(k)＋s·Δφ_m－1(k)

ψ_u ^(m)(k)＝ψ_u－1 ^(m)(k)＋Δφ_m＋u－1(k)이며, u＝1, …, L/M－1이다.

원래의 블록 진폭 정보와 조합하여, 상기의 새로운 위상은, 새로운 L/M 블록이 된다.

여기서, 본 실시의 형태의 HBE 방식에 있어서, 상기 위상 조작 단계에서는, QMF 서브 밴드 지표에 의존하여 다른 조작을 행해도 된다. 즉, 상기 위상 수정 방법을, QMF의 홀수의 서브 밴드와, 짝수의 서브 밴드에서 각각 다르게 설계해도 된다.

이는, 음조 신호의 QMF 영역에 있어서의 순간적 주파수가, 위상차 Δφ(n, k)＝φ(n, k)－φ(n－1, k)에, 다른 방법으로 관련되어 있는 것에 의거한다.

더욱 상세하게는, 순간 주파수 ω(n, k)는, 이하의 (식 6)에 의해 구해진다.

[수 6]

(식 6)중, princarg(α)은, 주각(α)을 의미하고, 이하의 (식 7)에 의해 정의된다.

[수 7]

식 중 mod(a, b)는, b에 대한 a의 모듈레이션을 나타낸다.

그 결과, 예를 들면 상기의 위상 수정 방법에 있어서, 위상차는, 이하의 (식8)에서 상세하게 나타낸다.

[수 8]

또한, 본 실시의 형태의 HBE 방식에서는, 상기 QMF 계수 생성 단계에서는, 복수의 상기 새로운 QMF 계수의 세트를 오버랩 가산함으로써, 시간 신장한 오디오 신호에 대응하는 QMF 계수를 생성한다. 즉, 연산량을 저감시키기 위해서 QMF 합성 처리는, 각 개별의 새로운 QMF 블록에 직접 적용되지 않고, 이 새로운 QMF 블록의 오버랩 가산된 결과에 적용된다.

또한, STFT 베이스의 확장 방법과 마찬가지로, 새로운 QMF 계수는, 필요에 따라, 오버랩 가산을 행하기 전에 합성 창 처리의 대상이 된다. 본 실시의 형태에 있어서, 합성 창 처리는, 해석 창 처리와 같이 이하에 의해 실현할 수 있다.

X^(n＋1)(u, k)＝X^(n＋1)(u, k)·H₀(w)이며, 식 중, w＝mod(u, L/M)이다.

그리고, QMF 변환이 가법성이기 때문에, 새로운 L/M 블록을, QMF 합성의 전에 s타임 슬롯의 홉 사이즈로 모두 오버랩 가산할 수 있다. 오버랩 가산의 결과인, Y(u, k)는, 이하의 식에 의해 구해진다.

[수 9]

n＝0, …, L/M－1, u＝1, …L/M, 및 k＝0, 1, …, M－1이다.

최종적인 음성 신호는, 수정된 타임 스케일에 대응하는, Y(u, k)에 QMF 합성을 적용함으로써 생성할 수 있다.

본 실시의 형태의 HBE 방식에 있어서의 QMF 베이스의 신장 방법과, 선행 기술의 STFT 베이스의 신장 방법을 비교하면, QMF 변환에 본질적인 시간 분해능은, 연산량의 대폭적인 저감에 도움이 되는 것에 주목해야 한다. 이는, 선행 기술의 STFT 베이스의 신장 방법에 있어서, 일련의 STFT 변환을 행함으로써만 얻어진다.

이하의 연산량의 분석은, 연산량의 개략적 비교 결과를 나타내고, 여기서는 변환에 의한 연산량만을 고려했다.

사이즈(L)의 STFT의 연산량이 log₂(L)·L이며, 또한 QMF 분석 변환의 연산량이 FFT 변환의 약 2배라고 가정하면, 선행 기술의 HF 스펙트럼 제너레이터에 따른 변환 연산량은, 이하와 같이 근사된다.

[수 10]

비교하면, 본 실시의 형태의 HF 스펙트럼 제너레이터에 따른 변환 연산량은, 이하의 (식 11)에 나타내는 바와같이 근사된다.

[수 11]

예를 들면, L＝1024, 또한 Ra＝128이라고 가정하면, 상기의 연산량의 비교는, 표 1에 구체적으로 표시된다.

[표 1]

(실시의 형태 2)

이하, HBE 방식(고조파 대역 확장 방법)의 제2의 실시의 형태 및 이를 이용한 디코더(오디오 디코더 또는 오디오 복호 장치)에 관해서 상세하게 설명한다.

QMF 베이스의 시간 신장 방법을 채용하면, QMF 베이스의 시간 신장 방법에 있어서의 HBE 기술의 연산량은 대폭 낮아진다. 그러나, 한편으로는, QMF 베이스의 시간 신장 방법을 채용함으로써도, 음질을 저하시킬 우려가 있는, 2개의 문제가 일어날 가능성이 있다.

첫번째로, 고차의 패치에는, 음질 저하의 문제가 있다. HF 스펙트럼이 (T－1)개의 패치로 구성되고, 대응하는 신장 계수는, 2, 3, …, T라고 가정한다. QMF 베이스의 시간 신장은 블록 베이스이기 때문에, 고차의 패치에 있어서, 오버랩 가산 처리의 회수가 적어지면, 신장 효과는 저하된다.

도 10은 정현파 음조 신호의 신장 효과를 나타내는 도면이다. 상부 프레임 (a)는, 순수한 정현파 음조 신호의 제2차 패치의 신장 효과를 나타낸다. 신장된 출력은, 기본적으로 클린이며, 작은 진폭에 있어서 미소하게 다른 주파수 성분이 있을 뿐이다. 한편, 하부 프레임(b)는, 동일한 정현파 음조 신호의 제4차 패치의 신장 효과를 나타낸다.

(a)와 비교하면, (b)에서는, 중심 주파수가 올바르게 시프트되어 있는데, 얻어진 출력은, 무시할 수 없는 진폭을 갖는 다른 주파수 성분도 몇개 포함한다. 이에 따라, 신장된 출력에 있어서 원하지 않는 노이즈가 발생할 가능성이 있다.

두번째로, 과도 신호에 품질 저하의 문제가 일어날 가능성이 있다. 이러한 품질 저하의 문제에는, 3개의 잠재적인 기여 원인을 생각할 수 있다.

제1의 기여 원인은, 과도 성분이 재샘플링의 과정에서 상실되어 있을 가능성이 있다. 짝수의 샘플에 위치하는 디랙 인 펄스를 갖는 과도 신호를 가정하면, 계수(2)의 데시메이션(decimation)을 행한 제4차 패치에 있어서는, 디랙 인 펄스는 재샘플링된 신호에 있어서 소실된다. 그 결과, 얻어지는 HF 스펙트럼은, 불완전한 과도 성분을 갖는다.

제2의 기여 원인은, 다른 패치에 있어서, 조정되지 않은 과도 성분이다. 이들 패치는, 다른 재샘플링 계수를 가지기 때문에, 특정한 위치에 위치하는 디랙 인 펄스는, QMF 영역에 있어서, 다른 타임 슬롯에 위치하는 몇가지 성분을 갖는 경우가 있다.

도 11은 품질 저하의 문제로서 배치 어긋남과 에너지 확산 효과를 나타내는 도면이다. 디랙 인 펄스를 갖는 입력(예를 들면, 도 11에서는, 회색의 제3의 샘플로서 도시되어 있다)에 대하여 다른 계수로 재샘플링을 행한 후, 그 위치는, 다른 위치로 변경된다. 그 결과, 신장된 출력은, 과도 효과가 지각적으로 감퇴된다.

제3의 기여 원인은, 과도 성분의 에너지가 상이한 패치에 있어서 불균일하게 확산되는 것에 있다. 도 11에 도시하는 바와같이, 제2차 패치에서는, 관련된 과도 성분이 제5 및 제6의 샘플까지 확산되어 있다. 제3차 패치에서는, 제4∼제6 샘플까지 확산되어 있고, 제4차 패치에서는, 제5∼제8 샘플까지 확산되어 있다. 그 결과, 신장된 출력의 과도 효과는, 높은 주파수에 있어서 약해진다. 일부 임계의 과도 신호에 대해서는, 신장된 출력에 있어서, 불쾌한 프리에코 아티팩트 및 포스트 에코 아티팩트마저 나타난다.

상술의 품질 저하 문제를 극복하기 위해서는, 고도의 HBE 기술이 바람직하다. 그러나, 너무 복잡한 해결책도, 연산량을 증가시킨다. 본 실시의 형태에서는, 예상되는 품질 저하의 문제를 회피하고, 또한 저연산량의 효과를 유지하기 위해서, QMF 베이스의 피치 시프트 방법을 이용한다.

본 실시의 형태의 HBE 방식(고조파 대역 확장 방법)은, 이하에 상세하게 설명하는 바와같이, 본 실시의 형태의 HBE 기술에 있어서의 HF 스펙트럼 제너레이터가, QMF 영역에서의 시간 신장 및 피치 시프트 처리의 모두를 이용하여 설계되어 있다. 또한, 본 실시의 형태의 HBE 방식을 이용한 디코더(오디오 디코더 또는 오디오 복호 장치)에 관해서도 이하에 설명한다.

도 12는, 본 실시의 형태에 있어서의 저연산 대역 확장 방법을 나타내는 플로우 챠트이다.

이 대역 확장 방법은, 저주파수 대역 신호로부터 전 대역 신호를 생성하는 대역 확장 방법이며, 상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하는 제1의 변환 단계(S21)와, 상기 QMF 영역에서 상기 저주파수 대역 신호를 시간 신장함으로써, 저차 고조파 패치를 생성하는 저차 고조파 패치 생성 단계(S22)와, 상기 저차 고조파 패치에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고, 상기 복수개의 신호로부터 고주파 QMF 스펙트럼을 생성하는 고주파 생성 단계(S23)와, 상기 고주파 에너지 및 음조의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정 단계(S24)와, 수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전대역 신호를 생성하는 전 대역 생성 단계(S25)를 포함한다.

또한, 제1의 변환 단계는, 후술하는 T－F 변환부(1508)에 의해 행해지고, 저차 고조파 패치 생성 단계는, 후술하는 QMF 변환부(1503), 시간 신장부(1504), QMF 변환부(601) 및 페이즈 보코더(603)에 의해 행해진다. 또한, 고주파 생성 단계는, 후술하는 피치 시프트부(1506), 대역 통과부(604, 605), 주파수 확장부(606, 607), 및 지연 조정부(608∼610)에 의해 행해진다. 또한, 스펙트럼 수정 단계는, 후술하는 HF 후처리부(1507)에 의해 행해지고, 전 대역 생성 단계는, 후술하는 가산부(1512)에 의해 행해진다.

또한, 제2의 변환 단계는, QMF 변환부(601) 및 QMF 변환부(1503)에 의해 행해지고, 대역 통과 단계는, 후술하는 대역 통과부(602)에 의해 행해지고, 신장 단계는, 페이즈 보코더(603) 및 시간 신장부(1504)에 의해 행해진다.

또한, 패치 생성 단계는, 대역 통과부(604, 605)에 의해 행해지고, 고차 생성 단계는, 주파수 확장부(606, 607)에 의해 행해지고, 합산 단계는, 후술하는 가산부(611)에 의해 행해진다.

도 13은 본 실시의 형태의 HBE 방식으로 이용하고 있는 HF 스펙트럼 제너레이터를 나타내는 도면이다. HF 스펙트럼 제너레이터는, QMF 변환부(601)와, 대역 통과부(602, 604, …, 605)와, 페이즈 보코더(603)와, 주파수 확장부(606, …, 607)와, 지연 조정부(608, 609, …, 610)와, 가산부(611)를 구비한다.

주어진 LF 대역의 입력이, 우선 QMF 영역으로 변환되고(601), 그 대역 통과된 (602) QMF 스펙트럼은, 2배의 길이로 시간 신장된다(603). 신장된 QMF 스펙트럼이 대역 통과되고(604∼605), 대역이 제한된 (T－2)개의 스펙트럼이 작성된다. 그 결과 얻어진, 복수의 대역 제한 스펙트럼은, 보다 높은 주파수 대역의 스펙트럼으로 변환된다(606∼607). 이들 HF 스펙트럼은 지연 조정되고(608∼610), 스펙트럼 변환 처리로부터 기여하는 다양한 잠재적 지연을 보상하고, 이들을 합산하여(611) 최종 HF 스펙트럼이 생성된다. 또한, 상기 괄호 내의 숫자 601－611은 각각 HF 스펙트럼 제너레이터의 구성 요소를 나타낸다.

또한, QMF 변환(도 1에 있어서의 108)과 비교하면, 본 실시의 형태의 HBE 방식에 있어서의 QMF 변환(QMF 변환부(601))은, 보다 높은 주파수 분해능을 가지고 있고, 저하되는 시간 분해능에 대해서는, 후속의 신장 처리에 의해 보상된다.

본 실시의 형태의 HBE 방식과 선행 기술의 방식(도 2)을 비교하면, 주요 차이는, 이하의 점이다. 1) 실시의 형태 1과 같이, 시간 신장 처리가, FFT 영역이 아니라, QMF 영역에 있어서 행해진다. 2) 고차의 패치가 제2차 패치에 의거하여 생성된다. 3) 피치 시프트 처리도 시간 영역이 아니라, QMF 영역에 있어서 행해진다.

도 14는, 본 실시의 형태의 HBE 방식에 있어서의 HF 스펙트럼 제너레이터를 채용한 디코더를 나타내는 도면이다. 이 디코더(오디오 복호 장치)는, 역다중화부(1501)와, 복호부(1502)와, QMF 변환부(1503)와, 시간 신장부(1504)와, 지연 조정부(1505)와, 피치 시프트부(1506)와, HF 후처리부(1507)와, T－F 변환부(1508)와, 지연 조정부(1509)와, 역 T－F 변환부(1510)와, 가산부(1511 및 1512)를 구비한다. HF 스펙트럼 제너레이터는, QMF 변환부(1503), 시간 신장부(1504), 지연 조정부(1505), 피치 시프트부(1506), 및 가산부(1511)로 구성된다. 또한, 본 실시의 형태에서는, 역다중화부(1501)는, 부호화 정보(비트 스트림)로부터, 부호화된 저주파수 대역 신호를 분리하는 분리부에 상당한다. 또한, 역 T－F 변환부(1510)는, 전 대역 신호를 직교 미러 필터 뱅크(QMF) 영역의 신호로부터 시간 영역의 신호로 변환하는 역변환부에 상당한다.

이 디코더에서는, 우선, 비트 스트림이 역다중화되고(1501), 다음에 신호의 LF 부분이 복호된다(1502). 원래의 HF 부분을 근사하기 위해서, 복호된 LF 부분(저주파수 대역 신호)이 QMF 영역에 있어서 변환되어(1503) LF QMF 스펙트럼이 생성된다. 이에 따라 얻어진 LF QMF 스펙트럼은 시간 방향을 따라 신장되어(1504) 저차의 HF 패치가 생성된다. 그 저차의 HF 패치는 피치 시프트되어(1506) 고차의 패치가 생성된다. 이에 따라 얻어진 고차의 패치와, 지연된 (1505) 저차의 HF 패치가 조합되어 HF 스펙트럼이 생성된다. 이 HF 스펙트럼은, 복호된 일부 HF 파라미터에 따라, 후처리에 의해 더욱 세밀화된다(1507). 한편, 복호된 LF 부분도 QMF 영역으로 변환된다(1508). 마지막에, 세밀화된 HF 스펙트럼과, 지연된 (1509) LF 스펙트럼이 조합되어 전 대역의 QMF 스펙트럼이 작성된다(1512). 얻어진 전 대역의 QMF 스펙트럼은, 원래의 시간 영역으로 변환되고(1510), 복호된 광대역 오디오 신호가 출력된다. 또한, 상기 괄호 내의 숫자 1501－1512는 각각 디코더의 구성 요소를 나타낸다.

피치 시프트 방법

본 실시의 형태의 HBE 방식의 피치 시프트부(1506)에 있어서의 QMF 베이스의 피치 시프트 알고리즘(QMF 영역에 있어서의 주파수 확장 방법)은, LF QMF 서브 밴드를 복수의 서브·서브 밴드로 분해하고, 이들 서브·서브 밴드를 HF 서브 밴드로 전위하고, 얻어진 HF 서브 밴드를 조합하여 HF 스펙트럼을 생성한다. 즉, 상기 고차 생성 단계는, 대역 통과시킨 패치에 있어서의 각 QMF 서브 밴드를 복수의 서브·서브 밴드로 나누는 분해 단계와, 상기 복수의 서브·서브 밴드를 복수의 고주파 QMF 서브 밴드로 매핑하는 매핑 단계와, 상기 복수의 서브·서브 밴드의 매핑 결과를 조합하는 조합 단계를 포함한다.

또한, 분해 단계는, 후술하는 단계 1(901∼903)에 대응하고, 매핑 단계는 후술하는 단계 2 및 3(904∼909)에 대응하고, 조합 단계는 후술하는 단계 4(910)에 대응한다.

도 15는, 이러한 QMF 베이스의 피치 시프트 알고리즘을 나타내는 도면이다. 제2차 패치의 대역 통과시킨 스펙트럼이 주어지면, 제t차(t＞2) 패치의 HF 스펙트럼은, 이하의 순서로 재구축할 수 있다. 1) 당해 LF 스펙트럼, 즉 LF 스펙트럼 내의 각 QMF 서브 밴드를 복수의 QMF 서브·서브 밴드로 분해하고(단계1: 901∼903), 2) 이들 서브·서브 밴드의 중심 주파수를 계수 t/2로 스케일링하고(단계2: 904∼906), 3) 이들 서브·서브 밴드를 HF 서브 밴드에 매핑하고(단계3: 907∼909), 4) 모든 매핑된 서브·서브 밴드를 합산하여, HF 서브 밴드를 형성한다(단계 4:910).

단계 1에 대해서, 보다 좋은 주파수 분해능을 얻기 위해서 QMF 서브 밴드를 복수의 서브·서브 밴드로 분해하기 위해 이용할 수 있는 방법은 몇가지가 있다. 예를 들면, MPEG 서라운드의 코덱에 있어서 채용되어 있는, 소위 Mth 밴드 필터 등이 있다. 본 발명의 바람직한 실시 형태에 있어서, 서브 밴드의 분해는, 이하의 (식 12)에 의해 정의되는, 추가의 1세트의 지수 변조 필터 뱅크를 적용함으로써 실현된다.

[수 12]

여기서, q＝－Q, －Q＋1, …, 0, 1, …, Q－1이며, n＝0, 1, …N이다.(식 중, n₀은 정수(整數) 정수(定數)이며, N은 필터 뱅크의 차수이다)

상기의 필터 뱅크를 채용함으로써, 어느 서브 밴드 신호, 예를 들면 k번째의 서브 밴드 신호 x(n, k)가, 이하의 (식 13)에 나타내는 바와같이 2Q개의 서브·서브 밴드 신호로 분해된다.

[수 13]

여기서, q＝－Q, －Q＋1, …, 0, 1, …, Q－1이다. (식 13)중, 「conv(.) 」은, 중첩 함수를 표시한다.

이러한 추가의 복소 변환을 행하면, 1개의 서브 밴드의 주파수 스펙트럼은, 다시 2Q개의 서브 주파수 스펙트럼으로 나뉘어진다. 주파수 분해능의 관점에서, QMF 변환에 M개의 대역이 존재할 경우, 이에 관련된 서브 밴드 주파수 분해능은, π/M이며, 이 서브·서브 밴드 주파수 분해능은, π/(2Q·M)으로 세밀화된다. 또한, 이하의 (식 14)에 표시하는 전체의 계(系)는, 시(時) 불변이며, 즉, 다운 샘플링 및 업 샘플링을 이용해도, 에일리어싱이 일어나지 않는다.

[수 14]

또한, 상기의 추가 필터 뱅크가 홀수로 스택되어 있고(계수 q＋0.5), 이는, 직류값을 중심으로 하는 서브·서브 밴드가 없는 것을 의미한다. 보다 정확하게 말하면, Q가 짝수인 경우, 서브·서브 밴드의 중심 주파수는, 제로를 중심으로 대칭으로 분포된다.

도 16은 서브·서브 밴드 스펙트럼 분포를 나타내는 도면이다. 구체적으로는, 이 도 16은 Q＝6의 경우에 있어서의, 상기 필터 뱅크의 스펙트럼 분포를 나타낸다. 홀수로 스택하는 목적은, 후의 서브·서브 밴드의 조합을 용이하게 하는 것이다.

단계 2에 대해서, 중심 주파수의 스케일링은, 복소 QMF 변환의 오버 샘플링하는 특징을 고려함으로써, 간략화할 수 있다.

또한, 복소 QMF 영역에 있어서, 인접하는 서브 밴드의 통과 대역이 서로 겹치기 때문에, 중첩하는 범위에 있어서의 주파수 성분은, 양쪽의 서브 밴드에 나타난다(특허문헌:WO2006048814 참조).

그 결과, 주파수 스케일링은, 이들 통과 대역에 존재하는 서브·서브 밴드에 대해서만 주파수를 산출함으로써, 연산량을 반감시키는 것이 가능하다. 즉, 짝수의 서브 밴드에 대해서는 양의 주파수 부분만, 또는 홀수의 서브 밴드에 대해서는, 음의 주파수 부분만을 산출한다.

더욱 상세하게는, k_LF번째의 서브 밴드가 2Q개의 서브·서브 밴드로 나뉘어진다. 즉, x(n, k_LF)가 이하의 (식 15)로 나뉘어진다.

[수 15]

그 후, 제t차의 패치를 생성하기 위해서, 이들 서브·서브 밴드의 중심 주파수가 이하의 (식 16)에 의해 스케일링된다.

[수 16]

k_LF가 홀수인 경우 q＝－Q, －Q＋1, …, －1이며, k_LF가 짝수인 경우, q＝0, 1, …, Q－1이다.

단계 3에 대해서, 서브·서브 밴드를 HF 서브 밴드에 매핑하기 위해서, 복소 QMF 변환의 특징을 고려할 필요도 있다. 본 실시의 형태에서는, 이러한 매핑 처리가 2개의 단계에서 행해진다. 제1의 단계는, 통과 대역 상의 모든 서브·서브 밴드를 HF 서브 밴드에 단순히 매핑하고, 제2의 단계는, 상기 매핑 결과에 의거하여, 저지 대역 상의 모든 서브·서브 밴드를 HF 서브 밴드에 매핑한다. 즉, 상기 매핑 단계는, QMF 서브 밴드의 상기 복수의 서브·서브 밴드를 저지 대역 부분과 통과 대역 부분으로 분할하는 분할 단계와, 상기 통과 대역 부분 상의 복수의 서브·서브 밴드의 전위된 중심 주파수를, 패치의 차수에 의존하는 계수로 산출하는 주파수 산출 단계와, 상기 통과 대역 부분 상의 복수의 서브·서브 밴드를, 상기 중심 주파수에 따라서 복수의 고주파 QMF 서브 밴드에 매핑하는 제1의 매핑 단계와, 상기 저지 대역 부분 상의 복수의 서브·서브 밴드를, 상기 통과 대역 부분 상의 복수의 서브·서브 밴드에 따라서 고주파 QMF 서브 밴드에 매핑하는 제2의 매핑 단계를 포함한다.

상기의 점을 이해하기 위해서, 동일한 신호 성분의 한쌍의 양주파수와 음주파수의 사이에 어떤 관계가 존재하는지, 및 이들에 관련된 서브 밴드 지수를 검토하는 것이 유익하다.

상술한 바와같이, 복소 QMF 영역에 있어서, 정현파 스펙트럼은, 양주파수 및 음주파수를 양쪽 모두 가지고 있다. 즉, 정현파 스펙트럼은, 이들 중의 한쪽의 주파수를 1개의 QMF 서브 밴드의 통과 대역에 가지고, 다른쪽의 주파수를 인접하는 서브 밴드의 저지 대역에 갖는다. QMF 변환이 홀수 스택 변환인 것을 고려하면, 그러한 신호 성분쌍을 도 17에 나타낼 수 있다.

도 17은, 복소 QMF 영역에 있어서의, 정현파를 위한 통과 대역 성분과 저지 대역 성분간의 관계를 나타내는 도면이다.

여기에 있어서, 회색의 영역은 서브 밴드의 저지 대역을 나타낸다. 서브 밴드의 통과 대역 상의 임의의 정현파 신호(실선으로 표시한다)에 대해서, 이 에일리어싱 부분(파선으로 표시한다)이 인접하는 서브 밴드의 저지 대역에 위치한다(쌍으로 된 2개의 주파수 성분이 쌍두 화살표에 의해 관련되어져 있다).

정현파 신호는, 이하의 (식 17)에 표시하는 주파수(f₀)를 갖는다.

[수 17]

상기 주파수(f₀)를 갖는 정현파 신호에 대해서, 이 통과 대역 성분은, 이하의 (식 18)을 만족하는 경우, k번째의 서브 밴드에 존재한다.

[수 18]

또한, 그 저지 대역 성분은, 이하의 (식 19)를 만족하는 k^∼번째의 서브 밴드에 존재한다.

[수 19]

서브 밴드가 2Q개의 서브·서브 밴드로 분해될 경우, 상기의 관계는, 보다 높은 주파수 분해능을 이용하여, 이하의 (식 20)에 나타내는 바와같이 상세하게 표시된다.

[수 20]

따라서, 본 실시 형태에 있어서, 저지 대역 상의 서브·서브 밴드를 HF 서브 밴드에 매핑하기 위해서는, 통과 대역 상의 서브·서브 밴드의 매핑 결과에 관련될 필요가 있다. 이러한 처리에 대한 동기는, HF 성분에 상측 방향으로 시프트된 경우에도, LF 성분의 주파수쌍을 쌍 그대로 유지하는 것이다.

이 때문에, 우선, 통과 대역 상의 서브·서브 밴드를 HF 서브 밴드에 매핑하는 것은 명백한 것이다. 스케일링된 서브·서브 밴드의 주파수의 중심 주파수와, QMF 변환의 주파수 분해능을 고려하면, 매핑 함수는 m(k, q)에 의해 이하의 (식 21)과 같이 표시된다.

[수 21]

k_LF가 홀수인 경우, q＝－Q, －Q＋1, …, －1이며, k_LF가 짝수인 경우, q＝0, 1, …, Q－1이다. 여기서, 이하의 (식 22)에 표시하는 함수는, 음의 무한대에 가장 가까운 x의 정수를 구하기 위한 사사오입 처리를 나타낸다.

[수 22]

또한, 상방향 스케일링에 의해 (t/2＞1), 1개의 HF 서브 밴드가 복수의 서브·서브 밴드 매핑 소스를 갖는 것이 가능하다. 즉, m(k, q₁)＝m(k, q₂), 또는, m(k₁, q₁)＝m(k₂, q₂)로 하는 것이 가능하다. 따라서, HF 서브 밴드는, 이하의 (식23)에 표시하는 바와같이, LF 서브 밴드의 서브·서브 밴드를 복수 조합한 것으로 할 수 있다.

[수 23]

k_LF가 홀수인 경우, q＝－Q, －Q＋1, …, －1이며, k_LF가 짝수인 경우, q＝0, 1, …, Q－1이다.

다음에, 주파수쌍 및 서브 밴드 지수와의 상기 관계를 받아, 저지 대역 상의 서브·서브 밴드의 매핑 함수는, 이하와 같이 확립할 수 있다.

LF 서브 밴드(k_LF)를 고려하면, 서브·서브 밴드의 통과 대역 상의 매핑 함수는, 이하와 같이, 제1의 단계에 의해 이미 결정되어 있다. k_LF가 홀수인 경우, m(k_LF, －Q), m(k_LF, －Q＋1), …, m(k_LF, －1)이며, 또한 k_LF가 짝수인 경우, m(k_LF, 0), m(k_LF, 1), …, m(k_LF, Q－1)이며, 저지 대역 부분에 관련된 통과 대역은, 이하의 (식 24)에 의해 매핑할 수 있다.

[수 24]

「조건 a」는, k_LF가 짝수이고, 또한 이하의 (식 25)가 짝수인 경우, 또는 k_LF가 홀수이고, 또한 이하의 (식 26)이 짝수인 경우의 어느 하나를 나타낸다.

[수 25]

[수 26]

또한, 상술한 바와 같이, 이하의 (식 27)은, 음의 무한대에 가장 가까운 x의 정수를 구하기 위한 사사오입 처리를 나타낸다.

[수 27]

얻어진 HF 서브 밴드는, 이하의 (식 28)에 표시하는 바와같이, 관련된 모든 LF 서브·서브 밴드의 조합이다.

[수 28]

k_LF가 짝수인 경우, q＝－Q, －Q＋1, …, －1이며, k_LF가 홀수인 경우, q＝0, 1, …, Q－1이다.

마지막으로, 통과 대역 및 저지 대역의 모든 매핑 결과를 조합함으로써, 이하의 (식 29)에 나타내는 바와같이, HF 서브 밴드를 형성한다.

[수 29]

또한, QMF 영역에 있어서의 상기의 피치 시프트 방법은, 고주파의 품질 저하 및 처리 과정에서 생길 수 있는 문제의 어느쪽에 대해서나 유익하다.

우선, 모든 패치가 동일한 최소의 신장 계수를 가지게 되고, 이에 따라(시간 신장 시에 생성되는 오신호 성분에 의해 일어나는) 고주파의 노이즈가 저감된다. 다음에, 일과성의 열화의 기여 원인이 모두 회피된다. 즉, 시간 영역의 재샘플링 처리가 행해지지 않는다는 것이다. 즉, 동일한 신장 계수가 모든 패치에 대하여 이용되고, 이에 따라 위치 맞춤의 어긋남이 일어날 가능성이 본질적으로 배제된다.

또한, 본 실시의 형태에는, 주파수 분해능에 있어서 몇가지 결점이 있는 것에도 유의해야 한다. 서브·서브 밴드의 필터링을 채용함으로써, 주파수 분해능이 π/M부터 π/(2Q·M)으로 상승되었는데, 시간 영역 재샘플링이 높은 주파수 분해능(π/L)보다도 여전히 낮다. 그러나, 인간의 귀는, 고주파 신호 성분에 대하여 민감하지 않은 것을 고려하면, 본 실시의 형태에 의해 얻어진 피치 시프트 결과는, 재샘플링 방법에 의해 얻어진 것과, 지각적으로 조금도 변함이 없는 것으로 증명된다.

상기와는 별도로, 실시의 형태 1의 HBE 방식과 비교하여, 본 실시의 형태의 HBE 방식은, 1개의 저차 패치만 시간 신장 처리가 필요하기 때문에, 연산량이 저감된다는 추가의 이점도 얻어진다.

이 경우도 또한, 연산량의 저감은, 변환으로부터 기여하는 연산량을 고려하는 것만으로, 대략적으로 분석하는 것이 가능하다.

상기의 연산량의 분석에 있어서의 가정을 받아, 본 실시의 형태의 HF 스펙트럼 제너레이터에 따른 변환 연산량은, 이하와 같이 어림셈된다.

[수 30]

따라서, 표 1은 이하와 같이 갱신된다.

[표 2]

본 발명은, 저비트 레이트의 오디오 부호화를 위한 새로운 HBE 기술이다. 이 기술을 이용하면, QMF 영역에서 LF 부분의 시간 신장 및 주파수 확장을 행하여 광대역 신호의 HF 부분을 생성함으로써, 광대역 신호를 저주파수 대역 신호에 의거하여 재구축하는 것이 가능하다. 선행 기술의 HBE 기술과 비교하면, 본 발명에 의해, 동등한 음질이 얻어지고, 또한 연산량이 대폭 저감된다. 이러한 기술은, 휴대 전화나 텔레비전 회의 등의, 오디오 코덱이 저연산량이고 또한 저비트 레이트로 동작하는 어플리케이션 등에 도입할 수 있다.

또한, 블록도(도 6, 7, 13, 14 등)의 각 기능 블록은 전형적으로는 집적 회로인 LSI로서 실현된다. 이들은 개별로 1칩화되어도 되고, 일부 또는 전부를 포함하도록 1칩화되어도 된다.

여기서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 불릴수도 있다.

또한, 집적 회로화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 실현해도 된다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로 셀의 접속이나 설정을 재구성 가능한 리콘피규러블·프로세서를 이용해도 된다.

나아가, 반도체 기술의 진보 또는 파생하는 별도 기술에 의해 LSI로 치환하는 집적 회로화의 기술이 등장하면, 당연히, 그 기술을 이용하여 기능 블록의 집적화를 행해도 된다.

또한, 각 기능 블록 중, 부호화 또는 복호화의 대상이 되는 데이터를 저장하는 수단만 1칩화하지 않고 별도 구성으로 해도 된다.

<산업상의 이용 가능성>

본 발명은, 저비트 레이트 오디오 부호화를 위한 새로운 고조파 대역 확장(HBE) 기술에 관한 것이다. 이 기술을 이용하면, QMF 영역에서 저주파(LF) 부분의 시간 신장 및 주파수 확장을 행함으로써 광대역 신호의 고주파(HF) 부분을 생성함으로써, 광대역 신호를 저주파 대역 신호에 의거하여 재구축하는 것이 가능하다. 선행 기술의 HBE 기술과 비교하면, 본 발명에 의해 동등한 음질이 얻어지고, 또한 연산량이 대폭 저감된다. 이러한 기술은, 휴대전화 나 텔레비전 회의 등의, 오디오 코덱이 저연산량이고 또한 저비트 레이트로 동작하는 어플리케이션 등에 도입할 수 있다.

501∼503, 602, 604, 605 : 대역 통과부
504∼506 : 샘플링부
507∼509, 601, 1404, 1503 : QMF 변환부
510∼512, 603 : 페이즈 보코더
513∼515, 608∼610, 1407, 1505, 1509 : 지연 조정부
516, 611, 1410, 1511, 1512 : 가산부
606, 607 : 주파수 확장부 1401, 1501 : 역다중화부
1402, 1502 : 복호부 1403 : 시간 재샘플링부
1405, 1504 : 시간 신장부 1406, 1508 : T―F 변환부
1408, 1507 : HF 후처리부 1409, 1510 : 역 T―F 변환부
1506 : 피치 시프트부

Claims

저주파수 대역 신호로부터 전대역 신호를 생성하는 대역 확장 방법으로서,
상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하는 제1의 변환 단계와,
상기 QMF 영역에서 상기 저주파수 대역 신호를 시간 신장시킴으로써, 저차(低次) 고조파 패치를 생성하는 저차 고조파 패치 생성 단계와,
상기 저차 고조파 패치에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고, 상기 복수개의 신호로부터 고주파 QMF 스펙트럼을 생성하는 고주파 생성 단계와,
고주파 에너지의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정 단계와,
수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전대역 신호를 생성하는 전대역 생성 단계를 포함하는 대역 확장 방법.
청구항 1에 있어서,
상기 저차 고조파 패치 생성 단계는,
상기 저주파수 대역 신호를 제2의 저주파 QMF 스펙트럼으로 변환하는 제2의 변환 단계를 포함하고,
상기 제2의 저주파 QMF 스펙트럼은 상기 제1의 저주파 QMF 스펙트럼보다도 높은 주파수 분해능을 갖는 대역 확장 방법.
청구항 1에 있어서,
상기 고주파 생성 단계는,
상기 저차 고조파 패치를 대역 통과시킴으로써 복수개의 대역 통과시킨 패치를 생성하는 패치 생성 단계와,
대역 통과시킨 상기 복수개의 패치를 각각 고주파에 매핑하여 복수개의 고차(高次) 고조파 패치를 생성하는 고차 생성 단계와,
상기 복수개의 고차 고조파 패치를 상기 저차 고조파 패치와 합산하는 합산 단계를 포함하는 대역 확장 방법.
청구항 3에 있어서,
상기 고차 생성 단계는,
대역 통과시킨 패치에 있어서의 각 QMF 서브 밴드를 복수의 서브·서브 밴드로 나누는 분해 단계와,
상기 복수의 서브·서브 밴드를 복수의 고주파 QMF 서브 밴드에 매핑하는 매핑 단계와,
상기 복수의 서브·서브 밴드의 매핑 결과를 조합하는 조합 단계를 포함하는 대역 확장 방법.
청구항 4에 있어서,
상기 매핑 단계는,
QMF 서브 밴드의 상기 복수의 서브·서브 밴드를 저지 대역 부분과 통과 대역 부분으로 분할하는 분할 단계와,
상기 통과 대역 부분 상의 복수의 서브·서브 밴드의 전위된 중심 주파수를, 패치의 차수에 의존하는 계수로 산출하는 주파수 산출 단계와,
상기 통과 대역 부분 상의 복수의 서브·서브 밴드를, 상기 중심 주파수에 따라 복수의 고주파 QMF 서브 밴드에 매핑하는 제1의 매핑 단계와,
상기 저지 대역 부분 상의 복수의 서브·서브 밴드를, 상기 통과 대역 부분 상의 복수의 서브·서브 밴드에 따라 고주파 QMF 서브 밴드에 매핑하는 제2의 매핑 단계를 포함하는 대역 확장 방법.
저주파수 대역 신호로부터 전 대역 신호를 생성하는 대역 확장 장치로서,
상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하는 제1의 변환부와,
상기 QMF 영역에서 상기 저주파수 대역 신호를 시간 신장시킴으로써, 저차 고조파 패치를 생성하는 저차 고조파 패치 생성부와,
상기 저차 고조파 패치에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고, 상기 복수개의 신호로부터 고주파 QMF 스펙트럼을 생성하는 고주파 생성부와,
고주파 에너지의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정부와,
수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전대역 신호를 생성하는 전대역 생성부를 구비하는 대역 확장 장치.
삭제
저주파수 대역 신호로부터 전대역 신호를 생성하는 집적 회로로서,
상기 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 제1의 저주파 QMF 스펙트럼을 생성하는 제1의 변환부와,
상기 QMF 영역에서 상기 저주파수 대역 신호를 시간 신장시킴으로써, 저차 고조파 패치를 생성하는 저차 고조파 패치 생성부와,
상기 저차 고조파 패치에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고, 상기 복수개의 신호로부터 고주파 QMF 스펙트럼을 생성하는 고주파 생성부와,
고주파 에너지의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정부와,
수정된 상기 고주파 QMF 스펙트럼과, 상기 제1의 저주파 QMF 스펙트럼을 조합함으로써 상기 전대역 신호를 생성하는 전대역 생성부를 구비하는 집적 회로.
부호화 정보로부터, 부호화된 저주파수 대역 신호를 분리하는 분리부와,
상기 부호화된 저주파수 대역 신호를 복호화하는 복호부와,
상기 복호부에 의한 복호화에 의해 생성된 저주파수 대역 신호를 직교 미러 필터 뱅크(QMF) 영역으로 변환함으로써, 저주파 QMF 스펙트럼을 생성하는 변환부와,
QMF 영역에서 상기 저주파수 대역 신호를 시간 신장시킴으로써, 저차 고조파 패치를 생성하는 저차 고조파 패치 생성부와,
상기 저차 고조파 패치에 서로 다른 시프트 계수를 적용함으로써, 피치 시프트시킨 복수개의 신호를 생성하고, 상기 복수개의 신호로부터 고주파 QMF 스펙트럼을 생성하는 고주파 생성부와,
고주파 에너지의 조건을 만족하도록, 상기 고주파 QMF 스펙트럼을 수정하는 스펙트럼 수정부와,
수정된 상기 고주파 QMF 스펙트럼과, 상기 저주파 QMF 스펙트럼을 조합함으로써 전대역 신호를 생성하는 전대역 생성부와,
상기 전대역 신호를 직교 미러 필터 뱅크(QMF) 영역의 신호로부터 시간 영역의 신호로 변환하는 역변환부를 구비하는 오디오 복호 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제