KR100935961B1

KR100935961B1 - 부호화 장치 및 복호화 장치

Info

Publication number: KR100935961B1
Application number: KR1020037008615A
Authority: KR
Inventors: 츠시마미네오; 노리마츠다케시; 니시오고스케; 다나카나오야
Original assignee: 파나소닉 주식회사
Priority date: 2001-11-14
Filing date: 2002-11-07
Publication date: 2010-01-08
Also published as: EP1701340A3; DE60214027T2; WO2003042979A2; US7509254B2; WO2003042979A3; US7783496B2; USRE44600E1; USRE47935E1; US20090157393A1; EP1444688A2; CN100395817C; CN1527995A; DE60214027D1; JP2009116371A; JP5048697B2; US20030093271A1; USRE48145E1; EP1701340A2; EP1444688B1; EP1701340B1

Abstract

부호화 장치(200)는 시간 영역의 입력 신호를 저주파 스펙트럼을 포함하는 주파수 스펙트럼으로 변환하는 MDCT부(202), 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 확장 데이터를 생성하는 BWE 부호화부(204), 및 MDCT부(202)에 의해 얻어진 저주파 스펙트럼 및 BWE 부호화부(204)에 의해 얻어진 확장 데이터를 부호화하여 출력하는 부호화 데이터 스트림 생성부(205)를 구비한다. BWE 부호화부(204)는 확장 데이터로서 (i) MDCT부(202)에 의해 얻어진 저주파 스펙트럼을 형성하는 다수의 하위 부대역 중 고주파 스펙트럼으로서 복제되는 하위 부대역을 지정하는 제1 파라미터, 및 (ii) 복제된 후의 상기 하위 부대역의 게인을 지정하는 제2 파라미터를 생성한다.

Description

부호화 장치 및 복호화 장치{ENCODING DEVICE AND DECODING DEVICE}

본 발명은 직교 변환 등의 방법을 이용하여 음성이나 음악신호 등의 오디오 신호를 시간 영역에서 주파수 영역으로 변환함으로써 얻어진 신호를, 보다 적은 양의 부호화 비트 스트림으로 부호화함으로써 데이터를 압축하는 부호화 장치와, 부호화 데이터 스트림의 수신 시에 데이터를 신장하는 복호화 장치에 관한 것이다.

오디오 신호의 부호화 및 복호화 방법은 현재까지 굉장히 많이 개발되었다. 특히 요즈음에는, ISO/IEC에서 국제 표준화된 IS13818-7이 공지되어, 고효율로 고음질의 재생을 위한 부호화 방법으로서 높이 평가되고 있다. 이 부호화 방식은 AAC라 한다. 근래에, 이 AAC가 MPEG4라 불리는 표준에 채용되어, 상기 IS13818-7에 몇 개의 확장 기능을 추가로 구비한 MPEG4-AAC라 불리는 방식이 개발되었다. 부호화 과정의 일례가 MPEG4-AAC의 유익한 부분에 기술되어 있다.

다음은 도 1을 참조하여, 종래의 방법을 이용한 오디오 부호화 장치에 관해 설명한다. 도 1은 종래의 부호화 장치(100)의 구조를 나타내는 블록도이다. 이 부호화 장치(100)는 스펙트럼 증폭부(101), 스펙트럼 양자화부(102), 호프만 부호화부(103) 및 부호화 데이터 스트림 전송부(104)를 포함한다. 아날로그 오디오 신호를 고정 주파수로 표본화하여 얻어진 오디오 이산 신호 스트림은, 일정한 시간 간격으로 일정한 수의 샘플로 분할되고, 도시하지 않은 시간-주파수 변환부에 의해 주파수 영역의 데이터로 변환되어, 부호화 장치(100)의 입력 신호로서 스펙트럼 증폭부(101)에 송신된다. 스펙트럼 증폭부(101)는 미리 정해진 대역마다 어떤 하나의 게인을 갖는 이 미리 정해진 대역에 포함되는 스펙트럼을 증폭한다. 스펙트럼 양자화부(102)는 증폭된 스펙트럼을 미리 정해진 변환식으로 양자화한다. AAC 방식의 경우에는, 부동소수로 표현된 주파수 스펙트럼 데이터를 정수값으로 반올림함으로써 양자화가 행해진다. 호프만 부호화부(103)는 양자화된 스펙트럼 데이터를 몇 개의 그룹으로 호프만 부호화하고, 스펙트럼 증폭부(101)에서 미리 정해진 대역마다의 게인과, 양자화를 위한 변환식을 지정하는 데이터를 호프만 부호화하여, 그 부호들을 부호화 데이터 스트림 전송부(104)에 보낸다. 호프만 부호화된 부호화 데이터 스트림은 전송로나 기록매체를 통해 부호화 데이터 스트림 전송부(104)에서 복호화장치로 전송되어, 복호화 장치에 의해 시간 영역의 오디오 신호로 복원된다. 종래의 부호화 장치는 상술한 바와 같이 동작한다.

종래의 부호화 장치(100)에서는, 데이터량의 압축능력이 호프만 부호화부(103)의 성능에 달려있어, 높은 압축률, 요컨대, 적은 데이터량으로 부호화가 행해질 때는, 스펙트럼 증폭부(101)에서 게인을 충분히 낮추어, 스펙트럼 양자화부(102)에 의해 얻어지는 양자화 스펙트럼 스트림을 호프만 부호화부(103)에서 데이터 사이즈가 작아지도록 부호화해야 한다. 그러나, 이 방법에 의해 데이터량을 줄이는 부호화가 행해지면, 음성 및 음악의 재생 대역이 좁아지게 된다. 그래서, 청음 시에 음이 탁해지는 것을 부정할 수 없다. 그 결과, 음질을 유지할 수 없는 문제가 생긴다.

본 발명의 목적은, 상술한 문제점에 비추어서, 높은 압축률로 오디오 신호를 부호화할 수 있는 부호화 장치, 및 부호화 오디오 신호를 복호화하여 광대역 주파수 스펙트럼 데이터 및 광대역 오디오 신호를 재생할 수 있는 복호화 장치를 제공하는 것이다.

상기 문제를 해결하기 위해, 본 발명에 의한 부호화 장치는 입력 신호를 부호화하는 부호화 장치로서, 시간 영역의 입력 신호를 저주파 스펙트럼을 포함하는 주파수 스펙트럼으로 변환하는 시간-주파수 변환부; 상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 확장 데이터를 생성하는 대역 확장부; 및 상기 저주파 스펙트럼 및 상기 확장 데이터를 부호화하여, 그 부호화된 저주파 스펙트럼 및 확장 데이터를 출력하는 부호화부를 구비하며, 상기 대역 확장부는 상기 확장 데이터로서 제1 파라미터 및 제2 파라미터를 생성하고, 상기 제1 파라미터는 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 고주파 스펙트럼으로서 복제할 부분 스펙트럼을 지정하고, 상기 제2 파라미터는 복제된 후의 상기 부분 스펙트럼의 게인을 지정한다.

상술한 바와 같이, 본 발명의 부호화 장치는 낮은 비트 레이트로 광대역의 오디오 부호화 데이터 스트림의 제공을 가능하게 한다. 저주파 성분에 관해서, 본 발명의 부호화 장치는 호프만 부호화법 등의 압축 기술을 이용하여 그 스펙트럼을 부호화한다. 한편, 고주파 성분에 관해서는, 그 스펙트럼을 부호화하는 것이 아니 라, 주로 고주파 스펙트럼을 치환하는 저주파 스펙트럼을 복제한 데이터만을 부호화한다. 따라서, 고주파 성분을 나타내는 부호화 데이터 스트림에 의해 소비되는 데이터량이 감소될 수 있는 효과가 있다.

또한, 본 발명의 복호화 장치는 부호화 신호를 복호화하는 복호화 장치로서, 상기 부호화 신호는 저주파 스펙트럼 및 확장 데이터를 포함하고, 상기 확장 데이터는 상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 제1 및 제2 파라미터를 포함하며, 상기 복호화 장치는, 상기 부호화 신호를 복호화함으로써 상기 저주파 스펙트럼 및 상기 확장 데이터를 생성하는 복호화부; 상기 저주파 스펙트럼, 제1 파라미터 및 제2 파라미터로부터 상기 고주파 스펙트럼을 생성하는 대역 확장부; 및 상기 생성된 고주파 스펙트럼 및 상기 저주파 스펙트럼을 조합함으로써 얻어진 주파수 스펙트럼을 시간 영역의 신호로 변환하는 주파수-시간 변환부를 구비하며, 상기 대역 확장부는 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 제1 파라미터에 의해 지정된 부분 스펙트럼을 복제하고, 복제된 후의 상기 부분 스펙트럼의 게인을 상기 제2 파라미터에 따라 결정하여, 상기 얻어진 부분 스펙트럼을 상기 고주파 스펙트럼으로서 생성한다.

본 발명의 복호화 장치에 의하면, 저주파 성분의 사본에 적합한 게인 조정 등의 조작을 부가함으로써 고주파 성분이 생성되기 때문에, 적은 양의 데이터를 갖는 부호화 데이터 스트림으로부터 광대역 음성이 재생될 수 있는 효과가 있다.

또한, 상기 대역 확장부는 생성된 고주파 스펙트럼에 노이즈 스펙트럼을 가산할 수도 있고, 상기 주파수-시간 변환부는 상기 노이즈 스펙트럼이 가산된 상기 고주파 스펙트럼 및 상기 저주파 스펙트럼을 조합함으로써 얻어진 주파수 스펙트럼을 시간 영역의 신호로 변환할 수도 있다.

본 발명의 복호화 장치에 의하면, 고주파 스펙트럼에 노이즈 스펙트럼을 가산함으로써, 복제된 저주파 성분에 게인 조정이 행해지기 때문에, 고주파 스펙트럼의 음조를 극단적으로 높이지 않고 주파수 대역을 확장할 수 있는 효과가 있다.

도 1은 종래의 부호화 장치의 구성을 나타내는 블록도,

도 2는 본 발명의 제1 실시형태에 따른 부호화 장치의 구성을 나타내는 블록도,

도 3a는 MDCT부에 의해 출력된 MDCT 계수 열을 나타내는 도면,

도 3b는 도 3a에 나타낸 MDCT 계수 중 0번째∼(maxline - 1)번째의 MDCT 계수를 나타내는 도면,

도 3c는 도 2에 나타낸 BWE 부호화부에서의 확장 오디오 부호화 데이터 스트림 생성 방법의 일례를 나타내는 도면,

도 4a는 원음의 MDCT 계수 열을 나타내는 파형도,

도 4b는 BWE 부호화부에 의한 치환에 의해 생성된 MDCT 계수 열을 나타내는 파형도,

도 4c는 도 4b에 나타낸 MDCT 계수 열에 게인 제어가 일어날 때 생성되는 MDCT 계수 열을 나타내는 파형도,

도 5a는 통상의 오디오 부호화 비트 스트림의 일례를 나타내는 도면,

도 5b는 본 실시형태에 따른 부호화 장치에 의해 출력된 오디오 부호화 비트 스트림의 일례를 나타내는 도면,

도 5c는 도 5b에 나타낸 확장 오디오 부호화 데이터 스트림에 기술된 확장 오디오 부호화 데이터 스트림의 일례를 나타내는 도면,

도 6은 도 2에 나타낸 부호화 장치로부터 출력된 오디오 부호화 비트 스트림을 복호화하는 복호화 장치의 구성을 나타내는 블록도,

도 7은 제2 실시형태의 BWE 부호화부에서의 확장 주파수 스펙트럼 데이터 생성 방법을 나타내는 도면,

도 8a는 제2 실시형태와 동일한 방식으로 분할된 하위 및 상위 부대역을 나타내는 도면,

도 8b는 하위 부대역(A)에서의 MDCT 계수열의 일례를 나타내는 도면,

도 8c는 하위 부대역(A)에서의 MDCT 계수의 순서를 반전함으로써 얻어진 부대역(As)에서의 MDCT 계수열의 일례를 나타내는 도면,

도 8d는 하위 부대역(A)에서의 MDCT 계수의 부호를 반전함으로써 얻어진 부대역(Ar)을 나타내는 도면,

도 9a는 상위 부대역(h0)에 지정된 하위 부대역(A)에서의 MDCT 계수의 일례를 나타내는 도면,

도 9b는 노이즈 생성부에 의해 생성된 하위 부대역(A)에서와 동일한 수의 MDCT 계수의 일례를 나타내는 도면,

도 9c는 도 9a에 나타낸 하위 부대역(A)에서의 MDCT 계수 및 도 9b에 나타낸 노이즈 생성부에 의해 생성된 MDCT 계수에 의해 생성되어, 상위 부대역(h0)을 치환하는 MDCT 계수의 일례를 나타내는 도면,

도 10a는 시간(t0)에서의 한 프레임의 MDCT 계수를 나타내는 도면,

도 10b는 시간(t1)에서의 다음 프레임의 MDCT 계수를 나타내는 도면,

도 10c는 시간(t2)에서의 그 다음 프레임의 MDCT 계수를 나타내는 도면,

도 11a는 시간(t0)에서의 한 프레임의 MDCT 계수를 나타내는 도면,

도 11b는 시간(t1)에서의 다음 프레임의 MDCT 계수를 나타내는 도면,

도 11c는 시간(t2)에서의 그 다음 프레임의 MDCT 계수를 나타내는 도면,

도 12는 QMF 필터를 이용하여 부호화된 오디오 부호화 비트 스트림으로부터 광대역 시간-주파수 신호를 복호화하는 복호화 장치의 구성을 나타내는 블록도,

도 13은 제6 실시형태의 복호화 장치에 의해 복호화된 시간-주파수 신호의 일례를 나타내는 도면이다.

이하, 본 발명의 실시형태에 따른 부호화 장치 및 복호화 장치에 관해, 도면(도 2∼도 13)을 참조하여 설명한다.

(제1 실시형태)

우선, 부호화 장치를 설명한다. 도 2는 본 발명의 제1 실시형태에 따른 복호화 장치(200)의 구성을 나타내는 블록도이다. 부호화 장치(200)는, 저역 스펙트럼을 고정 주파수 대역폭의 부대역으로 분할하여, 그 안에 포함된 고주파 대역에 복제되어야 하는 부대역을 지정하는 데이터를 포함한 오디오 부호화 비트 스트림을 출력하는 장치이다. 부호화 장치(200)는 전처리부(201), MDCT부(202), 양자화부(203), BWE 부호화부(204) 및 부호화 데이터 스트림 생성부(205)를 구비한다. 전처리부(201)는 입력된 오디오 신호가, 부호화 및/또는 복호화에 따른 양자화 왜곡에 의한 음질 변화를 고려하여, 시간 분해능에 보다 높은 우선권을 부여하는 2,048 샘플보다 적은 프레임마다(SHORT 윈도우) 양자화되어야 하는지, 또는 2,048 샘플(LONG 윈도우)마다 양자화되어야 하는지를 판정한다. MDCT부(202)는 전처리부(201)에서 출력된 시간 영역의 오디오 이산 신호 스트림을 변형 이산 코사인 변환(MDCT)으로 변환하여, 주파수 영역의 주파수 스펙트럼을 출력한다. 양자화부(203)는 MDCT부(202)에서 출력된 주파수 스펙트럼의 저주파 대역을 양자화하여, 호프만 부호화한 뒤 출력한다. BWE 부호화부(204)는, MDCT부(202)에 의해 얻어진 MDCT 계수를 수신하면, 수신한 스펙트럼 중 저역 스펙트럼을 고정 주파수 대역폭을 갖는 부대역으로 분할하고, MDCT부(202)로부터 출력된 고역 스펙트럼에 기초하여, 고역 스펙트럼을 치환하여 고주파 대역에 복제되어야 하는 하위 부대역을 지정한다. BWE 부호화부(204)는 상위 부대역마다 지정된 하위 부대역을 나타내는 확장 주파수 스펙트럼 데이터를 생성하고, 생성된 확장 주파수 스펙트럼 데이터를 필요에 따라 양자화하여, 호프만 부호화함으로써 확장 오디오 데이터 스트림을 출력한다. 부호화 데이터 스트림 생성부(205)는 양자화부(203)에서 출력된 저역 오디오 데이터 스트림과 BWE 부호화부(204)에서 출력된 확장 오디오 부호화 데이터 스트림을 AAC 표준 하에 규정된 오디오 부호화 비트 스트림의 오디오 부호화 데이 터 스트림 섹션 및 확장 오디오 부호화 데이터 스트림 섹션에 각각 기록하여, 이들을 외부에 출력한다.

이하, 상기와 같이 구성된 부호화 장치(200)의 동작을 설명한다. 우선, 예를 들어 44.1㎑의 표본화 주파수로 표본화된 오디오 이산 신호 스트림이 2,048 샘플을 포함하는 프레임마다 전처리부(201)에 입력된다. 한 프레임 내의 오디오 신호는 2,048 샘플로 한정되는 것은 아니고, 후술하는 복호화 장치의 설명을 쉽게 하기 위해 다음 설명에서는 2,048 샘플의 경우를 예로 한다. 전처리부(201)는 입력된 오디오 신호에 기초하여, 그 입력된 오디오 신호가 LONG 윈도우로 부호화되어야 하는지, SHORT 윈도우로 부호화되어야 하는지를 판정한다. 이하, 전처리부(201)가 오디오 신호를 LONG 윈도우로 부호화한다고 판정한 경우에 관해 설명한다.

전처리부(201)에서 출력된 오디오 이산 신호 스트림은 일정 간격으로 시간 영역의 이산 신호로부터 주파수 스펙트럼 데이터로 변환되어 출력된다. MDCT는 시간-주파수 변환에 공통이다. 간격으로는 128, 256, 512, 1,024, 2,048 샘플 중 어느 것이나 이용된다. MDCT에서, 시간 영역의 이산 신호의 샘플 수는 변환된 주파수 스펙트럼 데이터의 샘플 수와 동일할 수도 있다. MDCT는 당업자에게 잘 알려진 기술이다. 여기서는, 전처리부(201)에서 출력된 2,048 샘플의 오디오 신호가 MDCT부(202)에 입력되어 MDCT가 행해진다는 가정 아래 설명한다. 또한, MDCT부(202)는 과거 프레임(2,048 샘플)과 새롭게 입력된 프레임(2,048 샘플)을 이용해 MDCT를 행하여 2,048 샘플의 MDCT 계수를 출력한다. MDCT는 일반적으로 식 1 등으로 주어진다.

<식 1>

Zi,n: 윈도우에 위치된 입력 오디오 샘플

n: 샘플 색인

k: MDCT 계수의 색인

i: 프레임 번호

N: 윈도우 길이

n0=(N/2+1)/2

일반적으로, 부호화 처리에서는, 상기와 같이 얻어진 주파수 스펙트럼 데이터를 완전 가역, 또는 데이터 압축에 상당하는 호프만 부호화 등의 비가역 부호로 표현하여, 부호화 데이터 스트림을 생성한다. 여기서, 저주파 성분에서 고주파 성분으로의 주파수 순서로 정렬된 2,048 샘플의 MDCT 계수 중 절반인, 0번째∼1,023번째의 저역 MDCT 계수는 양자화부(203)에 입력된다. 양자화부(203)는 입력된 MDCT 계수를 AAC 방식 등의 양자화 방법을 이용해 양자화하여, 저역 오디오 부호화 데이터 스트림을 생성한다. 일반적으로 AAC 등의 양자화 방법에서는, 양자화되는 MDCT 계수의 수가 한정되지 않는다. 따라서, 양자화부(203)는 입력된 저역 MDCT 계수를 모두 양자화할 수도 있고, 그중 일부를 양자화할 수도 있다. 여기서, 양자화부(203)는 MDCT 계수 중 0번째∼(maxline - 1)번째의 "maxline"의 계수를 양자화하여 부호화한다. 여기서, "maxline"은 종래의 부호화 장치에 의해 양자화되어 복 호화되는 MDCT 계수의 주파수 상한이다. 한편, MDCT부(202)에서 출력된 모든 MDCT 계수(2,048 계수)는 BWE 부호화부(204)에 입력된다.

도 2에 나타낸 BWE 부호화부(204)에서 확장 오디오 부호화 데이터 스트림을 생성하는 처리에 관해 도 3a∼3c를 참조하여 보다 상세히 설명한다. 도 3a는 MDCT부(202)에 의해 출력되는 MDCT 계수 열을 나타내는 도면이다. 도 3b는 도 3a에 나타낸 MDCT 계수 중, 양자화부(203)에 의해 부호화되는 0번째∼(maxline - 1)번째의 MDCT 계수를 나타낸다. 도 3c는 도 2에 나타낸 BWE 부호화부(204)에서 확장 오디오 부호화 데이터 스트림을 생성하는 방법의 일례를 나타내는 도면이다. 도 3a∼3c에서, 가로축은 주파수를 나타내며, 저주파에서부터 고주파로 0∼2,047의 번호가 MDCT 계수에 할당된다. 세로축은 MDCT 계수의 값을 나타낸다. 이들 도면에서, 주파수 스펙트럼은 주파수 방향으로 연속한 파형들로 표현된다. 그러나, 이들은 연속한 파형이 아니라 이산 스펙트럼이다. 도 3a에 도시한 바와 같이, MDCT부(202)에서 출력되는 2,048 MDCT 계수는 최대 대역폭의 표본화 주파수의 주파수 대역의 절반 폭에 일정 시간 주기로 표본화된 원음을 나타낼 수 있다. 일반적으로 종래의 부호화 장치에서는, 도 3a에 나타낸 MDCT 계수 중 청음에 중요한 저역 MDCT 계수들만, 예를 들어 "maxline"까지만 양자화되고 부호화되어, 복호화 장치에 송신된다. 따라서, BWE 부호화부(204)는, "maxline"의 고역 MDCT 계수를 나타내는 혹은 도 3a에 나타낸 고역 MDCT 계수 자체를 치환하는 확장 주파수 스펙트럼 데이터를 생성한다. 즉, BWE 부호화부(204)는, 0번째∼(maxline - 1)번째까지의 계수는 양자화부(203)에 의해 미리 부호화되기 때문에, 도 3c에 도시한 바와 같이, (maxline)번째∼(targetline - 1)번째 MDCT 계수를 부호화하는 것을 목적으로 하고 있다.

우선, BWE 부호화부(204)는 복호화 장치에서 데이터가 오디오 신호로서 재생되는 고주파 대역의 범위(구체적으로는, "maxline"에서 "targetline"까지의 주파수 범위)를 가정하고, 가정한 범위를 고정 주파수 대역폭을 갖는 부대역으로 분할한다. 또, BWE 부호화부(204)는 입력된 MDCT 계수 중 0번째∼(maxline - 1)번째 MDCT 계수를 포함하는 저주파 대역 전부 또는 일부를 분할하고, (maxline)번째∼2,047번째 MDCT 계수를 포함하는 각각의 상위 부대역을 치환할 수 있는 하위 부대역을 지정한다. 각 상위 부대역을 치환할 수 있는 하위 부대역으로서, 상위 부대역과의 에너지 차가 최소인 하위 부대역이 지정된다. 혹은, 절대값이 피크인 MDCT 계수의 주파수 영역에서의 위치가 고역 MDCT 계수의 위치에 가장 가까운 하위 부대역이 지정될 수도 있다.

도 3c에 나타낸 BWE 부호화부(204)의 경우, MDCT 계수의 번호를 나타내는 "startline", "targetline", "endline", "sbw" 사이에는 다음의 관계(식 2)가 있는 것으로 한다.

<식 2>

endline = maxline - shiftlen

startline = endline - W ·sbw

targetline = maxline + V ·sbw

W: 예컨대 4

V: 예컨대 8

여기서, "shiftlen"은 미리 설정된 값이 될 수도 있고, 입력된 MDCT 계수에 따라 산출될 수도 있으며, 그 값을 나타내는 데이터는 BWE 부호화부(204)에서 부호화될 수도 있다.

도 3c는 고주파 대역이 MDCT 계수의 "sbw" 샘플을 포함하는 주파수 폭을 갖는 각각 8개의 부대역, 즉 MDCT 계수(h0∼h7)로 나누어지는 경우를 나타내고, 저주파 대역은 각각 "sbw" 샘플을 갖는 4개의 MDCT 계수 부대역(A, B, C, D)을 가질 수 있다. 이 경우, 편의상 "startline"과 "endline" 사이의 범위는 4개의 부대역으로 나누어지고, "maxline"과 "targetline" 사이의 범위는 8개의 부대역으로 나누어지지만, 부대역의 수와 한 부대역 내의 샘플 수는 이것에 한정되는 것은 아니다. BWE 부호화부(204)는 주파수 폭이 "sbw"인 상위 부대역(h0∼h7)의 MDCT 계수를 치환하는 동일 주파수 폭 "sbw"의 하위 부대역(A, B, C, D)을 지정하여 부호화한다. 여기서 "치환"란, 얻어지는 MDCT 계수의 일부, 이 경우에는 A∼D의 부대역의 MDCT 계수를 상위 부대역(h0∼h7)의 MDCT 계수로서 복제하는 것을 의미한다. 이 치환은 상기 치환된 MDCT 계수에 대해 게인 제어가 실행되는 경우를 포함할 수도 있다.

BWE 부호화부(204)의 경우, 상위 부대역을 치환하는 하위 부대역의 표현에 필요한 데이터량은, 각 상위 부대역마다 4개의 하위 부대역(A∼D) 중 하나가 지정될 수 있으면 이 필요를 충족시키기 때문에, 상위 부대역(h0∼h7)당 기껏해야 2비트이다. 상술한 바와 같이, BWE 부호화부(204)는 어느 하위 부대역(A∼D)이 상위 부대역(h0∼h7)을 치환하는지를 나타내는 확장 주파수 스펙트럼 데이터를 부호화하 여, 그 하위 부대역의 확장 데이터 스트림으로 확장 오디오 부호화 데이터 스트림을 생성한다.

또한, BWE 부호화부(204)는 생성된 확장 오디오 부호화 데이터 스트림의 진폭을 조정한다. 도 4a는 원음의 MDCT 계수 열을 나타내는 파형도이다. 도 4b는 BWE 부호화부(204)에 의한 치환에 의해 생성된 MDCT 계수 열을 나타내는 파형도이다. 도 4c는 도 4b에 나타낸 MDCT 계수 열에 게인 제어가 일어날 때 생성되는 MDCT 계수 열을 나타내는 파형도이다. 도 4a에 도시한 바와 같이, BWE 부호화부(204)는 "maxline"에서 "targetline"까지의 고역 MDCT 계수를 다수의 대역으로 분할하여, 대역마다의 게인 데이터를 부호화한다. 게인 데이터의 부호화를 위해 "maxline"에서 "targetline"까지의 대역은, 도 3에 나타낸 상위 부대역(h0∼h7)과 동일한 방법 혹은 다른 방법에 의해 분할된다. 여기서는, 동일한 분할 방법이 이용되는 경우에 관해 도 4를 참조하여 설명한다.

도 4a에 도시한 바와 같이 상위 부대역(h0)에 포함된 원음의 MDCT 계수는 x(0), x(1), ‥·, x(sbw - 1)이고, 도 4b에 도시한 바와 같이 치환에 의해 얻어진 상위 부대역(h0)의 MDCT 계수는 r(0), r(1), ‥·, r(sbw - 1)이고, 도 4c에서의 부대역(h0)의 MDCT 계수는 y(0), y(1), ‥·, y(sbw - 1)이다. 그리고, x, r, y열에 대해 다음 식 3에 의해 게인(g0)이 얻어져, 부호화된다.

식 3

상위 부대역(h1∼h7)에 관해, 게인 데이터가 산출되어 상기와 같은 방법으로 부호화된다. 이들 게인 데이터(g0∼g7)도 확장 오디오 부호화 데이터 스트림에 소정의 비트 수로 부호화된다.

도 5에 도식적으로 나타낸 바와 같이, 상기와 같이 부호화된 확장 오디오 부호화 데이터 스트림이 부호화 장치(200)에서 출력된 오디오 확장 비트 스트림에 기술된다. 도 5a는 통상의 오디오 부호화 비트 스트림의 일례를 나타내는 도면이다. 도 5b는 본 실시형태에 따른 부호화 장치(200)에 의해 출력된 오디오 부호화 비트 스트림의 일례를 나타내는 도면이다. 도 5c는 도 5b에 나타낸 확장 오디오 부호화 데이터 스트림 섹션에 기술된 확장 오디오 부호화 데이터 스트림의 일례를 나타내는 도면이다. 오디오 부호화 비트 스트림이 도 5a에 도시한 바와 같이 스트림(1)의 프레임마다 형성되어 있는 경우, 부호화 장치(200)는 도 5b에 도시한 바와 같이 각 프레임의 일부(예컨대 어두운 영역)를 스트림(2)의 확장 오디오 부호화 비트 스트림 섹션으로서 사용한다. 이 확장 오디오 부호화 데이터 스트림 섹션은 MPEG-2 AAC 및 MPEG-4 AAC에 기술된 "data_stream_element"의 영역이다. 이 "data_stream_element"는 종래의 부호화 시스템의 기능이 확장되는 경우의 확장 데이터를 기술하기 위한 예비 영역이며, 어떠한 종류의 데이터가 기록되더라도 종래의 복호화 장치에 의해 오디오 부호화 데이터 스트림으로서 인식되지 않는다. 또한, "data_steam_element"는 오디오 부호화 데이터의 길이를 동일하게 유지하기 위해 "0" 등의 무의미한 데이터로 메우는 영역으로, 예를 들어 MPEG-2 AAC 및 MPEG-4 AAC에서의 Fill Element의 영역이다. 오디오 부호화 비트 스트림의 이 영역에 확 장 오디오 부호화 데이터 스트림을 기술함으로써, 본 발명의 오디오 부호화 비트 스트림이 종래의 복호화 장치에 의해 복호화되더라도 확장 오디오 부호화 데이터 스트림을 오디오 신호로서 재생할 때 발생하는 노이즈가 없어, 종래의 것과 동일한 대역폭을 갖는 오디오 신호가 재생될 수 있다.

또한, 도 5c에 도시한 바와 같이, 확장 오디오 부호화 데이터 스트림에는, 마지막 프레임의 확장 오디오 부호화 데이터와 동일한 방법으로 분할되는 하위 부대역(A∼D)이 사용되는지 여부를 나타내는 항목 및 각 상위 부대역(h0∼h7)의 MDCT 계수를 나타내는 항목이 기술된다. 각 상위 부대역(h0∼h7)의 MDCT 계수를 나타내는 항목에는, 지정된 하위 부대역(A∼D)을 나타내는 데이터 및 이들의 게인 데이터가 기술된다. 마지막 프레임에서 확장 오디오 부호화 데이터 스트림과 동일한 하위 부대역(A∼D)이 사용되는지 여부를 나타내는 항목에는, 마지막 프레임과 동일한 방식으로 분할된 하위 부대역 중 하나를 이용하여 상위 부대역(h0∼h7)의 MDCT 계수를 치환할 때는 "1"이 기재되고, 그렇지 않으면, 즉 마지막 프레임과는 다른 새로운 방식으로 분할된 하위 부대역(A∼D) 중 하나를 이용하여 치환할 때는 "0"이 기재된다. A∼D 중 지정된 하위 부대역을 나타내는 항목에는, 4개의 하위 부대역(A∼D) 중 하나를 지정하는 2비트의 데이터가 기술된다. 또한, 게인 데이터를 예를 들어 4비트로 기술된다. 이렇게 함으로써, 한 프레임의 고역 MDCT 계수는 마지막 프레임과 동일한 방식으로 분할된 하위 부대역(A∼D)이 상위 부대역(h0∼h7)을 치환할 경우, 1 + 8 ×(2 + 4) = 49비트의 확장 오디오 부호화 데이터 스트림으로 표현될 수 있다. 또한, 마지막 프레임과 동일한 하위 부대역(A ∼D)을 이용하는 프레임에서, 확장 오디오 부호화 데이터 스트림은 예를 들어 "1"의 값을 나타내는 1비트만으로 표현될 수 있다.

이에 따라, 본 발명의 부호화 장치(200)에 따른 오디오 신호 부호화 방식이 종래의 부호화 방식에 적용된 경우, 확장 오디오 부호화 데이터 스트림을 이용하여 적은 양의 데이터로 고주파 대역을 표현하는 것이 가능해져, 고주파 대역에서 광대역 오디오 음성을 풍부한 음성으로 재생하는 것이 가능해진다.

다음에, 복호화 장치를 설명한다.

복호화의 처리에서는, 입력된 오디오 부호화 데이터 스트림이 복호화되어 주파수 스펙트럼 데이터를 얻고, 주파수 영역의 주파수 스펙트럼은 시간 영역의 데이터로 변환되므로, 시간 영역의 오디오 신호가 재생된다.

도 6은 도 2에 나타낸 부호화 장치(200)로부터 출력된 오디오 부호화 비트 스트림을 복호화하는 복호화 장치(600)의 구성을 나타내는 블록도이다. 복호화 장치(600)는 확장 오디오 부호화 데이터 스트림을 포함하는 오디오 부호화 비트 스트림을 복호화하여, 광대역 주파수 스펙트럼 데이터를 출력한다. 복호화 장치(600)는 부호화 데이터 스트림 분할부(601), 역양자화부(602), IMDCT(Inversed Modified Discrete Cosine Transform)부(603), 노이즈 생성부(604), BWE 복호화부(605) 및 확장 IMDCT부(606)를 구비한다. 부호화 데이터 스트림 분할부(601)는 입력된 오디오 부호화 비트 스트림을 저주파 대역을 나타내는 오디오 부호화 데이터 스트림 및 고주파 대역을 나타내는 확장 오디오 부호화 데이터 스트림으로 분할하여, 분할된 오디오 부호화 데이터 스트림 및 확장 오디오 부호화 데이터 스트림을 각각 역양자 화부(602) 및 BWE 복호화부(605)에 출력한다. 역양자화부(602)는 오디오 부호화 비트 스트림으로부터 분할된 오디오 부호화 데이터 스트림을 역양자화하여, 저역 MDCT 계수를 출력한다. 여기서, 역양자화부(602)는 오디오 부호화 데이터 스트림과 확장 오디오 부호화 데이터 스트림을 모두 수신할 수도 있다. 또한, 양자화부(203)에서 양자화 방법으로서 AAC 방식이 사용되었다면, 역양자화부(602)는 AAC 방식에 따른 역양자화를 이용하여 MDCT 계수를 복원한다. 이것에 의해, 역양자화부(602)는 0번째∼(maxline - 1)번째의 저역 MDCT 계수를 복원하여 출력한다.

IMDCT부(603)는 역양자화부(602)에서 출력된 저역 MDCT 계수를 주파수-시간 변환하여, 시간 영역의 저역 오디오 신호를 출력한다. 구체적으로, IMDCT부(603)는 역양자화부(602)에서 출력된 저역 MDCT 계수를 수신하면, 한 프레임당 1,024 샘플의 오디오 출력이 얻어진다. 여기서, IMDCT부(603)는 1,024 샘플의 IMDCT 연산을 행한다. IMDCT 연산은 일반적으로 다음의 식 4로 주어진다.

<식 4>

n: 샘플 색인

i: 윈도우 색인

k: MDCT 계수의 색인

N: 윈도우 길이

n0=(N/2+1)/2

한편, 부호화 데이터 스트림 분할부(601)에 의해 오디오 부호화 비트 스트림으로부터 분할된 확장 오디오 부호화 데이터 스트림은 BWE 복호화부(605)에 출력된다. 또한, 역양자화부(602)에서 출력되는 0번째∼(maxline - 1)번째의 저역 MDCT 계수 및 노이즈 생성부(604)의 출력은 BWE 복호화부(605)에 입력된다. BWE 복호화부(605)의 동작의 상세에 관해서는 후술한다. BWE 복호화부(605)는 분할된 확장 오디오 부호화 데이터 스트림을 복호화함으로써 얻어지는 확장 주파수 스펙트럼 데이터에 기초하여 (maxline)번째∼2,047번째의 고역 MDCT 계수의 역양자화를 하여, 역양자화부(602)에 의해 얻어지는 0번째∼(maxline - 1)번째의 저역 MDCT 계수를 (maxline)번째∼2,047번째의 고역 MDCT 계수에 가산하여, O번째∼2,047번째의 광대역 MDCT 계수를 출력한다. 확장 IMDCT부(606)는 IMDCT부(603)에 의해 행해진 것의 2배의 샘플의 IMDCT 연산을 하여, 한 프레임당 2,048 샘플의 광대역 출력 오디오 신호를 얻는다.

이하, BWE 복호화부(605)의 동작을 보다 상세히 설명한다. BWE 복호화부(605)는 역양자화부(602)에 의해 얻어지는 0번째∼(maxline - 1)번째의 MDCT 계수와 확장 오디오 부호화 데이터 스트림을 이용하여, (maxline)번째∼(targetline)번째의 MDCT 계수를 복원한다. "startline", "endline", "maxline", "targetline", "sbw", "shiftlen"은 모두 부호화 장치(200) 끝의 BWE 부호화부(204)에 의해 이용된 것과 같은 값이다. 도 5c에 도시한 바와 같이, 확장 오디오 부호화 데이터 스트림에서는, 상위 부대역(h0∼h7)의 MDCT 계수 를 치환하는 하위 부대역(A∼D)을 나타내는 데이터가 부호화된다. 따라서, 그 데이터를 바탕으로, 상위 부대역(h0∼h7)의 MDCT 계수를 지정된 하위 부대역(A∼D)의 MDCT 계수가 각각 치환한다.

그 결과, BWE 복호화부(605)는 0번째∼(targetline)번째의 MDCT 계수를 얻는다. 또한 BWE 복호화부(605)는 확장 오디오 부호화 데이터 스트림에 있는 게인 데이터를 바탕으로 게인 제어를 한다. 도 4b에 도시한 바와 같이, BWE 복호화부(605)는 "maxline"에서 "targetline"까지의 각 상위 부대역(h0∼h7)에서의, 하위 부대역(A∼D)이 치환하는 MDCT 계수 열을 생성한다. 또한, 상위 부대역(h0)에서의 치환 MDCT 계수를 r(0), r(1), ‥·, r(sbw - 1)로 하고, 상위 부대역(h0)에 대해 확장 부호화 데이터 스트림에서 얻어지는 게인 데이터를 g0으로 하면, BWE 복호화부(605)는 다음의 관계식 5에 따라 도 4c에 도시한 바와 같이 게인 제어된 MDCT 계수 열을 얻을 수 있다. 구체적으로, 상위 부대역(h0)의 MDCT 계수를 y(0), y(1), ‥·, y(sbw - 1)로 하면, 게인 제어된 i번째 MDCT 계수 y(i)의 값이 다음 식 5로 주어진다.

<식 5>

yi = g0 ·ri

동일한 방식으로, 상위 부대역(h1∼h7)은 각각의 상위 부대역에 대한 게인 데이터(g1∼g7)를 치환에 의한 MDCT 계수에 곱함으로써 게인 제어된 MDCT 계수를 얻을 수 있다. 또한, 노이즈 생성부(604)는 백색 노이즈, 핑크 노이즈 혹은 저역 MDCT 계수 전부 또는 일부의 임의 조합인 노이즈를 생성하여, 그 생성된 노이즈를 게인 제어된 MDCT 계수에 가산한다. 이 때, 가산된 노이즈와 저주파 대역으로부터 복제된 스펙트럼과 조합된 스펙트럼의 에너지를 식 5로 표현한 스펙트럼의 에너지로 보정할 수 있다.

제1 실시형태에서는, 식 5에 따라 치환된 MDCT 계수에 곱해지는 게인 데이터의 부호화에 관해 설명하였다. 그러나, 게인 데이터로서는 상대적인 게인 값이 아닌 MDCT 계수의 에너지나 평균진폭 등 절대적인 값인 게인 데이터가 부호화 또는 복호화될 수도 있다.

상기와 같이 구성된 BWE 복호화부(605)를 이용하여, 적은 양의 데이터로 표현되는 확장 오디오 부호화 데이터 스트림이 이용되더라도, 고주파 대역에서 특히 풍부한 음성을 갖는 광대역 오디오 음성이 재생될 수 있다.

AAC 방식에 따른 부호화 장치(200) 및 복호화 장치(600)에 관해 설명하였지만, 본 발명의 부호화 장치 및 복호화 장치는 이것에 한정되지 않고 다른 부호화 방법이 사용될 수도 있다.

또한, 부호화 장치(200)에서는 0번째∼2,047번째 MDCT 계수가 MDCT부(202)에서 BWE 부호화부(204)로 출력된다. 그러나, BWE 부호화부(204)는 양자화부(203)에 의해 양자화된 MDCT 계수를 역양자화함으로써 얻어지는 양자화 왜곡을 포함하는 MDCT 계수를 추가로 수신할 수도 있다. 또한, BWE 부호화부(204)는 0번째∼(maxline - 1)번째의 하위 부대역에 대한 양자화부(203)의 출력 및 (maxline)번째∼(targetline - 1)번째 상위 부대역에 대한 MDCT부(202)의 출력을 각각 역양자화함으로써 얻어진 MDCT 계수를 수신할 수도 있다.

제1 실시형태에서는, 경우에 따라 확장 주파수 스펙트럼 데이터가 양자화 및 부호화되는 것을 설명하였다. 그러나, 물론 호프만 부호화 등의 가변 길이 부호화로 표현되는 부호화 대상 데이터(확장 주파수 스펙트럼 데이터)가 확장 오디오 부호화 데이터 스트림으로서 사용될 수도 있다. 이 부호화에 응하여, 복호화 장치는 확장 오디오 부호화 데이터 스트림을 역양자화할 필요 없이 호프만 부호 등의 가변 길이 부호를 복호화할 수도 있다.

또한, 제1 실시형태에서는, 본 발명의 부호화 및 복호화 방법이 MPEG-2 AAC 및 MPEG-4 AAC에 적용되는 경우를 설명하였다. 그러나, 본 발명은 이것에 한정되지 않고, MPEG-1 오디오 및 MPEG-2 오디오 등의 다른 부호화 방법이 적용될 수도 있다. MPEG-1 오디오 및 MPEG-2 오디오가 사용되면, 확장 오디오 부호화 데이터 스트림이 규격에 기재된 "ancillary_data"에 적용된다.

제1 실시형태에서는, 입력된 오디오 신호를 시간-주파수 변환함으로써 얻어진 주파수 스펙트럼(MDCT 계수) 내의 하위 부대역의 주파수 스펙트럼이 상위 부대역을 치환하는 것으로 설명하였다. 그러나, 본 발명은 이것에 한정되지 않고, 시간-주파수 변환에 의해 출력된 주파수 스펙트럼의 주파수 상한을 지나는 범위까지 상위 부대역을 치환할 수도 있다. 이 경우, 치환에 이용되는 하위 부대역은 원음을 나타내는 고역 주파수 스펙트럼(MDCT 계수)에 기초하여 지정될 수 없다.

(제2 실시형태)

본 발명의 제2 실시형태는 다음에 있어서 제1 실시형태와 다르다. 즉, 제1 실시형태의 BWE 부호화부(204)는 "startline"에서 "endline"까지의 저역 MDCT 계수 열을 4개의 부대역(A∼D)으로 분할하였지만, 제2 실시형태의 BWE 부호화부는 "startline"에서 "endline"까지의 동일 대역폭을 일부 중첩을 허용하는 7개의 부대역(A∼G)으로 분할한다. 제2 실시형태의 부호화 장치 및 복호화 장치는 제1 실시형태의 부호화 장치(200) 및 복호화 장치(600)와 기본적으로 동일한 구성을 갖고, 제1 실시형태와 다른 점은 부호화 장치의 BWE 부호화부(701) 및 복호화 장치의 BWE 복호화부(702)에 의해 행해지는 처리뿐이다. 따라서, 제2 실시형태에서는 BWE 부호화부(701) 및 BWE 복호화부(702)만을 변경된 참조부호로 설명하고, 이미 설명한 제1 실시형태의 부호화 장치(200) 및 복호화 장치(600)의 그 밖의 성분들은 동일한 참조부호가 할당되고, 그 설명이 생략된다. 또한, 다음 실시형태에서는, 전술한 설명과 다른 점만을 설명하고, 동일한 점은 생략한다.

이하, 도 7을 참조하여 제2 실시형태의 BWE 부호화부(701)를 설명한다. 도 7은 제2 실시형태의 BWE 부호화부(701)에서 확장 주파수 스펙트럼 데이터를 생성하는 방법을 나타내는 도면이다. 이 도면에서, 하위 부대역(E, F, G)은 제1 실시형태에서와 같은 방식으로 분할된 부대역(A, B, C, D) 중 하위 부대역(A, B, C)을 고주파 방향으로 sbw/2만큼 시프트 함으로써 얻어진 부대역이다. 여기서, 하위 부대역(A, B, C)이 고주파 방향으로 sbw/2만큼 시프트 되지만, 대역을 일부 중첩을 허용하는 부대역으로 분할하는 방법, 부대역을 시프트 하는 주파수 폭, 분할된 부대역의 수 등은 상기에 한정되는 것은 아니다. BWE 부호화부(701)는 각각의 상위 부대역(h0∼h7)을 치환하는 7개의 하위 부대역(A∼G) 중 하나를 지정하는 데이터를 생성하여 부호화한다.

한편, 제2 실시형태의 복호화 장치는 제2 실시형태의 부호화 장치(부호화 장치(200)의 BWE 부호화부(204) 대신 BWE 부호화부(701)를 포함)에 의해 부호화되는 확장 오디오 부호화 데이터 스트림을 수신하여, 상위 부대역(h0∼h7)을 치환하는 하위 부대역(A∼G)의 MDCT 계수를 지정하는 데이터를 복호화하고, 상위 부대역(h0∼h7)의 MDCT 계수를 하위 부대역(A∼G)의 MDCT 계수로 치환한다.

또한, 하위 부대역(A∼G) 중 어느 하나를 지정하는 데이터를 예컨대 3비트의 부호 데이터로 나타내는 것으로 한다. 부호 데이터로서 "0"∼"6"의 정수가 각각 하위 부대역(A∼G)을 나타내면, "7"의 값으로 나타낸 부호 데이터가 생성된 경우에, A∼G의 어느 것을 이용해서도 치환하지 않게 하는 제어를 할 수도 있다. 여기서, 부호 데이터로서 3비트의 부호 데이터가 사용되어, 부호 데이터의 값이 "7"인 경우에 관해 설명하였지만, 부호 데이터의 비트 수 및 부호 데이터의 값은 다른 값이어도 상관없다.

제1 실시형태에서 이용된 게인 제어 및/또는 노이즈 가산은 제2 실시형태에서도 마찬가지로 이용한다. 상술한 바와 같이 구성된 부호화 장치 및 복호화 장치가 이용되면, 데이터량이 크지 않은 확장 오디오 부호화 데이터 스트림을 이용하여, 광대역 재생음이 얻어질 수 있다.

(제3 실시형태)

제3 실시형태는 다음에 있어서 제2 실시형태와 다르다. 즉, 제2 실시형태의 BWE 부호화부(701)는 "startline"에서 "endline"까지의 저역 MDCT 계수 열을 일부 중첩을 허용하는 7개의 부대역(A∼G)으로 분할하였지만, 제3 실시형태의 BWE 부호화부는 "startline"에서 "endline"까지의 동일 대역폭을 7개의 부대역(A∼G)으로 분할하여, 순서가 반전된 하위 부대역의 MDCT 계수 및 양과 음의 부호가 반전된 하위 부대역의 MDCT 계수를 정의한다.

제3 실시형태에서 제1 및 제2 실시형태의 부호화 장치(200) 및 복호화 장치(600)와 다른 성분은 부호화 장치의 BWE 부호화부(801) 및 복호화 장치의 BWE 복호화부(802)뿐이다. 이하, 도 8을 참조하여 제3 실시형태의 BWE 부호화부를 설명한다.

도 8a∼8d는 제3 실시형태의 BWE 부호화부(801)가 확장 주파수 스펙트럼 데이터를 생성하는 방법을 나타내는 도면이다. 도 8a는 제2 실시형태와 동일한 방식으로 분할된 하위 및 상위 부대역을 나타내는 도면이다. 도 8b는 하위 부대역(A)에서의 MDCT 계수열의 일례를 나타내는 도면이다. 도 8c는 하위 부대역(A)에서의 MDCT 계수의 순서를 반전함으로써 얻어진 부대역(As)에서의 MDCT 계수열의 일례를 나타내는 도면이다. 도 8d는 하위 부대역(A)에서의 MDCT 계수의 부호를 반전함으로써 얻어진 부대역(Ar)을 나타내는 도면이다. 예를 들어, 하위 부대역(A)의 MDCT 계수는 (p0, p1, ‥·, pN)으로 나타낸다. 이 경우, 예를 들어 p0은 부대역(A)의 O번째 MDCT 계수의 값을 나타낸다. 부대역(A)의 MDCT 계수의 순서를 주파수 방향으로 반전함으로써 얻어진 부대역(As)의 MDCT 계수는 (pN, p(n-1), ‥·, p0)이다. 하위 부대역(A)의 MDCT 계수의 부호를 반전함으로써 얻어진 부대역(Ar)의 MDCT 계 수는 (-p0, -p1, ‥·, -pN)으로 나타낸다. 부대역(A)뿐만 아니라, 부대역(B∼G)에 대해서도, 순서가 반전된 부대역(Bs∼Gs) 및 부호가 반전된 부대역(Br∼Gr)이 정의된다.

상술한 바와 같이, 제3 실시형태의 BWE 부호화부(801)는 각각의 상위 부대역(h0∼h7)을 치환하는 한 부대역, 즉, 7개의 하위 부대역(A∼G), 이 하위 부대역(A∼G)의 7개의 MDCT 계수의 순서 또는 부호를 반전함으로써 얻어진 7개의 하위 부대역(As∼Gs) 또는 7개의 하위 부대역(Ar∼Gr) 중 어느 하나를 지정한다. BWE 부호화부(801)는 지정된 하위 부대역을 이용하여 고역 MDCT 계수를 나타내는 데이터를 부호화하여, 도 5c에 나타낸 바와 같이 확장 오디오 부호화 데이터 스트림을 생성한다. 이 경우, BWE 부호화부(80A)는 고역 MDCT 계수를 치환하는 하위 부대역을 지정하는 데이터, 지정된 하위 부대역의 MDCT 계수의 순서를 반전할지 여부를 나타내는 데이터, 및 지정된 하위 부대역이 MDCT 계수의 양과 음의 부호를 반전할지 여부를 나타내는 데이터를, 상위 부대역마다 확장 주파수 스펙트럼 데이터로서 부호화한다.

한편, 제3 실시형태의 복호화 장치는 상술한 바와 같이 제3 실시형태의 부호화 장치에 의해 부호화된 확장 오디오 부호화 데이터 스트림을 수신하여, 하위 부대역(A∼G)의 MDCT 계수 중 어느 것이 각각의 상위 부대역(h0∼h7)을 치환하는지, MDCT 계수의 순서를 반전할지 여부, 및 MDCT 계수의 양과 음의 부호를 반전할지 여부를 나타내는 확장 주파수 스펙트럼 데이터를 복호화한다. 다음에, 복호화된 확장 주파수 스펙트럼에 따라, 복호화 장치는 지정된 하위 부대역(A∼G)의 MDCT 계수 의 순서 또는 부호를 반전함으로써 상위 부대역(h0∼h7)의 MDCT 계수를 생성한다.

또한, 제3 실시형태는 하위 부대역의 MDCT 계수의 순서 및 양과 음의 부호의 확장뿐만 아니라, 하위 부대역의 MDCT 계수를 필터링 처리한 것에 의한 치환을 포함한다. 여기서 필터링 처리란, 예컨대 IIR 필터링, FIR 필터링 등을 의미하고, 당업자에게는 잘 알려진 기술이므로 그 설명은 생략한다. 이 필터링 처리에서, 필터링 계수가 부호화 장치로 확장 오디오 부호화 데이터 스트림에 부호화되면, 복호화 장치에서, 지정된 하위 부대역의 MDCT 계수에 대해, 복호화된 필터링 계수에 의해 지시된 IIR 필터링이나 FIR 필터링이 행해져, 상위 부대역이 필터링 처리된 MDCT 계수로 치환될 수 있다. 여기서, 제1 실시형태에 이용된 게인 제어는 제3 실시형태에서도 마찬가지로 이용된다. 상기와 같이 구성된 부호화 장치 및 복호화 장치가 이용되면, 데이터량이 크지 않은 확장 오디오 부호화 데이터 스트림을 이용하여, 광대역 재생음이 얻어질 수 있다.

(제4 실시형태)

제4 실시형태는 다음에 있어서 제3 실시형태와 다르다. 즉, 제4 실시형태의 복호화 장치는 상위 부대역(h0∼h7)의 MDCT 계수를 지정된 하위 부대역(A∼G)의 MDCT 계수만으로 치환하는 것이 아니라, 지정된 하위 부대역(A∼G)의 MDCT 계수 외에도 노이즈 생성부에 의해 생성된 MDCT 계수로 치환한다. 따라서, 제1 실시형태의 복호화 장치(600)와 구성이 다른 제4 실시형태의 복호화 장치의 성분은 노이즈 생성부(901) 및 BWE 복호화부(902)뿐이다. 제4 실시형태의 복호화 장치에서 확장 오디오 부호화 데이터 스트림을 복호화하는 처리에 관해, 예를 들어 BWE 복호화되는 상위 부대역(h0)이 하위 부대역(A)으로 치환되는 경우를 도 9a∼9c를 참조하여 하기에 설명한다. 도 9a는 상위 부대역(h0)에 지정된 하위 부대역(A)에서의 MDCT 계수의 일례를 나타내는 도면이다. 도 9b는 노이즈 생성부(901)에 의해 생성된 하위 부대역(A)에서와 동일한 수의 MDCT 계수의 일례를 나타내는 도면이다. 도 9c는 도 9a에 나타낸 하위 부대역(A)에서의 MDCT 계수 및 도 9b에 나타낸 노이즈 생성부(901)에 의해 생성된 MDCT 계수에 의해 생성되어, 상위 부대역(h0)을 치환하는 MDCT 계수의 일례를 나타내는 도면이다. 여기서, 하위 부대역(A)의 MDCT 계수는 A = (p0, p1, ‥·, pN)가 된다. 그리고, 하위 부대역(A)과 동일한 수의 노이즈 신호 MDCT 계수 M = (n0, n1, ‥·, nN)이 노이즈 생성부(901)에서 얻어진다. BWE 복호화부(902)는 가중 계수 α, β를 이용하여 하위 부대역(A)의 MDCT 계수 A 및 노이즈 신호 MDCT 계수 M을 조정하여, 상위 부대역(h0)의 MDCT 계수를 치환하는 치환 MDCT 계수 A'를 생성한다. 치환 계수 A'는 다음의 식 6으로 표현된다.

<식 6>

A' = α(p0, p1, ‥·, pN) + β(n0, n1, ‥·, nN)

가중 계수 α, β는 제4 실시형태의 복호화 장치에서 미리 설정된 값이 될 수도 있고, 부호화 장치에서 가중 계수 α, β의 값을 나타내는 제어 데이터를 확장 오디오 부호화 데이터 스트림으로 부호화하여, 복호화 장치에서 이 값을 복호화함으로써 얻어진 값이 될 수도 있다.

여기서, BWE 복호화부(902)에 의해 출력되는 부대역(h0)을 예로 하여 설명하 였지만, 다른 상위 부대역(h1∼h7)에도 동일한 처리가 행해진다. 또한, 치환되는 하위 부대역의 예로서 하위 부대역(A)을 설명하였지만, 역양자화부에 의해 얻어지는 다른 하위 부대역에 대한 처리도 동일하다. 가중 계수 α, β에 대해서는, 하나는 "0"이 되고 다른 하나는 "1"이 되는 값으로 할 수도 있고, "α+ β"가 "1"이 되는 값으로 할 수도 있다. 또한, α= 0일 때, 상위 부대역의 MDCT 계수의 에너지와 노이즈 데이터의 MDCT 계수의 에너지와의 비가 산출되어, 얻어진 에너지 비가 노이즈 정보의 MDCT 계수에 대한 게인 데이터로서 확장 오디오 부호화 데이터 스트림에 부호화된다. 또한, BWE 복호화부(902)에 의해 복제되는 한 하위 부대역의 MDCT 계수가 모두 "0"인 경우에는, α의 값에 상관없이 β의 값을 "1"로 설정하는 제어가 행해질 수도 있다. 노이즈 생성부(901)는 미리 준비된 테이블을 보유하여, 그 테이블에 있는 값을 노이즈 신호 MDCT 계수 열로서 출력하도록 구성할 수도 있고, 시간 영역의 노이즈 신호의 MDCT에 의해 얻어지는 노이즈 신호 MDCT 계수를 프레임마다 작성하도록 구성할 수도 있으며, 시간 영역의 노이즈 신호에 대해 게인 제어를 행하고, 게인 제어된 노이즈 신호의 MDCT에 의해 얻어지는 MDCT 계수 전부 또는 일부를 이용하여 노이즈 신호 MDCT 계수를 출력하도록 구성할 수도 있다.

특히, 시간 영역의 노이즈 신호에 대해 시간 영역에서 게인 제어하고 이에 MDCT를 행함으로써 얻어지는 MDCT 계수가 이용되는 경우에는, 재생음의 프리-에코를 억압하는 효과가 기대될 수 있다. 이 경우, 노이즈 신호의 게인을 시간 영역에서 제어하기 위한 게인 제어 데이터는 제4 실시형태의 부호화 장치에 의해 미리 부호화되고, 복호화 장치는 게인 제어 데이터를 복호화하여 이용할 수도 있다. 상기 와 같이 구성된 복호화 장치가 이용되면, 하위 부대역의 MDCT 계수가 BWE 복호화되는 상위 부대역의 MDCT 계수를 충분히 표현할 수 없는 경우에도, 노이즈 신호의 MDCT 계수를 이용하여, 음조의 극단적인 상승 없이 광대역 재생을 실현하는 효과가 기대될 수 있다.

(제5 실시형태)

제5 실시형태는 다수의 시간 프레임을 하나의 단위로서 제어 가능하도록 기능이 확장된 점이 제4 실시형태와 다르다. 제5 실시형태의 부호화 장치 및 복호화 장치에 있어서의 BWE 부호화부(1001) 및 BWE 복호화부(1002)의 동작을 도 10a∼10c 및 도 11a∼11c를 참조하여 설명한다.

도 10a는 시간(t0)에서의 한 프레임의 MDCT 계수를 나타내는 도면이다. 도 10b는 시간(t1)에서의 다음 프레임의 MDCT 계수를 나타내는 도면이다. 도 10c는 시간(t2)에서의 그 다음 프레임의 MDCT 계수를 나타내는 도면이다. 시간(t0, t1, t2)은 연속하는 시간이고, 프레임에 동기한 시간이다. 제1 내지 제4 실시형태에서는, 시간(t0, t1, t2)에 각각 확장 오디오 부호화 데이터 스트림이 생성되지만, 제5 실시형태의 부호화 장치는 다수의 연속하는 프레임에 공통인 확장 오디오 부호화 데이터 스트림을 생성한다. 이들 도면에서는 3개의 연속하는 프레임을 도시하였지만, 연속하는 프레임의 수는 임의의 수가 적용될 수 있다. 제1 실시형태의 도 5c에서는, 확장 오디오 부호화 데이터 스트림의 상부는 마지막 프레임의 확장 오디오 부호화 데이터 스트림과 같은 방식으로 분할된 하위 부대역(A∼D)이 사용되는지 여부를 나타내는 항목을 갖는다. 제5 실시형태의 BWE 부호화부(100) 또한 마찬가지로, 각 프레임의 확장 오디오 부호화 데이터 스트림의 상부에 마지막 프레임에서와 같은 확장 오디오 부호화 데이터 스트림이 사용되는지 여부를 나타내는 항목을 제공한다. 이하, 시간(t0, t1, t2)에 각 프레임에 있어서의 상위 부대역이 예를 들어 시간(t0)에 프레임의 확장 오디오 부호화 데이터 스트림을 이용하여 복화화되는 경우를 설명한다.

제5 실시형태의 복호화 장치는 다수의 연속하는 프레임의 공통 사용을 위해 생성된 확장 오디오 부호화 데이터 스트림을 수신하여, 각 프레임의 BWE 복호화를 한다. 예컨대, 시간(t0)에 프레임에 있어서의 상위 부대역(hO)이 동일한 시간(t0)의 프레임에 있어서의 하위 부대역(C)으로 치환되는 경우, BWE 복호화부(100)는 또한 시간(t1)에 프레임에 있어서의 상위 부대역(hO)을 시간(t1)의 하위 부대역(C)을 이용하여 복호화하고, 또 시간(t2)에 프레임에 있어서의 상위 부대역(h0)을 시간(t2)의 부대역(C)을 이용하여 복호화한다. BWE 복호화부(1002)는 다른 상위 부대역(h1∼h7)에 관해서도 동일한 처리를 한다. 상기와 같이 구성된 부호화 장치 및 복호화 장치가 이용되면, 확장 오디오 부호화 데이터 스트림이 차지하는 오디오 부호화 비트 스트림의 영역이 동일한 확장 오디오 부호화 데이터 스트림을 사용하는 다수의 프레임에 대해 전체적으로 작아질 수 있어, 보다 효율적인 부호화 및 복호화가 실현될 수 있다.

이하, 도 11a∼11c를 참조하여 제5 실시형태의 부호화 장치 및 복호화 장치의 다른 예를 설명한다. BWE 부호화부(1101)가 다수의 연속하는 프레임에 대해 동 일한 확장 오디오 부호화 데이터 스트림을 이용하여 복호화되는 고역 MDCT 계수에 관해, 프레임마다 다른 게인으로 게인 제어를 하기 위한 게인 데이터를 부호화한다는 점에서 이 예는 상술한 예와 다르다. 도 11a∼11c도, 도 10a∼10c와 같이 시간(t0, t1, t2)에 연속하는 다수의 프레임에 있어서의 MDCT 계수를 나타내는 도면이다. 제5 실시형태의 다른 부호화 장치는, 다수의 프레임에서 BWE 복호화되는 고역 MDCT 계수의 게인의 상대적인 값을 확장 오디오 부호화 데이터 스트림에 생성한다. 예를 들어, 이하에 일례를 도시한다. BWE 복호화되는 대역폭("maxline"에서 "targetline"까지의 고주파 대역)의 MDCT 계수의 평균 진폭을 시간(t0, t1, t2)의 프레임에 대하여 GO, G1, G2로 한다.

우선, 시간(t0, t1, t2)의 프레임 중에서 참조 프레임이 결정된다. 참조 프레임으로서 시간(t0)의 최초의 프레임이 미리 결정될 수도 있고, 혹은 최대 평균 진폭을 주는 프레임이 참조 프레임으로서 미리 결정되고, 별도로 최대 평균 진폭을 주는 프레임의 위치를 나타내는 데이터가 확장 오디오 부호화 데이터 스트림으로 부호화될 수도 있다. 여기서는, 시간(t0)의 프레임에 있어서의 평균 진폭(G0)이, 고역 MDCT 계수가 동일 확장 오디오 부호화 데이터 스트림을 이용하여 복호화되는 연속하는 프레임의 최대 평균 진폭인 것으로 한다. 이 경우, 시간(t1)의 프레임에 있어서의 고주파 대역의 평균 진폭은 시간(t0)의 참조 프레임에 대해서는 G1/G0으로 표현되고, 시간(t2)의 프레임에 있어서의 고주파 대역의 평균 진폭은 시간(t0)의 참조 프레임에 대해서는 G2/G0으로 표현된다. BWE 부호화부(1101)는 고주파 대역의 이들 평균 진폭의 상대적인 값(G1/G0, G2/G0)을 양자화하여, 이를 확장 오디 오 부호화 데이터 스트림으로 부호화한다.

한편, 제5 실시형태의 다른 복호화 장치에서, BWE 복호화부(1102)는 확장 오디오 부호화 데이터 스트림을 수신하고, 확장 오디오 부호화 데이터 스트림 중 참조 프레임을 지정하여 이를 복호화하거나 미리 결정된 프레임을 복호화하고, 참고 프레임의 평균 진폭 값을 복호화한다. 또한, BWE 복호화부(1102)는 BWE 복호화되는 고역 MDCT 계수의 참조 프레임에 대한 상대적인 평균 진폭 값을 복호화하여, 공동 확장 오디오 부호화 데이터 스트림에 따라 복호화되는 각 프레임의 고역 MDCT 계수에 게인 제어를 한다. 상술한 바와 같이, 도 11a∼11c에 도시한 BWE 복호화부(1102)에 의하면, 공통 확장 오디오 부호화 데이터 스트림을 사용하여 복호화되는 다수의 프레임의 평균 진폭을 보정하는 것이 용이하다. 그 결과, 광대역 오디오 신호로 원음에 충실하게 재생될 수 있는 오디오 부호화 데이터 스트림을 적은 양의 데이터로 부호화 및 복호화하는 것이 가능해진다.

(제6 실시형태)

제6 실시형태는 제5 실시형태의 부호화 장치 및 복호화 장치가 시간 영역의 오디오 신호를 주파수 스펙트럼의 시간 변화를 나타내는 시간-주파수 신호로 변환 및 역변환한다는 점에서 제5 실시형태와 다르다. 예를 들어 44.1㎑의 표본화 주파수로 표본화된 오디오 신호의 한 프레임에 대한 1,024개의 샘플 중 약 0.73msec마다 매 연속하는 32개의 샘플이 주파수 변환되어, 각각 32개의 샘플로 구성된 주파수 스펙트럼이 얻어진다. 1,024 샘플의 프레임마다 약 0.73msec의 시간차를 갖는 32개의 주파수 스펙트럼이 얻어진다. 이들 주파수 스펙트럼은 각각 32 샘플에 대해 0㎑에서 최대 22.05㎑까지의 재생 대역폭을 나타낸다. 이들 주파수 스펙트럼 중 시간 방향으로 동일한 주파수의 스펙트럼 데이터의 값을 조합함으로써 얻어지는 파형은 QMF 필터의 출력인 시간-주파수 신호이다. 본 실시형태의 부호화 장치는 QMF 필터의 출력인 시간-주파수 신호 중 0번째∼15번째 시간-주파수 신호를 종래의 부호화 장치와 같은 방식으로 양자화 및 가변 길이 부호화한다. 한편, 16번째∼31번째 고역 시간-주파수 신호에 관해, 부호화 장치는 16번째∼31번째 신호 각각을 치환하는 0번째∼15번째 시간-주파수 신호 중 하나를 지정하여, 0번째∼15번째 저역 시간-주파수 신호 중 지정된 것을 나타내는 데이터 및 지정된 저역 시간-주파수 신호의 진폭을 조정하기 위한 게인 데이터를 포함하는 확장 시간-주파수 신호를 생성한다. 필터링 처리가 행해지거나 파라미터에 따라 다른 특성을 갖는 필터가 사용되는 경우, 처리의 상세 혹은 필터의 특성을 지정하는 파라미터는 확장 시간-주파수 신호에 미리 기술되어 있다. 다음에, 부호화 장치는 저역 시간-주파수 신호를 양자화 및 가변 길이 부호화함으로써 얻어지는 저역 오디오 부호화 데이터 스트림 및 확장 시간-주파수 신호를 오디오 부호화 비트 스트림으로 가변 길이 부호화함으로써 얻어지는 고역 부호화 데이터 스트림을 기술하여 출력한다.

도 12는 QMF 필터를 이용하여 부호화된 오디오 부호화 비트 스트림으로부터 광대역 시간-주파수 신호를 복호화하는 복호화 장치(1200)의 구성을 나타내는 블록도이다. 이 복호화 장치(1200)는 고역 시간-주파수 신호를 나타내는 확장 시간-주파수 신호를 가변 길이 부호화함으로써 얻어진 부호화 데이터 스트림 및 저역 시간-주파수 신호를 양자화 및 부호화함으로써 얻어진 부호화 데이터 스트림으로 구성된 입력 오디오 부호화 비트 스트림 중 광대역 시간-주파수 신호를 복호화하는 복호화 장치이다. 복호화 장치(1200)는 핵심 복호화부(1201), 확장 복호화부(1202) 및 스펙트럼 가산부(1203)를 구비한다. 핵심 복호화부(1201)는 입력된 오디오 부호화 비트 스트림을 복호화하여, 양자화된 저역 시간-주파수 신호, 및 고역 시간-주파수 신호를 나타내는 확장 시간-주파수 신호로 분할한다. 핵심 복호화부(1201)는 또한 오디오 부호화 비트 스트림으로부터 분할된 저역 시간-주파수 신호를 역양자화하여 스펙트럼 가산부(1203)에 출력한다. 스펙트럼 가산부(1203)는 핵심 복호화부(1201)에 의해 복호화 및 역양자화된 시간-주파수 신호와 핵심 복호화부(1202)에 의해 생성된 고역 시간-주파수 신호를 가산하여, 예를 들어 전체 재생 대역이 0㎑∼22.05㎑인 시간-주파수 신호를 출력한다. 출력된 이 시간-주파수 신호는 도시하진 않았지만 후술하는 예컨대 QMF 역변환 필터에 의해 시간 영역의 신호로 변환되어, 후술하는 스피커에 의해 음성 및 음악 등의 가청음으로 전환된다.

확장 복호화부(1202)는 핵심 복호화부(1201)에 의해 복호화된 저역 시간-주파수 신호 및 확장 시간-주파수 신호를 수신하고, 분할된 확장 시간-주파수 신호를 바탕으로 고역 시간-주파수 신호를 치환하는 저역 시간-주파수 신호를 지정하여, 이를 고주파 대역에 복제하고, 그 진폭을 조정하여 고역 시간-주파수 신호를 생성하는 처리부이다. 확장 복호화부(1202)는 또한 치환 제어부(1204) 및 게인 조정부(1205)를 구비한다. 치환 제어부(1204)는 복호화된 확장 시간-주파수 신호 에 따라 예를 들어 16번째 고역 시간-주파수 신호를 치환하는 0번째∼15번째 저역 시간-주파수 신호 중 하나를 지정하여, 지정된 저역 시간-주파수 신호를 16번째 고역 시간-주파수 신호로서 복제한다. 게인 조정부(1205)는 확장 시간-주파수 신호에 기술된 게인 데이터에 따라 16번째 고역 시간-주파수 신호로서 복제된 저역 시간-주파수 신호를 증폭시키고 진폭을 조정한다. 확장 복호화부(1202)는 또한 17번째∼31번째 고역 시간-주파수 신호 각각에 대해 치환 제어부(1204) 및 게인 조정부(1205)에 의한 상술한 처리를 한다. 0번째∼15번째 저역 시간-주파수 신호 중 하나를 지정하는 4비트 및 복제된 저역 시간-주파수 신호의 진폭을 조정하는 게인 데이터의 4비트가 사용되는 경우, 16번째∼31번째 고역 시간-주파수 신호는 기껏해야 (4 + 4) ×32 = 256비트로 표현될 수 있다.

도 13은 제6 실시형태의 복호화 장치(1200)에 의해 복호화된 시간-주파수 신호의 일례를 나타내는 도면이다. k번째 저역 시간-주파수 신호의 스펙트럼이 Bk=(pk(t0), pk(t1), ‥·, pk(t31))(k는 0 ≤k ≤15의 정수)로 표현될 때, 예를 들어 양자화 및 부호화된 0번째∼15번째 저역 시간-주파수 신호(B0∼B15)는, 도 13에 도시한 바와 같이, 제6 실시형태의 도면에 도시하지 않은 부호화 장치에 의해 생성되는 오디오 부호화 비트 스트림에 기술된다. 한편, 16번째∼31번째 고역 시간-주파수 신호(B16∼B31)에 관해서는, 16번째∼31번째 고역 시간-주파수 신호를 각각 치환하는 0번째∼15번째 저역 시간-주파수 신호(B0∼B15) 중 하나를 지정하는 데이터, 및 고주파 대역에 복제된 각 저역 시간-주파수 신호의 진폭을 조정하기 위한 게인 데이터가 기술된다. 예를 들어, 16번째 고역 시간-주파수 신호(b16)를 표 현하기 위해, 16번째 고역 시간-주파수 신호(B16)를 치환하는 10번째 저역 시간-주파수 신호(B10)를 나타내는 데이터, 및 16번째 고역 시간-주파수 신호(B16)로서 고주파 대역에 복제된 저역 시간-주파수 신호(B10)의 진폭을 조정하는 게인 데이터(G0)가 확장 시간-주파수 신호에 기술된다. 따라서, 핵심 복호화부(1201)에 의해 복호화 및 역양자화된 10번째 저역 시간-주파수 신호(B10)는 16번째 고역 시간-주파수 신호(B16)로서 고주파 대역에 복제되고, 게인 데이터(G0)에 지시된 게인에 의해 증폭되어, 16번째 고역 시간-주파수 신호(B16)가 생성된다. 17번째 고역 시간-주파수 신호(B17)에 대해 동일한 처리가 행해진다. 확장 시간-주파수 신호에 기술된 11번째 저역 시간-주파수 신호(B11)는 치환 제어부(1204)에 의해 17번째 고역 시간-주파수 신호(B17)로서 복제되고, 게인 데이터(G1)에 지시된 게인에 의해 증폭되어, 17번째 고역 시간-주파수 신호(B17)가 생성된다. 18번째∼31번째 고역 시간-주파수 신호(B18∼B31)에 대해 동일한 처리가 반복되어, 모든 고역 시간-주파수 신호가 얻어질 수 있다.

상술한 바와 같이 제6 실시형태에 의하면, 부호화 장치는 QMF 필터의 출력인 시간-주파수 신호에 본 발명의 치환, 즉, 저역 시간-주파수 신호에 의한 고역 시간-주파수 신호의 치환을 적용함으로써 비교적 적은 양의 데이터 증가로 광대역 오디오 시간-주파수 신호를 부호화할 수 있는 한편, 복호화 장치는 고주파 대역에서 풍부한 음성으로 재생될 수 있는 오디오 신호를 복호화할 수 있다.

제6 실시형태에서는, 각각의 저역 시간-주파수 신호가 각각의 고역 시간-주파수 신호를 치환하는 것으로 설명하였지만, 본 발명은 이것에 한정되지 않는다. 저주파 대역 및 고주파 대역이 동일한 수(예를 들어 4개)의 시간-주파수 신호로 구성된 다수의 그룹(예를 들어 8개)으로 분할됨으로써, 저 대역의 한 그룹 내의 시간-주파수 신호가 고주파 대역의 각 그룹을 치환하도록 설계될 수도 있다. 또한, 고주파 대역에 복제된 저역 시간-주파수 신호의 진폭은 32개의 스펙트럼 값으로 구성된 생성 노이즈를 가산함으로써 조정될 수도 있다. 또한, 제6 실시형태는 표본화 주파수가 44.1㎑이고, 한 프레임이 1,024개의 샘플로 구성되며, 하나의 시간-주파수 신호에 포함되는 샘플 수는 22, 한 프레임에 포함되는 시간-주파수 신호의 수는 32인 것으로 하고 설명하였지만, 본 발명은 이것에 한정되지 않는다. 표본화 주파수 및 한 프레임에 포함되는 샘플 수는 다른 어떤 값으로 할 수도 있다.

본 발명에 따른 부호화 장치는 BS 및 CS를 포함하는 위성 방송국에 배치된 오디오 부호화 장치, 인터넷 등의 통신망을 통해 콘텐츠를 배포하는 콘텐츠 배포 서버용 오디오 부호화 장치, 및 범용 컴퓨터에 의해 실행되는 오디오 신호를 부호화하기 위한 프로그램으로서 유용하다.

또한, 본 발명에 따른 복호화 장치는 가정용 STB에 포함된 오디오 복호화 장치뿐만 아니라, 범용 컴퓨터에 의해 실행되는 오디오 신호를 복호하기 위한 프로그램, STB 또는 범용 컴퓨터에 포함된 오디오 신호를 복호하기 위한 회로 기판 또는 LSI, 및 STB 또는 범용 컴퓨터에 삽입된 IC 카드로서 유용하다.

Claims

입력 신호를 부호화하는 부호화 장치에 있어서,

시간 영역의 입력 신호를 저주파 스펙트럼을 포함하는 주파수 스펙트럼으로 변환하는 시간-주파수 변환부;

상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 확장 데이터를 생성하는 대역 확장부; 및

상기 저주파 스펙트럼 및 상기 확장 데이터를 부호화하여, 그 부호화된 저주파 스펙트럼 및 확장 데이터를 출력하는 부호화부를 구비하며,

상기 대역 확장부는 상기 확장 데이터로서 제1 파라미터 및 제2 파라미터를 생성하고, 상기 제1 파라미터는 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제될 부분 스펙트럼을 지정하고, 상기 제2 파라미터는 복제된 후의 상기 부분 스펙트럼의 게인을 지정하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 적어도 2개의 스펙트럼이 서로 중첩되는 주파수 대역 부분을 갖는 것을 특징으로 하는 부호화 장치.
제2항에 있어서, 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트 럼은 중첩되는 주파수 대역을 갖는 2개의 주파수 대역을 각각 다수의 주파수 대역으로 분할함으로써 얻어지는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 고주파 스펙트럼은 다수의 부분 스펙트럼에 의해 형성되고,

상기 대역 확장부는 상기 고주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 각각에 대해 상기 제1 파라미터 및 상기 제2 파라미터를 생성하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 대역 확장부는 상기 확장 데이터로서 제3 파라미터를 더 생성하고, 상기 제3 파라미터는 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 가장 낮은 주파수 성분을 포함하는 부분 스펙트럼의 주파수 위치를 지정하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 대역 확장부는 상기 확장 데이터로서 제4 파라미터를 더 생성하고, 상기 제4 파라미터는 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 가장 높은 주파수 성분을 포함하는 부분 스펙트럼의 주파수 위치를 지정하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 대역 확장부는 상기 확장 데이터로서 제5 파라미터를 더 생성하고, 상기 제5 파라미터는 복제 시에 상기 부분 스펙트럼에 행해지는 필터링 처리를 지정하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 대역 확장부는 상기 확장 데이터로서 제6 파라미터를 더 생성하고, 상기 제6 파라미터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 그 위상이 반전된 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지, 또는 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 그 위상이 반전되지 않은 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지를 나타내는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 대역 확장부는 상기 확장 데이터로서 제7 파라미터를 더 생성하고, 상기 제7 파라미터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 주파수 영역에서 반전된 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지, 또는 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 상기 주파수 영역에서 반전되지 않은 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지를 나타내는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 제1 파라미터는, 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 어느 것도 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되지 않는 것을 나타내는 데이터를 포함하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 제2 파라미터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되는 상기 부분 스펙트럼의 게인에 곱하는 계수인 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 제2 파라미터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제된 후의 상기 부분 스펙트럼의 게인의 절대값인 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 대역 확장부는 상기 확장 데이터로서 제8 파라미터를 더 생성하고, 상기 제8 파라미터는 상기 제1 파라미터 및 상기 제2 파라미터에 의해 지정된 상기 고주파 스펙트럼에 가산되는 노이즈 스펙트럼의 에너지를 지정하는 것을 특징으로 하는 부호화 장치.
제13항에 있어서, 상기 제8 파라미터는 상기 고주파 스펙트럼에 대한 상기 노이즈 스펙트럼의 에너지 비인 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 부호화 장치는 상기 입력 신호의 부호화를 일정 수의 시간 프레임마다 반복하고,

상기 대역 확장부는, 연속하는 다수의 시간 프레임에 대해 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제된 후의 상기 부분 스펙트럼의 게인을 지정하는 상기 제2 파라미터를 생성하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 부호화 장치는 상기 입력 신호의 부호화를 일정 수의 시간 프레임마다 반복하고,

상기 대역 확장부는 상기 연속하는 다수의 시간 프레임 중 상기 고주파 스펙 트럼의 게인이 최대인 시간 프레임을 지정하는 제9 파라미터를 상기 확장 데이터로서 더 생성하고, 상기 게인이 최대인 시간 프레임 이외의 시간 프레임에서 상기 최대값에 대한 상대적인 값으로 표현된 값으로서 상기 제2 파라미터를 생성하는 것을 특징으로 하는 부호화 장치.
제1항에 있어서, 상기 부호화부는 호프만 부호화에 따라 상기 저주파 스펙트럼 및 상기 확장 데이터 전부 또는 일부를 부호화하는 것을 특징으로 하는 부호화 장치.
부호화 신호를 복호화하는 복호화 장치에 있어서,

상기 부호화 신호는 저주파 스펙트럼 및 확장 데이터를 포함하고, 상기 확장 데이터는 상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 제1 및 제2 파라미터를 포함하며,

상기 복호화 장치는,

상기 부호화 신호를 복호화함으로써 상기 저주파 스펙트럼 및 상기 확장 데이터를 생성하는 복호화부;

상기 저주파 스펙트럼, 제1 파라미터 및 제2 파라미터로부터 상기 고주파 스펙트럼을 생성하는 대역 확장부; 및

상기 생성된 고주파 스펙트럼 및 상기 저주파 스펙트럼을 조합함으로써 얻어진 주파수 스펙트럼을 시간 영역의 신호로 변환하는 주파수-시간 변환부를 구비하며,

상기 대역 확장부는 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 제1 파라미터에 의해 지정된 부분 스펙트럼을 복제하고, 복제된 후의 상기 부분 스펙트럼의 게인을 상기 제2 파라미터에 따라 결정하며, 상기 게인을 상기 복제된 부분 스펙트럼에 곱하여 얻어진 부분 스펙트럼을 상기 고주파 스펙트럼으로서 사용하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 확장 데이터는 제3 파라미터를 포함하고,

상기 대역 확장부는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제될 상기 부분 스펙트럼에 대해 상기 제3 파라미터에 의해 지정된 필터링 처리를 행하여, 상기 필터링 처리가 행해진 후의 상기 부분 스펙트럼을 상기 고주파 스펙트럼으로서 생성하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 확장 데이터는 제4 파라미터를 포함하고,

상기 대역 확장부는, 상기 제4 파라미터에 따라, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 그 위상이 반전된 부분 스펙트럼, 또는 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제된 부분 스펙트럼 그 자체를 상기 고주파 스펙트럼으로서 생성하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 확장 데이터는 제5 파라미터를 포함하고,

상기 대역 확장부는, 상기 제5 파라미터에 따라, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 주파수 영역에서 반전된 부분 스펙트럼, 또는 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제된 부분 스펙트럼 그 자체를 상기 고주파 스펙트럼으로서 생성하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 대역 확장부는 상기 생성된 고주파 스펙트럼에 노이즈 스펙트럼을 가산하고,

상기 주파수-시간 변환부는 상기 노이즈 스펙트럼이 가산된 상기 고주파 스펙트럼 및 상기 저주파 스펙트럼을 조합함으로써 얻어진 주파수 스펙트럼을 시간 영역의 신호로 변환하는 것을 특징으로 하는 복호화 장치.
제22항에 있어서, 상기 확장 데이터는 제6 파라미터는 포함하고,

상기 대역 확장부는 상기 생성된 고주파 스펙트럼에 상기 제6 파라미터에 의해 지정된 에너지를 갖는 노이즈 스펙트럼을 가산하는 것을 특징으로 하는 복호화 장치.
제23항에 있어서, 상기 제6 파라미터는 상기 고주파 스펙트럼에 대한 상기 노이즈 스펙트럼의 에너지 비이고,

상기 대역 확장부는 상기 생성된 고주파 스펙트럼의 에너지에 상기 제6 파라미터에 의해 지정된 에너지 비를 곱하여 얻어진 에너지를 갖는 노이즈 스펙트럼을 상기 고주파 스펙트럼에 가산하는 것을 특징으로 하는 복호화 장치.
제22항에 있어서, 상기 시간 영역의 노이즈 신호를 시간-주파수 변환함으로 써 얻어진 노이즈 스펙트럼을 생성하는 노이즈 스펙트럼 생성부를 더 구비하고,

상기 대역 확장부는 상기 노이즈 스펙트럼 생성부에 의해 생성된 상기 노이즈 스펙트럼을 상기 고주파 스펙트럼에 가산하는 것을 특징으로 하는 복호화 장치.
제25항에 있어서, 상기 노이즈 스펙트럼 생성부는 상기 노이즈 스펙트럼의 데이터를 미리 기억하는 메모리 테이블을 구비하고, 상기 메모리 테이블에 기억된 상기 데이터를 독출함으로써 상기 노이즈 스펙트럼을 생성하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 대역 확장부는, 상기 생성된 고주파 스펙트럼을 형성하는 모든 스펙트럼 데이터의 값이 0이고, 상기 제2 파라미터에 의해 결정된 상기 고주파 스펙트럼의 절대 게인이 0이 아닌 경우에는, 준비된 노이즈 스펙트럼을 이용하여 상기 고주파 스펙트럼을 생성하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 부호화 신호는 입력 신호를 일정 수의 시간 프레임마다 부호화함으로써 얻어지는 상기 저주파 스펙트럼 및 상기 확장 데이터를 포함하고,

상기 제2 파라미터는, 연속하는 다수의 시간 프레임에 대해, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제된 후의 상기 부분 스펙트럼의 게인을 지정하는 공통 파라미터이며,

상기 대역 확장부는, 연속하는 다수의 시간 프레임에 대해, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제된 후의 상기 부분 프레임의 게인을 상기 제2 파라미터에 따라 결정하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 부호화 신호는 입력 신호를 일정 수의 시간 프레임마다 부호화함으로써 얻어지는 상기 저주파 스펙트럼 및 상기 확장 데이터를 포함하고,

상기 확장 데이터는 상기 연속하는 다수의 시간 프레임 중 상기 고주파 스펙트럼의 게인이 최대인 시간 프레임을 지정하는 제7 파라미터를 포함하고.

상기 게인이 최대인 시간 프레임 이외의 시간 프레임에서의 제2 파라미터는 상기 최대값에 대한 상대적인 값으로 표현된 값이며,

상기 대역 확장부는 상기 연속하는 다수의 시간 프레임 중 상기 제7 파라미터로 나타낸 상기 시간 프레임 이외의 시간 프레임의 상기 고주파 스펙트럼의 게인을, 상기 제7 파라미터로 나타낸 상기 시간 프레임에서의 상기 고주파 스펙트럼의 게인에 상기 제2 파라미터로 나타낸 상기 상대값을 곱하여 얻어진 게인으로 결정하는 것을 특징으로 하는 복호화 장치.
제18항에 있어서, 상기 복호화부는 호프만 복호화에 따라 상기 부호화 신호 전부 또는 일부를 복호화함으로써 상기 저주파 스펙트럼 및 상기 확장 데이터를 생성하는 것을 특징으로 하는 복호화 장치.
입력 신호를 부호화하는 부호화 방법에 있어서,

시간 영역의 입력 신호를 저주파 스펙트럼을 포함하는 주파수 스펙트럼으로 변환하는 시간-주파수 변환 단계;

상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 확장 데이터를 생성하는 대역 확장 단계; 및

상기 저주파 스펙트럼 및 상기 확장 데이터를 부호화하여, 그 부호화된 저주파 스펙트럼 및 확장 데이터를 출력하는 부호화 단계를 구비하며,

상기 대역 확장 단계에서는, 상기 확장 데이터로서 제1 파라미터 및 제2 파라미터가 생성되고, 상기 제1 파라미터는 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제될 부분 스펙트럼을 지정하고, 상기 제2 파라미터는 복제된 후의 상기 부분 스펙트럼의 게인을 지정하는 것을 특징으로 하는 부호화 방법.
부호화 신호를 복호화하는 복호화 방법에 있어서,

상기 부호화 신호는 저주파 스펙트럼 및 확장 데이터를 포함하고, 상기 확장 데이터는 상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 제1 및 제2 파라미터를 포함하며,

상기 복호화 방법은,

상기 부호화 신호를 복호화함으로써 상기 저주파 스펙트럼 및 상기 확장 데이터를 생성하는 복호화 단계;

상기 저주파 스펙트럼, 제1 파라미터 및 제2 파라미터로부터 상기 고주파 스펙트럼을 생성하는 대역 확장 단계; 및

상기 생성된 고주파 스펙트럼 및 상기 저주파 스펙트럼을 조합함으로써 얻어진 주파수 스펙트럼을 시간 영역의 신호로 변환하는 주파수-시간 변환 단계를 구비하며,

상기 대역 확장 단계에서는, 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 제1 파라미터에 의해 지정된 부분 스펙트럼이 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어, 복제된 후의 상기 부분 스펙트럼의 게인이 상기 제2 파라미터에 따라 결정되며, 상기 게인을 상기 복제된 부분 스펙트럼에 곱하여 얻어진 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는 것을 특징으로 하는 복호화 방법.
입력 신호를 부호화하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체에 있어서,

시간 영역의 입력 신호를 저주파 스펙트럼을 포함하는 주파수 스펙트럼으로 변환하는 시간-주파수 변환 단계;

상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 확장 데이터를 생성하는 대역 확장 단계; 및

상기 저주파 스펙트럼 및 상기 확장 데이터를 부호화하여, 그 부호화된 저주파 스펙트럼 및 확장 데이터를 출력하는 부호화 단계를 구비하며,

상기 대역 확장 단계에서는, 상기 확장 데이터로서 제1 파라미터 및 제2 파라미터가 생성되고, 상기 제1 파라미터는 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제될 부분 스펙트럼을 지정하고, 상기 제2 파라미터는 복제된 후의 상기 부분 스펙트럼의 게인을 지정하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
부호화 신호를 복호화하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체에 있어서,

상기 부호화 신호는 저주파 스펙트럼 및 확장 데이터를 포함하고, 상기 확장 데이터는 상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 제1 및 제2 파라미터를 포함하며,

상기 프로그램은,

상기 부호화 신호를 복호화함으로써 상기 저주파 스펙트럼 및 상기 확장 데이터를 생성하는 복호화 단계;

상기 저주파 스펙트럼, 제1 파라미터 및 제2 파라미터로부터 상기 고주파 스펙트럼을 생성하는 대역 확장 단계; 및

상기 생성된 고주파 스펙트럼 및 상기 저주파 스펙트럼을 조합함으로써 얻어진 주파수 스펙트럼을 시간 영역의 신호로 변환하는 주파수-시간 변환 단계를 구비하며,

상기 대역 확장 단계에서는, 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 제1 파라미터에 의해 지정된 부분 스펙트럼이 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어, 복제된 후의 상기 부분 스펙트럼의 게인이 상기 제2 파라미터에 따라 결정되며, 상기 게인을 상기 복제된 부분 스펙트럼에 곱하여 얻어진 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는 것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
부호화 신호가 기록되는 컴퓨터 판독 가능 기록매체에 있어서,

상기 부호화 신호는 저주파 스펙트럼 및 확장 데이터를 포함하고, 상기 확장 데이터는 상기 저주파 스펙트럼보다 높은 주파수의 고주파 스펙트럼을 지정하는 제1 및 제2 파라미터를 포함하고,

상기 제1 파라미터는, 상기 저주파 스펙트럼을 형성하는 다수의 부분 스펙트럼 중 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제될 부분 스펙트럼을 지정하는 파라미터이고,

상기 제2 파라미터는 복제된 후의 상기 부분 스펙트럼의 게인을 지정하는 파라미터인 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 적어도 2개의 스펙트럼이 서로 중첩되는 주파수 대역 부분을 갖는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 확장 데이터는 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 가장 낮은 주파수 성분을 포함하는 부분 스펙트럼의 주파수 위치를 지정하는 제3 파라미터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 확장 데이터는 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 가장 높은 주파수 성분을 포함하는 부분 스펙트럼의 주파수 위치를 지정하는 제4 파라미터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 확장 데이터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제될 때 상기 부분 스펙트럼에 행해지는 필터링 처리를 지정하는 제5 파라미터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 확장 데이터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 그 위상이 반전된 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지, 또는 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 그 위상이 반전되지 않은 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지를 나타내는 제6 파라미터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 확장 데이터는, 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 주파수 영역에서 반전된 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지, 또는 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되어 상기 주파수 영역에서 반전되지 않은 부분 스펙트럼이 상기 고주파 스펙트럼으로서 사용되는지를 나타내는 제7 파라미터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 제1 파라미터는, 상기 저주파 스펙트럼을 형성하는 상기 다수의 부분 스펙트럼 중 어느 것도 상기 고주파 스펙트럼을 생성하는데 사용하기 위해 복제되지 않는 것을 나타내는 데이터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.
제35항에 있어서, 상기 확장 데이터는 상기 제1 파라미터 및 상기 제2 파라미터에 의해 지정된 상기 고주파 스펙트럼에 가산되는 노이즈 스펙트럼의 에너지를 지정하는 제8 파라미터를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 기록매체.