KR101546793B1 - 오디오 신호의 부호화/복호화 방법 및 장치 - Google Patents

Abstract

오디오 신호의 부호화/복호화 방법 및 장치가 제공된다. 오디오 신호의 부호화는 중요 주파수 성분에 대응하는 잔차 신호를 선택적으로 부호화할 수 있다. 오디오 신호의 부호화는 PNS기술을 최종 합성 신호에 적용함으로써 추가된 노이즈의 특성을 유지할 수 있다. 오디오 신호의 부호화/복호화는 attack이 강한 신호에서 pre-echo를 최소화 시키며, 주파수 도메인에서 자기 상관도가 높은 프레임에 대해서 부호화 효율을 향상시킬 수 있으며, 합성 필터를 거친 후에 발생할 수 있는 spectral hole 부분에 적절한 노이즈를 추가함으로써 자연스러운 합성음을 생성할 수 있다.

오디오 압축, 코덱, LPC, TNS, PNS

Description

오디오 신호의 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR ENCODING/DECODING AUDIO SIGNAL}

하기에서 설명하는 것은, 오디오 신호의 부호화/복호화에 관한 것이며, 오디오 신호 부호화의 성능을 향상시키는 선형 예측 부호화에 관련된 것이다.

오디오 신호의 부호화 효율을 향상 시키기 위한 기술로써, TNS(Temporal Noise Shaping) 기법이 제안되었다. TNS 기법은 주파수 영역으로 변환된 오디오 신호를 선형 예측 분석한 후 잔차(residual) 신호를 양자화하는 기법이다.

이때, 잔차 신호는 원 신호에서 단구간 상관도가 제거된 신호이기 때문에 부호화 효율이 향상될 수 있다.

TNS 기법이 적용된 예로, MPEG-4 AAC(Advanced Audio Coding) 방식이 있다. AAC 방식을 적용하는 부호화기는 TNS Tool을 통하여 잔차 신호를 도출한 후에, 도출된 잔차 신호를 일반적인 Spectrum 부호화 방식으로 부호화한다.

Spectrum 부호화는 PAM(Psychoacoustic Model) 정보를 이용하여 수행될 수 있다. 또한, Spectrum 부호화는 PNS(Perceptual Noise Substitution) 기법과 같은 추가적인 기능을 이용하여 음질을 향상시킬 수 있다.

이와 같이, TNS 기법 및 PNS 기법의 구체적인 적용 방법에 따라서 오디오 신호의 부호화 성능이 좌우될 수 있다. 따라서, 오디오 신호의 부호화 효율을 높이고, 부호화된 오디오 신호를 원음에 가깝게 복원할 수 있는 TNS 기법 및 PNS 기법의 적용 기술이 요구된다.

개시되는 실시예는 전송 비트율을 조절하는 새로운 접근 방식과 PNS tool의 적용 방식에 관련된다.

또한, 개시되는 실시예는 target 전송 비트율에 따라 잔차(residual) 신호 중에서 중요도가 높은 spectral coefficient만 선택할 수 있다.

이때, 개시되는 일 실시예는 선형 예측을 통해 residual 신호를 도출함에 있어서, 선형 예측 기여도(contribution)을 확인하여 중요도가 높은 스펙트럴 계수(spectral coefficient, SC)만 선택하여 residual 신호를 도출할 수 있다.

이때, 전송 비트율의 조정은 spectral coefficient 선택을 위한 threshold를 조절하여, 선택되는 spectral coefficient의 개수를 증감시키는 방식을 이용할 수 있다.

따라서, 부호화할 spectral coefficient의 개수를 조절하면 전송 비트율은 자연스럽게 조절이 가능하다.

개시되는 일 실시예는 선택된 중요 spectral coefficient를 이용하여 합성필터를 거친 후에 발생하는 spectral hole 부분에 PNS 적용할 수 있다.

이때, 합성 필터를 거친 후에 노이즈를 추가하므로, residual domain에서 알기 힘든, 합성 필터를 거친 신호의 문제점을 해결할 수 있는 장점이 있다.

개시되는 일 실시예에 따른 오디오 신호의 부호화 방법은 주파수 영역의 오디오 신호를 스펙트럴 계수로 변환하는 단계와, 상기 스펙트럴 계수를 필터링하여 상관도가 제거된 잔차 신호를 생성하는 단계와, 상기 잔차 신호를 양자화 및 부호화하는 단계와, 양자화된 잔차 신호를 역 필터링하는 단계 및 역 필터링된 잔차 신호에 대하여 지각 잡음 분석 과정을 수행하는 단계를 포함한다.

이때, 상기 잔차 신호를 양자화 및 부호화하는 단계는, 상기 스펙트럴 계수의 필터링 이득을 계산하고, 상기 이득을 반영하여 잔차 신호를 생성하는 것을 포함할 수 있다.

이때, 상기 잔차 신호를 양자화 및 부호화하는 단계는, 상기 잔차 신호에서 중요 주파수 성분에 대응하는 부분을 선택하고, 상기 선택된 부분의 잔차 신호를 양자화 및 부호화하는 것을 포함할 수 있다.

이때, 상기 중요 주파수 성분에 대응하는 부분을 선택하는 것은, 부호화 신호의 전송 비트율을 고려하여 임계값 g를 계산하고, 상기 잔차 신호를 구성하는 각각의 스펙트럴 빈에서 원신호와 예측값의 차이 e를 구하고, 상기 g와 e를 이용하여 상기 중요 주파수 성분에 대응하는 부분을 결정하는 것을 포함할 수 있다.

이때, 상기 선택된 부분의 잔차 신호를 양자화 및 부호화하는 것은, 상기 선택된 부분의 잔차 신호에 대응하는 진폭(amplitude)를 양자화하고, 상기 선택된 부분의 잔차 신호에 대응하는 부호(sign) 및 위치(location) 정보를 부호화하는 것을 포함할 수 있다.

이때, 상기 지각 잡음 분석을 수행하는 단계는, 상기 역 필터링된 잔차 신호의 스펙트럴 홀을 추출하고, 추출된 스펙트럴 홀에 대응하는 노이즈 정보를 계산하고, 상기 계산된 노이즈 정보를 부호화하는 것을 포함할 수 있다.

개시되는 일 실시예에 따른 오디오 신호의 복호화 방법은 입력되는 비트스트림으로부터 주파수 영역의 오디오 신호에 대응하는 잔차 신호를 얻는 단계와, 상기 잔차 신호를 역 필터링하여 단구간 상관도를 갖는 스펙트럴 계수를 생성하는 단계와, 상기 스펙트럴 계수에 대하여 지각 잡음 합성 과정을 수행하는 단계를 포함한다.

이때, 상기 잔차 신호를 얻는 단계는, 상기 잔차 신호의 진폭(amplitude)을 역양자화하고, 상기 잔차 신호의 부호(sign) 및 위치(location) 정보를 복호화하는 것을 포함할 수 있다.

이때, 상기 잔차 신호는, 오디오 신호의 중요 주파수 성분에 대응할 수 있다.

이때, 상기 지각 잡음 합성 과정을 수행하는 단계는, 상기 비트스트림으로부터 지각 잡음 합성을 위한 노이즈 정보를 복호화하고, 상기 노이즈 정보에 따라서 상기 스펙트럴 계수에 노이즈를 합성하는 것을 포함할 수 있다.

개시되는 일 실시예에 따른 부호화 장치는 시간영역의 오디오 신호를 주파수 영역의 오디오 신호로 변환하는 시간/주파수 맵핑부와, 상기 주파수 영역의 오디오 신호로부터 단구간 상관도를 제거한 잔차 신호를생성하는 제1 TNS와, 상기 잔차 신호의 오디오 포맷에 적합한 스펙트럴 처리를 수행하는 스펙트럴 처리부와, 상기 잔차 신호를 양자화 및 부호화하는 양자화 및 부호화부와, 상기 양자화된 잔차 신호를 역 필터링하는 제2 TNS 및 상기 역 필터링된 잔차 신호에 대하여 지각 잡음 분석 과정을 수행하는 PNS를 포함한다.

이때, 상기 제1 TNS는, 상기 잔차 신호에서 중요 주파수 성분에 대응하는 부분을 결정하고, 상기 중요 주파수 성분에 대응하는 부분의 진폭(amplitude), 부호(sign) 및 위치(location) 정보를 출력할 수 있다.

이때, 상기 PNS는, 상기 역 필터링된 잔차 신호의 스펙트럴 홀을 추출하고, 추출된 스펙트럴 홀에 대응하는 노이즈 정보를 계산하고, 상기 계산된 노이즈 정보를 부호화할 수 있다.

개시되는 일 실시예에 따른 복호화 장치는 입력되는 비트스트림으로부터 주파수 영역의 오디오 신호에 대응하는 잔차 신호를 복호화 및 역양자화하는 복호화 및 역양자화부와, 상기 잔차 신호의 오디오 포맷에 적합한 스펙트럴 처리를 수행하는 스펙트럴 처리부와, 상기 잔차 신호를 역 필터링하여 단구간 상관도를 갖는 스펙트럴 계수를 생성하는 TNS와, 상기 스펙트럴 계수에 대하여 지각 잡음 합성 과정을 수행하는 PNS 및 상기 지각 잡음 합성 과정을 수행한 스펙트럴 계수를 시간 영역의 오디오 신호로 변환하는 주파수/시간 맵핑부를 포함한다.

이때, 상기 복호화 및 역양자화부는, 상기 잔차 신호의 진폭(amplitude)을 역양자화하고, 상기 잔차 신호의 부호(sign) 및 위치(location) 정보를 복호화할 수 있다.

이때, 상기 PNS는, 상기 비트스트림으로부터 지각 잡음 합성을 위한 노이즈 정보를 복호화하고, 상기 노이즈 정보에 따라서 상기 스펙트럴 계수에 노이즈를 합성할 수 있다.

제공되는 실시예에 따르면, attack이 강한 신호에서 pre-echo를 최소화 시키며, 주파수 도메인에서 자기 상관도가 높은 프레임에 대해서 부호화 효율을 향상시킬 수 있으며, 합성 필터를 거친 후에 발생할 수 있는 spectral hole 부분에 적절한 노이즈를 추가함으로써 자연스러운 합성음을 생성할 수 있다.

이하, 첨부된 도면을 참조하여 다양한 실시예들을 상세하게 설명한다.

도 1a 및 도 1b는 주파수 대역별로 적용되는 부호화 방식의 일예를 나타낸다.

일반적으로, TNS 기술은 입력신호에 따라 사용유무가 결정된다. 입력신호의 prediction gain이 높으면 사용이 되며, 그렇지 않은 경우에는 사용이 되지 않는다.

도 1a는 TNS가 사용되지 않은 경우의 FD (Frequency domain) coding region의 예를 나타낸다. Coding region은 주파수로 표현되며 최저 주파수부터 SBR(Spectral Band Replication) 부호화가 시작되는 주파수까지 FD 부호화가 적용된다. 이 방식은 SBR 기술을 이용하는 경우(예, eaacPlus 등)의 예이며, SBR이 사용되지 않는 경우에는 FD 부호화 region이 전 부호화 대역을 커버할 수 있다. 그리고 각 영역(region)의 start와 end 주파수는 다양하게 선택이 가능하다.

도 1b는 TNS가 사용된 경우의 FD coding region의 예를 나타낸다. 여기서 각 region의 start와 end 주파수는 다양하게 선택이 가능하다. 여기서 SBR이나 TNS가 사용되지 않는 경우에는 FD 부호화 region이 해당 부호화 대역을 커버할 수 있다.

도 2는 오디오 신호 부호화기의 구성예를 나타낸다.

도 2를 참조하면, 오디오 부호화기는 심리음향모델부(201), 시간/주파수 맵핑부(203), TNS(205), 스펙트럴 처리부(spectral processing)(207), PNS(209), 양자화 및 부호화부(211) 및 비트 스트림 페이로드 포맷터(Bitstream payload formatter)(213)을 포함한다.

심리음향모델부(201)는 입력신호를 이용하여 psychoacoustic 모델링을 수행하며 여기서 구해진 psychoacoustic 정보는 시간/주파수 맵핑부(203), TNS(205), 스펙트럴 처리부(spectral processing)(207) 및 PNS(209)로 제공된다.

시간/주파수 맵핑부(203)는 시간 영역(Time domain) 신호를 주파수 영역(frequency domain)의 신호인 spectral coefficients (SC)로 변환한다. 변환된 SC를 이용하여 Frequency domain 부호화를 수행할 수 있다.

TNS(205)는 SC신호의 예측 이득(prediction gain)을 측정하여 prediction gain이 높은 경우 TNS tool을 실행시킨다. TNS(205)는 선형예측을 통해 SC 신호의 단구간 상관도를 제거한 residual 신호를 추출한다. 이 과정은 LP(Linear Prediction) 분석 필터링을 통해 이루어 질 수 있기 때문에, TNS(205)는 'TNS Analysis' 및 '필터링'을 수행할 수 있다.

스펙트럴 처리부(207)는 residual 신호의 오디오 포맷에 적합한 다양한 spectral processing을 수행한다. 여기서, spectral processing은 예를 들어, long term prediction, M/S stereo 등이 있다.

PNS(209)는 PNS tool을 실행하여 노이즈 추가에 필요한 파라메터를 부호화한다. 통상적으로, PNS tool은 입력신호에 따라 사용유무가 결정된다. PNS tool은 입력신호를 대역별로 분석한 후, 특정 대역이 noisy하다고 판단되면 사용이 되며, 그렇지 않은 경우에는 사용이 되지 않는다.

이때, PNS tool은 심리음향모델부(201)로부터 각 밴드의 noisy한 정도를 제공받고, 이를 참고하여 해당 주파수 밴드에 노이즈를 추가할 수 있다.

양자화 및 부호화부(211)는 양자화 및 부호화가 필요한 모든 데이터에 대하여 양자화 및 부호화를 수행한다.

비트 스트림 페이로드 포맷터(213)는 시간/주파수 맵핑부(203), TNS(205), 스펙트럴 처리부(spectral processing)(207), PNS(209), 양자화 및 부호화부(211)의 출력을 다중화하여 비트스트림을 생성한다.

도 3은 오디오 신호 복호화기의 구성예를 나타낸다.

도 3을 참조하면, 복호화기는 비트스트림 페이로드 디포맷터(301), 복호화 및 역양자화부(303), PNS(305), 스펙트럴 처리부(307), TNS(309) 및 주파수/시간 맵핑부(311)을 포함한다.

비트스트림 페이로드 디포맷터(301)는 수신되는 비트스트림을 역다중화를 시킨 후 각 블록에서 필요한 인덱스로 분리한다.

복호화 및 역양자화부(303)는 전송된 인덱스를 복호화 한 후 SC 신호를 역양자화를 한다.

PNS(305)는 역양자화된 복호화된 파라메터들에 PNS tool을 실행하여 노이즈를 추가한다. 이때, 추가되는 노이즈는 수신한 인덱스를 복호화한 후, 복호화된 값을 이용한다.

스펙트럴 처리부(307)는 다양한 spectral processing에 대한 복호화를 수행한다.

TNS(309)는 복호화가 완료된 excitation 신호를 이용하여 LP 합성을 한다.

주파수/시간 맵핑부(311)는 역주파수 변환을 통해 시간 영역의 오디오 신호를 출력한다.

도 4는 제안하는 오디오 신호 부호화 장치의 일예를 나타내는 블럭도이다.

도 4를 참조하면, 제안하는 실시예에 따른 오디오 부호화 장치는 심리음향모델부(401), 시간/주파수 맵핑부(403), 제1 TNS(405), 스펙트럴 처리부(spectral processing)(407), 양자화 및 부호화부(409), 제2 TNS(411), PNS(413) 및 비트 스트림 페이로드 포맷터(Bitstream payload formatter)(415)를 포함한다.

도 4를 참조하면, 제안하는 실시예에 따른 오디오 부호화 장치는 Synthesis filter 기능을 수행하는 제2 TNS(411) 다음에 PNS(413)가 구성될 수 있다.

제안하는 실시예에 따른 오디오 부호화 장치는 양자화를 통해 양자화 노이즈가 추가된 excitation 신호를 합성 필터링하고, PNS tool을 이용하여 합성 필터링된 신호에 존재하는 스펙트럴 홀(spectral hole) 부분에 노이즈가 추가되도록 구성할 수 있다.

따라서, 제안하는 실시예에 따른 오디오 부호화 장치는 대역의 noisy 정도에 따라 노이즈를 추가하는 방식과는 큰 차이를 갖는다.

심리음향모델부(401)는 도 2의 심리음향모델부(201)와 동일한 기능을 수행할 수 있다.

시간/주파수 맵핑부(403)는 시간영역의 오디오 신호를 주파수 영역의 오디오 신호로 변환할 수 있다.

제1 TNS(405)는 도 2의 TNS(205)와 유사하게 analysis filter의 기능을 수행할 수 있다. 따라서, 제1 TNS(405)는 상기 주파수 영역의 오디오 신호로부터 단구간 상관도를 제거한 잔차 신호를 생성할 수 있다.

또한, 제1 TNS(405)는 상기 잔차 신호에서 중요 주파수 성분에 대응하는 부분을 결정하고, 상기 중요 주파수 성분에 대응하는 부분의 진폭(amplitude), 부호(sign) 및 위치(location) 정보를 출력할 수 있다.

스펙트럴 처리부(spectral processing)(407)는 상기 잔차 신호의 오디오 포맷에 적합한 다양한 스펙트럴 처리를 수행할 수 있다.

양자화 및 부호화부(409)는 상기 잔차 신호를 양자화 및 부호화한다.

제2 TNS(411)는 상기 양자화된 잔차 신호를 역 필터링한다.

PNS(413)는 상기 역 필터링된 잔차 신호에 대하여 지각 잡음 분석 과정을 수행한다. 여기서, 지각 잡음 분석은 부호화시 PNS tool 이 수행할 수 있는 일 기능으로서, 역 필터링된 잔차 신호의 스펙트럴 홀을 추출하고, 스펙트럴 홀에 대응하는 노이즈 정보를 계산하고, 상기 계산된 노이즈 정보를 부호화하는 것을 의미한다.

이때, PNS(413)는 다양한 선형예측 분석을 통하여 스펙트럴 홀에 대응하는 노이즈 정보를 계산할 수 있다. 선형 예측 분석은 널리 알려진 자기 상관법을 이용하여 수행할 수 있으며, 공분산법(covariance method), 더빈의 방법(Durbin's method)등을 이용할 수 있다. 이런한 노이즈 정보의 계산 및 노이즈의 추가 방법은 당해 기술 분야에서 널리 알려져 있으므로 여기서는 설명을 생략한다.

비트 스트림 페이로드 포맷터(415)는 시간/주파수 맵핑부(403), 제1 TNS(405), 스펙트럴 처리부(spectral processing)(407), 양자화 및 부호화부(409), 및 PNS(413)의 출력을 다중화하여 비트스트림을 생성한다.

도 5는 제안하는 오디오 신호 복호화 장치의 일예를 나타내는 블럭도이다.

도 5를 참조하면, 제안하는 실시예에 따른 오디오 복호화 장치는 비트스트림 페이로드 디포맷터(501), 복호화 및 역양자화부(503), 스펙트럴 처리부(505), TNS(507), PNS(509) 및 주파수/시간 맵핑부(511)을 포함한다.

비트스트림 페이로드 디포맷터(501)는 수신되는 비트스트림을 역다중화를 시킨 후 각 블록에서 필요한 인덱스로 분리한다.

복호화 및 역양자화부(503)는 비트스트림으로부터 주파수 영역의 오디오 신호에 대응하는 잔차 신호를 복호화 및 역양자화한다.

이때, 상기 잔차 신호는, 오디오 신호의 중요 주파수 성분에 대응하는 것일 수 있다.

복호화 및 역양자화부(503)는 상기 잔차 신호의 진폭(amplitude)을 역양자화하고, 상기 잔차 신호의 부호(sign) 및 위치(location) 정보를 복호화할 수 있다.

스펙트럴 처리부(505)는 상기 잔차 신호의 오디오 포맷에 적합한 다양한 스펙트럴 처리를 수행한다.

TNS(507)는 상기 잔차 신호를 역 필터링하여 단구간 상관도를 갖는 스펙트럴 계수를 생성한다.

PNS(509)는 상기 스펙트럴 계수에 대하여 지각 잡음 합성 과정을 수행한다. 상기 비트스트림으로부터 지각 잡음 합성을 위한 노이즈 정보를 복호화하고, 상기 노이즈 정보에 따라서 상기 스펙트럴 계수에 노이즈를 합성하는 것을 의미한다.

이때, 지각 잡음 합성은 부호화시의 지각 잡음 분석에 대응하는 개념으로 복호화시 노이즈를 추가하는 것을 의미한다.

주파수/시간 맵핑부(511)는 상기 지각 잡음 합성 과정을 수행한 스펙트럴 계수를 시간 영역의 오디오 신호로 변환한다.

도 6은 제안하는 오디오 신호 부호화 방법의 일예를 나타내는 흐름도이다.

도 6을 참조하면, 오디오 신호 부호화 방법은 주파수 영역의 오디오 신호를 스펙트럴 계수로 변환하는 단계(S601)와, 상기 스펙트럴 계수를 필터링하여 상관도가 제거된 잔차 신호를 생성하는 단계(S603)와, 상기 잔차 신호를 양자화 및 부호화하는 단계(S605)와, 양자화된 잔차 신호를 역 필터링하는 단계(S607) 및 역 필터링된 잔차 신호에 대하여 지각 잡음 분석 과정을 수행하는 단계(S609)를 포함한다.

이때, 상기 잔차 신호를 양자화 및 부호화하는 단계(S605)는, 상기 스펙트럴 계수의 필터링 이득을 계산하고, 상기 이득을 반영하여 잔차 신호를 생성하는 것을 포함할 수 있다.

이때, 상기 잔차 신호를 양자화 및 부호화하는 단계(S605)는, 상기 잔차 신호에서 중요 주파수 성분에 대응하는 부분을 선택하고, 상기 선택된 부분의 잔차 신호를 양자화 및 부호화하는 것을 포함할 수 있다.

이때, 상기 중요 주파수 성분에 대응하는 부분을 선택하는 것은, 부호화 신호의 전송 비트율을 고려하여 임계값 g를 계산하고, 상기 잔차 신호를 구성하는 각각의 스펙트럴 빈에서 원신호와 예측값의 차이 e를 구하고, 상기 g와 e를 이용하여 상기 중요 주파수 성분에 대응하는 부분을 결정하는 것을 포함할 수 있다.

이때, 상기 선택된 부분의 잔차 신호를 양자화 및 부호화하는 것은, 상기 선택된 부분의 잔차 신호에 대응하는 진폭(amplitude)를 양자화하고, 상기 선택된 부분의 잔차 신호에 대응하는 부호(sign) 및 위치(location) 정보를 부호화하는 것을 포함할 수 있다.

상기 지각 잡음 분석을 수행하는 단계(S609)는, 상기 역 필터링된 잔차 신호 의 스펙트럴 홀을 추출하고, 추출된 스펙트럴 홀에 대응하는 노이즈 정보를 계산하고, 상기 계산된 노이즈 정보를 부호화하는 것을 포함할 수 있다.

여기서, 노이즈 정보는 노이즈의 크기, 노이즈 레벨, 스펙트럴 홀 위치에 대한 정보 중 적어도 하나를 포함할 수 있다.

도 7은 제안하는 오디오 신호 부호화 방법의 상세 과정을 나타내는 흐름도이다.

제안하는 실시예에 따른 오디오 신호 부호화 장치는, 부호화가 시작되면 start와 end 주파수를 선정한다(702). 다음으로는 703단계에서 입력신호에 대해 LP 분석을 실시하고, LPC filter, Reflection coefficients (RC), 그리고 prediction gain을 구한다. Prediction gain은 다음 수학식 1에 의하여 구할 수 있다.

여기서, γ는 Prediction gain을 의미하며 0에 가까울 수록 predictable한 경우를 의미하며, 값이 커질수록 unpredictable한 경우를 의미한다. 704 단계에서는 이 값을 정해진 Threshold와 비교하여 이보다 큰 경우에는 Prediction gain이 낮은 것을 의미하며, TNS 방식을 적용할 때 필요한 side effect를 고려할 때 이득을 보기 힘들다는 것을 의미하므로, TNS를 사용하지 않고 일반적인 Spectral coefficient 부호화 방식으로 부호화를 수행한다. 이와 반대로 Prediction gain 값 이 Threshold보다 적을 때는 TNS를 이용한 부호화를 한다. 이와 같이 결정된 TNS tool 사용여부를 TNS flag를 이용하여 부호화할 수 있다. 705 단계에서는 LPC filter의 차수를 결정한다. 차수 결정은 가장 높은 차수의 filter의 절대값이 순서대로 낮은 차수로 이동하면서 미리 결정된 Threshold 보다 큰 경우가 발생하는 차수가 최종 차수가 된다.

706 단계에서는 구해진 차수를 이용하여 LPC filter와 RC를 다시 구한다. 707 단계에서는 구해진 RC를 양자화하는데 여기서는 부호화에 적절한 어떠한 양자화 방법도 사용 가능하다. 양자화 방법의 예는 SQ, VQ 등이 있다. 707단계에서는 양자화된 RC 값을 구하기 위해 양자화된 인덱스를 역양자화 한다. 709 단계에서는 역양자화된 RC값을 양자화된 LPC 값으로 변환한다. 710 단계에서는 양자화된 LPC 값을 이용하여 residual 신호를 계산한다. 711 단계에서는 Residual 신호의 amplitude를 양자화 한다. 712 단계에서는 Residual 신호의 sign과 location 정보를 부호화 한다.

713 단계에서는 부호화된 TNS 관련 data를 저장한다.

714 단계에서는 부호화된 TNS data를 이용하여 양자화된 Residual 신호 즉 합성 필터의 excitation 신호를 합성하고, 합성된 excitation 신호와 양자화된 LPC 계수를 이용하여 inverse filtering을 한다.

715 단계에서는 inverse filtering된 신호를 이용하여 spectral hole 부분을 탐색하여 그 부분에 채울 노이즈 정보를 계산한다.

716 단계에서는 계산된 PNS를 위한 데이터(노이즈 정보)를 부호화 한다. 717 단계에서는 최종 프레임인지 확인한 후에 최종 프레임이 아니면 703 단계부터 그 이후 단계를 반복해서 수행하고, 최종 프레임인 경우에는 부호화 과정을 종료한다.

도 8은 제안하는 오디오 신호 복호화 방법의 일예를 나타내는 흐름도이다.

도 8을 참조하면, 오디오 신호 복호화 방법은 입력되는 비트스트림으로부터 주파수 영역의 오디오 신호에 대응하는 잔차 신호를 얻는 단계(S801), 상기 잔차 신호를 역 필터링하여 단구간 상관도를 갖는 스펙트럴 계수를 생성하는 단계(S803) 및 상기 스펙트럴 계수에 대하여 지각 잡음 합성 과정을 수행하는 단계(S805)를 포함한다.

이때, 상기 잔차 신호를 얻는 단계(S801)는, 상기 잔차 신호의 진폭(amplitude)을 역양자화하고, 상기 잔차 신호의 부호(sign) 및 위치(location) 정보를 복호화하는 것을 포함할 수 있다.

이때, 상기 지각 잡음 합성 과정을 수행하는 단계(S805)는, 상기 비트스트림으로부터 지각 잡음 합성을 위한 노이즈 정보를 복호화하고, 상기 노이즈 정보에 따라서 상기 스펙트럴 계수에 노이즈를 합성하는 것을 포함할 수 있다.

도 9는 제안하는 오디오 신호 복호화 방법의 상세 과정을 나타내는 흐름도이다.

제안하는 실시예에 따른 오디오 신호 복호화 장치는, 복호화가 시작되면 902 단계에서는 부호화기와 동일하게 start와 end 주파수를 선정한다. 다음으로 903 단계에서는 TNS flag를 복호화하여 TNS가 사용되었는지 확인한다. 904 단계에서는 TNS flag의 복호화 결과, TNS가 사용이 안된 경우에는 TNS 복호화를 하지 않고 일반적인 Spectral coefficient 복호화 방식으로 복호화를 수행한다.

이와 반대로 TNS가 사용이 된 경우에는 TNS를 이용한 복호화를 한다. 905 단계에서는 양자화된 RC 값을 구하기 위해 양자화된 인덱스를 역양자화 한다. 906 단계에서는 역양자화된 RC값을 양자화된 LPC 값으로 변환한다. 907 단계에서는 Residual 신호의 amplitude를 역양자화 한다. 908 단계에서는 Residual 신호의 sign과 location 정보를 복호화 한다.

910 단계에서는 부호화된 TNS data를 이용하여 양자화된 Residual 신호 즉 합성 필터의 excitation 신호를 합성하고, 합성된 excitation 신호와 양자화된 LPC 계수를 이용하여 inverse filtering을 한다.

911 단계에서는 계산된 PNS를 위한 데이터를 복호화하고 해당 위치에 노이즈를 채운다. 912 단계에서는 최종 프레임인지 확인한 후에 최종 프레임이 아니면 903 단계부터 그 이후 단계를 반복해서 복호화하고, 최종 프레임인 경우에는 복호화 과정을 종료한다.

도 10은 잔차 신호 선택 방법의 일 예를 나타낸다.

여기서, 잔차 신호 선택이란, 잔차 신호로부터 오디오 신호의 중요 주파수 성분과 대응하는 부분을 선택하는 것을 의미한다. 잔차 신호의 선택 동작은 예를 들어, 제1 TNS(405)에서 수행될 수 있다.

먼저, 입력 데이터는 LPC 계수(a)와 원신호(x), 그리고 앞에서 구한 γ로 정할 수 있다. 이때, 1001 단계에서는 먼저 Threshold 값인 g값을 계산한다. 선택되는 spectral bin의 개수에 따라서 g 값을 조정할 수 있다. g 값이 적어지면 선택되는 spectral bin의 개수가 증가하고 g 값이 커지면 선택되는 spectral bin의 개수가 감소한다. g 값의 한 예는 다음 수학식 2와 같다.

여기서 a 값의 설정에 따라 g 값이 최종적으로 결정된다. a 값의 설정은 target 비트율, bit rate control 방식 등에 따라 결정될 수 있다. 1003 단계에서는 각 bin에 대해서 루프를 설정한다.

1005 단계에서는 i번째에서 예측된 x 값인

을 구한다. 첫 번째

을 구하기 위한 과거의 값은 0으로 초기화를 한 후에 사용할 수 있다. 1007 단계에서는

의 절대값 e를 구한다. 1009 단계에서는 구해진 e가 g 보다 큰지 확인한다. 1011단계에서 e가 g보다 큰 경우에는 현재 위치의 bin을 유효한 bin으로 인정을 하고 현재 위치에 대한 residual 신호를 구한다. 이때, 현재의 위치는 sign 정보와 함께 부호화되는 정보를 의미한다.

1013단계는 e가 g보다 적거나 같은 경우이며 이런 경우에는 현재의 위치가 유효하지 않은 위치라고 가정하고 현재 위치에 대한 residual 신호를 0으로 셋팅할 수 있다. 1015 단계에서는

의 값에 residual 값을 더하여, 예측된 값을 수정할 수 있다. 1017단계에서는 최종 bin인지 확인하여 최종이 아니면 1003 단계부터 1015단계를 반복하고 최종인 경우에는 단계를 완료하고 구해진 residual 신호를 리턴한다.

도 11은 제안하는 오디오 신호 부호화 장치를 기능 블록으로 표현한 예를 나타낸다.

도 11을 참조하면, T/F mapping(1101)은 입력되는 오디오 신호를 주파수 영역의 오디오 신호로 변환한다.

TNS decision(1102)은 spectral coefficient에 대해서 TNS tool의 수행 여부를 결정한다.

TNS tool의 수행이 결정되면, Filter calculation(1103)은 필터 계수를 구하고, Residual signal(1104)은 필터계수를 이용하여 residual 신호를 구한다. Spectral bin selection(1105)은 도 10에 도시된 방법 또는 다양한 방법에 따라 유효한 스펙트럴 빈을 선택할 수 있다. Gains matching(1106)은 구해진 residual 신호와 원신호와의 gain 사이에 발생할 수 있는 gain을 조정 한다.

수학식 3은 residual 신호와 원신호 사이의 에너지 보존 관계를 나타낸 것이다. 그러므로 구해진 에 에너지 비율을 이용한 gain을 곱해서 전체적인 에너지를 보존한다.

여기서,

는 T/F mapping(1101)에서 출력되는 원 신호의 에너지이고,

는 Spectral bin selection(1105)에서 출력되는 residual 신호의 에너지를 나타낸다.

Filter parameters encoding(1107)은 필터 파라메터를 부호화한다. Perceptual model(1108) 은 Perceptual modeling을 수행하며, 이 모델링 결과를 이용하여 Frequency selection(1109)은 중요 주파수에 대한 spectral bin을 선택할 수 있다. TNS 가 사용된 경우와 사용이 안된 경우에 이 방식을 이용한 spectral bin 선택의 범위가 달라질 수 있다.

Location coding(1110)은 최종적으로 선택된 bin 위치에 대한 location 정보를 부호화한다. Location 정보는 TNS 부호화와 일반적인 Frequency domain 부호화에 대해 공통으로 적용이 가능하다. Quantization(1111)은 선택된 bin을 양자화한다. TSN?(1112)은 TNS의 사용여부를 확인하고 사용이 된 경우에는 Inverse filtering(1113)은 신호 합성을 수행 한다. Noise calculation(1114)은 PNS를 위한 파라메터를 계산하여 부호화 하고 Bit stream(1115)은 각 기능블록에서 구해진 모든 전송 파라메터를 포함하는 비트스트림을 생성한다.

도 12는 제안하는 오디오 신호 복호화 장치를 기능 블록으로 표현한 예를 나타낸다.

도 12를 참조하면, Decoding TSN flag(1201)는 먼저 TNS Flag를 복호화한다. TNS?(1202)는 TNS의 사용여부를 확인하고, TNS가 사용이 된 경우에 Filter parameter decoding(1203)은 filter 파라메터를 복호화한다.

Location decoding(1206)은 residual 신호의 Location 정보를 복호화하고 TNS?(1204)는 TNS의 사용여부를 확인하고, TNS가 사용이 된 경우에 Rage limiting(1205)은 현재 프레임에 대한 Frequency domain 부호화 region과 TNS region에 대한 range를 결정한다.

De-Quantization(1207)은 선택된 bin에 대한 역양자화를 수행하며, TNS?(1208)는 TNS의 사용여부를 확인하고, TNS가 사용이 된 경우에 Inverse filtering(1209)은 신호 합성을 수행 한다.

Noise Decoding(1210)은 PNS 기술을 이용하여 노이즈 신호를 복호화하여 residual 신호에 추가할 수 있다.

F/T Mapping(1211)은 최종 복호화된 신호를 역주파수 변환하여 시간 영역의 오디오 신호를 출력한다.

제안하는 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 도 1a 및 도 1b는 주파수 대역별로 적용되는 부호화 방식의 일예를 나타낸다.

도 2는 오디오 신호 부호화기의 구성예를 나타낸다.

도 3은 오디오 신호 복호화기의 구성예를 나타낸다.

도 4는 제안하는 오디오 신호 부호화 장치의 일예를 나타내는 블럭도이다.

도 5는 제안하는 오디오 신호 복호화 장치의 일예를 나타내는 블럭도이다.

도 6은 제안하는 오디오 신호 부호화 방법의 일예를 나타내는 흐름도이다.

도 7은 제안하는 오디오 신호 부호화 방법의 상세 과정을 나타내는 흐름도이다.

도 8은 제안하는 오디오 신호 복호화 방법의 일예를 나타내는 흐름도이다.

도 9는 제안하는 오디오 신호 복호화 방법의 상세 과정을 나타내는 흐름도이다.

도 10은 잔차 신호 선택 방법의 일 예를 나타낸다.

도 11은 제안하는 오디오 신호 부호화 장치를 기능 블록으로 표현한 예를 나타낸다.

도 12는 제안하는 오디오 신호 복호화 장치를 기능 블록으로 표현한 예를 나타낸다.

Claims (18)

1. 주파수 영역의 오디오 신호를 스펙트럴 계수로 변환하는 단계;

   상기 스펙트럴 계수를 필터링하여 상관도가 제거된 잔차 신호를 생성하는 단계;

   상기 잔차 신호를 양자화 및 부호화하는 단계;

   양자화된 잔차 신호를 역 필터링하는 단계; 및

   역 필터링된 잔차 신호에 대하여 지각 잡음 분석 과정을 수행하는 단계를 포함하는 오디오 신호의 부호화 방법.
2. 제1항에 있어서,

   상기 잔차 신호를 양자화 및 부호화하는 단계는,

   상기 스펙트럴 계수의 필터링 이득을 계산하고,

   상기 이득을 반영하여 잔차 신호를 생성하는 것을 포함하는 오디오 신호의 부호화 방법.
3. 제1항에 있어서,

   상기 잔차 신호를 양자화 및 부호화하는 단계는,

   상기 잔차 신호에서 중요 주파수 성분에 대응하는 부분을 선택하고,

   상기 선택된 부분의 잔차 신호를 양자화 및 부호화하는 것을 포함하고,

   상기 중요 주파수 성분에 대응하는 부분을 선택하는 것은,

   부호화 신호의 전송 비트율을 고려하여 임계값 g를 계산하고,

   상기 잔차 신호를 구성하는 각각의 스펙트럴 빈에서 원신호와 예측값의 차이 e를 구하고,

   상기 g와 e를 이용하여 상기 중요 주파수 성분에 대응하는 부분을 결정하는 것을 포함하는 오디오 신호의 부호화 방법.
4. 삭제
5. 제3항에 있어서,

   상기 선택된 부분의 잔차 신호를 양자화 및 부호화하는 것은,

   상기 선택된 부분의 잔차 신호에 대응하는 진폭(amplitude)를 양자화하고,

   상기 선택된 부분의 잔차 신호에 대응하는 부호(sign) 및 위치(location) 정보를 부호화하는 것을 포함하는 오디오 신호의 부호화 방법.
6. 제1항에 있어서,

   상기 지각 잡음 분석을 수행하는 단계는,

   상기 역 필터링된 잔차 신호의 스펙트럴 홀을 추출하고,

   추출된 스펙트럴 홀에 대응하는 노이즈 정보를 계산하고,

   상기 계산된 노이즈 정보를 부호화하는 것을 포함하는 오디오 신호의 부호화 방법.
7. 입력되는 비트스트림으로부터 주파수 영역의 오디오 신호에 대응하는 잔차 신호를 얻는 단계;

   상기 잔차 신호를 역 필터링하여 단구간 상관도를 갖는 스펙트럴 계수를 생성하는 단계; 및

   상기 스펙트럴 계수에 대하여 지각 잡음 합성 과정을 수행하는 단계를 포함하고,

   상기 잔차 신호는, 부호화 과정에서 주파수 영역의 오디오 신호로부터 변환된 스펙트럴 계수를 필터링함으로써 생성되는 신호를 포함하는 오디오 신호의 복호화 방법.
8. 제7항에 있어서,

   상기 잔차 신호를 얻는 단계는,

   상기 잔차 신호의 진폭(amplitude)을 역양자화하고,

   상기 잔차 신호의 부호(sign) 및 위치(location) 정보를 복호화하는 것을 포함하는 오디오 신호의 복호화 방법.
9. 제7항에 있어서,

   상기 잔차 신호는,

   오디오 신호의 중요 주파수 성분에 대응하고,

   상기 중요 주파수 성분에 대응하는 부분은,

   부호화 신호의 전송 비트율을 고려하여 임계값 g를 계산하고,

   상기 잔차 신호를 구성하는 각각의 스펙트럴 빈에서 원신호와 예측값의 차이 e를 구하고,

   상기 g와 e를 이용하여 결정되는 것을 특징으로 하는 오디오 신호의 복호화 방법.
10. 제7항에 있어서,

    상기 지각 잡음 합성 과정을 수행하는 단계는,

    상기 비트스트림으로부터 지각 잡음 합성을 위한 노이즈 정보를 복호화하고,

    상기 노이즈 정보에 따라서 상기 스펙트럴 계수에 노이즈를 합성하는 것을 포함하는 오디오 신호의 복호화 방법.
11. 제1항 내지 제3항 및 제5항 내지 제10항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
12. 시간영역의 오디오 신호를 주파수 영역의 오디오 신호로 변환하고, 상기 주파수 영역의 오디오 신호를 스펙트럴 계수로 변환하는 시간/주파수 맵핑부;

    상기 스펙트럴 계수를 필터링하여 단구간 상관도를 제거한 잔차 신호를생성하는 제1 TNS;

    상기 잔차 신호의 오디오 포맷에 대응하는 스펙트럴 처리를 결정하여 수행하는 스펙트럴 처리부;

    상기 잔차 신호를 양자화 및 부호화하는 양자화 및 부호화부;

    상기 양자화된 잔차 신호를 역 필터링하는 제2 TNS; 및

    상기 역 필터링된 잔차 신호에 대하여 지각 잡음 분석 과정을 수행하는 PNS를 포함하는 오디오 신호 부호화 장치.
13. 제12항에 있어서, 상기 제1 TNS는,

    상기 잔차 신호에서 중요 주파수 성분에 대응하는 부분을 결정하고,

    상기 중요 주파수 성분에 대응하는 부분의 진폭(amplitude), 부호(sign) 및 위치(location) 정보를 출력하고,

    상기 중요 주파수 성분에 대응하는 부분은,

    부호화 신호의 전송 비트율을 고려하여 임계값 g를 계산하고,

    상기 잔차 신호를 구성하는 각각의 스펙트럴 빈에서 원신호와 예측값의 차이 e를 구하고,

    상기 g와 e를 이용하여 결정되는 오디오 신호 부호화 장치.
14. 제12항에 있어서, 상기 PNS는,

    상기 역 필터링된 잔차 신호의 스펙트럴 홀을 추출하고,

    추출된 스펙트럴 홀에 대응하는 노이즈 정보를 계산하고,

    상기 계산된 노이즈 정보를 부호화하는 오디오 신호 부호화 장치.
15. 입력되는 비트스트림으로부터 주파수 영역의 오디오 신호에 대응하는 잔차 신호를 복호화 및 역양자화하는 복호화 및 역양자화부;

    상기 잔차 신호의 오디오 포맷에 대응하는 스펙트럴 처리를 결정하여 수행하는 스펙트럴 처리부;

    상기 잔차 신호를 역 필터링하여 단구간 상관도를 갖는 스펙트럴 계수를 생성하는 TNS;

    상기 스펙트럴 계수에 대하여 지각 잡음 합성 과정을 수행하는 PNS; 및

    상기 지각 잡음 합성 과정을 수행한 스펙트럴 계수를 시간 영역의 오디오 신호로 변환하는 주파수/시간 맵핑부를 포함하고,

    상기 잔차 신호는, 부호화 과정에서 주파수 영역의 오디오 신호로부터 변환된 스펙트럴 계수를 필터링함으로써 생성되는 신호를 포함하는 오디오 신호 복호화 장치.
16. 제15항에 있어서, 상기 복호화 및 역양자화부는,

    상기 잔차 신호의 진폭(amplitude)을 역양자화하고,

    상기 잔차 신호의 부호(sign) 및 위치(location) 정보를 복호화하는 오디오 신호 복호화 장치.
17. 제15항에 있어서, 상기 잔차 신호는,

    오디오 신호의 중요 주파수 성분에 대응하고,

    상기 중요 주파수 성분에 대응하는 부분은,

    부호화 신호의 전송 비트율을 고려하여 임계값 g를 계산하고,

    상기 잔차 신호를 구성하는 각각의 스펙트럴 빈에서 원신호와 예측값의 차이 e를 구하고,

    상기 g와 e를 이용하여 결정되는 것을 특징으로 하는 오디오 신호의 복호화 장치.
18. 제15항에 있어서, 상기 PNS는,

    상기 비트스트림으로부터 지각 잡음 합성을 위한 노이즈 정보를 복호화하고,

    상기 노이즈 정보에 따라서 상기 스펙트럴 계수에 노이즈를 합성하는 오디오 신호의 복호화 장치.

Images