KR20020008871A - 디지털 오디오 부호화 방법 - Google Patents

Abstract

본 발명은 디지털 오디오 부호화 방법에 관한 것으로, 내부 및 외부 반복 루프를 통한 양자화 과정이 포함된 디지털 오디오의 부호화에 있어서, 내부 반복 루프는 양자화된 스펙트럼의 허프만 부호화시 사용 가능한 비트보다 많은 비트가 필요할 경우, 그 차이에 따라 스텝 사이즈를 적응적으로 증가시키도록 하고, 외부 반복 루프는 양자화 잡음과 마스킹 커브와의 차(NMR : Noise to Mask Ratio)를 고려하여 각 밴드의 스케일 팩터를 조정하도록 이루어짐으로써, 루프의 반복 회수를 줄여 계산량 감소 및 음질 향상의 효과가 있고, 따라서 낮은 성능의 DSP나 PC에서도 고속의 부호화가 가능하고 음질의 향상을 가져올 수 있도록 하는 효과가 있다.

Description

디지털 오디오 부호화 방법{ENCODING METHOD FOR DIGITAL AUDIO}

본 발명은 디지털 오디오 압축기술에 관한 것으로, 특히 양자화시의 반복 루프 최적화를 통해 계산량을 줄임으로써, 소정 시간 내에서 최적의 결과를 얻을 수 있도록 하는 디지털 오디오 부호화 방법에 관한 것이다.

일반적으로 엠펙(MPEG : Moving Picture Experts Group) 오디오로 통칭되고 있는 디지털 오디오는 고품질.고능률 스테레오 부호화를 위한 국제 표준화 기구(ISO/IEC)의 표준방식이다.

이러한 엠펙 오디오는 엠펙 비디오와 조합됨으로써 고능률의 멀티미디어 정보압축을 실현 가능하게 하며, 최근에는 디지털 티브이(DTV), 디브이디(DVD), 디지털 음악방송(DAB : Digital Audio Broadcasting) 및 엠피-3 플레이어 등 다양한 응용 제품이 등장하고 있는 상황이다.

그러나, 상기와 같은 디지털 오디오 기기들은 디코딩 기능만을 가지고 있을 뿐, 인코딩 기능은 가지고 있지 않다.

즉, 디코딩 회로는 그 구성이 간단하고 실시간 재생이 용이하지만, 인코딩 회로는 상대적으로 그 구성이 복잡하고 또한, 실시간 인코딩이 어렵기 때문이다.

따라서, 여러 기업에서는 하드웨어적 또는 소프트웨어적으로 디지털 신호의 처리속도를 향상시켜 실시간 인코딩이 가능하도록 하기 위해 많은 노력을 기울이고 있다.

참고로, MP3 오디오는 최근 널리 사용되고 있는 .mp3 확장자를 갖는 방식으로, 엠펙-1 오디오 계층 3의 방식으로 인코딩 된 것을 의미한다.

또한, 엠펙 오디오의 압축원리는 인간의 감각특성을 이용해서 감도가 낮은 세부의 정보를 생략하여 부호량을 절감시키는 "지각부호화(Perceptual Coding)" 방법을 이용한다.

여기서, 지각부호화란 고요할때 청각이 감지할 수 있는 음의 최소 레벨인 최소가청한계와, 특정음에 의해 다른 음이 잘 들리지 않게 되는 마스킹 현상을 이용하는 방법이다.

이때, 상기 최소가청한계는 음의 주파수(음의 고저)에 따라 달라지고, 마스킹 현상은 마스킹하는 음(Masker)과 마스킹되어 들리지 않는 음(Maskee)의 주파수에 따라 달라진다.

특히, 마스킹 효과가 일어나는 주파수 폭을 "크리티컬 밴드(Critical Band)"라고 하는데, 이 크리티컬 밴드 내에서의 지각가능한 신호대 잡음비(S/N)는 매우 낮다.

따라서, 엠펙 오디오에서는 상기와 같은 성질을 이용하여 디지털화에 따라 발생하는 양자화잡음을 크리티컬 밴드 내에 교묘히 혼합해넣어 그 양자화잡음이 들리지 않도록 하는 것이다.

이하, 엠펙 오디오 부호화기의 구성을 참조하여 디지털 오디오의 압축 방법을 설명한다.

도1은 일반적인 MP3 오디오 부호화기의 개략적인 구성을 보인 블록도로서, 이에 도시된 바와 같이 오디오 신호를 32개의 서브밴드로 세분하는 필터뱅크(1)와; 상기 서브밴드를 보다 세밀한 주파수 대역으로 분할하는 MDCT(Modified Discrete CosineTransform : 변형이산 여현변환)부(2)와; 상기 오디오 신호를 주파수 영역의 스펙트럼으로 변환하는 FFT(Fast Fourier Transform : 고속 푸리에 변환)부(3)와; 상기 FFT부(3)에서 출력된 주파수 스펙트럼을 이용해 마스킹 커브를 산출하는 심리 음향(Psycho acoustic) 부호화부(4)와; 상기 MDCT부(2)에서 출력된 DCT 계수와 심리 음향 부호화부(4)에서 출력된 마스킹커브를 입력받아 내부 및 외부 반복루프를 통해 양자화 연산을 하는 양자화부(5)와; 상기 양자화 연산시에 사용된 부가정보를 출력하는 부가정보 출력부(6)와; 상기 각 서브밴드에서 양자화된 신호를 허프만 부호화하여 출력하는 허프만 인코딩부(7)와; 상기 부가정보 및 허프만 부호화된 신호에 오류체크 비트 등을 부가하여 엠펙 오디오 프레임을 출력하는 인코딩 데이터 출력부(8)로 구성된다.

여기서, 심리 음향 부호화부(4)는 원음과 최소가청한계의 곡선으로부터 실제로 원음을 들으면서 감지할 수 있는 한계인 마스킹 커브를 구한다.

다음, 양자화부(5)는 각 서브밴드마다, 즉 주파수 대역마다 스케일 팩터와 양자화 스텝 사이즈를 조정하여 양자화 잡음을 마스킹 커브 이하가 되도록 부호화한다.

즉, 스케일 팩터는 각 밴드의 양자화잡음 정도에 맞추어 결정하고, 각 서브밴드마다 양자화에 의해 발생하는 양자화잡음이 마스킹 커브보다 작은 레벨이 되도록 각 서브밴드의 양자화 스텝 사이즈를 조정한다.

여기서, 양자화 스텝 사이즈는 크게하면 크게 할수록 압축률은 높아지지만 양자화 잡음레벨이 커지고, 스텝 사이즈를 작게하면 양자화 잡음레벨이 작아지는 대신 압축률도 낮아진다.

따라서, 청각감도가 높고 마스킹이 별로 작용하지 않는 부분에서는 양자화 스텝을 작게하여 양자화 잡음을 낮추고, 마스킹의 영향을 많이 받는 부분에서는 양자화 스텝을 크게한다.

특히, 상기 양자화부(5)는 고정된 비트율에서 양자화 잡음을 최소화하기 위해 외부루프(5a)와 내부루프(5b)로 이루어지는 두 개의 반복루프를 사용한다.

여기서, 외부루프(5a)는 주파수 영역에서 얻어진 잡음의 레벨이 마스킹 커브보다 큰 밴드에 대해서 스케일 팩터를 크게하여 잡음 레벨을 낮게 조정하고, 내부루프(5b)는 허프만 코딩된 데이터의 비트율(bit rate)이 일정하지 않기 때문에, 사용 가능한 비트보다 크면 양자화 스텝 사이즈를 늘려 조정하는 역할을 한다.

이때, 양자화 스텝 사이즈를 늘리게 되면 잡음도 함께 늘어나기 때문에 다시 외부루프를 도는 과정을 반복하여 그 값을 만족할 때까지 반복하게 된다.

그럼, 상기 외부루프와 내부루프의 동작 과정을 도2와 도3의 흐름도를 참조하여 보다 구체적으로 설명한다.

먼저, 도2는 상기 엠피3 오디오 부호화기의 양자화부에서, 외부루프의 동작 과정을 보인 흐름도로서, 이에 도시한 바와같이 외부루프는 내부루프의 처리결과를 입력받아(S1), 각 크리티컬 밴드에서의 양자화 잡음 레벨을 구한 후(S2) 각 크리티컬 밴드의 스케일 팩터를 버퍼(미도시)에 저장한다(S3).

다음, 상기 양자화 잡음 레벨을 각 크리티컬 밴드의 마스킹 커브와 비교하여, 마스킹 커브보다 양자화 잡음이 큰 크리티컬 밴드에 대해 스케일 팩터(scale factor)를 증가시킨다.(S4)

즉, 스케일 팩터를 크게하면 양자화 잡음이 줄어들기 때문이다.

따라서, 상기와 같은 방식으로 모든 크리티컬 밴드에 대해 스케일 팩터를 조정했는지 확인하여(S5) 모든 밴드의 스케일 팩터가 조정이 되었으면, 상기 버퍼에 저장해 두었던 스케일 팩터를 복원한다.(S8)

그러나, 아직 모든 크리티컬 밴드에 대해 조정이 완료되지 않았으면, 각 크리티컬 밴드에서 조정할 수 있는 스케일 팩터가 상한값까지 조절되었는지 확인하여(S6) 상한값까지 조절되었다면, 상기 버퍼에 저장해 두었던 스케일 팩터를 복원한다.(S8) 아직, 상한값까지 조절되지 않았으면 잡음레벨이 마스킹 커브를 벗어나는 크리티컬밴드가 있는지를 확인한다.(S7)

만약, 잡음레벨이 마스킹 커브를 벗어나는 밴드가 없으면 상기 저장된 스케일 팩터를 복원하고(S8), 마스킹 커브를 벗어나는 밴드가 있으면 그 결과를 내부루프로 출력하여, 내부루프를 돌아 출력된 결과를 입력받아 상기 모든 과정을 다시 반복 수행한다.

즉, 양자화 잡음이 마스킹 커브 이하가 되도록 변형하는 과정을 반복 수행하는 것이다.

다음, 도3은 상기 엠피3 오디오 부호화기의 양자화부에서, 내부루프의 동작 과정을 보인 흐름도이다.

내부 루프에서는 양자화된 외부루프의 처리결과를 입력받아(S9), 그 값이 양자화 테이블 범위를 벗어나는지를 판단한다.(S10)

만약, 테이블 범위를 벗어나면 양자화 스텝 사이즈를 증가시킨 후(S11) 피드백시켜상기 과정(S9)을 반복 수행한다.

그러나, 만약 외부루프의 처리결과를 양자화한 값이 허프만 테이블의 최대값을 벗어나지 않으면, 스펙트럼 최상위(고주파 영역) 영역의 연속된 '0'값을 카운트하고(S12) '1'보다 작거나 같은값(0,1)을 카운트하여(S13), 상기 카운트된 값(0,1)의 영역에서 허프만 부호화에 필요한 비트를 계산한다.(S14)

다음, 파형의 부호화 효율을 높이기 위해 나머지 하위(저주파 영역)의 샘플을 세 밴드씩 묶어 분할하고,(S15) 상기 분할된 각 밴드마다 적절한 허프만 테이블을 찾아 코딩한(S16) 후 사용된 비트를 카운트 한다.(S17)

다음, 상기 카운트된 비트의 합이 유효비트 이내인가를 판단하여(S18) 유효비트보다 크면 양자화 스텝 사이즈를 증가시켜(S19) 피드백시킨 후 상기 과정(S9)을 반복 수행하고, 유효비트 이내이면 종료한다.

즉, 내부루프는 프레임 당 사용 가능한 비트를 넘을 경우, 정해진 비트율을 맞추기 위해 스텝 사이즈를 순차적으로 증가시키는 과정을 반복하는 것이다.

이러한 반복 루프는 엠피3 인코더에서 계산량의 많은 부분을 차지하고 있을 뿐만 아니라, 반복 회수에 따라 계산량이 달라지는 특성을 갖는다.

따라서, 단위시간내에 입력신호를 처리해야 하는 실시간 부호화 시스템에서는 시간내에 계산을 완료하지 못해 음질이 저하되는 문제점이 있었다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, 엠피-3 인코딩에 필요한 루프의 반복 회수를 줄여 실시간 부호화 시스템 개발시 계산량 감소 및 음질을 향상시키기 위한 디지털 오디오 부호화 방법을 제공함에 그 목적이 있다.

도1은 일반적인 MP3 오디오 부호화기의 개략적인 구성을 보인 블록도.

도2는 상기 도1의 엠피3 오디오 부호화기의 양자화부에서, 외부루프의 동작 과정을 보인 흐름도.

도3은 상기 도1의 엠피3 오디오 부호화기의 양자화부에서, 내부루프의 동작 과정을 보인 흐름도.

도4는 본 발명에 의한 양자화부의 내부루프의 흐름도.

도5는 본 발명에 의한 양자화부의 외부루프의 흐름도.

이와 같은 목적을 달성하기 위한 본 발명은, 외부루프에서 양자화 잡음이 마스킹 커브를 넘는 밴드에 곱해주는 스케일 팩터를 증가시켜 양자화 잡음을 줄여주고, 내부 루프를 거쳐 다시 양자화 잡음과 마스킹 커브를 비교하게 되는데, 이때 양자화 잡음과 마스킹 커브와의 차(NMR)를 고려하여 각 밴드에 곱해주는 스케일 팩터를 -1dB∼1dB, 1dB∼4dB, 4dB 이상 차이가 나는 밴드로 나누어 각각의 경우에 따라 스케일 팩터값을 2배씩 증가시키는 것을 특징으로 한다.

또한, 본 발명은 내부루프에서 양자화된 스펙트럼을 허프만 부호화한 후 사용 가능한 비트보다 많은 비트가 필요하면 스텝 사이즈를 증가시키는데, 이때 한 스텝 증가할 때 감소되는 평균값을 60비트로 설정하고, 그 이상 차이가 나면 미리 2스텝을 증가 시키고, 150비트 이상 차이가 날 경우 3스텝을 증가시키는 것을 특징으로 한다.

이하, 본 발명에 따른 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

먼저, 도4는 본 발명에 의한 양자화부의 내부루프의 흐름도로서, 전체적인 흐름은 종래 내부루프의 흐름과 비슷하기 때문에 중복되는 과정은 간단히 요약한다.

일단, MDCT부(2)에서 출력되는 576개의 DCT 스펙트럼을 이전 오디오 프레임의 부호화시에 얻어진 스텝 사이즈값을 이용하여 비선형 양자화를 한다.(S21)

이후 과정은 상세하게 도시하지 않았지만, 종래 내부루프의 동작과 마찬가지로 외부루프의 처리결과를 양자화한 값이 허프만 테이블의 최대값을 벗어나지 않으면, 스펙트럼을 세 개의 영역으로 분할하고 각 부분에서 허프만 부호화에 필요한 비트수를 계산한다.(S29)

이에 따라, 본 발명에서는 사용 가능한 비트보다 많은 비트가 필요하면 사용 가능한 비트와 필요한 비트의 차를 이용하여 증가시킬 스텝 사이즈를 적응적으로 결정한다(S31).

즉, 스텝 사이즈를 1스텝씩 증가시키는게 아니고 그 상황에 따라서 적응적으로 2스텝 또는 3스텝씩을 한꺼번에 증가시키는 것이다.

이때, 중요한 것은 허프만 부호화 방법이 가변 비트율 부호화(VLC : Variable Length Coding)이기 때문에, 스텝 사이즈의 증가에 대해 항상 일정한 비트씩 감소하지는 않는다는 점이다.

실험적인 결과를 살펴보면 1스텝 증가할 때, 약 30∼90비트 정도가 감소하는 것을 알 수 있다.

따라서, 본 발명에서는 상기 가변되는 비트 범위(30∼90비트)에서 60비트를 그 평균값으로 하여 그 이상 차이가 나면 미리 2스텝을 증가하고, 150비트 이상 차이가 날 경우 3스텝을 증가시켜 루프의 반복 회수를 감소시키는 것이다.

다음, 도5는 본 발명에 의한 양자화부의 외부루프의 흐름도로서, 전체적인 흐름은 종래 외부루프와 비슷하기 때문에 중복되는 과정은 간단히 요약한다.

일단, 내부루프의 처리결과를 입력받아(S41), 각 크리티컬 밴드에서의 양자화 잡음레벨을 구한 후(S42) 각 크리티컬 밴드의 스케일 팩터를 버퍼(미도시)에 저장하기(S43) 까지의 과정은 종래 외부루프의 동작과 같다.

다음, 중요한 과정으로 본 발명에서는 각 밴드에서의 양자화 잡음과 마스킹 커브와의 차(NMR : Noise to Mask Ratio)를 이용하여 적응적으로 스케일 팩터를 조정한다.(S44)

이후의 과정은 다시 종래와 마찬가지로 모든 크리티컬 밴드에 대해 스케일 팩터를 조정했는지 확인하여(S45) 모든 밴드의 스케일 팩터가 조정이 되었으면, 상기 버퍼에 저장해 두었던 스케일 팩터를 복원하고(S49), 아직 모든 크리티컬 밴드에 대해 조정이 완료되지 않았으면, 각 크리티컬 밴드에서 조정할 수 있는 스케일 팩터가 상한값까지 조절되었는지 확인하여(S46) 상한값까지 조절되었다면, 상기 버퍼에 저장해 두었던 스케일 팩터를 복원한다.(S49)

아직, 상한값까지 조절되지 않았으면 잡음레벨이 마스킹 커브를 벗어나는 크리티컬밴드가 있는지를 확인하여(S47) 벗어나는 밴드가 없으면 상기 저장된 스케일 팩터를 복원하고(S49), 마스킹 커브를 벗어나는 밴드가 있으면 그 결과를 내부루프로 출력하여, 내부루프를 돌아 출력된 결과를 입력받아 상기 모든 과정을 다시 반복 수행한다.

단, 상기 과정은 단위 처리시간 이내에 수행될 수 있도록 관리한다(S48).

이때, 양자화 잡음은 일반적으로 1비트 할당될 때 6dB 정도 감소하므로 NMR값도 6dB감소하게 되며, 특히 엠펙 레이어-3 에서는 부호화시 각 밴드의 스펙트럼에 스케일 팩터를 곱하여 양자화 잡음을 조절하게 되는데, 이때 스케일 팩터의 기본 단위는 2또는 4가 될 수 있다.

만약, 스케일 팩터를 2라고 가정할 때, 양자화 잡음이 마스킹 임계값을 넘는 밴드, 즉 NMR값이 0dB이상인 밴드에 곱해주면 이론적으로 양자화 잡음이 6dB 감소하게 되지만, 실제 사용 가능한 비트의 수는 한정되어 있으므로 다른 밴드의 양자화 잡음은 오히려 증가하게 된다.

이에 따라, 내부 루프에서 양자화 스텝 사이즈가 증가하면 실제 양자화 잡음의 감소율은 더욱 낮아지게 되어 일정한 규칙에 의해 스케일 팩터를 증가시키기 어렵게 된다.

이와같은 점을 고려하여 본 발명에서는 NMR에 따라 -1dB∼1dB, 1dB∼4dB, 4dB 이상 차이가 나는 세 개의 밴드로 나누어 각각의 경우에 따라 스케일 팩터값을 2배씩 증가시킴으로써, 외부루프의 반복을 약 40% 정도 줄일 수 있게한다.

즉, -1dB∼1dB 차이가 나는 밴드의 스케일 팩터는 2로, 1dB∼4dB 차이가 나는 밴드의 스케일 팩터는 4로, 4dB 이상 차이가 나는 밴드의 스케일 팩터는 8로 증가시킨다.

실험에서는 일반적인 오디오 신호를 128kbps로 부호화할 때, 프레임 당 외부루프의 평균 반복회수가 7.87에서 4.22로 약 40% 정도 줄었으며, 내부루프도 외부루프의 영향을 받아 15.19에서 8.95번으로 감소했음을 알 수 있었다.

이상에서 설명한 바와 같이 본 발명 디지털 오디오 부호화 방법은 엠피3 부호화시 반복 루프의 반복 회수를 줄여 계산량 감소 및 음질 향상의 효과가 있고, 따라서낮은 성능의 DSP나 PC에서도 고속의 부호화가 가능하고 음질의 향상을 가져올 수 있는 효과가 있다.

Claims (7)

1. 내부 및 외부 반복 루프를 통한 양자화 과정이 포함된 디지털 오디오의 부호화에 있어서, 내부 반복 루프는 양자화된 스펙트럼의 허프만 부호화시 사용 가능한 비트보다 많은 비트가 필요할 경우, 그 차이에 따라 스텝 사이즈를 적응적으로 증가시키도록 이루어진 것을 특징으로 디지털 오디오 부호화 방법.
2. 제1항에 있어서, 상기 스텝 사이즈를 조절하기 위한 기준 비트수는 1스텝 사이즈 증가시 감소되는 최대 및 최소 비트 범위내에서, 그 중간값을 기준 비트수로 설정하여 상기 기준비트 단위로 스텝 사이즈를 조절하도록 이루어진 것을 특징으로 하는 디지털 오디오 부호화 방법.
3. 제1항에 있어서, 부호화시 사용가능한 비트수와 필요한 비트수가 60비트 이상 차이가 발생할 경우, 2스텝을 증가 시키도록 이루어진 것을 특징으로 하는 디지털 오디오 부호화 방법.
4. 제1항에 있어서, 부호화시 사용가능한 비트수와 필요한 비트수가 150비트 이상 차이가 발생할 경우, 3스텝을 증가 시키도록 이루어진 것을 특징으로 하는 디지털 오디오 부호화 방법.
5. 내부 및 외부 반복 루프를 통한 양자화 과정이 포함된 디지털 오디오의 부호화에 있어서, 외부 반복 루프는 양자화 잡음과 마스킹 커브와의 차(NMR : Noise to Mask Ratio)를 고려하여 각 밴드의 스케일 팩터를 조정하도록 이루어진 것을 특징으로 하는 디지털 오디오 부호화 방법.
6. 제5항에 있어서, 상기 스케일 팩터는 양자화 잡음과 마스킹 커브와의 차(NMR)를 -1dB∼1dB, 1dB∼4dB, 4dB 이상 차이가 나는 밴드로 나누어 각각의 경우에 따라 스케일 팩터값을 2배씩 증가시키는 것을 특징으로 하는 디지털 오디오 부호화 방법.
7. 제6항에 있어서, 상기 양자화 잡음과 마스킹 커브와의 차(NMR)를 나누는 밴드의 범위는 가변하여 정할 수 있는 것을 특징으로 하는 디지털 오디오 부호화 방법.