KR0138325B1 - 오디오 신호 부호화 방법 - Google Patents

Abstract

본 발명은 오디오 신호의 비트 할당방법을 공개한다. 그 방법은 다수의 대역으로 임의의 입력신호의 데이타를 분리하는 데이타 분리단계, 상기 입력신호를 변환하여 주파수 성분별로 상기 입력신호에 대한 양을 구하는 주파수 성분단계; 주파수 영역에서의 스펙트럼값들을 임계대역들로 나누어 주고, 상기 대역에서의 상기 신호의 크기를 구하는 임계대역단계, 상기 주파수 성분중 톤성분과 잡음성분을 구분하는 분리단계, 상기 분리단계에서 구해진 상기 각 성분에 의해 상기 각 대역에 대해 마스킹되어지는 정도를 계산하는 마스킹 단계, 상기 마스킹 단계에서 구해진 상기 마스킹 값과 최소 가청한의 상기 각 대역값들과 비교해서, 큰값을 각 대역의 최종 마스크된 문턱치로 해주는 최종 마스크단계, 상기 임계대역단계와 상기 최종 마스크단계에서 계산된 상기값을 이용하여 제1값을 계산하는 제1계산 단계, 상기 임계대역별 상기 제1값을 기준으로 제2값을 계산하는 제2계산 단계, 상기 제2값을 기준으로 상기 각 대역에 비트들을 할당해 주는 비트 할당단계, 상기 비트를 이용하여 상기 임계대역 중 하나의 상기 임계대역으로 포함될 수 있는 대역의 상기 데이타를 양자화하는 양자화 단계, 상기 양자화 단계후에 양자화된 비트를 정해진 형태로 묶는 비트 팩킹 단계로 구성되어 있다. 따라서, 비트할당 알고리즘이 간단하여 하드웨어 구현시 처리속도를 높일 수 있다.

Description

오디오 신호 부호화 방법

제1도는 디지탈 오디오 시스템의 부호화장치의 블록도이다.

제2도는 디지탈 오디오 시스템의 복호화장치의 블록도이다.

제3도는 주파수 대 잡음에 대한 마스킹 레벨과의 비율(NMR)의 관계를 나타내는 그래프이다.

본발명은 디지탈 오디오 신호의 비트할당 방법에 관한 것으로, 특히 청각심리를 이용한 오디오 데이타 부호화과정에서 임계대역을 기준으로 오디오 신호의 비트를 할당하는 오디오 신호의 비트할당 방법에 관한 것이다.

오디오 기기는 기록 저장매체에 신호를 저장해준 뒤 사용자가 필요시에 저장된 신호를 듣는 장치로, 최근 디지탈 신호처리 기술의 발달에 의해 기존의 아날로그 신호에 의한 LP(Long-Playing record)와 테이프에서 디지탈 신호에 의한 CD(Compact Disc)와 DAT(Digital Audio Tape)로의 개발이 진행되어 음질의 향상을 꾀했으나, 데이타의 양이 많아 저장 및 전송에 문제를 보였다. 이러한 문제는 최근 IOS에 의해 표준화 작업이 진행되고 있는 MPEG(Moving Picture Expert Group)오디오나, 상품화된 필립스의 DCC(Digital Picture Expert Group), 소니(Sony)사의 MD(Mini Disc)에서 처럼 인간의 청각심리들을 고려해 사람이 들을 수 없는 신호 성분은 선별적으로 구분하여 제거하고, 사람이 듣는데 중요한 영향을 미치는 신호는 적합한 비트들을 할당해 주면서, 양자화부의 설정을 적응적으로 해줌으로써 줄일 수 있다.

잡음 대 마스킹 레벨과의 비(NMR; Noise to Mask Ratio)는 이러한 것을 고려하기 위한 여러 지수 중 하나로 인간의 청각심리를 고려해 잡음이 들릴 수 있는 정도를 나타내는 척도로 1987년에 도입되었다. NMR은 먼저 인간의 청각심리를 고려해 신호 대 마스킹 레벨과의 비(SMR; Signal to Mask Ratio)를 구하고, 구한 SMR을 양자화에 따른 오차신호와 양자화 잡음과의 비(SNR;Signal to Noise Ratio)와 비교해 계산해 준다. 즉, 다음 식과 같다.

NMR=SMR-SNR

NMR에 로그를 취한 값은 각 대역에서 오차잡음과 마스크된 문턱치와의 거리를 말한다. 만약, 잡음이 문턱치보다 크면, NMR이 0보다 크게되고, 이 경우 양자화 잡음이 완전히 마스크되지 못하며, 잡음이 들리게 된다. 계산된 NMR에 의해 사람이 듣고 느끼지 못하는 경우에 대한 예는 제3도에 나타나 있다. 제3도에서, 6KHz에서 12KHz사이의 영역에서는 잡음이 들리고, 그 이외의 다른 주파수 대역에서는 잡음이 들리지 않게 된다. 이런 NMR에 근거해 비트들을 할당하는 방법은 다음과 같다.

첫째, 모든 대역에 할당된 비트들을 0으로 해준다.

둘깨, 가장 큰 NMR을 갖는 대역을 찾고, L개의 비트들을 SNR표를 이용해 할당해 준다.

셋째, 비트가 할당된 대역의 NMR이 새로 계산되고 모든 사용 가능한 비트들이 다 사용될 때까지 상기 둘째 단계를 계속해서 수행한다.

여기에서, 가장 큰 NMR을 찾는 이유는 잡음과 마스크된 문턱치와의 관계에서 잡음의 크기가 마스크된 문턱치의 크기에 비해 큰 부분을 찾는 것이다. 즉, 귀에 거슬리는 마스크된 문턱치보다 큰 잡음을 갖는 부분을 찾아서 그 양자화잡음의 크기를 감소시키기 위해 비트들을 더 할당해 양자화단계사이의 간격을 보다 줄여주어 잡음을 듣지 못하게 하는 처리를 말한다. 이러한 방법은 입력값들의 분포시 양자화오차를 고려해, 사람귀에 오차의 영향을 최소화시키면서, 사용 가능한 비트수들을 최대한 사용할 수 있도록 하기 위한 것이다.

일반적으로, NMR에 의한 비트할당을 하는 디지탈 오디오 부호화기에서 사용하는 대역의 수는 32개이다. 따라서, 32개 대역의 SMR을 계산하여야하고 비트할당시 32개 대역 전체를 고려하여야 한다. 32개의 동일대역으로 구분되어질 때 각 대역별 주파수의 크기는 44.1KHz로 샘플링했을 때 689Hz이다. 이러한 대역의 구분은 임계대역과는 거리가 있는 구분으로 임계대역별 잡음의 크기를 이용한 올바른 처리가 되지 못한다.

이와같은 종래의 기술은 32개의 SMR을 구하기 위한 계산시간과 비트할당시 소요되는 계산시간이 대역의 수가 많음으로 인해 많이 소요되는 단점이 있다.

본 발명의 목적은 연산의 복잡도를 줄이기 위해 제안된 방법으로 모든 대역에 대해 비트할당을 반복적으로 하지 않고 인간의 청각특성을 고려하여 임계대역별로 몇 개의 대역을 같이 처리하는 비트 할당방법을 사용한 오디오 신호의 부호화 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명에 의한 오디오 신호의 부호화방법은, 입력오디오신호를 주파수 영역으로 변환하여 대역필터에 의해 다수의 대역으로 분리하고, 상기 대역별 신호크기를 구하는 대역분리단계; 상기 대역별 신호크기와 청각심리에 근거하여 주파수 대역별로 비트를 할당하는 비트할당단계; 상기 대역별로 할당된 비트에 따라 상기 분리된 주파수 대역별로 입력신호를 양자화하는 양자화단계; 및 상기 양자화된 신호를 비트스트림으로 생성하는 비트팩킹단계를 포함함을 특징으로 하는 오디오 신호 부호화 방법에 있어서,

상기 비트할당 단계는, 주파수 대역수를 감소시키기 위해, 청각특성에 근거하고 비선형 간격으로 분리된 임계대역과 상기 대역필터에 의해 일정한 간격으로 분리된 주파수 대역을 매핑하되, 상기 대역필터에 의해 분리된 대역 중 저주파 쪽에 속하는 대역들은 상기 대역필터에 의해 분리된 대역을 선택하고, 고주파 쪽에 속하는 대역은 상기 임계대역을 선택하여, 새로운 대역으로 생성하는 단계; 및 상기 생성된 새로운 대역별로 그 신호크기와 청각심리에 근거하여 비트를 할당하는 비트할당단계로 이루어짐을 특징으로 한다.

이하에서 첨부된 도면을 참고로 하여 본 발명에 의한 비트할당 개념을 사용한 부호화방법을 설명하면 다음과 같다.

제1도는 디지탈 오디오 시스템의 일반적인 부호화장치의 블록도로서, 맵핑(MAPPING)부(10, 비트(BIT)할당부(40), 양자화부(20), 데이타 결합부(30)로 구성된다.

제2도는 디자탈 오디오 시스템의 일반적인 복호화장치의 블록도로서, 데이타 해체부(200), 복원부(210), 역맵핑부(220)로 구성된다.

상기 구성을 통한 일반적인 디지탈 오디오 시스템의 부호화 및 복호화장치들의 동작을 설명하면 다음과 같다.

제1도에 도시된 맵핑부(10)는 나중에 신호를 복원시에 양자화 처리과정에서 발생환 양자화 잡음에 의한 영향이 전대역에 퍼지는 현상을 줄일 수 있고, 인간의 음향심리 가운데 임계대역 효과를 고려해 주기가 편리하기 때문에 분석 필터를 사용하여 전 대역의 오디오 입력신호를 주파수 대역별로 분류해 준다.

비트 할당부(40)에서는 입력신호의 확률적인 분포만을 고려해서 비트를 할당해주는 인간의 음향심리를 교려하지 않은 방식과 달리, 인간의 음향심리 특성을 고려해 비트를 할당해준다.

양자화부(20)는 상기 비트할당부(40)에서 정해진 비트를 사용하여 주어진 오디오 데이타를 양자화하며, 이는 N번째 서브밴드(SUBBAND)내에 m개의 비트가 할당되었다면 서브밴드 내에 있는 오디오 데이타를 각각 m개의 비트로 표현하는 것을 의미하며, 양자화의 과정은 먼저 각 서브밴드 내에 있는 데이타 중 가장 큰 데이타를 사용하여 정규화를 시키고, 스케일 팩터(Scalefactor)라고 하는 정규화에 사용된 데이타를 사용하여 오디오 데이타를 나누기 연산한다. 이때 정규화된 데이타는 1보다 작은 수가 되는데 소수점 이하 몇 자리까지 전송을 하는가는 비트할당부(40)에서 정해진 비트에 따라 달라진다. 따라서, 비트할당부(40)에서 많은 비트가 할당이 된다면 비교적 정확한 데이타가 전송되고 반대로 적게 할당이 된다면 비교적 정확하지 않은 데이타가 전송되는 것이다. 이렇게 한정된 비트에 의해 발생하는 것이 양자화 잡음이다. 한편 최적의 양자화 단계를 설정해 주기 위해서는 선형이나 비선형 양자화를 사용 한다.(N.S.Jayant and P. Noll, Digital Coding of Waveforms, Prentice-Hall, 1984'이란 책을 참조)

데이타 결합부(30)[비트 팩킹부(Bit Packing)라고도 함]는 앞에서 계산된 오디오 데이타 및 이를 해석할 수 있는 부정보(Side information)를 하나의 비트스트림(Bit Stream)으로 묶는 일을 한다. 즉 한 블록 또는 프레임(Frame)을 복호화기에서 복호화하는데 필요한 정보를 묶는다. 예를 들면, 블록을 구분하기 위한 동기화 정보(Sync Bits), 각 서브밴드의 비트할당 정보와 스케일 팩터정보 및 양자화된 오디오 데이타와 에러를 방지하기 위한 용장부호(CRC: Cyclic Redundancy Check Code)가 포함된다. 발생하는 신호들의 빈도에 근거하여 허프만 코딩(Huffman Coding)이나 런 랭스 코드(RLC:Run Length Coding)를 이용하여 비트 결합부(30)에서 만들어진 비트 스트림은 저장장치에 저장되든가 방송 등을 통해 전송된다.

제2도에 도시된 데이타 해체부(200)는 전송된 비트스트림을 입력으로 이를 해석하기 위하여 비트스트림 내에서 각 서브밴드별로 스케일요소를 분리하고 분리하고 이 서브밴드 내에 해당하는 양자화된 오디오 데이타를 비트할당 정보를 이용하여 분리하는 작업을 한다.

데이타복원부(210)는 양자화된 데이타에 대한 역양자화를 수행한다. 역양자화는 양자화 과정을 거꾸로 수행하는 것으로서, 양자화된 오디오 데이타를 스케일 요소로 곱하기 연산을 수행한다.

역매핑부(220)는 상기 매핑부(10)에서 하는 작업과 반대로 합성필터를 사용하여 분리된 각 서브밴드 오디오신호를 전 대역의 오디오신호로 합성하는 일을 하며, 그 출력은 일반적인 펄스폭 변조(PCM:Pulse Coded Modulation)데이타로 저장장치에 저장되거나 아날로그/디지탈 변환기를 통해 출력된다.

사람의 음향심리 특성을 고려한 오디오 기기들은 부호화시에 있어서 주된 목표를 발생된 잡음의 제거에 두는 것이 아니라, 잡음을 듣지 못하게 처리하는 것으로, 마스킹 현상과 임계대역들을 고려해 입력신호와 다른 신호가 서로 마스크되었을 때 변화하는 인간이 듣고 느낄 수 있는 레벨, 마스크된 문턱치를 구한 뒤 마스크된 문턱치와 양자화된 잡음과의 비를 이용해 중요도에 따라서 비트를 할당해서 처리해 주고 있다. 본 발명은 입력신호가 있을 때, 귀에 의해서 결정되는 임계 대역이나, 마스킹 현상을 고려했을 때, 입력신호에 의해서 사람이 듣고, 느낄 수 있는 신호의 최소 크기, 즉, 마스크된 문턱치와 입력신호와의 비인 SMR을 이용해, SMR들의 분포를 고려해 각 임계대역의 중요도를 고려해 비트들을 할당해 주는 방법에 대한 것이다.

제1도에서 입력신호는 각 주파수 대역별로 신호들의 양을 분류하는 맵핑부(10)와 각 신호의 영향에 의해 변형되는 마스크된 문턱치와 신호를 고려해 비트들을 할당하는 처리를 하는 인간의 음향심리를 고려한 비트할당부(40)로 전달된다. 전달된 값들을 맵핑부(10)에서 대역필터링에 의해 신호들이 처리대역별로 나누어진다. 대역별로 나눈 이유는 입력신호를 대역별로 나누어 처리해줌으로써 나중에 신호들을 복원해 주었을 때, 양자화 처리시에 발새한 양자화잡음에 의한 영향이 전대역에 퍼지는 현상을 줄일 수 있고, 인간의 음향심리 가운데 임계 대역효과를 고려해 주기가 편리한 효과가 있다.

인간의 음향심리에 근거한 비트할당부(40)는 맵핑부(10)에서 대역별로 나누어진 입력신호의 각 대역에 인간의 음향심리를 고려해 비트수를 할당해주는 부분으로, 입력신호가 있을 때 그 신호가 일정신호 크기 이상이 되어야 사람이 귀를 통해 듣고, 느낄 수 있는 사실과 여러 종류의 입력신호가 있을 때 입력신호들 상호간의 영향에 의해 듣고 느끼는데 필요한 최소한의 크기가 최소 가청한(absolute threshold)에서 변화한다는 사실을 고려해 입력신호와 변형된 사람이 듣고 느끼는데 필요한 최소의 입력크기 정보인 마스크된 문턱치를 이용해 비트를 할당하는 처리를 해준다.

일반적으로 인간의 청각심리 특성을 이용한 오디오 신호의 부호화는 다음과 같이 이루어진다. 신호입력오디오신호를 주파수영역으로 변환하여 대역필터에 의해 다수의 대역으로 분리하고, 상기 대역별 신호크기를 구하는 대역분리단계와, 상기 대역별 신호크기와 청각심리에 근거하여 주파수 대역별로 비트를 할당하는 비크할당단계와, 상기 대역별로 할당된 비트에 따라 상기 분리된 주파수 대역별로 입력신호를 양자화하는 양자화단계와, 상기 양자화된 신호를 비트스트림으로 생성하는 비트팩킹단계로 이루어진다.

여기서 본 발명은 상기 비트 할당을 보다 효율적으로 하는데 있다. 즉, 상기 비트할당 단계는 주파수 대역수를 감소시키기 위해, 청각특성에 근거하고 비선형 간격으로 분리된 입계대역과 상기 대역필터에 의해 선형 간격으로 분리된 주파수 대역을 매핑하되, 상기 대역필터에 의해 분리된 대역 중 저주파 쪽에 속하는 대역들은 상기 대역필터에 의해 분리된 대역을 선택하고, 고주파 쪽에 속하는 대역은 상기 임계대역을 선택하여, 시로운 대역으로 생성하는 제1단계 및 상기 생성된 시로운 대역별로 그 신호크기와 청각심리에 근거하여 비트를 할당하는 제2단계로 이루어진다.

상기 제2단계를 보다 상세히 설명하면, 먼저 상기 청각심리모델에 근거하여 상기 임계대역별로 SMR을 구한다. 그 다음에 상기 청각심리 모델의 SMR과 상기 새로 생성된 대역별 신호성분 및 잡음성분에 근거하여 상기 새로운 대역별로 비트를 할당한다.

상기 본 발명에 의한, 새로운 대역생성에 대한 바람직한 실시예를 설명하면 다음과 같다. 먼저, 32개의 대역을 갖는 대역필터를 생각해보자. 이 경우 대역필터에 의해 구분되는 대역과 임계대역과는 표 1 및 표 2에 나타낸 바와 같이 차이가 발생한다. 상기 대역필터는 오디오 신호가 나타내는 0-2400 Hz의 주파수를 750 Hz 간격으로 32개의 대역으로 분리한다. 다시말해, 상기 대역필터에 의해 분리된 대역은 저주파 및 고주파를 구분하지 않고 일정한 간격(750Hz)으로 분리된 것이다. 반면에 상기 임계대역은 표 2에 나타낸 바와 같이 사람의 청각이 저주파 쪽에서는 민감하고 고주파 쪽에서는 둔감함을 나타낸다. 즉 사람의 청각특성은 임계대역을 위주로 소리에 대한 크기 및 잡음성분을 구별한다. 따라서 임계대역 위주의 처리가 가장 이상적인 처리가 된다. 그러나 대역필터의 선형성과 임계대역의 비선형성으로 인해 임계대역의 크기와 일치하는 대역필터를 구현하기가 매우 어렵다.

상기 대역필터에 의해 분리된 대역 중 고주파 쪽에 속한 대역을 몇 개의 그룹으로 묶어서 처리한다. 이렇게 하여도 사람의 청각은 큰 차이를 느끼지 못한다. 즉 대역필터의 0번째 대역은 0-750Hz까지이므로 이는 임계대역 0, 1, 2, 3, 4, 5, 6번째 대역을 포함하는 범위이다. 반면, 임계대역의 23번째 대역은 대역필터의 16, 17, 18, 19번째 대역을 포함하는 범위이다.

따라서 본 발명의 기본 개념은 상기 대역필터의 크기와 임계대역의 크기가 다르다 하더라도 데이타 처리의 기본 단위를 임계대역에 근접하게 하는 것이다. 이렇게 하므로써 새로운 대역을 만들면 표 3과 같이 된다. 즉 13개의 새로운 대역으로 다시 구분지을 수 있다. 이러한 대역을 기준으로 각 대역에 대한 비트할당을 하는 것이다. 이렇게 함으로써 인간의 청각특성을 나타내는 임계대역의 특성을 충분히 살리고 또한 비트할당시 처리하는 대역의 수가 대역필터에 의해 발생하는 32에서 13개로 감소한다.

상술한 바와 같이, 본 발명에 의하면 디지탈 오디오 기기의 비트할당에 인간의 음향심리를 고려하여 기존의 인간의 청각심리를 고려한 데이타 처리시, 모든 대역에 대해 반복적인 처리를 해주었는데 임계대역별로 처리한다.

그리고 SMR의 계산과 비트 할당방법의 간단화로 하드웨어의 가격과 복잡도를 줄일 수 있다.

또한 SMR의 계산과 비트 할당방법의 간단화로 처리속도를 높일 수 있다.

Claims (2)

1. 입력오디오신호를 주파수영역으로 변환하여 대역필터에 의해 다수의 대역으로 분리하고, 상기 대역별 신호크기를 구하는 대역분리단계; 상기 대역별 신호크기와 청각심리에 근거하여 주파수 대역별로 비트를 할당하는 비트할당단계; 상기 대역별로 할당된 비트에 따라 상기 분리된 주파수 대역별로 입력신호를 양자화하는 양자화단계; 및 상기 양자화된 신호를 비트스트림으로 생성하는 비트팩킹단계를 포함함을 특징으로 하는 오디오 신호 부호화 방법에 있어서, 상기 비트할당 단계는 주파수 대역수를 감소시키기 위해, 청각특성에 근거하고 비선형 간격으로 분리된 임계대역과 상기 대역필터에 의해 일정한 간격으로 분리된 주파수 대역을 매핑하되, 상기 대역필터에 의해 분리된 대역 중 저주파 쪽에 속하는 대역들은 상기 대역필터에 의해 분리된 대역을 선택하고, 고주파 쪽에 속하는 대역은 상기 임계대역을 선택하여, 새로운 대역으로 생성하는 제1단계; 및 상기 생성된 새로운 대역별로 그 신호크기와 청각심리에 근거하여 비트를 할당하는 제2단계로 이루어짐을 특징으로 하는 오디오신호 부호화 방법.
2. 제1항에 있어서, 상기 제2단계는 청각심리모델에 근거하여 상기 임계대역별로 신호대마스크비(Singal to Masking Ratio:SMR)을 구하는 단계; 및 상기 청각심리모델의 SMR과 상기 새로운 대역별 신호성분 및 잡음성분에 근거하여 상기 새로운 대역별로 비트를 할당하는 단계로 이루어짐을 특징으로 하는 오디오신호 부호화방법.