KR100300956B1 - 룩업테이블을이용한디지탈오디오부호화방법및장치 - Google Patents

Abstract

본 발명은 룩업테이블을 이용한 디지탈 오디오 부호화방법 및 장치에 관한 것으로서, 입력되는 오디오신호의 분산, 평균제곱근 및 스케일 팩터 특성에 따라 각 주파수대역에 대한 할당비트를 룩업테이블로 작성하는 과정; 입력되는 시간영역의 오디오신호를 소정 갯수의 균등한 주파수대역으로 분할하는 과정; 분할된 각 주파수대역에 대하여 획득한 오디오신호의 특성이 크기순위에 따라 룩업테이블의 주소를 결정하는 과정; 결정된 주소에 해당되는 할당비트를 각 주파수대역에 대하여 할당한 후 양자화하는 과정; 및 양자화된 오디오 데이타를 비트스트림으로 형성하는 과정으로 이루어진다. 따라서, 청각심리모델을 사용하지 않으므로 부호화기에서의 연산시간 지연을 크게 줄여줌으로써 하드웨어로 구현시 부호화기에서의 실시간 처리가능성이 높아졌다.

Description

룩업테이블을 이용한 디지탈 오디오 부호화방법 및 장치

제1도는 일반적인 MPEG 오디오 부호화기의 블럭도이다.

제2도는 입력되는 오디오신호의 분산에 따른 분포를 나타낸 그래프이다.

제3a도는 룩업테이블을 생성하는 장치의 블럭도이다.

제3b도는 룩업테이블을 생성하는 방법의 플로우챠트이다.

제4도는 대역 0에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제5도는 대역 1에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제6도는 대역 2에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제7도는 대역 3에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제8도는 대역 4에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제9도는 대역 5에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제10도는 대역 28에 대한 룩업테이블의 할당비트 분포를 그 주소에 따라 나타낸다.

제11도는 절대문턱치와 32개의 대역과의 관계를 주파수영역에서 비교그래프이다.

제12도는 본 발명에 의한 룩업테이블을 이용한 디지탈 오디오 부호화장치의 블럭도를 나타낸다.

제13도는 왼쪽 채널의 NMR에 의한 MPEG과 본 발명에 의한 부호화장치의 성능을 비교한 그래프이다.

제14도는 오른쪽 채널의 NMR에 의한 MPEG과 본 발명에 의한 부호화장치의 성능을 비교한 그래프이다.

본 발명은 디지탈 오디오 부호화방법 및 장치에 관한 것으로서, 특히 룩업테이블(Look-Up Table;이하 LUT라 칭함)을 이용한 디지탈 오디오 부호화방법 및 장치에 관한 것이다.

오늘날의 통신기술은 모든 것을 아날로그에서 디지탈로 변화시켜 가는 추세이다. 이러한 추세에 부응하여 모든 오디오기기 혹은 오디오전송에 있어서도 디지탈 전송은 필수불가결하게 되었다. 이러한 디지탈 오디오의 전송은 기존의 아날로그 전송방식보다 주위의 잡음에 강하고, 또한 음질도 컴팩트 디스크(CD)에서와 같이 매우 깨끗하게 재생할 수 있다. 그러나, 전송할 데이타양이 증가함에 따라서 저장해야할 메모리의 용량 혹은 전송선로의 용량 등 여러가지 문제를 야기시켰다.

이러한 문제점을 해결하기 위하여 필요한 기술이 데이타 압축기술이다. 오디오의 경우, 원음을 압축하여 전송한 다음 다시 풀어서 들어 보았을 때 원음과 거의 같게 재생되도록 하는 것이 오디오 압축기술의 목표이다. 즉, 똑같은 수준의 음질을 재생하면서 단위시간당 보다 적은 양의 정보를 전송할 수 있도록 한다.

이러한 기술이 현재 전세계적으로 진행되어 오고 있는데, 그 시발점이 된 것이 1992년 일본의 SONY사가 만든 미니 디스크(MD)와 Philips사에서 제작한 디지탈 컴팩트 카세트(DCC)이다. MD의 경우를 예로 들면, CD 수준의 음질을 재생하면서 기존의 CD보다 크기가 상대적으로 작고, 또한 압축율을 약 5:1로 하여 CD보다 훨씬 많은 양의 데이타를 저장할 수 있으며, 외부의 충격에도 강한 특성을 가지고 있다.

한편, 전세계적으로 디지탈 압축부호화 기술에 대한 국제표준안기구 즉 MPEG(Moving Picture Experts Group)이 설립되었다. MPEG은 크게 시스템, 비디오, 오디오의 세부분으로 구성되어 있다. 그 중 오디오부분은 다시 세개의 계층으로 구분된다.

MPEG에서는 동화상과 그에 따른 오디오신호의 부호화된 표면에 대해 국제적인 표준안을 제정하기 위하여 제안된 많은 저전송률 부호화기술들을 비교, 분석 및 테스트한다. 이러한 국제표준안이 만들어지면 향후 모든 디지탈 저장매체에서는 이 규격에 맞도록 데이타를 부호화하여 저장하여야 한다. 여기서, 디지탈 저장매체는 CD-롬, 디지탈 오디오 테이프(DAT), 광자기 디스크(MOD) 및 컴퓨터 디스크를 포함한다.

오디오신호의 압축부호화에 있어서 통상적으로 사용되는 기술이 인간의 청각심리모델(Psychoacoustics model)을 이용하는 방법이다. 청각특성중 마스킹(masking) 현상과 임계대역(critical band) 등을 이용하여 인간이 들어서 느낄수 없는 신호는 제거하고, 꼭 있어야 할 신호만 부호화하여 비트를 할당해 줌으로써 원래 신호보다 적은 양의 비트로 부호화하여도 원음과 거의 같은 수준의 음질을 얻을 수 있다.

여기서, 마스킹 현상은 오디오신호들 중에서 서로간의 간섭에 의해 어떤 신호가 다른 신호를 마스킹함으로써 인간이 듣기에 전혀 느끼지 못하는 현상을 말한다. 그리고, 임계대역이란 인간이 소리의 주파수를 구분해내는 일종의 단위로서 일반적으로 24개의 대역으로 나뉘어진다. 고주파수쪽으로 갈수록 이 대력의 폭은 로그 스케일(log scale)로 점점 커진다. 따라서 인간의 귀는 저주파수 쪽보다는 고주파수쪽 신호에 대해 주파수를 구분하기가 용이하지 않다.

이러한 청각특성을 이용하여 비트를 할당해 주기 위해서는 신호대잡음비(Signal-to-Noise Ratio;이하 SNR이라 칭함)와 신호대 마스크레벨비(Signal-to-Mask Ratio;이하 SMR라 칭함)를 구하여 이 값으로 부터 다시 마스크레벨대 잡음비(Mask-to-Noise Ratio;이하 MNR라 칭함)를 계산해야 한다. 여기서, 마스크레벨이란 인간이 들어도 느끼지 못하는 최소의 신호레벨을 의미한다. 따라서, 이 마스크레벨 이하의 신호에 대해서는 비트를 할당하지 않아도 된다.

위와 같은 과정을 거쳐 최종 MNR을 구한 다음 이 값을 기준으로 반복적으로 비트를 할당하여 준다. 그러나, 이러한 일련의 과정을 거치는 동안 많은 연산시간이 소요되는데, 이는 바로 부호화기에서의 실시간 지연이 커짐을 의미하므로 연산의 복잡도를 줄일 필요성이 대두되었다.

한편, 일반적인 MPEG 오디오 부호화기에 대하여 제1도를 참조하여 간략히 설명하면 다음과 같다.

주파수 맵핑부(11)에서는 대역분해필터를 이용하여 시간영역의 오디오 데이타를 32개의 균등한 대역의 주파수영역으로 변환시킨다. 이때 각 대역에는 계층 Ⅰ일 경우 12개, 계층 Ⅱ일 경우 36개의 샘플이 존재하게 된다. 한편, 스케일 팩터의 갯수가 총 64개이므로 이 정보를 부호화하는데 필요한 비트수는 6비트이다. 그리고, 부호화하는 방법은 계층에 따라 다소의 차이가 있다. 계층 Ⅰ에서는 각 대역에 존재하는 12개의 샘플 중 가장 큰 값을 구하여 이 값과 같거나 약간 큰 값을 해당되는 대역의 스케일 팩터로 한다. 한편, 계층 Ⅱ에서는 각 대역에 3개의 스케일 팩터가 존재하므로, 각 스케일 팩터의 유사성을 검토하여 3개중 몇개를 부호화할 것인지를 결정한다. 즉, 서로 이웃하는 스케일 팩터와의 차이를 구하는 그 값의 범위에 따라 다르게 선택하도록 한다. 따라서 계층 Ⅰ에서와 달리 부수적으로 스케일 팩터를 선택해 주는 정보가 필요하게 되는데, 이러한 경우 2비트로 부호화한다.

청각심리모델(13)은 부호화기에서 연산의 복잡도가 가장 큰 부분으로서, 청각심리모델의 최종출력값은 각 대역의 SMR로서, 비트할당의 기준이 된다. SMR값은 다음과 같은 일련의 단계에 의해 계산된다. 제1단계에서는 고속퓨리에변환(FFT)에 의해 시간영역의 오디오신호를 주파수영역으로 변환하고, 제2단계에서는 각 대역의 음압레벨(Sound Pressure Level)을 계산하고, 제3단계에서는 절대 마스킹 문턱치(Absolute Threshold)를 계산하고, 제4단계에서는 오디오신호의 유성음과 무성음 성분을 결정하고, 제5단계에서는 마스커를 결정하고, 제6단계에서는 각각의 마스킹 문턱치를 계산하고, 제7단계에서는 전체 마스킹 문턱치를 계산하고, 제8단계에서는 각 대역의 최소 마스킹 문턱치를 계산하고, 제9단계에서는 각 대역의 SMR 값을 계산한다.

비트할당 및 양자화부(15)에 있어서, 먼저 비트할당과정은 청각심리모델(13)에서 SMR값을 기준으로 다음과 같은 일련의 단계를 반복적으로 수행하여 각 대역의 비트할당량을 구한다. 제1단계에서는 초기 할당비트를 0으로 하고, 제2단계에서는 각 대역에 대하여 MNR값을 구하는데, 이때 MNR값은 SNR값에서 SNR값을 뺀 값이 된다. 제3단계에서는 각 대역별로 구해진 MNR값 중에서 최소 MNR을 가진 대역을 찾아 할당비트수를 1 증가시키고, 제4단계에서는 요구되는 비트수를 넘지 않을 경우 나머지 대역에 대하여 제2 내지 제3단계를 반복한다.

한편, 양자화과정은 다음과 같은 일련의 단계를 거쳐 수행된다. 제1단계에서는 각 대역내에서 샘플들을 스케일 팩터로 나누어 X라 두고, 제2단계에서는 A*X+B(여기서 A,B는 미리 정해진 테이블값)을 계산하고, 제3단계에서는 계산된 값 중에서 비트할당과정에서 구해진 할당비트수 만큼 취하고, 제4단계에서는 최상위비트(MSB)를 역전시킨다.

상술한 바와 같이 종래의 디지탈 오디오 부호화기에서는 청각심리모델을 이용하므로 SMR값을 구하기 위해 9단계의 처리과정을 필요로 하며, 따라서 연산의 복잡도가 커지고, 전체 수행시간에 큰 영향을 미치게 된다. 또한 이러한 방법으로 얻어진 SMR값을 이용하여 다시 MNR을 계산하고, MNR을 기준으로 다시 비트할당 루프를 반복적으로 수행하기 때문에 이 과정에서도 시간지연이 발생한다.

실제 실험을 해 본 결과, 다음 표1에서와 같이 전체 부호화기의 수행시간에서 청각심리모델과 비트할당과정이 약 49.9%를 차지할 만큼 연산의 복잡도가 높다는 것을 알 수 있다. 그러므로 이러한 과정을 대체할 만한 방법의 필요성이 부각되었다.

따라서, 본 발명의 목적은 상술한 문제점을 해결하기 위하여 오디오 압축부호화시 소요되는 지연시간을 줄이기 위하여 기존의 MPEG과 호환되면서, 입력 오디오신호의 특성들을 규명하여 특성에 따른 비트할당량을 미리 룩업테이블를 작성한 다음, 작성된 룩업테이블을 이용하여 비트를 할당하기 위한 디지탈 오디오 부호화방법을 제공하는데 있다.

본 발명의 다른 목적은 상기 디지탈 오디오 부호화방법을 실현하는데 가장 적합한 장치를 제공하는데 있다.

상기 목적을 달성하기 위하여, 본 발명에 의한 디지탈 오디오 부호화방법은 주파수 대역을 부호화하기 위한 할당비트수들을 포함하며, 그 할당비트수들을 분산, 평균제곱근 및 스케일 팩터를 포함한 주파수 대역의 특성의 크기순위에 대응하는 주소에 저장한 룩업테이블을 미리 작성하는 단계; 시간영역 입력 오디오 신호를 다수의 동일 주파수 대역들로 분할하는 단계; 각 주파수 대역별 분산, 평균제곱근 및 스케일 팩터를 계산하고, 모든 주파수 대역들의 분산, 평균제곱근 및 스케일 팩터의 비교 크기에 따라 각 대역별 분산, 평균제곱근 및 스케일 팩터에 대한 크기순위들을 결정하고, 크기순위들에 근거하여 각 주파수 대역별 주소를 계산하고, 각 대역별로 계산된 주소를 이용하여 미리 준비된 룩업테이블에서 할당비트수를 추출하는 과정들을 포함하여, 각 주파수 대역별 할당비트수를 결정하는 단계; 추출된 할당비트수에 대응하여 각 주파수 대역에 비트들을 할당하고, 할당된 비트들을 양자화하는 단계; 및 양자화된 비트들로부터 양자화된 오디오 신호를 형성하는 단계를 포함하는 것을 특징으로 한다.

상기 다른 목적을 달성하기 위하여, 본 발명에 의한 디지털 오디오 부호화장치는, 시간영역 입력 오디오 신호를 다수의 동일한 주파수 대역들로 분할하는 주파수 매핑부; 주파수 대역을 부호화하기 위한 할당비트수들을 포함하며, 그 할당비트수들을 분산, 평균제곱근 및 스케일 팩터를 포함한 주파수 대역의 특성의 크기순위에 대응하는 주소에 저장한 룩업테이블; 입력 오디오 신호의 특성의 크기순위에 따라 룩업테이블의 주소를 결정하는 특성획득부; 룩업테이블에서 주소에 대응하는 비트들을 각 주파수 대역에 할당하고, 할당된 비트들을 양자화하는 비트할당 및 양자화부; 및 양자화된 비트들로부터 양자화된 오디오 신호를 비트스트림으로 형성하는 프레임 팩킹부를 포함하며, 상기 특성획득부는, 입력 오디오 신호의 각 주파수 대역의 특성을 계산하는 계산부, 모든 주파수 대역들에 대해 각 주파수 대역의 특성의 비교 크기에 따라 각 주파수 대역별 순위를 결정하는 순위 결정부 및 각 대역의 특성에 대한 순위에 근거하여 룩업테이블에서 할당비트수를 추출하는 주소를 계산하는 주소 계산부를 포함하는 것을 특징으로 한다.

이하, 본 발명의 실시예에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 발명에서 가장 핵심이 되는 LUT에 의한 비트할당방식은 제1도의 청각심리모델 부분과 비트할당 루프부분을 없애고, 그 대신 미리 구해진 LUT에 의해 비트할당을 하는 것이다. 본 발명에서 제안한 디지탈 오디오 부호화장치는 제12도에 도시되어 있다. 그러면, 먼저 비트할당에 필요한 LUT 생성과정을 살펴보기로 한다.

LUT는 각 대역별 비트할당량을 결정하여 주는 표로서, 비트할당에 소요되는 시간을 최소한으로 줄이기 위해 사용된다. 그러기 위해서는 청각심리모델에 사용되는 FFT 혹은 전력분포를 구하는 과정 등 이러한 주파수영역에서 입력신호를 분석하는 과정이 없어야 전체 수행시간을 줄일 수 있으므로 입력신호에 대한 시간영역에서의 특성을 고려한다. 즉, 입력신호가 들어오면 그것을 주파수영역에서 해석하지 않고, 시간영역에서 바로 특성을 찾아내어 그 값들을 LUT 작성의 기준으로 정한다. 본 발명에서는 청각심리모델에 준하는 이 특성들을 분산, 스케일 팩터 및 평균제곱근 등으로 규정한다. 물론, 이러한 특성들은 제1도에 있어서 주파수 매핑부(11)의 대역분해필터를 거친 다음 바로 구하여 LUT 주소를 결정하는데 이용된다. 먼저, 이러한 특성들에 대해 간략하게 살펴보고, 이 특성들을 어떻게 부호화 알고리즘에 적용하는지를 살펴보기로 한다.

첫째, 분산 특성은 입력신호들의 분포가 얼마나 평균과 가깝게 분포되어 있는가를 알 수 있게 해주는 요소이다. 즉, 제2도에서와 같이 분산이 클 경우에는 입력신호에 대한 동적영역이 커지므로 양자화 잡음을 줄이기 위해서는 비트할당을 많이 해 주어야 하고, 작을 경우에는 비트할당량을 작게 해도 무방하다. 일반적으로 32개의 대역 중에서 실제로 비트가 많이 할당되는 대역은 낮은 주파수영역(0~7대역)이므로 분산도 역시 이 대역에서 대체로 큰 값을 갖게 된다. 분산을 구하기 위해 본 발명에서는 입력신호가 대역분해필터를 통과하면 각 32개의 대역마다 12개의 샘플들이 있게 되는데, 먼저 이 12개의 샘플에 대한 평균(m(sb))과 제곱 평균(ms(sb))을 구한 다음, 다음 제1식에 의해 각 대역마다 분산(var(sb))을 구한다.

var(sb) = ms(sb)-m(sb)².... (1)

둘째, 평균제곱근(rms(sb)) 특성은 평균과 비슷한 개념이지만 일반적으로 입력신호에 대한 평균을 구하면 사인, 코사인파일 경우 0이 되므로 별 의미가 없게 된다. 그래서 입력신호의 제곱을 구하여 평균한 다음 다시 제곱근을 구한 평균제곱근이 하나의 특성이 된다. 즉, 이는 분산을 구할 때 구한 제곱평균에 제곱근을 취한 것과 같다. 평균제곱근(rms(sb))을 수식으로 나타내면 제2식과 같다.

여기서 평균제곱근과 분산과의 상관관계를 유츄해 보면, 만약 어떤 대역의 평균이 거의 0에 가까울 경우 상기 제1식에 의해 분산은 제곱평균과 같게 되어 두 특성은 일정한 선형성을 갖게 된다. 그리고, 일반적으로 신호의 평균이 크면 평균제곱근도 커지고, 전력도 크므로 비트할당량과의 연관성을 찾을 수 있다.

셋째, 스케일 팩터 특성을 살펴보면, 청각심리모델에서는 각 대역의 전력을 구해여 그 대역의 마스크 레벨을 계산하는데 이용한다. 일반적으로 입력신호의 전력이 크면 비트를 많이 할당하여야 하므로 이를 시간영역에서 유추해 보면, 주파수영역에서의 전력은 주로 시간영역에서의 입력신호들값들의 크기에 의해 결정된다. 이러한 특성을 고려하면 각 대역별로 가장 큰 샘플값을 결정하여 그것을 그 대역에서의 전력으로 간주한다. 이때의 샘플값을 스케일 팩터라 한다. 만약 임의의 대역에서 스케일 팩터가 크면 그 대역의 전력이 큰 것으로 간주한다. 이는 또한 양자화과정에서 각 대역의 값들을 정규화(normalization)하는데에도 사용된다.

이와 같은 오디오신호의 특성들을 이용하여 LUT를 작성함에 있어서, 가장 중요한 고려사항은 어떻게 이러한 특성들을 LUT의 주소를 찾는데 이용하느냐는 것이다. 즉, 이러한 특성들을 모두 고려하여 LUT의 주소를 찾아 해당되는 대역의 비트할당량을 결정해 주어야 한다. 그러기 위해서 본 발명에서는 이 세가지 특성들로 구성되어질 수 있는 모든 경우의 수를 동시에 고려하였다. 이 특성들을 각 대역별로 크기순으로 정렬하여 그 순위에 따라 LUT를 작성하는 방식을 채택하였는데, 이러한 경우 하나의 대역에 대하여 세가지 특성들의 순위가 0일 경우부터 모두 31일 경우까지가 있으므로 전체 32768(32³) 가지가 존재하게 된다. 이는 각 대역별로 동일하게 적용되어야 하므로 각 대역별로 32768가지의 경우에 대해 고려되어야 한다.

그러면, 상기 방식에 의해 LUT를 작성하는 장치 및 방법에 대해 설명하면 다음과 같다.

제3a도는 LUT를 작성하기 위한 장치를 설명하기 위한 도면으로서, 주파수 맵핑부(31), 청각심리모델(33), 비트할당부(35), 특성값 획득부(37) 및 LUT 작성부(39)를 구비한다.

제3b도는 LUT를 작성하기 위한 방법을 설명하기 위한 플로우챠트이다. 제3b도를 참조하여, LUT를 작성하기 위한 장치의 동작을 상세히 설명한다.

먼저, 입력된 오디오 신호를 주파수 맵핑부(31)를 통해 대역분해필터링한 후, 특성값 획득부(37)를 통해 각 대역별 시간영역에서의 특성으로 스케일 팩터, 분산 및 평균제곱근을 얻고, 청각심리 모델(33)을 이용하여 얻은 SMR에 근거하여 비트 할당부(35)를 통해 각 대역별 비트할당량을 구한다(제310~340단계).

구체적으로, 스케일 팩터(sf)는 입력된 오디오 데이타, 정확히 시간영역 테스트 입력 오디오 신호에 대해 주파수 맵핑부(31)내 대역분해필터를 통과시킨 후 다수의 동일한 주파수 대역들로 분할한다(제310단계). 각 대역별 최대값 즉, 스케일 팩팩터가 정해지며, 또한, 제1 및 2식에 의해 각 대역별 분산 및 평균제곱근이 구해진다(제320단계).

다음에, 각 대역별로 이 세가지 특성들을 특성값 획득부(37)를 통해 각각 크기순으로 정렬한다(제330단계). 한편, 입력 오디오 데이타에 대해 공지된 청각심리모델(33)을 적용하여 SMR을 구한 다음, 이를 근거로 각 대역별 할당비트수를 구한다(제340단계).

제340단계 후에, 각 대역에 대하여 청각심리모델에 의한 비트할당량과 세 특성들에 대한 순위가 구해졌으므로 이를 기준으로 LUT의 주소 및 해당 주소의 각 대역별 할당비트를 구하여 LUT를 작성한다(제350~380단계).

구체적으로, 전술한 바와 같이 고려된 32768가지의 경우에 대해 차례대로 번호를 부여하여 각각의 해당하는 경우에 대해 청각심리모델에 의한 비트할당량을 모두 조사하여(제370단계), 가장 많은 빈도를 가지는 값을 그 대역에서의 비트할당량으로 정한다(제380단계). 이 방식은 어떠한 오디오 데이타에 대해서도 그 최대, 최소값의 범위에 상관없이 단순히 크기의 순위에 따르는 것이므로 신뢰성을 가질 수 있다.

예컨대, 대역 0에서 만약 청각심리모델에 의한 비트할당량이 4이고, 이때 이 대역의 세가지 특성의 순위가 각각 2,3,1인 경우 해당되는 주소의 4비트 영역에 빈도수를 1 증가시킨다. 이와 같은 과정을 본 발명에서는 12개의 오디오 데이타에 대해 반복적으로 수행하여 가장 빈도가 높은 비트량을 그 대역의 비트할당량으로 지정한다. 통계에 사용되는 오디오 데이타의 수를 증가시킬수록 더욱 정교한 LUT가 생성된다.

한편, 각 대역에 대해 세가지 특성들의 순위로서 주소(addr)를 구하는 방법은 제3식에서와 같다.

addr = var ×32²+ rms × 32¹+ sf ×32⁰... (3)

여기서, var, rms, sf는 각각의 순위를 의미한다. 다음 표2는 각 대역별 세가지 특성의 순위로서, LUT의 주소를 계산하는 방식을 나타낸것이다.

한편, 다음 표3은 LUT의 중간 생성단계를 나타낸 것이다.

표3에서 굵게 표시된 숫자가 빈도가 가장 큰 것을 나타낸다. 예를 들어, 0 대역일 경우를 살펴보면 분산, 평균제곱근 및 스케일 팩터의 순위가 모두 0일 경우에 4비트 할당된 경우의 빈도수가 가장 높으므로 이 경우에는 4비트가 주소 0과 함게 LUT에 입력된다. 주소를 LUT에 저장하는 이유는 LUT 최적화과정에서 0비트가 저장된 주소는 제외시키기 때문에 이 주소정보를 필요로 한다. 또한, 순위가 분산이 3, 평균제곱근이 4, 스케일 팩터가 12일 경우에 비트할당량이 3비트가 가장 많은 빈도를 차지하므로 이러한 경우 3비트를 주소 3212와 함께 LUT에 입력한다. 만약, 빈도수가 가장 큰 대역이 두개 이상 있을 경우에는 높은 비트쪽을 선택한다. 실험 결과 이렇게 처리하는 것이 요구되는 비트량과의 차이를 줄일 수 있다.

한편, 표3에서와 같이 낮은 대역에서는 세가지 특성 모두 대체로 낮은 주소쪽에 분포하고, 높은 대역으로 갈수록 높은 주소쪽으로 그 분포가 이동함을 알 수 있다. 즉, 저주파수쪽일수록 이 세가지 특성의 크기가 대체로 크게 나타난다. 그러므로 이러한 특성만 가지고도 오디오의 부호화에 적용하는 것이 가능하다.

한편, 제4도 내지 제10도는 몇개의 대역에 대해 LUT의 주소에 대한 할당비트 분포의 실험결과를 나타낸 것이다. 이는 MPEG 계층 Ⅱ의 96kbit/s에 대한 통계분포 결과를 예로 든 것이다. 전체 대역에 대한 통계분포는 아니지만 두드러진 특징은 계층 Ⅱ에서는 대역 3,4,5 부분에 대한 비트할당이 주소가 낮을수록 큰 것을 알 수 있다. 여기서, 주소가 낮다는 것은 세가지 특성의 크기가 모두 큰 것을 의미한다. 전체 대역을 살펴볼 때, 대체로 이 세가지 특징들의 크기가 작을수록 비트할당도 작아지지만 특히, 이 대역 3,4,5에서는 이 현상이 두드러진다.

제11도에는 인간의 청각심리모델로부터 얻은 절대문턱치와 32개의 대역 사이의 관계를 도시한 그래프로서, 인간이 가장 민감하게 들을 수 있는 영역, 즉 절대문턱치가 가장 낮은 부분인 2kHz~4kHz 사이에 해당하는 대역 3,4,5 부분에서 비트를 많이 할당하여 인간이 듣는데 있어서 깨끗한 음질을 느끼도록 고려한다.

그리고, 본 발명에서는 이러한 방식으로 구해진 LUT의 전체 크기를 줄여서 좀 더 효율적으로 메모리를 사용하고자 LUT 최적화과정을 추가한다. 즉, LUT의 입력으로 저장된 비트할당량이 0인 주소는 LUT에서 제외시킴으로써 전체 LUT의 크기를 대폭 줄일 수 있다(제390단계). 예를 들어, 표3의 대역 31의경우, 주소 0과 주소 32767에는 0 비트할당이 가장 많은 빈도를 차지하므로 이 대역의 테이블에는 주소 0과 32767은 입력하지 않는다. 이렇게 최적화된 LUT를 사용하여 부호화에 적용시, 만약 상기의 세가지 특성으로 정해진 주소가 LUT에 존재하지 않을 경우 그 대역에는 0 비트를 할당한다. 따라서, LUT의 내용에는 비트할당량과 함께 세가지 특성으로 구할 수 있는 주소도 포함되어 저장된다.

그러면, 작성된 LUT를 이용한 오디오 부호화에 대하여 설명하면 다음과 같다.

제12도는 본 발명에 의한 룩업테이블을 이용한 디지탈 오디오 부호화장치를 나타낸 블럭도로서, 주파수 맵핑부(121), 특성획득부(123), LUT(125), 비트할당 및 양자화부(127)와 프레임 팩킹부(129)로 구성된다.

제12도의 구성에 의거하여 동작을 살펴보면, 주파수 맵핑부(121)에서는 먼저 오디오 데이타를 대역분해필터를 통과시켜 32개의 주파수 대역으로 나뉘어지면 각 대역에는 계층 Ⅰ일 경우 12개의 샘플, 계층 Ⅱ일 경우 36개의 샘플이 존재한다.

특성획득부(123)에서는 LUT(125)의 주소를 구하기 위하여 각 대역별로 전술한 방법으로 입력신호에 대한 분산, 평균제곱근, 스케일팩터 등 세가지 특성을 계산하여 크기순으로 정렬한 상기 제3식에 의해 주소를 구한다.

비트할당 및 양자화부(127)에서는 전술한 방법에 의해 구한 LUT(125)에 의해 각 대역별로 비트를 할당한 후, 요구되는 비트수와 비교하여 남는 비트가 있는지 아니면 넘었는지를 조사하여 전체 비트사용량을 조정해 준다. 물론, LUT(125)에 의해 비트를 할당했을 때, 요구되는 비트수에 맞추어 할당하는 것이 바람직하다. 그 이유는 부수적인 조정작업이 필요없으므로 그 만큼 처리속도를 줄일수 있기 때문이다.

우선, LUT(125)에 의해 비트를 할당한 후, 요구되는 비트수를 넘었을 경우의처리과정을 살펴보면, 모든 대역에 대하여 가장 많은 비트가 할당된 대역의 비트수를 1 비트 감소시켜 다시 요구되는 비트수와 비교하여 이를 넘지 않을 때까지 반복적으로 수행한다.

이와 반대로, LUT(125)에 의한 비트할당후, 사용된 총 비트수가 요구되는 비트수보다 적어서 할당할 수 있는 여분의 비트가 있을 경우에 대하여 일련의 처리단계를 살펴보면 다음과 같다. 여기서, 증가대역은 비트를 증가시킬 대역을 의미하고, 세트는 이 증가대역을 따로 저장하여 두는 목록을 의미한다. 그리고, 이 알고리즘은 계층 Ⅰ을 예로 든 것이다. 제1단계에서는 플래그의 초기값을 0으로, 세트의 내용을 -1로 초기화시키고, 제2단계에서는 가장 큰 스케일 팩터를 가진 대역을 찾아 이것이 세트에 들어 있지 않으면 증가대역으로 지정으로 플래그를 1로 바꾼다. 제3단계에서는 만약 플래그가 1이면 이 증가대역을 세트에 저장하고, 0이면 모든 대역이 세트에 저장되어 있음을 의미하며 이는 곧 한번씩 다 증가대역이 되었었음을 의미한다. 이러한 경우, 세트에 저장된 순서대로 다시 증가대욕을 지정한다. 즉, 스케일 팩터가 큰 순서대로 다시 증가대역을 지정하여 요구되는 비트수를 만족할 때까지 반복한다. 제4단계에서는 증가대역의 비트수를 1 증가시키고, 제5단계에서는 현재 증가대역의 할당비트가 1일 경우 다시 요구되는 비트수와 비교하여 30을 넘지 않으면 증가대역의 비트를 다시 1 감소시킨 후 제1단계로 복귀하고, 30을 넘으면 증가대역의 할당비트를 다시 1 증가시키고 비트사용량을 계산한 후 제1단계로 복귀한다. 만약 현재 증가대역의 할당 비트가 1이 아니면 비트사용량만 계산한 후 제1단계로 복귀한다. 여기서 30을 기준으로 정한 것은 처음 비트가 할당되는 대역은 1비트가 아니라 2비트를 증가시켜 주어야 하므로 스케일 팩터 정보 6비트와 12샘플에 대한 비트할당량 24비트가 더해져 총 30비트를 필요로 하기 때문이다. 한편, 제2단계에서 증가시킬 대역의 기준으로 스케일 팩터를 사용하였는데, 다른 특성들 즉, 분산 혹은 평균제곱근을 사용하는 것도 가능하다. 계층 Ⅱ일 경우에는 각 대역에 세개의 스케일 팩터가 존재하므로 가장 큰 것을 기준으로 사용한다.

한편, 이와 같은 비트조정과정은 오디오 부호화에 소요되는 전체 수행시간의 단축에 큰 영향을 미친다. 즉, LUT(125)에 의한 비트할당량이 얼마나 정확하게 요구되는 비트수에 맞게 되었냐에 따라 부가적으로 따르는 이 비트조정과정의 반복횟수를 줄일 수 있기 때문에 정확하고 신뢰성있는 LUT(125)를 작성할 필요가 있다.

실제로 본 발명의 성능을 실험하기 위하여 12개의 오디오 데이타를 이용하여 전체 수행시간을 특정하였다. 실험 환경은 유닉스 시스템하의 SUN SPARC-10을 사용하고, 오디오 데이타는 CD로 부터 얻은 데이타이다.

다음 표4는 부호화기에서의 수행시간을 나타낸 것으로서, 본 발명에서 제안한 UUT를 이용한 부호화방식과 기존의 MPEG 알고리즘을 비교하여 그 성능을 비교한 실험결과이다.

표4에서 12개의 오디오 데이타는 임의의 명칭을 부여한 것이고, 숫자는 실제 수행시간을 나타낸다. 그리고 성능개선은 다음 제4식에 의해 구해진 것이다.

먼저, 본 발명에서 제안한 알고리즘의 수행속도를 살펴보면, 표4에서와 같이 오디오 데이타에 따라 약간의 차이는 보이지만 기존의 방식보다 평균 41.4% 내외의 속도개선이 이루어진 것을 알 수 있다. 이는 곧 부호화기의 실시간처리속도 향상을 의미하므로 하드웨어로 구현시 부호화기에서의 처리 지연이 감소된다. 그러나, 본 발명에서 제안한 비트할당과정은 단지 LUT에 의해서만 이루지는 것이 아니라 이 과정후에 부수적으로 따르는 여분의 비트 혹은 모자라는 비트를 처리해 주는 과정이 있기 때문에 이 비트할당 조정과정을 얼마나 빨리 처리해 주느냐에 따라 전체 수행시간은 훨씬 더 빨라질 수 있다. 그리고, 오디오의 음질을 살펴보면 기존의 MPEG 알고리즘에서 나오는 음질수준과 거의 동일하다. 즉 계층 I에서는 128 kbps, 계층 Ⅱ에서는 96 kbps까지 원음과 거의 같은 CD 음질을 들을 수 있다.

한편, 본 발명에서 제안한 알고리즘의 성능이 기존의 MPEG과 어느정도 차이가 있는지를 알아보기 위해 Karlheinz Brandenburg가 제안한 청각심리특성을 이용한 성능평가방법을 이용하였다. 이 방법은 NMR을 기준척도로 이용하는데, 이 값이 음이면 잡음이 마스크레벨 이하에 위치한다는 것을 의미하므로 그만큼 잡음이 적게 들려 좀 더 깨끗한 음질로 재생되는 것으로 평가한다.

제13 및 14도는 두 알고리즘의 평가결과를 채널별로 비교한 그래프로서, LUT를 이용한 방식이 낮은 주파수 영역에 대하여 LPEG 방식에 비해 비교적 잡음에 강한 특성을 보인다. 즉, 똑같은 요구비트량일 경우라도 LUT를 이용한 부호화방식에서 더 효율적인 비트사용이 이루어지고 있는 것이다.

상술한 바와 같이 본 발명에 의한 룩업테이블을 이용한 디지탈 오디오 부호화방법 및 장치에서는 청각심리모델을 사용하지 않으므로 부호화기에서의 연산시간 지연을 크게 줄여줌으로써 하드웨어로 구현시 부호화기에서의 실시간 처리가능성이 높아졌다. 실제 응용예로서, 컴퓨터 오락용 하드웨어를 들 수 있는데 이 경우 소리의 음질은 크게 중요하지 않지만 실시간의 빠른 처리가 요구되므로 아주 유용하게 사용될 수 있다.

또한 청각심리모델은 그 알고리즘이 너무 복잡하여 실제 하드웨어로 구현하기가 힘들고, 부호화기의 값을 결정짓는데 가장 큰 영향을 주는 것으로서, 본 발명에서는 이 청각심리모델을 사용하지 않고 LUT를 사용하므로 메모리만 추가함으로써 하드웨어로 구현하기가 용이해지며 부호화기에 드는 비용을 절감할 수 있다.

또한, 본 발명은 기존의 MPEG 부호화기에 비해 훨씬 축소된 칩을 얻을 수 있으므로 휴대용 카메라 등 소형기기에 응용될 수 있다. 그리고, 요즘 컴퓨터에는 MPEG 칩을 탑재하는 것이 보편화된 추세인데, 본 발명을 사용할 경우 MPEG과 완벽한 호환을 유지하므로 컴퓨터 내부의 보드 크기를 줄일 수 있어 경박단소형을 추구하는 제품을 제작할 수 있다.

Claims (8)

1. 디지털 오디오 부호화방법에 있어서, 주파수 대역을 부호화하기 위한 할당비트수들을 포함하며, 그 할당비트수들을 분산, 평균제곱근 및 스케일 팩터를 포함한 주파수 대역의 특성의 크기순위에 대응하는 주소에 저장한 룩업테이블을 미리 작성하는 단계; 시간영역 입력 오디오 신호를 다수의 동일 주파수 대역들로 분할하는 단계; 각 주파수 대역별 분산, 평균제곱근 및 스케일 팩터를 계산하고, 모든 주파수 대역들의 분산, 평균제곱근 및 스케일 팩터의 비교 크기에 따라 각 대역별 분산, 평균제곱근 및 스케일 팩터에 대한 크기순위들을 결정하고, 크기순위들에 근거하여 각 주파수 대역별 주소를 계산하고, 각 대역별로 계산된 주소를 이용하여 미리 준비된 룩업테이블에서 할당비트수를 추출하는 과정들을 포함하며, 각 주파수 대역별 할당비트수를 결정하는 단계; 추출된 할당비트수에 대응하여 각 주파수 대역에 비트들을 할당하고, 할당된 비트들을 양자화하는 단계; 및 양자화된 비트들로부터 양자화된 오디오 신호를 형성하는 단계를 포함하는 것을 특징으로 하는 디지털 오디오 부호화방법.
2. 제1항에 있어서, 상기 룩업테이블을 작성하는 단계는 룩업테이블에서 할당비트수가 0인 주소를 제외하고, 룩업테이블에서 존재하지 않는 주소에 0비트를 할당하여 비트할당을 최적화시키는 것을 특징으로 하는 디지털 오디오 부호화방법.
3. 제1항에 있어서, 상기 방법은 룩업테이블을 이용하여 비트를 할당한 후에 요구된 비트수와 실제 할당비트수와 비교하고, 비교 결과에 따라 할당비트를 조정하는 단계를 더 포함하는 것을 특징으로 하는 디지털 오디오 부호화방법.
4. 입력 오디오 신호를 부호화하는 디지털 오디오 부호화장치에 있어서, 시간영역 입력 오디오 신호를 다수의 동일한 주파수 대역들로 분할하는 주파수 매핑부; 주파수 대역을 부호화하기 위한 할당비트수들을 포함하며, 그 할당비트수들을 분산, 평균제곱근 및 스케일 팩터를 포함한 주파수 대역의 특성의 크기순위에 대응하는 주소에 저장한 룩업테이블; 입력 오디오 신호의 특성의 크기순위에 따라 룩업테이블의 주소를 결정하는 특성획득부; 룩업테이블에서 주소에 대응하는 비트들을 각 주파수 대역에 할당하고, 할당된 비트들을 양자화하는 비트할당 및 양자화부; 및 양자화된 비트들로부터 양자화된 오디오 신호를 비트스트림으로 형성하는 프레임 팩킹부를 포함하며, 상기 특성획득부는, 입력 오디오 신호의 각 주파수 대역의 특성을 계산하는 계산부, 모든 주파수 대역들에 대해 각 주파수 대역의 특성의 비교 크기에 따라 각 주파수 대역별 순위를 결정하는 순위 결정부 및 각 대역의 특성에 대한 순위에 근거하여 룩업테이블에서 할당비트수를 추출하는 주소를 계산하는 주소 계산부를 포함하는 것을 특징으로 하는 디지털 오디오 부호화장치.
5. 제4항에 있어서, 상기 룩업테이블에서 할당비트수가 0인 주소를 제외시키는 것을 특징으로 하는 디지털 오디오 부호화장치.
6. 제5항에 있어서, 상기 비트할당 및 양자화부는 상기 룩업테이블에 존재하지 않는 주소에 0비트를 할당하여 비트할당을 최적화시키는 것을 특징으로 하는 디지털 오디오 부호화장치.
7. 제4항에 있어서, 상기 비트할당 및 양자화부는 상기 룩업테이블에 의한 비트할당 후, 요구되는 비트수와 실제 비트할당수를 비교하고, 비교 결과에 따라 비트할당을 조정하는 것을 특징으로 하는 디지털 오디오 부호화장치.
8. 제1항 또는 제2항에 있어서, 상기 룩업테이블을 작성하는 단계는

   (a) 시간영역 테스트 입력 오디오 신호를 다수의 주파수 대역들로 분할하는 단계;

   (b) 각 주파수 대역별 분산, 평균제곱근 및 스케일 팩터를 계산하는 단계;

   (c) 테스트 입력 오디오 신호의 모든 주파수 대역들의 분산, 평균제곱근 및 스케일 팩터의 비교 크기들에 따라 각 주파수 대역별 분산, 평균제곱근 및 스케일 팩터에 대한 크기순위들을 결정하는 단계;

   (d) 청각심리모델을 이용하여 각 대역별 할당비트수를 결정하는 단계;

   (e) 각 크기순위에 대응한 주소를 계산하는 단계;

   (f) 각 주파수 대역별 크기순위에 대응하는 주소에 각 주파수 대역별 할당비트수들을 저장하는 단계;

   (g) 복수개의 테스트 입력 오디오 신호들에 대해 상기 (a)~(f) 단계들을 반복하고, 각 주소에 복수의 할당비트수들을 저장하는 단계; 및

   (h) 각 주소 및 각 주소에 가장 많은 빈도를 갖는 할당비트수를 저장함으로써 상기 룩업테이블을 발생하는 단계를 포함하는 것을 특징으로 하는 디지털 오디오 부호화방법.