KR100462611B1

KR100462611B1 - 하모닉 성분을 이용한 오디오 코딩방법 및 장치

Info

Publication number: KR100462611B1
Application number: KR10-2002-0036310A
Authority: KR
Inventors: 하호진
Original assignee: 삼성전자주식회사
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2004-12-20
Also published as: GB0427660D0; JP2005531014A; CA2490064A1; CN1639769A; WO2003063135A1; KR20040001184A; RU2004138088A; US20040002854A1; RU2289858C2; CN1262990C; DE10297751T5; DE10297751B4; GB2408184B; GB2408184A

Abstract

본 발명은 오디오 신호의 압축방법에 관한 것으로, 구체적으로는 오디오 신호를 저속의 비트율의 엠펙1(MPEG-1) 레이어(layer) 3 오디오 신호로 효율적으로 압축하는 방법 및 장치에 관한 것이다. 본 발명의 오디오 신호 압축방법은 입력받은 PCM 오디오 데이터에 심리음향모델 2를 적용하여 얻어지는 FFT 결과정보를 이용하여 하모닉 성분을 추출하고 이 추출된 하모닉 성분을 원래 입력된 PCM 오디오 데이터에서 제거한 후 MDCT 및 양자화를 수행함으로써 적은 비트할당으로도 효율적인 압축을 할 수 있도록 한 방법이다. 본 발명에서 제시하는 방법을 사용하면 저속의 엠펙1 레이어(layer) 3 오디오에서 발생되는 양자화 비트수의 한계를 극복할 수 있고, 입력된 오디오 신호로부터 하모닉(harmonic) 성분을 제거하고, 과도(transient)한 부분만을 MDCT 를 사용하여 압축함으로서, 저속의 비트율로 압축하는 경우에 오디오 신호를 효과적으로 처리하여 압축율을 높일 수 있는 효과가 있다.

Description

하모닉 성분을 이용한 오디오 코딩방법 및 장치{Audio coding method with harmonic extraction and apparatus thereof.}

본 발명은 오디오 신호의 압축방법에 관한 것으로, 구체적으로는 오디오 신호를 저속의 비트율의 엠펙1 레이어 3 오디오 신호로 효율적으로 압축하는 방법 및 장치에 관한 것이다.

엠펙1(MPEG-1, Moving Picture Expert Group - 1)은 디지털 비디오와 디지털 오디오 압축에 관한 표준을 제정하는 동영상 전문가 그룹을 말하며, 이 기구는 세계 표준화 기구인 ISO(International Standardization Organization)의 후원을 받고 있다. 엠펙1(MPEG-1) 오디오는 기본적으로 60분이나 72분 정도의 CD 에 저장된 44.1Khz 샘플링 레이트(sampling rate)의 16비트 오디오를 압축시 사용되는데, 압축방법과 코덱(codec)의 복잡 정도에 따라서 3개의 레이어(layer)로 나뉜다.

그 중에서 레이어 3(layer 3)은 가장 복잡한 방법이 사용된다. 레이어 2(layer 2)에 비하여 훨씬 많은 필터를 사용하며 허프만(huffman) 코딩을 사용한다. 112Kbps 로 인코딩하면 우수한 음질을 들을 수 있으며 128Kbps 의 경우에는 원본과 거의 동일하며 160Kbps 나 192Kbps 의 경우에는 귀로는 원음과 차이를 구별할 수 없을 정도로 성능이 뛰어나다. 일반적으로 엠펙-1 레이어 3(MPEG-1 Layer 3) 오디오를 엠피3(MP3) 오디오라고 부른다.

엠피3(MP3) 오디오는 필터 뱅크(filter bank)로 이루어진 DCT(Discrete Cosine Transform)와 심리음향 모델 2(psychoacoustic model 2)를 이용한 비트 할당과 양자화에 의해 만들어진다. 압축된 오디오 데이터를 표현하는데 사용되는 비트수를 최소로 하면서, 청각 심리음향 모델 2(psychoacoustic model 2)을 이용하여 필터 뱅크(filter bank)의 결과로 생성된 데이터를 MDCT(Modified Discrete Cosine Transform)를 사용하여 압축한다.

오디오 압축 기술에 있어서 가장 기본이 되는 것은 사람의 귀이다. 사람의 귀는 소리의 진원지에서 발생되는 음향의 세기가 어느 수준 이하가 되면 듣지 못한다. 사무실에서 누군가 큰 목소리로 이야기 한다면 누가 이야기하는지 쉽게 파악할 수 있다. 하지만 그 순간 비행기가 지나간다면 전혀 들리지 않게 된다. 또한 비행기가 지나간 뒤에도 그 여운이 남아 잘 들리지 않는다. 이와 같이 사람의 귀로 들을 수 있는 주파수를 일정간격으로 나누어 정숙할 때의 최소가청한계 이상의 범위와 최대진폭으로부터 감지할 수 있는 한계인 마스킹 임계치 이하의 데이터를 샘플링하는 방식으로 양자화 하는 것을 청각 심리음향 모델 2(psychoacoustic model 2)라고 한다.

그러나, 64Kbps 이하의 저속의 비트율로 음향신호를 압축하는 경우에는 상기와 같은 방법은 효과적으로 음향신호를 압축하는데 적합하지 않다. 그 이유는 프리에코(pre-echo)와 같은 신호를 양자화(quantization)하는데 사용되는 비트의 수에 한계가 있기 때문이다. 따라서, 본 발명은 저속의 엠피3(MP3) 오디오에서 발생되는 이러한 단점을 극복하기 위해서, 심리음향 모델 2(psychoacoustic model 2)에서 사용하는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 사용하여, 원래 신호(original signal)로부터 하모닉(harmonic) 성분을 제거하고, 과도성분(transient)만을 MDCT를 이용하여 압축함으로서, 저속에서 오디오 신호를 효과적으로 처리하는 방법을 제공한다.

종래 심리음향 모델(psychoacoustic model)에서 사용되는 FFT는 단지 신호를 분석하는 기능만을 수행하고, 신호를 압축하는 데에는 FFT의 결과가 사용되지 않는다. 이것은 자원의 낭비라고 할 수 있다.

그리고, 한국특허 공개공보 1995-022322 에서는 심리음향모델을 이용한 비트할당방법이 개시되어 있다. 그러나, 본 발명에서와 같이 심리음향모델(psychoacoustic model)에서의 FFT 결과를 이용하여 하모닉(harmonic) 성분을 제거하여 압축효율을 높이는 것과는 차이가 있다.

또한, 한국특허 공개공보 1998-072457 에서는 오디오 신호를 압축하는 과정에서 계산상의 과부하를 줄이면서 계산량을 현저히 줄일 수 있도록 심리음향에서의 신호처리방법과 장치가 개시되어 있다. 즉, 고속 FFT 결과를 통해 개별 마스킹 경계값을 구하는 단계, 글로벌 마스킹 경계값을 선택하는 단계 및 다음 주파수 위치로 옮기는 단계를 구비하지만 이는 FFT 결과값을 이용한다는 점에서만 유사할 뿐 그 결과를 이용한 양자화 방법에서는 본 발명과 차이가 있다.

그리고, 미국특허 등록번호 5,930,373 에서도 저주파신호의 레지듀 하모닉스(residue harmonics)를 이용하여 음향신호의 질을 향상시키는 방법이 개시되어 있다. 그러나, 만들어낸 레지듀 하모닉스(residue harmonics)의 결과를 이용하는 방법에서는 차이가 있다.

상기한 문제를 해결하기 위해 본 발명에서는 심리음향 모델 2(psychoacoustic model 2)에서 사용하는 FFT(Fast Fourier Transform) 결과정보를 이용하여, 원래 오디오 신호(original audio signal)로부터 하모닉(harmonic) 성분을 제거하고, 제거하고 난 과도성분(transient)만을 MDCT를 이용하여 압축함으로서, 저속에서 오디오 신호를 효과적으로 처리하는 방법을 제공하는 것을 목적으로 한다.

도 1은 MPEG-1 레이어 3 오디오 스트림의 포맷.

도 2는 MPEG-1 레이어 3 오디오 스트림 생성장치 블록도.

도 3은 심리음향 모델에서의 연산과정을 나타낸 도면.

도 4는 본 발명의 저속 MPEG-1 레이어 3 오디오 스트림 생성장치의 블록도.

도 5는 심리음향모델 2에서의 하모닉 성분 추출과정과 인코딩 및 디코딩 과정을 나타낸 도면.

도 6a, 도 6b, 도 6c, 도 6d는 심리음향모델 2에서 FFT 결과를 이용하여 하모닉 성분을 추출할 때 각 단계별 샘플이 추출되는 예를 나타낸 도면.

도 7은 K값에 따른 제한된 주파수 범위를 나타낸 테이블.

도 8은 본 발명의 하모닉 성분을 제거하여 오디오 스트림을 만드는 과정을 나타낸 도면.

상기한 목적을 이루기 위하여 본 발명에서는, PCM 오디오 데이터를 입력받아 심리음향모델 2를 적용하여 하모닉 성분을 추출하는 단계; 상기 입력된 PCM 오디오 데이터에서 상기 추출된 하모닉 성분을 제거하여 MDCT를 수행하는 단계; 및 상기 수행된 MDCT 결과값을 양자화하고, 상기 추출된 하모닉 성분과 함께 오디오 패킷으로 만드는 단계를 포함하는 하모닉 성분을 이용한 오디오 코딩방법을 제공한다.

상기한 목적을 이루기 위하여 본 발명에서는, PCM 오디오 데이터를 입력받아 저장하고, 저장된 상기 데이터에 인간의 가청한계 특성을 이용한 심리음향 모델 2를 적용하여 FFT 결과정보, 입력받은 데이터에 대한 지각 에너지 정보 및 양자화에 사용되는 비트할당정보를 출력하는 단계; 상기 FFT 결과정보를 이용하여 상기 입력받은 PCM 오디오 데이터에서 하모닉 성분을 추출하는 단계; 상기 추출한 하모닉 성분을 인코딩하여 출력하고, 인코딩된 하모닉 성분을 디코딩하는 단계; 상기 단계에서 저장된 PCM 오디오 데이터에서 상기 단계에서 디코딩된 하모닉 성분을 빼서 상기 지각 에너지 정보에 따라 MDCT를 수행하는 단계; 상기 수행된 MDCT 결과값을 상기 비트할당정보에 따라서 비트를 할당하여 양자화하는 단계; 및 상기 인코딩되어 출력된 하모닉 성분과 상기 양자화된 MDCT 결과값을 오디오 패킷으로 만드는 단계를 포함하는 하모닉 성분을 이용한 오디오 코딩방법을 제공한다.

상기한 목적을 이루기 위하여 본 발명에서는, PCM 오디오 데이터를 입력받아저장하는 PCM 오디오 데이터 저장부; 상기 저장된 PCM 오디오를 입력받아 심리음향모델2를 수행하여 FFT 결과정보, 입력받은 데이터에 대한 지각 에너지 정보 및 양자화에 사용되는 비트할당정보를 출력하는 심리음향모델2 수행부; 상기 FFT 결과정보를 이용하여 상기 입력받은 PCM 오디오 데이터에서 하모닉 성분을 추출하는 하모닉 성분 추출부; 상기 추출된 하모닉 성분을 인코딩하여 출력하는 하모닉 성분 인코딩부; 상기 저장된 PCM 오디오 데이터에서 상기 하모닉 성분 추출부에서 추출된 하모닉 성분을 제거하여 상기 지각 에너지 정보에 따라서 MDCT를 수행하는 MDCT 수행부; 상기 MDCT 수행된 결과값을 상기 비트할당정보에 따라서 양자화하는 양자화부; 및 상기 하모닉 성분 인코딩부에서 출력된 하모닉 성분 데이터와 상기 양자화부에서 출력된 양자화 결과를 엠펙 오디오 레이어 3 포맷으로 변환하여 패킷화하는 엠펙 레이어 3 비트 스트림 생성부를 포함하는 하모닉 성분을 이용한 오디오 코딩장치를 제공한다.

상기한 목적을 이루기 위하여 본 발명에서는, 상기의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1은 MPEG-1 레이어 3 오디오 스트림의 포맷이다.

엠펙-1(MPEG-1) 레이어 3 오디오 스트림은 오디오 복호단위(AAU, Audio Access Unit)(100)로 구성되어 있는데, 오디오 복호단위(AAU)(100)는 하나하나 단독으로 복호화될 수 있는 최소단위로서 항상 일정한 샘플수의 데이터를 압축하여저장하고 있다. 오디오 복호단위(AAU)(100)는 헤더(header)(110)와 오류체크(CRC, Cyclic Redundancy Check)(120), 오디오 데이터(audio data)(130) 및 보조 데이터(auxiliary data)(140)로 구성된다.

헤더(header)(110)에는 동기워드(syncword), ID 정보, 계층정보(layer information), 보호비트(protection bit)의 유무정보, 비트율 인덱스(bitrate index) 정보, 샘플링 주파수 정보, 패딩비트(padding bit)의 유무 정보, 개별용도 비트(private bit), 모드 정보(mode), 모드 확장정보(mode extension), 저작권(copyright) 정보, 원본인지 복사본인지의 여부 정보 및 엠퍼시스(emphasis) 특성정보가 들어있다.

CRC(120)는 선택사항으로 이것의 유무는 헤더(header)(110)에서 정의되며 길이는 16비트이다.

오디오 데이터(audio data)(130)는 압축된 음성 데이터가 들어가는 부분이다.

보조 데이터(auxiliary data)(140)는 오디오 데이터(130)의 끝이 하나의 오디오 복호단위(AAU)의 끝에 달하지 않은 경우 남은 부분에 저장되는 데이터를 말하는 것으로, 엠펙 오디오 이외의 임의의 데이터가 삽입될 수 있다.

도 2는 MPEG-1 레이어 3 오디오 스트림 생성장치의 블록도이다.

PCM 오디오 신호 입력부(210)는 PCM(Pulse Code Modulation) 오디오 데이터를 버퍼로 입력받는다. 이때 576 샘플단위로 구성된 그래뉼(granule)을 입력받는다.

심리음향모델2 수행부(220)는 상기 PCM 오디오 신호 입력부(210)의 버퍼에 저장되어 있는 PCM 오디오 데이터를 입력받아 심리음향 모델2(psychoacoustic model 2)를 수행한다. DCT 수행부(230)는 심리음향모델 2(psychoacoustic model 2) 수행과 함께 576 샘플의 그래뉼(granule) 단위로 PCM 오디오 데이터를 입력받아 DCT 연산을 수행한다.

MDCT 수행부(240)는 심리음향 모델2(psychoacoustic model 2)를 적용한 결과와 상기 DCT 수행부(230)에서 수행된 DCT 결과를 가지고 MDCT 연산을 수행한다. 이때 지각 에너지(perceptual energy)가 소정의 임계값(threshold)보다 크면 짧은 윈도우(short window)를 사용하여 MDCT 연산을 수행하고, 지각 에너지(perceptual energy)가 소정의 임계값(threshold)보다 작으면 긴 윈도우(long window)를 사용하여 MDCT 연산을 수행한다.

오디오 신호의 압축방법의 하나인 지각 부호화(perceptual coding)에서는, 원신호와 재생신호가 달라지지만 사람 귀의 특성을 이용하여 사람이 인지할 수 없는 범위의 세부 정보를 생략할 수 있다. 지각 에너지(perceptual energy)는 사람이 인지할 수 있는 에너지를 나타낸다.

양자화부(250)는 상기 심리음향 모델2(psychoacoustic model 2)를 적용한 결과로 발생하는 비트할당정보와 MDCT 연산결과를 가지고 양자화(quantization)를 수행한다. 그리고 MPEG-1 레이어 3 비트스트림 생성부(260)는 허프만 코딩(huffman coding)을 사용하여 상기 양자화된 데이터를 MPEG-1 비트 스트림(bit stream)의 오디오 데이터(audio data) 영역에 들어갈 데이터로 만든다.

도 3은 심리음향 모델에서의 연산과정을 나타낸 도면이다.

PCM 데이터 576 샘플로 구성된 그래뉼(granule)을 입력받아(310), 입력받은 PCM 오디오 데이터에 대해서 1024 샘플단위의 긴 윈도우(long window) 또는 256 샘플단위의 짧은 윈도우(short window)를 구성한다(320). 즉 많은 샘플들을 모아서 하나의 패킷을 구성하는 것이다.

상기 단계(320)에서 구성한 윈도우 단위로 FFT(Fast Fourier transform)을 수행한다(330).

그리고, 심리음향 모델2(psychoacoustic model 2)를 적용한다(340).

심리음향 모델2(psychoacoustic model 2)를 적용하면 지각 에너지(perceptual energy)값이 나오는데, 이 결과를 MDCT 수행부에 제공하여 적용될 윈도우(window)를 선택하도록 하고, 각 임계대역에 대한 SMR(Signal to Masking Ratio)결과도 출력하여 양자화부에 제공하여 할당될 비트수를 결정하도록 한다(350).

그리고 상기 지각에너지 정보값와 SMR 정보를 가지고 MDCT 및 양자화를 수행한다(360).

도 4는 본 발명의 저속 MPEG-1 레이어 3 오디오 스트림 생성장치의 블록도이다.

PCM 오디오 신호 입력부(410)는 PCM(Pulse Code Modulation) 오디오 데이터를 버퍼로 입력받는다. 심리음향모델2 수행부(420)는 심리음향 모델2(psychoacoustic model 2)를 수행하는데, 이때 1024 샘플단위 또는 256 샘플단위로 FFT를 수행하고 지각에너지(perceptual energy) 및 비트할당정보 등을 출력한다.

심리음향 모델2(psychoacoustic model 2)를 적용하면 도 3에서 설명한 것과 같이 지각 에너지(perceptual energy)값과 SMR(Signal to Masking Ratio)결과에 따른 비트할당정보가 나온다. 그리고 FFT도 수행하므로 본 발명에서는 이 FFT 결과를 이용하여 하모닉(harmonic) 성분을 추출한다. 하모닉 성분 추출부(430)는 상술한 바와 같이 하모닉(harmonic) 성분을 추출한다. 상세한 과정은 도 6에서 후술한다.

하모닉 성분 인코딩부(440)는 상기 추출된 하모닉(harmonic) 성분을 인코딩하여 MPEG-1 레이어 3 비트 스트림 생성부로 전달한다. 이렇게 하여 양자화된 오디오 데이터와 함께 MPEG-1 오디오로 만들어진다. 하모닉(harmonic) 성분을 인코딩하는 상세한 과정은 후술한다.

하모닉 성분 디코딩부(450)는 상기 인코딩된 하모닉(harmonic) 성분을 디코딩한다. 그러면 시간 도메인에서의 PCM 데이터가 된다. 그리고 MDCT 수행부(460)는상기 디코딩된 하모닉 성분을 원래 입력된 PCM 신호에서 빼서 그 뺀 결과를 입력받아 MDCT를 수행한다. 그리고, 심리음향모델2에서 출력된 상기 지각 에너지(perceptual energy) 정보값이 미리 설정된 소정의 임계값보다 크면 18 샘플단위로 MDCT를 수행하고 소정의 임계값보다 작으면 36 샘플단위로 MDCT를 수행한다.

하모닉(harmonic) 성분 추출(extraction)은 주파수 도메인에서 나열된 데이터를 입력받아 심리음향 모델2(psychoacoustic model 2)의 순음(Tonal)과 비순음(Non-tonal)의 결정(decision) 조건과 청각한계특성을 이용하여 수행된다. 상세한 과정은 후술한다.

양자화부(470)는 상기 심리음향모델2 수행부(420)에서의 비트할당정보를 사용하여 양자화(quantization)를 수행한다. MPEG-1 레이어 3 비트 스트림 생성부(480)는 상기 하모닉 성분 인코딩부(440)에서 만들어진 하모닉 성분 데이터와 양자화된 오디오 데이터를 함께 허프만(huffman) 코딩을 사용하여 패킷화하여 압축된 오디오 데이터로 만든다.

도 5는 심리음향모델 2에서의 하모닉 성분 추출과정(510)과 인코딩(520) 및 디코딩(530) 과정을 나타낸 도면이다.

심리음향 모델2(psychoacoustic model 2)에서 수행하는 단계는 도 3의 심리음향모델2(psychoacoustic model 2)와 동일하다. 이 과정에서 FFT를 수행하게 되는데, FFT 결과를 하모닉(harmonic) 성분 추출에 사용한다. 그리고 하모닉(harmonic) 성분을 인코딩하여 엠펙-1(MPEG-1) 비트 스트림으로 만든다. 하모닉(harmonic) 성분 추출과정(530)을 도 6a 내지 도 6d에서 예를 들어 설명한다.

도 6a, 도 6b, 도 6c, 도 6d는 심리음향모델 2에서 FFT 결과를 이용하여 하모닉 성분을 추출할 때 각 단계별 샘플이 추출되는 예를 나타낸 도면이다.

도 6a 와 같은 데이터가 입력되었다고 가정하였을 때 FFT를 먼저 수행하여 음압을 결정한다. 그리고, 상기 음압이 구해진 복수의 입력받은 PCM 오디오 데이터 중에서 어느 하나를 선택하여 그 데이터의 좌우에 존재하는 PCM 오디오 데이터 값이 상기 선택한 PCM 오디오 데이터 값보다 작은 경우 상기 선택한 PCM 오디오 데이터만을 추출한다. 그리고 이 과정을 입력받은 모든 PCM 오디오 데이터에 대하여 수행한다.

음압은 주파수 도메인에서의 샘플의 에너지 값으로, 본 발명에서는 어느 정도 이상의 음압을 가진 샘플만을 하모닉(harmonic) 성분으로 판단한다. 그러면 도 6b와 같은 샘플이 추출된다. 그리고 나서 FFT 수행결과에 따른 음압이 소정의 레벨보다 큰 것만을 추출한다. 예를 들어, 이 소정의 레벨을 7.0dB 라고 설정한 경우에 이 값보다 작은 값의 샘플은 버려지고 도 6c와 같은 샘플만이 남는다. 남은 샘플들이 모두 하모닉(harmonic) 성분으로 고려되는 것이 아니라 도 7에서의 테이블에 의해 다시 몇몇의 샘플만이 남는다. 따라서 최종적으로 도 6d 와 같은 샘플이 남는다.

도 7은 K값에 따른 제한된 주파수 범위를 나타낸 테이블이다.

K를 주파수 도메인에서 샘플의 위치를 나타내는 값이라고 할 때, K값이 3보다 작거나 500보다 큰 경우 도 7에서 제안된 주파수 범위의 레인지(range)값의 범위에 있는 샘플들의 값은 0으로 되어 버려진다. 마찬가지로 K값이 3보다 크거나 같고 63보다 작은 경우, K값이 63보다 크거나 같고 127보다 작은 경우, K값이 127보다 크거나 같고 255보다 작은 경우, K값이 255보다 크거나 같고 500보다 작은 경우에 따라서 도 7과 같은 레인지(range)값이 주어진다.

500을 한계로 한 것은 사람의 가청주파수의 한계를 고려한 것으로 이 이상의 주파수에 해당하는 샘플값은 고려하지 않아도 결과에 차이가 없다는 것을 가정한것이다.

결과적으로 도 6d의 샘플값만이 남고, 이 샘플들을 하모닉(harmonic) 성분으로 판단한다.

하모닉(harmonic) 성분의 인코딩(520)은 진폭(amplitude)의 인코딩과 주파수(frequency)의 인코딩, 그리고 위상(phase)의 인코딩으로 구성된다.

진폭(amplitude)의 인코딩과 주파수(frequency)의 인코딩, 그리고 위상(phase)의 인코딩에 사용되는 수식은 다음과 같다.

여기에서 AmpMax 는 최대진폭을 나타내고, Enc_peak_AmpMax 는 이 값을 인코딩한 결과값이다. 그리고 Amp 는 최대진폭이 아닌 그 외의 진폭을 나타낸다.

진폭(amplitude)성분의 인코딩은 우선 최대진폭(peak amplitude)을 8 비트의 로그 스케일(log scale)로 인코딩을 하여 AmpMax 값을 최대진폭(peak amplitude)의 값으로 설정하면, Enc_peak_AmpMax는 상술한 수학식 1과 같이 주어지고, 그 밖의 진폭(amplitude)은 5 비트의 로그 스케일(log scale)로 인코딩되어 상술한 수학식 2와 같이 주어진다.

주파수 위치(Frequency location)의 인코딩은 청각특성을 고려하여 K 값이 최소 58(2498Hz)에서 최대 372(16KHz)까지만 인코딩한다. 그리고, 372에서 58을 빼면 314가 되므로, 9 비트를 사용하여 인코딩한다.

위상(phase)의 인코딩은 3 비트를 사용하여 인코딩한다.

상술한 것과 같이 하모닉(harmonic) 성분을 추출하여 인코딩하였으면 이를 디코딩하여 MDCT를 수행한다.

도 8은 본 발명의 하모닉 성분을 제거하여 오디오 스트림을 만드는 과정을 나타낸 도면이다.

우선, PCM 오디오 데이터를 입력받아 저장하고(810), 저장된 상기 데이터에 인간의 가청한계 특성을 이용한 심리음향 모델 2(psychoacoustic model 2)를 적용하여 FFT 결과정보, 입력받은 데이터에 대한 지각 에너지(perceptual energy) 정보 및 양자화에 사용되는 비트할당정보를 출력한다(820). 그리고, 상기 FFT 결과정보를 이용하여 상기 입력받은 PCM 오디오 데이터에서 하모닉(harmonic) 성분을 추출한다(830).

하모닉(harmonic) 성분의 추출은 다음의 과정을 거쳐 이루어진다. 상기 FFT결과정보를 이용하여 입력받은 복수의 PCM 오디오 데이터 각각의 음압을 구한다. 그리고, 상기 음압이 구해진 복수의 입력받은 PCM 오디오 데이터 중 어느 하나를 선택하여 그 데이터의 좌우에 존재하는 PCM 오디오 데이터 값이 상기 선택한 PCM 오디오 데이터 값보다 작은 경우 상기 선택한 PCM 오디오 데이터만을 추출한다. 그리고, 이 과정을 입력받은 모든 PCM 오디오 데이터에 대하여 수행한다.

그리고, 상기 추출한 PCM 오디오 데이터들 중에서 상기 음압이 7.0dB 보다 큰 값을 갖는 PCM 오디오 데이터만을 추출하고, 이 추출한 오디오 데이터에서 도7의 표를 참조하여 소정의 범위에 있는 PCM 오디오 데이터는 버림으로써 하모닉(harmonic) 성분을 추출한다.

다음 단계로, 상기 추출한 하모닉(harmonic) 성분을 인코딩하여 출력하고(840), 인코딩된 하모닉(harmonic) 성분을 디코딩한다(850).

상기 입력받은 PCM 오디오 데이터에서 상기 디코딩된 하모닉(harmonic) 성분을 빼서 상기 지각 에너지(perceptual energy) 정보에 따라 MDCT를 수행한다(860). 즉, 지각 에너지(perceptual energy)가 소정의 임계값(threshold)보다 크면 짧은 윈도우(short window)를 사용하여 MDCT를 수행하고, 지각 에너지(perceptual energy)가 소정의 임계값(threshold)보다 작으면, 긴 윈도우(long window)를 사용하여 MDCT를 수행한다. 예를 들어, 상기 지각 에너지(perceptual energy) 정보값이 미리 설정된 소정의 임계값보다 크면 18 샘플단위로 MDCT를 수행하고 소정의 임계값보다 작으면 36 샘플단위로 MDCT를 수행한다.

그리고 상기 수행된 MDCT 결과값을 상기 비트할당정보에 따라서 비트를 할당하여 양자화한다(870).

이렇게 하여 양자화된 오디오 데이터와 상기 인코딩되어 출력된 하모닉(harmonic) 성분을 입력받아 허프만 코딩(huffman coding)을 하여 오디오 패킷으로 만든다(880).

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

상술한 바와 같이 본 발명은, 저속의 엠펙1(MPEG-1) 레이어(layer) 3 오디오스트림의 생성시 발생되는 양자화 비트수의 한계를 극복하고, 복잡한 계산과정을 많이 부가하지 않고 심리음향 모델2(psychoacoustic model 2)에서 사용하는 FFT 결과를 이용하여, 입력 오디오 신호로부터 하모닉(harmonic) 성분을 제거하고, 과도(transient)한 부분만을 MDCT 를 사용하여 압축함으로서, 저속의 비트율로 오디오 신호를 압축하는데 있어서 효과적으로 처리하여 압축율을 높일 수 있는 효과가 있다.

Claims

(a) PCM 오디오 데이터를 입력받아 심리음향모델 2를 적용하여 하모닉 성분을 추출하는 단계;

(b) 상기 입력된 PCM 오디오 데이터에서 상기 추출된 하모닉 성분을 제거하여 MDCT를 수행하는 단계; 및

(c) 상기 수행된 MDCT 결과값을 양자화하고, 상기 추출된 하모닉 성분과 함께 오디오 패킷으로 만드는 단계를 포함하는 하모닉 성분을 이용한 오디오 코딩방법.
(a) PCM 오디오 데이터를 입력받아 저장하고, 저장된 상기 데이터에 인간의 가청한계 특성을 이용한 심리음향 모델 2를 적용하여 FFT 결과정보, 입력받은 데이터에 대한 지각 에너지 정보 및 양자화에 사용되는 비트할당정보를 출력하는 단계;

(b) 상기 FFT 결과정보를 이용하여 상기 입력받은 PCM 오디오 데이터에서 하모닉 성분을 추출하는 단계;

(c) 상기 추출한 하모닉 성분을 인코딩하여 출력하고, 인코딩된 하모닉 성분을 디코딩하는 단계;

(d) 상기 (a) 단계에서 저장된 PCM 오디오 데이터에서 상기 (c) 단계에서 디코딩된 하모닉 성분을 빼서 상기 지각 에너지 정보에 따라 MDCT를 수행하는 단계;

(e) 상기 수행된 MDCT 결과값을 상기 비트할당정보에 따라서 비트를 할당하여 양자화하는 단계; 및

(f) 상기 인코딩되어 출력된 하모닉 성분과 상기 양자화된 MDCT 결과값을 오디오 패킷으로 만드는 단계를 포함하는 하모닉 성분을 이용한 오디오 코딩방법.
제2항에 있어서, 상기 (b) 단계는

(b1) 상기 FFT 결과정보를 이용하여 입력받은 복수의 PCM 오디오 데이터 각각의 음압을 구하는 단계;

(b2)상기 음압이 구해진 복수의 PCM 오디오 데이터 중 어느 하나를 선택하여 그 데이터의 좌우에 존재하는 PCM 오디오 데이터 값이 상기 선택한 PCM 오디오 데이터 값보다 작은 경우 상기 선택한 PCM 오디오 데이터만을 1차 추출하는 단계;

(b3) 상기 (b2) 단계를 입력받은 모든 PCM 오디오 데이터에 대하여 수행하는 단계;

(b4) 상기 추출한 PCM 오디오 데이터들 중에서 상기 음압이 소정의 음압보다 큰 값을 갖는 PCM 오디오 데이터만을 2차 추출하는 단계; 및

(b5) 상기 (b4) 단계에서 2차 추출한 PCM 오디오 데이터들 중에서 주파수 위치에 따라서 소정의 범위에 있는 PCM 오디오 데이터는 버리는 단계를 포함하여 하모닉 성분을 추출하는 것을 특징으로 하는 하모닉 성분을 이용한 오디오 코딩방법.
제3항에 있어서, 상기 (b5) 단계는

소정의 음압은 7.0dB 인 것을 특징으로 하는 하모닉 성분을 이용한 오디오 코딩방법.
제2항에 있어서, 상기 (d) 단계는

상기 지각 에너지 정보값이 미리 설정된 소정의 임계값보다 크면 18 샘플단위로 MDCT를 수행하고 소정의 임계값보다 작으면 36 샘플단위로 MDCT를 수행하는 것을 특징으로 하는 하모닉 성분을 이용한 오디오 코딩방법.
PCM 오디오 데이터를 입력받아 저장하는 PCM 오디오 데이터 저장부;

상기 저장된 PCM 오디오를 입력받아 심리음향모델2를 수행하여 FFT 결과정보, 입력받은 데이터에 대한 지각 에너지 정보 및 양자화에 사용되는 비트할당정보를 출력하는 심리음향모델2 수행부;

상기 FFT 결과정보를 이용하여 상기 입력받은 PCM 오디오 데이터에서 하모닉 성분을 추출하는 하모닉 성분 추출부;

상기 추출된 하모닉 성분을 인코딩하여 출력하는 하모닉 성분 인코딩부;

상기 저장된 PCM 오디오 데이터에서 상기 하모닉 성분 추출부에서 추출된 하모닉 성분을 제거하여 상기 지각 에너지 정보에 따라서 MDCT를 수행하는 MDCT 수행부;

상기 MDCT 수행된 결과값을 상기 비트할당정보에 따라서 양자화하는 양자화부; 및

상기 하모닉 성분 인코딩부에서 출력된 하모닉 성분 데이터와 상기 양자화부에서 출력된 양자화 결과를 엠펙 오디오 레이어 3 포맷으로 변환하여 패킷화하는 엠펙 레이어 3 비트 스트림 생성부를 포함하는 하모닉 성분을 이용한 오디오 코딩장치.
제6항에 있어서, 상기 하모닉 성분 추출부는

상기 FFT결과정보를 이용하여 입력받은 복수의 PCM 오디오 데이터 각각의 음압을 구하고, 상기 음압이 구해진 복수의 PCM 오디오 데이터 중 어느 하나를 선택하여 좌우에 존재하는 PCM 오디오 데이터 값이 상기 선택한 PCM 오디오 데이터 값보다 작은 경우 상기 선택한 PCM 오디오 데이터만을 1차 추출하고,

이 추출하는 과정을 모든 PCM 오디오 데이터에 대해 수행한 다음 상기 PCM 오디오 데이터의 음압이 소정의 음압보다 큰 값을 갖는 PCM 오디오 데이터만을 2차 추출하고,

상기 추출한 오디오 데이터들 중에서 주파수 위치에 따라서 소정의 범위에 있는 PCM 오디오 데이터는 버림으로써 하모닉 성분을 추출하는 것을 특징으로 하는 하모닉 성분을 이용한 오디오 코딩장치.
제6항에 있어서, 상기 MDCT 수행부는

상기 지각 에너지 정보값이 미리 설정된 소정의 임계값보다 크면 18 샘플단위로 MDCT 를 수행하고 소정의 임계값보다 작으면 36 샘플단위로 MDCT 를 수행하는것을 특징으로 하는 하모닉 성분을 이용한 오디오 코딩장치.
제1항 내지 제5항의 방법 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.