KR20050011362A - 디지털 압축오디오에 있어서 입체음향효과 생성방법 - Google Patents

Abstract

본 발명은 디지털 압축오디오에 있어서 입체음향효과 생성방법에 관한 것으로서, 특히, 디지털 압축오디오 방식의 처리과정에서 신호의 주파수 성분을 활용해서 처리함에 착안하여, 이 처리과정 중에 각 채널의 주파수 성분을 자유로이 조정함으로써 디코딩된 사운드에 입체음향효과를 생성하는 방법에 관한 것이다.

본 발명에 의한 입체음향효과는, 머리전달함수의 임펄스 응답을 이산 푸리에 변환하여 주파수 응답 크기의 성분인로 변환하고, 상기를 전체 주파수 성분의 수에 맞추어진 주파수 응답로 만드는 단계와, 상기를 디코딩된 주파수 성분인과 곱하여 원래의 디코딩된 주파수 성분의 주파수 특성을 왜곡시켜 음원의 위치가 적용된 머리전달함수의 좌표로 이동하도록 하여 음원의 위치를 변동시킨를 만드는 단계에 의해 생성되며, 상기는 근사화 방법을 사용하여 저장될 메모리의 양을 줄이도록 한다.

본 발명에 의하면, 종래 PCM 데이터의 필터링에 의한 방법에 비해 많은 연산량의 감소를 얻을 수 있으며, 인덱스 정보를 활용함으로써 연산량을 더 감소시킬 수 있다.

Description

디지털 압축오디오에 있어서 입체음향효과 생성방법 {Stereophonic effect generating method in digital compression audio}

본 발명은 디지털 압축오디오에 있어서 입체음향효과 생성방법에 관한 것으로서, 더 상세하게는 디지털 압축오디오 방식의 처리과정에서 신호의 주파수 성분을 활용해서 처리함에 착안하여, 이 처리과정 중에 각 채널의 주파수 성분을 자유로이 조정함으로써 디코딩된 사운드에 입체음향효과를 생성하는 방법에 관한 것이다.

아날로그 오디오 신호는 A/D(Analog/Digital) 컨버터를 거쳐 디지털 오디오 신호인 PCM 데이터로 변환되어 디지털 저장장치에 저장되며, 저장된 PCM 데이터의 경우 기록 매체간(예: 오디오 CD)에 음질의 손실없이 복제가 가능하다.

이에 저장되는 데이터 양을 줄여 보다 효율적인 데이터의 보관 및 관리를 위해, 디지털 압축오디오 방식(MPEG1, MPEG2 AAC, WMA, ATARC, Ogg Vorbis등)이 개발 실용화 되어 있다.

이런 장점을 가지는 디지털 압축오디오의 디코딩 사운드에 효율적으로 입체음향효과를 구현하는 대표적인 방법으로, 머리전달함수(Head Related Transfer Function)를 이용하는 방법이 있다.

상기 머리전달함수란 음원으로부터 귀의 고막에 전달되는 경로를 수학적으로 모델링한 것으로, 사람의 귓바퀴의 불규칙한 모양으로 인해 귀에 도달하는 신호의 주파수 특성이 왜곡되어 지는데, 이 주파수 특성의 왜곡이 음원의 방향이나 거리 등에 따라 다른 특성을 갖는 함수를 의미한다.

이러한 주파수 특성의 변화를 청취자의 앞 중앙, 귀높이에 위치한 음원에서 재생되어질 PCM 신호에 수학식 1과 같이 머리전달함수의 특성을 구현한 유한 임펄스 응답(Finite Impulse Response) 필터에 의해 필터링을 수행하여 주파수 특성을 변화시킴으로써, 음원의 위치가 변하는 것처럼 효과를 주는 것이 머리전달함수를 이용한 입체음향효과이다.

여기서는 입력 PCM 신호,는 음원을 위치시키고자 하는 좌표에 해당하는 머리전달함수의 임펄스 응답,은 출력 PCM 신호,은 머리전달함수의 차수이다.

그러나 수학식 1의 필터링 연산과정은번째의 PCM 샘플을 출력시키기 위해만큼의 곱과 합이 필요하게 되므로 많은 연산량을 필요로 하는 단점이 있다.

또한 입체음향효과를 사용자의 선택에 따라 음원의 위치가 변하도록 할 경우, 효과를 변화시키는 지점간의 불연속한 음을 발생시키는 단점이 있다.

상술한 단점의 원인은 입체음향효과를 디지털 압축오디오 방식에 적용하기 위해서 최종 디코딩된 PCM 오디오 데이터에 필터링을 해야 하기 때문이다.

본 발명에서는 디지털 압축오디오 방식의 처리과정에서 신호의 주파수 성분을 활용해서 처리함에 착안하여, 이 처리과정 중에 입체음향효과 처리부를 두고 상기 입체음향효과 처리부에서 각 채널의 주파수 성분을 자유로이 조정하게 함으로써 종래의 문제점을 개선하여 디코딩된 사운드에 입체음향효과를 생성하도록 하는 데 그 목적이 있다.

도 1a 및 도 1b는 일반적인 디지털 압축오디오의 인코더와 디코더의 개략적인 구성도이다.

도 2는 본 발명에 따라 입체음향효과 처리부를 디코더에 적용한 구성도이다.

도 3a 내지 도 3d는 본 발명의 일실시예에 따라 고도각 0도, 방위각 40도에 해당하는 스테레오 채널의 머리전달함수의 임펄스 응답과 전체 주파수성분의 수가 576인 MP3에 적용하기 위해 주파수 응답으로 변환한 예를 채널별로 도시한 그래프이다.

도 4는 입체음향효과 처리부 내의 주파수 성분 처리과정을 나타낸 구성도이다.

<도면의 주요부분에 대한 부호의 설명>

100 : 분석필터 뱅크 101 : 지각 부호화부

102 : 양자화 및 코딩부 103: 비트스트림 패킹부

104 : 비트스트림 언패킹부 105 : 역양자화부

106 : 합성필터 뱅크 202 : 입체음향효과 처리부

이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하기로 한다.

디지털 압축오디오 방식은 사람 귀의 청각특성을 이용한 지각 부호화(Perceptual Coding)에 기초한 압축 방식이다.

지각 부호화는 고요할 때 청각이 감지할 수 있는 음의 최소 레벨인 최소가청한계와 특정음에 의해 다른 음이 잘 들리지 않게 되는 마스킹 현상을 이용한 방법이다.

지각 부호화를 이용한 일반적인 디지털 압축오디오의 인코더와 디코더의 개략적인 구성은 도 1a 및 도 1b에 나타낸 바와 같다.

도시된 바와 같이, 마스킹 효과가 일어나는 주파수 대역폭을 정의한 임계 대역(Critical Band)의 주파수 특성을 활용하기 위해, 인코더에서는 PCM 오디오 신호를 분석필터 뱅크(100)에 통과시켜 주파수 성분으로 변환한 후 인코딩 되며, 디코더에서는 최종적으로 합성필터 뱅크(106)를 거쳐 디코딩된 PCM 오디오 신호를 출력하게 된다.

이와 같이 처리되는 디지털 압축오디오 처리과정에 입체음향효과를 발생시키기 위해 도 2에 보이는 바와 같이 입체음향효과 처리부(202)를 구비하여 주파수 성분을 자유로이 조절할 수 있도록 하였다.

자유로이 조절할 수 있는 하나의 주파수 성분이 가지는 주파수 범위는 수학식 2와 같이 정의된다.

예를 들어, 샘플링 주파수가 44100Hz이고 MP3으로 압축되어진 경우, 도 1의 분석필터 뱅크(100) 후와 합성필터 뱅크(106) 전에서의 전체 주파수 성분의 개수는 576이며는 약 38.3Hz가 된다.

도 2의 입체음향효과 처리부(202)가 적용되면 종래의 방법에 비해 많은 연산량의 감소를 얻게 되고 디코딩 과정이 프레임 단위로 처리됨으로써 프레임 단위로 입체음향효과에 사용되는 값들의 변화를 적용하여 제어할 수 있으며 합성필터 뱅크(106)내의 처리과정 중 윈도우잉(Windowing)과 중첩 가산(Overlap add)에 의해 불연속적인 음의 발생을 방지할 수 있다.

상기 입체음향효과 처리부(202)에서는 다음과 같은 방법으로 입체음향효과를 생성한다.

본 발명의 일실시예에 따른 머리전달함수의 주파수 응답을 이용한 입체 음향 효과 생성방법은 먼저, 위치시키고자 하는 음원의 좌표에 해당하는 머리전달함수의 임펄스 응답(Impulse Response)을 이산퓨리에변환(discrete Fourier Transform)하여 주파수 응답(Frequency Response) 크기 성분인로 변환하고,상기는 전체 주파수 성분의 수에 맞추어진 주파수 응답로 만들어 준다.

여기서,는 0, 1, …, 전체 주파수 성분의 수-1 이며, 하나의 인덱스 값은 상기의 범위를 가진다.

도 3a와 도 3c의 도면은 고도각 0도, 방위각 40도에 해당하는 스테레오 채널의 머리전달함수의 임펄스 응답을 보여준 예이며, 도 3b와 도 3d의 도면은 전체 주파수 성분의 수가 576인 MP3의 경우에 적용하기 위해 채널별로 주파수 응답으로 변환한를 보여준다.

이러한 머리전달함수의 주파수 응답는로 정의한 역양자화부(105)를 통과한 디코딩된 주파수 성분들과 수학식 3과 같이 입체음향효과 처리부(202)에서 곱해짐으로써 원래의 디코딩된 주파수 성분의 주파수 특성을 왜곡시켜 음원의 위치가 적용된 머리전달함수의 좌표로 이동하도록 하여 음원의 위치를 변동시키는 입체음향효과를 얻게 된를 생성한다.

이러한 과정은 도 4에 보이는 것처럼 각 채널별로 디코딩된 왼쪽 채널과 오른쪽 채널에 대한 주파수 성분 X_left(k), X_right(k)를 각 채널에 대한 머리전달함수 H_left(k)와 H_right(k)를 적용하여, 출력 주파수 성분 X'_left(k), X'_right(k)를 만들어 낸다.

여기서,는 0, 1, …, 전체 주파수 성분의 수-1 이다.

수학식 3이 수학식 1에 비해 한번의 곱으로 처리됨으로 인해 많은 연산량을 감소시킬 수 있음을 알 수 있다.

여기에, 디지털 압축오디오의 경우 인코딩 과정에서 정보량을 줄이기 위해 일정 고주파 대역 이상의 주파수 성분은 제외하고 처리하는데, 이 정보를 인덱스로 만들어 인코딩하며, 디코딩 과정에서는 이 인덱스 정보 이상의 주파수 성분은 0으로 처리한다.

상기 인덱스 정보는 주파수 성분의 존재 영역을 구분해 주는 것으로, 디지털 압축오디오 방식의 한 특징이다.

상기 인덱스 정보를 수학식 3에 적용하면 수학식 4와 같이 전체 주파수 성분에 대한 곱의 과정이 인덱스 정보까지 만의 곱으로 대체된다.

여기서,는 0, 1, …, 인덱스 정보-1 이다.

이와 같이 처리하게 되면 곱하는 과정의 연산량을 더 감소시키게 된다.

입체음향효과를 위해 사용되는 머리전달함수의 주파수 응답는 각각의 채널 수에 따라, 또 음원을 위치시키고자 하는 좌표의 위치 수에 따라, 다른 값들을 가지기 때문에 많은 이 값들을 저장하기 위해 많은 메모리가 요구된다.

이에 본 발명에서는 머리전달함수의 주파수 응답를 근사화시켜 사용함으로써 메모리를 줄이는 방법을 제안한다.

첫번째로, 상기를 몇 개의 이웃한 값들에 대해 하나의 값을 선택해서, 선택된 값으로 그 이웃한 값들을 대체하도록 하여를 근사화한다.

그 일예로 수학식 5처럼 두개씩 이웃한 값들에 대해 하나의 값을 선택해서, 다른 하나의 값을 대체하도록 하여 메모리에 저장되어야 양을 절반으로 줄인다.

두번째로, 몇 개의 이웃한 값들에 대해 그 값들의 평균값을 구해서, 평균값으로 그 이웃한 값들을 대체하도록 하여를 근사화한다.

그 일예로 수학식 6처럼 두개씩 이웃한 값들에 대해 평균값을 구해서, 평균값으로 두개씩 이웃한 값들을 대체하도록 하여 메모리에 저장되어야 양을 절반으로 줄인다.

세번째로, 디지털 압축오디오에 적용된 청각 특성에 따른 임계 대역이 고주파 영역으로 갈수록 그 대역의 폭이 넓어지는 점을 활용하여를 고주파 영역으로 갈수록 적은 수만을 남기고 남겨진 값으로 다른 값들을 대체하도록 하여를 근사화하여 사용함으로써 메모리의 양을 줄일 수 있다.

이외에 다양한 방법으로를 근사화하여 메모리의 양을 줄이는 것이 가능하다.

이상에서 살펴본 바와 같이, 디지털 압축오디오의 디코딩된 사운드에 별도의 처리 없이 디코딩 과정에서 주파수 성분을 가지고 처리되는 특징을 활용하여 입체음향효과의 생성 및 제어가 구현된다.

이상에서 살펴본 바와 같이 본 발명에 의하면, 머리전달함수의 주파수 응답을 활용하여 음원의 위치를 변화시키는 입체음향효과를 생성할 수 있고, 이에 의해, 종래 PCM 데이터의 필터링에 의한 방법에 비해 많은 연산량의 감소를 얻을 수 있으며, 주파수 성분의 처리 과정에서 디지털 압축오디오 방식의 특징인 주파수 성분의 존재 영역을 구분해 주는 인덱스 정보를 활용함으로써 연산량을 더 감소시킬 수 있다.

또한 디코딩 과정에 입체음향효과 처리부가 추가됨으로써 사용자의 선택에 따라 음원의 위치가 변화하도록 입체음향효과를 발생시키는데 있어서 음의 불연속 없이 자연스러운 사운드를 생성할 수 있으며, 다양한 방법으로 요구되는 메모리의 양을 줄여 처리할 수 있다.

Claims (7)

1. 디지털 압축오디오 디코딩시에 입체음향효과를 생성하는 방법에 있어서;

   상기 디코딩시의 주파수 성분 처리과정 중에, 각 채널의 주파수 성분을 조정하여 디코딩된 사운드에 입체음향효과를 생성함을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.
2. 청구항 1에 있어서, 상기 입체음향효과는,

   머리전달함수의 임펄스 응답을 이산 푸리에 변환하여 주파수 응답 크기의 성분인로 변환하고, 상기를 전체 주파수 성분의 수에 맞추어진 주파수 응답로 만드는 단계와,

   상기를 디코딩된 주파수 성분인과 수학식 7처럼 곱하여 원래의 디코딩된 주파수 성분의 주파수 특성을 왜곡시켜 음원의 위치가 적용된 머리전달함수의 좌표로 이동하도록 하여 음원의 위치를 변동시킨단계에 의해 생성됨을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.

   여기서,는 0, 1, …, 전체 주파수 성분의 수-1 이다.
3. 청구항 2에 있어서, 상기 디코딩 과정에서 주파수 성분의 존재 영역을 구분해 주는 인덱스 정보 이상의 주파수 성분을 0으로 처리하여, 수학식 7의 전체 주파수 성분에 대한 곱의 과정이, 인덱스 정보까지 만의 곱으로 대체(는 0, 1, …, 인덱스 정보-1)됨을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.
4. 청구항 2에 있어서, 상기 머리전달함수의 주파수 응답를 근사화시켜 저장될 메모리의 양을 줄임을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.
5. 청구항 4에 있어서, 상기 주파수 응답를,

   몇 개의 이웃한 값들에 대해 하나의 값을 선택해서, 그 선택된 값으로 이웃한 값들을 대체하도록 하는 방법으로,

   근사화함을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.
6. 청구항 4에 있어서, 상기 주파수 응답를,

   몇 개의 이웃한 값들에 대해 평균값을 구해서, 그 평균값으로 이웃한 값들을 대체하도록 하는 방법으로,

   근사화함을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.
7. 청구항 4에 있어서, 상기 주파수 응답를,

   고주파 영역으로 갈수록 적은 수만을 남기고 남겨진 값으로 다른 값들을 대체하도록 하는 방법으로,

   근사화함을 특징으로 하는 디지털 압축오디오에 있어서 입체음향효과 생성방법.