KR101489035B1 - 오디오 신호 프로세싱을 위한 방법 및 장치 - Google Patents

Abstract

오디오 출력 디바이스를 통해 오디오 신호가 재생될 때 오디오 신호의 인식된 저주파수 콘텐츠를 강화시키기 위해 오디오 신호가 프로세싱된다. 오디오 출력 신호는 수신된 후, 고주파수 신호와 저주파수 신호를 생성하도록 필터링된다. 자가 콘볼루션의 프로세스를 포함하여, 저주파수 신호로부터 보다 높은 주파수 고조파들을 생성시킴으로써 강화 신호가 생성된다. 그 후 출력 신호를 생성하기 위해, 고주파수 신호는 강화 신호와 결합된다.

Description

오디오 신호 프로세싱을 위한 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNALS}

본 발명은 소리 출력을 강화시키기 위해 오디오 신호를 프로세싱하는 것에 관한 것이다.

확성기 설계에 있어서, 저주파수를 생성하기 위한 우퍼(woofer)의 능력은 확성기의 크기와 전력에 의해 좌우된다. 작은 스피커 설계쪽으로의 추진을 증가시킴에 따라, 이와 같은 확성기 시스템의 최저음 차단 주파수(bass cut-off frequency)는 점점 높아간다. 누락 기본음 효과(missing fundamental effect)가 알려져 있다. 뇌는 기본음 자체에 의해서 보다는, 기본음에 대한 보다 높은 고조파의 비율에 의해 톤의 피치를 인식한다. 따라서, 만약 기본 주파수 자체를 포함하지 않은 일련의 고조파 주파수들을 귀가 탐지하면, 뇌는 기본 주파수가 존재하는 것으로 여전히 인식할 것이다. 다성음이 재생중일 때 확성기의 최저음 차단 주파수보다 높은 고조파들을 생성시키는 것은 어렵다.

그러므로, 오디오를 한 옥타브만큼 피치 천이시킴으로써 1차 고조파를 생성시키고, 그런 후 보다 높은 차수의 추가적인 고조파들을 생성시키기 위한 기술이 필요하다.

본 발명의 양태에 따르면, 오디오 출력 디바이스를 통해 오디오 신호가 재생될 때 오디오 신호의 인식된 저주파수 콘텐츠를 강화시키기 위해 오디오 신호를 프로세싱하는 방법이 제공된다. 본 방법은 오디오 입력 신호를 수신하는 단계; 상기 오디오 입력 신호를 필터링하여 고주파수 신호와 저주파수 신호를 생성하는 단계; 상기 저주파수 신호로부터 보다 높은 주파수 고조파들을 생성시킴으로써 강화 신호를 생성시키는 단계; 및 상기 고주파수 신호와 상기 강화 신호를 결합하여 출력 신호를 생성하는 단계를 포함한다.

오디오 출력 디바이스를 통해 오디오 신호가 재생될 때 오디오 신호의 인식된 저주파수 콘텐츠를 강화시키기 위해 오디오 신호를 프로세싱하는 방법이 제공될 수 있다.

도 1은 본 발명의 실시예에 따른 오디오 프로세싱 시스템 내에 포함된 컴포넌트들의 예시를 도시한다.
도 2는 본 발명의 실시예에 따른 프로세스들의 개관도를 도시한다.
도 3은 단계 205에서의 프로세싱의 확장을 도시한다.
도 4는 F1 버퍼 및 F2 버퍼를 도시한다.
도 5는 가중치들의 예시를 도시한다.
도 6은 자가 콘볼루션 방법을 나타낸다.
도 7은 F1의 자가 콘볼루션의 작동예를 도시한다.
도 8은 F2의 자가 콘볼루션을 도시한다.
도 9는 링 변조를 도시한다.
도 10은 강화 신호의 생성을 도시한다.

도 1

도 1에서는 본 발명의 실시예에 따른 오디오 프로세싱 시스템 내에 포함된 컴포넌트들의 예시가 도시된다. 중앙 프로세싱 유닛(101) 뿐만이 아니라, 랜덤 액세스가능 메모리(102)가 제공되며, 랜덤 액세스가능 메모리(102)는 중앙 프로세싱 유닛(101)에 의해 실행된 프로그램들 및 연산 데이터의 저장소를 위해 제공된다.

프로그램들 및 연산 데이터를 위한 저장소는 또한 하드 디스크 드라이브(103)에 의해 제공되지만, 고체 상태 플래쉬 메모리와 같은, 대안적인 형태의 저장소가 가능하다. 입력/출력 인터페이스(104)가, 예컨대 마우스, 키보드 또는 다른 입력 디바이스로부터 입력 커맨드를 수신하고, 출력을 출력 디바이스에 제공하기 위해 제공되며, 출력 디바이스는 확성기(105), 헤드폰 또는 다른 유형의 출력 디바이스와 같은 오디오 출력 디바이스일 수 있다. 네트워크 카드(106)는 네트워크를 통해 통신하기 위한 설비를 제공하며, 새로운 프로그램 및 데이터는 이와 같은 네트워크를 거쳐서 로딩될 수 있거나 또는 실제로는 디스크(107)와 같은 휴대형 저장소 디바이스로부터 DVD 드라이브(108)에 의해 로딩될 수 있다. 컴포넌트들은 시스템 버스(109)를 통해 통신한다.

도 2

도 2에서는 본 발명의 실시예에 따른 프로세스들의 개관도가 도시된다. 소리 출력을 강화시키기 위해, 입력 신호에 대해 일련의 프로세스들이 수행된다.

단계 201에서 오디오 입력 신호가 수신되고, 단계 202에서 필터가 적용된다. 본 발명의 실시예에서, 오디오 입력 신호는 디지털 샘플들로서 표현되며, 이에 따라 필터링 단계는 디지털 영역에서 수행된다.

바람직한 실시예에서, 하이 패스 필터와 같은, 단일 필터가 이용될 수 있다. 확성기의 특성을 강화시키기 위해 하이 패스 필터가 배치될 때, 하이 패스 필터의 응답은, 바람직하게, 확성기의 저주파수 성능에 정합된다. 오직 저주파수만이 존재하는 2차 신호를 생성시키기 위해 필터링된 신호는 원래의 신호의 복사본으로부터 감산될 수 있다. 대안적인 실시예에서, 두 개의 분리된 필터들이 이용될 수 있는데, 하나의 필터는 로우 패스 필터이고 제2 필터는 하이 패스 필터이다. 이러한 대안적인 실시예는 놋치 필터 및/또는 밴드 패스 필터를 이용하여 구현될 수 있다. 단계 202에서의 필터링 프로세스는 단계 203에서 도시된 저주파수들을 단계 204에서 도시된 고주파수들로부터 분리시킨다. 그런 후 저주파수들은 단계 205에서 프로세싱되는데, 이것은 도 3을 참조하여 보다 자세하게 설명한다.

상술한 프로세싱의 결과는 단계 206에서 도시된 강화 신호의 생성이다. 이 강화 신호는 저주파수들로부터 생성되었지만, 그 자체는 보다 높은 주파수를 갖는다. 그런 후 강화 신호(206)는 단계 207에서 고주파수들(204)과 결합된다. 따라서, 단계 208에서의 결과적인 출력 신호는 비교적 높은 주파수 콘텐츠를 갖고 생성된다. 하지만, 단계 205에서 발생했던 프로세싱으로 인해, 출력 신호는 음향 심리학 효과로 인하여 입력 신호와 유사하게 소리가 난다. 특히, 귀에 대해서는 입력 신호 내에 포함된 저주파수들은 출력 신호 내에 여전히 존재하는 것처럼 여겨진다.

수행된 프로세싱은 [한 함수(Hann function)와 같은 함수를 이용한] 유입 오디오 샘플의 윈도우잉, 및 이러한 윈도우잉된 샘플과 원래의 오디오 샘플과의 컨볼빙(convolving)에 의해 수행된다. 이것은 자가 콘볼루션으로서 보여질 수 있다. 이러한 프로세스는 도 3을 참조하여 보다 자세하게 설명된다. 따라서, 시간/주파수 영역에서, 오디오는 일 방향으로 샘플 단위로 나아가는 반면에, 임펄스 응답은 샘플 단위로 반대 방향으로 진행한다. 이것은 완전 옥타브의 다성음 선형 피치 천이를 불러일으킨다.

일반적으로 디지털 기술들은 비교적 손쉽게 홀수차수 고조파들을 생성시키는데, 이러한 고조파들은 대체로 소리가 왜곡되고 바람직하지 않은 유형의 고조파들이다. 바람직한 것으로 간주되는 유형의 왜곡들은 대체로 디지털방식으로 생성하기가 어려운 짝수차수 고조파들이다. 본 발명은 위 프로세싱에 의해 생성되었던 2차 고조파를 취하고, 이러한 프로세싱을 다시 수행하여 4차 고조파를 생성시키는 것 등에 의해 전체적인 일련의 짝수차수 고조파들을 생성하기 위한 설비를 제공한다. 이러한 방식으로 그 이상의 짝수차수 고조파들이 생성될 수 있다.

누락 기본음 효과를 달성하기 위해, 본 방법은 생성된 일련의 짝수차수 고조파들에서 순수 사인파의 약 60%의 총체적인 고조파 왜곡을 미리정해진 일정한 양만큼 추가시키는 것을 포함한다. 그 결과는, 기본적인 최저음을 실제로 재생하는 것 없이, 귀는 총체적인 고주파 왜곡을 들을 것이며 저음을 상상할 것이다. 이것은 출력 디바이스에 의해 실제로 생성된 것보다 낮은 톤들의 인식을 불러일으킨다. 정말로, 귀는 스피커가 실제로 생성시킬 수 없는, 스피커로부터 생성된 톤들을 들을 것이다.

도 3

도 3에서는 단계 205에서의 프로세싱의 확장이 도시된다. 단계 203에서 저주파수들의 입력이 도시된다. 일련의 버퍼들에는 윈도우잉된 신호의 샘플들이 제공된다. 단계 301에서, 제1 버퍼, 즉 F1 버퍼(도 4에서 도시됨)가 업데이트된다.

가장 최근의 샘플이 버퍼에 추가되고, 버퍼 내에 이전에 저장되어 있던 가장 오래된 샘플은 폐기된다.

단계 302에서, F1 버퍼는 자가 컨볼빙된다. 이것은 도 7을 참조하여 보다 자세하게 설명된다. 이러한 콘볼루션의 결과로서 F2 값이 생성된다. (도 4에서 도시된) 추가적인 버퍼는 F2 값들을 저장하고, 단계 303에서 이 버퍼는 새로운 값으로 업데이트된다. 도 8을 참조하여 설명되는 바와 같이 단계 304에서 F2 버퍼는 자가 콘볼루션된다. 이러한 콘볼루션의 결과는 F4 값이다.

F1은 1차 고조파이며, F2는 2차 고조파이며, F4는 4차 고조파이다. 자가 콘볼루션 프로세스에는 F1 값, F2 값 및 F4 값마다 다른 레이턴시가 부과된다. 따라서, 단계 305에서 F1, F2, F4 값들이 시간적으로 재정렬되도록 F1 샘플 및 F2 샘플은 지연된다.

그 후 링 변조의 프로세스가 단계 306에서 수행되는데, 이것은 도 9를 참조하여 보다 자세하게 설명된다. 이것은 추가적인 고조파들을 생성시킨다.

그 후 단계 307에서, 생성되었던 고조파들은 가중인자들과 합해진다. 이것은 도 10을 참조하여 보다 자세하게 설명된다. 이러한 합산의 결과는 강화 신호이다(308).

도 4

도 4에서는 F1 버퍼와 F2 버퍼가 도시된다. F1 버퍼는 유입하는 저주파수들(F1)의 일련의 샘플들을 저장한다. 이 예시에서, 버퍼들은 고정된 길이를 갖는다. 이 경우에서, F1 버퍼에는 여덟 개의 샘플들을 위한 공간들이 존재한다. 값 N은 버퍼 내에서의 공간들의 갯수를 표현하기 위해 이용되는데, 이 예시에서는 N=8이며, 버퍼 내의 여덟 개의 공간들은 A, B, C, D, E, F, G 및 H로 표현된다.

도 4에는 F2 버퍼가 또한 도시된다. 이 예시에서, F2 버퍼는 F2 신호의 이전의 N/2개(N 나누기 2) 샘플들을 저장한다. 따라서, 이 예시에서는 F1 버퍼가 8개의 값들을 저장하며, F2 버퍼는 4개의 값들을 저장한다.

도 5

도 5에서는 가중치의 어레이들의 예시들이 도시된다. 도면부호 501에서는 F1 고조파에 관한 것이며 여덟 개의 일련의 가중치들(이들은 F1 버퍼 내에 저장된 여덟 개의 샘플들에 대응한다)을 제공하는 제1 어레이가 도시된다.

도면부호 502에서는 F2 고조파에 대응하며 F2 고조파를 자가 콘볼루션하여 F4 고조파를 생성하기 위해 이용되는 제2 가중 어레이가 도시된다.

도 6

도 6에서는 자가 콘볼루션의 방법이 일반적인 형태로 나타나 있다. 크기가 N인 블럭이 어레이 A[N] 내에 포함되어 있고, 윈도우 가중치들의 세트가 어레이 W[N] 내에 포함되어 있으며, 어레이 인덱스 i가 0에서 N-1까지의 값을 갖는 경우, 자가 콘볼루션은 도 6에서 도시된 바와 같다.

도 7

도 7에서는 (F2 값을 생성하기 위해 이용된) F1의 자가 콘볼루션의 작동예가 도시된다. F1 버퍼로부터의 첫번째 값 A는 F1 버퍼로부터의 가장 마지막 값 H와 콘볼빙되고, 이것은 F1 가중 어레이로부터의 첫번째 값 W1과 콘볼빙된다. 이것은 도 5에서 도시된 공식에 따라 F1 가중 어레이 등으로부터의 두번째 값 W2와 B와 G의 콘볼루션의 결과물에 추가된다. 따라서, 버퍼는 자신의 윈도우잉된 버전과 콘볼빙되어 2차 고조파 신호 F2의 단일 샘플을 생성한다. 생성된 이 F2 값은 도 8에서 도시된 바와 같이 또다른 버퍼를 업데이트하는데 이용된다.

도 8

F2 버퍼는 도 8에서 도시된 바와 같이 자신의 윈도우잉된 버전과 콘볼빙되어 4차 고조파 F4를 생성한다.

자가 콘볼루션 프로세스에는 F1 값, F2 값 및 F4 값마다 다른 레이턴시가 부과된다. 따라서, F1, F2, F4 값들이 시간적으로 재정렬되도록 F1 샘플 및 F2 샘플은 지연된다. 이 후에, 추가적인 고조파들을 생성하기 위해 링 변조가 이용된다. 이것은 도 9에 보다 자세하게 도시된다.

도 9

도 9는 F13, F35 및 F26 고조파들을 생성하기 위한 링 변조를 도시한다. 이 고조파들 각각은 이전에 생성되었던 고조파들의 콘볼루션에 의해 생성된다. 주파수 A와 주파수 B를 포함한 두 개의 신호들의 링 변조는 주파수 A 더하기 주파수 B, 및 주파수 A 빼기 주파수 B를 갖는 신호를 생성시킨다.

도 10

일련의 고조파들을 포함한 강화 신호를 생성하기 위해, 개별적인 고조파들은 가중 인자들(여기서는 W2, W4, W13, W35 및 W26으로서 표현됨)과 합해진다. 가중치들은 일련의 고조파들에 대한 각 고조파의 상대적인 기여를 제어하는데 이용된다. 도 10에서 도시된 바와 같이 강화 신호는 각 가중 인자와 고조파값의 콘볼루션에 의해 생성된다.

이러한 프로세싱의 결과는 한 옥타브의 안정적인 피치 천이 및 현실적인 음을 갖는 신호이다. 자가 콘볼루션 기술은 다성음적이며, 따라서 피치 천이는 모든 주파수들에서 동위상으로 완전히 달성될 수 있다.

최종적인 출력 신호를 생성하기 위해 전술한 바와 같이 생성된 강화 신호는 입력 신호로부터의 보다 높은 주파수들과 결합된다. 본 발명의 실시예에서, 출력 신호는 아날로그 신호로 변환되고, 이후 증폭되어 확성기와 같은 오디오 출력 디바이스에 제공된다.

이러한 프로세싱의 결과는 결과적인 출력 신호가 신호의 실질적인 일부분이 아닌 고조파들을 포함하는 것으로 인식된다는 것이다. 이것은 오디오 출력 디바이스의 생성 능력내에 있지 않을 수 있는 소리가 인식된다는 것을 의미한다. 예를 들어, 귀는 존재하지 않는 기본음들을 인식하기 때문에, 저주파수들을 생성할 수 없는 작은 스피커는 물리적으로 생성할 수 있는 것보다 낮은 주파수들을 명백히 재생성시킬 것이다.

102: 메모리, 103: 하드 디스크 드라이브
106: 네트워크 카드, 108: DVD 드라이브

Claims (10)

1. 오디오 신호가 특정 주파수 이하의 소리를 재생하지 못하는 확성기를 통해 재생될 때 누락 기본음 효과(missing fundamental effect)를 생성하기 위해 상기 오디오 신호를 프로세싱하는 방법에 있어서,
   오디오 입력 신호를 수신하는 단계;
   상기 확성기가 재생할 수 있는 고주파 범위를 포함하는 고주파수 신호 및 상기 확성기가 재생하지 못하는 저주파 범위를 포함하는 저주파수 신호를 생성하기 위해 상기 오디오 입력 신호를 필터링하는 단계;
   상기 저주파수 신호에서 각 주파수의 복수의 고차 고조파들을 생성함으로써 강화 신호를 발생시키는 단계로서, 상기 복수의 고차 고조파들을 생성하는 것은 상기 저주파수 신호의 자가 콘볼루션의 프로세스에 의해 2차 고조파들을 생성하는 단계와 상기 2차 고조파들의 자가 콘볼루션의 프로세스에 의해 4차 고조파들을 생성하는 단계를 포함하는, 상기 강화 신호를 발생시키는 단계;
   출력 신호를 생성하기 위해 상기 고주파수 신호를 상기 강화 신호와 결합하는 단계; 및
   상기 확성기를 통한 재생을 위해 상기 출력 신호를 출력하는 단계
   를 포함하는, 오디오 신호 프로세싱 방법.
2. 제1항에 있어서, 상기 오디오 입력 신호는 디지털 샘플들로서 표현되며, 상기 필터링 단계는 디지털 영역에서 수행되는 것인, 오디오 신호 프로세싱 방법.
3. 제1항에 있어서, 상기 오디오 입력 신호에 대해 제1 필터링 단계가 수행되어 상기 고주파수 신호가 생성되고, 제2 필터링 단계가 수행되어 상기 저주파수 신호가 생성되는 것인, 오디오 신호 프로세싱 방법.
4. 제1항에 있어서, 상기 강화 신호를 발생시키는 단계는 링 변조의 프로세스를 더 포함하는 것인, 오디오 신호 프로세싱 방법.
5. 제1항에 있어서, 상기 강화 신호를 발생시키는 단계는 복수의 고조파들을 가중 인자들과 결합시키는 프로세스를 더 포함하는 것인, 오디오 신호 프로세싱 방법.
6. 제1항에 있어서, 상기 출력 신호를 출력하는 단계는 상기 출력 신호를 아날로그 신호로 변환시키고, 증폭시켜, 상기 저주파수 신호의 성분들을 재생할 수 없는 상기 확성기로 공급하는 단계를 포함하는, 오디오 신호 프로세싱 방법.
7. 오디오 신호가 특정 주파수 이하의 소리를 재생하지 못하는 확성기를 통해 재생될 때 누락 기본음 효과를 생성하기 위해 상기 오디오 신호를 프로세싱하는 장치에 있어서,
   오디오 입력 신호를 수신하도록 구성된 입력 수단;
   프로세서 수단으로서,
   고주파수 신호 및 저주파수 신호를 생성하기 위해 상기 오디오 입력 신호를 필터링하도록 구성되고,
   상기 저주파수 신호에서 각 주파수의 복수의 고차 고조파들을 생성함으로써 강화 신호를 발생시키도록 구성되고, 상기 복수의 고차 고조파들을 생성하는 것은 상기 저주파수 신호의 자가 콘볼루션의 프로세스에 의해 2차 고조파들을 생성하는 것과 상기 2차 고조파들의 자가 콘볼루션의 프로세스에 의해 4차 고조파들을 생성하는 것을 포함하며,
   출력 신호를 생성하기 위해 상기 고주파수 신호를 상기 강화 신호와 결합하도록 구성된, 상기 프로세서 수단; 및
   상기 출력 신호를 수신하고, 상기 확성기를 통한 재생을 위해 오디오 출력을 생성하도록 구성된 출력 수단
   을 포함하는, 오디오 신호 프로세싱 장치.
8. 삭제
9. 삭제
10. 컴퓨터에 의해 실행가능한 컴퓨터 판독가능한 명령들을 갖는 컴퓨터 판독가능한 기록매체에 있어서, 컴퓨터가 상기 명령들 실행할 때, 상기 컴퓨터는 오디오 신호가 특정 주파수 이하의 소리를 재생하지 못하는 확성기를 통해 재생될 때 누락 기본음 효과를 생성하기 위해 상기 오디오 신호를 프로세싱하고, 상기 프로세싱은:
    오디오 입력 신호를 수신하는 단계;
    상기 확성기가 재생할 수 있는 고주파 범위를 포함하는 고주파수 신호 및 상기 확성기가 재생하지 못하는 저주파 범위를 포함하는 저주파수 신호를 생성하기 위해 상기 오디오 입력 신호를 필터링하는 단계;
    상기 저주파수 신호에서 각 주파수의 복수의 고차 고조파들을 생성함으로써 강화 신호를 발생시키는 단계로서, 상기 복수의 고차 고조파들을 생성하는 것은 상기 저주파수 신호의 자가 콘볼루션의 프로세스에 의해 2차 고조파들을 생성하는 단계와 상기 2차 고조파들의 자가 콘볼루션의 프로세스에 의해 4차 고조파들을 생성하는 단계를 포함하는, 상기 강화 신호를 발생시키는 단계; 및
    출력 신호를 생성하기 위해 상기 고주파수 신호를 상기 강화 신호와 결합하는 단계; 및
    상기 확성기를 통한 재생을 위해 상기 출력 신호를 출력하는 단계
    를 수행하는 것을 포함하는, 컴퓨터 판독가능 기록매체.

Images