KR100884312B1

KR100884312B1 - 음장 재현 장치 및 이를 이용한 음장 재현 방법

Info

Publication number: KR100884312B1
Application number: KR1020070084521A
Authority: KR
Inventors: 왕세명; 신민철
Original assignee: 광주과학기술원
Priority date: 2007-08-22
Filing date: 2007-08-22
Publication date: 2009-02-18
Also published as: JP2009048197A; JP4709880B2; US20090052692A1; US8098846B2

Abstract

본 발명은 음장 재현 장치 및 이를 이용한 음장 재현 방법에 관한 것이다. 보다 상세하게는 룸 임펄스 응답(Room Impulse Response)에 시간 영역에서의 매스킹 효과(masking effect)를 고려한 필터를 적용하고, 룸 임펄스 응답과 입력 신호가 주파수 영역에서 곱해진 신호에서 주파수에 따라 청취 불가능한 데이터를 제거하며, 출력된 신호 블록 중에서 백그라운드 잡음 블록의 레벨보다 낮은 레벨의 신호 블록을 제거함으로써, 컨볼루션 시에 필요한 계산량을 상당히 줄여 실시간 음장재현 시스템을 구현하면서도 음질왜곡을 최소화함으로써 정확한 음장을 재현할 수 있는 음장 재현 장치 및 이를 이용한 음장 재현 방법에 관한 것이다.

음장, 마스킹 효과, 컨볼루션, 룸 임펄스 응답, 블록 컨볼루션

Description

음장 재현 장치 및 이를 이용한 음장 재현 방법{Sound field generator and Method of generating the same}

특수한 공간의 음장 효과(sound field effect)를 재현하는 음향 기기에서는 음장 적용시 일반적으로 음향 신호에 유한 임펄스 응답(Finite Impulse Response; 이하 "FIR") 모델을 바탕으로 하는 룸 임펄스 응답(Room Impulse Response; 이하 "RIR")의 컨벌루션(convolution) 연산을 실시한다. 이 방법은 입력 신호와 임펄스 응답 신호를 직접 컨벌루션 함으로써, 무한 임펄스 응답(Infinite Impulse Response)에 기반한 방법에 비해 음질의 왜곡을 줄이고 실제에 가까운 음장 효과를 얻을 수 있는 장점이 있다. 그러나, 이 방법은 특정 음향 공간에서 RIR의 길이에 따라 계산량이 매우 많아지게 되어, 실시간 처리가 필요한 장치에는 적용될 수 없는 한계가 있다.

FIR 기반 음장 재현 장치에서 계산 시간과 선형 컨벌루션 연산의 지연을 감소시키기 위해 블록(block) 컨벌루션 알고리즘이 제안되었다. 블록 컨벌루션 알고리즘은 입력 신호와 임펄스 응답 신호를 여러 개의 블록으로 구분함으로써, RIR이 긴 경우의 상기와 같은 문제점을 극복하고자 하였다. 블록 컨벌루션 알고리즘은 음향 3D 렌더링 시스템과 실시간 음향 재생장치와 같이 실시간 컨벌루션 연산이 필요한 장치들에 적용될 수 있다.

도 1은 일반적인 FIR 기반 음장 재현 장치에서 적용되는 블록 컨벌루션 알고리즘의 블록도이다.

입력 신호는 여러 개의 입력 신호 블록(10)으로 나뉘어지고, RIR 신호 역시 여러 개의 RIR 블록(30)으로 나뉘어진다. 이때, 각 신호 블록은 동일한 길이를 갖는다. 입력 신호 블록(10)은 각각 고속 푸리에 변환(FFT)(20)을 거쳐 주파수 영역으로 변환되고, RIR 블록(30) 역시 각각 고속 푸리에 변환(40)을 통해 주파수 영역으로 변환된다. 주파수 영역으로 변환된 입력 신호 블록과 RIR 블록은 승산기(50)에서 서로 곱해진 후 각 신호 블록(60)으로 출력되고, 역 고속 푸리에 변환(IFFT)(70)을 통해 시간 영역으로 변환된다. 시간 영역으로 변환된 각 블록을 하나의 신호로 합해 주면 음장 효과가 포함된 음향 신호(80)가 만들어진다.

이와 같은 일반적인 FIR 기반 음장 재현 장치는 도 1에서 볼 수 있듯이 다수의 블록 단위로 수차례 계산이 반복되되, 각 계산 단계에서 인간의 청각 특성을 고려한 필터링 작업이 이루지지 않았기 때문에 그 계산량이 매우 방대하다는 문제점을 가지고 있다. 계산량이 많기 때문에 처리속도가 저조해질 수밖에 없으며, 이를 보완하기 위해서는 고가의 프로세서와 고용량의 메모리가 필요하기 때문에 제조비용이 상승한다는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 룸 임펄스 응답(Room Impulse Response)에 시간 영역에서의 매스킹 효과(masking effect)를 고려한 필터를 적용하고, 룸 임펄스 응답과 입력 신호가 주파수 영역에서 곱해진 신호에서 주파수에 따라 청취 불가능한 데이터를 제거하며, 출력된 신호 블록 중에서 백그라운드 잡음 블록의 레벨보다 낮은 레벨의 신호 블록을 제거함으로써, 컨볼루션 시에 필요한 계산량을 상당히 줄여 실시간 음장재현 시스템을 구현하면서도 음질왜곡을 최소화함으로써 정확한 음장을 재현할 수 있는 음장 재현 장치 및 이를 이용한 음장 재현 방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 블록 컨벌루션(block convolution)을 이용한 음장 재현 장치는, 각 입력 신호 블록을 고속 푸리에 변환(Fast Fourier Transform)하는 제1 고속 푸리에 변환기; 마스킹하는 신호(masker)와 마스킹되는 신호(maskee) 사이의 시간지연에 따라 상기 마스킹되는 신호의 사운드 압력(sound pressure)이 임계값 이하이면 인간의 청각에 감지되지 않는 마스킹 효과(masking effect)를 고려하여, 시간 영역에서 각 룸 임펄스 응답(Room Impulse Response) 블록이 입력되면 특정 시간지연 Δt에서 상기 마스킹되는 신호의 사운드 압력이 특정 임계값 이하이면 필터링하는 시간영역 청각필터; 상기 시간영역 청각필터를 통과한 상기 각 룸 임펄스 응답 블록을 고속 푸리에 변환 하는 제2 고속 푸리에 변환기; 및 상기 제1 고속 푸리에 변환기를 거친 상기 각 입력 신호 블록과, 상기 제2 고속 푸리에 변환기를 거친 상기 각 룸 임펄스 응답 블록을 서로 곱하는 승산기를 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 블록 컨벌루션(block convolution)을 이용한 음장 재현 방법은 (a) 각 입력 신호 블록을 고속 푸리에 변환(Fast Fourier Transform)하는 단계; (b) 마스킹하는 신호와 마스킹되는 신호 사이의 시간지연에 따라 상기 마스킹되는 신호의 사운드 압력이 임계값 이하이면 인간의 청각에 감지되지 않는 마스킹 효과를 고려하여, 시간 영역에서 각 룸 임펄스 응답 블록이 입력되면 특정 시간지연 Δt에서 상기 마스킹되는 신호의 사운드 압력이 특정 임계값 이하이면 필터링하는 단계; (c) 상기 (b)단계가 수행된 상기 각 룸 임펄스 응답 블록을 고속 푸리에 변환하는 단계; 및 (d) 상기 (a)단계를 거친 상기 각 입력 신호 블록과, 상기 (c)단계를 거친 상기 각 룸 임펄스 응답 블록을 서로 곱하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 의하면 계산량을 감소시킴으로써 처리 속도를 증가시키고, 저가의 프로세서와 낮은 용량의 메모리로 구현 가능하며, 빠른 처리 속도에 의해 실시간 음장 제어 시스템을 구현할 수 있으면서도 인간의 청각 특성을 반영하여 음질의 저하를 방지할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명 한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 2는 본 발명의 바람직한 실시예에 따른 음장 재현 장치의 블록도이다.

본 발명의 바람직한 실시예에 따른 음장 재현 장치는, 도 2를 참조하면, 제1 고속 푸리에 변환기(110), 시간영역 청각필터(120), 제2 고속 푸리에 변환기(130), 승산기(140), 주파수영역 청각필터(150), 블록 제거기(160), 및 역 고속 푸리에 변환기(170)를 포함하여 형성된다.

제1 고속 푸리에 변환기(110)는 각 입력 신호 블록(105)들을 입력받아, 주파수 영역으로 변환한다. 각 입력 신호 블록(105)은 음장 효과가 첨가되지 않은 음원 신호를 동일한 길이를 가지도록 다수개로 분할한 블록이다.

시간영역 청각필터(120)는 각 룸 임펄스 응답 블록(115)(이하, “RIR 블록”)을 입력받아, 마스킹 효과(masking effect)를 고려하여 불필요한 신호들을 제거한 후, 이를 제2 고속 푸리에 변환기(130)로 입력한다. 시간영역에서 인간의 청각 특성은 마스킹 효과를 나타낸다. 마스킹 효과는 임펄스 신호의 경우, 얻고자 하는 특정 임펄스 신호(마스킹하는 신호, masker)의 종료점(offset)과 다른 임펄스 신호(마스킹되는 신호, maskee)의 시작점(onset) 사이의 간격(시간지연 Δt)에 따라 임펄스 신호의 사운드 압력비가 특정 임계값으로 나타나고, 이러한 임계값보다 작은 사운드 압력을 갖는 마스킹되는 신호는 인간의 청각을 통해 감지되기 어렵다는 것이다. 따라서, 이러한 신호는 시간영역 청각필터(120)를 통해 걸러져도 전체 음장 재현에 영향을 미치지 않는다.

도 3은 시간영역 청각필터의 필터링 특성을 도시한 그래프이다.

도 3에서 가로축은 시간지연 Δt[msec]를 나타내고, 세로축은 마스킹되는 신호의 피크 사운드 압력 P(Δt)와 Δt=0에서의 상기 마스킹하는 신호의 피크 사운드 압력 P(0)의 비 P(Δt)/P(0)(이하, “피크 압력비”)를 나타낸다. 또한, 상기 피크 사운드 압력은 마스킹하는 신호가 백색 잡음(white noise), 즉 임펄스 신호인 경우에 측정된 값이다.

시간영역 청각필터(120)는 크게 두 가지의 메카니즘을 통해 작동된다.

첫째, 포스트 마스킹 효과(post-masking effect) 메카니즘이다. 포스트 마스킹 효과는 도 3에서 청색 원을 포함하는 청색선으로 도시되어 있다. 마스킹하는 신호가 주파수 영역에서 백색 잡음일 때, 마스킹되는 신호는 벨 모양의 압력 임펄스(pressure impulse)로 나타난다. 이러한 벨 모양의 압력 임펄스는 가로축에 나타난 각 시간지연에 있어서 마스킹 여부를 결정하는 “특정 임계값”으로 작용하게 된다. 즉, 얻고자 하는 신호인 마스킹하는 신호가 종료된 후 잇따르는 신호가 시작하기까지 오랜 시간이 흐를수록 임계값은 작아지고, 그 결과 잇따르는 신호의 크기 가 작아도 인간의 청각에 예민하게 감지된다. 반면, 시간지연이 짧을수록 잇따르는 신호의 크기가 상당하더라도 마스킹하는 신호에 묻히게 되어, 임계값보다 크기가 작은 신호는 무시해도 좋다.

예를 들어, 시간지연 Δt=10msec 인 경우 세로축의 압력비(특정 임계값)는 약 0.28이 된다. 이는 마스킹하는 신호가 종료되고 10msec 의 시간지연 후에 마스킹되는 신호가 시작된 경우, 마스킹되는 신호의 피크 압력비가 0.28 이하이면 인간의 청각에 감지되지 않음을 의미한다. 만약, 잇따르는 신호의 피크 압력비가 0.28을 초과하는 경우라면 인간의 청각에 감지될 것이다. 따라서, 피크 압력비가 0.28 이하인 신호는 포스트 마스킹 효과에 의해 마스킹되므로, 시간영역 청각필터(120)에 의해 제거되더라도 전체 음장 재현에 영향을 미치지 않게 된다.

도 3의 청색선과 같이 벨 모양의 압력 임펄스를 임계값으로 하여 시간영역 청각필터를 구현하는 경우, 임계값을 정밀하게 조정하기가 용이하지 않아 필터의 제조가 매우 복잡해진다. 따라서, 그 대안으로 이러한 벨 모양의 압력 임펄스를 시정수(τ)에 따라 아래의 수학식과 같이 근사화할 수 있다.

a_axp = exp(-t/τ)

(a_axp 는 근사값, τ는 시정수(time constant))

시정수 τ는 곡선 부분의 모델링과 관련된 인자로서, 시정수를 조절함으로써 마스킹 효과를 얼마나 정확하게 혹은 얼마나 많은 여유를 두고 시간영역 청각필 터(120)를 설계할 수 있는가를 결정한다. 도 3을 참조하면, 마스킹 효과를 가장 근사적으로 반영하는 시정수는 7.5ms이며, 이를 통해 가장 근사적으로 마스킹 효과를 갖는 시간영역 청각필터(120)를 설계할 수 있다. 한편, 이보다 작은 시정수를 정의하게 되면 보다 여유를 갖는 필터를 설계할 수 있게 된다. 예를 들어, 시정수 τ=5ms로 설계하는 경우 7.5ms에 비해 다소 계산량이 늘어날 수 있으나, 청각이 극도로 예민한 사람에게도 마스킹되는 신호를 감지할 수 없도록 설계할 수 있다.

둘째, 갭 검출 문턱시간(Gap Detection Threshold; 이하, “GDT") 메카니즘이다. GDT는 도 3에서 적색선으로 도시되어 있다. 이는 백색 잡음 채널의 대역폭(band width)에 따른 함수로 표현되며, 상기 포스트 마스킹 효과의 연장선상에서 설명될 수 있다. 즉, 시간지연이 짧을수록 잇따르는 신호가 상당히 큰 사운드 압력을 가지고 있다고 하더라도, 마스킹하는 신호에 잇따르는 신호가 묻히게 되어, 인간의 청각 수준에서는 서로 구별되지 않게 된다. 이러한 효과는 지연시간이 짧을수록 현저하게 나타나며, 지연시간이 GDT와 같아지는 지점에서는 잇따르는 신호의 크기에 무관하게 인간의 청각에 감지되지 않게 되는 현상이 발생하게 된다. 즉, 0msec부터 GDT까지는 잇따르는 신호의 크기가 마스킹하는 신호의 사운드 압력보다 크지 않는 한, 임계값을 초과하더라도 마스킹하는 신호에 의해 마스킹되어, 이를 제거하더라도 음장 재현에 영향을 미치지 않는다.

이와 같이 GDT를 기준으로 GDT 메카니즘 영역과 포스트 마스킹 효과 메카니즘으로 명확하게 구분하는 것은 다소 위험요소가 내재될 수 있으므로, 그 대안으로 GDT 메카니즘 영역을 줄이고 포스트 마스킹 효과 메카니즘 영역을 넓히는 방법이 사용될 수 있다. GDT 메카니즘 영역에서는 임계값에 관계없이 잇따르는 신호 모두를 제거하게 되므로, 소정의 시간 마진(margin)을 두어 GDT 메카니즘 영역을 다소 축소하는 타협점을 찾는 것이 보다 안전하다 하겠다. 도 3에서는 시간 마진을 1msec로 설정한 경우가 도시되어 있다. 즉, GDT는 5msec이나, 시간 마진을 1msec로 확보하여 GDT 메카니즘 영역을 0~4msec로 설정하고, 포스트 마스킹 효과 메카니즘을 4msec 이후로 설정하였다.

종합하면, 시간영역 청각필터(120)는 포스트 마스킹 효과 메카니즘만으로 구현될 수도 있다. 다만, 포스트 마스킹 효과 메카니즘에서 시간지연이 짧을 경우 임계값에 무관하게 잇따르는 신호 전체가 마스킹되는 현상이 발생하므로, 무시될 수 있는 신호를 최대한 제거하여 계산량을 감소시키기 위해서 포스트 마스킹 효과 메카니즘에 GDT 메카니즘을 가미하여 시간영역 청각필터(120)를 구현하는 것이 보다 바람직하다. 이와 같이 구현된 시간영역 청각필터(120)는 다음과 같이 동작한다. 시간지연이 4msec 이내인 경우 시간영역 청각필터(120)는 잇따르는 신호 중 마스킹하는 신호의 사운드 압력보다 작거나 같은 신호 모두를 제거한다. 시간지연이 4msec를 넘는 경우 시간영역 청각필터(120)는 잇따르는 신호가 해당되는 시간지연에서의 특정 임계값을 초과하는 경우 통과시키고, 특정 임계값 이하인 경우 제거한다. 이를 통해 시간영역 청각필터(120)는 RIR의 시간지연에 적응적으로 대응하여 인간의 청각 특성을 반영함으로써, 음장 재현 장치의 계산량을 감소시키게 된다.

제2 고속 푸리에 변환기(130)는 시간영역 청각필터(120)를 통과한 각 RIR 블록을 고속 푸리에 변환하여 주파수 영역으로 변환한다.

승산기(140)는 제1 고속 푸리에 변환기(110)를 거쳐 주파수 영역으로 변환된 각 입력 신호 블록과, 제2 고속 푸리에 변환기(130)를 거쳐 주파수 영역으로 변환된 각 RIR 블록을 서로 곱하는 기능을 수행한다. 시간 영역에서 입력 신호와 임펄스 응답의 컨벌루션 연산은 주파수 영역에서 입력 신호와 입펄스 응답의 곱과 등가이므로, 승산기(140)는 각 대응되는 블록끼리의 곱이라는 단순한 연산을 수행함으로써 음원에 해당되는 입력 신호 블록에 실제 음향 공간의 특성을 반영하여 음장 효과가 가미된 각 신호 블록(145)을 출력하게 된다.

주파수 영역 청각필터(150)는 승산기(140)를 거친 각 신호 블록(145)을 입력받아, 주파수에 따라 인간의 청각을 통해 청취가 불가능한 데이터를 제거한 후, 이를 블록 제거기(160)로 입력한다. 시간영역 청각필터(120)를 통한 필터링이 RIR 블록(115)을 대상으로 직접 수행된데 반해, 주파수 영역 청각필터(150)를 통한 필터링은 RIR 블록과 입력 신호 블록이 주파수 영역에서 곱해진 신호 블록을 대상으로 이루어진다. 주파수 영역에서 각 주파수에 따라 인간의 청각으로 감지할 수 없는 사운드 압력의 임계값이 존재하게 되며, 이러한 임계값보다 작은 사운드 압력을 갖는 신호는 청취가 불가능하게 된다. 따라서, 이러한 신호는 주파수 영역 청각필터(150)를 통해 걸러져도 전체 음장 재현에 영향을 미치지 않는다.

도 4는 본 발명의 바람직한 실시예에 따른 주파수 영역 청각필터를 구현하기 위한 주파수 영역에서의 인간의 청각특성을 도시한 그래프이다.

도 4에서 가로축은 주파수[Hz]를 나타내고, 세로축은 백그라운드 잡음이 없는 상태에서의 사운드 압력 레벨(sound pressure level)[dBL]을 나타낸다. 또한, 도 4에서 청색선은 문턱값(threshold)을, 적색원은 청취가능한 데이터를, 청색원은 청취 불가능한 데이터를 각각 나타낸다.

주파수 영역에서도 각 신호 블록(145)은 인간의 청각 기준에서 무시할 수 있는 데이터들을 잠재하고 있다. 따라서, 도 4와 같이 백그라운드 잡음이 없는 상태에서의 청각 문턱 특성(hearing threshold in quiet)을 반영하여 주파수 영역 청각필터(150)를 구현한다. 주파수 영역에서 신호의 청취가능성은 "백그라운드 잡음이 없는 상태에서의 문턱값"(이하, "문턱값") T_q(f)[dB]에 대한 함수로 결정될 수 있다. 역 고속 푸리에 변환기(70)를 통해 역 고속 푸리에 변환을 수행하기 전에, 각 샘플은 주파수 영역 청각필터(150)에서 문턱값 T_q(f)와 비교하여 문턱값보다 사운드 압력 레벨이 큰 데이터(도 4에서 청색원)는 통과시키고, 문턱값보다 사운드 압력 레벨이 작은 데이터(도 4에서 적색원)는 걸러내도록 한다. 이를 수학식으로 표현하면 아래와 같다.

Y_P ^aud[k] = Y_P[k] (Y_P[k] ＞ T_q[k]인 경우)

Y_P ^aud[k] = 0 (Y_P[k] ＜ T_q[k]인 경우)

여기서, Y_P ^aud[k]는 k번째 샘플에서 청취가능한 데이터를 갖는 블록 P의 사운드 압력 레벨을, Y_P[k]는 k번째 샘플에서 블록 P의 사운드 압력 레벨을 의미한다. Y_P[k] ＞ T_q[k]인 경우, 즉 문턱값보다 사운드 압력 레벨이 큰 데이터는 청취가능한 데이터로서 그대로 유지하고, Y_P[k] ＜ T_q[k]인 경우, 즉 문턱값보다 사운드 압력 레벨이 작은 데이터는 청취가능한 데이터가 없는 것으로 취급한다.

예를 들어, 도 4에서 4000~6000Hz에서는 샘플링된 10개 데이터 모두 문턱값보다 사운드 압력 레벨이 크므로 청취가능한 데이터이고, 주파수 영역 청각필터(150)를 모두 통과한다. 그러나, 8000~10000Hz에서는 샘플링된 10개 데이터 중에서 5개의 데이터만 문턱값보다 사운드 압력 레벨이 크므로, 나머지 5개의 데이터는 주파수 영역 청각필터(150)에서 걸러진다.

블록 제거기(160)는 주파수 영역 청각필터(150)로부터 출력된 각 신호 블록 중 그와 동일한 길이를 갖는 백그라운드 잡음(background noise) 블록의 평균 사운드 압력 레벨보다 낮은 값을 갖는 신호 블록을 제거한다. 시간영역 청각필터(120)와 주파수 영역 청각필터(150)에서는 데이터 단위로 신호를 걸러내었으나, 블록 제거기(160)에서는 블록 단위로 신호를 걸러낸다는 차이점이 있다. 블록 제거기(160)에서의 동작을 수학식으로 표현하면 아래와 같다.

여기서, Y^out _P[k]는 k번째 샘플에서 출력 블록 P의 사운드 압력 레벨, BN은 블록 P와 동일한 길이를 갖는 백그라운드 잡음, N은 주파수 영역에서 출력 블록(output block)의 길이를 의미한다.

수학식 3에서, 주어진 출력 신호 블록을 유지할지의 여부는 동일한 블록 길이를 갖는 백그라운드 잡음의 평균 사운드 압력 레벨과 비교함으로써 결정된다. 즉, 해당 신호 블록의 평균 사운드 압력 레벨이 백그라운드 잡음의 평균 사운드 압력 레벨보다 큰 경우에는 해당 블록을 청취 가능한 블록으로 그대로 유지하고, 이와 반대의 경우에는 해당 블록을 제거한다. 즉, 출력된 신호 블록들 중에서 백그라운드 잡음 블록의 레벨보다 낮은 레벨의 신호 블록은 백그라운드 잡음에 묻혀 인간의 청각 기준으로 청취 불가능하므로, 이러한 블록 자체를 블록 제거기(160)를 통해 제거함으로써 계산량을 줄이면서도 음질의 왜곡을 방지할 수 있다.

종합하면, 주파수 영역에서 계산량을 줄이기 위한 메카니즘은 두 가지로 요약된다.

첫째, RIR과 입력 신호가 주파수 영역에서 곱해진 신호에서 주파수에 따라 청취 불가능한 데이터를 주파수 영역 청각필터(150)를 통해 제거한다.

둘째, 주파수 영역 청각필터(150)로부터 출력된 신호 블록들 중에서 백그라운드 잡음 블록의 레벨보다 낮은 레벨의 신호 블록을 블록 제거기(160)를 통해 제거한다.

한편, 상기 두 가지 메카니즘은 모두 주파수 영역 청각필터(150)로 구현할 수도 있음은 물론이다.

본 발명의 바람직한 실시예에 따른 음장 재현 장치의 성능을 몇 가지 실험을 통해 다른 경우와 비교하였다. 실험결과는 아래 표 1에 나타나 있다.

신호 형태		컨볼루션 방법
		A	B	C	D	E
욕실	개짖는 소리	720000000	29421459	153237	13068494	78105
	육성				10184944	55657
	음악				23353668	53770
큰 방	개짖는 소리	480000000	19614306	102158	18046601	80849
	육성				16555996	61011
	음악				17141958	61038

A : 선형 컨벌루션(linear convolution)

B : 블록 컨벌루션

C : 시간영역 청각필터를 구비한 블록 컨벌루션

D : 주파수 영역 청각필터를 구비한 블록 컨벌루션

E : 본 발명의 바람직한 실시예에 따른 블록 컨벌루션

표 1에서 음장 재현 장치의 성능은 계산량으로 결정되며, 계산량은 디지털 신호 처리기에서 처리에 소요되는 전력 소비에 영향을 미치는 승산 연산의 수를 척도로 하였다. 표 1을 참조하면, 시스템의 종류에 무관하게(욕실과 큰 방), 그리고 음원 신호(개짖는 소리, 육성, 음악)에 무관하게 시간영역 청각필터와 주파수 영역 청각필터를 적용한 본 발명의 바람직한 실시예에 따른 블록 컨벌루션의 경우가 계산량이 현저히 감소되는 결과를 보인다. 계산량의 감소는 처리 속도의 증가와, 저가의 프로세서 및 낮은 용량의 메모리 적용이 가능하다는 것을 의미하며, 실시간 음장 재현 시스템을 구현하기에 적합함을 의미한다.

다음으로, 본 발명의 바람직한 실시예에 따른 음장 재현 방법에 대해 설명한다.

도 5는 본 발명의 바람직한 실시예에 따른 음장 재현 방법의 흐름도이다.

본 발명의 바람직한 실시예에 따른 음장 재현 방법은, 도 5를 참조하면, 각 입력 신호 블록을 고속 푸리에 변환하여 주파수 영역으로 변환하는 단계(S10), 각 RIR 블록을 시간 영역에서 청각 필터링하는 단계(S20), 시간영역 청각 필터링된 각 RIR 블록을 고속 푸리에 변환하여 주파수 영역으로 변환하는 단계(S30), 주파수 영역으로 변환된 각 입력 신호 블록과 각 RIR 블록을 서로 곱하는 승산 단계(S40), 승산된 각 신호 블록을 주파수 영역에서 청각 필터링하는 단계(S50), 주파수 영역 청각 필터링된 각 신호 블록 중 그와 동일한 길이를 갖는 백그라운드 잡음 블록의 평균 사운드 압력 레벨보다 낮은 평균 사운드 압력 레벨을 갖는 신호 블록을 제거하는 블록 제거 단계(S60), 블록 제거 단계에서 제거되지 않고 통과한 각 신호 블록을 역 고속 푸리에 변환하여 시간 영역으로 변환하는 단계(S70), 및 시간 영역으로 변환된 각 신호 블록을 서로 연결하여 출력 신호를 생성하는 단계(S80)를 포함하여 이루어진다.

S10 단계는 제1 고속 푸리에 변환기(110)를 통해 수행된다.

S20 단계는 시간영역 청각 필터(120)에서 수행되며, 시간 영역에서 각 RIR 블록을 입력받아 특정 지연시간 Δt에서 사운드 압력이 특정 임계값 이하여서 인간의 청각에 감지되지 않는 신호를 걸러내고, 시간지연 Δt가 특정 시간 갭 이내인 경우 마스킹하는 신호의 사운드 압력보다 크지 않는 한, 임계값을 초과하더라도 인간의 청각에 감지되지 않는 신호를 걸러낸다.

S30 단계는 제2 고속 푸리에 변환기(130)를 통해 수행된다.

S40 단계는 승산기(140)를 통해 수행된다.

S50 단계는 주파수 영역 청각 필터(150)에서 수행되며, 각 신호 블록에 대해 주파수에 따라 인간의 청각을 통해 청취가 불가능한 데이터를 제거한다.

S60 단계는 블록 제거기(160)를 통해 수행된다.

S70 단계는 역 고속 푸리에 변환기(170)를 통해 수행된다.

본 발명의 바람직한 실시예에 따른 음장 재현 방법은 상기 음장 재현 장치에서 충분히 설명하였으므로, 여기서 상세한 설명은 생략한다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명에 따른 음장 재현 장치는 음향기기에 탑재되어 음향기기의 가격을 낮추고 성능을 향상시킬 수 있으며, 3차원 가상 음향 분야를 포함하여 음향 컨볼루션이 사용되는 응용분야에 활용될 수 있다.

<도면의 주요부분에 대한 부호의 설명>

105 - 입력 신호 블록 110 - 제1 고속 푸리에 변환기

115 - RIR 블록 120 - 시간영역 청각필터

130 - 제2 고속 푸리에 변환기 140 - 승산기

150 - 주파수 영역 청각필터 160 - 블록 제거기

170 - 역 고속 푸리에 변환기

Claims

블록 컨벌루션(block convolution)을 이용한 음장 재현 장치에 있어서,

각 입력 신호 블록을 고속 푸리에 변환(Fast Fourier Transform)하는 제1 고속 푸리에 변환기;

마스킹하는 신호(masker)와 마스킹되는 신호(maskee) 사이의 시간지연에 따라 상기 마스킹되는 신호의 사운드 압력(sound pressure)이 임계값 이하이면 인간의 청각에 감지되지 않는 마스킹 효과(masking effect)를 고려하여, 시간 영역에서 각 룸 임펄스 응답(Room Impulse Response) 블록이 입력될 때 특정 시간지연 Δt에서 상기 마스킹되는 신호의 사운드 압력이 특정 임계값 이하이면 필터링하는 시간영역 청각필터;

상기 시간영역 청각필터를 통과한 상기 각 룸 임펄스 응답 블록을 고속 푸리에 변환하는 제2 고속 푸리에 변환기; 및

상기 제1 고속 푸리에 변환기를 거친 상기 각 입력 신호 블록과, 상기 제2 고속 푸리에 변환기를 거친 상기 각 룸 임펄스 응답 블록을 서로 곱하는 승산기

를 포함하는 것을 특징으로 하는 블록 컨벌루션(block convolution)을 이용한 음장 재현 장치.
제1항에 있어서,

상기 임계값은 아래 수학식에 의해 근사된 것이 적용되는 것을 특징으로 하 는 블록 컨벌루션을 이용한 음장 재현 장치.

a_axp = exp(-t/τ)

(a_axp 는 근사값, τ는 시정수(time constant))
제1항에 있어서,

상기 시간지연 Δt가 특정 시간 갭(gap) 이내인 경우 상기 마스킹되는 신호의 사운드 압력이 상기 임계값을 초과하더라도 인간의 청각에 감지되지 않는 갭 검출 문턱시간(Gap Detection Threshold)을 고려하여, 상기 시간영역 청각필터는 상기 갭 검출 문턱시간 이내의 신호는 상기 마스킹하는 신호의 사운드 압력보다 크지 않으면 필터링하는 것을 특징으로 하는 블록 컨벌루션을 이용한 음장 재현 장치.
제3항에 있어서,

상기 시간영역 청각필터는 상기 갭 검출 문턱시간보다 짧은 시간을 기준 시간으로 하여, 상기 기준 시간 이전의 마스킹되는 신호들은 모두 걸러내고, 상기 기준 시간 이후의 마스킹되는 신호들은 상기 임계값 이하의 사운드 압력을 갖는 신호들만 걸러내는 것을 특징으로 하는 블록 컨벌루션을 이용한 음장 재현 장치.
제1항에 있어서,

상기 승산기를 거친 각 신호 블록이 입력되며, 주파수에 따라 인간의 청각을 통해 청취가 불가능한 데이터를 제거하는 주파수 영역 청각필터를 더 포함하는 것을 특징으로 하는 블록 컨벌루션을 이용한 음장 재현 장치.
제5항에 있어서,

상기 주파수 영역 청각필터로부터 출력된 각 신호 블록 중 그와 동일한 길이를 갖는 백그라운드 잡음(background noise) 블록의 평균 사운드 압력 레벨보다 낮은 평균 사운드 압력 레벨을 갖는 신호 블록을 제거하는 블록 제거기를 더 포함하는 것을 특징으로 하는 블록 컨벌루션을 이용한 음장 재현 장치.
블록 컨벌루션(block convolution)을 이용한 음장 재현 방법에 있어서,

(a) 각 입력 신호 블록을 고속 푸리에 변환(Fast Fourier Transform)하는 단계;

(b) 마스킹하는 신호와 마스킹되는 신호 사이의 시간지연에 따라 상기 마스킹되는 신호의 사운드 압력이 임계값 이하이면 인간의 청각에 감지되지 않는 마스킹 효과를 고려하여, 시간 영역에서 각 룸 임펄스 응답 블록이 입력될 때 특정 시간지연 Δt에서 상기 마스킹되는 신호의 사운드 압력이 특정 임계값 이하이면 필터링하는 단계;

(c) 상기 (b)단계가 수행된 상기 각 룸 임펄스 응답 블록을 고속 푸리에 변환하는 단계; 및

(d) 상기 (a)단계를 거친 상기 각 입력 신호 블록과, 상기 (c)단계를 거친 상기 각 룸 임펄스 응답 블록을 서로 곱하는 단계

를 포함하는 것을 특징으로 하는 블록 컨벌루션(block convolution)을 이용한 음장 재현 방법.
제7항에 있어서,

상기 시간지연 Δt가 특정 시간 갭(gap) 이내인 경우, 상기 마스킹되는 신호의 사운드 압력이 상기 임계값을 초과하더라도 인간의 청각에 감지되지 않는 갭 검출 문턱시간(Gap Detection Threshold)을 고려하여, 상기 (b)단계에서는 상기 갭 검출 문턱시간 이내의 신호는 상기 마스킹하는 신호의 사운드 압력보다 크지 않으면 필터링하는 것을 특징으로 하는 블록 컨벌루션을 이용한 음장 재현 방법.
제7항 또는 제8항에 있어서,

상기 (d)단계를 거친 각 신호 블록에 대해, 주파수에 따라 인간의 청각을 통해 청취가 불가능한 데이터를 제거하는 (e)단계를 더 포함하는 것을 특징으로 하는 블록 컨벌루션을 이용한 음장 재현 방법.
제9항에 있어서,

상기 (e)단계가 수행된 각 신호 블록 중 그와 동일한 길이를 갖는 백그라운드 잡음(background noise) 블록의 평균 사운드 압력 레벨보다 낮은 평균 사운드 압력 레벨을 갖는 신호 블록을 제거하는 (f)단계를 더 포함하는 것을 특징으로 하 는 블록 컨벌루션을 이용한 음장 재현 방법.