KR20230058443A - 잔향 오디오 신호 생성 방법 - Google Patents
잔향 오디오 신호 생성 방법 Download PDFInfo
- Publication number
- KR20230058443A KR20230058443A KR1020237009997A KR20237009997A KR20230058443A KR 20230058443 A KR20230058443 A KR 20230058443A KR 1020237009997 A KR1020237009997 A KR 1020237009997A KR 20237009997 A KR20237009997 A KR 20237009997A KR 20230058443 A KR20230058443 A KR 20230058443A
- Authority
- KR
- South Korea
- Prior art keywords
- audio signal
- virtual
- distance
- determining
- symmetric group
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 525
- 238000000034 method Methods 0.000 claims abstract description 168
- 238000003860 storage Methods 0.000 claims description 28
- 238000007792 addition Methods 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 22
- 238000004091 panning Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 239000002131 composite material Substances 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 36
- 230000008569 process Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 29
- 238000010521 absorption reaction Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 18
- 230000015654 memory Effects 0.000 description 18
- 230000002238 attenuated effect Effects 0.000 description 17
- 238000009826 distribution Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 14
- 239000007787 solid Substances 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 230000001419 dependent effect Effects 0.000 description 12
- 239000003570 air Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000013016 damping Methods 0.000 description 8
- 230000001902 propagating effect Effects 0.000 description 7
- 235000019738 Limestone Nutrition 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000006028 limestone Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000000704 physical effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000002592 echocardiography Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 239000012080 ambient air Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002868 homogeneous time resolved fluorescence Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- QWXYZCJEXYQNEI-OSZHWHEXSA-N intermediate I Chemical compound COC(=O)[C@@]1(C=O)[C@H]2CC=[N+](C\C2=C\C)CCc2c1[nH]c1ccccc21 QWXYZCJEXYQNEI-OSZHWHEXSA-N 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000005309 stochastic process Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Stereophonic System (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
본 발명은 가상 객체와 관련된 잔향 오디오 신호를 생성하는 방법에 관한 것이다. 본 방법은 가상 객체의 표현을 저장하는 단계를 포함하고, 표현은 가상 객체를 구성하는 복수의 가상 지점을 정의하며, 가상 지점은 서로에 대해 각각의 가상 위치를 가지며, 가상 지점은 가상 지점의 대칭 그룹에 속한다. 가상 지점의 각 대칭 그룹은 하나 이상의 대칭 그룹 거리 세트와 연관된다. 각각 대칭 그룹과 관련된 하나 이상의 대칭 그룹 거리 세트는 함께 하나 이상의 거리 추가 세트를 형성한다. 본 방법은 입력 오디오 신호를 수신 및/또는 저장 및/또는 생성하는 단계, 및 각각의 가상 지점에 대해 입력 오디오 신호 또는 이의 필터링된 버전에 기초하여 가상 지점 오디오 신호 성분을 결정하는 단계를 더 포함한다. 본 방법은 또한 합성 오디오 신호를 얻기 위해 가상 지점 오디오 신호 성분을 결합하는 단계, 및 합성 오디오 신호에 기초하여 하나 이상의 거리 추가 세트에서의 각각의 개별 거리에 대해 하나 이상의 거리 오디오 신호를 결정하는 단계를 포함한다. 본 방법은 또한 하나 이상의 거리 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 잔향 오디오 신호를 결정하는 단계를 포함한다.
Description
본 발명은 잔향(reverberation) 오디오 신호를 생성하기 위한 시스템 및 방법에 관한 것이다.
정확하고 지각적으로 확신할 수 있는 음향 잔향을 재생하는 문제는 일반적으로 알려져 있다.
콘서트 홀을 음향적으로 시뮬레이션을 위한 요건을 고려할 때. 음향 에너지가 하나의 개별 지점 소스이기 때문에, 하나의 개별 청취 지점, 즉 청취자의 한쪽 귀에만 음향 공간의 응답이 필요할 것으로 가정한다. 음원에서부터 청취자의 귀로 전파되는 직접적인 신호는 감쇠 스케일링 또는 저역 통과 필터와 직렬로 연결된 단일 지연 라인을 사용하여 시뮬레이션될 수 있다. 두 번째로, 하나 이상의 반사를 통해 청취 지점에 도달하는 각 음향 레이(ray)는 지연 라인 및 일부 스케일 계수 또는 필터를 사용하여 시뮬레이션될 수 있다. 보다 일반적으로, 분기된(taped) 지연 라인은 많은 반사를 시뮬레이션할 수 있다. 각 분기는 적절한 지연 및 이득으로 하나의 반향(echo)를 가져오고, 각 분기는 독립적으로 필터링되어 공기 중의 흡수 및 반사 손실을 시뮬레이션할 수 있다. 원칙적으로, 잔향은 실제로 각 음원에서부터 각 청취 지점까지 많은 음향 전파 경로로 구성되기 때문에, 분기된 지연 라인은 모든 잔향 환경을 정확하게 시뮬레이션할 수 있다(Smith, 1993).
시뮬레이션에 대한 접근 방식은 그것의 기본적인 문제들이 그렇듯이 간단해 보이는데, 이는 i) 분기된 지연 라인은 신호 경로 분포에서의 신호 감쇠와 같이, 타 기술에 비해 상대적으로 계산 비용이 많이 들고, 및 ii) 각 분기된 라인은 한 지점 소스에서 한쪽의 귀로 전달하는 것과 같은 하나의 '점대점(point-to-point)' 전달 기능만을 처리하는 반면에, 음원 및/또는 청취자가 이동하거나 또는 실내에 있는 어떤 것이 변경될 때 각 점대점 전송은 변경되어야 하기 때문이다.
각 반향이 3차원 공간의 특정한 도달 각도에서 오는 것으로 인식될 수 있다는 점을 고려하면 문제는 더욱 커진다. 적어도 일부 잔향 반사는 공간화되어야 한다. 즉, 공간적으로 구성된 확성기 채널에 걸쳐 분산되거나 또는 귓바퀴의 머리-관련 전달 함수(HRTF)를 고려하여 필터링되어서, 반사가 자연스러운 방향에서 오는 것처럼 느끼도록 해야 한다(Kendall, Martens, 1984). 따라서 음원 또는 청취자 위치를 포함하는 청취 공간에서 변경 사항이 있는 경우에도 공간화(spatialization)는 변경되어야 한다.
음악의 경우, 일반적인 잔향 시간은 1초 정도이다. 잔향 시간으로 정확히 1초를 선택한다고 가정해보자. 50kHz의 오디오 샘플링 레이트의 경우, 각 필터는 샘플당 50,000번의 곱셈과 덧셈 또는 초당 25억번의 곱셈-덧셈이 필요하다. 3개의 음원과 2개의 청취 지점(청취자 1명의 귀 2개)을 시뮬레이션하는 경우, 잔향을 재현하기 위해 초당 300억 회의 연산을 한다. 이러한 계산 부하는 3 Ghz로 클럭되는 팬티움 CPU가 최소 10개가 필요한데, 이는 CPU가 동시에 다른 연산을 수행하지 않는다고 가정하고, 그리고 필요한 메모리 액세스로 인해 야기되는 대기 상태 없이 곱셈과 덧셈이 각 클록 주기에 시작될 수 있다고 가정할 때이다(Smith, 1993).
따라서, 음향 잔향을 재현하기 위한 점대점 전달 함수는 엄청나게 많은 계산 비용이 든다는 결론을 내릴 수 있다. 주로 과학적 또는 계측 목적으로 사용되는 음향파 시뮬레이션 분야와 같은 일부 응용 분야는, US2015/78563 '음향파 재생 시스템'(Robertson, 2015)에 설명된, 점대점 전달함수 모델에서 파생된 모델을 사용한다. 물리적 모델링을 기반으로 하는 명백한 방법은 대부분의 응용 분야에서 계산적으로 너무 비싸기 때문에, 먼저 잔향의 지각적으로 중요한 측면을 고려해야 하며, 그리고 보다 효율적인 계산 구조가 제공될 수 있는 방법을 고려해야 한다.
일반적으로 잔향 문제는 느끼는 지각의 품질을 희생하지 않고 단순화할 수 있는 것으로 간주된다. 예를 들어, 일반적으로 반향 밀도는 t2로 증가하며, 여기서 t는 시간이다. 따라서 일정 시간이 지나면 반향의 양이 너무 많아서 지각 충실도의 손실 없이 균일하게 샘플링된 확률론적(stochastic) 프로세스로 모델링될 수 있다. 특히, 음향 샘플당 각각의 반향을 명시적으로 계산할 필요가 없다. 부드럽게 감쇠하는 후반 잔향을 위해, 오디오 샘플링 레이트로 샘플링된 적절한 랜덤 프로세스는 지각적으로 동등한 소리를 낸다. 지각적으로 허용될 수 있는 것으로 간주되는 필요한 시간 밀도는 초당 1,000개의 반향이다(Schroeder, 1961). 그러나 높은 과도기를 갖는 임펄스 음향의 경우에는 시간 밀도가 10,000만큼 높아야 할 수 있다(Gardner, 1998).
유사하게, 주어진 주파수 대역에서 공진 모드의 수가 f2로 증가하여, 일부 주파수 이상에서는 모드가 너무 조밀하여 일부 통계에 따라 생성된 랜덤 주파수 응답과 지각적으로 동일하다는 것을 알 수 있다. 특히, 더 조밀하게 채워진 공진을 명시적으로 구현할 필요가 없으며, 오히려 필요한 모드 밀도는 주파수 범위에 걸친 주파수의 규칙적인 간격을 갖는 밀도와 같지만, 하지만 너무 규칙적이지는 않다. 이는 시간 영역에서 가청 주기성을 생성하고 응답의 평활도(smoothness)를 불균형하게 만들기 때문이다.
설정 기준치(criteria)는 잔향 임펄스 응답처럼 백색 잡음 신호를 기하급수적으로 감쇠하는 것과 다소 비슷하게 된다. 이는 시간 영역과 주파수 영역에서 평활도 기준을 모두 만족시킨다(Moorer, 1979). 하지만, 자연스러운 잔향은 고주파수에서 더 빨리 감소하기때문에, 이상적인 잔향 임펄스 응답은, 저주파 에너지보다 빠르게 감소하는 고주파 에너지를 갖는, '유색' 잡음을 기하급수적으로 감소시키는 것이라고 하는 편이 더 좋다.
잔향을 재현하기 위한 당업계에 공지된 방법은 두 가지 방향으로 나눌 수 있다. 하나는 전형적으로 지연 라인, 콤 필터 및 전역 통과 필터를 포함하는 인공 잔향 분야가 있으며, 이 접근 방식은 Schroeder 전역 통과 섹션(Schroeder, 1961)으로 소개된 방법이며, 오늘날까지 인공 잔향 및 관련 효과를 위한 대부분의 상용 장치의 기초로 사용된다. 많은 인공 잔향 응용 분야에서, 이러한 접근 방식은 피드백 지연 네트워크(FDN, feedback-delay network)와 결합되는데, 이는 Gerzon이 인공 잔향에 사용하기 위해 처음 제안했는데, 전역 통과 필터의 개별 뱅크가 낮은 품질의 잔향을 생성하더라도 이러한 여러 필터가 교차 결합되면 좋은 품질의 잔향 기준치를 생성할 수 있다(Gerzon, 1972).
최신 기술 중에서, US2013/216073의 '헤드폰을 사용한 룸 가상화 및 확성기'(Lau, 2013) 및 WO2016/130834의 '헤드폰 가상화를 위한 잔향 생성'(Fielder et al, 2016)에 설명된 것과 같은 인공 잔향의 전형적인 방법을 사용하는 많은 응용 예를 발견할 수 있다. 비록 US2008/273708의 '강화된 객관화를 위한 조기 반사 방법'(Sandgren et al, 2008)에 설명된 것과 같은, 다중 채널에 걸친 스테레오 신호의 특정 확산 알고리즘에 의한 다중 채널 분배를 위해 제안된 방법을 적응한 일부 응용 예가 있지만, 이러한 시스템은 일반적으로 스테레오 음향 시스템, 즉 스테레오 음향 렌더링 기술을 통한 스테레오 확성기의 구성 또는 헤드폰 가상화에 대한 효율적인 잔향 처리에 최적화되어 있다.
반면에 당업계에 알려진 이러한 접근법은 지각 기준치를 만족시키는 음향 잔향을 효율적으로 처리하고, 따라서 이들은 잔향으로 귀를 즐겁게 하고 다양한 오디오 및 음악 제작 관행 그리고 사용자 응용분야에서의 유용한 도구를 포함하지만, 이러한 응용 예는 음향 공간의 실제적인 기본 양상을 변환하지는 못한다. 기본 양상은 특정 입체 형상으로 음향 반사를 일으키는 정상파(standing wave) 분포를 기반으로 공간 전체에서 강하게 변화하고 반향으로 인해 발생하는 특정 공진 모드에서 표출되는 공간의 형상; 반사의 길이 및 공진 모드의 기본 주파수에 영향을 미치는 방의 크기; 및 공간이 구축된 재료의 흡수 및 반사율에 기초하여 더 빠르게 또는 더 느리게 소멸하는 다양한 주파수 대역을 붕괴시키는 시간으로 표현되는 공간의 물질성이다.
사실, 인공 잔향에 대해 당업계에 알려진 접근 방식은, 근본적인 그 기술적 설계로 인하여, 실제 음향 공간의 특성을 구성하는 이러한 질적 측면을 본질적으로 달성할 수 없다. 이것은, FDN 네트워크를 통과하는 지연 라인을 포함하여 전역 통과 섹션의 제한된 세트에 대한 결과를 만족하는 고정된 신호 배분 및 고정된 지연 시간 세트를 신중하게 선택하여 평활도 및 밀도에 대한 기준치를 달성하기 때문이다. 결과적으로, 이러한 설계를 기반으로 하는 모든 잔향 시스템에는 고유한 '추상적' 특성이 있으며, 이는 형상 및 크기를 가지고 특정 재료로 제작된 공간과 같은, 특정 음향 공간이나 상황을 나타내지 않는다; 그리고 감쇠 시간, 댐핑의 양 및 전형적인 프론트 엔드 사용자 변수인 선-지연과 같은 주어진 특성을 수정하기 위해 단지 한정된 매개 변수 세트만이 변경될 수 있다.
한편, 컨볼루션 기반 잔향 분야가 있으며, EP3026666의 '잔향 음향 추가 장치, 잔향 음향 추가 방법 및 잔향 음향 추가 프로그램'(Shirakihara et al, 2015)에 설명된 바와 같이, 일반적으로 실제 음향 공간으로부터 녹음된 임펄스 응답(IR)을 사용하여 오디오 입력 신호와 녹음된 신호의 컨볼루션을 수행한다. 이러한 접근 방식은 형상, 크기 및 재료 구성을 포함하는 음향 공간의 특정 특성을 생성하고, 이러한 측면을 컨볼루션 연산으로부터 얻어지는 획득된 오디오 신호에 성공적으로 통합한다.
그럼에도 불구하고, 공간에서 녹음된 데이터를 획득하는 것은 많은 현실적인 문제를 안고 있는데, 이는 IR을 녹음하기 위해 특정 공간에 접근해야 하며 소망하는 IR을 획득하기 위한 기술적 수단과 수단의 기술적 수단의 표준화에 대한 고려 사항 등의 문제를 포함한다. 비록 실제 공간으로부터 컨볼루션 잔향을 갖는 여러 라이브러리가 최근에 수집되었지만, 다양한 방 및 형상의 가용성에 있어서의 선택이 매우 제한적인 상태이다.
이 접근 방식을 위해 충분히 높은 해상도를 얻는 데 필요한 엄청난 양의 데이터로 인해 다른 문제가 발생한다. 이는 공간의 X 개 지점에서의 X 개 방향 신호와 같다. 현재의 표준은 가상 공간 모델에서 (수평) 청취 지점 및 개별 지점 음원의 제한된 해상도에 적응할 수 있는 컨볼루션 기반의 잔향을 획득하기 위한 품질 표준으로 24개 수평 위치에서 32개 각도를 규정한다. 이는 충분히 높은 샘플 레이트(≥44.1kHz p/초)에서 입력 신호와 컨볼루션이 필요한 786개의 사전 녹음된 오디오 신호를 구성하며, 이는 오늘날 사용 가능한 대부분의 CPU 표준의 처리 및 가용한 메모리의 경우에 여전히 매우 비싸므로, 결국 고품질의 실시간 컨볼루션 기반의 잔향을 갖는 사용자 응용장치가 제한된다.
또한, 녹음된 데이터는 하나의 공간에 대한 특정하고 고정된 데이터 세트를 포함하며 변경될 수 없다. 따라서 크기, 형상 또는 기타 속성을 (실시간으로) 변경하거나 적응하여 이러한 가상 공간 모델을 변환하는 것은 가능하지 않다. 이것은 컨볼루션 기반의 접근 방식이 인공 잔향 기반의 시스템에 비해 큰 단점을 제공하는 것으로, 인공 잔향 기반 시스템의 기능은 적어도 감쇠 시간 및 댐핑과 같은 주파수 응답 측면과 관련하여 사용자가 훨씬 잘 변경할 수 있고; 그리고 생성된 오디오 출력은 더 쉽게 변경될 수 있어 확성기 구성과 같은 다양한 출력 시스템에 제공되어 재생될 수 있다.
따라서 인공 잔향에 사용되는 요소들의 효율성과 (실시간) 적응성을 구비하여, 형상, 크기 및 물성과 같은 음향적 공간 특성을 정확하게 재현할 수 있는 음향 잔향을 발생시키는 방법이 당업계에 필요한 실정이다.
따라서, 가상 객체와 관련된 잔향 오디오 신호를 생성하는 방법이 개시된다. 본 방법은 가상 객체의 표현(representation)을 저장하는 단계를 포함하며, 상기 표현은 가상 객체를 구성하는 복수의 가상 지점을 정의하며, 가상 지점은 서로에 대해 각각의 가상 위치를 가지며, 및 가상 지점은 가상 지점의 대칭 그룹에 속하고, 가상 지점의 대칭 그룹은 다음에 의해 획득될 수 있는데,
- 복수의 가상 지점 중의 각 가상 지점에 대해, 문제의 가상 지점과 복수의 가상 지점 중의 각각의 다른 가상 지점 사이의 각각의 가상 거리를 포함하는 하나 이상의 가상 거리 세트를 정의하는 단계, 및
- 가상 지점과 연관된 하나 이상의 거리의 각 세트 각각에 대해, 가상 지점과 연관된 하나 이상의 거리 추가 세트를 얻기 위해 세트에 있는 임의의 다른 거리의 정수배인 거리를 제거하는 단계; 및
- 가상 지점과 연관된 하나 이상의 거리 추가 세트 각각에 대해, 가상 지점과 연관된 하나 이상의 거리의 가상 지점 특정 세트를 형성하기 위해 문제의 추가 세트에서 개별 거리를 결정하는 단계; 및
- 가상 지점의 대칭 그룹을 형성하기 위해 하나 이상의 거리의 동일한 각각의 가상 지점 특정 세트를 갖는 가상 지점을 결정하는 단계에 의해 획득될 수 있고, 가상 지점의 대칭 그룹은 그 가상 지점의 가상 지점 특정 세트와 동일한 하나 이상의 대칭 그룹 거리 세트와 연관된다.
세트가 대칭 그룹과 각각 연관되는 하나 이상의 대칭 그룹 거리 세트는, 함께 하나 이상의 거리 추가 세트를 형성한다. 상기 방법은 또한, 입력 오디오 신호를 수신 및/또는 저장 및/또는 생성하는 단계, 각각의 가상 지점에 대해, 입력 오디오 신호 또는 입력 오디오 신호의 필터링된 버전에 기초하여, 가상 지점 오디오 신호 성분을 결정하는 단계를 포함한다. 상기 방법은 또한 합성 오디오 신호를 얻기 위해 결정된 가상 지점 오디오 신호 성분을 결합하는 단계, 및 하나 이상의 거리 추가 세트의 각각의 개별 거리에 대해, 합성 오디오 신호에 기초하여, 하나 이상의 거리 오디오 신호를 결정하는 단계를 더 포함한다. 상기 방법은 또한 하나 이상의 거리 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 잔향 오디오 신호를 결정하는 단계를 더 포함한다.
이 방법을 사용하면 방과 같은 가상 객체의 공간 정보를 생성된 잔향 오디오 신호에 통합할 수 있다. 결과적으로, 생성된 잔향 오디오 신호는 특정 음향효과가 있는 특정 방에서 녹음된 오디오 신호와 동일한 특성을 보유하지만, 실제로 가상 지점에 의해 표현되는 가상 객체는 잔향을 유발한다. 예를 들어, 가상 객체는 가상 벽, 바닥 및 천장이 구비한 가상의 방일 수 있으며, 가상 벽, 바닥 및 천장은 특정 재료로 구성된다. 이 경우, 잔향 오디오 신호를 듣는 청취자는 실제로 그가 가상의 방에 그가 위치하는 것처럼 오디오 신호를 인식할 수 있다.
중심점은 그 지점을 통과하는 회전축이 정의될 수 있는 지점으로 이해될 수 있는데, 가상 객체가 초기 배향 및 위치에서 시작하여 회전축을 중심으로 360도 미만으로 회전하고 초기 배향 및 위치와 동일한 배향 및 위치에 도달하는 방식으로 회전축이 정의될 수 있다. 가상 객체의 이러한 회전은 객체 보존 회전이라고도 할 수 있다. 예를 들어 가상 객체가 정사각형 평면이면, 회전축은 평면에 수직이며 중심점은 사각형 중앙 지점이다. 이는 중앙 지점을 통과하는 이러한 회전 축을 중심으로 360도 미만인 90도의 회전으로 정사각형 가상 객체가 초기 위치 및 배향과 동일한 배향 및 방향을 갖도록 하기 때문이다.
가상 객체의 중심점에 대해 대칭적으로 위치되는 가상 객체의 제1 및 제2 가상 지점은 객체 보전 회전이 수행되면 제1 가상 지점이 제2 가상 지점의 위치에 있는 것으로 이해될 수 있다.
추가적으로 또는 대안적으로, 중심점으로부터 동일한 거리에 위치하는 가상 객체의 제1 및 제2 가상 지점은 중심점에 대해 대칭적으로 위치되는 것으로 이해 될 수 있다.
본 명세서에 사용된 바와 같이, 둘 이상의 신호를 결합하는 단계는 이러한 신호를 합산하는 단계를 포함할 수 있다.
일 실시예에 있어서, 본 발명은 각 대칭 그룹에 대해, 결정된 거리 오디오 신호에 기초하여 하나 이상의 대칭 그룹 오디오 신호를 결정하는 단계를 포함한다. 이 실시예는 또한 대칭 그룹 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 잔향 오디오 신호를 결정하는 단계를 포함한다.
각 대칭 그룹 오디오 신호는 거리 오디오 신호에 기초하여 결정되기 때문에,이 실시 예에서, 잔향 오디오 신호는 하나 이상의 거리 오디오 신호에 기초하여 결정된다.
일 실시예에 있어서, 입력 오디오 신호 또는 입력 오디오 신호의 필터링된 버전에 기초하여 각각의 가상 지점에 대한 가상 지점 오디오 신호 성분을 결정하는 단계는, 각 가상 지점에 대해, 입력 오디오 신호 또는 입력 오디오 신호의 필터링된 버전과 같은 수정된 버전을 대상으로 가상 지점 특정 연산을 수행하는 단계를 포함한다. 여기서, 가상 지점 특정 연산을 수행하는 단계는 시간 지연을 도입하는 시간 지연 연산을 수행하는 단계를 포함하며, 도입된 시간 지연은 문제의 가상 지점과 가상 음원 사이의 가상 거리를 음속으로 나눈 것과 대략 동일하다.
바람직하게는, 가상 표현은 또한 가상 음원 및/또는 관찰자와 관련하여 가상 지점의 가상 위치를 정의한다. 가상 객체의 가상 지점과 가상 음원 사이의 가상 거리는 가상 지점과 가상 음원의 중심 사이의 가상 거리로 정의될 수 있다. 생성된 잔향 오디오 신호는 이 가상 음원에서 유래한 오디오 신호를 반사하는 것으로 이해 될 수 있다.
이 실시 예는 잔향 오디오 신호를 생성할 때 가상 객체의 형상이 고려될 수 있다는 점에서 유리하다.
음속은 가상 객체, 가상 음원과 관찰자 사이에 정의되는 가상 매체의 음속일 수 있다. 예를 들어, 가상 객체와 가상 음원 사이의 가상 매체는 20℃의 온도 및 평균 50% 습도를 갖는 공기로 정의될 수 있다. 이 경우 음향 속도는 약 343m/sec이어야 하며, 이는 20℃의 온도 및 평균 50% 습도의 공기에서의 속도이다. 가상 객체의 표현은 가상 객체와 가상 음원 사이의 가상 매체를 정의할 수 있다.
일 실시예에 있어서, 하나 이상의 거리 추가 세트의 각각의 개별 거리에 대해, 하나 이상의 거리 오디오 신호를 결정하는 단계는 하나 이상의 거리 추가 세트의 각각의 개별 거리에 대해, 제1 거리 오디오 신호 및 제2 거리 오디오 신호를 결정하는 단계를 포함한다. 여기서, 개별 거리에 대해 제1 거리 오디오 신호를 결정하는 단계는 시간 지연을 도입하는 시간 지연 연산, 신호 감쇠 연산, 저역 통과 필터 연산 및 신호 피드백 연산을 수행하여 합성 오디오 신호를 수정하는 단계를 포함한다. 또한, 개별 거리에 대해 제2 거리 오디오 신호를 결정하는 단계는 제2 시간 지연을 도입하는 제2 시간 지연 연산, 신호 반전 연산, 신호 감쇠 연산, 저역 통과 필터 연산 및 제2 신호 피드백 연산을 수행하여 합성 오디오 신호를 수정하는 단계를 포함한다.
바람직하게는, 제1 거리 오디오 신호와 제2 거리 오디오 신호는 하나가 다른 하나의 반전된 버전이라는 점에서만 상이하다는 점을 이해해야 한다.
이 실시예는 개별 거리당 고조파의 수를 증가시키고, 이는 잔향 오디오 신호의 모달 밀도를 증가시키고, 개별 거리당 고조파가 최적으로 분포된다는 점에서 유리하다. 즉, 도 11을 참조하여 설명하는 바와 같이, 우수 고조파 및 기수 고조파가 가상 객체를 구성하는 대칭적으로 반대되는 가상 지점으로 분포된다.
일 실시예에 있어서, 제1 시간 지연 연산에 의해 도입된 시간 지연은 개별 거리를 음속으로 나눈 것과 동일하다.
제2 시간 지연과 제1 시간 지연은 원칙적으로 동일하다.
위에서 설명한 바와 같이, 음향의 속도는 가상 객체의 표현에 의해 정의된 것처럼 가상 객체와 가상 음원 사이의 가상 매체와 관련된 음속이다.
일 실시예에 있어서, 각 대칭 그룹에 대해, 거리 오디오 신호에 기초하여 하나 이상의 대칭 그룹 오디오 신호를 결정하는 단계는 각각의 대칭 그룹에 대해, 제1 대칭 그룹 오디오 신호 및 제2 대칭 그룹 오디오 신호를 결정하는 단계를 포함한다. 제1 및 제2 대칭 그룹 오디오 신호를 결정하는 단계는 제1 및 제2 거리 오디오 신호의 모든 쌍에서 거리 오디오 신호를 선택하고, 각 쌍은 문제의 대칭 그룹과 관련된 하나 이상의 대칭 그룹 거리 세트에서 각각의 거리에 대해 결정되며, 및 제1 대칭 그룹 오디오 신호를 결정하기 위해 선택된 거리 오디오 신호를 결합하고, 제2 대칭 그룹 오디오 신호를 결정하기 위해 제1 및 제2 거리 오디오 신호의 모든 쌍 중에서 선택되지 않은 거리 오디오 신호를 결합하는 단계를 포함한다.
제1 대칭 그룹 오디오 신호를 결정하는데 사용될 신호의 선택, 따라서 제2 대칭 그룹 오디오 신호를 결정하는데 사용될 신호의 선택은 임의의 방식으로 수행 될 수 있다. 이 실시 예는 각각의 제1 및 제2 거리 오디오 신호 중 하나는 제1 대칭 그룹 오디오 신호에 기여하고 다른 하나는 제2 대칭 그룹 오디오 신호에 기여하는 것이 보장된다.
일 실시예에 있어서, 대칭 그룹 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 오디오 신호를 결정하는 단계는 상기 잔향 오디오 신호를 결정하기 위해 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분과 결합하는 단계를 포함한다.
잔향 오디오 신호는 가상 객체로부터의 제1 반사와 가상 객체가 생성하는 잔향 말미를 모방한다. 가상 지점 오디오 신호 성분은 잔향 오디오 신호가 가상 객체의 제1 반사를 모방하게 하는 반면, 대칭 그룹 오디오 신호는 잔향 오디오 신호가 가상 객체와 관련된 잔향 말미를 포함하게 한다.
일 실시예에 있어서, 대칭 그룹 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 오디오 신호를 결정하는 단계는 상기 오디오 신호를 결정하기 위해 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분과 결합하는 단계를 포함한다. 여기서, 상기 오디오 신호를 결정하기 위해 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분과 결합하는 단계는 수정된 오디오 신호 성분을 결정하는 단계를 포함한다. 또한, 수정된 오디오 신호 성분을 결정하는 단계는 대칭 그룹에 속하는 가상 지점에 대해 결정된 각각의 가상 지점 오디오 신호 성분에, 문제의 대칭 그룹의 제1 또는 제2 대칭 그룹 오디오 신호를 더하는 단계를 포함한다.
이 실시예는 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분에 결합하는 효율적인 방식을 제공한다.
원칙적으로, 모든 가상 지점과 모든 오디오 신호 성분은 두 개의 대칭 그룹 오디오 신호가 결정되기 위한 단일 대칭 그룹에 속한다. 오디오 신호 성분에 제1 또는 제2 대칭 그룹 오디오 신호가 추가되는 것을 결정하는 단계는 제1 및 제2 대칭 그룹 오디오 신호가 교대로 각각의 오디오 신호 성분에 추가되는 원리에 따라 수행될 수 있으며, 절반- 또는 대칭 그룹의 가상 지점의 수가 고르지 않은 경우, 대칭 그룹과 관련된 오디오 신호 성분의 약 절반은 대칭 그룹의 그 대칭 그룹용 제1 대칭 그룹 오디오 신호와 결합하고 오디오 신호 성분의 나머지 절반은 그 대칭 그룹용 제2 대칭 그룹 오디오 신호와 결합한다.
수정된 오디오 신호 성분을 결정하는 단계는 오디오 신호 성분에 공진, 깊이, 높이 및 거리 특성을 추가하기 위한 다른 연산을 더 포함할 수 있다.
일 실시예에 있어서, 추가의 가상 객체에 대한 추가의 잔향 오디오 신호를 생성하기 위해 전술한 방법을 수행하는 단계를 포함하고, 가상 객체와 관련되어 결정된 잔향 오디오 신호가 입력 오디오 신호로 사용된다.
이 실시예는 다른 가상 객체 상에서 발생하는 잔향 오디오 신호를 생성하는 하나의 잔향 가상 객체를 시뮬레이션할 수 있도록 한다. 이를 통해 벽, 천장, 바닥 등과 같은 여러 가지로 다르게 배향된 표면과 같은 복수의 가상 객체를 포함하는 복잡한 가상 시스템에 대해 잔향 오디오 신호를 생성할 수 있다.
일 실시예에 있어서, 본 방법은 가상 객체와 관련된 잔향 오디오 신호와, 추가의 가상 객체와 관련된 추가의 잔향 오디오 신호를 결합하는 단계를 더 포함하고, 및, 선택적으로, 하나 이상의 확성기에 결합된 신호를 제공한다.
일 실시예에 있어서, 결정된 오디오 신호를 하나 이상의 확성기에 제공하는 단계를 더 포함한다.
일 실시예에 있어서, 수정된 오디오 신호 성분을 하나 이상의 확성기에 제공하는 단계는 수정된 오디오 신호 성분을 복수의 확성기에 분배하도록 구성된 패닝 시스템에 수정된 오디오 신호 성분을 제공하는 단계를 포함한다.
수정된 오디오 신호 성분을 분배하는 단계는 수정된 오디오 신호 성분에 기초하여, 각각의 확성기에 대해 하나씩 출력 오디오 신호의 수를 결정하는 단계를 포함할 수 있다.
일 실시예에 있어서, 본 방법은 각각의 가상 지점에 대해, 가상 지점 오디오 신호 성분을 결정하기 전에 입력 오디오 신호를 필터링하는 단계를 더 포함한다. 입력 오디오 신호를 필터링하는 단계는 각각의 감쇠 계수를 사용하여 입력 오디오 신호의 각 주파수 대역을 감쇠시키는 다중 대역 필터를 적용하는 단계를 포함하고, 각각의 감쇠 계수는 가상 객체의 재료에 기초하여 결정된다.
바람직하게는 가상 객체를 정의하는 표현은 가상 객체가 구성하는 재료 중에서도 정의된다. 예를 들어, 표현은 가상 객체가 석회암으로 구성된 점을 정의할 수 있다. 가상 객체의 재료는 각각의 주파수 대역에 대해서 특정의 흡수 계수가 공지될 수 있다. 다중대역 필터에 사용되는 감쇠 계수는 이러한 흡수 계수에 기초하여 결정될 수 있다.
일 실시예에 있어서, 하나 이상의 거리 추가 세트에 있는 각각의 개별 거리에 대해, 하나 이상의 거리 오디오 신호를 결정하는 단계는 하나 이상의 거리 추가 세트에 있는 각각의 개별 거리에 대해 거리 오디오 신호를 결정하는 단계를 포함한다. 이러한 거리 오디오 신호 결정하는 단계는 시간 지연을 도입하는 시간 지연 연산, 신호 감쇠 연산, 저역 통과 필터 연산 및 신호 피드백 연산을 수행하는 단계를 포함한다. 또한 이 실시예는 가상 지점의 적어도 하나의 대칭 그룹에 대해, 바림직하게는 각각에 대해, 밀도 인덱스를 결정하는 단계를 또한 포함한다. 적어도 하나의 대칭 그룹에 대해 밀도 인덱스를 결정 단계는,
- 적어도 하나의 대칭 그룹과 연관된 하나 이상의 대칭 그룹 거리 세트 중의 각각의 거리에 대해, 단위 시간을 문제의 거리 오디오 신호를 결정하기 위해 수행된 시간 지연 연산에 의해 도입된 시간 지연으로 나누어서, 문제의 거리에 대한 오디오 신호를 결정하기 위해 얼마나 많은 피드백 연산이 단위 시간당 수행되는지 결정하여, 적어도 하나의 대칭 그룹과 연관된 하나 이상의 대칭 그룹 거리의 세트 중의 각각의 거리에 대해 수행된 피드백 연산의 각각의 수를 획득하는 단계, 및
- 가상 지점의 대칭 그룹에 대한 밀도 인덱스를 얻기 위해 수행된 피드백 연산의 각각의 수를 더하는 단계를 포함한다.
이 실시예는 또한 밀도 인덱스에 대한 임계값을 수신하고, 및 결정된 밀도 인덱스가 상기 임계값보다 낮은지를 결정하고, 그리고 이 결정에 기초하여, 가상 객체를 구성하는 가상 지점의 수를 늘려서 저장된 표현을 변경한다.
원칙적으로, 가상 지점의 해상도를 증가시키는 것으로 간주될 수 있는, 가상 지점의 수를 증가시키는 것은 하나 이상의 거리 추가 세트를 포함하는 개별 거리의 수를 더 증가시키고; 각각의 거리 오디오 신호를 결정하는데 사용되는 시간 지연을 더 작게한다. 그 결과, 단위 시간당 더 많은 피드백 연산이 수행된다. 각 피드백 연산은 반향을 나타내는 것으로 이해될 수 있다. 따라서, 이 실시예는 충분한 반향이 생성되도록 보장한다고 말할 수 있다.
일 실시예에 있어서, 저역 통과 필터 연산은,
- 저역 통과 필터링될 신호가 저역 통과 필터 연산과 관련된 차단 주파수보다 낮은 나이퀴스트 주파수와 관련되는지를 결정하는 단계, 및
- 이 결정에 기초하여, 차단 주파수보다 높거나 같은 나이퀴스트 주파수와 연관되도록 필터링될 신호를 업-샘플링하는 단계, 및
- 상기 업-샘플링된 신호를 저역 통과 필터링하는 단계, 및,
- 선택적으로, 필터링된 신호가 출력 샘플 레이트보다 더 높은 샘플 레이트와 연관되어 있는지 결정하고, 출력 샘플 레이트는 출력 시스템에 의해 출력될 수 있는 샘플 레이트이고, 이 결정에 기초하여 필터링된 신호를 다운-샘플링하는 단계를 포함한다.
본 발명의 한 양태는 컴퓨터에 관한 것으로, 상기 컴퓨터는 컴퓨터 판독 가능한 프로그램 코드가 내장된 컴퓨터 판독 가능한 저장 매체, 및 컴퓨터 판독 가능한 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하고, 컴퓨터 판독 가능한 프로그램 코드를 실행하는 것에 응답하여, 프로세서는 본 명세서에 설명된 임의의 실시예에 따른 방법을 수행하도록 구성된다.
본 발명의 한 양태는 컴퓨터 프로그램 또는 컴퓨터 프로그램 모음에 관한 것으로, 상기 컴퓨터 프로그램은 적어도 하나의 소프트웨어 코드 부분 또는 적어도 하나의 소프트웨어 코드 부분을 저장하는 컴퓨터 프로그램 제품을 포함하며, 소프트웨어 코드 부분은, 컴퓨터 시스템에서 실행될 때, 본 명세서에 설명된 임의의 방법을 실행하도록 구성된다.
본 발명의 한 양태는 적어도 하나의 소프트웨어 코드 부분을 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체에 관한 것이며, 소프트웨어 코드 부분은, 컴퓨터에 의해 실행되거나 처리될 때, 본 명세서에 설명된 임의의 방법을 수행하도록 구성된다.
당업자라면 이해할 수 있는 바와 같이, 본 발명의 양태는 시스템, 방법 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 발명의 양태는 전적으로 하드웨어 실시예, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로코드 등 포함) 또는 여기서 "회로", "모듈" 또는 "시스템"으로 모두 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어의 결합된 실시예의 형태를 취할 수 있다. 본 명세서에 설명된 기능들은 컴퓨터의 프로세서/마이크로프로세서에 의해 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 양태는 컴퓨터 판독 가능한 프로그램 코드가 구현된, 예를 들어 저장되어 있는 하나 이상의 컴퓨터 판독 가능한 매체(들)에 내장된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
하나 이상의 컴퓨터 판독 가능한 매체(들)의 임의의 결합이 이용될 수 있다. 컴퓨터 판독 가능한 매체는 컴퓨터 판독 가능한 신호 매체 또는 컴퓨터 판독 가능한 저장 매체일 수 있다. 컴퓨터 판독 가능한 저장 매체는 예를 들어 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치, 또는 설비, 또는 이들의 임의의 적절한 결합일 수 있지만 이에 제한되지는 않는다. 컴퓨터 판독 가능한 저장 매체의 보다 구체적인 예는 다음을 포함할 수 있지만 이에 제한되지는 않는다: 하나 이상의 와이어를 포함하는 전기적 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, RAM, ROM, 지울 수 있는 프로그래밍 가능한 읽기-전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기-전용 메모리(CD-ROM), 광학 저장 장치, 자기 저장 장치, 또는 위의 적절한 결합을 포함한다. 본 발명의 맥락에 있어서, 컴퓨터 판독 가능한 저장 매체는 명령 실행 시스템, 장치 또는 설비에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 포함하거나 또는 저장할 수 있는 형체를 가진 매체일 수 있다.
컴퓨터 판독 가능한 신호 매체는 예를 들어 기저 대역에서 또는 반송파의 일부로서 내부에 내장된 컴퓨터 판독 가능한 프로그램 코드가 구현된 전파(propagated) 데이터 신호를 포함할 수 있다. 이러한 전파 신호는 전자기, 광학 또는 이들의 임의의 적절한 결합을 포함하지만 이에 제한되지 않는 다양한 형태 중 임의의 것을 취할 수 있다. 컴퓨터 판독 가능한 신호 매체는 컴퓨터 판독 가능한 매체일 수 있으며, 이는 컴퓨터 판독 가능한 저장 매체가 아니며 명령 실행 시스템, 장치 또는 설비에 의해 또는 이와 관련하여 사용하기 위한 프로그램을 통신하거나, 전파하거나 또는 전송할 수 있다.
컴퓨터 판독 가능한 매체에 내장된 프로그램 코드는 무선, 유선, 광섬유, 케이블, RF 등 또는 이들의 적절한 결합을 포함하지만 이에 제한되지 않는 임의의 적절한 매체를 사용하여 전송될 수 있다. 본 발명의 양태를 위한 연산을 수행하기 위한 컴퓨터 프로그램 코드는 Java™, Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어 및 "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 종래의 절차적 프로그래밍 언어를 포함하는 하나 이상의 프로그래밍 언어의 임의의 결합으로 작성될 수 있다. 프로그램 코드는 전적으로 사용자 컴퓨터에서, 부분적으로는 사용자 컴퓨터에서, 독립 실행형 소프트웨어 패키지로, 부분적으로는 사용자 컴퓨터에서, 그리고 부분적으로는 원격 컴퓨터에서, 또는 전체적으로 원격 컴퓨터나 서버에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 LAN(Local Area Network) 또는 WAN(Wide Area Network)을 포함한 소정 유형의 네트워크를 통해 사용자의 컴퓨터에 연결되거나, 또는 외부 컴퓨터(예: 인터넷 서비스 공급자를 사용하여 인터넷을 통해)에 연결될 수 있다.
본 발명의 양태는 본 발명의 실시예에 따른 방법, 장치(시스템), 및 컴퓨터 프로그램 제품의 흐름도 및/또는 블록도를 참조하여 아래에서 설명된다. 흐름도 및/또는 블록도의 각 블록, 및 흐름도 및/또는 블록도의 블록 결합은 컴퓨터 프로그램 명령에 의해 구현될 수 있음을 이해할 것이다. 이러한 컴퓨터 프로그램 명령는 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서, 특히 마이크로프로세서 또는 중앙 처리 장치(CPU)에 제공될 수 있어, 컴퓨터, 다른 프로그래밍 가능한 데이터 처리 장치, 또는 흐름도 및/또는 블록 다이어그램 블록 또는 블록들에 지정된 기능/행위를 구현하기 위한 수단을 생성하는 다른 장치의 프로세서를 통해 명령들이 수행된다.
이러한 컴퓨터 프로그램 명령들은 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 또는 특정한 방식으로 기능한 다른 장치를 지시할 수 있는 컴퓨터 판독 가능한 매체에 저장될 수 있어서, 컴퓨터 판독 가능한 매체에 저장된 명령들은 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 기입된 기능/행동을 구현하는 명령들을 포함하는 제조물품을 생산한다.
또한, 컴퓨터 실행 프로세스를 생성하기 위해서 컴퓨터 프로그램 명령들은 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 수행될 일련의 연산 단계를 수행하는 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치, 또는 다른 장치에 로드될 수 있어, 컴퓨터 또는 기타 프로그래밍 가능한 장치에서 실행되는 명령가 흐름도 및/또는 블록 다이어그램 블록 또는 블록에 명시된 기능/행위를 구현하기 위한 프로세스를 제공한다.
도면들의 흐름도 및 블록 다이어그램들은 본 발명의 다양한 실시예들에 따른 시스템, 방법 및 컴퓨터 프로그램 제품들의 가능한 구현들의 구조, 기능 및 연산을 예시한다. 이와 관련하여, 흐름도 또는 블록 다이어그램의 각 블록은 지정된 논리 기능을 구현하기 위한 하나 이상의 실행 가능한 명령를 포함하는 코드의 모듈, 세그먼트 또는 일부분을 나타낼 수 있다. 또한, 일부 대안적 구현에서, 블록에 명시된 기능은 도면에 명시된 순서로 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 표시된 두 개의 블록은 실제로 실질적으로 동시에 실행될 수도 있고, 관련된 기능에 따라 때로는 역순으로 실행될 수도 있다. 블록 다이어그램 및/또는 흐름도의 각 블록과 블록 다이어그램 및/또는 흐름도의 블록 결합은 지정된 기능이나 행위를 수행하는 특수 목적 하드웨어에 기반한 시스템, 또는 특수 목적 하드웨어와 컴퓨터 명령의 결합에 의해 구현될 수 있다는 점에 유의해야 한다.
또한, 본 명세서에 기재된 방법들을 수행하기 위한 컴퓨터 프로그램 및 컴퓨터 프로그램을 저장하는 비일시적인 컴퓨터 판독 가능한 저장 매체가 제공된다. 예를 들어, 컴퓨터 프로그램은 광 수신기, 리모컨, 스마트폰, 또는 태블릿 컴퓨터와 같은 기존 시스템에 다운로드(업데이트)되거나 이러한 시스템의 제조 시에 저장될 수 있다.
특정 실시예를 위해 또는 특정 실시예와 관련하여 논의되는 요소 및 양태들은 달리 명시적으로 언급되지 않는 한 다른 실시예들의 요소 및 양태들과 적절하게 결합될 수 있다. 본 발명의 실시예들은 첨부된 도면을 참조하여 더 설명되며, 본 발명에 따른 실시예들이 도식적으로 도시될 것이다. 본 발명은 어떠한 방식으로도 이러한 구체적인 실시예들에 제한되지 않는 점이 이해될 것이다.
본 발명의 양태는 도면에 도시된 예시적인 실시예를 참조하여 보다 상세하게 설명될 것이다:
도 1은 실시예에 따른 잔향 오디오 신호에 노출되는 관찰자를 도시한 도면이다.
도 2는 실시예에 따른 잔향 오디오 신호를 생성하는 방법을 나타내는 순서도이다.
도 3은 실시예에 따른 도 2에 설명된 각각의 모듈에 대한 입력을 나타내는 흐름도이다.
도 4는 실시예에 따른 잔향 오디오 신호 생성 방법을 도시한다.
도 5는 잔향 오디오 신호를 생성하기 위한 실시예를 도시한다.
도 6a-c는 실시예에 따른 잔향 오디오 신호 생성 방법을 예시하는 상세 흐름도를 도시한다.
도 7은 실시예에 따른 모노 음향 시스템에 대한 잔향 오디오 신호의 생성을 도시한다.
도 8은 실시예에 따른 스테레오 음향 시스템에 대한 잔향 오디오 신호의 생성을 도시한다.
도 9는 6개의 대칭 그룹에 대한 대칭 그룹 거리를 도시한다.
도 10은 실시예에 따른 하나 이상의 거리 추가 세트를 도시한다.
도 11은 여러 상이한 가상 객체의 대칭 그룹을 도시한다.
도 12는 실시예에 따른 시간 지연을 결정하기 위한 '값 필터' 연산에 대한 흐름 프로세스이다.
도 13은 실시예에 따른 '샘플 레이트 보간' 연산을 위한 흐름 프로세스를 도시한다.
도 14는 실시예에 따른 사용자 인터페이스를 개략적으로 도시한다.
도 15는 실시예에 따른 데이터 처리 시스템을 나타내는 블록도이다.
도 16a-d는 각각의 실시예에 따른 공진, 깊이, 높이 및 거리를 오디오 신호 성분에 인코딩하는 모듈을 도시한다.
도 17은 실시예에 따른 패닝 매트릭스이다.
도 18a-18g는 각 실시예에 따른 오디오 신호 성분에 공진 특성을 추가하기 위한 모듈을 도시한다.
도 19는 각 실시예에 따른 오디오 신호 성분에 깊이 특성을 추가하기 위한 모듈을 도시한다.
도 20은 각 실시예에 따른 오디오 신호 성분에 거리 특성을 추가하기 위한 모듈을 도시한다.
도 21은 실시예에 따른 가상 객체의 크기, 위치 및 배향과 가상 개체의 가상 지점을 결정하기 위한 형상 생성기를 도시한다.
도 1은 실시예에 따른 잔향 오디오 신호에 노출되는 관찰자를 도시한 도면이다.
도 2는 실시예에 따른 잔향 오디오 신호를 생성하는 방법을 나타내는 순서도이다.
도 3은 실시예에 따른 도 2에 설명된 각각의 모듈에 대한 입력을 나타내는 흐름도이다.
도 4는 실시예에 따른 잔향 오디오 신호 생성 방법을 도시한다.
도 5는 잔향 오디오 신호를 생성하기 위한 실시예를 도시한다.
도 6a-c는 실시예에 따른 잔향 오디오 신호 생성 방법을 예시하는 상세 흐름도를 도시한다.
도 7은 실시예에 따른 모노 음향 시스템에 대한 잔향 오디오 신호의 생성을 도시한다.
도 8은 실시예에 따른 스테레오 음향 시스템에 대한 잔향 오디오 신호의 생성을 도시한다.
도 9는 6개의 대칭 그룹에 대한 대칭 그룹 거리를 도시한다.
도 10은 실시예에 따른 하나 이상의 거리 추가 세트를 도시한다.
도 11은 여러 상이한 가상 객체의 대칭 그룹을 도시한다.
도 12는 실시예에 따른 시간 지연을 결정하기 위한 '값 필터' 연산에 대한 흐름 프로세스이다.
도 13은 실시예에 따른 '샘플 레이트 보간' 연산을 위한 흐름 프로세스를 도시한다.
도 14는 실시예에 따른 사용자 인터페이스를 개략적으로 도시한다.
도 15는 실시예에 따른 데이터 처리 시스템을 나타내는 블록도이다.
도 16a-d는 각각의 실시예에 따른 공진, 깊이, 높이 및 거리를 오디오 신호 성분에 인코딩하는 모듈을 도시한다.
도 17은 실시예에 따른 패닝 매트릭스이다.
도 18a-18g는 각 실시예에 따른 오디오 신호 성분에 공진 특성을 추가하기 위한 모듈을 도시한다.
도 19는 각 실시예에 따른 오디오 신호 성분에 깊이 특성을 추가하기 위한 모듈을 도시한다.
도 20은 각 실시예에 따른 오디오 신호 성분에 거리 특성을 추가하기 위한 모듈을 도시한다.
도 21은 실시예에 따른 가상 객체의 크기, 위치 및 배향과 가상 개체의 가상 지점을 결정하기 위한 형상 생성기를 도시한다.
도면에서 동일한 참조 번호는 유사하거나 동일한 요소를 나타낸다. 또한, 점선으로 표시된 요소는 선택적 요소이다.
본 발명은 잔향 오디오 신호를 생성하기 위한 방법 및 시스템에 관한 것이다. 실제 잔향 오디오 신호는 객체에 의한 음향 반사 및 이러한 객체의 후속되는 진동에 의해 형성되는 것으로 이해될 수 있다. 본 명세서에서 설명하는 생성된 잔향 오디오 신호는 객체의 잔향에 노출되어 실제 녹음된 오디오 신호와 잔향 오디오 신호가 동일한 특성을 포함한다는 관점에서 가상 객체와 연관된다. 원칙적으로 가상 객체는 임의의 형상, 크기 및/또는 특성을 가질 수 있다.
본 명세서에 서술된 방법은 실시간 처리를 가능하게 하는 가장 높은 계산 효율로 잔향 오디오 신호를 생성할 수 있도록 한다. 잔향 오디오 신호를 실시간으로 생성하는 기능은 형상, 위치, 배향 및/또는 가상 객체가 형성되는 재료와 같은 가상 객체의 특성을 변경할 수 있도록 하며, 변경된 가상 객체와 관련된 잔향 오디오 신호를 즉시 생성할 수 있도록 하는 것이다. 특히, 그 재료 구성, 음향 전파 조건, 공간에서 반사되거나 및/또는 다른 음원을 포함하는 객체로부터 반사되는 음원의 공간적 거리, 높이 및 깊이와 같은, 가상 음향 공간의 상태가 변경될 수 있고 이러한 변경은 신속하게 처리될 수 있다.
잔향 오디오 신호를 생성하는 방법 및 시스템은 지연 라인 및 저역 통과 필터와 같은 비교적 간단한 인공적 잔향의 요소들을 사용한다. 본 명세서에 개시된 기술은 시스템에서 요구되는 지연 라인의 수를 최소화하도록 설계되었으며, 즉 계산상 훨씬 더 저렴한 다수의 오디오 구성요소를 이용하는 스마트한 신호 분배가 실현된다.
본 명세서에 개시된 기술은 입력 오디오 신호가 주어진 형상, 크기 및 물성의 실제 음향 공간에서 생성되고 및/또는 녹음된 것처럼 보이도록 입력 오디오 신호에 특징을 추가할 수 있게 한다.
본 방법은 저용량부터 고용량의 CPU 요구 사항에 맞게 최적으로 효율적이고 확장할 수 있다. 본 방법은 프로세스가 사용되는 CPU의 상태에 따라 최적의 방법으로 수행되는 동안에 실시간으로 실행될 수 있으므로 잔향 생성을 위한 대화형 모델을 가능하게 한다. 본 방법을 사용하면 다양한 확성기 구성 및 그 구성에 사용되는 확성기의 수에 적응할 수 있으므로 확성기 시스템 설계에 대한 신규한 접근 방식을 자극하는 동시에, 모노, 스테레오 및/또는 HTRF-기반 헤드폰 음향과 같은 기존의 오디오 재생 형식과 호환이 된다.
지연 시간을 얻는 방법은 통계적으로 유효한 결과를 가진 고정된 시간 지연 값 세트에 기반으로 하지 않지만, 가상 지점 해상도, 즉 가상 형상 위에 정의된 점의 세트를 결정하여 소정의 유형 및/또는 특성을 모델링할 수 있는 '형상 생성기' 연산에서 실시간으로 생성될 수 있다. 결과적인 시간 지연은 형상으로부터 필수 데이터를 외삽하는(extrapolate) '값 필터' 연산을 사용하여 필터링이 되어서, 잔향의 제1 및 초기 반사에서 음향 형상을 정확하게 나타내며, 동시에, 피드백 지연 네트워크(FDN)를 통합할 필요없이 동일한 시간 지연 세트를 사용하여 평활도(smoothness), 시간 밀도 및 모달 밀도의 인식 기준치를 충족하는, 후기 잔향인 잔향 말미(tail)를 생성한다. 또한, 본 발명은 사용자가 설정하는 다양한 사용자 조건을 위해 밀도 및 샘플 레이트 요구 사항의 최적화를 자동으로 수행하는 새로운 접근법을 도입한다.
위에서 설명한 바와 같이, 잔향 오디오 신호를 생성하는 방법은 도 1에 도시된 사각형 판과 같은, 가상 객체(2)의 표현(representation)을 포함한다. 상기 표현은 도 1에서 {1, 2, 3, … N}의 번호가 매겨진, 다수의 가상 지점을 정의한다. 본 명세서에서 "N"은 총 가상 지점의 수를 나타낸다. 가상 지점은 서로에 대해 그리고 가상 객체(2)의 중심 지점(4)에 대해 각각의 가상 위치를 갖는다. 가상 지점은 가상 지점의 대칭 그룹에 속하며, 여기서 중심 지점에 대해 대칭으로 위치된 가상 지점은 가상 지점의 동일 대칭 그룹에 속한다. 이에 대해서는 도 9를 참조하여 보다 상세히 설명될 것이다.
상기 표현에 의해 정의되는 가상 지점은 또한 관찰자(6)를 기준으로 특정 위치를 갖는다. 이와 같이, 가상 객체는 예를 들어 관찰자로부터 특정 거리, 관찰자 아래쪽의 깊이 또는 관찰자 위쪽의 높이에 위치할 수 있다. 또한, 가상 지점은 음원(8)에 대해서도 위치를 가질 수도 있다.
관찰자(6)는 가상 객체(2)가 형상, 즉 특정 입체(dimensional) 형상, 크기 및 물성(materiality)을 갖는다는 것을 인지할 수 있고, 관찰자를 기준으로 특정의 높이, 깊이 및 거리에서 있는 음원(8) 및 잔향 공간을 인지할 수 있다. 이러한 인지는 이런 형상, 크기 및 물성의 실제 공간에서의 음향을 경험하는 방식, 그리고 이 공간을 통해 어떻게 이동하고 어떤 위치 및 각도에서 음향이 나는지를 탐색하는 방식과 매우 유사한다. 따라서 청취자는 가상적으로 및/또는 실제적으로 공간을 이동하고 결과적인 음향 잔향, 즉 잔향 공간 내부 및/또는 외부의 소정의 위치와 각도에서의 특정한 크기, 형상 및 물성의 공간 음향을 경험할 수 있으며, 임의의 가상 위치에 놓인 가상 객체의 잔향 자극의 결과를 경험할 수 있다.
도 2는 실시예에 따른 잔향 오디오 신호를 생성하는 방법을 나타내는 흐름도이다. 여기서, 입력 오디오 신호(x)는 각각의 감쇠 계수를 사용하여 입력 오디오 신호의 각 주파수 대역을 감쇠시키도록 구성된 다중 대역 필터에 제공된다. 감쇠 계수는 특정의 주파수 대역에 대한 감쇠의 정도를 나타내는 것으로 이해될 수 있다. 예를 들어, 다중 대역 필터는 0.7의 감쇠 계수를 사용하여 제1 주파수 대역을 감쇠시키고 0.5의 감쇠 계수를 사용하여 제2 주파수 대역을 감쇠시키도록 구성될 수 있다. 그 결과, 제1 주파수 대역에서의 주파수 강도는 계수 0.7로 감쇠되고 제2 주파수 대역의 주파수 강도는 계수 0.5로 감쇠된다. 이러한 필터(10)는 가상 객체에 의한 음향 흡수를 모델링하는 데 사용될 수 있기 때문에 흡수 필터라고도 할 수 있다. 예를 들어, 흡수 필터는 8 옥타브 밴드 이퀄라이저이다.
도 2에 도시된 실시예에서, 필터(10)의 출력은 이어서 제1 반사 모듈(12)에 제공된다. 바람직하게는 상기 모듈은 복수의 병렬 신호 흐름을 포함하며, 도시된 각각의 가상 지점에 대한 가상 지점 오디오 신호 성분(y_n)을 결정하기 위한 가상 객체(2) 각각의 가상 지점에 대한 하나씩의 신호 흐름이다. 모듈은 흐름 프로세스, 흐름도 또는 이와 유사한 것으로도 지칭될 수 있다.
도 2의 실시예에서, 가상 지점 오디오 신호 성분 y_n이 결합된다. 즉, 참조번호 14로 표시되는 합성 오디오 신호, 
을 얻기 위해 합산된다.
또한, 합성 오디오 신호(14)는 필터(10)와 동일할 수 있는 제2 필터(16)에 제공된다.
그런 다음, 제2 필터(16)의 출력은 잔향 말미(tail)를 생성하기 위해 모듈(18)에 제공된다. 모듈(18)은 복수의 병렬 신호 흐름을 포함하며, 본 명세서에 설명된 생성된 거리 오디오 신호 각각에 대한 하나씩의 신호 흐름이다. 모듈(18)은 하나 이상의 거리 오디오 신호 d_k+/-, 즉 {d_1+, d_1-, d_2+, d_2-, …, d_K+, d_K-}(미도시)를 결정한다. 본 명세서에서 사용된 "K"는 본 명세서에 설명된 하나 이상 거리의 추가 세트에서의 개별 거리의 총 수를 나타낸다.
모듈(18)은 다수의 대칭 그룹 오디오 신호 s_m+/-, 즉 {s_1+, s_1-, s_2+, s_2-, …, s_M+, s_M-}를 출력한다. 본 명세서에서 사용된 "M"은 대칭 그룹의 총 수를 나타낸다.
도 2의 실시예에서, 대칭 그룹 오디오 신호 s_m+/-는 가상 지점 오디오 신호 성분 y_n과 결합된다. 이 결합으로 실시예에 따른 잔향 오디오 신호가 생성된다.
도 2는 또한 선택적인 모듈, 즉 공진 모듈(20), 깊이 모듈(22), 높이 모듈(24), 거리 모듈(26), 패닝 시스템(28)을 더 도시한다. 이들 모듈은 잔향 오디오 신호를 생성하는 데 필요하지 않지만, 관찰자에 대한 잔향 오디오 신호의 일관된 프로젝션, 즉 관찰자가 뚜렷한 깊이, 높이, 거리 및 각도를 가진 잔향을 감지하는 데 필요하다. 공진 모듈(20)은 오디오 신호 성분에 공진 특성을 추가하기 위해 오디오 신호 성분에 공간파 변환을 수행하도록 구성되며, 그 합은 (제2) 신호 처리를 위한 오디오 입력 신호의 믹스 다운(mix-down)(21)일 수 있다. 깊이 모듈(22)은 오디오 신호 성분에 깊이를 인코딩하도록 구성된다. 높이 모듈(24) 모듈은 오디오 신호 성분에 높이를 인코딩하도록 구성된다. 거리 모듈(26)은 오디오 신호 성분에 거리를 인코딩하도록 구성된다.
공진 모듈(20)에 의해 수행될 수 있는 공진 특성을 추가하는 단계는 제1 수정된 오디오 신호 성분을 얻기 위해 오디오 신호 성분을 수정하는 단계를 포함할 수 있다(도 16a 참조). 오디오 신호 성분의 이러한 수정은 도시된 바와 같이 신호 반전 연산(74)을 선택적으로 포함하고, 시간 지연을 도입하는 신호 지연 연산(75)을 포함하며, 선택적으로 신호 피드백 연산(73)을 포함한다. 도시된 실시예에서, 피드백되는 신호는 도시된 바와 같이 1보다 작은 이득을 갖는 증폭기(76)에 의해 감쇠된다. 그 다음, 제2 수정된 오디오 신호 성분을 획득하기 위해 제1 수정된 오디오 신호 성분이 오디오 신호 성분과 결합되어 합산(78 참조)된다. 또한 가상 객체의 가상 지점과 관련된 오디오 신호 성분 y_n'을 획득하기 위해 제2 수정된 오디오 신호는 감쇠 연산(79) 및 선택적으로 고역 통과 필터 연산(80)에 의해 추가로 수정된다.
수정된 오디오 신호 성분을 결정하기 위해 도입되는 시간 지연을 결정하기 위한 공식은 다음과 같이 주어질 수 있다.
△t = Vxn / v
여기서 V는 형상의 입체 부피이고 xn은 가상 형상 상의 지점 n에 대한 계수를 나타내며, 각 지점은 카테시안 좌표(x, y, z)로 표시되는 상대 공간 위치를 가지며; v는 매질을 통과하는 음향의 속도와 관련된 상수이다. 오디오 신호 성분의 결정은 특허 출원 NL2024434 및 NL2025950에도 설명되어 있으며, 이 내용은 본 명세서에 전체적으로 포함되는 것으로 간주되어야 한다.
합산 연산(78) 이후의 감쇠 연산(79)은 오디오 신호의 이득 G를 -6dB로 감소시키는 단계를 포함할 수 있다.
본 명세서에서 삼각형 내의 값, 즉 감쇠 또는 증폭 연산에서의 값은 신호가 곱해지는 상수를 나타내는 것으로 이해될 수 있다. 이러한 상수는 종종 "a" 또는 "b "로 표시된다. 따라서 이 값이 1보다 크면 신호 증폭이 수행되고, 이 값이 1보다 작으면 신호 감쇠가 수행된다.
가상 형상 위의 지점 n에 종속하는 고역 통과 필터에 대한 차단 주파수 fc는 다음과 같이 결정될 수 있다.
fc = v / V2(1 - rn / R), rn / R ≤ 0.5인 경우
fc = v / V2 (rn / R ), rn / R > 0.5인 경우
여기서 v는 매질을 통과하는 음향의 속도와 관련된 상수이고, V는 가상 형상의 입체 부피이며, rn은 가상 형상의 중심에서 n 지점까지의 구면 반경을 나타내며, R은 가상 형상의 두 개 이상의 가장자리가 만나는 꼭지점을 통과하는 형상의 중심으로부터의 구면 반경을 나타낸다. R에 대한 값이 둘 이상인 경우에는 가장 큰 R 값이 고려된다.
도 16a에 도시된 흐름도 대신에, 도 18a 내지 18g 중의 임의의 흐름도가 동일한 파라미터 값을 갖는 공진 특성을 추가하기 위해 대신 사용될 수 있음을 이해해야 한다.
모듈(22)에 의해 수행될 수 있는 오디오 신호 성분에 깊이 특성을 추가하는 단계(도 16b 참조)는 오디오 신호 성분의 수정된 버전을 획득하기 위해 시간 지연을 도입하는 시간 지연 연산(86), 신호 감쇠(88) 및 신호 피드백 연산(90)을 사용하여 문제의 오디오 신호 성분 y_n을 수정하는 단계 및 오디오 신호 성분의 수정된 버전을 문제의 오디오 신호 성분과 결합하는 단계(92)를 포함할 수 있다. 신호 감쇠(88)는 문제의 오디오 신호 성분과 연관된 가상 지점의 피실험자 아래쪽의 가상 깊이에 종속하여 수행된다.
이 실시예에서, 신호 감쇠는 매개변수 "b"에 의해 정의된다. 값 b=0이면 피실험자 아래쪽의 가상 지점의 깊이가 인코딩되지 않고, 값 b=1이면 오디오 신호 성분과 관련된 가상 지점의 최대 깊이가 인코딩된다.
수정된 오디오 신호와 입력 오디오 신호의 결합의 결과가 선택적으로 감쇠되거나 증폭되는 연산(94)의 값 "a"는 다음과 같다.
a = (1-b) x
여기서 x는 고주파 손실 곡선의 기울기에 영향을 미치는 신호 피드백 양 b에 종속하는 신호 이득 G를 보정하기 위한 곱셈 계수이다. 값 b가 바람직하게는 0-1 사이에서 변함으로써 깊이의 변화가 오디오 신호에 추가된다.
바람직하게는, 시간 지연 연산에 의해 도입되는 시간 지연 Δt는 가능한 한 짧다. 즉, 0.00007초 미만, 바람직하게는 0.00005초 미만, 보다 바람직하게는 0.00002초 미만, 가장 바람직하게는 약 0.00001초이다. 96kHz의 디지털 샘플 레이트의 경우 시간 지연은 0.00001초일 수 있다.
도 16b에 도시된 흐름도 대신에, 도 19에 도시된 흐름도 중 임의의 것이 매개변수에 대한 동일한 값과 함께 대신 사용될 수 있음을 이해해야 한다.
높이 모듈(24)에 의해 수행될 수 있는 오디오 신호 성분에 높이 특성을 추가하는 단계(도 16c 참조)는 오디오 신호 성분의 수정된 버전을 얻기 위해 신호 반전 연산(140), 시간 지연을 도입하는 신호 지연 연산(142) 및 신호 감쇠(144)를 사용하여 문제의 오디오 신호 성분을 수정하는 단계 및 오디오 신호 성분의 수정된 버전과 문제의 오디오 신호 성분을 결합하는 단계(146)를 포함한다. 여기서 신호 감쇠(144)는 가상 음원의 가상 높이에 종속되어 수행된다.
이 실시예에서, 값 b=0이면 높이 특성이 오디오 신호 성분에 추가되지 않을 것이다. 값 b=1이면 가상 지점의 최대 높이가 인식될 것이다. 제1 감쇠 연산이 수행되면, 선택적 감쇠(148)의 이득 G의 값 "a"는 다음과 같다.
a = (1- b) x
여기서 x는 저주파 손실 곡선의 기울기에 영향을 미치는 감쇠량 b에 종속하는 신호 이득 G를 보정하기 위한 곱셈 계수이다. 바람직하게는 값 b가 0-1 사이에서 변함으로써 오디오 신호 성분에 높이의 변화를 추가할 수 있다.
바람직하게는, 시간 지연 연산(142)에 의해 도입되는 시간 지연 Δt는 가능한 한 짧다. 0.00007초 미만, 바람직하게는 0.00005초 미만, 보다 바람직하게는 0.00002초 미만, 가장 바람직하게는 약 0.00001초이다. 96kHz의 디지털 샘플 레이트의 경우 시간 지연은 0.00001초일 수 있다.
모듈(26)에 의해 수행될 수 있는 오디오 신호 성분에 거리 특성을 추가하는 단계(도 16d 참조)는 오디오 신호 성분의 제1 수정된 버전을 획득하기 위해 제1 시간 지연을 도입하는 제1 신호 지연 연산(160), 제1 신호 감쇠 연산(162) 및 신호 피드백 연산(164)을 사용하여 문제의 오디오 신호 성분을 수정하는 단계 및 오디오 신호 성분의 제2 수정된 버전을 획득하기 위해 제1 수정된 버전과 문제의 오디오 신호 성분을 결합하는 단계(166) 및 오디오 신호 성분의 제2 수정된 버전에 대해 제2 신호 감쇠(168) 및 선택적으로 제2 시간 지연을 도입하는 제2 신호 지연 연산(170)을 수행하는 단계를 포함한다. 여기서, 제1(162) 및 제2(168) 신호 감쇠는 피실험자로부터의 가상 거리에 종속하여 수행된다.
연산(162)을 위한 감쇠 상수 b 값과 연산(168)을 위한 감쇠 상수 a 값은, 문제의 오디오 신호 성분과 관련된 가상 지점의 거리에 종속하여, 변한다. 상기 상수는 신호가 곱해지는 상수를 나타내는 것으로 이해될 수 있다. 따라서 이 값이 1보다 크면 신호 증폭이 수행된다. 이 값이 1보다 작으면 신호 감쇠가 수행된다. b=0 및 a=1인 경우에는 거리가 인코딩되지 않고 b=1 및 a=0인 경우에는 최대 거리가 인코딩될 것이다. 이득 G의 값 a는 다음과 같이 b에 대한 값과 관련될 수 있다.
a = (1-b) x
여기서 x의 값은 고주파 손실 곡선의 기울기에 영향을 미치는 신호 피드백의 양에 적용되는 곱셈 계수이다.
바람직하게는, 시간 지연 연산(160)에 의해 도입되는 시간 지연 Δt1은 가능한 한 짧다. 0.00007초 미만, 바람직하게는 0.00005초 미만, 보다 바람직하게는 0.00002초 미만, 가장 바람직하게는 약 0.00001초이다. 96kHz의 디지털 샘플링 속도의 경우 시간 지연은 0.00001초일 수 있다.
시간 지연 연산(170)에 의해 도입되는 선택적 시간 지연 Δt2는 가상 음원의 움직임과 관련된 도플러 효과를 생성한다. 시간 지연은 다음과 같이 결정될 수 있다.
△t2 = r / v
여기서 r은 카테시안 좌표(x, y, z)로 표시되는 문제의 오디오 신호 성분과 관련된 가상 지점의 위치와 관점(x, y, z)으로 표현될 수 있는 피실험자 사이의 거리이며, v는 매질을 통과하는 음향의 속도를 나타내는 상수이다.
도 16d에 도시된 흐름도 대신에, 도 20에 도시된 임의의 흐름도가 동일한 파라미터 값과 함께 사용될 수 있음을 이해해야 한다.
패닝 모듈(28)은 수정된 오디오 신호 성분 y'_n을 감쇠 및 합산하여 오디오 출력 신호 z_p, 즉 {z_1, z_2, z_3, …, z_P }를 생성하며, 각각의 오디오 출력 신호는 개별 확성기(p)와 연관된다. 여기서 사용된 "P"는 확성기의 총 개수를 나타낸다.
패닝 모듈은 도 17을 참조하여 더 설명된다. 도 17은 복수의 확성기(P)에 있는 각각의 확성기(p)에 대한 확성기 오디오 신호(z_p)를 결정하기 위한 방법을 도시하는 흐름도이다. 도시된 방법 및 시스템은 또한 신호 분배 매트릭스(28) 또는 패닝 매트릭스(28)로 지칭될 수 있다. 이 실시예에서, 확성기 오디오 신호 z_p는 복수의 확성기 중의 각각의 확성기 p(미도시)에 대해 결정된다. 신호 분배 매트릭스로의 입력은 가상 음원의 각 가상 지점과 관련된 복수의 오디오 신호 성분이며, 복수의 오디오 신호 성분 y_n은 본 명세서에 설명된 방법에 따라 결정된다.
각각의 확성기 p는 확성기 계수 a_p와 연관된다. 도시된 실시예에서, 확성기 p에 대한 확성기 오디오 신호 z_p를 결정하는 단계는 확성기 특정 감쇠 오디오 신호 성분 세트를 얻기 위해 확성기 계수 a_p에 기초하여 각각의 오디오 신호 성분 y_n을 감쇠하는 단계를 포함한다. 확성기에 대한 확성기 계수는 문제의 확성기와 가상 지점 사이의 거리에 기초하여 결정될 수 있다. 확성기 계수 a_p에 기초하여 각각의 오디오 신호 성분 y_n을 감쇠시키는 단계는 간단한 곱셈 y_n * a_zp을 수반할 수 있다. 이런 경우에, 확성기 p에 대한 감쇠된 오디오 신호 성분의 확성기 특정 세트는 {y_1 * a_p ; y_2 * a_p ; y_3 * a_p ; ... ; y_N * a_p } 와 같이 기술될 수 있으며, 여기서 N은 가상 음원에 대해 정의된 가상 지점의 총 개수를 나타낸다. 결과적으로 이 세트의 오디오 신호 성분은 확성기 p에 대한 확성기 오디오 신호 z_p를 얻기 위해 합산된다. 이 방법은 모든 확성기 P에 대해 수행된다.
신호 분배 매트릭스(28)는 도 17와 도시된 바와 같이, 곱셈기의 출력 신호가 공급되는 입력 라인이 출력과 교차하는 각 위치에 있는 합산기 및 곱셈기를 가질 수 있다. 곱셈기는 각 확성기 진폭을 위해 당업계에 일반적으로 알려진 패닝 시스템에 의해 생성된 값과 같은, 컨트롤러가 지정한 규정된 확성기 계수를 사용하여 입력 라인으로부터 수신된 신호를 감쇠시키고 결과 신호를 합산기로 출력한다. 곱셈기가 신호에 소정의 계수를 곱하는 처리단계를 '3차원 패닝 처리단계'라고 할 수 있다. 즉, 제어부는 각각의 출력 시스템에 대응하는 관련 계수에 적절한 값을 부여할 수 있어서, 복수의 확성기를 통해 피실험자에게 제공되는 결과적인 오디오 신호는 피실험자와 연관된 각도, 거리, 깊이 및 높이와 같은 공간상의 형상 및 위치를 갖는다. 곱셈기의 처리 결과, 가상 음원에서부터 피실험자로의 전파 방향 및 치수가 적절하게 시뮬레이션된다. 합산기는 곱셈기의 오디오 출력 신호를 각 출력 라인에 공급하며, 각 출력 라인은 확성기 구성에 포함된 확성기와 관련된다.
각각의 출력 라인은 감쇠 계수를 갖는 신호 감쇠기를 더 포함할 수 있다:
a = 1 / N2
여기서 N은 신호 분배 매트릭스의 오디오 신호 성분 yn의 수이며,
획득된 감쇠 a는 다음과 같이 데시벨 단위의 이득 G로 변환된다.
G(dB)=10 log10(a)
도 3은 실시예에 따른 도 2에 설명된 각각의 모듈에 대한 입력을 도시하는 흐름도이다.
상기 방법은 형상 생성기(30)를 포함할 수 있으며, "형상 데이터"로도 지칭될 수 있는, 가상 객체의 치수, 위치 및 배향을 결정한다. 형상 생성기는 가상 객체를 구성하는 가상 지점 세트를 출력할 수 있으며, 가상 지점 세트에 있는 각 가상 지점은 가상 위치와 연관된다. 가상 지점은 도시된 바와 같이 각각의 모듈에 입력될 수 있다. 형상 생성기는 도 21을 참조하여 아래에서 자세히 설명한다.
도 21은 가상 객체를 정의하는 표현(representation)을 결정하는 방법을 도시한다. 상기 표현은 가상 객체의 공간적 치수, 즉 형상 및 크기 및 피실험체(2)에 대한 위치, 그리고 선택적으로 가상 객체의 밀도를 나타낸다.
가상 지점은 가상 객체의 체적에 걸쳐 또는 표면에 걸쳐 균등하게 분포될 수 있다. 이런 표면 상의 또는 이런 체적에 걸친 가상 지점의 밀도가 높을수록 해상도가 높다.
가상 객체는 속이 빈 중공(hollow)으로 정의될 수 있음을 인식해야 한다. 이 경우에, 표현은 가상 객체 '내부'의 가상 지점을 정의하지 않고, 오직 가상 객체의 외부 면과 가장자리의 지점만 정의한다. 가상 객체는 '속이 비지 않은 중실(solid)'일 수도 있다. 이런 경우에, 표현은 가상 객체의 외부 표면 및 가장자리 상의 가상 지점에 더하여, 가상 객체의 내부 체적에 걸쳐 균등하게 분포될 수 있는, 가상 객체 "내부" 가상 지점을 정의한다.
일 실시예에서, 가상 객체는 기하학적 형상, 즉 순수한 입체 형상, 또는 반기하학적, 불규칙적 형상을 가지며 또는 유기적으로(organically) 형상을 가질 수 있다. 가상 객체는 임의의 형태를 가질 수 있고 임의의 방법이 가상 객체 형상 및 가상 객체의 형상을 구성하는 가상 지점을 결정하는 데 사용될 수 있음을 이해해야 한다.
가상 지점의 밀도는 가상 지점의 해상도 및/또는 '그리드 해상도'라고도 할 수 있다.
도 21은 표현을 획득하는 단계가 가상 객체의 입체 형상(210)과 가상 지점 위치(212)를 획득하는 단계를 포함할 수 있음을 도시한다. 입체 형상(210)을 획득하는 단계는 가상 객체의 입체를 획득하기 위해 형상 생성기가 스케일링 가능한 입체(xyz) 콘테이너(214)를 생성하고 형상 좌표(58) 및 스케일링된 입체의 경계 내의 형상 체적을 결정하는 단계를 포함할 수 있다. 도시된 예에서, 가상 객체는 피라미드 형상이다. 또한, 가상 지점 위치(212)를 획득하는 단계는, 그리드 생성기가 격자(218)를 결정하는 단계(세 주요 격자는 선택된 형상의 입체에 따라 도입); 및, 형상 내의 가상 지점 위치를 얻기 위해, 도입된 각각의 격자를 따라 지점의 해상도를 정의함으로써 가상 지점 밀도(220)를 결정하는 단계를 포함할 수 있다.
무한 격자 L은 다음과 같이 정의할 수 있다.
L=a.(Z.v_1 + Z.v_2 + Z.v_3)
여기서 Z는 정수의 고리(ring)이고, v_1, v_2, v_3은 3개의 벡터를 나타내며 상수 a는 다음과 같은 최소 증분과 관련된다.
={points(x,y), x=a.n.(v_1.x)+a.m.(v_2.x), y=a.n.(v_1.y)+a.m.(v_2.y), 여기서 n, m은 정수}.
음향은 모든 방향으로 대칭적으로 전파되는 것으로 간주되기 때문에, 격자에 의해 생성된 중첩되거나 또는 접선 원의 패턴이 고려되고, 여기서 구체(sphere)는 그리드의 각 가상 지점을 중심으로 한다. 원의 반경은 증가될 수 있어 공간에서 음향 전파의 생성된 패턴에 영향을 미친다.
도시된 예에서, 격자 K=3이 표시되며, 이는 격자의 각 축을 따라 3개의 가상 지점이 정의됨을 의미한다.
또한, 본 방법은 '샘플 레이트 보간기' 연산(32)을 포함할 수 있다. 이 연산은 바람직하게는 제1 반사 모듈(12)에서 수행되는 신호 프로세스를 수정하기 위해 가상 입력 소스의 위치 데이터(x, y, z)에 종속하여 수행된다. 상기 연산은 또한 획득된 형상 데이터에 종속하여 수행되며 잔향 모듈(18)의 신호 프로세스를 수정하고 최적화하는 역할을 한다. 샘플 레이트 보간은 도 13을 참조하여 아래에서 추가로 설명된다.
잔향 오디오 신호를 생성하는 방법은 또한 '값 필터' 연산(34), '시간 밀도 스케일러' 연산(36)을 포함할 수 있다. 이 연산들은 획득된 형상 데이터에 종속하여 수행되며 잔향 모듈(18)의 신호 프로세스를 수정하고 최적화하는 역할을 한다. 연산(34 및 36)은 도 12를 참조하여 아래에서 추가로 설명된다.
본 방법은 입력 소스 위치(x, y, z) 및 회전(x, y, z) 및 청취자의 가상 및/또는 실제 위치를 나타내는 '관점(vantage point)'에 관한 제어기 데이터를 획득하는 단계를 더 포함할 수 있으며, 획득한 데이터를 디지털 신호 프로세스의 여러 모듈에 대한 입력으로 사용한다.
도 2에 설명된 오디오 신호 처리 및 도 3에서 설명된 형상 데이터 획득 및 수정, 샘플 레이트 보간, 값 필터링 및 시간 밀도 스케일링은, 소프트웨어 프로그램 또는 코드 부분을 실행하여, 실시간으로 수행될 수 있다.
본 발명의 일 양태는 본 명세서에 설명된 바와 같은 잔향 오디오 신호를 생성하기 위한 방법을 수행하도록 구성된 데이터 처리 시스템에 관한 것이다. 이러한 데이터 처리 시스템은 오디오 출력 포트에 연결될 수 있고; 그리고 선택적으로 오디오 입력 신호를 획득하기 위해 오디오 입력 포트에 실시간으로 연결될 수 있다.
본 발명의 실시예는 도 2 및 도 3에 설명된 모듈 중 하나, 여러 개 및/또는 모두(의 일부)를 수행하는 단계를 포함할 수 있음을 이해해야 하며; 모듈은 다른 순서로 수행될 수 있거나 및/또는 반복적으로 수행될 수 있다.
도 4는 실시예에 따라 잔향 오디오 신호를 생성하기 위한 방법을 도시하고, 방법(42a)을 수행하여 잔향 오디오 신호(40a)를 결정하는 단계 이외에도, 방법(42b)을 수행하여 추가 가상 객체에 대해 추가 잔향 오디오 신호(40b)를 결정한다. 방법(42c)을 수행하여 신호(40c)와 같은 추가 잔향 오디오 신호를 생성할 수 있다. 상기 방법(42a, 42b, 42c)은 본 명세서에서 설명된 바와 같은 잔향 오디오 신호를 결정하기 위한 방법일 수 있다. 이러한 방법은 모두 예를 들어 도 2에 도시된 방법일 수 있다.
도 4에 표시된 각각의 방법(42)은 가상 음원과 가상 객체의 결합과 연관되어 있음을 이해해야 한다.
도 4에 도시된 실시예에서, 추가 잔향 오디오 신호(40b)를 결정하기 위해, 방법(42a)에 의해 생성된 신호가 입력 오디오 신호로서 취해진다. 바람직하게는, 도 2에 표시된 바와 같은 신호(21)가 추가 잔향 오디오 신호를 생성하기 위한 입력 오디오 신호로서 사용된다. 그러나 원칙적으로 방법(42a)을 수행하는 동안 생성된 모든 신호는 오디오 입력 신호로서 방법(42b)에 제공될 수 있다. 바람직하게는, 방법(42b)은 또한 방법(42a)과 연관된 가상 객체의 가상 지점을 입력으로서 수신한다. 즉 방법(42a)이 잔향 오디오 신호(40a)를 생성하기 위한 가상 객체의 가상 위치를 수신한다. "가상 음원"에 대해 방법(42b)과 연관된 가상 객체의 가상 지점의 가상 위치를 결정할 수 있고, 방법(42b)를 위한 소스는 방법(42a)와 연관된 가상 객체이다.
다음으로, 잔향 오디오 신호(40c)를 결정하기 위한 또 다른 방법(42c)은 방법(42b)을 수행하는 동안에 생성된 임의의 신호를, 바람직하게는 도 2에 표시된 신호(21)를 입력 오디오 신호로서 사용하여 수행될 수 있다. 이러한 경우에, 방법(42c)은 또한 방법(42b)과 관련된 가상 객체, 즉 잔향 오디오 신호(40b)가 생성되는 가상 객체의 위치를 입력으로서 수신한다.
원칙적으로, 잔향 오디오 신호를 결정하기 위해 임의의 수의 신호가 연속적으로 및/또는 동시에 임의의 수의 방법(42_x)에 입력될 수 있다. 잔향 오디오 신호를 생성하는 방법은 신호를 결합하여 오디오 입력 신호로 사용할 수 있다.
추가 잔향 오디오 신호를 생성하기 위한 추가 방법(42b)을 위해 방법(42a)이 입력되는 신호를 생성할 수 있지만, 방법(42b)을 수행하는 동안에 생성된 신호는 동시에 다시 방법(42a)에 대한 입력 오디오 신호로 사용되는 신호를 생성할 수 있다. 따라서, 방법(42a, 42b) 사이에서 피드백 연산이 가능하며, 여기서 이들 방법과 각각 연관된 두 객체는 방법(42a 또는 42b) 중 어느 하나에 초기에 삽입된 오디오 입력 신호에 종속하여 잔향을 생성하는 서로에게 반영된다. 물론, 각각의 방법(42a 및 42b)은 서로 다른 잔향 가상 객체와 연관되기 때문에 자체 형상 데이터 및 공간 위치 및 회전(x, y, z)을 입력으로 갖는다.
따라서, 본 명세서에서 언급되는 가상 객체는 또 다른 가상 객체에 대해 본 명세서에서 언급되는 가상 음원을 형성할 수 있다.
결국 도 4에 도시된 실시예는 음원과 가상 객체 사이의 관계를 확립할 수 있게 한다. 본 명세서에서 사용되는 가상 객체는 "음원" 또는 "입력 소스"라고도 지칭되는 여기(excitation) 소스로부터 음향을 반사하고 반향시키는 객체를 가상적으로 표현하는 것으로 이해될 수 있다.
잔향 오디오 신호(40a) 및 추가 잔향 오디오 신호(40b), 및 신호(40c)와 같은 선택적인 추가 잔향 오디오 신호는 최종 잔향 신호를 결정하기 위해 결합될 수 있음을 인식해야 하며, 최종 잔향 신호는, 선택적으로 피닝 시스템을 경유하여, 하나 이상의 확성기 세트로 전달된다.
도 5는 실시예에 따른 제1 잔향 오디오 신호 생성 방법을 위해 오디오 입력 신호 x가 입력 오디오 신호로 사용되고 그리고 제2 잔향 오디오 신호 생성 방법을 위해 결과적인 잔향 오디오 신호가 후속하여 입력 오디오 신호로 사용되는 실시예를 도시한다.
두 방법 모두 확성기 구성에서의 각 확성기 p에 대한 개별 오디오 출력 신호 z_p를 생성하며, 이는 확성기에 공급되기 전에 먼저 합산되고 그리고 선택적으로 0-1 범위의 승수로 감쇠 및/또는 증폭된다.
도 6은 실시예에 따른 잔향 오디오 신호 생성 방법의 상세 흐름도이다. 이 실시예는 입력 오디오 신호를 수신하는 단계를 포함한다(도 6의 좌측 참조). 입력 오디오 신호는 선택적으로 도 5에 설명된 바와 같은 실시예에 따른 다른 잔향 오디오 신호 생성 방법을 수행하면서 결정되어진 오디오 신호 성분의 합이다.
도 6의 실시예는 다중 대역 필터(10)에 입력 오디오 신호를 제공하는 단계를 포함한다(또한 도 2 참조). 따라서, 이 실시예는 다중 대역 필터(10)를 적용하는 단계를 포함하는 입력 오디오 신호를 필터링하는 단계를 포함한다. 다중 대역 필터(10)를 적용하는 단계는 각각의 감쇠 계수를 사용하여 입력 오디오 신호의 각각의 주파수 대역을 감쇠시키는 단계를 포함하며, 각각의 감쇠 계수는 가상 객체의 재질에 기초하여 결정된다.
특정 예에서, 다중 대역 필터는 각 주파수 대역 f에 대해 개별적으로 감쇠 계수 a(dB)가 결정되는 8 옥타브 대역 이퀄라이저로 구성된다. 감쇠 계수의 값은 dB를 파워 비율로 변환하는 표준 방정식으로 제공된다.
G(dB) = 10log10(Pt/Pi)
여기서 Pt는 파워 레벨이고 Pi(1)은 기준 파워 레벨이다. G(dB)는 파워 비율 또는 dB로 표시된 이득 a(dB) = G(dB))이며 파워 비율은 다음과 같이 흡수 계수로 변환된다.
α = 1-(Pt/Pi)
α의 값은 흡수 계수에 대한 ISO354 표준으로부터 얻을 수 있으며, 데이터는 재료 시험을 위한 표준화된 방법을 포함한다(Bork, 2005b).
실시예에서, 가상 객체는 석회암 벽이다. 주파수 f(Hz)로 표시된 옥타브 대역은 ISO354에 설명된 석회암 벽에 대한 무작위 입사 흡수 계수 α로 주어진다:
f(125Hz) α=0.02,
f(250Hz) α=0.02,
f(500Hz) α=0.03,
f(1000Hz) α=0.04,
(f2000Hz) α=0.05,
(f4000Hz) α=0.05,
(f8000Hz) α=0.05,
f(16000Hz) α=0.05.
주파수 f(Hz)의 각 옥타브 대역에 대해 감쇠량 a(dB)를 적용함으로써 입력 오디오 신호가 수정되어, 반사음의 일측 강도(Ir ~ Pt)와 입사음의 일측 강도(Ii ~ Pi)의 차이치가 석회암 벽에 의한 음향 에너지의 흡수이다. 따라서 결과적인 반향은 뚜렷한 물성의 특징을 포함한다.
본 방법은 (제1 반사 모듈(12)에서, 도 2 참조) 입력 오디오 신호의 필터링된 버전에 기초하여, 가상 객체 상의 각 가상 지점에 대한 가상 지점 오디오 신호 성분 y(t)_n을 결정하는 단계를 더 포함한다. 여기서, 각각의 가상 지점 오디오 신호 성분 y(t)_n을 결정하는 단계는 (필터링된) 오디오 입력 신호를 대상으로 가상 지점-특정 연산을 수행하는 단계를 포함한다. 도시된 실시예에서, 가상 지점-특정 연산은 신호를 감쇠시키는 감쇠 연산(52), 임계 주파수보다 더 높은 주파수를 필터링하는 저역 통과 필터 연산(54) 및 시간 지연을 도입하는 시간 지연 연산(56)을 수행하는 단계를 포함한다. 본 명세서에서 사용되는 바와 같이, 차단 주파수라고도 지칭되는 임계 주파수 위 또는 아래의 주파수를 필터링하는 단계는 그러한 임계 주파수까지 및 그 이상까지, 또는 각각의 이러한 임계 주파수까지 및 그 이하까지 점진적으로 증가하는 주파수를 감쇠시키는 것으로 이해될 수 있다. 따라서 필터링은 차단 주파수보다 높거나 낮은 주파수가 완전히 제거되거나 및/또는 제거되지 않음을 의미하지 않는다.
제1 반사 모듈(12)은 음향의 제1 반사를 생성한다. 각 오디오 신호 성분 yn은 가상 객체의 개별 가상 지점과 연관된다. 또한, 각각의 가상 지점 오디오 신호 성분 yn은 연관된 가상 지점의 가상 위치에 기초하여, 특히 가상 음원으로부터의 가상 거리에 기초하여 결정된다. 생성된 잔향 오디오 신호는 가상 음원에서 발생하는 오디오 신호를 반사하는 것으로 이해될 수 있다. 이 가상 음원의 위치는 예를 들어 가상 객체의 가상 표현으로 정의된다.
각각의 가상 지점에 대한 감쇠 연산(52), 저역 통과 필터링 연산(54) 및 시간 지연 연산(56)은 임의의 순서로 수행될 수 있고; 하나 이상의 단계가 생략, 반복, 수정 및/또는 추가될 수 있음을 이해해야 한다.
관련된 가상 지점과 음원 사이의 거리 r에 종속하는 오디오 신호 성분 y_n의 연산(52)에서의 감쇠 a(dB)는 G->Pt/Pi로 변환하여 주어진다.
Pt = x(1/r2)
여기서 음향 강도는 I ~ Pt2로 주어지고 x는 적용되는 감쇠량을 제어하기 위한 0-1 사이의 곱셈 계수이다.
선택적인 곱셈 계수 x, '스케일러'는 매개변수 스케일링 기능을 제공하기 위해 설명된 오디오 신호 프로세스의 임의의 다른 단계에 추가될 수 있으며, 이 스케일러는 사용자가 제어기 데이터를 전송하여 잔향의 음향 출력 양태를 수정함으로써, 즉 출력 값을 높이거나 낮추어서, 따라서 연산의 효과를 확대하거나 감소시킬 수 있음을 이해해야 한다.
저역 통과 필터(54)는 가상 지점과 가상 음원 사이의 거리 r에 종속하여 오디오 신호 성분 yn의 감쇠 함수를 구성하며, 여기서 주파수 f(Hz)의 감쇠 a(dB/m)는 매질을 통해 전파되는 음향 흡수의 함수이며, 반사되기 전에 음향의 고주파 소실을 포함한다.
저역 통과 필터(54)의 차단 주파수 fc는 일반적으로 입력에 대한 출력의 음압 진폭비가 0.707의 크기를 갖는 주파수로 정의되며, 여기서
는 음압 레벨(SPL)이고
그리고
그리고
a(dB/m) = -3/r
실시예에서, 공간 내의 음향의 전파 매체는 주어진 온도 및 주어진 습도를 갖는 공기이다. 음향의 공기 흡수 방정식을 재배열하여 감쇠의 함수로 주파수를 결정할 수 있다.
여기서 Pa는 kPa의 주변 대기압, 
는 기준 주변 대기압, T는 주변 대기 온도, 
는 기준 주변 대기 온도이다.
은 산소 이완 주파수이다.
는 질소 이완 주파수이다.
는 수증기의 몰 농도이다.
는 포화 증기압이고 hr은 백분율로 나타낸 상대 습도(%)이고 
는 삼중점 등온선 온도이다(Zuckerwar, Meredith, 1984).
주파수 f를 정의하는 방정식에 대한 대략적인 해는 주파수가 정현파 방정식에 내재되어 있고 감쇠 a가 주파수에 종속하는 멱지수(exponent)의 형태인 경우,
y = A = A0 e-a cos(wt)
여기서 A는 진폭(dB), A0는 초기 진폭(dB), a는 감쇠 계수(dB/m)이다.
a(dB/m) --> α로 재정렬하면,
a(dB/m) = 10log10(Pt/Pi)
그리고
α = 1-(Pt/Pi)
흡수 계수를 주파수의 함수로 분석하여 최소 차수 = 3의 다항식을 찾는다. 흡수 계수와 주파수를 별도로 분석하여 흡수계수는 다음과 같이 찾는다.
그리고 주파수는 다음과 같다.
여기서 n은 데이터 지점이다. 두 방정식을 결합하면,
여기서 y는 온도 및 습도와 같은 외부 변수에 특정한 계수이다. 더 높은 주파수에서 흡수 계수와의 최대 상관 관계를 달성하기 위해 계수 평균을 찾는다.
y ~ 5 x 10-8
그리고 온도와 습도의 조건에 따라 변한다.
주파수(
= 
)를 흡수 계수의 함수로 구하기 위해 공식을 재배열하면,.
이고, 다양한 온도와 습도에 대한 보정 계수 y는 다음과 같다.
각 가상 지점 오디오 신호 성분 yn에 대한 시간 지연 Δtn(ms)을 도입하는 시간 지연 연산(56)은 거리 r에 종속하여 다음과 같이 주어진다.
△t(ms) = (r/v)103
여기서 v는 매체를 통해 전파되는 음향의 속도, 즉 온도 20℃, 평균습도 50%의 공기 중에서 343m/sec이고, r은 가상 지점과 가상음원 사이의 거리, 특히 가상지점과 가상음원의 중심 사이의 거리이다.
따라서, 가상 객체의 각 가상 지점에 대해, 감쇠 연산(52), 저역 통과 필터 연산(54) 및 시간 지연 연산(56)을 포함하는 가상 지점 특정 연산을 적용함으로써, 가상 지점 오디오 신호 성분 yn이 생성된다. 신호 성분 yn은 음원에 대한 가상 객체의 위치에 종속하여 음원으로부터 발생하고 가상 객체에 의해 반사되는 음향의 제1 반사와 유사하다. 바람직하게는, 성분 yn은 특정 온도 및 습도의 대기와 같은 매질을 통한 음향의 전파에 영향을 미치는 조건에 따라 결정된다.
제1 반사 연산(12)의 결과인, y(t)_n 이라고도 지칭되는 가상 지점 오디오 신호 성분 yn은 (i) 도 6c에 도시된 바와 같이, 잔향 연산(18)의 결과인 대칭 그룹 오디오 신호와 합산되는 오디오 신호 성분으로 전달되고; (ii) 합성 오디오 신호를 얻기 위해 합산된다(합산기(53) 참조).
이어서, 합성 오디오 신호는 인수 a = 1/N2에 의해 감쇠될 수 있으며(감쇠 연산(55) 참조), N은 가상 지점 오디오 신호 성분의 수이다. 여기에서, N은 오디오 신호 성분의 수이고 감쇠 a(dB) = G(dB)는 G->Pt/Pi로 변환되며 여기서 파워 비율은 게인 G에 대해 dB로 제공된다.
설명된 오디오 신호 프로세스 내에서 2개 이상의 오디오 신호가 합산되는 곳마다 합산된 오디오 신호의 수에 종속하여 위의 감쇠 연산이 적용될 수 있음을 이해해야 한다.
그 다음, 합성 오디오 신호는, 전술한 흡수 필터일 수 있는, 제2 다중 대역 필터링 연산(16)을 수행함으로써 필터링된다. ISO354로부터 제1 흡수 필터(10)용으로 선택된 값은 바람직하게는 제2 흡수 필터(16)에 대해서 동일한 값이다.
그 다음, 필터링된 합성 오디오 신호는 감쇠 연산(57)을 수행함으로써 감쇠된다. 이것은 감쇠가 하나 이상의 거리 추가 세트 K에 있는 개별 거리의 수에 의존한다는 차이점을 제외하고 연산(55)과 동일한 연산으로 이해될 수 있다. 즉,
a = 1/K2
실시예는 본 명세서에 설명된 바와 같이 하나 이상의 거리 오디오 신호 d_k를 결정하는 단계를 더 포함하며, 이 예에서는 하나 이상의 거리 추가 세트에 있는 개별 거리당 2개의 거리 오디오 신호, 즉 제1 거리 오디오 신호 d_k+ 및 제2 거리 오디오 신호 d_k- 가 결정된다.
여기서, 개별 거리에 대한 제1 거리 오디오 신호를 결정하는 단계는 시간 지연을 도입하는 시간 지연 연산(64) 및 신호 피드백 연산(58)을 수행하여 합성 오디오 신호를 수정하는 단계를 포함한다. 제1 거리 오디오 신호를 결정하는 단계는 또한 감쇠 연산(60) 및 저역 통과 필터 연산(62)을 수행하는 단계를 포함한다.
도시된 실시예에서, 개별 거리에 대한 제2 거리 오디오 신호를 결정하는 단계는 제2 시간 지연을 도입하는 제2 시간 지연 연산(72), 신호 반전 연산(68), 신호 감쇠 연산(68), 저역 통과 필터 연산(70) 및 제2 신호 피드백 연산(66)을 수행하여 합성 오디오 신호를 수정하는 단계를 포함한다. 원칙적으로, 연산(64) 및 연산(72)는 동일하고 연산(62) 및 연산(70)은 동일하다. 또한, 연산(60) 및 연산(68)에 의해 각각 수행되는 감쇠는 동일하지만, 연산(68)은 신호를 반전시키고 연산(60)은 그렇지 않다는 점에 유의해야 한다.
신호 피드백 연산을 수행하는 단계는 예를 들어 도시된 바와 같이 감쇠 연산 전에 거리 오디오 신호를 다시 입력 자체에 재귀적으로 추가하는 단계를 포함할 수 있다. 박스(18a)는 도 2에 도시된 잔향 모듈(18)의 일부일 수 있다는 것을 이해해야 한다.
거리 오디오 신호 d_k+-의 결정에 있어서, 감쇠 연산, 신호 반전 연산(수행된 경우), 저역 통과 필터링 연산 및 시간 지연 연산은 임의의 순서로 수행될 수 있고; 하나 이상의 단계가 생략, 반복, 수정 및/또는 추가될 수 있음을 이해해야 한다. 신호 피드백 연산은 마지막에 수행되는 것이 바람직하고, 거리 오디오 신호와 입력의 합산이 먼저 수행되는 것이 바람직하다.
도시된 실시예에서 2K 거리 오디오 신호가 생성된다는 점에 유의해야 한다.
개별 거리에 대한 제1 거리 오디오 신호는 비반전 거리 오디오 신호라고 할 수 있고, 개별 거리에 대한 제2 거리 오디오 신호는 반전 거리 오디오 신호라고 할 수 있다.
시간 지연 연산(64/72)은 거리 오디오 신호가 결정되는 거리에 종속하여 시간 지연 Δtn(ms)을 도입한다. 이 시간 지연은 다음과 같이 주어지며,
Δt(ms) = (r/v)103
여기서 r은 거리 오디오 신호 d_k가 결정되는 거리이며 v는 매체를 통해 전파되는 음향의 속도, 즉 온도 20℃, 평균습도 50%의 공기 중에서 343m/sec이다.
저역 통과 필터 연산(62/70)은 거리 오디오 신호 d_k가 결정되는 거리 및 매체를 통해 음향이 전파되는 조건에 종속하여 댐핑 함수 거리 오디오 신호를 구성하며, 연산(54)에 대해 위에서 설명한 바와 같이, 거리 r로서 거리 오디오 신호가 결정되는 거리를 선택해야 하는 차이점을 가진다.
감쇠 연산(60/68)은 다음과 같이 시간 지연 연산(64/72)에 의해 도입된 시간 지연 Δtn에 종속하여 수행된다.
a(dB) = -Δtx
여기서 x는 잔향 오디오 신호 Dt(s)의 총 감쇠 시간 및 감쇠 상수 eax의 변수이다.
x = (1/Dt)/eax
eax는 소스로부터 단위 거리당 매질을 통해 전파되는 파동에 대한 감쇠 상수이다(Federal Standard 1037C, 1996). 이는 전파 상수의 실수 부분이며 미터당 네퍼(Np/m) 단위로도 측정된다. 네퍼(neper)는 약 ~8.686dB이다. 따라서 감쇠 상수는 진폭 비율에 의해 정의될 수 있다.
eax = A0/Ax = 1Np = ~8.686
값 Dt(초)은 반향 오디오 신호의 총 에너지가 감소하는 실시간을 결정한다. 가청의 낮은 음량(loudness) 임계값이 -72dB의 표준에서 고려되는 경우에 위의 공식은 실용적인 목적을 위해 다음과 같이 조정될 수 있다.
x = ~½(1/Dt)/eax
결과적으로 감쇠 a(dB)를 적용한 후 각각의 거리 오디오 신호의 실제 진폭 A는 일반적으로 길이가 짧을수록 초기 진폭이 높은 지연 시간 길이 Δt에 따라 달라지며; 또한, 오디오 입력 신호에 존재하는 주파수 fn에 따라 크게 다를 수 있다. 기본 주파수 F와 여러 정수 F(f1, f2, f3 등)인 해당 고조파는 다음과 같이 피드백 연산의 시간 지연과 관련된다.
F(Hz) = 1/(2Δt)
그러나 각각의 거리 오디오 신호 피드백의 시간 크기 M(t)는 -72dB의 음량 임계값에서 각각의 거리 오디오 신호와 동일해져 따라서 각각의 거리 오디오 신호의 크기 M(t)는 Dt(s)와 같다. 이 조건은 총 감소 시간 동안에 일정하게 유지되는 데 필요한 잔향 밀도를 충족한다.
실시예에 있어서, 가상 객체는 둥근 예배당의 형상을 갖고 이 예배당은 석회암으로 만들어진 벽을 갖는다. 이 가상 공간이 ~2.2초의 가청 잔향 감소 시간을 가지며 따라서 Dt(2.2)가 모든 거리 오디오 신호를 수정하는 데 적용된다는 점을 결정했다.
부가적으로, 감쇠 연산(60/68)은 매질을 통해 전파되는 음향의 흡수로부터 기인하는 고주파 소산의 변화에 종속하여 더 변경될 수 있다. 즉, 잔향이 감쇠되는 동안에 높은 주파수가 낮은 주파수보다 상대적으로 빠르게 소산된다. 따라서 지연 시간 Δt가 짧을수록 시간 크기 M(t)가 더 감소할 수 있다. 이는 감쇠 a(dB)를 다음과 같이 증가시킴으로써 달성된다.
a(dB) = x-(Δto /Δtn)x
여기서 x는 총 감쇠 시간 Dt의 가변 함수이고, Δto는 시스템에서 가장 긴 시간 지연인 기준 시간 지연으로, 즉 도 6a에 도시된 블록 18a에서 사용되는 가장 긴 시간 지연이다. 결과적으로 시간 지연 Δtn = Δto 를 가진 지연 라인의 감쇠는 0과 같다.
두 공식을 결합하면 다음과 같다.
a(dB) = x-(Δtnx)-(Δto /Δtn)x
따라서, 감쇠 연산, 저역 통과 필터 연산 및 시간 지연 연산을 적용함으로써, 일단 합산되고, 공간에서의 음원 및/또는 뚜렷한 형상, 크기 및 물성의 객체에서의 일관된 잔향과 유사한 오디오 신호 성분이 특정 온도와 습도의 대기와 같은, 매질을 통한 음향의 전파에 영향을 미치는 조건에 따라 생성된다.
도 6b는 일 실시예에 따라 거리 오디오 신호 d_k+-에 기반하여 대칭 그룹 오디오 신호 s_m+-가 결정되는 방법을 나타내는 흐름도이다. 이 실시예는 각각의 대칭 그룹 m에 대해 제1 대칭 그룹 오디오 신호 및 제2 대칭 그룹 오디오 신호를 결정하는 단계를 포함한다. 또한, 제1 및 제2 대칭 그룹 오디오 신호를 결정하는 단계는 제1 및 제2 거리 오디오 신호의 모든 쌍 중에서 거리 오디오 신호를 선택하는 단계를 포함하며, 각각의 쌍은 문제의 대칭 그룹과 연관되는 하나 이상의 대칭 그룹 거리 세트 중 각각의 거리에 대해 결정되고, 그리고 제1 대칭 그룹 오디오 신호를 결정하기 위해 선택된 거리 오디오 신호를 결합하는 단계, 및 제2 대칭 그룹 오디오 신호를 결정하기 위해 제1 및 제2 거리 오디오 신호의 모든 쌍 중에서 선택되지 않은 거리 오디오 신호를 결합하는 단계를 포함한다.
예를 들어, s_1-의 결정을 위해, 거리 오디오 신호 d_1-와 거리 오디오 신호 d_2+ (및 기타 신호)가 결합된다. 따라서 s_1+의 결정을 위해, 거리 오디오 신호 d_1+ 와 d_2- (및 기타 신호)가 결합된다. 이것은 거리 오디오 신호 d_1과 관련된 거리와 거리 오디오 신호 d_2와 관련된 거리가 그룹 m=1에 대한 하나 이상의 대칭 그룹 거리 세트에 존재한다는 점을 유의하며, 여기서 s_1- 와 s_1+는 대칭 그룹이다. 이러한 거리가 대칭 그룹 m=1에 대한 대칭 그룹 거리 세트에 없으면 s_1- 또는 s_1+에 추가되지 않는다.
일 실시예에서, 가상 객체는 형상에 정의된 54개의 지점를 제공하는 격자 k(=3)를 갖는 40x40x40 m의 중공 정육면체, 즉 이는 정육면체의 6개의 표면에 균등하게 분포된 3x3 개 지점의 '가상 지점 해상도'이다. 이 실시예에서, 하나 이상의 거리 추가 세트는 18개의 개별 거리를 포함한다. 각각의 개별 거리는 고유한 지연 시간 Δt와 연관되고, 343m/sec의 음속, 즉 20C의 온도와 50%의 평균 습도에서 공기를 통한 음의 전파와 관련하여 생성된다. 따라서, 거리 오디오 신호의 각 쌍은 하나 이상의 거리 추가 세트에 있는 개별 거리와 연관된다. 다시 상기하면, 본 명세서에서 언급되는 하나 이상의 거리 추가 세트는 하나 이상의 대칭 그룹 거리의 모든 세트의 모든 거리를 포함한다. 하나 이상의 대칭 그룹 거리의 각 세트는 대칭 그룹과 연관된다. 이 실시예에서, 가상 객체의 각각의 가상 지점은 3개의 대칭 그룹 중 하나에 속한다. 따라서 정육면체에 대한 거리 오디오 신호의 반전 및 비반전 버전의 합산을 수행하기 위한 결과적인 오디오 분배 매트릭스는 아래 표에 따라 정의될 수 있다.
여기서, 열은 대칭 그룹 1에 대한 대칭 그룹 신호 1.1(s_1-), 1.2(s_1+), 대칭 그룹 2에 대한 대칭 그룹 신호 2.1(s_2-), 2.2(s_2+) 및 대칭 그룹 3에 대한 대칭 그룹 신호 3.1(s_M-), 3.2(s_M+)를 나타내며, 본 실시예에서 대칭 그룹의 수는 M=3이다. 상기 열에 있어서의 각 행은 하나 이상의 거리 추가 세트에 있는 개별의 거리와 관련된다. 여기서 거리는 관련 시간 지연으로 표시된다.
따라서 이 표는 대칭 그룹 오디오 신호 1.1를 결정하기 위해, 거리 "27.487ms"에 대한 거리 오디오 신호의 반전 버전 및 거리 "38.873ms"에 대한 거리 오디오 신호의 비반전 버전 및 거리 "47.609"에 대한 거리 오디오 신호의 반전 버전 등등이 함께 합해져서 대칭 그룹 신호 1.1을 형성한다.
도 6b에 도시된 바와 같이 거리 오디오 신호에 기초하여 대칭 그룹 오디오 신호를 결정하기 위한 방법은 바람직하게는 도 2에 도시된 잔향 모듈(18)에서 구현된다는 점에 유의한다.
도 6c는 대칭 그룹 오디오 신호 s_m과 가상 지점 오디오 신호 성분 y_n에 기초하여 잔향 오디오 신호를 결정하는 방법을 나타내는 상세 흐름도이다.
선택적으로, 잔향 오디오 신호를 결정하는 단계는 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분과 결합하는 단계를 포함한다. 선택적으로, 그러한 결합은 수정된 오디오 신호 성분을 결정하는 단계를 포함하고, 여기서 수정된 오디오 신호 성분을 결정하는 단계는 문제의 대칭 그룹의 대칭 그룹 오디오 신호를 대칭 그룹에 속하는 가상 지점에 대해 결정된 각각의 가상 지점 오디오 신호 성분과 합하는 단계를 포함한다. 예시를 위해 도 6c를 참조하면, 이러한 방식으로 수정된 오디오 신호 성분 y'n이 가상 객체의 각각의 가상 지점에 대해 획득된다. 선택적으로, 수정된 성분 y'n을 결정하는 단계는 예를 들어 도 6c에 도시된 바와 같이 가상 지점 오디오 신호 성분에 대칭 그룹 오디오 신호를 합하기 전에, 가상 지점 오디오 신호 성분 및/또는 대칭 그룹 오디오 신호를 감쇠시키는 단계를 포함한다.
가상 지점 오디오 신호 구성 성분의 선택적인 감쇠는 0 - 1(∞ - 0 dB 라인 아웃) 범위로 스케일링된 이득(dB)을 포함하는 가변 매개변수 a에 의해 제어된다. 대칭 그룹 오디오 신호의 선택적 감쇠는 0 - 1 범위로부터 스케일링된 이득(dB)을 포함하는 가변 매개변수 b에 의해 제어된다. 이를 통해 사용자는 음원의 제1 반사음과 잔향음 각각의 오디오 출력 레벨을 독립적으로 조정할 수 있다. 오디오 신호의 이득을 감쇠 또는 증폭하기 위한 추가 곱셈기가 도 6a-c에 설명된 신호 프로세스의 임의의 지점에 추가될 수 있음을 이해해야 한다.
가상 지점 오디오 신호 성분과 대칭 그룹 오디오 신호의 결합, 즉 합산 후 획득한 각각의 수정된 오디오 신호 성분 y'_n 은 가상 객체의 가상 지점과 연관되는 점을 이해되어야 한다.
선택적으로, 적절한 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분에 합한 후에 획득된 각각의 오디오 신호는 추가로 수정된다. 따라서, 이런 실시예에서, 수정된 오디오 신호 성분을 결정하는 단계는 또한 도 16을 참조하여 상술한 바와 같이 모듈(80)(도 2 참조)에 존재하는 공진 모듈, 깊이 모듈, 높이 모듈 및/또는 거리 모듈에 의한 추가 수정을 포함할 수 있다.
각각이 가상 객체의 가상 지점과 연관되는 최종적으로 획득된 수정된 오디오 신호 성분 y'n은 패닝 매트릭스(28)와 같은 패닝 시스템에 입력되어, 각각이 확성기 구성을 이루는 확성기 p와 연관된 개별 오디오 출력 신호 z_p를 형성하기 위해 수정된 오디오 신호 성분 y'n을 분배한다. 도 17은 패닝 시스템의 상세한 실시예를 도시한다.
잔향 연산(18), 공진 연산(20), 깊이 연산(22), 높이 연산(24), 거리 연산(26) 및 패닝 매트릭스 연산(28)의 일부 연산을 적용하는 이점은 가상 객체로부터 반사되는 음원의 일관된 음향 프로젝션이 생성되는 점이며, 음원과 가상 객체 모두 실제 출력 매체, 즉 확성기와 관련하여 독립적으로 제어 및 스케일링이 가능하다. 이는 본 명세서에 설명된 바와 같이 복수의 가상 객체를 정의함으로써 구성될 수 있고, 청취자가 안에서 이동하고 청각적으로 탐색할 수 있는, 동적 가상 공간에 대한 경험이 확성기의 수 및 구성에 주로 의존하지 않는다는 것을 의미한다. 따라서 음원과 가상 객체는 크기가 조정되고, 회전, 기울임이 가능하고, 공간(의 일부)은 클로즈업되어 확대될 수 있고 또는 멀어질 수 있으며, 확성기를 재구성할 필요 없이, 가상 음원 및/또는 가상 음원/가상 객체와 다른 가상 객체와 관련하여, 그리고 관찰자와 관련하여 공간은 모든 거리, 높이 및 깊이에 위치할 수 있다.
도 7은 확성기 구성이 모노 음향 시스템의 실시예를 도시한 것으로, 하나의 개별 출력 채널을 갖는 확성기 시스템이다. 이 경우에서는, 도 6a에 설명된 잔향 연산(18)에서 반전 버전 또는 비반전 버전만이 합성 오디오 신호에 기초하여 각각의 거리 오디오 신호에 대해 생성된다. 이러한 실시예에서, 대칭 그룹 오디오 신호를 결정하는 단계는 이 경우 전체적으로 생략될 수 있다. 그 대신에, 잔향 연산(18a)의 결과인 모든 결정된 거리 오디오 신호(d_k)가 합산되고 선택적으로 감쇠 또는 증폭될 수 있으며; 제1 반사 연산(12)으로부터 얻어지는 모든 가상 지점 오디오 신호 성분 y_n은 합산될 수 있고, 합산된 오디오 신호의 수에 종속하는 공식을 사용하여 감쇠될 수 있고, 그리고 선택적으로 더 감쇠되거나 또는 증폭될 수 있으며; 거리 오디오 신호를 합산한 결과인 오디오 신호와 함께, 그리고 오디오 입력 신호 x와 함께, 확성기의 오디오 출력에 합산되며, 이는 도 2, 도 5 및 도 6a를 참조하여 설명된 바와 같이, 추가 잔향 오디오 신호 결정 방법을 위한 오디오 입력 신호로도 작용할 수 있다.
도 8은 확성기 구성이 스테레오 음향 시스템인 실시예를 도시하며, 2개의 개별 출력 채널을 가진 확성기 시스템은 중간에 위치한 (가상) 청취자의 좌측 및 우측 귀에 대해서 좌측(L, 30a) 및 우측(R, 30b) 확성기 세팅을 포함한다. 일 실시예에서, 상기 시스템은 한 쌍의 헤드폰일 수 있다. 이 경우, 도 6a에 설명된 바와 같은 잔향 연산과 관련하여 각각의 거리 오디오 신호에 대한 반전 및 비반전 버전이 모두 결정된다. 이 실시예에서, 대칭 그룹 오디오 신호의 결정은 전체적으로 생략될 수 있다. 대신에, 지연 라인의 제1 반전 버전의 출력이 제2 지연 라인의 비반전버전, 제3 지연 라인의 반전 버전 등과 합산되어 개별의 좌측 출력 신호(L)를 형성하고; 그리고, 지연 라인의 제1 비반전 버전의 출력이 제2 지연 라인의 반전 버전, 제3 지연 라인의 비반전 버전 등과 합산되어 개별의 우측 출력 신호(R)를 형성한다. 출력 R과 관련하여 L≠R의 출력이며 출력 신호 L 및 R 모두 L 및 R 확성기에 공급되기 전에 선택적으로 감쇠 또는 증폭될 수 있다.
이 실시예에 있어서, 본 명세서에 설명된 잔향 오디오 신호 결정 방법을 위한 입력 오디오 신호인 오디오 입력 신호 x는 L 및 R 채널을 갖는 스테레오 신호로 정의되며, 여기서 L=R 또는 L≠R이 참일 수 있다. 초기 오디오 입력 신호의 L 및 R 출력 신호 모두 L 및 R 확성기에 공급되기 전에 선택적으로 감쇠 또는 증폭될 수 있다.
결과적으로, 제1 반사 연산(12)의 결과인 모든 가상 지점 오디오 신호 성분에 대해, 각각의 지연 시간 Δt에 대한 지연 라인의 L 및 R 버전이 생성되며, 여기서 L=R 또는 L≠R이 참일 수 있다. 제1 반사 연산(12)으로부터 생성된 가상 지점 오디오 신호 성분의 모든 L 버전이 합산되고, 모든 R 버전이 합산되며, 합산된 오디오 신호의 수에 종속하는 공식을 사용하여 L 및 R 모두가 감쇠되고, 선택적으로 L 및 R 확성기에 공급되기 전에 추가로 감쇠되거나 증폭된다.
도 7 및 도 8은 기존 오디오 표준과의 하위 호환성과 관련하여, 설명되어진 발명을 적용하는 가능한 실시예를 나타내는 것을 이해해야 한다. 종래 기술 표준에 맞게 조정된 설명된 바와 같은 오디오 신호 프로세스에 관한 출력 라우팅의 모든 변형이 여기에 포함되는 것으로 간주되어야 한다.
가상 객체의 가상 지점은 도 9에 설명에 따라 결정될 수 있는 가상 지점의 대칭 그룹에 속한다. 가상 지점은 바람직하게는 가상 객체 전체에 걸쳐 및/또는 가상 객체 상에 균등하게 분포된다.
N 개의 가상 지점이 정의될 수 있고 가상 지점은 가상 객체를 정의하는 것으로 이해될 수 있다. 일 실시예에 있어서, 가상 객체는 도 9에 도시된 바와 같이 정사각형 판이고, 형상 위에 정의된 가상 지점이 균등하게 분산된 N=25의 2차원 형상이다. 이 예에서 정사각형 판의 중심점은 가상 점 #13과 일치한다. 정사각형 판이기 때문에 중심점을 기준으로 90도 회전하면 동일한 구성, 즉 동일한 위치와 배향을 갖는 정사각형 판이 다시 생성된다.
도 9의 오른쪽 상단 그림은 각각의 가상 지점이 속한 대칭 그룹을 도시한다. 즉, 괄호 안의 숫자는 가상 지점의 대칭 그룹을 나타낸다. 이 예에는 6개의 대칭 그룹이 있다. 도 9에서 알 수 있는 바와 같이, 대칭 그룹 g6에 속하는 도 9의 가상 지점 #13, 단일 지점은 자체 대칭 그룹을 형성할 수 있다. 비기하학적이거나 또는 더 불규칙하게 형성된 형상의 경우, 회전 대칭의 결여로 인해 여러 또는 많은 단일 지점이 그들 자신의 대칭 그룹을 형성할 수 있다. 따라서 기하학적 또는 규칙적인 다각형 형상은 많은 지점을 포함하는 대칭 그룹이 더 적은 경향이 있고 불규칙한 형상은 더 적은 지점, 즉 최소 하나의 지점을 포함하는, 더 많은 대칭 그룹을 갖는 경향이 있다.
따라서 형상 위에 정의되는 모든 가상 지점 n은 하나의 대칭 그룹 g에 속한다. 이것은 하나의 동일한 대칭 그룹에 포함된 가상 지점에서의 가상 객체의 잔향 조건이 동일하고 이 대칭 그룹에 포함하는 가상 지점은 형상 위에 정의된 모든 다른 지점과 동일한 거리 세트를 공유한다는 점이다.
각각의 대칭 그룹은 하나 이상의 대칭 그룹 거리 세트와 연관된다. 도 9는 각 대칭 그룹 1, 2, 3, 4, 5, 6에 대해서 관련된 대칭 그룹 거리를 도시한다.
도 9에서 알 수 있듯이, 대칭 그룹 gn은 다른 그룹보다 거리 rg(n)<->n 가 더 크거나 작을 수 있으며, 많은 그룹이 다른 그룹과 동일한 거리 rn<->n를 공유할 수 있다. 도 9의 정사각형 판의 예에서, 하나 이상의 거리 추가 세트에는 7개 개별의 거리가 있다. 하나 이상의 거리 추가 세트에 있는 이 7개의 거리가 도 10에 도시되어 있다.
실시예에서, 형상은 격자 k(=5) 및 길이 l(m)의 가장자리를 갖는 정사각형 판이고, 여기서 L= √2l = 1m이고 음향은 속도 v = 343m/초로 판을 통해 전파된다. 도 9에 소개된 방법에 따르면, 총 7개의 개별 거리가 하나 이상의 거리 추가 세트에 존재한다. 각각의 개별 거리는 시간 지연 △t(ms) = (rn<->n/v)103과 연관된다.
가상 객체에 대해 정의된 가상 지점의 수와 관련하고 그리고 도 10에 설명된 예에 따르면, 설명된 방법은 특정한 형상 및/또는 특정한 크기 및 물성의 가상 객체에 고유한 필수 정보를 잃지 않고, 소망하는 일관성, 밀도 및 평활도를 갖는 잔향 오디오 신호를 생성하는 데 필요한 연산 부담을 줄이는 매우 효율적인 방법을 포함한다.
예를 들어, 도 9에 소개된 25개의 가상 지점이 있는 정사각형 판인 가상 객체의 모든 기존 가상 지점 쌍 사이의 각각의 거리를 위한 간단한 신호 경로는 600개의 개별 오디오 신호와 연관된 25 x 24 = 600개의 거리 오디오 신호 또는 1200개의 거리 오디오 신호(각각의 거리에 대해 2개의 거리 오디오 신호가 결정되는 경우)가 형성되어, 이론적으로 가상 음원에서 가상 객체로의 제1 반사 이후 잔향의 1차 오더의 반사를 생성할 수 있다. 또한, 거리 오디오 신호의 합은 잔향 말미의 평활도에 대한 기준을 충족하지 못한다. 잔향 말미는, 도 6a에 설명된 것과 같은 피드백 연산에 의해 생성되는 잔향 말미이며; 또는 더 일반적으로, 종래 기술에서 잔향을 생성하기 위해 공통적인 피드백-지연 네트워크(FDN)에 의한 것이다. 잔향의 모달 밀도에 대한 평활도 기준은, 일반적으로 시간 도메인에서 낮은 주파수에 비해 높은 주파수가 더 빨리 소멸되는 핑크 잡음 신호와 유사한 것으로 설명된다. 이와 같이 생성된 거리 세트 중에서 거리의 동일한 정수 배수가 많이 발견되기 때문에, 주파수 범위 전체에서 말미의 평활도를 불균형하게 만드는 특정 주파수 F가 우세하게 된다. 따라서 잔향 말미를 생성하기 위한 이러한 접근 방식은, 사전 결정된 조건을 만족하지 않기 때문에, 종래 기술의 방법에서는 무시될 것이다.
대신에, 잔향의 소망되는 평활도를 보장하기 위해, 7개의 개별 오디오 신호, 또는 2개의 거리 오디오 신호가 각 개별 거리에 대해 결정되는 경우에는 14개의 개별 오디오 신호가 결정되어야 하는 단지 7개의 개별 거리와 비교하면, 도 9를 참조하여 설명된 제안된 방법은, 필요한 신호 경로의 수가 X85(600:7)로 대폭 감소하며; 동시에 가상 객체의 형상에 고유한 필수 정보를 포함하는 잔향 오디오 신호를 생성하기 위한 이러한 거리 값을 유지한다.
도 10의 실시예에서, 지연 시간에 관련된 거리를 갖는 각각의 25개 지점에 대한 획득된 7개의 개별 거리의 간단한 분포는 다음과 같이,
25(x△t1)+25(x△t2)+25(x△t3)+24(x△t4)+24(x△t5)+16(x△t6)+12(x△t7)=151 신호 경로이며, 거리 오디오 신호가 각 관련 가상 지점에 대한 합계 오디오 신호를 형성하도록 한다.
대신에, 대칭 그룹에 가상 지점을 포함하고 개별 오디오 신호를 각각의 가상 지점에 직접 연관시키는 대신 대칭 그룹과 연관시킴으로써, 필요한 신호 경로의 수를 더 감소될 수 있다.
6(x△t1)+6(x△t2)+6(x△t3)+5(x△t4)+5(x△t5)+3(x△t6)+2(x△t7)=33 신호 경로 +
4(xg1)+8(xg2)+4(xg3)+4(xg4)+4(xg5)+4(xg6)= 61 신호 경로
따라서 잔향에 필요한 신호 경로의 양은, 연산 이후의 결과적인 신호의 품질/정보의 손실 없이, 도 10에 설명된 바와 같이, 대칭 그룹에 대한 거리 오디오 신호를 합산하는 중간 단계를 도입하여 2.5배(151:61)로 더 감소된다.
따라서 본 명세서에 설명된 방법은 처리 데이터 및 신호 경로를 최소한으로 사용하여 필요한 계산 능력을 최적화하는 효율적인 방안 및 고품질 잔향 신호의 밀도 및 평활도에 대한 공지된 기준을 만족시키는 신규한 방법을 포함하며, 동시에 종래 기술에 알려진 인공적인 잔향 생성 방법으로는 얻을 수 없는, 잔향 신호의 형상 및 물성을 표현하는 것과 관련된 잔향 신호에 새로운 품질을 도입한다.
가상 지점 분해능, 즉 형상당 정의된 지점의 수가 증가함에 따라 잔향 연산(18) 내의 하나 이상의 거리 추가 세트에도 개별 거리의 양도 증가한다는 것을 이해할 수 있다. 이는 잔향의 밀도를 증가시키는데; 이는 초당 반향(echo)의 양을 포함하는 '시간 밀도'이며; 그리고 주파수 범위에 걸친 주파수 F(f1, f2, f3 등)의 양과 관련된 '모드 밀도'이다. 여기서 각 고유 F는 각각의 정수 배수가 아닌 지연 시간 Δt의 결과로 간주된다.
본 발명은 특정 거리 rn-n의 극대칭(polar opposites)(+/-)의 균형 잡힌 분포에 의해, 가상 형상을 갖는 잔향의 모달 밀도를 최적화하는 신규의 방식을 더 포함한다.
반전되고 시간 지연된 피드백 신호는 시간 지연 Δt에 기반하여 F(f1, f3, f5 등)의 기수 고조파를 증폭하고, 피드백을 가지고 비반전되고 시간 지연된 신호는 동일한 시간 지연에 기반하여 동일한 F(f2, f4, f6 등)의 우수 고조파를 증폭한다는 점을 알려져 있다. 따라서 잔향 공간 형상의 결과적인 공진 성분인 1대 동일 고조파 시리즈의 우수 및 기수 고조파를 대칭적인 극대칭 신호로 분배함으로써, 결과적인 잔향의 모달 밀도가 형상의 동일한 가상 지점 해상도에 대해 찾아지는 동일한 거리 수에 대해 2배로 증가한다.
일 실시예에서, 가상 객체는 4개의 가상 지점과 따라서 하나의 대칭 그룹을 갖는 정사각형 판이다. 이 하나의 대칭 그룹에 대해 두 개의 대칭 그룹 거리가 존재한다. 각각의 대칭 그룹 거리에 대해 반전된 버전과 비반전된 버전의 두 가지 거리 오디오 신호가 결정된다.
동일한 길이의 여러 수직 또는 평행 거리가 단일 지점을 연결할 수 있으므로, 도 6b를 참조하여 설명된 바와 같이, 형상 위에 있는 지점의 복잡성 전체에 걸쳐 극대칭의 최적 대칭 확산을 달성하기 위해 극 기호가 체스판과 같은 분포하는 것이 제안된다.
도 11a에 따른 실시예에서, 이것은 아래의 표에 도시된 바와 같이 대칭 그룹 오디오 신호를 보여준다. 이 테이블의 각 행은 하나 이상의 거리 추가 세트에 있는 개별 거리와 관련된다. 열의 경우에, 거리는 관련 시간 지연으로 표시된다. 또한 각 열은 대칭 그룹 신호와 관련된다.
따라서, 대칭 그룹 1.1에 대한 대칭 그룹 오디오 신호를 결정하기 위해서는 거리 Δt1에 대한 거리 오디오 신호의 반전 버전과 거리 Δt2에 대한 거리 오디오 신호의 비반전 버전을 함께 더한다. 또한, 대칭 그룹 1.2에 대한 대칭 그룹 오디오 신호를 결정하기 위해, 거리 Δt1에 대한 거리 오디오 신호의 비반전 버전과 거리 Δt2에 대한 거리 오디오 신호의 반전 버전을 함께 더한다.
일 실시예에서, 형상은 4개의 가상 지점 및 2개의 대칭 그룹을 갖는, 동일한 가장자리의 판이지만, 길이 및 폭은 동일하지 않다. 하나 이상의 거리 추가 세트에서 3개의 개별 거리가 발견되고, 각 개별 거리에 대해 2개의 거리 오디오 신호가 결정된다. 그림 11b에 보인 바와 같이 거리 rn- <--> n+의 극대칭에 걸쳐 동일한 분포가 다음과 같이 주어진다.
실시예에서, 형상은 4개의 가상 지점 및 4개의 대칭 그룹을 갖는, 동일하지 않은 측면, 길이 및 폭을 갖는 판이다. 이 예에서, 형상 위에 정의된 각각의 가상 지점은 고유한 대칭 그룹이다. 이처럼, 대칭 그룹에는 두 개가 아닌 하나의 버전만 가진다. 하나 이상의 거리 추가 세트에서 6개의 고유한 거리를 찾을 수 있다. 도 11c에 보인 바와 같이 거리 rn- <--> n+의 극대칭에 걸쳐 동일한 분포가 다음과 같이 제공된다.
유일한 대칭적 반대가 1대 동일한 그룹 내에 포함된 지점이 아니라 그룹 사이에 있기 때문에, 이 실시예에서 분포는 Δt2→g3 및 Δt3→g4에 대해 체스판과 유사한 형태에서 벗어난다는 점에 유의해야 한다.
도 12는 도 9에 설명된 바와 같은, 가상 지점들 사이의 거리에 종속하는 소망의 시간 지연을 얻기 위한 '값 필터' 연산(34); 및 가변 임계값에 기초하여 잔향의 필요되는 시간 밀도를 자동으로 최적화하기 위한 '시간 밀도 스케일러' 연산(36)에 대한 흐름 프로세스이다. "대칭 그룹 결정" 단계까지의 단계들은 값 필터 연산(34)에서 수행될 수 있고 그리고 각 반복에 있어서 이 단계 이후의 단계는 시간 밀도 스케일러 연산(36)에서 수행될 수 있다.
특히, 가상 지점의 위치를 결정하는 단계는 격자 및 형상 데이터를 수신하는 단계를 포함할 수 있다. 이 단계의 출력은 각각의 요소가 다른 모든 가상 지점에 대한 가상 지점의 거리 값을 가지고 있는 NxN 차원의 배열이다.
생성된 가상 지점의 순서 논리는 오른손 좌표계를 구성한다.
const { virtual points } = pd.get virtual points Distances()
가상 공간에서 가상 지점 위치와 관련된 가상 지점 넘버링 및 좌표(x, y, z)는 사용자 지정 형상 스크립트 파일에서 생성될 수 있다. 간단한 가상 개체 스크립트 파일은 vec3 개체가 지정되는 메서드가 포함되어 있다.
# ...
def getPositions(self, density, hollow, speedAdjustedTime):
positions = []
#pyramid base 50x50
positions.append(nap.vec3(-25., 0., -25.))
positions.append(nap.vec3(0., 0., -25.))
positions.append(nap.vec3( 25., 0., -25.))
# ...
positions.append(nap.vec3(12.5, 17.67767, 12.5))
positions.append(nap.vec3(0., 35.355339, 0.))
return positions
# ...
그런 다음, 컴퓨터 프로그램은 함수 호출에서 값을 추출하고 가상 지점의 좌표를 생성할 수 있다.
const config = {
type: "scriptFile",
name: "pyramid",
fileName: "scripts/pyramidShape"
}
const pd2 = new virtual points Distances()
다음 단계에서, 각 가상 지점 쌍 사이의 거리가 계산된다. 각 가상 지점은 (x, y, z) 좌표를 가지기 때문에 다음의 표준 거리 공식이 사용된다.
r = √((x2 - x1)2 + (y2 - y1)2 + (z2 - z1)2)
그 후 음속(v) 값을 수신하여 거리로부터 지연 시간을 환산한다. N 개의 가상 지점을 가진 가상 객체의 경우에 결과는 NxN 차원 행렬이고, 항목 eij는 가상 지점 pi와 pj 사이의 지연 시간 △t(ms)이다. 표면에 균등하게 분포된 3x3 가상 지점이 있는 1x1 미터 판의 경우에 이것은 다음과 같이 제공한다.
이 초기 행렬은, 복수의 가상 지점 중의 각 가상 지점에 대해서 문제의 가상 지점과 복수의 가상 지점 중의 각각의 다른 가상 지점 사이의 각 가상 거리를 포함하는 하나 이상의 가상 거리 세트를 정의함으로써 획득될 수 있다. 이 예에서 가상 지점 #1과 연관된 하나 이상의 가상 거리 세트는 행 "1"에 표시되고, 가상 지점 #2와 연관된 하나 이상의 가상 거리 세트는 행 "2"에 표시되며, 그 이하 부분도 이와 동일하다.
그런 다음 초기 행렬은 다중성 필터를 통과하여 일부 지연 시간을 제거한다. 필터는 가상 지점마다 적용될 수 있으며, 하나의 가상 지점은 행렬의 각 수평 행으로 표시된다. 생성된 시간 지연 값 중 일부는 서로 근접할 수 있으므로, 지연 시간 차이의 절대값을 취하고 그리고 샘플링 속도에 따라, 상기 차이가 한 샘플의 시간보다 작은지 확인하여 동일성을 판단한다. 따라서 이러한 거의 동일한 거리는 개별 거리로 취급되지 않는다.
function equals(a, b, sampleRate) {
return Math.abs(a -b) < (1/sampleRate)
}
가상 지점에 적용된 필터의 제1 예의 경우, 지연 시간의 제1 발생에만 관심이 있으며 모든 중복 항목은 필터링된다. 예제에서는 가상 지점 p1과 가상 지점 p4 사이의 거리가 가상 지점 1과 가상 지점 2 사이의 거리와 같기 때문에 필터링된다. 지점 1과 지점 2 사이의 가상 거리는 유지된다는 점에 유의해야 한다.
필터의 제2 예의 경우, 다른 지연 시간의 정수배인 지연 시간, 즉 거리도 역시 필터링된다. 예제에서는 가상 지점 p1과 가상 지점 p3 사이의 거리는 가상 지점 p1과 가상 지점 p2 사이의 거리 값의 두 배이기에 필터링된다.
이 필터링 단계 후에, 가상 지점별 하나 이상의 거리 세트가 각각의 가상 지점에 대해 획득된다.
이러한 가상 지점별 세트는, 가상 지점과 관련된 하나 이상의 거리 추가 세트를 얻기 위해, 가상 지점과 연관된 하나 이상의 각각의 거리 세트, 즉 초기 행렬의 각 행에 대해, 세트 내의 다른 거리의 정수배인 거리, 즉 문제의 행을 제거하여 먼저 도달할 수 있다. 그런 다음 가상 지점 특정 세트는 각각의 추가 세트에서 개별 거리로 결정될 수 있다. 예를 들어, 지점 1에 대한 가상 지점 특정 세트는 0.972, 1.374 및 2.173을 포함한다.
필터를 만족하는 가상 지점당 지연 시간을 얻은 후에, 행렬 값 세트는 가장 짧은 지연 라인에서 가장 긴 지연 라인으로 오름차순으로 개별 지연 시간, 즉 개별 거리를 정렬한다. 이들 개별 지연 시간은 또한 하나 이상의 거리 추가 세트의 개별 거리로 지칭된다. 이러한 개별 거리가 발견된 후, 대칭 그룹당 개별 거리와 관련된 지연 시간의 발생과 같은 다른 특성이 분석될 수 있다.
동일한 가상 지점 특정 거리 세트를 갖는 가상 지점은 대칭 그룹에 속하는 것으로 결정된다. 예를 들어, 지점 3은 지점 1에 대한 가상 지점 특정 세트와 동일한 0.972, 1.374 및 2.173의 가상 지점 특정 거리 세트를 갖는다. 따라서 지점 1과 지점 3은 동일한 대칭 그룹에 속한다.
이 예에서 0.972ms의 시간 지연(즉, 가상 거리 0.333m)은 두 개의 대칭 그룹, 즉 가상 지점 1-, 2+, 3-, 4+, 6-, 7+, 8-, 9+ 로 구성된 대칭 그룹 1 및 가상 지점 5- 로 구성된 대칭 그룹 2와 관련되고, 1.374ms의 시간 지연(즉, 가상 거리 0.471m)은 가상 지점 1+, 2-, 3+, 4-, 6+, 7-, 8+, 9- 로 구성된 대칭 그룹 1 및 가상 지점 5+로 구성된 대칭 그룹 2와 관련되며, 2.173ms의 시간 지연(즉, 가상 거리 0.745m)은 가상 지점 1-, 2+, 3-, 4+, 6-, 7+, 8-, 9+ 로 구성된 대칭 그룹 1과 관련된다.
수평축 위에 모든 대칭 그룹이 두 가지 버전(1.1 1.2 2.1 2.2 3.1 3.2 등)으로 배치되는 경우 새로운 행렬이 생성된다. 그룹이 1개의 가상 지점으로만 구성된 경우, 하나의 그룹 버전만 존재하고, 따라서 그룹이 행렬에 한 번만 나타난다. 수직축 상에 모든 대칭 그룹 거리에 의해 형성된 하나 이상의 거리 추가 세트에 있는 모든 개별 거리는 지연 시간으로 표현되며, 최단(상단)에서 최장(하단)으로 정렬된다. 그런 다음 극대칭(+/-)이 간단한 체스판과 같은 방식으로 행렬에 추가된다. 마지막으로, 각 대칭 그룹 내의 가상 지점은 도 11a-c에 설명된 프로세스에 따라 그룹 n.1과 n.2 사이에서 번갈아 분포된다.
명령 체인의 제2 단계는 도 3의 블록 36을 참조하는 '시간 밀도 스케일러' 연산을 포함한다. 가상 지점의 대칭 그룹에 대한 시간 밀도 값은 다음과 같이 수행될 수 있다. 가상 지점의 각 대칭 그룹은 하나 이상의 대칭 그룹 거리와 연관된다. 또한, 각 대칭 그룹 거리에 대해서, 하나 이상의 거리 오디오 신호가 시간 지연 연산(도 6a의 64/72 참조)을 사용하여 결정된다. 특정 대칭 그룹에 대한 시간 밀도 값(밀도 지수라고도 함)은 다음과 같이 주어진다.
di = ∑{1/△t1, 1/△t2, …, 1/△tQ}
여기서 △t1은 대칭 그룹 거리를 벗어난 제1 거리에 대해 하나 이상의 거리 오디오 신호를 결정하기 위한 시간 지연 연산에 의해 도입된 시간 지연(초 단위)이고, △t2는 대칭 그룹 거리를 벗어난 제2 거리에 대해 하나 이상의 거리 오디오 신호를 결정하기 위한 시간 지연 연산에 의해 도입된 시간 지연, 등등이다. Q는 밀도 인덱스가 결정되는 대칭 그룹에 대한 대칭 그룹 거리의 수를 나타낸다.
대칭 그룹당 주어진 시간 밀도는 가변 임계값과 비교된다. di에 대해 계산된 값이 임계값보다 낮으면 필터를 만족시키지 못하고 프로세스에 가상 지점 분해능을 높이도록 명령하고 각 대칭 그룹의 밀도 지수가 같거나 높을 때까지 명령 체인의 재실행을 진행하여, 결국에는 필터를 만족시킨다.
잔향의 충분한 밀도를 만족시키기 위한 초당 반향의 양은 일반적으로 1000 s-1로 간주되지만 오디오 신호 프로세스에 대한 오디오 입력 신호의 유형 및 특성에 따라 10000 s-1만큼 높을 수도 있다. 실제 di는 도 6c에 설명된 바와 같이 확성기의 모든 오디오 출력 신호의 합산에 의해; 그리고 실제 di xN(=12에서 지연 라인의 수)을 증가시키는 제1 반사 연산(12)에서 생성된 가상 지점 오디오 신호 성분의 양에 의해 추가로 영향을 받는다. 따라서, 시간 밀도 임계값은 다양한 상황에 따라 사용자에 의해 조정될 수 있는 가변 매개변수가 요구된다.
이러한 방식으로, 가상 객체에서 잔향을 생성하는 시스템은 주어진 조건에서 주어진 가상 객체에 대해 가장 최적의 밀도 상태로 자동으로 조정한다. 인공적 잔향 시스템의 선행 기술에서, 지연 시간과 같은 매개변수는 시간 밀도 기준치를 만족시키도록 신중하게 선택된다. 본 발명은 시스템에서 선택된 지연 시간과 같은, 고정된 세트의 값을 미리 요구하지 않고 최적의 시간 밀도를 요구하는 신규한 방법을 제공하며, 대신에 이러한 값은 형상의 속성, 즉 입체 형상, 크기 및 물성을 가진 가상 객체에서의 잔향에 따라 달라질 수 있다.
도 13은 제1 반사 연산(12) 및 잔향 연산(18)에 포함된 소망하는 저역 통과 필터링을 얻기 위한 '샘플 레이트 보간기' 연산(32)에 대한 흐름 프로세스를 도시하는 것으로; 특히 매질을 통해 이동하는 음향의 속도, 온도, 습도 및 기타 요인을 포함하여, 잔향의 설정 조건에 종속하여 발생할 수 있는 고주파 및 초고주파 차단 값 fc의 경우; 및 가상 객체의 크기 및 가상 지점 해상도에 종속되어, 가상 지점 간의 거리 스케일을 결정한다. 제1 반사 연산(12) 또는 잔향 연산(18)에서 실행되는 일부 지연 라인으로서 획득된 값 fc는 사람이 들을 수 있는 주파수 범위(~20kHz)의 임계값을 (훨씬) 초과할 수 있고, 보다 구체적으로 나이퀴스트(Nyquist) 주파수(=0.5x샘플 레이트) 보다 클 수 있다.
나이퀴스트 주파수는 실제로 디지털 저역 통과 필터에서 할당 가능한 차단 주파수의 상한 임계값을 결정한다. 즉, 나이퀴스트 주파수 이상의 필터링은 가청 효과를 생성하지 않는다. 그럼에도 불구하고, 도 6a에 설명된 거리에 종속된 감쇠 함수의 효과(나이퀴스트 주파수 이상의 fc 값을 포함할 수 있는)는 나이퀴스트 주파수 아래의 주파수 감쇠로 인한 상당한 가청 효과를 의미할 수도 있다.
제1 반사 및 잔향 연산에서 감쇠 기능을 최적화하기 위한 접근 방식으로서, 프로그램 또는 코드 부분이 실행되는 컴퓨터 처리 장치(또는 일부)에 연결된 오디오 출력 장치의 샘플 레이트 및 제1 반사 연산(12) 및 잔향(18))에서 생성된 주파수 차단 값의 관계를 고려한 명령 흐름이 제안되는데, 이는 원하는 필터링 연산을 완료하기 위해 샘플 레이트를 국부적으로 증가시키고, 그리고 그 다음 샘플 레이트를 다시 오디오 출력 장치의 샘플 레이트로 감소시키는, 샘플 보간을 이용한다.
제1 반사 연산의 경우에 입력 소스와 각 가상 지점 사이; 또는 잔향 연산의 경우에 모든 가상 지점 사이의 필요한 모든 거리가, 도 12에 보인 바와 같이, 제1 단계로 계산된다. 따라서 fc는 도 6a에 상세히 설명된 바와 같이 연산 54를 참조하여 결정될 수 있다.
제2 단계는 샘플 보간과 관련하여 추가 연산이 필요한지 여부를 결정하는 제1 필터를 포함한다. 획득한 값 fc가 나이퀴스트 주파수보다 크면 필터를 충족시키지 못하여, 필터를 만족시킬 때까지 보간을 통해 국부적으로 샘플 레이트를 증가시키도록 프로세스에 명령하고 국부적으로 최적화된 상태에서 저역 통과 필터링 프로세스를 수행하도록 명령한다.
저역 통과 필터링 연산이 완료된 후 제2 필터는 국부적 샘플 레이트가 오디오 출력 장치의 샘플 레이트와 일치하는지 확인하고 필터를 만족시키지 못하면 샘플이 오디오 출력 장치의 샘플 레이트와 일치할 때까지 보간을 이용하여 국부적 샘플 레이트를 감소시킨다.
그 결과로, 문제의 차단 주파수가 인간의 가청 범위보다 (훨씬) 높을 수 있지만, 인간의 가청 범위 내의 주파수에 대한 차단 주파수의 영향은 샘플 보간 이후에 신호에 정확하게 인코딩된다. 출원인은 이 방식이 잔향 오디오 신호에서 구성되는 고주파 소산의 정확성 및 평활도에 상당한 영향을 미친다는 것을 알게 되었다.
도 14는 본 발명의 실시예에 따른 사용자 인터페이스를 도시한다. 본 방법의 실시예는 본 명세서에 설명된 바와 같이 사용자 인터페이스를 생성하는 단계를 포함한다.
일 실시예에서, 설명된 시스템을 위한 사용자 인터페이스는 가상 객체를 제어하기 위한 모듈을 포함하는데, 예를 들면, 관찰자 및/또는 "관점"에 대한 위치, 가상 객체의 형상, 가상 객체를 구성하는 재료, 음향 전파를 위해 선택한 매체의 조건, 잔향 자체의 속성, 여러 가지 특정 형상의 가상 객체 내에서 정재파(standing wave)로 인한 공진, 및 마스터 출력 레벨과 오디오 출력 신호에 대한 전송 레벨, 또는 오디오 신호 프로세스에서 다른 가상 객체를 위해 결정된 다른 오디오 신호 프로세스로 입력 오디오 신호로 제공하기 위한, "오디오 믹스-다운"을 포함할 수 있는 오디오 신호 프로세스의 오디오 출력을 포함한다.
도시된 사용자 인터페이스는 사용자가 입력을 사용하여 상기 가상 객체에 대해 입력 채널을 사용하여 결정된 오디오 신호 프로세스를 위한 입력 오디오 신호로서 다른 가상 객체에 대해 결정된 다른 오디오 신호 프로세스로부터의 오디오 믹스-다운 또는 오디오 출력 신호를 제어할 수 있게 하는 입력부를 포함한다.
입력 채널은 다수의 오디오 채널을 포함하는데, 선택적으로 설명된 방법을 수행함으로써 다른 가상 객체에 대해 결정된 오디오 신호 프로세스로부터 오디오 신호를 수신하거나, 또는 상기 가상 객체를 위해 결정된 오디오 신호 프로세스용 입력 오디오 신호로서 함께 결합되는 외부 오디오 소스를 수신할 수 있다. 사용자 인터페이스는 사용자가 이득 노브(knobs)를 사용하여 각 입력 채널의 증폭을 제어할 수 있도록 한다.
사용자 인터페이스는 사용자가 다른 가상 객체에 대한 오디오 신호 프로세스를 결정하기 위해 입력 오디오 신호로서 상기 가상 객체에 대해 결정된 오디오 신호 프로세스의 합산된 오디오 출력 신호 또는 오디오 믹스-다운을 라우팅할 수 있게 하는 출력부를 더 포함할 수 있다.
출력 모듈은 마스터 레벨 조절기(fader)를 더 포함할 수 있으며, 이는 도 5에 설명된 바와 같은, 개별 확성기에 공급되는 오디오 신호 프로세스의 오디오 출력 신호의 선택적 감쇠(값 'a')의 레벨을 결정할 수 있다.
사용자 인터페이스는 사용자가 가상 객체와 관련된 매개변수를 입력할 수 있는 가상 개체 정의 섹션을 추가로 포함할 수 있으며, 이에는, 예를 들어 드롭다운 메뉴를 사용하여 형상을 선택; 및/또는 온/오프 버튼에 의해 가상 객체가 중공인지 또는 중실인지 여부; 및/또는 스케일 조정, 즉 노브에 의해 가상 객체의 크기 조정; 및/또는 치수, 즉. 숫자 상자를 사용하여 입체 x, y 및 z에 대한 카테시안 치수; 및/또는 회전; 및/또는 숫자 상자를 사용하여 가상 객체의 형상 위에 정의된 가상 지점의 개수, 즉 밀도를 결정하기 위한 해상도를 입력할 수 있다. 이를 통해 사용자는 가상 객체에 대해 결정된 오디오 신호 프로세스에서 필요한 계산량을 제어할 수 있다.
회전과 관련된 파라미터를 입력하기 위한 입력 수단은 치수 x, y 및 z에 대한 무한 회전 노브로 표시될 수 있다.
사용자 인터페이스는 사용자가 가상 객체의 위치에 관한 파라미터를 입력할 수 있게 하는 위치 부분을 더 포함할 수 있다. 3차원 공간에서 형상의 위치는 카테시안 좌표 +/- x, y, z로 표현될 수 있으며 공간의 가상 중심은 0, 0, 0으로 표시되고; 이는 내부에 가상 객체를 배치하고 이동할 수 있는 시각적 3차원 필드로 표시될 수 있다. 이 3차원 제어 필드는 필드의 반경을 조정하여 크기를 조정할 수 있다.
따라서 가상 객체에 대해 결정된 잔향 오디오 신호 프로세스로부터 발생하는 각각의 확성기를 위한 개별 오디오 출력 신호는 i) 가상 객체 형상의 모델링, ii) 3차원 공간에서의 형상 회전 및 iii) 3차원 공간에서 형상의 위치에 의해 자동으로 제어될 수 있다.
사용자 인터페이스는 사용자가 다양한 파라미터를 제어할 수 있게 하는 속성 부분을 더 포함할 수 있는데, 이는, 도 16a에 설명된 바와 같이 공진 연산(20)에서 선택적 피드백 신호(값 'b')의 감쇠를 결정하는 공진의 양 및 대역폭을 조정하기 위한 노브; 도 16d에 설명된 바와 같이 거리 연산(26)의 감쇠 연산을 결정하는 공식에서 곱셈 계수 x를 결정하는, 인지 거리를 스케일링하기 위한 노브; 도 16b에 설명된 바와 같은 깊이 연산(22) 또는 도 16c에 설명된 바와 같은 높이 연산(26) 중 어느 하나의 감쇠 연산을 결정하는 공식에서 곱셈 인자 x를 결정하는, 인지된 높이를 조절하기 위한 노브; 및 도 16d에 설명된 바와 같이 거리 연산(26)의 제2 시간 지연을 결정하는 공식을 수정하기 위한 스케일러인, 도플러 효과의 양을 조절하기 위한 노브를 포함한다.
사용자 인터페이스는 여러 사전 프로그래밍된 선택사항이 있는 드롭다운 메뉴를 사용하여 가상 객체의 재료를 선택하는 부분을 더 포함할 수 있다. 재료의 선택은 도 6a에 설명된 바와 같이 흡수 필터 연산에서 선택된 ISO354 값 세트를 차례로 결정한다. '흡수 노브'와 '반사력 노브'는 선택된 ISO354 값에서 흡수 계수의 비례 스케일러를 제공하여 선택한 재료의 흡수 특성을 증가시키고; 또는 선택한 재료의 흡수 특성을 감소시켜서, 결과적인 반사 및 잔향이 덜 흡수되고 음향의 더 조밀한 반사를 구성하도록 한다.
사용자 인터페이스는 여러 사전 프로그래밍된 선택사항이 있는 드롭다운 메뉴를 사용하여 선택된 매체의 조건을 제어하는 부분을 더 포함할 수 있다. 매체의 선택은 특정 매체에서 전파되는 음향 거동의 매개변수로 간주되는 매체에 특정한 몇 가지 사용자 맞춤 선택사항을 포함할 수 있으며, 예를 들어 공기 매체의 경우, 온도의 C 값을 설정하는 숫자 상자와 습도를 높이거나 낮추는 노브와 같은 선택사항을 포함할 수 있다. 음속은 매체 및 관련 매개변수의 선택에 따른 결과에 따른 값이지만, 계산된 표준에서 벗어나도록 조절 가능한 숫자 상자에서 수동으로 조정할 수 있다. 조건 부분에서 설정된 매개변수 값은 저역 통과 필터 연산의 주파수 종속된 감쇠를 결정하고, 도 6a에 설명된 바와 같은 제1 반사 연산(12) 및 잔향 연산(18)의 시간 지연 연산에서의 시간 지연을 결정하고; 도 12에 설명된 값 필터링 연산에서의 시간 지연의 계산을 결정하고; 및, 도 13에 설명된 나이퀴스트 주파수와 관련한 차단 주파수를 결정한다.
사용자 인터페이스는 잔향 속성을 제어하기 위한 부분을 더 포함할 수 있으며, 이는, 도 6c에 서술된 바와 같은 제1 반사 연산(12)의 결과인 오디오 신호 성분의 선택적 감쇠(값 'a')의 레벨을 결정하는, 제1 반사의 출력 이득을 제어하기 위한 노브; 도 6c에 서술된 바와 같은 잔향 연산(18)의 결과인 오디오 신호 성분의 선택적 감쇠(값 'b')의 레벨을 결정하는, 잔향 말미의 출력 이득을 제어하기 위한 노브; 도 6a에 서술된 바와 같은 잔향 연산(18)의 감쇠 연산을 결정하는 공식에서의 계수 x를 결정하는, 잔향의 감쇠 시간을 제어하기 위한 노브; 제1 반사 연산(12) 및/또는 잔향 연산(18)의 일부로서 저역 통과 필터링 연산에서 차단 주파수를 결정하는 공식의 계수 y를 수정 및/또는 스케일링할 수 있고 그리고 도 6a에 설명된 바와 같은 잔향 연산(18)의 감쇠 연산에 사용되는 고주파 소실에 대한 보정 공식의 효과를 증가 또는 감소시키는 추가적인 수정을 할 수 있는, 잔향의 댐핑을 제어하기 위한 노브; 및, 도 12에 서술된 바와 같은, 잔향 시스템의 최적 시간 밀도로 자동 조정하는 데 사용되는 시간 밀도 임계값을 설정하는, 잔향의 밀도를 제어하는 노브를 포함한다.
사용자 인터페이스를 통해 수신되는 사용자 입력은 본 명세서에 설명된 방법에 따른 매개변수에 대한 적절한 값을 결정하는 데 사용될 수 있다. 따라서 잔향 시스템의 모든 기능적 연산은 프런트 엔드 사용자 속성, 즉 가상 공간에서 입체 형상, 크기 및 재질을 가지고 반향되는 음원의 가청 조정으로 변환된다.
본 발명의 적용은 결코 레이아웃 및 이 특정 인터페이스의 예에 제한되지 않으며 시스템 설계에서의 다양한 접근 방식의 주제가 될 수 있고 그리고 특정의 플랫폼, 매체 또는 시각적 디자인 및/또는 레이아웃에 제한되지 않으면서, 가상 공간에 음원을 형성하고 배치하기 위한 다양한 수준의 제어를 포함하는 것을 이해해야 한다.
도 15는 실시예에 따른 데이터 처리 시스템을 나타내는 블록도를 도시한다.
도 15에 도시된 바와 같이, 데이터 처리 시스템(100)은 시스템 버스(106)를 통해 메모리 요소(104)에 연결되는 적어도 하나의 프로세서(102)를 포함할 수 있다. 이와 같이, 데이터 처리 시스템은 메모리 요소(104) 내에 프로그램 코드를 저장할 수 있다. 또한 프로세서(102)는 시스템 버스(106)를 통해 메모리 요소(104)로부터 획득하는 프로그램 코드를 실행할 수 있다. 일 양태에서, 데이터 처리 시스템은 프로그램 코드를 저장 및/또는 실행하기에 적합한 컴퓨터로 구현될 수 있다. 그러나, 데이터 처리 시스템(100)은 본 명세서에서 설명하는 기능을 수행할 수 있는 프로세서 및 메모리를 포함하는 임의의 시스템 형태로 구현될 수 있음을 이해해야 한다.
메모리 요소(104)는 예를 들어 로컬 메모리(108) 및 하나 이상의 대용량 저장 장치(110)와 같은 하나 이상의 물리적 메모리 장치를 포함할 수 있다. 로컬 메모리는 일반적으로 프로그램 코드의 실제 실행 중에 사용되는 랜덤 액세스 메모리 또는 다른 비영구적 메모리 장치(들)를 지칭할 수 있다. 대용량 저장 장치는 하드 드라이브 또는 기타 영구 데이터 저장 장치로 구현될 수 있다. 처리 시스템(100)은 또한 프로그램 코드가 실행 동안 대용량 저장 장치(110)로부터 검색되어야 하는 횟수를 줄이기 위해 적어도 일부 프로그램 코드의 임시 저장을 제공하는 하나 이상의 캐시 메모리(미도시)를 포함할 수 있다.
입력 장치(112) 및 출력 장치(114)로 도시된 입력/출력(I/O) 장치는 선택적으로 데이터 처리 시스템에 결합될 수 있다. 입력 장치의 예로는 키보드, 마우스와 같은 포인팅 장치, 터치-감지 디스플레이 등을 포함할 수 있지만 이에 제한되지 않는다. 출력 장치의 예로는 모니터 또는 디스플레이, 확성기 또는 이와 유사한 것 등을 포함할 수 있지만 이에 제한되지 않는다. 입력 및/또는 출력 장치는 직접 또는 중간 I/O 제어기를 통해 데이터 처리 시스템에 연결될 수 있다.
일 실시예에서, 입력 장치 및 출력 장치는 결합된 입력/출력 장치(입력 장치(112) 및 출력 장치(114)를 둘러싸는 점선으로 도 23에 도시됨)로서 구현될 수 있다. 이러한 결합된 장치의 예는 "터치 스크린 디스플레이" 또는 단순히 "터치 스크린"이라고도 하는 터치-감지 디스플레이이다. 이러한 실시예에서, 터치 스크린 디스플레이 위 또는 근처에서 사용자의 스타일러스 또는 손가락과 같은 물리적 객체의 이동에 의해 디바이스에 입력이 제공될 수 있다.
네트워크 어댑터(116)는 또한 데이터 처리 시스템에 결합되어 사설 또는 공중 네트워크를 매개로 하여 다른 시스템, 컴퓨터 시스템, 원격 네트워크 장치 및/또는 원격 저장 장치에 연결될 수 있다. 네트워크 어댑터는 상기 시스템, 장치 및/또는 네트워크에 의해 데이터 처리 시스템(100)으로 전송되는 데이터를 수신하기 위한 데이터 수신기, 및 데이터 처리 시스템(100)으로부터 상기 시스템, 장치 및/또는 네트워크로 데이터를 전송하기 위한 데이터 송신기를 포함할 수 있다. 모뎀, 케이블 모뎀 및 이더넷 카드는 데이터 처리 시스템(100)과 함께 사용될 수 있는 다양한 유형의 네트워크 어댑터의 예이다.
도 15에 도시된 바와 같이, 메모리 요소(104)는 애플리케이션(118)을 저장할 수 있다. 다양한 실시예에서, 애플리케이션(118)은 로컬 메모리(108), 하나 이상의 대용량 저장 장치(110)에 저장되거나, 또는 로컬 메모리 및 대량 저장 장치와는 별개로 저장될 수 있다. 데이터 처리 시스템(100)은 애플리케이션(118)의 실행을 용이하게 할 수 있는 운영 체제(도 15에 미도시)를 더 실행할 수 있다는 점을 이해해야 한다. 실행 가능한 프로그램 코드의 형태로 구현되는 애플리케이션(118)은 데이터 처리 시스템(100), 예를 들어 프로세서(102)에 의해 실행될 수 있다. 애플리케이션 실행에 응답하여, 데이터 처리 시스템(100)은 본 명세서에 설명된 하나 이상의 연산 또는 방법의 단계들을 수행하도록 구성될 수 있다.
본 발명의 일 양태에서, 데이터 처리 시스템(100)은 본 명세서에서 설명한 바와 같은 제1 반사 모듈(12) 및/또는 흡수 필터(16) 및/또는 잔향 모듈(18) 및/또는 공진 모듈(20) 및/또는 깊이 모듈(22) 및/또는 높이 모듈(24) 및/또는 거리 모듈(26) 및/또는 패닝 시스템(28)을 포함할 수 있다.
또한, 데이터 처리 시스템(100)은 본 명세서에 설명한 바와 같은 형상 생성기(30) 및/또는 샘플 레이트 보간기(32) 및/또는 값 필터(34) 및/또는 시간 밀도 스케일러(36)를 포함할 수 있다.
본 발명의 다양한 실시예는 컴퓨터 시스템과 함께 사용하기 위한 프로그램 제품으로서 구현될 수 있으며, 프로그램 제품의 프로그램(들)은 실시예(본원에 설명된 방법 포함)의 기능을 정의한다. 일 실시예에서, 프로그램(들)은 다양한 비일시적 컴퓨터 판독 가능한 저장 매체에 포함될 수 있으며, 여기에서 사용되는 표현 "비일시적 컴퓨터 판독 가능한 저장 매체"는 모든 컴퓨터 판독 가능한 매체를 포함하며, 유일한 예외는 일시적인 전파 신호이다. 다른 실시예에서, 프로그램(들)은 다양한 임시의 컴퓨터 판독 가능한 저장 매체에 포함될 수 있다. 예시적인 컴퓨터 판독 가능한 저장 매체는 다음을 포함하지만 이에 제한되지는 않는다: (i) 쓰기 불가능한 저장 매체(예: CD-ROM 드라이브로 읽을 수 있는 CD-ROM 디스크, ROM 칩 또는 모든 유형의 반도체 비휘발성 반도체 메모리와 같은 컴퓨터 내에 설치되는 읽기 전용 메모리 장치) 및 (ii) 변경가능한 정보가 저장되는 쓰기 가능한 저장 매체(예: 플래시 메모리, 디스켓 드라이브 또는 하드 디스크 드라이브 내의 플로피 디스크 또는 모든 유형의 솔리드 스테이트 랜덤 액세스 반도체 메모리). 컴퓨터 프로그램은 본 명세서에 설명된 프로세서(102)에서 실행될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 본 명세서에서 사용된 단수형 "a", "an" 및 "the"는, 문맥상 명백하게 다르게 나타내지 않는 한, 복수형도 포함하는 것으로 의도된다. "포함하다" 및/또는 "포함하는"이라는 용어는 본 명세서에서 사용될 때 명시된 특징, 정수, 단계, 동작, 요소 및/또는 구성 요소의 존재를 지정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성 요소 및/또는 이들의 그룹의 추가 또는 존재를 배제하지는 않는다는 점이 더 이해될 것이다.
아래의 청구범위에 있는 모든 수단 또는 단계 플러스 기능(means or step plus funcion) 요소의 해당 구조, 재료, 작동 및 등가물은 특별히 청구된 다른 청구된 요소와 결합하여 기능을 수행하기 위한 모든 구조, 재료 또는 작동을 포함하도록 의도된다. 본 발명의 실시예에 대한 설명은 설명의 목적으로 제시되었지만, 개시된 형태의 구현으로 제한되거나 배타적이지 않다. 본 발명의 범위 및 사상을 벗어나지 않고 많은 수정 및 변형이 당업자에게 명백할 것이다. 실시예는 본 발명의 원리 및 일부 실제 적용을 가장 잘 설명하고, 당업자가 특정 용도에 적합한 다양한 변형을 갖는 다양한 실시예에 대해 본 발명을 이해할 수 있도록 선택되고 설명되었다.
발명자는 본 발명에 기여하신 Ia Mgvdliashvili 및 Amira Val Baker 박사에게 감사를 표한다.
Claims (17)
- 가상 객체와 관련된 잔향 오디오 신호를 생성하는 방법에 있어서,
상기 방법은 가상 객체의 표현을 저장하는 단계를 포함하며, 상기 표현은 가상 객체를 구성하는 복수의 가상 지점을 정의하며, 가상 지점은 서로에 대해 각각의 가상 위치를 가지며, 그리고 가상 지점은 가상 지점의 대칭 그룹에 속하고, 가상 지점의 대칭 그룹은 다음에 의해 획득될 수 있는데,
- 복수의 가상 지점 중의 각 가상 지점에 대해, 문제의 가상 지점과 복수의 가상 지점 중의 각각의 다른 가상 지점 사이의 각각의 가상 거리를 포함하는 하나 이상의 가상 거리 세트를 정의하는 단계, 및
- 가상 지점과 연관된 하나 이상의 거리 세트 각각에 대해, 가상 지점과 연관된 하나 이상의 거리 추가 세트를 얻기 위해 세트에 있는 임의의 다른 거리의 정수배인 거리를 제거하는 단계; 및
- 가상 지점과 연관된 하나 이상의 거리 추가 세트 각각에 대해, 가상 지점과 연관된 하나 이상의 거리의 가상 지점 특정 세트를 형성하기 위해 문제의 추가 세트에서 개별 거리를 결정하는 단계; 및
- 가상 지점의 대칭 그룹을 형성하기 위해 하나 이상의 거리의 동일한 각각의 가상 지점 특정 세트를 갖는 가상 지점을 결정하는 단계에 의해 획득될 수 있어서,
가상 지점의 대칭 그룹은 그 가상 지점의 가상 지점 특정 세트와 동일한 하나 이상의 대칭 그룹 거리 세트와 연관되고,
세트가 대칭 그룹과 각각 연관되는 하나 이상의 대칭 그룹 거리 세트는, 함께 하나 이상의 거리 추가 세트를 형성하며,
상기 방법은,
입력 오디오 신호를 수신 및/또는 저장 및/또는 생성하는 단계, 및
각각의 가상 지점에 대해, 입력 오디오 신호 또는 입력 오디오 신호의 필터링된 버전에 기초하여, 가상 지점 오디오 신호 성분을 결정하는 단계, 및
합성 오디오 신호를 얻기 위해 결정된 가상 지점 오디오 신호 성분을 결합하는 단계, 및
하나 이상의 거리 추가 세트의 각각의 개별 거리에 대해, 합성 오디오 신호에 기초하여, 하나 이상의 거리 오디오 신호를 결정하는 단계,
하나 이상의 거리 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 잔향 오디오 신호를 결정하는 단계를 더 포함하는 잔향 오디오 신호를 생성하는 방법. - 제1항에 있어서,
각 대칭 그룹에 대해, 결정된 거리 오디오 신호에 기초하여 하나 이상의 대칭 그룹 오디오 신호를 결정하는 단계, 및
대칭 그룹 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 잔향 오디오 신호를 결정하는 단계를 더 포함하는 잔향 오디오 신호를 생성하는 방법. - 제1항 또는 제2항에 있어서,
입력 오디오 신호 또는 입력 오디오 신호의 필터링된 버전에 기초하여 각각의 가상 지점에 대한 가상 지점 오디오 신호 성분을 결정하는 단계는,
각 가상 지점에 대해, 입력 오디오 신호 또는 입력 오디오 신호의 필터링된 버전과 같은 수정된 버전을 대상으로 가상 지점 특정 연산을 수행하는 단계를 포함하고, 가상 지점 특정 연산을 수행하는 단계는 시간 지연을 도입하는 시간 지연 연산을 수행하는 단계를 포함하며, 도입된 시간 지연은 문제의 가상 지점과 가상 음원 사이의 가상 거리를 음속으로 나눈 것과 대략 동일한 잔향 오디오 신호를 생성하는 방법. - 제1항 내지 제3항 중 어느 한 항에 있어서,
하나 이상의 거리 추가 세트의 각각의 개별 거리에 대해, 하나 이상의 거리 오디오 신호를 결정하는 단계는,
하나 이상의 거리 추가 세트의 각각의 개별 거리에 대해, 제1 거리 오디오 신호 및 제2 거리 오디오 신호를 결정하는 단계를 포함하며,
개별 거리에 대해 제1 거리 오디오 신호를 결정하는 단계는 시간 지연을 도입하는 시간 지연 연산, 신호 감쇠 연산, 저역 통과 필터 연산 및 신호 피드백 연산을 수행하여 합성 오디오 신호를 수정하는 단계를 포함하고, 및
개별 거리에 대해 제2 거리 오디오 신호를 결정하는 단계는 제2 시간 지연을 도입하는 제2 시간 지연 연산, 신호 반전 연산, 신호 감쇠 연산, 저역 통과 필터 연산 및 제2 신호 피드백 연산을 수행하여 합성 오디오 신호를 수정하는 단계를 포함하는 잔향 오디오 신호를 생성하는 방법. - 제1항에 있어서,
제1 시간 지연 연산에 의해 도입된 시간 지연은 개별 거리를 음속으로 나눈 것과 동일한 잔향 오디오 신호를 생성하는 방법. - 제2항 및 제4항 또는 제5항에 있어서,
각 대칭 그룹에 대해, 거리 오디오 신호에 기초하여 하나 이상의 대칭 그룹 오디오 신호를 결정하는 단계는,
각각의 대칭 그룹에 대해, 제1 대칭 그룹 오디오 신호 및 제2 대칭 그룹 오디오 신호를 결정하는 단계를 포함하고,
제1 및 제2 대칭 그룹 오디오 신호를 결정하는 단계는, 제1 및 제2 거리 오디오 신호의 모든 쌍에서 거리 오디오 신호를 선택하고, 각 쌍은 문제의 대칭 그룹과 관련된 하나 이상의 대칭 그룹 거리 세트에서 각각의 거리에 대해 결정되며, 및 제1 대칭 그룹 오디오 신호를 결정하기 위해 선택된 거리 오디오 신호를 결합하고, 제2 대칭 그룹 오디오 신호를 결정하기 위해 제1 및 제2 거리 오디오 신호의 모든 쌍 중에서 선택되지 않은 거리 오디오 신호를 결합하는 단계를 포함하는 잔향 오디오 신호를 생성하는 방법. - 제2항 내지 제6항 중 어느 한 항에 있어서,
대칭 그룹 오디오 신호 및 가상 지점 오디오 신호 성분에 기초하여 오디오 신호를 결정하는 단계는,
잔향 오디오 신호를 결정하기 위해 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분과 결합하는 단계를 포함하고, 여기서
오디오 신호를 결정하기 위해 대칭 그룹 오디오 신호를 가상 지점 오디오 신호 성분과 결합하는 단계는,
수정된 오디오 신호 성분을 결정하는 단계를 포함하고, 수정된 오디오 신호 성분을 결정하는 단계는, 대칭 그룹에 속하는 가상 지점에 대해 결정된 각각의 가상 지점 오디오 신호 성분에, 문제의 대칭 그룹의 제1 또는 제2 대칭 그룹 오디오 신호를 더하는 단계를 포함하는 잔향 오디오 신호를 생성하는 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
추가의 가상 객체에 대한 추가 잔향 오디오 신호를 생성하기 위해 제1항 내지 제7항 중 어느 한 항에 따른 방법을 수행하는 단계를 더 포함하고,
가상 객체와 관련되어 결정된 잔향 오디오 신호가 입력 오디오 신호로 사용되는 잔향 오디오 신호를 생성하는 방법. - 제8항에 있어서,
가상 객체와 관련된 잔향 오디오 신호와, 추가의 가상 객체와 관련된 추가 잔향 오디오 신호를 결합하는 단계를 더 포함하고, 및, 선택적으로,
결합된 신호를 하나 이상의 확성기에 제공하는 잔향 오디오 신호를 생성하는 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
결정된 오디오 신호를 하나 이상의 확성기에 제공하는 단계를 더 포함하는 잔향 오디오 신호를 생성하는 방법. - 제10항에 있어서,
수정된 오디오 신호 성분을 하나 이상의 확성기에 제공하는 단계는 수정된 오디오 신호 성분을 복수의 확성기에 분배하도록 구성된 패닝 시스템에 수정된 오디오 신호 성분을 제공하는 단계를 포함하는 잔향 오디오 신호를 생성하는 방법, - 제1항 내지 제11항 중 어느 한 항에 있어서,
각각의 가상 지점에 대해, 가상 지점 오디오 신호 성분을 결정하기 전에 입력 오디오 신호를 필터링하는 단계를 더 포함하고,
입력 오디오 신호를 필터링하는 단계는,
각각의 감쇠 계수를 사용하여 입력 오디오 신호의 각 주파수 대역을 감쇠시키는 다중 대역 필터를 적용하는 단계를 포함하고, 각각의 감쇠 계수는 가상 객체의 재료에 기초하여 결정되는 잔향 오디오 신호를 생성하는 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
하나 이상의 거리 추가 세트에 있는 각각의 개별 거리에 대해, 하나 이상의 거리 오디오 신호를 결정하는 단계는,
하나 이상의 거리 추가 세트에 있는 각각의 개별 거리에 대해, 시간 지연을 도입하는 시간 지연 연산, 신호 감쇠 연산, 저역 통과 필터 연산 및 신호 피드백 연산을 수행하여 합성 오디오 신호를 수정하는 단계를 포함하는 거리 오디오 신호를 결정하는 단계를 포함하고, 상기 방법은,
가상 지점의 적어도 하나의 대칭 그룹에 대해 밀도 인덱스를 결정하는 단계를 더 포함하고, 밀도 인덱스를 결정하는 단계는,
- 적어도 하나의 대칭 그룹과 연관된 하나 이상의 대칭 그룹 거리 세트 중의 각각의 거리에 대해, 단위 시간을 문제의 거리 오디오 신호를 결정하기 위해 수행된 시간 지연 연산에 의해 도입된 시간 지연으로 나누어서, 문제의 거리에 대한 오디오 신호를 결정하기 위해 얼마나 많은 피드백 연산이 단위 시간당 수행되는지 결정하여, 적어도 하나의 대칭 그룹과 연관된 하나 이상의 대칭 그룹 거리 세트 중의 각각의 거리에 대해 수행된 피드백 연산의 각각의 수를 획득하는 단계, 및
- 가상 지점의 대칭 그룹에 대한 밀도 인덱스를 얻기 위해 수행된 피드백 연산의 각각의 수를 더하는 단계를 포함하고, 상기 방법은,
- 밀도 인덱스에 대한 임계값을 수신하고, 및
- 결정된 밀도 인덱스가 상기 임계값보다 낮은지를 결정하고, 및
- 이 결정에 기초하여, 가상 객체를 구성하는 가상 지점의 수를 늘려서 저장된 표현을 변경하는 잔향 오디오 신호를 생성하는 방법. - 제4항 내지 제13항 중 어느 한 항에 있어서,
저역 통과 필터 연산은,
- 저역 통과 필터링될 신호가 저역 통과 필터 연산과 관련된 차단 주파수보다 낮은 나이퀴스트 주파수와 관련되는지를 결정하는 단계, 및
- 이 결정에 기초하여, 차단 주파수보다 높거나 같은 나이퀴스트 주파수와 연관되도록 필터링될 신호를 업-샘플링하는 단계, 및
- 업-샘플링된 신호를 저역 통과 필터링하는 단계, 및,
- 선택적으로, 출력 샘플 레이트는 출력 시스템에 의해 출력될 수 있는 샘플 레이트이며, 필터링된 신호가 출력 샘플 레이트보다 더 높은 샘플 레이트와 연관되어 있는지 결정하고, 이 결정에 기초하여 필터링된 신호를 다운-샘플링하는 단계를 포함하는 잔향 오디오 신호를 생성하는 방법. - 컴퓨터 판독 가능한 프로그램 코드를 내장하는 컴퓨터 판독 가능한 저장 매체, 및
컴퓨터 판독 가능한 저장 매체에 연결된 프로세서, 바람직하게는 마이크로프로세서를 포함하여 구성되고,
컴퓨터 판독 가능한 프로그램 코드를 실행하는 것에 응답하여, 프로세서가 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하도록 구성된 컴퓨터. - 적어도 하나의 소프트웨어 코드 부분을 저장하는 컴퓨터 프로그램 제품 또는 적어도 하나의 소프트웨어 코드 부분을 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 모음으로서, 컴퓨터 시스템에서 실행될 때, 제1항 내지 제14항 중 어느 한 항에 따른 방법을 실행하도록 구성된 컴퓨터 프로그램.
- 적어도 하나의 소프트웨어 코드 부분을 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 컴퓨터에 의해 실행되거나 처리될 때, 소프트웨어 코드 부분이 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하도록 구성된 컴퓨터 판독 가능한 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2026361 | 2020-08-28 | ||
| NL2026361A NL2026361B1 (en) | 2020-08-28 | 2020-08-28 | Method for generating a reverberation audio signal |
| PCT/NL2021/050523 WO2022045888A1 (en) | 2020-08-28 | 2021-08-26 | Method for generating a reverberation audio signal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230058443A true KR20230058443A (ko) | 2023-05-03 |
Family
ID=73402032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237009997A KR20230058443A (ko) | 2020-08-28 | 2021-08-26 | 잔향 오디오 신호 생성 방법 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20230306953A1 (ko) |
| EP (1) | EP4205103B1 (ko) |
| JP (1) | JP2023539220A (ko) |
| KR (1) | KR20230058443A (ko) |
| AU (1) | AU2021333078A1 (ko) |
| CA (1) | CA3192019A1 (ko) |
| NL (1) | NL2026361B1 (ko) |
| WO (1) | WO2022045888A1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NL2028723B1 (en) | 2021-07-14 | 2023-01-20 | Liquid Oxigen Lox B V | Environmental sound loudspeaker |
| GB202206430D0 (en) * | 2022-05-03 | 2022-06-15 | Nokia Technologies Oy | Apparatus, methods and computer programs for spatial rendering of reverberation |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030007648A1 (en) * | 2001-04-27 | 2003-01-09 | Christopher Currell | Virtual audio system and techniques |
| US7949141B2 (en) * | 2003-11-12 | 2011-05-24 | Dolby Laboratories Licensing Corporation | Processing audio signals with head related transfer function filters and a reverberator |
| US20080273708A1 (en) | 2007-05-03 | 2008-11-06 | Telefonaktiebolaget L M Ericsson (Publ) | Early Reflection Method for Enhanced Externalization |
| US9602927B2 (en) | 2012-02-13 | 2017-03-21 | Conexant Systems, Inc. | Speaker and room virtualization using headphones |
| US9728180B2 (en) | 2012-03-30 | 2017-08-08 | Eth Zurich | Accoustic wave reproduction system |
| JP6511775B2 (ja) | 2014-11-04 | 2019-05-15 | ヤマハ株式会社 | 残響音付加装置 |
| EP3018918A1 (en) * | 2014-11-07 | 2016-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal |
| US10149082B2 (en) | 2015-02-12 | 2018-12-04 | Dolby Laboratories Licensing Corporation | Reverberation generation for headphone virtualization |
| US10524080B1 (en) * | 2018-08-23 | 2019-12-31 | Apple Inc. | System to move a virtual sound away from a listener using a crosstalk canceler |
-
2020
- 2020-08-28 NL NL2026361A patent/NL2026361B1/en active
-
2021
- 2021-08-26 US US18/023,295 patent/US20230306953A1/en active Pending
- 2021-08-26 WO PCT/NL2021/050523 patent/WO2022045888A1/en active Application Filing
- 2021-08-26 AU AU2021333078A patent/AU2021333078A1/en active Pending
- 2021-08-26 EP EP21759422.5A patent/EP4205103B1/en active Active
- 2021-08-26 KR KR1020237009997A patent/KR20230058443A/ko active Search and Examination
- 2021-08-26 CA CA3192019A patent/CA3192019A1/en active Pending
- 2021-08-26 JP JP2023513215A patent/JP2023539220A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| NL2026361B1 (en) | 2022-04-29 |
| AU2021333078A1 (en) | 2023-03-16 |
| WO2022045888A1 (en) | 2022-03-03 |
| CA3192019A1 (en) | 2022-03-03 |
| EP4205103C0 (en) | 2024-05-29 |
| JP2023539220A (ja) | 2023-09-13 |
| EP4205103A1 (en) | 2023-07-05 |
| EP4205103B1 (en) | 2024-05-29 |
| US20230306953A1 (en) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7536846B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
| US10555109B2 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
| US8908875B2 (en) | Electronic device with digital reverberator and method | |
| De Sena et al. | Efficient synthesis of room acoustics via scattering delay networks | |
| Savioja | Modeling techniques for virtual acoustics | |
| Valimaki et al. | Fifty years of artificial reverberation | |
| Wendt et al. | A computationally-efficient and perceptually-plausible algorithm for binaural room impulse response simulation | |
| US20160337777A1 (en) | Audio processing device and method, and program therefor | |
| EP2232484B1 (en) | Modelling wave propagation characteristics in an environment | |
| JP2005080124A (ja) | リアルタイム音響再現システム | |
| KR20230058443A (ko) | 잔향 오디오 신호 생성 방법 | |
| EP3090573A1 (en) | Generating binaural audio in response to multi-channel audio using at least one feedback delay network | |
| Beig et al. | An introduction to spatial sound rendering in virtual environments and games | |
| Pind et al. | Acoustic virtual reality–methods and challenges | |
| Atalay et al. | Scattering delay network simulator of coupled volume acoustics | |
| Savioja et al. | Simulation-based auralization of room acoustics | |
| Raghuvanshi et al. | Interactive and Immersive Auralization | |
| Arend et al. | Binaural reproduction of self-generated sound in virtual acoustic environments | |
| Hacihabiboglu et al. | Frequency-domain scattering delay networks for simulating room acoustics in virtual environments | |
| US20090110202A1 (en) | Method of processing a signal | |
| Murphy et al. | Modelling spatial sound occlusion and diffraction effects using the digital waveguide mesh | |
| Foale et al. | Portal-based sound propagation for first-person computer games | |
| Agus et al. | Energy-Based Binaural Acoustic Modeling | |
| JP2004509544A (ja) | 耳に近接配置されるスピーカ用の音声信号処理方法 | |
| WO2024067543A1 (zh) | 混响的处理方法、装置和非易失性计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |