KR20160012204A - 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 - Google Patents
믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR20160012204A KR20160012204A KR1020157036333A KR20157036333A KR20160012204A KR 20160012204 A KR20160012204 A KR 20160012204A KR 1020157036333 A KR1020157036333 A KR 1020157036333A KR 20157036333 A KR20157036333 A KR 20157036333A KR 20160012204 A KR20160012204 A KR 20160012204A
- Authority
- KR
- South Korea
- Prior art keywords
- microphone
- signal
- source signal
- source
- geometric information
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims description 57
- 238000004590 computer program Methods 0.000 title claims description 8
- 238000012545 processing Methods 0.000 claims abstract description 5
- 230000008878 coupling Effects 0.000 claims description 20
- 238000010168 coupling process Methods 0.000 claims description 20
- 238000005859 coupling reaction Methods 0.000 claims description 20
- 230000036961 partial effect Effects 0.000 claims description 15
- 230000001419 dependent effect Effects 0.000 claims description 14
- 230000003111 delayed effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 18
- 238000004091 panning Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 238000009792 diffusion process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000002238 attenuated effect Effects 0.000 description 3
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 244000182067 Fraxinus ornus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
- H04R29/005—Microphone arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/40—Visual indication of stereophonic sound image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
Abstract
적어도 제1 및 제2 소스 신호를 프로세싱하기 위한 그리고 믹싱된 오디오 신호를 제공하기 위한 믹싱 콘솔(300)은, 공간(200) 내의 가상 청취 위치(202)에 대한 오디오 신호(120)를 제공하기 위한 오디오 신호 생성기(100)를 포함하고, 상기 공간(200) 내에서, 음향 장면은, 제1 소스 신호(210)로서 공간(200) 내의 제1 기지의 위치에 있는 적어도 제1 마이크로폰(204)에 의해 그리고 제2 소스 신호(212)로서 상기 공간(200) 내의 제2 기지의 위치에 있는 적어도 제2 마이크로폰(206)에 의해 레코딩된다. 오디오 신호 생성기(100)는 제1 마이크로폰(204)에 의해 레코딩되는 제1 소스 신호(210) 및 제2 마이크로폰(206)에 의해 레코딩되는 제2 소스 신호(212)를 수신하도록 구성되는 입력 인터페이스(102), 및 제1 위치와 가상 청취 위치(202)에 기초하여 기하학적 정보의 제1 부분(110)을 결정하고 제2 위치와 가상 청취 위치(202)에 기초하여 기하학적 정보의 제2 부분(112)을 결정하도록 구성되는 지오메트리 프로세서(110)를 포함한다. 오디오 신호(120)를 생성하기 위한 신호 생성기(106)는 상기 기하학적 정보의 제1 부분(110) 및 상기 기하학적 정보의 제2 부분(112)을 사용하는 결합 규칙에 따라 적어도 상기 제1 소스 신호(210) 및 상기 제2 소스 신호(212)를 결합하도록 구성된다.
Description
본 발명의 실시형태는, 한 공간 또는 한 음향 장면(acoustic scene) 내에 배치되는 마이크로폰에 의해 레코딩되는 적어도 두 개의 소스 신호에 기초하는 오디오 신호를 제공하기 위한 디바이스, 방법 및 컴퓨터 프로그램에 관한 것이다.
보다 복잡한 레코딩 및/또는 음향 장면은, 레코딩이 오디오 신호에 관련되는 한, 오디오 믹싱 콘솔을 사용하여 보통 레코딩된다. 이 상황에서, 임의의 사운드 구성(composition) 및/또는 임의의 사운드 신호는 음향 장면인 것으로 이해되어야 한다. 청취자(listener)에 의해 및/또는 청취 위치에서 수신되는 음향 신호 및/또는 사운드 또는 오디오 신호가 복수의 상이한 소스로부터 통상 유래한다는 사실에 대응하기 위해, 본원에서는 용어 '음향 장면'이 사용되는데, 본원에서 언급되는 바와 같은 음향 장면은, 물론, 단지 사운드의 단일의 소스에 의해 또한 생성될 수도 있다. 그러나, 이러한 음향 장면의 특성은, 사운드를 생성하는 한 공간에서의 사운드 소스(sound source)의 수 및/또는 분포뿐만 아니라, 공간 자체의 형상 및/또는 기하학적 형상(geometry)에 의해서도 결정된다. 예를 들면, 구획 벽에 의해 야기되는 반사는, 밀폐된 공간에서의 룸 어쿠스틱(room acoustic)의 일부로서, 사운드의 소스로부터의 사운드 부분에 중첩되어 청취자에게 직접적으로 도달하는데, 그 룸 어쿠스틱의 일부는, 간단히 표현하면, 다른 것들 중에서도 다이렉트 사운드 부분의 시간적으로 지연된 그리고 약화된 카피인 것으로 이해될 수도 있다.
이러한 환경에서, 음향 장면 내에서, 예컨대 콘서트 홀 등 내에서 또한 배치되는 많은 마이크로폰 중 하나와 각각 관련되는 복수의 채널 및/또는 입력을 포함하는 오디오 자료(audio material)를 생성하기 위해, 오디오 믹싱 콘솔이 종종 사용된다. 여기서 개개의 오디오 및/또는 소스 신호는 아날로그 및 디지털 둘 다의 형태로, 예를 들면, 일련의 디지털 샘플 값으로서 존재할 수도 있는데, 샘플 값은 시간적으로 등거리이며 샘플링된 오디오 신호의 진폭에 각각 대응한다. 따라서, 사용되는 오디오 신호에 따라, 이러한 믹싱 콘솔은, 예를 들면, PC 상의 전용 하드웨어로서 또는 소프트웨어 컴포넌트로서 및/또는 오디오 신호가 디지털 형태로 이용가능하면, 프로그래밍가능한 CPU로서 구현될 수도 있다. 이러한 오디오 믹싱 콘솔을 사용하여 프로세싱될 수도 있는 전기적 오디오 신호는 - 마이크로폰을 제외하면 - 다른 플레이백(playback) 디바이스, 예컨대 악기 및 효과 장비 등으로부터 또한 유래할 수도 있다. 이렇게 함으로써, 프로세싱될 각각의 단일의 오디오 신호 및/또는 각각의 오디오 신호는 믹싱 콘솔 상의 별개의 채널 스트립(channel strip)과 관련될 수도 있는데, 채널 스트립은 관련된 오디오 신호의 톤 변화, 예컨대 볼륨에서의 변화, 필터링, 다른 채널 스트립과의 믹싱, 관련 채널의 분배 및/또는 분할 등에 관한 다수의 기능을 제공할 수도 있다.
콘서트 레코딩과 같은 복잡한 오디오 장면을 레코딩하는 경우, 레코딩을 들을 때 가능한 한 원음(original)과 가까운 사운드 느낌이 청취자에 대해 생성되도록, 오디오 신호 및/또는 믹싱된 레코딩을 생성하는 것이 종종 문제이다. 여기서, 상이한 재현 구성을 위한 최초 레코딩된 마이크로폰 신호 및/또는 소스 신호의 소위 믹싱은, 예컨대 출력 채널 및/또는 라우드스피커에서 상이한 수에 대해, 상이하게 발생하는 것을 필요로 할 수도 있다. 대응하는 예는 스테레오 구성 및 다채널 구성 예컨대 4.0, 5.1 등을 포함한다. 이러한 공간적 오디오 믹싱 및/또는 믹싱을 생성할 수 있기 위해, 지금까지는, 사운드의 각각의 소스에 대해 및/또는 각각의 채널 스트립에서의 각각의 마이크로폰 및/또는 소스 신호에 대해, 사운드 엔지니어에 의해 소망되는 공간적 느낌이, 소망되는 청취 구성에 대한 결과로 나타나도록, 볼륨이 설정된다. 이것은 주로, 공간적 느낌을 달성하기 위해 라우드스피커 사이에서 사운드의 팬텀 소스(phantom source)가 생성되도록 하는 소위 패닝 알고리즘(panning algorithm)에 의해 볼륨이 여러 플레이백 채널 및/또는 라우드스피커 사이에서 분배되는 것에 의해 달성된다. 이것은, 개개의 플레이백 채널에 대한 상이한 볼륨으로 인해, 예를 들면, 재현되는 대상이 라우드스피커 사이에 공간적으로 위치되는 느낌을 청취자가 받게 되는 것을 의미한다. 이것을 용이하게 하기 위해, 지금까지는 각각의 채널이, 음향 장면 내에서의 레코딩 마이크로폰의 실제 위치에 기초하여 조정되어야만 했고 또한 부분적으로 상당한 수의 추가 마이크로폰을 가지고 정렬되어야만 했다.
이러한 오디오 믹싱은, 사운드의 레코딩된 소스가 움직이는 느낌을 청취자에게 줘야 하는 경우는, 심지어 더 복잡하며 시간 소비적이고 및/또는 비용 집약적으로 된다. 이 경우, 수반되는 모든 채널 스트립에 대한 볼륨은, 시간적으로 가변적인 공간적 구성의 각각에 대해 및/또는 사운드의 소스의 움직임 내에서의 각각의 시간 단계에 대해 수동으로 재조정되어야만 하는데, 이것은 극히 시간 소비적일뿐만 아니라 에러에도 민감하다.
몇몇 시나리오에서, 예컨대 심포닉 오케스트라를 레코딩하는 경우, 예를 들면, 100개보다 많은 아주 많은 수의 마이크로폰 신호 및/또는 소스 신호가 동시에 레코딩되고 가능하다면 오디오 믹싱까지 실시간으로 프로세싱된다. 이러한 공간적 믹싱을 달성하기 위해서는, 지금까지는, 오퍼레이터 및/또는 사운드 엔지니어는, 오디오 믹싱이 소망의 청취 위치에서 및/또는 소망의 라우드스피커 배치에 대해 소망의 공간적 효과를 갖도록 볼륨 및 가능하게는 다른 파라미터, 예컨대 다수의 채널에 대한 볼륨의 분배 또는 개개의 채널 스트립의 잔향(팬(pan) 및 잔향)을 제어하기 위해, 적어도 실제 레코딩에 대한 전단계에서, 마이크로폰의 위치 및 그들의 개개의 채널 스트립과의 관련성을 먼저 주목하는 것에 의해, 종래의 믹싱 콘솔 상에서의 개개의 마이크로폰 신호 및/또는 소스 신호 사이의 공간적 관계를 생성해야 한다. 다이렉트 소스 신호로서 개별적으로 각각 레코딩되는 100개보다 많은 악기를 갖는 심포닉 오케스트라의 경우, 이것은 해결하기 거의 불가능한 문제점일 수도 있다. 레코딩에 후속하여, 현실(reality)과 유사한, 마이크로폰의 레코딩된 소스 신호의 공간적 배치를 믹싱 콘솔 상에서 재현하기 위해, 지금까지는, 마이크로폰의 위치가 손으로 스케치되거나 또는 모든 개개의 채널 스트립의 볼륨을 설정하는 것에 의해 시간 소비적인 절차에서 공간적 오디오 믹싱을 나중에 재생할 수 있기 위해 그들의 위치에 번호가 매겨졌다. 그러나, 아주 많은 수의 마이크로폰 신호가 레코딩되어야 하는 경우, 큰 도전과제를 제기하는 것은, 성공적인 레코딩의 후속하는 믹싱뿐만이 아니다.
오히려, 아주 많은 수의 소스 신호가 레코딩되어야 하는 경우, 임의의 그리고 모든 마이크로폰 신호가, 간섭 없는 오디오 믹싱을 위해 사용되는 믹싱 콘솔 및/또는 소프트웨어로 전달되는 것을 보장하는 것이 이미 해결하기 어려운 문제이다. 지금까지는, 이것은, 모든 채널 스트립을 개별적으로 듣고 및/또는 점검하는 사운드 엔지니어 및/또는 믹싱 콘솔의 오퍼레이터에 의해 검증되어야 하는데, 이것은 아주 시간 소모적이며, 그리고 원천(origin)이 즉각적으로 위치결정될 수 없는 간섭 신호가 발생하면, 시간 소모적인 에러 검색으로 나타날 수도 있다. 개개의 채널 및/또는 소스 신호를 청취하고/하거나 개개의 채널 및/또는 소스 신호를 온/오프 스위칭하는 경우, 레코딩 동안 마이크로폰 신호 및 마이크로폰의 위치를 믹싱 콘솔의 채널과 관련시키는 추가적인 레코딩이 에러가 없는 것을 보장하기 위해서는, 또한 주의가 필요하다. 많은 레코딩의 경우 이 점검 단독으로도 여러 시간이 걸릴 수도 있으며, 이로 인해, 레코딩이 완성되었다면, 후속하여, 복잡한 점검에서 만들어지는 에러를 보상하는 것이 어렵거나 더 이상 가능하지 않게 된다.
따라서, 적어도 두 개의 마이크로폰을 사용하여 음향 장면을 레코딩할 때, 보다 효율적으로 그리고 에러에 대한 더 적은 민감도를 가지고 레코딩을 행하고 및/또는 믹싱하는 것을 용이하게 할 수도 있는 개념을 제공할 필요성이 존재한다.
이 문제점은, 독립 청구항의 특징을 각각 포함하는 믹싱 콘솔, 오디오 신호 생성기, 방법 및 컴퓨터 프로그램에 의해 해결된다. 바람직한 실시형태 및 개발예(development)는 종속 청구항의 목적이다.
본 발명의 몇몇 실시형태는, 특히 한 공간 내의 가상의 청취 위치에 대한 오디오 신호를 제공하기 위한 오디오 신호 생성기를 사용하는 것에 의해 이것을 용이하게 하는데, 음향 장면은 제1 소스 신호로서 그 공간 내의 제1 기지의(known) 위치에 있는 적어도 제1 마이크로폰에 의해 그리고 제2 소스 신호로서 그 공간 내의 제2 기지의 위치에 있는 적어도 제2 마이크로폰에 의해 레코딩된다. 이것을 용이하게 하기 위해, 오디오 신호 생성기는 제1 마이크로폰에 의해 그리고 제2 마이크로폰에 의해 레코딩되는 제1 및 제2 오디오 신호를 수신하기 위한 입력 인터페이스를 포함한다. 오디오 신호 생성기 내의 지오메트리 프로세서(geometry processor)는, 제1 위치 및 가상의 청취 위치에 기초하여 제1 기지의 위치와 가상 청취 위치(202) 사이의 제1 거리를 포함하는 기하학적 정보(geometry information)의 제1 부분(piece), 및 제2 위치 및 가상 청취 위치에 기초하여 제2 기지의 위치와 가상 청취 위치(202) 사이의 제2 거리를 포함하는 기하학적 정보의 제2 부분을 결정하도록 구성되고, 그 결과 이들은 오디오 신호를 생성하도록 기능하는 신호 생성기에 의해 고려될 수도 있다. 이 목적을 위해, 신호 생성기는, 오디오 신호를 획득하기 위해 결합 규칙에 따라 적어도 제1 신호 소스 및 제2 신호 소스를 결합하도록 구성된다. 이와 관련하여, 결합은 본 발명의 실시형태 따른 기하학적 정보의 제1 부분 및 기하학적 정보의 제2 부분을 사용하여 발생한다. 즉, 본 발명의 실시형태에 따르면, 가상 청취 위치의 장소에서의 공간적 인식에 대응하거나 유사할 수도 있는 오디오 신호는 두 개의 소스 신호로부터 생성될 수도 있으며, 두 개의 소스 신호는, 믹싱 및/또는 레코딩될 음향 장면에 어떠한 마이크로폰도 위치될 필요가 없는 가상 청취 위치에 대해, 실제 마이크로폰에 의해 레코딩된다. 특히, 이것은, 예를 들면, 가상 청취 위치에 대한 오디오 신호의 생성 및/또는 제공에서 가상 청취 위치와 실제 마이크로폰의 위치 사이의 상대적 위치를 나타내는 기하학적 정보를 직접적으로 사용하는 것에 의해, 예를 들면, 달성될 수도 있다. 따라서, 이것은, 오디오 신호의 제공이 실시간으로 또는 거의 실시간으로 발생할 수도 있게 하는 어떠한 시간 소모적인 계산 없이도 가능할 수도 있다.
가상 청취 위치에 대한 오디오 신호를 생성하기 위한 기하학적 정보의 직접적인 사용은 또한, 어쩌면 아주 많은 수의 소스 신호가 개별적으로 또는 수동으로 조정되어야 하지 않고도, 가상 청취 위치의 좌표 및/또는 위치를 단순히 시프트하고/하거나 변경하는 것에 의해 오디오 믹싱을 생성하는 것을 용이하게 할 수도 있다. 개개의 오디오 믹싱을 생성하는 것은, 예를 들면, 실제 레코딩 이전에 셋업의 효율적인 점검을 또한 용이하게 할 수도 있는데, 예를 들면, 장면에서의 실제 마이크로폰의 레코딩 품질 및/또는 배치는, 개개의 마이크로폰이 정확하게 배선되었는지(wired)의 여부 및/또는 개개의 마이크로폰이 적절하게 동작하는지의 여부에 관한 자동화된 음향 피드백을 사운드 엔지니어가 즉각 획득할 수도 있도록, 음향 장면 내에서 및/또는 음향 공간 내에서 가상 청취 위치를 자유롭게 이동시키는 것에 의해 점검될 수도 있다. 예를 들면, 각 개개의 마이크로폰의 기능성은, 제공되는 오디오 신호에서 실제 마이크로폰 중 하나의 부분이 지배적이 되도록 가상 청취 위치가 실제 마이크로폰 중 하나의 위치로 가깝게 가이드될 때 모든 다른 마이크로폰을 페이드 아웃해야 하지 않고도 이렇게 검증될 수도 있다. 이것은 또한, 관련 마이크로폰에 의해 레코딩되는 소스 신호 및/또는 오디오 신호의 점검을 용이하게 한다.
또한, 본 발명의 실시형태는, 어쩌면, 라이브 레코딩 동안 에러가 발생하는 경우에도, 예를 들면, 마이크로폰 또는 케이블을 교체하는 것에 의해, 에러를 재빠르게 식별하는 것에 의해 것에, 재빠르게 개입하여 그 에러를 고치는 것을 용이하게 할 수도 있어서, 콘서트의 적어도 큰 부분의 에러 없는 레코딩이 여전히 가능하게 된다.
본 발명의 실시형태에 따르면, 음향 장면을 나타내는 신호를 믹싱할 때 레코딩 마이크로폰의 공간적 배치를 후속하여 재현하기 위해, 음향 장면을 레코딩하기 위해 사용되는, 소스 신호와는 독립적인 복수의 마이크로폰의 위치를 저장해두고/두거나 스케치하는 것이 더 이상 불필요할 수도 있다. 대신, 몇몇 실시형태에 따르면, 음향 공간 내에서 소스 신호를 레코딩하는 마이크로폰의 미리 결정된 위치는, 오디오 믹싱 콘솔에서의 개개의 채널 스트립의 피쳐 및/또는 제어 파라미터로서 직접적으로 고려될 수도 있고 소스 신호와 함께 보존되고/되거나 레코딩될 수도 있다.
본 발명의 몇몇 실시형태는 적어도 제1 및 제2 소스 신호를 프로세싱하기 위한 그리고 믹싱된 오디오 신호를 제공하기 위한 믹싱 콘솔인데, 그 믹싱 콘솔은, 공간 내의 가상 청취 위치에 대한 오디오 신호를 제공하기 위한 오디오 신호 생성기 - 제1 소스 신호로서 공간 내의 제1 기지의 위치에 있는 적어도 제1 마이크로폰에 의해 그리고 제2 소스 신호로서 공간 내의 제2 기지의 위치에 있는 적어도 제2 마이크로폰에 의해 음향 장면이 레코딩됨 - 를 포함하고, 오디오 신호 생성기는: 제1 마이크로폰에 의해 레코딩되는 제1 소스 신호 및 제2 마이크로폰에 의해 레코딩되는 제2 소스 신호를 수신하도록 구성되는 입력 인터페이스; 제1 위치 및 가상 청취 위치에 기초한 기하학적 정보의 제1 부분 및 제2 위치 및 가상 청취 위치에 기초한 기하학적 정보의 제2 부분을 결정하도록 구성되는 지오메트리 프로세서; 및 오디오 신호를 생성하기 위한 신호 생성기를 포함하고, 신호 생성기는 기하학적 정보의 제1 부분 및 기하학적 정보의 제2 부분을 사용하는 결합 규칙에 따라 적어도 제1 소스 신호 및 제2 소스 신호를 결합하도록 구성된다. 이것은 믹싱 콘솔의 오퍼레이터가, 레코딩 이전에, 예를 들면, 마이크로폰 케이블의 점검을, 단순하고 효율적인 방식으로 그리고 높은 에러의 가능성 없이, 수행하는 것을 가능하게 할 수도 있다.
몇몇 실시형태에 따르면, 믹싱 콘솔은, 복수의 마이크로폰의 위치뿐만 아니라 하나 또는 여러 곳의 가상 청취 위치의 그래픽 표현(graphic representation)을 나타내도록 구성되는 유저 인터페이스를 더 포함한다. 즉, 믹싱 콘솔의 몇몇 실시형태는, 추가로, 음향 장면 레코딩시, 기하학적 비율의 이미지를 그래픽적으로 표현하는 것을 허용하는데, 이것은 사운드 엔지니어가 간단하고 직관적인 방식으로 공간 믹싱을 생성하고/하거나 복잡한 음향 장면을 레코딩하기 위한 마이크로폰 셋업을 점검 또는 구축하고/하거나 조정하는 것을 가능하게 할 수도 있다.
몇몇 다른 실시형태에 따르면, 믹싱 콘솔은, 특히 가상 청취 위치의 그래픽 표현과 직접 상호작용하고/하거나 가상 청취 위치의 그래픽 표현에 직접 영향을 끼치는 것에 의해, 적어도 가상 청취 위치를 입력 및/또는 변경하도록 구성되는 입력 디바이스를 추가적으로 포함한다. 이것은, 예를 들면, 가상 청취 위치가 음향 장면 및/또는 음향 공간 내에서 마우스를 이용하여 또는 손가락 또는 터치 감지식 스크린(터치스크린)에 의해 현재 관심이 있는 장소로 시프트될 수 있는 것에 의해, 이들 위치와 관련되는 마이크로폰의 및/또는 개개의 청취 위치의 점검을 수행하는 것을 특히 직관적인 방식으로 허용한다.
또한, 믹싱 콘솔의 몇몇 추가 실시형태는, 마이크로폰의 각각을, 입력 인터페이스를 통해 여러 상이한 마이크로폰 타입 중 특정한 하나의 타입에 속하는 것으로 특징짓는 것을 허용한다. 특히, 마이크로폰 타입은, 레코딩될 음향 장면의 사운드의 대상 및/또는 소스에 대한 마이크로폰의 기하학적 상대적 위치로 인해 다이렉트 사운드 부분을 주로 레코딩하는 마이크로폰에 대응할 수도 있다. 동일한 이유로, 제2 마이크로폰 타입은, 확산 사운드 부분(diffuse sound portion)을 레코딩하는 마이크로폰을 주로 특징으로 할 수도 있다. 개개의 마이크로폰을 상이한 타입과 관련시키기 위한 옵션은, 가상 청취 위치에 대한 오디오 신호를 획득하기 위해, 예를 들면, 상이한 타입에 의해 레코딩되는 소스 신호를 상이한 결합 규칙을 사용하여 서로 결합하도록 기능할 수도 있다.
몇몇 실시형태에 따르면, 이것은 특히, 자연적인 사운드 느낌 및/또는 주어진 요건에 대한 바람직한 피쳐를 포함하는 신호에 도달하기 위해, 확산 사운드를 주로 레코딩하는 마이크로폰에 대해 그리고 다이렉트 사운드를 주로 레코딩하는 그런 마이크로폰에 대해 상이한 결합 규칙 및/또는 중첩 규칙을 사용하도록 사용될 수도 있다. 적어도 제1 및 제2 소스 신호의 가중된 합(weighted sum)을 형성하는 것에 의해 오디오 신호가 생성되는 몇몇 실시형태에 따르면, 가중치는, 예를 들면, 상이한 마이크로폰 타입에 대해 상이하게 결정된다. 예를 들면, 다이렉트 사운드를 주로 레코딩하는 마이크로폰에서, 현실에 대응하는 볼륨에서의 감소는, 적절하게 선택된 가중치 인자를 통해 마이크로폰으로부터의 거리를 증가시키는 것을 이용하여 이 방식으로 구현될 수도 있다. 몇몇 실시형태에 따르면, 가중치는 가상 청취 위치에 대한 마이크로폰의 거리의 멱승(power)에 반비례한다. 몇몇 실시형태에 따르면, 가중치는 거리에 반비례하는데, 거리는 사운드의 이상적인 포인트 형상의 소스의 사운드 전파에 다소 대응한다. 몇몇 실시형태에 따르면, 제1 마이크로폰 타입, 즉 다이렉트 사운드의 레코딩과 관련되는 마이크로폰의 경우, 가중치 인자는 (가상 청취 위치에 대한 마이크로폰의 거리)×(근접장 반경(near-field radius))에 반비례한다. 이것은, 소스 신호의 일정한 볼륨이 가정되는 근접장 반경의 가정된 영향을 고려하는 것에 의해 오디오 신호의 향상된 인식으로 나타날 수도 있다.
본 발명의 몇몇 실시형태에 따르면, 오디오 신호는, 가중된 합을 계산하는 것에 의해 마이크로폰에 대한 레코딩된 소스 신호(x1 및 x2)로부터 또한 생성되는데, 그 마이크로폰은 제2 마이크로폰 타입과 관련되며 그 마이크로폰에 의해 확산 사운드 부분이 주로 레코딩되며, 가중치(g1 및 g2)는 마이크로폰의 상대적 위치에 의존하며 추가적인 경계 조건을 동시에 충족한다. 특히, 본 발명의 몇몇 실시형태에 따르면, 가중치의 합(G=g1+g2) 또는 가중치의 제곱합(G2 = g1 2 + g2 2)은 일정하며 특히 1이다. 이것은, 마이크로폰 사이의 상이한 상대적 위치에 대한 생성된 오디오 신호의 볼륨이 소스 신호의 각각의 볼륨에 적어도 거의 대응하는 소스 신호의 결합으로 나타날 수도 있는데, 음향 공간 내에서의 확산 신호 부분이 거의 동일한 볼륨을 포함하기 때문에, 이것은, 다시, 생성된 오디오 신호의 양호한 인식으로 나타날 수도 있다.
본 발명의 몇몇 실시형태에 따르면, 상이한 가중치를 갖는 두 개의 가중된 합에 의해 제1 중간 신호 및 제2 중간 신호가 소스 신호로부터 먼저 형성된다. 제1 및 제2 중간 신호에 기초하여, 오디오 신호는 그 후 다른 가중된 합에 의해 결정되는데, 가중치는 제1 및 제2 소스 신호 사이의 상관 계수에 의존한다. 두 개의 레코딩된 소스 신호의 유사도에 따라, 이것은, 선택된 방법 및 결합될 신호에 따라 원칙적으로는 과도한 볼륨 증가가 발생할 수도 있기 때문에, 과도한 볼륨 증가가 더 감소될 수도 있도록 가중하여 결합 규칙 및/또는 패닝 방법을 서로 결합하는 것을 허용할 수도 있다. 이것은 생성된 오디오 신호의 전체 볼륨이 결합된 신호 형상에 무관하게 거의 일정하게 유지하는 것으로 나타날 수도 있어서, 주어지는 공간적 느낌도 또한, 소스 신호에 관한 어떠한 선험적인 지식없이도, 소망되었던 것과 거의 대응하게 된다.
몇몇 다른 실시형태에 따르면, 오디오 신호는 - 특히 그들 확산 사운드 부분이 관련되는 한 - 소스 신호를 각각 레코딩하는 세 개의 마이크로폰에 의해 가상 청취 위치가 둘러싸이는 영역에서 세 개의 소스 신호를 사용하여 형성된다. 여기서, 오디오 신호를 제공하는 것은 세 개의 레코딩된 소스 신호의 가중된 합을 생성하는 것을 포함한다. 소스 신호와 관련되는 마이크로폰은 삼각형을 형성하는데, 가중치는, 관련 마이크로폰의 위치를 통과하여 이어지는 삼각형의 그 높이 상으로의 가상 청취 위치의 수직 투사에 기초하여 소스 신호에 대해 결정된다. 여기에서, 가중치를 결정하기 위해 상이한 방법이 사용될 수도 있다. 그럼에도 불구하고, 단지 두 개의 소스 신호 대신 세 개가 결합하는 경우에도, 볼륨은 거의 변하지 않고 유지될 수도 있는데, 이것은 가상 청취 위치에서 음장(sound field)의 톤적으로 보다 실제와 같은 재현에 기여할 수도 있다.
본 발명의 몇몇 실시형태에 따르면, 제1 또는 제2 소스 신호 중 어느 하나는, 기하학적 정보의 제1 부분과 기하학적 정보의 제2 부분의 비교가 미리 결정된 기준을 충족하면, 특히, 두 개의 거리가 동작가능한 최소 거리 미만만큼 서로 벗어나면, 두 개의 소스 신호의 결합 이전에 지연 시간만큼 지연된다. 이것은, 서로 작은 공간적 거리에서 레코딩되었던 신호의 중첩에 의해 어쩌면 생성될 수도 있는 어떠한 사운드 컬러레이션(sound coloration)도 발생하지 않으면서 오디오 신호를 생성하는 것을 허용할 수도 있다. 몇몇 실시형태에 따르면, 사용되는 소스 신호의 각각은, 그 전파 시간 및/또는 레이턴시가, 가상 청취 위치에 포함되는 모든 마이크로폰의 장소로부터의 최대 신호 전파 시간에 대응하도록 하는 특히 효율적인 방식으로 지연되어, 유사한 또는 동일한 신호의 상쇄 간섭(destructive interference)이, 강제된 동일한 신호 전파 시간에 의해 회피될 수도 있게 된다.
몇몇 다른 실시형태에 따르면, 소스 신호의 중첩 및/또는 가중된 합산에서 방향 의존성이 추가로 고려되는데, 즉, 우선 방향(preferred direction) 및 우선 방향과 관련하여 나타내어지는 방향성은 가상 청취 위치와 관련될 수도 있다. 이것은, 예컨대 실제 마이크로폰 또는 인간의 청각의 기지의 방향성을 추가로 고려하는 것에 의해 오디오 신호를 생성할 때 현실에 가까운 효과를 달성하는 것을 허용할 수도 있다.
본 발명의 실시형태는 첨부의 도면을 참조한 하기의 설명에서 더 상세히 설명될 것이다.
도 1은 오디오 신호 생성기의 실시형태를 도시한다.
도 2는 오디오 신호 생성기의 실시형태에 의해 소스 신호가 프로세싱되는 음향 장면의 예시를 도시한다.
도 3은, 본 발명의 몇몇 실시형태에 따른, 오디오 신호를 생성하기 위한 결합 규칙에 대한 예를 도시한다.
도 4는 가능한 결합 규칙의 추가 예를 명확화하기 위한 예시를 도시한다.
도 5는 세 개의 소스 신호를 사용하기 위한 결합 규칙의 그래픽 예시를 도시한다.
도 6은 다른 결합 규칙의 예시를 도시한다.
도 7은 방향 의존적인 결합 규칙의 예시를 도시한다.
도 8은 믹싱 콘솔의 실시형태의 개략적인 표현을 도시한다.
도 9는 오디오 신호를 생성하기 위한 방법의 실시형태의 개략적인 표현을 도시한다.
도 10은 유저 인터페이스의 실시형태의 개략적인 표현을 도시한다.
도 1은 오디오 신호 생성기의 실시형태를 도시한다.
도 2는 오디오 신호 생성기의 실시형태에 의해 소스 신호가 프로세싱되는 음향 장면의 예시를 도시한다.
도 3은, 본 발명의 몇몇 실시형태에 따른, 오디오 신호를 생성하기 위한 결합 규칙에 대한 예를 도시한다.
도 4는 가능한 결합 규칙의 추가 예를 명확화하기 위한 예시를 도시한다.
도 5는 세 개의 소스 신호를 사용하기 위한 결합 규칙의 그래픽 예시를 도시한다.
도 6은 다른 결합 규칙의 예시를 도시한다.
도 7은 방향 의존적인 결합 규칙의 예시를 도시한다.
도 8은 믹싱 콘솔의 실시형태의 개략적인 표현을 도시한다.
도 9는 오디오 신호를 생성하기 위한 방법의 실시형태의 개략적인 표현을 도시한다.
도 10은 유저 인터페이스의 실시형태의 개략적인 표현을 도시한다.
이제, 몇몇 실시형태가 예시되는 첨부의 도면을 참조하여, 다양한 예시적인 실시형태가 더 완전히 설명될 것이다. 도면에서, 라인, 층, 및/또는 영역의 두께는 명확성을 위해 과장될 수도 있다.
몇몇 예시적인 실시형태를 단지 나타내는 첨부의 도면의 하기의 설명에서, 동일한 도면 부호는 동일한 또는 필적하는 컴포넌트를 가리킬 수도 있다. 또한, 실시형태에서 또는 도면에서 여러 번 나오지만, 하나 또는 여러 피쳐와 관련하여 연대적으로 설명되는 컴포넌트 및 오브젝트에 대해서는 개괄적인 도면 부호(summarizing reference number)가 사용될 수도 있다. 동일한 또는 개괄적인 도면 부호를 사용하여 설명되는 컴포넌트 또는 오브젝트는, 개개의, 여러 또는 모든 피쳐, 예컨대 그들의 치수 결정과 관련하여, 동일한 방식으로 실현될 수도 있지만 - 그러나, 필요하다면, 상이하게 구현될 수도 있다.
실시형태가 다양한 방식으로 변경되고 수정될 수도 있을지라도, 도면에서의 실시형태는 예로서 표현되며 본원에서 상세히 설명된다. 그러나, 그것은 개시되는 특정한 형태로 실시형태를 제한하도록 의도된 것은 아니며, 오히려, 실시형태는 본 발명의 범위 내에 있는 임의의 그리고 모든 기능적 및/또는 구조적 수정예, 등가예, 및 대안예를 포괄해야 한다는 것을 분명히 한다. 도면의 설명 전체에 걸쳐, 동일한 도면 부호는 동일한 또는 유사한 엘리먼트를 지칭한다.
한 엘리먼트가 다른 엘리먼트에 "연결된" 또는 "커플링된" 것으로 언급되면, 그 한 엘리먼트는 그 다른 엘리먼트에 직접적으로 연결되거나 또는 커플링될 수도 있거나 또는 개재하는(intervening) 엘리먼트가 존재할 수도 있다는 것이 이해되어야 한다. 대조적으로, 한 엘리먼트가 다른 엘리먼트에 "직접적으로 연결된" 또는 "직접적으로 커플링된" 것으로 언급되면, 개재하는 엘리먼트는 존재하지 않는다. 엘리먼트 사이의 관계를 설명하기 위해 사용되는 다른 단어도 유사한 형태로 해석되어야 한다(예를 들면, "사이" 대 "사이에 직접적으로", "인접한" 대 "직접적으로 인접한" 등).
본원에서 사용된 전문 용어는 특정한 예시적인 실시형태를 설명하려는 목적을 위한 것이며, 실시형태를 제한하도록 의도된 것은 아니다. 본원에서 사용된 바와 같이, 단수 형태의 "한(a)", "한(an)" 및 "그(the)"는, 문맥상 명확히 그렇지 않다고 나타내지 않는 한, 복수의 형태도 또한 포함하도록 의도된다. 용어 "포함한다(comprise)", "포함하는(comprising)", "포함한다(include)" 및/또는 "포함하는(including)"은, 본원에서 사용될 때, 언급된 특징, 정수, 단계, 동작, 엘리먼트, 및/또는 컴포넌트의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 엘리먼트, 컴포넌트, 및/또는 이들의 그룹의 존재 또는 추가를 배제하는 것은 아니라는 것을 또한 분명히 한다.
다르게 정의되지 않는 한, 본원에서 사용되는 임의의 그리고 모든 용어(기술적 용어 및 과학적 용어를 포함함)는, 실시형태가 속하는 기술분야의 숙련된 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 용어, 예를 들면, 일반적으로 사용되는 사전에서 정의되는 용어는, 관련 기술의 맥락에서 그들의 의미와 일치하는 의미를 갖는 것으로 해석되어야 하고, 본원에서 명시적으로 정의되지 않는 한, 이상적으로 또는 과도하게 정형적인 의미로 해석되지 않아야 한다는 것을 더 분명히 한다.
개략적인 표현에서, 도 1은 입력 인터페이스(102), 지오메트리 프로세서(104) 및 신호 생성기(106)를 포함하는 오디오 신호 생성기(100)의 한 실시형태를 도시한다. 오디오 신호 생성기(100)는, 도 1에서 단지 개략적으로 나타내어지는 공간(200) 내에서 가상 청취 위치(202)에 대한 오디오 신호를 제공하도록 기능한다. 공간(200)에서, 음향 장면은 적어도 제1 마이크로폰(204) 및 제2 마이크로폰(206)을 사용하여 레코딩된다. 음향 장면의 소스(208)는, 여기에서는 단지, 음향 장면으로 칭해지며 마이크로폰(204 및 206)에 의해 레코딩되는 그 공간(200) 내에서의 음장으로 이어지는, 복수의 사운드 소스가 배치되어 있고/있거나 배치될 수도 있는 공간(200) 내의 한 영역으로서 개략적으로 예시된다.
입력 인터페이스(102)는 제1 마이크로폰(204)에 의해 레코딩되는 제1 소스 신호(210) 및 제2 마이크로폰(206)에 의해 레코딩되는 제2 소스 신호(212)를 수신하도록 구성된다. 제1 및 제2 소스 신호(210 및 212)는 여기에서 둘 다 아날로그 및 디지털 신호일 수도 있는데, 이들은 둘 다 인코딩된 그리고 인코딩되지 않은 형태로 마이크로폰에 의해 송신될 수도 있다. 즉, 몇몇 실시형태에 따르면, 소스 신호(210 및 212)는 압축 방법, 예컨대 어드밴스드 오디오 코덱(Advanced Audio Codec; AAC), MPEG 1, 레이어 3(MP3) 등에 따라 미리 인코딩 및/또는 압축될 수도 있다.
제1 및 제2 마이크로폰(204 및 206)은, 지오메트리 프로세서(104)에게 또한 알려져 있는 공간(200) 내의 미리 결정된 위치에 위치된다. 또한, 지오메트리 프로세서(104)는 가상 청취 위치(202)의 위치 및/또는 좌표를 알고 있으며 가상 청취 위치(202) 및 제1 마이크로폰(204)의 제1 위치로부터 기하학적 정보의 제1 부분(110)을 결정하도록 구성된다. 지오메트리 프로세서(104)는 또한, 가상 청취 위치(202) 및 제2 위치로부터 기하학적 정보(112)의 제2 부분(112)을 결정하도록 구성된다.
망라하는 것이도록 주장하지는 않지만, 기하학적 정보의 이러한 부분의 예는 제1 위치와 가상 청취 위치(202) 사이의 거리이거나 또는 가상 청취 위치(202)와 관련되는 우선 방향과 마이크로폰(204 또는 206) 중 하나의 위치 사이의 상대적 방향이다. 물론, 기하학적 형상은 또한, 임의의 방식, 예컨대 1차원, 2차원 또는 3차원 공간에서 직교 좌표(Cartesian coordinates), 구형 좌표(spherical coordinates) 또는 원기둥 좌표(cylindrical coordinates)에 의해 설명될 수도 있다. 다시 말하면, 기하학적 정보의 제1 부분은 제1 기지의 위치와 가상 청취 위치 사이의 제1 거리를 포함할 수도 있고, 기하학적 정보의 제2 부분은 제2 기지의 위치와 가상 청취 위치 사이의 제2 거리를 포함할 수도 있다.
신호 생성기는 제1 소스 신호(210) 및 제2 소스 신호(212)를 결합하는 오디오 신호를 제공하도록 구성되는데, 결합은 한 규칙을 따르고, 그 규칙에 따라 기하학적 정보의 제1 부분(110) 및 기하학적 정보의 제2 부분(112) 둘 다가 고려되고/되거나 사용된다.
따라서, 오디오 신호(120)는 제1 및 제2 소스 신호(210 및 212)로부터 유도되는데, 여기서는 기하학적 정보의 제1 및 제2 부분(110 및/또는 112)이 사용된다. 즉, 가상 청취 위치(202) 및 마이크로폰(204 및 206)의 위치 사이의 기하학적 특성 및/또는 관계에 관한 정보는 오디오 신호(120)를 결정하기 위해 직접적으로 사용된다.
가상 청취 위치(202)를 변경하는 것에 의해, 예를 들면, 오케스트라 내의 복수의 마이크로폰을 그 복수의 마이크로폰과 각각 관련되는 믹싱 콘솔의 채널을 통해 개별적으로 청취해야 할 필요 없이, 가상 청취 위치(202)에 가깝게 배치되는 마이크로폰의 기능성을 체크하는 것을 허용하는 오디오 신호를 간단하고 직관적인 방식으로 획득하는 것이 가능할 수도 있다.
기하학적 정보의 제1 부분 및 기하학적 정보의 제2 부분이, 가상 청취 위치(202)와 제1 위치 사이의 제1 거리(d1) 및 가상 청취 위치(202)와 제2 위치 사이의 제2 거리(d2)를, 정보의 적어도 하나의 부분으로서, 포함하는 실시형태에 따르면, 오디오 신호(120)를 생성하기 위해, 다른 것들 중에서도, 제1 소스 신호(210) 및 제2 소스 신호(212)의 가중된 합이 사용된다.
간략화를 위해 그리고 더 나은 이해를 위해, 단지 두 개의 마이크로폰(204 및 206)이 도 1에서 예시되지만, 본 발명의 다른 실시형태에 따르면, 하기의 실시형태를 사용하여 여기에서 설명되는 바와 같이, 가상 청취 위치에 대한 오디오 신호를 생성하기 위해, 도 1에서 개략적으로 예시되는 종류의 임의의 수의 마이크로폰이 오디오 신호 생성기(100)에 의해 사용될 수도 있다는 것은 말할 필요도 없다.
즉, 몇몇 실시형태에 따르면, 오디오 신호(x)는 제1 소스 신호(210)(x1) 및 제2 소스 신호(x2)의 선형 결합으로부터 생성되는데, 여기서 제1 소스 신호(x1)는 제1 가중치(g1)에 의해 가중되고 제2 소스 신호(x2)는 제2 가중치(g2)에 의해 가중되어 다음의 식:
가 적용된다.
몇몇 실시형태에 따르면, 대응하는 가중치(g3, …, gn)를 갖는 이미 언급된 바와 같은 추가 소스 신호(x3, …, xn)도 또한 고려될 수도 있다. 물론, 오디오 신호는 시간 의존적인데, 본 경우에서는, 명확화의 이유 때문에 오디오 신호가 시간 의존성에 대한 명시적 참조를 행하는 것이 부분적으로 생략되며, 오디오 신호 또는 소스 신호(x)에 대해 제공되는 정보는 정보(x(t))와 동의어인 것으로 이해되어야 한다.
도 2는 공간(200)을 개략적으로 도시하는데, 도 2에서 선택되는 예시에서는, 확산 음장의 발생에 책임이 있는 사각형 벽에 의해 공간이 제한되는 것이 가정된다. 또한, 하나 또는 여러 개의 사운드 소스가 도 2에 예시되는 소스(208)의 제한된 영역 내에 배치될 수도 있을지라도, 하나 또는 여러 개의 사운드 소스는, 먼저 단순화된 형태에서는, 개개의 마이크로폰에 대한 그들의 효과와 관련하여 단일의 소스인 것으로 간주될 수도 있다는 것이 간단한 표현에서 가정된다. 이러한 사운드 소스에 의해 방출되는 다이렉트 사운드는 공간(200)을 제한하는 벽에 의해 다수 회 반사되고, 그 결과 이미 약화된 신호의 다수의 반사에 의해 생성되는 확산 음장이 비상관 방식으로 중첩되는 신호로부터 유래하고, 전체 공간 내에서 적어도 거의 일정한 볼륨을 특징으로 한다. 다이렉트 사운드 부분, 즉, 소스(208) 내에 위치되는 사운드 소스로부터, 특히 마이크로폰(220 및 230)을 포함하는 가능한 청취 위치에, 반사 없이 바로 도달하는 그러한 사운드가 확산 음장과 중첩한다. 즉, 개념적으로 이상적인 관점에서, 음장은 공간(200) 내에서 두 개의 성분, 즉, 사운드의 생성 장소로부터 대응하는 청취 위치에 바로 도달하는 다이렉트 사운드 부분, 및 복수의 직접적으로 방출된 신호 및 반사된 신호의 거의 비상관 중첩으로부터 유래하는 확산 사운드 부분으로 구별될 수도 있다.
도 2에서 도시되는 예시에서, 소스(208)에 대한 마이크로폰(220 내지 224)의 공간적 근접성으로 인해, 마이크로폰이 주로 다이렉트 사운드를 레코딩하는 것이 가정될 수도 있다, 즉 이들 마이크로폰에 의해 레코딩되는 신호의 볼륨 및/또는 음압(sound pressure)이 다이렉트 사운드 부분인 소스(208) 내에 배치되는 사운드 소스로부터 주로 유래한다는 것이 가정될 수도 있다. 대조적으로, 예를 들면, 소스(208)와 마이크로폰(226 내지 232) 사이의 공간적 거리가 크기 때문에 마이크로폰(226 내지 232)은 확산 사운드 부분으로부터 주로 유래하는 신호를 레코딩하고, 그 결과 이들 위치에서의 다이렉트 사운드의 볼륨은, 확산 음장의 볼륨과 적어도 필적하거나, 또는 확산 음장의 볼륨보다 더 작아지게 되는 것이 가정될 수도 있다.
가상 청취 위치(202)에 대한 오디오 신호의 생성에서 증가하는 거리에 따른 볼륨에서의 감소에 대응하기 위해, 본 발명의 몇몇 실시형태에 따르면, 소스 신호를 레코딩하기 위해 사용되는 마이크로폰(220 내지 232)과 가상 청취 위치(202) 사이의 거리에 따라 개개의 소스 신호에 대해 가중치(gn)가 선택된다. 도 3은 소스 신호에 의한 승산을 위한 이러한 가중치 및/또는 이러한 인자를 결정하기 위한 방식의 한 예를 도시하는데, 마이크로폰(222)이 한 예로서 선택되었다. 도 3에서 개략적으로 예시되는 바와 같이, 가중치(gn)는 몇몇 실시형태에서 제1 거리(d1)의 멱승에 반비례하게 선택된다, 즉:
이다.
몇몇 실시형태에 따르면, n=1이 멱승으로서 선택된다, 즉 가중치 및/또는 가중치 인자가 거리(d1)에 반비례하고, 거리에 대한 의존성은 균일하게 방출하는 포인트 형상의 사운드 소스의 자유 음장 전파에 대략적으로 대응한다. 즉, 몇몇 실시형태에 따르면, 볼륨이 거리(240)에 반비례하는 것이 가정된다. 몇몇 다른 실시형태에 따르면, 마이크로폰(220 내지 232) 중 일부 또는 모두에 대해 소위 근접장 반경(242)(r1)이 추가적으로 고려된다. 근접장 반경(242)은, 여기에서는, 사운드 소스를 바로 주위의 영역에, 특히 음파 및/또는 사운드 프론트(sound front)가 형성되는 영역에 대응한다. 근접장 반경 내에서, 오디오 신호의 음압 레벨 및/또는 볼륨은 일정한 것으로 가정된다. 이와 관련하여, 간단한 모델 표현에서는, 오디오 신호의 단일 파 길이 내의 중간에 유의한(significant) 감쇠가 발생하지 않으며, 그 결과 음압은 적어도 단일 파 길이(음장 반경에 대응함) 내에서 일정하게 되는 것이 가정될 수도 있다. 이것은, 근접장 반경이 또한 주파수 의존적일 수도 있다는 것을 의미한다.
근접장 반경을 본 발명의 몇몇 실시형태에 따라 유사한 방식으로 사용함으로써, 가상 청취 위치(202)가 마이크로폰(220 내지 232)의 실제 위치 중 하나에 근접하면, 음향 장면 및/또는 개개의 마이크로폰의 구성 및 케이블링을 점검하기 위한 관련 양을 특히 명확하게 가중하는 것에 의해, 가상 청취 위치(202)에서 오디오 신호가 생성될 수도 있다. 본 발명의 몇몇 실시형태에 따라 근접장 반경(r)에 대해 주파수 독립적인 양이 가정되더라도, 근접장 반경의 주파수 의존성은 몇몇 다른 실시형태에 따라 구현될 수도 있다. 몇몇 실시형태에 따르면, 이와 같이 오디오 신호의 생성을 위해, 마이크로폰(220 내지 232) 중 하나 주위의 근접장 반경(r) 내에서 볼륨은 일정하다는 것이 가정된다. 신호의 계산을 단순화하기 위해 그리고, 어쩌면, 그럼에도 불구하고, 근접장 반경의 영향에 대응하기 위해, 몇몇 다른 실시형태에 따른 일반적인 계산 규칙으로서, 가중치(g1)는 고려되는 마이크로폰(222)의 근접장 반경(r1) 및 가상 청취 위치(202)와 마이크로폰(222)의 거리(d1)의 몫에 비례하여, 그 결과 다음과 같이 적용된다는 것이 가정된다:
이러한 파라미터화 및/또는 거리에 대한 의존성은, 근접장에 관한 고려사항 및 원거리장(far field)에 관한 고려사항 둘 다에 대응할 수도 있다. 위에서 언급된 바와 같이, 포인트 형상의 사운드 소스의 근접장은, 자유 필드 전파의 경우, 사운드 소스로부터의 거리의 각각의 두 배에 따라 음압이 절반으로 되는, 즉, 레벨이 각각의 경우에 6dB만큼 감소되는 원거리장에 인접한다. 이 특성은 거리 법칙 및/또는 1/r 법칙으로 또한 알려져 있다. 본 발명의 몇몇 실시형태에 따르면, 비록 그 사운드 소스가 지향적으로 방출되는 소스(208)가 레코딩될 수 있을지라도, 가상 청취 위치(202)의 장소에서의 음장의 실세계 재현이 아니라, 마이크로폰에 대한 점검 및/또는 청취에 대한 가능성 및/또는 복잡한 음향 장면의 품질을 빠르고 효율적인 방식으로 레코딩하는 것에 초점이 맞추어지는 경우, 어쩌면 포인트 형상의 사운드 소스가 가정될 수도 있다.
도 2에서 이미 나타내어진 바와 같이, 몇몇 실시형태에 따르면, 상이한 마이크로폰에 대한 근접장 반경은 상이하게 선택될 수도 있다. 특히, 여기에서는, 상이한 마이크로폰 타입이 고려될 수 있다. 개개의 마이크로폰의 실제 셋업과는 무관하게, 소스(208)를 레코딩하기 위해 또한 사용되는 다른 마이크로폰의 동일한 특성 또는 사용과는 상이한 마이크로폰의 특성 또는 그 사용을 설명하는 정보의 부분이 본원에서는 마이크로폰 타입인 것으로 이해되어야 한다. 이러한 구별을 위한 예는, 마이크로폰의 기하학적 위치로 인해, 다이렉트 사운드 부분을 주로 레코딩하는 제1 타입(도 2에서는 타입 "D")의 마이크로폰과 소스(208)에 대한 더 먼 거리 및/또는 다른 상대적 위치로 인해, 확산 음장을 주로 레코딩하고/하거나 등록하는 마이크로폰(도 2에서 타입 "A" 마이크로폰) 사이의 구별이다. 특히, 상이한 타입의 마이크로폰에서의 마이크로폰의 이러한 구분에서, 상이한 근접장 반경의 사용이 유용할 수도 있다. 몇몇 실시형태에 따르면, 타입 A 마이크로폰의 근접장 반경은 여기에서는 타입 D 마이크로폰에 대한 것보다 더 크게 선택되는데, 이것은, 특히 상기에서 예시되는 바와 같은 확산 음장이 큰 영역에 걸쳐 거의 동등하게 소리가 클 때, 가상 청취 위치(202)가 마이크로폰에 근접하여 위치되는 경우 물리적 조건 및/또는 사운드 느낌을 크게 왜곡시키지 않으면서 개개의 마이크로폰을 점검하는 간단한 가능성으로 이어질 수도 있다.
일반적으로, 본 발명의 몇몇 실시형태에 따르면, 오디오 신호 생성기(100)는, 각각의 소스 신호를 레코딩하는 마이크로폰이 상이한 마이크로폰 타입과 관련되면 소스 신호를 결합하기 위한 상이한 결합 규칙을 사용한다. 즉, 결합될 두 개의 마이크로폰이 제1 마이크로폰 타입과 관련되면 제1 결합 규칙이 사용되고, 결합될 두 개의 마이크로폰 및/또는 이들 마이크로폰에 의해 레코딩되는 소스 신호가 제2 상이한 마이크로폰 타입과 관련되면 제2 결합 규칙이 사용된다.
특히, 몇몇 실시형태에 따르면, 각각의 상이한 타입의 마이크로폰은 최초 서로 완전히 분리되어 프로세싱될 수도 있고 각각 하나의 부분적인 신호(xvirt)로 결합될 수도 있으며, 이 때, 최종 단계에서, 최종 신호는 이전에 생성된 부분적인 신호를 결합하는 것에 의해 오디오 신호 생성기 및/또는 믹싱 콘솔에 의해 생성된다. 이것을 도 2에 예시되는 음향 장면에 적용하면, 이것은, 예를 들면, 가상 청취 위치(202)에 대해, 단지 타입 A 마이크로폰(226 내지 232)을 고려하는 부분적인 신호(xA)가 먼저 결정될 수도 있다는 것을 의미한다. 그와 동시에 또는 이전에 및/또는 이후에, 가상 청취 위치(202)에 대해, 단지 타입 D 마이크로폰, 즉, 마이크로폰(220 내지 224)을 고려하지만, 그들을 다른 결합 규칙에 따라 서로 다르게 결합하는 제2 부분적인 신호(xD)가 결정될 수도 있을 것이다. 그 다음, 최종 단계에서, 가상 청취 위치(202)에 대한 최종 오디오 신호(x)는, 특히 제1 타입(D)의 마이크로폰에 의해 유도되었던 제1 부분적인 신호(xD) 및 제2 타입(A)의 마이크로폰에 의해 유도되었던 제2 부분적인 신호(xA)의 선형 결합을 통해 이들 두 부분적인 신호를 결합하는 것에 의해 생성될 수도 있고 다음의 식:
가 적용된다.
도 4는 도 2와 유사한 음향 장면의 개략도를, 다이렉트 사운드를 레코딩하는 마이크로폰(220 내지 224)의 위치, 및 다수의 타입 A 마이크로폰과 함께 도시하는데, 계속해서 이 타입 A의 마이크로폰(250 내지 256)이 특히 고려될 것이다. 이와 관련하여, 도 4 및 도 5에 예시되는 구성에서 마이크로폰(250 내지 254)에 의해 이어지는 삼각형 표면 내에 배치되는 가상 청취 위치(202)에 대해 어떤 결합 규칙을 가지고 오디오 신호가 생성될 수도 있는지에 관해 몇몇 옵션이 논의된다.
일반적인 표현으로, 가상 청취 위치(202)에 대한 오디오 신호를 생성하는 것 및/또는 볼륨의 보간은 가장 가까운 마이크로폰의 위치를 고려하여 또는 모든 마이크로폰의 위치를 고려하여 발생할 수도 있다. 예를 들면, 다른 것들 중에서도 계산 부하를 감소시키기 위해, 단지, 가상 청취 위치(202)에서 오디오 신호를 생성하는 가장 가까운 마이크로폰을 사용하는 것이 바람직할 수도 있다. 예를 들면, 들로네 삼각분할(Delaunay triangulation)에 의해 및/또는 가장 가까운 이웃을 검색하기 위한 임의의 다른 알고리즘에 의해 가장 가까운 마이크로폰이 발견될 수도 있다. 볼륨 조정을 결정하기 위한, 또는, 일반적인 표현으로, 마이크로폰(250 내지 254)과 관련되는 소스 신호를 결합하기 위한 몇몇 특수한 옵션은, 특히 도 5를 참조로 이하 설명된다.
가상 청취 위치(202)가 삼각분할의 삼각형 중 하나 내에 위치되지 않고 그 외부에 있으면, 예를 들면, 도 4에서 점선으로 묘사되는 다른 가상 청취 위치(260)에 있으면, 신호의 보간에 대해 및/또는 마이크로폰의 소스 신호로부터의 오디오 신호의 결합에 대해, 바로 이웃의 단지 두 개의 소스 신호가 이용가능할 것이다. 간략화를 위해, 두 개의 소스 신호를 결합하는 옵션은 이하 도 5를 사용하여 또한 논의되는데, 도 5에서 마이크로폰(250)의 소스 신호는, 처음에는, 두 개의 소스 신호로부터의 보간에서 무시된다.
본 발명의 몇몇 실시형태에 따르면, 가상 청취 위치(202)에 대한 오디오 신호는 제1 크로스페이드 규칙(crossfade rule), 소위 선형 패닝 법칙(linear panning law)에 따라 생성된다. 이 방법에 따르면, 오디오 신호(xvirt1)는 다음의 계산 규칙:
을 사용하여 결정된다.
즉, 가산될 개개의 소스 신호(x1 및 x2)의 가중치는 선형적으로 1까지 가산되고, 오디오 신호(xvirt1)는 두 개의 신호 중 하나(x1 또는 x2)에 의해서만 또는 이들 둘 모두의 선형 결합에 의해 형성된다. 이 선형 관계로 인해, 이 방식으로 생성되는 오디오 신호는 동일한 소스 신호에서 g1의 임의의 값에 대해 일정한 값을 포함하지만, 완전히 상이한(무상관화된(decorrelated)) 소스 신호(x1 및 x2)는, 볼륨에서 마이너스 3 dB, 즉 0.5의 인자만큼의 감소를 포함하여, 값 g1=0.5로 되는 오디오 신호로 나타나게 된다.
제2 크로스페이드 규칙은 소위 사인 및 코사인의 법칙:
인데, 제2 크로스페이드 규칙에 따라 오디오 신호(xvirt2)가 생성될 수도 있다.
개개의 가중치(g1 및 g2)를 결정하는 파라미터 δ는 0°에서 90°까지 이르고 가상 청취 위치(202)와 마이크로폰(252 및 254) 사이의 거리로부터 계산된다. δ의 임의의 값에 대해 가중치의 제곱이 1까지 더해짐에 따라, 소스 신호가 무상관화되면 사인 및 코사인의 법칙에 의해 일정한 볼륨을 갖는 오디오 신호가 임의의 파라미터 δ에 대해 생성될 수도 있다. 그러나, 동일한 소스 신호에서, 파라미터 δ=45°에 대해 3 dB의 볼륨에서의 증가가 생성된다.
제3 크로스페이드 규칙은 소위 탄젠트의 법칙:
인데, 제3 크로스페이드 규칙은 제2 크로스페이드 규칙과 유사한 결과로 이어지며 제3 크로스페이드 규칙에 따라 오디오 신호(xvirt3)가 생성될 수도 있다.
오디오 신호(xvirt4)를 생성하기 위해 사용될 수도 있는 제4 크로스페이드 규칙은 소위 사인의 법칙:
이다.
이와 관련하여, 또한, 파라미터 θ의 임의의 가능한 값에 대해 가중치의 제곱은 1까지 가산된다. 파라미터 θ는 다시 가상 청취 위치(202)와 마이크로폰 사이의 거리에 의해 결정되며; 그것은 마이너스 45도에서 45도까지의 임의의 값을 취할 수도 있다.
특히, 단지 제한된 선험적 지식만이 존재하는 두 개의 소스 신호의 결합에 대해 - 이것은, 예를 들면, 공간적으로 약간 변하는 확산 음장의 경우일 수도 있음 - , 제4 결합 규칙이 사용될 수도 있는데, 상기에서 설명되는 제1 크로스페이드 규칙 및 상기에서 설명되는 제2 크로스페이드 규칙은 결합될 소스 신호에 의존하여 제4 결합 규칙에 따라 결합된다. 특히, 제4 결합 규칙에 따르면, 두 개의 중간 신호(xvirt1 및 xvirt2)의 선형 결합이 사용되는데, 이들은, 최초에는 각각 별개로, 제1 및 제2 크로스페이드 규칙에 따라 소스 신호(x1 및 x2)에 대해 생성되었다. 특히, 본 발명의 몇몇 실시형태에 따르면, 소스 신호(x1 및 x2) 사이의 상관 계수(σx1x2)는 선형 결합에 대한 가중치 인자로서 사용되며 그것은 다음과 같이 정의되고 두 신호의 유사도에 대한 척도를 나타낸다:
E는 예상값 및/또는 선형 평균값을 가리키고 σ는 관련 양 및/또는 관련 소스 신호의 표준 편차를 나타내는데, 여기에서, 그것은 선형 평균값 E{x}가 제로인 양호한 근사치의 음향 신호에 대해 적용된다.
즉, 본 발명의 몇몇 실시형태에 따르면, 결합 규칙은, 제1 소스 신호(x1) 및 제2 소스 신호(x2) 사이의 상관을 위해 상관 계수(σx1x2)에 의해 가중되는 중간 신호(xvirt1 및 xvirt2)로부터 가중된 합(xvirt)을 형성하는 것을 더 포함한다.
제4 결합 규칙을 사용하는 것에 의해, 본 발명의 몇몇 실시형태에 따라, 전체 파라미터 범위에 걸쳐 거의 일정한 값을 갖는 결합이 달성될 수도 있다. 또한, 이것은, 결합될 신호가 다른지 또는 유사한지의 여부에 주로 무관하게 달성될 수도 있다.
본 발명의 몇몇 실시형태에 따르면, 오디오 신호가, 세 개의 마이크로폰(250 내지 254)에 의해 제한되는 삼각형 내에 위치되는 가상 청취 위치(202)에서 유도되어야 하면, 마이크로폰(250 내지 254)의 세 개의 소스 신호는 본 발명의 몇몇 실시형태에 따라 선형적인 방식으로 결합될 수도 있는데, 마이크로폰(250 내지 254)과 관련되는 소스 신호의 개개의 신호 부분은, 각각의 소스 신호와 관련되는 마이크로폰의 위치와 관련되는 삼각형의 그러한 높이로의 가상 청취 위치(202)의 수직 투사에 기초하여 유도된다.
예를 들면, 마이크로폰(250)의 신호 부분 및/또는 이 신호와 관련되는 가중치가 결정되어야 하면, 마이크로폰(250)과 관련되는 높이(262) 및/또는 마이크로폰(250)이 위치되는 삼각형의 코너 상으로의 가상 청취 위치(202)의 수직 투사가 먼저 수행된다. 이것은 높이(262) 상에서 도 5의 점선으로서 예시되는 투사 위치(264)로 나타나게 된다. 결과적으로, 투사 위치는 높이(262)를, 마이크로폰(25)과 마주하는 제1 높이 섹션(226) 및 마이크로폰(250)을 외면하는 높이 섹션(268)로 분할한다. 이들 높이 섹션(266 및 268)의 비율은 상기 크로스페이드 규칙에 따라 마이크로폰(250)의 소스 신호에 대한 가중치를 계산하기 위해 사용되는데, 사운드 소스 및/또는 마이크로폰은 마이크로폰(250)과 반대쪽의 높이(262)의 끝에 위치되며 진폭 제로를 갖는 신호를 일정하게 레코딩하는 것이 가정된다.
즉, 본 발명의 실시형태에 따르면, 삼각형의 각 변의 높이가 계산되고 삼각형의 각 변에 대한 가상 마이크로폰의 거리가 결정된다. 대응하는 높이를 따라, 마이크로폰 신호는 삼각형의 코너로부터 삼각형의 대변(opposite side)으로, 선형적 방식으로 및/또는 선택된 크로스페이드 규칙에 따라 제로로 페이딩된다. 이것은 도 5에 도시되는 실시형태에 대해, 마이크로폰(250)의 위치에 투사(264)가 위치되면 가중치 1을 갖는 마이크로폰(250)의 소스 신호가 사용되고, 마이크로폰(252 및 254)의 위치 사이의 연결 직선 상에, 즉 삼각형의 대변 상에 투사(264)가 위치되면 가중치 제로를 갖는 마이크로폰(250)의 소스 신호가 사용된다는 것을 의미한다. 마이크로폰(250)의 소스 신호는 이들 두 말단의 위치 사이에서 페이드인 및/또는 페이드아웃된다. 일반적으로, 이것은, 세 개의 신호로부터 신호를 결합할 때, 가상 청취 위치(202)가 위치되는 삼각형 표면에 그 관련된 마이크로폰(250 내지 254)이 걸쳐지는 세 개의 소스 신호(x1 내지 x3)가 고려된다는 것을 의미한다. 이와 관련하여, 가중치(g1 내지 g3)는, 삼각형의 이러한 높이 상으로의 가상 청취 위치(202)의 수직 투사에 기초하여 소스 신호(x1 내지 x3)의 선형 결합에 대해 결정되는데, 삼각형은 각각의 소스 신호와 관련되는 마이크로폰의 위치와 관련되고 및/또는 삼각형을 통해 이 높이가 이어진다.
신호를 결정하기 위해 상기에서 논의되는 제4 크로스페이드 규칙이 사용되면, 세 개의 상관 계수가 전체적으로 유래하는 각각의 이웃하는 소스 신호 사이의 상관을 먼저 결정하는 것에 의해, 세 개의 소스 신호(x1 내지 x3)에 대해 조인트 상관 계수가 결정될 수도 있다. 이 방식으로 획득되는 세 개의 상관 계수로부터, 평균값을 결정하는 것에 의해 조인트 상관 계수가 계산되는데, 이것은 다시 제1 크로스페이드 규칙(선형 패닝) 및 제2 크로스페이드 규칙(사인 및 코사인의 법칙)에 의해 형성되는 부분적인 신호의 합에 대한 가중치를 결정한다. 즉, 사인 및 코사인의 법칙을 사용하여 제1 부분 신호가 먼저 결정되고, 그 다음 선형 패닝을 사용하여 제2 부분 신호가 결정되고, 두 부분 신호는 상관 계수에 의해 가중하는 것에 의해 선형적 방식으로 결합된다.
도 6은, 가상 청취 위치(202)가 배치되는 마이크로폰(270 내지 278)의 위치의 다른 가능한 구성의 예시를 도시한다. 특히, 도 6에 의해, 그 특성이 상기에서 설명되는 결합 옵션을 사용하여 임의의 방식으로 결합될 수도 있는, 또는 - 그 자체로 고려되더라도 - 본원에서 설명되는 바와 같은 결합 규칙일 수도 있는 다른 가능한 결합 규칙이 예시된다.
본 발명의 몇몇 실시형태에 따르면, 소스 신호와 관련되는 마이크로폰이 가상 청취 위치(202)로부터 미리 결정된 구성가능한 거리(R) 이내에 위치되면, 도 6에서 개략적으로 예시되는 바와 같은 소스 신호만이 가상 청취 위치(202)에 대한 오디오 신호에 대한 결합에서 고려된다. 몇몇 실시형태에 따르면, 컴퓨팅 시간은, 예를 들면, 그 신호 기여가, 선택된 결합 규칙에 따른 인간의 청각 임계치 위에 있는 마이크로폰만을 고려하는 것에 의해, 어쩌면 절약될 수도 있다.
본 발명의 몇몇 실시형태에 따르면, 결합 규칙은, 도 7에서 개략적으로 예시되는 바와 같이, 가상 청취 위치(202)에 대한 방향성을 추가로 고려할 수도 있다. 그것은, 예를 들면, 제1 마이크로폰(220)의 제1 소스 신호(x1)에 대한 제1 가중치(g1)가, 가상 청취 위치(202)에 대한 감도 함수 및/또는 방향성으로부터, 그리고 가상 청취 위치(202)와 마이크로폰(220) 사이의 상대적 위치로부터 유래하는 방향성 인자(rf1)에 추가적으로 비례할 수도 있다는 것을 의미한다. 즉, 이들 실시형태에 따르면, 기하학적 정보의 제1 부분은, 방향성(282)이 가상 청취 위치(202)의 최대 민감도를 포함하는, 가상 청취 위치(202)와 관련되는 우선 방향(280)과 마이크로폰(220) 사이의 방향에 관한 방향 정보의 제1 부분을 더 포함한다.
일반적으로, 몇몇 실시형태에 따르면, 소스 신호(x1 및 x2)의 선형 결합의 가중 인자(g1 및 g2)는 이런 식으로 제1 방향 인지(rf1) 및 제2 방향 인자(rf2)에 또한 의존하는데, 이들은 가상 청취 위치(202)에서의 방향성(280)을 설명한다.
다시 말하면, 이전 문단에서 논의되는 결합 규칙은 다음과 같이 요약될 수도 있다. 개개의 구현예가 하기의 문단에서 더 상세히 설명된다. 모든 변형예는, 신호를 더해갈 때 콤 필터(comb filter) 효과가 발생할 수도 있을 것이라는 것을 공통으로 갖는다. 혹시 이것이 사실인 경우, 그 이전의 신호는 그에 따라 지연될 수도 있다. 따라서, 지연에 대해 사용되는 알고리즘이 먼저 예시된다.
서로에 대한 거리가 2미터보다 더 큰 마이크로폰에서, 신호는 어떠한 인지가능한 콤 필터 효과를 발생시키지 않으면서 더해질 수도 있다. 마이크로폰으로부터의 신호는 주저없이 또한 더해질 수도 있는데, 그들의 위치 거리와 관련하여 소위 3:1 규칙이 충족된다. 그 규칙에서는, 두 개의 마이크로폰을 사용하여 사운드를 레코딩할 때, 사운드 소스와 제2 마이크로폰 사이의 거리는, 임의의 인지가능한 콤 필터 효과를 얻지 않기 위해서는, 사운드 소스로부터 제1 마이크로폰까지의 거리의 적어도 3배여야 한다고 되어 있다. 이것에 대한 선행 조건은 동일한 감도의 마이크로폰 및 예를 들면, 1/r 법칙을 따르는 증가하는 거리에 따른 음압에서의 감소이다.
시스템 및/또는 오디오 신호 생성기 또는 그 지오메트리 프로세서는 두 조건이 충족되는지 또는 되지 않는지에 관해 먼저 식별한다. 이것이 사실이 아니라면, 신호는 가상 마이크로폰의 현재 위치에 따른 가상 마이크로폰 신호의 계산 이전에 지연될 수도 있다. 이 때문에, 가상 마이크로폰까지의 모든 마이크로폰의 거리는, 해당하는 경우, 결정되고, 신호는 가상의 위치로부터 가장 멀리 떨어져 위치되는 마이크로폰과 관련하여 일시적으로 지연된다. 이 때문에, 가장 먼 거리가 계산되고 나머지 거리에 대한 차이가 계산된다. 이제, 샘플에서의 레이턴시(Δti)는, 샘플링율(Fs)에 의해 승산되는 음속(c)에 대한 각각의 거리(di)의 비율로부터 유래한다. 신호가 전체 샘플만큼만 지연되어야 하면, 계산된 값은, 디지털 구현예에서, 예를 들면, 반올림될 수도 있다. 하기에서, N은 레코딩 마이크로폰의 수를 가리킨다:
몇몇 다른 실시형태에 따르면, 결정되는 최대 레이턴시는 모든 소스 신호에 적용된다.
가상 마이크로폰 신호를 계산하기 위해, 하기의 변형예가 구현될 수도 있다. 이와 관련하여, 가까운 마이크로폰 및/또는 다이렉트 사운드를 레코딩하기 위한 마이크로폰은 이하 제1 마이크로폰 타입의 마이크로폰으로서 칭해지고, 주변 마이크로폰 및/또는 확산 사운드 부분을 레코딩하기 위한 마이크로폰은 이하 제2 마이크로폰 타입의 마이크로폰으로서 칭해진다. 또한, 가상 청취 위치는 가상 마이크로폰의 위치로 또한 칭해진다.
제1 변형예에 따르면, 가까운 마이크로폰 및/또는 제1 마이크로폰 타입의 마이크로폰으로부터의 신호 및 주변 마이크로폰의 신호 둘 다는 거리 법칙에 따라 감소한다. 결과적으로, 각각의 마이크로폰은 그 위치에서 특별히 지배적인 방식으로 청취할 수도 있다. 가상 마이크로폰 신호의 계산을 위해, 가까운 마이크로폰 및 주변 마이크로폰 주위의 근접장 반경이 유저에 의해 먼저 결정될 수도 있다. 이 반경 내에서, 신호의 반경은 일정하게 유지된다. 가상 마이크로폰이 이제 레코딩 장면에 배치되면, 가상 마이크로폰으로부터 각 개개의 실제 마이크로폰까지의 거리가 계산된다. 이 목적을 위해, 마이크로폰 신호(xi[t])의 샘플 값은 현재의 거리(di)에 의해 제산되고 근접장 반경(rnah[nah=근접])에 의해 승산된다. N은 레코딩 마이크로폰의 수를 나타낸다:
따라서, 공간적 거리(di)로 인해 감쇠되는 마이크로폰 신호(
)가 획득된다. 이런 방식으로 계산되는 모든 신호가 더해져서 가상 마이크로폰에 대한 신호를 함께 형성한다:
제2 변형예에 따르면, 다이렉트 사운드 및 확산 사운드가 분리된다. 이때 확산 음장은 전체 공간에서 거의 동일한 볼륨을 가져야 한다. 이 목적을 위해, 공간은 주변 마이크로폰의 배치에 의해 특정 영역으로 나누어진다. 영역에 따라, 확산 사운드 부분은 하나, 둘 또는 세 개의 마이크로폰 신호로부터 계산된다. 근처 마이크로폰의 신호는 거리 법칙에 따라 증가하는 거리에 따라 감소한다.
도 4는 공간적 분포의 예를 도시한다. 포인트는 주변 마이크로폰을 나타낸다. 주변 마이크로폰은 다각형을 형성한다. 이 다각형 이내의 영역은 삼각형으로 나누어진다. 이 목적을 위해, 들로네 삼각분할이 적용된다. 이 방법을 사용하면, 포인트 세트로부터 삼각형 메시가 형성될 수도 있다. 그 대부분의 필수적인 특성은, 삼각형의 외접원이 그 세트로부터의 어떠한 다른 포인트도 포함하지 않는다는 것이다. 이 소위 외접원 조건을 충족하는 것에 의해, 가능한 가장 큰 내각(interior angle)을 갖는 삼각형이 생성된다. 도 4에서, 이 삼각분할은 네 개의 포인트를 사용하여 예시된다.
들로네 삼각분할을 사용하여, 서로 가깝게 위치되는 마이크로폰은 그룹화되고 각각의 마이크로폰은 주변 공간으로 매핑된다. 가상 마이크로폰에 대한 신호는, 각각의 경우 세 개의 마이크로폰으로부터의 다각형 내에서 계산된다. 다각형 외부에서, 두 개의 코너의 각각의 연결선에 대해, 코너를 통과하여 이어지는 두 개의 수직선이 결정된다. 따라서, 다각형 외부의 특정 영역도 또한 제한된다. 따라서, 가상 마이크로폰은 두 개의 마이크로폰 사이에 또는, 마이크로폰에 가까운 하나의 코너에 위치될 수도 있다.
확산 사운드 부분을 계산하기 위해, 가상 마이크로폰이 에지를 형성하는 다각형의 내부에 위치되는지 또는 외부에 위치되는지의 여부가 먼저 결정되어야 한다. 위치에 따라, 가상 마이크로폰 신호의 확산 부분은 하나, 둘 또는 세 개의 마이크로폰 신호로부터 계산된다.
가상 마이크로폰이 다각형 외부에 위치되면, 한 코너에서의 영역과 두 마이크로폰 사이의 영역 사이에 구별이 이루어진다. 가상 마이크로폰이 마이크로폰에 가까운 영역에서 다각형의 한 코너에 위치되면, 확산 사운드 부분의 계산에 대해, 이 마이크로폰의 신호(xi)만이 사용된다:
두 마이크로폰 사이의 영역에서는, 가상 마이크로폰 신호는 두 개의 대응하는 마이크로폰 신호(x1 및 x2)로 이루어진다. 위치에 따라, 두 신호 사이의 크로스페이딩은 다양한 크로스페이드 규칙 및/또는 패닝 방법을 사용하여 발생한다. 이들은 이하 다음과 같이 또한 칭해진다: 선형 패닝 법칙(제1 크로스페이드 규칙), 사인 및 코사인의 법칙(제2 크로스페이드 규칙), 탄젠트의 법칙(제3 크로스페이드 규칙) 및 선형 패닝 법칙 및 사인 및 코사인의 법칙의 조합(제4 크로스페이드 규칙).
선형 법칙(xvirt1) 및 사인 및 코사인의 법칙(xvirt2)의 두 패닝 방법의 조합의 경우, 두 신호(x1 및 x2)의 상관 계수(σx1x2)가 결정된다:
계수(σx1x2)의 사이즈에 따라, 각각의 법칙은 가중된 합(xvirt)의 계산에 포함된다:
상관 계수(σx1x2)가 1과 동일하면, 이것은 동일한 신호를 나타내고 선형 크로스페이딩만이 발생한다. 상관 계수가 0이면, 사인 및 코사인의 법칙만이 적용된다.
몇몇 구현예에서, 상관 계수는 순간적 값을 설명할 수도 있을뿐만 아니라, 소정 기간에 걸쳐 통합될 수도 있다. 상관 각도기(correlation protractor)에서, 이 기간은 예를 들면 0.5초일 수도 있다. 본 발명의 실시형태 및/또는 가상 마이크로폰은 항상 실시간 대응 시스템일 필요는 없기 때문에, 상관 계수는 또한 장기간, 예를 들면 30초에 걸쳐 결정될 수도 있다.
다각형 이내의 영역에서, 가상 청취 위치는, 그 코너가, 도 5를 사용하여 도시된 바와 같은 들로네 삼각분할을 사용하여 결정된 삼각형 내에 위치된다. 각각의 삼각형에서, 가상 마이크로폰 신호의 확산 사운드 부분은 코너에 위치되는 마이크로폰의 세 개의 소스 신호로 구성된다. 이 목적을 위해, 삼각형의 각 변의 높이(h)가 결정되고 가상 마이크로폰의 삼각형의 각 변까지의 거리(dvirtMic)가 결정된다. 대응하는 높이를 따라, 마이크로폰 신호는, 패닝 방법 세트에 따라 및/또는 사용되는 크로스페이드 규칙에 따라, 한 코너에서 삼각형의 대변쪽으로 제로로 페이딩한다.
원칙적으로, 상기에서 설명되는 패닝 방법은 이것에 대해 사용될 수도 있는데, 그것은 다각형의 외부에서 신호의 계산에 대해 또한 사용된다. 거리(dvirtMic)를 높이(h)의 값으로 제산하는 것은, 경로를 1의 길이로 정규화하고 패닝 곡선 상에서의 대응하는 위치를 제공한다. 이제, Y 축 상에서의 값을 읽어 낼 수 있는데, 세 개의 신호의 각각은 패닝 방법 세트에 따라 이들로 승산된다.
선형 패닝 법칙 및 사인 및 코사인의 법칙의 조합의 경우, 두 개의 소스 신호로부터의 각각의 경우에서 상관 계수가 먼저 결정된다. 결과적으로, 세 개의 상관 계수가 얻어지고, 이들로부터 평균 값이 후속하여 계산된다.
이 평균 값은, 선형 패닝 법칙 및 사인 및 코사인의 법칙의 합의 가중치를 결정한다. 이때 다음의 것이 또한 적용된다: 값이 1과 동일하면, 크로스페이딩은 선형 패닝 법칙만을 사용하여 발생한다. 값이 0과 동일하면, 사인 및 코사인의 법칙만이 사용된다. 최종적으로, 더해지면, 모든 세 개의 신호는 사운드의 확산 부분을 생성한다.
다이렉트 사운드의 부분은 확산 부분과 중첩되는데, 타입 "D" 마이크로폰의 다이렉트 사운드 부분 및 타입 "A" 마이크로폰의 비다이렉트 사운드 부분은 앞서 도입된 의미에 따라 레코딩된다. 결국, 확산 및 다이렉트 사운드 부분은 더해지고 따라서 가상 마이크로폰에 대한 신호를 생성한다:
이 변형예를 확장하는 것이 또한 가능하다. 필요에 따라, 임의의 사이즈의 반경이 마이크로폰 주위에 설정된다. 이 영역 내에서, 그곳에 위치되는 마이크로폰만이 들릴 수 있다. 가상 마이크로폰의 신호가, 선택된 마이크로폰의 신호에 대응하도록, 모든 다른 마이크로폰은 제로로 설정되고/되거나 0의 가중치를 할당받는다:
제3 변형예에 따르면, 가상 마이크로폰 주위의 특정한 둘레 안쪽에 위치되는 마이크로폰은 가상 마이크로폰의 계산에 포함된다. 이 목적을 위해, 가상 마이크로폰까지의 모든 마이크로폰의 거리가 먼저 결정되고, 이로부터, 어떤 마이크로폰이 원 안쪽에 있는지가 결정된다. 원 외부에 있는 마이크로폰의 신호는 제로로 설정되고/되거나 가중치 0을 할당받는다.
원 안쪽의 마이크로폰(xi(t))의 신호 값은 동일한 비율로 더해지고 따라서 가상 마이크로폰에 대한 신호로 나타나게 된다. N이 원 안쪽의 레코딩 마이크로폰의 수를 나타내면, 다음이 적용된다:
원 안의 또는 밖의 마이크로폰의 전이에서 볼륨의 급등(jump)이 급작스럽게 발생하는 것을 방지하기 위해, 신호는, 추가적으로, 원의 에지에서 선형적인 방식으로 페이드인 및/또는 페이드아웃될 수도 있다. 이 변형예에서, 가까운 마이크로폰과 주변 마이크로폰의 구별이 이루어질 필요가 없다.
모든 변형예에서, 부가적인 방향성을 가상 마이크로폰과 관련시키는 것이 또한 합리적일 수도 있다. 이 목적을 위해, 가상 마이크로폰은 방향 벡터(r)를 구비할 수도 있는데, 이것은, 시작점에서, (극 다이어그램(polar diagram)에서의) 방향성의 주 방향을 가리킨다. 몇몇 실시형태에서는 마이크로폰의 방향성만이 다이렉트 사운드에 대해 유효할 수도 있기 때문에, 그 때는 방향성만이 가까운 마이크로폰의 신호에 영향을 끼친다. 주변 마이크로폰의 신호는 변경되지 않고 결합 규칙에 따른 계산에 계속 포함된다. 가상 마이크로폰에 기초하여, 벡터는 모든 가까운 마이크로폰에 대해 형성된다. 가까운 마이크로폰의 각각에 대해, 이 벡터와 가상 마이크로폰의 방향 벡터 사이의 각도(
)가 계산된다. 도 7에서, 이것은 마이크로폰(220)에 대한 예로서 예시된다. 일반적인 마이크로폰 식 
에 각도를 삽입하는 것에 의해, 방향성에 기인하는 추가적인 사운드 감쇠에 대응하는 인자(s)가 각각의 소스 신호에 대해 획득된다. 모든 소스 신호를 더하기 이전에, 각각의 신호는 대응하는 인자에 의해 승산된다. 예를 들면, 전방향(omnidirectional)(a=1; b=0), 서브카디오이드(subcardioid)(a=0.71; b=29), 카디오이드(cardioid)(a=0.5; b=0.5), 슈퍼카디오이드(supercardioid)(a=0.37; b=0.63), 하이퍼카디오이드(hypercardioid)(a=0.25; b=0.75) 및 숫자 8(a=0; b=1)의 방향성 사이에서 선택할 가능성이 존재한다. 가상 마이크로폰은, 예를 들면, 1° 이하의 정확도를 가지고 튜닝될 수도 있다.
도 8은 오디오 신호 생성기(100)를 포함하며, 오디오 신호 생성기(100)에 의해, 음향 장면(208)을 레코딩하기 위해 사용될 수도 있는 마이크로폰(290 내지 295)의 신호가 수신될 수도 있는 믹싱 콘솔(300)을 개략적으로 도시한다. 믹싱 콘솔은 적어도 두 개의 마이크로폰(290 내지 295)의 소스 신호를 프로세싱하도록 그리고 도 8에서 선택되는 예시에서 단지 개략적으로 나타내어지는 믹싱된 오디오 신호를 제공하도록 기능한다.
본 발명의 몇몇 실시형태에 따르면, 믹싱 콘솔은, 복수의 마이크로폰(290 내지 295)의 위치, 및 또한 마이크로폰(290 내지 295)이 위치되는 음향 공간 내에서 배치되는 가상의 청취 위치(202)의 위치의 그래픽 표현을 나타내도록 구성되는 유저 인터페이스(306)를 더 포함한다.
몇몇 실시형태에 따르면, 유저 인터페이스는 또한, 다이렉트 사운드를 레코딩하기 위한 마이크로폰을 표시하는 제1 타입(1) 및 확산 사운드 부분을 레코딩하기 위한 마이크로폰을 가리키는 제2 타입(2)과 같은 마이크로폰 타입을 마이크로폰(290 내지 295)의 각각과 관련시키는 것을 허용한다.
몇몇 다른 실시형태에 따르면, 유저 인터페이스는 또한, 전체 음향 장면 및/또는 레코딩 기기의 점검을 간단한 방식으로 허용하기 위해, 믹싱 콘솔의 유저가 간단한 방식으로, 예컨대 도 8에서 개략적으로 예시되는 커서(310) 및/또는 컴퓨터 마우스를 이동시키는 것에 의해, 가상 위치를 직관적으로 그리고 간단히 이동시키는 것을 가능하게 하도록 구성된다.
도 9는 오디오 신호를 제공하기 위한 방법의 한 실시형태를 개략적으로 도시하는데, 그 방법은, 신호 레코딩 단계(500)에서, 제1 마이크로폰에 의해 레코딩되는 제1 소스 신호(x1) 및 제2 마이크로폰에 의해 레코딩되는 제2 소스 신호(x2)를 수신하는 것을 포함한다.
분석 단계(502) 동안, 기하학적 정보의 제1 부분은 제1 위치 및 가상 청취 위치에 기초하여 결정되고 기하학적 정보의 제2 부분은 제2 위치 및 가상 청취 위치에 기초하여 결정된다. 결합 단계(505)에서, 적어도 제1 소스 신호(x1) 및 제2 소스 신호(x2)는, 기하학적 정보의 제1 부분 및 기하학적 정보의 제2 부분을 사용하여, 결합 규칙에 따라 결합된다.
도 10은 도 8에서 도시되는 것과는 약간 상이한 본 발명의 한 실시형태에 대한 유저 인터페이스(306)의 개략적인 표현을 다시 도시한다. 도 10에서 및/또는 소위 "상호작용 캔버스"에서, 마이크로폰의 위치는, 특히, 다양한 타입 및/또는 마이크로폰 타입(1, 2, 3, 4)의 사운드 소스 및/또는 마이크로폰으로서 나타내어질 수도 있다. 이 목적을 위해, 적어도 하나의 수신측의 위치 및/또는 하나의 가상 청취 위치(202)가 나타내어질 수도 있다(십자선을 갖는 원). 각각의 사운드 소스는 믹싱 콘솔 채널(310 내지 316) 중 하나와 관련될 수도 있다.
전술한 실시형태를 사용하여, 가상 청취 위치(202)에서의 단일의 오디오 신호의 생성이 주로 논의되었지만, 본 발명의 다른 실시형태에 따르면, 다른 가상 청취 위치에 대해, 다수의, 예를 들면, 2, 3, 4, 임의의 수까지의 오디오 신호가 또한 생성될 수도 있는데, 각각의 경우에 상기에서 설명되는 결합 규칙이 사용된다.
이와 관련하여, 예를 들면, 다수의 공간적으로 이웃하는 가상 청취 위치를 사용하여, 예를 들면, 사람 청각의 상이한 청취 모델이 다른 실시형태에 따라 또한 생성될 수도 있다. 사람 청각 및/또는 외이(auricle)의 거리를 대략적으로 갖는 두 개의 가상 청취 위치를 정의하는 것에 의해, 예를 들면, 주파수 의존 방향성과 연계하여 가상 청취 위치의 각각에 대한 신호가 생성될 수도 있는데, 주파수 의존 방향성은, 두 개의 가상 청취 위치 사이의 장소에서 사람 청취자가 가질 청각기관의 느낌을 헤드폰 등을 사용한 직접적인 청취에서 시뮬레이팅한다. 즉, 왼쪽 이도(auditory canal) 및/또는 왼쪽 이어피스의 장소에서, 제1 가상 청취 위치가 생성될 것인데, 제1 가상 청취 위치는, 머리 전달 함수(Head Related Transfer Function; HRTF)의 관점에서 이도를 따른 주파수 의존적인 방향성을 통해 신호 전파가 시뮬레이팅될 수 있도록, 주파수 의존 방향성을 또한 포함한다. 오른쪽 귀와 관련하여 제2 가상 청취 위치에 대해 동일한 방식으로 진행하면, 예를 들면, 헤드폰을 사용한 직접 청취에서, 실제 청취자가 가상 청취 위치의 장소에서 가지게 될 사운드 느낌에 대응하는 두 개의 모노 신호가 본 발명의 몇몇 실시형태에 따라 획득될 것이다.
유사한 방식으로, 예를 들면, 종래의 스테레오 마이크로폰이 시뮬레이팅될 수도 있다.
요약하면, 믹싱 콘솔/레코딩 소프트웨어에서의 사운드 소스의(예를 들면, 마이크로폰의) 위치는 본 발명의 몇몇 실시형태에 따라 표시되고/되거나 자동적으로 캡쳐될 수도 있다. 사운드 소스의 위치에 기초하여, 적어도 세 개의 새로운 툴이 사운드 엔지니어에게 이용가능하다:
- 현재 등록되고 있는 공간적 사운드 장면의 모니터링.
- 가상 수신자를 제어하는 것에 의한 부분적으로 자동화된 오디오 믹싱의 생성.
- 공간적 배치의 시각적 표현.
도 10은 사운드 소스의 위치 및 하나 또는 여러 개의 "가상 수신기"를 갖는 잠재적인 유저 인터페이스를 개략적으로 도시한다. 위치는 유저 인터페이스를 통해 및/또는 상호작용 캔버스를 통해 각각의 마이크로폰(번호 1 내지 4)과 관련될 수도 있다. 각각의 마이크로폰은 믹싱 콘솔/레코딩 소프트웨어의 채널 스트립에 연결된다. 하나 또는 여러 개의 수신기(십자선을 갖는 원)를 위치시키는 것에 의해, 신호 에러를 모니터링 및/또는 발견하기 위해 그리고 믹싱을 생성하기 위해 사용될 수도 있는 오디오 신호가 사운드 신호로부터 계산된다. 이 목적을 위해, 다양한 기능 타입, 예를 들면, 가까운 마이크로폰("D" 타입) 또는 주변 마이크로폰("A" 타입), 또는 다른 것들과 함께 평가되어야만 하는 마이크로폰 어레이의 일부가 마이크로폰 및/또는 사운드 소스와 관련된다. 기능에 따라, 사용되는 계산 규칙이 조정된다. 또한, 유저에게, 출력 신호의 계산을 구성할 기회가 주어진다. 게다가, 추가 파라미터, 예를 들면, 이웃 마이크로폰 사이의 크로스페이딩의 타입이 설정될 수도 있다. 가변적인 컴포넌트 및/또는 계산 절차는:
1. 거리 의존 볼륨
2. 두 개 이상의 사운드 소스 사이의 볼륨 보간
3. 각각의 사운드 소스 만이 들릴 수 있는 각각의 사운드 소스 주위의 작은 영역(거리 값이 구성될 수도 있음)
일 수도 있다.
수신측 신호의 이러한 계산 규칙은, 예를 들면:
1. 사운드 소스 또는 수신측 주위의 수신측 영역을 표시하는 것에 의해,
2. 수신측에 대한 방향성을 나타내는 것에 의해,
변경될 수도 있다. 각각의 사운드 소스에 대해, 타입이 선택될 수도 있다(예를 들면: 다이렉트 사운드 마이크로폰, 주변 마이크로폰 또는 확산 사운드 마이크로폰). 수신측에서의 신호의 계산 규칙은 타입의 선택에 의해 제어된다.
특정 애플리케이션에서, 이것은 특별히 간단한 동작으로 나타난다. 따라서, 아주 많은 수의 마이크로폰을 사용한 레코딩의 준비는 상당히 간단하게 된다. 여기서, 믹싱 콘솔의 위치는 실제 레코딩 이전에 셋업 프로세스에서 각각의 마이크로폰과 미리 관련될 수도 있다. 오디오 믹싱은 더 이상 채널 스트립에서의 각각의 사운드 소스에 대한 볼륨 설정을 통해 발생할 필요가 없지만, 사운드 소스 장면에서의 수신측의 위치를 나타내는 것(예를 들면: 장면으로의 간단한 마우스 클릭)에 의해 발생할 수도 있다. 수신측의 장소에서의 볼륨을 계산하기 위한 선택가능한 모델에 기초하여, 수신측의 각각의 위치결정에 대한 새로운 신호가 계산된다. 개개의 마이크로폰을 "기동"시키는 것에 의해, 간섭하는 신호가 아주 빨리 그렇게 식별될 수도 있다. 동일한 방식에서, 수신측 신호가 출력 라우드스피커 신호로서 계속되어야 하면, 위치 결정에 의해 공간적 오디오 신호가 또한 생성될 수도 있다. 여기서, 각 개개의 채널에 대한 볼륨을 설정하는 것은 이제 더 이상 필요하지 않으며, 설정은 모든 사운드 소스에 대한 수신측의 위치를 동시에 선택하는 것에 의해 수행된다. 또한, 알고리즘은 혁신적인 창작 툴을 제공한다.
오디오 신호의 거리 의존 계산에 관한 개략적인 표현이 도 3에서 도시된다. 반경(RL)에 따라, 볼륨(g)은 
에 따라 계산된다. 변수(x)는 사운드 소스의 타입에 따라 다양한 값을 취할 수도 있는데, 예를 들면, x=1; x=1/2이다. 수신측이 반경(r1)을 갖는 원 안에 위치되면, 고정된(일정한) 볼륨 값이 적용된다. 수신측까지의 사운드 소스의 거리가 멀수록, 오디오 신호는 더 조용하다.
볼륨 보간에 관한 개략적인 표현이 도 5에서 도시된다. 수신측에 도달하는 볼륨은, 여기서는, 두 개 이상의 마이크로폰 사이의 수신측의 위치를 사용하여 계산된다. 액티브 사운드 소스의 선택은 소위 "가장 가까운 이웃(nearest neighbor)" 알고리즘에 의해 결정될 수도 있다. 수신측의 장소에서의 및/또는 가상 청취 위치에서의 가청 신호의 계산은, 두 개 이상의 사운드 소스 신호 사이의 보간 규칙에 의해 행해진다. 이 때, 각각의 볼륨은 청취자에 대한 항상 쾌적한 볼륨을 허용하기 위해 동적으로 조정된다.
모든 사운드 소스를 동시에 활성화하는 것 외에, 거리 의존 볼륨 계산을 사용하여, 사운드 소스는 다른 알고리즘에 의해 활성화될 수도 있다. 이때, 수신측 주위의 영역이 반경(R)을 가지고 정의된다. R의 값은 유저에 의해 변경될 수도 있다. 사운드 소스가 이 영역 내에 위치되면, 그것은 청취자가 들을 수 있다. 도 6에서 예시되는 알고리즘은 거리 의존 볼륨 계산과 또한 결합될 수도 있다. 따라서, 반경(R)을 갖는 수신측 주위에 한 영역이 존재한다. 사운드 소스가 그 반경 내에 있으면, 그 사운드 소스를 수신측이 들을 수 있다. 사운드 소스가 외부에 위치되면, 그들 신호는 출력 신호의 계산에 포함되지 않는다.
수신측에서의 및/또는 가상 청취 위치에서의 사운드 소스의 볼륨을 계산하기 위해, 수신측에 대한 방향성을 정의하는 것이 가능하다. 방향성은, 사운드 소스의 오디오 신호의 효과가 방향에 따라 수신측에서 얼마나 강한지를 나타낸다. 방향성은 주파수 의존 필터 또는 순수한 볼륨 값일 수도 있다. 도 7은 이것을 개략적인 표현으로 도시한다. 유저에 의해 회전될 수도 있는 방향 벡터를 가상 수신측이 제공받는다. 간단한 기하학적 형상의 선택뿐만 아니라, 인기있는 마이크로폰 타입 및 또한 가상의 청취자를 생성할 수 있는 사람 귀의 몇몇 예의 방향성의 선택을 유저가 선택할 수도 있다. 가상 청취 위치에서의 수신측 및/또는 가상 마이크로폰은, 예를 들면, 카디오이드 특성을 포함한다. 이 방향성에 따라, 사운드 소스의 신호는 수신측에서 상이한 영향을 미친다. 입사 방향에 따라, 신호는 상이하게 감쇠된다.
상기 설명, 하기의 청구범위 및 첨부의 도면에서 개시되는 피쳐는, 개별적으로든 조합으로든 둘 다에서, 중요하며 그들의 다양한 구성에서의 실시형태의 실현을 위해 구현될 수도 있다.
오디오 신호 생성기와 연계하여 몇몇 양태가 설명되었지만, 이들 양태는 또한 대응하는 방법의 설명을 표현한다는 것이 이해되며, 따라서, 오디오 신호 생성기의 블록 또는 디바이스는 대응하는 방법 단계 또는 방법 단계의 피쳐인 것으로 또한 이해될 수도 있다. 마찬가지로, 오디오 신호 생성기와 연계하여 또는 방법 단계로서 설명된 양태는, 대응하는 오디오 신호의 대응하는 블록 또는 상세 또는 피쳐의 설명을 또한 나타낸다.
특정 구현 요건에 따라, 본 발명의 실시형태는 하드웨어에서 또는 소프트웨어에서 구현될 수 있다. 구현예는, 각각의 방법이 실행되도록 프로그래밍가능한 하드웨어 컴포넌트와 상호작용할 수도 있는 또는 상호작용하는 전자적으로 판독가능한 제어 신호가 저장되는 디지털 저장 매체, 예를 들면, 플로피 디스크, DVD, 블루레이 디스크, CD, ROM, PROM, EPROM, EEPROM 또는 플래시 메모리, 하드 드라이브 또는 임의의 다른 자기 또는 광학 메모리를 사용하여 구현될 수도 있다.
프로그래밍가능한 하드웨어 컴포넌트는, 프로세서, 컴퓨터 프로세서(CPU=중앙 처리 유닛(Central Processing Unit)), 그래픽 프로세서(GPU=그래픽 프로세싱 유닛(Graphics Processing Unit)), 컴퓨터, 컴퓨터 시스템, 주문형 반도체(application-specific integrated circuit; ASIC), 집적 회로(IC), 시스템 온 칩(System on Chip; SOC), 프로그래밍가능한 로직 엘리먼트 또는 마이크로프로세서를 갖는 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array; FPGA)에 의해 형성될 수도 있다.
따라서, 디지털 저장 매체는 머신 판독가능이거나 또는 컴퓨터 판독가능일 수도 있다. 몇몇 실시형태는 또한, 본원에서 설명되는 방법 중 하나가 실행되도록, 프로그래밍가능한 컴퓨터 시스템 또는 프로그래밍가능한 하드웨어 컴포넌트와 상호작용할 수 있는 전자적으로 판독가능한 제어 신호를 포함하는 데이터 캐리어를 포함한다. 따라서, 한 실시형태는, 본원에서 설명되는 방법 중 하나를 실행하기 위한 프로그램이 기록되어 있는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독가능 매체)이다.
일반적으로, 본 발명의 실시형태는, 프로그램 코드를 구비하는 프로그램, 펌웨어, 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품으로서 또는 데이터로서 구현될 수도 있는데, 프로그램 코드 또는 데이터는, 프로그램이 프로세서 또는 프로그래밍가능한 하드웨어 컴포넌트 상에서 실행하면 방법 중 하나를 유효하게 실행한다. 프로그램 코드 또는 데이터는, 예를 들면, 머신 판독가능 캐리어 또는 데이터 캐리어 상에 또한 저장될 수도 있다. 프로그램 코드 또는 데이터는 다른 것들 중에서도 소스 코드, 머신 코드 또는 바이트 코드로서, 그리고 다른 중간 코드로서 이용가능할 수도 있다.
또한, 다른 실시형태는 본원에서 설명되는 방법 중 하나를 실행하기 위한 프로그램을 나타내는 데이터 스트림, 신호 순서 또는 신호의 시퀀스이다. 예를 들면, 데이터 스트림, 신호 순서 또는 신호의 시퀀스는, 예를 들면, 인터넷 또는 다른 네트워크를 통한 데이터 통신 접속을 통해 전송될 수도 있다. 따라서, 실시형태는 또한, 데이터를 나타내며 네트워크 또는 데이터 통신 접속을 통해 전송되기에 적합한 신호 순서인데, 데이터는 프로그램을 나타낸다.
한 실시형태에 따른 프로그램은, 예를 들면, 자신의 저장 장소를 판독하는 것에 의해 또는 하나의 데이터 또는 여러 데이터를 그 저장 장소에 기록하는 것에 의해 자신의 실행 동안 방법 중 하나를 구현할 수도 있고, 그로 인해, 해당하는 경우, 트랜지스터 구조에서, 증폭기 구조에서 또는 다른 전기 컴포넌트, 광학 컴포넌트, 자기 컴포넌트 또는 다른 동작 원리에 따라 작동하는 컴포넌트에서 스위칭 동작 또는 다른 동작이 야기된다. 따라서, 저장 장소를 판독하는 것에 의해, 데이터, 값, 센서 값 또는 다른 정보가 프로그램에 의해 캡쳐되거나, 결정되거나 또는 측정될 수도 있다. 따라서, 프로그램은, 하나 또는 여러 저장 장소를 판독해 내는 것에 의해 양, 값, 측정된 양 및 다른 정보를 캡쳐하거나, 결정하거나 또는 측정할 수도 있고, 어떤 액션을 실행하거나, 준비하거나 수행할 수도 있고 하나 또는 여러 저장 장소에 기록하는 것에 의해 다른 기기, 머신 및 컴포넌트를 제어할 수도 있다.
상기에서 설명되는 실시형태는 본 발명의 원리를 예시하는 것에 불과하다. 본원에서 설명되는 배치 및 상세의 수정예 및 변경예가 기술분야에서 숙련된 자에게는 명백하다는 것이 이해될 것이다. 따라서, 본 발명은 하기의 청구범위의 범위에 의해서만 제한되어야 하며 실시형태의 서술 및 설명에 기초하여 제시되었던 특정 상세에 의해서는 제한되지 않아야 한다는 것이 의도된다.
Claims (26)
- 적어도 제1 소스 신호 및 제2 소스 신호를 프로세싱하고 믹싱된 오디오 신호를 제공하기 위한 믹싱 콘솔(300)로서,
상기 믹싱 콘솔은, 공간(200) 내의 가상 청취 위치(a virtual listening position; 202)에 대한 오디오 신호(120)를 제공하기 위한 오디오 신호 생성기(100)를 포함하고 - 상기 공간(200)에서, 제1 소스 신호(210)로서 상기 공간(200) 내의 제1 기지의(known) 위치에 있는 적어도 제1 마이크로폰(204)에 의해 그리고 제2 소스 신호(212)로서 상기 공간(200) 내의 제2 기지의 위치에 있는 적어도 제2 마이크로폰(206)에 의해 음향 장면(acoustic scene)이 레코딩됨 -,
상기 오디오 신호 생성기(100)는,
상기 제1 마이크로폰(204)에 의해 레코딩되는 상기 제1 소스 신호(210) 및 상기 제2 마이크로폰(206)에 의해 레코딩되는 상기 제2 소스 신호(212)를 수신하도록 구성되는 입력 인터페이스(102)와,
상기 제1 위치 및 상기 가상 청취 위치(202)에 기초한 기하학적 정보(geometry information)의 제1 부분(110) 및 상기 제2 위치 및 상기 가상 청취 위치(202)에 기초한 기하학적 정보의 제2 부분(112)을 결정하도록 구성되는 지오메트리 프로세서(geometry processor; 104)와,
상기 오디오 신호(120)를 생성하기 위한 신호 생성기(106)를 포함하고,
상기 신호 생성기(106)는 상기 기하학적 정보의 제1 부분(110) 및 상기 기하학적 정보의 제2 부분(112)을 사용하는 결합 규칙(a combination rule)에 따라 적어도 상기 제1 소스 신호(210) 및 상기 제2 소스 신호(212)를 결합하도록 구성되는
믹싱 콘솔(300).
- 제 1 항에 있어서,
상기 믹싱 콘솔은, 적어도 상기 제1 마이크로폰 및 상기 제2 마이크로폰을 포함하는 복수의 마이크로폰의 위치의 그리고 상기 가상 청취 위치의 그래픽 표현을 나타내도록 구성되는 유저 인터페이스(306)를 더 포함하는
믹싱 콘솔(300).
- 제 1 항 또는 제 2 항에 있어서,
상기 유저 인터페이스(306)는, 적어도 제1 마이크로폰 타입 및 제2 마이크로폰 타입을 포함하는 그룹으로부터의 마이크로폰 타입을 상기 마이크로폰들의 각각과 관련시키도록 구성되는 입력 디바이스를 더 포함하고, 마이크로폰 타입은 마이크로폰을 사용하여 레코딩되는 음장(sound field)의 한 종류에 대응하는
믹싱 콘솔(300).
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 유저 인터페이스(306)는, 특히 상기 가상 청취 위치의 상기 그래픽 표현에 영향을 끼치는 것에 의해, 적어도 상기 가상 청취 위치(202)를 입력하거나 변경하도록 구성되는 입력 디바이스를 더 포함하는
믹싱 콘솔(300).
- 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 기하학적 정보의 제1 부분(110)은 상기 제1 위치와 상기 가상 청취 위치 사이의 제1 거리를 포함하고, 상기 기하학적 정보의 제2 부분(112)은 상기 제2 위치와 상기 가상 청취 위치(202) 사이의 제2 거리를 포함하는
믹싱 콘솔(300).
- 제 5 항에 있어서,
상기 결합 규칙은 상기 제1 소스 신호(210) 및 상기 제2 소스 신호(212)의 가중된 합(weighted sum)을 형성하는 것을 포함하고, 상기 제1 소스 신호(210)는 제1 가중치(g1)에 의해 가중되고 상기 제2 소스 신호(212)는 제2 가중치(g2)에 의해 가중되는
믹싱 콘솔(300).
- 제 6 항에 있어서,
상기 제1 소스 신호(210)에 대한 상기 제1 가중치(g1)는 상기 제1 거리(d1)의 멱승(power)에 반비례하고 상기 제2 소스 신호(212)에 대한 상기 제2 가중치(g2)는 상기 제2 거리(d2)의 멱승에 반비례하는
믹싱 콘솔(300).
- 제 7 항에 있어서,
상기 제1 소스 신호(210)에 대한 상기 제1 가중치(g1)는, 상기 제1 마이크로폰의 근접장 반경(r1)에 의해 승산되는 상기 제1 거리(d1)에 반비례하고, 상기 제2 소스 신호(212)에 대한 상기 제2 가중치(g2)는, 상기 제2 마이크로폰의 근접장 반경(r2)에 의해 승산되는 상기 제2 거리(d2)에 반비례하는
믹싱 콘솔(300).
- 제 6 항에 있어서,
상기 제1 거리(d1)가 미리 결정된 청취 반경(R)보다 더 크면 상기 제1 소스 신호(210)에 대한 상기 제1 가중치(g1)는 제로이고, 상기 제2 거리(d2)가 상기 미리 결정된 청취 반경(R)보다 더 크면 상기 제2 소스 신호(212)에 대한 상기 제2 가중치(g2)는 제로이며, 그 이외에는 상기 제1 가중치(g1) 및 상기 제2 가중치(g2)는 1인
믹싱 콘솔(300).
- 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 신호 생성기(106)는, 상기 제1 마이크로폰 및 상기 제2 마이크로폰이 제1 마이크로폰 타입과 관련되면 제1 결합 규칙을 사용하고 상기 제1 마이크로폰(204) 및 상기 제2 마이크로폰(206)이 제2 마이크로폰 타입과 관련되면 제2 다른 결합 규칙을 사용하도록 구성되는
믹싱 콘솔(300).
- 제 10 항에 있어서,
제1 근접장 반경(r1)은 상기 제1 결합 규칙에 따라 사용되고 제2 다른 근접장 반경(r2)은 상기 제2 결합 규칙에 따라 사용되는
믹싱 콘솔(300).
- 제 10 항에 있어서,
상기 제1 마이크로폰 타입은, 상기 음향 장면의 다이렉트 사운드 부분(direct sound portion)을 레코딩하도록 기능하는 마이크로폰과 관련되고, 상기 제2 마이크로폰 타입은, 상기 음향 장면의 확산 사운드 부분(diffuse sound portion)을 레코딩하도록 기능하는 마이크로폰과 관련되는
믹싱 콘솔(300).
- 제 12 항에 있어서,
상기 제1 결합 규칙은, 상기 제1 소스 신호(210)에 대해 제1 가중치(g1)를 그리고 상기 제2 소스 신호(212)에 대해 제2 가중치(g2)를 이용하여, 상기 제1 소스 신호(210) 및 상기 제2 소스 신호(212)의 가중된 합을 형성하는 것을 포함하고, 상기 제1 소스 신호(210)에 대한 상기 제1 가중치(g1)는 상기 제1 거리(d1)의 멱승에 반비례하고, 상기 제2 소스 신호(212)에 대한 상기 제2 가중치(g2)는 상기 제2 거리(d2)의 멱승에 반비례하는
믹싱 콘솔(300).
- 제 13 항에 있어서,
상기 제2 결합 규칙은 상기 제1 소스 신호(x1)(210) 및 상기 제2 소스 신호(x2)(212)의 가중된 합을 형성하는 것을 포함하고, 상기 가중치들(g1 및 g2)은 상기 기하학적 정보의 제1 부분(110)에 그리고 상기 기하학적 정보의 제2 부분(112)에 의존하고, 상기 가중치들(g1 및 g2)은 모든 가능한 기하학적 정보에 대해, 상기 가중치의 합(G=g1+g2) 또는 제곱 합(G2=g1 2+g2 2)은 일정하다는, 특히 1이다라는 경계 조건을 충족하는
믹싱 콘솔(300).
- 제 14 항에 있어서,
상기 제2 결합 규칙은 다음의 크로스페이드 규칙:
중 적어도 하나에 따라 상기 소스 신호들(x1(210) 및 x2(212))의 가중된 합(xvirt)을 형성하는 것을 포함하는
믹싱 콘솔(300).
- 제 15 항에 있어서,
상기 결합 규칙은, 다음의 규칙:
에 따라 상기 제1 소스 신호(x1)(210)와 상기 제2 소스 신호(212)(x2) 사이의 상관(correlation)에 대한 상관 계수(σx1x2)에 의해 가중되는 신호(xvirt1 및 xvirt23)로부터 가중된 합(xvirt)을 형성하는 것을 더 포함하는
믹싱 콘솔(300).
- 제 14 항에 있어서,
상기 제2 결합 규칙에 따라 상기 가중된 합을 형성함에 있어서 제3 가중치(g3)를 갖는 제3 신호(x3)가 고려되고, 상기 소스 신호들(x1, x2 및 x3)과 관련되는 마이크로폰들(250, 252, 254)의 위치는, 상기 가상 청취 위치(202)가 내부에 위치되는 삼각형 표면으로 이르게 되고, 상기 가중치들(g1, g2 및 g3)은 상기 소스 신호들(x1, x2 및 x3)의 각각에 대해, 각 경우에, 각각의 소스 신호와 관련되는 마이크로폰(250)의 위치와 관련되는 상기 삼각형의 높이(262) 상으로의 상기 가상 청취 위치(202)의 수직 투사(a vertical projection; 264)에 기초하여, 결정되는
믹싱 콘솔(300).
- 제 1 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 결합 규칙에 따라, 상기 기하학적 정보의 제1 부분과 상기 기하학적 정보의 제2 부분의 비교가 미리 결정된 기준을 충족하면 상기 제1 소스 신호 또는 상기 제2 소스 신호(212) 중 어느 하나가 지연 시간만큼 지연되는
믹싱 콘솔(300).
- 제 18 항에 있어서,
상기 미리 결정된 조건은, 상기 제1 거리와 상기 제2 거리 사이의 차이가 동작가능한 최소 거리보다 더 크면 충족되는
믹싱 콘솔(300).
- 제 1 항 내지 제 19 항 중 어느 한 항에 있어서,
상기 결합 규칙에 따라, 상기 제1 소스 신호 및 상기 제2 소스 신호의 그룹으로부터의 신호 중, 상기 신호와 관련되는 마이크로폰으로부터 상기 가상 청취 위치까지 더 짧은 신호 전파 시간을 포함하는 신호는, 지연된 신호 전파 시간이 상기 그룹의 다른 신호와 관련되는 마이크로폰으로부터 상기 가상 청취 위치까지의 신호 전파 시간에 대응하도록, 지연되는
믹싱 콘솔(300).
- 제 6 항 내지 제 20 항 중 어느 한 항에 있어서,
상기 기하학적 정보의 제1 부분(110)은, 상기 가상 청취 위치와 관련되는 우선 방향(preferred direction)(208)과 상기 제1 위치 사이의 방향에 관한 방향 정보의 제1 부분, 및 상기 우선 방향과 상기 제2 위치 사이의 방향에 관한 방향 정보의 제2 부분을 더 포함하고, 상기 제1 가중치(g1)는 제1 방향 인자에 비례하고 상기 제2 가중치(g2)는 제2 방향 인자에 비례하고, 상기 제1 방향 인자는 상기 방향 정보의 제1 부분에 그리고 상기 가상 청취 위치와 관련되는 방향성에 의존하고, 상기 제2 방향 인자는 상기 방향 정보의 제2 부분 및 상기 방향성에 의존하는
믹싱 콘솔(300).
- 제1 소스 신호 및 제2 소스 신호에 기초하여 가상 청취 위치에 대한 오디오 신호를 제공하기 위한 오디오 신호 생성기(100)로서,
상기 제1 소스 신호와 관련되는 제1 위치에 기초하여 기하학적 정보의 제1 부분(110), 및 상기 제2 소스 신호와 관련되는 제2 위치에 기초하여 기하학적 정보의 제2 부분(112)을 결정하도록 구성되는 지오메트리 프로세서(geometry processor)(104)와,
상기 오디오 신호(120)를 제공하기 위한 신호 생성기(106)를 포함하고,
상기 신호 생성기(106)는, 상기 기하학적 정보의 제1 부분(110) 및 상기 기하학적 정보의 제2 부분(112)을 사용하는 결합 규칙에 따라 적어도 상기 제1 소스 신호(210) 및 상기 제2 소스 신호(212)를 결합하도록 구성되고, 상기 결합 규칙에 따라, 제1 부분 신호(xvirt1)가 제1 크로스페이드 규칙에 따라 형성되고 제2 부분 신호(xvirt2)가 제2 크로스페이드 규칙에 따라 형성되며, 상기 오디오 신호를 제공하는 것은 상기 제1 소스 신호(x1)(210)와 상기 제2 소스 신호(x2)(212) 사이의 상관에 대한 상관 계수(σx1x2)에 의해 가중되는 상기 신호들(xvirt1 및 xvirt2)로부터 가중된 합(xvirt)을 형성하는 것을 더 포함하는
오디오 신호 생성기(100).
- 제 19 항에 있어서,
상기 제1 부분 신호(xvirt)는 다음의 제1 크로스페이드 규칙:
을 사용하여 제공되고;
상기 제2 부분 신호(xvirt2)는 다음의 크로스페이드 규칙:
을 사용하여 제공되고;
상기 가중된 합을 제공하는 것은 다음의 계산:
을 포함하는
오디오 신호 생성기(100).
- 공간(200) 내의 가상의 청취 위치(202)에 대한 오디오 신호(120)를 제공하기 위한 오디오 신호 생성기(100) - 상기 공간(200)에서, 제1 소스 신호(210)로서 상기 공간(200) 내의 제1 기지의 위치에 있는 적어도 제1 마이크로폰(204)에 의해 그리고 제2 소스 신호(212)로서 상기 공간(200) 내의 제2 기지의 위치에 있는 적어도 제2 마이크로폰(206)에 의해 음향 장면이 레코딩됨 - 로서,
상기 제1 마이크로폰에 의해 레코딩되는 상기 제1 소스 신호(210) 및 상기 제2 마이크로폰(206)에 의해 레코딩되는 상기 제2 소스 신호(212)를 수신하도록 구성되는 입력 인터페이스(102)와,
상기 제1 기지의 위치 및 상기 가상 청취 위치(202)에 기초하여, 상기 제1 기지의 위치와 상기 가상 청취 위치(202) 사이의 제1 거리를 포함하는 기하학적 정보의 제1 부분(110)을 결정하고, 상기 제2 기지의 위치 및 상기 가상 청취 위치(202)에 기초하여, 상기 제2 기지의 위치와 상기 가상 청취 위치(202) 사이의 제2 거리를 포함하는 기하학적 정보의 제2 부분(112)을 결정하도록 구성되는 지오메트리 프로세서(104)와,
상기 오디오 신호(120)를 생성하기 위한 신호 생성기(106)를 포함하고,
상기 신호 생성기(106)는 상기 기하학적 정보의 제1 부분(110) 및 상기 기하학적 정보의 제2 부분(112)을 사용하는 결합 규칙에 따라 적어도 상기 제1 소스 신호(210) 및 상기 제2 소스 신호(212)를 결합하도록 구성되는
오디오 신호 생성기(100).
- 공간 내의 가상의 청취 위치(202)에 대한 오디오 신호를 제공하기 위한 방법 - 상기 공간에서, 제1 소스 신호로서 상기 공간 내의 제1 기지의 위치에 있는 적어도 제1 마이크로폰에 의해 그리고 제2 소스 신호로서 상기 공간 내의 제2 기지의 위치에 있는 적어도 제2 마이크로폰에 의해 음향 장면이 레코딩됨 - 으로서,
상기 제1 마이크로폰에 의해 레코딩되는 상기 제1 소스 신호 및 상기 제2 마이크로폰에 의해 레코딩되는 상기 제2 소스 신호를 수신하는(500) 단계와,
상기 제1 위치 및 상기 가상 청취 위치에 기초하여 상기 제1 기지의 위치와 상기 가상 청취 위치(202) 사이의 제1 거리를 포함하는 기하학적 정보의 제1 부분, 및 상기 제2 위치 및 상기 가상 청취 위치에 기초하여 상기 제2 기지의 위치와 상기 가상 청취 위치(202) 사이의 제2 거리를 포함하는 기하학적 정보의 제2 부분(112)을 결정하는(502) 단계와,
상기 기하학적 정보의 제1 부분(110) 및 상기 기하학적 정보의 제2 부분(112)을 사용하는 결합 규칙에 따라 적어도 상기 제1 소스 신호 및 상기 제2 소스 신호를 결합하는(504) 단계를 포함하는
오디오 신호를 제공하기 위한 방법.
- 제 25 항에 기재된 방법을 실행하기 위한 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 프로그래밍가능한 하드웨어 컴포넌트 상에서 실행하는
컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102013105375.0A DE102013105375A1 (de) | 2013-05-24 | 2013-05-24 | Tonsignalerzeuger, Verfahren und Computerprogramm zum Bereitstellen eines Tonsignals |
| DE102013105375.0 | 2013-05-24 | ||
| PCT/EP2014/060481 WO2014187877A2 (de) | 2013-05-24 | 2014-05-21 | Mischpult, tonsignalerzeuger, verfahren und computerprogramm zum bereitstellen eines tonsignals |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160012204A true KR20160012204A (ko) | 2016-02-02 |
| KR101820224B1 KR101820224B1 (ko) | 2018-02-28 |
Family
ID=50933143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157036333A KR101820224B1 (ko) | 2013-05-24 | 2014-05-21 | 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US10075800B2 (ko) |
| EP (1) | EP3005737B1 (ko) |
| JP (1) | JP6316407B2 (ko) |
| KR (1) | KR101820224B1 (ko) |
| CN (1) | CN105264915B (ko) |
| DE (1) | DE102013105375A1 (ko) |
| WO (1) | WO2014187877A2 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230059283A (ko) * | 2021-10-26 | 2023-05-03 | 주식회사 라온에이엔씨 | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3209034A1 (en) * | 2016-02-19 | 2017-08-23 | Nokia Technologies Oy | Controlling audio rendering |
| WO2017218973A1 (en) * | 2016-06-17 | 2017-12-21 | Edward Stein | Distance panning using near / far-field rendering |
| EP3264734B1 (en) * | 2016-06-30 | 2022-03-02 | Nokia Technologies Oy | Controlling audio signal parameters |
| JP7003924B2 (ja) * | 2016-09-20 | 2022-01-21 | ソニーグループ株式会社 | 情報処理装置と情報処理方法およびプログラム |
| US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
| EP3343348A1 (en) * | 2016-12-30 | 2018-07-04 | Nokia Technologies Oy | An apparatus and associated methods |
| IT201700040732A1 (it) | 2017-04-12 | 2018-10-12 | Inst Rundfunktechnik Gmbh | Verfahren und vorrichtung zum mischen von n informationssignalen |
| US10880649B2 (en) | 2017-09-29 | 2020-12-29 | Apple Inc. | System to move sound into and out of a listener's head using a virtual acoustic system |
| CA3219540A1 (en) | 2017-10-04 | 2019-04-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding |
| US10609503B2 (en) | 2018-04-08 | 2020-03-31 | Dts, Inc. | Ambisonic depth extraction |
| US20200304933A1 (en) * | 2019-03-19 | 2020-09-24 | Htc Corporation | Sound processing system of ambisonic format and sound processing method of ambisonic format |
| EP3879702A1 (en) * | 2020-03-09 | 2021-09-15 | Nokia Technologies Oy | Adjusting a volume level |
| US20230254638A1 (en) * | 2020-08-05 | 2023-08-10 | Hewlett-Packard Development Company, L.P. | Peripheral microphones |
| CN112951199B (zh) * | 2021-01-22 | 2024-02-06 | 杭州网易云音乐科技有限公司 | 音频数据生成方法及装置、数据集构建方法、介质、设备 |
| CN113889125B (zh) * | 2021-12-02 | 2022-03-04 | 腾讯科技（深圳）有限公司 | 音频生成方法、装置、计算机设备和存储介质 |
| WO2023166109A1 (de) * | 2022-03-03 | 2023-09-07 | Kaetel Systems Gmbh | Vorrichtung und verfahren zum neuaufzeichnen eines existierenden tonstücks |
| CN117854520A (zh) * | 2022-10-09 | 2024-04-09 | 华为技术有限公司 | 一种混音方法及相关装置 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5714997A (en) * | 1995-01-06 | 1998-02-03 | Anderson; David P. | Virtual reality television system |
| WO2005036523A1 (en) * | 2003-10-09 | 2005-04-21 | Teac America, Inc. | Method, apparatus, and system for synthesizing an audio performance using convolution at multiple sample rates |
| JP4181511B2 (ja) * | 2004-02-09 | 2008-11-19 | 日本放送協会 | サラウンド音声ミキシング装置およびサラウンド音声ミキシングプログラム |
| JP2006074589A (ja) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 音響処理装置 |
| WO2008008417A2 (en) * | 2006-07-12 | 2008-01-17 | The Stone Family Trust Of 1992 | Microphone bleed simulator |
| US20080253547A1 (en) * | 2007-04-14 | 2008-10-16 | Philipp Christian Berndt | Audio control for teleconferencing |
| JP5403896B2 (ja) * | 2007-10-31 | 2014-01-29 | 株式会社東芝 | 音場制御システム |
| DE102007052154A1 (de) * | 2007-10-31 | 2009-05-07 | Robert Bosch Gmbh | Audiomodul zur akustischen Überwachung eines Überwachungsbereichs, Überwachungssystem für den Überwachungsbereich, Verfahren zur Erzeugung einer Klangumgebung sowie Computerprogramm |
| DE102008004674A1 (de) | 2007-12-17 | 2009-06-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signalaufnahme mit variabler Richtcharakteristik |
| EP2357846A1 (en) * | 2009-12-22 | 2011-08-17 | Harman Becker Automotive Systems GmbH | Group-delay based bass management |
| EP2596649B1 (en) * | 2010-07-22 | 2015-09-09 | Koninklijke Philips N.V. | System and method for sound reproduction |
| JP5198530B2 (ja) * | 2010-09-28 | 2013-05-15 | 株式会社東芝 | 音声付き動画像呈示装置、方法およびプログラム |
| ITTO20110890A1 (it) * | 2011-10-05 | 2013-04-06 | Inst Rundfunktechnik Gmbh | Interpolationsschaltung zum interpolieren eines ersten und zweiten mikrofonsignals. |
| US9131305B2 (en) | 2012-01-17 | 2015-09-08 | LI Creative Technologies, Inc. | Configurable three-dimensional sound system |
| US9258647B2 (en) * | 2013-02-27 | 2016-02-09 | Hewlett-Packard Development Company, L.P. | Obtaining a spatial audio signal based on microphone distances and time delays |
-
2013
- 2013-05-24 DE DE102013105375.0A patent/DE102013105375A1/de not_active Withdrawn
-
2014
- 2014-05-21 CN CN201480029942.0A patent/CN105264915B/zh not_active Expired - Fee Related
- 2014-05-21 US US14/892,660 patent/US10075800B2/en not_active Expired - Fee Related
- 2014-05-21 KR KR1020157036333A patent/KR101820224B1/ko active IP Right Grant
- 2014-05-21 WO PCT/EP2014/060481 patent/WO2014187877A2/de active Application Filing
- 2014-05-21 EP EP14729613.1A patent/EP3005737B1/de not_active Not-in-force
- 2014-05-21 JP JP2016514404A patent/JP6316407B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230059283A (ko) * | 2021-10-26 | 2023-05-03 | 주식회사 라온에이엔씨 | 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3005737B1 (de) | 2017-01-11 |
| JP2016522640A (ja) | 2016-07-28 |
| DE102013105375A1 (de) | 2014-11-27 |
| CN105264915A (zh) | 2016-01-20 |
| US20160119734A1 (en) | 2016-04-28 |
| US10075800B2 (en) | 2018-09-11 |
| EP3005737A2 (de) | 2016-04-13 |
| CN105264915B (zh) | 2017-10-24 |
| WO2014187877A2 (de) | 2014-11-27 |
| WO2014187877A3 (de) | 2015-02-19 |
| KR101820224B1 (ko) | 2018-02-28 |
| JP6316407B2 (ja) | 2018-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101820224B1 (ko) | 믹싱 데스크, 사운드 신호 생성기, 사운드 신호를 제공하기 위한 방법 및 컴퓨터 프로그램 | |
| CN109644314B (zh) | 渲染声音程序的方法、音频回放系统和制造制品 | |
| JP5285626B2 (ja) | 音声空間化及び環境シミュレーション | |
| JP4927848B2 (ja) | オーディオ処理のためのシステムおよび方法 | |
| JP5955862B2 (ja) | 没入型オーディオ・レンダリング・システム | |
| KR102507476B1 (ko) | 헤드셋을 통한 공간 오디오 렌더링을 위한 룸 특성 수정 시스템 및 방법 | |
| JP4913140B2 (ja) | グラフィカル・ユーザ・インタフェースを使って複数のスピーカを制御するための装置及び方法 | |
| JP4745392B2 (ja) | Ｄｓｐによって複数のスピーカを制御する装置および方法 | |
| JP5813082B2 (ja) | モノラル信号を立体音響化するための装置及び方法 | |
| TW201246060A (en) | Audio spatialization and environment simulation | |
| CN110569016A (zh) | 单声道或多声道音频控制接口 | |
| US11337020B2 (en) | Controlling rendering of a spatial audio scene | |
| CA2744429C (en) | Converter and method for converting an audio signal | |
| JP2007336184A (ja) | 音像制御装置及び音像制御方法 | |
| CN105812991A (zh) | 音频信号处理设备 | |
| CN111492342B (zh) | 音频场景处理 | |
| US11395087B2 (en) | Level-based audio-object interactions | |
| KR20210151792A (ko) | 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램 | |
| US20220232340A1 (en) | Indication of responsibility for audio playback | |
| KR20160113036A (ko) | 3차원 사운드를 편집 및 제공하는 방법 및 장치 | |
| KR20240095353A (ko) | 가청화를 위한 초기 반사 개념 | |
| KR20240095354A (ko) | 가청화를 위한 초기 반사 패턴 생성 개념 | |
| KR20240095455A (ko) | 초기 반사 패턴을 이용한 가청화의 개념 | |
| JP2022143165A (ja) | 再生装置、再生システムおよび再生方法 | |
| CN115706895A (zh) | 使用多个换能器的沉浸式声音再现 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |