KR102573148B1 - 사운드 교정을 위한 2-채널 공간 전달 함수의 지각적으로-투명한 추정 - Google Patents

사운드 교정을 위한 2-채널 공간 전달 함수의 지각적으로-투명한 추정 Download PDF

Info

Publication number
KR102573148B1
KR102573148B1 KR1020207037572A KR20207037572A KR102573148B1 KR 102573148 B1 KR102573148 B1 KR 102573148B1 KR 1020207037572 A KR1020207037572 A KR 1020207037572A KR 20207037572 A KR20207037572 A KR 20207037572A KR 102573148 B1 KR102573148 B1 KR 102573148B1
Authority
KR
South Korea
Prior art keywords
rtf
signals
filters
frequency
filter
Prior art date
Application number
KR1020207037572A
Other languages
English (en)
Other versions
KR20210021320A (ko
Inventor
보아즈 라파엘리
하이 모르겐스턴
Original Assignee
비.지. 네게브 테크놀로지즈 앤드 애플리케이션스 리미티드, 엣 벤-구리온 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비.지. 네게브 테크놀로지즈 앤드 애플리케이션스 리미티드, 엣 벤-구리온 유니버시티 filed Critical 비.지. 네게브 테크놀로지즈 앤드 애플리케이션스 리미티드, 엣 벤-구리온 유니버시티
Publication of KR20210021320A publication Critical patent/KR20210021320A/ko
Application granted granted Critical
Publication of KR102573148B1 publication Critical patent/KR102573148B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/307Frequency adjustment, e.g. tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H7/00Measuring reverberation time ; room acoustic measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Stereophonic System (AREA)

Abstract

낮은 추정 오류들을 갖는 2-채널 시스템을 위해 지각적으로-투명한 RTF 추정을 수행하는 시스템 및 방법. 본 시스템은 방에 포지셔닝된 좌측 채널 및 우측 채널에 대한 2 개의 라우드스피커 및 방에 청취자 근처에 포지셔닝된 단일 마이크로폰을 포함한다. 시스템은 2 개의 채널 사이의 주파수 분리를 획득하기 위해, 필터 뱅크 및 상보적 필터 뱅크를 사용하여 스펙트럼 분할을 수행한다. 원래 오디오 신호들 및 구성된 필터들을 사용하여 2 개의 채널에 걸쳐 상관되지 않는 교정 신호들이 생성된다. 이어서, 원래 오디오 신호들의 재생 대신, 교정 신호들이 라우드스피커들에 의해 재생된다. 결국, 시스템은 마이크로폰에 의해 교정 신호들의 재생을 기록하고 기록된 재생된 교정 신호들을 사용하여 2-채널 RTF를 동시에 추정한다.

Description

사운드 교정을 위한 2-채널 공간 전달 함수의 지각적으로-투명한 추정
본 발명은 사운드 교정 분야에 관한 것이다. 보다 구체적으로, 본 발명은 사용자 개입의 필요없이, 히어링(hearing) 중에 자동 사운드 교정을 가능하게 하기 위해 공간 전달 함수(RTF)를 추정하는 방법 및 시스템에 관한 것이다.
사운드 교정은 사운드 품질을 개선하고 (에코들, 벽들로부터의 반사들 등으로 인해 가변할 수 있는) 기존 음향 환경에 오디오 시스템을 적응하게 하는 많은 상용 오디오 시스템에 이용된다. 이 프로세스에 각각의 라우드스피커와 청취자의 포지션에 위치된 마이크로폰 사이의 공간 전달 함수(RTF)의 추정을 포함한다.
RTF 추정을 위한 현재 방법들은 각각의 라우드스피커에 별개로 적용되는 전용 프로세스에서 잡음 또는 톤과 같은 교정 신호들을 이용한다. 그러나, 이러한 추정은 정상 재생을 방해하고, 시간 소비적이고, 사용자 개입을 요구한다.
오디오 시스템에 대한 사운드 교정은, 각각의 채널 또는 각각의 라우드스피커의 파라미터들이 (예를 들어, 각각의 라우드스피커의 지연 및 이득을 제어함으로써) 사운드 품질을 개선하도록 조정되는 프로세스이다. 파라미터들은 통상적으로 주파수 등화, 라우드니스 레벨(loudness level), 및 시간-지연들을 포함하고, 방 음향 환경과 사운드 시스템의 위치에 기반하여 조정된다. 이 프로세스는 일반적으로 공간 전달 함수(RTF)를 추정하기 위해 마이크로폰의 사용을 요구한다. 현재의 RTF 추정 방법들은 여기, 또는 교정 신호들을 이용하여 각각의 라우드스피커에 별개로 적용되는 전용 프로세스에서 RTF를 추정하고, 마이크로폰은 청취자 근처에 위치된다고 가정하였다. 여기 신호들은 최대-길이 시퀀스들, 역-반복 시퀀스들, 스위프 사인(sweep sine)들(선형 및 로그), 임펄스, 주기적 임펄스 여기, 시간-확장 펄스들, 랜덤 잡음, 의사-랜덤 잡음, 및 주기적 랜덤 여기를 포함하는 반면, 다양한 애플리케이션들은 사운드 교정, 화상 회의/멀티미디어 통신 시스템들, 가상 및 증강 현실, 가청화, 및 사운드 공간화를 포함한다. 위의 모든 방법은 교정 신호를 이용하고, 이는 RTF 추정 작업을 시간-소비적이게 하고, 사용자 개입을 필요로 하고, 오디오 시스템의 정상적인 사용을 방해한다.
재생 중에 시스템을 보다 자연스럽게 측정하게 하는 비-전용 소스 신호들을 사용하는 RTF 추정 방법들이 또한 있다. 이 경우, 소스 신호들은 장기적으로 관심있는 모든 주파수를 포함해야 하고, 통상적으로 통상적인 여기 신호들에 비해 우수한 추정들을 달성하기 위해 더 긴 평균 시간들을 요구한다. 애플리케이션들은 통상적으로 에코 제거 및 소스 위치 파악을 포함하고, 스피치 신호들은 RTF들을 추정하는 데 사용된다. 그러나, 이러한 방법들은 단일 라우드스피커를 갖는 시스템에 적합하다. 다중-채널 오디오 시스템들에서, 이러한 방법들은 계속 적용될 수 있지만, 한 번에 하나의 라우드스피커를 사용한 재생을 요구할 수 있고, 이는 다시 시스템의 정상적인 재생을 방해할 수 있다.
시스템의 정상적인 동작과 보다 자연스럽게 통합하고 청취자들에게 지각적으로-투명한 다중-채널 오디오 시스템에 대한 RTF 추정 프로세스가 큰 관심을 끌 수 있다. 이러한 프로세스는 또한 사용자-개입을 요구하지 않고 자동으로 이루어질 수 있고, 그러므로 시변하는 음향 조건들을 보상하는 것이 필요할 때 적용될 수 있다.
마이크로폰에 의해 측정된 신호()는 하기에 의해 제공되고:
(식 1)
여기서 가 주파수를 나타내는 경우, 는 각각 좌측 채널 및 우측 채널의 입력 신호들이고, 는 각각 좌측 라우드스피커 및 우측 라우드스피커의 RTF들이다. 모노 재생에서, .
특히, 음향 잡음, 모델링 잡음, 및 변환기 잡음을 모델링할 수 있는 잡음 구성요소가 에 부가될 수 있지만, 잡음은 간략성을 위해 추가되지 않는다.
RTF 추정을 위한 기존 방법들 중 하나는 이중-채널 FFT 분석이고, 이는 실제 오디오 신호들을 포함하여 다양한 교정 신호들과 함께 작동한다[20]. 예로서, 좌측 RTF() 추정이 제시된다. 이를 위해, 좌측 라우드스피커에서만의 재생이 이용되고, 우측 입력 신호()는 0으로 가정된다. 그러므로, 식 (1)은 다음과 같이 쓰여질 수 있다:
(식 2)
추정된 RTF는 입력 신호의 자동 스펙트럼들(주파수에 걸친 신호 에너지의 분포를 도시함), 및 입력 신호와 출력 신호 사이의 상호 스펙트럼(2 개의 프로세스 간의 공통 활동이 주파수에 걸쳐 분포되는 방식의 표시)을 사용하여 계산된다. 의 자동 스펙트럼은 하기와 같이 정의되고:
(식 3)
은 통계적 기대치이고 는 켤레 복소수를 나타낸다. 실제로, 스펙트럼들은 다수의 시간 블록에 걸쳐 스펙트럼들을 평균화하여 계산된 통계적 기대치의 추정들을 사용하여 계산된다. 표기의 간략성을 위해, 스펙트럼들은 통계적 기대치들을 사용하여 제시된다. 또한, 블록 시간 지속기간은, 곱셈 전달 함수 가정에 의해 요구되는 바와 같이, 시간적으로 RTF()에 비해 충분히 길게 가정된다[21].
또한, 시간 윈도우 함수는 원하는 주파수 특성을 가진 수정된 주기도(periodogram)(신호의 스펙트럼 밀도의 추정)를 위해 실제로 각각의 블록에 적용될 수 있다[22](스펙트럼들의 계산에 관한 세부 사항은 [20]에서 발견될 수 있음).
상호 스펙트럼은 하기에 의해 제공되고:
(식 4)
자동 스펙트럼들의 경우에서와 같이, 실제로 시간 평균을 사용하여 근사화된다. 스펙트럼들이 제공되는 경우, RTF()를 추정하는 여러 가지 방식들이 있고, 이때 특정 구현은 프로세싱 체인(processing chain)에서 잡음이 추가되는 위치에 따라 선택된다.
RTF()의 하나의 추정은 하기에 의해 제공되고:
(식 5)
이것은, 잡음이 출력 신호에 추가될 때 제안된다[23].
위의 설명은 단일 라우드스피커가 이용될 때의 RTF 추정을 제시하였다. 둘 모두의 라우드스피커가 이용될 때, 출력()은 둘 모두의 라우드스피커의 기여도를 포함한다. 식 (1)에서와 에서의 0이 아닌 의 기여도를 포함하여, 식 (5)로부터의 가 하기로서 다시 쓰여질 수 있고:
(식 6)
여기서 는 좌측 입력 신호와 우측 입력 신호 사이의 상호 스펙트럼이다. 따라서, 둘 모두의 채널의 신호가 동시에 이용될 때, 좌우 신호들이 상관되는 경우 추정의 오류가 있다.
[선행기술문헌]
[비특허문헌]
[1] D. D. Rife, J. Vanderkooy, Transfer-function measurement with maximum-length sequences, Journal of the Audio Engineering Society 37 (6) (1989) 419-444.
[2] C. Dunn, M. J. Hawksford, Distortion immunity of mls-derived impulse response measurements, Journal of the Audio Engineering Society 41 (5) (1993) 314-335.
555 [3] R. C. Heyser, Acoustical measurements by time delay spectrometry, Journal of the Audio Engineering Society 15 (4) (1967) 370-382.
[4] A. Berkhout, M. M. Boone, C. Kesselman, Acoustic impulse response measurement: A new technique, Journal of the Audio Engineering Society 32 (10) (1984) 740-746.
[5] A. Farina, Simultaneous measurement of impulse response and distortion with a swept-sine technique, in: Audio Engineering Society Convention 108, Audio Engineering Society, 2000.
[6] S. Muller, P. Massarani, Transfer-function measurement with sweeps, Journal of the Audio Engineering Society 49 (6) (2001) 443-471.
[7] T. Gustafsson, J. Vance, H. Pota, B. Rao, M. Trivedi, Estimation of acoustical room transfer functions, in: Decision and Control, 2000. Proceedings of the 39th IEEE Conference on, 570 Vol. 5, IEEE, 2000, pp. 5184-5189.
[8] N. Aoshima, Computer-generated pulse signal applied for sound measurement, The Journal of the Acoustical Society of America 69 (5) (1981) 1484-1488.
[9] Y. Suzuki, F. Asano, H.-Y. Kim, T. Sone, An optimum computer-generated pulse signal suitable for the measurement of very long impulse responses, The Journal of the Acoustical Society of America 97 (2) (1995) 1119-1123.
[10] G.-B. Stan, J.-J. Embrechts, D. Archambeau, Comparison of different impulse response measurement techniques, Journal of the Audio Engineering Society 50 (4) (2002) 249-262.
[11] B. S. Lavoie, W. R. Michalson, Auto-calibrating surround system, US Patent 7,158,643 (Jan. 2 2007).
[12] C. Hak, R. Wenmaekers, J. Hak, L. Van Luxemburg, A. Gade, Sound strength calibration methods, in: International Congress on Acoustics, ICA, 2010.
[13] N. Zacharov, P. Suokuisma, Method for loudness calibration of a multichannel sound systems and a multichannel sound system, US Patent 6,639,989 (Oct. 28 2003).
[14] J. Johnston, S. Smirnov, Room acoustics correction device, US Patent App. 11/289,328 (May 31 2007).
[15] A. Gilloire, M. Vetterli, Adaptive filtering in subbands with critical sampling: analysis, experiments, and application to acoustic echo cancellation, IEEE transactions on signal processing 40 (8) (1992) 1862-1875.
[16] Y. Lin, D. D. Lee, Bayesian regularization and nonnegative deconvolution for room impulse response estimation, IEEE Transactions on Signal Processing 54 (3) (2006) 839-847.
[17] P. N. Kulkarni, P. C. Pandey, D. S. Jangamashetti, Binaural dichotic presentation to reduce the effects of spectral masking in moderate bilateral sensorineural hearing loss, International journal of audiology 51 (4) (2012) 334-344.
[18] A. Amano-Kusumoto, J. M. Arono, M. Itoh, S. D. Soli, The effect of dichotic processing on the perception of binaural cues, in: Thirteenth Annual Conference of the International Speech Communication Association, 2012.
[19] P. C. Loizou, A. Mani, M. F. Dorman, Dichotic speech recognition in noise using reduced spectral cues, The Journal of the Acoustical Society of America 114 (1) (2003) 475-483.
[20] H. Vold, J. Crowley, G. T. Rocklin, New ways of estimating frequency response functions., Sound & Vibration 18 (11) (1984) 34-38.
[21] Y. Avargel, I. Cohen, On multiplicative transfer function approximation in the short-time fourier transform domain, IEEE Signal Processing Letters 14 (5) (2007) 337-340.
615 [22] P. Welch, The use of fast fourier transform for the estimation of power spectra: a method based on time averaging over short, modifed periodograms, IEEE Transactions on audio and electroacoustics 5 (2) (1967) 70-73.
[23] H. Herlufsen, Dual channel FFT analysis (part ii), Bruel & Kaejr Technical Review (1984-2).
[24] M. Smith, T. Barnwell, A new filter bank theory for time-frequency representation, IEEE transactions on acoustics, speech, and signal processing 35 (3) (1987) 314-327.
[25] B. ISO, 3382-2, acoustics-measurement of room acoustic parameters-part 2: Reverberation time in ordinary rooms, International Organization for Standardization, Geneve.
[26] Avishai Cohen Trio & Ensemble, "Remembering." At Home, Razdaz Recordz (2005).
[27] Amy Winehouse, "Stronger than me." Frank, Island Records Ltd. (2003).
[28] Trevor Noah Is Lupita Nyong'o's Son (2018), added by The Tonight Show Starring Jimmy Fallon [online]. Available at: https://www.youtube.com/watch?v=ctTKPs66rCU [Accessed 31 October 2018].
[29] W. Munson, M. B. Gardner, Standardizing auditory tests, The Journal of the Acoustical Society of America 22 (5) (1950) 675-675.
[30] L. D. Brown, T. T. Cai, A. DasGupta, Interval estimation for a binomial proportion, Statistical science (2001) 101-117.
그러므로, 본 발명의 목적은 사용자 개입의 필요 없이 히어링 동안 자동 사운드 교정을 가능하게 하기 위해 공간 전달 함수(RTF)를 추정하는 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적은 최소 히어링 장애를 보장하기 위해, 그 동작이 청취자에게 지각적으로-투명한 공간 전달 함수(RTF)를 추정하는 방법 및 시스템을 제공하는 것이다.
본 발명의 다른 목적들 및 장점들은 설명이 진행됨에 따라 명백해질 것이다.
낮은 추정 오류들을 갖는 2-채널 시스템을 위해 지각적으로-투명한 RTF 추정을 수행하는 방법은 하기 단계들을 포함한다:
a) 방에 포지셔닝된 좌측 채널 및 우측 채널에 대한 2 개의 라우드스피커 및 방에 청취자 근처에 포지셔닝된 단일 마이크로폰을 제공하는 단계;
b) 2 개의 채널 사이의 주파수의 분리를 획득하기 위해,
b.1) 0과 샘플링 주파수 절반() 사이의 범위로 제한된 값들을 갖는 개의 중심 주파수들()을 선택하고,
b.2) 각각의 중심 주파수에 대해, 대응하는 주파수 대역()을 정의하고,
b.3) 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()를 구성하고,
b.4) 짝수 중심 주파수들에 대한 필터들의 합산으로서 좌측 라우드스피커용 필터를 구성하고,
b.5) 홀수 중심 주파수들에 대한 필터들의 합산으로서 우측 라우드스피커용 필터를 구성함으로써,
필터 뱅크(bank) 및 상보적 필터 뱅크를 사용하여 스펙트럼 분할을 수행하는 단계;
c) 원래 오디오 신호들 및 구성된 필터들을 사용하여 2 개의 채널에 걸쳐 상관되지 않는 교정 신호들을 생성하는 단계;
d) 원래 오디오 신호들의 재생 대신, 라우드스피커들에 의해 교정 신호들을 재생하는 단계;
e) 마이크로폰에 의해 교정 신호들의 재생을 기록하는 단계; 및
f) 기록된 재생된 교정 신호들을 사용하여 2-채널 RTF를 동시에 추정하는 단계.
2 개의 필터 뱅크는 상이한 동작 시간들에서 이용될 수 있다.
바람직하게는, 상보적 세트의 중심 주파수들은 하나의 세트의 중심 주파수들에 비해 주파수가 시프트된다(예를 들어, ½ 옥타브 대역의 경우 1/4 옥타브).
추정된 RTF들은 각각의 세트로부터의 추정들을 병합하여 구성될 수 있다. 다수의 세트들의 RTF 추정들을 병합하는 것은 고정 매핑에 의해 또는 의 점별 최소치(pointwise minimum)를 사용하여 수행될 수 있다.
RTF 추정들은 음향 환경의 변화들을 자동으로 보상하기 위해, 미리 결정된 시간마다 주기적으로 수행될 수 있다.
낮은 추정 오류들을 갖는 다중-채널 시스템을 위해 투명한 RTF 추정을 수행하는 방법은 하기 단계들을 포함한다:
a) 방에 포지셔닝된 L 개의 채널에 대한 복수의 라우드스피커 및 방에 청취자 근처에 포지셔닝된 단일 마이크로폰을 제공하는 단계;
b) 다중 채널들 사이의 주파수의 분리를 획득하기 위해,
b.1) 0과 샘플링 주파수 절반() 사이의 범위로 제한된 값들을 갖는 개의 중심 주파수들()을 선택하고,
b.2) 각각의 중심 주파수에 대해, 대응하는 주파수 대역()을 정의하고,
b.3) 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()를 구성하고,
b.4) 미리 결정된 중심 주파수들에 대한 필터들의 합산으로서 각각의 라우드스피커용 필터를 구성함으로써,
필터 뱅크 및 상보적 필터 뱅크를 사용하여 스펙트럼 분할을 수행하는 단계;
c) 원래 오디오 신호들 및 구성된 필터들을 사용하여 다중 채널들에 걸쳐 상관되지 않는 교정 신호들을 생성하는 단계;
d) 원래 오디오 신호들의 재생 대신, 라우드스피커들에 의해 교정 신호들을 재생하는 단계;
e) 마이크로폰에 의해 교정 신호들의 재생을 기록하는 단계; 및
f) 기록된 재생된 교정 신호들을 사용하여 다중-채널 RTF를 동시에 추정하는 단계.
낮은 추정 오류들을 갖는 다중-채널 시스템을 위해 투명한 RTF 추정을 수행하는 시스템은:
a) 방에 포지셔닝된 L 개의 채널에 대한 복수의 라우드스피커 및 방에 청취자 근처에 포지셔닝된 단일 마이크로폰;
b) 스펙트럼 분할을 수행하기 위한 필터 뱅크 및 상보적 필터 뱅크들;
c) 다중 채널들 사이의 주파수의 분리를 위한,
c.1) 0과 샘플링 주파수 절반() 사이의 범위로 제한된 값들을 갖는 개의 중심 주파수들()을 선택하고,
c.2) 각각의 중심 주파수에 대해, 대응하는 주파수 대역()을 정의하고,
c.3) 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()를 구성하고,
c.4) 미리 결정된 중심 주파수들에 대한 필터들의 합산으로서 각각의 라우드스피커용 필터를 구성하고,
c.5) 원래 오디오 신호들 및 구성된 필터들을 사용하여 다중 채널들에 걸쳐 상관되지 않는 교정 신호들을 생성하도록
적응된 프로세서;
d) 원래 오디오 신호들의 재생 대신, 라우드스피커들에 의해 교정 신호들을 재생하기 위한 플레이어;
e) 마이크로폰에 의해 교정 신호들의 재생을 기록하기 위한 레코더; 및
f) 기록된 재생된 교정 신호들을 사용하여 다중-채널 RTF를 동시에 추정하기 위한 적어도 하나의 프로세서를 포함한다.
본 발명의 상기 및 다른 특징 및 장점은 첨부된 도면을 참조하여 바람직한 실시예들에 대한 다음의 예시적이고 비-제한적인 상세한 설명을 통해 더 잘 이해될 것이다.
- 도 1은, 재생 전에 좌측 및 우측 입력 신호들의 프로세싱이 단일 스위치에 의해 제어되는 시스템 블록 다이어그램을 예시한다.
- 도 2는 개선된 주파수 분해능을 획득하기 위해 길이 의 DFT-기반 구현을 위한 1/2-옥타브 필터들에 대한 세트 1로부터의 필터()의 예시적인 예이다.
- 도 3은 길이 의 DFT-기반 구현을 위한 1/2-옥타브 필터들에 대한 세트 1로부터의 필터들()의 예시적인 예이다.
- 도 4는 미리 결정된 중심 주파수들을 갖는 필터들의 둘 모두의 세트들에 대해 DFT-기반 구현을 사용하는 1/2-옥타브 필터들에 대한 를 도시한다.
- 도 5는 둘 모두의 세트 사이의 의 점별 최소치를 나타낸다.
- 도 6은 좌측 채널에 대해 측정된 RIR()을 도시한다.
- 도 7은 좌측 채널()에 대해 측정된 RTF를 도시한다.
- 도 8은 세트 1만을 사용하여 추정된 좌측 채널에 대한 주파수 종속 오류()를 예시한다.
- 도 9는 둘 모두의 세트를 사용하여 측정된 RTF와 추정된 RTF 간의 차이를 도시한다.
- 도 10은 청취 테스트에 사용된 모든 입력 신호에 대해 1/3 옥타브들에서 평균화된 정규화된 오류를 도시한다.
- 도 11은 청취 테스트 후, 재즈 음악에 대한 테스트 및 앵커 시스템(Test and Anchor system)들의 평균 성공률을 도시한다.
- 도 12는 청취 테스트 후, 팝 음악에 대한 테스트 및 앵커 시스템들의 평균 성공률을 도시한다.
- 도 13은 청취 테스트 후, 스피치에 대한 테스트 및 앵커 시스템들의 평균 성공률을 도시한다.
- 도 14는 청취 테스트 후 모든 신호 유형에 대한 평균인 전체 성공률을 도시한다.
본 발명은 낮은 추정 오류들을 갖는 2-채널 시스템(다중-채널 시스템으로 확장될 수 있음)에 대한 지각적으로-투명한 RTF 추정 방법을 제안한다. 제안된 방법은 원래 오디오 신호들 및 상보적 필터들을 사용하여 생성된 교정 신호들을 이용한다. 이러한 교정 신호들은 2 개의 채널에 걸쳐 상관되지 않고, 이는 단일 마이크로폰을 사용하여 둘 모두의 채널(또는 다중-채널 시스템의 경우 다중 채널)을 쉽게 추정하게 한다. 이 실시예에서, 마이크로폰은 청취자 근처에 포지셔닝된다.
제안된 방법은 상보적 필터 뱅크들을 사용한 스펙트럼 분할에 기반하며 [17, 18]에서 예를 들어 설명된 바와 같이, 2 개의 채널에 대한 신호들을 생성하기 위해 적용된다. 제안된 방법은 상보적 필터 뱅크들을 이용하여 2 개의 라우드스피커에 대한 추정 신호들(교정 신호들이라 지칭됨)을 생성한다. 이러한 교정 신호들은 원래의 처리되지 않은 오디오 신호들과 지각적으로 유사한 것으로 보여지고, 이는 스펙트럼 융합 현상에 의해 설명될 수 있다[19]. 상보적 필터 뱅크들을 사용함으로써, 프로세싱된 교정 신호들은 2 개의 채널에 걸쳐 상관되지 않고 2-채널 RTF의 동시 추정에 사용될 수 있다.
가 상관되지 않고, 식 (6)으로부터의 가 0이고, RTF가 단일 출력 신호()를 사용하여 추정될 수 있는 경우, 식 (1)을 다시 살펴보자. 이것은 다음 설명에 제시된 제안된 방법의 숨은 기본 원리이고, 여기서 역상관은 청취자들에게 지각적으로 투명한 주파수의 분리에 의해 달성된다. 기본 프로세싱 동작은 주파수들의 일부를 하나의 라우드스피커로 송신하고 나머지 주파수들을 다른 라우드스피커로 송신하는 것이다. 청취자의 귀는 이러한 상이한 성분을 통합한다. 장점은, 원하는 오디오 콘텐츠를 정상적으로 청취하는 동안 교정이 수행된다는 것이다. 제안된 방법의 다른 장점은, 음향 환경의 임의의 변화가 자동으로 보상되도록, 미리 결정된 시간마다 교정이 주기적으로 행해질 수 있다는 사실이다.
교정 신호들
본 발명에 따르면, 2-채널 입력 신호가 주어지면, 필터 뱅크 및 상보적 필터 뱅크를 이용하여 2 개의 상관되지 않은 신호가 생성된다. 이 실시예에서, 필터 뱅크들은 다양한 중심 주파수들의 세트들, 필터 대역폭들, 대역들의 수, 및 필터 구현들이 사용될 수 있더라도, 일반적인 방식으로 제시된다.
필터 뱅크들을 구성하기 위해, 개의 중심 주파수들()이 처음에 선택되고, 중심 주파수들의 값들은 0과 샘플링 주파수 절반() 사이의 범위로 제한된다. 각각의 중심 주파수에 대해, 대응하는 주파수 대역()이 정의된다. 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()가 구성된다.
이어서, 좌측 라우드스피커 및 우측 라우드스피커에 대한 필터들이 구성된다. 좌측 라우드스피커용 필터는 짝수 중심 주파수 인덱스들에 대해 필터들의 합산으로 구성된다:
(식 7)
가 짝수인 것을 (간략성을 위해) 가정하는 동안, 유사하게, 우측 라우드스피커에 대한 필터는 홀수 인덱스들에 대한 필터들의 합산으로 구성되고:
(식 8)
다음으로, 각각 좌측 라우드스피커 및 우측 라우드스피커에 대해, 2-채널 입력 신호 및 이 주어지는 경우 2 개의 신호는 라우드스피커 입력 신호들로서 생성되고:
및 (식 9)
(식 10)
2 개의 신호 간의 상호-스펙트럼은 하기에 의해 주어진다:
(식 11)
는, 이들이 모노 신호에 대해 동일할 수 있음에 따라 상관되지 않거나, 스테레오 신호에 대해 크게 상관되는 것으로 가정될 수 없기 때문에, 이들 신호 간의 상관을 달성하는 것을 하기를 요구한다:
(식 12)
식 (12)에서 식 (7) 및 식 (8)을 대체하여, 식 (12)의 조건은 하기와 다시 표현될 수 있다:
, 짝수 및 j 홀수. (식 13)
이것은, 필터들이 대역폭 외부에서 0과 같은 경우 0의 상관을 보장하거나, 대역폭 외부의 이득이 작은 경우 낮은 상관을 보장하기에 충분한 조건이다. 제안된 역상관된 교정 신호들은 RTF 추정의 기본을 형성한다.
제안된 교정 신호들 및 이상적인 필터들을 사용한 RTF 추정
RTF 추정은 이상적인 필터들의 경우 하기 가정들하에서 아래에 설명된다:
● 교정 신호들을 생성하는 데 사용되는 필터들()은 다음과 같은 경우에 이상적이다:
(식 14)
● 이러한 필터들을 정의하는 데 사용되는 주파수 대역들은 겹치지 않는다, 즉:
(식 15)
● 모든 주파수 대역의 합집합은 전체 주파수 범위를 포함한다, 즉:
(식 16)
식 (14) 및 식 (15)(즉, 겹치지 않는 대역들을 가진 이상적인 필터)으로부터, 식 (13)이 만족되고, 식 (11)에서와 같이 교정 신호들의 상관이 0이 되는 것은 명확하다. 이어서, RTF 추정은 2 개의 교정 신호의 세트를 정의하여 개발된다:
(식 17)
(식 18)
세트 1은 식 (9) 및 식 (10)에서와 같이 정의된다. 세트 2(식 (18))은 식 (9) 및 식 (10)에서와 같이 정의되지만 좌측 채널과 우측 채널 간에 필터들이 교환된다.
식 (12)를 만족시키는 이상적인 필터들로 인해, 식 (11)에서와 같이 교정 신호들의 상관은 0이다, 즉 .
교정 신호들은 식 (1)에서와 같이 원래 오디오 신호들의 재생 대신 라우드스피커들에 의해 재생되고, 마이크로폰으로 기록된다. 이 경우 새로운 시스템 모델은 하기와 같이 된다:
(식 19)
(식 20)
도 1은, 재생 전에 좌측 및 우측 입력 신호들의 프로세싱이 3 개의 상이한 상태로 단일 스위치에 의해 제어되는 시스템 블록 다이어그램을 예시한다:
(1) 식 (1)에 따른 교정 없는 정상 재생;
(2) 식 (19)에 따른 에 의한 교정 신호들 세트 1;
(3) 식 (20)에 따른 에 의한 교정 신호들 세트 2.
RTF들은 식 (19) 및 식 (20)에서 측정된 신호들을 사용하여 추정된다. 처음에, 이러한 측정 신호들과 식 (17) 및 식 (18)로부터의 교정 신호들 간의 RTF들이 추정된다. 에서, 예를 들어, 는 하기를 사용하여 식 (5)와 유사하게 정의되고:
(식 21)
(식 22)
여기서 마지막 라인은 식 (11) 및 이상적인 필터들의 경우 상관이 0이라는 위에서 도출된 결론을 사용하여 도출되었다.
식 (17)의 의 구성으로 인한 0의 분포를 회피하기 위해, 짝수 인덱스의 주파수 대역들만이 고려된다. , , 및 에 대해 동일한 추정 프로세스를 반복하는 것은 식 (16)으로 인해 전체 주파수 범위에 대해 2 개의 RTF의 추정을 유도할 것이다:
(식 23)
(식 24)
위에 제시된 이상적인 필터들을 사용한 추정 프로세스가 오류가 없는 추정 프로세스로 이어지지만, 실제로 필터들은 결코 이상적이지 않다. 그러므로, 실제 필터들에 의한 해결책은 아래에 제시된다.
제안된 교정 신호들과 실제(비-이상적인) 필터들을 사용한 RTF 추정
RTF 추정은 실제(비-이상적인) 필터들의 경우에 하기 가정들에서 아래에 설명된다:
● 교정 신호들을 생성하는 데 사용되는 필터들()은 통과 대역(), 정지 대역()을 포함하고, 하기와 같은 일반적인 방식으로 정의되고:
(식 25)
여기서 는 미리 정의된 임계치이다. 는, 이러한 2 개의 주파수 대역 사이의 전이에 주파수가 있으므로 전체 주파수 범위를 포함하지 않는다.
● 이러한 필터들을 정의하는 데 사용되는 통과 대역들은 겹치지 않는다, 즉:
(식 26)
● 모든 통과 대역의 합집합은 전체 주파수 범위를 포함한다, 즉:
(식 27)
이러한 가정들 하에서, 이상적인 필터들에 대한 추정 방법의 도출은 하기 차이들을 사용하여 반복된다. 식 (13)으로부터의 는 이제 에서 에 의해 대체되고, 여기서 는 어느 하나의 통과 대역이 다른 대역들로부터의 정지 대역들과만 겹치도록 서로 충분히 먼 대역들의 서브세트이다. 그러므로, 식 (12)는 에 의해 대체되고, 식 (11)은 에서 주파수 대역에 대한 에 의해 대체된다.
이것은 신호들() 사이에 작은 상관을 유도한다. RTF 추정은, 전체 주파수 범위가 포함될 때까지 더 많은 대역 서브세트들에 대해 반복된다. 이 프로세스는 특정 필터 구현과 2 개의 교정 신호의 세트에 대해 하기에 설명되고, 다양한 필터 구현 및 다수의 교정 신호의 세트와 유사한 방식으로 확장될 수 있다.
1/2-옥타브 FIR 필터를 사용한 구현
제안된 추정 방법을 위한 필터 뱅크들의 설계 예는 DFT(Discrete-Fourier-transform) 기반 구현으로 1/2-옥타브 필터들에 기반하여 아래에 제시된다. 여기서, 2 개의 필터 뱅크의 세트는, 이전 섹션에서 실제 필터들을 위해 제시된 일반적인 프레임워크에 따라, 이용된다. 중심 주파수들은 제1 필터 뱅크의 세트에 대해 선택되고, 중심 주파수들은 샘플링 주파수()가 Hz로 설정된 제2 필터 뱅크의 세트에 대해 선택된다. 둘 모두의 세트에 대해 중심 주파수들이 표 1에 제시된다.
세트 2의 중심 주파수들은 세트 1에 비해 1/4 옥타브 시프트된다. 둘 모두의 세트, 및 각각의 중심 주파수에 대해, 대응하는 주파수 대역()은 하기와 같이 정의되고:
(식 28)
여기서 Hz에서 시작하도록 수정되고 에서 종료되도록 수정된다. 둘 모두의 세트 및 각각의 주파수 대역에 대해, 가 이산 시간 인덱스인 대응하는 필터()는 [24]처럼 DFT-기반 구현을 사용하여 구성되고:
(식 29)
여기서 는, 와 결합될 때, 160-ms의 시간 지속기간을 생성하는 이러한 필터들을 구성하는 데 사용되는 DFT 길이이고, 는 DFT 주파수 인덱스이다. 특히, 음의 주파수들에 대응하는 DFT 주파수 인덱스들은 또한 식 (29)의 합산에 포함되어, 필터들은 시간 영역에서 실제이다. 주파수 영역에서 필터들()은 상에 DFT를 적용하여 계산된다. 이어서, 는 필터들()을 사용하여, 각각 식 (7) 및 식 (8)에서와 같이 구성된다.
도 2는 개선된 주파수 분해능을 획득하기 위해 길이 의 DFT-기반 구현을 위한 1/2-옥타브 필터들에 대한 세트 1로부터의 필터()의 예시적인 예이다. 1에 가까운 크기는 대응하는 옥타브 대역에서 관찰되는 반면, 상대적으로 높은 감쇠는 통과 대역에서 떨어져 관찰된다. 나머지 필터들()은 유사한 동작을 도시한다.
도 3은 길이 의 DFT-기반 구현을 위한 1/2-옥타브 필터들에 대한 세트 1로부터의 필터들()의 예시적인 예이다. 식 (29)로부터의 필터들을 사용하는 구성으로 인해, 는 원래 DFT 주파수들에서 합산이 1이 되고, 이러한 함수들의 합산의 역 DFT는 이 특정 구현에 대해 고려된 임펄스 함수를 제공한다. 세트 2의 필터들은, 이들의 동작이 유사하므로 제시되지 않는다.
도 4는 표 1에 제공된 중심 주파수들을 갖는 필터들의 둘 모두의 세트들에 대해 DFT-기반 구현을 사용하는 1/2-옥타브 필터들에 대한 를 예시한다. 는 상관에 비례한다(식 (11) 참조). 주파수 대역들 사이의 전이에서 주파수들에서 둘 모두의 세트에 대해 의 높은 값들이 획득된다. 이러한 주파수들에서, 상관은 더 높을 것으로 예상되고, 이는 식 (21)의 RTF 추정을 저하시킬 수 있다. 그러나, 가 세트 1에 대해 높은 주파수들에서, 이는 세트 2에 대해 낮고 그 반대의 경우도 마찬가지이다.
도 5는 둘 모두의 세트에 대한 유효 로서 고려될 수 있는, 둘 모두의 세트 사이의 의 점별 최소치를 제시한다. 둘 모두의 세트에 대한 의 점별 최소치는 모든 주파수에서 약 dB보다 낮고, 이는 단일 세트를 사용한 추정에 비해 2 개의 세트를 사용하여 개선된 추정을 가능하게 할 수 있다. 이는, 필터들이 표 1에 설명된 방식(즉, 2 개의 세트 사이에 1/4-옥타브 시프트 사용)으로 2 개의 세트로 나뉘어지는 이유이다.
다음 단계에서, 각각의 세트에 대해 최소치()를 갖는 주파수들의 매핑은 각각의 세트로부터의 추정들을 병합하여 추정된 RTF들을 구성하는 데 사용될 수 있다. 세트 1의 가 최소인 주파수들에서, RTF들은 세트 1에 대응하는 신호들에 대해 (제안된 교정 신호들 및 이상적인 필터들을 사용한 RTF 추정과 관하여 위에서 설명된 바와 같이) 추정될 수 있다. 유사하게, 세트 2의 가 최소인 주파수들에서, RTF들은 세트 2에 대응하는 신호들을 사용하여 추정될 수 있다. 고정 매핑과 같은 다수의 세트들의 RTF 추정들을 병합하는 다른 방법들은 각각의 세트의 중심 주파수들을 사용하여 구현될 수 있다.
스테레오 라우드스피커 시스템 및 방에 포지셔닝된 단일 마이크로폰을 포함하는 실험 시스템에 대해 제안된 방법을 사용한 RTF 추정 분석이 아래에 설명된다. 분석은 추정된 RTF와 측정된 RTF 간의 주파수-종속 오류와 총 오류의 조사를 포함한다.
설정
RTF들의 세트는 ESI U24XL 사운드카드를 통해 랩톱에 연결된 2 개의 KRK ROKIT 6" 라우드스피커들 및 Bruel & Kjaer 1/2 인치 확산-장 마이크로폰으로 구성된 시스템을 사용하여 측정되었다. 실험이 진행된 방은 Negev의 Ben-Gurion University의 회의실이고, 크기는 (7.2, 6.4, 3.1) m이고, 대략적인 볼륨은 143 m3이고, 잔향 시간은 약 0.5 초이다. 잔향 시간은 Schroeder 역적분을 사용하여 측정된 RIRs(Room Impulse Responses)에서 계산되었다[25]. 좌측 라우드스피커 및 우측 라우드스피커는 (0.3, 1.6, 0.7) m 및 (0.3, 0.8, 0.7) m에 포지셔닝되었고, 라우드스피커들 사이의 거리는 0.8 m이다. 마이크로폰은 라우드스피커들을 연결하는 중간 지점에서 2.5 m 떨어진 (2.8, 1.2, 1.05) m에 포지셔닝되었다. 시스템은 회의실에 포지셔닝된 큰 회의 테이블로 인해 약간 회의실 코너를 향해 배치되었다.
입력 신호들
백색 잡음, 스피치, 및 음악을 포함하는 다양한 스테레오 입력 신호들과, 이전 섹션에 제시된 1/2-옥타브 필터들에 대한 분석이 제공된다. 3 개의 상이한 20-초 지속기간 스테레오 오디오 신호가 입력 신호들로서 사용되었다:
1. 백색 (균일한) 잡음,
2. 재즈 음악([26]에서 취해짐),
3. 팝 음악([27]에서 취해짐), 및
4. 스피치([28]에서 취해짐).
방법들
2 개의 채널의 RTF들은 하기와 같이 측정되었다. 각각의 라우드스피커(별도)는 20-초의 백색-잡음 신호를 재생하였다. 라우드스피커들의 입력 신호와 함께 마이크로폰에 의해 기록된 신호는 컴퓨터에 의해 기록되었다. 이어서, 2 개의 라우드스피커에서 마이크로폰 포지션까지의 RTF들은 이러한 신호들과 MATLAB의 tfestimate 함수를 사용하여, 1-초 지속기간 윈도우와 2의 중첩 팩터를 사용하여 계산되었다. 각각의 전달 함수에 대해, 대응하는 RIR은 역 DFT를 사용하여 계산되었고, 각각 좌측 및 우측 채널에 대해 가 표시된다. 사운드 카드를 포함한 모든 하드웨어 구성요소로 인한 시스템 버퍼, 또는 시간 지연이 보상되었다.
제안된 방법을 사용하여 추정을 조사하기 위해, 각각 식 (19) 및 식 (20)에서와 같이 신호들()은 측정된 RTF들 및 이전 섹션에서 제시된 필터들을 사용하여 생성된 교정 신호들을 사용하여 컴퓨터 시뮬레이션에서 생성되었다. 잡음은 0-평균 가우스 분포를 사용하여 생성되었고 측정 잡음을 모델링하기 위해 출력 신호들에 추가되었다. 잡음의 분산은 40 dB의 평균 신호-대-잡음비(SNR)를 생성하기 위해 주파수에 걸쳐 동일하게 설정되었다. , , , 및 은 1-초 지속기간 윈도우 및 2의 중첩 팩터를 갖는 MATLAB의 tfestimate 함수를 사용하여 식 (21)에서와 같이 둘 모두의 세트들에 대해 계산되었다. 이어서, 추정된 좌측 및 우측 RTF들()은 두 번 추정되었다. 첫째, 식 (23) 및 식 (24)에서와 같이, 는 세트 1에 대해서만 추정되었다. 이어서, 는 둘 모두의 세트의 의 점별 최소치를 이용하는 1/2-옥타브 FIR 필터들을 사용하는 구현을 사용하여 둘 모두의 세트에 대해 추정되었다(도 5 참조).
주파수 종속 오류는 각각 좌측 채널 및 우측 채널에 대해 로서 정의되었다. 정규화된 오류는 각각 2 개의 채널에 대해 로서 계산되었고, RTF 크기들이 낮은 주파수들에서 악조건이 발생하지 않도록 1/3 옥타브들에서 평균화되었다. 총 오류는 각각 좌측 및 우측 라우드스피커에 대해 로서 계산되었고, 여기서 는 2-놈(norm)을 나타낸다.
결과들
도 6은 좌측 채널에 대해 측정된 RIR()을 도시한다. 도 7은 좌측 채널()에 대해 측정된 RTF를 도시한다.
도 8은 측정된 RTF와 추정된 RTF 간의 차이를 나타내는 세트 1만을 사용하여 추정된 좌측 채널에 대한 주파수 종속 오류()를 예시한다. 차이 신호는 를 구성하는 데 사용된 필터들의 통과 대역과 정지 대역 사이의 전이 근처 주파수들에서 큰 오류를 도시한다. 우측 채널 RTF 및 나머지 입력 신호들에 대해 생성된 교정 신호들에 대해 유사한 결과들이 획득된다.
도 9는 둘 모두의 세트를 사용하여 측정된 RTF와 추정된 RTF 간의 차이를 도시한다. 이 경우 차이 신호는 주파수 대역들 간의 전이를 포함하여 대부분의 주파수들에서 측정된 RTF보다 20 dB 더 낮다.
도 10은 청취 테스트에 사용된 모든 입력 신호에 대해 1/3 옥타브들에서 평균화된 정규화된 오류를 도시한다. 여기서, 이러한 예들의 최대 오류는 -15 dB 미만이지만, 통상적으로 상당히 더 낮다.
모든 입력 신호에 대한 좌측 채널에 대한 총 추정 오류가 표 2에 제시된다.
본 발명에서 제안된 방법을 이용하여 획득된 주파수-종속 오류들과 총 오류들이 상당히 낮음을 알 수 있다.
청취 테스트
스피치 및 음악 입력 신호들을 갖는 시스템 라우드스피커들을 사용하여 재생될 때 교정 신호들의 지각적-투명성을 추정하기 위해 몇 가지 청취 테스트가 수행되었다. 청취 테스트들은 앞에서 설명된 동일한 방에서 수행되었지만, 좌측 라우드스피커 및 우측 라우드스피커는 (3.2, 6.1, 0.7) m 및 (4, 6.1, 0.7) m에 포지셔닝되고(라우드스피커들 간에 0.8 m의 동일한 거리를 유지함), 청취자들은 (3.6, 3.93, 0.7) m에 포지셔닝되었고, 이는 라우드스피커 중간 지점의 축에서 2.17 m이다.
청취 테스트들은 제안된 방법의 지각적-투명성을 추정하고 단일 라우드스피커로부터의 신호 재생에 대한 기준 해결책의 성능과 성능을 비교하기 위해 설계되었다. 이를 위해, 3 개의 시스템이 고려된다:
● 참조
원래 스테레오 오디오 신호들의 재생,
● 테스트
개발된 방법을 적용한 후 신호들의 재생, 즉 교정 신호들에 대한 재생, 및
● 앵커
좌측 라우드스피커만으로부터의 재생.
표 3에 제시된 바와 같이, 5-초 지속시간의 3 개의 오디오 신호를 이용하고 신호들 사이에 1.5-초의 일시 정지로 재생되는 ABX 비교-기반 테스트가 수행되었다[29].
표 3에서, 신호 X는 라인들 1-2의 시퀀스들에 대해 동일한 확률로 참조 또는 테스트, 또는 라인들 3-4의 시퀀스들에 대한 참조 또는 앵커이다. 라인들 1-2는, 테스트 시스템이 참조 시스템에 비해 지각적으로-투명한지를 조사하는 역할을 하고, 유사하게, 라인들 3-4는, 앵커 시스템이 참조 시스템에 비해 지각적으로-투명한지를 조사하는 역할을 한다. 이용된 신호 유형들은 위에서 설명된 실험 시스템에 대한 RTF 추정(제안된 방법 이용)의 분석(위에서 설명됨)에서 정의된 스피치 및 음악 입력 신호들이었다. 동일한 오디오 자료의 상이한 세그먼트들은 신호들 A, B 및 X를 생성하는 데 사용되었고 각각의 테스트에서, ABX 시퀀스는 한 번만 재생되었다.
도 11, 도 12, 및 도 13은 청취 테스트 후, 재즈 음악, 팝 음악, 및 스피치에 대한 테스트 및 앵커 시스템들의 평균 성공률을 도시한다. 도 14는 청취 테스트 후 모든 신호 유형에 대한 평균인 전체 성공률을 도시한다. 50 %의 성공률은, 동등 확률 추측의 평균 성공률에 대응하기 때문에 지각적으로-투명한 것으로 해석된다. 100 %의 성공률은 완전히 불투명한 것으로 해석되고, 75 % 성공률은 부분적으로-투명한 것으로 해석된다. 결과들은, 개발된 방법이 재즈 음악 오디오 기록에 대해 지각적으로-투명하고 팝 음악 및 스피치에서는 부분적으로 지각적으로-투명하다는 것을 도시한다. 다른 한편, 앵커 시스템, 또는 기준 해결책은 모든 입력 신호에 대해 완전히 지각적으로-투명하지 않은 것에 매우 가깝다.
제안된 방법은 (2 개가 아니라) L 개의 대응하는 오디오 채널에 대해 L 개의 라우드스피커를 사용하는 다중-채널 시스템에 대한 투명한 RTF 추정을 수행하도록 적응될 수 있다. 이 경우, 스펙트럼 분할은 필터 뱅크 및 상보적 필터 뱅크를 사용하여 수행되어, 이러한 다중 채널의 일부 또는 전체 간의 주파수 분리를 획득한다(채널들보다 더 적은 필터 뱅크들을 사용하는 것이 가능하다. 예를 들어 L-1 개의 채널의 나머지에서 하나의 채널만을 분리하는 것이 원해지는 경우, 이 경우, 2 개의 필터 뱅크가 충분할 것이다). 값들이 0과 샘플링 주파수 절반() 사이의 범위로 제한된 개의 중심 주파수들()이 선택되고, 각각의 중심 주파수에 대해, 대응하는 주파수 대역()이 정의된다. 대응하는 필터()는 각각의 중심 주파수 및 주파수 대역에 대해 구성되고 필터는 미리 결정된 중심 주파수들에 대한 필터들의 합산으로서 각각의 라우드스피커에 대해 구성된다. 이어서, 다중 채널들에 걸쳐 상관되지 않는 교정 신호들은 원래 오디오 신호들 및 구성된 필터들을 사용하여 생성된다. 이러한 교정 신호들은 복수의 라우드스피커에 의해 재생되고 마이크로폰에 의해 기록된다. 기록된 재생된 교정 신호들은 다중-채널 RTF를 동시에 추정하는 데 사용된다.
위의 예들 및 설명은 물론 예시의 목적으로만 제공되었으며, 어떤 식으로든 본 발명을 제한하도록 의도되지 않는다. 통상의 기술자에 의해 이해될 바와 같이, 본 발명은 모두 본 발명의 범위를 초과하지 않고, 인터넷, 셀룰러 네트워크 또는 임의의 다른 무선 데이터 네트워크를 포함하여 위에서 설명된 것들 중 하나 초과의 기법을 이용하여 매우 다양한 방식으로 수행될 수 있다.

Claims (10)

  1. 낮은 추정 오류들을 갖는 2-채널 시스템을 위해 지각적으로-투명한 RTF 추정을 수행하는 방법으로서,
    a) 방에 포지셔닝된 좌측 채널 및 우측 채널에 대한 2 개의 라우드스피커 및 상기 방에 청취자 근처에 포지셔닝된 단일 마이크로폰을 제공하는 단계;
    b) 상기 2 개의 채널 사이의 주파수의 분리를 획득하기 위해,
    b.1) 0과 샘플링 주파수 절반() 사이의 범위로 제한된 값들을 갖는 개의 중심 주파수들()을 선택하고,
    b.2) 각각의 중심 주파수에 대해, 대응하는 주파수 대역()을 정의하고,
    b.3) 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()를 구성하고,
    b.4) 짝수 중심 주파수들에 대한 필터들의 합산으로서 좌측 라우드스피커용 필터를 구성하고,
    b.5) 홀수 중심 주파수들에 대한 필터들의 합산으로서 우측 라우드스피커용 필터를 구성함으로써,
    필터 뱅크(bank) 및 상보적 필터 뱅크를 사용하여 스펙트럼 분할을 수행하는 단계;
    c) 원래 오디오 신호들 및 구성된 필터들을 사용하여 상기 2 개의 채널에 걸쳐 상관되지 않는 교정 신호들을 생성하는 단계;
    d) 상기 원래 오디오 신호들의 재생 대신, 상기 라우드스피커들에 의해 상기 교정 신호들을 재생하는 단계;
    e) 상기 마이크로폰에 의해 상기 교정 신호들의 재생을 기록하는 단계; 및
    f) 기록된 재생된 교정 신호들을 사용하여 2-채널 RTF를 동시에 추정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 2 개의 필터 뱅크는 상이한 동작 시간들에서 이용되는, 방법.
  3. 제1항에 있어서, 상보적 세트의 중심 주파수들은 하나의 세트의 상기 중심 주파수들에 비해 주파수가 시프트되는, 방법.
  4. 제1항에 있어서, 추정된 RTF들은 각각의 세트로부터의 추정들을 병합하여 구성되는, 방법.
  5. 제4항에 있어서, 다수의 세트들의 RTF 추정들을 병합하는 것은 고정 매핑에 의해 수행되는, 방법.
  6. 제4항에 있어서, 다수의 세트들의 RTF 추정들을 병합하는 것은 의 점별 최소치(pointwise minimum)를 사용하여 수행되는, 방법.
  7. 제3항에 있어서, 상기 주파수의 시프트는 1/4 옥타브(octave)인, 방법.
  8. 제1항에 있어서, 상기 RTF 추정들은 음향 환경의 변화들을 자동으로 보상하기 위해, 미리 결정된 시간마다 주기적으로 수행되는, 방법.
  9. 낮은 추정 오류들을 갖는 다중-채널 시스템을 위해 투명한 RTF 추정을 수행하는 방법으로서,
    a) 방에 포지셔닝된 L 개의 채널에 대한 복수의 라우드스피커 및 상기 방에 청취자 근처에 포지셔닝된 단일 마이크로폰을 제공하는 단계;
    b) 상기 다중 채널들 사이의 주파수의 분리를 획득하기 위해,
    b.1) 0과 샘플링 주파수 절반() 사이의 범위로 제한된 값들을 갖는 개의 중심 주파수들()을 선택하고,
    b.2) 각각의 중심 주파수에 대해, 대응하는 주파수 대역()을 정의하고,
    b.3) 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()를 구성하고,
    b.4) 미리 결정된 중심 주파수들에 대한 필터들의 합산으로서 각각의 라우드스피커용 필터를 구성함으로써,
    필터 뱅크 및 L-1 개의 상보적 필터 뱅크를 사용하여 스펙트럼 분할을 수행하는 단계;
    c) 원래 오디오 신호들 및 구성된 필터들을 사용하여 상기 다중 채널들에 걸쳐 상관되지 않는 교정 신호들을 생성하는 단계;
    d) 상기 원래 오디오 신호들의 재생 대신, 상기 라우드스피커들에 의해 상기 교정 신호들을 재생하는 단계;
    e) 상기 마이크로폰에 의해 상기 교정 신호들의 재생을 기록하는 단계; 및
    f) 기록된 재생된 교정 신호들을 사용하여 다중-채널 RTF를 동시에 추정하는 단계
    를 포함하는, 방법.
  10. 낮은 추정 오류들을 갖는 다중-채널 시스템을 위해 투명한 RTF 추정을 수행하는 시스템으로서,
    a) 방에 포지셔닝된 L 개의 채널에 대한 복수의 라우드스피커 및 상기 방에 청취자 근처에 포지셔닝된 단일 마이크로폰;
    b) 스펙트럼 분할을 수행하기 위한 필터 뱅크 및 상보적 필터 뱅크들;
    c) 상기 다중 채널들 사이의 주파수의 분리를 위한,
    c.1) 0과 샘플링 주파수 절반() 사이의 범위로 제한된 값들을 갖는 개의 중심 주파수들()을 선택하고,
    c.2) 각각의 중심 주파수에 대해, 대응하는 주파수 대역()을 정의하고,
    c.3) 각각의 중심 주파수 및 주파수 대역에 대해, 대응하는 필터()를 구성하고,
    c.4) 미리 결정된 중심 주파수들에 대한 필터들의 합산으로서 각각의 라우드스피커용 필터를 구성하고,
    c.5) 원래 오디오 신호들 및 구성된 필터들을 사용하여 상기 다중 채널들에 걸쳐 상관되지 않는 교정 신호들을 생성하도록
    적응된 프로세서;
    d) 상기 원래 오디오 신호들의 재생 대신, 상기 라우드스피커들에 의해 상기 교정 신호들을 재생하기 위한 플레이어;
    e) 상기 마이크로폰에 의해 상기 교정 신호들의 재생을 기록하기 위한 레코더; 및
    f) 기록된 재생된 교정 신호들을 사용하여 다중-채널 RTF를 동시에 추정하기 위한 적어도 하나의 프로세서
    를 포함하는, 시스템.
KR1020207037572A 2018-05-28 2019-05-27 사운드 교정을 위한 2-채널 공간 전달 함수의 지각적으로-투명한 추정 KR102573148B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862677078P 2018-05-28 2018-05-28
US62/677,078 2018-05-28
PCT/IL2019/050602 WO2019229746A1 (en) 2018-05-28 2019-05-27 Perceptually-transparent estimation of two-channel room transfer function for sound calibration

Publications (2)

Publication Number Publication Date
KR20210021320A KR20210021320A (ko) 2021-02-25
KR102573148B1 true KR102573148B1 (ko) 2023-08-30

Family

ID=68698663

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207037572A KR102573148B1 (ko) 2018-05-28 2019-05-27 사운드 교정을 위한 2-채널 공간 전달 함수의 지각적으로-투명한 추정

Country Status (3)

Country Link
US (1) US11051123B1 (ko)
KR (1) KR102573148B1 (ko)
WO (1) WO2019229746A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238118A1 (en) 2014-08-21 2017-08-17 Dirac Research Ab Personal multichannel audio controller design

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031268B2 (en) * 2011-05-09 2015-05-12 Dts, Inc. Room characterization and correction for multi-channel audio
US10448187B2 (en) * 2015-10-08 2019-10-15 Bang & Olufsen A/S Active room compensation in loudspeaker system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170238118A1 (en) 2014-08-21 2017-08-17 Dirac Research Ab Personal multichannel audio controller design

Also Published As

Publication number Publication date
US20210219090A1 (en) 2021-07-15
KR20210021320A (ko) 2021-02-25
US11051123B1 (en) 2021-06-29
WO2019229746A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
KR102125443B1 (ko) 고도 렌더링을 실현하는 필터링된 오디오 신호를 생성하기 위한 장치 및 방법
US10891931B2 (en) Single-channel, binaural and multi-channel dereverberation
Postma et al. Perceptive and objective evaluation of calibrated room acoustic simulation auralizations
JP6196320B2 (ja) 複数の瞬間到来方向推定を用いるインフォ−ムド空間フィルタリングのフィルタおよび方法
JP5406956B2 (ja) オーディオ入力信号の反響コンテンツを抽出および変更するためのシステム
US10068586B2 (en) Binaurally integrated cross-correlation auto-correlation mechanism
US8682006B1 (en) Noise suppression based on null coherence
KR101989062B1 (ko) 오디오 신호를 향상시키기 위한 장치 및 방법 및 음향 향상 시스템
JP2009517936A (ja) 時変性の指向特性を有する音源を録音および再生する方法
JP6038312B2 (ja) ラウドスピーカ・エンクロージャ・マイクロホンシステム記述を提供する装置及び方法
JP2021100259A (ja) アクティブモニタリングヘッドホンとその較正方法
JP2019083570A (ja) クロストーク処理の方法
CN111213359A (zh) 回声消除器和用于回声消除器的方法
EP2368375A1 (en) Converter and method for converting an audio signal
US9848274B2 (en) Sound spatialization with room effect
KR102573148B1 (ko) 사운드 교정을 위한 2-채널 공간 전달 함수의 지각적으로-투명한 추정
Vidal et al. HRTF measurements of five dummy heads at two distances
Shi et al. Subband dereverberation algorithm for noisy environments
Jan et al. Frequency dependent statistical model for the suppression of late reverberations
Morgenstern et al. Perceptually-transparent online estimation of two-channel room transfer function for sound calibration
Kolotzek et al. Fast processing explains the effect of sound reflection on binaural unmasking
CN109863764B (zh) 控制将通过电声音响系统记录和/或再现的声信号的方法和装置
JP5249633B2 (ja) チャネル間特性差機能付き収音再生装置とその方法
Hussain et al. Novel sub-band adaptive systems incorporating Wiener filtering for binaural speech enhancement
Romoli et al. Evaluation of a channel decorrelation approach for stereo acoustic echo cancellation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant