KR20150008925A - 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치 - Google Patents

이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20150008925A
KR20150008925A KR1020147036443A KR20147036443A KR20150008925A KR 20150008925 A KR20150008925 A KR 20150008925A KR 1020147036443 A KR1020147036443 A KR 1020147036443A KR 20147036443 A KR20147036443 A KR 20147036443A KR 20150008925 A KR20150008925 A KR 20150008925A
Authority
KR
South Korea
Prior art keywords
input signal
reverberation
microphone input
frequency
microphone
Prior art date
Application number
KR1020147036443A
Other languages
English (en)
Other versions
KR101502297B1 (ko
Inventor
샤샤 로우
보 리
치우천 황
Original Assignee
고어텍 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고어텍 인크 filed Critical 고어텍 인크
Publication of KR20150008925A publication Critical patent/KR20150008925A/ko
Application granted granted Critical
Publication of KR101502297B1 publication Critical patent/KR101502297B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/009—Signal processing in [PA] systems to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

본 발명은 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치를 개시하고 있다. 이 방법은 기본 마이크로폰의 입력 신호 x2(t) 및 이차 마이크로폰의 입력 신호 x1(t)에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하고; h(t)에 따라 잔향의 강도를 판정하고 h(t)의 꼬리부 ht(t)를 취함으로써 이득 신호의 조절 인자 β를 산출하며; x1(t)와 hr(t)의 컨볼루션으로 x2(t)의 늦은 잔향 추정 신호
Figure pct00067
를 얻고; x2(t)의 주파수 스펙트럼, β 및
Figure pct00068
의 주파수 스펙트럼에 따라 이득 함수를 산출하며, x2(t)의 주파수 스펙트럼을 이득 함수에 승산함으로써 x2(t)의 잔향 제거된 주파수 스펙트럼를 얻고; 주파수-시간 변환에 의해 x2(t)의 잔향 제거된 시간 영역 신호를 얻는 단계를 구비한다. 따라서, 늦은 잔향은 기본 마이크로폰의 입력 신호로부터 제거될 수 있고, 이른 잔향은 유지될 수 있으며, 처리된 음성은 얇아지도록 야기되지 않고, 음성 품질은 향상된다. 한편, 스펙트럼 감산 강도는 잔향이 약하고 음성 명료도가 원래 높은 상황에서 음성이 손상되지 않는 것을 보장하기 위해 잔향의 강도에 따라 조정된다. 직접음의 DOA의 정확한 추정은 필요하지 않으므로, 마이크로폰이 높은 일관성을 갖도록 하는 것을 필요로 하지 않는다.

Description

이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치 {VOICE REVERBERATION REDUCTION METHOD AND DEVICE BASED ON DUAL MICROPHONES}
본 발명은 음성 향상의 기술 분야에 관한 것으로, 특히 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치에 관한 것이다.
음향 신호(sound signal)의 실내 전파의 과정 중에는, 벽이나 바닥 등과 같은 딱딱한 인터페이스(interface: 경계면)에 의해 야기되는 음향 반사로 인해, 마이크로폰에 도달하는 음향은 음원(sound source)으로부터 직접 직접음(direct sound: 현장음)에 더하여 하나 이상의 반사를 통한 음향 신호를 더 포함한다. 이들 비직접음은 잔향 신호(reverberation signal: 반향 신호)를 구성한다. 하나 또는 소수의 반사를 통한 음향 신호는 음성을 강화할 수 있는 이른 잔향 신호를 구성하는 이른 반사 신호라고 한다. 다수의 반사를 통한 음향 신호는 늦은 잔향 신호를 구성하는 늦은 반사 신호라고 한다. 강한 늦은 잔향은 음성의 명료도를 떨어뜨린다.
일부의 핸즈프리 음성 통신에서는, 발신자가 마이크로폰으로부터 멀리 떨어져 있는 경우, 음성의 명료도가 실내 잔향으로 인해 감소되고, 그에 따라 나쁜 통화 품질로 이어진다. 따라서, 잔향을 저감하고 음성 명료도를 개선하기 위해 몇 가지 기술이 필요하게 된다. 마이크로폰에 의해 수신된 신호는 직접음 신호와 잔향 신호를 포함한다. 상기에 따르면, 잔향은 이른 잔향(early reverberation)과 늦은 잔향(late reverberation)을 포함하고 있다. 이른 잔향은 일반적으로 음성을 강화시킬 수 있고, 반면에 음성 명료도를 저하시키는 것은 주로 늦은 잔향이다. 따라서, 명료도를 강화시키기 위한 키(key: 핵심)는 늦은 잔향 신호를 저감하는 것이다.
각종의 잔향 저감 기술에서는, 이중 마이크로폰에 기초를 둔 스펙트럼 감산(spectral subtraction)에 의해 잔향을 제거하기 위한 방법이 더 많은 관심을 끌고 있다. 이중 마이크로폰에 기초를 둔 스펙트럼 감산에 의해 잔향을 제거하기 위한 기존의 방법에서는, 두 채널의 신호가 적응형 빔포밍(adaptive beamforming: GSC) 구조를 이용하여 얻어지는데, 여기서 제1 채널의 신호는 지연 합 빔포머(delay-sum beamformer)의 출력이고, 제2 채널의 신호는 차단 행렬(blocking matrix)의 출력이다. 제1 채널의 신호의 잔향은 적응형 필터를 매개로 두 채널의 신호의 에너지 포락선(energy envelope)에 의해 추정되고, 그 다음에 잔향은 스펙트럼 감산 방법을 이용하여 제거된다. 이 방법은 몇 가지 단점을 가진다. 즉,
1) 이른 잔향을 제거함으로써 처리된 음향이 얇아진다는 점;
2) 잔향의 강도를 판정하지 않고, 약한 잔향 및 더 높은 원래 음성 명료도의 경우에 음성 품질을 손상시킬 수 있는 다른 잔향 경우에도 동일한 스펙트럼 감산 처리를 사용한다는 점; 및
3) 직접음을 분리하기 위해 직접음의 도달의 방향의 정확한 추정을 필요로 하고, 따라서 마이크로폰의 높은 일관성 및 음향 설계에 대한 엄격한 제한을 필요로 한다는 점.
상기한 문제점을 감안하여, 상기한 문제점을 극복하거나 또는 적어도 부분적으로 극복하기 위해, 본 발명의 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치가 제공된다.
본 발명의 하나의 국면(aspect)에 따르면, 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법이 제공되는데, 이 방법은:
기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호를 수신하는 단계를 구비하되,
기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하고;
전달 함수 h(t)의 꼬리부 hr(t)를 획득하고(얻고), 전달 함수 h(t)에 따라 잔향의 강도를 판정하며, 이득 함수의 조절 인자 β를 산출하고;
이차 마이크로폰 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻으며;
기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하고, 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호를 시간 영역으로부터 주파수 영역으로 변환하며;
기본 마이크로폰 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 β 및 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고;
기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 이용하며;
기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고;
기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산한 후에 기본 마이크로폰 입력 신호의 잔향 제거된 연속 신호를 출력하는 것과 같이 프레임 단위로 처리된다.
본 발명의 또 다른 국면에 따르면, 기본 마이크로폰 및 이차 마이크로폰에 의해 수신된 신호를 프레임 단위로 처리하는, 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치가 제공되는데, 이 장치는 잔향 스펙트럼 추정부 및 스펙트럼 감산부를 구비하되,
잔향 스펙트럼 추정부는, 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호를 수신하고; 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하고, 전달 함수 h(t)의 꼬리부 hr(t)를 획득하며, 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하여 이것을 스펙트럼 감산부로 출력하며, 이차 마이크로폰 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻고, 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼을 얻어 이것을 스펙트럼 감산부로 출력하기 위해 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하기 위한 것이고;
스펙트럼 감산부는, 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼뿐만 아니라 기본 마이크로폰 입력 신호 및 잔향 스펙트럼 추정부에 의해 출력되는 이득 함수의 조절 인자 β를 수신하고, 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호를 시간 영역으로부터 주파수 영역으로 변환하며, 기본 마이크로폰 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 β 및 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고, 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 이용하며, 기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고, 기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산한 후에 기본 마이크로폰 입력 신호의 잔향 제거된 연속 신호를 출력하기 위한 것이다.
상기한 것에 따르면, 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하고, 전달 함수 h(t)의 꼬리부 hr(t)를 취하며, 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하며; 이차 마이크로폰 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻고, 기본 마이크로폰 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 및 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하며, 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 이용하는 것, 즉 스펙트럼 감산 방법에 의해 기본 마이크로폰 입력 신호의 주파수 스펙트럼으로부터 기본 마이크로폰 입력 신호의 늦은 잔향 추정 스펙트럼을 감산하는 것에 의해, 본 발명은 처리되는 음향이 얇아지는 것을 초래하지 않고 그 이른 잔향을 유지하면서 기본 마이크로폰 입력 신호로부터 그 늦은 잔향을 효과적으로 제거할 수 있고, 그에 따라 음성 품질을 향상시킨다. 한편, 늦은 잔향의 추정에 있어서, 스펙트럼 감산의 강도는 잔향의 강도에 따라 조정되고, 더 적거나 없는 스펙트럼 감산은 잔향이 약할 때 행해지며, 잔향이 약하고 음성 명료도가 원래 높은 상황에서 음성이 손상되지 않는 것을 보장한다. 게다가, 이 기법(scheme)은 직접음의 DOA(Direction Of Arrival: 도달의 방향)의 정확한 추정을 필요로 하지 않으므로, 마이크로폰이 높은 일관성을 갖도록 하는 것을 필요로 하지 않고, 음향 설계가 엄격하게 제한되지 않는다.
도 1은 본 발명의 실시예에 있어서 여기신호로부터 마이크로폰 입력 신호로의 전달 함수를 나타내는 개략도이다.
도 2는 본 발명의 실시예에 있어서 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수를 나타내는 개략도이다.
도 3은 본 발명의 실시예에 있어서 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법을 나타내는 개략 흐름도이다.
도 4는 본 발명의 다른 실시예에서 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법을 나타내는 전체의 개략 흐름도이다.
도 5a는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크로폰까지의 거리가 0.5m일 때 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수를 나타내는 개략도이다.
도 5b는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크로폰까지의 거리가 1m일 때 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수를 나타내는 개략도이다.
도 5c는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크로폰까지의 거리가 2m일 때 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수를 나타내는 개략도이다.
도 5d는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크로폰까지의 거리가 4m일 때 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수를 나타내는 개략도이다.
도 6a는 본 발명의 실시예에 있어서 기본 마이크로폰과 이차 마이크로폰 사이의 거리가 6㎝일 때 주파수 보상 필터의 진폭-주파수 특성을 나타내는 개략도이다.
도 6b는 본 발명의 실시예에 있어서 기본 마이크로폰과 이차 마이크로폰 사이의 거리가 18㎝일 때 주파수 보상 필터의 진폭-주파수 특성을 나타내는 개략도이다.
도 7a는 본 발명의 실시예에 있어서 기본 마이크로폰 입력 신호의 시간 영역을 나타내는 도면이다.
도 7b는 본 발명의 실시예에 있어서 잔향의 제거 후의 기본 마이크로폰의 시간 영역을 나타내는 도면이다.
도 7c는 본 발명의 실시예에 있어서 기본 마이크로폰 입력 신호의 음성 스펙트럼을 나타내는 도면이다.
도 7d는 본 발명의 실시예에 있어서 잔향의 제거 후의 기본 마이크로폰의 음성 스펙트럼을 나타내는 도면이다.
도 8은 본 발명의 실시예에 있어서 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치의 구성 및 구조를 나타내는 도면이다.
도 9는 본 발명의 바람직한 실시예에 있어서 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치의 상세한 구성 및 구조와 그 입력 및 출력을 나타내는 개략도이다.
먼저, 출원 문서를 간략하게 만들기 위해, 본 출원 문서에서는 "마이크로폰(microphone)"을 "마이크(mic)"로 부르는 것을 선언하는 것이 필요하게 된다.
종래 기술의 분석에 의하면, 잔향을 더 잘 저감하기 위하여, 직접음 및 이른 잔향은 늦은 잔향을 제거하는 동안 보호할 필요가 있기 때문에, 늦은 잔향의 추정 및 잔향 강도의 판정이 정확하고 안정하게 되는 것이 필요하다.
본 발명은, 잔향과 이중 마이크 사이의 공간 전달 함수 사이의 근사적인 관계의 충분한 이용을 가능하게 하며, 늦은 잔향을 추정하고 이중 마이크 사이의 공간 전달 함수를 이용하여 잔향의 강도를 판정하는 이중 마이크에 기초해서 잔향을 제거하는 기법(scheme)을 제안하되, 그에 따라 명료도를 충족시키면서 다양한 잔향 상황에서의 스펙트럼 감산 모듈의 협력으로 거의 최적의 음성 품질을 얻을 수 있다. 게다가, 직접음의 분리도 아니고 DOA 추정도 아닌 것이 본 발명의 기법에서 요구되기 때문에, 마이크의 일관성을 필요로 하지 않는바, 그에 따라 음향 설계가 완화된다.
본 발명의 기본 원리는, 이중 마이크 사이의 전달 함수의 꼬리부를 통해 늦은 잔향을 추정하고, 그에 따라서 직접음 및 이른 잔향이 스펙트럼 감산에서 더 잘 유지될 수 있도록 하기 위한 것이다. 게다가, 늦은 잔향을 추정할 때, 이중 마이크 사이의 전달 함수의 머리부(head section)와 꼬리부(tail section) 사이의 에너지 차는 또한 스펙트럼 감산의 강도를 조정하도록 실내에서 잔향의 정도를 추정하기 위해 사용되고; 잔향이 약할 때, 음성 품질을 보호하기 위해 더 적거나 없는 스펙트럼 감산이 행해진다.
본 발명의 기술적인 기법을 더 명확하게 하기 위해, 본 발명의 기술적인 원리가 이하에서 분석된다.
이른 잔향 신호는 음성을 강화할 수 있는 반면에, 늦은 잔향은 음성 명료도를 저하시킨다. 도 1은 본 발명의 실시예에 있어서 여기 신호로부터 마이크 입력 신호로의 전달 함수를 나타내는 개략도이다. 도 1을 참조하면, 여기 신호로부터 마이크 입력 신호로의 전달 함수에서, 최대 피크값은 직접음에 대응한다. 일반적으로, 최대 피크로부터 거리를 갖는 점(point)은 이른 반사와 늦은 반사 사이의 경계점으로서 간주되고, 최대 피크로부터 경계점까지의 부분은 이른 잔향에 대응하며, 경계점의 이후의 부분은 늦은 잔향에 대응한다. 도 1에서, 경계점은 50㎳이다.
여기 신호가 s(t)로서 기록되고, 마이크 입력 신호가 x(t)로서 기록되며, 여기 신호로부터 마이크 입력 신호로의 전달 함수가 tf(t)로서 기록되고, 직접음과 이른 잔향 부분에 대응하는 전달 함수가 tfd(t)로서 기록되며, 늦은 잔향 부분에 대응하는 전달 함수가 tfr(t)로서 기록되면, 마이크 입력 신호는 여기 신호와 전달 함수의 컨볼루션(convolution), 즉
Figure pct00001
로서 표현될 수 있고, 마이크 입력 신호의 직접음과 이른 잔향 성분은
Figure pct00002
로서 표현될 수 있으며, 마이크 입력 신호의 늦은 잔향 성분은
Figure pct00003
로서 표현될 수 있다. 따라서, 마이크 입력 신호는 또한
Figure pct00004
로서 표현될 수 있다.
음성 명료도는 C50을 이용하여 나타낼 수 있고, 이것은 다음과 같이 산출된다:
Figure pct00005
(1)
여기서, w(t)는 여기 신호로부터 마이크 입력 신호로의 전달 함수이다. 0∼50㎳의 전달 함수는 직접음과 이른 잔향 부분에 대응하고, 50㎳ 후의 전달 함수는 늦은 잔향 부분에 대응한다. 잔향이 강해질수록, C50의 값은 더 작아진다. 잔향의 제거 시의 C50의 향상은 잔향의 제거의 효과를 반영할 수 있다. 따라서, C50은 잔향의 제거를 객관적으로 평가하기 위한 지표(indicator)로서 사용될 수 있다.
본 발명에 있어서, 이중 마이크(기본 마이크 및 이차 마이크)에 기초를 둔 잔향 추정에 대한 원리는 다음과 같다. 즉, 도 2에 나타낸 바와 같이, 기본 마이크의 입력 신호는 x2(t)로서 기록되고, 이차 마이크의 입력 신호는 x1(t)로서 기록되며, 이차 마이크로부터 기본 마이크로의 전달 함수는 h(t)로서 기록된다. 도 2는 본 발명의 실시예에 있어서 이차 마이크로부터 기본 마이크로의 전달 함수를 나타내는 개략도이다.
기본 마이크의 입력 신호 x2(t)는 이차 마이크의 입력 신호 x1(t)와 전달 함수 h(t)의 컨볼루션과 같다:
Figure pct00006
(2)
h(t)는 머리부와 꼬리부로 나눌 수 있다:
Figure pct00007
(3)
여기서 hd(t)는 h(t)의 머리부를 나타내고, hr(t)는 h(t)의 꼬리부를 나타낸다.
h(t)의 꼬리부 hr(t)는 신호의 다수의 공간 반사를 반영하고, 그에 따라 h(t)의 꼬리부 hr(t)와 이차 마이크의 입력 신호 x1(t)의 컨볼루션 신호
Figure pct00008
는 기본 마이크의 늦은 잔향 성분과 유사하며, 기본 마이크의 늦은 잔향 성분의 추정 신호로서 사용될 수 있다. 점은 hd(t)와 hr(t) 사이의 경계점으로서 h(t) 상에 선택되고, 경계점 전의 h(t)의 값은 0으로 설정되며, hr(t)가 얻어질 수 있다. 경계점으로부터 h(t)의 최대 피크까지의 거리의 범위는 30㎳∼80㎳(실증적인 값)로 설정될 수 있다. 실증에 따르면, 경계점으로부터 h(t)의 최대 피크까지의 거리가 50㎳보다 크거나 같으면, 기본 마이크의 늦은 잔향 추정 신호
Figure pct00009
는 직접음과 음성에 대한 손상을 줄일 수 있는 이른 반사 성분의 잔류물(residual)을 전혀 가지지 않는다. 따라서, 본 발명의 실시예에서는 50㎳는 설명을 위한 예의 경계점으로서 취해진다.
본 발명의 목적, 기술적인 기법 및 장점을 보다 명확하게 하기 위해, 본 발명의 실시예가 도면을 참조하여 더욱 상세하게 설명된다.
도 3은 본 발명의 실시예에 있어서 이중 마이크에 기초해서 음성 잔향을 저감하기 위한 방법을 나타내는 개략 흐름도이다. 도 3에 나타낸 바와 같이, 이 방법은 주로 프레임 단위로 구체적으로 처리되는 잔향 추정의 부분과 스펙트럼 감산의 부분을 포함한다.
1.1 기본 마이크 입력 신호 x2(t) 및 이차 마이크 입력 신호 x1(t)를 수신하고, 기본 마이크 입력 신호와 이차 마이크 입력 신호에 따라 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)를 산출하며;
1.2 전달 함수 h(t)의 꼬리부 hr(t)를 획득하고;
1.3 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하며;
1.4 이차 마이크 입력 신호와 hr(t)의 컨볼루션으로 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00010
를 얻고;
1.5 기본 마이크 입력 신호의 늦은 잔향 스펙트럼
Figure pct00011
을 얻기 위해 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00012
를 시간 영역(time domain)으로부터 주파수 영역(frequency domain)으로 변환하며;
2.1 기본 마이크 입력 신호의 주파수 스펙트럼 X2를 얻기 위해 기본 마이크 입력 신호 x2(t)를 시간 영역으로부터 주파수 영역으로 변환하고;
2.2 기본 마이크 입력 신호의 주파수 스펙트럼 X2, 이득 함수의 조절 인자 β 및 기본 마이크 입력 신호의 늦은 잔향 스펙트럼
Figure pct00013
에 따라 이득 함수 G를 산출하며;
2.3 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D을 얻기 위해 이득 함수 G를 승산하도록 기본 마이크 입력 신호의 주파수 스펙트럼 X2를 이용하고;
2.4 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호 d(t)를 얻기 위해 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D를 주파수 영역으로부터 시간 영역으로 변환하며;
2.5 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산한 후에 기본 마이크 입력 신호의 잔향 제거된 연속 신호 xd(t)를 출력함.
도 3에 나타낸 방법에 있어서는, 이차 마이크로폰 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻고, 그 다음에 스펙트럼 감산 방법에 의해 기본 마이크로폰 입력 신호의 주파수 스펙트럼으로부터 기본 마이크로폰 입력 신호의 늦은 잔향 추정 스펙트럼을 감산하는 것에 의해, 그 이른 잔향을 유지하면서 늦은 잔향이 기본 마이크로폰 입력 신호로부터 효과적으로 제거될 수 있고, 그에 따라 음성 품질이 향상된다. 한편, 도 3에 나타낸 기법에서는, 늦은 잔향의 추정에 있어서, 스펙트럼 감산의 강도는 잔향의 강도에 따라 조정되고, 더 적거나 없는 스펙트럼 감산은 잔향이 약할 때 행해지며, 잔향이 약하고 음성 명료도가 원래 높은 상황에서 음성이 손상되지 않는 것을 보장한다. 게다가, 이 기법은 직접음의 DOA(Direction Of Arrival: 도달의 방향)의 정확한 추정을 필요로 하지 않으므로, 마이크로폰이 높은 일관성을 갖도록 하는 것을 필요로 하지 않고, 음향 설계가 엄격하게 제한되지 않는다.
본 발명의 일 실시예에서는, 도 3에 나타낸 기법에 기초해서, 또한 기본 마이크 입력 신호의 실제의 늦은 잔향 성분과 비교하여 기본 마이크 입력 신호의 늦은 잔향 추정 신호가 저주파수 부분의 과소평가에 문제가 있기 때문에, 그에 상응하여 늦은 잔향 추정 신호를 주파수 보상하기 위해 마이크 사이의 다른 거리에 따라 저역 통과 필터가 설계되는 것이라고 생각된다. 자세한 내용에 대해서는 도 4에 나타낸 실시예를 참조한다.
도 4는 본 발명의 다른 실시예에서 이중 마이크에 기초해서 음성 잔향을 저감하기 위한 방법을 나타내는 전체의 개략 흐름도이다. 도 4에 나타낸 바와 같이, 전체 시스템의 입력은 이차 마이크 입력 신호 x1(t) 및 기본 마이크 입력 신호 x2(t)이고, 출력은 잔향 제거된 신호 xd(t)이다. 두 부분, 즉 잔향 스펙트럼 추정 처리 및 스펙트럼 감산 처리가 포함된다. 도 3에 나타낸 방법과 비교하여, 늦은 잔향 추정 신호에 대한 주파수 보상 단계가 도 4에 추가된다(도 4에서, 늦은 잔향 추정 신호에 대한 주파수 보상 단계는 단계 1.45이고, 시간-주파수 영역 변환 단계는 단계 1.5로 표시되어 있음). 다음에는, 도 4를 참조하여 이 방법을 상세히 설명한다.
1. 잔향 스펙트럼 추정
입력: 이차 마이크의 입력 신호 x1(t), 및 기본 마이크의 입력 신호 x2(t);
출력: (스펙트럼 감산 처리의 입력으로서의) 이득 함수의 조절 인자 β, 및 (스펙트럼 감산 처리의 입력으로서의) 기본 마이크 입력 신호의 늦은 잔향 스펙트럼
Figure pct00014
;
잔향 스펙트럼 추정은 6개의 단계, 즉 1.1, 1.2, 1.3, 1.4, 1.45 및 1.5를 포함한다.
2. 스펙트럼 감산
입력: 기본 마이크의 입력 신호 x1(t), 이득 함수의 조절 인자 β(잔향 스펙트럼 추정 처리에서의 출력) 및 기본 마이크의 늦은 잔향 스펙트럼
Figure pct00015
(잔향 스펙트럼 추정 처리에서의 출력);
출력: 기본 마이크 입력 신호의 잔향 제거된 신호 xd(t)(또한 전체 시스템의 출력);
스펙트럼 감산 처리는 5개의 단계, 즉 2.1, 2.2, 2.3, 2.4 및 2.5를 포함한다.
다음에는, 잔향 스펙트럼 추정 처리 및 스펙트럼 감산 처리에서의 각 단계 및 단계들 사이의 관계에 대해 상세히 설명하기로 한다.
1. 잔향 스펙트럼 추정 처리:
1.1 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)를 산출
1.1의 입력: 이차 마이크의 입력 신호 x1(t) 및 기본 마이크의 입력 신호 x2(t).
1.1의 출력: (1.2의 입력으로서의) 이차 마이크로부터 기본 마이크로의 전달 함수 h(t).
본 발명의 일 실시예에서는, 전달 함수 H는 이차 마이크 입력 신호 x1(t)와 기본 마이크 입력 신호 x2(t)의 크로스 전력 스펙트럼 Px2x1 및 이차 마이크 입력 신호 x1(t)의 전력 스펙트럼 Px1x1을 이용하여 산출된다:
Figure pct00016
(4)
주파수 영역의 전달 함수 H는 역 푸리에 변환에 의해 전송되고, 그에 따라 시간 영역의 전달 함수 h(t)가 얻어진다.
본 발명의 다른 실시예에서는, h(t)는 적응형 필터링 방법과 같은 다른 방법에 의해 산출될 수 있는데, 이것은 상세히 설명하지 않기로 한다.
1.2 전달 함수 h(t)의 꼬리부 h r (t)를 획득
1.2의 입력: 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)(1.1의 출력).
1.2의 출력: (1.4의 입력으로서의) 이차 마이크로부터 기본 마이크로의 전달 함수의 꼬리부 hr(t).
본 발명의 실시예에서는, 이른 잔향과 늦은 잔향 사이의 경계점은 전달 함수의 시간 축으로부터 취해진다. 경계점 전의 전달 함수 h(t)의 값은 0으로 설정되고, 그 다음에 전달 함수 h(t)의 꼬리부 hr(t)가 얻어진다. 본 발명의 바람직한 실시예에서는, 점은 h(t)로부터 선택되고, 이 점으로부터 h(t)의 최대 피크까지의 거리는 50㎳로 설정되며, 이 점 전의 h(t)의 값은 0으로 설정되고 hr(t)로서 기록된다.
1.3 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출
1.3의 입력: 이차 마이크로부터 기본 마이크로의 전달 함수(1.1의 출력).
1.3의 출력: (스펙트럼 감산 처리의 입력으로서의) 이득 함수의 조절 인자 β.
잔향이 약할 때 잔향의 제거에 의해 야기되는 음성의 손상을 저감하기 위해, 단계 1.3에 있어서, 이득 함수의 조절 인자 β는 잔향의 강도를 판정함으로써 산출된다. 본 발명의 실시예에서, 이차 마이크로부터 기본 마이크로의 전달 함수의 머리부의 에너지와 꼬리부의 에너지의 비율의 대수(logarithm)가 취해지는데, 이것은 ρ로서 기록된다:
Figure pct00017
(5)
여기서 h(t)는 이차 마이크로부터 기본 마이크로의 전달 함수이며, T는 h(t)의 시간 축 상의 지정된 경계점이다. 이 경계점 T는 반드시 이른 잔향과 늦은 잔향 사이의 경계점일 필요는 없지만, 경계점 T 전의 부분은 직접음을 포함하지 않으면 안되고, 또한 이른 잔향의 일부 또는 모두를 포함할 수 있다.
도 5a는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크까지의 거리가 0.5m인 경우에 이차 마이크로부터 기본 마이크로의 전달 함수를 나타내는 개략도이다. 음원으로부터 기본 마이크까지의 거리 L = 0.5m인 경우, T의 값은 20㎳∼50㎳의 범위에 있다. 여기에서, T가 50㎳로서 취해질 때(즉, 경계점 T는 h(t)의 최대 피크까지 50㎳의 거리를 갖는 시점이다), 음성 명료도 지수 C50 = 12.3dB(데시벨), ρ = 9.4dB이다.
도 5b는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크까지의 거리가 1m인 경우에 이차 마이크로부터 기본 마이크로의 전달 함수를 나타내는 개략도이다. 음원으로부터 기본 마이크까지의 거리 L = 1m인 경우, T의 값은 20㎳∼50㎳의 범위에 있다. 여기에서, T가 50㎳로서 취해질 때(즉, 경계점 T는 h(t)의 최대 피크까지 50㎳의 거리를 갖는 시점이다), 음성 명료도 지수 C50 = 8.1dB, ρ = 6.0dB이다.
도 5c는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크까지의 거리가 2m인 경우에 이차 마이크로부터 기본 마이크로의 전달 함수를 나타내는 개략도이다. 음원으로부터 기본 마이크까지의 거리 L = 2m인 경우, T의 값은 20㎳∼50㎳의 범위에 있다. 여기에서, T가 50㎳로서 취해질 때(즉, 경계점 T는 h(t)의 최대 피크까지 50㎳의 거리를 갖는 시점이다), 음성 명료도 지수 C50 = 5.4dB, ρ = 3.7dB이다.
도 5d는 본 발명의 실시예에 있어서 음원으로부터 기본 마이크까지의 거리가 4m인 경우에 이차 마이크로부터 기본 마이크로의 전달 함수를 나타내는 개략도이다. 음원으로부터 기본 마이크까지의 거리 L = 4m인 경우, T의 값은 20㎳∼50㎳의 범위에 있다. 여기에서, T가 50㎳로서 취해질 때(즉, 경계점 T는 h(t)의 최대 피크까지 50㎳의 거리를 갖는 시점이다), 음성 명료도 지수 C50 = 4.5dB, ρ = 2.2dB이다.
음원이 마이크로부터 멀리 떨어질수록, 잔향이 더 강해진다. 도 5a∼도 5d는 이차 마이크로부터 기본 마이크로의 전달 함수의 머리부의 에너지가 낮아지는 반면 꼬리부의 에너지가 높아지는 것을 나타낸다. 머리부와 꼬리부의 비율의 대수(logarithm) ρ는 잔향의 강도를 반영할 수 있다. 잔향이 더 강해짐에 따라 ρ의 값은 더 작아진다. 따라서, 잔향의 강도는 ρ의 값에 따라 판정될 수 있고, 그에 따라 이득 함수의 조절 인자 β가 산출될 수 있다.
β는 여러 가지 방법으로 산출될 수 있다. 식 (6)은 본 발명의 실시예에서β를 산출하기 위한 실증적인 식이다:
Figure pct00018
(6)
ρ1 및 ρ2는 미리 정해진 값 및 실증적인 값이다. 본 발명의 실시예에서, ρ1은 9dB이고, ρ2는 2dB이다(마이크 사이의 거리는 6㎝이다).
1.4 이차 마이크 입력 신호 x 1 (t)와 이차 마이크로부터 기본 마이크로의 전달 함수의 꼬리부 h r (t)의 컨볼루션으로 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00019
를 얻음.
1.4의 입력: 이차 마이크 입력 신호 x1(t), 이차 마이크로부터 기본 마이크로의 전달 함수의 꼬리부 hr(t)(1.2의 출력).
1.4의 출력: (1.45의 입력으로서의) 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00020
.
확실히 말하면, 식은
Figure pct00021
(7)
이다.
1.45 보상된 신호
Figure pct00022
를 얻기 위해 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00023
를 주파수 보상.
1.45의 입력: 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00024
(1.4의 출력).
1.45의 출력: (1.5의 입력으로서의) 기본 마이크 입력 신호의 주파수 보상된 늦은 잔향 추정 신호
Figure pct00025
.
기본 마이크 입력 신호의 실제의 늦은 잔향 성분과 비교하여, 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00026
는 저주파수 부분에서 과소평가된다. 따라서, 본 발명에 있어서는, 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00027
가 주파수 보상된다. 기본 및 이차 마이크 사이의 거리는 늦은 잔향 추정 신호
Figure pct00028
에 영향을 미친다. 따라서, 본 발명의 실시예에서는, 그에 대응하여 늦은 잔향 추정 신호를 주파수 보상하기 위해 저역 통과 필터는 마이크 사이의 다른 거리에 따라 설계되고, 그에 따라 보상된 늦은 잔향 추정 신호
Figure pct00029
가 얻어진다.
도 6a는 본 발명의 실시예에 있어서 기본 및 이차 마이크 사이의 거리가 6㎝일 때 주파수 보상 필터의 진폭-주파수 특성을 나타내는 개략도이다. 도 6b는 본 발명의 실시예에 있어서 기본 마이크 및 이차 마이크 사이의 거리가 18㎝일 때 주파수 보상 필터의 진폭-주파수 특성을 나타내는 개략도이다. 알 수 있는 바와 같이, 본 발명의 실시예에 있어서는, 기본 마이크 및 이차 마이크 사이의 거리가 커질수록 기본 마이크 입력 신호의 늦은 잔향 추정 신호
Figure pct00030
의 저주파수 부분에 대한 주파수 보상의 정도가 적어진다.
1.5 기본 마이크 입력 신호의 늦은 잔향 스펙트럼
Figure pct00031
을 얻기 위해 기본 마이크의 주파수 보상된 늦은 잔향 추정 신호
Figure pct00032
를 시간 영역으로부터 주파수 영역으로 변환.
1.5의 입력: 기본 마이크 입력 신호의 주파수 보상된 늦은 잔향 추정 신호
Figure pct00033
(1.45의 출력).
1.5의 출력: (스펙트럼 감산 처리의 입력으로서의) 기본 마이크 입력 신호의 늦은 잔향 스펙트럼
Figure pct00034
.
기본 마이크의 주파수 보상된 늦은 잔향 추정 신호
Figure pct00035
를 시간 영역으로부터 주파수 영역으로 변환함으로써, 기본 마이크 입력 신호의 늦은 잔향 스펙트럼
Figure pct00036
이 얻어질 수 있다.
Figure pct00037
(8)
2. 스펙트럼 감산 처리
2.1 기본 마이크의 입력 신호 x 2 (t)를 시간 영역으로부터 주파수 영역으로 변환하고, 이것을 X 2 로서 기록.
2.1의 입력: 기본 마이크의 입력 신호 x2(t).
2.1의 출력: (2.2의 입력으로서의) 기본 마이크 입력 신호의 주파수 스펙트럼 X2.
구체적인 식은 다음과 같다.
Figure pct00038
(9)
2.2 기본 마이크 입력 신호의 주파수 스펙트럼 X 2 및 기본 마이크의 추정된 늦은 잔향 스펙트럼
Figure pct00039
에 따라 이득 함수 G를 산출하고, 조절 인자 β에 따라 이득 함수를 조절.
2.2의 입력: 기본 마이크 입력 신호의 주파수 스펙트럼 X2(2.1의 출력), 기본 마이크의 늦은 잔향 스펙트럼
Figure pct00040
(잔향 스펙트럼 추정 처리에서의 1.5의 출력) 및 이득 함수의 조절 인자 β(잔향 스펙트럼 추정 처리에서의 1.3의 출력).
2.2의 출력: (2.3의 입력으로서의) 이득 함수 G
본 발명의 실시예에서는, 이득 함수 G(l,k)는 다음 식에 따라 전력 스펙트럼 감산 방법을 이용하여 산출된다:
Figure pct00041
(10)
여기서 l은 프레임의 수(number)이고, k는 주파수 점(frequency point)의 수이며, β는 이득 함수의 조절 인자이고,
Figure pct00042
는 기본 마이크 입력 신호의 늦은 잔향 스펙트럼이며, X2는 기본 마이크 입력 신호의 주파수 스펙트럼이다.
식 (10)에 의하면, 이득 함수 G(l,k)는 이득 함수의 조절 인자 β에 의해 조절될 수 있다. 따라서, 더 적거나 없는 스펙트럼 감산은 잔향이 약할 때 행해지며, 잔향이 약하고 음성 명료도가 원래 높은 상황에서 음성이 손상되지 않는 것을 보장한다.
2.3 기본 마이크 입력 신호의 위상과 결합하여 기본 마이크 입력 신호의 진폭 스펙트럼
Figure pct00043
에 이득 함수 G를 곱함으로써 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D를 얻음.
2.3의 입력: 기본 마이크 입력 신호의 주파수 스펙트럼 X2(2.1의 출력), 및 이득 함수 G(2.2의 출력).
2.3의 출력: (2.4의 입력으로서의) 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D.
명확히 말하면, 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D(l,k)는 다음 식에 의해 산출된다:
Figure pct00044
(11)
여기서 l은 프레임의 수이고, k는 주파수 점의 수이며,
Figure pct00045
는 기본 마이크 입력 신호의 진폭 스펙트럼이고, G(l,k)는 이득 함수이며, phase(l,k)는 기본 마이크 입력 신호의 위상이다.
2.4 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D를 시간 영역으로 변환하고, 이것을 d(t)로서 기록.
2.4의 입력: 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D(2.3의 출력).
2.4의 출력: (2.5의 입력으로서의) 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호 d(t).
Figure pct00046
(12)
2.5 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산함으로써 기본 마이크 입력 신호의 잔향 제거된 연속 신호 x d (t)를 얻음.
2.5의 입력: 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호 d(t)(2.4의 출력).
2.5의 출력: 기본 마이크 입력 신호의 잔향 제거된 연속 신호 xd(t)(전체 시스템의 출력).
도 7a는 본 발명의 실시예에 있어서 기본 마이크 입력 신호의 시간 영역을 나타내는 도면이고; 도 7b는 본 발명의 실시예에 있어서 잔향의 제거 후의 기본 마이크의 시간 영역을 나타내는 도면이며; 도 7c는 본 발명의 실시예에 있어서 기본 마이크 입력 신호의 음성 스펙트럼을 나타내는 도면이고; 도 7d는 본 발명의 실시예에 있어서 잔향의 제거 후의 기본 마이크의 음성 스펙트럼을 나타내는 도면이다.
도 7a∼도 7d를 참조하면, 이 실시예에서는, 기본 및 이차 마이크가 직접 음원에 직면하고 있을 때, 음원으로부터 이중 마이크까지의 수직 거리는 2m이고, 기본 및 이차 마이크 사이의 거리는 18㎝이며, 잔향의 제거 전의 기본 마이크 입력 신호의 C50은 6.8dB이다. 도 4에 나타낸 기법을 사용하면, 잔향의 제거 후의 C50은 10.5dB이다. 이로부터 알 수 있는 바와 같이, 본 발명의 기법에 의해, C50은 3.7dB만큼 증가된다.
도 8은 본 발명의 실시예에 있어서 기본 마이크 및 이차 마이크에 의해 수신되는 신호를 프레임 단위로 처리하는 이중 마이크에 기초해서 음성 잔향을 저감하기 위한 장치의 구성 및 구조를 나타내는 도면이다. 도 8을 참조하면, 본 장치는 잔향 스펙트럼 추정부(700)와 스펙트럼 감산부(800)를 구비하되,
잔향 스펙트럼 추정부(700)는, 기본 마이크 입력 신호와 이차 마이크 입력 신호를 수신하고; 기본 마이크 입력 신호와 이차 마이크 입력 신호에 따라 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)를 산출하고, 전달 함수 h(t)의 꼬리부 hr(t)를 획득하며, 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하여 이것을 스펙트럼 감산부(800)로 출력하며, 이차 마이크 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크 입력 신호의 늦은 잔향 추정 신호를 얻고, 기본 마이크 입력 신호의 늦은 잔향 스펙트럼을 얻어 이것을 스펙트럼 감산부(800)로 출력하기 위해 기본 마이크 입력 신호의 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하기 위한 것이고;
스펙트럼 감산부(800)는, 기본 마이크 입력 신호의 늦은 잔향 스펙트럼뿐만 아니라 기본 마이크 입력 신호 및 잔향 스펙트럼 추정부(700)에 의해 출력되는 이득 함수의 조절 인자 β를 수신하고, 기본 마이크 입력 신호의 주파수 스펙트럼을 얻기 위해 기본 마이크 입력 신호를 시간 영역으로부터 주파수 영역으로 변환하며, 기본 마이크 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 β 및 기본 마이크 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고, 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크 입력 신호의 주파수 스펙트럼을 이용하며, 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고, 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산한 후에 기본 마이크 입력 신호의 잔향 제거된 연속 신호를 출력하기 위한 것이다.
본 발명의 일 실시예에서는, 이차 마이크 입력 신호와 hr(t)의 컨볼루션으로 기본 마이크 입력 신호의 늦은 잔향 추정 신호를 얻은 후에, 잔향 스펙트럼 추정부(700)는 먼저 기본 마이크 입력 신호의 늦은 잔향 추정 신호를 주파수 보상하고, 그 다음에 기본 마이크 입력 신호의 늦은 잔향 스펙트럼을 얻기 위해 주파수 보상된 신호를 시간 영역으로부터 주파수 영역으로 변환하며, 그리고 마지막으로 이것을 스펙트럼 감산부(800)로 출력한다.
도 9는 본 발명의 바람직한 실시예에 있어서 이중 마이크에 기초해서 음성 잔향을 저감하기 위한 장치의 상세한 구성 및 구조와 그 입력 및 출력을 나타내는 개략도이다. 도 9를 참조하면, 이중 마이크에 기초해서 음성 잔향을 저감하기 위한 장치는 잔향 스펙트럼 추정부(91)와 스펙트럼 감산부(92)를 구비하되, 잔향 스펙트럼 추정부(91)는 전달 함수 산출부(911), 전달 함수 꼬리부 산출부(912), 잔향 강도 판정부(913), 늦은 잔향 추정부(914), 주파수 보상부(915) 및 제1 시간-주파수 변환부(916)를 구비하고; 스펙트럼 감산부(92)는 제2 시간-주파수 변환부(921), 이득 함수 산출부(922), 잔향 제거부(923), 주파수-시간 변환부(924) 및 중첩 및 가산부(925)를 구비한다.
전달 함수 산출부(911)는, 기본 마이크 입력 신호와 이차 마이크 입력 신호를 수신하고, 기본 마이크 입력 신호와 이차 마이크 입력 신호에 따라 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)를 산출하며, 이 전달 함수 h(t)를 전달 함수 꼬리부 산출부(912) 및 잔향 강도 판정부(913)로 출력하기 위한 것이다.
전달 함수 꼬리부 산출부(912)는 전달 함수 h(t)의 꼬리부 hr(t)를 획득하여 이것을 늦은 잔향 추정부(914)로 출력하기 위한 것이다. 전달 함수 꼬리부 산출부(912)는 구체적으로는 전달 함수의 시간축 상에 이른 잔향과 늦은 잔향 사이의 경계점을 취하고, 경계점이 0으로 되기 전에 전달 함수의 값을 설정함으로써, 전달 함수 h(t)의 꼬리부 hr(t)를 획득한다.
잔향 강도 판정부(913)는 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하며, 이것을 이득 함수 산출부로 출력하기 위한 것이다. 구체적으로는, 잔향 강도 판정부(913)는 상기한 식 (5)에 따라 잔향의 강도를 나타내는 파라미터 ρ를 산출한다.
즉,
Figure pct00047
여기서 h(t)는 이차 마이크로부터 기본 마이크로의 전달 함수이고, T는 h(t)의 시간축 상의 지정된 경계점이다.
그 다음에, 잔향 강도 판정부(913)는 상기한 식 (6)에 따라 이득 함수의 조절인자 β를 산출한다.
즉,
Figure pct00048
여기서 ρ1 및 ρ2는 미리 정해진 값이다. 예를 들어, ρ1은 9dB이고, ρ2는 2dB이다(마이크 사이의 거리는 6㎝이다).
늦은 잔향 추정부(914)는 이차 마이크 입력 신호를 수신하고, 이차 마이크 입력 신호와 hr(t)의 컨볼루션으로 기본 마이크 입력 신호의 늦은 잔향 추정 신호를 얻으며, 이것을 주파수 보상부(915)로 출력하기 위한 것이다.
주파수 보상부(915)는 기본 마이크 입력 신호의 늦은 잔향 추정 신호를 주파수 보상하고, 주파수 보상된 신호를 제1 시간-주파수 변환부(916)로 출력하기 위한 것이다. 기본 마이크와 이차 마이크 사이의 거리가 커질수록, 기본 마이크 입력 신호의 늦은 잔향 추정 신호에 대한 주파수 보상부(915)에 의한 주파수 보상의 정도가 적어진다.
제1 시간-주파수 변환부(916)는 기본 마이크 입력 신호의 늦은 잔향 스펙트럼을 얻기 위해 기본 마이크 입력 신호의 주파수 보상된 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하고, 이것을 이득 함수 산출부(922)로 출력하기 위한 것이다.
제2 시간-주파수 변환부(921)는 기본 마이크 입력 신호를 수신하고, 기본 마이크 입력 신호의 주파수 스펙트럼을 얻기 위해 이것을 시간 영역으로부터 주파수 영역으로 변환하며, 이것을 이득 함수 산출부(922) 및 잔향 제거부(923)로 출력하기 위한 것이다.
이득 함수 산출부(922)는 제2 시간-주파수 변환부(921)에 의해 출력되는 주파수 스펙트럼, 잔향 강도 판정부(913)에 의해 출력되는 이득 함수의 조절 인자 β 및 제1 시간-주파수 변환부(916)에 의해 출력되는 기본 마이크 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고, 이 이득 함수를 잔향 제거부(923)로 출력하기 위한 것이다. 이득 함수 산출부(922)는 상기한 식 (10)에 따라 이득 함수를 산출할 수 있다.
즉,
Figure pct00049
여기서 l은 프레임의 수이고, k는 주파수 점의 수이며, β는 이득 함수의 조절 인자이고,
Figure pct00050
는 기본 마이크 입력 신호의 늦은 잔향 스펙트럼이며, X2는 기본 마이크 입력 신호의 주파수 스펙트럼이다.
잔향 제거부(923)는 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크 입력 신호의 주파수 스펙트럼을 이용하고, 이것을 주파수-시간 변환부(924)로 출력하기 위한 것이다. 이 실시예에서는, 잔향 제거부(923)는 상기한 식 (11)에 따라 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼 D(l,k)를 산출한다.
즉,
Figure pct00051
여기서 l은 프레임의 수이고, k는 주파수 점의 수이며,
Figure pct00052
는 기본 마이크 입력 신호의 진폭 스펙트럼이고, G(l,k)는 이득 함수이며, phase(l,k)는 기본 마이크 입력 신호의 위상이다.
주파수-시간 변환부(924)는 기본 마이크 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고, 이것을 중첩 및 가산부(925)로 출력하기 위한 것이다.
중첩 및 가산부(925)는 기본 마이크 입력 신호의 잔향 제거된 연속 신호를 얻기 위해 주파수-시간 변환부(924)에 의해 출력되는 시간 영역 신호를 프레임 단위로 중첩시켜 가산하기 위한 것이다.
요약하면, 이중 마이크에 기초해서 음성 잔향을 저감하기 위한 장치는 기본 마이크 및 이차 마이크에 의해 수신되는 신호를 프레임 단위로 처리한다. 이 장치의 잔향 스펙트럼 추정부는, 기본 마이크 입력 신호 x2(t)와 이차 마이크 입력 신호 x1(t)를 수신하고; x2(t) 및 x1(t)에 따라 이차 마이크로부터 기본 마이크로의 전달 함수 h(t)를 산출하고, h(t)의 꼬리부 hr(t)를 얻으며, h(t)에 따라 잔향의 강도를 판정하고, 이득 신호의 조절 인자 β를 산출하여 이것을 장치의 스펙트럼 감산부로 출력하며, x1(t)와 hr(t)의 컨볼루션으로 x2(t)의 늦은 잔향 추정 신호
Figure pct00053
를 얻고, x2(t)의 늦은 잔향 스펙트럼
Figure pct00054
을 얻기 위해
Figure pct00055
를 시간 영역으로부터 주파수 영역으로 변환하며, 이것을 장치의 스펙트럼 감산부로 출력하기 위한 것이다. 이 장치의 스펙트럼 감산부는, x2(t)의 주파수 스펙트럼을 얻기 위해 x2(t)를 시간 영역으로부터 주파수 영역으로 변환하고, x2(t)의 주파수 스펙트럼, β 및
Figure pct00056
에 따라 이득 함수를 산출하며, x2(t)의 잔향 제거된 주파수 스펙트럼를 얻기 위해 이득 함수를 승산하도록 x2(t)의 주파수 스펙트럼을 이용하고, x2(t)의 잔향 제거된 시간 영역 신호를 얻기 위해 주파수 영역으로부터 시간 영역으로 변환하기 위한 것이다. 본 발명의 이러한 기법에서는, 이차 마이크 입력 신호 x1(t)와 hr(t)의 컨볼루션으로 기본 마이크 입력 신호 x2(t)의 늦은 잔향 추정 신호
Figure pct00057
를 얻고, 그 다음에 스펙트럼 감산 방법에 의해 기본 마이크 입력 신호 x2(t)의 주파수 스펙트럼으로부터 기본 마이크 입력 신호의 늦은 잔향 추정 스펙트럼
Figure pct00058
를 감산하는 것에 의해, 그 이른 잔향을 유지하면서 기본 마이크 입력 신호로부터 그 늦은 잔향을 효과적으로 제거할 수 있고, 그에 따라 음성 품질을 향상시킨다. 한편, 본 발명에서는, 늦은 잔향의 추정에 있어서, 스펙트럼 감산의 강도는 잔향의 강도에 따라 조정되고, 더 적거나 없는 스펙트럼 감산은 잔향이 약할 때 행해지며, 잔향이 약하고 음성 명료도가 원래 높은 상황에서 음성이 손상되지 않고 음성 품질이 보호되는 것을 보장한다. 게다가, 이 기법은 직접음의 DOA(Direction Of Arrival: 도달의 방향)의 정확한 추정을 필요로 하지 않으므로, 마이크가 높은 일관성을 갖도록 하는 것을 필요로 하지 않고, 음향 설계가 엄격하게 제한되지 않는다.
알 수 있는 바와 같이, 본 발명의 기술적인 기법에 의해, 음성은 잔향을 제거하면서 효과적으로 보호되고, 실내에서의 잔향의 강도는 자동적으로 추정될 수 있으며, 올바른 처치는 서로 다른 환경에 따라 선택되어 있으므로, 최적에 가까운 음성 품질이 달성될 수 있다. 추가적으로, 마이크 일관성 및 음향 설계에 엄격한 제한이 없기 때문에, 그 응용은 보다 유연하고 편리한다.
상기한 것은 본 발명의 바람직한 실시예일 뿐이며, 본 발명의 보호 범위를 제한하는 데 사용되지 않는다. 본 발명의 정신 및 원리 내의 모든 변경, 등가 대체 및 개선은 본 발명의 보호 범위에 포함되어야 한다.

Claims (10)

  1. 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법으로서, 이 방법은:
    기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호를 수신하는 단계를 구비하되,
    기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하고;
    전달 함수 h(t)의 꼬리부 hr(t)를 획득하고, 전달 함수 h(t)에 따라 잔향의 강도를 판정하며, 이득 함수의 조절 인자 β를 산출하고;
    이차 마이크로폰 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻으며;
    기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하고, 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호를 시간 영역으로부터 주파수 영역으로 변환하며;
    기본 마이크로폰 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 β 및 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고;
    기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 이용하며;
    기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고;
    기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산한 후에 기본 마이크로폰 입력 신호의 잔향 제거된 연속 신호를 출력하는 것과 같이 프레임 단위로 처리되는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법.
  2. 청구항 1에 있어서, 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻은 후 시간 영역으로부터 주파수 영역으로 변환하기 전에,
    기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 주파수 보상하고;
    기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼을 얻기 위해 주파수 보상된 신호를 시간 영역으로부터 주파수 영역으로 변환하는 것을 더 구비하되,
    기본 마이크로폰과 이차 마이크로폰 사이의 거리가 커질수록 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호에 대한 주파수 보상의 정도가 적어지는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법.
  3. 청구항 1에 있어서, 전달 함수 h(t)에 따라 잔향의 강도를 판정하는 것은, 구체적으로는 다음 식에 따라 잔향의 강도를 나타내는 파라미터를 산출하고,
    Figure pct00059

    여기서 h(t)는 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수이고, T는 h(t)의 시간축 상의 지정된 경계점이다.

    이득 함수의 조절인자 β를 산출하는 것은, 구체적으로는 다음 식에 따라 산출하는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법.
    Figure pct00060

    여기서 ρ1 및 ρ2는 미리 정해진 값이다.
  4. 청구항 1에 있어서, 기본 마이크로폰 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 β 및 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하는 것은, 구체적으로는 다음 식에 따라 이득 함수 G(l,k)를 산출하는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법.
    Figure pct00061

    여기서 l은 프레임의 수이고, k는 주파수 점의 수이며, β는 이득 함수의 조절 인자이고,
    Figure pct00062
    는 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼이며, X2는 기본 마이크로폰 입력 신호의 주파수 스펙트럼이다.
  5. 청구항 1에 있어서, 전달 함수 h(t)의 꼬리부 hr(t)를 획득하는 것은, 전달 함수 h(t)의 시간축 상에 이른 잔향과 늦은 잔향 사이의 경계점을 취하고, 경계점이 0으로 되기 전에 전달 함수 h(t)의 값을 설정함으로써, 전달 함수 h(t)의 꼬리부 hr(t)를 획득하는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법.
  6. 기본 마이크로폰 및 이차 마이크로폰에 의해 수신되는 신호를 프레임 단위로 처리하는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치로서, 이 장치는 잔향 스펙트럼 추정부 및 스펙트럼 감산부를 구비하되,
    잔향 스펙트럼 추정부는, 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호를 수신하고; 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하고, 전달 함수 h(t)의 꼬리부 hr(t)를 획득하며, 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하며, 이차 마이크로폰 입력 신호와 hr(t)의 컬볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻고, 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼을 얻어 이것을 스펙트럼 감산부로 출력하기 위해 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하기 위한 것이고;
    스펙트럼 감산부는, 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼뿐만 아니라 기본 마이크로폰 입력 신호 및 잔향 스펙트럼 추정부에 의해 출력되는 이득 함수의 조절 인자 β를 수신하고, 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호를 시간 영역으로부터 주파수 영역으로 변환하며, 기본 마이크로폰 입력 신호의 주파수 스펙트럼, 이득 함수의 조절 인자 β 및 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고, 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 이용하며, 기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고, 기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩시켜 가산한 후에 기본 마이크로폰 입력 신호의 잔향 제거된 연속 신호를 출력하기 위한 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치.
  7. 청구항 6에 있어서, 잔향 스펙트럼 추정부는 전달 함수 산출부, 전달 함수 꼬리부 산출부, 잔향 강도 판정부, 늦은 잔향 추정부, 주파수 보상부 및 제1 시간-주파수 변환부를 구비하고; 스펙트럼 감산부는 제2 시간-주파수 변환부, 이득 함수 산출부, 잔향 제거부, 주파수-시간 변환부 및 중첩 및 가산부를 구비하되,
    전달 함수 산출부는, 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호를 수신하고, 기본 마이크로폰 입력 신호와 이차 마이크로폰 입력 신호에 따라 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수 h(t)를 산출하며, 이 전달 함수 h(t)를 전달 함수 꼬리부 산출부 및 잔향 강도 판정부로 출력하기 위한 것이고;
    전달 함수 꼬리부 산출부는 전달 함수 h(t)의 꼬리부 hr(t)를 획득하고, 이것을 늦은 잔향 추정부로 출력하기 위한 것이며;
    잔향 강도 판정부는 전달 함수 h(t)에 따라 잔향의 강도를 판정하고, 이득 함수의 조절 인자 β를 산출하며, 이것을 이득 함수 산출부로 출력하기 위한 것이고;
    늦은 잔향 추정부는 이차 마이크로폰 입력 신호를 수신하고, 이차 마이크로폰 입력 신호와 hr(t)의 컨볼루션으로 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 얻으며, 이것을 주파수 보상부로 출력하기 위한 것이며;
    주파수 보상부는 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호를 주파수 보상하고, 주파수 보상된 신호를 제1 시간-주파수 변환부로 출력하기 위한 것이고;
    제1 시간-주파수 변환부는 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼을 얻기 위해 기본 마이크로폰 입력 신호의 주파수 보상된 늦은 잔향 추정 신호를 시간 영역으로부터 주파수 영역으로 변환하고, 이것을 이득 함수 산출부로 출력하기 위한 것이며;
    제2 시간-주파수 변환부는 기본 마이크로폰 입력 신호를 수신하고, 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 얻기 위해 이것을 시간 영역으로부터 주파수 영역으로 변환하며, 이것을 이득 함수 산출부 및 잔향 제거부로 출력하기 위한 것이고;
    이득 함수 산출부는 제2 시간-주파수 변환부에 의해 출력되는 주파수 스펙트럼, 잔향 강도 판정부에 의해 출력되는 이득 함수의 조절 인자 β 및 제1 시간-주파수 변환부에 의해 출력되는 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼에 따라 이득 함수를 산출하고, 이 이득 함수를 잔향 제거부로 출력하기 위한 것이며;
    잔향 제거부는 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 얻기 위해 이득 함수를 승산하도록 기본 마이크로폰 입력 신호의 주파수 스펙트럼을 이용하고, 이것을 주파수-시간 변환부로 출력하기 위한 것이고;
    주파수-시간 변환부는, 기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 얻기 위해 기본 마이크로폰 입력 신호의 잔향 제거된 주파수 스펙트럼을 주파수 영역으로부터 시간 영역으로 변환하고, 이것을 중첩 및 가산부로 출력하기 위한 것이며;
    중첩 및 가산부는 기본 마이크로폰 입력 신호의 잔향 제거된 시간 영역 신호를 프레임 단위로 중첩 및 가산한 후에 기본 마이크로폰 입력 신호의 잔향 제거된 연속 신호를 출력하기 위한 것이고;
    기본 마이크로폰와 이차 마이크로폰 사이의 거리가 커질수록, 기본 마이크로폰 입력 신호의 늦은 잔향 추정 신호에 대한 주파수 보상의 정도가 적어지는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치.
  8. 청구항 7에 있어서, 잔향 강도 판정부는 다음 식에 따라 잔향의 강도를 나타내는 파라미터 ρ를 산출하기 위한 것이고;
    Figure pct00063

    여기서 h(t)는 이차 마이크로폰으로부터 기본 마이크로폰으로의 전달 함수이고, T는 h(t)의 시간축 상의 지정된 경계점이다.

    그 다음에, 다음 식에 따라 이득 함수의 조절인자 β를 산출하는 것임을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치.
    Figure pct00064

    여기서 ρ1 및 ρ2는 미리 정해진 값이다.
  9. 청구항 7에 있어서, 이득 함수 산출부는 다음 식에 따라 이득 함수를 산출하기 위한 것임을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치.
    Figure pct00065

    여기서 l은 프레임의 수이고, k는 주파수 점의 수이며, β는 이득 함수의 조절 인자이고,
    Figure pct00066
    는 기본 마이크로폰 입력 신호의 늦은 잔향 스펙트럼이며, X2는 기본 마이크로폰 입력 신호의 주파수 스펙트럼이다.
  10. 청구항 7에 있어서, 전달 함수의 꼬리부 산출부는, 구체적으로는 전달 함수 h(t)의 시간축 상에 이른 잔향과 늦은 잔향 사이의 경계점을 취하고, 경계점이 0으로 되기 전에 전달 함수 h(t)의 값을 설정함으로써, 전달 함수 h(t)의 꼬리부 hr(t)를 획득하는 것을 특징으로 하는 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 장치.
KR1020147036443A 2012-12-12 2013-12-12 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치 KR101502297B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201210536578.X 2012-12-12
CN201210536578.XA CN103067821B (zh) 2012-12-12 2012-12-12 一种基于双麦克的语音混响消减方法和装置
PCT/CN2013/001557 WO2014089914A1 (zh) 2012-12-12 2013-12-12 一种基于双麦克的语音混响消减方法和装置

Publications (2)

Publication Number Publication Date
KR20150008925A true KR20150008925A (ko) 2015-01-23
KR101502297B1 KR101502297B1 (ko) 2015-03-12

Family

ID=48110252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147036443A KR101502297B1 (ko) 2012-12-12 2013-12-12 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9414157B2 (ko)
EP (1) EP2858379B1 (ko)
JP (1) JP5785674B2 (ko)
KR (1) KR101502297B1 (ko)
CN (1) CN103067821B (ko)
DK (1) DK2858379T3 (ko)
WO (1) WO2014089914A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067821B (zh) * 2012-12-12 2015-03-11 歌尔声学股份有限公司 一种基于双麦克的语音混响消减方法和装置
CN104156553B (zh) * 2014-05-09 2018-08-17 哈尔滨工业大学深圳研究生院 无需信源数估计的相干信号波达方向估计方法及系统
CN105848052B (zh) * 2015-01-16 2019-10-11 宇龙计算机通信科技(深圳)有限公司 一种麦克切换方法及终端
GB2549103B (en) * 2016-04-04 2021-05-05 Toshiba Res Europe Limited A speech processing system and speech processing method
CN110660404B (zh) * 2019-09-19 2021-12-07 北京声加科技有限公司 基于零陷滤波预处理的语音通信和交互应用系统、方法
EP3809726A1 (en) * 2019-10-17 2021-04-21 Bang & Olufsen A/S Echo based room estimation
CN111179958A (zh) * 2020-01-08 2020-05-19 厦门亿联网络技术股份有限公司 一种语音晚期混响抑制方法及系统
CN112053698A (zh) * 2020-07-31 2020-12-08 出门问问信息科技有限公司 语音转换方法及装置
CN113542980B (zh) * 2021-07-21 2023-03-31 深圳市悦尔声学有限公司 一种抑制扬声器串扰的方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3649847B2 (ja) * 1996-03-25 2005-05-18 日本電信電話株式会社 残響除去方法及び装置
KR100482396B1 (ko) * 1996-05-31 2005-08-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력신호의간섭성분을억제하는장치
US6549586B2 (en) * 1999-04-12 2003-04-15 Telefonaktiebolaget L M Ericsson System and method for dual microphone signal noise reduction using spectral subtraction
EP1879181B1 (en) * 2006-07-11 2014-05-21 Nuance Communications, Inc. Method for compensation audio signal components in a vehicle communication system and system therefor
JP5166117B2 (ja) * 2008-05-20 2013-03-21 株式会社船井電機新応用技術研究所 音声入力装置及びその製造方法、並びに、情報処理システム
EP2211564B1 (en) * 2009-01-23 2014-09-10 Harman Becker Automotive Systems GmbH Passenger compartment communication system
US8233352B2 (en) * 2009-08-17 2012-07-31 Broadcom Corporation Audio source localization system and method
US8897455B2 (en) * 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
CN101976565A (zh) * 2010-07-09 2011-02-16 瑞声声学科技(深圳)有限公司 基于双麦克风语音增强装置及方法
JP2012048133A (ja) * 2010-08-30 2012-03-08 Nippon Telegr & Teleph Corp <Ntt> 残響除去方法とその装置とプログラム
JP5594133B2 (ja) * 2010-12-28 2014-09-24 ソニー株式会社 音声信号処理装置、音声信号処理方法及びプログラム
CN102347028A (zh) * 2011-07-14 2012-02-08 瑞声声学科技(深圳)有限公司 双麦克风语音增强装置及方法
CN203243506U (zh) * 2012-12-12 2013-10-16 歌尔声学股份有限公司 一种基于双麦克的语音混响消减装置
CN103067821B (zh) * 2012-12-12 2015-03-11 歌尔声学股份有限公司 一种基于双麦克的语音混响消减方法和装置
CN103087821B (zh) 2013-01-15 2016-09-07 武汉工业学院 一种保留谷维素的米糠油精炼方法
US9100762B2 (en) * 2013-05-22 2015-08-04 Gn Resound A/S Hearing aid with improved localization

Also Published As

Publication number Publication date
EP2858379A1 (en) 2015-04-08
CN103067821B (zh) 2015-03-11
KR101502297B1 (ko) 2015-03-12
JP5785674B2 (ja) 2015-09-30
WO2014089914A1 (zh) 2014-06-19
JP2015523609A (ja) 2015-08-13
US20150189431A1 (en) 2015-07-02
DK2858379T3 (en) 2019-01-21
EP2858379A4 (en) 2015-11-11
EP2858379B1 (en) 2018-10-31
US9414157B2 (en) 2016-08-09
CN103067821A (zh) 2013-04-24

Similar Documents

Publication Publication Date Title
KR101502297B1 (ko) 이중 마이크로폰에 기초해서 음성 잔향을 저감하기 위한 방법 및 장치
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
US11245976B2 (en) Earphone signal processing method and system, and earphone
KR101210313B1 (ko) 음성 향상을 위해 마이크로폰 사이의 레벨 차이를 활용하는시스템 및 방법
US8606571B1 (en) Spatial selectivity noise reduction tradeoff for multi-microphone systems
US9532149B2 (en) Method of signal processing in a hearing aid system and a hearing aid system
KR101422984B1 (ko) 잔류 에코를 억제하는 방법 및 장치
EP2701145A1 (en) Noise estimation for use with noise reduction and echo cancellation in personal communication
US9699554B1 (en) Adaptive signal equalization
US8462962B2 (en) Sound processor, sound processing method and recording medium storing sound processing program
CN110782912A (zh) 音源的控制方法以及扬声设备
KR101182017B1 (ko) 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
JP2002076998A (ja) 反響及び雑音除去装置
JP2003044087A (ja) 騒音抑圧装置、騒音抑圧方法、音声識別装置、通信機器および補聴器
JP4209348B2 (ja) エコー抑圧方法、この方法を実施する装置、プログラムおよび記録媒体
CN118072752A (zh) Ows耳机的语音增强方法、系统、耳机及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6