KR20170039126A - 오디오 신호들을 정제하는 멀티 오럴 mmse 분석 기술들 - Google Patents

오디오 신호들을 정제하는 멀티 오럴 mmse 분석 기술들 Download PDF

Info

Publication number
KR20170039126A
KR20170039126A KR1020177001307A KR20177001307A KR20170039126A KR 20170039126 A KR20170039126 A KR 20170039126A KR 1020177001307 A KR1020177001307 A KR 1020177001307A KR 20177001307 A KR20177001307 A KR 20177001307A KR 20170039126 A KR20170039126 A KR 20170039126A
Authority
KR
South Korea
Prior art keywords
audio signal
frequency band
primary
frequency bands
microphone
Prior art date
Application number
KR1020177001307A
Other languages
English (en)
Other versions
KR102378207B1 (ko
Inventor
프레드릭 가이거
브라이언트 번더슨
칼 그런드스톰
Original Assignee
사이퍼 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사이퍼 엘엘씨 filed Critical 사이퍼 엘엘씨
Publication of KR20170039126A publication Critical patent/KR20170039126A/ko
Application granted granted Critical
Publication of KR102378207B1 publication Critical patent/KR102378207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H04R2410/05—Noise reduction with a separate noise microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

오디오 신호들을 처리하는 기술들은 오디오 신호들을 출력하기 전에 오디오 신호들로부터 잡음을 제거하는 것 또는 다른 방식으로 오디오 신호들을 정제하는 것을 포함한다. 개시된 기술들은 일차 마이크로폰 및 적어도 하나의 기준 마이크로폰으로부터 수신되는 오디오 신호들에 대해 최소 평균 제곱 에러(MMSE) 분석들을 이용할 수 있고, 일차 마이크로폰에 의해 수신되는 오디오 신호들로부터 잡음을 감소시키거나 제거하기 위해 MMSE 분석들이 사용되는 기술들에 관한 것이다. 선택사항적으로, 오디오 신호의 상이한 주파수 대역들에 신뢰 구간들이 할당될 수 있으며, 각각의 신뢰 구간은 그것의 각자의 주파수 대역이 타겟팅된 오디오를 포함할 가능성에 대응하고, 각각의 신뢰 구간은 잡음이 제거된 재구성된 오디오 신호에서 그것의 각자의 주파수 대역의 기여를 나타낸다.

Description

오디오 신호들을 정제하는 멀티 오럴 MMSE 분석 기술들{MULTI-AURAL MMSE ANALYSIS TECHNIQUES FOR CLARIFYING AUDIO SIGNALS}
본 개시내용은 일반적으로 오디오 신호들을 출력하기 전에 오디오 신호들로부터 잡음을 제거하거나 다른 방식으로 오디오 신호들을 정제하는 기술들을 포함하는, 오디오 신호들을 처리하는 기술들에 관한 것이다. 더 구체적으로, 본 개시내용은 최소 평균 제곱 에러(minimum mean squared error)(MMSE) 분석들이 일차 마이크로폰 및 적어도 하나의 기준 마이크로폰으로부터 수신되는 오디오 신호들에 대해 수행되는 기술들, 및 일차 마이크로폰에 의해 수신되는 오디오 신호들로부터 잡음을 감소시키거나 제거하기 위해 MMSE 분석들이 사용되는 기술들에 관한 것이다.
다양한 양태들에서, 본 개시내용에 따른 방법은 오디오 신호의 타겟팅된 부분(targeted portion), 또는 성분을 식별하는 단계 및 오디오 신호의 타겟팅된 부분을 동반하는 잡음을 감소시키거나 제거하는 단계를 포함하는 정제 프로세스(clarification process)이다. 정제 프로세스가 사용될 때, 일차 오디오 신호의 타겟팅된 부분, 또는 일차 오디오 신호의 타겟팅된 부분의 적어도 상당한 부분은 정제 프로세스 후에 남거나, 존속할 것이다. 정제 프로세스 후에 남아 있는 일차 오디오 신호의 각각의 부분은 본원에서 "정제된 오디오 신호(clarified audio signal)"로 언급된다. 일차 오디오 신호의 상이한 주파수 대역들이 개별적으로 정제되는 실시예들에서, 정제된 오디오 신호들은 일차 오디오 신호의 재구성된 버전에 포함될 수 있으며, 일차 오디오 신호는 또한 본원에서 "재구성된 오디오 신호"로 언급된다. 정제 프로세스가 오디오 통신 디바이스, 예컨대 이동 전화에서 사용되는 실시예들에서, 일차 오디오 신호의 타겟팅된 부분은 개인의 음성을 포함할 수 있다. 일차 오디오 신호가 정제되었고 정제된 오디오 신호가 재구성된 오디오 신호에 임의로 포함되었다면, 정제된 및/또는 재구성된 오디오 신호가 저장되고, 다른 디바이스에 송신되고 및/또는 가청으로 출력될 수 있다.
오디오 신호를 처리하는 방법은 적어도 2개의 마이크로폰이 서로 근접한 상태에서, 오디오 신호를 사운드의 형태로 수신하지만, 상이한 배향들 또는 관점들을 제공하는 단계, 및 따라서, 오디오 신호를 서로 상이한 방식들로, 또는 상이한 관점들로부터 수신하는 단계를 포함한다. 그러한 배열은 "바이노럴 환경(binaural environment)"으로 언급된다. 마이크로폰들은 일차 마이크로폰 및 하나 이상의 기준 마이크로폰들을 포함한다. 일차 마이크로폰은 의도된 소스로부터 오디오 신호를 수신하도록 위치될 수 있으며; 예를 들어, 일차 마이크로폰은 개인이 이동 전화를 사용하면서 말하는 이동 전화의 마이크로폰을 포함할 수 있다. 의도된 소스로부터의 오디오 신호는 타겟팅된 오디오, 또는 타겟팅된 사운드를 포함할 수 있다. 그것의 배향 또는 관점 때문에, 일차 마이크로폰에 의해 수신되는 오디오 신호는 본원에서 "일차 오디오 신호"로 언급된다.
각각의 기준 마이크로폰은 위치 및 배향, 또는 관점에서, 사운드의 의도된 소스로부터 다소 원격으로 위치될 수 있으며, 그것은 기준 마이크로폰이 배경 사운드를 동일한 정도로 또는 배경 사운드가 일차 마이크로폰에 의해 수신되는 것보다 더 큰 정도로 수신할 수 있게 하고, 일차 마이크로폰이 타겟팅된 오디오를 수신하는 것보다 더 작은 정도로 타겟팅된 오디오를 수신할 수 있게 한다. 각각의 기준 마이크로폰의 관점으로부터 수신되는 오디오 신호는 본원에서 "기준 오디오 신호"로 언급된다.
오디오 신호가 일차 오디오 신호 및 하나 이상의 기준 오디오 신호들로 수신되었다면, 일차 오디오 신호는 정제될 수 있다. 정제 프로세스의 일부로서, 일차 오디오 신호 및 각각의 기준 오디오 신호에 하나 이상의 적응 시간 도메인 필터들이 가해질 수 있다. 특정 실시예에서, 일차 오디오 신호 및/또는 각각의 기준 오디오 신호에 최소 제곱 평균들(LMS) 필터가 가해질 수 있다.
일차 오디오 신호 또는 임의의 기준 오디오 신호에 하나 이상의 적응 시간 도메인 필터들이 가해지는지의 여부에 상관없이, 잡음 추정값이 획득된다. 잡음 추정값은 하나 이상의 기준 오디오 신호들로부터 획득될 수 있다. 더 구체적으로, 잡음 추정값은 적어도 하나의 타겟팅된 오디오의 하나 이상의 부분들(예를 들어, 인간 음성의 포먼트들, 또는 스펙트럼 피크들; 등)이 존재하는 것으로 공지되어 있는 하나 이상의 주파수 대역들로부터 획득될 수 있다. 잡음 추정값은 기준 오디오 신호(들)로부터 단독으로 획득되거나, 기준 오디오 신호(들)의 적절한 부분들(예를 들어, 관심의 각각의 주파수 대역 등)을 잡음에 더하여, 타겟 오디오를 포함하는 일차 오디오 신호의 대응하는 부분들과 비교함으로써 획득될 수 있다. 훨씬 더 구체적으로, 일차 오디오 신호의 특정 주파수 대역의 샘플은 일차 오디오 신호의 그 주파수 대역에 존재하는 예상적, 또는 개연적 잡음(즉, 잡음 추정값)을 식별하기 위해 하나 이상의 기준 오디오 신호들의 동일한 특정 주파수 대역의 동시에 획득된 샘플과 비교될 수 있다. 그것이 어떻게 획득되는지에 상관없이, 각각의 잡음 추정값은 일차 오디오 신호에 존재하거나 일차 오디오 신호의 하나 이상의 주파수 대역들에 존재하는, 예상적 잡음, 또는 개연적 잡음을 식별하기 위해 사용될 수 있다. 바이노럴 환경에서 오디오 신호들을 분석함으로써, 잡음 추정은 잡음이 기준 오디오 신호의 사용 없이 추정될 때 요구되는 바와 같이, 음성 활동 검출기 없이 수행될 수 있다.
각각의 잡음 추정값은 일차 오디오 신호 또는 일차 오디오 신호의 하나 이상의 주파수 대역들 상에 최소 평균 제곱 에러(MMSE) 분석을 수행하는 동안에 고려될 수 있다. MMSE 분석은 잡음 추정값들의 함수 및 일차 오디오 신호들의 주파수 분해에 의해 정의되는, 에러를 최소화하기 위해 사용될 수 있다. 그러한 최소화의 결과는 일차 오디오 신호의 하나 이상의 주파수 대역들을 수정하기 위해 사용될 수 있다. 일부 실시예들에서, MMSE 분석은 하나 이상의 잡음 추정값들에 기초하여 조정될 수 있다. 대안적으로, 하나 이상의 잡음 추정값들은 일차 오디오 신호 또는 일차 오디오 신호의 하나 이상의 주파수 대역들의 MMSE 분석을 위해 감안(account for)되거나 MMSE 분석에 통합(incorporate)될 수 있다. MMSE 분석은 일차 오디오 신호 또는 일차 오디오 신호의 하나 이상의 주파수 대역들로부터 잡음을 적어도 부분적으로 제거하여, 하나 이상의 정제된 오디오 신호들을 제공한다. 다른 방법으로 명시되면, 정제된 오디오 신호(들)의 하나 이상의 주파수 대역들 내의 잡음의 전체 존재가 감소될 수 있거나, 잡음을 포함하지만 타겟팅된 오디오가 없는 각각의 주파수 대역의 경우에, 재구성된 출력 신호 내의 주파수 대역의 전체 존재가 감소될 수 있다.
상이한 주파수 대역들 상에 수행되는 MMSE 분석이 복수의 정제된 오디오 신호들을 야기했던 것들뿐만 아니라, 일차 오디오 신호가 복수의 상이한 주파수 대역들로 분리되었던 것들을 포함하는 일부 실시예들에서, 각각의 정제된 오디오 신호는 복수의 주파수 대역들의 주파수 대역에 대응하며, 신뢰 구간은 각각의 주파수 대역 또는 정제된 오디오 신호에 할당될 수 있다. 각각의 주파수 대역, 또는 정제된 오디오 신호에 대한 신뢰 레벨은 그 주파수 대역, 또는 정제된 오디오 신호가 재구성된 오디오 신호에 포함되는 정도에 대응할 수 있다. 각각의 신뢰 구간은 실시간 분석에 기초하고 및/또는, 일부 실시예들에서, 이력 데이터에 기초할 수 있다. 더 구체적으로, 각각의 주파수 대역 또는 정제된 오디오 신호에 대한 신뢰 구간은 일차 오디오 신호 및 각각의 기준 오디오 신호로부터 얻어지는 정보(예를 들어, 대응하는 주파수 대역에 대한 잡음 추정값, 대응하는 주파수 대역에 대한 MMSE 분석의 결과들 등)에 대응할 수 있다.
신뢰 구간은 그것의 대응하는 주파수 대역 또는 정제된 오디오 신호가 일차 오디오 신호의 타겟팅된 오디오의 적어도 일부, 예컨대 인간 음성, 음악 등을 포함할 가능에 적어도 부분적으로 대응할 수 있다. 일부 실시예들에서, 특정 주파수 대역 또는 정제된 오디오 신호에 대한 신뢰 구간은 주파수 대역 또는 정제된 오디오 신호가 타겟팅된 오디오의 적어도 일부를 포함할 가능성에 대응할 수 있다. 대안적으로, 또는 부가적으로, 특정 주파수 대역 또는 정제된 오디오 신호에 대한 신뢰 구간은 기준 오디오 신호의 대응하는 부분의 대응하는 주파수 대역에 존재하는 잡음과 비교할 때 정제된 오디오 신호로부터 제거되는 잡음의 양(예를 들어, 잡음의 퍼센티지 등)에 대응할 수 있다.
각각의 신뢰 구간은 이득 값; 예를 들어, 영(0)과 일(1) 사이의 값으로 구체화될 수 있으며, 이득 값은 그것의 대응하는 미리 결정된 주파수 대역에 대한 승수로 사용되고, 따라서, 그러한 대응하는 미리 결정된 주파수 대역이 재구성된 출력 오디오 신호에 포함되는 정보를 제어하기 위해 사용될 수 있다. 일 예로서, 주파수 대역 또는 정제된 오디오 신호가 (예를 들어, 그 주파수 대역에 대한 MMSE 분석 등으로부터) 일차 오디오 신호의 타겟팅된 오디오의 일부에 대응하는 높은 신뢰 레벨이 있으면, 비교적 높은 이득 값(예를 들어, 0.5 초과, 0.6과 1 사이 등)이 그 주파수 대역에 할당될 수 있다. 주파수 대역이 일차 오디오 신호의 타겟팅된 오디오의 일부에 대응할 가능성이 더 적으면, 대응하는 신뢰 구간은 낮을 수 있고, 대응적으로 낮은 이득 값(예를 들어, 0.5 이하의 이득 값 등)이 그 특정 주파수 대역에 할당될 수 있다. 주파수 대역이 타겟팅된 오디오의 일부에 대응하거나, 주파수 대역이 잡음으로 주로 구성될 가능성이 매우 있는 매우 낮은 신뢰 레벨이 있으면, 매우 낮은 이득 값(예를 들어, 0.3 미만 등)이 그 특정 주파수 대역에 할당될 수 있다.
복수의 주파수 대역들이 일차 오디오 신호로부터 분리되거나, 추출되었고 신뢰 구간이 각각의 주파수 대역에 할당되었을 경우, 신뢰 구간들은 이때 주파수 대역들 각각이 재구성된 오디오 신호에 포함되는 정도를 결정하기 위해 사용될 수 있으며; 즉 재구성된 오디오 출력 신호의 각각의 주파수 대역의 존재는 그것의 신뢰 구간에 대응할 수 있다. 더 구체적으로, 각각의 신뢰 구간은 최종 재구성된 신호의 신호 대 잡음 비(SNR)를 개선하기 위해 그것의 대응하는 주파수 대역의 크기를 동적으로 조정하도록 사용될 수 있다. 더 높은 신뢰 구간들을 갖는 주파수 대역들은 더 낮은 신뢰 구간들을 갖는 주파수 대역들보다 더 큰 존재를 가져서, 높은 신뢰 구간들을 갖는 주파수 대역들을 낮은 신뢰 구간들을 갖는 주파수 대역들보다 재구성된 오디오 신호에서 더 현저하게 한다. 신뢰 구간들이 할당되었다면, 주파수 대역들은 재구성된 오디오 신호를 발생시키기 위해 다시 수집될 수 있다.
개시된 정제 프로세스는 연속적 또는 실질적으로 연속적으로(예를 들어, 일련의 시간 세그먼트들 등으로) 수행될 수 있다.
본 개시내용에 따른 정제 프로세스의 임의의 실시예는 전자 디바이스의 처리 요소의 동작을 제어하는 프로그램(예를 들어, 소프트웨어 애플리케이션, 또는 "앱"; 펌웨어; 등)으로 구체화될 수 있다. 따라서, 본 개시내용의 전자 디바이스는 잡음이 소스 오디오 신호에 존재한 정도에 상관없이, 거의 없는 잡음을 갖는 정제된 오디오 신호 및/또는 재구성된 오디오 신호를 제공하도록 구성될 수 있다. 그 다음, 전자 디바이스는 정제된 오디오 신호 및/또는 재구성된 오디오 신호의 가청 출력을 저장하고, 송신하고 및/또는 제공하도록 구성될 수 있다.
구체적이지만, 비제한적 실시예에서, 그러한 전자 디바이스는 이동 전화 또는 다른 오디오 통신 디바이스를 포함할 수 있다. 프로그램 및 프로세서를 포함하는 것에 더하여, 오디오 통신 디바이스는 일차 마이크로폰 및 하나 이상의 기준 마이크로폰들을 포함할 수 있다. 오디오 통신 디바이스는 또한 오디오 신호를 송신하는 안테나와 같은 송신 요소를 포함할 수 있다. 일차 마이크로폰 및 각각의 기준 마이크로폰은 오디오 신호를 수신하고 오디오 신호를 프로세서에 전달하도록 구성된다. 프로세서는 상기 설명된 방법의 일 실시예에 따라 일차 마이크로폰으로부터 일차 오디오 신호를 처리하고 각각의 기준 마이크로폰으로부터 기준 오디오 신호를 처리하며, 정제된 오디오 신호 및/또는 재구성된 오디오 신호를 발생시킨다. 그 다음, 정제된 오디오 신호 및/또는 재구성된 오디오 신호는 오디오 통신 디바이스의 출력 요소에 의해; 예를 들어, 셀룰러 캐리어 네트워크에 송신될 수 있으며, 그것으로부터, 정제된 오디오 신호 및/또는 재구성된 오디오 신호는 결국 수신자 디바이스, 예컨대 다른 전화에 의해 수신될 수 있다.
개시된 발명 대상의 다른 양태들뿐만 아니라, 다양한 양태들의 특징들 및 장점들은 다음의 설명, 첨부 도면들 및 첨부된 청구항들의 고려를 통해 본 기술분야의 통상의 기술자들에게 분명해질 것이다.
도면들에서,
도 1은 오디오 신호들을 정제하는 방법의 일 실시예를 도시하는 흐름도이다.
도 2는 본 개시내용의 교시들에 따라 오디오 신호들을 정제하는 방법의 일 실시예에서 적응 최소 제곱 평균들(least mean squares)(LMS) 필터링의 사용의 일 실시예를 예시하는 흐름도이다.
도 3은 본 개시내용의 교시들에 따라 오디오 신호들을 정제하는 방법의 일 실시예를 실행하도록 구성되는 전자 디바이스의 일 실시예를 개략적으로 도시한다.
도 1을 참조하여, 오디오 신호를 정제하는 방법의 일 실시예가 예시되고 설명된다. 일반적으로, 방법은 3개의 구성요소를 포함한다: 참조(10)에서, 오디오 신호를 수신하는 단계; 참조(20)에서, 정제된 오디오 신호 및/또는 재구성된 오디오 신호를 제공하기 위해, 오디오 신호를 처리하는 단계; 및 참조(40)에서, 정제된 오디오 신호 및/또는 재구성된 오디오 신호를 출력하는 단계.
참조(10)에서, 오디오 신호를 수신하는 행동은 복수의 오디오 신호들을 수신하는 행동을 포함할 수 있다. 참조(12)에서, 일차 오디오 신호는 도 3에 도시된 바와 같이, 제1 소스, 예컨대 이동 전화 또는 다른 오디오 통신 디바이스(100)의 일차 마이크로폰(112)으로부터 수신될 수 있다. 도 1의 참조(14)에서, 오디오 통신 디바이스(100)의 하나 이상의 기준 마이크로폰들(114)은 기준 오디오 신호를 수신할 수 있다. 일차 마이크로폰(112) 및 각각의 기준 마이크로폰(114)은 일차 오디오 신호 및 각각의 기준 오디오 신호를 동시에 및 같은 위상에서 각각 수신할 수 있다. 일부 실시예들에서, 일차 오디오 신호 및 각각의 기준 오디오 신호의 성분들은 일차 오디오 신호 및 기준 오디오 신호(들)가 획득된 각각의 일차 마이크로폰(112) 및 기준 마이크로폰(들)(114)의 상이한 배향들, 또는 관점들 사이의 인트라오럴 레벨 차이(intraaural level difference)(ILD)로 인해, 실질적으로 동일한 것이지만, 상이한 양들로 있을 수 있다.
일차 오디오 신호 및 각각의 기준 오디오 신호를 수신하면, 도 3에 도시된 오디오 통신 디바이스(100)의 일차 마이크로폰(112) 및 각각의 기준 마이크로폰(114)은 도 1의 참조(16)에서, 이러한 신호들을 오디오 통신 디바이스(100)의 프로세서(120)에 전달할 수 있다.
도 1의 참조(20)에서, 일차 오디오 신호 및 각각의 기준 오디오 신호는 정제된 오디오 신호를 제공하는 방식으로 처리될 수 있다. 이러한 정제 프로세스는 도 2에 상세히 제시되는 다수의 행동들을 포함할 수 있다. 도 2의 참조(22)에서, 일차 오디오 신호, 및 선택사항적으로, 각각의 기준 오디오 신호에 하나 이상의 적응 시간 도메인 필터들이 가해질 수 있다. 저역 통과 필터를 포함할 수 있는 그러한 필터는 필터링된 신호들로부터, 에러, 또는 개연적 잡음을 제거할 수 있어, 추가 처리 후에, 더 개선된 신호(more refined signal), 또는 더 클린한 신호(clearer signal)를 야기한다. 특정 실시예에서, 최소 제곱 평균 필터(LMS)는 적응 시간 도메인 필터로 사용될 수 있다. 적응 시간 도메인 필터는 각각 필터링된 신호로부터 일부 잡음 및/또는 다른 원하지 않은 인공물들을 제거하는 러프(rough), 또는 패시브 필터를 제공할 수 있다.
도 2의 참조(24)에서, 잡음 추정값이 획득될 수 있다. 더 구체적으로, 기준 오디오 신호, 또는 복수의 기준 오디오 신호들이 수신되는 실시예들에서, 기준 오디오 신호들은 잡음 추정값을 제공하는 방식으로 처리될 수 있다. 그러한 처리는 개인이 오디오 통신 디바이스(100)(도 3)의 일차 마이크로폰(112)으로 말하는 음성의 일부를 형성하는 포먼트와 같은 타겟 오디오를 포함할 가능성이 있는 하나 이상의 주파수 대역들의 평가를 포함할 수 있다. 그러한 처리에 의해 제공되는 잡음 추정값은 각각의 기준 오디오 신호의 각각 평가된 주파수 대역으로부터 오디오 신호들에 오로지 기초할 수 있다. 대안적으로, 잡음 추정값은 각각의 기준 오디오 신호의 각각의 평가된 주파수 대역과 기준 오디오 신호(들)에 대응하는 일차 오디오 신호의 각각의 대응하는 주파수 대역 사이의 차이들에 기초할 수 있다. 특정 실시예에서, 기준 오디오 신호로부터의 특정 주파수 대역이 실질적으로 동일한 전력을 갖거나 대응하는 일차 오디오 신호의 동일한 주파수 대역보다 더 큰 전력을 가지면, 그 주파수 대역은 잡음으로 주로 구성될 가능성이 가장 많고, 따라서 잡음으로 주로 구성되는 것으로 간주될 수 있다. 일차 오디오 신호로부터의 주파수 대역이 대응하는 기준 오디오 신호 내의 동일한 주파수 대역보다 더 큰 전력을 가지면, 그것은 타겟팅된 오디오의 적어도 일부를 포함할 가능성이 있고 따라서 타겟팅된 오디오의 적어도 일부를 포함하는 것으로 간주될 수 있다.
잡음 추정값이 획득되었다면, 잡음 추정값은 도 2의 참조(26)에서 제시되는 바와 같이, 일차 오디오 신호의 최소 평균 제곱 에러(MMSE) 분석과 함께 사용될 수 있다. 일부 실시예들에서, MMSE 분석은 잡음 추정값을 감안할 수 있다. 더 구체적으로, MMSE 분석은 잡음 추정값에 기초하여 조정될 수 있다. 예를 들어, 잡음 추정값은 MMSE 분석으로 통합될 수 있다. 그 다음, MMSE 분석은 적어도 하나의 정제된 오디오 신호를 제공하기 위해 본 기술분야에 공지된 방식으로 일차 오디오 신호에 적용될 수 있다. 일차 오디오 신호에 적응 시간 도메인 필터가 가해졌던 실시예들에서, 일차 오디오 신호의 스펙트럼 특성들은 수정되었고, MMSE 분석은 적절히 수정될 수 있다. 일부 실시예들에서, MMSE 분석은 일차 오디오 신호의 주파수 대역들 중 하나에 각각 대응하는, 복수의 정제된 오디오 신호들을 제공하기 위해 일차 오디오 신호의 상이한 주파수 대역들에 개별적으로 적용될 수 있다.
도 2의 참조(28)에서, 신뢰 구간은 일차 오디오 신호의 각각의 주파수 대역에 할당될 수 있다. 신뢰 구간들은 일차 오디오 신호의 비처리된 주파수 대역들에 적용되거나, 일차 오디오 신호의 필터링된 주파수 대역들에 적용되거나 일차 오디오 신호의 주파수 대역들 상의 MMSE 분석들에서 기인하는 정제된 오디오 신호들에 적용될 수 있다. 각각의 신뢰 구간은 일차 오디오 신호의 대응하는 주파수 대역이 타겟팅된 오디오의 적어도 일부에 대응할 가능성의 표시자를 제공할 수 있다. 일부 실시예들에서, 일차 오디오 신호 및 각각의 기준 오디오 신호, 또는 그러한 신호들 중 어느 하나 또는 둘 다로부터 획득되는 정보(예를 들어, 각각의 주파수 대역에 대한 잡음 추정값, 각각의 주파수 대역에 대한 MMSE 분석의 결과들 등)는 신뢰 구간을 일차 오디오 신호의 각각의 주파수 대역에 할당하는 동안에 고려될 수 있다.
각각의 신뢰 구간은 대응하는 미리 결정된 주파수 대역이 재구성된 출력 오디오 신호에 포함되는 정도를 제어할 수 있다. 각각의 신뢰 구간의 실제적 효과는 타겟팅된 오디오에 기여(contribute)하는 것으로 생각되지 않는 주파수 대역들을 약화시키는 것이다. 특정한 미리 결정된 주파수 대역에 대한 신뢰 구간은 임의의 적절한 방식으로 그러한 미리 결정된 주파수 대역에 적용될 수 있다. 제한 없이, 신뢰 구간은 그것의 대응하는 미리 결정된 주파수 대역에 대한 승수를 포함할 수 있다. 특정 실시예에서, 각각의 신뢰 구간은 이득 값; 즉, 영(0)과 일(1) 사이의 값으로 구체화될 수 있다. 예를 들어, 특정 주파수 대역이 일차 오디오 신호의 타겟팅된 오디오의 일부일 가능성이 있으며, 비교적 높은 이득 값(예를 들어, 0.5 초과, 0.6과 1 사이 등)이 그 주파수 대역에 할당될 수 있다. 특정 주파수 대역은 타겟팅된 오디오의 일부를 포함할 가능성만큼 잡음을 포함할 가능성이 적어도 있으면, 그 주파수 대역에 대한 신뢰 구간은 낮을 수 있고, 대응적으로 낮은 이득 값(예를 들어, 0.5 이하의 이득 값 등)이 그 주파수 대역에 할당될 수 있다. 특정 주파수 대역이 타겟팅된 오디오의 일부를 포함할 가능성이 없거나, 특정 주파수 대역이 잡음의 결과일 가능성이 매우 있으면, 매우 낮은 신뢰 구간 및 매우 낮은 이득 값(예를 들어, 0.3 미만 등)이 그 주파수 대역에 할당될 수 있다.
일차 오디오 신호의 각각의 주파수 대역에 할당되는 적절한 신뢰 구간의 경우, 그 주파수 대역은 도 2의 참조(30)에서, 적절한 방식으로 조정될 수 있다. 신뢰 구간이 이득 값에 대응하는 실시예들에서, 이득 값은 주파수 대역에 적용될 수 있다.
도 2의 참조(32)에서, 재구성된 오디오 신호는 수정되었던 하나 이상의 주파수 대역들을 조합함으로써 구성될 수 있다. 조합되는 주파수 대역들은 상기 설명된 MMSE 분석에 의해 수정되거나, 신뢰 구간을 사용하여 수정되건, 또는 MMSE 분석 및 신뢰 구간들의 조합에 의해 수정될 수 있다.
그 다음, 재구성된 오디오 신호는 도 1의 참조(40)에서 출력될 수 있다. 도 1 및 도 2를 참조하여 설명되었던 타입의 프로세스가 도 3에 의해 도시되는 이동 전화와 같은 오디오 통신 디바이스(100)의 일차 마이크로폰 및 하나 이상의 기준 마이크로폰들에 의해 수신되었던 오디오를 수정하기 위해 사용되는 실시예들에서, 수정된 일차 오디오 신호는 오디오 통신 디바이스(100)의 프로세서(110)에 의해 오디오 통신 디바이스(100)의 안테나(130)에 전달될 수 있으며, 그 다음 안테나는 수정된 일차 오디오 신호를 다른 오디오 통신 디바이스 또는 네트워크에 송신하며, 그 다음 네트워크는 수정된 일차 오디오 신호를 다른 오디오 통신 디바이스에 송신할 수 있다. 그 다음, 수정된 일차 오디오 신호를 수신하는 오디오 통신 디바이스는 거의 없는 잡음을 갖는 가청 출력을 제공하는 방식으로 그러한 신호를 처리할 수 있다.
이전 개시내용은 오디오 통신 디바이스들의 맥락에서 주로 제공되었지만, 개시된 발명 대상은 또한 여러가지 다른 맥락들에서 오디오 신호들에 적용될 수 있다. 제한 없이, 개시된 발명 대상은 사운드를 수신하고 증폭하기 위해 사용되는 장치들(예를 들어, 마이크로폰들, 증폭기들, 및 선택사항적으로, 혼합기들 등을 포함하는 시스템들), 오디오를 수신하고 기록하는 장치들(예를 들어, 음성 레코더들, 비디오 레코더들, 사운드 스튜디오들 등), 오디오 헤드셋들(예를 들어, 유선, 무선(예를 들어, BLUETOOTH® 등) 등) 및 여러가지 다른 맥락들에서 유용할 수 있다. 더 구체적으로, 도 3에 의해 예시된 바와 같이, 재구성된 오디오 신호는 오디오 출력 디바이스(100) 또는 오디오를 수신하고 저장하도록 구성되는 다른 디바이스(예를 들어, 음성 레코더, 오디오 레코더, 비디오 카메라 등)와 같은, 전자 디바이스의 프로세서(110)와 연관되는 메모리(120)에 의해 저장될 수 있다. 대안적으로, 재구성된 오디오 신호는 전자 디바이스의 스피커(140), 예컨대 스테레오, 휴대용 전자 디바이스, 컴퓨터, 사운드 시스템 등의 라우드 스피커에 의해 가청으로 출력될 수 있다.
일차 오디오 신호는 실시간 또는 실질적인 실시간으로 (예를 들어, 오디오 통신 디바이스(100)의 일차 마이크로폰(112)에 의해―도 3) 획득되고 (예를 들어, 오디오 통신 디바이스(100)의 프로세서(110)와 연관되는 메모리(120) 등에 의해) 저장되고, (예를 들어, 오디오 통신 디바이스(100)의 안테나(130) 등에 의해) 송신되거나 (예를 들어, 오디오 통신 디바이스(100)의 스피커(140) 등에 의해) 출력되는 신호를 포함하는 실시예들에서, 도 1 및 도 2를 참조하여 설명되었던 프로세스들은 반복적으로 수행될 수 있다.
정제 프로세스(들)의 반복은 일차 오디오 신호의 연속적 수정을 제공하고, 일차 오디오 신호 내의 잡음 및 타겟팅된 오디오의 상대 레벨들의 변화들을 감안하는 빠른 조정들을 제공할 수 있다.
상술한 개시내용이 많은 세부 사항들을 제공하지만, 이들은 다음의 청구항들 중 어느 것에 대한 범위를 제한하는 것으로 해석되지 않아야 한다. 청구항들의 범위들로부터 벗어나지 않는 다른 실시예들이 고안될 수 있다. 상이한 실시예들로부터의 특징들은 조합으로 이용될 수 있다. 따라서, 각 청구항의 범위는 그것의 평범한 언어 및 그것의 요소들에 대한 이용가능 법적 균등물들의 전체 범위에 의해서만 표시되고 제한된다.

Claims (31)

  1. 오디오 신호를 정제(clarifying)하는 방법으로서,
    전자 디바이스의 적어도 2개의 마이크로폰에 의해 오디오 신호들을 수신하는 단계 - 각각의 오디오 신호는 복수의 주파수 대역들, 타겟 성분 및 잡음 성분을 포함하며, 상기 적어도 2개의 마이크로폰은 기준 마이크로폰이 상기 타겟 성분을 수신하는 것보다 더 높은 전력으로 상기 타겟 성분을 수신하는 일차 마이크로폰을 포함함 -;
    상기 기준 마이크로폰에 의해 수신되는 기준 오디오 신호로부터 잡음 추정값을 결정하는 단계;
    상기 잡음 추정값을 최소 평균 제곱 에러 분석(minimum mean squared error analysis)에 통합(incorporating)시키는 단계;
    상기 일차 마이크로폰에 의해 수신되는 일차 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 상기 최소 평균 제곱 에러 분석을 가하는(subjecting) 단계;
    상기 최소 평균 제곱 분석의 결과에 기초하여 상기 복수의 주파수 대역들의 각각의 주파수 대역에 신뢰 구간(confidence interval)을 할당하는 단계;
    수정된 출력 주파수 대역을 제공하기 위해 그 주파수 대역의 신뢰 구간에 기초하여 상기 일차 오디오 신호의 각각의 주파수 대역의 오디오 출력 레벨을 수정하는 단계; 및
    정제된 출력 오디오 신호를 제공하기 위해 상기 일차 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 대한 수정된 출력 주파수 대역들을 조합(combining)하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 잡음 추정값을 결정하는 단계는 상기 일차 마이크로폰에 의해 수신되는 일차 오디오 신호로부터의 적어도 하나의 주파수 대역을 상기 기준 마이크로폰에 의해 수신되는 기준 오디오 신호의 적어도 하나의 대응하는 주파수 대역과 비교하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 잡음 추정값을 결정하는 단계는 상기 일차 마이크로폰에 의해 수신되는 일차 오디오 신호로부터의 복수의 주파수 대역들을 상기 기준 마이크로폰에 의해 수신되는 기준 오디오 신호의 대응하는 복수의 주파수 대역들과 비교하는 단계를 포함하는 방법.
  4. 제1항에 있어서,
    상기 기준 마이크로폰에서 수신되는 기준 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 상기 최소 평균 제곱 에러 분석을 가하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서, 상기 신뢰 구간을 할당하는 단계는,
    상기 일차 마이크로폰에 의해 수신되는 주파수 대역보다 더 큰 전력으로 상기 기준 마이크로폰에 의해 수신되는 주파수 대역에 매우 낮은 신뢰 구간을 할당하는 단계;
    실질적으로 동일한 전력으로 상기 일차 마이크로폰과 상기 기준 마이크로폰 둘 다에 의해 수신되는 주파수 대역에 낮은 신뢰 구간을 할당하는 단계; 및
    상기 기준 마이크로폰에 의해 수신되는 주파수 대역보다 더 큰 전력으로 상기 일차 마이크로폰에 의해 수신되는 주파수 대역에 높은 신뢰 구간을 할당하는 단계를 포함하는 방법.
  6. 제5항에 있어서, 상기 매우 낮은 신뢰 구간을 할당하는 단계는 0.3 미만의 이득을 상기 주파수 대역에 할당하는 단계를 포함하는 방법.
  7. 제5항에 있어서, 상기 낮은 신뢰 구간을 할당하는 단계는 약 0.5 이하의 이득을 상기 주파수 대역에 할당하는 단계를 포함하는 방법.
  8. 제5항에 있어서, 상기 높은 신뢰 구간을 할당하는 단계는 0.6보다 더 큰 이득을 상기 주파수 대역에 할당하는 단계를 포함하는 방법.
  9. 제1항에 있어서, 상기 신뢰 구간을 할당하는 단계는 적절한 이득을 각각의 주파수 대역에 할당하는 단계를 포함하는 방법.
  10. 제1항에 있어서, 상기 신뢰 구간을 할당하는 단계는 상기 오디오 신호들에서 잡음을 동적으로 추정하는 단계를 포함하는 방법.
  11. 제1항에 있어서, 음성 활동(voice activity)을 검출하는 것 없이 수행되는 방법.
  12. 제1항에 있어서,
    상기 일차 오디오 신호 및 상기 기준 오디오 신호에 적응 시간 도메인 필터를 가하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서, 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 상기 적응 시간 도메인 필터를 가하는 단계는 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 최소 제곱 평균 필터(least mean square filter)를 가하는 단계를 포함하는 방법.
  14. 제12항에 있어서, 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 상기 적응 시간 도메인 필터를 가하는 단계는 상기 제1 및 기준 오디오 신호들의 복수의 주파수 대역들의 각각의 주파수 대역에 상기 최소 평균 제곱 에러 분석들을 가하기 전에 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 상기 적응 시간 도메인 필터를 가하는 단계를 포함하는 방법.
  15. 오디오 신호를 정제하는 방법으로서,
    전자 디바이스의 적어도 2개의 마이크로폰에 의해 오디오 신호들을 수신하는 단계 - 각각의 오디오 신호는 복수의 주파수 대역들, 타겟 성분 및 잡음 성분을 포함하며, 상기 적어도 2개의 마이크로폰은 기준 마이크로폰이 상기 타겟 성분을 수신하는 것보다 더 높은 전력으로 상기 타겟 성분을 수신하는 일차 마이크로폰을 포함함 -;
    필터링된 오디오 신호를 제공하기 위해 상기 일차 마이크로폰에 의해 수신되는 일차 오디오 신호에 적응 시간 도메인 필터를 가하는 단계;
    상기 기준 마이크로폰에 의해 수신되는 기준 오디오 신호를 사용하여 잡음 추정값을 결정하는 단계;
    상기 잡음 추정값에 기초하여 최소 평균 제곱 에러 분석을 조정(tailoring)하는 단계; 및
    상기 필터링된 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 상기 최소 평균 제곱 에러 분석을 가하는 단계
    를 포함하는 방법.
  16. 제15항에 있어서, 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 상기 적응 시간 도메인 필터를 가하는 단계는 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 최소 제곱 평균 필터를 가하는 단계를 포함하는 방법.
  17. 제15항에 있어서,
    필터링된 기준 오디오 신호를 제공하기 위해 상기 기준 마이크로폰에 의해 수신되는 기준 오디오 신호에 상기 적응 시간 도메인 필터를 가하는 단계를 더 포함하는 방법.
  18. 제17항에 있어서, 상기 기준 마이크로폰에 의해 수신되는 기준 오디오 신호에 상기 적응 시간 도메인 필터를 가하는 단계는 상기 기준 오디오 신호에 최소 제곱 평균 필터를 가하는 단계를 포함하는 방법.
  19. 제17항에 있어서, 상기 기준 오디오 신호를 사용하여 상기 잡음 추정값을 결정하는 단계는 상기 필터링된 기준 오디오 신호를 사용하여 상기 잡음 추정값을 결정하는 단계를 포함하는 방법.
  20. 제17항에 있어서,
    상기 필터링된 기준 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 상기 최소 평균 제곱 분석을 가하는 단계를 더 포함하는 방법.
  21. 제15항에 있어서,
    상기 기준 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 상기 최소 평균 제곱 분석을 가하는 단계를 더 포함하는 방법.
  22. 제15항에 있어서,
    상기 최소 평균 제곱 분석들의 결과에 기초하여 신뢰 구간을 상기 복수의 주파수 대역들의 각각의 주파수 대역에 할당하는 단계;
    수정된 출력 주파수 대역을 제공하기 위해 그 주파수 대역의 신뢰 구간에 기초하여 상기 필터링된 오디오 신호의 각각의 주파수 대역의 오디오 출력 레벨을 수정하는 단계; 및
    정제된 출력 오디오 신호를 제공하기 위해 상기 필터링된 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 대한 수정된 출력 주파수 대역들을 조합하는 단계를 더 포함하는 방법.
  23. 오디오 신호를 수신하도록 구성되는 전자 디바이스로서,
    일차 오디오 신호를 수신하고 전달(communicating)하는 일차 마이크로폰;
    기준 오디오 신호를 수신하고 전달하는 기준 마이크로폰;
    프로세서; 및
    상기 프로세서와 통신하는 출력 요소
    를 포함하고,
    상기 프로세서는,
    상기 일차 오디오 신호 및 상기 기준 오디오 신호를 수신하고;
    잡음 추정값을 제공하기 위해 상기 기준 오디오 신호를 처리하고;
    상기 잡음 추정값을 감안(account for)하는 최소 평균 제곱 에러 분석을 발생시키고;
    상기 일차 오디오 신호의 복수의 주파수 대역들에 상기 최소 평균 제곱 에러 분석을 가하고;
    주파수 대역 비교를 제공하기 위해 상기 일차 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 대한 최소 평균 제곱 분석의 결과를 상기 기준 오디오 신호의 복수의 주파수 대역들의 대응하는 주파수 대역에 대한 최소 평균 제곱 분석의 결과와 비교하고;
    그 주파수 대역에 대응하는 주파수 대역 비교에 기초하여 상기 일차 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 신뢰 구간을 할당하고;
    수정된 출력 주파수 대역을 제공하기 위해 상기 신뢰 구간에 기초하여 상기 주파수 대역의 출력 전력을 조정하고;
    정제된 출력 오디오 신호를 제공하기 위해 상기 일차 오디오 신호의 복수의 주파수 대역들의 각각의 주파수 대역에 대한 수정된 출력 주파수 대역들을 조합하고;
    상기 출력 요소가 상기 정제된 출력 오디오 신호를 출력하게 하도록 프로그래밍되는 전자 디바이스.
  24. 제23항에 있어서, 상기 프로세서는,
    상기 기준 오디오 신호의 복수의 주파수 대역들에 상기 최소 평균 제곱 에러 분석을 가하도록 더 프로그래밍되며, 상기 일차 오디오 신호의 복수의 주파수 대역들 및 상기 기준 오디오 신호의 복수의 주파수 대역들의 주파수 범위들은 서로에 대응하는 전자 디바이스.
  25. 제23항에 있어서, 이동 전화를 포함하는 전자 디바이스.
  26. 제23항에 있어서, 상기 출력 요소는 스피커를 포함하는 전자 디바이스.
  27. 제23항에 있어서, 상기 스피커는 상기 전자 디바이스에 의해 휴대되는(carried) 전자 디바이스.
  28. 제23항에 있어서, 상기 스피커는 상기 전자 디바이스에 선택적으로 결합되도록 구성되는 전자 디바이스.
  29. 제23항에 있어서, 상기 프로세서는,
    상기 일차 오디오 신호 및 상기 기준 오디오 신호에 적응 시간 도메인 필터를 적용하도록 더 프로그래밍되는 전자 디바이스.
  30. 제29항에 있어서, 상기 프로세서는,
    상기 일차 오디오 신호 및 상기 기준 오디오 신호에 적응 최소 제곱 평균 필터를 적용하도록 프로그래밍되는 전자 디바이스.
  31. 제29항에 있어서, 상기 프로세서는,
    상기 일차 오디오 신호의 복수의 주파수 대역들 및 상기 기준 오디오 신호의 복수의 주파수 대역들에 상기 최소 평균 제곱 에러 분석들을 가하기 전에 상기 적응 시간 도메인 필터를 상기 일차 오디오 신호 및 상기 기준 오디오 신호에 적용하도록 프로그래밍되는 전자 디바이스.
KR1020177001307A 2014-06-18 2015-06-12 오디오 신호들을 정제하는 멀티 오럴 mmse 분석 기술들 KR102378207B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/308,541 US10149047B2 (en) 2014-06-18 2014-06-18 Multi-aural MMSE analysis techniques for clarifying audio signals
US14/308,541 2014-06-18
PCT/US2015/035612 WO2015195482A1 (en) 2014-06-18 2015-06-12 Multi-aural mmse analysis techniques for clarifying audio signals

Publications (2)

Publication Number Publication Date
KR20170039126A true KR20170039126A (ko) 2017-04-10
KR102378207B1 KR102378207B1 (ko) 2022-03-25

Family

ID=54870902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177001307A KR102378207B1 (ko) 2014-06-18 2015-06-12 오디오 신호들을 정제하는 멀티 오럴 mmse 분석 기술들

Country Status (6)

Country Link
US (1) US10149047B2 (ko)
EP (1) EP3158775A4 (ko)
JP (1) JP6789827B2 (ko)
KR (1) KR102378207B1 (ko)
CN (1) CN106797517B (ko)
WO (1) WO2015195482A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2963817B1 (en) * 2014-07-02 2016-12-28 GN Audio A/S Method and apparatus for attenuating undesired content in an audio signal
CN110970015B (zh) * 2018-09-30 2024-04-23 北京搜狗科技发展有限公司 一种语音处理方法、装置和电子设备
EP3667662B1 (en) * 2018-12-12 2022-08-10 Panasonic Intellectual Property Corporation of America Acoustic echo cancellation device, acoustic echo cancellation method and acoustic echo cancellation program
CN110021307B (zh) * 2019-04-04 2022-02-01 Oppo广东移动通信有限公司 音频校验方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130142349A1 (en) * 2011-09-05 2013-06-06 Goertek Inc. Method, device and system for eliminating noises with multi-microphone array
US20130343558A1 (en) * 2012-06-26 2013-12-26 Parrot Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment

Family Cites Families (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4897878A (en) * 1985-08-26 1990-01-30 Itt Corporation Noise compensation in speech recognition apparatus
US4658426A (en) * 1985-10-10 1987-04-14 Harold Antin Adaptive noise suppressor
JP3484757B2 (ja) * 1994-05-13 2004-01-06 ソニー株式会社 音声信号の雑音低減方法及び雑音区間検出方法
FR2722631B1 (fr) * 1994-07-13 1996-09-20 France Telecom Etablissement P Procede et systeme de filtrage adaptatif par egalisation aveugle d'un signal telephonique numerique et leurs applications
JPH10257583A (ja) * 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
US5924065A (en) * 1997-06-16 1999-07-13 Digital Equipment Corporation Environmently compensated speech processing
FR2766604B1 (fr) * 1997-07-22 1999-10-01 France Telecom Procede et dispositif d'egalisation aveugle des effets d'un canal de transmission sur un signal de parole numerique
JPH11126090A (ja) * 1997-10-23 1999-05-11 Pioneer Electron Corp 音声認識方法及び音声認識装置並びに音声認識装置を動作させるためのプログラムが記録された記録媒体
US20020002455A1 (en) * 1998-01-09 2002-01-03 At&T Corporation Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system
EP1161852A2 (de) * 1999-03-19 2001-12-12 Siemens Aktiengesellschaft Verfahren und einrichtung zum aufnehmen und bearbeiten von audiosignalen in einer störschallerfüllten umgebung
US20030018471A1 (en) * 1999-10-26 2003-01-23 Yan Ming Cheng Mel-frequency domain based audible noise filter and method
US6757395B1 (en) * 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
FR2820227B1 (fr) * 2001-01-30 2003-04-18 France Telecom Procede et dispositif de reduction de bruit
US7617099B2 (en) * 2001-02-12 2009-11-10 FortMedia Inc. Noise suppression by two-channel tandem spectrum modification for speech signal in an automobile
US6549629B2 (en) * 2001-02-21 2003-04-15 Digisonix Llc DVE system with normalized selection
CA2354858A1 (en) * 2001-08-08 2003-02-08 Dspfactory Ltd. Subband directional audio signal processing using an oversampled filterbank
JP3950930B2 (ja) * 2002-05-10 2007-08-01 財団法人北九州産業学術推進機構 音源の位置情報を利用した分割スペクトルに基づく目的音声の復元方法
US7161973B2 (en) * 2002-12-17 2007-01-09 Sbc Properties, L.P. Pilot aided adaptive minimum mean square interference cancellation and detection
WO2004084182A1 (en) * 2003-03-15 2004-09-30 Mindspeed Technologies, Inc. Decomposition of voiced speech for celp speech coding
US6931362B2 (en) * 2003-03-28 2005-08-16 Harris Corporation System and method for hybrid minimum mean squared error matrix-pencil separation weights for blind source separation
DE602004029899D1 (de) * 2003-07-11 2010-12-16 Cochlear Ltd Verfahren und einrichtung zur rauschverminderung
DE10362073A1 (de) * 2003-11-06 2005-11-24 Herbert Buchner Vorrichtung und Verfahren zum Verarbeiten eines Eingangssignals
US7392181B2 (en) * 2004-03-05 2008-06-24 Siemens Corporate Research, Inc. System and method for nonlinear signal enhancement that bypasses a noisy phase of a signal
FI20045315A (fi) * 2004-08-30 2006-03-01 Nokia Corp Ääniaktiivisuuden havaitseminen äänisignaalissa
KR100927897B1 (ko) * 2005-09-02 2009-11-23 닛본 덴끼 가부시끼가이샤 잡음억제방법과 장치, 및 컴퓨터프로그램
KR101052445B1 (ko) * 2005-09-02 2011-07-28 닛본 덴끼 가부시끼가이샤 잡음 억압을 위한 방법과 장치, 및 컴퓨터 프로그램
US7590530B2 (en) * 2005-09-03 2009-09-15 Gn Resound A/S Method and apparatus for improved estimation of non-stationary noise for speech enhancement
US9185487B2 (en) * 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
CN101089952B (zh) * 2006-06-15 2010-10-06 株式会社东芝 噪声抑制、提取特征、训练模型及语音识别的方法和装置
EP1887708B1 (en) * 2006-08-07 2012-09-19 Mitel Networks Corporation Delayed adaptation structure for improved double-talk immunity in echo cancellation devices
US7933420B2 (en) * 2006-12-28 2011-04-26 Caterpillar Inc. Methods and systems for determining the effectiveness of active noise cancellation
WO2008112539A1 (en) * 2007-03-09 2008-09-18 Fortemedia, Inc. Method and apparatus for voice communication
JP4469882B2 (ja) * 2007-08-16 2010-06-02 株式会社東芝 音響信号処理方法及び装置
EP2192579A4 (en) * 2007-09-19 2016-06-08 Nec Corp NOISE SUPPRESSION DEVICE, ITS METHOD AND PROGRAM
KR100930584B1 (ko) * 2007-09-19 2009-12-09 한국전자통신연구원 인간 음성의 유성음 특징을 이용한 음성 판별 방법 및 장치
JP2009116275A (ja) * 2007-11-09 2009-05-28 Toshiba Corp 雑音抑圧、音声スペクトル平滑化、音声特徴抽出、音声認識及び音声モデルトレーニングための方法及び装置
US8175291B2 (en) * 2007-12-19 2012-05-08 Qualcomm Incorporated Systems, methods, and apparatus for multi-microphone based speech enhancement
US9142221B2 (en) * 2008-04-07 2015-09-22 Cambridge Silicon Radio Limited Noise reduction
WO2010091077A1 (en) * 2009-02-03 2010-08-12 University Of Ottawa Method and system for a multi-microphone noise reduction
JP5127754B2 (ja) * 2009-03-24 2013-01-23 株式会社東芝 信号処理装置
CN102111697B (zh) * 2009-12-28 2015-03-25 歌尔声学股份有限公司 一种麦克风阵列降噪控制方法及装置
JP5641186B2 (ja) * 2010-01-13 2014-12-17 ヤマハ株式会社 雑音抑圧装置およびプログラム
US8989403B2 (en) * 2010-03-09 2015-03-24 Mitsubishi Electric Corporation Noise suppression device
US8798992B2 (en) * 2010-05-19 2014-08-05 Disney Enterprises, Inc. Audio noise modification for event broadcasting
WO2011148860A1 (ja) * 2010-05-24 2011-12-01 日本電気株式会社 信号処理方法、情報処理装置、及び信号処理プログラム
US9408542B1 (en) * 2010-07-22 2016-08-09 Masimo Corporation Non-invasive blood pressure measurement system
US8861756B2 (en) * 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US9142207B2 (en) * 2010-12-03 2015-09-22 Cirrus Logic, Inc. Oversight control of an adaptive noise canceler in a personal audio device
JP6012621B2 (ja) * 2010-12-15 2016-10-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． リモートノイズ検知器を使用したノイズ削減システム
WO2012105940A1 (en) 2011-01-31 2012-08-09 Empire Technology Development Llc Speech quality enhancement in telecommunication system
US8948407B2 (en) * 2011-06-03 2015-02-03 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9002027B2 (en) * 2011-06-27 2015-04-07 Gentex Corporation Space-time noise reduction system for use in a vehicle and method of forming same
US9680497B2 (en) * 2014-03-26 2017-06-13 Syntropy Systems, Llc Conversion of a discrete-time quantized signal into a continuous-time, continuously variable signal
US20130094657A1 (en) * 2011-10-12 2013-04-18 University Of Connecticut Method and device for improving the audibility, localization and intelligibility of sounds, and comfort of communication devices worn on or in the ear
US20130163781A1 (en) * 2011-12-22 2013-06-27 Broadcom Corporation Breathing noise suppression for audio signals
JP5875414B2 (ja) * 2012-03-07 2016-03-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 雑音抑制方法、プログラム及び装置
US9002030B2 (en) * 2012-05-01 2015-04-07 Audyssey Laboratories, Inc. System and method for performing voice activity detection
US20160240210A1 (en) * 2012-07-22 2016-08-18 Xia Lou Speech Enhancement to Improve Speech Intelligibility and Automatic Speech Recognition
US9805738B2 (en) * 2012-09-04 2017-10-31 Nuance Communications, Inc. Formant dependent speech signal enhancement
EP2747081A1 (en) * 2012-12-18 2014-06-25 Oticon A/s An audio processing device comprising artifact reduction
US9275625B2 (en) * 2013-03-06 2016-03-01 Qualcomm Incorporated Content based noise suppression
JP5588054B1 (ja) * 2013-09-06 2014-09-10 リオン株式会社 補聴器、拡声器及びハウリングキャンセラ
US9633671B2 (en) * 2013-10-18 2017-04-25 Apple Inc. Voice quality enhancement techniques, speech recognition techniques, and related systems
US9449615B2 (en) * 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Externally estimated SNR based modifiers for internal MMSE calculators
US9449609B2 (en) * 2013-11-07 2016-09-20 Continental Automotive Systems, Inc. Accurate forward SNR estimation based on MMSE speech probability presence
AU2014363973B2 (en) * 2013-12-11 2017-03-02 Med-El Elektromedizinische Geraete Gmbh Automatic selection of reduction or enhancement of transient sounds
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
US9479860B2 (en) * 2014-03-07 2016-10-25 Cirrus Logic, Inc. Systems and methods for enhancing performance of audio transducer based on detection of transducer status
DK2916321T3 (en) * 2014-03-07 2018-01-15 Oticon As Processing a noisy audio signal to estimate target and noise spectral variations
US10181315B2 (en) * 2014-06-13 2019-01-15 Cirrus Logic, Inc. Systems and methods for selectively enabling and disabling adaptation of an adaptive noise cancellation system
US9466282B2 (en) * 2014-10-31 2016-10-11 Qualcomm Incorporated Variable rate adaptive active noise cancellation
US9576583B1 (en) * 2014-12-01 2017-02-21 Cedar Audio Ltd Restoring audio signals with mask and latent variables

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130142349A1 (en) * 2011-09-05 2013-06-06 Goertek Inc. Method, device and system for eliminating noises with multi-microphone array
US20130343558A1 (en) * 2012-06-26 2013-12-26 Parrot Method for denoising an acoustic signal for a multi-microphone audio device operating in a noisy environment

Also Published As

Publication number Publication date
WO2015195482A1 (en) 2015-12-23
US20150373453A1 (en) 2015-12-24
CN106797517A (zh) 2017-05-31
CN106797517B (zh) 2019-12-17
JP6789827B2 (ja) 2020-11-25
EP3158775A4 (en) 2018-02-21
EP3158775A1 (en) 2017-04-26
KR102378207B1 (ko) 2022-03-25
US10149047B2 (en) 2018-12-04
JP2017522594A (ja) 2017-08-10

Similar Documents

Publication Publication Date Title
US20200273442A1 (en) Single-channel, binaural and multi-channel dereverberation
US10827263B2 (en) Adaptive beamforming
US8781137B1 (en) Wind noise detection and suppression
EP3526979B1 (en) Method and apparatus for output signal equalization between microphones
US8682006B1 (en) Noise suppression based on null coherence
US20130322643A1 (en) Multi-Microphone Robust Noise Suppression
US20170092256A1 (en) Adaptive block matrix using pre-whitening for adaptive beam forming
EP3203473B1 (en) A monaural speech intelligibility predictor unit, a hearing aid and a binaural hearing system
US8761410B1 (en) Systems and methods for multi-channel dereverberation
US9082411B2 (en) Method to reduce artifacts in algorithms with fast-varying gain
US9378754B1 (en) Adaptive spatial classifier for multi-microphone systems
KR102378207B1 (ko) 오디오 신호들을 정제하는 멀티 오럴 mmse 분석 기술들
CN110140294B (zh) 用于均衡音频信号的方法和装置
Hersbach et al. Algorithms to improve listening in noise for cochlear implant users

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant