KR20100053502A - 오디오 신호들을 처리하는 디바이스 및 방법 - Google Patents

오디오 신호들을 처리하는 디바이스 및 방법 Download PDF

Info

Publication number
KR20100053502A
KR20100053502A KR1020107001336A KR20107001336A KR20100053502A KR 20100053502 A KR20100053502 A KR 20100053502A KR 1020107001336 A KR1020107001336 A KR 1020107001336A KR 20107001336 A KR20107001336 A KR 20107001336A KR 20100053502 A KR20100053502 A KR 20100053502A
Authority
KR
South Korea
Prior art keywords
signal
echo
audio signal
audio
echo signal
Prior art date
Application number
KR1020107001336A
Other languages
English (en)
Other versions
KR101469739B1 (ko
Inventor
라이나 테덴
코르넬리스 피. 얀스
데이비드 에이. 씨. 엠. 루버스
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20100053502A publication Critical patent/KR20100053502A/ko
Application granted granted Critical
Publication of KR101469739B1 publication Critical patent/KR101469739B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

스피커 전화들의 음향 에코 제거 동안 비-선형 에코 경로들에 대처하는데 적합한 방법이 제공된다. 비-선형 경로들은 구체적으로 비-선형 영역에서 증폭기 및 라우드스피커를 구동하는 것에 기인하여 예를 들어, 모바일 전화의 핸즈-프리 동작에서 발생한다. 사상은 적응형 필터 및 후-처리기를 함께 이용하는 선형 음향 에코 제거의 흔히 알려진 하나의 마이크로폰 방식을 에코의 비-선형 부분을 개별적으로 제거하는 빔 형성을 이용하는 다수의 마이크로폰 방식과 조합하는 것이다.

Description

오디오 신호들을 처리하는 디바이스 및 방법{A device for and a method of processing audio signals}
본 발명은 오디오 신호들을 처리하는 디바이스에 관한 것이다.
또한, 본 발명은 오디오 신호들을 처리하는 방법에 관한 것이다.
또한, 본 발명은 프로그램 요소에 관한 것이다.
또한, 본 발명은 컴퓨터-판독가능 매체에 관한 것이다.
오디오 왜곡들의 억제를 위한 시스템들은 구체적으로, 모바일 전화들, 카 키트들(car kits), 오디오 및 원격지간 회의 시스템들, 핸즈-프리 음성 인식 디바이스들 등과 같은 고-품질 핸즈-프리 원격통신 시스템들 분야에서, 점점 중요해지고 있다.
WO 2005/076662는 오디오 왜곡을 억제하는데 적합한 시스템을 개시한다. 시스템은 오디오 출력과 소정의 왜곡된 오디오 감지 마이크로폰 어레이간에 결합된 에코 제거 수단 및 에코 제거 수단 및/또는 상기 마이크로폰 어레이에 결합되는 필터 장치를 포함한다. 필터 장치는 반향음(reverberation)과 같은 오디오 왜곡의 적어도 일부를 나타내는 필터 계수들을 포함한다. 시스템은 시뮬레이션된 오디오 왜곡 대표 필터 계수 값들이 상기 필터 장치의 필터 계수들로 복제하기 위해 적어도 부분적으로 반사되는 회로 장치를 또한 포함한다. 이후, 이러한 복제된 값들은 필터 장치들에 의해 소정의 왜곡된 신호의 반향음을 억제하는데 사용될 수 있다. 이러한 시스템 및 필터 장치는 마이크로폰 어레이에 의해 감지된 오디오 신호에서 에코 테일부 반향음(echo tail part reverberation)의 형태의 에코 왜곡을 억제하는데 적합할 수 있다.
그러나, 오디오 시스템, 구체적으로 핸즈-프리 원격통신 시스템에서 에코 제거를 더욱 개선하는 시스템을 여전히 제공할 필요가 있다.
본 발명의 목적은 효율적인 에코 제거 오디오 시스템 및 에코 제거 방법을 제공하는 것이다.
앞서 정의한 목적을 달성하기 위해, 독립 청구항들에 따른 오디오 신호들을 처리하는 디바이스, 오디오 신호들을 처리하는 방법, 프로그램 요소, 및 컴퓨터-판독가능 매체가 제공된다.
예시적인 실시예에 따라, 오디오 신호를 처리하는 디바이스는 선-처리 유닛, 및 후-처리 유닛을 포함하고, 여기서 선-처리 유닛은 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하도록 적응되고, 수신된 제 1 오디오 신호 및 픽-업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하도록 또한 적응되고, 후-처리 유닛은 제 1 에코 신호 및 제 2 에코 신호를 고려하여 픽-업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 후-처리하도록 적응된다.
예시적인 실시예에 따라, 픽-업된 오디오 신호를 처리하는 방법은 제 1 오디오 신호를 수신하는 단계, 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하는 단계; 제 2 오디오 신호를 픽업(picking up)하는 단계; 수신된 제 1 오디오 신호 및 픽업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하는 단계; 제 1 에코 신호 및 상기 제 2 에코 신호를 고려하여 픽업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하는 단계를 포함한다. 구체적으로, 제 1 에코 신호의 추정은 픽-업된 제 2 오디오 신호에 또한 기초할 수 있고, 예를 들어, 픽-업된 제 2 오디오 신호는 제 1 에코 신호의 추정에 대한 제어 신호를 생성하기 위한 입력으로서 사용될 수 있다. 그러나, 많은 경우들에서, 픽-업된 제 2 오디오 신호는 제 1 에코 신호가 유도되는 입력 신호가 아니라, 제 1 에코 신호의 추정에 의해 사용되는 제어 신호를 생성하기 위한 신호로서만 사용된다. 이는, 많은 경우들에서 제 2 에코 신호의 추정에 있어 픽-업된 제 2 오디오 신호는 추정을 위한 제어 신호를 생성하는데만 사용되는 것이 아니라 제 2 에코 신호가 유도되는 신호 성분이기 때문에, 제 2 에코 신호의 추정과 대비될 수 있다.
예시적인 실시예에 따라, 프로세서에 의해 실행될 때, 오디오 신호 처리 방법을 제어 또는 수행하도록 적응되는 프로그램 요소가 제공되는데, 여기서 상기 방법은, 제 1 오디오 신호를 수신하는 단계, 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하는 단계; 제 2 오디오 신호를 픽업하는 단계; 수신된 제 1 오디오 신호 및 픽업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하는 단계; 및 제 1 에코 신호 및 상기 제 2 에코 신호를 고려하여 상기 픽업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하는 단계를 포함한다.
예시적인 실시예에 따라, 프로세서에 의해 실행될 때, 오디오 신호 처리 방법을 제어 또는 수행하도록 적응되는 컴퓨터 프로그램이 저장된 컴퓨터-판독가능 매체가 제공되는데, 상기 방법은, 제 1 오디오 신호를 수신하는 단계; 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하는 단계; 제 2 오디오 신호를 픽업하는 단계; 수신된 제 1 오디오 신호 및 픽업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하는 단계; 및 상기 제 1 에코 신호 및 상기 제 2 에코 신호를 고려하여 상기 픽업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하는 단계를 포함한다.
본 발명의 실시예들에 따른 오디오 처리는 컴퓨터 프로그램 즉, 소프트웨어에 의해 또는 하드웨어인 하나 이상의 특정 전자 최적화 회로들 또는 소프트웨어 성분들 및 하드웨어 성분들에 의한 하이브리드 형태를 이용하여 실현될 수 있다.
본 명세서에서, 용어 "비-선형 에코 신호"는 구체적으로 각각의 비-선형 영역에서 작동하는 트랜스듀서 체인(transducer chain)의 부분들 예를 들어, 라우드스피커들에 의해 도입된 에코 신호를 나타낼 수 있다. 이는 예를 들어, 증폭기들 및 라우드스피커들에 대해서도 마찬가지일 수 있다. 또 다른 종류의 비-선형 에코 신호들은 하우징의 기계적 진동들에 의해 초래될 수 있다. 모든 이러한 이유들은 예를 들어, 전화 또는 모바일 전화, 카 키트들, 오디오 및 원격회의 시스템들, 핸즈-프리 음성 인식 디바이스들의 마이크로폰 신호에서 비-선형적으로 왜곡된 에코 성분들을 발생시킬 수 있다.
본 명세서에서, 용어 "픽-업된 오디오 신호" 또는 "픽-업된 오디오 데이터"는 구체적으로 예를 들어, 전화 또는 모바일 전화와 같은 통신 디바이스의 마이크로폰과 같은 마이크로폰에 의해 픽업된 오디오 신호를 나타낼 수 있다. 구체적으로, 이 용어는 이러한 음향파로부터 발생된 전기 신호를 표시할 수 있다.
본 명세서에서, 용어 "수신된 오디오 신호"는 구체적으로 예를 들어, 다른 통신 디바이스로부터 오디오 신호를 수신하는 디바이스로 전송된 신호와 같이 통신 디바이스에 의해 수신된 신호를 나타낼 수 있다. 수신된 오디오 신호는 통신의 견지에서 소위 파 엔드 신호(far end signal)에 대응할 수 있다. 즉, 선을 통해 또는 공중 전송에 의해 하나의 통신 디바이스로부터 이른바 니어-엔드 디바이스인 제 2 통신 디바이스로 전송되는 오디오 신호이다.
본 명세서에서, 용어 "에코"는 구체적으로 제 1 디바이스에 의해 송신된 수신된 신호에 의해 제 2 디바이스로부터 제 1 디바이스로 되돌아 전송되도록 의도된 픽-업된 신호내로 도입되는 교란(disturbance)을 나타낸다. 예를 들어, 제 1 디바이스 및 제 2 디바이스는 모바일 전화들과 같은 통신 디바이스들일 수 있다. 이 경우, 이러한 "에코들"은 구체적으로 이른바 프리-스피치(free-speech)에서, 즉, 통신하는 사람들이 모바일 전화를 그들의 귀에 가깝게 유지하지 않는 상태에서 통신이 이루어지는 경우 성가시게 하거나 문제들을 초래할 수 있다.
픽-업된 오디오 신호의 선형 에코 성분들과 비-선형 에코 성분들을 분리함으로써, 이 두 성분들에 대해 예를 들어, 스펙트럼 차감(spectral subtraction)과 같은 후-처리를 독립적으로 제어하는 것이 가능할 수 있고, 이는 선형 에코에 대해 높은 과차감을 사용해야만 하는 문제를 극복할 수 있다. 또한, 선형 에코 성분은 잘 확립되고 내구성이 있으며 실용적이라고 판명된 선형 에코 제거기들을 이용하여 제거될 수 있고, 부가적으로 예를 들어, 빔 형성 방식(beam forming approach)을 이용함으로써 비선형성들에 대처하기 위한 해결책들이 제공될 수 있다.
본 발명의 예시적인 양태의 요점은 선형 에코 제거가 비-선형 에코들을 또한 고려하는 에코 제거와 조합될 수 있다는 사실을 알 수 있다는 점이다. 이러한 비-선형 에코 제거는 이른바 빔 형성을 이용함으로써 수행될 수 있다. 따라서, 디바이스의 후처리기에서 선형 및 비-선형 에코들의 스펙트럼 차감을 독립적으로 제어할 수 있게 할 수 있는 선형 및 비-선형 에코들의 분리가 가능하게 될 수 있다.
다음, 본 발명의 추가의 예시적인 실시예들이 기술될 것이다.
이하에서, 오디오 신호들을 처리하는 디바이스의 추가의 예시적인 실시예들이 설명될 것이다. 그러나, 이 실시예들은 또한 오디오 신호들을 처리하는 방법, 프로그램 요소 및 컴퓨터-판독가능 매체에 적용한다.
디바이스의 다른 예시적인 실시예에 따라, 후-처리 유닛은 디바이스가 수신된 오디오 신호를 수신하는 시간 기간들에만 제 2 에코 신호를 고려하도록 또한 적응된다.
이러한 시간 기간들은 예를 들어, 전화 또는 모바일 전화와 같은 원격통신 디바이스의 경우들에서, 파 엔드 스피치가 존재하는 시간 기간들일 수 있다. 이러한 방식으로 후-처리 유닛을 적응시킴으로써, 구체적으로는 파 엔드 활동이 제공되는 경우 비-선형 성분 또는 부분이 어떠한 에코도 포함하지 않을 수 있기 때문에 사용된 처리 알고리즘을 단순하게 하는 것이 가능할 수 있다. 또한, 어떠한 파 엔드 활동 또는 파 엔드 스피치도 존재하지 않는 경우, 즉 니어-엔드 스피치만이 존재하는 경우, 픽-업된 오디오 신호는 예를 들어, 후-처리 유닛의 소자 또는 부분의 스피치 누설에 의한 것과 같은 스피치 누설에 의해 영향을 받지 않을 수 있다.
디바이스의 다른 예시적인 실시예에 따라, 선-처리 유닛은 제 1 중간 에코 신호 및 제 2 중간 에코 신호를 추정하는 2개의 필터 유닛들을 포함한다. 이러한 추정은 오디오 소스 유닛 및 픽-업 유닛 사이에 방출된 오디오 신호에 대한 에코 경로의 영향(influence)을 추정함으로써 이루어질 수 있다. 대안적으로, 선-처리 유닛은 하나의 필터 유닛만을 포함할 수 있다. 구체적으로, 필터(들)는 픽-업된 제 2 오디오 신호 및 적응형 필터(들)의 출력 신호 그 자체에 기초하여 제어 신호에 의해 제어될 수 있는 적응형 필터(들)에 의해 형성될 수 있다. 즉 피드백 메커니즘이 적응형 필터(들)를 제어하도록 구현될 수 있다.
디바이스의 다른 예시적인 실시예에 따라, 선-처리 유닛은 제 1 에코 신호 및 제 2 에코 신호를 추정하는 빔 형성 유닛을 포함한다. 구체적으로, 빔 형성 유닛은 제 1 중간 에코 신호, 제 2 중간 에코 신호, 및 선처리된 픽-업된 제 2 오디오 신호를 수신하도록 적응될 수 있다.
본 명세서에서, 용어 "선처리된 픽-업된 오디오 신호"는 구체적으로 예를 들어, 선형 에코 보상 이후의 빔 형성에 의해 또는 픽-업된 제 2 오디오 신호로부터 중간 에코 신호들을 차감함으로써 이미 처리된 픽-업된 오디오 신호를 나타낼 수 있다.
이러함 빔 형성 유닛은 소정의 출력 오디오 신호 즉, 에코 성분이 감소한 디바이스의 출력 오디오 신호를 생성하도록, 에코 제거를 수행하는데 추후에 사용될 수 있는 비-선형 에코 성분을 결정 및/또는 추정하는데 적절한 소자일 수 있다.
디바이스의 다른 예시적인 실시예에 따라, 빔 형성 유닛은 제 1 빔 형성 서브유닛 및 제 2 빔 형성 서브유닛을 포함한다. 구체적으로, 제 1 빔 형성 서브유닛은 제 1 출력 신호 및 제 3 중간 에코 신호를 생성하도록 적응될 수 있다. 선택적으로, 제 1 빔 형성 유닛은 제 2 에코 신호를 생성하도록 제 3 중간 에코 신호를 필터링하는 부가적인 필터 유닛을 포함할 수 있다. 입력으로서 제 1 빔 형성 서브유닛은 선처리된 픽-업된 제 2 오디오 신호를 수신할 수 있다.
디바이스의 다른 예시적인 실시예에 따라, 제 1 빔 형성 서브유닛은 제 1 출력 신호의 출력 파워가 최대가 되는 방식으로 제어 계수들의 값들을 결정하도록 또한 적응된다.
디바이스의 다른 예시적인 실시예에 따라, 제 2 빔 형성 서브유닛은 제 1 중간 에코 신호 및 제 2 중간 에코 신호를 수신하도록 적응되고, 추가로 제어 계수들의 값을 이용함으로써 제 1 에코 신호를 생성하도록 적응된다.
제 1 중간 에코 신호 및 제 2 중간 에코 신호를 제 2 빔 형성 서브유닛에 공급함으로써 선형 에코 성분이 이른바 잔여 신호 즉, 제 1 중간 에코 신호 및 제 2 중간 에코 신호들이 각각 차감되는 제 1 부분 및 제 2 부분을 포함할 수 있는 픽-업된 제 2 오디오 신호와 동일한 방식으로 처리될 수 있다는 것이 보장될 수 있다. 제 2 오디오 신호의 제 1 부분 및 제 2 부분을 픽업하는 데 있어, 디바이스는 픽-업된 제 2 오디오 신호의 제 1 부분을 픽업하도록 적응되는 제 1 픽-업 유닛 및 픽-업된 제 2 오디오 신호의 제 2 부분을 픽업하도록 적응되는 제 2 픽-업 유닛을 포함할 수 있다. 2 개 이상의 픽-업 유닛들이 이용될 수 있다는 것이 주의되어야 한다.
디바이스의 다른 예시적인 실시예에 따라, 후-처리 유닛은 합산된 제 1 출력 신호 및 제 1 에코 신호로부터 제 1 에코 신호, 제 2 에코 신호를 스펙트럼 차감함으로써 제 1 출력 신호, 제 1 에코 신호 및 제 2 에코 신호에 기초하여 출력 신호를 생성하도록 적응된다. 구체적으로, 후-처리 유닛은 제 1 출력 신호, 제 2 에코 신호 및 그 선형 조합들의 진폭 스펙트럼들로부터 이득 함수를 생성하도록 적응될 수 있다. 이러한 선형 조합은 구체적으로 제 1 출력 신호 및 제 1 에코 신호의 합, 또는 제 1 출력 신호 및 제 2 에코 신호간의 차일 수 있다. 이러한 이득 함수는 제 1 출력 신호의 스펙트럼, 또는 제 1 출력 신호 및 제 2 에코 신호의 차의 스펙트럼을 상기 이득 함수로 곱하는데 이용될 수 있다. 특히, 제 1 출력 신호는 이득 함수와 승산 전에 지연된다. 이득 함수를 이용함으로써, 출력 신호 및 제 1 출력 신호, 또는 제 1 출력 신호 및 제 2 에코 신호의 차가 동일한 위상을 가질 수 있다는 것이 보장될 수 있다.
이하에서, 오디오 신호들을 처리하는 방법의 다른 예시적인 실시예들이 설명될 것이다. 그러나, 이들 실시예들 또한 오디오 신호들을 처리하는 방법, 프로그램 요소 및 컴퓨터-판독가능 매체에 적용한다.
방법의 다른 예시적인 실시예에 따라, 픽-업된 신호의 처리는 스펙트럼 차감을 수반한다. 구체적으로, 스펙트럼 차감은 제 1 에코 신호 및 제 2 에코 신호에 대해 독립적으로 수행될 수 있다.
본 발명의 예시적인 양태는 선형 에코 제거를 빔 형성과 조합하고 이에 의해 후 처리기에서의 선형 및 비-선형 에코들의 스펙트럼 차감을 독립적으로 제어할 수 있게 할 수 있는 선형 및 비-선형 에코의 분리가 가능하다는 사실을 알 수 있다. 선형 에코는 2개의 적응형 필터들 및 후 처리기 또는 후-처리 유닛을 이용하여 제거될 수 있고, 비-선형 부분은 예를 들어, 마이크로폰들과 같은 2개 이상의 픽-업 유닛들을 이용하고, 빔 형성을 적용하고, 이른바 생성된 측 로브 제거기(side lobe canceller)에 의해 억제될 수 있는 간섭원으로서 예를 들어, 라우드스피커와 같은 오디오 소스 유닛을 고려하여 처리될 수 있다. 이 경우에, 신호 경로가 비-선형인 경우 즉, 신호 경로의 영향이 오디오 소스 유닛 및 픽-업 유닛 사이를 이동하는 경우, 문제가 되지 않을 수 있는데, 그 이유는 이상적으로는, 오디오 소스 유닛의 방향으로부터 나오는 임의의 소리는 생성된 측 로브 제거기의 방향 특성으로 인해 억제될 수 있기 때문이다. 제거된 선형 에코가 제 2의 "고정된" 빔 형성기를 통과할 수 있는데, 여기서 "고정된"은 제 1 적응형 빔 형성기와 동일한 계수들을 이용할 수 있다는 것을 의미한다. 이와 관련하여, 인입하는 신호를 소정의 스피치 신호, 선형 에코 및 비-선형 에코로 분리하는 것이 가능할 수 있다. 이는 비-선형 부분 또는 비-선형 성분에 대한 스펙트럼 차감을 독립적으로 제어하는 것을 허용할 수 있고, 이는 선형 에코에 대해 높은 과 차감을 이용해야만 하는 문제를 극복할 수 있다. 예시적인 양태에 따른 빔 형성 접근을 이용할 때, 스피커 및/또는 예를 들어, 전화와 같은 통신 디바이스 자체가 이동하는 경우들에 선형 에코 성분에 대한 적어도 충분한 에코 억제를 전달하는 것이 가능할 수 있다. 또한, 디바이스의 라우드스피커가 소정의 스피커의 각(angle)에 근접한 각에 있을 때조차도 충분한 에코 제거를 전달하는 것이 가능할 수 있다. 또한, 제 1 적응형 빔 형성기가 제 1 출력 신호 및 스피치 누설이 전혀 없거나 거의 없는 이른바 기준 출력 또는 중간 에코 신호를 제공하기 때문에, 스피치 신호의 이른바 적변(coloration)을 방지하는 것이 가능할 수 있다.
상술한 본 발명의 예시적인 실시예들 및 양태들은 이하에 기술되는 실시예들의 예들로부터 명확해지고, 상기 실시예들의 예들을 참조하여 설명된다.
본 발명은 본 발명을 제한하는 것이 아니라 실시예의 예시들로서 참조하여 아래서 보다 상세히 기술될 것이다.
본 발명은 효율적인 에코 제거 오디오 시스템 및 에코 제거 방법을 달성하기 위한 오디오 신호들을 처리하는 디바이스, 오디오 신호들을 처리하는 방법, 프로그램 요소, 및 컴퓨터-판독가능 매체를 제공한다.
도 1은 핸즈 프리 원격통신 시스템의 음향 에코들을 개략적으로 도시하는 도면.
도 2는 후처리기를 갖는 에코 제거 시스템의 원리들을 개략적으로 도시하는 도면.
도 3은 빔 형성 유닛 및 적응형 필터를 포함하는 생성된 측 로브 제거기의 원리들을 개략적으로 도시하는 도면.
도 4는 본 발명의 예시적인 실시예에 따른 오디오 처리용 디바이스를 개략적으로 도시하는 도면.
도 5는 파 엔드 스피치 동안 출력 신호들을 개략적으로 도시하는 도면.
도면들의 예시는 개략적이다. 서로 다른 도면들에서, 유사하거나 동일한 요소들은 동일한 참조 부호들을 구비한다.
도 1 내지 도 3을 참조하여, 이하에서 예를 들어, 모바일 전화들과 같은 통신 디바이스들에서의 에코 제거들의 일부 기존 원리들이 설명될 것이다.
모바일 전화들, 카 키트들, 오디오 및 비디오 원격지간 회의 시스템들, 핸즈-프리 음성 인식 디바이스들, PDA들 등과 같은 고-품질 핸즈-프리 원격통신 시스템들에 대한 수요가 급격히 증가하고 있다. 시스템 제조업자들은 이러한 시스템들의 오디오 품질이 소비자의 수용성 및 만족도에서 가장 중요하다는 것을 인지하였다. 동시에 듣는 피로(listenning fatigue)가 감소하면 대화가 계속 지속되기 때문에 보다 높은 수익을 얻는 네트워크 운용자들에 대해서도 마찬가지다. 핸즈-프리 음향 원격통신 시스템들에 수반되는 매우 중요한 문제는 풀-듀플렉스 동작(full-duplex operation)을 유지하는 동안 음향 에코들의 제거에 관한 것이고, 앞으로 보다 상세히 기술될 것이다. 우선, 도 1 및 2를 참조하여, 추후에 음향 에코 제거 문제가 설명되기 이전에 음향 원격통신 시스템의 일반적인 설정이 설명된다.
도 1은 각각이 라우드스피커(103 및 104), 마이크로폰(105 및 106)을 각각 포함하는 2개의 음향 원격통신 디바이스들(101 및 102)을 포함하는 원격통신 시스템(100)을 개략적으로 도시한다. 네트워크(107)는 이 두 개의 원격통신 디바이스들을 링크한다. 또한, 2명의 참여자들이 (108 및 109)로서 개략적으로 도시된다.
2개의 원격통신 디바이스들(101 및 102)은 소정의 네트워크 또는 통신 링크(107)를 통해 서로 신호들을 주고 받는다(도 1 참조). 각각의 측에서, 다른 측으로부터 수신된 신호는 (기저대역 디지털 신호로 복조된 이후)처리되고, D/A 변환기(210)에 의해 디지털로부터 아날로그 신호로 변환되고, 제 1 증폭기(211)에 의해 증폭되고 나서 라우드스피커(203)에 의해 재생된다(도 2 참조). 동시에, 각 측에서,로컬 음향 신호가 마이크로폰(205)에 의해 기록되고, 제 2 증폭기(212)에 의해 증폭되고, A/D 변환기(213)에 의해 아날로그로부터 디지털 신호로 변환되고, 후-처리 유닛(214)에 의해 처리되고 나서 (적절한 변조 후에)다른 측에 전송된다(도 2 참조). 그러므로, 각 터미널에서, 기록 및 수신된 디지털 신호들은 처리를 위해 사용된다. 도면에서 알 수 있는 바와 같이, 파 엔드 측(far end side)이 또한 핸즈-프리 모드에서 동작하는 경우, 원칙적으로 문제가 되는 설정이 대칭적이다. 아래에서, 문제가 되는 시나리오가 핸즈-프리 모드로 동작하도록 가정되는 니어-엔드 측(near-end side)의 관점에서 고려된다. 또한, 적응형 필터(215) 및 제어 유닛(216)이 도 2에서 개략적으로 도시된다.
라우드스피커(203)가 파-엔드 신호를 니어-엔드 통신 디바이스(near-end communication device) 주변의 환경에 방출하면, 니어-엔드 사용자가 파-엔드 신호를 들을 수 있는 원하는 효과 이외에, 라우드스피커(203) 신호가 마이크로폰(205)에도 전파된다는 원하지 않는 효과도 존재한다. 그러므로, 원하는 니어-엔드 스피치 신호 외에, 마이크로폰에 의해 기록된 신호는 니어-엔드 음향 경로에 의해 필터링된 파-엔드 신호를 포함한다. 미처리된 마이크로폰 신호가 파-엔드 측에 송신되는 경우, 파-엔드 사용자는 또한 그 자신의 음성을 재차 들을 수 있다. 즉, 에코가 존재할 수 있다. 파-엔드 라우드스피커와 마이크로폰 간의 강한 음향 결합의 경우, 이 과정의 반복은 신호들의 "하울링(howling)"을 발생시킬 수 있다.
음향 에코 제거의 목적은, 동시에 한 참여자만이 말할 수 있는 하프-듀플렉스 통신(half-duplex communication)과 대조되게, 니어-엔드 스피치 신호를 보유하는 동안 니어-엔드측에서 생성된 에코 신호를 제거함으로써, 풀-듀플렉스 통신을 허용하고, 하울링을 방지하는 것이다. 풀-듀플렉스 스피치 통신의 적절한 양태는 니어-엔드 화자가 활성의 파-엔드 화자를 중단할 수 있다는 것에 주의해야 한다. 두 참여자들이 말을 할 때 소위 이중 대화(double talk)라 칭하는 짧은 기간 동안, 니어-엔드 스피치 신호들이 왜곡되지 않은 채로 남아있는 것은 별로 중요하지 않다.
음향 에코 제거기의 기본 아이디어는 파-엔드 신호와 마이크로폰 신호를 이용하여 니어-엔드 마이크로폰 신호의 파-엔드 에코 성분을 추정하는 것이다. 그 후, 이 에코는 마이크로폰 신호로부터 차감되고, 이상적으로는 니어-엔드 스피치 신호만을 포함하는 신호를 산출한다. 그 후, 깨끗해진 마이크로폰 신호는 가능하게는, 잡음 억제와 같은 다른 처리 이후에 파-엔드 측에 전송된다.
핸즈-프리 모드에서, 핸드-셋 모드에 비해 사용자와 디바이스간의 거리가 멀다. 사용자가 파-엔드 신호를 깨끗하게 듣는 것을 가능하게 하기 위해, 라우드스피커는 대형 사운드 압력 레벨을 생성해야 한다. 모바일 전화에서 라우드스피커 및 마이크로폰이 상당히 근접하게 이격된다는 사실과 조합되면, 이는 니어-엔드 스피치 신호에 비해 매우 강한 에코 신호를 발생시킨다. 통상적인 시나리오에서, 에코 대 니어-엔드 스피치 신호의 비는 10 내지 25 dB의 범위에 있을 수 있다. 또한, 라우드스피커에 의해 생성되는 대형 사운드 압력 레벨로 인해, 트랜스듀서 체인의 몇몇(저렴한) 부분들은 그들의 비선형 영역에서 동작한다. 예를 들어, 이는 증폭기 및 라우드스피커에 대해서 마찬가지다. 다른 종류의 비선형성은 전화 하우징의 기계적인 진동들에 의해 초래된다. 이러한 모든 원인들은 마이크로폰 신호에서 비-선형적으로 왜곡된 에코 성분들을 발생시킨다: 시장에서 이용가능한 대부분의 모바일들 및 다른 음향 원격통신 디바이스들이 선형 음향 에코 제거기들(AEC들)을 채택하고 있기 때문에, 이들은 비선형적으로 왜곡된 에코들을 적절하게 처리할 수 없다. 그러나, 이는 더 한층 양호한 품질이 요구되기 때문에 매우 중요하다.
일반적으로 AEC는 보통 2개의 주요 부분들로 구성된다(도 2 참조). 첫 번째는 파-엔드 신호로부터 마이크로폰 신호로의 전기-기계적-음향적 임펄스 응답(즉, 그중에서도 특히 증폭기 및 라우드스피커 특성들 및 라우드스피커로부터 마이크로폰으로의 음향 임펄스 응답(AIR)을 포함해야 함)을 적응적으로 모델링하는 적응형 필터(215)(일반적으로 유한 임펄스 응답 필터)이다. 적응형 필터는 (N)LMS((Normalized) Least Mean Squares), RLS(Recursive Least Squares), AP(Affine Projection) 알고리즘 또는 당업자에게 알려진 임의의 다른 알고리즘일 수 있다. 실질적으로, 임의의 적응형 필터는 몇몇 이유들에 대한 에코를 부분적으로만 제거할 수 있다. 우선, 상술한 바와 같이, 이는 다양한 비선형성들에 기인한다. 둘째로, 실질적으로 적응형 필터 길이는 복잡성 및 메모리 제약들에 의해 제한되기 때문이다, 즉 계수들이 너무 적어서 모든 역학(dynamics)을 적절하게 모델링할 수 없기 때문이다. 따라서, 시스템은 불충분하게 모델링(under-model)된다. 마지막으로, 터미널 주변의 음향들은 움직임들, 온도 변화 등으로 인해 변경되고, 그럼으로써 적응형 필터들에 대한 트래킹 곤란(tracking difficulty)을 야기한다. 이러한 이유들에 대해, AEC들은 종종 후-처리기(214)로 구성되는 제 2 부분을 갖는다. 이상적으로, 적응형 필터에 의해 제거되지 않은 에코 성분들은 후-처리기에서 억제되는데, 상기 후 처리기는 상당한 파-엔드 에코를 여전히 포함하는 주파수 빈들(frequency bins)을 선택적으로 약화시키는 시간 및 주파수 종속 이득으로 볼 수 있다. 후처리기의 원리적인 기능은 당업자에게 알려져 있다. 후-처리가 일정한 정도로 잔여 에코들을 제거할 수 있지만, 이중 대화동안, 특히 신호 대 에코비들이 열등하고 비-선형 왜곡을 갖는 동안 왜곡을 또한 야기하고, 그럼으로써 풀-듀플렉스 기능을 방해한다.
비록 빔 형성의 기본 원리들은 공간적으로 사운드들을 분리하도록 당업자에게 알려져 있지만, 이른바 FSB(filter and sum beam former)는 임의의 기본 정보가, 생성된 측 로브 제거기(generalized side lobe canceller: GSC)(320) 및 GSC에 대한 입력 디바이스들로서 동작하는 2개의 마이크로폰들(305 및 306)을 도시하는 도 3을 참조하여 아래에서 기술된다. GSC는 2개의 마이크로폰들(305 및 306)에 각각 결합되는 2개의 적응형 필터들(322 및 323)을 포함하는 FSB(321)를 포함한다. 즉, 각 마이크로폰 입력은 적응형 필터에 결합된다. 또한, FSB는 2개의 마이크로폰들에 결합된 차단 매트릭스(324)를 포함한다. 2개의 필터들(322 및 323)의 각각의 출력은 합해져서 제 1 출력(z)을 형성하고, 차단 매트릭스(324)의 출력은, 출력이 제 2 단의 필터 신호(b)에 의해 형성되는 제 2 단 적응형 필터(325)에 입력되는 잡음 기준 신호(x)를 형성한다. 그 후, 제 1 출력(z) 및 필터 신호(y)는 서로로부터 차감되며, 여기서 제 1 출력(z)은 지연 소자(326)에 의해 지연된다.
요컨대, 빔 형성 알고리즘은, 소정의 신호, 반향음 및 잡음을 포함하는 사운드 필드의 다수의 마이크로폰들의 입력에 기초하여, FSB는 신호 대 잡음비 및 이상적으로는 스피치가 아닌 어떤 것을 포함하는 잡음 기준 신호(x)의 견지에서 마이크로폰 입력의 개선된 버전이 되는 제 1 출력 신호를 생성한다고 요약될 수 있다. 실제로, 물론 오정렬(misalignment), 짧은 필터 길이들 및 다른 비-이상적인 조건들로 인해, 제 1 신호가 여전히 잡음을 포함하고 잡음 기준이 스피치 신호의 일부를 포함한다. 빔 형성 알고리즘은 다음과 같이 작동한다. 필터들은 제 1 신호의 출력 파워가 최대가 되도록 적응된다. 차단 매트릭스(324)는 스피치가 아닌 고정 및 비고정 배경 잡음을 포함하는 잡음 기준(x)을 생성하는 스피치 신호를 차단하는데 사용된다.
상황들에서, 다른 간섭원들(간섭하는 스피커들, 회의 시나리오, TV 등)이 제거되면, GSC 구조가 사용된다(도 3 참조). FSB의 빔의 소정의 대화자(talker) 및 배경의 간섭하는 대화자가 다른 각도에 있다고 가정한다. 제 1 출력뿐만 아니라 잡음 기준은 간섭하는 대화자의 원하지 않는 신호를 포함할 것이다. GSC의 제 2 단은 어떠한 소정의 스피치도 존재하지 않을 때 적응하게 허용된다. 이 기간들에 간섭하는 스피치가 있고, 이에 따라 제 2 단 적응형 필터가 제 1 신호에서 이 간섭하는 스피치 성분을 식별하고 이를 차감하여 출력 신호(r)를 발생시키는 것이 유효한 가정이다. 에코 제거를 위해 사용될 때, 제 2 단은 파 엔드 활동만을 적응하고, 따라서 디바이스의 라우드스피커 앞의 파 엔드 신호를 제거한다. 즉, 이러한 방식은 간섭하는 소스(라우드스피커)의 방향의 빔 형성기의 방향성을 무효로 하고자 한다.
이하에서 다소 상세히 기술되는 후-처리기에서, 제 1 신호의 잡음은 잡음 기준 신호(y)를 이용한 스펙트럼 차감(spectral substraction)에 의해 감소될 수 있다. 후-처리기는 스펙트럼 차감 기술들에 기초할 수 있고, FSB(321)의 제 1 출력 신호(z) 및 제 2 단의 필터 신호(y)를 입력으로서 취급할 수 있다. 입력 샘플들은 프래임 단위로 이른바 해닝 윈도우(Hanning window)에 의해 처리되고 이후에 FFT에 의해 주파수 도메인으로 변형된다. 2개의 얻어진 복소수 값의 스펙트럼들은 Z(f) 및 Y(f)로 표시되고, 스펙트럼 크기들은
Figure pct00001
로 나타내고, f는 FFT 결과의 주파수 인덱스를 나타낸다. 잔여 신호 R(f)의 스펙트럼은 복소수 스펙트럼들 Z(f) 및 Y(f)를 차감함으로써 후-처리기에서 간단히 산출된다. 그러면 후-처리기는 다음의 스펙트럼 차감 규칙을 적용한다:
Figure pct00002
여기서, γ 는 스펙트럼 차감의 양에 영향을 미치는 이른바 과(over)-차감 파라미터이다. 출력 스펙트럼 크기
Figure pct00003
는 잔여 신호 R(f)의 위상과 단순히 조합된다. 마지막으로, 시간-도메인 출력 신호(o)는 잘 알려진 중첩 재구성 알고리즘(overlapped reconstruction algorithm)을 이용하여 그의 복소수 스펙트럼으로부터 구성된다.
도 2에서와 같은 음향 에코 제거에 대한 종래 해결책들의 문제점은, 에코 경로(증폭기, 스피커, 마이크로폰으로의 전파(propagation))가 선형이라는 사실에 의존하는데, 앞서 기술한 바와 같이 예를 들어, 모바일 핸즈-프리 전화들의 경우 선형이 아니란 점이다. 따라서, 에코의 비선형 단편(fraction)이 파 엔드 대화자에게 도달할 것이다. 이를 방지하는 일반적인 방식은 후-처리기에서 선형 억제를 보다 높은 값들로 설정하는 특별 차감을 사용하는 것인데, 실제로 이 방식은 너무 많은 선형 신호를 차감하여(과차감) 이중 대화 성능에 심각하게 악영향을 주지 않는 대부분의 비선형성들을 제거한다.
이것을 보다 잘 이해하기 위해, 비선형성들이 발생한 곳을 고려해야만 한다. 라우드스피커 멤브레인(memberane)이 고 편위로 구동될 때, 화자의 음성 코일은 부분적으로 자기장을 남기고, 따라서 전기적 입력 및 음향 출력간의 결합이 감소한다. 예를 들어, 음향 신호의 고조파 왜곡들(다수의 주파수에서)을 유발하는 비선형 영역내로 구동될 때 사인파는, 예를 들어, "라운딩된(rounded)" 상부를 얻을 수 있다. 시간적인 면에서 고찰하면, 비선형성들은 입력 신호의 고 진폭들에서만 발생한다는 것을 의미한다. 보통의 스피치에서, 이러한 고 진폭들은 거의 발생하지 않지만, 이들이 파 엔드 대화자에게 에코로서 되돌아오는 경우, 종종 알아차리기에 충분하고 성가시다. 이는, 예시적인 실시예에 따라, 비선형 억제가 항상 적용되어야 하는 것은 아님을 의미한다. 그러므로, 예시적인 실시예에 따라, 선형 에코에 대한 과차감 파라미터는, 실제로 대부분의 시간 동안 너무 많은 차감을 도입할 것이기 때문에 증가하지 않는다. 대신, 발생했을 때만 비선형성 에코를 차감하는 것이 바람직하다. 주파수 도메인 면에서 고찰하면, 비선형성들은 특정 주파수 대역들만을 차지한다는 것을 알 수 있다. 이들은 선형 신호의 고조파들이기 때문에, 주로 고주파수 영역들에서 발생한다. 음성 코일의 최고 편위들은 모바일 전화들에서 1000Hz 주위인 라우드스피커의 기계적 시스템의 공명 주파수 주위에서 발생한다는 사실에 기인하여, 비선형성들이 기대되는 주파수 영역을 추가적으로 감소시키는 것이 가능하다. 이는 선형 과차감이 증가하지 않는 예시적인 실시예의 제 2의 가능한 이점을 제공하는데, 그 이유는 이러한 실시예에 따르면 그릇된 주파수 빈들(wrong frequency bins)에서 어떠한 차감도 발생하지 않기 때문이다. 예시적인 실시예에 따라, 에코 신호의 비선형 부분들은 제한된 주파수 영역들에서 독립적으로 및 때때로만 제어된다.
도 4는 본 발명의 예시적인 실시예에 따른 오디오 처리용 디바이스를 개략적으로 도시한다. 디바이스(400)는 선-처리 유닛(401) 및 후 처리 유닛(402)을 포함한다. 또한, 디바이스는 라인(404)을 통해 제 1 오디오 신호를 수신하는 라우드스피커(403) 및 픽-업 유닛들로서 작동하는 제 1 마이크로폰(405) 및 제 2 마이크로폰(406)을 포함한다. 선-처리 유닛(401)은 제 1 적응형 필터(407), 제 2 적응형 필터(408), 제 1 빔 형성 서브유닛(410) 및 제 2 빔 형성 서브유닛(411)을 포함하는 빔 형성 유닛(409) 및 부가적인 적응형 필터(412)를 포함한다.
라인(404)은 수신된 제 1 오디오 신호를 제 1 및 제 2 적응형 필터들(407 및 408)로 또한 전송한다. 제 1 적응형 필터(407)의 출력, 예를 들어, 제 1 중간 에코 신호는 제 1 마이크로폰(405)에 의해 픽-업된 오디오 신호로부터 차감되어 픽-업된 제 2 오디오 신호의 제 1 부분을 형성한다. 그 결과의 신호, 예를 들어, 제 1 잔여 신호 또는 선처리된 제 2 오디오 신호의 제 1 부분은 제 1 빔 형성 서브유닛(410)의 제 1 입력을 형성하고, 제 1 적응형 필터(407)에 대한 피드백을 추가로 형성한다. 제 2 적응형 필터(408)의 출력, 예를 들어, 제 2 중간 에코 신호는 제 2 마이크로폰(406)에 의해 픽업된 신호로부터 차감되어 픽-업된 제 2 오디오 신호의 제 2 부분을 형성한다. 그 결과의 신호, 예를 들어, 제 2 잔여 신호 또는 선처리된 제 2 오디오 신호의 제 2 부분은 제 1 빔 형성 서브유닛(410)의 제 2 입력을 형성하고 제 1 적응형 필터(408)에 대한 피드백을 추가로 형성한다. 제 1 적응형 필터(407) 및 제 2 적응형 필터(408)의 출력들, 즉 제 1 중간 에코 신호 및 제 2 중간 에코 신호는, 제 1 지연 소자(413)에 의해 지연되고 이후 후-처리 유닛(402)에 제공되는 제 1 에코 제거 성분에 대응하는 신호 또는 신호(ylin)를 생성하는 제 2 빔 형성 서브유닛(411)에 또한 연결된다. 제 1 에코 제거 성분(ylin)은 선형 에코 성분에 대응한다. 제 1 빔 형성 서브유닛(410)은 제 2 지연 소자(414)에 의해 지연되는 제 1 출력 신호를 생성하고, 그 후 제 1 에코 제거 성분(ylin)에 부가되고, 그 후-처리 유닛(402)에 대한 제 2 입력(z)을 형성한다. 또한, 제 1 빔 형성은 제 2 에코 제거 성분(ynl)을 형성하는 부가적인 적응형 필터(412)에 공급되는 제 3 중간 신호를 생성하는데, 상기 제 2 에코 제거 성분(ylin)은 비-선형 에코 성분에 대응하고, 후-처리 유닛(402)에 제 3 입력으로서 공급된다. 또한, 제 2 에코 제거 성분은 부가적인 적응형 필터(412)를 제어하는데 사용되는 제어 신호를 형성하도록 제 1 빔 형성 서브유닛(410)의 지연된 제 1 출력 신호로부터 차감된다.
이하에서 디바이스(400) 및 에코 제거 디바이스를 구축하는데 사용되는 대응하는 알고리즘의 동작이 보다 상세히 기술될 것이다. 우선, 적응형 필터들(407 및 408)(음향 에코 제거기들이라고도 칭함)는 라우드스피커와 각 마이크로폰간의 경로를 추정한다. 에코의 일부를 여전히 포함하는 선처리된 제 2 오디오 신호의 제 1 및 제 2 부분들이 제 1 빔 형성 서브유닛(410)에 공급된다. 제 1 빔 형성 서브유닛(410)은 그의 제 1 출력(니어-엔드 스피치로 구성되는 것이 바람직함)의 파워가 최대가 되도록 프로그래밍된다. 그 후, 그 계수들은 적응형이 아닌 제 2 빔 형성 서브유닛(411)("쉐도우 빔 형성 서브유닛 또는 쉐도우 FSB라고도 칭함)에 복제된다. 제 1 및 제 2 중간 에코 신호들(도 4의 점선들)이 제 2 빔 형성 서브유닛(411)에 공급된다. 이는 선형 에코가 적응형 필터들(407 및 408)의 잔여 신호들과 동일한 방식으로 처리되는 것을 보장한다. 2개의 빔 형성 서브유닛들(410 및 411)의 출력 신호들이 부가되는 경우, 전체 마이크로폰 신호들은, 신호들이 분리되는 혜택이 없이 제 1 빔 형성 서브유닛(410)에 의해 처리되는 경우와 동일한 결과를 발생할 것이다. 따라서, 제 1 단계로서 에코 신호는 빔 형성 이후에 소정의 스피치 신호 및 비-선형 에코로부터 분리된다. 에코의 선형 부분만이 마이크로폰 입력으로부터 차감되기 때문에, 제 1 빔 형성 서브유닛(410)으로 들어가는 남은 부분들은 에코 경로에 의해 도입된 비-선형 신호들을 여전히 포함한다. 따라서, 제 1 빔 형성 서브유닛(410)뿐만 아니라 제 1 출력도 비선형성들을 역시 포함한다. 이들을 제 1 출력으로부터 부가적으로 제거하기 위해, 부가적인 적응형 필터(412)가 상관된 신호를 식별하고 이를 제거하고자 잡음 기준 및 제 1 출력 사이에 배치된다. 생성된 측 로브 제거기(GSC)의 제 2 단을 형성하는 이러한 부가적인 적응형 필터(412)는 파-엔드 스피치 동안만 적응하도록 허용되고, 이에 따라 라우드스피커 상에서 적응하고, 통상적인 GSC 방식으로서 보는 경우 이를 "간섭 스피커(interfering speaker)"로서 간주한다. (413 및 414)로 표시된 지연 소자들은 부가적인 적응형 필터(412)에 의해 도입된 지연을 보상한다.
도 4에서 도시된 예시적인 실시예에 적용되는 후-처리기는 상술된 하나보다 많은 입력 신호들을 처리하고, 이에 따라 하나 이상의 신호가 스펙트럼으로 차감되고, 이들 차감들 각각은 과-차감 파라미터에 의해 개별적으로 제어된다. 후-처리기에 공급되는 신호들은:
- 추정 및 빔 형성 선형 에코(ylin),
- 제 1 빔 형성 서브유닛의 제 1 출력 및 (ylin)의 부가로부터 발생하는 빔 형성 전체 마이크로폰 신호(z),
- 제 1 빔 형성 서브유닛의 제 1 출력 신호에서 발생하고 잡음 기준에 대한 상관을 보여주는 비선형성들을 포함하는 부가적인 적응형 필터의 출력 신호(ynl),
프레임 단위로 해닝 윈도우 및 FFT을 적용한 이후, 복소수 스펙트럼 Z(f), Y lin (f), 및 Y nl (f)가 얻어진다. 잔여 위상 신호 R (f)의 스펙트럼은 복소수 스펙트럼들을 차감함으로써 얻어진다.
Figure pct00004
Figure pct00005
알 수 있는 것처럼, 비선형 에코 신호는 파 엔드 활동 동안에만 차감된다. 이는 2개의 이유들이 있다:
1. 어떠한 파 엔드 활동도 없는 경우, 에코를 포함하고 있지 않기 때문에 비선형 부분을 차감할 필요가 전혀 없다.
2. 니어-엔드 스피치 동안, 소정의 스피치는 GSC의 제 2 단의 스피치 누설에 의해 영향을 받지 않는다.
파 엔드 활동 동안, R(f)는 제 1 빔 형성 서브유닛의 제 1 출력의 스펙트럼과 동일하고, 어떠한 파 엔드 활동도 없는 동안, R(f)는 제 1 출력 신호 및 신호(ynl)의 차의 스펙트럼과 동일하다는 것이 주의되어야 한다.
신호들을 스펙트럼 차감에 직접 적용하는 대신, 이득 함수(G)는 잔여 위상 스펙트럼 R(f)의 주파수 종속 이득을 나타내는 다음의 수식에 따라 이 신호들의 진폭 스펙트럼들로부터 결정된다:
Figure pct00006
γxy 값들은 특정 신호에 대한 과 차감의 양을 표시한다. 이득 함수의 강한 변동들(fluctuations)이 존재하는 경우 발생하는 음악적인 톤들의 문제를 극복하기 위해, 반복적 평활화(recursive smoothing)가 적용된다. 그 이후, R(f)는, R(f)의 위상이 본디대로 남아있고, 그러므로 후-처리기의 출력 신호가 입력 신호와 동일한 위상을 가질 것임을 보장하는
Figure pct00007
로 곱해진다. 이득 함수의 적용 이후, 제안된 알고리즘의 출력 신호를 산출하는 시간 도메인의 변형이 완료된다.
도 5는 파 엔드 활동 동안 스펙트럼 도메인에서 알고리즘의 행위를 개략적으로 보여준다. 라인(500)은 니어-엔드 스피치 신호를 도시한다. 선형 부분에 대한 1.2의 과 차감 인자는 라인(501)에 의해 분명하게 식별될 수 있는 3 kHz 및 4 kHz사이에서 발생하는 비선형성들을 대처할 수 없다. 4 값까지의 선형 과 차감의 증가는 라인(502)에 의해 알 수 있는 바와 같이 비선형성들을 분명하게 감소시키지만, 이중 대화동안(비선형성이 발생했을 때뿐만이 아니라 항상) 가능한 니어-엔드 스피치 신호의 왜곡의 가격을 지불한다. 1.2에서 선형 과차감을 떠나고, 비선형 신호의 차감을 도입함으로써(1.0의 인자에 의해, 이에 따라 어떠한 과 차감도 없음), 대략적으로 동일한 결과를 얻지만, 니어-엔드 스피치는 비선형성들의 발생 동안 비선형 억제에 의해서만 영향을 받는다.
본 발명의 예시적인 양태에 따라 요약하면, 스피커전화들의 음향 에코 제거 동안 비-선형 에코 경로들을 처리하는데 적합한 방법이 제공될 수 있다. 비-선형 경로들은 비-선형 영역에서 증폭기 및 라우드스피커를 구동시키는 것으로 인해 예를 들어, 모바일 전화의 핸즈-프리 동작시에 특히 발생한다. 예시적인 양태의 사상은 적응형 필터 및 후-처리기를 함께 이용하는 선형 음향 에코 제거의 흔히 알려진 하나의 마이크로폰 방식을 에코의 비-선형 부분을 개별적으로 제거하는 빔 형성을 이용하는 다수의 마이크로폰 방식을 조합하는 것이다.
용어 "포함하는"은 다른 소자들 또는 특징들을 배제하지 않으며, 단수표현은 복수를 배제하지 않는다는 것에 주의해야 한다. 또한, 상이한 실시예들 또는 양태들과 연관되어 기술된 소자들도 조합될 수 있다. 청구범위의 참조 부호들은 청구범위의 범위를 제한하는 것으로 해석되지 않아야 한다는 것에 주의해야 한다.
400 : 디바이스 401 : 선-처리 유닛
402 : 후 처리 유닛 403 : 라우드스피커
404 : 라인 405 : 제 1 마이크로폰
406 : 제 2 마이크로폰 407 : 제 1 적응형 필터
408 : 제 2 적응형 필터 409 : 빔 형성 유닛
410 : 제 1 빔 형성 서브유닛 411 : 제 2 빔 형성 서브유닛

Claims (21)

  1. 오디오 신호를 처리하는 디바이스(400)에 있어서,
    선-처리 유닛(401); 및
    후-처리 유닛(402)을 포함하고,
    상기 선-처리 유닛(401)은 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하도록 적응되고, 상기 수신된 제 1 오디오 신호 및 픽-업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하도록 또한 적응되고,
    상기 후-처리 유닛(402)은 상기 제 1 에코 신호 및 상기 제 2 신호를 고려하여 상기 픽-업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하도록 적응되는, 오디오 신호 처리 디바이스(400).
  2. 제 1 항에 있어서,
    상기 후-처리 유닛(402)은 상기 제 1 에코 신호 및 상기 제 2 에코 신호를 서로 독립적으로 고려함으로써 상기 제 1 출력 신호를 처리하도록 적응되는, 오디오 신호 처리 디바이스(400).
  3. 제 1 항에 있어서,
    상기 후-처리 유닛(402)은 상기 디바이스가 수신된 제 1 오디오 신호를 수신하는 시간 기간들에만 상기 제 2 에코 신호를 고려하도록 또한 적응되는, 오디오 신호 처리 디바이스(400).
  4. 제 1 항에 있어서,
    상기 픽-업된 제 2 오디오 신호를 픽업하는 적어도 하나의 픽-업 유닛을 추가로 포함하는, 오디오 신호 처리 디바이스(400).
  5. 제 1 항에 있어서,
    오디오 소스 유닛(403)을 추가로 포함하고,
    상기 오디오 소스 유닛(403)은 상기 수신된 제 1 오디오 신호에 대응하는 오디오 신호를 방출하도록 적응되는, 오디오 신호 처리 디바이스(400).
  6. 제 1 항에 있어서,
    상기 선-처리 유닛(401)은 제 1 중간 에코 신호 및 제 2 중간 에코 신호를 추정하는 2개의 필터 유닛들(407, 408)을 포함하는, 오디오 신호 처리 디바이스(400).
  7. 제 1 항에 있어서,
    상기 선-처리 유닛(401)은 상기 제 1 에코 신호 및 상기 제 2 에코 신호를 추정하는 빔 형성 유닛(409)을 포함하는, 오디오 신호 처리 디바이스(400).
  8. 제 7 항에 있어서,
    상기 빔 형성 유닛(409)은 상기 제 1 중간 에코 신호, 상기 제 2 중간 에코 신호, 및 선처리된 픽-업된 제 2 오디오 신호를 수신하도록 적응되는, 오디오 신호 처리 디바이스(400).
  9. 제 8 항에 있어서,
    상기 빔 형성 유닛(409)은 제 1 빔 형성 서브유닛(410) 및 제 2 빔 형성 서브유닛(411)을 포함하는, 오디오 신호 처리 디바이스(400).
  10. 제 9 항에 있어서,
    상기 제 1 빔 형성 서브유닛(410)은 상기 제 1 출력 신호 및 제 3 중간 에코 신호를 생성하도록 적응되는, 오디오 신호 처리 디바이스(400).
  11. 제 10 항에 있어서,
    상기 제 1 빔 형성 서브유닛(410)은 상기 제 2 에코 신호를 생성하도록 상기 제 3 중간 에코 신호를 필터링하는 부가적인 필터 유닛(412)을 포함하는, 오디오 신호 처리 디바이스(400).
  12. 제 10 항에 있어서,
    상기 제 1 빔 형성 서브유닛(410)은 상기 제 1 출력 신호의 출력 파워가 최대가 되는 방식으로 제어 계수들의 값들을 결정하도록 또한 적응되는, 오디오 신호 처리 디바이스(400).
  13. 제 12 항에 있어서,
    상기 제 2 빔 형성 서브유닛(411)은 상기 제 1 중간 에코 신호 및 상기 제 2 중간 에코 신호를 수신하고, 상기 제어 계수들의 상기 값들을 이용하여 상기 제 1 에코 신호를 생성하도록 적응되는, 오디오 신호 처리 디바이스(400).
  14. 제 10 항에 있어서,
    상기 후-처리 유닛(402)은 합산된 제 1 출력 신호 및 상기 제 1 에코 신호로부터 상기 제 1 에코 신호, 상기 제 2 에코 신호를 스펙트럼 차감함으로써 상기 제 1 출력 신호, 상기 제 1 에코 신호 및 상기 제 2 에코 신호에 기초하여 출력 신호를 생성하도록 적응되는, 오디오 신호 처리 디바이스(400).
  15. 제 14 항에 있어서,
    상기 후-처리 유닛(402)은 상기 제 1 출력 신호, 상기 제 1 에코 신호, 상기 제 2 에코 신호 및 그 선형 조합들의 진폭 스펙트럼들로부터 이득 함수를 생성하도록 적응되는, 오디오 신호 처리 디바이스(400).
  16. 제 15 항에 있어서,
    상기 후-처리 유닛(402)은 상기 제 1 출력 신호의 스펙트럼 또는 상기 제 1 출력 신호 및 상기 제 2 에코 신호의 차의 스펙트럼을 상기 이득 함수로 곱하도록 적응되는, 오디오 신호 처리 디바이스(400).
  17. 오디오 신호를 처리하는 방법에 있어서,
    제 1 오디오 신호를 수신하는 단계;
    상기 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하는 단계;
    제 2 오디오 신호를 픽업(picking up)하는 단계;
    상기 수신된 제 1 오디오 신호 및 상기 픽업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하는 단계; 및
    상기 제 1 에코 신호 및 상기 제 2 에코 신호를 고려하여 상기 픽업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하는 단계를 포함하는, 오디오 신호 처리 방법.
  18. 제 17 항에 있어서,
    상기 픽업된 제 2 오디오 신호의 상기 처리는 스펙트럼 차감을 수반하는, 오디오 신호 처리 방법.
  19. 제 18 항에 있어서,
    상기 스펙트럼 차감은 상기 제 1 에코 신호 및 상기 제 2 에코 신호에 대해 독립적으로 수행되는, 오디오 신호 처리 방법.
  20. 프로세서에 의해 실행될 때, 오디오 신호 처리 방법을 제어 또는 수행하도록 적응되는 프로그램 요소에 있어서, 상기 방법은:
    제 1 오디오 신호를 수신하는 단계;
    상기 수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하는 단계;
    제 2 오디오 신호를 픽업하는 단계;
    상기 수신된 제 1 오디오 신호 및 상기 픽업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하는 단계; 및
    상기 제 1 에코 신호 및 상기 제 2 에코 신호를 고려하여 상기 픽업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하는 단계를 포함하는, 프로그램 요소.
  21. 프로세서에 의해 실행될 때, 오디오 신호 처리 방법을 제어 또는 수행하도록 적응되는 컴퓨터 프로그램이 저장된 컴퓨터-판독가능 매체에 있어서,
    상기 방법은:
    제 1 오디오 신호를 수신하는 단계;
    수신된 제 1 오디오 신호에 기초하여 제 1 선형 에코 제거 성분을 나타내는 제 1 에코 신호를 추정하는 단계;
    제 2 오디오 신호를 픽업하는 단계;
    상기 수신된 제 1 오디오 신호 및 상기 픽업된 제 2 오디오 신호에 기초하여 비-선형 에코 제거 성분을 나타내는 제 2 에코 신호를 추정하는 단계;
    상기 제 1 에코 신호 및 상기 제 2 에코 신호를 고려하여 상기 픽업된 제 2 오디오 신호와 연관된 제 1 출력 신호를 처리하는 단계를 포함하는, 컴퓨터 판독가능 매체.
KR1020107001336A 2007-06-21 2008-06-16 오디오 신호들을 처리하는 디바이스 및 방법 KR101469739B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP07110807 2007-06-21
EP07110807.0 2007-06-21

Publications (2)

Publication Number Publication Date
KR20100053502A true KR20100053502A (ko) 2010-05-20
KR101469739B1 KR101469739B1 (ko) 2014-12-05

Family

ID=39865023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107001336A KR101469739B1 (ko) 2007-06-21 2008-06-16 오디오 신호들을 처리하는 디바이스 및 방법

Country Status (6)

Country Link
US (1) US8498423B2 (ko)
EP (1) EP2171714B1 (ko)
JP (1) JP5394373B2 (ko)
KR (1) KR101469739B1 (ko)
CN (1) CN101689371B (ko)
WO (1) WO2008155708A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492751B1 (ko) * 2010-08-27 2015-02-11 노키아 코포레이션 원치 않는 사운드들을 제거하는 마이크로폰 장치 및 방법
KR20180113586A (ko) * 2016-06-30 2018-10-16 구글 엘엘씨 모바일 디바이스들에서 비선형 반향 제거를 위한 이중 크기 처리 프레임워크

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010013939A2 (en) 2008-07-29 2010-02-04 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US8538043B2 (en) 2009-03-08 2013-09-17 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
CN102131014A (zh) * 2010-01-13 2011-07-20 歌尔声学股份有限公司 时频域联合回声消除装置及方法
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
US8675881B2 (en) * 2010-10-21 2014-03-18 Bose Corporation Estimation of synthetic audio prototypes
US8924337B2 (en) 2011-05-09 2014-12-30 Nokia Corporation Recursive Bayesian controllers for non-linear acoustic echo cancellation and suppression systems
JPWO2012157783A1 (ja) * 2011-05-19 2014-07-31 日本電気株式会社 音声処理装置、音声処理方法および音声処理プログラムを記録した記録媒体
US9343078B2 (en) * 2012-01-09 2016-05-17 Intel Corporation Pre-process (amplitude distortion) and post-process (phase synchronization) for linear AEC system
US9065895B2 (en) * 2012-02-22 2015-06-23 Broadcom Corporation Non-linear echo cancellation
WO2013166080A1 (en) * 2012-04-30 2013-11-07 Creative Technology Ltd A universal reconfigurable echo cancellation system
US9407869B2 (en) 2012-10-18 2016-08-02 Dolby Laboratories Licensing Corporation Systems and methods for initiating conferences using external devices
CN103051818B (zh) * 2012-12-20 2014-10-29 歌尔声学股份有限公司 一种用于小型免提语音通讯系统中的回声消除装置和方法
US9595997B1 (en) * 2013-01-02 2017-03-14 Amazon Technologies, Inc. Adaption-based reduction of echo and noise
US9307337B2 (en) * 2013-03-11 2016-04-05 Arris Enterprises, Inc. Systems and methods for interactive broadcast content
US9936290B2 (en) 2013-05-03 2018-04-03 Qualcomm Incorporated Multi-channel echo cancellation and noise suppression
US20140363008A1 (en) * 2013-06-05 2014-12-11 DSP Group Use of vibration sensor in acoustic echo cancellation
US9406308B1 (en) * 2013-08-05 2016-08-02 Google Inc. Echo cancellation via frequency domain modulation
TWI520127B (zh) * 2013-08-28 2016-02-01 晨星半導體股份有限公司 應用於音訊裝置的控制器與相關的操作方法
US9633671B2 (en) * 2013-10-18 2017-04-25 Apple Inc. Voice quality enhancement techniques, speech recognition techniques, and related systems
GB201321052D0 (en) * 2013-11-29 2014-01-15 Microsoft Corp Detecting nonlinear amplitude processing
CN104796830B (zh) * 2014-01-22 2018-05-11 宏碁股份有限公司 麦克风模块与电子装置
JP6349899B2 (ja) * 2014-04-14 2018-07-04 ヤマハ株式会社 放収音装置
US9516159B2 (en) * 2014-11-04 2016-12-06 Apple Inc. System and method of double talk detection with acoustic echo and noise control
US9973633B2 (en) 2014-11-17 2018-05-15 At&T Intellectual Property I, L.P. Pre-distortion system for cancellation of nonlinear distortion in mobile devices
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
EP3295681B1 (en) * 2015-05-15 2021-06-30 Harman International Industries, Inc. Acoustic echo cancelling system and method
KR20170032603A (ko) 2015-09-15 2017-03-23 삼성전자주식회사 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체
US9858944B1 (en) 2016-07-08 2018-01-02 Apple Inc. Apparatus and method for linear and nonlinear acoustic echo control using additional microphones collocated with a loudspeaker
EP3358857B1 (en) 2016-11-04 2020-04-15 Dolby Laboratories Licensing Corporation Intrinsically safe audio system management for conference rooms
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
US9928847B1 (en) * 2017-08-04 2018-03-27 Revolabs, Inc. System and method for acoustic echo cancellation
CN110035355B (zh) * 2018-01-12 2022-06-07 北京京东尚科信息技术有限公司 麦克风阵列输出声源的方法、系统、设备及存储介质
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
US10854216B2 (en) * 2019-02-15 2020-12-01 Crestron Electronics, Inc. Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing system
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121426A (en) * 1989-12-22 1992-06-09 At&T Bell Laboratories Loudspeaking telephone station including directional microphone
US5323458A (en) * 1993-10-25 1994-06-21 Motorola Inc. Echo cancellation in a full-duplex speakerphone
US5680450A (en) * 1995-02-24 1997-10-21 Ericsson Inc. Apparatus and method for canceling acoustic echoes including non-linear distortions in loudspeaker telephones
KR100482396B1 (ko) * 1996-05-31 2005-08-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력신호의간섭성분을억제하는장치
US5796819A (en) 1996-07-24 1998-08-18 Ericsson Inc. Echo canceller for non-linear circuits
US7146012B1 (en) 1997-11-22 2006-12-05 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources
DE19935808A1 (de) * 1999-07-29 2001-02-08 Ericsson Telefon Ab L M Echounterdrückungseinrichtung zum Unterdrücken von Echos in einer Sender/Empfänger-Einheit
US7209566B2 (en) * 2001-09-25 2007-04-24 Intel Corporation Method and apparatus for determining a nonlinear response function for a loudspeaker
JP2003274481A (ja) * 2002-03-14 2003-09-26 Osaka Industrial Promotion Organization 音声処理装置、コンピュータプログラム、及び記録媒体
ATE428274T1 (de) * 2003-05-06 2009-04-15 Harman Becker Automotive Sys Verarbeitungssystem fur stereo audiosignale
US20070165871A1 (en) 2004-01-07 2007-07-19 Koninklijke Philips Electronic, N.V. Audio system having reverberation reducing filter
JP4754497B2 (ja) 2004-01-07 2011-08-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音声歪み抑制システム
CN1947171B (zh) 2004-04-28 2011-05-04 皇家飞利浦电子股份有限公司 自适应波束形成器、旁瓣抑制器、自动语音通信设备
JP2008512888A (ja) * 2004-09-07 2008-04-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 改善した雑音抑圧を有する電話装置
US8284947B2 (en) * 2004-12-01 2012-10-09 Qnx Software Systems Limited Reverberation estimation and suppression system
US20060147063A1 (en) * 2004-12-22 2006-07-06 Broadcom Corporation Echo cancellation in telephones with multiple microphones
US20060188089A1 (en) * 2005-02-18 2006-08-24 Diethorn Eric J Reduction in acoustic coupling in communication systems and appliances using multiple microphones
EP1905268B1 (en) * 2005-07-06 2011-01-26 Koninklijke Philips Electronics N.V. Apparatus and method for acoustic beamforming
EP1982509B1 (en) * 2006-01-06 2010-03-10 Koninklijke Philips Electronics N.V. Acoustic echo canceller
US8175871B2 (en) * 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101492751B1 (ko) * 2010-08-27 2015-02-11 노키아 코포레이션 원치 않는 사운드들을 제거하는 마이크로폰 장치 및 방법
US9549252B2 (en) 2010-08-27 2017-01-17 Nokia Technologies Oy Microphone apparatus and method for removing unwanted sounds
KR20180113586A (ko) * 2016-06-30 2018-10-16 구글 엘엘씨 모바일 디바이스들에서 비선형 반향 제거를 위한 이중 크기 처리 프레임워크

Also Published As

Publication number Publication date
KR101469739B1 (ko) 2014-12-05
US8498423B2 (en) 2013-07-30
CN101689371B (zh) 2013-02-06
JP2010531567A (ja) 2010-09-24
CN101689371A (zh) 2010-03-31
EP2171714A1 (en) 2010-04-07
JP5394373B2 (ja) 2014-01-22
EP2171714B1 (en) 2012-08-15
US20100189274A1 (en) 2010-07-29
WO2008155708A1 (en) 2008-12-24

Similar Documents

Publication Publication Date Title
KR101469739B1 (ko) 오디오 신호들을 처리하는 디바이스 및 방법
EP3295681B1 (en) Acoustic echo cancelling system and method
CN108141502B (zh) 降低声学系统中的声学反馈的方法及音频信号处理设备
JP4046197B2 (ja) 非線形回路のためのエコーキャンセラ
US9343078B2 (en) Pre-process (amplitude distortion) and post-process (phase synchronization) for linear AEC system
US9082389B2 (en) Pre-shaping series filter for active noise cancellation adaptive filter
US8774399B2 (en) System for reducing speakerphone echo
US20090046866A1 (en) Apparatus capable of performing acoustic echo cancellation and a method thereof
WO2016085758A1 (en) Reference microphone for non-linear and time variant echo cancellation
US20060188089A1 (en) Reduction in acoustic coupling in communication systems and appliances using multiple microphones
US9699554B1 (en) Adaptive signal equalization
US8867735B2 (en) Echo cancelling device, communication device, and echo cancelling method having the error signal generating circuit
JP2004537219A (ja) 高調波計算のための非線形エコーサプレッサを備えたエコーキャンセラ
JP3507020B2 (ja) 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体
US10129410B2 (en) Echo canceller device and echo cancel method
US6694020B1 (en) Frequency domain stereophonic acoustic echo canceller utilizing non-linear transformations
JP2005533427A (ja) モデルミスマッチ補償をもつエコーキャンセラ
JP2861888B2 (ja) エコー・ノイズキャンセラおよびエコー・ノイズ消去方法
US10540984B1 (en) System and method for echo control using adaptive polynomial filters in a sub-band domain
US10819858B2 (en) Method for improving echo cancellation effect and system thereof
CN112863532A (zh) 回音抑制装置、回音抑制方法以及存储介质
JP2005530443A (ja) 非定常エコーキャンセラ
JP2007336132A (ja) エコー抑圧装置
Fukui et al. Acoustic echo canceller software for VoIP hands-free application on smartphone and tablet devices
Sakauchi et al. An acoustic echo canceler with noise and echo reduction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171120

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191121

Year of fee payment: 6