KR20170032603A - 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 - Google Patents

전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20170032603A
KR20170032603A KR1020150130130A KR20150130130A KR20170032603A KR 20170032603 A KR20170032603 A KR 20170032603A KR 1020150130130 A KR1020150130130 A KR 1020150130130A KR 20150130130 A KR20150130130 A KR 20150130130A KR 20170032603 A KR20170032603 A KR 20170032603A
Authority
KR
South Korea
Prior art keywords
signal
double talk
error signal
variance value
echo signal
Prior art date
Application number
KR1020150130130A
Other languages
English (en)
Inventor
유리 유스하코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150130130A priority Critical patent/KR20170032603A/ko
Priority to US15/234,543 priority patent/US9842606B2/en
Publication of KR20170032603A publication Critical patent/KR20170032603A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Abstract

전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체가 제공된다. 본 발명의 일 실시 예에 따른 전자 장치는, 제1 오디오 신호에 대응되는 음향을 출력하는 스피커, 전자 장치 주변의 소리를 취득하여 제2 오디오 신호를 생성하는 마이크, 제2 오디오 신호에 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지를 판단하는 더블토크 검출기 및 더블토크 상태가 아니면 적응 필터를 이용하여 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하고, 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 음향 반향 제거기를 포함하고, 더블토크 검출기는, 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 적응 필터의 업데이트 속도를 가변하며, 음향 반향 제거기는, 에러 신호의 분산 값을 이용하여 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성할 수 있다.

Description

전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체{ELECTRIC DEVICE, ACOUSTIC ECHO CANCELLING METHOD OF THEREOF AND NON-TRANSITORY COMPUTER READABLE RECORDING MEDIUM}
본 발명은 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것으로, 보다 구체적으로는, 더블토크 상태를 정확히 감지하여 반향 신호 제거를 위한 필터 적응 과정에 끼치는 영향을 최소화할 수 있는 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체에 관한 것이다.
통신 단말과 같은 전자 장치에 있어서, 원단 화자(far-end speaker)의 음성이 주변 환경에 의해 반향되어 근단(near-end)에 있는 스피커를 통해 입력되는 문제점이 존재하였다. 이렇게 스스로 발생시킨 소리가 다시 입력되는 것을 음향 반향(Acoustic Echo)이라고 부른다.
최근에는 스마트 TV와 같은 디스플레이 장치 등에서도 음성 인식 기능을 수행하기 위하여 마이크를 포함하고 있는 경우가 많다. 따라서, 통신 단말뿐만 아니라 다양한 분야의 전자 장치에서 이용할 수 있는 음향 반향 제거 방법에 대한 요구가 존재한다.
도 1과 같은 종래의 음향 반향 제거기가 이러한 음향 반향을 제거하기 위하여 이용되었다. 스피커를 통해 출력되는 원단 화자 신호
Figure pat00001
가 주변 환경을 거치며 반향 신호
Figure pat00002
이 되어 근단의 마이크로 입력된다. 적응 필터는 음향 반향 경로에 해당하는
Figure pat00003
의 추정 값인
Figure pat00004
을 추정하여, 마이크에 입력된 신호인
Figure pat00005
에서
Figure pat00006
을 제거한다. 이를 통해, 종래의 음향 반향 제거기는 원단 화자 신호에 의한 영향을 줄이고자 하였다.
이러한 방식에서 문제가 되는 것은 원단 화자 신호의 반향 신호
Figure pat00007
과 근단 화자의 신호
Figure pat00008
이 동시에 입력되는 더블토크(Double-Talk) 상태인 경우이다. 적응 필터에서 근단 화자의 신호도 함께 제거하도록 추정 값
Figure pat00009
을 결정할 경우, 실제 음향 반향 경로를 반영하지 못하게 되는 문제점이 발생한다.
종래에는 이러한 더블토크 문제를 해결하기 위하여, 더블토크 상태에 강인한 알고리즘을 찾고자 하는 방안이 검토되었다. 하지만, 실제 제품에 적용하였을 경우, 만족할만한 효과를 얻지 못하는 문제점을 갖는다.
또한, 종래에는 원단의 출력 신호
Figure pat00010
과 근단의 입력 신호
Figure pat00011
의 교차 상관(cross-correlation)을 이용하여 더블토크 상태가 감지되면, 적응 필터의 동작을 중단시키는 방법이 제안되었다. 하지만, 교차 상관 계산을 위한 컴퓨팅 자원 소모가 많다는 문제가 존재하였다. 또한, 완전히 적응 필터의 동작을 중단시킨다는 것도 효율적이지 못하다는 문제점이 존재하였다.
본 발명은 상술한 문제점을 해결하기 위한 것으로, 복수의 서브 밴드 각각에 대한 적응 필터에서 에러 신호의 분산 값을 이용하여 반향 신호를 추정하고, 에러 신호의 분산 값을 복수의 상태로 구분하여 적응 필터의 업데이트 속도를 조절할 수 있는 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체를 제공함을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는, 제1 오디오 신호에 대응되는 음향을 출력하는 스피커, 상기 전자 장치 주변의 소리를 취득하여 제2 오디오 신호를 생성하는 마이크, 상기 제2 오디오 신호에 상기 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지를 판단하는 더블토크 검출기 및 더블토크 상태가 아니면 적응 필터를 이용하여 상기 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하고, 상기 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 음향 반향 제거기를 포함하고, 상기 더블토크 검출기는, 상기 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 상기 적응 필터의 업데이트 속도를 가변하며, 상기 음향 반향 제거기는, 상기 에러 신호의 분산 값을 이용하여 상기 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성할 수 있다.
그리고, 상기 음향 반향 제거기는, 서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 포함할 수 있다.
또한, 상기 복수의 적응 필터 각각은, 할당된 주파수 대역의 에러 신호를 검출하고, 상기 검출된 에러 신호의 분산 값과 인접한 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성할 수 있다.
그리고, 상기 복수의 적응 필터 중 가장 낮은 주파수 대역의 적응 필터는, 할당된 주파수 대역의 에러 신호를 검출하고, 상기 검출된 에러 신호의 분산 값과 가장 높은 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 직전 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성할 수 있다.
또한, 상기 더블토크 검출기는, 상기 에러 신호의 분산 값과 기설정된 기준값을 비교하여, 더블토크 상태인지를 판단할 수 있다.
그리고, 상기 더블토크 검출기는, 상기 적응 필터의 업데이트 속도를 복수의 구간 중 상기 에러 신호의 분산 값이 위치하는 구간에 대응되는 업데이트 속도로 가변할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 반향 신호 제거 방법은, 상기 전자 장치의 주변 소리를 취득하여 제2 오디오 신호를 생성하는 단계, 상기 제2 오디오 신호에 상기 전자 장치에서 출력된 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지 판단하는 단계, 더블토크 상태가 아니면 적응 필터를 이용하여 상기 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하는 단계 및 상기 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 단계를 포함하고, 상기 판단하는 단계는, 상기 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 상기 적응 필터의 업데이트 속도를 가변하며, 상기 추정 반향 신호를 생성하는 단계는, 상기 에러 신호의 분산 값을 이용하여 상기 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성할 수 있다.
그리고, 상기 추정 반향 신호를 생성하는 단계는, 서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 이용하여 추정 반향 신호를 생성할 수 있다.
또한, 상기 추정 반향 신호를 생성하는 단계는, 상기 복수의 적응 필터 각각이, 할당된 주파수 대역의 에러 신호를 검출하는 단계 및 상기 검출된 에러 신호의 분산 값과 인접한 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성하는 단계를 포함할 수 있다.
그리고, 상기 추정 반향 신호를 생성하는 단계는, 상기 복수의 적응 필터 중 가장 낮은 주파수 대역의 적응 필터가, 할당된 주파수 대역의 에러 신호를 검출하는 단계 및 상기 검출된 에러 신호의 분산 값과 가장 높은 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 직전 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성하는 단계를 포함할 수 있다.
또한, 상기 판단하는 단계는, 상기 에러 신호의 분산 값과 기설정된 기준값을 비교하여, 더블토크 상태인지를 판단할 수 있다.
그리고, 상기 판단하는 단계는, 상기 적응 필터의 업데이트 속도를 복수의 구간 중 상기 에러 신호의 분산 값이 위치하는 구간에 대응되는 업데이트 속도로 가변할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치의 반향 신호 제거 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체는, 상기 전자 장치의 주변 소리를 취득하여 제2 오디오 신호를 생성하는 단계, 상기 생성된 오디오 신호에 상기 전자 장치에서 출력된 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지 판단하는 단계, 더블토크 상태가 아니면 적응 필터를 이용하여 상기 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하는 단계 및 상기 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 단계를 포함하고, 상기 판단하는 단계는, 상기 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 상기 적응 필터의 업데이트 속도를 가변하며, 상기 추정 반향 신호를 생성하는 단계는, 상기 에러 신호의 분산 값을 이용하여 상기 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성하는 반향 신호 제거 방법을 포함할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 간편하고도 더욱 정확한 더블토크 상태를 판단 방법이 제공될 수 있다. 그리고, 기존의 알고리즘에 비하여 정확도가 향상된 반향 신호 추정 알고리즘이 제공될 수 있다.
도 1은 종래의 더블토크 검출기를 포함하는 음향 반향 제거기를 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 개략적인 블럭도,
도 3은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 상세히 설명하기 위한 블럭도,
도 4는 본 발명의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 전자 장치에서 검출한 평균 에러 신호의 분산 값을 도시한 그래프,
도 6은 본 발명의 일 실시 예에 따른 전자 장치에서 복수의 기준값을 바탕으로 더블토크 상태인지 판단하는 것을 설명하기 위한 도면,
도 7a 내지 도 7c는 본 발명의 일 실시 예에 따른 전자 장치의 효과를 종래 기술과 비교한 그래프, 그리고,
도 8 및 도 9는 본 발명의 다양한 실시 예에 따른 전자 장치의 반향 신호 제거 방법을 설명하기 위한 흐름도이다.
이하에서는 본 발명의 바람직한 실시 예가 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 동작, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 2는 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성을 개략적으로 도시한 블럭도이다. 도 2를 참조하면, 전자 장치(100)는 스피커(110), 마이크(120), 음향 반향 제거기(Acoustic Echo Canceller, AEC, 130), 더블토크 검출기(Double-Talk Detector, DTD, 140)를 포함할 수 있다.
본 발명의 일 실시 예에 따른 전자 장치(100)는 스마트 TV와 같은 디스플레이 장치, 스마트 폰, 타블렛 피씨, 오디오 장치, 대화형 음성 인식 장치, 네비게이션 등 음성 입출력이 가능한 모든 전자 기기로 구현될 수 있다.
스피커(110)는 음향을 출력할 수 있다. 예를 들어, 스피커(110)는 오디오 신호를 처리하여 음향을 출력할 수 있다.
마이크(120)는 전자 장치(100)의 주변의 소리를 취득할 수 있다. 그리고, 마이크(120)는 취득한 소리를 처리하여 오디오 신호를 생성할 수 있다.
음향 반향 제거기(AEC, 130)는 적응 필터(Adaptive Filter, AF, 131)를 이용하여 스피커(110)에서 출력되는 신호의 음향 반향 신호(Acoustic Echo signal)을 제거할 수 있다.
예를 들어, 음향 반향 제거기(130)는 적응 필터 계수(AF coefficient)를 갱신하여 스피커(110)에서 출력되는 신호를 추종하는 추정 반향 신호(estimated echo signal)을 생성할 수 있다. 음향 반향 제거기(130)는 마이크(120)에서 취득한 신호에서 생성한 추정 반향 신호를 제거하여, 전자 장치(100) 자체의 음성 신호에 의한 노이즈를 제거할 수 있다.
본 발명의 일 실시 예에 따르면, 음향 반향 제거기(130)는 에러 신호의 분산 값을 이용하여 추정 반향 신호를 생성할 수 있다. 음향 반향 제거기(130)는 스피커(110)에서 출력된 신호의 반향 신호를 추종하도록 연속적으로 추정 반향 신호를 업데이트할 수 있다. 에러 신호란 마이크(120)에 입력된 신호에서 전 단계에 추정된 추정 반향 신호를 제거한 값을 말한다. 예를 들어, 추정이 완벽하다면 추정 반향 신호는 스피커(110)에서 출력된 신호의 실제 반향 신호와 일치될 것이다. 이러한 경우, 에러 신호는 0이 될 것이다.
더블토크 검출기(DTD, 140)는 마이크(120)에서 수신된 신호로부터 더블토크 상태인지를 판단할 수 있다. 더블토크 상태란 스피커(110)에서 출력된 신호의 반향 신호와 잡음 신호가 동시에 입력된 상태를 말한다. 주로, 마이크(120) 근처의 근단 화자(near-end speaker)로 인한 잡음 신호가 동시에 입력될 경우에 문제된다.
본 발명의 일 실시 예에 따르면, 더블토크 검출기(140)는 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단할 수 있다. 그리고, 더블토크 상태로 판단되면, 더블토크 검출기(140)는 음향 제거기(130)의 적응 필터(131)의 업데이트 속도를 가변할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성을 상세히 설명한 블럭도이다. 도 3을 참조하면, 전자 장치(100)는 스피커(110), 마이크(120), 음향 반향 제거기(130) 및 더블토크 검출기(140)를 포함할 수 있다. 그리고, 음향 반향 제거기(130)는 복수의 적응 필터(AF, 131-1, 131-2, ..., 131-M), 분석 필터(Analysis Filter, 133) 및 합성 필터(Synthesis Filter, 135)를 포함할 수 있다.
스피커(110) 및 마이크(120)에 대한 설명은 중복되므로 생략하기로 한다. 이하에서는 음향 반향 제거기(130) 및 더블토크 검출기(140)의 동작을 보다 구체적으로 설명하기로 한다.
분석 필터(133)는 오디오 신호를 복수의 주파수 대역으로 분할하는 동작을 수행한다. 예를 들어, 분석 필터(133-1)는 마이크(120)에서 수신된 신호를 분할할 수 있다. 그리고, 분석 필터(133-3)는 스피커(110)에서 출력되는 신호를 분할할 수도 있다.
합성 필터(135)는 복수의 주파수 대역으로 분할된 신호를 합성하는 동작을 수행한다. 예를 들어, 합성 필터(135)는 복수의 적응 필터(131-1, 131-2, …, 131-M)에서 각각 추정 반향 신호가 제거된 나머지 신호를 입력 받아 합성할 수 있다. 합성 필터(135)에서 합성한 결과물은 잔차 반향 신호(residual echo signal)가 된다.
본 발명의 일 실시 예에 따르면, 음향 반향 제거기(130)는 서로 다른 주파수 대역에서 동작하는 복수의 적응 필터(131-1, 131-2, …, 131-M)을 포함할 수 있다. 복수의 적응 필터(131-1, 131-2, …, 131-M) 각각은 할당된 주파수 대역의 추정 반향 신호를 생성할 수 있다. 분할된 각각의 주파수 대역을 서브 밴드라고도 부른다. 그리고, 이러한 방식의 음향 반향 제거기(130)를 서브 밴드 음향 반향 제거기라고도 부른다.
본 발명의 일 실시 예에 따르면, 복수의 적응 필터(131-1, 131-2, …, 131-M)는 각각 할당된 주파수 대역의 에러 신호를 검출할 수 있다. 그리고, 복수의 적응 필터(131-1, 131-2, …, 131-M)는 검출된 에러 신호의 분산 값을 계산할 수 있다.
본 발명의 일 실시 예에 따른 복수의 적응 필터(131-1) 중 하나는 다른 주파수 대역(즉, 다른 서브 밴드)에서 동작하는 다른 적응 필터(131-2, 131-3, …, 131-M)에서 검출된 에러 신호의 분산 값을 스스로 검출한 에러 신호와 함께 이용하여, 자신에게 할당된 주파수 대역의 추정 반향 신호를 생성한다. 본 발명의 일 실시 예에 따른 음향 반향 제거기(130)가 갖는 이러한 특징은, 단순히 주파수 대역을 분할하여 처리할 뿐인 서브 밴드 음향 반향 제거기와의 차이점이다.
예를 들어, 복수의 적응 필터(131-1, 131-2, …, 131-M) 중 가장 낮은 주파수 대역의 적응 필터(131-1)는 할당된 가장 낮은 주파수 대역의 에러 신호를 검출한다. 그리고, 가장 낮은 주파수 대역의 적응 필터(131-1)는 가장 높은 주파수 대역에서 동작하는 다른 적응 필터(131-M)에서 검출된 직전 에러 신호의 분산 값을 스스로 검출한 에러 신호와 함께 이용하여, 가장 낮은 주파수 대역의 추정 반향 신호를 업데이트 할 수 있다.
본 발명의 일 실시 예에 따른 음향 반향 제거기(130)는 각 서브 밴드의 추정 반향 신호를 업데이트 할 때, 전체 서브 밴드에서의 에러 신호를 이용할 수 있다. 예를 들어, 음향 반향 제거기(130)는 평균 에러 분산(averaged error variance) 값을 이용하여 추정 반향 신호를 생성할 수 있다. 여기서 평균이라는 용어를 사용하였으나, 이는 일반적으로 쓰이는 산술적인 평균을 의미하지 않는다. 본 명세서에서 사용하는 평균 에러 분산은 하나의 서브 밴드의 적응 필터(131-1)에서 검출한 에러 신호의 분산 값에, 다른 서브 밴드의 적응 필터(131-2, 131-3, …, 131-M)에서 검출한 에러 신호의 분산 값이 모두 고려된 것을 의미한다. 이에 대한 구체적인 수학식은 도 4를 참조하여 다시 설명하기로 한다.
본 발명의 일 실시 예에 따른 더블토크 검출기(140)는 에러 신호의 분산 값과 기설정된 기준값을 비교하여, 더블토크 상태인지를 판단할 수 있다. 예를 들어, 더블토크 검출기(140)는 복수의 기준값(threshold)를 설정할 수 있다. 이러한 복수의 기준값을 갖는 더블토크 검출기(140)를 다중 상태 더블토크 검출기(multi-state DTD)라는 용어로 지칭할 수도 있다.
본 발명의 일 실시 예에 따른 더블 토크 검출기(140)는 에러 신호의 분산 값을 복수의 기준값과 비교하여 몇 단계의 상태에 있는지를 판단할 수 있다. 예를 들어, 더블토크 검출기(140)는 분산 값의 구간을 복수의 기준값에 따라 복수의 구간으로 분할한 후, 에러 신호의 분산 값이 위치하는 구간을 판단할 수 있다. 그리고, 더블토크 검출기(140)는 복수의 구간 중 에러 신호의 분산 값이 위치하는 구간에 대응되는 파라미터를 결정하여, 적응 필터(131)의 업데이트 속도를 변경할 수 있다.
복수의 기준값을 설정하는 이유는 더블토크 상황과 반향 신호의 경로가 변경된 상황(예를 들어, TV 앞으로 사람이 지나가는 상황)을 구분하기 위함이다. 예를 들어, 에러 신호의 분산 값이 설정된 복수의 기준값 중 대부분의 값보다 큰 경우에, 더블토크 검출기(140)는 더블토크 상태일 가능성이 높다고 판단할 수 있다. 그리고, 더블토크 검출기(140)는 복수의 구간 중 에러 신호의 분산 값이 위치하는 구간이 어디인지에 따라, 적응 필터의 업데이트 속도를 감소시킬 수 있다.
반대로, 에러 신호의 분산 값이 설정된 복수의 기준값 중 대부분의 값보다 낮은 경우에, 더블토크 검출기(140)는 반향 신호의 경로 변경에 따른 에러 신호가 발생한 것으로 판단할 수 있다. 그리고, 더블토크 검출기(140)는 적응 필터의 업데이트 속도를 그대로 유지시킬 수 있다.
보다 구체적인 판단 방법에 대해서는 도 5 및 6을 참조하여 다시 설명하기로 한다.
도 4는 본 발명의 일 실시 예에 따른 전자 장치(100)의 동작을 설명하기 위한 도면이다.
기준 신호
Figure pat00012
은 스피커(110)를 통해 출력된다. 출력된 기준 신호
Figure pat00013
은 음향 반향 경로
Figure pat00014
에 의해 반향 신호
Figure pat00015
으로 마이크(120)에 입력될 수 있다. 반향 신호는 음향 반향 경로와 기준 신호의 컨벌루션(convolution)으로 계산될 수 있다. 또는, 반향 신호는 반향 경로의 전치(transpose) 값을 이용하여
Figure pat00016
으로 표현될 수도 있다.
그리고, 마이크(120)에는 주변 사물에 의한 잡음 신호
Figure pat00017
및 근화자에 의한 잡음 신호
Figure pat00018
이 입력될 수 있다. 더블토크 상황이 문제되는 경우에 주변 사물에 의한 잡음 신호는 거의 영향을 미치지 않으며, 근화자에 의한 잡음 신호가 주로 문제된다. 여기서 근화자에 의한 잡음 신호는 잡음이라고 표현하였으나, 전자 장치(100)를 제어하기 위한 사용자의 음성 명령일 수 있다. 반향 신호 제거 목적에서는 사용자의 음성 명령 또한 잡음으로 평가될 수 있는바, 잡음 신호로 표현하였다. 종합하면, 마이크(120)를 통해 전자 장치(100)에 입력되는 신호는
Figure pat00019
이며 수학식 1과 같이 표현할 수 있다.
Figure pat00020
적응 필터(131)는 추정 반향 신호
Figure pat00021
을 생성할 수 있다. 그리고, 입력된
Figure pat00022
에서 추정 반향 신호를 제거할 수 있다. 에러 신호
Figure pat00023
은 입력된 신호에서 추정 반향 신호를 제거한 신호가 된다.
Figure pat00024
본 발명의 일 실시 예에 따른 음향 반향 제거기(130)는 복수의 적응 필터(131), 분석 필터(133) 및 합성 필터(135)를 포함할 수 있다. 분석 필터(133-1)는 입력된 신호
Figure pat00025
을 주파수 대역에 따라 분할한다. 예를 들어, 도 4에 도시된 바와 같이, M개의 적응 필터(131-1, 131-2, ..., 131-M)가 존재하는 경우, 분석 필터(133-1)는 M개의 대역으로 입력 신호
Figure pat00026
을 분할한다. 각각의 분할된 주파수 대역은 서브 밴드라고 표현될 수 있다.
본 발명의 일 실시 예에 따른 복수의 적응 필터(131) 각각은 할당된 주파수 대역의 입력 신호에서 추정 반향 신호를 제거한다. 이를 통해, 복수의 적응 필터(131) 각각은 할당된 주파수 대역의 에러 신호를 검출할 수 있다. 복수의 적응 필터(131)는 검출한 에러 신호를 이용하여 추정 필터 계수
Figure pat00027
를 업데이트 할 수 있다. 예를 들어, 적응 필터(131)는 추정 반향 신호를 수학식 3과 같이 업데이트 된 필터 계수를 통해 생성할 수 있다.
Figure pat00028
b는 서브 밴드의 인덱스를 의미한다. 예를 들어, 도 4와 같이 입력 신호가 M개의 서브 밴드로 분할된 경우, b = 0, ..., M-1 일 수 있다.
n은 이산 시간 인스턴스(discrete time instance)를 의미한다.
μ는 적응 필터(131)의 업데이트 속도를 조절하는 파라미터이다.
수학식 3과 같이, 복수의 적응 필터(131-1, 131-2, ..., 131-M) 각각은 독립적으로 필터 계수를 업데이트한다. 다만, 필터 계수 업데이트에 사용하는 에러 신호의 분산 값은 각각의 독립적인 서브 밴드의 에러 신호 분산 값이 아니다. 본 발명의 일 실시 예에 따른 음향 반향 제거기(130)는 더블토크에 대한 강인성을 증가시키기 위하여, 독립적인 서브 밴드의 에러 분산을 이용하는 대신에, 전체 밴드에 대하여 스무딩(smoothing)된 평균 에러 분산 값을 이용할 수 있다. 평균 에러 분산 값
Figure pat00029
은 수학식 4와 같이 결정될 수 있다.
Figure pat00030
수학식 4의 위에 기재된 수식은 복수의 적응 필터(131) 중 가장 낮은 주파수 대역의 적응 필터(131-1)에 대한 수식이다. 그리고, 아래에 기재된 수식은 나머지 적응 필터(131-2, ..., 131-M)에 대한 수식이다. α는 스무딩(smoothing) 파라미터이다.
예를 들어, 복수의 적응 필터 중 가장 낮은 주파수 대역의 적응 필터(131-1)는 할당된 서브 밴드의 에러 신호의 분산 값
Figure pat00031
과 가장 높은 대역에서 동작하는 적응 필터(131-M)에서 지난 단계에서 검출된 평균 에러 분산 값
Figure pat00032
을 이용하여 평균 에러 분산 값을 도출할 수 있다. 도출된 평균 에러 분산 값은 수학식 3에 대입되어, 적응 계수를 구하는데 사용될 수 있다.
다른 예로, 복수의 적응 필터 중 b+1 번째 주파수 대역의 적응 필터(131-b)는 할당된 서브 밴드의 에러 신호의 분산 값
Figure pat00033
과 인접한 아래 대역(b번째 대역)의 적응 필터(131-b-1)의 평균 에러 분산 값
Figure pat00034
을 이용하여 평균 에러 분산 값을 도출할 수 있다.
이와 같은 과정을 통하여, 더블토크에 의한 에러 분산 값의 증가가 낮은 주파수 대역에서 검출된 경우, 높은 주파수 대역에서 더블토크를 확인될 수 있으며, 가장 높은 주파수 밴드까지 전달(spread)될 수 있다.
예를 들어, 3개의 서브 밴드로 분할된 경우에, 각각의 서브 밴드에 대한 평균 에러 분산은 수학식 5와 같이 나타날 수 있다.
Figure pat00035
수학식 5를 살펴보면, 각 서브 밴드에서 도출한 평균 에러 분산은 모든 서브 밴드에서 검출한 에러 신호의 분산 값이 반영되어 있음을 확인할 수 있다.
상술한 바와 같이, 본 발명의 일 실시 예에 따른 음향 반향 제거기(130)는 에러 신호의 분산 값을 이용함으로써, 적응 속도를 높일 수 있으며, 필터의 발산(divergence)을 방지할 수 있다.
본 발명의 일 실시 예에 따른 더블토크 검출기(DTD, 140)는 평균 에러 신호 분산 값을 살펴보는 것만으로 더블토크 상태인지를 판단할 수 있다. 이를 통해, 더블토크 검출기(140)는 계산에 많은 자원과 시간이 소요되는 교차 상관(cross-correlation)을 이용하지 않고도, 더블토크 상태인지 여부를 판단할 수 있다.
평균 에러 분산 값을 시간에 따라 도시하면 도 5와 같은 그래프를 얻을 수 있다. 그래프에 피크로 표현된 부분들이 바로 더블토크가 발생된 부분들에 해당한다. 따라서, 더블토크 검출기(140)는 기준값(threshold)을 설정하고, 설정된 기준값을 초과하는 에러 분산이 발생하는 경우를 더블토크가 발생한 경우로 판단할 수 있다.
다만, 종래와 같이 하나의 기준값을 바탕으로 더블토크를 판단하는 경우(즉, two-state DTD의 경우), 더블토크가 발생한 경우인지 순간적인 반향 경로의 변화가 발생한 경우인지 구분할 수 없다는 문제점이 있다.
이에 반해, 본 발명의 일 실시 예에 따른 더블토크 검출기(140)는 복수의 기준값을 바탕으로 더블토크를 판단할 수 있다(multi-state DTD). 더블토크 검출기(140)는 평균 에러 분산의 노이즈 플로어(noise floor)를 추적하여 최저 레벨의 기준값을 설정할 수 있다. 예를 들어, 최저 레벨의 기준값 T1은 추정된 플로어 레벨
Figure pat00036
에 특정 계수 c1을 곱합 값으로 결정될 수 있다.
Figure pat00037
그리고, 다음 레벨의 기준값들은 최저 레벨 기준값으로부터 결정될 수 있다. 예를 들어, 각 기준값들은 이전 레벨의 기준값에 특정 계수를 곱한 값으로 결정될 수 있다. 예를 들어, S 단계로 복수의 기준값을 설정한다고 가정하면, 더블토크 검출기(140)는 수학식 7과 같이 기준값을 설정할 수 있다.
Figure pat00038
Figure pat00039
도 6을 참조하면, 가장 낮은 위치에 도시된 이점 쇄선은 최저 레벨의 기준값 T1에 해당한다. 그리고, 두번째로 도시된 일점 쇄선 및 세번째로 도시된 점선은 각각 T3 및 T6을 도시한 것이다. 도 6에 도시된 바와 같이, 더블토크 검출부(140)는 평균 에러 분산의 노이즈 플로어(noise floor)를 추적하여 최저 레벨의 기준값을 설정하는바, 복수의 기준값이 시간에 따라 변경되는 것을 확인할 수 있다.
본 발명의 일 실시 예에 따른 더블토크 검출기(140)는 설정된 복수의 기준값과 평균 에러 분산 값을 비교하여, 평균 에러 분산 값이 복수의 구간 중 어느 구간에 있는지 판단할 수 있다. 그리고, 더블토크 검출기(140)는 판단된 구간에 따라 DTD state를 결정할 수 있다. 더블토크 검출기(140)는 결정된 DTD state에 따라 수학식 3의 파라미터 μ를 변경하여, 적응 필터(131)의 업데이트 속도를 조절할 수 있다.
예를 들어, 더블토크 검출기(140)는 결정된 DTD state S에 따라 수학식 8과 같이 업데이트 속도를 조절할 수 있다. 수학식 8에서 S_dtd는 실험에 의해 결정될 수 있다.
Figure pat00040
도 7a 내지 도 7c는 본 발명의 일 실시 예에 따른 전자 장치(100)의 효과를 종래 기술과 비교한 그래프이다. 도 7a 내지 도 7c는 에러 신호의 스펙트로그램(spectrogram)이다.
도 7a는 더블토크 검출기를 사용하지 않은 경우에 해당한다. 도 7a의 경우 울림(reverberation)과 같은 소리에 의한 신호가 표시되어 있다는 것을 확인할 수 있다. 도 7b와 같은 종래의 더블토크 검출기의 경우에도, 적응 필터가 빠르게 발산함으로 인하여 도 7b와 같은 울림(reverberation) 신호가 종종 관찰된다.
이에 반해, 도 7c에 도시된, 본 발명의 일 실시 예에 따른 multi-state 더블토크 검출기(140)를 이용하면, 적응 필터(131)의 발산을 방지할 수 있기 때문에 상술한 바와 같은 신호가 관찰되지 않는다.
상술한 바와 같은 본 발명의 다양한 실시 예에 따른 전자 장치(100)는 모든 서브 밴드의 에러 신호 분산 값을 이용함으로써 더블토크 상황에 보다 강인하게 음향 반향을 제거할 수 있다. 또한, 복수의 기준값을 설정하여 더블토크 상태인지를 판단함으로써, 사용자의 전자 장치(100)의 더블토크 상태 판단에 대한 신뢰도가 증가되었다. 또한, 적응 필터의 동작을 완전히 중단시키는 대신 적절한 속도로 적응이 이루어지도록 하는 효과가 발생되었다.
이하에서는 도 8 및 도 9를 참조하여 본 발명의 다양한 실시 예에 따른 전자 장치(100)의 반향 신호 제거 방법을 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따른 전자 장치(100)의 반향 신호 제거 방법을 도시한 흐름도이다. 도 8을 참조하면, 우선 전자 장치(100)는 주변의 소리를 취득하여 제2 오디오 신호를 생성할 수 있다(S810). 제2 오디오 신호란 전자 장치(100)에서 출력한 신호의 반향 신호, 그 밖의 잡음 신호가 섞인 것일 수 있다. 전자 장치(100)는 마이크 등을 통하여 제2 오디오 신호를 수신할 수 있다.
다음으로, 전자 장치(100)는 제2 오디오 신호에서 추정 반향 신호를 제거하여 에러 신호를 검출할 수 있다(S820). 전자 장치(100)는 적응 필터를 이용하여 전자 장치(100)에서 출력된 제1 오디오 신호의 반향 신호를 제거할 수 있다. 이를 위하여, 전자 장치(100)는 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성할 수 있다.
전자 장치(100)는 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단할 수 있다(S830). 만일, 더블토크 상태이면(S830-DT), 전자 장치(100)는 적응 필터의 업데이트 속도를 변경할 수 있다(S840). 예를 들어, 전자 장치(100)는 업데이트 속도는 낮춤으로써 더블토크로 인하여 적응 필터의 반향 경로 추정이 망가지지 않도록 할 수 있다. 반대로, 더블토크 상태가 아니라고 판단되면(S830-No DT), 전자 장치(100)는 적응 필터의 업데이트 속도를 유지하고, 계속적으로 적응 동작을 수행할 수 있다.
이후, 전자 장치(100)는 에러 신호의 분산 값을 이용하여 추정 반향 신호를 생성한다(S850). 더블토크로 판단되었는지 아닌지에 따라, 추정 반향 신호를 업데이트하는 적응 속도가 달라질 것이다. 전자 장치(100)는 업데이트되어 생성된 추정 반향 신호를 이용하여 에러 신호 검출을 계속 진행하게 된다(S820).
도 9는 본 발명의 다른 실시 예에 따른 전자 장치(100)의 반향 신호 제거 방법을 도시한 흐름도이다. 도 9를 참조하면, 우선 전자 장치(100)는 주변의 소리를 취득하여 제2 오디오 신호를 생성할 수 있다(S910).
그리고, 전자 장치(100)는 제2 오디오 신호를 복수의 주파수 대역으로 분할하여, 각각의 분할된 신호를 복수의 적응 필터에 할당할 수 있다(S920). 복수의 적응 필터 각각은 입력된 신호에서 추정 반향 신호를 제거하여, 할당된 대역의 에러 신호를 검출할 수 있다(S930).
복수의 적응 필터는 독립적으로 검출한 에러 신호만을 사용하는 것이 아닌 다른 대역에서 동작하는 적응 필터에서 검출한 에러 신호를 함께 반영하여, 평균 에러 신호 분산 값을 도출할 수 있다(S940). 복수의 적응 필터 각각은 검출된 에러 신호의 분산 값과 인접한 아래 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 에러 신호의 분산 값을 이용하여 할당된 주파수 대역의 추정 반향 신호를 생성할 수 있다. 그리고, 각각의 적응 필터는 생성된 추정 반향 신호를 입력된 신호에서 제거하여 해당 대역의 에러 신호를 검출할 수 있다.
예를 들어, 가장 낮은 주파수 대역의 적응 필터의 경우에는 인접한 아래 주파수 대역이 존재하지 않는다. 전단계의 적응 과정을 반영하기 위하여, 가장 낮은 주파수 대역의 적응 필터에서는 가장 높은 주파수 대역에서 동작하는 다른 적응 필터의 전단계에서 검출한 에러 신호의 분산 값이 이용될 수 있다.
그리고, 전자 장치(100)는 도출된 평균 에러 신호 분산 값을 복수의 기준 값과 비교하여 더블토크 상태인지를 판단할 수 있다(S950). 전자 장치(100)는 복수의 기준 값을 평균 에러 분산의 노이즈 플로어를 추적하여 결정할 수 있다. 예를 들어, 최저 레벨의 기준값이 노이즈 플로어의 배수로 결정되며, 나머지 레벨의 기준값은 최저 레벨의 배수로 결정될 수 있다.
만일, 더블토크 상태로 판단되면(S950-DT), 전자 장치(100)는 복수의 기준값에 의한 복수의 구간 중 어느 구간에 평균 에러 분산 값이 위치하는지 판단할 수 있다. 그리고, 전자 장치(100)는 평균 에러 분산이 위치하는 구간에 따라 적응 필터의 업데이트 속도를 변경할 수 있다(S960).
전자 장치(100)는 평균 에러 신호의 분산 값을 이용하여 복수의 적응 필터 각각에 대한(즉, 각 서브 밴드에 대한) 추정 반향 신호를 생성할 수 있다. 전체 서브 밴드의 에러 값이 반영된 평균 에러 신호 분산을 이용함으로써, 전자 장치(100)는 더블토크 상황에 대한 강인성이 증가되는 효과를 얻을 수 있다.
그리고, 전자 장치(100)는 업데이트된 추정 반향 신호를 이용하여 연속적으로 적응 동작을 수행하게 된다.
상기에서 설명된 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 전자 장치 110: 스피커
120: 마이크 130: 음향 반향 제거기
131: 적응 필터 133: 분석 필터
135: 합성필터 140: 더블토크 검출기

Claims (13)

  1. 전자 장치에 있어서,
    제1 오디오 신호에 대응되는 음향을 출력하는 스피커;
    상기 전자 장치 주변의 소리를 취득하여 제2 오디오 신호를 생성하는 마이크;
    상기 제2 오디오 신호에 상기 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지를 판단하는 더블토크 검출기; 및
    더블토크 상태가 아니면 적응 필터를 이용하여 상기 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하고, 상기 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 음향 반향 제거기;를 포함하고,
    상기 더블토크 검출기는,
    상기 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 상기 적응 필터의 업데이트 속도를 가변하며,
    상기 음향 반향 제거기는,
    상기 에러 신호의 분산 값을 이용하여 상기 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성하는 전자 장치.
  2. 제1항에 있어서,
    상기 음향 반향 제거기는,
    서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 포함하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서,
    상기 복수의 적응 필터 각각은,
    할당된 주파수 대역의 에러 신호를 검출하고, 상기 검출된 에러 신호의 분산 값과 인접한 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성하는 것을 특징으로 하는 전자 장치.
  4. 제2항에 있어서,
    상기 복수의 적응 필터 중 가장 낮은 주파수 대역의 적응 필터는,
    할당된 주파수 대역의 에러 신호를 검출하고, 상기 검출된 에러 신호의 분산 값과 가장 높은 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 직전 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성하는 것을 특징으로 하는 전자 장치.
  5. 제1항에 있어서,
    상기 더블토크 검출기는,
    상기 에러 신호의 분산 값과 기설정된 기준값을 비교하여, 더블토크 상태인지를 판단하는 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 더블토크 검출기는,
    상기 적응 필터의 업데이트 속도를 복수의 구간 중 상기 에러 신호의 분산 값이 위치하는 구간에 대응되는 업데이트 속도로 가변하는 것을 특징으로 하는 전자 장치.
  7. 전자 장치의 반향 신호 제거 방법에 있어서,
    상기 전자 장치의 주변 소리를 취득하여 제2 오디오 신호를 생성하는 단계;
    상기 제2 오디오 신호에 상기 전자 장치에서 출력된 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지 판단하는 단계;
    더블토크 상태가 아니면 적응 필터를 이용하여 상기 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하는 단계; 및
    상기 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 단계;를 포함하고,
    상기 판단하는 단계는,
    상기 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 상기 적응 필터의 업데이트 속도를 가변하며,
    상기 추정 반향 신호를 생성하는 단계는,
    상기 에러 신호의 분산 값을 이용하여 상기 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성하는 반향 신호 제거 방법.
  8. 제7항에 있어서,
    상기 추정 반향 신호를 생성하는 단계는,
    서로 다른 주파수 대역에서 동작하는 복수의 적응 필터를 이용하여 추정 반향 신호를 생성하는 것을 특징으로 하는 반향 신호 제거 방법.
  9. 제8항에 있어서,
    상기 추정 반향 신호를 생성하는 단계는,
    상기 복수의 적응 필터 각각이,
    할당된 주파수 대역의 에러 신호를 검출하는 단계; 및
    상기 검출된 에러 신호의 분산 값과 인접한 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성하는 단계;를 포함하는 것을 특징으로 하는 반향 신호 제거 방법.
  10. 제8항에 있어서,
    상기 추정 반향 신호를 생성하는 단계는,
    상기 복수의 적응 필터 중 가장 낮은 주파수 대역의 적응 필터가,
    할당된 주파수 대역의 에러 신호를 검출하는 단계; 및
    상기 검출된 에러 신호의 분산 값과 가장 높은 주파수 대역에서 동작하는 다른 적응 필터에서 검출된 직전 에러 신호의 분산 값을 이용하여 상기 할당된 주파수 대역의 추정 반향 신호를 생성하는 단계;를 포함하는 것을 특징으로 하는 반향 신호 제거 방법.
  11. 제7항에 있어서,
    상기 판단하는 단계는,
    상기 에러 신호의 분산 값과 기설정된 기준값을 비교하여, 더블토크 상태인지를 판단하는 것을 특징으로 하는 반향 신호 제거 방법.
  12. 제7항에 있어서,
    상기 판단하는 단계는,
    상기 적응 필터의 업데이트 속도를 복수의 구간 중 상기 에러 신호의 분산 값이 위치하는 구간에 대응되는 업데이트 속도로 가변하는 것을 특징으로 하는 반향 신호 제거 방법.
  13. 전자 장치의 반향 신호 제거 방법을 실행하기 위한 프로그램을 포함하는 비일시적 컴퓨터 판독가능 기록매체에 있어서,
    상기 전자 장치의 주변 소리를 취득하여 제2 오디오 신호를 생성하는 단계;
    상기 생성된 오디오 신호에 상기 전자 장치에서 출력된 제1 오디오 신호의 반향 신호와 잡음 신호가 동시에 포함된 더블토크 상태인지 판단하는 단계;
    더블토크 상태가 아니면 적응 필터를 이용하여 상기 제1 오디오 신호의 반향 신호에 대응되는 추정 반향 신호를 생성하는 단계; 및
    상기 제2 오디오 신호에서 상기 생성된 추정 반향 신호를 제거하여 에러 신호를 검출하는 단계;를 포함하고,
    상기 판단하는 단계는,
    상기 에러 신호의 분산 값을 이용하여 더블토크 상태인지를 판단하고, 더블토크 상태로 판단되면 상기 적응 필터의 업데이트 속도를 가변하며,
    상기 추정 반향 신호를 생성하는 단계는,
    상기 에러 신호의 분산 값을 이용하여 상기 제1 오디오 신호의 반향 신호를 추종하는 추정 반향 신호를 생성하는 반향 신호 제거 방법을 포함하는 비일시적 컴퓨터 판독가능 기록매체.
KR1020150130130A 2015-09-15 2015-09-15 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체 KR20170032603A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150130130A KR20170032603A (ko) 2015-09-15 2015-09-15 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체
US15/234,543 US9842606B2 (en) 2015-09-15 2016-08-11 Electronic device, method of cancelling acoustic echo thereof, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150130130A KR20170032603A (ko) 2015-09-15 2015-09-15 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체

Publications (1)

Publication Number Publication Date
KR20170032603A true KR20170032603A (ko) 2017-03-23

Family

ID=58237051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150130130A KR20170032603A (ko) 2015-09-15 2015-09-15 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체

Country Status (2)

Country Link
US (1) US9842606B2 (ko)
KR (1) KR20170032603A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102377900B1 (ko) * 2020-12-02 2022-03-23 주식회사 텔레칩스 더블 토크 이득 제어 장치 및 그 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215672B (zh) * 2017-07-05 2021-11-16 苏州谦问万答吧教育科技有限公司 一种声音信息的处理方法、装置及设备
US10854216B2 (en) * 2019-02-15 2020-12-01 Crestron Electronics, Inc. Adaptive beamforming microphone metadata transmission to coordinate acoustic echo cancellation in an audio conferencing system
CN110211599B (zh) * 2019-06-03 2021-07-16 Oppo广东移动通信有限公司 应用唤醒方法、装置、存储介质及电子设备
CN110634496B (zh) * 2019-10-22 2021-12-24 广州视源电子科技股份有限公司 一种双讲检测方法、装置、计算机设备和存储介质
EP4199368A4 (en) * 2020-08-12 2024-01-03 Auzdsp Co Ltd ADAPTIVE DELAY DIVERSITY FILTER, ECHO COMPENSATION DEVICE AND METHOD USING THE SAME
CN113225442B (zh) * 2021-04-16 2022-09-02 杭州网易智企科技有限公司 一种消除回声的方法及装置

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3361724B2 (ja) 1997-06-11 2003-01-07 沖電気工業株式会社 エコーキャンセラ装置
KR200295256Y1 (ko) 1997-07-29 2003-02-19 삼성중공업 주식회사 선박제어 시스템의 듀얼 네트워크 접속장치
US6570986B1 (en) 1999-08-30 2003-05-27 Industrial Technology Research Institute Double-talk detector
GB2371191B (en) 2001-01-11 2005-06-15 Mitel Corp Double-talk and path change detection using a matrix of correlation coefficients
GB2379369B (en) * 2001-08-29 2005-06-29 Zarlink Semiconductor Inc Subband echo location and double-talk detection in communication systems
CA2399159A1 (en) * 2002-08-16 2004-02-16 Dspfactory Ltd. Convergence improvement for oversampled subband adaptive filters
KR20040044217A (ko) 2002-11-19 2004-05-28 주식회사 인티스 디지털 통신의 음성 품질 향상 장치 및 방법
US7471788B2 (en) 2002-11-25 2008-12-30 Intel Corporation Echo cancellers for sparse channels
KR100547765B1 (ko) 2004-05-03 2006-01-31 삼성전자주식회사 동시통화구간 검출에 따른 음향 반향 제거 방법 및 장치
US7352858B2 (en) 2004-06-30 2008-04-01 Microsoft Corporation Multi-channel echo cancellation with round robin regularization
JP4697465B2 (ja) * 2004-11-08 2011-06-08 日本電気株式会社 信号処理の方法、信号処理の装置および信号処理用プログラム
DE602005027849D1 (de) 2005-11-04 2011-06-16 Texas Instruments Inc Gegensprechdetektor zur akustischen Echokompensation
US7787613B2 (en) 2005-11-18 2010-08-31 Motorola, Inc. Method and apparatus for double-talk detection in a hands-free communication system
JP4678349B2 (ja) 2006-08-31 2011-04-27 ヤマハ株式会社 通話判定装置
JP4411309B2 (ja) 2006-09-21 2010-02-10 Ｏｋｉセミコンダクタ株式会社 ダブルトーク検出方法
EP2153439B1 (en) 2007-02-21 2018-01-17 Telefonaktiebolaget LM Ericsson (publ) Double talk detector
JP2008252510A (ja) 2007-03-30 2008-10-16 Toa Corp エコーキャンセラ
JP4600423B2 (ja) 2007-05-07 2010-12-15 パナソニック電工株式会社 エコーキャンセラ
GB2449720A (en) 2007-05-31 2008-12-03 Zarlink Semiconductor Inc Detecting double talk conditions in a hands free communication system
JP5394373B2 (ja) 2007-06-21 2014-01-22 コーニンクレッカ フィリップス エヌ ヴェ オーディオ信号を処理する装置及び方法
JP4456622B2 (ja) 2007-07-25 2010-04-28 沖電気工業株式会社 ダブルトーク検出器、ダブルトーク検出方法及びエコーキャンセラ
US7809129B2 (en) 2007-08-31 2010-10-05 Motorola, Inc. Acoustic echo cancellation based on noise environment
JP4410819B2 (ja) 2007-10-23 2010-02-03 Ｏｋｉセミコンダクタ株式会社 エコーキャンセラ
JP2009124386A (ja) 2007-11-14 2009-06-04 Sony Corp 音声信号処理装置、音声信号処理方法
JP5057109B2 (ja) 2008-04-24 2012-10-24 Ｎｅｃエンジニアリング株式会社 エコーキャンセラ装置
US8498407B2 (en) 2008-12-02 2013-07-30 Qualcomm Incorporated Systems and methods for double-talk detection in acoustically harsh environments
WO2010073181A1 (en) 2008-12-22 2010-07-01 Koninklijke Philips Electronics N.V. Determining an acoustic coupling between a far-end talker signal and a combined signal
EP2405587B1 (en) 2010-07-05 2013-03-27 Alcatel Lucent Echo canceller
JP2012134923A (ja) 2010-12-24 2012-07-12 Sony Corp 音声処理装置および方法、並びにプログラム
JP5923705B2 (ja) 2012-03-09 2016-05-25 パナソニックＩｐマネジメント株式会社 通話信号処理装置
KR20130113779A (ko) 2012-04-06 2013-10-16 한국전자통신연구원 광대역 어커스틱 에코 제거 장치 및 방법
KR101357381B1 (ko) 2012-05-11 2014-02-05 고려대학교 산학협력단 강인한 음성 검출을 위한 신호 처리 장치 및 방법
CN103780998B (zh) 2012-10-23 2018-06-01 韩国电子通信研究院 消除声学回波的方法和设备、与自适应滤波系数更新方法
KR102033069B1 (ko) 2012-10-23 2019-10-16 한국전자통신연구원 음향 반향 제거 방법 및 장치, 그리고 음향 반향 제거 장치의 적응 필터 계수 업데이트 방법
KR102157276B1 (ko) 2013-07-26 2020-09-17 삼성전자주식회사 비선형 음향 에코 소거 장치 및 그 방법
KR102112018B1 (ko) 2013-11-08 2020-05-18 한국전자통신연구원 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법
US9462438B2 (en) 2013-11-14 2016-10-04 Google Inc. Do-not-disturb modes

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102377900B1 (ko) * 2020-12-02 2022-03-23 주식회사 텔레칩스 더블 토크 이득 제어 장치 및 그 방법

Also Published As

Publication number Publication date
US20170076710A1 (en) 2017-03-16
US9842606B2 (en) 2017-12-12

Similar Documents

Publication Publication Date Title
KR20170032603A (ko) 전자 장치, 그의 반향 신호 제거 방법 및 비일시적 컴퓨터 판독가능 기록매체
US10354634B2 (en) Method and system for denoise and dereverberation in multimedia systems
JP6431884B2 (ja) シングルチャンネル音声残響除去方法及びその装置
CA2585325C (en) Robust noise estimation
US10755728B1 (en) Multichannel noise cancellation using frequency domain spectrum masking
JP6894580B2 (ja) ノイズと残響を減少させた音声信号を提供する信号処理装置及び方法
KR101317813B1 (ko) 노이지 음성 신호의 처리 방법과 이를 위한 장치 및 컴퓨터판독 가능한 기록매체
Gerkmann et al. Spectral masking and filtering
JP2023133472A (ja) ギャップ信頼度を用いた背景雑音推定
GB2577905A (en) Processing audio signals
US9680999B2 (en) Apparatus and method for removing acoustic echo in teleconference system
EP2716023A1 (en) Control of adaptation step size and suppression gain in acoustic echo control
KR20200095370A (ko) 음성 신호에서의 마찰음의 검출
US8406430B2 (en) Simulated background noise enabled echo canceller
JP6265136B2 (ja) 雑音除去システム、音声検出システム、音声認識システム、雑音除去方法および雑音除去プログラム
CN109246548B (zh) 爆破噪声控制系统、方法及计算装置
US11437054B2 (en) Sample-accurate delay identification in a frequency domain
KR101357381B1 (ko) 강인한 음성 검출을 위한 신호 처리 장치 및 방법
JP7393438B2 (ja) コヒーレンスを使用した信号コンポーネント推定
US10109291B2 (en) Noise suppression device, noise suppression method, and computer program product
JP6554853B2 (ja) 雑音抑圧装置及びプログラム
KR100978015B1 (ko) 고정 스펙트럼 전력 의존 오디오 강화 시스템