KR101975251B1 - 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법 - Google Patents

오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법 Download PDF

Info

Publication number
KR101975251B1
KR101975251B1 KR1020120074629A KR20120074629A KR101975251B1 KR 101975251 B1 KR101975251 B1 KR 101975251B1 KR 1020120074629 A KR1020120074629 A KR 1020120074629A KR 20120074629 A KR20120074629 A KR 20120074629A KR 101975251 B1 KR101975251 B1 KR 101975251B1
Authority
KR
South Korea
Prior art keywords
echo
impulse response
audio signal
bulk delay
echo signal
Prior art date
Application number
KR1020120074629A
Other languages
English (en)
Other versions
KR20140007203A (ko
Inventor
정재훈
안드리아스 슈와르쯔
발트 켈러만
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120074629A priority Critical patent/KR101975251B1/ko
Priority to US13/937,521 priority patent/US9349363B2/en
Priority to CN201310286724.2A priority patent/CN103546839B/zh
Publication of KR20140007203A publication Critical patent/KR20140007203A/ko
Application granted granted Critical
Publication of KR101975251B1 publication Critical patent/KR101975251B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Abstract

스피커 및 마이크를 포함하는 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법이 제공된다. 본 오디오 처리 시스템은 스피커로 출력하기 위한 오디오 신호를 입력받는 오디오 소스, 스피커로부터 출력된 오디오 신호가 마이크에 수신되어 생성되는 에코 신호를 벌크 딜레이 동안 지연하여 출력하는 에코 신호 지연부, 마이크로 수신된 오디오 신호에서 에코 신호 지연부에 의해 지연된 에코 신호를 제거하는 에코 신호 제거부를 포함하며, 에코 신호 지연부는 에코 패스(echo path)의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정한다.

Description

오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법{Audio signal processing system and Method for removing echo signal thereof}
본 발명은 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법에 관한 것으로, 더욱 상세하게는 스피커로부터 출력되어 마이크로 입력되는 에코 신호를 제거하기 위한 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법에 관한 것이다.
통신 기술 및 음향 기술의 발달로 서로 이격된 장소에 있는 화자 사이에서 통화 및 회화를 수행할 수 있는 음성 통화 시스템이 널리 보급되어 있다. 또한, 최근에는 사용자의 음성을 이용하여 전자 장치를 제어하는 음성 인식 기술 역시 널리 보급되고 있다.
이러한 음성 통화 시스템 및 전자 장치들은 각각 적어도 하나의 스피커와 적어도 하나의 마이크를 포함한다. 특히, 상술한 바와 같은 스피커와 마이크를 모두 포함하는 장치에서는 스피커로부터 출력되는 음성 신호가 같은 장치의 마이크로 수신될 수 있다. 이러한 동작이 순화하여 반복하는 경우, 사용자가 발화한 음성 이외에 스피커로부터 출력된 음성이 마이크로 함께 수신되는 에코 현상이 발생하게 된다.
이에 의해, 이격된 장소에 있는 화자 사이에 통화 및 회화를 수행하는 음향 시스템의 경우, 사용자의 목소리가 메아리처럼 들리는 하울링 현상이 발생하게 된다. 또한, 사용자 음성을 이용하여 제어되는 전자 장치의 경우, 사용자가 발화한 음성을 제대로 인식하지 못하는 오인식 현상이 발생하게 된다.
근래에는, 이러한 에코 현상을 방지하기 위하여, 스피커 및 마이크를 함께 구비하는 장치에서는 에코 제거 기술이 적용된다.
특히, 에코 제거 기술이 적용된 오디오 신호 처리 시스템에서는 적응 필터를 이용하는 방법이 사용되고 있다. 적응 필터를 이용한 시스템에는 스피커와 마이크 사이의 전달음(에코 패스)에 대한 임펄스 응답 특성을 얻은 후, 스피커로부터 방출시켜야 할 음을 입력 신호에 임펄스 응답을 기입함으로써 에코 신호 성분을 출력할 수 있다. 그리고, 오디오 처리 시스템은 이러한 에코 신호 성분을 마이크로부터 수신된 음성 신호에 감산하여 에코 신호가 제거된 음성 신호를 수신할 수 있게 된다.
그러나, 에코 경로의 시작이 알려지지 않은 시스템에서는 벌크 딜레이(bulk delay)가 발생하게 된다. 실제적으로, 이러한 벌크 딜레이는 오디오 리코딩 하드웨어, 소프트웨어의 서로 다른 버퍼링 구조 또는 알려지지 않은 스피커 및 마이크의 위치로 인해 발생한다. 이러한 벌크 딜레이를 제대로 보상하지 못할 경우, 에코 신호가 적절히 제거되지 않는 문제점이 발생한다.
따라서, 이러한 벌크 딜레이를 보상하여 에코 신호를 제거하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 에코 신호의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정함으로써, 벌크 딜레이를 보상하는 오디오 신호 처리 시스템 및 이를 적용한 에코 신호 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 스피커 및 마이크를 포함하는 오디오 신호 처리 시스템은, 상기 스피커로 출력하기 위한 오디오 신호를 입력받는 오디오 소스; 상기 스피커로부터 출력된 오디오 신호가 상기마이크에 수신되어 생성되는 에코 신호를 벌크 딜레이(bulk delay) 동안 지연하여 출력하는 에코 신호 지연부; 상기 마이크로 수신된 오디오 신호에서 상기 에코 신호 지연부에 의해 지연된 에코 신호를 제거하는 에코 신호 제거부;를 포함하며, 상기 에코 신호 지연부는, 상기 에코 패스(echo path)의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정하는 벌크 딜레이 측정부;를 포함한다.
그리고, 상기 에코 신호 제거부는, 상기 에코 패스의 임펄스 응답을 적응적으로 모델링하는 적응 필터부; 및 상기 마이크로 수신된 오디오 신호에서 상기 적응 필터부에서 출력되는 에코 신호를 감산하는 감산부;를 포함하며, 상기 에코 신호 지연부는, 상기 적응 필터부에서 모델링 된 임펄스 응답을 이용하여 벌크 딜레이를 측정할 수 있다.
또한, 상기 벌크 딜레이 측정부는, 상기 임펄스 응답이 입력되는 시간 중 상기 임펄스 응답의 크기가 임계값 내인 시간을 벌크 딜레이라고 측정할 수 있다.
그리고, 상기 기설정된 임계값은, 상기 임펄스 응답의 초기 피크의 형태 및 상기 임펄스 응답의 노이즈 양 중 적어도 하나를 이용하여 결정할 수 있다.
또한, 상기 에코 신호 지연부는, 더블 토크 상황(double talk situation)을 판단하는 더블 토크 검출부;를 더 포함하고, 상기 벌크 딜레이 측정부는, 상기 더블 토크 검출부에 의해 더블 토크 상황이라고 판단된 경우, 상기 더블 토크 상황이 끝난 후, 벌크 딜레이를 측정할 수 있다.
그리고, 상기 오디오 신호 처리 시스템은, 복수 개의 스피커 및 복수 개의 마이크를 포함하며, 상기 에코 신호 지연부는, 상기 복수 개의 스피커로부터 출력되어 복수 개의 마이크로 입력되는 복수 개의 경로에 대한 에코 신호를 각각 벌크 딜레이 동안 지연하며, 상기 에코 신호 제거부는, 상기 복수 개의 마이크로부터 입력되는 오디오 신호에 상기 복수 개의 경로에 대한 에코 신호를 각각 제거할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 스피커 및 마이크를 포함하는 오디오 신호 처리 시스템의 에코 신호 제거 방법은, 상기 스피커로 출력하기 위한 오디오 신호를 입력받는 단계; 상기 스피커로부터 출력된 오디오 신호가 상기마이크에 수신되어 생성되는 에코 신호를 벌크 딜레이(bulk delay) 동안 지연하여 출력하는 단계;및 상기 마이크로 수신된 오디오 신호에서 상기 에코 신호 지연부에 의해 지연된 에코 신호를 제거하는 단계;를 포함하며, 상기 출력하는 단계는, 상기 에코 패스(echo path)의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정하는 단계;를 포함한다.
그리고, 상기 제거하는 단계는, 상기 에코 패스의 임펄스 응답을 적응적으로 모델링하는 단계;를 더 포함하며, 상기 측정하는 단계는, 상기 적응 필터부에서 모델링 된 임펄스 응답을 이용하여 벌크 딜레이를 측정할 수 있다.
또한, 상기 측정하는 단계는, 상기 임펄스 응답이 입력되는 시간 중 상기 임펄스 응답의 크기가 임계값 내인 시간을 벌크 딜레이라고 측정할 수 있다.
그리고, 상기 기설정된 임계값은, 상기 임펄스 응답의 초기 피크의 형태 및 상기 임펄스 응답의 노이즈 양 중 적어도 하나를 이용하여 결정할 수 있다.
또한, 더블 토크 상황(double talk situation)을 판단하는 단계;를 더 포함하고, 상기 측정하는 단계는, 상기 판단하는 단계에 의해 더블 토크 상황이라고 판단된 경우, 상기 더블 토크 상황이 끝난 후, 벌크 딜레이를 측정할 수 있다.
그리고, 상기 오디오 신호 처리 시스템이 복수 개의 스피커 및 복수 개의 마이크를 포함하는 경우, 상기 출력하는 단계는, 상기 복수 개의 스피커로부터 출력되어 복수 개의 마이크로 입력되는 복수 개의 경로에 대한 에코 신호를 각각 벌크 딜레이 동안 지연하며, 상기 제거하는 단계는, 상기 복수 개의 마이크로부터 입력되는 오디오 신호에 상기 복수 개의 경로에 대한 에코 신호를 각각 제거할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 사용자는 짧은 길이의 필터를 이용하여 더욱 정확하고 효율적으로 에코 신호를 제거할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 2개의 스피커 및 2개의 마이크를 포함하는 오디오 신호 처리 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 에코 신호 지연부의 구성을 도시한 도면,
도 3 및 도 4는 본 발명의 일 실시예에 따른, 벌크 딜레이가 보상된 임펄스 응답 및 그렇지 않은 임펄스 응답을 비교하기 위한 그래프
도 5는 본 발명의 일 실시예에 따른, 벌크 딜레이를 보상한 경우 및 보상하지 않은 경우 사이의 ERLE를 비교한 도면,
도 6은 본 발명의 일 실시예에 따른, 근단 신호, 센서 신호 및 스피커 신호의 플롯을 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, 더블 토크 정보를 이용한 경우와 그렇지 않은 경우 사이의 필터 계수를 비교한 도면,
도 8은 본 발명의 일 실시예에 따른, 더블 토크 정보를 이용한 경우와 그렇지 않은 경우 사이의 ERLE를 비교한 도면,
도 9는 본 발명의 일 실시예에 따른, 에코 신호를 제거하기 위한 방법을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명에 대해 상세히 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 2개의 스피커 및 2개의 마이크를 포함하는 오디오 신호 처리 시스템을 도시한 도이다. 도 1에 도시된 바와 같이, 오디오 신호 처리 시스템(100)은 오디오 소스(110), 2개의 스피커(120-1,120-2), 2개의 마이크(130-1,130-2), 4개의 에코 신호 지연부(T11,T12,T21,T22)(140-1,140-2,140-3,140-4) 및 에코 신호 제거부(170)를 포함한다. 이때, 에코 신호 제거부(170)는 4개의 적응필터(h'11,h'12,h'21,h'22)(150-1,150-2,150-3,150-4) 및 2개의 감산부(160-1,160-2)를 포함한다. 또한, 오디오 신호 처리 시스템(100)은 음성 인식 및 화상 통화가 가능한 스마트 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, 전화기, 스마트 폰, 태블릿 PC 등과 같은 다양한 전자 장치에 적용될 수 있다.
오디오 소스(110)는 외부로부터 오디오 신호를 입력받는다. 이때, 입력된 오디오 신호는 영상 통화 수행시, 상대방 측이 발화한 음성 신호이거나 컨텐츠 재생시 출력되는 오디오 신호일 수 있다.
스피커(120)는 오디오 소스로부터 입력된 오디오 신호를 외부로 출력한다. 이때, 스피커(120)에서 출력되어 마이크(130)에 입력되는 오디오 신호를 에코 신호라 할 수 있다. 이때, 2개의 스피커(120-1,120-2)에서 출력되는 에코 신호는 4개의 경로(h11,h12,h21,h22)를 가질 수 있다.
마이크(130)는 외부에서 입력되는 오디오 신호를 입력받는다. 특히, 마이크(130)는 사용자가 발화한 음성 신호를 입력받을 뿐 아니라, 스피커(120)에서 출력되는 에코 신호를 입력받을 수 있다.
에코 신호 지연부(140)는 에코 신호를 벌크 딜레이(bulk delay) 동안 지연하여 출력한다. 이때, 에코 신호 지연부(140)는 적응 필터(150)에서 측정된 에코 패스(echo path)의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정할 수 있다. 에코 신호 지연부(140)가 벌크 딜레이를 측정하여 보상하는 방법은 추후에 자세히 설명하도록 한다.
에코 신호 제거부(170)는 마이크(120)에서 입력되는 오디오 신호에 에코 신호를 제거한다. 이때, 에코 신호 제거부는 적응 필터(150) 및 감산부(160)를 포함할 수 있다.
적응 필터(150)는 에코 패스(echo path)의 임펄스 응답을 적응적으로 모델링 한다. 이때, 적응 필터(150)는 길이 L을 가지는 FIR(finite impulse response) 필터일 수 있다. 그리고, 적응 필터(150)는 시간 영역 또는 변환 영역(transform domain)에서 구현될 수 있다.
특히, FIR 필터 계수는 에러 신호가 최소화 되도록 규격 필터 적응 방법(standard filter adaptation method)(예를 들어, NLMS(normalized least mean squares) 알고리즘)에 의해 적응될 수 있다.
그리고, 감산부(160)는 마이크에 입력되는 오디오 신호에 적응 필터(150)에서 출력되는 출력 신호를 감산하여, 에코 신호를 제거한다.
한편, 도 1에 도시된 오디오 신호 처리 시스템(100)은 2개의 스피커 및 2개의 마이크로 구성된 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 2개를 제외한 적어도 하나의 스피커 및 2개를 제외한 적어도 하나의 마이크로 구성될 수 있다. 예를 들어, 오디오 처리 시스템(100)은 3개의 스피커 및 3개의 마이크로 구현될 수 있다. 이 경우, 3개의 스피커에서 출력되는 에코 신호의 에코 경로가 9개이므로, 오디오 처리 시스템(100)은 9개의 에코 신호 지연부(140), 9개의 적응 필터(150), 3개의 감산부(160)를 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른, 에코 신호 지연부(140)의 구성을 도시한 도면이다. 이때, 에코 신호 지연부(140)는 도 2에 도시된 바와 같이, 지연 회로부(Tmn)(141), 벌크 딜레이 측정부(143) 및 더블 토크 검출부(145)를 포함한다.
지연 회로부(141)는 p 샘플 동안의 신호 지연을 발생시킨다. 이때, 지연 회로부(141)는 p 길이의 추가적인 링 버퍼 또는 에코 신호 제거부(170)에 입력되는 오디오 신호를 제공하기 위해 이용되는 기존의 링 버퍼의 액세스를 오프셋 함으로써 신호 지연을 구현할 수 있다. 특히, 지연 회로부(141)는 초기 지연값을 0으로 설정할 수 있다.
벌크 딜레이 측정부(143)는 적응 필터의 임펄스 응답을 이용하여 벌크 딜레이를 측정한다. 구체적으로, 에코 신호가 입력된 경우, 벌크 딜레이 측정부(143)는 0에 가까운 초기 임펄스 응답의 샘플 수에 대응되는 값을 계산한다. 이는 0에 가까운 초기 임펄스 응답의 샘플 수를 벌크 딜레이라고 판단할 수 있기 때문이다. 즉, 벌크 딜레이 측정부(143)는 임계값(T) 미만의 값을 가지는 초기 임펄스 응답의 탭(tap) 수를 카운팅하여 벌크 딜레이를 계산할 수 있다.
이때, 임계값(T)는 임펄스 응답의 최고값에 0과 1 사이의 팩터(factor)를 곱함으로써 계산될 수 있다. 구체적으로, 아래와 같은 수학식 1에 의해 산출될 수 있다.
Figure 112012054740669-pat00001
여기서 팩터(f)는 수렴 후 임펄스 응답의 초기 피크의 형태 및 임펄스 응답의 노이즈 양 중 적어도 하나를 이용하여 결정할 수 있다. 구체적으로, 초기 피크의 모양이 급격(sharp)하지 않은 경우, 높은 팩터는 벌크 딜레이로 분류되는 임펄스 응답의 관련 샘플들에 대한 오분류(misclassification)를 발생시킬 수 있으므로, 팩터의 값이 작아질 수 있다. 또한, fast-converging algorithm을 사용하여 로컬 노이즈가 발생한 경우, 임펄스 응답의 벌크 딜레이 부분이 정확히 0으로 수렴하지 않고 노이즈 형태로 존재할 수 있으므로, 팩터의 값을 높일 수 있다.
벌크 딜레이 측정부(143)에 의해 벌크 딜레이(d)가 산출된 후, 측정된 벌크 딜레이(d)는 아래와 같은 두 가지 과정에 수행될 수 있다.
1. 우선 지연 요소 파라미터로서 p=d-s로 설정한다.
2. 그리고, d-s 탭 수만큼 수렴된 임펄스 응답(h)을 왼쪽으로 쉬프트 시키고, 나머지는 0으로 채운다.(hnew[0...L-1]=h[d-s...L-1]0...0])
이때, s는 오디오 신호에 의해 적용될 수 있는 작은 숫자(예를 들어, 10)일 수 있다. 이는 벌크 딜레이를 감소시킬 수 있는 온도 변화 또는 작은 위치 변화로 인한 사운드 속도의 작은 변경을 허용하도록 안전한 마진(s)을 획득하지 위함이다. 또한, 대역 제한 시스템(band-limited system)에서, (직접적인 패스(direct path)에 대응되는) 메인 피크 전에 0이 아닌 탭의 어떤 수가 예측될 수 있다. 이러한 탭 수는 시스템의 모델링과 관련된 것으로 반드시 컷 오프해야 하는 것은 아니다. 즉, 시스템의 대역폭 및 샘플링 레이트에 의존하여 충분히 안전한 마진(s)을 선택함으로써, 더욱 효과적인 에코 제거가 가능해 질 수 있다.
특히, 벌크 딜레이가 에코 신호 제거 동작 동안 변하지 않기 때문에, 벌크 딜레이를 측정하고 보정하는 처리 과정은 시스템이 충분히 수렴될 후에 동작될 수 있다. 시스템이 충분히 수렴되는 조건은
1. 임의의 고정된 시간 기간 후 수렴을 예측하거나,
2. 임펄스 응답으로부터 수렴 정도를 측정(예를 들어, sparseness를 측정)하여 판단될 수 있다.
상술한 바와 같은 방법을 이용하여 시뮬레이션한 결과를 도 3 내지 도 5를 참조하여 설명하기로 한다. 이때, 화이트 노이즈(white noise)가 근단 신호(far-end signal)로서 이용되었으며, 시뮬레이트된 마이크 신호를 획득하기 위해 룸 임펄스 응답(room impulse response)이 이용되었다. 길이(L)가 2048인 필터는 0.02 스텝 사이즈의 NLMS 알고리즘을 이용하여 적응된다. 이때, 샘플링 레이트는 f s=48kHz이다. 룸 임펄스 응답은 스피커와 마이크의 거리가 4m인 거실 환경에서 측정되었으며, 4000 샘플로 길이를 줄였다.
도 3은 벌크 딜레이 보상이 없는 적응 필터의 수렴된 임펄스 응답을 도시한 도면이다. 이때, 스피커와 마이크 사이의 거리 차이로 인해, 눈에 띄는 벌크 딜레이(td)가 포함되어 있다.
이러한 벌크 딜레이를 보상하기 위하여, 상술한 바와 같은 벌크 딜레이 측정 과정을 적용하면, 팩터는 f=0.05로 결정되며, 임계값(T)는 0.0061로 산출되며, 벌크 딜레이(d)는 587 탭 수로 측정될 수 있다.
상술한 바와 같이, 측정된 벌크 딜레이에 안전 마진(s)을 10을 적용하면, 도 4에 도시된 바와 같은 수렴된 임펄스 응답이 출력될 수 있다. 즉, 도 4에 도시된 바와 같이, 벌크 딜레이(d)가 제거된 임펄스 응답이 출력됨으로써, 입력되는 오디오 신호에서 에코 신호를 더욱 정확하게 제거할 수 있게 된다.
도 5는 본 발명의 일 실시예에 따른, 벌크 딜레이를 보상한 경우 및 보상하지 않은 경우를 비교하여 설명하기 위한 그래프이다. 구체적으로, 도 5는 5초 후에 벌크 딜레이의 보상이 적용된 경우와 그렇지 않은 경우의 ERLE(echo return loss enhancement)를 비교한 도면이다. 즉, 벌크 딜레이가 보상된 경우, 벌크 딜레이를 보상하지 않는 경우보다 약 6dB 높은 ERLE를 갖는 결과를 얻을 수 있게 된다.
상술한 바와 같은 벌크 딜레이 보상을 통해 더욱 뛰어난 에코 패스 모델링이 가능해지며, 에코 신호 제거 능력 또한 향상될 수 있게 된다.
다시, 도 2에 대해 설명하면, 더블 토크 검출부(145)는 더블 토크 상황을 검출한다. 즉, 스피커(120)로 출력되어 마이크(130)로 입력되는 에코 신호 이외에 마이크(130)로 입력되는 추가적인 오디오 신호(예를 들어, 사용자 음성 등)가 존재하는 경우, 더블 토크 검출부(145)는 더블 토크 상황이라고 판단할 수 있다.
특히, 도 6에 도시된 바와 같이, 필터가 수렴하기 전에 더블 토크 상황이 시작된 경우, 벌크 딜레이 측정부(143)는 상기 더블 토크 상황이 끝난 후, 벌크 딜레이를 측정할 수 있다. 이는 더블 토크 상황이 발생된 경우, 측정된 벌크 딜레이가 부정확할 수 있기 때문이다.
도 7은 본 발명의 일 실시예에 따른, 더블 토크 정보를 이용한 경우와 그렇지 않은 경우 사이의 필터 계수를 비교한 도면이다. 특히, 더블 토크 정보(xi information)를 이용하여 더블 토크 상황이 끝난 후부터 임펄스 응답을 제거함으로써, 도 7에 도시된 바와 같이, 더욱 정확한 벌크 딜레이의 보상이 가능해진다.
또한, 도 8은 본 발명의 일 실시예에 따른, 더블 토크 정보를 이용한 경우와 그렇지 않은 경우 사이의 ERLE를 비교한 도면이다. 구체적으로, 더블 토크 정보(xi information)을 이용하여 벌크 딜레이를 측정한 경우, 더블 토크 정보를 이용하지 않는 경우보다 약 1dB 높은 ERLE를 갖는 결과를 얻을 수 있게 된다.
상술한 바와 같은 오디오 신호 처리 시스템에 의해, 사용자는 짧은 길이의 적응 필터를 이용하여 더욱 정확하고 효율적으로 에코 신호를 제거할 수 있게 된다.
이하에서는 도 9를 참조하여, 오디오 신호 처리 시스템(100)의 에코 신호 제거 방법에 대해 상세히 설명하도록 한다.
우선, 오디오 신호 처리 시스템(100)은 오디오 신호를 입력받는다(S910). 이때, 오디오 신호는 스피커(120)로 출력하는 오디오 신호일 수 있다. 특히, 스피커(120)로 출력되는 오디오 신호 중 마이크로 입력되는 오디오 신호를 에코 신호라 할 수 있다.
그리고, 오디오 신호 처리 시스템(100)은 에코 패스의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정한다(S920). 구체적으로, 오디오 신호 처리 시스템(100)은 적응 필터(예를 들어, FIR 필터)에서 출력되는 임펄스 응답 중 임펄스 응답의 크기가 임계값 내인 시간을 벌크 딜레이라고 측정할 수 있다. 구체적인 벌크 딜레이 측정 방법은 도 1 내지 도 5에서 상술한 바와 같다. 다만, 더블 토크 상황이 발생한다고 판단되는 경우, 오디오 신호 처리 시스템(100)은 더블 토크 상황이 끝난 후부터 벌크 딜레이를 측정할 수 있다.
그리고, 오디오 신호 처리 시스템(100)은 에코 신호를 벌크 딜레이 동안 지연하여 출력한다(S930).
그리고, 오디오 신호 처리 시스템(100)은 마이크로 수신되는 오디오 신호에 에코 신호를 제거한다(S940). 구체적으로, 오디오 신호 처리 시스템(100)은 마이크로 수신되는 오디오 신호에 적응 필터에서 출력되는 에코 신호를 감산함으로써, 마이크로 수신되는 오디오 신호의 에코 신호를 제거할 수 있게 된다.
상술한 바와 같은 에코 신호 제거 방법에 의해, 사용자는 짧은 길이의 적응 필터를 이용하여 더욱 정확하고 효율적으로 에코 신호를 제거할 수 있게 된다.
이상과 같은 다양한 실시 예에 따른 에코 신호 제거 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 오디오 소스 120: 스피커
130: 마이크 140: 에코 신호 지연부
150: 적응 필터 160: 감산부
170: 에코 신호 제거부

Claims (14)

  1. 스피커 및 마이크를 포함하는 오디오 신호 처리 시스템에 있어서,
    상기 스피커로 출력하기 위한 오디오 신호를 입력받는 오디오 소스;
    상기 스피커로부터 출력된 오디오 신호가 상기 마이크에 수신되어 생성되는 에코 신호를 벌크 딜레이(bulk delay) 시간 동안 지연하여 출력하는 에코 신호 지연부;
    상기 마이크로 수신된 오디오 신호에서 상기 에코 신호 지연부에 의해 지연된 에코 신호를 제거하는 에코 신호 제거부;를 포함하며,
    상기 에코 신호 지연부는,
    에코 패스(echo path)의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정하는 벌크 딜레이 측정부;를 포함하는 것을 특징으로 하고,
    상기 벌크 딜레이 측정부는,
    상기 임펄스 응답이 입력되는 시간 중 상기 임펄스 응답의 크기가 임계값 내인 시간을 벌크 딜레이로 측정하고,
    상기 임계값은,
    상기 임펄스 응답의 초기 피크의 형태를 이용하여 결정되는 것을 특징으로 하는 오디오 신호 처리 시스템.
  2. 제1항에 있어서,
    상기 에코 신호 제거부는,
    상기 에코 패스의 임펄스 응답을 적응적으로 모델링하는 적응 필터부; 및
    상기 마이크로 수신된 오디오 신호에서 상기 적응 필터부에서 출력되는 에코 신호를 감산하는 감산부;를 포함하며,
    상기 에코 신호 지연부는,
    상기 적응 필터부에서 모델링 된 임펄스 응답을 이용하여 벌크 딜레이를 측정하는 것을 특징으로 하는 오디오 신호 처리 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 임계값은,
    상기 임펄스 응답의 노이즈 양을 이용하여 결정되는 것을 특징으로 하는 오디오 신호 처리 시스템.
  5. 제1항에 있어서,
    상기 에코 신호 지연부는,
    더블 토크 상황(double talk situation)을 판단하는 더블 토크 검출부;를 더 포함하고,
    상기 벌크 딜레이 측정부는,
    상기 더블 토크 검출부에 의해 더블 토크 상황이라고 판단된 경우, 상기 더블 토크 상황이 끝난 후, 벌크 딜레이를 측정하는 것을 특징으로 하는 오디오 신호 처리 시스템.
  6. 제1항에 있어서,
    상기 오디오 신호 처리 시스템은,
    복수 개의 스피커 및 복수 개의 마이크를 포함하며,
    상기 에코 신호 지연부는,
    상기 복수 개의 스피커로부터 출력되어 복수 개의 마이크로 입력되는 복수 개의 경로에 대한 에코 신호를 각각 벌크 딜레이 동안 지연하며,
    상기 에코 신호 제거부는,
    상기 복수 개의 마이크로부터 입력되는 오디오 신호에 상기 복수 개의 경로에 대한 에코 신호를 각각 제거하는 것을 특징으로 하는 오디오 신호 처리 시스템.
  7. 스피커 및 마이크를 포함하는 오디오 신호 처리 시스템의 에코 신호 제거 방법에 있어서,
    상기 스피커로 출력하기 위한 오디오 신호를 입력받는 단계;
    상기 스피커로부터 출력된 오디오 신호가 상기 마이크에 수신되어 생성되는 에코 신호를 벌크 딜레이(bulk delay) 시간 동안 지연하여 출력하는 단계;및
    상기 마이크로 수신된 오디오 신호에서 상기 벌크 딜레이 시간 동안 지연된 에코 신호를 제거하는 단계;를 포함하며,
    상기 출력하는 단계는,
    에코 패스(echo path)의 임펄스 응답 특성을 분석하여 벌크 딜레이를 측정하는 단계;를 포함하고,
    상기 측정하는 단계는,
    상기 임펄스 응답이 입력되는 시간 중 상기 임펄스 응답의 크기가 임계값 내인 시간을 벌크 딜레이로 측정하는 것을 특징으로 하고,
    상기 임계 값은,
    상기 임펄스 응답의 초기 피크의 형태를 이용하여 결정되는 것을 특징으로 하는 에코 신호 제거 방법.
  8. 제7항에 있어서,
    상기 제거하는 단계는,
    상기 에코 패스의 임펄스 응답을 적응적으로 모델링하는 단계;를 더 포함하며,
    상기 측정하는 단계는,
    적응 필터부에서 모델링 된 임펄스 응답을 이용하여 벌크 딜레이를 측정하는 것을 특징으로 하는 에코 신호 제거 방법.
  9. 삭제
  10. 제7항에 있어서,
    상기 임계값은,
    상기 임펄스 응답의 노이즈 양을 이용하여 결정되는 것을 특징으로 하는 에코 신호 제거 방법.
  11. 제7항에 있어서,
    더블 토크 상황(double talk situation)을 판단하는 단계;를 더 포함하고,
    상기 측정하는 단계는,
    상기 판단하는 단계에 의해 더블 토크 상황이라고 판단된 경우, 상기 더블 토크 상황이 끝난 후, 벌크 딜레이를 측정하는 것을 특징으로 하는 에코 신호 제거 방법.
  12. 제7항에 있어서,
    상기 오디오 신호 처리 시스템이 복수 개의 스피커 및 복수 개의 마이크를 포함하는 경우,
    상기 출력하는 단계는,
    상기 복수 개의 스피커로부터 출력되어 복수 개의 마이크로 입력되는 복수 개의 경로에 대한 에코 신호를 각각 벌크 딜레이 동안 지연하며,
    상기 제거하는 단계는,
    상기 복수 개의 마이크로부터 입력되는 오디오 신호에 상기 복수 개의 경로에 대한 에코 신호를 각각 제거하는 것을 특징으로 하는 에코 신호 제거 방법.
  13. 제1항에 있어서,
    상기 임펄스 응답의 초기 피크 형태가 급격하지 않은 경우,
    상기 벌크 딜레이 측정부는,
    상기 임계 값을 작게 설정하는 특징으로 하는 오디오 신호 처리 시스템.
  14. 제7항에 있어서,
    상기 임펄스 응답의 초기 피크 형태가 급격하지 않은 경우,
    상기 벌크 딜레이 측정부는,
    상기 임계 값을 작게 설정하는 특징으로 하는 에코 신호 제거 방법.
KR1020120074629A 2012-07-09 2012-07-09 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법 KR101975251B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120074629A KR101975251B1 (ko) 2012-07-09 2012-07-09 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법
US13/937,521 US9349363B2 (en) 2012-07-09 2013-07-09 Audio signal processing system and echo signal removing method thereof
CN201310286724.2A CN103546839B (zh) 2012-07-09 2013-07-09 音频信号处理系统及其回音信号去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120074629A KR101975251B1 (ko) 2012-07-09 2012-07-09 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법

Publications (2)

Publication Number Publication Date
KR20140007203A KR20140007203A (ko) 2014-01-17
KR101975251B1 true KR101975251B1 (ko) 2019-05-07

Family

ID=49878537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120074629A KR101975251B1 (ko) 2012-07-09 2012-07-09 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법

Country Status (3)

Country Link
US (1) US9349363B2 (ko)
KR (1) KR101975251B1 (ko)
CN (1) CN103546839B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219013B (zh) * 2014-09-01 2017-05-24 厦门亿联网络技术股份有限公司 一种视频会议系统的多麦克风混音方法
GB2543276A (en) * 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
US9655001B2 (en) * 2015-09-24 2017-05-16 Cisco Technology, Inc. Cross mute for native radio channels
CN105304093B (zh) * 2015-11-10 2017-07-25 百度在线网络技术（北京）有限公司 用于语音识别的信号前端处理方法及装置
CN106210368B (zh) * 2016-06-20 2019-12-10 百度在线网络技术（北京）有限公司 消除多通道声回波的方法和装置
CN106331958A (zh) * 2016-08-26 2017-01-11 深圳市新国都支付技术有限公司 一种回音消除方法及装置
US10142521B2 (en) * 2017-03-22 2018-11-27 Cisco Technology, Inc. System and method for using HDMI arc for estimating latency
US10650840B1 (en) * 2018-07-11 2020-05-12 Amazon Technologies, Inc. Echo latency estimation
CN109618266A (zh) * 2018-11-06 2019-04-12 东莞市华泽电子科技有限公司 双向实时通话音频处理方法及双向实时通话对讲系统
DE102019213810B3 (de) * 2019-09-11 2020-11-19 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgeräts und Hörgerät
TWI757873B (zh) * 2020-09-16 2022-03-11 宏碁股份有限公司 電子裝置及其雙聲道音場平衡方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050265568A1 (en) * 2004-05-27 2005-12-01 Kindred Jon S Method and apparatus for a hearing assistance system with adaptive bulk delay
US20100135481A1 (en) * 2008-12-02 2010-06-03 Frauenthal James C Echo mitigation in a conference call
US20110311066A1 (en) * 2010-06-16 2011-12-22 Ferenc Nagy Echo Cancellers and Echo Cancelling Methods
US20120250872A1 (en) * 2011-03-31 2012-10-04 Leblanc Wilfrid Paul Method and System for Modeling External Volume Changes Within an Acoustic Echo Canceller

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920548A (en) * 1996-10-01 1999-07-06 Telefonaktiebolaget L M Ericsson Echo path delay estimation
US6700978B2 (en) 2000-09-08 2004-03-02 Intel Corporation Method and apparatus for fast converging affine projection based echo canceller
SE525053C2 (sv) * 2002-04-26 2004-11-16 Global Ip Sound Europ Ab Ekosläckning
US6928160B2 (en) 2002-08-09 2005-08-09 Acoustic Technology, Inc. Estimating bulk delay in a telephone system
US20040252652A1 (en) 2003-06-10 2004-12-16 Alexander Berestesky Cross correlation, bulk delay estimation, and echo cancellation
JP5932337B2 (ja) 2008-12-22 2016-06-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔端通話者信号と複合信号との間の音響カップリングの特定
CN102137194B (zh) * 2010-01-21 2014-01-01 华为终端有限公司 一种通话检测方法及装置
CN101826328A (zh) * 2010-04-29 2010-09-08 浙江工业大学 嵌入式无线可视门铃中的回音抵消方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050265568A1 (en) * 2004-05-27 2005-12-01 Kindred Jon S Method and apparatus for a hearing assistance system with adaptive bulk delay
US20100135481A1 (en) * 2008-12-02 2010-06-03 Frauenthal James C Echo mitigation in a conference call
US20110311066A1 (en) * 2010-06-16 2011-12-22 Ferenc Nagy Echo Cancellers and Echo Cancelling Methods
US20120250872A1 (en) * 2011-03-31 2012-10-04 Leblanc Wilfrid Paul Method and System for Modeling External Volume Changes Within an Acoustic Echo Canceller

Also Published As

Publication number Publication date
US9349363B2 (en) 2016-05-24
CN103546839A (zh) 2014-01-29
KR20140007203A (ko) 2014-01-17
US20140010382A1 (en) 2014-01-09
CN103546839B (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
KR101975251B1 (ko) 오디오 신호 처리 시스템 및 이의 에코 신호 제거 방법
US10566008B2 (en) Method and apparatus for acoustic echo suppression
US8842851B2 (en) Audio source localization system and method
RU2546717C2 (ru) Многоканальное акустическое эхоподавление
US8189810B2 (en) System for processing microphone signals to provide an output signal with reduced interference
US9667803B2 (en) Nonlinear acoustic echo cancellation based on transducer impedance
JP2016503263A (ja) エコー抑圧
KR20180019717A (ko) 준-블라인드 적응형 필터 모델을 이용하는 통신 단말들을 위한 음향 키스트로크 순간 소거기
US9680999B2 (en) Apparatus and method for removing acoustic echo in teleconference system
JP2016506673A (ja) エコー抑圧
JP6422884B2 (ja) エコー抑圧
RU2744518C1 (ru) Устройство голосовой связи, способ голосовой связи и программа
KR20090011868A (ko) 스피커 공진 감쇄 방법 및 장치
CN106297816B (zh) 一种回声消除的非线性处理方法和装置及电子设备
JP2008033307A (ja) マルチチャンネルエコーキャンセラ
KR102045953B1 (ko) 칼만필터 기반의 다채널 입출력 음향학적 반향 제거 방법
JP4395105B2 (ja) 音響結合量推定方法、音響結合量推定装置、プログラム、記録媒体
JP5562405B2 (ja) エコー消去方法とその装置とプログラムとその記録媒体
JP5346350B2 (ja) 反響消去装置とその方法とプログラム
JP4642711B2 (ja) エコーキャンセラ
JP2007027959A (ja) エコーキャンセラを備える拡声集音通信装置
JPH07226793A (ja) 信号伝達系の応答の変化を検出する装置
GB2573380A (en) Method and apparatus for acoustic echo suppression
JP2009267486A (ja) 適応等化器、適応等化方法および記録媒体
Bispo et al. Acoustic echo cancellation based on cesptral analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant