KR20150053621A - 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법 - Google Patents

영상 회의 시스템에서의 음향 반향 제거 장치 및 방법 Download PDF

Info

Publication number
KR20150053621A
KR20150053621A KR1020130135824A KR20130135824A KR20150053621A KR 20150053621 A KR20150053621 A KR 20150053621A KR 1020130135824 A KR1020130135824 A KR 1020130135824A KR 20130135824 A KR20130135824 A KR 20130135824A KR 20150053621 A KR20150053621 A KR 20150053621A
Authority
KR
South Korea
Prior art keywords
adaptive filter
acoustic echo
signal
filter coefficient
spatial information
Prior art date
Application number
KR1020130135824A
Other languages
English (en)
Other versions
KR102112018B1 (ko
Inventor
장인선
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130135824A priority Critical patent/KR102112018B1/ko
Priority to US14/266,616 priority patent/US9680999B2/en
Publication of KR20150053621A publication Critical patent/KR20150053621A/ko
Application granted granted Critical
Publication of KR102112018B1 publication Critical patent/KR102112018B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation

Abstract

음향 반향 제거 장치는 복수의 마이크로폰을 통해서 수신되는 복수의 마이크 입력 신호를 이용하여 음원의 위치를 나타내는 공간 정보를 검출하고, 적응 필터 계수를 이용하여 원화자 음성 신호로부터 음향 반향 추정 신호를 생성한다. 이때 음향 반향 제거 장치는 공간 정보를 이용하여 동시 통화 구간을 검출하고, 동시 통화 구간의 여부에 따라서 적응 필터 계수의 갱신을 결정한다.

Description

영상 회의 시스템에서의 음향 반향 제거 장치 및 방법{APPARATUS AND METHOD FOR CANCELLING ACOUSTIC ECHO IN TELECONFERENCE SYSTEM}
본 발명은 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법에 관한 것이다. 특히 핸즈프리 단말을 이용하는 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법에 관한 것이다.
무선 이동 통신 환경에서 편리함에 대한 요구가 커지면서 핸즈프리 통화와 영상 통화 등에 대한 관심이 높아지고 있다. 이러한 핸즈프리 통화에는 차량과 같은 협소한 공간에 의해서, 그리고 영상 통화에서는 단말의 소형화로 인한 마이크와 스피커의 짧은 거리로 인해서 음향 반향(acoustic echo)이 발생할 수 있다.
음향 반향(acoustic echo)은 스피커로부터 출력된 상대방(원화자)의 음성신호가 반향 경로를 통해 음향 반향 신호로 바뀌어 사용자(근화자)의 마이크로폰으로 입력되어 상대방에게 전달되는 것을 의미한다.
스마트워크를 위한 텔레프레즌스 시스템 또는 영상 회의 시스템에서는 스피커를 중심으로 회의가 진행되기 때문에 음향 반향을 제거하는 것이 상당히 중요하다. 즉 영상회의 시스템에서는 근화자 음성 신호가 서로 양방향으로 전달되는데, 예를 들어 핸즈프리 단말을 사용하여 영상회의를 하는 경우 사용자 A(원화자)의 음향 반향 성분이 다른 사용자 B(근화자)의 음성 신호와 중첩되어 마이크로폰으로 입력되어 음질을 저하시키기 때문에 음성 통신 서비스 품질을 개선하기 위해서는 음향 반향 성분을 제거하는 기능이 반드시 필요하다.
음향 반향을 제거하는 대표적인 방법은 디지털 적응필터(adaptive filter)를 이용하는 방법이다. 적응 필터를 이용한 음향 반향 제거 장치는 스피커 출력 음성 신호를 참조하여 적응 필터 계수를 가지는 적응 필터를 이용해 마이크로폰의 입력 음성 신호에서 반향 경로에 의한 음향 반향 신호의 영향을 제거하는 것이다. 하지만 적응 필터를 이용한 음향 반향 제거 장치는 동시 통화(double talk) 구간에서 적응 필터 계수가 발산되는 등의 왜곡이 발생하여 성능이 크게 떨어지는 문제점이 있다. 통시 통화는 근화자 음성 신호와 음향 반향 신호가 동시에 마이크로폰의 입력 음성 신호에 존재하는 것으로, 음향 반향 제거 장치에서 동시 통화 검출은 매우 중요한 요소이다. 따라서 음향 반향 제거 장치는 동시 통화를 방지하기 위해서 근화자 음성 신호가 존재하는 동안 적응 필터 계수의 갱신을 일시 중단하여야 하며, 이를 위해서는 근화자 음성 신호의 존재 여부를 알려주는 동시 통화 감지 장치를 필요로 한다.
동시 통화 감지 장치는 일반적으로 원화자 음성 신호와 마이크로폰으로 입력된 음향 반향 신호의 크기를 비교하여 음향 반향 신호가 원화자 음성 신호에 비해 상대적으로 크면 근화자 음성 신호가 존재한다고 판정한다. 이 방법은 구현은 간단하나 동시 통화 감지의 정확도가 떨어지는 단점이 있다. 또한 원화자 음성 신호의 크기가 작을 때에는 동시 통화가 되어도 음향 반향 신호의 크기가 충분하게 크지 않기 때문에 동시 통화의 정확한 시점을 찾기 어렵다.
동시 통화를 감지하는 또 다른 방법으로는 근화자 입력 신호와 원화자 음성 신호 간의 상관도 혹은 원화자 음성 신호와 적응 필터의 출력 신호 간의 상관도를 계산하고 상관도를 비교하여 상관도가 임계 값 이하이면 동시 통화 구간이라고 판정한다. 하지만 이 방법은 계산량이 많고 시간 지연에 민감하며 또한 적응 필터가 일정 수준 이상으로 수렴해야 한다는 전제 조건이 필요하다. 또한 만약 근화자 주변에 존재하는 잡음 등으로 인해 적응 필터가 일정 수준 이상으로 수렴하지 못하는 경우에는 동시 통화 감지의 정확도가 떨어지는 단점이 있다.
본 발명이 해결하고자 하는 기술적 과제는 동시 통화 구간에서 왜곡 현상을 줄이고 반향 제거 성능을 향상시킬 수 있는 영상회의 시스템에서의 음향 반향 제거 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 음향 반향 제거 장치에서 음향 반향을 제거하는 방법이 제공된다. 음향 반향 제거 방법은 복수의 마이크로폰을 통해서 복수의 마이크 입력 신호를 수신하는 단계, 상기 복수의 마이크 입력 신호를 이용하여 음원의 위치를 나타내는 공간 정보를 검출하는 단계, 상기 공간 정보를 이용하여 동시 통화 구간을 검출하는 단계, 상기 동시 통화 구간의 경우 직전에 사용된 적응 필터 계수를 이용하여 원화자 음성 신호로부터 음향 반향 추정 신호를 생성하는 단계, 그리고 상기 복수의 마이크 입력 신호 중 하나의 마이크 입력 신호에서 상기 음향 반향 추정 신호를 감산하여 반향 제거 신호를 생성하는 단계를 포함한다.
상기 음향 반향 제거 방법은 상기 동시 통화 구간의 검출 결과 음향 반향 신호만이 존재하는 구간의 경우, 직전의 반향 제거 신호를 이용하여 적응 필터 계수를 갱신하는 단계, 그리고 상기 갱신된 적응 필터 계수를 이용하여 상기 원화자 음성 신호로부터 상기 음향 반향 추정 신호를 생성하는 단계를 더 포함할 수 있다.
상기 생성하는 단계는 상기 동시 통화 구간인 경우에 상기 적응 필터 계수를 갱신하지 않는 것으로 결정하는 단계를 포함할 수 있다.
상기 음향 반향 제거 방법은 상기 반향 제거 신호를 네트워크를 통해 출력하는 단계를 더 포함할 수 있다.
상기 검출하는 단계는 상기 복수의 마이크 입력 신호간의 레벨 차, 지연 차 및 상관도를 계산하는 단계, 그리고 상기 레벨 차, 지연 차 및 상관도 중 적어도 하나를 조합하여 공간 정보를 생성하는 단계를 포함할 수 있다.
상기 검출하는 단계는 상기 공간 정보의 값이 설정된 임계 범위를 벗어나면 동시 통화 구간으로 판단하는 단계를 포함할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 영상 회의 시스템에서 음향 반향을 제거하는 장치가 제공된다. 음향 반향 제거 장치는 공간 정보 검출부, 그리고 적응 필터를 포함한다. 상기 공간 정보 검출부는 복수의 마이크로폰을 통해서 수신되는 복수의 마이크 입력 신호를 이용하여 음원의 위치를 나타내는 공간 정보를 검출한다. 그리고 상기 적응 필터는 적응 필터 계수를 이용하여 원화자 음성 신호로부터 음향 반향 추정 신호를 생성하고, 상기 공간 정보를 이용하여 동시 통화 구간을 검출하며, 상기 동시 통화 구간의 여부에 따라서 상기 적응 필터 계수의 갱신을 결정한다.
상기 음향 반향 제거 장치는 감산부를 더 포함할 수 있다. 상기 감산부는 상기 복수의 마이크 입력 신호 중 하나의 마이크 입력 신호에서 상기 음향 반향 추정 신호를 감산하여 반향 제거 신호를 생성한다.
상기 적응 필터는 상기 공간 정보의 값이 설정된 임계 범위를 벗어나면 동시 통화 구간으로 판단할 수 있다.
상기 적응 필터는 상기 동시 통화 구간에서 직전에 사용된 적응 필터 계수를 이용하여 상기 음향 반향 추정 신호를 생성할 수 있다.
상기 적응 필터는 상기 음향 반향 신호만이 존재하는 구간에서 상기 직전의 반향 제거 신호를 이용하여 적응 필터 계수를 갱신하고, 갱신된 적응 필터 계수를 이용하여 상기 음향 반향 추정 신호를 생성할 수 있다.
상기 공간 정보 검출부는 상기 복수의 마이크 입력 신호간의 레벨 차, 지연 차 및 상관도를 계산하고, 계산된 상기 레벨 차, 지연 차 및 상관도 중 적어도 하나를 조합하여 공간 정보를 생성할 수 있다.
본 발명의 실시 예에 의하면, 다수의 마이크로폰의 마이크 입력 신호간의 공간 정보 계산을 위한 간단한 계산량 및 메모리 추가로 동시 통화 구간의 정확한 감지 처리가 가능하며 이를 통한 음향 반향 제거 신호에 대한 음질 왜곡 현상을 줄일 수 있어 기존의 음향 반향 제거 방식에 비해 음질을 개선시킬 수 있을 뿐만 아니라 서비스 품질을 향상시킬 수 있다는 효과가 있다.
도 1은 일반적인 영상 회의 시스템의 일 예를 나타낸 도면이다.
도 2는 음향 반향 및 음향 반향 제거 장치의 개념을 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 음향 반향 제거 장치를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 음향 반향 제거 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 일반적인 영상 회의 시스템의 일 예를 나타낸 도면이다.
도 1을 참고하면, 영상 회의 시스템(100A, 100B)은 각각 마이크로폰(110A, 110B)을 통해서 입력되는 사용자 A 및 사용자 B의 음성 신호를 처리하여 네트워크(300)로 전달하고, 네트워크(300)로부터 수신되는 상대방의 음성 신호를 처리하여 하나 이상의 스피커(120A, 120B)를 통해 출력한다.
이러한 영상 회의 시스템(100A, 100B)에서는 예를 들면, 스피커(120B)를 통해 출력되는 사용자 A(원화자)의 음성 신호가 스피커(120B)와 마이크로폰(110B) 사이의 반향 채널을 통과해 마이크로폰(110B)으로 입력되는 이른바, 음향 반향이 발생한다.
도 2는 음향 반향 및 음향 반향 제거 장치의 개념을 나타낸 도면이다.
도 2를 참고하면, 사용자 A의 음성 신호인 원화자 음성 신호(f[k])가 스피커(120A)를 통해서 소정의 공간으로 출력되고, 반향 경로를 통과하여 음향 반향 신호(e[k])가 된다. 음향 반향 신호는 수학식 1과 같이 표현된다.
Figure pat00001
여기서, h[k](k=0, …, N-1)는 반향 경로이며, N은 반향 채널의 길이이다.
이렇게 생성된 음향 반향 신호는 사용자 B의 음성 신호인 근화자 음성 신호(n[k])와 함께 마이크로폰(110B)의 입력 신호로 입력된다. 마이크로폰(110B)의 입력 신호(m[k])는 수학식 2와 같이 표현된다.
Figure pat00002
즉, 마이크로폰(110B)의 입력 신호(m[k])는 사용자 B의 음성 신호와 음향 반향 신호가 합쳐진 신호이며, 이러한 음향 반향 신호로 인해서 통화 당사자간에 정상적인 통신이 방해된다. 이러한 음향 반향은 영상 회의 시스템(100A, 100B)에서 필연적으로 발생하며, 이에 따라서 영상 회의 시스템(100B)은 음향 반향을 제거하기 위한 음향 반향 제거 장치(200B)를 반드시 필요로 한다.
이와 동일한 맥락으로 한 영상 회의 시스템(100A) 또한 음향 반향을 제거하기 위한 음향 반향 제거 장치(도시하지 않음)를 반드시 필요로 한다.
도 3은 본 발명의 실시 예에 따른 음향 반향 제거 장치를 나타낸 도면이다.
도 3을 참고하면, 음향 반향 제거 장치(200B)는 공간 정보 검출부(210), 적응 필터(220) 및 감산부(230)를 포함한다.
공간 정보 검출부(210)는 복수의 마이크로폰(110B_1, …, 110B_N)을 통해 마이크 입력 신호를 수신하고, 마이크 입력 신호간 공간 정보를 검출한다. 여기서, 공간 정보는 공간상의 음원의 위치를 인지하게끔 하는 인자로서, 사람이 두 귀를 이용해서 음원의 위치를 인지 및 구별한다는 사실에 기인한다. 사람이 두 귀를 이용해서 음원의 위치를 인지 및 구별할 수 있는 특징 인자로는 ILD(Interaural Level Difference), ITD(Interaural Time Difference) 및 IC(Interaural Correlation)가 있을 수 있다.
즉, 두 귀가 인지하는 신호의 레벨 차이와 시간 지연 차이가 그 음원의 위치 및 특징을 인간이 인지하는 범위 내에서 나타나게 할 수 있다. 또한 서로 다른 두 음원이 동일한 레벨 차로 전파될 지라도 상호간의 신호의 상관성 정도에 따라 인지되는 공간감이 달라지게 된다. 두 귀로 인지되는 레벨 차, 지연 차, 공간감은 결국 마이크로폰(110B_1, …, 110B_N)으로 입력 받은 상호 음원간의 레벨 차, 지연 차, 상관도로 매핑될 수 있으며 따라서 공간 정보는 ICLD(Inter Channel Level Difference), ICTD (Inter Channel Time Difference) 및 ICC (Inter Channel Coherence)를 단독으로 혹은 조합하여 생성될 수 있다. 이들은 인간 청각 모델에 기반한 효과적인 파라미터를 추출하기 위하여 주파수 영역에서 서브밴드 별로 추출되며 서브밴드 수는 대개 20~28개의 ERB (Equivalent Rectangular Bandwidth) 밴드를 활용한다. ICLD, ICTD 및 ICC의 계산 방법은 이미 알려진 기술이므로, 상세한 설명은 생략한다.
ICLD는 상호 음원 간의 소리의 레벨 차를 나타내며, ICTD는 상호 음원 간의 소리의 지연 차를 나타내며, ICC는 음원 간의 상호 상관성 정도를 나타낸다.
즉, 공간정보 검출부(210)에서는 마이크로폰(110B_1, …, 110B_N)을 통해 수신된 복수의 마이크 입력 신호간의 레벨 차, 지연 차 및 상관도 중 적어도 하나를 조합하여 공간 정보를 생성하고, 공간 정보를 적응 필터(220)에 출력한다.
적응 필터(220)는 직전의 반향 제거 신호를 이용하여 현재 적응 필터 계수를 계산하고, 적응 필터 계수를 현재 적응 필터 계수로 갱신한다. 반향 제거 신호는 감산부(230)의 출력 신호이다. 적응 필터(220)는 원화자 음성 신호로부터 적응 필터 계수를 이용하여 음향 반향 추정 신호를 생성하고, 음향 반향 추정 신호를 감산부(230)로 출력한다. 적응 필터(220)는 LMS 알고리즘이나 NLMS 알고리즘 등의 적응 필터링 알고리즘을 이용하여 음향 반향 추정 신호를 생성할 수 있다. LMS 알고리즘이나 NLMS 알고리즘 등의 적응 필터링 알고리즘은 이미 알려진 기술이므로, 그 상세한 설명은 생략하기로 한다.
적응 필터(220)는 공간정보 검출부(210)에 의해 검출된 공간 정보를 이용하여 동시 통화 구간을 검출한다. 음향 반향 신호만이 존재하는 경우에는 공간 정보가 일정한 값을 갖게 되나, 동시 통화 구간의 경우에는 음향 반향 신호뿐만 아니라 근화자 음성 신호가 동시에 존재하게 되므로 공간 정보 값이 변하여 일정한 값의 범위에서 벗어나게 된다. 따라서, 적응 필터(220)는 공간정보 검출부(210)에 의해 검출된 공간 정보를 통해서 동시 통화 구간을 정확하게 검출할 수 있다. 동시 통화 구간에는 적응 필터(220)의 적응 필터 계수가 발산하므로, 적응 필터(220)는 동시 통화 구간에서는 현재 적응 필터 계수를 갱신하지 않고 현재 적응 필터 계수로 직전 적응 필터 계수를 사용한다. 즉, 적응 필터(220)는 음향 반향 신호만이 존재하는 구간에서는 직전의 반향 제거 신호를 이용하여 계산된 현재 적응 필터 계수로 적응 필터 계수를 갱신하고, 동시 통화 구간에서는 적응 필터 계수의 갱신을 중지하고 직전 필터 계수를 이용하여 음향 반향 추정 신호를 생성함으로써, 동시 통화 구간에서의 적응 필터 계수의 발산을 방지할 수 있다.
감산부(230)는 마이크로폰(110B_1, …, 110B_N) 중 하나의 마이크로폰(110B_N)의 마이크 입력 신호에서 음향 반향 추정 신호를 제거하여 반향 제거 신호를 생성하고, 반향 제거 신호를 네트워크를 통해 출력한다. 또한 반향 제거 신호는 적응 필터(220)로 입력되어 적응 필터 계수를 갱신하는 데 사용된다. 반향 제거 신호는 수학식 3과 같이 생성될 수 있다.
Figure pat00003
여기서, r[k]는 반향 제거 신호로서 감산부(230)의 출력 신호이고,
Figure pat00004
는 음향 반향 추정 신호로서 적응 필터(220)의 출력 신호이다.
감산부(230)는 적응 필터(220)의 출력으로 생성되는 음향 반향 추정 신호를 마이크 입력 신호에서 빼줌으로써 음향 반향 성분을 제거하고 음질을 개선시키게 된다.
본 발명에 따른 음향 반향 제거 장치(200B)는 적응 필터(220)의 적응 필터 계수가 갱신될 때 다수의 마이크로폰(110B_1, …, 110B_N)으로부터 입력된 마이크 입력 신호들간의 공간 정보를 적용함으로써 음향 반향 성분을 제거하여 음질을 개선할 수 있다.
도 4는 본 발명의 실시 예에 따른 음향 반향 제거 방법을 나타낸 흐름도이다.
도 4를 참고하면, 원화자 음성 신호는 음향 반향 제거 장치(200B)로 입력되고 스피커(120B)를 통해 출력된다.
음향 반향 제거 장치(200B)의 적응 필터(220)는 원화자 음성 신호를 수신한다(S410). 또한 음향 반향 제거 장치(200B)의 공간 정보 검출부(210)는 복수의 마이크로폰(110B_1, …, 110B_N)을 통해 복수의 마이크 입력 신호를 수신한다(S420).
공간 정보 검출부(210)는 복수의 마이크 입력 신호간 공간 정보를 검출한다(S430). 앞에서 설명한 바와 같이 공간 정보 검출부(210)는 복수의 마이크 입력 신호간의 레벨 차, 지연 차, 상관도를 계산하고, 계산한 레벨 차, 지연 차, 상관도를 조합하여 공간 정보를 생성할 수 있다.
적응 필터(220)는 공간 정보를 토대로 동시 통화 구간을 검출한다(S440).
다음, 적응 필터(220)는 동시 통화 구간 여부에 따라서 적응 필터 계수의 갱신 여부를 결정한다(S450). 적응 필터(220)는 음향 반향 신호만이 존재하는 구간에서는 직전의 반향 제거 신호를 이용하여 현재 적응 필터 계수를 계산하고, 계산한 현재 적응 필터 계수로 적응 필터 계수를 갱신한다. 한편, 적응 필터(220)는 동시 통화 구간에서는 적응 필터 계수를 갱신하지 않고 직전에 사용한 적응 필터 계수를 적응 필터 계수로 사용한다.
적응 필터(220)는 원화자 음성 신호로부터 적응 필터 계수를 이용하여 음향 반향 추정 신호를 생성한다(S460). 적응 필터(220)는 음향 반향 신호만이 존재하는 구간의 경우 갱신된 적응 필터 계수를 이용하여 음향 반향 추정 신호를 생성하고, 동시 통화 구간의 경우 직전에 사용한 적응 필터 계수를 이용하여 음향 반향 추정 신호를 생성한다.
감산부(230)는 마이크로폰(110B_1, …, 110B_N) 중 하나의 마이크로폰(110B_N)의 마이크 입력 신호에서 음향 반향 추정 신호를 제거하여 반향 제거 신호를 생성하고(S470), 반향 제거 신호를 네트워크를 통해 출력한다(S480). 반향 제거 신호는 적응 필터(220)로 입력되어 적응 필터 계수를 갱신하는 데 사용된다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (12)

  1. 음향 반향 제거 장치에서 음향 반향을 제거하는 방법으로서,
    복수의 마이크로폰을 통해서 복수의 마이크 입력 신호를 수신하는 단계,
    상기 복수의 마이크 입력 신호를 이용하여 음원의 위치를 나타내는 공간 정보를 검출하는 단계,
    상기 공간 정보를 이용하여 동시 통화 구간을 검출하는 단계,
    상기 동시 통화 구간의 경우 직전에 사용된 적응 필터 계수를 이용하여 원화자 음성 신호로부터 음향 반향 추정 신호를 생성하는 단계, 그리고
    상기 복수의 마이크 입력 신호 중 하나의 마이크 입력 신호에서 상기 음향 반향 추정 신호를 감산하여 반향 제거 신호를 생성하는 단계
    를 포함하는 음향 반향 제거 방법.
  2. 제1항에서,
    상기 동시 통화 구간의 검출 결과 음향 반향 신호만이 존재하는 구간의 경우, 직전의 반향 제거 신호를 이용하여 적응 필터 계수를 갱신하는 단계, 그리고
    상기 갱신된 적응 필터 계수를 이용하여 상기 원화자 음성 신호로부터 상기 음향 반향 추정 신호를 생성하는 단계
    를 더 포함하는 음향 반향 제거 방법.
  3. 제2항에서,
    상기 생성하는 단계는 상기 동시 통화 구간인 경우에 상기 적응 필터 계수를 갱신하지 않는 것으로 결정하는 단계를 포함하는 음향 반향 제거 방법.
  4. 제2항에서,
    상기 반향 제거 신호를 네트워크를 통해 출력하는 단계
    를 더 포함하는 음향 반향 제거 방법.
  5. 제1항에서,
    상기 검출하는 단계는
    상기 복수의 마이크 입력 신호간의 레벨 차, 지연 차 및 상관도를 계산하는 단계, 그리고
    상기 레벨 차, 지연 차 및 상관도 중 적어도 하나를 조합하여 공간 정보를 생성하는 단계를 포함하는 음향 반향 제거 방법.
  6. 제1항에서,
    상기 검출하는 단계는 상기 공간 정보의 값이 설정된 임계 범위를 벗어나면 동시 통화 구간으로 판단하는 단계를 포함하는 음향 반향 제거 방법.
  7. 영상 회의 시스템에서 음향 반향을 제거하는 장치로서,
    복수의 마이크로폰을 통해서 수신되는 복수의 마이크 입력 신호를 이용하여 음원의 위치를 나타내는 공간 정보를 검출하는 공간 정보 검출부, 그리고
    적응 필터 계수를 이용하여 원화자 음성 신호로부터 음향 반향 추정 신호를 생성하고, 상기 공간 정보를 이용하여 동시 통화 구간을 검출하며, 상기 동시 통화 구간의 여부에 따라서 상기 적응 필터 계수의 갱신을 결정하는 적응 필터
    를 포함하는 음향 반향 제거 장치.
  8. 제7항에서,
    상기 복수의 마이크 입력 신호 중 하나의 마이크 입력 신호에서 상기 음향 반향 추정 신호를 감산하여 반향 제거 신호를 생성하는 감산부
    를 더 포함하는 음향 반향 제거 장치.
  9. 제8항에서,
    상기 적응 필터는 상기 공간 정보의 값이 설정된 임계 범위를 벗어나면 동시 통화 구간으로 판단하는 음향 반향 제거 장치.
  10. 제8항에서,
    상기 적응 필터는 상기 동시 통화 구간에서 직전에 사용된 적응 필터 계수를 이용하여 상기 음향 반향 추정 신호를 생성하는 음향 반향 제거 장치.
  11. 제8항에서,
    상기 적응 필터는 상기 음향 반향 신호만이 존재하는 구간에서 상기 직전의 반향 제거 신호를 이용하여 적응 필터 계수를 갱신하고, 갱신된 적응 필터 계수를 이용하여 상기 음향 반향 추정 신호를 생성하는 음향 반향 제거 장치.
  12. 제7항에서,
    상기 공간 정보 검출부는 상기 복수의 마이크 입력 신호간의 레벨 차, 지연 차 및 상관도를 계산하고, 계산된 상기 레벨 차, 지연 차 및 상관도 중 적어도 하나를 조합하여 공간 정보를 생성하는 음향 반향 제거 장치.
KR1020130135824A 2013-11-08 2013-11-08 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법 KR102112018B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130135824A KR102112018B1 (ko) 2013-11-08 2013-11-08 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법
US14/266,616 US9680999B2 (en) 2013-11-08 2014-04-30 Apparatus and method for removing acoustic echo in teleconference system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130135824A KR102112018B1 (ko) 2013-11-08 2013-11-08 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150053621A true KR20150053621A (ko) 2015-05-18
KR102112018B1 KR102112018B1 (ko) 2020-05-18

Family

ID=53044201

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130135824A KR102112018B1 (ko) 2013-11-08 2013-11-08 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법

Country Status (2)

Country Link
US (1) US9680999B2 (ko)
KR (1) KR102112018B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842606B2 (en) 2015-09-15 2017-12-12 Samsung Electronics Co., Ltd. Electronic device, method of cancelling acoustic echo thereof, and non-transitory computer readable medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9655001B2 (en) * 2015-09-24 2017-05-16 Cisco Technology, Inc. Cross mute for native radio channels
JP6670014B2 (ja) * 2016-06-30 2020-03-18 グーグル エルエルシー モバイルデバイスにおける非線形エコーキャンセルのための二方式振幅処理フレームワーク
US10546581B1 (en) * 2017-09-08 2020-01-28 Amazon Technologies, Inc. Synchronization of inbound and outbound audio in a heterogeneous echo cancellation system
US10623657B2 (en) * 2018-06-12 2020-04-14 Cisco Technology, Inc. Audio assisted auto exposure

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040059571A1 (en) * 2002-09-24 2004-03-25 Marantz Japan, Inc. System for inputting speech, radio receiver and communication system
JP2005136709A (ja) * 2003-10-30 2005-05-26 Nippon Telegr & Teleph Corp <Ntt> 収音方法、装置、プログラム、および記録媒体
KR20080021554A (ko) * 2006-08-31 2008-03-07 야마하 가부시키가이샤 토크 판정 시스템
KR100926757B1 (ko) * 2003-11-06 2009-11-16 허버트 부흐너 입력 신호를 처리하는 장치 및 방법
KR20100059637A (ko) * 2008-11-25 2010-06-04 한국과학기술원 음성과 비음성 구간 판별 방법 및 장치
KR20110010179A (ko) * 2009-07-24 2011-02-01 조정권 음성 인식을 이용한 엘리베이터 내의 자동 보안 시스템 및 그 방법
KR20110109470A (ko) * 2010-03-31 2011-10-06 부산대학교 산학협력단 적응 필터의 수렴을 이용한 음향 반향 제거 장치 및 방법
WO2012009689A1 (en) * 2010-07-15 2012-01-19 Aliph, Inc. Wireless conference call telephone

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100312425B1 (ko) 1998-09-24 2001-12-12 이계철 음성정보서비스시스템에서의반향제거장치및그방법
KR20000051747A (ko) 1999-01-26 2000-08-16 윤종용 더블토크 상황에서 안정되게 동작하는 반향제거장치
US20070189505A1 (en) * 2006-01-31 2007-08-16 Freescale Semiconductor, Inc. Detecting reflections in a communication channel
JP5022459B2 (ja) 2010-03-03 2012-09-12 日本電信電話株式会社 収音装置、収音方法及び収音プログラム
ES2656815T3 (es) * 2010-03-29 2018-02-28 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung Procesador de audio espacial y procedimiento para proporcionar parámetros espaciales en base a una señal de entrada acústica
US20140347565A1 (en) * 2013-05-21 2014-11-27 Aliphcom Media devices configured to interface with information appliances
US10219094B2 (en) * 2013-07-30 2019-02-26 Thomas Alan Donaldson Acoustic detection of audio sources to facilitate reproduction of spatial audio spaces
US10225680B2 (en) * 2013-07-30 2019-03-05 Thomas Alan Donaldson Motion detection of audio sources to facilitate reproduction of spatial audio spaces
US9549079B2 (en) * 2013-09-05 2017-01-17 Cisco Technology, Inc. Acoustic echo cancellation for microphone array with dynamically changing beam forming

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040059571A1 (en) * 2002-09-24 2004-03-25 Marantz Japan, Inc. System for inputting speech, radio receiver and communication system
JP2005136709A (ja) * 2003-10-30 2005-05-26 Nippon Telegr & Teleph Corp <Ntt> 収音方法、装置、プログラム、および記録媒体
KR100926757B1 (ko) * 2003-11-06 2009-11-16 허버트 부흐너 입력 신호를 처리하는 장치 및 방법
KR20080021554A (ko) * 2006-08-31 2008-03-07 야마하 가부시키가이샤 토크 판정 시스템
KR20100059637A (ko) * 2008-11-25 2010-06-04 한국과학기술원 음성과 비음성 구간 판별 방법 및 장치
KR20110010179A (ko) * 2009-07-24 2011-02-01 조정권 음성 인식을 이용한 엘리베이터 내의 자동 보안 시스템 및 그 방법
KR20110109470A (ko) * 2010-03-31 2011-10-06 부산대학교 산학협력단 적응 필터의 수렴을 이용한 음향 반향 제거 장치 및 방법
WO2012009689A1 (en) * 2010-07-15 2012-01-19 Aliph, Inc. Wireless conference call telephone

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842606B2 (en) 2015-09-15 2017-12-12 Samsung Electronics Co., Ltd. Electronic device, method of cancelling acoustic echo thereof, and non-transitory computer readable medium

Also Published As

Publication number Publication date
US9680999B2 (en) 2017-06-13
KR102112018B1 (ko) 2020-05-18
US20150133097A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
JP3727258B2 (ja) エコー抑制処理システム
US8842851B2 (en) Audio source localization system and method
KR101089481B1 (ko) 스펙트럼 음향 특성에 기초한 더블 토크 검출 방법
TWI720314B (zh) 基於相關性之近場偵測器
EP3257236A1 (en) Nearby talker obscuring, duplicate dialogue amelioration and automatic muting of acoustically proximate participants
US20140329511A1 (en) Audio conferencing
KR102112018B1 (ko) 영상 회의 시스템에서의 음향 반향 제거 장치 및 방법
KR102409536B1 (ko) 오디오 디바이스에서 재생 관리를 위한 사건 검출
JP2004133403A (ja) 音声信号処理装置
JP5034607B2 (ja) 音響エコーキャンセラシステム
JP3607625B2 (ja) 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体
JP4438720B2 (ja) エコーキャンセラ及びマイク装置
US10192566B1 (en) Noise reduction in an audio system
CN111556210A (zh) 通话语音处理方法与装置、终端设备和存储介质
CN112929506B (zh) 音频信号的处理方法及装置，计算机存储介质及电子设备
Cecchi et al. Multichannel double-talk detector based on fundamental frequency estimation
US10554822B1 (en) Noise removal in call centers
JP3628267B2 (ja) 多チャネル反響消去方法、その装置、そのプログラム及びその記録媒体
JP2019035915A (ja) トーク状態判定装置、方法及びプログラム
Fukui et al. Acoustic echo canceller software for VoIP hands-free application on smartphone and tablet devices
JP2019036917A (ja) パラメータ制御装置、方法及びプログラム
US11735201B2 (en) Speech processing device and speech processing method
US10789935B2 (en) Mechanical touch noise control
US10771887B2 (en) Anisotropic background audio signal control
JP2001189795A (ja) 通信装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant