KR102340999B1 - 시간 지연 추정을 기반으로 하는 에코 제거 방법 및 장치 - Google Patents
시간 지연 추정을 기반으로 하는 에코 제거 방법 및 장치 Download PDFInfo
- Publication number
- KR102340999B1 KR102340999B1 KR1020207014264A KR20207014264A KR102340999B1 KR 102340999 B1 KR102340999 B1 KR 102340999B1 KR 1020207014264 A KR1020207014264 A KR 1020207014264A KR 20207014264 A KR20207014264 A KR 20207014264A KR 102340999 B1 KR102340999 B1 KR 102340999B1
- Authority
- KR
- South Korea
- Prior art keywords
- value
- delay
- reference signal
- signal
- current
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 230000003044 adaptive effect Effects 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 47
- GHKOFFNLGXMVNJ-UHFFFAOYSA-N Didodecyl thiobispropanoate Chemical compound CCCCCCCCCCCCOC(=O)CCSCCC(=O)OCCCCCCCCCCCC GHKOFFNLGXMVNJ-UHFFFAOYSA-N 0.000 claims description 34
- 238000004458 analytical method Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 17
- 230000003247 decreasing effect Effects 0.000 claims description 14
- 230000003111 delayed effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/004—Monitoring arrangements; Testing arrangements for microphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02163—Only one microphone
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
- Filters That Use Time-Delay Elements (AREA)
Abstract
시간 지연 추정(time delay estimation)을 기반으로 하는 에코 제거(echo cancellation) 방법 및 장치. 방법은, 마이크로폰 신호와 기준 신호를 획득하고, 그들을 전처리하는 단계(101); 전처리된 마이크로폰 신호와 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들을 결정하는 단계(102); 마이크로폰 신호와 기준 신호에서 비선형성이 없는 주파수 포인트 신호들에 따라, 계산에 의해, 현재 시간 지연 추정 값을 획득하는 단계(103); 현재 시간 지연 추정 값에 기반하여, 기준 신호를 이동시키는 단계(104); 및 에코 제거를 실현하기 위해, 전처리된 마이크로폰 신호와 이동된 기준 신호에 따라, 자기-적응 필터를 업데이트하는 단계(105)를 포함한다. 본 발명은 시간 지연 추정의 정확도를 향상시키고, 에코 제거 효과를 향상시킬 수 있다.
Description
본원은, 2017년 10월 23일에 출원된 “시간 지연 추정을 기반으로 하는 에코 제거 방법 및 장치”라는 명칭의 중국 특허 출원 제201710994195.X호에 대한 우선권을 주장하며, 그 전체가 참조로서 본 문서에 포함된다.
본 개시는 신호 처리 분야에 관한 것이며, 특히 지연 추정(delay estimation)을 기반으로 하는 에코 제거(echo cancellation) 방법 및 지연 추정을 기반으로 하는 에코 제거 장치에 관한 것이다.
정보 기술의 지속적인 개발에 따라, 다양한 종류의 분산 스마트 하드웨어(distributed smart hardware)가 다양한 분야들에서 점점 더 많이 사용되고 있다. 에코 제거는 스마트 디바이스들 간 상호 작용에 필요하며, 이는 해당 분야의 연구 핫스팟(research hotspot)이다.
에코 제거는 파-엔드(fae-end) 사운드(sound)의 복귀(return)를 방지하기 위해, 로컬(local) 마이크로폰(microphone)에 의해 픽업된 파-엔드 사운드 신호를 취소 또는 제거하는 처리이다. 기존의 전형적인 에코 제거 방식은 지연 추정을 기반으로 한다. 기준(reference) 신호와 마이크로폰 신호 사이의 선형 상관도(linear correlation)가 계산된다. 최대(maximum) 상호-상관(cross-corrleation)에 대응하는 지연이 디바이스 지연(device delay)으로 선택된다. 기준 신호는 디바이스 지연에 기반하여 시프트된다(shifted). 실제 에코에 가까운(approximating) 신호를 생성하기 위해, 적응 필터(adaptive filter)는 시프트된 기준 신호와 마이크로폰 신호를 기반으로, 업데이트된다. 에코 제거를 달성하기 위해, 실제 에코에 가까운 신호는 마이크로폰 신호로부터 감산된다(subtracted). 예를 들면, 자체-동작 승인(self-operation authorization)을 갖는 분산 스마트 하드웨어 장치는 기준 신호와 마이크로폰 신호를 동기적으로 리샘플링할 수 없다. 예를 들면, 일반 가정에서, 텔레비전 박스(television box)가 텔레비전을 제어하는 데 사용된다. 텔레비전 박스와 텔레비전은 일반적으로 상이한 제조업체들에 의해 제공된다. 예를 들면, 텔레비전 박스의 제조자는, 텔레비전에 의해 재생되는 사운도의 에코 제거를 수행하도록, 텔레비전 박스의 사운드 제어 기능을 설계하지만, 텔레비전의 동작 승인만을 갖는다. 즉, 텔레비전 박스는 텔레비전 박스에 의해 텔레비전으로 전송된 소스(source) 신호 및 텔레비전 박스의 마이크로폰에 의해 수집된 신호만을 획득할 수 있다. 이러한 경우, 텔레비전 박스에 의해 텔레비전으로 전송된 소스 신호는 기준 신호로서 기능한다. 텔레비전 박스의 마이크로폰에 의해 수집된 신호는 마이크로폰 신호로서 기능한다. 텔레비전 박스는 스피커 신호와 마이크로폰 신호를 동기적으로 리샘플링할 수 없다. 따라서, 지연을 기반으로 하는 에코 제거를 달성하기 위해, 기준 신호와 마이크로폰 신호 사이의 지연이 추정될 필요가 있다.
지연 추정의 정확도는 에코 제거의 효과에 직접적으로 영향을 미친다는 것을 알 수 있다. 실제 적용들의 복잡하고 변경 가능한 환경으로 인해, 지연 추정을 기반으로 하는 기존의 에코 제거 기술로 획득된 지연 추정 값에서 큰 에러(error)가 발생한다. 따라서, 에코 제거의 효과가 향상되는 것이 바람직하다.
본 개시의 실시예들에 따라, 지연 추정의 에러를 감소시키고 에코 제거의 효과를 향상시키기 위해, 지연 추정을 기반으로 하는 에코 제거 방법 및 지연 추정을 기반으로 하는 에코 제거 장치가 제공된다.
따라서, 본 개시에 따라, 다음의 기술적 해결 수단들이 제공된다.
지연 추정을 기반으로 하는 에코 제거 방법은, 마이크로폰 신호와 기준 신호를 수신하고, 상기 마이크로폰 신호와 상기 기준 신호를 전처리하는 단계; 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성(non-linearity)을 갖는 주파수 포인트(frequency point) 신호들을 결정하는 단계; 상기 마이크로폰 신호와 상기 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로, 현재 지연 추정 값을 계산하는 단계; 상기 현재 지연 추정 값에 기반하여, 상기 기준 신호를 시프트하는 단계; 및 에코 제거를 수행하기 위해, 상기 전처리된 마이크로폰 신호와 상기 시프트된 기준 신호를 기반으로, 적응 필터를 업데이트하는 단계를 포함한다.
일 실시예에서, 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들을 결정하는 단계는, 파-엔드 신호 검출, 듀얼-엔드(dual-end) 신호 검출, 및 디바이스 하드웨어에 의해 발생되는 비선형성의 검출 중 하나 이상을 포함한다. 상기 파-엔드 신호 검출에서, 상기 비선형성을 갖는 주파수 포인트 신호들은 상기 전처리된 기준 신호의 에너지, 제로-크로싱 율(zero-crossing rate), 및 단기 진폭(short-term amplitude) 중 하나 이상에 기반하여, 결정된다. 상기 듀얼-엔드 신호 검출에서, 상기 비선형성을 갖는 주파수 포인트 신호들은 상기 전처리된 마이크로폰 신호의 에너지 대 상기 전처리된 기준 신호의 에너지의 비율에 기반하여, 결정된다. 상기 디바이스 하드웨어에 의해 발생되는 미선형성의 검출에서, 저주파수 범위에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도(correlation)에 대한 평균 값이 계산된다. 이 후, 미리 결정된 주파수 간격(interval)의 다른 주파수 범위들에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도에 대한 평균 값들이 계산된다. 마지막으로, 상기 비선형성을 갖는 주파수 포인트 신호들이 상기 다른 주파수 범위들에서의 상관도에 대한 평균 값들과 상기 저주파수 범위에서의 상관도의 평균 값에 기반하여, 결정된다.
일 실시예에서, 상기 마이크로폰 신호와 상기 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로, 현재 지연 추정 값을 계산하는 단계는, 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 각각에 대해, 상기 기준 신호와 상기 마이크로폰 신호의 프레임에서 비선형성이 없는 주파수 포인트 신호들을 선택하고, 상기 기준 신호와 상기 마이크로폰 신호의 프레임 사이의 상호-상관(cross-correlation) 값을 계산하는 단계; 및 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하는 단계를 포함한다.
일 실시예에서, 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하는 단계는, 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 상기 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 현재 지연 위치로 선택하는 단계; 및 상기 현재 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하는 단계를 포함한다.
일 실시예에서, 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 현재 지연 추정 값을 결정하는 단계는, 각 지연 추정에서, 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상기 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 후보 지연 위치로 선택하는 단계; 및 후보 지연 위치들을 L-차원 어레이(Sa)에 매핑하고 - L은 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 총 개수와 동일함 -, 후보 지연 위치가 연속적으로 반복되는 횟수를 카운트하는 단계; 현재 후보 지연 위치가 변경되면, 상기 현재 후보 지연 위치에 대한 값을 제1 사전 설정 값(t1)만큼 증가시키고, 이전 후보 지연 위치에 대한 값을 제2 사전 설정 값(t2)만큼 감소시키고, 다른 위치들에 대한 값들을 제3 사전 설정 값(t3)만큼 감소시키는 단계; 상기 현재 후보 지연 위치가 변경되지 않으면, 상기 현재 후보 지연 위치에 대한 값을 상기 제1 사전 설정 값(t1)만큼 증가시키고, 다른 위치들에 대한 값들을 상기 제3 사전 설정 값(t3)만큼 감소시키는 단계 - 사기 제2 사전 설정 값(t2)은 상기 제3 사전 설정 값(t3) 이하임 -; 및 상기 현재 후보 지연 위치에 대한 값이 제1 임계 값 보다 크고, 상기 현재 후보 지연 위치가 연속적으로 반복되는 횟수가 제2 임계 값 보다 크면, 상기 현재 후보 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하는 단계를 포함한다.
일 실시예에서, 상기 현재 지연 추정 값에 기반하여, 상기 기준 신호를 시프트하는 단계는, 상기 현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 이하인 경우, 상기 기준 신호의 데이터를 시프트하지 않고; 상기 현재 지연 추정 값(D1(t))이 상기 제3 임계 값(T3) 보다 크고 제4 임계 값(T4) 보다 작은 경우, 상기 기준 신호의 데이터를 D1(t)/2만큼 시프트하는 단계; 및 상기 현재 지연 추정 값(D1(t))이 상기 제4 임계 값(T4) 이상인 경우, 상기 기준 신호의 데이터를 D1(t)만큼 시프트하는 단계를 포함한다.
일 실시예에서, 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하는 단계는, 다음의 조건들: (1) 현재 지연 위치에 대응하는 상호-상관 값(C(t))이 이전 지연 위치에 대응하는 상호-상관 값(C(t-1)) 보다 큼; (2) 현재 지연 분석 범위에서의 각 프레임에 대해, 최대 상호-상관 값(Cmax(t))에 대응하는 위치와 최소 상호-상관 값(Cmin(t))에 대응하는 위치 사이의 차이 값이 제1 사전 설정 차이 값 보다 큼; (3) 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상호-상관 값들의 평균 값(Cmean(t))과 상기 현재 지연 위치에 대응하는 상호-상관 값(C(t)) 사이의 차이 값이 제2 사전 설정 차이 값 보다 큼; 및 (4) 상기 현재 지연 위치(p(t))가 이전 지연 위치(p(t-1)) 보다 작음 중 하나 이상이 충족되는 것을 결정하는 단계를 포함한다.
일 실시예에서, 상기 방법은, 히스토리컬(historical) 기준 신호의 데이터를 캐싱하는 단계; 및 상기 기준 신호를 시프트할 때, 상기 히스토리컬 기준 신호의 상기 캐싱된 데이터를 시프트하는 단계를 더 포함한다.
일 실시예에서, 상기 적응 필터를 업데이트하는 단계는, 상기 현재 지연 추정 값이 상기 적응 필터의 길이(length) 보다 작으면, 상기 지연 추정 값에 기반하여, 적응 필터 계수를 시프트하고, 상기 시프트된 적응 필터 계수에 기반하여, 상기 적응 필터를 업데이트하는 단계를 포함하고, 시프트 후에 값이 없는 위치에서의 계수가 리셋되고, 상기 적응 필터가 상기 리셋된 적응 필터 계수에 기반하여, 업데이트된다.
지연 추정을 기반으로 하는 에코 제거 장치는, 신호 처리 모듈, 주파수 포인트 검출 모듈, 지연 추정 모듈, 신호 시프트 모듈, 및 적응 필터를 포함한다. 상기 신호 처리 모듈은, 마이크로폰 신호와 기준 신호를 수신하고, 상기 마이크로폰 신호와 상기 기준 신호를 전처리하고, 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호를 출력하도록 구성된다. 상기 주파수 포인트 검출 모듈은, 상기 신호 처리 모듈에 의해 출력되는 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다. 상기 지연 추정 모듈은, 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서 상기 주파수 포인트 검출 모듈에 의해 결정되는 비선형성이 없는 주파수 포인트 신호들을 기반으로, 현재 지연 추정 값을 계산하고, 상기 현재 지연 추정 값을 출력하도록 구성된다. 상기 신호 시프트 모듈은, 상기 지연 추정 모듈에 의해 출력되는 상기 현재 지연 추정 값에 기반하여, 상기 기준 신호를 시프트하고, 상기 시프트된 기준 신호를 출력하도록 구성된다. 상기 적응 필터는, 에코 제거를 수행하기 위해, 상기 신호 처리 모듈에 의해 출력되는 상기 전처리된 마이크로폰 신호와 상기 신호 시프트 모듈에 의해 출력되는 상기 시프트된 기준 신호를 기반으로, 상기 적응 필터를 업데이트하도록 구성된다.
일 실시예에서, 상기 주파수 포인트 검출 모듈은, 파-엔드 신호 검출 유닛, 듀얼-엔드 신호 검출 유닛, 및 디바이스 하드웨어 검출 유닛 중 하나 이상을 포함한다. 상기 파-엔드 신호 검출 유닛은, 상기 전처리된 기준 신호의 에너지, 제로-크로싱 율, 및 단기 진폭 중 하나 이상에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다. 상기 듀얼-엔드 신호 검출 유닛은, 상기 전처리된 마이크로폰 신호의 에너지 대 상기 전처리된 기준 신호의 에너지의 비율에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다. 상기 디바이스 하드웨어 검출 유닛은, 저주파수 범위에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도에 대한 평균 값을 결정하고, 특정 주파수 간격의 다른 주파수 범위들에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도에 대한 평균 값들을 계산하고, 상기 다른 주파수 범위들에서의 상관도에 대한 평균 값들과 상기 저주파수 범위에서의 상관도의 평균 값에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다.
일 실시예에서, 상기 지연 추정 모듈은, 상호-상관 계산 유닛 및 지연 추정 값 결정 유닛을 포함한다. 상기 상호-상관 계산 유닛은, 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 각각에 대해, 상기 기준 신호와 상기 마이크로폰 신호의 프레임에서 비선형성이 없는 주파수 포인트 신호들을 선택하고, 상기 기준 신호와 상기 마이크로폰 신호의 프레임 사이의 상호-상관 값을 계산하도록 구성된다. 상기 지연 추정 값 결정 유닛은, 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하도록 구성된다.
일 실시예에서, 상기 지연 추정 값 결정 유닛은, 상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 상기 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 현재 지연 위치로 선택하고, 상기 현재 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하도록 구성된다.
일 실시예에서, 상기 지연 추정 값 결정 유닛은, 각 지연 추정에서, 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상기 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 후보 지연 위치로 선택하고, 후보 지연 위치들을 L-차원 어레이(Sa)에 매핑하고 - L은 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 총 개수와 동일함 -, 후보 지연 위치가 연속적으로 반복되는 횟수를 카운트하고; 현재 후보 지연 위치가 변경되면, 상기 현재 후보 지연 위치에 대한 값을 제1 사전 설정 값(t1)만큼 증가시키고, 이전 후보 지연 위치에 대한 값을 제2 사전 설정 값(t2)만큼 감소시키고, 다른 위치들에 대한 값들을 제3 사전 설정 값(t3)만큼 감소시키고; 상기 현재 후보 지연 위치가 변경되지 않으면, 상기 현재 후보 지연 위치에 대한 값을 상기 제1 사전 설정 값(t1)만큼 증가시키고, 다른 위치들에 대한 값들을 상기 제3 사전 설정 값(t3)만큼 감소시키며 - 사기 제2 사전 설정 값(t2)은 상기 제3 사전 설정 값(t3) 이하임 -; 상기 현재 후보 지연 위치에 대한 값이 제1 임계 값 보다 크고, 상기 현재 후보 지연 위치가 연속적으로 반복되는 횟수가 제2 임계 값 보다 크면, 상기 현재 후보 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하도록 구성된다.
일 실시예에서, 상기 신호 시프트 모듈은, 상기 현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 이하인 경우, 상기 기준 신호의 데이터를 시프트하지 않고, 상기 현재 지연 추정 값(D1(t))이 상기 제3 임계 값(T3) 보다 크고 제4 임계 값(T4) 보다 작은 경우, 상기 기준 신호의 데이터를 D1(t)/2만큼 시프트하며, 상기 현재 지연 추정 값(D1(t))이 상기 제4 임계 값(T4) 이상인 경우, 상기 기준 신호의 데이터를 D1(t)만큼 시프트하도록 더 구성된다.
일 실시예에서, 상기 지연 추정 값 결정 유닛은, 상기 지연 추정 값을 결정할 때, 다음의 조건들: (1) 현재 지연 위치에 대응하는 상호-상관 값(C(t))이 이전 지연 위치에 대응하는 상호-상관 값(C(t-1)) 보다 큼; (2) 현재 지연 분석 범위에서의 각 프레임에 대해, 최대 상호-상관 값(Cmax(t))에 대응하는 위치와 최소 상호-상관 값(Cmin(t))에 대응하는 위치 사이의 차이 값이 제1 사전 설정 차이 값 보다 큼; (3) 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상호-상관 값들의 평균 값(Cmean(t))과 상기 현재 지연 위치에 대응하는 상호-상관 값(C(t)) 사이의 차이 값이 제2 사전 설정 차이 값 보다 큼; 및 (4) 상기 현재 지연 위치(p(t))가 이전 지연 위치(p(t-1)) 보다 작음 중 하나 이상이 충족되는 것을 결정하도록 구성된다.
일 실시예에서, 상기 장치는, 캐싱(caching) 모듈을 더 포함한다. 상기 캐싱 모듈은, 히스토리컬 기준 신호의 데이터를 캐싱하도록 구성된다. 상기 신호 시프트 모듈은, 상기 기준 신호를 시프트할 때, 상기 히스토리컬 기준 신호의 상기 캐싱된 데이터를 함께 시프트하도록 더 구성된다.
일 실시예에서, 상기 적응 필터는, 상기 적응 필터를 업데이트할 때, 상기 현재 지연 추정 값이 상기 적응 필터의 길이 보다 작으면, 상기 지연 추정 값에 기반하여, 적응 필터 계수를 시프트하고, 상기 시프트된 적응 필터 계수에 기반하여, 상기 적응 필터를 업데이트하도록 구성되고, 시프트 후에 값이 없는 위치에서의 계수가 리셋되고, 상기 적응 필터가 상기 리셋된 적응 필터 계수에 기반하여, 업데이트된다.
지연 추정을 기반으로 하는 에코 제거 디바이스는, 프로세서, 메모리, 및 시스템 버스를 포함한다. 상기 프로세서는, 상기 시스템 버스를 통해 상기 메모리에 연결된다. 상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 상기의 지연 추정을 기반으로 하는 에코 제거 방법들 중 어느 하나를 수행하도록 제어하는 명령어들을 포함하는 하나 이상의 프로그램들을 저장한다.
컴퓨터-판독 가능 저장 매체는, 단말 장치에 의해 실행될 때, 상기 단말 장치가 상기의 지연 추정을 기반으로 하는 에코 제거 방법들 중 어느 하나를 수행하도록 제어하는 명령어들을 저장한다.
컴퓨터 프로그램 제품은, 단말 장치에 의해 실행될 때, 상기 단말 장치가 상기의 지연 추정을 기반으로 하는 에코 제거 방법들 중 어느 하나를 수행하도록 제어한다.
본 개시의 실시예들에 따른 에코 제거 방법 및 에코 제거 장치에 의해, 마이크로폰 신호와 기준 신호에서 비선형성을 갖는 주파수 포인트들이 검출된다. 현재 지연 추정 값은 마이크로폰 신호와 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로, 계산된다. 즉, 기준 신호와 마이크로폰 신호 사이의 지연은 비선형성 없이 추정되며, 이에 따라 지연 추정 값이 더 정확하다. 그리고, 기준 신호는 현재 지연 추정 값에 기반하여, 시프트된다. 에코 제거를 수행하기 위해, 적응 필터는 마이크로폰 신호 및 시프트된 기준 신호를 기반으로, 업데이트되며, 이로써, 에코 제거의 효과가 효과적으로 향상된다.
또한, 지연 추정에서, 지연 추정 값은 다양한 로버스트(robust) 조건들에 기반하여 보정되며, 이에 따라 추정된 지연은 더 로버스트하다.
또한, 적응 필터를 업데이트하는 프로세스에서, 히스토리컬 기준 신호의 데이터를 캐싱 및 시프트하고, 기준 배율(magnificence)이 없는 필터 계수(filter coefficient)를 리셋함으로써, 지연의 변화에 의해 발생된 필터의 재수렴(re-convergence)을 위한 시간 주기가 감소될 수 있으며, 이로써 에코 제거의 성능에 대한 재수렴의 영향이 감소된다.
본 개시의 실시예들 또는 기존의 기술에서의 기술적 해결 수단들을 보다 명확하게 설명하기 위해, 실시예들에 사용될 도면들이 간략하게 후술된다. 명확하게는, 이하의 설명에서의 도면들은 본 개시의 몇몇 실시예들만을 나타내고, 다른 도면들이 해당 기술 분야에서 통상의 지식을 가진 자로부터 도면들로부터 획득될 수 있다.
도 1은 본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 방법의 흐름도이다;
도 2는 히스토리컬 기준 신호가 공동으로 시프트되는 본 개시의 일 실시예와 현재 기준 신호만이 시프트되는 기존의 기술 사이의 비교를 도시하는 개략도이다;
도 3은 기존의 기술과 필터를 업데이트할 때 에러 필터 계수가 리셋되는 본 개시의 일 실시예 사이의 비교를 도시하는 개략도이다;
도 4는 본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치의 개략적인 블록도이다; 그리고
도 5는 본 개시의 다른 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치의 개략적인 블록도이다.
도 1은 본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 방법의 흐름도이다;
도 2는 히스토리컬 기준 신호가 공동으로 시프트되는 본 개시의 일 실시예와 현재 기준 신호만이 시프트되는 기존의 기술 사이의 비교를 도시하는 개략도이다;
도 3은 기존의 기술과 필터를 업데이트할 때 에러 필터 계수가 리셋되는 본 개시의 일 실시예 사이의 비교를 도시하는 개략도이다;
도 4는 본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치의 개략적인 블록도이다; 그리고
도 5는 본 개시의 다른 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치의 개략적인 블록도이다.
본 개시의 실시예들은 첨부되는 도면들과 구현들을 참조하여 보다 상세하게 후술되며, 이에 따라 해당 기술 분야에서 통상의 지식을 가진 자는 본 개시의 실시예들에 따른 해결 과제들을 잘 이해할 수 있다.
실제 적용들에서, 비선형성이 종종 에코 제거 프로세스에서 발생한다. 높은 음량, 불충분한 배터리 전력, 파-엔드 신호의 부재, 즉 기준 신호의 부재, 및 듀얼 스피치, 즉 인간 사운드와 스피커 사운드를 둘 다 포함하는 것과 같은 많은 경우들이 사운드 신호의 비선형성을 초래하고, 이는 지연 추정을 위해 계산되는 상호-상관의 에러를 야기할 수 있으며, 결국 에코 제거의 부족한 효과를 초래할 수 있다. 이를 고려하여, 본 개시의 실시예들에 따른 지연 추정을 기반으로 하는 에코 제거 방법 및 지연 추정을 기반으로 하는 에코 제거 장치가 제공된다. 지연이 결정될 때, 비선형성을 갖는 주파수 포인트들이 제거된다. 정확한 지연 추정 값을 획득하기 위해, 지연 추정 값이 마이크로폰 신호와 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로, 결정된다. 이에 따라, 이 지연 추정 값에 기반하여 수행된 에코 제거가 더 효과적일 수 있다.
본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 방법의 흐름도인 도 1을 참조한다. 방법은 다음의 단계 101 내지 단계 105를 포함한다.
단계 101에서, 마이크로폰 신호와 기준 신호가 수신되고, 전처리된다.
마이크로폰 신호는 음성 신호를 수집하기 위한 마이크로폰에 의해 획득되고, A/D 변환의 대상이 되는 디지털 신호이다. 기준 신호는 에코 제거에 의해 제거될 소스 신호이며, 디지털 신호이기도 하다. 일 예로, 텔레비전 박스의 제조자를 위해, 텔레비전 박스 상에서 에코 제거가 수행되는 경우, 기준 신호는 텔레비전 박스에 의해 텔레비전으로 전송되는 소스 신호, 또는 기존의 기술에서 일반적으로 사용되는 텔레비전 스피커 신호이며, 이에 제한되지 않는다.
전처리는 주로 프레이밍(framing), 윈도잉(windowing), 및 고속 푸리에 변환(fast Fourier transforming) 등을 포함하고, 시간 도메인(time domain)의 기준 신호와 마이크로폰 신호를 주파수 도메인(frequency domain)의 각각의 신호들로 변환하기 위해 수행된다.
단계 102에서, 전처리된 마이크로폰 신호와 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들이 결정된다.
실제 적용 환경들 및 디바이스 하드웨어의 다양성을 고려하여, 다음의 상이한 검출 방법들이 비선형성을 갖는 주파수 포인트 신호들을 결정하기 위해 사용될 수 있다.
(1) 파-엔드 신호 검출
비선형성을 갖는 주파수 포인트 신호들은 전처리된 기준 신호의 에너지, 제로-크로싱 율, 및 단기 진폭 중 하나 이상에 기반하여, 결정된다. 예를 들면, 주파수 포인트에서의 기준 신호(x)의 에너지(Px)가 미리 설정된 에너지 임계 값 보다 크면, 이 주파수 포인트에서의 주파수 포인트 신호에서 비선형성이 발생하는 것으로 결정된다.
(2) 듀얼-엔드 신호 검출
비선형성을 갖는 주파수 포인트 신호들은 전처리된 마이크로폰 신호의 에너지 대 전처리된 기준 신호의 에너지의 비율에 기반하여, 결정된다.
구체적으로, 주파수 포인트에서의 기준 신호(x)의 스무딩(smoothing) 에너지(
)와 이 주파수 포인트에서의 마이크로폰 신호의 스무딩 에너지(
)가 계산된다. 결정은 에너지 비율(
)에 기반하여, 이루어진다. 에너지 비율이 미리 설정된 에너지 비율 임계 값 보다 크면, 이 주파수 포인트에서의 주파수 포인트 신호에서 비선형성이 발생한다. 스무딩 에너지(
및 
)는 하기 [수학식 1] 및 [수학식 2]로부터 계산된다.
여기서, x(n) 및 y(n)은 주파수(n)에서의 기준 신호와 마이크로폰 신호를 각각 나타내고, 
는 스무딩 계수이며, 수 많은 실험 결과들 및/또는 경험에 기반하여, 결정될 수 있다.
대안적으로, 주파수 포인트에서의 기준 신호(x)의 에너지 및 주파수 포인트에서의 마이크로폰 신호의 에너지는 직접 계산될 수 있다. 결정은 기준 신호(x)의 에너지 대 마이크로폰 신호의 에너지의 에너지 비율에 기반하여, 이루어진다. 에너지 비율이 미리 설정된 에너지 비율 임계 값 보다 크면, 이 주파수 포인트에서의 주파수 포인트 신호에서 비선형성이 발생하는 것으로 결정된다.
(3) 디바이스 하드웨어에 의해 발생되는 비선형성의 검출
실제 적용들에서, 가능한 많은 하드웨어 디바이스의 비용을 줄이기 위해, 저렴한 하드웨어가 종종 사용되며, 이는 과도한 스피커 음량 및 불충분한 배터리 전력과 같은 몇몇 동작 상태들에서의 비선형성을 초래할 수 있다. 비선형성은 다음과 같이 검출될 수 있다.
먼저, 저주파수 범위(N)(예를 들어, 300 Hz에서 800 Hz의 범위이며, 경험들 및/또는 수 많은 실험 결과들에 기반하여, 결정됨)에서 기준 신호와 마이크로폰 신호 사이의 상호-상관에 대한 평균 값이 계산된다.
주파수(n)에서, 기준 신호와 마이크로폰 신호 사이의 상호-상관 값이 하기 [수학식 3]으로부터 계산된다.
여기서, 
, 
는 스무딩 계수이며, 수 많은 실험 결과들 및/또는 경험에 기반하여, 결정될 수 있다.
이에 따라, 저주파수 범위(N)에서, 기준 신호와 마이크로폰 신호 사이의 상호-상관에 대한 평균 값이 하기 [수학식 4]와 같이 계산될 수 있다.
이 후, 특정 주파수 간격(d(1≤d<20))의 다른 주파수 범위들에서, 기준 신호와 마이크로폰 신호 사이의 상호-상관에 대한 평균 값들이 상기의 저주파수 범위에서의 상호-상관에 대한 평균 값과 동일한 계산 방법에 의해, 계산된다.
마지막으로, 비선형성을 갖는 주파수 포인트 신호들이 다른 주파수 범위들에서의 상호-상관에 대한 평균 값들과 저주파수 범위에서의 상호-상관에 대한 평균 값에 기반하여, 결정된다. 예를 들면, 다른 주파수 범위들에서의 상관도의 평균 값들 중 하나가 저주파수 범위에서의 상관도의 평균 값 보다 현저하게 작은 지(예를 들어, 다른 주파수 범위에서의 상관도의 평균 값 대 저주파수 범위에서의 상관도의 평균값의 비율이 0.1 보다 작은 지)의 여부가 판단된다. 다른 주파수 범위에서의 상관도의 평균 값이 저주파수 범위에서의 상관도의 평균 값 보다 현저하게 작으면, 다른 주파수 범위에서의 신호들이 비선형성을 갖는다.
실제 적용들에서, 결정은 상기의 검출 방법들 중 어느 하나 또는 상기의 검출 방법들 중 어느 두 개나 셋 모두를 조합하여, 이루어질 수 있음에 유의해야 한다. 또한, 다수의 검출 방법들이 포괄적인 결정을 위해 사용되는 경우에, 다수의 검출 방법들에 의해 획득된 값들은 가중될 수 있다. 대안적으로, 다수의 검출 방법들의 각각의 결과가 주파수 포인트 신호들이 비선형성을 갖는 것으로 나타낼 때에만, 주파수 포인트 신호들이 비선형성을 갖는 것으로 결정되며, 이에 제한되지 않는다.
단계 103에서, 마이크로폰 신호와 기준 신호에서 비선형성이 없는 주파수 포인트 신호들에 기반하여, 현재 지연 추정 값이 계산된다.
먼저, 지연 분석 범위에 포함된 마이크로폰 신호의 프레임들이 결정된다. 예를 들면, 16kHz의 샘플링 레이트(sampling rate)와 1s의 최대 지연의 경우, 지연 분석 범위는 30 개의 프레임들이다. 즉, 기준 신호와 마이크로폰 신호의 30 프레임들의 각각 사이의 상호-상관 값은 각 지연 분석에서 계산된다.
이 후, 마이크로폰 신호의 프레임들의 각각에 대해, 기준 신호와 마이크로폰 신호의 프레임 사이의 상호-상관 값을 계산하기 위해, 기준 신호와 마이크로폰 신호의 프레임에서 비선형성이 없는 주파수 포인트 신호들이 선택된다.
구체적으로, 현재 프레임에 대해, 비선형성이 없는 주파수 포인트 신호들이 선택된다. 512 개의 주파수 포인트들의 경우(여기서, FFT 간격의 길이가 1024임), 상기 [수학식 3]을 참조하여, 512 개의 주파수 포인트들의 각각에서 기준 신호와 마이크로폰 신호 사이의 상호-상관 값이 계산된다.
512 개의 주파수 포인트들의 각각에서의 상호-상관 값이 획득된 후에, 현재 프레임의 512 개의 주파수 포인트들에서의 상호-상관에 대한 평균 값이 계산된다. 상호-상관에 대한 평균 값은 기준 신호의 현재 프레임과 마이크로폰 신호의 현재 프레임 사이의 상호-상관 값으로서 기능한다.
상호-상관을 기반으로 하는 지연 추정을 더 정확하게 하기 위해, 일반적인 오디오 주파수 범위에서의 주파수 포인트들(16KHZ의 샘플링 레이트의 경우, 일반적인 오디오 주파수 범위들은 1500Hz에서 4625Hz임)이 기준 신호와 마이크로폰 신호 사이의 상호-상관 값을 계산하기 위해 선택될 수 있다. 또한, 계산량을 줄이고 효율성을 향상시키기 위해, 일반적인 주파수 범위에서의 M(예를 들어, M=100임) 개의 주파수 포인트들이 기준 신호와 마이크로폰 신호 사이의 상호-상관 값을 계산하기 위해 선택될 수 있다.
마지막으로, 기준 신호와 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 지연 추정 값이 결정된다.
실제 적용들에서, 지연 추정 값이 다양한 방식들로 결정될 수 있으며, 이들은 이하에서 개별적으로 설명된다.
제1 예로, 기준 신호와 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치가 현재 지연 위치로서 선택된다. 현재 지연 추정 값은 현재 지연 위치 및 기준 신호의 위치에 기반하여, 결정된다.
예를 들면, 기준 신호의 현재 프레임이 기준으로 취해지고, 이는 50 번째 프레임으로 가정되며, 지연 분석 범위, 즉 마이크로폰 신호의 20 번째 프레임 내지50 번째 프레임에, 마이크로폰 신호의 30 개의 프레임들이 있다. 마이크로폰 신호의 30 프레임들의 각각이 기준 신호의 50 번째 프레임과 비교된다. 기준 신호의 현재 50 번째 프레임과 마이크로폰 신호의 25 번째 프레임 사이의 상호-상관 값이 최대이면, 현재 지연 추정 값은 50-25=25로서 계산된다. 명확하게는, 기준 신호의 프레임 번호가 30 보다 작으면(예를 들어, 18임), 비교될 마이크로폰 신호의 프레임들은 현재 프레임 이전의 모든 프레임들이다. 즉, 기준 신호의 18 번째 프레임은 마이크로폰 신호의 1 번째 프레임 내지 18 번째 프레임의 각각과 비교된다.
제2 예에서, 현재 지연 추정 값을 더 로버스트하게 하기 위해, 다음의 로버스트 조건들 중 하나 이상이 충족될 수 있다. 즉, 가장 큰 상호-상관 값을 갖는 프레임이 획득된 후에, 다음의 로버스트 조건들 중 하나 이상이 충족되는 지의 여부를 판단하는 것이 추가로 요구된다. 다음의 로버스트 조건들 중 하나 이상이 충족되면, 현재 지연 추정 값이 현재 지연 위치 및 기준 신호의 위치에 기반하여, 결정되고, 그렇지 않으면 다음 지연 추정이 수행된다.
로버스트 조건들은, (1) 현재 지연 위치에 대응하는 상호-상관 값(C(t))이 이전 지연 위치에 대응하는 상호-상관 값(C(t-1)) 보다 큼; (2) 현재 지연 분석 범위에서의 각 프레임에 대해, 최대 상호-상관 값(Cmax(t))에 대응하는 위치와 최소 상호-상관 값(Cmin(t))에 대응하는 위치 사이의 차이 값이 제1 사전 설정 차이 값 보다 큼; (3) 기준 신호와 지연 분석 범위에서의 마이크로폰 신호의 프레임들 사이의 상호-상관 값들의 평균 값(Cmean(t))과 현재 지연 위치에 대응하는 상호-상관 값(C(t)) 사이의 차이 값이 제2 사전 설정 차이 값 보다 큼; 및 (4) 상기 현재 지연 위치(p(t))가 이전 지연 위치(p(t-1)) 보다 작음을 포함한다.
제3 예에서, 기준 신호를 시프트하고 필터를 지연에 기반하여 업데이트할 때, 지연 추정 값은 필터의 수렴(convergence)으로 인해 매우 정확하도록 요구된다. 지연을 더 정확하게 획득하기 위해, 최대 상호-상관 값을 갖는 프레임에 대응하는 위치가 일 실시예에서 후보 지연 위치로서 기능할 수 있다. 후보 지연 위치의 변화에 따라, 최종적으로 정확한 지연 추정 값을 획득하기 위해, 히스토리컬 데이터에 기반하여, 후보 지연 위치가 처벌 및/또는 보상된다. .
지연 추정 값은 다음과 같이 결정된다.
먼저, 각 지연 추정에서 계산된, 기준 신호와 지연 분석 범위에서의 마이크로폰 신호의 프레임들 사이의 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치가 후보 지연 위치로서 기능한다. 후보 지연 위치들은 L-차원 어레이(Sa)로 매핑되고, 여기서 L은 지연 분석 범위에서의 마이크로폰 신호의 프레임들의 총 개수와 동일하다. 후보 지연 위치가 연속적으로 반복되는 횟수 "카운트"가 카운트된다. 연속적인 반복이 중단되면, "카운트"가 0으로 설정된다.
현재 후보 지연 위치가 변경되면, 현재 후보 지연 위치에 대한 값이 제1 사전 설정 값(t1)만큼 증가되고, 이전 후보 지연 위치에 대한 값이 제2 사전 설정 값(t2)만큼 감소되며, 다른 위치들에 대한 값들이 제3 사전 설정 값(t3)만큼 감소된다.
현재 후보 지연 위치가 변경되지 않으면, 현재 후보 지연 위치들의 신뢰성이 증가하고, 이전에 추정된 후보 지연 위치와 다른 위치들의 신뢰성이 낮다. 현재 후보 지연 위치에 대한 값이 제1 사전 설정 값(t1)만큼 증가되고, 다른 위치들에 대한 값들이 제3 사전 설정 값(t3)만큼 감소된다. 이전 후보 지연 위치가 다른 위치들 보다 신뢰할 수 있으므로, 이전 후보 지연 위치가 상대적으로 작은 값만큼 감소된다. t1, t2, 및t3의 값들은 경험들 또는 수 많은 실험들에 기반하여 결정될 수 있으며, 일반적으로 t3은 t2 이상이다. 예를 들면, t1, t2, 및 t3은 2, 1, 및 2로 각각 설정될 수 있다.
현재 후보 지연 위치의 값이 제1 임계 값(T1) 보다 크고(예를 들어, T1=10임), 현재 후보 지연 위치가 연속적으로 반복되는 횟수가 제2 임계 값(T2) 보다 크면(예를 들어, T2=4임), 이는 추정된 현재 후보 지연 위치가 더 정확하고, 정확한 지연(D1(t))으로서 사용될 수 있음을 나타낸다.
제4 예에서, 현재 지연 추정 값을 더 로버스트하게 하기 위해, 제3 예의 방법에 의해 지연 추정 값을 결정할 때, 상기의 로버스트 조건들 중 하나 이상이 충족되는 지의 여부가 더 판단된다. 상기의 로버스트 조건들 중 하나 이상이 충족되면, 현재 지연 추정 값이 현재 지연 위치 및 기준 신호의 위치에 기반하여 결정되고, 그렇지 않으면 다음 지연 추정이 수행된다.
단계 104에서, 현재 지연 추정 값에 기반하여, 기준 신호가 시프트된다.
실제 적용들에서, 기준 신호의 데이터가 상기의 제1 예 내지 제4 예의 상이한 방법들 중 어느 하나에 의해 결정되는 지연 추정 값만큼 시프트될 수 있다.
게다가, 현재 지원 추정 값(D1(t))이 제3 예 또는 제4 예의 방법에 의해 결정되는 경우, 추정된 후보 지연 위치가 간격들에 따라 변하는 것을 고려하면, 기준 신호는 다음과 같이 시프트될 수 있다.
현재 지연 추정 값(D1(t))이 제3 임계 값(T3)(예를 들어, T3=10임) 이하인 경우, 기준 신호의 데이터는 시프트되지 않는다.
현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 보다 크고 제4 임계 값(T4)(예를 들어, T4=20임) 보다 작은 경우, 기준 신호의 데이터는 D1(t)/2만큼 시프트된다.
현재 지연 추정 값(D1(t))이 제4 임계 값(T4) 이상인 경우, 기준신호의 데이터는 D1(t)만큼 시프트된다.
게다가, 지연에 기반하여 기준 신호를 시프트할 때 히스토리컬 기준 신호의 내용의 손실에 대한 기존의 문제점을 고려하여, 본 개시의 다른 실시예에서의 현재 지연 추정 값에 기반하여 기준 신호를 시프트하는 것과 함께, 히스토리컬 기준 신호의 데이터가 시프트된다. 구체적으로, 히스토리컬 기준 신호의 데이터가 캐싱된다. 기준 신호를 시프트할 때, 히스토리컬 기준 신호의 캐싱된 데이터가 함께 시프트된다.
기존의 기술과 히스토리컬 기준 신호의 데이터가 함께 시프트되는 본 개시의 실시예 사이의 비교를 도시하는 개략도인 도 2를 참조한다.
기존의 기술의 도 2로부터 알 수 있는 바와 같이, 지연 추정 값이 3과 같다고 가정하면, 시간 포인트(n)에서의 기준 신호의 데이터는 기준 신호를 시프트할 때, 시간 포인트(n-3)에서의 기준 신호 데이터의 데이터로 직접 대체된다. 그러나, 히스토리컬 기준 신호의 데이터, 예를 들어 도 2의 시간 포인트들((n-1) 내지 (n-4))에서의 기준 신호의 데이터는 변경되지 않고 유지되며, 이는 신호의 불연속을 초래할 수 있다. 본 개시의 실시예에서, 기준 신호를 시프트할 때, 시간 포인트(n)에서의 기준 신호의 데이터가 시간 포인트(n-3)에서의 기준 신호 데이터의 데이터로 대체될 뿐 아니라, 도 2에 도시된 바와 같이 히스토리컬 기준 신호의 데이터도 함께 시프트되며, 이로써 불연속 신호에 의해 야기되는 에코 제거의 효과에 대한 영향, 즉 히스토리컬 기준 신호의 내용의 손실을 피한다.
단계 105에서, 에코 제거를 수행하기 위해, 전처리된 마이크로폰 신호와 시프트된 기준 신호에 기반하여, 적응 필터가 업데이트된다.
구체적으로, 에코 제거가 마이크로폰 신호(y(t, n))와 시프트된 기준 신호(x'(t, n))에 기반하여, 수행된 후에, 출력 신호는 하기 [수학식 5]와 같다.
여기서, h(t, n)는 필터 계수를 나타낸다.
필터 계수(h(t, n))는 하기 [수학식 6]과 같이 업데이트된다.
여기서, γ는 필터를 업데이트하기 위한 단계 사이즈(step size)이고, 이는 수 많은 실험들 및/또는 경험들에 기반하여 결정되고, θ는 정규화 인자(regularization factor)이고, 이 또한 일반적으로 수 많은 실험들 및/또는 경험들에 기반하여 결정된다.
지연이 변화할 때 필터 계수가 업데이트될 필요가 있기 때문에, 필터 계수의 업데이트를 가속화하고, 필터 계수를 업데이트함으로써 야기되는 에코 제거의 성능 저하를 감소시키기 위해, 본 개시의 다른 실시예에서, 현재 지연 추정 값이 필터의 길이 보다 작으면, 적응 필터 계수를 업데이트할 때, 필터 계수는 지연 추정 값에 기반하여 시프트되고, 필터는 시프트된 필터 계수에 기반하여 업데이트되며, 여기서 시프트 후에 값이 없는 위치에서의 계수는, 예를 들어 0으로 리셋된다. 필터 계수를 업데이트하기 위한 시간 주기를 단축시키기 위해, 필터의 업데이트는 리셋된 적응 필터 계수를 기반으로 한다.
기존의 기술과 필터를 업데이트할 때 에러 필터 계수가 0으로 리셋되는 본 개시의 실시예 사이의 비교를 도시하는 계략도인 도 3을 참조한다.
지연 추정 값은 3과 같다고 가정한다. 기존의 기술에서 필터 계수를 업데이트하는 개략도가 좌측에 도시되어 있다. 기존의 기술에서, 필터 계수를 업데이트할 때, 모든 계수들이 현재 값에 기반하여 업데이트된다. 본 개시의 실시예에서 필터 계수를 업데이트하는 개략도는 우측에 도시되어 있다. n 번째 및 (n-1) 번째 필터 계수들이 업데이트되고, 다른 필터 계수들은 0으로 리셋됨으로써 업데이트됨을 알 수 있다.
본 개시의 실시예에 따른 에코 제거 방법에 따르면, 마이크로폰 신호와 기준 신호의 비선형성을 갖는 주파수 포인트들이 검출된다. 현재 지연 추정 값은, 마이크로폰 신호와 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로 계산된다. 즉, 기준 신호와 마이크로폰 신호 사이의 지연은 비선형 없이 추정되며, 이에 따라 지연 추정 값이 더 정확하다. 그리고, 기준 신호는 현재 지연 추정 값에 기반하여 시프트된다. 에코 제거를 수행하기 위해, 적응 필터가 마이크로폰 신호와 시프트된 기준 신호를 기반으로 업데이트되며, 이로써 에코 제거의 효과가 효과적으로 향상된다.
또한, 지연 추정에서, 지연 추정 값은 다양한 로버스트 조건들에 기반하여 보정되며, 이에 따라 추정된 지연이 더 로버스트하다.
또한, 적응 필터를 업데이트하는 프로세스에서, 히스토리컬 기준 신호의 데이터를 캐싱하고 함께 시프트하며, 기준 유의성(significance)이 없는 필터 계수를 리셋함으로써, 지연의 변화에 의해 야기되는 필터의 재수렴에 대한 시간 주기가 감소될 수 있으며, 이로써, 에코 제거의 성능에 대한 재수렴의 영향이 감소된다.
이에 따라, 본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치가 더 제공된다. 장치의 개략적인 블록도인 도 4를 참조한다.
도 4는, 에코 제거가 텔레비전 박스에서 수행되는 일 예를 도시한다. 기준 신호는 텔레비전 박스에 의해 텔레비전으로 전송되는 소스 신호 또는 기존의 기술에서 일반적으로 사용되는 텔레비전 스피커 신호이다. 텔레비전 박스의 마이크로폰에 의해 수집되는 신호는 마이크로폰 신호로서 기능한다. 사용자(A)는 음성으로 텔레비전 박스를 제어한다.
도 4의 입력 신호는 스피커로부터의 에코 신호를 포함한다. 입력 신호는 A/D 변환의 대상이 되고, 변환된 디지털 신호가 본 개시의 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치(400)로 전송된다. 에코 제거 장치(400)는 출력 신호, 즉 사용자(A)의 음성 신호를 획득하기 위해, 입력 신호에서 에코 신호를 제거한다. 텔레비전 박스는 사용자(A)의 제어 명령어를 획득하기 위해, 출력 신호를 분석한다.
본 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 장치(400)는 신호 처리 모듈들(401, 401'), 주파수 포인트 검출 모듈들(402, 402'), 지연 추정 모듈(403), 신호 시프트 모듈(404), 및 적응 필터(405)를 포함한다.
신호 처리 모듈들(401, 401')은 마이크로폰 신호와 기준 신호를 수신하고, 마이크로폰 신호와 기준 신호를 전처리하고, 전처리된 마이크로폰 신호와 전처리된 기준 신호를 출력하도록 각각 구성된다. 전처리는 주로 프레이밍, 윈도잉, 및 고속 푸리에 변환 등을 포함하고, 시간 도메인의 기준 신호와 마이크로폰 신호를 주파수 도메인의 각각의 신호들로 변환하기 위해 수행된다.
주파수 포인트 검출 모듈들(402, 402')은 신호 처리 모듈들에 의해 출력되는 전처리된 마이크로폰 신호와 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다.
지연 추정 모듈(403)은 전처리된 마이크로폰 신호와 전처리된 기준 신호에서 주파수 포인트 검출 모듈들에 의해 결정되는 비선형성이 없는 주파수 포인트 신호들을 기반으로 현재 지연 추정 값을 계산하고, 현재 지연 추정 값을 출력하도록 구성된다.
신호 시프트 모듈(404)은 지연 추정 모듈에 의해 출력되는 현재 지연 추정 값에 기반하여 기준 신호를 시프트하고, 시프트된 기준 신호를 출력하도록 구성된다.
적응 필터(405)는, 에코 제거를 수행하기 위해, 신호 처리 모듈에 의해 출력되는 전처리된 마이크로폰 시호와 신호 시프트 모듈(404)에 의해 출력되는 시프트된 기준 신호를 기반으로 적응 필터를 업데이트하도록 구성된다.
도 4에서, 신호 처리 모듈(401)과 신호 처리 모듈(401')뿐 아니라 주파수 포인트 검출 모듈(402)과 주파수 포인트 검출 모듈(402')은 단지 본 개시에 따른 장치의 원리 이해의 편의를 위해 설명됨에 유의해야 한다. 실제 적용들에서, 신호 처리 모듈(401)과 신호 처리 모듈(401')은 동일한 물리적 개체(physical entity)로 통합될 수 있다. 이와 유사하게, 주파수 포인트 검출 모듈(402)과 주파수 포인트 검출 모듈(402')은 동일한 물리적 개체로 통합될 수 있다. 또한, 신호 처리 모듈들과 주파수 포인트 검출 모듈들은 동일한 물리적 개체로 통합될 수 있으며, 이에 제한되지 않는다.
도 4는 본 개시에 따른 장치의 적용 예를 도시할 뿐이다. 본 개시의 실시예에 따른 장치는 다양한 시나리오들에 적용될 수 있음에 유의해야 한다. 예를 들면, 텔레비전 박스가 텔레비전을 제어하는 시나리오에서, 텔레비전에 대한 제어 사운드로부터 텔레비전에 의해 재생되는 사운드를 효과적으로 제거하기 위해, 본 개시에 따른 장치는 텔레비전 박스에 통합된다. 다른 시나리오들은 본 문서에 열거되지 않는다.
실제 적용 환경들 및 디바이스 하드웨어의 다양성의 관점에서, 비선형성을 갖는 주파수 포인트 신호들을 결정할 때, 상이한 검출 방법들이 사용될 수 있다. 이에 따라, 상이한 조건들의 비선형성을 갖는 주파수 포인트 신호들을 검출하기 위해, 상기 주파수 포인트 검출 모듈은 다음의 검출 유닛들, 즉 파-엔드 신호 검출 유닛, 듀얼-엔드 신호 검출 유닛, 및 디바이스 하드웨어 검출 유닛 중 하나 이상을 포함할 수 있다.
파-엔드 신호 검출 유닛은 전처리된 기준 신호의 에너지, 제로-크로싱 율, 및 단기 진폭 중 하나 이상에 기반하여, 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다. 예를 들면, 주파수 포인트에서의 기준 신호(x)의 에너지(Px)가 미리 설정된 에너지 임계 값 보다 크면, 이 주파수 포인트에서의 주파수 포인트 신호에서 비선형성이 발생하는 것으로 결정된다.
듀얼-엔드 신호 검출 유닛은 전처리된 마이크로폰 신호의 에너지 대 전처리된 기준 신호의 에너지의 비율에 기반하여, 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다. 상기 방법 실시예들의 상세한 설명을 참조할 수 있으며, 여기에서는 반복되지 않는다.
디바이스 하드웨어 검출 유닛은, 먼저 저주파수 범위에서 기준 신호와 마이크로폰 신호 사이의 상관도의 평균 값을 결정하고, 이 후 미리 결정된 주파수 간격의 다른 주파수 범위들에서 기준 신호와 마이크로폰 시호 사이의 상관도의 평균 값들을 계산하고, 마지막으로 다른 주파수 범위들에서의 상관도의 평균 값들과 저주파수 범위에서의 상관도의 평균 값에 기반하여, 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성된다. 예를 들면, 다른 주파수 범위에서의 상관도의 평균 값이 저주파수 범위에서의 상관도의 평균 값 보다 현저하게 작으면, 다른 주파수 범위에서의 신호들이 비선형성을 갖는다.
지연 추정 모듈(403)은 상호-상관 계산 유닛 및 지연 추정 값 결정 유닛을 포함한다. 상호-상관 계산 유닛은, 지연 분석 범위에서의 마이크로폰 신호의 프레임들의 각각에 대해, 기준 신호와 마이크로폰 신호의 프레임에서 비선형성이 없는 주파수 포인트 신호들을 선택하고, 기준 신호와 마이크로폰 신호의 프레임 사이의 상호-상관 값을 계산하도록 구성된다. 지연 추정 값 결정 유닛은, 상호-상관 계산 유닛에 의해 계산된 기준 신호와 마이크로폰 신호의 프레임들 사이의 상호-상관 값들에 기반하여, 지연 추정 값을 계산하도록 구성된다.
예를 들면, 지연 추정 값 결정 유닛은, 상호-상관 계산 유닛에 의해 계산된 기준 신호와 마이크로폰 신호의 프레임들 사이의 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 현재 지연 위치로서 선택하고, 현재 지연 위치와 기준 신호의 위치에 기반하여, 현재 지연 추정 값을 결정하도록 구성된다.
또한, 현재 지연 추정 값을 더 로버스트하게 하기 위해, 현재 지연 추정 값을 결정할 때, 지연 추정 값 결정 유닛은, 다음의 로버스트 조건들 중 하나 이상이 만족되는 지의 여부를 더 판단할 수 있다. 다음의 로버스트 조건들 중 하나 이상이 만족되면, 현재 지연 추정 값이 현재 지연 위치와 기준 신호의 위치에 기반하여 결정되고, 그렇지 않으면 다음 지연 추정이 수행된다.
로버스트 조건들은, (1) 현재 지연 위치에 대응하는 상호-상관 값(C(t))이 이전 지연 위치에 대응하는 상호-상관 값(C(t-1)) 보다 큼; (2) 현재 지연 분석 범위에서의 각 프레임에 대해, 최대 상호-상관 값(Cmax(t))에 대응하는 위치와 최소 상호-상관 값(Cmin(t))에 대응하는 위치 사이의 차이 값이 제1 사전 설정 차이 값 보다 큼; (3) 기준 신호와 지연 분석 범위에서의 마이크로폰 신호의 프레임들 사이의 상호-상관 값들의 평균 값(Cmean(t))과 현재 지연 위치에 대응하는 상호-상관 값(C(t)) 사이의 차이 값이 제2 사전 설정 차이 값 보다 큼; 및 (4) 상기 현재 지연 위치(p(t))가 이전 지연 위치(p(t-1)) 보다 작음을 포함한다.
또한, 기준 신호가 시프트되고 필터가 지연에 기반하여 업데이트되는 경우, 지연 추정 값은 필터의 수렴에 따라 점점 더 정확해지도록 요구된다. 지연을 더 정확하게 획득하기 위해, 지연 추정 값 결정 유닛은 최대 상호-상관 값을 갖는 프레임에 대응하는 위치를 후보 지연 위치로서 선택할 수 있다. 히스토리컬 데이터에 기반하여, 최종적으로 정확한 지연 추정 값을 획득하기 위해, 후보 지연 위치가 후보 지원 위치의 변경에 따라 처벌 및/또는 보상된다. 구체적으로, 각 지연 추정에서 계산되는 지연 분석 범위에서의 기준 신호와 마이크로폰 신호의 프레임들 사이의 상호-상관 값들 중에서 가장 큰 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치는 후보 지연 위치로서 기능한다. 후보 지연 위치들은 L-차원 어레이(Sa)에 매핑되고, 여기서 L은 지연 분석 범위에서의 마이크로폰 신호의 프레임들의 총 개수와 동일하다. 후보 지연 위치가 연속적으로 반복되는 횟수가 카운트된다. 현재 후보 지연 위치가 변경되면, 현재 후보 지연 위치에 대한 값은 제1 사전 설정 값(t1)만큼 증가되고, 이전 후보 지연 위치에 대한 값은 제2 사전 설정 값(t2)만큼 감소되고, 다른 위치들에 대한 값들은 제3 사전 설정 값(t3)만큼 감소된다. 현재 후보 지연 위치가 변경되지 않으면, 현재 후보 지연 위치에 대한 값은 제1 사전 설정 값(t1)만큼 증가되고, 다른 위치들에 대한 값들은 제3 사전 설정 값(t3)만큼 감소된다. 제2 사전 설정 값(t2)은 제3 사전 설정 값(t3) 이하이다. 현재 후보 지연 위치에 대한 값이 제1 임계 값 보다 크고, 현재 후보 지연 위치가 연속적으로 반복되는 횟수가 제2 임계 값 보다 크면, 현재 지연 추정 값은 현재 후보 지연 위치와 기준 신호의 위치에 기반하여 결정된다. t1, t2, 및 t3에 대한 값은 경험 또는 수 많은 실험들에 기반하여 결정될 수 있으며, t3은 일반적으로 t2 이상이다. 예를 들면, t1, t2, 및 t3은 2, 1, 및 2로 설정될 수 있다.
상술된 방식으로 지연 추정 값을 결정할 때, 지연 추정 값 결정 유닛은 상기의 로버스트 조건들 중 하나 이상이 만족되는 지의 여부를 더 판단할 수 있으며, 이에 따라 현재 추정된 지연 값이 더 로버스트하다.
실제 적용들에서, 신호 시프트 모듈(404)은 상이한 방식들 중 어느 하나로 지연 추정 값 결정 유닛에 의해 결정된 현재 지연 추정 값만큼 기준 신호의 데이터를 시프트할 수 있다.
또한, 히스토리컬 데이터를 기반으로 하는 경우, 최종적으로 지연 추정 값을 획득을 획득하기 위해, 후보 지연 위치가 후보 지연 위치의 변화에 따라 처벌 및/또는 보상되고, 추정된 후보 지연 위치의 정확도가 간격들에 따라 다르다. 따라서, 신호 시프트 모듈(404)은 다음과 같이 기준 신호를 시프트할 수 있다. 현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 이하인 경우, 기준 신호의 데이터는 시프트되지 않는다. 현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 보다 크고 제4 임계 값(T4) 보다 작으면, 기준 신호의 데이터는 D1(t)/2만큼 시프트된다. 현재 지연 추정 값(D1(t))이 제4 임계 값(T4) 이상이면, 기준 신호의 데이터는 D1(t)만큼 시프트된다.
게다가, 도 5에 도시된 바와 같이 기준 신호를 시프트할 때, 히스토리컬 기준 신호의 내용의 손실을 피하기 위해, 본 개시의 다른 실시예에 따른 장치는 캐싱 모듈(501)을 더 포함한다. 캐싱 모듈은 히스토리컬 기준 신호의 데이터를 캐싱하도록 구성된다.
따라서, 본 실시예에서, 신호 시프트 모듈(404)은 기준 신호를 시프트할 때, 캐싱된 히스토리컬 기준 신호의 데이터를 함께 시프트하도록 더 구성된다.
본 개시의 다른 실시예에 따른 장치에서, 적응 필터(405)가 계수를 업데이트할 때, 현재 지연 추정 값이 필터의 길이 보다 작으면, 필터 계수는 지연 추정 값에 기반하여 시프트되고, 필터는 시프트된 적응 필터 계수에 기반하여 업데이트되며, 여기서 시프트 후에 값이 없는 위치에서의 계수는 리셋된다. 예를 들면, 기준 배율이 없는 이러한 필터 계수는 0으로 리셋된다. 그리고, 필터는 리셋된 적응 필터 계수에 기반하여 업데이트된다.
본 개시의 실시예들에 따른 에코 제거 장치에 따르면, 마이크로폰 신호와 기준 신호에서 비선형성을 갖는 주파수 포인트들이 검출된다. 현재 지연 추정 값은, 마이크로폰 신호와 기준 신호에서 비선형성이 없는 주파수 포인트 신호들에 기반하여 계산된다. 즉, 기준 신호와 마이크로폰 신호 사이의 지연은 비선형성 없이 추정되며, 이에 따라 지연 추정 값이 더 정확하다. 그리고, 기준 신호는 현재 지연 추정 값에 기반하여 시프트된다. 에코 제거를 수행하기 위해, 적응 필터가 마이크로폰 신호와 시프트된 기준 신호를 기반으로 업데이트되며, 이로써 에코 제거의 효과가 효과적으로 향상된다.
또한, 지연 추정에서, 지연 추정 값은 다양한 로버스트 조건들에 기반하여 보정되며, 이에 따라 추정된 지연이 더 로버스트하다.
또한, 적응 필터를 업데이트하는 프로세스에서, 히스토리컬 기준 신호의 데이터를 캐싱하고 함께 시프트하며, 기준 유의성이 없는 필터 계수를 리셋함으로써, 지연의 변화에 의해 야기되는 필터의 재수렴에 대한 시간 주기가 감소될 수 있으며, 이로써, 에코 제거의 성능에 대한 재수렴의 영향이 감소된다.
본 개시의 일 실시예에 따른 지연 추정을 기반으로 하는 에코 제거 디바이스가 더 제공된다. 디바이스는 프로세서, 메모리, 및 시스템 버스를 포함한다.
프로세서는 시스템 버스를 통해 메모리에 연결된다.
메모리는, 프로세서에 의해 실행될 때, 프로세서가 상술된 지연 추정을 기반으로 하는 에코 제거 방법들 중 어느 하나를 수행하도록 제어하는 명령어들을 포함하는 하나 이상의 프로그램들을 저장한다.
본 개시의 일 실시예에 따른 컴퓨터-판독 가능 저장 매체가 더 제공된다. 컴퓨터-판독 가능 저장 매체는, 단말 장치에 의해 실행될 때, 단말 장치가 상술된 지연 추정을 기반으로 하는 에코 제거 방법들 중 어느 하나를 수행하도록 제어하는 명령어들을 저장한다.
본 개시의 일 실시예에 따른 컴퓨터 프로그램 제품이 더 제공된다. 컴퓨터 프로그램 제품은, 단말 장치에 의해 실행될 때, 단말 장치가 상술된 지연 추정을 기반으로 하는 에코 제거 방법들 중 어느 하나를 수행하도록 제어한다.
본 명세서의 실시예들은 진행 순서로 설명되고, 이들 각각은 다른 것들과의 차이점을 강조하며, 실시예들 중 동일하거나 유사한 부분들은 서로 참조될 수 있다. 또한, 상술된 장치 실시예들은 단지 예시적인 것이다. 개별 구성 요소들로서의 상술된 유닛들은 물리적으로 분리되거나 분리되지 않을 수 있다. 하나의 유닛으로서 표시된 구성 요소는 물리적인 유닛이거나 물리적인 유닛이 아닐 수 있으며, 즉 한 곳에 위치하거나 다수의 네트워크 유닛들 상에 분산될 수 있다. 실시예의 해결 수단들의 목적은, 실제 요구 사항들에 기초하여 유닛들의 일부 또는 전부를 선택함으로써 달성될 수 있다. 해당 기술 분야에서 통상의 지식을 가진 자는 창조적 노력 없이 본 개시의 기술적 해결 수단을 이해하고 구현할 수 있다.
본 개시의 실시예들이 상술되었다. 본 개시는 특정 실시예들에 의해 예시된다. 상술된 실시예들은 본 개시에 따른 방법 및 장치의 이해를 돕기 위한 것일 뿐이다. 또한, 해당 기술 분야에서 통상의 지식을 가진 자는 본 개시의 아이디어에 기초하여 특정 구현 및 적용 범위를 변경할 수 있다. 요약하면, 본 명세서는 본 개시에 대한 제한으로서 이해되어서는 안된다.
Claims (21)
- 지연 추정(delay estimation)을 기반으로 하는 에코 제거(echo cancellation) 방법에 있어서,
마이크로폰(microphone) 신호와 기준(reference) 신호를 수신하고, 상기 마이크로폰 신호와 상기 기준 신호를 전처리하는 단계;
상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성(non-linearity)을 갖는 주파수 포인트(frequency point) 신호들을 결정하는 단계;
상기 마이크로폰 신호와 상기 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로, 현재 지연 추정 값을 계산하는 단계;
상기 현재 지연 추정 값에 기반하여, 상기 기준 신호를 시프트하는 단계; 및
에코 제거를 수행하기 위해, 상기 전처리된 마이크로폰 신호와 상기 시프트된 기준 신호를 기반으로, 적응 필터(adaptive filter)를 업데이트하는 단계
를 포함하는, 방법.
- 제1 항에 있어서,
상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들을 결정하는 단계는,
상기 전처리된 기준 신호의 에너지, 제로-크로싱 율(zero-crossing rate), 및 단기 진폭(short-term amplitude) 중 하나 이상에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하는 단계를 포함하는, 파-엔드(far-end) 신호 검출;
상기 전처리된 마이크로폰 신호의 에너지 대 상기 전처리된 기준 신호의 에너지의 비율에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하는 단계를 포함하는, 듀얼-엔드(dual-end) 신호 검출; 및
저주파수 범위에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도(correlation)에 대한 평균 값을 계산하는 단계, 미리 결정된 주파수 간격(interval)의 다른 주파수 범위들에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도에 대한 평균 값들을 계산하는 단계, 및 상기 다른 주파수 범위들에서의 상관도에 대한 평균 값들과 상기 저주파수 범위에서의 상관도의 평균 값에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하는 단계를 포함하는, 디바이스 하드웨어에 의해 발생되는 비선형성의 검출
중 하나 이상을 포함하는, 방법.
- 제1 항에 있어서,
상기 마이크로폰 신호와 상기 기준 신호에서 비선형성이 없는 주파수 포인트 신호들을 기반으로, 현재 지연 추정 값을 계산하는 단계는,
지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 각각에 대해, 상기 기준 신호와 상기 마이크로폰 신호의 프레임에서 비선형성이 없는 주파수 포인트 신호들을 선택하고, 상기 기준 신호와 상기 마이크로폰 신호의 프레임 사이의 상호-상관(cross-correlation) 값을 계산하는 단계; 및
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하는 단계
를 포함하는, 방법.
- 제3 항에 있어서,
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하는 단계는,
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 상기 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 현재 지연 위치로 선택하는 단계; 및
상기 현재 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하는 단계
를 포함하는, 방법.
- 제3 항에 있어서,
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 현재 지연 추정 값을 결정하는 단계는,
각 지연 추정에서, 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상기 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 후보 지연 위치로 선택하는 단계; 및 후보 지연 위치들을 L-차원 어레이(Sa)에 매핑하고 - L은 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 총 개수와 동일함 -, 후보 지연 위치가 연속적으로 반복되는 횟수를 카운트하는 단계;
현재 후보 지연 위치가 변경되면, 상기 현재 후보 지연 위치에 대한 값을 제1 사전 설정 값(t1)만큼 증가시키고, 이전 후보 지연 위치에 대한 값을 제2 사전 설정 값(t2)만큼 감소시키고, 다른 위치들에 대한 값들을 제3 사전 설정 값(t3)만큼 감소시키는 단계;
상기 현재 후보 지연 위치가 변경되지 않으면, 상기 현재 후보 지연 위치에 대한 값을 상기 제1 사전 설정 값(t1)만큼 증가시키고, 다른 위치들에 대한 값들을 상기 제3 사전 설정 값(t3)만큼 감소시키는 단계 - 사기 제2 사전 설정 값(t2)은 상기 제3 사전 설정 값(t3) 이하임 -; 및
상기 현재 후보 지연 위치에 대한 값이 제1 임계 값 보다 크고, 상기 현재 후보 지연 위치가 연속적으로 반복되는 횟수가 제2 임계 값 보다 크면, 상기 현재 후보 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하는 단계
를 포함하는, 방법.
- 제5 항에 있어서,
상기 현재 지연 추정 값에 기반하여, 상기 기준 신호를 시프트하는 단계는,
상기 현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 이하인 경우, 상기 기준 신호의 데이터를 시프트하지 않고;
상기 현재 지연 추정 값(D1(t))이 상기 제3 임계 값(T3) 보다 크고 제4 임계 값(T4) 보다 작은 경우, 상기 기준 신호의 데이터를 D1(t)/2만큼 시프트하는 단계; 및
상기 현재 지연 추정 값(D1(t))이 상기 제4 임계 값(T4) 이상인 경우, 상기 기준 신호의 데이터를 D1(t)만큼 시프트하는 단계
를 포함하는, 방법.
- 제4 항 내지 제6 항 중 어느 한 항에 있어서,
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하는 단계는,
다음의 조건들:
(1) 상기 현재 지연 위치에 대응하는 상기 상호-상관 값(C(t))이 이전 지연 위치에 대응하는 상호-상관 값(C(t-1)) 보다 큼;
(2) 현재 지연 분석 범위에서의 각 프레임에 대해, 최대 상호-상관 값(Cmax(t))에 대응하는 위치와 최소 상호-상관 값(Cmin(t))에 대응하는 위치 사이의 차이 값이 제1 사전 설정 차이 값 보다 큼;
(3) 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상호-상관 값들의 평균 값(Cmean(t))과 상기 현재 지연 위치에 대응하는 상기 상호-상관 값(C(t)) 사이의 차이 값이 제2 사전 설정 차이 값 보다 큼; 및
(4) 상기 현재 지연 위치(p(t))가 이전 지연 위치(p(t-1)) 보다 작음
중 하나 이상이 충족되는 것을 결정하는 단계
를 포함하는, 방법.
- 제1 항 내지 제6 항 중 어느 한 항에 있어서,
히스토리컬(historical) 기준 신호의 데이터를 캐싱하는 단계; 및
상기 기준 신호를 시프트할 때, 상기 히스토리컬 기준 신호의 상기 캐싱된 데이터를 시프트하는 단계
를 더 포함하는, 방법.
- 제1 항 내지 제6 항 중 어느 한 항에 있어서,
상기 적응 필터를 업데이트하는 단계는,
상기 현재 지연 추정 값이 상기 적응 필터의 길이(length) 보다 작으면, 상기 지연 추정 값에 기반하여, 적응 필터 계수를 시프트하고, 상기 시프트된 적응 필터 계수에 기반하여, 상기 적응 필터를 업데이트하는 단계
를 포함하고,
시프트 후에 값이 없는 위치에서의 계수가 리셋되고,
상기 적응 필터가 상기 리셋된 적응 필터 계수에 기반하여, 업데이트되는, 방법.
- 지연 추정을 기반으로 하는 에코 제거 장치에 있어서,
마이크로폰 신호와 기준 신호를 수신하고, 상기 마이크로폰 신호와 상기 기준 신호를 전처리하고, 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호를 출력하도록 구성되는 신호 처리 모듈;
상기 신호 처리 모듈에 의해 출력되는 상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서, 현재 에코 제거 시나리오의 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성되는 주파수 포인트 검출 모듈;
상기 전처리된 마이크로폰 신호와 상기 전처리된 기준 신호에서 상기 주파수 포인트 검출 모듈에 의해 결정되는 비선형성이 없는 주파수 포인트 신호들을 기반으로, 현재 지연 추정 값을 계산하고, 상기 현재 지연 추정 값을 출력하도록 구성되는 지연 추정 모듈;
상기 지연 추정 모듈에 의해 출력되는 상기 현재 지연 추정 값에 기반하여, 상기 기준 신호를 시프트하고, 상기 시프트된 기준 신호를 출력하도록 구성되는 신호 시프트 모듈; 및
에코 제거를 수행하기 위해, 상기 신호 처리 모듈에 의해 출력되는 상기 전처리된 마이크로폰 신호와 상기 신호 시프트 모듈에 의해 출력되는 상기 시프트된 기준 신호를 기반으로, 적응 필터를 업데이트하도록 구성되는 상기 적응 필터
를 포함하는, 장치.
- 제10 항에 있어서,
상기 주파수 포인트 검출 모듈은,
상기 전처리된 기준 신호의 에너지, 제로-크로싱 율, 및 단기 진폭 중 하나 이상에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성되는 파-엔드 신호 검출 유닛;
상기 전처리된 마이크로폰 신호의 에너지 대 상기 전처리된 기준 신호의 에너지의 비율에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성되는 듀얼-엔드 신호 검출 유닛; 및
저주파수 범위에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도에 대한 평균 값을 결정하고, 특정 주파수 간격의 다른 주파수 범위들에서의 상기 기준 신호와 상기 마이크로폰 신호 사이의 상관도에 대한 평균 값들을 계산하고, 상기 다른 주파수 범위들에서의 상관도에 대한 평균 값들과 상기 저주파수 범위에서의 상관도의 평균 값에 기반하여, 상기 비선형성을 갖는 주파수 포인트 신호들을 결정하도록 구성되는 디바이스 하드웨어 검출 유닛
중 하나 이상을 포함하는, 장치.
- 제10 항에 있어서,
상기 지연 추정 모듈은,
지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 각각에 대해, 상기 기준 신호와 상기 마이크로폰 신호의 프레임에서 비선형성이 없는 주파수 포인트 신호들을 선택하고, 상기 기준 신호와 상기 마이크로폰 신호의 프레임 사이의 상호-상관 값을 계산하도록 구성되는 상호-상관 계산 유닛; 및
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 계산된 상호-상관 값들에 기반하여, 상기 지연 추정 값을 결정하도록 구성되는 지연 추정 값 결정 유닛
을 포함하는, 장치.
- 제12 항에 있어서,
상기 지연 추정 값 결정 유닛은,
상기 기준 신호와 상기 마이크로폰 신호의 프레임들 사이의 상기 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 현재 지연 위치로 선택하고,
상기 현재 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하도록 구성되는,
장치.
- 제12 항에 있어서,
상기 지연 추정 값 결정 유닛은,
각 지연 추정에서, 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상기 계산된 상호-상관 값들 중에서 최대 상호-상관 값을 갖는 마이크로폰 신호의 프레임에 대응하는 위치를 후보 지연 위치로 선택하고, 후보 지연 위치들을 L-차원 어레이(Sa)에 매핑하고 - L은 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들의 총 개수와 동일함 -, 후보 지연 위치가 연속적으로 반복되는 횟수를 카운트하고,
현재 후보 지연 위치가 변경되면, 상기 현재 후보 지연 위치에 대한 값을 제1 사전 설정 값(t1)만큼 증가시키고, 이전 후보 지연 위치에 대한 값을 제2 사전 설정 값(t2)만큼 감소시키고, 다른 위치들에 대한 값들을 제3 사전 설정 값(t3)만큼 감소시키고,
상기 현재 후보 지연 위치가 변경되지 않으면, 상기 현재 후보 지연 위치에 대한 값을 상기 제1 사전 설정 값(t1)만큼 증가시키고, 다른 위치들에 대한 값들을 상기 제3 사전 설정 값(t3)만큼 감소시키며 - 사기 제2 사전 설정 값(t2)은 상기 제3 사전 설정 값(t3) 이하임 -,
상기 현재 후보 지연 위치에 대한 값이 제1 임계 값 보다 크고, 상기 현재 후보 지연 위치가 연속적으로 반복되는 횟수가 제2 임계 값 보다 크면, 상기 현재 후보 지연 위치와 상기 기준 신호의 위치에 기반하여, 상기 현재 지연 추정 값을 결정하도록 구성되는,
장치.
- 제14 항에 있어서,
상기 신호 시프트 모듈은,
상기 현재 지연 추정 값(D1(t))이 제3 임계 값(T3) 이하인 경우, 상기 기준 신호의 데이터를 시프트하지 않고,
상기 현재 지연 추정 값(D1(t))이 상기 제3 임계 값(T3) 보다 크고 제4 임계 값(T4) 보다 작은 경우, 상기 기준 신호의 데이터를 D1(t)/2만큼 시프트하며,
상기 현재 지연 추정 값(D1(t))이 상기 제4 임계 값(T4) 이상인 경우, 상기 기준 신호의 데이터를 D1(t)만큼 시프트하도록 구성되는,
장치.
- 제13 항 내지 제15 항 중 어느 한 항에 있어서,
상기 지연 추정 값 결정 유닛은,
상기 지연 추정 값을 결정할 때, 다음의 조건들:
(1) 상기 현재 지연 위치에 대응하는 상기 상호-상관 값(C(t))이 이전 지연 위치에 대응하는 상호-상관 값(C(t-1)) 보다 큼;
(2) 현재 지연 분석 범위에서의 각 프레임에 대해, 최대 상호-상관 값(Cmax(t))에 대응하는 위치와 최소 상호-상관 값(Cmin(t))에 대응하는 위치 사이의 차이 값이 제1 사전 설정 차이 값 보다 큼;
(3) 상기 기준 신호와 상기 지연 분석 범위에서의 상기 마이크로폰 신호의 프레임들 사이의 상호-상관 값들의 평균 값(Cmean(t))과 상기 현재 지연 위치에 대응하는 상기 상호-상관 값(C(t)) 사이의 차이 값이 제2 사전 설정 차이 값 보다 큼; 및
(4) 상기 현재 지연 위치(p(t))가 이전 지연 위치(p(t-1)) 보다 작음
중 하나 이상이 충족되는 것을 결정하도록 구성되는,
장치.
- 제10 항 내지 제15 항 중 어느 한 항에 있어서,
히스토리컬 기준 신호의 데이터를 캐싱하도록 구성되는 캐싱 모듈을 더 포함하고,
상기 신호 시프트 모듈은,
상기 기준 신호를 시프트할 때, 상기 히스토리컬 기준 신호의 상기 캐싱된 데이터를 함께 시프트하도록 더 구성되는,
장치.
- 제10 항 내지 제15 항 중 어느 한 항에 있어서,
상기 적응 필터는,
상기 적응 필터를 업데이트할 때,
상기 현재 지연 추정 값이 상기 적응 필터의 길이 보다 작으면, 상기 지연 추정 값에 기반하여, 적응 필터 계수를 시프트하고, 상기 시프트된 적응 필터 계수에 기반하여, 상기 적응 필터를 업데이트하도록 구성되고,
시프트 후에 값이 없는 위치에서의 계수가 리셋되고,
상기 적응 필터가 상기 리셋된 적응 필터 계수에 기반하여, 업데이트되는,
장치.
- 지연 추정을 기반으로 하는 에코 제거 디바이스에 있어서,
프로세서, 메모리, 및 시스템 버스를 포함하고,
상기 프로세서는, 상기 시스템 버스를 통해 상기 메모리에 연결되며,
상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 제1 항 내지 제6 항 중 어느 한 항에 기재된 방법을 수행하도록 제어하는 명령어들을 포함하는 하나 이상의 프로그램들을 저장하는,
에코 제거 디바이스.
- 단말 장치에 의해 실행될 때, 상기 단말 장치가 제1 항 내지 제6 항 중 어느 한 항에 기재된 방법을 수행하도록 제어하는 명령어들을 저장하는,
컴퓨터-판독 가능 저장 매체.
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710994195.X | 2017-10-23 | ||
| CN201710994195.XA CN107610713B (zh) | 2017-10-23 | 2017-10-23 | 基于时延估计的回声消除方法及装置 |
| PCT/CN2018/095759 WO2019080552A1 (zh) | 2017-10-23 | 2018-07-16 | 基于时延估计的回声消除方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200070346A KR20200070346A (ko) | 2020-06-17 |
| KR102340999B1 true KR102340999B1 (ko) | 2021-12-20 |
Family
ID=61079274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207014264A KR102340999B1 (ko) | 2017-10-23 | 2018-07-16 | 시간 지연 추정을 기반으로 하는 에코 제거 방법 및 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11323807B2 (ko) |
| EP (1) | EP3703052B1 (ko) |
| JP (1) | JP7018130B2 (ko) |
| KR (1) | KR102340999B1 (ko) |
| CN (1) | CN107610713B (ko) |
| ES (1) | ES2965954T3 (ko) |
| WO (1) | WO2019080552A1 (ko) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9947337B1 (en) * | 2017-03-21 | 2018-04-17 | Omnivision Technologies, Inc. | Echo cancellation system and method with reduced residual echo |
| CN107610713B (zh) | 2017-10-23 | 2022-02-01 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
| CN109102821B (zh) * | 2018-09-10 | 2021-05-25 | 思必驰科技股份有限公司 | 时延估计方法、系统、存储介质及电子设备 |
| CN110166882B (zh) * | 2018-09-29 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 远场拾音设备、及远场拾音设备中采集人声信号的方法 |
| CN109087662B (zh) * | 2018-10-25 | 2021-10-08 | 科大讯飞股份有限公司 | 一种回声消除方法及装置 |
| CN111223492A (zh) * | 2018-11-23 | 2020-06-02 | 中移（杭州）信息技术有限公司 | 一种回声路径延迟估计方法及装置 |
| CN109361828B (zh) * | 2018-12-17 | 2021-02-12 | 北京达佳互联信息技术有限公司 | 一种回声消除方法、装置、电子设备及存储介质 |
| CA3146398A1 (en) * | 2019-07-10 | 2021-01-14 | Pero Solutions ApS | Method of reusing a reusable transport packaging and a service point and system therefor |
| CN110349592B (zh) * | 2019-07-17 | 2021-09-28 | 百度在线网络技术（北京）有限公司 | 用于输出信息的方法和装置 |
| CN111031448B (zh) * | 2019-11-12 | 2021-09-17 | 西安讯飞超脑信息科技有限公司 | 回声消除方法、装置、电子设备和存储介质 |
| CN110992973A (zh) * | 2019-11-29 | 2020-04-10 | 维沃移动通信有限公司 | 一种信号时延的确定方法和电子设备 |
| TWI756595B (zh) * | 2019-12-06 | 2022-03-01 | 瑞昱半導體股份有限公司 | 通訊裝置及回音消除方法 |
| CN111246036A (zh) * | 2020-02-17 | 2020-06-05 | 上海推乐信息技术服务有限公司 | 一种回声估计方法和装置 |
| CN111402868B (zh) * | 2020-03-17 | 2023-10-24 | 阿波罗智联(北京)科技有限公司 | 语音识别方法、装置、电子设备及计算机可读存储介质 |
| CN111556410A (zh) * | 2020-05-20 | 2020-08-18 | 南京中芯声学技术研究院 | 基于多工作模式麦克风的室内扩声系统工作模式切换方法 |
| TWI743950B (zh) * | 2020-08-18 | 2021-10-21 | 瑞昱半導體股份有限公司 | 訊號處理裝置、延遲估計方法與回音消除方法 |
| CN112562709B (zh) * | 2020-11-18 | 2024-04-19 | 珠海全志科技股份有限公司 | 一种回声消除信号处理方法及介质 |
| CN112489670B (zh) * | 2020-12-01 | 2023-08-18 | 广州华多网络科技有限公司 | 时延估计方法、装置、终端设备和计算机可读存储介质 |
| KR20220102451A (ko) * | 2021-01-13 | 2022-07-20 | 삼성전자주식회사 | 외부 장치에 의해 유입되는 에코를 제거하는 방법 및 전자 장치 |
| TWI778502B (zh) * | 2021-01-22 | 2022-09-21 | 威聯通科技股份有限公司 | 回聲延時估計方法及回聲延時估計系統 |
| CN113724722B (zh) * | 2021-08-18 | 2023-12-26 | 杭州网易智企科技有限公司 | 回声延迟估计方法、装置、存储介质和计算设备 |
| CN114613383B (zh) * | 2022-03-14 | 2023-07-18 | 中国电子科技集团公司第十研究所 | 一种机载环境下多输入语音信号波束形成信息互补方法 |
| CN114822575A (zh) * | 2022-04-28 | 2022-07-29 | 深圳市中科蓝讯科技股份有限公司 | 一种双麦克风阵列回声消除方法、装置及电子设备 |
| CN115297404A (zh) * | 2022-08-04 | 2022-11-04 | 中国第一汽车股份有限公司 | 一种音频处理系统、方法和车辆 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872156A (zh) * | 2016-05-25 | 2016-08-17 | 腾讯科技（深圳）有限公司 | 一种回声时延跟踪方法及装置 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2782180B1 (fr) * | 1998-08-06 | 2001-09-07 | France Telecom | Dispositif de traitement numerique a filtrage frequentiel et a complexite de calcul reduite |
| US6937723B2 (en) | 2002-10-25 | 2005-08-30 | Avaya Technology Corp. | Echo detection and monitoring |
| CN1691716A (zh) * | 2004-04-23 | 2005-11-02 | 北京三星通信技术研究有限公司 | 回声消除装置 |
| US7792281B1 (en) * | 2005-12-13 | 2010-09-07 | Mindspeed Technologies, Inc. | Delay estimation and audio signal identification using perceptually matched spectral evolution |
| JP5125931B2 (ja) | 2008-09-19 | 2013-01-23 | 沖電気工業株式会社 | 音声通信装置及び音声通信プログラム |
| EP2899996B1 (en) * | 2009-05-18 | 2017-07-12 | Oticon A/s | Signal enhancement using wireless streaming |
| JP5235226B2 (ja) | 2011-06-28 | 2013-07-10 | 日本電信電話株式会社 | エコー消去装置及びそのプログラム |
| US9173025B2 (en) * | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
| GB201309781D0 (en) * | 2013-05-31 | 2013-07-17 | Microsoft Corp | Echo cancellation |
| GB201321052D0 (en) * | 2013-11-29 | 2014-01-15 | Microsoft Corp | Detecting nonlinear amplitude processing |
| CN103700374B (zh) * | 2013-12-25 | 2016-08-17 | 宁波菊风系统软件有限公司 | 确定声学回声消除中系统延时的方法及声学回声消除方法 |
| GB201406574D0 (en) * | 2014-04-11 | 2014-05-28 | Microsoft Corp | Audio Signal Processing |
| US9508359B2 (en) * | 2014-06-19 | 2016-11-29 | Yang Gao | Acoustic echo preprocessing for speech enhancement |
| JP6369192B2 (ja) | 2014-07-18 | 2018-08-08 | 沖電気工業株式会社 | エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 |
| GB2547063B (en) | 2014-10-30 | 2018-01-31 | Imagination Tech Ltd | Noise estimator |
| GB201501791D0 (en) * | 2015-02-03 | 2015-03-18 | Microsoft Technology Licensing Llc | Non-linear echo path detection |
| CN106033673B (zh) * | 2015-03-09 | 2019-09-17 | 电信科学技术研究院 | 一种近端语音信号检测方法及装置 |
| CN105472191B (zh) * | 2015-11-18 | 2019-09-20 | 百度在线网络技术（北京）有限公司 | 一种跟踪回声时延的方法和装置 |
| CN105825864B (zh) | 2016-05-19 | 2019-10-25 | 深圳永顺智信息科技有限公司 | 基于过零率指标的双端说话检测与回声消除方法 |
| CN106847299B (zh) | 2017-02-24 | 2020-06-19 | 喜大（上海）网络科技有限公司 | 延时的估计方法及装置 |
| CN107610713B (zh) | 2017-10-23 | 2022-02-01 | 科大讯飞股份有限公司 | 基于时延估计的回声消除方法及装置 |
-
2017
- 2017-10-23 CN CN201710994195.XA patent/CN107610713B/zh active Active
-
2018
- 2018-07-16 EP EP18869573.8A patent/EP3703052B1/en active Active
- 2018-07-16 US US16/756,967 patent/US11323807B2/en active Active
- 2018-07-16 JP JP2020517351A patent/JP7018130B2/ja active Active
- 2018-07-16 WO PCT/CN2018/095759 patent/WO2019080552A1/zh unknown
- 2018-07-16 KR KR1020207014264A patent/KR102340999B1/ko active IP Right Grant
- 2018-07-16 ES ES18869573T patent/ES2965954T3/es active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872156A (zh) * | 2016-05-25 | 2016-08-17 | 腾讯科技（深圳）有限公司 | 一种回声时延跟踪方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200070346A (ko) | 2020-06-17 |
| EP3703052C0 (en) | 2023-11-01 |
| CN107610713B (zh) | 2022-02-01 |
| US20210051404A1 (en) | 2021-02-18 |
| US11323807B2 (en) | 2022-05-03 |
| EP3703052B1 (en) | 2023-11-01 |
| ES2965954T3 (es) | 2024-04-17 |
| CN107610713A (zh) | 2018-01-19 |
| JP7018130B2 (ja) | 2022-02-09 |
| WO2019080552A1 (zh) | 2019-05-02 |
| EP3703052A4 (en) | 2021-04-28 |
| EP3703052A1 (en) | 2020-09-02 |
| JP2021500778A (ja) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102340999B1 (ko) | 시간 지연 추정을 기반으로 하는 에코 제거 방법 및 장치 | |
| JP6557786B2 (ja) | エコー遅延トラッキング方法、装置及びコンピュータ記憶媒体 | |
| JP6580990B2 (ja) | オーディオ干渉推定のための方法及び装置 | |
| JP6291501B2 (ja) | 音響エコー除去のためのシステムおよび方法 | |
| US8675890B2 (en) | Speaker localization | |
| US10403300B2 (en) | Spectral estimation of room acoustic parameters | |
| KR101562904B1 (ko) | 도래각 측정 장치 및 방법 | |
| US10009478B2 (en) | Nearend speech detector | |
| KR20110034329A (ko) | 마이크로폰 어레이의 이득 조정 장치 및 방법 | |
| CN109920444A (zh) | 回声时延的检测方法、装置以及计算机可读存储介质 | |
| CN103268766A (zh) | 双麦克风语音增强方法及装置 | |
| EP2745293B1 (en) | Signal noise attenuation | |
| CN112997249B (zh) | 语音处理方法、装置、存储介质及电子设备 | |
| US11004463B2 (en) | Speech processing method, apparatus, and non-transitory computer-readable storage medium for storing a computer program for pitch frequency detection based upon a learned value | |
| CN111201712B (zh) | 自适应滤波器 | |
| JP5421877B2 (ja) | エコー消去方法、エコー消去装置及びエコー消去プログラム | |
| CN111179966A (zh) | 一种语音分析的方法、装置、电子设备和存储介质 | |
| CN116013337B (zh) | 音频信号处理方法、模型的训练方法、装置、设备和介质 | |
| KR102218742B1 (ko) | 적응형 지연 다이버시티 필터와, 이를 이용하는 에코 제거 장치 및 방법 | |
| US20210010855A1 (en) | Propagation path estimation apparatus, method, and program | |
| CN113257265A (zh) | 语音信号去混响方法、装置和电子设备 | |
| CN117672174A (zh) | 声反馈消除方法、声反馈消除装置、存储介质及电子设备 | |
| CN117202021A (zh) | 一种音频信号处理方法、系统及电子设备 | |
| CN108781317A (zh) | 利用线性传感器阵列检测非相关信号分量的方法和装置 | |
| CN114401399A (zh) | 一种音频双向延时估计方法、装置、会议终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |