KR20230150182A - 에코 제거 방법、 장치 및 전자 장비 - Google Patents

에코 제거 방법、 장치 및 전자 장비 Download PDF

Info

Publication number
KR20230150182A
KR20230150182A KR1020220170730A KR20220170730A KR20230150182A KR 20230150182 A KR20230150182 A KR 20230150182A KR 1020220170730 A KR1020220170730 A KR 1020220170730A KR 20220170730 A KR20220170730 A KR 20220170730A KR 20230150182 A KR20230150182 A KR 20230150182A
Authority
KR
South Korea
Prior art keywords
spectrum
far
end signal
frequency domain
domain information
Prior art date
Application number
KR1020220170730A
Other languages
English (en)
Inventor
밍후이 쑹
장이 옌
진훙 린
Original Assignee
선전 블루트룸 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선전 블루트룸 테크놀러지 컴퍼니 리미티드 filed Critical 선전 블루트룸 테크놀러지 컴퍼니 리미티드
Publication of KR20230150182A publication Critical patent/KR20230150182A/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M9/00Arrangements for interconnection not involving centralised switching
    • H04M9/08Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B3/00Line transmission systems
    • H04B3/02Details
    • H04B3/20Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other
    • H04B3/21Reducing echo effects or singing; Opening or closing transmitting path; Conditioning for transmission in one direction or the other using a set of bandfilters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L2021/02082Noise filtering the noise being echo, reverberation of the speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34Microprocessors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36Memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)

Abstract

본 출원의 실시예들은 에코 제거 방법、 장치 및 전자 장비에 관한 것으로, 상기 방법은 전자 장비가 통화 중에 발생한 원단 신호 및 근단 신호를 취득하는 것; 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득하는 것; 상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함하는 것; 상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정하는 것; 상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하는 것; 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여, 목표 출력 스펙트럼을 획득한다는 것을 포함한다. 본 발명의 실시예들은 에코 제거 효과를 효과적으로 향상시킬 수 있고, 음성 통화 품질을 향상시킬 수 있다.

Description

에코 제거 방법、 장치 및 전자 장비{METHOD FOR ECHO CANCELLATION, ECHO CANCELLATION DEVICE AND ELECTRONIC EQUIPMENT}
본 출원의 실시예들은 에코 제거 기술 분야에 관한 것으로, 특히 에코 제거 방법, 장치 및 전자 장비에 관한 것이다.
에코 제거(AEC) 기술은 예를 들어 블루투스 이어폰과 같은 현대 통신 전자 장비에서 널리 사용되며 에코 제거의 효과는 상대방의 통화의 품질에 영향을 미친다. 기존의 에코 제거 기술 중에 주로 선형 적응형 필터를 통해 에코 신호를 추정하고 근단 신호에서 추정 에코를 빼서 오차 신호를 얻은 다음 오차 신호를 비선형 처리하여 최종 출력으로 사용한다.
본 출원 발명자는 본 출원의 실시예들을 실현하는 과정에서 전통적 선형 적응형 필터가 더블 토크 상황 및 근단에 노이즈가 존재하는 상황에서 작동할 때 에코 제거 효과가 좋지 않고 잔류 에코가 지나치게 큰 문제가 있음을 발견하였다.
본 출원의 실시예들은 에코 제거 효과를 효과적으로 향상시킬 수 있고 음성 통화 품질을 향상시킬 수 있는 에코 제거 방법, 장치 및 전자 장비를 제공하는 것을 목적으로 한다.
제1 측면은 본 발명의 실시예들은 에코 제거 방법을 제공하며, 상기 방법은
전자 장비가 통화 중에 발생한 원단 신호 및 근단 신호를 취득하는 것;
상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득하는 것;
상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함하는 것;
상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정하는 것;
상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하는 것;
상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여, 목표 출력 스펙트럼을 획득하는 것을 포함한다.
일부 실시예들에서, 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득한다는 것은
상기 원단 신호를 푸리에 변환하여 원단 주파수 영역 정보를 획득하고, 상기 근단 신호를 푸리에 변환하여 근단 주파수 영역 정보를 획득하는 것;
이전 프레임의 필터 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 필터링 처리하여 에코 스펙트럼을 획득하는 것;
상기 근단 주파수 영역 정보로 상기 에코 스펙트럼을 빼서 초기 오차 스펙트럼을 획득하는 것을 포함한다.
일부 실시예들에서, 상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함한다는 것은
상기 원단 주파수 영역 정보 및 상기 근단 주파수 영역 정보를 각각 복수의 서브 대역들로 분할하는 것;
상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 서브 대역에서의 정규화 상호 상관 계수를 산출하는 것;
상기 정규화 상호 상관 계수가 더블 토크 검출 임계치보다 크면 상기 전자 장비의 현재 상태를 더블 토크 상태로 결정하는 것;
상기 정규화 상호 상관 계수가 상기 더블 토크 검출 임계치보다 크지 않으면 상기 현재 상태가 싱글 토크 상태 로 결정되는 것을 포함한다.
일부 실시예들에서, 상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 서브 대역에서의 정규화 상호 상관 계수를 산출한다는 것은
상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 프레임에서 동일한 상기 서브 대역에서의 상호 상관 계수를 계산하는 것;
상기 상호 상관 계수를 기반으로 상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보가 동일한 서브 대역에서의 정규화 상호 상관 계수를 계산하는 것을 포함한다.
일부 실시예들에서, 상기 현재 상태가 싱글 토크 상태이면, 상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정한다는 것은
상기 이전 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하는 것을 포함한다.
일부 실시예들에서, 상기 현재 상태가 더블 토크 상태이면, 상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정한다는 것은
상기 이전 프레임의 필터 가중치 계수를 업데이트하여 현재 프레임의 필터 가중치 계수를 획득하는 것;
상기 현재 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하는 것을 포함한다.
일부 실시예들에서, 상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득한다는 것은
상기 2차 필터링 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 2차 필터링 처리하여 2차 필터링 결과를 획득하는 것;
상기 근단 주파수 영역 정보로 상기 2차 필터링 결과를 빼서 상기 2차 차분 스펙트럼을 획득하는 것을 포함한다.
일부 실시예들에서, 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여, 목표 출력 스펙트럼을 획득한다는 것은
상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 작으면, 상기 초기 오차 스펙트럼을 상기 목표 출력 스펙트럼으로 하며;
상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 크면, 상기 2차 차분 스펙트럼을 상기 목표 출력 스펙트럼으로 하는 것을 포함한다.
일부 실시예들에서, 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득한 후, 상기 방법은
상기 목표 출력 스펙트럼을 역푸리에 변환한 후 중첩 가산하여 목표 출력 신호를 획득하는 것을 더 포함한다.
제2 측면은 본 발명의 실시예들은 에코 제거 장치를 제공하며, 상기 장치는
전자 장비가 통화 중에 발생하는 원단 신호 및 근단 신호를 취득하기 위한 샘플링 신호 취득 모듈;
상기 원단 신호와 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득하기 위한 선형 필터링 모듈;
상기 원단 신호 및 상기 근단 신호에 기초하여 상기 전자 장비의 현재 상태를 결정하는 상태 결정 모듈, 그 중에 상기 현재 상태는 더블 토크 상태를 포함하며;
상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정하는 2차 필터링 가중치 계수 결정 모듈;
상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하는 2차 필터링 모듈;
상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득하기 위한 목표 취득 모듈을 포함한다.
제3 측면은 본 발명의 실시예들은
적어도 하나의 프로세서와,
상기 적어도 하나의 프로세서와 통신 접속되는 메모리를 포함하는 전자 장비를 제공하며, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 저장하고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 전자 장비가 전술한 어느 하나에 따른 방법을 실현할 수 있도록 한다.
제4 측면은 본 발명의 실시예들은 컴퓨터 실행 가능 명령을 저장하고, 상기 컴퓨터 실행 가능 명령이 전자 장비로 실행될 때 상기 전자 장비를 상기와 같은 방법을 실행시키는 비휘발성 컴퓨터 판독 가능 저장매체를 제공한다.
본 발명의 실시예들에 따른 에코 제거 방법、 장치 및 전자 장비는, 전자 장비가 통화 중에 발생한 원단 신호 및 근단 신호를 취득하고, 그 후 원단 신호 및 근단 신호를 일차적으로 필터링 처리하여 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득할 수 있으며 초보적으로 에코를 제거하며; 이어서 상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함하는 바, 현재 상태가 더블 토크 상태이면, 2차 필터링 가중치 계수를 결정하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하고, 이에 의해 2차 필터링을 이루어지고 더블 토크 상태에서의 에코를 제거하며, 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득함음으로써 최종 출력이 되도록 잔류 에코를 제거하도록 하여 음성 통화 품질을 효과적으로 향상시킬 수 있다.
하나 또는 하나 이상의 실시예들은 이에 대응하는 참부된 도면의 그림을 통해 예시적으로 설명되고자 하며, 이러한 예시적인 설명은 실시예들의 제한을 구성하지 않으며, 도면에서 동일한 참조번호를 갖는 소자는 유사한 소자로 표기하고 참부된 도면의 그림은 특별히 명시되지 않는 한 비례적 제한을 구성하지 않는다.
도 1은 본 발명의 실시예들에 따른 전자 장비의 예시적 블록도;
도 2는 본 발명의 실시예들에 따른 에코 제거 방법의 일 실시예의 흐름예시도;
도 3은 본 발명의 실시예들에 따른 에코 제거 방법의 다른 실시예의 흐름예시도;
도 4는 본 발명의 에코 제거 장치의 일 실시예의 구조예시도;
도 5는 본 발명의 전자 장비의 일 실시예 중에 제어기의 하드웨어 구조예시도이다.
이하에서 구체적인 실시예들을 결합하여 본 출원에 대해 자세히 설명하기로 한다. 다음 실시예들은 해당 분야의 기술자들이 본 출원을 더욱 이해하는 데 도움이 되지만 어떤 형태로든 본 출원을 제한하지는 않는다. 이 분야의 일반 기술자에 있어서 본 출원의 개념을 벗어나지 않는다는 전제 하에 여러 가지 변형 및 개선을 할 수 있음을 명시해야 한다. 이것들은 모두 본 출원의 보호 범위에 속한다.
본 출원의 목적, 기술적 방안 및 장점을 보다 명확히 하기 위해 아래 첨부된 도면 및 실시예들을 결합하여 본 출원에 대해 더 자세히 설명한다. 여기에 설명된 구체적인 실시예들은 본 출원을 설명하는 데만 사용되며 본 출원을 제한하기 위한 것이 아니라는 것을 이해해야 한다.
충돌이 없다면, 본 출원의 실시예들의 다양한 특징들이 서로 결합될 수 있으며, 이는 모두 본 출원의 보호 범위 내에 있다는 점에 유의해야 한다. 또한, 장치의 예시도에서 기능 모듈이 분할되고 흐름도에 로직적 순서가 표시되지만 경우에 따라 장치 중의 모듈과 다르게 분할되거나, 또는 흐름도 중에 도시된 순서와 다르게 표시되거나 설명된 단계들을 실행할 수 있다. 또한 여기에 사용된 “제1”, “제2”, “제3”등 단어들은 데이터 및 실행 순서에 대해 제한하는 것이 아니라 단지 기능과 작용이 기본적으로 같은 동일하거나 유사한 항목들만 구별할 뿐이다.
달리 정의되지 않는 한 본 명세서에 사용된 모든 기술 및 과학 용어들은 본 출원의 기술 분야에 속하는 기술자들이 일반적으로 이해하는 것과 동일한 의미를 갖는다. 본 명세서에서 본 출원의 명세서에서 사용되는 용어들은 구체적인 실시 방식을 설명하기 위한 목적으로만 사용되며 본 출원을 제한하는 데 사용되는 것이 아니다. 본 설명서에서 사용된 '및/또는'이라는 용어는 하나 또는 하나 이상의 관련 나열된 항목들의 임의 및 모든 조합이 포함된다.
또한, 아래에 설명된 본 출원의 다양한 실시 방식들과 관련된 기술적 특징들은 서로 충돌하지 않는 한 서로 결합될 수 있다.
본 출원의 실시예들에서 제공하는 에코 제거 방법 및 장치는 전자 장비에 적용될 수 있으며, 전자 장비는 블루투스 이어폰, 유선 이어폰 등 통화용 장비일 수 있으며, 블루투스 이어폰을 예로 들면 블루투스 이어폰을 통화가 필요한 스마트폰의 블루투스에 접속하고 사용자는 블루투스 이어폰을 착용하여 통화가 가능한다.
도 1과 같이 전자 장비100는 제어기11, 스피커12 및 마이크13을 포함하되, 제어기11는 스피커12 및 마이크13에 연결된다. 스피커12는 소리를 재생하는 데 사용되고 원단 신호이며, 마이크13는 소리를 수집하는 데 사용되고 마이크13에 수집된 소리는 사용자가 말하는 소리, 에코 및 배경 소음을 포함하며 근단 신호이다. 제어기11는 사용자가 통화 중에 발생하는 원단 신호 및 근단 신호를 취득하기 위한 것이다.
도 2를 참조하면, 도 2는 본 발명의 실시예들에 제공되는 에코 제거 방법의 흐름예시도이며, 상기 방법은 전자 장비100에 적용되며, 전자 장비100 중의 프로세서111에 의해 실행될 수 있으며 도 2와 같이 상기 방법은
S201: 전자 장비가 통화 중에 발생하는 원단 신호와 근단 신호를 취득한다.
전자 장비의 제어기는 전자 장비가 통화 중에 발생하는 원단 신호 및 근단 신호를 취득하고, 원단 신호가 스피커에서 재생되는 음성 신호이며, 근단 신호가 사용자가 말하는 소리, 에코 및/또는 배경 소음을 포함한다.
원단 신호는 x(n)로 표시되고, 원단 신호 x(n)는 식 1로 표시되며;
식1;
근단 신호는 d(n)로 표시되고, 근단 신호 d(n)는 식 2로 표시되며;
식2;
그 중에M은 하나의 프레임의 원단 신호x(n) 또는 근단 신호d(n)의 표본점 수를 표시하고, i는 전자 장비의 제어기가 원단 신호x(n) 또는 근단 신호d(n)를 수집하는 제i 표본점을 표시한다.
S202: 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득한다.
전자 장비의 제어기가 원단 신호x(n) 및 근단 신호d(n)를 획득한 후에,원단 신호x(n) 및 근단 신호d(n)를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득한다.
그 중에 일부 실시방식들 중에는 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득한다는 것은
상기 원단 신호를 푸리에 변환하여 원단 주파수 영역 정보를 획득하고, 상기 근단 신호를 푸리에 변환하여 근단 주파수 영역 정보를 획득하는 것;
이전 프레임의 필터 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 필터링 처리하여 에코 스펙트럼을 획득하는 것;
상기 근단 주파수 영역 정보로 상기 에코 스펙트럼을 빼서 초기 오차 스펙트럼을 획득한다는 것을 포함한다.
구체적으로, 먼저 원단 신호x(n)를 푸리에 변환하여 원단 주파수 영역 정보X(n)를 획득하고, 근단 신호d(n)를 푸리에 변환하여 근단 주파수 영역 정보D(n)를 획득한다. 원단 주파수 영역 정보X(n)는 식 3으로 표시되고, 근단 주파수 영역 정보D(n)는 식 4로 표시된다.
식3;
식4;
이 중 X(n)는 제n 프레임의 원단 주파수 영역 정보, D(n)는 제 n 프레임의 근단 주파수 영역 정보, win은 2*M의 길이 사이즈의 해닝 윈도(Hanning window), fft는 푸리에 변환을 표시한다.
그 다음 이전 프레임의 필터 가중치 계수를 사용하여 원단 주파수 영역 정보X(n)를 필터링하여 에코 스펙트럼을 획득하며, 즉 원단 주파수 영역 정보 X(n)를 주파수 영역에서 필터링하고 에코 스펙트럼을 획득하여 Y(n)로 표시되고 식 5를 사용하여 산출하게 된다.
식5;
여기서, 는 이전 프레임의 필터 가중치 계수를 표시한다.
마지막으로, 상기 근단 주파수 영역 정보D(n)에서 상기 에코 스펙트럼Y(n)를 빼서 초기 오차 스펙트럼 E1(n)을 획득하고 식 6으로 표시된다.
식6.
획득된 초기 오차 스펙트럼 E1(n)은 초보적으로 에코를 제거할 수 있다.
S203: 상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함한다.
더블 토크 상태 검출을 수행한다. 그 중에 일부 실시방식들에서는 상기 원단 신호 및 상기 근단 신호에 기초하여 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함한다는 것은
상기 원단 주파수 영역 정보 및 상기 근단 주파수 영역 정보를 각각 복수의 서브 대역들로 분할하는 것;
상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 서브 대역에서의 정규화 상호 상관 계수를 산출하는 것;
상기 정규화 상호 상관 계수가 더블 토크 검출 임계치보다 크면 상기 전자 장비의 현재 상태를 더블 토크 상태로 결정한다는 것을 포함한다.
구체적으로, 원단 주파수 영역 정보X(n)와 근단 주파수 영역 정보D(n)는 각각 여러 서브 대역들로 분할되며, 예를 들어 P개의 서브 대역들로 분할되며, 그 중에 P는 양의 정수(1≤P≤M)이다. 원단 주파수 영역 정보X(n)는 3개의 서브 대역들로 분할되는 것을 예로 들면, 원단 주파수 영역 정보 X(n)의 샘플링 주파수는 8KHz이며, 3개의 서브 대역들의 주파수 범위는 각각 0hz~3000hz, 3001hz~5500hz, 5501hz~8000hz로 설정될 수 있으며, 물론 서브 대역들의 주파수 범위는 실제 필요에 따라 설정될 수 있다.
그 다음 원단 주파수 영역 정보X(n)와 근단 주파수 영역 정보D(n)가 동일한 서브 대역에서의 정규화 상호 상관 계수를 계산하고, 나아가 원단 주파수 영역 정보X(n)와 근단 주파수 영역 정보D(n)가 동일한 서브 대역에서의 정규화 상호 상관 계수를 계산한다는 것은 상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보가 동일한 프레임에서 동일한 상기 서브 대역에서의 사호 상관 계수를 계산하는 것; 상기 상호 상관 계수에 기초하여 상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보가 동일한 서브 대역에서의 정규화 상호 상관 계수를 계산하는 것을 포함한다. 근단 신호 평활화 전력 스펙트럼, 원단 신호 평활화 전력 스펙트럼, 근단 원단 신호 평활화 전력 스펙트럼 및 근단 원단 신호 상호 상관 계수 각각은 식 7-10을 통해 계산할 수 있다.
식7;
식8;
식9;
식10;
그 중, 는 제L 서브 대역의 근단 신호 평활화 전력 스펙트럼; 는 제 L 서브 대역의 원단 신호 평활화 전력 스펙트럼; 는 제L 서브 대역의 근단 원단 신호 평활화 전력 스펙트럼; 는 제 L 서브 대역의 근단 원단 신호 상호 상관 계수; gamma는 평활 인자; σ는 나눗셈 보호 인자를 표시하며 나눗셈 보호 인자σ>0로 하게 하며; conj는 공액 연산을 표시한다.
이어서, 상기 상호 상관 계수에 기초하여, 상기 원단 주파수 영역 정보 X(n)와 상기 근단 주파수 영역 정보D(n)가 동일한 서브 대역에서 정규화 상호 상관 계수를 계산하되, 식 11과 식 12를 이용하여 산출할 수 있다.
식11;
식12;
여기서, 는 제n 프레임의 원단 주파수 영역 정보X(n)와 근단 주파수 영역 정보D(n)가 제L 서브 대역의 정규화 상호 상관 계수를 표시하며; k는 제 L 서브 대역의 모든 주파수 포인트를 표시한다.
제n 프레임의 원단 주파수 영역 정보X(n)와 근단 주파수 영역 정보 D(n)가 제 L 서브 대역의 정규화 상호 상관 계수를 구한 후, 정규화 상호 상관 계수와 인터컴(intercom) 검출 임계치T1을 비교한다. 그 중에, 지연을 추정할 필요가 없는 경우, 전자 장비가 블루투스 이어폰인 경우 스피커와 근단 마이크 사이의 거리는 일반적으로 15mm~ 30mm 사이로 고정되며, 이 거리는 필터에 있어서 근단 신호와 원단 신호의 지연을 무시할 수 있도록 해서 인터컴 검출 임계치T1는 1보다 약간 작은 값, 예를 들어 0.9로 설정될 수 있다.
정규화 상호 상관 계수가 인터컴 검출 임계치T1보다 크면 전자 장비의 현재 상태가 더블 토크 상태로 결정된다. 이에 따라 정규화 상호 상관 계수가 인터컴 검출 임계치T1보다 크지 않을 때 전자 장비의 현재 상태는 싱글 토크 상태로 결정된다.
S204: 상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정한다.
그 중에 일부 실시방식들에서는 상기 현재 상태가 더블 토크 상태이면, 상기 더블 토크 상태에 따라 2차 필터링 가중치 계수를 결정한다는 것은
상기 이전 프레임의 필터 가중치 계수를 업데이트하여 현재 프레임의 필터 가중치 계수를 획득하는 것;
상기 현재 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용되는 것을 포함한다.
구체적으로, 더블 토크 상태에서 실제 에코 경로에 지속적으로 접근하기 위해 이전 프레임의 필터 가중치 계수를 업데이트해야 하며, 식 13을 사용하여 업데이트할 수 있다.
식 13;
그 중에, 는 업데이트된 이전 프레임의 필터 가중치 계수, 즉 현재 프레임의 필터 가중치 계수를 표시하고, μ는 스텝 인자를 표시하고, ΔW는 필터 계수 조정량을 표시하고, 필터 계수 조정량 ΔW의 계산 방법은 최소 평균 제곱(LMS), 재귀적 최소 자승법(RLS) 및 칼만과 같은 알고리즘이 포함되지만 이에 한정되지 않다.
그리고 현재 프레임의 필터 가중치 계수를 2차 필터링 가중치 계수로 사용한다.
이에 대응하게 정규화 상호 상관 계수가 인터컴 검출 임계치 T1보다 크지 않은 경우 전자 장비의 현재 상태가 싱글 토크 상태로 결정되면 근단 신호의 에코 영향만 존재함을 나타내며, 이때 이전 프레임의 필터 가중치 계수를 업데이트할 필요가 없으며, 바로 이전 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하여 싱글 토크 상태의 에코 2차 필터링 처리를 진행한다. 식 14를 이용하여 2차 필터링 가중치 계수를 계산하는 것은 다음과 같이 나타낼 수 있다.
식 14;
이 중, 는 제L 서브 대역의 2차 필터링 가중치 계수를 표시하며, P개의 서브 대역들의 필터링 가중치 계수를 계산하면 제n 프레임의 2차 필터링 가중치 계수 값을 획득할 수 있다. 구체적으로, 정규화 상호 상관 계수가 인터컴 검출 임계치T1보다 클 때 전자 장비의 현재 상태가 더블 토크 상태로 결정되고, 제L 서브 대역의 2차 필터링 가중치 계수는 현재 프레임의 필터 가중치 계수를 취하며; 정규화 상호 상관 계수가 인터컴 검출 임계치T1보다 크지 않을 때 전자 장비의 현재 상태가 싱글 토크 상태로 결정되고, 제L 서브 대역의 2차 필터링 가중치 계수는 이전 프레임의 필터 가중치 계수를 취한다.
도 3과 같이, 도 3은 다양한 현재 상태에 대해서 다른 필터 계수를 처리하는 방법이다.
S205: 상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득한다.
2차 필터링 가중치 계수를 결정한 후 2차 필터링 처리를 수행할 수 있다.
그 중에 일부 실시방식들에서는 상기 2차 필터링 가중치 계수를 기반으로 상기 원단 신호 및 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득한다는 것은
상기 2차 필터링 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 2차 필터링 처리하여 2차 필터링 결과를 획득하는 것;
상기 근단 주파수 영역 정보로 상기 2차 필터링 결과를 빼서 상기 2차 차분 스펙트럼을 획득하는 것을 포함할 수 있다.
구체적으로는, 상기 2차 필터링 가중치 계수를 이용하여 상기 원단 주파수 영역 정보X(n)를 2차 필터링 처리하여 2차 필터링 결과를 획득하며; 상기 근단 주파수 영역 정보로 상기 2차 필터링 결과를 빼서 상기 2차 차분 스펙트럼을 획득하되, 식 15로 나타낸다.
식15.
이 중, 는 2차 차분 스펙트럼을 표시하고, 는 2차 필터링 결과를 표시한다.
S206: 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여, 목표 출력 스펙트럼을 획득한다.
잔류 에코를 최대한 제거하면서 2차 필터링이 근단 신호를 손상시킬 수 있는 것을 방지하고 최적의 출력을 획득하기 위해, 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 최적의 출력을 획득한다. 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득한다는 것은
상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 작으면, 상기 초기 오차 스펙트럼을 상기 목표 출력 스펙트럼으로 하며;
상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 크면, 상기 2차 차분 스펙트럼을 상기 목표 출력 스펙트럼으로 한다는 것을 포함할 수 있다.
구체적으로는, 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 작으면, 상기 초기 오차 스펙트럼을 상기 목표 출력 스펙트럼으로 하며; 상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 크면, 상기 2차 차분 스펙트럼을 상기 목표 출력 스펙트럼으로 한다. 식 16으로 표시한다.
식16;
이 중, 는 목표 출력 스펙트럼을 의미하고, min은 둘 중에 비교적작은 값을 취한다는 것을 의미한다.
그 중에 일부 실시방식들에서는 상기 단계 S206 후에 상기 방법은
상기 목표 출력 스펙트럼을 역푸리에 변환한 후 중첩 가산하여 목표 출력 신호를 획득하는 것을 더 포함한다.
구체적으로, 목표 출력 스펙트럼을 역푸리에 변환한다는 것은 식 17로 표시할 수 있다.
식17;
그 중에, ifft는 역푸리에 변환을 의미한다.
중첩 가산법을 이용하여 제n 프레임의 최종 출력 결과를 구하고, 식 18과 식 19로 표시한다.
식18;
식19.
그 중에, 는 중첩 가산 보류 블록을 표시한다.
위의 단계 S204-S206을 종합하면 2차 필터링 가중치 계수가 최적의 계수 값으로 수렴될 때 2차 필터링 가중치 계수가 현재 프레임의 필터 가중치 계수와 동일함을 알 수 있으며, 이때 선형 필터로 추정된 에코 경로가 실제 에코 경로에 무한히 근접함을 의미하며, 잔류의 선형 에코가 기본적으로 제거됨으로써 더블 토크 상태 및 근단에 소음이 있는 경우 에코 제거 효과가 좋지 않고 잔류 에코가 지나치게 큰 문제를 해결하여 에코 제거 효과를 효과적으로 향상시키고 음성 통화 품질을 향상시키게 된다.
본 발명의 실시예들에서, 전자 장비가 통화 중에 발생한 원단 신호 및 근단 신호를 취득하고, 그 다음 원단 신호 및 근단 신호를 일차적으로 필터링 처리하여 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득할 수 있으며 초보적으로 에코를 제거하며; 이어서 상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함하는 바, 상기 현재 상태가 더블 토크 상태이면, 2차 필터링 가중치 계수를 결정하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하고 이에 의해 2차 필터링을 이루어지고 더블 토크 상태에서의 에코를 제거하며, 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득함으로써 최종 출력이 되도록 잔류 에코를 제거하도록 하여 음성 통화 품질을 효과적으로 향상시킬 수 있다.
이에 따라, 도4와 같이, 본 발명의 실시예는 또한 전자 장비에 적용될 수 있는 에코 제거 장치를 제공하며, 에코 제거 장치400는
전자 장비가 통화 중에 발생하는 원단 신호 및 근단 신호를 취득하기 위한 샘플링 신호 취득 모듈401;
상기 원단 신호와 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득하기 위한 선형 필터링 모듈402;
상기 원단 신호 및 상기 근단 신호에 기초하여 상기 전자 장비의 현재 상태를 결정하는 상태 결정 모듈403, 그 중에 상기 현재 상태는 더블 토크 상태를 포함하며;
상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정하는 2차 필터링 가중치 계수 결정 모듈404;
상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하는 2차 필터링 모듈405;
상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득하기 위한 목표 취득 모듈406을 포함한다.
본 발명의 실시예들에서, 전자 장비가 통화 중에 발생한 원단 신호 및 근단 신호를 취득하고, 그 다음 원단 신호 및 근단 신호를 일차적으로 필터링 처리하여 상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득할 수 있으며 초보적으로 에코를 제거하며; 이어서 상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함하는 바, 상기 현재 상태가 더블 토크 상태이면, 2차 필터링 가중치 계수를 결정하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하고 이에 의해 2차 필터링을 이루어지고 더블 토크 상태에서의 에코를 제거하며, 상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득함으로써 최종 출력이 되도록 잔류 에코를 제거하도록 하여 음성 통화 품질을 효과적으로 향상시킬 수 있다.
다른 실시예에서, 선형 필터링 모듈402은 또한
상기 원단 신호를 푸리에 변환하여 원단 주파수 영역 정보를 획득하고, 상기 근단 신호를 푸리에 변환하여 근단 주파수 영역 정보를 획득하는 것;
이전 프레임의 필터 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 필터링 처리하여 에코 스펙트럼을 획득하는 것;
상기 근단 주파수 영역 정보로 상기 에코 스펙트럼을 빼서 초기 오차 스펙트럼을 획득하는 것에 사용한다.
다른 실시예에서 상태 결정 모듈403은 또한
상기 원단 주파수 영역 정보 및 상기 근단 주파수 영역 정보를 각각 복수의 서브 대역들로 분할하는 것;
상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 서브 대역에서의 정규화 상호 상관 계수를 산출하는 것;
상기 정규화 상호 상관 계수가 더블 토크 검출 임계치보다 크면 상기 전자 장비의 현재 상태를 더블 토크 상태로 결정하는 것에 사용한다.
다른 실시예에서 상태 결정 모듈403은 또한
상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 프레임에서 동일한 상기 서브 대역에서의 상호 상관 계수를 계산하는 것;
상기 상호 상관 계수를 기반으로 상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보가 동일한 서브 대역에서의 정규화 상호 상관 계수를 계산하는 것에 사용한다.
다른 실시예에서, 상기 현재 상태가 싱글 토크 상태이면, 2차 필터링 가중치 계수 결정 모듈404은 또한
상기 이전 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하는 것에 사용한다.
다른 실시예에서, 상기 현재 상태가 더블 토크 상태이면, 2차 필터링 가중치 계수 결정 모듈404은 또한
상기 이전 프레임의 필터 가중치 계수를 업데이트하여 현재 프레임의 필터 가중치 계수를 획득하는 것;
상기 현재 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하는 것에 사용한다.
다른 실시예에서, 2차 필터링 모듈405은 또한
상기 2차 필터링 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 2차 필터링 처리하여 2차 필터링 결과를 획득하는 것;
상기 근단 주파수 영역 정보로 상기 2차 필터링 결과를 빼서 상기 2차 차분 스펙트럼을 획득하는 것에 사용한다.
다른 실시예에서, 목표 취득 모듈406은 또한
상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 작으면, 상기 초기 오차 스펙트럼을 상기 목표 출력 스펙트럼으로 하며;
상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 크면, 상기 2차 차분 스펙트럼을 상기 목표 출력 스펙트럼으로 하는 것에 사용한다.
다른 실시예에서 장치400는
상기 목표 출력 스펙트럼을 역푸리에 변환한 후 중첩 가산하여 목표 출력 신호를 획득하는 것에 사용하는 목표 출력 모듈407을 더 포함한다.
전술한 장치는 본 출원의 실시예들에서 제공하는 방법을 실행할 수 있으며, 실행 방법에 대응하는 기능 모듈과 유익한 효과가 구비된다는 것을 유의해야 한다. 장치의 실시예들에서 자세히 설명되지 않은 기술적 세부 사항들은 본 출원의 실시예들에서 제공하는 방법을 참조할 수 있다.
도 5는 전자 장비100의 일 실시예 중에 제어기의 하드웨어 구조예시도이며, 도 5와 같이 제어기110는
하나 또는 하나 이상의 프로세서111, 메모리112를 포함한다. 도 5는 하나의 프로세서111, 하나의 메모리112를 예로 들다.
프로세서111, 메모리112는 버스 또는 기타 방법으로 연결할 수 있으며 도 5에는 버스를 통해 연결하는 것을 예로 들다.
메모리112는 비휘발성 컴퓨터 판독 가능 저장매체로서 본 출원의 실시예들에 따른 에코 제거 방법에 해당하는 프로그램 명령/모듈(예를 들어 도 4에 도시된 샘플링 신호 취득 모듈401, 선형 필터링 모듈402, 상태 결정 모듈403, 2차 필터링 가중치 계수 결정 모듈404, 2차 필터링 모듈405, 목표 획득 모듈 406, 목표 출력 모듈 407)과 같이 비휘발성 소프트웨어 프로그램, 비휘발성 컴퓨터 실행 가능 프로그램 및 모듈을 저장하기 위한 것이다. 프로세서111는 메모리112 중에 저장된 비휘발성 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 제어기의 다양한 기능 응용 및 데이터 처리를 수행하며, 즉, 상술한 방법 실시예에 따른 에코 제거 방법을 실현한다.
메모리112는 운영체제, 적어도 하나의 기능에 필요한 애플리케이션을 저장할 수 있는 프로그램 저장 블록 및 전자 장비100의 사용에 따라 생성된 데이터 등을 저장할 수 있는 데이터 저장 블록을 포함할 수 있다. 또한 메모리 112는 고속 랜덤 액세스 메모리를 포함할 수 있으며, 예를 들어 적어도 하나의 디스크 메모리 디바이스, 플래시 메모리 디바이스 또는 기타 비휘발성 고체 메모리 디바이스와 같은 비휘발성 메모리를 포함할 수 있다. 일부 실시예들에서 메모리112는 선택적으로 프로세서111에 대해 원격으로 설정된 메모리를 포함하며, 이러한 원격 메모리는 네트워크를 통해 신호 장시간 기록 장비에 접속될 수 있다. 상기 네트워크의 예로는 인터넷, 인트라넷(intranet), 근거리 통신망, 이동통신망 및 이들의 조합을 포함하되 이에 한정되지 않는다.
상술한 하나 또는 하나 이상의 모듈들은 상기 메모리112 중에 저장되며, 상기 하나 또는 하나 이상의 프로세서111에 의해 실행되었을 때, 상술한 임의의 방법 실시예에 따른 에코 제거 방법을 수행한다. 예를 들어, 상술한 도 2 에서의 방법 단계S201 내지 단계S206의 방법 단계들을 수행하고, 도 4 에서의 모듈들401-407의 기능을 실현한다.
상기 제품은 본 출원의 실시예들에서 제공하는 방법을 실행할 수 있으며, 그 방법에 대응하는 기능 모듈들과 유익한 효과가 구비된다. 본 실시예에서 자세히 설명되지 않은 기술적 세부 사항들은 본 출원의 실시예들에서 제공하는 방법을 참조할 수 있다.
본 출원의 실시예는 컴퓨터 실행 가능 명령을 저장하는 비휘발성 컴퓨터 판독 가능 저장매체를 제공하며, 이 컴퓨터 실행 가능 명령은 도5중에 하나의 프로세서 111과 같은 하나 또는 하나 이상의 프로세서에 의해 실행되며, 상기 하나 또는 하나 이상의 프로세서가 상기 임의의 방법 실시예들 중의 에코 제거 방법을 실행할 수 있도록 할 수 있다. 예를 들어, 위에 설명된 도 2 중에 방법 단계S201 내지 단계S206의 방법 단계들을 실행하고, 도 4 중에 모듈들401-407의 기능을 실현하게 된다.
위에서 설명된 장치의 실시예는 예시적인 것일 뿐이며, 여기서 기술한 분리 부품으로 설명된 단위는 물리적으로 분리될 수도 있고 그렇지 않을 수도 있으며, 단위로 표시되는 부품은 물리적 단위일 수도 있고 그렇지 않을 수도 있고, 즉 한 곳에 위치할 수도 있고, 또는 복수의 네트워크 단위들에 분산될 수도 있다. 실제 필요에 따라 모듈들 중에 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 달성할 수 있다.
위의 실시예들에 관한 설명을 통해 해당 분야의 당업자들이 각 실시예가 소프트웨어와 일반 하드웨어 플랫폼을 통해 실현될 수 있으며 물론 하드웨어를 통해 실현될 수 있음을 명확하게 이해할 수 있다. 해당 분야의 당업자들은 상기 실시예 방법들을 구현하는 프로세스의 전부 또는 일부를 컴퓨터 프로그램을 통해 관련된 하드웨어를 명령하여 수행할 수 있음을 이해할 수 있으며, 상기 프로그램은 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있으며, 이 프로그램이 실행될 때 상술한 바와 같은 각 방법의 실시예들의 프로세스를 포함할 수 있다. 그 중 상술한 저장매체는 디스크, 광디스크, 읽기 전용 메모리(Read-Only Memory, ROM) 또는 랜덤 액세스 메모리(Random Access Memory, RAM) 등일 수 있다.
마지막으로 상기 실시예가 본 발명의 기술적 방안을 설명하기 위한 것이지, 이에 대한 제한이 아니며, 본 발명의 개념에서, 상기 실시예들 또는 다른 실시예들 중의 기술적 특징들끼리도 조합할 수 있고, 단계들이 임의의 순서로 실현될 수 있으며,상술한 바와 같은 본 발명의 다른 측면의 많은 다른 변화들이 존재하지만 편의상 상세히 제시하지 않다는 것을 명백하여야 한다. 비록 전술한 실시예들을 참조하여 본 발명을 상세히 설명했지만, 해당분야의 당업자는 여전히 전술한 각 실시예에 기재된 기술 방안을 수정하거나, 그 중 일부 기술 특징을 동등하게 교체할 수 있으며, 이러한 수정 또는 교체는 해당 기술 방안의 본질을 본 발명의 각 실시예 기술 방안의 범위를 벗어나지 않는다는 것을 이해해야 한다.

Claims (11)

  1. 에코 제거 방법에 있어서, 상기 방법은
    전자 장비가 통화 중에 발생한 원단 신호 및 근단 신호를 취득하는 것;
    상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득하는 것;
    상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함하는 것;
    상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정하는 것;
    상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하는 것;
    상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여, 목표 출력 스펙트럼을 획득하는 것을 포함하는, 에코 제거 방법.
  2. 제1항에 있어서,
    상기 원단 신호 및 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득한다는 것은
    상기 원단 신호를 푸리에 변환하여 원단 주파수 영역 정보를 획득하고, 상기 근단 신호를 푸리에 변환하여 근단 주파수 영역 정보를 획득하는 것;
    이전 프레임의 필터 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 필터링 처리하여 에코 스펙트럼을 획득하는 것;
    상기 근단 주파수 영역 정보로 상기 에코 스펙트럼을 빼서 초기 오차 스펙트럼을 획득하는 것을 포함하는, 방법.
  3. 제2항에 있어서,
    상기 원단 신호 및 상기 근단 신호에 기초하여, 상기 전자 장비의 현재 상태를 결정하며, 상기 현재 상태는 더블 토크 상태를 포함한다는 것은
    상기 원단 주파수 영역 정보 및 상기 근단 주파수 영역 정보를 각각 복수의 서브 대역들로 분할하는 것;
    상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 서브 대역에서의 정규화 상호 상관 계수를 산출하는 것;
    상기 정규화 상호 상관 계수가 더블 토크 검출 임계치보다 크면 상기 전자 장비의 현재 상태를 더블 토크 상태로 결정하는 것;
    상기 정규화 상호 상관 계수가 상기 더블 토크 검출 임계치보다 크지 않으면 상기 현재 상태가 싱글 토크 상태로 결정하는 것을 포함하는, 방법.
  4. 제3항에 있어서,
    상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 서브 대역에서의 정규화 상호 상관 계수를 산출한다는 것은
    상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보의 동일한 프레임에서 동일한 상기 서브 대역에서의 상호 상관 계수를 계산하는 것;
    상기 상호 상관 계수를 기반으로 상기 원단 주파수 영역 정보와 상기 근단 주파수 영역 정보가 동일한 서브 대역에서의 정규화 상호 상관 계수를 계산하는 것을 포함하는, 방법.
  5. 제3항에 있어서,
    상기 현재 상태가 싱글 토크 상태이면, 상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정한다는 것은
    상기 이전 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하는 것을 포함하는, 방법.
  6. 제3항에 있어서,
    상기 현재 상태가 더블 토크 상태이면, 상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정한다는 것은
    상기 이전 프레임의 필터 가중치 계수를 업데이트하여 현재 프레임의 필터 가중치 계수를 획득하는 것;
    상기 현재 프레임의 필터 가중치 계수를 상기 2차 필터링 가중치 계수로 사용하는 것을 포함하는, 방법.
  7. 제2항에 있어서,
    상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득한다는 것은
    상기 2차 필터링 가중치 계수를 이용하여 상기 원단 주파수 영역 정보를 2차 필터링 처리하여 2차 필터링 결과를 획득하는 것;
    상기 근단 주파수 영역 정보로 상기 2차 필터링 결과를 빼서 상기 2차 차분 스펙트럼을 획득하는 것을 포함하는, 방법.
  8. 제1항에 있어서,
    상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여, 목표 출력 스펙트럼을 획득한다는 것은
    상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 작으면, 상기 초기 오차 스펙트럼을 상기 목표 출력 스펙트럼으로 하며;
    상기 초기 오차 스펙트럼이 상기 2차 차분 스펙트럼보다 크면, 상기 2차 차분 스펙트럼을 상기 목표 출력 스펙트럼으로 하는 것을 포함하는, 방법.
  9. 제1항에 있어서,
    상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득한 후, 상기 방법은
    상기 목표 출력 스펙트럼을 역푸리에 변환한 후 중첩 가산하여 목표 출력 신호를 획득하는 것을 더 포함하는, 방법.
  10. 에코 제거 장치에 있어서, 상기 장치는
    전자 장비가 통화 중에 발생하는 원단 신호 및 근단 신호를 취득하기 위한 샘플링 신호 취득 모듈;
    상기 원단 신호와 상기 근단 신호를 선형 필터링 처리하여 초기 오차 스펙트럼을 획득하기 위한 선형 필터링 모듈;
    상기 원단 신호 및 상기 근단 신호에 기초하여 상기 전자 장비의 현재 상태를 결정하는 상태 결정 모듈, 그 중에 상기 현재 상태는 더블 토크 상태를 포함하며;
    상기 현재 상태에 따라 2차 필터링 가중치 계수를 결정하는 2차 필터링 가중치 계수 결정 모듈;
    상기 2차 필터링 가중치 계수에 기초하여 상기 원단 신호와 근단 신호를 2차 필터링하고 차분 출력하여 2차 차분 스펙트럼을 획득하는 2차 필터링 모듈;
    상기 초기 오차 스펙트럼과 상기 2차 차분 스펙트럼을 비교하여 목표 출력 스펙트럼을 획득하기 위한 목표 취득 모듈을 포함하는, 에코 제거 장치.
  11. 전자 장비에 있어서, 상기 전자 장비는
    적어도 하나의 프로세서와, 상기 프로세서와 통신 접속되는 메모리를 포함하며, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 저장하고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행할 수 있도록 하는 것을 특징으로 하는 전자 장비.
KR1020220170730A 2022-04-21 2022-12-08 에코 제거 방법、 장치 및 전자 장비 KR20230150182A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210427018.4 2022-04-21
CN202210427018.4A CN114650340A (zh) 2022-04-21 2022-04-21 一种回声消除方法、装置及电子设备

Publications (1)

Publication Number Publication Date
KR20230150182A true KR20230150182A (ko) 2023-10-30

Family

ID=81996568

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220170730A KR20230150182A (ko) 2022-04-21 2022-12-08 에코 제거 방법、 장치 및 전자 장비

Country Status (6)

Country Link
US (1) US20230344941A1 (ko)
JP (1) JP7495684B2 (ko)
KR (1) KR20230150182A (ko)
CN (1) CN114650340A (ko)
DE (1) DE102023100691A1 (ko)
TW (1) TW202331700A (ko)

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257583A (ja) * 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
KR100547765B1 (ko) 2004-05-03 2006-01-31 삼성전자주식회사 동시통화구간 검출에 따른 음향 반향 제거 방법 및 장치
JP5057109B2 (ja) * 2008-04-24 2012-10-24 Necエンジニアリング株式会社 エコーキャンセラ装置
US9628141B2 (en) 2012-10-23 2017-04-18 Interactive Intelligence Group, Inc. System and method for acoustic echo cancellation
JP6160403B2 (ja) 2013-09-26 2017-07-12 沖電気工業株式会社 エコー抑圧装置及びエコー抑圧プログラム
US9516159B2 (en) * 2014-11-04 2016-12-06 Apple Inc. System and method of double talk detection with acoustic echo and noise control
CN108429994B (zh) * 2017-02-15 2020-10-09 阿里巴巴集团控股有限公司 音频识别、回声消除方法、装置及设备
CN108172233B (zh) * 2017-12-12 2019-08-13 天格科技(杭州)有限公司 基于远端估计信号和误差信号回归因子的回声消除方法
CN109727604B (zh) * 2018-12-14 2023-11-10 上海蔚来汽车有限公司 用于语音识别前端的频域回声消除方法及计算机储存介质
WO2020124325A1 (zh) * 2018-12-17 2020-06-25 深圳市汇顶科技股份有限公司 一种回声消除中的自适应滤波方法、装置、设备及存储介质
KR102517975B1 (ko) 2019-01-29 2023-04-04 삼성전자주식회사 시간 상관 관계에 기초하여 잔여 에코를 추정하는 잔여 에코 추정기, 잔여 에코를 추정하는 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능한 매체, 그리고 어플리케이션 프로세서
WO2020191512A1 (zh) * 2019-03-22 2020-10-01 深圳市汇顶科技股份有限公司 回声消除装置、回声消除方法、信号处理芯片及电子设备
CN110944089A (zh) * 2019-11-04 2020-03-31 中移(杭州)信息技术有限公司 双讲检测方法及电子设备
CN111083297A (zh) * 2019-11-14 2020-04-28 维沃移动通信(杭州)有限公司 一种回声消除方法及电子设备
CN112017679B (zh) * 2020-08-05 2024-01-26 海尔优家智能科技(北京)有限公司 用于自适应滤波器系数更新的方法及装置、设备
CN113345459B (zh) * 2021-07-16 2023-02-21 北京融讯科创技术有限公司 一种双讲状态的检测方法、装置、计算机设备及存储介质
CN114283844A (zh) * 2021-12-24 2022-04-05 苏州蛙声科技有限公司 一种用于音视频会议的双讲检测方法及装置

Also Published As

Publication number Publication date
CN114650340A (zh) 2022-06-21
TW202331700A (zh) 2023-08-01
DE102023100691A1 (de) 2023-10-26
JP7495684B2 (ja) 2024-06-05
US20230344941A1 (en) 2023-10-26
JP2023160721A (ja) 2023-11-02

Similar Documents

Publication Publication Date Title
CN109727604B (zh) 用于语音识别前端的频域回声消除方法及计算机储存介质
CN109686381B (zh) 用于信号增强的信号处理器和相关方法
KR102410447B1 (ko) 적응성 빔포밍
CN106898359B (zh) 音频信号处理方法、系统、音频交互装置及计算机设备
EP3348047B1 (en) Audio signal processing
CN111768796B (zh) 一种声学回波消除与去混响方法及装置
JP5450567B2 (ja) クリアな信号の取得のための方法及びシステム
CN111341336B (zh) 一种回声消除方法、装置、终端设备及介质
US10115411B1 (en) Methods for suppressing residual echo
CN110211602B (zh) 智能语音增强通信方法及装置
CN109273019B (zh) 用于回声抑制的双重通话检测的方法及回声抑制
CN111868826B (zh) 一种回声消除中的自适应滤波方法、装置、设备及存储介质
JP6833616B2 (ja) エコー抑圧装置、エコー抑圧方法及びエコー抑圧プログラム
CN109215672B (zh) 一种声音信息的处理方法、装置及设备
US10129410B2 (en) Echo canceller device and echo cancel method
WO2019239977A1 (ja) エコー抑圧装置、エコー抑圧方法およびエコー抑圧プログラム
CN111756906B (zh) 一种语音信号的回声抑制方法、装置和计算机可读介质
CN111917926B (zh) 一种通信终端中的回声消除方法、装置及终端设备
JP2020504966A (ja) 遠距離音の捕捉
CN115620737A (zh) 语音信号处理装置、方法、电子设备和扩音系统
KR20230150182A (ko) 에코 제거 방법、 장치 및 전자 장비
CA2840730C (en) Maintaining spatial stability utilizing common gain coefficient
KR102649227B1 (ko) 듀얼 마이크 어레이 에코 제거 방법, 장치 및 전자 장비
WO2018087855A1 (ja) エコーキャンセラ装置、エコー消去方法、及びエコー消去プログラム
CN113225442B (zh) 一种消除回声的方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right