KR20230098282A - 에코 억제를 위한 오디오 신호 처리 방법과 시스템 - Google Patents

에코 억제를 위한 오디오 신호 처리 방법과 시스템 Download PDF

Info

Publication number
KR20230098282A
KR20230098282A KR1020237018110A KR20237018110A KR20230098282A KR 20230098282 A KR20230098282 A KR 20230098282A KR 1020237018110 A KR1020237018110 A KR 1020237018110A KR 20237018110 A KR20237018110 A KR 20237018110A KR 20230098282 A KR20230098282 A KR 20230098282A
Authority
KR
South Korea
Prior art keywords
signal
speaker
audio
threshold
control signal
Prior art date
Application number
KR1020237018110A
Other languages
English (en)
Inventor
진보 정
메이린 저우
펑윈 랴오
신 치
Original Assignee
썬전 샥 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 썬전 샥 컴퍼니 리미티드 filed Critical 썬전 샥 컴퍼니 리미티드
Publication of KR20230098282A publication Critical patent/KR20230098282A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

본 명세서에서 제공하는 에코 억제를 위한 오디오 신호 처리 방법과 시스템은, 스피커 신호 강도에 근거하여 타깃 오디오 처리 모드의 선택을 제어한다. 상기 방법과 시스템은 스피커 신호 강도에 근거하여 대응하는 제어 신호를 생성하고, 제어 신호에 근거하여 타깃 오디오 처리 모드를 제어하며, 마이크 신호에 대해 신호 처리를 진행하여 더 나은 음성 품질을 획득한다. 스피커 신호가 역치를 초과하지 않을 경우, 시스템은 제1 모드를 선택하고, 제1 오디오 신호 및 제2 오디오 신호에 대해 신호 처리를 진행하여 제1 타깃 오디오를 얻는다. 스피커 신호가 역치를 초과할 경우, 시스템은 제2 모드를 선택하고, 제2 오디오 신호에 대해 신호 처리를 진행하여 제2 타깃 오디오를 얻는다. 상기 방법과 시스템은, 스피커 신호에 근거하여 타깃 오디오 처리 모드를 전환시킬 수 있어 상이한 시나리오에서 모두 더 나은 음성 품질을 획득하도록 담보하여 음성 통신 품질을 향상시킨다.

Description

에코 억제를 위한 오디오 신호 처리 방법과 시스템
본 명세서는 오디오 신호 처리분야에 관한 것으로, 특히 에코 억제를 위한 오디오 신호 처리 방법과 시스템에 관한 것이다.
현재, 진동 센서는 이어폰 등 전자제품에 사용되어 음성 신호를 수신하는 골전도 마이크로 점점 더 많이 응용되고 있다. 사람들은 말을 할 때 골격과 피부의 진동을 동시에 유발하게 되는데, 이러한 진동이 바로 골전도된 음성 신호이고, 골전도 마이크에 의해 픽업되어 신호를 발생할 수 있다. 시스템은 골전도 마이크가 수집한 진동 신호를 전기 신호 또는 기타 유형의 신호로 전환하여 전자기기에 전달함으로써 픽업 기능을 구현한다. 현재, 점점 더 많은 전자기기들이 상이한 특성을 가지는 공기전도 마이크와 골전도 마이크를 조합하여 공기전도 마이크로 외부 오디오 신호를 픽업하고, 골전도 마이크로 발성 부위의 진동 신호를 픽업하며, 픽업된 신호에 대해 음성 증강 처리 및 융합을 진행한다. 골전도 마이크를 이어폰 또는 기타 스피커를 가지는 전자기기 내에 안착할 경우, 골전도 마이크는 사람들이 말을 할 때의 진동 신호를 수신할 수 있을 뿐만 아니라 이어폰 또는 기타 전자기기의 스피커가 소리를 재생할 때 발생하는 진동 신호도 수신하여 에코 신호를 발생할 수 있다. 이때 이에 대해 에코 제거 알고리즘 처리를 진행해야 한다. 스피커의 에코 신호가 상이하므로 마이크의 음성 품질에도 영향을 미치게 된다. 예를 들면 스피커 입력 신호가 강할 경우, 골전도 마이크가 수신한 스피커 진동 신호는 큰 바, 골전도 마이크가 수신한, 사람이 말할 때 발생하는 진동 신호보다 훨씬 크고, 이때 전통적인 에코 제거 알고리즘은 골전도 마이크에서의 에코를 제거하기 어렵게 된다. 이때, 공기전도 마이크와 골전도 마이크가 출력한 마이크 신호를 음원 신호로 하여 얻은 음성 품질은 양호하지 않다. 따라서, 마이크의 음원 신호를 선택할 경우, 스피커의 에코 신호를 고려하지 않는 것은 합리적이지 못하다.
따라서, 새로운 에코 억제를 위한 오디오 신호 처리 방법과 시스템을 제공하여 상이한 스피커 입력 신호에 따라 입력된 음원 신호를 전환하여 에코 제거 효과를 높이고 음성 품질을 향상시켜야 한다.
본 명세서는 새로운 에코 억제를 위한 오디오 신호 처리 방법과 시스템을 제공하여 에코 제거 효과를 높이고 음성 품질을 향상시킨다.
제1 양태에서, 본 명세서는 에코 억제를 위한 오디오 신호 처리 방법을 제공하는데, 이는, 적어도 스피커 신호에 기반하여 다수의 오디오 처리 모드로부터 전자기기의 타깃 오디오 처리 모드를 선택하되, 상기 스피커 신호는 제어기기가 상기 전자기기에 송신한 오디오 신호인 단계; 상기 타깃 오디오 처리 모드를 통해 마이크 신호를 처리하여 타깃 오디오를 생성함으로써 적어도 상기 타깃 오디오에서의 에코를 저하시키되, 상기 마이크 신호는 상기 전자기기가 획득한 마이크 모듈의 출력 신호이고, 상기 마이크 모듈은 적어도 하나의 제1 유형의 마이크 및 적어도 하나의 제2 유형의 마이크를 포함하는 단계; 및 상기 타깃 오디오 신호를 출력하는 단계를 포함한다.
일부 실시예에서, 상기 적어도 하나의 제1 유형의 마이크는 제1 오디오 신호를 출력하고; 및 상기 적어도 하나의 제2 유형의 마이크는 제2 오디오 신호를 출력하며, 여기서, 상기 마이크 신호는 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 포함한다.
일부 실시예에서, 상기 적어도 하나의 제1 유형의 마이크는 인체 진동 신호를 수집하고; 및 상기 적어도 하나의 제2 유형의 마이크는 공기 진동 신호를 수집한다.
일부 실시예에서, 상기 다수의 오디오 처리 모드는 적어도, 상기 제1 오디오 신호 및 상기 제2 오디오 신호에 대해 신호 처리를 진행하는 제1 모드; 및 상기 제2 오디오 신호에 대해 신호 처리를 진행하는 제2 모드를 포함한다.
일부 실시예에서, 적어도 스피커 신호에 기반하여 다수의 오디오 처리 모드로부터 전자기기의 타깃 오디오 처리 모드를 선택하는 상기 단계는, 적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하되, 상기 제어 신호는 제1 제어 신호 또는 제2 제어 신호를 포함하는 단계; 및 상기 제어 신호에 기반하여 상기 제어 신호와 대응하는 타깃 오디오 처리 모드를 선택하되, 여기서, 상기 제1 모드는 상기 제1 제어 신호와 대응하고, 상기 제2 모드는 상기 제2 제어 신호와 대응하는 단계를 포함한다.
일부 실시예에서, 적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하는 상기 단계는, 상기 스피커 신호의 강도가 기설정된 스피커 역치보다 낮다고 결정하고 상기 제1 제어 신호를 생성하는 단계; 또는 상기 스피커 신호의 강도가 상기 스피커 역치보다 높다고 결정하고 상기 제2 제어 신호를 생성하는 단계를 포함한다.
일부 실시예에서, 적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하는 상기 단계는, 상기 스피커 신호의 강도 및 상기 마이크 신호에 기반하여 대응하는 제어 신호를 생성하는 단계를 포함한다.
일부 실시예에서, 상기 스피커 신호의 강도 및 상기 마이크 신호에 기반하여 대응하는 제어 신호를 생성하는 상기 단계는, 상기 마이크 신호의 평가 파라미터를 획득하되, 상기 평가 파라미터는 환경 소음 평가 파라미터를 포함하고, 상기 환경 소음 평가 파라미터는 환경 소음 레벨 및 신호 대 잡음비에서의 적어도 하나를 포함하는 단계; 및 상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성하는 단계를 포함한다.
일부 실시예에서, 상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성하는 상기 단계는, 상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높다고 결정하고 상기 제2 제어 신호를 생성하는 경우; 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하는 경우; 및 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 경우에서의 하나를 포함한다.
일부 실시예에서, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓이는 경우는, 상기 환경 소음 레벨이 기설정 환경 소음 역치보다 낮은 경우; 및 상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 높은 경우에서의 적어도 하나를 포함한다.
일부 실시예에서, 상기 평가 파라미터는 육성 신호 강도를 더 포함하고, 상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성하는 상기 단계는, 상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높고, 상기 육성 신호 강도가 기설정 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하는 경우; 상기 스피커 신호의 강도가 상기 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제2 제어 신호를 생성하는 경우; 상기 스피커 신호의 강도가 상기 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치보다 낮다고 결정하고 상기 제2 제어 신호를 생성하는 경우; 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하는 경우; 및 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 경우에서의 하나를 포함한다.
일부 실시예에서, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓이는 경우는, 상기 환경 소음 레벨이 기설정 환경 소음 역치보다 낮은 경우; 및 상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 높은 경우에서의 적어도 하나를 포함한다.
일부 실시예에서, 타깃 오디오를 생성하는 상기 단계는, 상기 제1 모드에서의 제1 알고리즘을 통해 상기 제1 오디오 신호 및 상기 제2 오디오 신호에 대해 신호 처리를 진행하여 제1 타깃 오디오를 생성하는 단계; 또는 상기 제2 모드에서의 제2 알고리즘을 통해 상기 제2 오디오 신호에 대해 신호 처리를 진행하여 제2 타깃 오디오를 생성하는 단계를 포함하는데, 여기서, 상기 타깃 오디오는 상기 제1 타깃 오디오 및 상기 제2 타깃 오디오에서의 하나를 포함한다.
일부 실시예에서, 상기 타깃 오디오를 출력하는 상기 단계는, 상기 타깃 오디오에 대해 평활 처리를 진행하되, 상기 타깃 오디오가 상기 제1 타깃 오디오 및 상기 제2 타깃 오디오 사이에서 전환될 경우, 상기 제1 타깃 오디오 및 상기 제2 타깃 오디오의 연결된 곳에 대해 상기 평활 처리를 진행하는 단계; 및 상기 평활 처리를 거친 상기 타깃 오디오를 출력하는 단계를 포함한다.
일부 실시예에서, 상기 방법은, 상기 제어 신호에 기반하여 상기 스피커의 스피커 입력 신호의 강도를 제어하는 단계를 더 포함한다.
일부 실시예에서, 상기 제어 신호에 기반하여 상기 스피커의 스피커 입력 신호의 강도를 제어하는 상기 단계는, 상기 제어 신호를 상기 제1 제어 신호로 결정하고, 상기 스피커에 입력하는 상기 스피커 입력 신호의 강도를 저하시켜 상기 스피커가 출력하는 소리의 강도를 저하시키는 단계를 포함한다.
제2 양태에서, 본 명세서는 적어도 하나의 저장매체 및 적어도 하나의 프로세서를 포함하는 에코 억제를 위한 오디오 신호 처리 시스템을 더 제공하는데, 상기 적어도 하나의 저장매체에는 적어도 하나의 명령어 집합이 저장되어 에코 억제를 위한 오디오 신호 처리에 사용되고; 상기 적어도 하나의 프로세서는 상기 적어도 하나의 저장매체와 통신 연결하며, 여기서, 상기 시스템이 운행할 경우, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어 집합을 판독하고, 상기 적어도 하나의 명령어 집합의 지시에 근거하여 본 명세서의 제1 양태에 따른 에코 억제를 위한 오디오 신호 처리 방법을 수행한다.
이상의 기술적 해결수단으로부터 알 수 있다시피, 본 명세서에서 제공하는 에코 억제를 위한 오디오 신호 처리 방법과 시스템은, 스피커 신호의 강도에 따라 상기 스피커 신호와 대응하는 제어 신호를 생성하고, 제어 신호에 따라 오디오 처리 모드를 제어 또는 전환할 수 있어 오디오 처리 모드와 대응하는 음원 신호에 대해 신호 처리를 진행하여 더 나은 음성 품질을 획득할 수 있다. 스피커 신호가 역치를 초과하지 않을 경우, 상기 시스템은 제1 제어 신호를 생성하고, 제1 모드를 선택하며, 제1 오디오 신호 및 제2 오디오 신호를 제1 음원 신호로 하여 제1 음원 신호에 대해 신호 처리를 진행함으로써 제1 타깃 오디오를 얻는다. 스피커 신호가 역치를 초과할 경우, 제1 오디오 신호에서의 스피커 에코가 크다. 이때, 상기 시스템은 제2 제어 신호를 생성하고, 제2 모드를 선택하며, 제2 오디오 신호를 제2 음원 신호로 하여 제2 음원 신호에 대해 신호 처리를 진행함으로써 제2 타깃 오디오를 얻는다. 상기 방법과 시스템은, 스피커 신호에 따라 상이한 오디오 처리 모드를 전환하여 마이크 신호의 음원 신호를 전환함으로써 음성 품질을 향상시키고, 상이한 시나리오에서 모두 더 나은 음성 품질을 획득할 수 있도록 담보한다.
본 명세서에서 제공하는 에코 억제를 위한 오디오 신호 처리 방법과 시스템의 기타 기능은 아래의 설명에서 일부 나열한다. 설명에 따르면, 아래의 숫자와 예시에서 소개한 내용은 당업자에게 있어서는 자명한 것이다. 본 명세서에서 제공하는 에코 억제를 위한 오디오 신호 처리 방법과 시스템의 진보성들은 실천을 거치거나 또는 아래의 상세한 예시에 따른 방법, 장치 및 조합을 사용하여 충분히 해석할 수 있다.
본 명세서의 실시예에 따른 기술적 해결수단을 보다 뚜렷하게 설명하기 위하여 아래에서는 실시예의 설명에서 사용해야 할 도면을 간단히 소개하는데, 아래의 설명에서의 도면은 단지 본 명세서의 일부 실시예이고, 당업자에게 있어서 진보적인 창출에 힘쓸 필요가 없이 이러한 도면에 근거하여 기타 도면을 얻을 수 있음은 자명한 것이다.
도 1은 본 명세서의 실시예에 따라 제공한 일부 에코 억제를 위한 오디오 신호 처리 시스템의 응용 시나리오 모식도를 도시하고;
도 2는 본 명세서의 실시예에 따라 제공한 일부 전자기기의 기기 모식도를 도시하며;
도 3은 본 명세서의 실시예에 따라 제공한 일부 제1 모드의 작업 모식도를 도시하고;
도 4는 본 명세서의 실시예에 따라 제공한 일부 제2 모드의 작업 모식도를 도시하며;
도 5는 본 명세서의 실시예에 따라 제공한 일부 에코 억제를 위한 오디오 신호 처리 방법 흐름도를 도시하고;
도 6은 본 명세서의 실시예에 따라 제공한 일부 에코 억제를 위한 오디오 신호 처리 방법 흐름도를 도시하며; 및
도 7은 본 명세서의 실시예에 따라 제공한 일부 에코 억제를 위한 오디오 신호 처리 방법 흐름도를 도시한다.
아래의 설명은 본 명세서의 특정된 응용 시나리오와 요구를 제공하고, 목적은 당업자들이 본 명세서의 내용을 제조 및 사용할 수 있도록 하기 위함이다. 당업자에게 있어서, 개시된 실시예의 여러 가지 국부적인 수정은 자명한 것이고, 본 명세서의 정신과 범위를 벗어나지 않는 상황에서 여기서 정의한 일반적인 원리를 기타 실시예와 응용에 사용할 수 있다. 따라서, 본 명세서는 도시된 실시예에 한정되지 않고 청구범위와 일치한 제일 넓은 범위로 사용된다.
여기서 사용하는 용어는 단지 특정된 예시적인 실시예를 설명하기 위한 것일 뿐 한정적인 것이 아니다. 예를 들면, 앞뒤 문장에서 별도로 설명하지 않은 한, 여기서 사용한 홀수 형태의 "일", "하나" 및 "이"는 복수 형태를 포함할 수도 있다. 본 명세서에서 사용할 경우, 용어 "포함", "포괄" 및/또는 "함유"는 연관되는 정수, 단계, 동작, 요소 및/또는 어셈블리가 존재하지만, 하나 또는 다수의 기타 특징, 정수, 단계, 동작, 요소, 어셈블리 및/또는 그룹의 존재를 배제하지 않거나 또는 이 시스템/방법에 기타 특징, 정수, 단계, 동작, 요소, 어셈블리 및/또는 그룹을 추가할 수 있다는 것을 의미한다.
아래의 설명을 고려하여, 본 명세서의 이러한 특징과 기타 특징 및 구조의 관련 소자의 동작과 기능 및 부품의 조합 및 제조의 경제성은 뚜렷하게 향상될 수 있다. 도면을 참조하면, 이 모든 것은 본 명세서의 일부를 형성한다. 그러나 도면은 단지 설명과 서술을 위한 것일 뿐 본 명세서의 범위를 한정하기 위한 것이 아님을 분명하게 이해해야 한다. 또한 도면은 비율에 따라 제작된 것이 아니라는 것도 이해해야 한다.
본 명세서에서 사용한 흐름도는 본 명세서의 일부 실시예에 따른 시스템으로 구현되는 동작을 도시한다. 흐름도의 동작은 순서에 따라 구현되지 않을 수도 있다는 것을 분명하게 이해해야 한다. 반대로, 동작은 반대 순서로 구현되거나 또는 동시에 구현될 수 있다. 이 밖에, 흐름도에 하나 또는 다수의 기타 동작을 추가할 수 있다. 흐름도에서 하나 또는 다수의 동작을 제거할 수도 있다.
도 1은 본 명세서의 실시예에 따라 제공한 일부 에코 억제를 위한 오디오 신호 처리 시스템(100)(이하, 시스템(100)이라고 약칭)의 응용 시나리오 모식도를 도시한다. 시스템(100)은 전자기기(200) 및 제어기기(400)를 포함할 수 있다.
전자기기(200)에는 본 명세서에서 설명한 에코 억제를 위한 오디오 신호 처리 방법을 수행하는 데이터 또는 명령어가 저장될 수 있고, 상기 데이터 및/또는 명령어를 실행할 수 있다. 일부 실시예에서, 전자기기(200)는 무선 이어폰, 유선 이어폰, 스마트 웨어러블 기기, 예를 들면 스마트 글라스, 스마트 헬멧 또는 스마트 워치 등과 같이 음성 수집 기능 및 음성 재생 기능을 구비한 기기일 수 있다. 전자기기(200)는 모바일 기기, 태블릿 컴퓨터, 노트북 컴퓨터, 자동차 내장 장치 또는 유사한 콘텐츠 또는 이의 임의의 조합일 수도 있다. 일부 실시예에서, 모바일 기기는 스마트 홈 기기, 스마트 모바일 기기 또는 유사한 기기이거나 또는 이의 임의의 조합일 수 있다. 예를 들면, 상기 스마트 모바일 기기는 휴대폰, 개인 휴대정보 단말기, 게임 기기, 네비게이션 기기, 울트라 모바일 개인용 컴퓨터(Ultra-mobile Personal Computer, UMPC) 등, 또는 이의 임의의 조합을 포함할 수 있다. 일부 실시예에서, 상기 스마트 홈 장치는 스마트 티비, 데스크탑 컴퓨터 등, 또는 임의의 조합을 포함할 수 있다. 일부 실시예에서, 자동차에서의 내장 장치는 차량용 컴퓨터, 차량용 티비 등을 포함할 수 있다.
제어기기(400)는 전자기기(200)와 유선 및/또는 무선 오디오 신호 통신을 진행하는 원격 기기일 수 있다. 제어기기(400)는 로컬일 수도 있고 전자기기(200)와 통신 연결하는 기기일 수도 있다. 전자기기(200)는 로컬 오디오 신호를 수집하여 제어기기(400)에 출력할 수 있다. 전자기기(200)는 제어기기(400)가 송신한 원단 오디오 신호를 수신하여 출력할 수도 있다. 상기 원단 오디오 신호는 스피커 신호라고 불릴 수도 있다. 제어기기(400)는 음성 수집 기능 및 음성 재생 기능을 가지는 기기일 수도 있다. 예를 들면, 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 이어폰, 스마트 웨어러블 기기, 자동차 내장 장치 또는 유사한 콘텐츠 또는 이의 임의의 조합일 수도 있다. 예를 들면, 전자기기(200)가 이어폰일 경우, 제어기기(400)는 상기 이어폰과 통신 연결하는 단말기기, 예를 들면 휴대폰, 컴퓨터 등일 수 있다.
도 1에 도시된 바와 같이, 전자기기(200)는 마이크 모듈(240) 및 스피커(280)를 포함할 수 있다. 마이크 모듈(240)은 로컬 오디오 신호를 획득하고, 마이크 신호를 출력하도록 구성될 수 있는 바, 즉 오디오 정보의 전자 신호를 휴대한다. 마이크 모듈(240)은 아웃 오브 이어 마이크 모듈일 수도 있고 인이어 마이크 모듈일 수도 있다. 예를 들면, 마이크 모듈(240)은 외이도 밖에 설치된 마이크일 수도 있고 외이도 내에 설치된 마이크일 수도 있다. 마이크 모듈(240)은 적어도 하나의 제1 유형의 마이크(242) 및 적어도 하나의 제2 유형의 마이크(244)를 포함할 수 있다. 제1 유형의 마이크(242)는 제2 유형의 마이크(244)와 상이하다. 제1 유형의 마이크(242)는 인체 진동 신호를 직접 수집하는 마이크, 예를 들면 골전도 마이크일 수 있다. 제2 유형의 마이크(244)는 공기 진동 신호를 직접 수집하는 마이크, 예를 들면 공기전도 마이크일 수 있다. 물론, 제1 유형의 마이크(242)와 제2 유형의 마이크(244)는 기타 유형의 마이크일 수도 있다. 예를 들면 제1 유형의 마이크(242)는 광학 마이크일 수 있고; 제2 유형의 마이크(244)는 근전도 신호를 수신하는 마이크일 수 있다. 제1 유형의 마이크(242)가 제2 유형의 마이크(244)와 상이하므로 오디오 신호를 감지하는 표현도 상이하게 되어 상응한 오디오 신호에서의 소음과 에코 성분이 상이하게 된다. 표시의 편리를 위하여 본 명세서는 아래의 진술에서 골전도 마이크를 제1 유형의 마이크(242)로 사용하는 것을 예로 하고, 공기전도 마이크를 제2 유형의 마이크(244)로 사용하는 것을 예로 한다.
골전도 마이크는 광학 진동 센서, 가속도 센서 등과 같은 진동 센서를 포함할 수 있다. 상기 진동 센서는 기계적 진동 신호(예를 들면, 사용자(002)가 말할 때 피부 또는 골격이 발생한 진동에 의해 발생되는 신호)를 수집할 수 있고, 이 기계적 진동 신호를 전기 신호로 전환할 수 있다. 여기서 언급한 기계적 진동 신호는 주요하게 고체에 의해 전파되는 진동을 말한다. 골전도 마이크는 상기 진동 센서 또는 상기 진동 센서와 연결되는 진동 부품을 통해 사용자(002)의 피부 또는 골격과 접촉하여 사용자(002)가 소리를 낼 때 골격 또는 피부가 발생하는 진동 신호를 수집하고, 진동 신호를 전기 신호로 전환한다. 일부 실시예에서, 상기 진동 센서는 기계 진동에는 민감하나 공기 진동에는 민감하지 않은 장치(즉 기계 진동에 대한 상기 진동 센서의 응답 능력이 공기 진동에 대한 상기 진동 센서의 응답 능력을 초과)일 수 있다. 골전도 마이크가 발성 부위의 진동 신호를 직접 픽업할 수 있으므로 골전도 마이크는 환경 소음의 영향을 저하시킬 수 있다.
공기전도 마이크는 사용자(002)가 소리를 낼 때 일으키는 공기 진동 신호를 수집하고, 공기 진동 신호를 전기 신호로 전환한다. 공기전도 마이크는 단독적인 하나의 공기전도 마이크일 수도 있고 둘 또는 그 이상의 공기전도 마이크로 조성된 마이크 어레이 일 수도 있다. 마이크 어레이는 빔 형성 마이크 어레이 또는 기타 유사한 마이크 어레이일 수 있다. 마이크 어레이를 통해 공간의 상이한 방향 또는 상이한 위치로부터의 소리를 수집할 수 있다.
제1 유형의 마이크(242)는 제1 오디오 신호(243)를 출력할 수 있다. 제2 유형의 마이크(244)는 제2 오디오 신호(245)를 출력할 수 있다. 상기 마이크 신호는 상기 제1 오디오 신호(243) 및 상기 제2 오디오 신호(245)를 포함한다. 저소음 시나리오에서, 제2 오디오 신호(245)는 제1 오디오 신호(243)보다 더 나은 음성 품질을 구비한다. 그러나 환경 소음이 큰 시나리오에서는, 저주파 부분에서 제1 오디오 신호(243)의 음성 품질이 더 높고, 고주파 부분에서 제2 오디오 신호(245)의 음성 품질이 더 높다. 따라서 환경 소음이 큰 시나리오에서, 제1 오디오 신호(243)와 제2 오디오 신호(245)를 특징 융합한 후 얻은 오디오 신호는 양호한 음성 품질을 가진다. 실제 사용과정에서, 환경의 소음은 시시각각 변화될 수 있고, 상기 저소음 시나리오와 상기 고소음 시나리오 사이에서 반복적으로 전환된다.
스피커(280)는 전기 신호를 오디오 신호로 전환할 수 있다. 스피커(280)는 제어기기(400)로부터의 상기 스피커 신호를 수신하여 출력하도록 구성될 수 있다. 설명의 편리를 위하여 우리는 스피커(280)에 입력되는 오디오 신호를 스피커 입력 신호로 정의한다. 일부 실시예에서, 상기 스피커 입력 신호는 상기 스피커 신호일 수 있다. 일부 실시예에서, 전자기기(200)는 상기 스피커 신호에 대해 신호 처리를 진행하고, 신호 처리된 오디오 신호를 스피커(280)에 송신하여 출력할 수 있다. 이때, 상기 스피커 입력 신호는 전자기기(200)가 상기 스피커 신호에 대해 신호 처리를 진행하여 얻은 오디오 신호일 수 있다.
상기 스피커 입력 신호가 스피커(280)를 거쳐 출력된 소리는 공기전도 또는 골전도의 방식으로 사용자(002)에게 전달될 수 있다. 스피커(280)는 인체에 진동 신호를 전달하는 것을 통해 소리를 전달하는 스피커, 예를 들면 골전도 스피커일 수도 있고, 공기를 통해 진동 신호를 전달하는 스피커, 예를 들면 공기전도 스피커일 수도 있다. 골전도 스피커는 진동 모듈을 통해 기계 진동을 발생하고, 골격에 의해 상기 기계 진동을 귓속까지 전달한다. 예를 들면, 스피커(280)는 직접 또는 특정된 매체(예컨대, 하나 또는 다수의 패널)를 통해 사용자(002)의 머리와 접촉하고, 상기 오디오 신호를 두개골 진동의 방식으로 사용자의 청각 신경에 전달한다. 공기전도 스피커는 진동 모듈을 통해 공기에서 진동을 발생하고, 공기를 거쳐 상기 공기 진동을 귓속까지 전달한다. 스피커(280)는 골전도 스피커와 공기전도 스피커의 조합일 수도 있다. 스피커(280)는 기타 유형의 스피커일 수도 있다. 상기 스피커 입력 신호가 스피커(280)를 거쳐 출력된 소리는 마이크 모듈(240)에 의해 수집되어 에코를 형성할 수 있다. 상기 스피커 입력 신호 강도가 클 수록 스피커(280)가 출력한 소리 강도는 더 크고, 상기 에코 신호도 더 강하다.
설명해야 할 것은, 마이크 모듈(240)과 스피커(280)는 전자기기(200)에 집적될 수도 있고 전자기기(200)의 외접형 기기일 수도 있다.
제1 유형의 마이크(242) 및 제2 유형의 마이크(244)가 작동할 경우, 사용자(002)가 내는 소리를 수집할 수 있을 뿐만 아니라 환경 소음도 수집할 수 있고, 또 스피커(280)가 내는 소리도 수집할 수 있다. 전자기기(200)는 마이크 모듈(240)을 통해 오디오 신호를 수집하여 상기 마이크 신호를 생성할 수 있다. 상기 마이크 신호는 제1 오디오 신호(243) 및 제2 오디오 신호(245)를 포함할 수 있다. 상이한 시나리오에서, 제1 오디오 신호(243) 및 제2 오디오 신호(245)의 음성 품질은 상이하다. 음성 통신 품질을 담보하기 위하여, 전자기기(200)는 상기 마이크 신호에서 음성 품질이 더 나은 오디오 신호를 음원 신호로 선택하도록 상이한 응용 시나리오에 따라 다수의 오디오 처리 모드에서 타깃 오디오 처리 모드를 선택하고, 상기 타깃 오디오 처리 모드를 통해 상기 음원 신호에 대해 신호 처리를 진행한 후 제어기기(400)에 출력할 수 있다. 상기 음원 신호는 상기 타깃 오디오 처리 모드의 입력 신호일 수 있다. 일부 실시예에서, 상기 신호 처리는 저소음 신호를 저하시키도록 소음 억제를 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 에코 신호를 저하시키도록 에코 억제를 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 상기 소음 억제를 포함할 수 있을 뿐만 아니라 상기 에코 억제도 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 상기 음원 신호를 직접 출력할 수도 있다. 표시의 편리를 위하여, 아래의 설명에서 우리는 상기 신호 처리가 상기 에코 억제를 포함하는 것으로 설명한다. 당업자는 기타 신호 처리 방식이 모두 본 명세서의 보호범위 내에 있다는 것을 알아야 한다.
상기 타깃 오디오 처리 모드에 대한 전자기기(200)의 선택은 환경 소음과 연관되는 외에 상기 스피커 신호와 연관된다. 일부 시나리오에서, 예를 들면, 상기 스피커 신호가 작고 스피커(280)가 출력하는 소리도 작을 경우, 제1 유형의 마이크(242)가 출력하는 제1 오디오 신호(243) 및 제2 유형의 마이크(244)가 출력하는 제2 오디오 신호(245)가 특징 융합된 후의 오디오 신호의 음성 품질은 제2 유형의 마이크(244)가 출력한 제2 오디오 신호(245)의 음성 품질보다 우수하다.
일부 특수한 시나리오에서, 예를 들면 상기 스피커 신호가 크고 스피커(280)가 출력하는 소리도 클 경우, 제1 유형의 마이크(242)가 출력하는 상기 제1 오디오 신호(243)에 대한 영향이 크게 되어 상기 제1 오디오 신호(243)의 에코도 크게 된다. 일부 실시예에서, 상기 제1 오디오 신호(243)의 에코 신호는 사용자(002)의 음성 신호를 초과한다. 특히 스피커(280)가 골전도 스피커일 경우, 상기 제1 오디오 신호(243)의 에코 신호는 보다 뚜렷하다. 전통적인 에코 제거 알고리즘은 상기 제1 오디오 신호(243)의 에코 신호를 제거하기 어려워 에코 제거 효과를 담보할 수 없다. 이때, 제2 유형의 마이크(244)가 출력하는 제2 오디오 신호(245)의 음성 품질은, 제1 유형의 마이크(242)가 출력하는 제1 오디오 신호(243) 및 제2 유형의 마이크(244)가 출력하는 제2 오디오 신호(245)를 특징 융합한 후의 오디오 신호의 음성 품질보다 우수하다.
따라서, 전자기기(200)는 상기 스피커 신호에 기반하여 상기 다수의 오디오 처리 모드에서 상기 타깃 오디오 처리 모드를 선택하여 상기 마이크 신호에 대해 상기 신호 처리를 진행할 수 있다. 상기 다수의 오디오 처리 모드는 적어도 제1 모드(1) 및 제2 모드(2)를 포함할 수 있다.
제1 모드(1)는 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행할 수 있다. 상술한 바와 같이, 일부 실시예에서, 상기 신호 처리는 저소음 신호를 억제하도록 소음 억제를 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 에코 신호를 저하시키도록 에코 억제를 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 상기 소음 억제를 포함할 수 있을 뿐만 아니라 상기 에코 억제도 포함할 수 있다. 표시의 편리를 위하여, 아래의 설명에서 우리는 상기 신호 처리가 상기 에코 억제를 포함하는 것으로 설명한다. 당업자는 기타 신호 처리 방식이 모두 본 명세서의 보호범위 내에 있다는 것을 알아야 한다.
제2 모드(2)는 제2 오디오 신호(245)에 대해 신호 처리를 진행할 수 있다. 일부 실시예에서, 상기 신호 처리는 저소음 신호를 억제하도록 소음 억제를 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 에코 신호를 저하시키도록 에코 억제를 포함할 수 있다. 일부 실시예에서, 상기 신호 처리는 상기 소음 억제를 포함할 수 있을 뿐만 아니라 상기 에코 억제도 포함할 수 있다. 표시의 편리를 위하여, 아래의 설명에서 우리는 상기 신호 처리가 상기 에코 억제를 포함하는 것으로 설명한다. 당업자는 기타 신호 처리 방식이 모두 본 명세서의 보호범위 내에 있다는 것을 알아야 한다.
상기 타깃 오디오 처리 모드는 제1 모드(1) 및 제2 모드(2)에서의 하나이다. 상기 다수의 오디오 처리 모드는 기타 모드, 예를 들면, 제1 오디오 신호(243)에 대해 신호 처리를 진행하는 처리 모드를 더 포함할 수 있다.
따라서, 상기 스피커 신호가 작을 경우, 음성 통신에 응용되는 음성이 높은 품질을 가지도록 담보하기 위하여 전자기기(200)는 제1 모드(1)를 사용하고, 제1 오디오 신호(243) 및 제2 오디오 신호(245)를 음원 신호로 하며, 상기 음원 신호에 대해 신호 처리를 진행하여 제1 타깃 오디오(291)를 생성하고 출력하며, 음성 통신에 응용한다. 상기 스피커 신호가 클 경우, 음성 통신에 응용되는 음성이 높은 품질을 가지도록 담보하기 위하여 전자기기(200)는 제2 모드(2)를 사용하고, 제2 오디오 신호(245)를 음원 신호로 하며, 상기 음원 신호에 대해 신호 처리를 진행하여 제2 타깃 오디오(292)를 생성하고 출력하며, 음성 통신에 응용한다.
전자기기(200)는 본 명세서에서 설명하는 에코 억제를 위한 오디오 신호 처리 방법의 데이터 또는 명령어를 실행하여 상기 마이크 신호 및 상기 스피커 신호를 획득할 수 있고; 전자기기(200)는 상기 스피커 신호의 신호 강도에 기반하여 대응하는 타깃 오디오 처리 모드를 선택하여 상기 마이크 신호에 대해 신호 처리를 진행할 수 있다. 구체적으로, 전자기기(200)는 상기 스피커 신호의 강도에 따라 다수의 오디오 처리 모드에서 상기 스피커 신호 강도와 대응하는 타깃 오디오 처리 모드를 선택하여 상기 제1 오디오 신호(243) 및 상기 제2 오디오 신호(245)에서 음성 품질이 더 나은 오디오 신호 또는 이의 조합을 음원 신호로 선택할 수 있고, 대응하는 신호 처리 알고리즘을 사용하여 상기 음원 신호에 대해 신호 처리(예를 들면 에코 제거 및 소음 저감 처리)를 진행하여 타깃 오디오를 생성하고 출력함으로써 상기 타깃 오디오에서의 에코를 저하시킬 수 있다. 상기 타깃 오디오는 제1 타깃 오디오(291) 및 제2 타깃 오디오(292)에서의 하나를 포함할 수 있다. 전자기기(200)는 상기 타깃 오디오를 제어기기(400)에 출력할 수 있다.
상술한 내용을 종합하면, 통신의 음성 품질을 담보하기 위하여, 전자기기(200)는 상기 스피커 신호의 강도에 기반하여 타깃 오디오 처리 모드를 제어 및 선택함으로써 음성 품질이 더 나은 오디오 신호를 전자기기(200)의 음원 신호로 선택할 수 있고, 상기 음원 신호에 대해 신호 처리를 진행하여 상이한 사용 시나리오에 대해 상이한 타깃 오디오를 획득함으로써 상이한 사용 시나리오에서 상기 타깃 오디오의 음성 품질이 모두 최적하도록 담보한다.
도 2는 전자기기(200)의 기기 모식도를 도시한다. 전자기기(200)는 본 명세서에서 설명한 에코 억제를 위한 오디오 신호 처리 방법을 수행할 수 있다. 상기 에코 억제를 위한 오디오 신호 처리 방법은 본 명세서의 기타 부분에서 소개한다. 예를 들면, 도 5 내지 도 7의 설명에서는 상기 에코 억제를 위한 오디오 신호 처리 방법을 소개한다.
도 2에 도시된 바와 같이, 전자기기(200)는 마이크 모듈(240) 및 스피커(280)를 포함할 수 있다. 일부 실시예에서, 전자기기(200)는 적어도 하나의 저장매체(230) 및 적어도 하나의 프로세서(220)를 더 포함할 수 있다.
저장매체(230)는 데이터 저장 장치를 포함할 수 있다. 상기 데이터 저장 장치는 비일시적 저장매체일 수도 있고 일시적 저장매체일 수도 있다. 예를 들면, 상기 데이터 저장 장치는 자기 디스크, 읽기 전용 저장매체(ROM) 또는 랜덤 액세스 저장매체(RAM)에서의 하나 또는 다수를 포함할 수 있다. 저장매체(230)는 상기 데이터 저장 장치에 저장된 적어도 하나의 명령어 집합을 더 포함하여 에코 억제를 위한 오디오 신호 처리에 사용할 수 있다. 상기 명령어는 컴퓨터 프로그램 코드이고, 상기 컴퓨터 프로그램 코드는 본 명세서에서 제공하는 에코 억제를 위한 오디오 신호 처리 방법을 수행하는 프로그램, 루틴, 오브젝트, 어셈블리, 데이터 구조, 과정, 모듈 등을 포함할 수 있다.
도 2에 도시된 바와 같이, 상기 적어도 하나의 명령어 집합은 제어 명령어를 포함할 수 있는데, 이는 제어 모듈(231)에 의해 발송되고, 상기 스피커 신호 또는 상기 스피커 신호 및 상기 마이크 신호에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하도록 구성된다. 상기 제어 신호는 제1 제어 신호 또는 제2 제어 신호를 포함한다. 여기서, 상기 제1 제어 신호는 제1 모드(1)와 대응한다. 상기 제2 제어 신호는 제2 모드(2)와 대응한다. 상기 제어 신호는 임의의 신호일 수 있는 바, 예를 들면, 상기 제1 제어 신호는 신호1일 수 있고, 상기 제2 제어 신호는 신호2일 수 있다. 제어 모듈(231)이 발송한 제어 명령어는 상기 스피커 신호의 신호 강도 또는 상기 스피커 신호의 신호 강도 및 상기 마이크 신호의 평가 파라미터에 근거하여 서로 대응하는 제어 신호를 생성할 수 있다. 상기 제어 신호와 상기 스피커 신호 또는 상기 스피커 신호와 상기 마이크 신호의 대응관계는 다음 설명에서 상세하게 소개할 것이다. 제어 모듈(231)은 상기 제어 신호에 근거하여 상기 제어 신호와 대응하는 타깃 오디오 신호 처리 모드를 선택할 수도 있다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 제어 모듈(231)은 제1 모드(1)를 선택하고; 상기 제어 신호가 상기 제2 제어 신호일 경우, 제어 모듈(231)은 제2 모드(2)를 선택한다.
일부 실시예에서, 상기 적어도 하나의 명령어 집합은 에코 처리 명령어를 더 포함할 수 있는데, 이는 에코 처리 모듈(233)에 의해 발송되고, 상기 제어 신호에 기반하여 전자기기(200)의 상기 타깃 오디오 처리 모드를 통해 상기 마이크 신호에 대해 신호 처리(예를 들면 에코 억제, 소음 저감 처리 등)를 진행하도록 구성된다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 에코 처리 모듈(233)은 제1 모드(1)를 사용하여 상기 마이크 신호에 대해 신호 처리를 진행한다. 상기 제어 신호가 상기 제2 제어 신호일 경우, 에코 처리 모듈(233)은 제1 모드(2)를 사용하여 상기 마이크 신호에 대해 신호 처리를 진행한다.
상기 에코 처리 모듈(233)은 제1 알고리즘(233-1) 및 제2 알고리즘(233-8)을 포함할 수 있다. 상기 제1 알고리즘(233-1)은 상기 제1 제어 신호 및 상기 제1 모드(1)와 대응한다. 상기 제2 알고리즘(233-8)은 상기 제2 제어 신호 및 상기 제2 모드(2)와 대응한다.
제1 모드(1)에서, 전자기기(200)는 제1 알고리즘(233-1)을 사용하여 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 각각 신호 처리를 진행하고, 상기 신호 처리를 거친 제1 오디오 신호(243) 및 제2 오디오 신호(245)를 특징 융합하여 상기 제1 타깃 오디오(291)를 출력한다.
도 3은 본 명세서의 실시예에 따라 제공한 제1 모드(1)의 작업 모식도를 도시한다. 도 3에 도시된 바와 같이, 제1 모드(1)에서, 제1 알고리즘(233-1)은 상기 제1 오디오 신호(243), 상기 제2 오디오 신호(245) 및 상기 스피커 입력 신호를 수신할 수 있다. 제1 알고리즘(233-1)은 제1 에코 제거 모듈(233-2)로 상기 스피커 입력 신호에 기반하여 상기 제1 오디오 신호(243)에 대해 에코 제거를 진행할 수 있다. 상기 스피커 입력 신호는 소음 저감 처리를 거친 후의 오디오 신호일 수 있다. 제1 에코 제거 모듈(233-2)은 상기 제1 오디오 신호(243) 및 상기 스피커 입력 신호를 수신하고, 에코를 제거한 후의 상기 제1 오디오 신호(243)를 출력한다. 제1 에코 제거 모듈(233-2)은 단일 마이크 에코 제거 알고리즘일 수 있다.
일부 실시예에서, 제1 알고리즘(233-1)은 제2 에코 제거 모듈(233-3)로 상기 스피커 입력 신호에 기반하여 상기 제2 오디오 신호(245)에 대해 에코 제거를 진행할 수 있다. 제2 에코 제거 모듈(233-3)은 상기 제2 오디오 신호(245) 및 상기 스피커 입력 신호를 수신하고, 에코를 제거한 후의 상기 제2 오디오 신호(245)를 출력한다. 제2 에코 제거 모듈(233-3)은 단일 마이크 에코 제거 알고리즘일 수도 있고 멀티 마이크 에코 제거 알고리즘일 수도 있다. 제1 에코 제거 모듈(233-2)과 제2 에코 제거 모듈(233-3)은 동일할 수도 있고 상이할 수도 있다.
일부 실시예에서, 제1 알고리즘(233-1)은 제1 소음 억제 모듈(233-4)을 사용하여 에코를 제거한 후의 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)에 대해 소음 억제를 진행할 수 있다. 제1 소음 억제 모듈(233-4)은 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)에서의 소음 신호를 억제한다. 제1 소음 억제 모듈(233-4)은 에코를 제거한 후의 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)를 수신하고, 소음을 억제한 후의 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)를 출력한다. 제1 소음 억제 모듈(233-4)은 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)에 대해 단독으로 소음 저감을 진행할 수도 있고, 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)에 대해 동시에 소음 저감을 진행할 수도 있다.
일부 실시예에서, 상기 제1 알고리즘(233-1)은 특징 융합 모듈(233-5)을 사용하여 소음 억제를 거친 상기 제1 오디오 신호(243) 및 상기 제2 오디오 신호(245)에 대해 특징 융합 처리를 진행할 수 있다. 특징 융합 모듈(233-5)은 소음 저감 처리를 거친 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)를 수신한다. 특징 융합 모듈(233-5)은 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)의 음성 품질을 분석할 수 있다. 예를 들면, 특징 융합 모듈(233-5)은 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)에서의 효과적인 음성 신호 강도, 소음 신호 강도, 에코 신호 강도 및 신호 대 잡음비 등을 분석하고, 상기 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)의 음성 품질을 판정하며, 제1 오디오 신호(243)와 상기 제2 오디오 신호(245)를 상기 제1 타깃 오디오(291)로 융합하여 출력할 수 있다.
일부 실시예에서, 제1 알고리즘(233-1)은 제2 소음 억제 모듈(233-6)을 더 사용하여 상기 스피커 신호에 대해 소음 억제를 진행할 수 있다. 제2 소음 억제 모듈(233-6)은 상기 스피커 신호에서의 소음 신호를 억제한다. 제2 소음 억제 모듈(233-6)은 제어기기(400)가 송신한 상기 스피커 신호를 수신하고, 상기 스피커 신호에서의 원단 소음, 채널 소음 및 전자기기(200)에서의 전자 소음 등 소음 신호를 제거하며, 소음 저감 처리를 거친 스피커 처리 신호를 출력한다.
설명해야 할 것은, 도 3은 단지 예시적인 설명일 뿐이다. 당업자는, 일부 실시예에서 제1 알고리즘(233-1)이 특징 융합 모듈(233-5)을 포함할 수 있다는 것을 알아야 한다. 다른 일부 실시예에서, 제1 알고리즘(233-2)은 제1 에코 제거 모듈(233-2), 제2 에코 제거 모듈(233-3), 제1 소음 억제 모듈(233-4) 및 제2 소음 억제 모듈(233-6)에서의 임의의 하나 또는 이의 임의의 조합을 더 포함할 수 있다.
제2 모드(2)에서, 전자기기(200)는 제2 알고리즘(233-8)을 사용하여 제2 오디오 신호(245)에 대해 신호 처리를 진행하고, 상기 제2 타깃 오디오(292)를 출력한다.
도 4는 본 명세서의 실시예에 따라 제공한 제2 모드(2)의 작업 모식도를 도시한다. 도 4에 도시된 바와 같이, 제2 모드(2)에서, 제2 알고리즘(233-8)은 상기 제2 오디오 신호(245) 및 상기 스피커 입력 신호를 수신할 수 있다. 제2 알고리즘(233-8)은 제3 에코 제거 모듈(233-9)로 상기 스피커 입력 신호에 기반하여 상기 제2 오디오 신호(245)에 대해 에코 제거를 진행할 수 있다. 제3 에코 제거 모듈(233-9)은 상기 제2 오디오 신호(245) 및 상기 스피커 입력 신호를 수신하고, 에코를 제거한 후의 상기 제2 오디오 신호(245)를 출력한다. 제3 에코 제거 모듈(233-9)은 제2 에코 제거 모듈(233-3)과 동일할 수도 있고 상이할 수도 있다.
일부 실시예에서, 제2 알고리즘(233-8)은 제3 소음 억제 모듈(233-10)로 에코를 제거한 후의 상기 제2 오디오 신호(245)에 대해 소음 억제를 진행할 수 있다. 제3 소음 억제 모듈(233-10)은 상기 제2 오디오 신호(245)에서의 소음 신호를 억제한다. 제3 소음 억제 모듈(233-10)은 에코를 제거한 후의 상기 제2 오디오 신호(245)를 수신하고, 소음을 억제한 후의 상기 제2 오디오 신호(245)를 상기 제2 타깃 오디오(292)로서 출력한다. 제3 소음 억제 모듈(233-10)은 제1 소음 억제 모듈(233-4)과 동일할 수도 있고 상이할 수도 있다.
일부 실시예에서, 제2 알고리즘(233-8)은 제4 소음 억제 모듈(233-11)을 더 사용하여 상기 스피커 신호에 대해 소음 억제를 진행할 수 있다. 제4 소음 억제 모듈(233-11)은 상기 스피커 신호에서의 소음 신호를 억제한다. 제4 소음 억제 모듈(233-11)은 제어기기(400)가 송신한 상기 스피커 신호를 수신하고, 상기 스피커 신호에서의 원단 소음, 채널 소음 및 전자기기(200)에서의 전자 소음 등 소음 신호를 제거하며, 소음 저감 처리를 거친 스피커 처리 신호를 출력한다. 제4 소음 억제 모듈(233-11)은 제2 소음 억제 모듈(233-6)과 동일할 수도 있고 상이할 수도 있다.
설명해야 할 것은, 도 4는 단지 예시적인 설명일 뿐이다. 당업자는, 일부 실시예에서 제2 알고리즘(233-8)이 제3 에코 제거 모듈(233-9), 제3 소음 억제 모듈(233-10) 및 제4 소음 억제 모듈(233-11)에서의 임의의 하나 또는 이의 임의의 조합을 포함할 수 있다는 것을 알아야 한다. 다른 일부 실시예에서, 제2 알고리즘(233-8)은 상기 임의의 신호 처리 모듈을 포함하지 않고 상기 제2 오디오 신호(245)를 직접 출력할 수도 있다.
제1 모드(1)와 제2 모드(2)는 계산 리소스를 절약하도록 하나만 운행할 수 있다. 제1 모드(1)가 운행될 경우, 제2 모드(2)는 오프된다. 제2 모드(2)가 운행될 경우, 제1 모드(1)는 오프된다. 제1 모드(1)와 제2 모드(2)는 동시에 운행될 수도 있는데, 그 중의 한 모드가 운행될 경우, 다른 한 모드는 알고리즘 파라미터를 업데이트할 수 있다. 전자기기(200)가 제1 모드(1)와 제2 모드(2) 사이에서 전환될 경우, 제1 모드(1)와 제2 모드(2) 내의 일부 파라미터(예를 들면 소음 추정 알고리즘이 얻은 소음 파라미터, 육성 추정 알고리즘이 얻은 육성 파라미터, 신호 대 잡음비 알고리즘이 얻은 신호 대 잡음비 파라미터 등)는 공유되어 계산 리소스를 절약함으로써 계산 결과가 보다 정확하도록 할 수 있다. 제1 모드(1)와 제2 모드(2)에서의 제1 알고리즘(233-1)과 제2 알고리즘(233-8)은 제어 모듈(231)이 발송한 제어 명령어에서의 일부 파라미터와 공유될 수도 있는 바, 예를 들면 소음 추정 알고리즘이 얻은 소음 파라미터, 육성 추정 알고리즘이 얻은 육성 파라미터, 신호 대 잡음비 알고리즘이 얻은 신호 대 잡음비 파라미터 등이며, 이로써 계산 리소스를 절약하여 계산 결과가 보다 정확하도록 할 수 있다.
일부 실시예에서, 상기 적어도 하나의 명령어 집합은 마이크 제어 명령어를 더 포함할 수 있는데, 이는 마이크 제어 모듈(235)에 의해 실행될 수 있으며, 상기 타깃 오디오에 대해 평활 처리를 진행하고, 평활 처리된 상기 타깃 오디오를 제어기기(400)에 출력하도록 구성될 수 있다. 마이크 제어 모듈(235)은 제어 모듈(231)이 생성한 제어 신호 및 상기 타깃 오디오를 수신하고, 상기 제어 신호에 기반하여 상기 타깃 오디오에 상기 평활 처리를 진행할 수 있다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 제1 모드(1)를 운행하고, 제1 알고리즘(233-1)이 출력한 상기 제1 타깃 오디오(291)를 입력 신호로 사용하며; 상기 제어 신호가 상기 제2 제어 신호일 경우, 제2 모드(2)를 운행하고, 제2 알고리즘(233-8)이 출력한 상기 제2 타깃 오디오(292)를 입력 신호로 사용한다. 상기 제어 신호가 상기 제1 제어 신호와 상기 제2 제어 신호 사이에서 전환되어 상기 타깃 오디오 처리 모드가 제1 모드(1)와 제2 모드(2) 사이에서 전환되도록 할 경우, 상기 제1 타깃 오디오(291)와 상기 제2 타깃 오디오(292)의 전환으로 인한 신호의 불연속성을 방지하기 위하여, 마이크 제어 모듈(235)은 상기 타깃 오디오에 대해 평활 처리를 진행할 수 있다. 구체적으로, 마이크 제어 모듈(235)은 상기 제1 타깃 오디오(291)와 상기 제1 타깃 오디오(291)의 파라미터를 조절하여 상기 타깃 오디오가 연속되도록 할 수 있다. 상기 파라미터는 상기 적어도 하나의 저장매체(230)에 미리 저장될 수 있다. 상기 파라미터는 폭, 위상, 주파수 응답 등일 수 있다. 상기 조절된 콘텐츠는 상기 타깃 오디오의 볼륨에 대한 조절, EQ 밸런스 조절, 잔류 소음의 조절 등을 포함할 수 있다. 마이크 제어 모듈(235)은 상기 타깃 오디오 처리 모드가 제1 모드(1)와 제2 모드(2) 사이에서 전환되도록 할 경우, 상기 타깃 오디를 연속 신호로 하여 사용자(002)가 양자 사이의 전환을 쉽게 감지할 수 없도록 한다.
일부 실시예에서, 상기 적어도 하나의 명령어 집합은 스피커 제어 명령어를 더 포함할 수 있는데, 이는 스피커 제어 모듈(237)에 의해 실행되며, 상기 스피커 처리 신호를 조절하여 상기 스피커 입력 신호를 획득하고, 상기 스피커 입력 신호를 스피커(280)에 출력하여 소리를 출력하도록 구성된다. 스피커 제어 모듈(237)은 제1 알고리즘(233-1)과 제2 알고리즘(233-8)이 출력하는 상기 스피커 처리 신호 및 상기 제어 신호를 수신할 수 있다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 스피커 제어 모듈(237)는 제1 알고리즘(233-1)이 출력한 상기 스피커 처리 신호를 제어하여 이로 하여금 저하되거나 오프되도록 한 다음 다시 스피커(280)에 출력되어 출력하도록 함으로써 스피커(280)가 출력한 소리를 저하시켜 에코를 저하시키고, 제1 알고리즘(233-1)의 에코 제거 효과를 향상시킬 수 있도록 한다. 상기 제어 신호가 상기 제2 제어 신호일 경우, 스피커 제어 모듈(237)은 제2 알고리즘(233-8)이 출력한 상기 스피커 처리 신호를 조절하지 않을 수 있다. 상기 제어 신호가 상기 제1 제어 신호와 상기 제2 제어 신호 사이에서 전환될 경우, 스피커(280)가 출력한 소리가 불연속인 것을 방지하기 위하여, 스피커 제어 모듈(237)은 제1 알고리즘(233-1)과 제2 알고리즘(233-8)이 출력한 상기 스피커 처리 신호에 대해 평활 처리를 진행할 수 있다. 상기 제1 제어 신호가 상기 제2 제어 신호와 전환될 경우, 스피커 제어 모듈(237)은 가능한 전환의 연속성을 담보하여 사용자(002)가 양자 사이의 전환을 쉽게 감지할 수 없도록 한다.
제1 모드(1)에서, 제1 알고리즘(233-1)은 근단 마이크 모듈(240)이 픽업한 사용자(002)의 음성 품질에 편중한다. 상기 스피커 처리 신호가 너무 클 경우, 스피커 제어 모듈(237)을 통해 상기 스피커 처리 신호를 처리하여 상기 스피커 입력 신호를 저하시킴으로써 스피커(280)가 출력하는 소리를 저하시켜 근단 음성 품질을 확보하도록 에코를 저하시킨다. 제2 알고리즘(233-8)은 스피커(280)의 상기 스피커 입력 신호에 편중하고, 제1 유형의 마이크(242)가 출력한 상기 제1 오디오 신호(243)를 사용하여 스피커(280)의 상기 스피커 입력 신호의 음성 품질 및 요해도를 확보하지 않는다.
적어도 하나의 프로세서(220)는 적어도 하나의 저장매체(230), 마이크 모듈(240) 및 스피커(280)와 통신 연결할 수 있다. 상기 통신 연결은 직접 또는 간접적으로 정보를 수신하는 임의의 형태의 연결을 말한다. 적어도 하나의 프로세서(220)는 상기 적어도 하나의 명령어 집합을 실행한다. 시스템(100)이 운행할 경우, 적어도 하나의 프로세서(220)는 상기 적어도 하나의 명령어 집합을 판독하고, 상기 적어도 하나의 명령어 집합의 지시에 따라 마이크 모듈(240) 및 스피커(280)의 데이터를 획득하여 본 명세서에서 제공하는 에코 억제를 위한 오디오 신호 처리 방법을 수행한다. 프로세서(220)는 에코 억제를 위한 오디오 신호 처리 방법이 포함하는 모든 단계를 수행할 수 있다. 프로세서(220)는 하나 또는 다수의 프로세서의 형태일 수 있는 바, 일부 실시예에서, 프로세서(220)는 하나 또는 다수의 하드웨어 프로세서, 예컨대 마이크로 컨트롤러, 마이크로 프로세서, 축소 명령어 집합 컴퓨터(RISC), 응용 주문형 집적 회로(ASIC), 애플리케이션 특정 명령어 집합프로세서(ASIP), 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 물리적 처리 유닛(PPU), 마이크로 컨트롤러 유닛, 디지털 신호 프로세서(DSP), 필드 프로그래머블 게이트 어레이(FPGA), 고급 RISC 기계(ARM), 프로그램 가능 논리 소자(PLD), 하나 또는 다수의 기능을 수행할 수 있는 임의의 회로 또는 프로세서 등, 또는 이의 임의의 조합을 포함할 수 있다. 단지 문제를 설명하기 위하여, 본 명세서에서 전자기기(200)에서는 단지 하나의 프로세서(220)만 설명하였다. 그러나 본 명세서에서 전자기기(200)는 다수의 프로세서를 더 포함할 수 있으므로 본 명세서에서 개시한 동작 및/또는 방법의 단계는 본 명세서에 따른 하나의 프로세서에 의해 수행될 수도 있고, 다수의 프로세서가 연합하여 수행할 수도 있다는 것을 유의해야 한다. 예컨대, 만약 본 명세서에서 전자기기(200)의 프로세서(220)가 단계A와 단계B를 수행하면, 이는 단계A와 단계B가 두 개의 상이한 프로세서(220)가 연합하거나 별도로 수행(예컨대, 제1 프로세서가 단계A를 수행하고 제2 프로세서가 단계B를 수행하거나, 또는 제1 프로세서와 제2 프로세서가 함께 단계A와 단계B를 수행)한다고 이해해야 한다.
일부 실시예에서, 시스템(100)은 상기 스피커 신호의 신호 강도에 근거하여 전자기기(200)의 상기 타깃 오디오 처리 모드를 선택할 수 있다. 일부 실시예에서, 시스템(100)은 상기 스피커 신호의 신호 강도 및 상기 마이크 신호에 근거하여 전자기기(200)의 상기 타깃 오디오 처리 모드를 선택할 수 있다.
도 5는 본 명세서의 실시예에 따라 제공한 에코 억제를 위한 오디오 신호 처리 방법(P100)의 흐름도를 도시한다. 상기 방법(P100)은 시스템(100)이 상기 스피커 신호의 신호 강도에 근거하여 전자기기(200)의 상기 타깃 오디오 처리 모드를 선택하는 방법 흐름도이다. 도 5에 도시된 바와 같이, 상기 방법(P100)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 포함할 수 있다.
S120: 적어도 상기 스피커 신호에 기반하여 제1 모드(1) 및 제2 모드(2)에서 전자기기(200)의 타깃 오디오 처리 모드를 선택한다. 상술한 바와 같이, 상기 타깃 오디오 처리 모드는 제1 모드(1) 및 제2 모드(2)에서의 하나를 포함할 수 있다. 구체적으로, 단계(S120)는 아래 단계를 포함할 수 있다.
S121: 상기 스피커 신호를 획득한다.
S122: 적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성한다. 상기 제어 신호는 제1 제어 신호 또는 제2 제어 신호를 포함한다. 구체적으로, 전자기기(200)는 제어기기(400)가 송신한 상기 스피커 신호를 수신하고, 상기 스피커 신호의 강도와 기설정된 스피커 역치를 비교하며, 비교결과에 근거하여 상기 제어 신호를 생성할 수 있다. 단계(S122)는 아래 경우에서의 적어도 하나를 포함할 수 있다.
S122-2: 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮다고 결정하고 상기 제1 제어 신호를 생성하거나; 또는
S122-4: 상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높다고 결정하고 상기 제2 제어 신호를 생성한다.
단계(S120)은 아래 단계를 더 포함할 수 있다.
S124: 상기 제어 신호에 기반하여 상기 제어 신호와 대응하는 상기 타깃 오디오 처리 모드를 선택한다. 여기서, 상기 제1 제어 신호는 상기 제1 모드(1)와 대응한다. 상기 제2 제어 신호는 상기 제2 모드(2)와 대응한다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 제1 모드(1)를 선택하고; 상기 제어 신호가 상기 제2 제어 신호일 경우, 제2 모드(2)를 선택한다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 높을 경우, 제1 모드(1)에서의 제1 알고리즘(233-1)을 사용하여 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하면, 양호한 육성 신호를 보류할 수 없을 뿐만 아니라 신호에서의 에코 신호를 제거할 수 있게 되므로 획득한 상기 제1 타깃 오디오(291)의 음성 품질이 나쁘고; 제2 모드(2)에서의 제2 알고리즘(233-8)을 사용하여 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제2 타깃 오디오(292) 품질은 양호하다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 높을 경우, 전자기기(200)는 제2 모드(2)와 대응하는 상기 제2 제어 신호를 생성한다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 낮을 경우, 제1 모드(1)에서의 제1 알고리즘(233-1)을 사용하여 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하면, 양호한 육성 신호를 보류할 뿐만 아니라 신호에서의 에코 신호를 제거할 수 있게 되므로 획득한 상기 제1 타깃 오디오(291)의 음성 품질이 양호하고; 제2 모드(2)에서의 제2 알고리즘(233-8)을 사용하여 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제2 타깃 오디오(292) 품질도 양호하다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮을 경우, 전자기기(200)는 제1 모드(1)와 대응하는 상기 제1 제어 신호를 생성할 뿐만 아니라 제2 모드(2)와 대응하는 상기 제2 제어 신호도 생성할 수 있다.
상기 제어 신호는 제어 모듈(231)에 의해 생성된다. 구체적으로, 전자기기(200)는 상기 스피커 신호의 강도를 실시간으로 모니터링할 수 있고, 상기 스피커 역치와 비교할 수 있다. 전자기기(200)는 또 시간을 정하고 상기 스피커 신호의 강도를 검출할 수 있고, 상기 스피커 역치와 비교할 수 있다. 전자기기(200)는 또 상기 스피커 신호의 강도에 뚜렷한 변화가 발생하는 것을 모니터링할 수 있고, 변화값이 기설정 범위를 초과할 때 다시 상기 스피커 신호를 상기 스피커 역치와 비교할 수 있다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 높을 경우, 전자기기(200)는 상기 제2 제어 신호를 생성하며; 상기 스피커 신호에 변화가 발생하고, 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮을 경우, 전자기기는 상기 제1 제어 신호를 생성한다. 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮을 경우, 전자기기(200)는 상기 제1 제어 신호를 생성하며; 상기 스피커 신호에 변화가 발생하고, 상기 스피커 신호의 강도가 상기 스피커 역치보다 높을 경우, 전자기기는 상기 제2 제어 신호를 생성한다.
상기 제어 신호가 전환할 때 사용자(002)에 의해 감지되지 않도록 담보하기 위하여, 상기 스피커 역치는 하나의 범위일 수 있다. 상기 스피커 역치는 제1 스피커 임계값과 제2 스피커 임계값이 놓이는 범위 내에 있을 수 있다. 상기 제1 스피커 임계값은 제2 스피커 임계값보다 작다. 상기 스피커 신호의 강도가 상기 스피커 역치보다 높다는 것은 상기 스피커 신호의 강도가 상기 제2 스피커 임계값보다 높은 것을 포함할 수 있다. 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮다는 것은 상기 스피커 신호의 강도가 상기 제1 스피커 임계값보다 낮은 것을 포함할 수 있다.
상기 스피커 신호 강도가 상기 스피커 역치와 같을 경우, 전자기기(200)는 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성할 수 있다. 상기 스피커 신호 강도가 상기 제2 스피커 임계값보다 높을 경우, 전자기기(200)는 상기 제2 제어 신호를 생성하고; 상기 스피커 신호 강도가 상기 제1 스피커 임계값과 상기 제2 스피커 임계값 사이까지 저하될 경우, 전자기기(200)는 상기 제2 제어 신호를 생성할 수 있다. 상기 스피커 신호 강도가 상기 제1 스피커 임계값보다 낮을 경우, 전자기기(200)는 상기 제1 제어 신호를 생성하고; 상기 스피커 신호 강도가 상기 제1 스피커 임계값과 상기 제2 스피커 임계값 사이까지 증강할 경우, 전자기기(200)는 상기 제1 제어 신호를 생성할 수 있다.
전자기기(200)는 기계 학습을 통해 제어 모델을 얻고, 상기 스피커 신호를 상기 제어 모델에 입력하며, 상기 제어 모델이 상기 제어 신호를 출력할 수도 있다.
상기 방법(P100)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 더 포함할 수 있다.
S140: 상기 타깃 오디오 처리 모드를 통해 상기 마이크 신호를 처리하여 상기 타깃 오디오를 생성함으로써 적어도 상기 마이크 신호에서의 에코를 저하시킨다. 구체적으로, 단계(S140)는 아래 경우에서의 적어도 하나를 포함할 수 있다.
S142: 상기 제어 신호를 상기 제1 제어 신호로 결정하고, 상기 제1 제어 신호와 대응하는 상기 제1 모드(1)에서의 제1 알고리즘(233-1)을 통해 상기 스피커 입력 신호에 기반하여 상기 제1 오디오 신호(243) 및 상기 제2 오디오 신호(245)에 대해 신호 처리 및 특징 융합을 진행하여 제1 타깃 오디오(291)를 생성한다. 구체적인 과정은 상술한 바와 같은 바, 여기서 더 이상 설명하지 않는다.
S144: 상기 제어 신호를 상기 제2 제어 신호로 결정하고, 상기 제2 제어 신호와 대응하는 제2 모드(2)에서의 제2 알고리즘(233-8)을 통해 상기 스피커 입력 신호에 기반하여 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행한다. 구체적인 과정은 상술한 바와 같은 바, 여기서 더 이상 설명하지 않는다.
S160: 상기 타깃 오디오를 출력한다. 전자기기(200)는 상기 타깃 오디오를 직접 출력할 수 있다. 전자기기(200)는 상기 타깃 오디오에 대해 평활 처리를 진행하여 상기 타깃 오디오로 하여금 상기 제1 타깃 오디오(291) 및 상기 제2 타깃 오디오(292) 사이에서 전환되도록 할 경우, 사용자(002)에 의해 감지되지 않도록 한다. 구체적으로, 단계(S160)는, 상기 타깃 오디오에 대해 평활 처리를 진행하고 상기 평활 처리를 거친 상기 타깃 오디오를 출력하는 단계를 포함할 수 있다.
구체적으로, 전자기기(200)는 마이크 제어 모듈(235)을 통해 상기 타깃 오디오에 대해 평활 처리를 진행할 수 있다. 상기 타깃 오디오가 상기 제1 타깃 오디오(291) 및 상기 제2 타깃 오디오(292) 사이에서 전환할 경우, 마이크 제어 모듈(235)은 상기 제1 타깃 오디오(291) 및 상기 제2 타깃 오디오(292)의 연결된 곳에 대해 상기 평활 처리를 진행할 수 있는 바, 즉 제1 타깃 오디오(291) 및 상기 제2 타깃 오디오(292)에 대해 신호 조절을 진행하여 연결된 곳이 평활하게 전환되도록 한다.
상기 방법(P100)은 아래 단계를 더 포함할 수 있다.
S180: 상기 제어 신호에 기반하여 상기 스피커(280)의 상기 스피커 입력 신호의 강도를 제어한다. 구체적으로, 단계(S180)는 스피커 제어 모듈(237)을 통해 수행될 수 있다. 단계(S180)는 스피커 제어 모듈(237)을 통해 상기 제어 신호를 상기 제1 제어 신호로 결정할 수 있고; 스피커 제어 모듈(237)은 상기 스피커 처리 신호를 처리하여 스피커(280)에 입력되는 상기 스피커 입력 신호의 강도를 저하시켜 스피커(280)가 출력하는 소리의 강도를 저하시킴으로써 상기 마이크 신호에서의 에코 신호를 저하시켜 상기 제1 타깃 오디오의 음성 품질을 높일 수 있다.
표 1은 도 5와 대응하는 타깃 오디오 처리 모드의 결과도를 표시한다. 표 1에 표시된 바와 같이, 대조의 편리를 위하여 우리는 시나리오를 4개의 시나리오로 분류하는데, 각각 첫 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음) 상기 스피커 신호가 상기 스피커 역치를 초과하지 않는 것; 두 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄) 상기 스피커 신호가 상기 스피커 역치를 초과하지 않는 것; 세 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음) 상기 스피커 신호가 상기 스피커 역치를 초과하는 것; 및 네 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄) 상기 스피커 신호가 상기 스피커 역치를 초과하는 것이다. 여기서, 근단 소리 신호가 역치보다 큰지 여부는 제어 모듈(231)이 상기 마이크 신호에 근거하여 판정할 수 있다. 근단 소리 신호가 역치보다 크다는 것은 사용자(002)가 발송한 오디오 신호 강도가 기설정된 역치를 초과하는 것일 수 있다. 상기 4개의 시나리오와 대응하는 타깃 오디오 처리 모드는 각각 첫 번째와 두 번째가 제1 모드(1)에 대응하고; 세 번째와 네 번째가 제2 모드(2)에 대응하는 것이다.
근단 소리 신호가 역치보다 큼 근단 소리 신호가 역치보다 작음
스피커 신호가 스피커 역치보다 낮음 1 1
스피커 신호가 스피커 역치보다 높음 2 2
상기 방법(P100)에서, 전자기기(200)는 상기 스피커 신호에 근거하여 전자기기(200)의 타깃 오디오 처리 모드를 선택함으로써 전자기기(200)가 그 어떤 시나리오에서 선택한 타깃 오디오 처리 모드가 처리한 음성 품질이 모두 최적하도록 담보하여 통화 품질을 담보할 수 있다.
일부 실시예에서, 상기 타깃 오디오 처리 모드의 선택은 상기 스피커 신호의 에코와 연관될 뿐만 아니라 환경 소음과 연관될 수 있다. 상기 환경 소음은 상기 마이크 신호에서의 환경 소음 레벨과 신호 대 잡음비에서의 적어도 하나를 통해 평가될 수 있다.
도 6은 본 명세서의 실시예에 따라 제공한 에코 억제를 위한 오디오 신호 처리 방법(P200) 흐름도를 도시한다. 상기 방법(P200)는 시스템(100)이 상기 스피커 신호의 신호 강도 및 상기 마이크 신호에 근거하여 전자기기(200)의 상기 타깃 오디오 처리 모드를 선택하는 방법 흐름도이다. 구체적으로, 상기 방법(P200)은 시스템(100)이 상기 스피커 신호 및 상기 마이크 신호에서의 환경 소음 레벨과 신호 대 잡음비에서의 적어도 하나에 근거하여 상기 타깃 오디오 처리 모드를 선택하는 방법 흐름도이다. 상기 방법(P200)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 포함할 수 있다.
S220: 적어도 상기 스피커 신호에 기반하여 제1 모드(1)와 제2 모드(2)로부터 전자기기(200)의 타깃 오디오 처리 모드를 선택한다. 구체적으로, 단계(S220)는 아래 단계를 포함할 수 있다.
S222: 적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성한다. 상기 제어 신호는 제1 제어 신호 또는 제2 제어 신호를 포함한다. 구체적으로, 단계(S222)는 전자기기(200)가 상기 스피커 신호의 강도 및 상기 마이크 신호에서의 소음에 기반하여 대응하는 제어 신호를 생성하는 것일 수 있다. 단계(S222)는 아래 단계를 포함할 수 있다.
S222-2: 상기 스피커 신호와 상기 마이크 신호의 평가 파라미터를 획득한다. 여기서, 상기 평가 파라미터는 상기 마이크 신호에서의 환경 소음 평가 파라미터일 수 있다. 상기 환경 소음 평가 파라미터는 환경 소음 레벨 및 신호 대 잡음비에서의 적어도 하나를 포함할 수 있다. 전자기기(200)는 제어 모듈(231)을 통해 상기 마이크 신호에서의 환경 소음 평가 파라미터를 획득할 수 있다. 구체적으로, 전자기기(200)는 제1 오디오 신호(243) 및 제2 오디오 신호(245)에서의 적어도 하나에 근거하여 상기 환경 소음 평가 파라미터를 획득할 수 있다. 전자기기(200)는 소음 추정 알고리즘을 통해 상기 환경 소음 레벨 또는 상기 신호 대 잡음비를 획득할 수 있는데, 본 명세서는 여기서 더 이상 설명하지 않는다.
S222-4: 상기 스피커 신호의 강도 및 상기 환경 소음 평가 파라미터에 기반하여 상기 제어 신호를 생성한다. 구체적으로, 전자기기(200)는 상기 스피커 신호의 강도와 기설정된 스피커 역치를 비교하고, 및 상기 환경 소음 평가 파라미터와 기설정된 소음 평가 범위를 비교하며, 비교결과에 근거하여 상기 제어 신호를 생성한다. 단계(S222-4)는 아래 경우에서의 하나를 포함할 수 있다.
S222-5: 상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높다고 결정하고 상기 제2 제어 신호를 생성하며;
S222-6: 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하며;
S222-7: 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성한다.
여기서, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓이는 단계는 상기 환경 소음 레벨이 기설정 환경 소음 역치보다 낮은 단계, 및 상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 높은 단계에서의 적어도 하나를 포함할 수 있다. 이때의 환경 소음은 작다. 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓이는 것은 상기 환경 소음 레벨이 기설정 환경 소음 역치보다 높거나, 및 상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 낮은 것에서의 적어도 하나를 포함할 수 있다. 이때의 환경 소음은 크다. 여기서, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓일 경우, 즉 큰 소음 환경에서, 상기 제1 타깃 오디오(291)의 음성 품질은 상기 제2 타깃 오디오(292)보다 우수하다. 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓일 경우, 상기 제1 타깃 오디오(291)의 음성 품질은 상기 제2 타깃 오디오(292)의 음성 품질과 큰 차이가 없다.
단계(S220)는 아래 단계를 더 포함할 수 있다.
S224: 상기 제어 신호에 기반하여 상기 제어 신호와 대응하는 상기 타깃 오디오 처리 모드를 선택한다. 여기서, 상기 제1 제어 신호는 상기 제1 모드(1)와 대응한다. 상기 제2 제어 신호는 상기 제2 모드(2)와 대응한다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 제1 모드(1)를 선택하고; 상기 제어 신호가 상기 제2 제어 신호일 경우, 제2 모드(2)를 선택한다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 높을 경우, 제1 모드(1)에서의 제1 알고리즘(233-1)이 상기 제1 오디오 신호(243)와 제2 오디오 신호(245)에 대해 신호 처리를 진행하면, 양호한 육성 신호를 보류할 수 없을 뿐만 아니라 신호에서의 에코 신호를 제거할 수 있게 되므로 획득한 상기 제1 타깃 오디오(291)의 음성 품질이 나쁘고; 제2 모드(2)에서의 제2 알고리즘(233-8)이 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제2 타깃 오디오(292) 품질은 양호하다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 높을 경우, 상기 환경 소음이 어떤 범위 내에 놓이는지를 막론하고 전자기기(200)는 모두 제2 모드(2)와 대응하는 상기 제2 제어 신호를 생성한다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 낮을 경우, 제1 모드(1)에서의 제1 알고리즘(233-1)이 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하면, 양호한 육성 신호를 보류할 뿐만 아니라 신호에서의 에코 신호를 제거할 수 있게 되므로 획득한 상기 제1 타깃 오디오(291)의 음성 품질이 양호하고; 제2 모드(2)에서의 제2 알고리즘(233-8)이 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제2 타깃 오디오(292) 품질도 양호하다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮을 경우, 전자기기(200)가 생성한 제어 신호는 환경 소음과 연관된다.
상기 환경 소음 레벨이 상기 환경 소음 역치보다 높거나 또는 상기 신호 대 잡음비가 상기 신호 대 잡음비 역치보다 낮을 경우, 상기 마이크 신호에서의 환경 소음이 크다는 것을 대표한다. 제1 모드(1)에서의 제1 알고리즘(233-1)이 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행할 경우, 양호한 육성 신호를 보류할 수 있을 뿐만 아니라 신호에서의 소음을 저하시킬 수 있으므로 획득한 상기 제1 타깃 오디오(291)의 음성 품질이 양호하고; 제2 모드(2)에서의 제2 알고리즘(233-8)이 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제2 타깃 오디오(292)의 음성 품질은 제1 타깃 오디오(291)의 음성 품질보다 못하게 된다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 레벨이 상기 환경 소음 역치보다 높거나 또는 상기 신호 대 잡음비가 상기 신호 대 잡음비 역치보다 낮을 경우, 전자기기(200)는 제1 모드(1)와 대응하는 상기 제1 제어 신호를 생성한다.
설명해야 할 것은, 환경 소음이 작을 경우, 즉 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓일 경우, 제1 타깃 오디오(291)의 음성 품질은 제2 타깃 오디오(292)의 음성 품질과 큰 차이가 없다. 이때, 전자기기(200)는 상기 제2 모드(2)에서의 제2 알고리즘(233-8)을 선택하여 제2 오디오 신호(245)에 대해 신호 처리를 진행하도록 항상 상기 제2 제어 신호를 생성하여 타깃 오디오 음성 품질을 담보하는 전제 하에 계산량을 감소시키고 리소스를 절약할 수 있다.
상기 환경 소음 레벨이 상기 환경 소음 역치보다 낮거나 또는 상기 신호 대 잡음비가 상기 신호 대 잡음비 역치보다 높을 경우, 상기 마이크 신호에서의 환경 소음이 작다는 것을 대표한다. 제1 모드(1)에서의 제1 알고리즘(233-1)이 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행할 때 얻은 상기 제1 타깃 오디오(291), 및 제2 모드(2)에서의 제2 알고리즘(233-8)이 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제2 타깃 오디오(292)의 음성 품질은 모두 양호하다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 레벨이 상기 환경 소음 역치보다 낮거나 또는 상기 신호 대 잡음비가 상기 신호 대 잡음비 역치보다 높을 경우, 전자기기(200)는 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성한다. 구체적으로, 전자기기(200)는 앞의 시나리오의 제어 신호에 근거하여 현재 시나리오에서의 제어 신호를 결정할 수 있다. 바꾸어 말하면, 앞의 시나리오에서, 전자기기가 제1 제어 신호를 생성할 경우, 현재 시나리오에 놓이면 전자기기도 제1 제어 신호를 생성하여 신호의 연속성을 담보한다. 반대로 해도 마찬가지다.
상기 제어 신호는 제어 모듈(231)에 의해 생성된다. 구체적으로, 전자기기(200)는 상기 스피커 신호의 강도 및 상기 환경 소음 평가 파라미터를 실시간으로 모니터링할 수 있고, 상기 스피커 역치 및 상기 소음 평가 범위와 비교할 수 있다. 전자기기(200)는 또 시간을 정하고 상기 스피커 신호의 강도 및 상기 환경 소음 평가 파라미터를 검출할 수 있고, 상기 스피커 역치 및 상기 소음 평가 범위와 비교할 수 있다. 전자기기(200)는 또 상기 스피커 신호의 강도 또는 상기 환경 소음 평가 파라미터에 뚜렷한 변화가 발생하는 것을 모니터링할 수 있고, 변화값이 기설정 범위를 초과할 때 다시 상기 스피커 신호 및 상기 환경 소음 평가 파라미터를 상기 스피커 역치 및 상기 소음 평가 범위와 비교할 수 있다.
상기 제어 신호가 전환할 때 사용자(002)에 의해 감지되지 않도록 담보하기 위하여, 상기 스피커 역치, 상기 환경 소음 역치 및 상기 기설정 신호 대 잡음비 역치는 하나의 범위일 수 있다. 상기 스피커 역치는 상술한 바와 같은 바, 여기서 더 이상 설명하지 않는다. 상기 환경 소음 역치는 제1 소음 임계값과 제2 소음 임계값이 놓이는 범위 내에 있을 수 있다. 상기 제1 소음 임계값은 제2 소음 임계값보다 작다. 상기 환경 소음 레벨이 상기 환경 소음 역치보다 높다는 것은 상기 환경 소음 레벨이 상기 제2 소음 임계값보다 높은 것을 포함할 수 있다. 상기 환경 소음 레벨이 상기 환경 소음 역치보다 낮다는 것은 상기 환경 소음 레벨이 상기 제1 소음 임계값보다 낮은 것을 포함할 수 있다. 상기 신호 대 잡음비 역치는 제1 신호 대 잡음비 임계값과 제2 신호 대 잡음비 임계값이 놓이는 범위 내에 있을 수 있다. 상기 제1 신호 대 잡음비 임계값은 제2 신호 대 잡음비 임계값보다 작다. 상기 신호 대 잡음비가 상기 신호 대 잡음비 역치보다 크다는 것은 상기 신호 대 잡음비가 상기 제2 신호 대 잡음비 임계값보다 높은 것을 포함할 수 있다. 상기 신호 대 잡음비가 상기 신호 대 잡음비 역치보다 낮다는 것은 상기 신호 대 잡음비가 상기 제1 신호 대 잡음비 임계값보다 낮은 것을 포함할 수 있다.
상기 방법(P200)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 더 포함할 수 있다.
S240: 상기 타깃 오디오 처리 모드를 통해 상기 마이크 신호를 처리하여 타깃 오디오를 생성함으로써 적어도 상기 마이크 신호에서의 에코를 저하시킨다. 구체적으로, 단계(S240)는 아래 경우에서의 하나를 포함할 수 있다.
S242: 상기 제어 신호를 상기 제1 제어 신호로 결정하고, 상기 제1 모드(1)를 선택하며, 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 제1 타깃 오디오(291)를 생성한다. 구체적으로, 단계(S242)는 단계(S142)와 일치할 수 있는 바, 여기서 더 이상 설명하지 않는다.
S244: 상기 제어 신호를 상기 제2 제어 신호로 결정하고, 상기 제2 모드(2)를 선택하며, 상기 제2 오디오 신호(245)에 대해 에코 억제를 진행하여 제2 타깃 오디오(292)를 생성한다. 구체적으로, 단계(S244)는 단계(S144)와 일치할 수 있는 바, 여기서 더 이상 설명하지 않는다.
S260: 상기 타깃 오디오를 출력한다. 구체적으로, 단계(S260)는 단계(S160)와 일치할 수 있는 바, 여기서 더 이상 설명하지 않는다.
상기 방법(P200)은 아래 단계를 더 포함할 수 있다.
S280: 상기 제어 신호에 기반하여 상기 스피커(280)의 상기 스피커 입력 신호의 강도를 제어한다. 구체적으로, 단계(S280)는 단계(S180)와 일치할 수 있는 바, 여기서 더 이상 설명하지 않는다.
표 2는 도 6과 대응하는 타깃 오디오 처리 모드의 결과도를 표시한다. 표 2에 표시된 바와 같이, 대조의 편리를 위하여 우리는 시나리오를 8개의 시나리오로 분류하는데, 각각 첫 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 작은 것; 두 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 작은 것; 세 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 작은 것; 및 네 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 작은 것; 다섯 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 큰 것; 여섯 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 큰 것; 일곱 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 큰 것; 및 여덟 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 큰 것이다. 여기서, 근단 소리 신호가 역치보다 큰지 여부는 제어 모듈(231)을 통해 상기 마이크 신호에 근거하여 판정할 수 있다. 근단 소리 신호가 역치보다 크다는 것은 사용자(002)가 발송한 오디오 신호 강도가 기설정된 역치를 초과하는 것일 수 있다. 상기 8개의 시나리오와 대응하는 타깃 오디오 처리 모드는 각각 다섯 번째와 여섯 번째가 제1 모드(1)에 대응하고; 세 번째, 네 번째, 일곱 번째 및 여덟 번째가 제2 모드(2)에 대응하며; 나머지 시나리오가 제1 모드(1) 또는 제2 모드(2)에 대응하는 것이다.
근단 소리 신호가 역치보다 작고, 스피커 신호가 스피커 역치보다 낮음 근단 소리 신호가 역치보다 크고, 스피커 신호가 스피커 역치보다 낮음 근단 소리 신호가 역치보다 작고, 스피커 신호가 스피커 역치보다 높음 근단 소리 신호가 역치보다 크고, 스피커 신호가 스피커 역치보다 높음
소음이 작음 1 또는 2 1 또는 2 2 2
소음이 작음 1 1 2 2
상기 방법(P200)은 스피커 신호에 근거하여 전자기기(200)의 상기 타깃 오디오 처리 모드를 제어할 뿐만 아니라 근단의 환경 소음 신호에 근거하여 상기 타깃 오디오 처리 모드를 제어함으로써, 상이한 시나리오에서 전자기기(200)가 출력한 음성 신호의 음성 품질이 모두 최적하도록 담보하여 통화 품질을 담보할 수 있다.
일부 실시예에서, 상기 타깃 오디오 처리 모드의 선택은 상기 스피커 신호의 에코 및 환경 소음과 연관될 뿐만 아니라 사용자(002)가 말할 때의 음성 신호와 연관될 수 있다. 상기 환경 소음 신호는 상기 마이크 신호에서의 환경 소음 레벨 및 신호 대 잡음비에서의 적어도 하나를 통해 평가될 수 있다. 사용자(002)가 말할 때의 음성 신호는 상기 마이크 신호에서의 육성 신호 강도를 통해 평가될 수 있다. 상기 육성 신호 강도는 소음 추정 알고리즘을 통해 얻은 육성 신호 강도일 수 있고, 상기 육성 신호 강도는 또 소음 저감 처리를 거쳐 얻은 오디오 신호의 강도일 수도 있다.
도 7은 본 명세서의 실시예에 따라 제공한 에코 억제를 위한 오디오 신호 처리 방법(P300) 흐름도를 도시한다. 상기 방법(P300)은 시스템(100)이 상기 스피커 신호의 신호 강도 및 상기 마이크 신호에 근거하여 전자기기(200)의 타깃 오디오 처리 모드를 선택하는 방법 흐름도이다. 구체적으로, 상기 방법(P300)은 시스템(100)이 상기 스피커 신호, 상기 마이크 신호에서의 육성 신호 강도 및 환경 소음 레벨과 신호 대 잡음비에서의 적어도 하나에 근거하여 상기 타깃 오디오 처리 모드를 선택하는 방법 흐름도이다. 상기 방법(P300)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 포함할 수 있다.
S320: 적어도 상기 스피커 신호에 기반하여 제1 모드(1) 및 제2 모드(2)에서 전자기기(200)의 타깃 오디오 처리 모드를 선택한다. 구체적으로, 단계(S320)는 아래 단계를 포함할 수 있다.
S322: 적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성한다. 상기 제어 신호는 제1 제어 신호 또는 제2 제어 신호를 포함한다. 단계(S320)는 전자기기(200)가 상기 스피커 신호의 강도, 상기 마이크 신호에서의 소음 및 상기 마이크 신호에서의 육성 신호 강도에 기반하여 대응하는 제어 신호를 생성하는 것일 수 있다. 구체적으로, 단계(S322)는 아래 단계를 포함할 수 있다.
S322-2: 상기 스피커 신호와 상기 마이크 신호의 평가 파라미터를 획득한다. 여기서, 상기 평가 파라미터는 상기 마이크 신호에서의 환경 소음 평가 파라미터를 포함할 수 있고, 상기 마이크 신호에서의 육성 신호 강도를 더 포함할 수 있다. 상기 환경 소음 평가 파라미터는 환경 소음 레벨 및 신호 대 잡음비에서의 적어도 하나를 포함할 수 있다. 전자기기(200)는 제어 모듈(231)을 통해 상기 마이크 신호에서의 환경 소음 평가 파라미터 및 육성 신호 강도를 획득할 수 있다. 구체적으로, 전자기기(200)는 제1 오디오 신호(243) 및 제2 오디오 신호(245)에서의 적어도 하나에 근거하여 상기 평가 파라미터를 획득할 수 있다. 전자기기(200)는 소음 추정 알고리즘을 통해 상기 육성 신호 및 상기 환경 소음 레벨과 상기 신호 대 잡음비를 획득할 수 있으며, 본 명세서는 여기서 더 이상 설명하지 않는다.
S322-4: 상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성한다. 구체적으로, 전자기기(200)는 상기 스피커 신호의 강도와 기설정된 스피커 역치를 비교하고, 상기 환경 소음 평가 파라미터와 기설정된 소음 평가 범위를 비교하며, 및 상기 육성 신호 강도와 기설정된 육성 역치를 비교하고, 비교결과에 근거하여 상기 제어 신호를 생성할 수 있다. 단계(S322-4)는 아래 경우에서의 하나를 포함할 수 있다.
S322-5: 상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하며;
S322-6: 상기 스피커 신호의 강도가 상기 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제2 제어 신호를 생성하며;
S322-7: 상기 스피커 신호의 강도가 상기 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치보다 낮다고 결정하고 상기 제2 제어 신호를 생성하며;
S322-8: 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하며;
S322-9: 상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성한다.
상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓이는 단계는, 상기 환경 소음 레벨이 기설정 환경 소음 역치보다 낮은 단계, 및 상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 높은 단계에서의 적어도 하나를 포함할 수 있다. 이때의 환경 소음은 작다. 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓인다는 것은, 상기 환경 소음 레벨이 기설정 환경 소음 역치보다 높은 것, 및 상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 낮은 것에서의 적어도 하나를 포함할 수 있다. 이때의 환경 소음은 크다. 여기서, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓일 경우, 즉 큰 소음 환경에서, 상기 제1 타깃 오디오(291)의 음성 품질은 상기 제2 타깃 오디오(292)보다 우수하다. 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓일 경우, 상기 제1 타깃 오디오(291)의 음성 품질은 상기 제2 타깃 오디오(292)의 음성 품질과 큰 차이가 없다. 상기 스피커 역치, 상기 환경 소음 역치 및 상기 신호 대 잡음비 역치는 상술한 바와 같은 바, 여기서 더 이상 설명하지 않는다.
여기서, 상기 육성 신호 강도가 상기 육성 역치를 초과한다는 것은 사용자(002)가 말을 하고 있다는 것을 설명한다. 이때, 사용자(002)의 음성 품질을 담보하기 위하여, 전자기기(200)는 상기 제1 제어 신호를 생성하고, 상기 스피커 신호를 저하시켜 상기 제1 타깃 오디오(292)의 음성 품질을 담보할 수 있다.
상기 스피커 역치, 상기 환경 소음 역치, 상기 신호 대 잡음비 역치 및 상기 육성 역치는 전자기기(200)에 미리 저장될 수 있다.
단계(S320)는 아래 단계를 더 포함할 수 있다.
S324: 상기 제어 신호에 기반하여 상기 제어 신호와 대응하는 상기 타깃 오디오 처리 모드를 선택한다. 여기서, 상기 제1 제어 신호는 상기 제1 모드(1)와 대응한다. 상기 제2 제어 신호는 상기 제2 모드(2)와 대응한다. 상기 제어 신호가 상기 제1 제어 신호일 경우, 제1 모드(1)를 선택하고; 상기 제어 신호가 상기 제2 제어 신호일 경우, 제2 모드(2)를 선택한다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 높고 상기 육성 신호 강도가 상기 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓일 경우, 이는 이때 사용자(002)가 말을 하고 있고, 에코가 크며, 소음도 크다는 것을 증명한다. 사용자(002)의 음성 품질 및 요해도를 담보하기 위하여, 전자기기(200)는 상기 마이크 신호에서의 에코를 저하시키도록 스피커(280)에 입력되는 스피커 입력 신호를 저하시키거나 심지어 오프시켜 타깃 오디오의 음성 품질을 담보한다. 이때, 제1 모드(1)에서의 제1 알고리즘(233-1)이 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제1 타깃 오디오(291)의 음성 품질은, 제2 모드(2)에서의 제2 알고리즘(233-8)이 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 제2 타깃 오디오(292)보다 더 낫다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 높고 상기 육성 신호 강도가 상기 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓일 경우, 전자기기(200)는 제1 모드(1)와 대응하는 상기 제1 제어 신호를 생성한다. 이러한 경우, 전자기기(200)는 근단 사용자(002)의 음성 품질의 요해도를 담보할 수 있다. 비록 스피커 입력 신호는 일부가 결여되지만 전자기기(200)는 스피커 입력 신호의 대부분 음성 품질과 요해도를 보류하여 양쪽의 음성 통신 품질을 향상시킬 수 있다.
상기 스피커 신호의 강도가 상기 스피커 역치보다 높고 상기 육성 신호 강도가 상기 육성 역치보다 낮거나 또는 상기 육성 신호 강도가 상기 육성 역치를 초과하고, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 내에 놓일 경우, 이는 이때 사용자(002)가 말을 하지 않거나, 또는 사용자(002)가 말을 하고 있으나 소음이 작다는 것을 증명한다. 이때, 제1 모드(1)에서의 제1 알고리즘(233-1)이 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 상기 제1 타깃 오디오(291)의 음성 품질은, 제2 모드(2)에서의 제2 알고리즘(233-8)이 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 얻은 제2 타깃 오디오(292)보다 약하다. 따라서, 상기 스피커 신호의 강도가 상기 스피커 역치보다 높고 상기 육성 신호 강도가 상기 육성 역치보다 낮거나 또는 상기 육성 신호 강도가 상기 육성 역치를 초과하고, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 내에 놓일 경우, 전자기기(200)는 제2 모드(2)와 대응하는 상기 제2 제어 신호를 생성한다.
단계(S322-4)에서의 기타 경우는 단계(S222-4)와 기본적으로 일치한 바, 여기서 더 이상 설명하지 않는다.
상기 제어 신호는 제어 모듈(231)에 의해 생성된다. 구체적으로, 전자기기(200)는 상기 스피커 신호의 강도 및 상기 평가 파라미터를 실시간으로 모니터링할 수 있고, 상기 스피커 역치, 상기 소음 평가 범위 및 상기 육성 역치와 비교할 수 있다. 전자기기(200)는 또 시간을 정하고 상기 스피커 신호의 강도 및 상기 평가 파라미터를 검출할 수 있고, 상기 스피커 역치, 상기 소음 평가 범위 및 상기 육성 역치와 비교할 수 있다. 전자기기(200)는 또 상기 스피커 신호의 강도 또는 상기 평가 파라미터에 뚜렷한 변화가 발생하는 것을 모니터링할 수 있고, 변화값이 기설정 범위를 초과할 때 다시 상기 스피커 신호 및 상기 평가 파라미터를 상기 스피커 역치, 상기 소음 평가 범위 및 상기 육성 역치와 비교할 수 있다.
상기 방법(P300)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 더 포함할 수 있다.
S340: 상기 타깃 오디오 처리 모드를 통해 상기 마이크 신호를 처리하여 상기 타깃 오디오를 생성함으로써 적어도 상기 마이크 신호에서의 에코를 저하시킨다. 구체적으로, 단계(S340)는 아래 경우에서의 하나를 포함할 수 있다.
S342: 상기 제어 신호를 상기 제1 제어 신호로 결정하고, 상기 제1 모드(1)를 선택하며, 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 제1 타깃 오디오(291)를 생성한다. 구체적으로, 단계(S342)는 단계(S142)와 일치한 바, 여기서 더 이상 설명하지 않는다.
S344: 상기 제어 신호를 상기 제2 제어 신호로 결정하고, 상기 제2 모드(2)를 선택하며, 상기 제2 오디오 신호(245)에 대해 신호 처리를 진행하여 제2 타깃 오디오(292)를 생성한다. 구체적으로, 단계(S344)는 단계(S144)와 일치한 바, 여기서 더 이상 설명하지 않는다.
상기 방법(P300)은 적어도 하나의 프로세서(220)를 통해 수행하는 아래 단계를 더 포함할 수 있다.
S360: 상기 타깃 오디오를 출력한다. 구체적으로, 단계(S360)는 단계(S160)와 일치한 바, 여기서 더 이상 설명하지 않는다.
상기 방법(P300)은 아래 단계를 더 포함할 수 있다.
S380: 상기 제어 신호에 기반하여 상기 스피커(280)의 상기 스피커 입력 신호의 강도를 제어한다. 구체적으로, 단계(S380)는 단계(S180)와 일치한 바, 여기서 더 이상 설명하지 않는다.
표 3는 도 7과 대응하는 타깃 오디오 처리 모드의 결과도를 표시한다. 표 3에 표시된 바와 같이, 대조의 편리를 위하여 우리는 시나리오를 8개의 시나리오로 분류하는데, 각각 첫 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 작은 것; 두 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 작은 것; 세 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 작은 것; 및 네 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 작은 것; 다섯 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 큰 것; 여섯 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하지 않으며, 환경 소음이 큰 것; 일곱 번째: 근단 소리 신호가 역치보다 작고(예를 들면 사용자(002)가 소리를 내지 않음), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 큰 것; 및 여덟 번째: 근단 소리 신호가 역치보다 크고(예를 들면 사용자(002)가 소리를 냄), 상기 스피커 신호가 상기 스피커 역치를 초과하며, 환경 소음이 큰 것이다. 여기서, 근단 소리 신호가 역치보다 큰지 여부는 제어 모듈(231)을 통해 상기 마이크 신호에 근거하여 판정할 수 있다. 근단 소리 신호가 역치보다 크다는 것은 사용자(002)가 발송한 오디오 신호 강도가 기설정된 역치를 초과하는 것일 수 있다. 상기 8개의 시나리오와 대응하는 타깃 오디오 처리 모드는 각각 다섯 번째, 여섯 번째 및 여덟 번째가 제1 모드(1)에 대응하고; 세 번째, 네 번째 및 일곱 번째가 제2 모드(2)에 대응하며; 나머지 시나리오가 제1 모드(1) 또는 제2 모드(2)에 대응하는 것이다.
근단 소리 신호가 역치보다 작고, 스피커 신호가 스피커 역치보다 낮음 근단 소리 신호가 역치보다 크고, 스피커 신호가 스피커 역치보다 낮음 근단 소리 신호가 역치보다 작고, 스피커 신호가 스피커 역치보다 높음 근단 소리 신호가 역치보다 크고, 스피커 신호가 스피커 역치보다 높음
소음이 작음 1 또는 2 1 또는 2 2 2
소음이 작음 1 1 2 1
설명해야 할 것은, 방법(P200)과 방법(P300)은 상이한 응용 시나리오에 적용된다. 스피커 신호가 근단 음성 품질보다 중요한 시나리오에서는, 스피커 신호의 품질 및 스피커 신호의 요해도를 담보하기 위하여 방법(P200)을 선택할 수 있다. 근단 음성 품질이 스피커 신호보다 중요한 시나리오에서는, 근단 음성의 음성 품질과 요해도를 담보하기 위하여 방법(P300)을 선택할 수 있다.
상술한 내용을 종합하면, 시스템(100), 상기 방법(P100), 상기 방법(P200) 및 상기 방법(P300)은 상이한 시나리오에 대하여, 스피커 신호에 근거하여 전자기기(200)의 타깃 오디오 처리 모드를 제어함으로써 전자기기(200)의 음원 신호를 제어하여 임의의 시나리오에서의 타깃 오디오의 음성 품질이 모두 최적하도록 함으로써 음성 통신의 품질을 향상시킬 수 있다.
설명해야 할 것은, 환경 소음의 신호 강도는 각 주파수에서 상이하다. 상이한 주파수에서, 상기 제1 타깃 오디오(291) 및 상기 제2 타깃 오디오(292)의 음성 품질도 상이하다. 예를 들면, 제1 주파수에서, 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)가 제1 알고리즘(233-1)을 거쳐 신호 처리된 후 얻은 상기 제1 타깃 오디오(291)의 음성 품질은, 상기 제2 오디오 신호(245)가 제2 알고리즘(233-8)을 거쳐 신호 처리된 후 얻은 제2 타깃 오디오(292)의 음성 품질보다 우수하다. 그러나 상기 제1 주파수를 제외한 기타 주파수에서, 상기 제1 오디오 신호(243) 및 제2 오디오 신호(245)가 제1 알고리즘(233-1)을 거쳐 신호 처리된 후 얻은 상기 제1 타깃 오디오(291)의 음성 품질은, 상기 제2 오디오 신호(245)가 제2 알고리즘(233-8)을 거쳐 신호 처리된 후 얻은 제2 타깃 오디오(292)의 음성 품질과 비슷하다. 이때, 전자기기(200)는 또 상기 환경 소음의 주파수에 근거하여 상기 제어 신호를 생성할 수 있다. 상기 제1 주파수에서 상기 제1 제어 신호를 생성하고, 상기 제1 주파수를 제외한 기타 주파수에서 상기 제2 제어 신호를 생성한다.
상기 환경 소음이 저주파 소음일 경우(예를 들면 지하철, 대중교통 등 일부 경우), 이때에 1 오디오 신호(243) 및 제2 오디오 신호(245)가 제1 알고리즘(233-1)의 신호 처리에 의해 얻은 제1 타깃 오디오(291)가 저주파에서의 음성 신호 품질이 나쁠 수 있는 바, 즉 제1 타깃 오디오(291)가 저주문서 때의 음성 요해도는 나쁠 수 있고, 고주문서 때의 음성 요해도는 높다. 이때, 전자기기(200)는 상기 환경 소음의 주파수에 근거하여 타깃 오디오 처리 모드의 선택을 제어할 수 있다. 예를 들면, 저주파 범위 내에서, 전자기기(200)는 상기 방법(P300)을 선택하여 상기 타깃 오디오 처리 모드를 제어함으로써 근단 사용자(002)의 음성이 픽업되도록 담보하여 근단 음성 품질을 담보하며; 고주파 범위 내에서, 전자기기(200)는 상기 방법(P200)을 선택하여 상기 타깃 오디오 처리 모드를 제어함으로써 근단 사용자(002)가 상기 스피커 신호를 들을 수 있도록 담보할 수 있다.
본 명세서의 다른 양태는, 음원 신호에 기반하여 제어하는 한 그룹의 실행 가능 명령어가 저장되는 비일시적 저장매체를 제공하는데, 상기 실행 가능 명령어가 프로세서에 의해 실행될 경우, 상기 실행 가능 명령어는 상기 프로세서로 하여금 본 명세서에 따른 에코 억제를 위한 오디오 신호 처리 방법의 단계를 실시하도록 지도한다. 일부 가능한 실시형태에서, 본 명세서의 각 양태는 한 가지 프로그램 제품의 형태로 구현될 수도 있는데, 이는 프로그램 코드를 포함한다. 상기 프로그램 제품이 전자기기(200)에서 운행될 경우, 상기 프로그램 코드는 전자기기(200)로 하여금 본 명세서에서 설명하는 음원 신호에 기반하여 제어하는 단계를 수행하도록 한다. 상기 방법을 구현하는 프로그램 제품은 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM)를 사용하여 프로그램 코드를 포함할 수 있고, 전자기기(200)에서 운행될 수 있다. 그러나, 본 명세서의 프로그램 제품은 이에 한정되지 않는 바, 본 명세서에서, 판독 가능 저장매체는 프로그램을 포함하거나 저장한 임의의 유형 매체일 수 있고, 이 프로그램은 명령어 실행 시스템(예컨대 프로세서(220))에 의해 사용되거나 또는 이와 결합하여 사용될 수 있다. 상기 프로그램 제품은 하나 또는 다수의 판독 가능 매체의 임의의 조합을 사용할 수 있다. 판독 가능 매체는 판독 가능 신호 매체 또는 판독 가능 저장매체일 수 있다. 판독 가능 저장매체는 예컨대 전기, 자기, 빛, 전자기, 적외선 또는 반도체의 시스템, 장치 또는 소자, 또는 임의의 이상의 조합일 수 있으나 이에 한정되지 않는다. 판독 가능 저장매체의 보다 구체적인 예는, 하나 또는 다수의 도선을 구비하는 전기적 연결, 휴대용 디스크, 하드 디스크, 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 및 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유, 휴대용 컴팩트 디스크 읽기 전용 메모리(CD-ROM), 광학 저장 소자, 자기 저장 소자, 또는 상술한 임의의 적합한 조합을 포함한다. 상기 컴퓨터 판독 가능 저장매체는 베이스밴드에 포함되거나 또는 반송파로서 일부 전파되는 데이터 신호에 포함될 수 있고, 여기에는 판독 가능 프로그램 코드가 로딩된다. 이러한 전파된 데이터 신호는 여러 가지 형태를 사용할 수 있으며, 전자기 신호, 광신호 또는 상술한 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 판독 가능 저장매체는 판독 가능 저장매체를 제외한 임의의 판독 가능 매체일 수도 있으며, 이 판독 가능 매체는 명령어 실행 시스템, 장치 또는 소자가 사용하거나 또는 이와 결합하여 사용하는 프로그램을 송신, 전파 또는 전송할 수 있다. 판독 가능 저장매체에 포함되는 프로그램 코드는 임의의 적당한 매체로 전송할 수 있으며, 무선, 유선, 광케이블, RF 등, 또는 상술한 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 한 가지 또는 여러 가지 프로그래밍 언어의 임의의 조합으로 본 명세서의 동작을 실행하기 위한 프로그램 코드를 작성할 수 있고, 상기 프로그래밍 언어는 Java, C++ 등과 같은 오브젝트를 향한 프로그래밍 언어를 포함하며, "C"언어 또는 유사한 프로그래밍 언어와 같은 일반적인 절차적 프로그래밍 언어를 더 포함한다. 프로그램 코드는 완전히 전자기기(200)에서 실행될 수 있고, 일부가 전자기기(200)에서 실행될 수도 있으며, 하나의 독립적인 소프트웨어 패키지로서 실행될 수도 있고, 일부는 전자기기(200)에서, 일부는 원격 컴퓨팅 기기에서 실행되거나, 또는 완전히 원격 컴퓨팅 기기에서 실행될 수 있다.
이상 본 명세서의 특정된 실시예를 설명하였다. 기타 실시예는 첨부된 청구범위의 범위 내에 있다. 일부 경우에 청구범위에 기재된 동작 또는 단계는 실시예에서의 순서와 상이하게 수행될 수 있고 여전히 원하는 결과를 실현할 수 있다. 이 외에, 도면에서 설명한 과정은 특정된 순서 또는 연속적인 순서를 도시하여야만 원하는 결과를 실현할 수 있는 것이 아닐 수 있다. 일부 실시형태에서, 멀티태스킹과 병렬 처리도 가능하거나 또는 유리할 수 있다.
상술한 내용을 종합하면, 상세하게 개시된 본 내용을 읽은 뒤, 당업자는 상기 상세하게 개시된 내용이 단지 예시적인 방식으로 나타냈을 뿐 한정적인 것이 아닐 수 있다는 것을 알 수 있다. 비록 여기서 분명히 설명하지 않았으나 당업자는 본 명세서가 실시예에 대한 여러 가지 합리적인 변화, 개선 및 수정을 포괄해야 한다는 것을 이해할 수 있다. 이러한 변화, 개선 및 수정은 본 명세서에 의해 제안된 것으로, 본 명세서의 예시적인 실시예의 정신과 범위 내에 놓인다.
이 밖에, 본 명세서에서의 일부 용어는 본 명세서의 실시예를 설명하는데 사용되었다. 예컨대, "하나의 실시예", "실시예" 및/또는 "일부 실시예"는 이 실시예와 결부하여 설명한 특정된 특징, 구조 또는 특성이 본 명세서의 적어도 하나의 실시예에 포함될 수 있다는 것을 의미한다. 따라서, 강조하고 이해해야 할 것은, 본 명세서의 각 부분에서 "실시예" 또는 "하나의 실시예" 또는 "대체 실시예"의 둘 또는 더 많은 인용이 모두 동일한 실시예를 대신 지칭하는 것이 아닐 수 있다. 이 밖에, 특정된 특징, 구조 또는 특성은 본 명세서의 하나 또는 다수의 실시예에서 적당하게 조합될 수 있다.
이해해야 할 것은, 본 명세서의 실시예의 전술한 설명에서, 하나의 특징에 대한 이해를 돕기 위하여 본 명세서를 간략시킬 목적으로 본 명세서는 여러 가지 특징을 단일한 실시예, 도면 또는 이의 설명에 조합한다. 그러나, 이는 이러한 특징의 조합이 필수적이라는 것을 설명하지 않으며, 당업자는 본 명세서를 읽을 때 그 중의 일부 특징을 추출하여 단독적인 실시예로 이해할 수 있다. 바꾸어 말하면, 본 명세서에서의 실시예는 다수의 이차적인 실시예의 통합으로 이해할 수도 있다. 각 이차적인 실시예의 내용은 단일한 상기 개시된 실시예의 모든 특징보다 적을 때에도 성립될 수 있다.
본 문장에서 사용하는 각 특허, 특허 출원, 특허 출원의 출판물 및 기타 재료, 예컨대 문장, 서적, 명세서, 출판물, 파일, 물품 등은 인용을 통해 여기에 결합될 수 있다. 모든 목적을 위한 전부의 내용은 이와 관련되는 어떠한 기소 파일 기록을 제외하고, 본 파일과 일치하지 않거나 또는 서로 충돌하는 임의의 동일하거나 또는 청구범위의 제일 넓은 범위에 한정적인 영향을 미칠 수 있는 임의의 동일한 기소 파일 기록에 사용된다. 현재 또는 나중에 본 파일과 연관된다. 예를 들어 설명하면, 만약 포함된 임의의 재료와 연관되는 용어의 설명, 정의 및/또는 본 문서와 연관되는 용어, 설명, 정의를 사용하거나 및/또는 사이에 임의의 불일치 또는 충돌이 존재하면 본 파일에서의 용어를 사용하는 것을 기준으로 한다.
마지막으로, 본 문장에서 개시한 출원의 실시형태는 본 명세서의 실시형태의 원리에 대한 설명이라는 것을 이해해야 한다. 기타 수정된 실시예도 본 명세서의 범위 내에 있다. 따라서, 본 명세서가 개시한 실시예는 단지 예시일 뿐 한정이 아니다. 당업자는 본 명세서의 실시예에 따른 대체 구성을 사용하여 본 명세서의 출원을 구현할 수 있다. 따라서, 본 명세서의 실시예는 출원에서 정확하게 설명된 실시예에 한정되지 않는다.

Claims (17)

  1. 적어도 스피커 신호에 기반하여 다수의 오디오 처리 모드로부터 전자기기의 타깃 오디오 처리 모드를 선택하되, 상기 스피커 신호는 제어기기가 상기 전자기기에 송신한 오디오 신호인 단계;
    상기 타깃 오디오 처리 모드를 통해 마이크 신호를 처리하여 타깃 오디오를 생성함으로써 적어도 상기 타깃 오디오에서의 에코를 저하시키되, 상기 마이크 신호는 상기 전자기기가 획득한 마이크 모듈의 출력 신호이고, 상기 마이크 모듈은 적어도 하나의 제1 유형의 마이크 및 적어도 하나의 제2 유형의 마이크를 포함하는 단계; 및
    상기 타깃 오디오 신호를 출력하는 단계를 포함하는 것을 특징으로 하는 에코 억제를 위한 오디오 신호 처리 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 제1 유형의 마이크는 제1 오디오 신호를 출력하고; 및
    상기 적어도 하나의 제2 유형의 마이크는 제2 오디오 신호를 출력하며,
    여기서, 상기 마이크 신호는 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 제1 유형의 마이크는 인체 진동 신호를 수집하고; 및
    상기 적어도 하나의 제2 유형의 마이크는 공기 진동 신호를 수집하는 것을 특징으로 하는 오디오 신호 처리 방법.
  4. 제2항에 있어서,
    상기 다수의 오디오 처리 모드는 적어도,
    상기 제1 오디오 신호 및 상기 제2 오디오 신호에 대해 신호 처리를 진행하는 제1 모드; 및
    상기 제2 오디오 신호에 대해 신호 처리를 진행하는 제2 모드를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  5. 제4항에 있어서,
    적어도 스피커 신호에 기반하여 다수의 오디오 처리 모드로부터 전자기기의 타깃 오디오 처리 모드를 선택하는 상기 단계는,
    적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하되, 상기 제어 신호는 제1 제어 신호 또는 제2 제어 신호를 포함하는 단계; 및
    상기 제어 신호에 기반하여 상기 제어 신호와 대응하는 타깃 오디오 처리 모드를 선택하되, 여기서, 상기 제1 모드는 상기 제1 제어 신호와 대응하고, 상기 제2 모드는 상기 제2 제어 신호와 대응하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  6. 제5항에 있어서,
    적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하는 상기 단계는,
    상기 스피커 신호의 강도가 기설정된 스피커 역치보다 낮다고 결정하고 상기 제1 제어 신호를 생성하는 단계; 또는
    상기 스피커 신호의 강도가 상기 스피커 역치보다 높다고 결정하고 상기 제2 제어 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  7. 제5항에 있어서,
    적어도 상기 스피커 신호의 강도에 기반하여 상기 스피커 신호와 대응하는 제어 신호를 생성하는 상기 단계는,
    상기 스피커 신호의 강도 및 상기 마이크 신호에 기반하여 대응하는 제어 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  8. 제7항에 있어서,
    상기 스피커 신호의 강도 및 상기 마이크 신호에 기반하여 대응하는 제어 신호를 생성하는 상기 단계는,
    상기 마이크 신호의 평가 파라미터를 획득하되, 상기 평가 파라미터는 환경 소음 평가 파라미터를 포함하고, 상기 환경 소음 평가 파라미터는 환경 소음 레벨 및 신호 대 잡음비에서의 적어도 하나를 포함하는 단계; 및
    상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  9. 제8항에 있어서,
    상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성하는 상기 단계는,
    상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높다고 결정하고 상기 제2 제어 신호를 생성하는 경우;
    상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하는 경우; 및
    상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 경우에서의 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  10. 제9항에 있어서,
    상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓이는 경우는,
    상기 환경 소음 레벨이 기설정 환경 소음 역치보다 낮은 경우; 및
    상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 높은 경우에서의 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  11. 제8항에 있어서,
    상기 평가 파라미터는 육성 신호 강도를 더 포함하고, 상기 스피커 신호의 강도 및 상기 평가 파라미터에 기반하여 상기 제어 신호를 생성하는 상기 단계는,
    상기 스피커 신호의 강도가 기설정된 스피커 역치보다 높고, 상기 육성 신호 강도가 기설정 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 기설정된 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하는 경우;
    상기 스피커 신호의 강도가 상기 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치를 초과하며, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제2 제어 신호를 생성하는 경우;
    상기 스피커 신호의 강도가 상기 스피커 역치보다 높고, 상기 육성 신호 강도가 상기 육성 역치보다 낮다고 결정하고 상기 제2 제어 신호를 생성하는 경우;
    상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 밖에 놓인다고 결정하고 상기 제1 제어 신호를 생성하는 경우; 및
    상기 스피커 신호의 강도가 상기 스피커 역치보다 낮고, 상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓인다고 결정하고 상기 제1 제어 신호 또는 상기 제2 제어 신호를 생성하는 경우에서의 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  12. 제11항에 있어서,
    상기 환경 소음 평가 파라미터가 상기 소음 평가 범위 내에 놓이는 경우는,
    상기 환경 소음 레벨이 기설정 환경 소음 역치보다 낮은 경우; 및
    상기 신호 대 잡음비가 기설정 신호 대 잡음비 역치보다 높은 경우에서의 적어도 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  13. 제5항에 있어서,
    타깃 오디오를 생성하는 상기 단계는,
    상기 제1 모드에서의 제1 알고리즘을 통해 상기 제1 오디오 신호 및 상기 제2 오디오 신호에 대해 신호 처리를 진행하여 제1 타깃 오디오를 생성하는 단계; 또는
    상기 제2 모드에서의 제2 알고리즘을 통해 상기 제2 오디오 신호에 대해 신호 처리를 진행하여 제2 타깃 오디오를 생성하는 단계를 포함하는데,
    여기서, 상기 타깃 오디오는 상기 제1 타깃 오디오 및 상기 제2 타깃 오디오에서의 하나를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  14. 제13항에 있어서,
    상기 타깃 오디오를 출력하는 상기 단계는,
    상기 타깃 오디오에 대해 평활 처리를 진행하되, 상기 타깃 오디오가 상기 제1 타깃 오디오 및 상기 제2 타깃 오디오 사이에서 전환될 경우, 상기 제1 타깃 오디오 및 상기 제2 타깃 오디오의 연결된 곳에 대해 상기 평활 처리를 진행하는 단계; 및
    상기 평활 처리를 거친 상기 타깃 오디오를 출력하는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  15. 제5항에 있어서,
    상기 방법은,
    상기 제어 신호에 기반하여 상기 스피커의 스피커 입력 신호의 강도를 제어하는 단계를 더 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  16. 제15항에 있어서,
    상기 제어 신호에 기반하여 상기 스피커의 스피커 입력 신호의 강도를 제어하는 상기 단계는,
    상기 제어 신호를 상기 제1 제어 신호로 결정하고, 상기 스피커에 입력하는 상기 스피커 입력 신호의 강도를 저하시켜 상기 스피커가 출력하는 소리의 강도를 저하시키는 단계를 포함하는 것을 특징으로 하는 오디오 신호 처리 방법.
  17. 적어도 하나의 명령의 집합이 저장되어 에코 억제를 위한 오디오 신호 처리에 사용되는 적어도 하나의 저장매체; 및
    상기 적어도 하나의 저장매체와 통신 연결하는 적어도 하나의 프로세서를 포함하는 에코 억제를 위한 오디오 신호 처리 시스템에 있어서,
    상기 시스템이 운행할 경우, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 명령어 집합을 판독하고, 상기 적어도 하나의 명령어 집합의 지시에 근거하여 제1항 내지 제16항 중 어느 한 항에 따른 에코 억제를 위한 오디오 신호 처리 방법을 수행하는 것을 특징으로 하는 에코 억제를 위한 오디오 신호 처리 시스템.
KR1020237018110A 2020-12-28 2020-12-28 에코 억제를 위한 오디오 신호 처리 방법과 시스템 KR20230098282A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/140215 WO2022140928A1 (zh) 2020-12-28 2020-12-28 用于抑制回声的音频信号处理方法和系统

Publications (1)

Publication Number Publication Date
KR20230098282A true KR20230098282A (ko) 2023-07-03

Family

ID=82117732

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237018110A KR20230098282A (ko) 2020-12-28 2020-12-28 에코 억제를 위한 오디오 신호 처리 방법과 시스템

Country Status (6)

Country Link
US (1) US20220208207A1 (ko)
EP (1) EP4270987A1 (ko)
JP (1) JP2023551556A (ko)
KR (1) KR20230098282A (ko)
CN (1) CN116158090A (ko)
WO (1) WO2022140928A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421580B (zh) * 2021-08-23 2021-11-05 深圳市中科蓝讯科技股份有限公司 降噪方法、存储介质、芯片及电子设备
WO2024092453A1 (zh) * 2022-10-31 2024-05-10 北京小米移动软件有限公司 一种风噪测量方法/装置/设备及存储介质
CN116221160A (zh) * 2023-01-06 2023-06-06 歌尔股份有限公司 风扇噪声调整方法、装置、头戴显示设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171003B1 (en) * 2000-10-19 2007-01-30 Lear Corporation Robust and reliable acoustic echo and noise cancellation system for cabin communication
EP1715669A1 (en) * 2005-04-19 2006-10-25 Ecole Polytechnique Federale De Lausanne (Epfl) A method for removing echo in an audio signal
US9711127B2 (en) * 2011-09-19 2017-07-18 Bitwave Pte Ltd. Multi-sensor signal optimization for speech communication
JP6384550B2 (ja) * 2014-10-20 2018-09-05 株式会社村田製作所 無線通信モジュール
US11418874B2 (en) * 2015-02-27 2022-08-16 Harman International Industries, Inc. Techniques for sharing stereo sound between multiple users
US10187504B1 (en) * 2016-09-23 2019-01-22 Apple Inc. Echo control based on state of a device
CN106686496B (zh) * 2016-12-27 2020-04-28 广东小天才科技有限公司 一种可穿戴设备的播放模式控制方法及可穿戴设备
CN107889007B (zh) * 2017-10-27 2020-02-18 恒玄科技(上海)股份有限公司 消除降噪通路对播放声音影响的主动降噪方法及系统
CN110110616A (zh) * 2019-04-19 2019-08-09 出门问问信息科技有限公司 一种电子设备及控制方法

Also Published As

Publication number Publication date
EP4270987A1 (en) 2023-11-01
CN116158090A (zh) 2023-05-23
JP2023551556A (ja) 2023-12-08
WO2022140928A1 (zh) 2022-07-07
US20220208207A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
KR20230098282A (ko) 에코 억제를 위한 오디오 신호 처리 방법과 시스템
CN101903942B (zh) 具有基于噪声水平的增益控制的噪声消除系统
CN111149369B (zh) 头戴式受话器耳上状态检测
CN110475178B (zh) 一种无线耳机降噪方法、装置及无线耳机和存储介质
CN104754436B (zh) 一种主动降噪方法以及降噪耳机
US20150112671A1 (en) Headset Interview Mode
JP2020197712A (ja) コンテキストに基づく周囲音の増強及び音響ノイズキャンセル
US20220335924A1 (en) Method for reducing occlusion effect of earphone, and related apparatus
US20160240185A1 (en) Active noise cancellation in audio output device
US11627421B1 (en) Method for realizing hearing aid function based on bluetooth headset chip and a bluetooth headset
CN112399301B (zh) 耳机及降噪方法
KR20170026786A (ko) 능동 소음 제어 기능을 가지는 스마트 보청기 시스템 및 그 보청기의 제어 장치
CN109314814B (zh) 主动降噪方法及耳机
US20190306608A1 (en) Dynamically adjustable sidetone generation
CN112954530B (zh) 一种耳机降噪方法、装置、系统及无线耳机
CN110012378B (zh) 一种语音降噪的方法、耳塞和计算机存储介质
CN110010117B (zh) 一种语音主动降噪的方法及装置
CN116193311A (zh) 无线耳机的音质优化方法及相关设备、介质和程序产品
CN111083250A (zh) 移动终端及其降噪方法
CN115499744A (zh) 耳机降噪方法及装置、计算机可读存储介质及耳机
EP3416357A1 (en) Terminal audio parameter management method, apparatus and system
CN114697785A (zh) 用于抑制回声的音频信号处理方法和系统
US11463809B1 (en) Binaural wind noise reduction
US20240064478A1 (en) Mehod of reducing wind noise in a hearing device
WO2023070917A1 (zh) 降噪调整方法、耳机及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination