KR20200076127A - 피드백 처리 방법 - Google Patents

피드백 처리 방법 Download PDF

Info

Publication number
KR20200076127A
KR20200076127A KR1020180164888A KR20180164888A KR20200076127A KR 20200076127 A KR20200076127 A KR 20200076127A KR 1020180164888 A KR1020180164888 A KR 1020180164888A KR 20180164888 A KR20180164888 A KR 20180164888A KR 20200076127 A KR20200076127 A KR 20200076127A
Authority
KR
South Korea
Prior art keywords
feedback
vad
result
performance
voice
Prior art date
Application number
KR1020180164888A
Other languages
English (en)
Other versions
KR102167469B1 (ko
Inventor
이만희
Original Assignee
주식회사 이엠텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠텍 filed Critical 주식회사 이엠텍
Priority to KR1020180164888A priority Critical patent/KR102167469B1/ko
Publication of KR20200076127A publication Critical patent/KR20200076127A/ko
Application granted granted Critical
Publication of KR102167469B1 publication Critical patent/KR102167469B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/45—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback
    • H04R25/453—Prevention of acoustic reaction, i.e. acoustic oscillatory feedback electronically
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 음향 신호에 피드백의 발생 여부를 보다 정확하게 판단하여 제거할 수 있는 피드백 처리 방법에 관한 것이다.
본 발명인 피드백 처리 방법은 음향 신호를 입력 받는 단계와, 입력된 음향 신호를 프레임 단위로 주파수 영역의 신호로 변환하는 단계와, VAD 과정 및 피드백 확인 과정을 수행하는 단계와, 기저장된 VAD 성능에 따라서, VAD 과정의 음성 판단 결과와 피드백 확인 과정의 피드백 발생 판단 결과 간의 논리 연산을 수행하는 단계와, 논리 연산의 수행 단계에서의 결정된 논리 연산에 따라 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 처리하여 최종 피드백 발생 결과를 판단하는 단계와, 판단 단계의 최종 피드백 발생 결과에 따라 음소거 처리를 수행하는 단계를 포함한다.

Description

피드백 처리 방법{FEEDBACK PROCESSING APPARATUS}
본 발명은 피드백 처리 방법에 관한 것으로, 특히 음향 신호에 피드백의 발생 여부를 보다 정확하게 판단하여 제거할 수 있는 피드백 처리 방법에 관한 것이다.
마이크로폰과 같은 소리 센서를 통하여 입력된 소리를 증폭하여 사용자가 소리를 더 듣기 쉽도록 소리를 출력하는 장치는 기존에 보청기나 확성기 등에 적용되어 널리 이용되어 왔다. 기존의 소리 음량 조절 장치에 있어서 설정된 소리 증폭률에 따라 입력되는 소리를 일률적으로 증폭하는 확성기가 존재한다. 하지만 이와 같은 확성기는 입력되는 모든 소리를 일률적으로 증폭함으로써, 불필요한 노이즈까지 증폭하여 사용자가 청음에 불편을 느끼고 의미 있는 소리를 명확하게 인식하기 어렵도록 하는 문제점이 있다.
또한 기존의 소리 음량 조절 장치로는, 입력된 소리를 가공하여 사용자가 듣기를 원하는 음량으로 소리 크기를 조절하여 출력하는 장치도 존재한다. 예를 들면 보청기와 같은 경우 일률적으로 입력되는 모든 소리를 증폭하는 것이 아니라, 입력된 소리를 주파수 분석하고, 청각에 손실이 발생하여 보상이 필요한 주파수 대역에 해당하는 주파수 성분의 신호를 선택적으로 증폭하는 방식으로 동작한다. 그리고 보다 정확한 음량 조절을 위하여 청각에 손실이 발생한 주파수 대역을 청력검사를 통해 확인하고 장치의 파라미터를 설정한다. 이러한 일단 설정된 파라미터들에 대해서는, 종래 기술은 장치의 성능 개선을 위한 갱신을 수행하는 기술을 제공하고 있지 않다.
도 1은 종래의 피드백 제거 시스템(feedback cancellation system)의 디지털 블록도이다. 도 1의 피드백 제거 시스템은 음성 신호(S(n))와 피드백 경로 블록(F(z))의 출력 신호(v(n))를 합산하는 합산부(101)와, 합산부(101)의 출력 신호를 고속 푸리에 변환(Fast Fourier Transform)을 수행하여 출력값(Y(k))을 출력하는 분석부(102)와, 분석부(102)로부터의 출력값(Y(k))에서 블록(W(z))로부터의 추정값(v(k))을 감산하여 출력값(E(k))(즉, 피드백 값)을 출력하는 감산부(103)와, 감산부(103)로부터의 출력값(E(k))에 게인(gain)을 곱하여 출력값(X(k))을 출력하는 블록(G(z))(104)과, 블록(G(z))의 출력값(X(k))과 감산부(103)로부터의 출력값(E(k))을 입력값으로 하여 피드백 성분을 제거하기 위한 추정값(v(k))을 출력하는 블록(W(z))(105)(피드백 추정 블록)과, 블록(G(z))(104)로부터의 출력값(X(k))을 인버스 고속 푸리에 변환(Inverse Fast Fourier Transform)을 수행하여 출력 신호(x(n))를 출력하는 합성부(106)와, 출력 신호(x(n))을 입력 받아 출력 신호(v(n))를 합산부(101)로 출력하는 피드백 경로 블록(F(z))을 구성된다.
종래의 피드백 제거 시스템은 일정 시간 동안 출력값(E(k))과 X(k)을 수신하여 블록(W(z))에서 처리하여 추정값(V(k))을 출력하여 처리하는 과정에서의 피드백 발생 여부에 대한 판단의 정확성이 중요한 문제이다.
대한민국 공개특허공보 특1999-0046926호 "디지털 보청기 및 디지털 보청기용 난청 보상 방법"
본 발명은 음성 검출의 성능에 따라서 피드백 판정 방법을 상이하게 하여 음향 신호에 피드백의 발생 여부를 보다 정확하게 판단하여 제거할 수 있는 피드백 처리 방법을 제공하는 것을 목적으로 한다.
본 발명인 피드백 처리 방법은 음향 신호를 입력 받는 단계와, 입력된 음향 신호를 프레임 단위로 주파수 영역의 신호로 변환하는 단계와, VAD 과정 및 피드백 확인 과정을 수행하는 단계와, 기저장된 VAD 성능에 따라서, VAD 과정의 음성 판단 결과와 피드백 확인 과정의 피드백 발생 판단 결과 간의 논리 연산을 수행하는 단계와, 논리 연산의 수행 단계에서의 결정된 논리 연산에 따라 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 처리하여 최종 피드백 발생 결과를 판단하는 단계와, 판단 단계의 최종 피드백 발생 결과에 따라 음소거 처리를 수행하는 단계를 포함한다.
또한, 논리 연상의 수행 단계에서 VAD 성능이 기준 성능 이상인 경우, 판단 단계에서 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 OR 연산하고, 결정 단계에서 VAD 성능이 기준 성능 미만인 경우, 판단 단계에서 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 AND 연산하는 것이 바람직하다.
또한, 본 발명인 피드백 처리 방법은 음향 신호를 입력 받는 단계와, 입력된 음향 신호를 프레임 단위로 주파수 영역의 신호로 변환하는 단계와, 기저장된 VAD 성능에 따라서 VAD 과정 및 피드백 확인 과정의 수행 여부를 결정하는 단계와, 결정 단계에서의 결정에 따라, VAD 과정 및 피드백 확인 과정을 수행하거나 VAD 과정 및 피드백 확인 과정 중의 어느 하나의 과정을 우선 수행하고 우선 수행되는 과정의 결과에 따라 남은 과정을 수행하는 단계와, 수행 단계에서, VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과 중의 어느 하나 이상에 따른 최종 피드백 발생 결과를 판단하는 단계와, 판단 단계에서 최종 피드백 발생 결과에 따라 음소거 처리를 수행하는 단계를 포함한다.
또한, 결정 단계에서 VAD 성능이 기준 성능 이상인 경우, 수행 단계에서 VAD 과정 및 피드백 확인 과정 중의 어느 하나의 과정을 우선 수행하고 우선 수행되는 과정의 결과에 따라 남은 과정을 수행하고, 결정 단계에서 VAD 성능이 기준 성능 미만인 경우, 수행 단계에서 VAD 과정 및 피드백 확인 과정을 수행하는 것이 바람직하다.
또한, VAD 과정은 음성 주파수 영역의 에너지의 평균값과 비음성 주파수 영역의 에너지의 평균값을 이용하여 음성 있음 및 음성 없음을 판단하는 것이 바람직하다.
또한, 피드백 확인 과정은 피드백이 발생하는 주파수 대역의 에너지와, 피드백이 발생하는 주파수 대역 이외의 주파수 대역의 에너지를 이용하여 피드백 발생 및 피드백 미발생을 판단하는 것이 바람직하다.
본 발명은 음성 검출의 성능에 따라서 피드백 판정 방법을 상이하게 하여 음향 신호에 피드백의 최종 발생 여부를 보다 정확하게 판단하여 제거할 수 있으며, 피드백 판정 시의 수행되는 과정들을 간소화시킴으로써 연산량 등을 감소시키는 효과가 있다.
도 1은 본 발명인 피드백 처리 방법을 수행하는 전기 기기의 구성도이다.
도 2는 본 발명은 피드백 처리 방법의 순서도이다.
이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명인 피드백 처리 방법을 수행하는 전기 기기의 구성도이다. 전기 기기(10)는 예를 들면, 이어폰, 헤드셋 등과 같은 음향 변환 장치, 보청기 등과 같은 청음 보조 장치 등으로 구현될 수 있으며, 도 1은 전기 기기(10)의 예시에 해당된다.
전기 기기(10)는 외부의 음향을 획득하여 음향 신호로 변환시키는 마이크(1)와, 음향 신호를 인가 받아 음 방출을 수행하는 스피커(3)와, 외부 전기 기기(미도시)와 유선 또는 무선 통신을 수행하는 통신부(5)와, 피드백 처리 알고리즘과 음향 신호를 저장하는 저장부(7)와, 마이크(1)로부터 인가된 음향 신호 또는 통신부(5)로부터 수신된 음향 신호 또는 저장부(7)에 저장된 음향 신호에 대하여 피드백 처리 알고리즘을 수행하여 피드백 처리를 수행하는 데이터 프로세서(9)로 구성된다. 다만, 전원이 필요한 구성요소들에 전원을 공급하는 전원부(미도시), 마이크(1), 스피커(3) 및 통신부(5)가 구비되나, 본 발명이 속하는 기술분야에 익숙한 통상의 기술자에게 당연히 인식되는 기술에 해당되어 그 설명이 생략된다.
저장부(7)는 휘발성 및/또는 비휘발성 메모리 등으로 구현되며, 음향 신호와 피드백 처리 알고리즘, 음성 검출(VAD: Voice Activity Detection) 성능 데이터, 에너지 임계치 등을 저장하며, 피드백 처리 알고리즘에 대한 사항은 하기의 도 2에서 상세하게 설명된다.
VAD 성능 데이터는 데이터 프로세서(9)에 의해 수행되는 음성 검출 기능의 성능에 대한 것으로서, 예를 들면, 음향 신호에 음성이 포함되어 있다고 판단하는 성능이 80%(기준 성능) 이상일 경우에는 고성능으로, 80% 미만인 경우에는 저성능으로 판단된다. 즉, VAD 성능 데이터는 고성능 또는 저성능 중의 어느 하나를 포함한다. 또한, 데이터 프로세서(9)가 통신부(5)를 통하여 외부 전기 기기에 의해 통계적으로 산정된 VAD 성능 데이터를 수신하여 저장부(7)에 저장할 수도 있다.
에너지 임계치는 음향 신호에 피드백이 발생되었는지를 판단하기 위한 기준값으로서, 예를 들면, 음향 신호의 밴드별 에너지 비율이 에너지 임계치보다 크면 피드백이 발생된 것으로 판단된다.
데이터 프로세서(9)는 음향 신호를 입력 신호로 하여 피드백 처리 알고리즘을 수행하여 음향 신호에 대한 피드백 처리를 수행하는 프로세서(예를 들면, CPU, MICROPROCESSOR 등)이다.
데이터 프로세서(9)는 음향 신호를 기설정된 크기의 프레임 단위로 처리하되, 고속 푸리에 변환(FFT: Fast Fourier Transform)과 역 고속 푸리에 변환(IFFT: Inverse Fast Fourier Transform)을 수행하는 기능을 지니고 있다.
또한, 데이터 프로세서(9)는 VAD 과정을 수행하기 위해, 프레임의 주파수 영역의 신호를 이용하여 음성 주파수 영역(예를 들면, 0~2kHz)의 에너지의 평균값(Mve)과 비음성 주파수 영역(2kHz 초과 8kHz 이내의 주파수 범위)의 에너지의 평균값(Mne) 각각을 산정하여 이용한다. 또한, 저장부(7)는 음성의 유무(있음/없음)을 판단하기 위한 제 1 기준값(Vf)(예를 들면, 100)을 저장한다. 데이터 프로세서(9)는 평균값(Mve)이 평균값(Mne)보다 큰 경우에 음성이 있을 확률이 높으므로, 이러한 점을 이용하기 위해 매 프레임마다 평균값(Mve)이 평균값(Mne)보다 큰 경우의 횟수에 대응하는 제 1 산정값(Vc)을 산정하여 저장한다. 제 1 산정값(Vc)의 초기값은 0으로 저장부(7)에 저장되고, 데이터 프로세서(9)는 평균값(Mve)이 평균값(Mne)보다 큰 경우에는 이전의 제 1 산정값(Vc)(이전 Vc)에 제 1 증가값(예를 들면, 30)을 합산하여 현재 프레임에서의 제 1 산정값(Vc)(현재 Vc)으로 저장하고, 평균값(Mve)이 평균값(Mne)보다 작거나 같은 경우에는 이전의 제 1 산정값(Vc)에 제 1 감소값(예를 들면, 5)을 차감하여 현재 프레임에서의 제 1 산정값(Vc)으로 저장한다. 데이터 프로세서(9)는 현재의 제 1 산정값(Vc)이 제 1 기준값(Vf)보다 크면 음성이 있는 것으로 판단하고, 그렇지 않으면 음성이 없는 것으로 판단한다. 이러한 과정은 하기에서 보다 상세하게 기재된다.
또한, 데이터 프로세서(9)는 피드백이 발생하는 주파수 대역의 에너지를 이용하여 피드백이 발생하였는지를 판단하는 피드백 확인 과정을 수행한다. 데이터 프로세서(9)는 피드백이 발생하는 주파수 대역(예를 들면, 5,750~6,500Hz)의 에너지(Esp)와, 피드백이 발생하는 주파수 대역 이외의 주파수 대역(예를 들면, 0Hz부터 5,750 Hz 미만의 대역과, 6,500Hz 초과부터 8kHz까지의 대역)의 에너지(Eot)를 각각 산정하여 이용한다. 또한, 저장부(7)는 피드백 발생의 유무(있음/없음)을 판단하기 위한 제 2 기준값(Ff)(예를 들면, 100)을 저장한다. 데이터 프로세서(9)는 에너지(Esp)가 에너지(Eot)보다 큰 경우에 피드백 발생이 있을 확률이 높으므로, 이러한 점을 이용하기 위해 매 프레임마다 에너지(Esp)가 에너지(Eot)보다 큰 경우의 횟수에 대응하는 제 2 산정값(Fc)을 산정하여 저장한다. 제 2 산정값(Fc)의 초기값은 0으로 저장부(7)에 저장되고, 데이터 프로세서(9)는 에너지(Esp)가 에너지(Eot)보다 큰 경우에는 이전의 제 2 산정값(Fc)에 제 2 증가값(예를 들면, 30)을 합산하여 현재 프레임에서의 제 2 산정값(Fc)으로 저장하고, 에너지(Esp)가 에너지(Eot)보다 작거나 같은 경우에는 이전의 제 2 산정값(Fc)에 제 2 감소값(예를 들면, 1)을 차감하여 현재 프레임에서의 제 2 산정값(Fc)으로 저장한다. 데이터 프로세서(9)는 현재의 제 2 산정값(Fc)이 제 2 기준값(Ff)보다 크면 피드백 발생이 있는 것으로 판단하고, 그렇지 않으면 피드백 발생이 없는 것으로 판단한다. 이러한 과정은 하기에서 보다 상세하게 기재된다.
본 발명에서, 데이터 프로세서(9)는 제 1 및 제 2 산정값(Vc, Fc)의 산정 과정에서 기재된 바와 같이, 음향 신호의 복수의 프레임들을 처리하여 최종적으로 피드백 발생을 판단한다.
도 2는 본 발명은 피드백 처리 방법의 순서도이다. 데이터 프로세서(9)는 전원을 공급 받은 상태에서 피드백 처리를 수행한다.
단계(S1)에서, 데이터 프로세서(9)는 마이크(1)로부터의 음향 신호 또는 통신부(5)로부터의 음향 신호 또는 저장부(7)에서 판독된 음향 신호를 입력 받는다. 데이터 프로세서(9)는 입력된 음향 신호를 기설정된 크기인 프레임 단위로 피드백 처리하며, 단계(S1)이후로부터 입력된 음향 신호의 프레임 각각에 대한 처리를 수행하는 것이다.
단계(S3)에서, 데이터 프로세서(9)는 입력된 프레임(예를 들면, 제 1 프레임)에 대한 고속 푸리에 변환(FFT: Fast Fourier Transform)을 수행하여 시간 영역의 신호를 주파수 영역의 신호로 변환한다. 데이터 프로세서(9)는 단계(S3)을 수행하고 단계(S5)로 진행한다.
단계(S5)에서, 데이터 프로세서(9)는 프레임의 주파수 영역의 신호를 이용하여 음성 주파수 영역(예를 들면, 0~2kHz)의 에너지의 평균값(Mve)과 비음성 주파수 영역(2kHz 초과 8kHz 이내의 주파수 범위)의 에너지의 평균값(Mne) 각각을 산정한다. 데이터 프로세서(9)는 단계(S5)를 수행하고 단계(S7)로 진행한다.
단계(S7)에서, 데이터 프로세서(9)는 평균값(Mve)과 평균값(Mne)을 비교하여 만약 평균값(Mve)이 평균값(Mne)보다 크면 단계(S9)로 진행하고, 그렇지 않으면 단계(S11)로 진행한다.
단계(S9)에서, 데이터 프로세서(9)는 이전의 프레임까지의 저장된 제 1 산정값(Vc)에 제 1 증가값(예를 들면, 30)을 합산하여 현재 프레임에서의 제 1 산정값(Vc)으로 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S9)를 수행하고 단계(S13)로 진행한다.
단계(S11)에서, 데이터 프로세서(9)는 이전의 프레임까지의 저장된 제 1 산정값(Vc)에 제 1 감소값(예를 들면, 5)을 차감하여 현재 프레임까지의 제 1 산정값(Vc)으로 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S11)를 수행하고 단계(S13)로 진행한다.
단계(S13)에서, 데이터 프로세서(9)는 현재 프레임까지의 저장된 제 1 산정값(Vc)과 제 1 기준값(Vf)을 비교하여 만약 제 1 산정값(Vc)이 제 1 기준값(Vf)보다 크면 단계(S15)로 진행하고, 그렇지 않으면 단계(S17)로 진행한다.
단계(S15)에서, 데이터 프로세서(9)는 현재 프레임까지의 음향 신호에 음성이 있음으로 제 1 결과값(R1)(예를 들면, 논리값 F)을 설정하여 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S15)를 수행하고 단계(S19)로 진행한다.
단계(S17)에서, 데이터 프로세서(9)는 현재 프레임까지의 음향 신호에 음성이 없음(비음성)으로 제 1 결과값(R1)(예를 들면, 논리값 T)을 설정하여 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S17)를 수행하고 단계(S19)로 진행한다.
단계(S19)에서, 데이터 프로세서(9)는 단계(S3)에서의 프레임의 주파수 영역의 신호를 이용하여 피드백이 발생하는 주파수 대역의 에너지(Esp)와, 피드백이 발생하는 주파수 대역 이외의 주파수 대역의 에너지(Eot)를 각각 산정한다.
단계(S21)에서, 데이터 프로세서(9)는 에너지(Esp)와 에너지(Eot)를 비교하여, 만약 에너지(Esp)가 에너지(Eot)보다 크면 단계(S23)로 진행하고, 그렇지 않으면 단계(S25)로 진행한다.
단계(S23)에서, 데이터 프로세서(9)는 이전 프레임까지의 제 2 산정값(Fc)에 제 2 증가값(예를 들면, 30)을 합산하여 현재 프레임까지의 제 2 산정값(Fc)으로 저장한다. 데이터 프로세서(9)는 단계(S23)를 수행하고 단계(S27)로 진행한다.
단계(S25)에서, 데이터 프로세서(9)는 이전 프레임까지의 제 2 산정값(Fc)에 제 2 감소값(예를 들면, 1)을 차감하여 현재 프레임까지의 제 2 산정값(Fc)으로 저장한다. 데이터 프로세서(9)는 단계(S25)를 수행하고 단계(S27)로 진행한다.
단계(S27)에서, 데이터 프로세서(9)는 현재 프레임까지의 제 2 산정값(Fc)과 제 2 기준값(Ff)를 비교하여, 만약 현재의 제 2 산정값(Fc)이 제 2 기준값(Ff)보다 크면 단계(S29)로 진행하고, 그렇지 않으면 단계(S31)로 진행한다.
단계(S29)에서, 데이터 프로세서(9)는 현재 프레임까지의 음향 신호에 피드백의 발생으로 제 2 결과값(R2)(예를 들면, 논리값 T)을 설정하여 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S29)를 수행하고 단계(S33)로 진행한다.
단계(S31)에서, 데이터 프로세서(9)는 현재 프레임까지의 음향 신호에 피드백의 미발생으로 제 2 결과값(R2)(예를 들면, 논리값 F)을 설정하여 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S31)를 수행하고 단계(S33)로 진행한다.
단계(S33)에서, 데이터 프로세서(9)는 VAD 성능 데이터를 저장부(7)에서 판독하여, VAD 성능이 기준 성능 이상인지를 판단한다. 만약 기준 성능 이상이면 단계(S35)로 진행하고, 그렇지 않으면 단계(S37)로 진행한다.
단계(S35)에서, 데이터 프로세서(9)는 VAD 성능이 기준 성능 이상인 고성능이므로, VAD 과정에서 비음성(음성 없음)으로 판단되거나 피드백 확인 과정에서 피드백 발생으로 판단되는 경우, 피드백이 발생된 것으로 최종적으로 판단하기 위해, 제 1 결과값(R1)과 제 2 결과값(R2)을 OR 연산하여 논리 연산 처리된 결과값(R)을 저장부(7)에 저장한다.
단계(S37)에서, 데이터 프로세서(9)는 VAD 성능이 기준 성능 미만인 저성능이므로, VAD 과정에서 비음성(음성 없음)으로 판단되고 피드백 확인 과정에서 피드백 발생으로 판단되는 경우, 피드백이 발생된 것으로 최종적으로 판단하기 위해, 제 1 결과값(R1)과 제 2 결과값(R2)을 AND 연산하여 논리 연산 처리된 결과값(R)을 저장부(7)에 저장한다.
단계(S39)에서, 데이터 프로세서(9)는 결과값(R)이 최종적으로 피드백이 발생된 것(예를 들면, 논리값 T)으로 판단되면 단계(S41)로 진행하고, 그렇지 않으면 최종적으로 피드백이 발생되지 않은 것으로 판단하여 단계(S43)로 진행한다.
단계(S41)에서, 데이터 프로세서(9)는 피드백을 제거하기 위해, 현재 프레임의 FFT BIN의 값을 0으로 설정하여 음소거 처리를 수행한다.
단계(S43)에서, 데이터 프로세서(9)는 단계(S41)에서 처리된 주파수 영역의 신호를 또는 단계(S41)의 처리가 수행되지 않은 주파수 영역의 신호를 역고속 푸리에 변환(IFFT)를 수행하여 시간 영역의 신호로 변환한다. 데이터 프로세서(9)는 시간 영역의 신호인 음향 신호를 스피커(3)에 인가하여 음 방출시키거나 통신부(5)를 통하여 외부 전기 기기로 전송하거나 저장부(7)에 저장한다. 데이터 프로세서(9)는 단계(S43)를 수행하고 단계(S45)로 진행한다.
단계(S45)에서, 데이터 프로세서(9)는 음향 신호의 입력이 종료되었는지를 판단한다. 즉, 데이터 프로세서(9)는 마이크(1)로부터의 음향 신호 또는 통신부(5)로부터의 음향 신호 또는 저장부(7)에서 판독된 음향 신호의 입력이 종료되었으면 피드백 처리 방법을 종료하고, 그렇지 않으면 단계(S1)로 진행하여, 다음 프레임을 처리한다.
상술된 단계(S5) 내지 (S17)은 VAD 과정이며, 상술된 단계(S19) 내지 (S31)은 피드백 확인 과정에 해당된다. 다만, 데이터 프로세서(9)는 피드백 확인 과정을 VAD 과정보다 먼저 수행할 수도 있고, 피드백 확인 과정과 VAD 과정을 동시에 수행할 수도 있다.
피드백 확인 과정에서, 데이터 프로세서(9)는 단계(S21)에서 에너지(Esp)와 에너지(Eot)를 비교하는 과정 대신에 에너지 비율(Esp/Eot)와 에너지 임계치를 비교할 수도 있다. 즉, 데이터 프로세서(9)는 저장부(7)에 저장된 에너지 임계치를 판독하고, 에너지 비율(Esp/Eot)이 에너지 임계치보다 크면 피드백이 발생된 것으로 판단하여 단계(S23)로 진행하고, 그렇지 않으면 단계(S25)로 진행한다.
상술된 도 2에서, 데이터 프로세서(9)는 음향 신호에 피드백이 발생했는지를 보다 정확하게 판단하기 위해, VAD 성능에 따라서 VAD 과정과 피드백 확인 과정의 결과값들을 상이하게 반영하는 점(OR 연산 또는 AND 연산)을 기재하고 있다.
다른 실시예로서, 데이터 프로세서(9)는 VAD의 성능에 따라 VAD 과정과 피드백 확인 과정의 수행 여부를 결정할 수 있다. 자세하게, 데이터 프로세서(9)는 단계(S1)과 단계(S3)을 수행한 이후에, 단계(S33)과 유사하게, VAD 성능이 기준 성능 이상인 경우와, VAD 성능이 기준 성능 미만인 경우로 분리되어 설명된다.
VAD 성능이 기준 성능 이상인 경우, 데이터 프로세서(9)는 VAD 확인 과정 또는 피드백 확인 과정 중의 어느 하나를 우선 수행하고, 우선 수행된 과정에서 비음성의 판단 또는 피드백 발생의 판단으로 결정되면 단계(S41)로 진행하고, 그렇지 않고 우선 수행된 과정에서 음성의 판단 또는 피드백 미발생의 판단으로 결정되면 남은 과정을 수행하여 비음성의 판단 또는 피드백 발생의 판단으로 결정되면 단계(S41)로 진행한다. 이러한 제어를 통해 우선 수행된 과정에서 비음성의 판단 또는 피드백 발생의 판단으로 결정되면, 데이터 프로세서(9)는 남은 과정을 수행할 필요없이 단계(S41)을 진행하므로 데이터 연산량을 감소시킬 수 있다.
VAD 성능이 기준 성능 미만인 경우, 데이터 프로세서(9)는 VAD 확인 과정 및 피드백 확인 과정을 각각 수행하고, 단계(S37)의 AND 연산을 수행하고 단계(S39)로 진행하면 된다.
다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예:자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
1: 마이크 3: 스피커
5: 통신부 7: 저장부

Claims (6)

  1. 음향 신호를 입력 받는 단계와;
    입력된 음향 신호를 프레임 단위로 주파수 영역의 신호로 변환하는 단계와;
    VAD 과정 및 피드백 확인 과정을 수행하는 단계와;
    기저장된 VAD 성능에 따라서, VAD 과정의 음성 판단 결과와 피드백 확인 과정의 피드백 발생 판단 결과 간의 논리 연산을 수행하는 단계와;
    논리 연산의 수행 단계에서의 결정된 논리 연산에 따라 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 처리하여 최종 피드백 발생 결과를 판단하는 단계와;
    판단 단계의 최종 피드백 발생 결과에 따라 음소거 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 피드백 처리 방법.
  2. 제 1 항에 있어서,
    논리 연상의 수행 단계에서 VAD 성능이 기준 성능 이상인 경우, 판단 단계에서 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 OR 연산하고, 결정 단계에서 VAD 성능이 기준 성능 미만인 경우, 판단 단계에서 VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과를 AND 연산하는 것을 특징으로 하는 피드백 처리 방법.
  3. 음향 신호를 입력 받는 단계와;
    입력된 음향 신호를 프레임 단위로 주파수 영역의 신호로 변환하는 단계와;
    기저장된 VAD 성능에 따라서 VAD 과정 및 피드백 확인 과정의 수행 여부를 결정하는 단계와;
    결정 단계에서의 결정에 따라, VAD 과정 및 피드백 확인 과정을 수행하거나 VAD 과정 및 피드백 확인 과정 중의 어느 하나의 과정을 우선 수행하고 우선 수행되는 과정의 결과에 따라 남은 과정을 수행하는 단계와;
    수행 단계에서, VAD 과정의 음성 판단 결과 및 피드백 확인 과정의 피드백 발생 판단 결과 중의 어느 하나 이상에 따른 최종 피드백 발생 결과를 판단하는 단계와;
    판단 단계에서 최종 피드백 발생 결과에 따라 음소거 처리를 수행하는 단계를 포함하는 것을 특징으로 하는 피드백 처리 방법.
  4. 제 3 항에 있어서,
    결정 단계에서 VAD 성능이 기준 성능 이상인 경우, 수행 단계에서 VAD 과정 및 피드백 확인 과정 중의 어느 하나의 과정을 우선 수행하고 우선 수행되는 과정의 결과에 따라 남은 과정을 수행하고,
    결정 단계에서 VAD 성능이 기준 성능 미만인 경우, 수행 단계에서 VAD 과정 및 피드백 확인 과정을 수행하는 것을 특징으로 하는 피드백 처리 방법.
  5. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
    VAD 과정은 음성 주파수 영역의 에너지의 평균값과 비음성 주파수 영역의 에너지의 평균값을 이용하여 음성 있음 및 음성 없음을 판단하는 것을 특징으로 하는 피드백 처리 방법.
  6. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
    피드백 확인 과정은 피드백이 발생하는 주파수 대역의 에너지와, 피드백이 발생하는 주파수 대역 이외의 주파수 대역의 에너지를 이용하여 피드백 발생 및 피드백 미발생을 판단하는 것을 특징으로 하는 피드백 처리 방법.
KR1020180164888A 2018-12-19 2018-12-19 피드백 처리 방법 KR102167469B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180164888A KR102167469B1 (ko) 2018-12-19 2018-12-19 피드백 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180164888A KR102167469B1 (ko) 2018-12-19 2018-12-19 피드백 처리 방법

Publications (2)

Publication Number Publication Date
KR20200076127A true KR20200076127A (ko) 2020-06-29
KR102167469B1 KR102167469B1 (ko) 2020-10-19

Family

ID=71401236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180164888A KR102167469B1 (ko) 2018-12-19 2018-12-19 피드백 처리 방법

Country Status (1)

Country Link
KR (1) KR102167469B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000067641A (ko) 1999-04-30 2000-11-25 윤종용 다중대역 보청기를 위한 적응 피드백 제거장치 및 방법
JP2007053512A (ja) * 2005-08-17 2007-03-01 Sony Corp エコーキャンセラ及びマイク装置
KR100836522B1 (ko) * 2003-12-12 2008-06-12 모토로라 인코포레이티드 에코 소거 회로용 다운링크 활동 및 더블 토크 확률 검출기및 방법
JP2008141507A (ja) * 2006-12-01 2008-06-19 Toshiba Corp 情報処理装置、およびプログラム
JP2011061449A (ja) * 2009-09-09 2011-03-24 Oki Electric Industry Co Ltd エコーキャンセラ
KR101231866B1 (ko) * 2012-09-11 2013-02-08 (주)알고코리아 귀환소음을 제거하기위한 보청기시스템 및 그 제어방법
US20170214800A1 (en) * 2014-10-08 2017-07-27 JVC Kenwood Corporation Echo cancellation device, non-transitory computer readable medium storing echo cancellation program, and echo cancellation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000067641A (ko) 1999-04-30 2000-11-25 윤종용 다중대역 보청기를 위한 적응 피드백 제거장치 및 방법
KR100836522B1 (ko) * 2003-12-12 2008-06-12 모토로라 인코포레이티드 에코 소거 회로용 다운링크 활동 및 더블 토크 확률 검출기및 방법
JP2007053512A (ja) * 2005-08-17 2007-03-01 Sony Corp エコーキャンセラ及びマイク装置
JP2008141507A (ja) * 2006-12-01 2008-06-19 Toshiba Corp 情報処理装置、およびプログラム
JP2011061449A (ja) * 2009-09-09 2011-03-24 Oki Electric Industry Co Ltd エコーキャンセラ
KR101231866B1 (ko) * 2012-09-11 2013-02-08 (주)알고코리아 귀환소음을 제거하기위한 보청기시스템 및 그 제어방법
US20170214800A1 (en) * 2014-10-08 2017-07-27 JVC Kenwood Corporation Echo cancellation device, non-transitory computer readable medium storing echo cancellation program, and echo cancellation

Also Published As

Publication number Publication date
KR102167469B1 (ko) 2020-10-19

Similar Documents

Publication Publication Date Title
US9881635B2 (en) Method and system for scaling ducking of speech-relevant channels in multi-channel audio
JP4697267B2 (ja) ハウリング検出装置およびハウリング検出方法
US20190342683A1 (en) Blocked microphone detection
JP2015519602A5 (ko)
US10755728B1 (en) Multichannel noise cancellation using frequency domain spectrum masking
CN110447069B (zh) 自适应噪声环境的语音信号处理的方法和装置
US10721562B1 (en) Wind noise detection systems and methods
US20190348032A1 (en) Methods and apparatus for asr with embedded noise reduction
JP2012163692A (ja) 音声信号処理システム、音声信号処理方法および音声信号処理方法プログラム
JP6067391B2 (ja) 信号音量に基いた信号利得の適合時のピーク検出
KR102167469B1 (ko) 피드백 처리 방법
JP2012022127A (ja) 音声認識装置
JP2002261553A (ja) 音声自動利得制御装置、音声自動利得制御方法、音声自動利得制御用のアルゴリズムを持つコンピュータプログラムを格納する記憶媒体及び音声自動利得制御用のアルゴリズムを持つコンピュータプログラム
JP2014209182A (ja) 音声強調装置及び方法
KR102063824B1 (ko) 보청기를 위한 음향 피드백 제거 장치 및 방법
US20150023507A1 (en) Speaker Protection in Small Form Factor Devices
JP2015215503A (ja) 音声認識方法、音声認識装置および音声認識プログラム
JP6942282B2 (ja) 補助信号を用いたオーディオデバイスの送信制御
CN114664322A (zh) 基于蓝牙耳机芯片的单麦克风助听降噪方法及蓝牙耳机
JP7257834B2 (ja) 音声処理装置、音声処理方法、および音声処理システム
JP2001228893A (ja) 音声認識装置
KR102238429B1 (ko) 돌발성 잡음 검출 장치
WO2023243344A1 (ja) 聴取装置および聴取装置の制御方法
KR102047276B1 (ko) 음향 제공 장치
US20230215450A1 (en) Automatic noise gating

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant