KR20190129805A - Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof - Google Patents

Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof Download PDF

Info

Publication number
KR20190129805A
KR20190129805A KR1020190145000A KR20190145000A KR20190129805A KR 20190129805 A KR20190129805 A KR 20190129805A KR 1020190145000 A KR1020190145000 A KR 1020190145000A KR 20190145000 A KR20190145000 A KR 20190145000A KR 20190129805 A KR20190129805 A KR 20190129805A
Authority
KR
South Korea
Prior art keywords
noise
signal
estimator
section
characteristic value
Prior art date
Application number
KR1020190145000A
Other languages
Korean (ko)
Other versions
KR102206546B1 (en
Inventor
안홍섭
박영진
조경환
김선권
양기동
오준택
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of KR20190129805A publication Critical patent/KR20190129805A/en
Application granted granted Critical
Publication of KR102206546B1 publication Critical patent/KR102206546B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H04R25/305Self-monitoring or self-testing

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

The present invention relates to a hearing aid having a noise environment classification and cancellation function and a method thereof. According to the present invention, the hearing aid having a noise environment classification and cancellation function comprises: a noise classification estimation unit for determining the type of a noise environment corresponding to a characteristic value of a signal for a divided noise section of an input audio signal and updating an estimator parameter matching the type of the noise environment; an input signal process unit for generating fast Fourier transform (FFT) data of the input audio signal; and a noise power estimator for estimating power of noise from the FFT data and estimating power of noise in the noise environment based on the estimator parameter.

Description

잡음 환경 분류 및 제거 기능을 갖는 보청기 및 그 방법{Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof}Hearing aid with noise environment classification and removal function and method thereof

본 발명은 보청기에 관한 것으로서, 특히, 다양한 잡음 환경별로 보청기용 잡음 제거 알고리즘의 성능을 최대화할 수 있도록 하는 보청기 및 그 방법에 관한 것이다. The present invention relates to a hearing aid, and more particularly, to a hearing aid and a method for maximizing the performance of a noise canceling algorithm for hearing aids in various noise environments.

보청기 기술은 신호처리부가 변화하는 환경에 대해서 잡음신호를 추정함으로써 잡음환경별로 잡음신호를 구분하여 제거함을 목적으로 한다. 구체적으로 디지털신호는 신호처리부에서 음성신호와 잡음으로 구별되어 잡음신호를 갱신하고 갱신된 잡음신호를 기반으로 식

Figure pat00001
을 사용하여 잡음을 제거한다.Hearing aid technology aims to remove the noise signal by noise environment by estimating the noise signal for the changing environment. Specifically, the digital signal is divided into a voice signal and a noise in the signal processor to update the noise signal, and based on the updated noise signal.
Figure pat00001
Use to remove the noise.

여기서 X(f,t)는 입력된 전체 신호, δ는 잡음환경별 가중치 값, α는 주파수별 신호대잡음비(SNR)에 따른 가중치 값,

Figure pat00002
는 잡음신호,
Figure pat00003
는 사용자에게 제공할 최종 디지털신호이며, δ는 입력된 디지털 신호의 주파수 대역과 유사도를 보이는 잡음환경을 매칭해주는 매칭부의 결과에 따라 결정되는 값이다. Where X (f, t) is the total input signal, δ is the weight value for each noise environment, α is the weight value according to signal-to-noise ratio (SNR) for each frequency,
Figure pat00002
Is the noise signal,
Figure pat00003
Is the final digital signal to be provided to the user, and δ is a value determined according to the result of the matching unit that matches the noise environment showing similarity with the frequency band of the input digital signal.

그러나, 종래의 보청기 기술만으로 다양한 잡음환경에 적응하여 빠르고 효과적으로 잡음을 제거하지 못하므로 다양한 잡음 환경별로 잡음 제거 성능을 향상시킬 필요가 있다. However, since the conventional hearing aid technology does not remove noise quickly and effectively by adapting to various noise environments, it is necessary to improve noise removal performance for various noise environments.

관련 선행 문헌으로서 국제특허공개 WO2010-015371, 국내등록특허 제10-11517460000호, 국내공개특허 제10-2013-0118513호 등이 참조될 수 있다.As related prior documents, International Patent Publication No. WO2010-015371, Korean Patent Registration No. 10-11517460000, Korean Patent Publication No. 10-2013-0118513 and the like can be referred to.

다양한 잡음 환경별로 보청기용 잡음 제거 알고리즘의 성능을 최대화하기 위하여, 정확한 잡음 전력 추정이 매우 중요하다. 이러한 잡음 전력 추정 알고리즘의 정확도는 내부 파라미터에 의해 결정되며 이 파라미터는 잡음 환경의 종류에 따라 각기 다른 최적화 값을 가질 수 있다. 따라서 본 발명은 잡음 제거 알고리즘의 성능 향상을 위해 제거하고자 하는 잡음의 종류를 구분해 잡음 전력 추정기의 파라미터를 정확하게 결정함으로써, 실시간으로 다양한 잡음 환경에 적응하여 잡음 제거가 빠르고 효과적으로 이루어지는 보청기 및 그 방법을 제공하는 데 있다. In order to maximize the performance of the noise canceling algorithm for hearing aids in various noise environments, accurate noise power estimation is very important. The accuracy of this noise power estimation algorithm is determined by internal parameters, which can have different optimization values depending on the type of noise environment. Therefore, the present invention provides a hearing aid and a method for quickly and effectively removing noise by adapting to various noise environments in real time by accurately determining the noise power estimator parameters by classifying the types of noise to be removed to improve the performance of the noise cancellation algorithm. To provide.

먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 보청기는, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부; 상기 입력 오디오 신호의 FFT 데이터를 생성하는 입력신호 처리부; 및 상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기를 포함한다.First, to summarize the features of the present invention, a hearing aid according to an aspect of the present invention for achieving the above object, determines the type of noise environment corresponding to the characteristic value of the signal for the divided noise interval of the input audio signal A noise classification estimator for updating an estimator parameter matching the type of the noise environment; An input signal processor configured to generate FFT data of the input audio signal; And a noise power estimator estimating power of noise from the FFT data, and estimating power of noise in a corresponding noise environment based on the estimator parameter.

상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출할 수 있다.The noise classification estimator may extract the characteristic value of only the signal for the noise section extracted using the voice detector, not the overall characteristic value of the input audio signal.

상기 잡음분류 추정부는, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정할 수 있다.The noise classification estimating unit determines a noise environment for a signal characteristic value for the corresponding noise section by comparing a characteristic value for each noise environment obtained in advance using a machine learning method with a characteristic value of the signal for the noise section. Can be.

상기 잡음분류 추정부는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력할 수 있다.The noise classification estimator may output, to the noise power estimator, the estimator parameter corresponding to the determined noise environment among the noise environment estimator parameters previously obtained by preliminary evaluation.

상기 잡음분류 추정부는, 상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기; 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 특성추출기; 상기 특성추출기의 출력을 순차 저장하고 출력하는 잡음신호 특성버퍼; 및 상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 잡음환경 분류기를 포함한다.The noise classification estimator may include: a voice detector configured to generate a separator of each section for distinguishing between a voice signal section and a noise section of the input audio signal; A feature extractor for extracting a feature value of a signal for a noise section of the input audio signal based on the delimiter; A noise signal characteristic buffer for sequentially storing and outputting the output of the characteristic extractor; And a noise environment classifier for determining a type of the noise environment corresponding to the characteristic value for a predetermined time stored in the noise signal characteristic buffer, and updating and outputting a corresponding estimator parameter.

상기 입력신호 처리부는, 상기 입력 오디오 신호를 순차 저장하고 출력하는 입력버퍼; 상기 입력 버퍼의 출력에서 유효 데이터를 선택하는 윈도우 적용부; 및 상기 윈도우 적용부의 출력을 FFT 처리한 데이터를 생성하는 FFT부를 포함한다.The input signal processor may include: an input buffer configured to sequentially store and output the input audio signal; A window application unit for selecting valid data from an output of the input buffer; And an FFT unit generating data obtained by FFT processing the output of the window application unit.

상기 보청기는, 추정된 상기 잡음의 전력에 대한 이득을 계산하는 이득계산부; 상기 FFT 처리한 데이터에 대하여 상기 이득을 곱하는 곱셈기; 상기 곱셈기의 출력을 IFFT 처리한 데이터를 생성하는 IFFT부; 및 상기 IFFT부의 출력 데이터를 순차 저장하고 출력하는 출력버퍼를 더 포함한다.The hearing aid includes: a gain calculator which calculates a gain for the estimated power of the noise; A multiplier for multiplying the gain by the FFT processed data; An IFFT unit for generating data obtained by IFFT processing the output of the multiplier; And an output buffer for sequentially storing and outputting output data of the IFFT unit.

그리고, 본 발명의 다른 일면에 따른 보청기 신호 처리 방법은, 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 단계; 상기 입력 오디오 신호의 FFT 데이터를 생성하는 단계; 및 상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 단계를 포함한다.According to another aspect of the present invention, a hearing aid signal processing method includes determining a type of noise environment corresponding to a characteristic value of a signal for a divided noise section of an input audio signal, and an estimator parameter matching the type of the noise environment. Updating; Generating FFT data of the input audio signal; And estimating power of noise from the FFT data, and estimating power of noise in a corresponding noise environment based on the estimator parameter.

상기 업데이트하는 단계에서, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출한다.In the updating step, the characteristic value is extracted with respect to only the signal for the noise section extracted using the voice detector, not the overall characteristic value for the input audio signal.

상기 업데이트하는 단계에서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정한다.In the updating step, by comparing the characteristic value of the signal for the noise section with the characteristic value obtained in advance using the machine learning method in advance to determine the noise environment for the characteristic value of the signal for the noise section do.

상기 업데이트하는 단계에서, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력한다.In the updating step, the estimator parameter corresponding to the determined noise environment is output to the noise power estimator, among the noise environment estimator parameters previously obtained by preliminary evaluation.

상기 업데이트하는 단계는, 상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계; 상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 단계; 상기 특성값을 버퍼에 순차 저장하고 출력하는 단계; 및 상기 버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 단계를 포함한다.The updating may include generating a separator of each section for distinguishing between a voice signal section and a noise section of the input audio signal; Extracting a characteristic value of a signal for a noise section of the input audio signal based on the delimiter; Sequentially storing and outputting the characteristic values in a buffer; And determining the type of the noise environment corresponding to the characteristic value for a predetermined time stored in the buffer, and updating and outputting the corresponding estimator parameter.

상기 보청기 신호 처리 방법은, 추정된 상기 잡음의 전력에 대한 이득을 계산하는 단계; 상기 FFT 처리한 데이터에 대하여 상기 이득을 곱셈하는 단계; 상기 곱셈의 결과를 IFFT 처리한 데이터를 생성하는 단계; 및 상기 IFFT 처리에 의한 데이터를 버퍼에 순차 저장하고 출력하는 단계를 더 포함한다.The hearing aid signal processing method includes calculating a gain for an estimated power of the noise; Multiplying the gain by the FFT processed data; Generating data obtained by IFFT processing the result of the multiplication; And sequentially storing and outputting data by the IFFT process in a buffer.

본 발명에 따른 보청기 및 그 방법은, 잡음 환경에 따라 최적화된 잡음 전력 추정기의 파라미터를 결정해 정확한 잡음 전력을 계산함으로써 해당 잡음 환경에 최적화된 이득을 도출하여 잡음 상황에서 보청기 사용자의 음성 인지 능력을 향상시킬 수 있다.The hearing aid and the method according to the present invention determine the parameters of the noise power estimator optimized according to the noise environment and calculate the correct noise power to derive the gain optimized for the noise environment to improve the voice recognition ability of the hearing aid user in the noise situation. Can be improved.

또한, 전체 신호의 특성을 추출하는 대신 음성검출기를 사용하여 잡음 신호 구간만의 특성을 도출한다는 점에서 전체 신호의 특성을 도출해야 하는 구조보다 적은 연산을 필요로 한다.In addition, instead of extracting the characteristics of the entire signal, a voice detector is used to derive the characteristics of the noise signal section only, which requires less computation than the structure of deriving the characteristics of the entire signal.

또한, 다양한 음성과 잡음이 혼재하는 상황을 훈련하여 이를 바탕으로 이득(잡음 전력, SNR)을 도출하는 구조와 달리 환경 잡음만을 훈련하여 그에 맞는 잡음 전력 추정기의 파라미터만을 도출한다는 점에서 훈련 과정이 간단하고 효율적이다.In addition, unlike the structure that trains various voice and noise situations and derives gain (noise power, SNR) based on this, the training process is simple in that only the environmental noise is trained and only the parameters of the noise power estimator are derived. And efficient.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는 첨부도면은, 본 발명에 대한 실시예를 제공하고 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 일반적인 보청기의 동작 구조를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기 구조를 설명하기 위한 도면이다.
도 3은 본 발명의 잡음환경 분류기에 사용되는 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 설명하기 위한 도면이다.
도 4는 본 발명의 잡음환경 분류기에 사용되는 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기의 신호 처리 동작을 설명하기 위한 흐름도이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as part of the detailed description in order to provide a thorough understanding of the present invention, provide examples of the present invention and together with the description, describe the technical idea of the present invention.
1 is a view for explaining the operation structure of a general hearing aid.
2 is a view for explaining the structure of the hearing aid having a noise environment classification and removal function according to an embodiment of the present invention.
FIG. 3 is a view for explaining characteristic values of noise environments by using a machine learning method in advance used in the noise environment classifier of the present invention.
FIG. 4 is a diagram for explaining a noise environment estimator parameter previously obtained by prior evaluation used in the noise environment classifier of the present invention.
5 is a flowchart illustrating a signal processing operation of a hearing aid having a noise environment classification and cancellation function according to an embodiment of the present invention.

이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the present invention. In this case, the same components in each drawing are represented by the same reference numerals as much as possible. In addition, detailed descriptions of already known functions and / or configurations are omitted. The following description focuses on parts necessary for understanding the operation according to various embodiments, and descriptions of elements that may obscure the gist of the description are omitted. In addition, some components of the drawings may be exaggerated, omitted, or schematically illustrated. The size of each component does not entirely reflect the actual size, and thus the contents described herein are not limited by the relative size or spacing of the components drawn in the respective drawings.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. In describing the embodiments of the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or an operator. Therefore, the definition should be made based on the contents throughout the specification. The terminology used in the description is for the purpose of describing particular embodiments only and should not be limiting. Unless expressly used otherwise, the singular forms “a,” “an,” and “the” include plural forms of meaning. In this description, expressions such as "comprises" or "equipment" are intended to indicate certain features, numbers, steps, actions, elements, portions or combinations thereof, and one or more than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, portions or combinations thereof.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In addition, terms such as first and second may be used to describe various components, but the components are not limited by the terms, and the terms are used to distinguish one component from another component. Used only as

도 1은 일반적인 보청기의 동작 구조를 설명하기 위한 도면이다.1 is a view for explaining the operation structure of a general hearing aid.

도 1을 참조하면, 일반적으로 보청기는 디지털 신호처리부, 피드백 제거용 하드웨어 가속기, 및 구성요소들의 전반적인 제어를 담당하는 중앙처리장치를 포함한다. Referring to FIG. 1, a hearing aid generally includes a digital signal processor, a hardware accelerator for feedback cancellation, and a central processor that is responsible for overall control of the components.

보청기는 칩 형태로 제작되어 소리를 잘 듣지 못하는 사용자라도 귀에 꽂아 사용하면 잘 들을 수 있도록 난청자를 보조한다. 이를 위하여 보청기는 다른 사람의 음성에 의한 오디오 입력신호에서 잡음을 제거하고 증폭(예, WDRC(Wide Dynamic Range Compression) 압축 증폭)해 오디오 출력신호를 초소형 스피커를 통해 출력한다.Hearing aids are made in the form of chips to assist hearing loss so that users who can't hear well can hear them when they are plugged into their ears. To do this, the hearing aid removes and amplifies (eg, Wide Dynamic Range Compression (WDRC) compression) from the audio input signal generated by another person's voice and outputs the audio output signal through the micro speaker.

보청기는 잡음 환경에서 신호대잡음비를 향상시키기 위한 보청기 알고리즘을 수행하기 위한 디지털 신호처리부를 포함한다. 그러나, 스피커 출력은 가까운 거리에서 되먹임되어 다시 입력 신호가 됨으로써 하울링, 메아리 등 울림음이 출력되는 현상이 발생한다. 따라서, 이와 같은 피드백의 영향을 제거하기 위하여 보청기는 적응필터 등을 이용하는 하드웨어 가속기를 포함하며, 피드백 제거용 하드웨어 가속기와 디지털 신호처리부는 오디오 인터페이스를 통해 연동하여, 피드백 제거와 보청기 알고리즘이 동시에 수행됨으로써, 깨끗한 향상된 오디오 신호가 출력되도록 동작한다. The hearing aid includes a digital signal processor for performing a hearing aid algorithm for improving the signal-to-noise ratio in a noisy environment. However, the speaker output is fed back at a close distance and becomes an input signal, thereby generating a ringing sound such as howling and echo. Therefore, in order to remove the influence of the feedback, the hearing aid includes a hardware accelerator using an adaptive filter, and the feedback cancellation hardware accelerator and the digital signal processing unit are interworked through an audio interface, so that the feedback removal and the hearing aid algorithm are simultaneously performed. It operates to output clean, enhanced audio signals.

이하 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기에 대하여 도 2 내지 도 5를 참조하여 설명한다. 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능은 도 1의 디지털 신호처리부에서 이루어질 수 있다. Hereinafter, a hearing aid having a noise environment classification and cancellation function according to an embodiment of the present invention will be described with reference to FIGS. 2 to 5. The noise environment classification and cancellation function according to an embodiment of the present invention may be performed by the digital signal processor of FIG. 1.

도 2는 본 발명의 일 실시예에 따른 잡음 환경 분류 및 제거 기능을 갖는 보청기(100) 구조를 설명하기 위한 도면이다.2 is a view for explaining the structure of the hearing aid 100 having a noise environment classification and removal function according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 보청기(100)는, 잡음분류 추정부(110), 입력신호 처리부(120), 잡음전력 추정기(180), 이득계산부(190), 곱셈기(200), IFFT부(210) 및 출력버퍼(220)를 포함한다. Referring to FIG. 2, the hearing aid 100 according to an exemplary embodiment of the present invention includes a noise classification estimator 110, an input signal processor 120, a noise power estimator 180, a gain calculator 190, and a multiplier. 200, the IFFT unit 210 and the output buffer 220.

잡음분류 추정부(110)는 디지털 입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고(도 5의 S510, S520 참조), 결정된 해당 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하여 잡음전력 추정기(180)로 제공한다(도 5의 S530 참조). 이를 위하여, 잡음분류 추정부(110)는 음성검출기(111), 특성추출기(112), 잡음신호 특성버퍼(113), 잡음환경 분류기(114)를 포함한다. 본 발명에서, 잡음분류 추정부(110)는, 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기(111)를 이용하여 추출한 잡음구간에 대한 신호만에 대하여 특성값을 추출하며, 이를 기초로 잡음 환경을 결정할 수 있도록 하였다. The noise classification estimator 110 determines the type of noise environment corresponding to the characteristic value of the signal for the divided noise section of the digital input audio signal (see S510 and S520 of FIG. 5), and determines the type of the corresponding noise environment. The matching estimator parameter is updated and provided to the noise power estimator 180 (see S530 of FIG. 5). To this end, the noise classification estimator 110 includes a voice detector 111, a feature extractor 112, a noise signal feature buffer 113, and a noise environment classifier 114. In the present invention, the noise classification estimator 110 extracts the characteristic value of only the signal for the noise section extracted using the voice detector 111, not the overall characteristic value of the input audio signal. The noise environment can be determined.

보청기에서 마이크(미도시)를 통해 들어온 오디오 신호는 A/D(Analog to Digital) 변환기를 통해 디지털 신호로 변경된다. 변경된 디지털 신호는 음성 검출기의 종류에 따라 디지털 입력 오디오 신호에 대해 바로 음성 검출을 수행할 수도 있고(예, 시간 영역에서 표준 코덱 G.729의 VAD 등), 주파수 변환 후에 음성 검출(예, Local Speech Absent Probability, Global Speech Absent Probability 등)을 수행할 수도 있으며, 특성 추출 이후에 음성 검출이 수행될 수도 있다(예, 기계 학습 기반의 알고리즘). 여기서는 디지털 입력 오디오 신호에 대해 바로 음성 검출을 수행하는 경우를 중심으로 설명한다. The audio signal from the hearing aid through a microphone (not shown) is converted into a digital signal through an analog to digital (A / D) converter. The modified digital signal may directly perform voice detection on the digital input audio signal according to the type of voice detector (e.g., VAD of standard codec G.729 in the time domain), or voice detection after frequency conversion (e.g., local speech). Absent Probability, Global Speech Absent Probability, etc.) or voice detection may be performed after feature extraction (eg, machine learning based algorithm). The following description will focus on the case where voice detection is performed directly on the digital input audio signal.

음성검출기(111)는 디지털 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성한다. 예를 들어, 음성검출기(111)는 프레임 단위 또는 복수의 프레임 단위 등 소정의 주기로 입력 오디오 신호를 분석함으로써 해당 단위 구간이 음성신호구간인지 잡음구간인지 여부를 판단하여, 각 단위 구간에 대한 해당 구분자를 결정하고 해당 구분자 정보/데이터(예, 0 또는 1)를 생성할 수 있다. 또한, 음성검출기(111)는 각 단위 구간에 대하여 주파수별 분석을 통하여 각 주파수에 대한 정보가 음성신호에 해당하는지 잡음에 해당하는 지 여부를 판단하여, 주파수별 구분자를 결정하고 해당 구분자 정보/데이터를 더 생성할 수도 있다. The voice detector 111 generates a delimiter for each section to distinguish between a voice signal section and a noise section of the digital input audio signal. For example, the voice detector 111 analyzes the input audio signal at a predetermined period such as a frame unit or a plurality of frame units to determine whether the corresponding unit section is a voice signal section or a noise section, and thus the corresponding delimiter for each unit section. Can be determined and corresponding identifier information / data (eg 0 or 1) can be generated. In addition, the voice detector 111 determines whether information on each frequency corresponds to a voice signal or noise through frequency-specific analysis for each unit section, thereby determining a separator for each frequency, and identifying the corresponding separator information / data. You can also create more.

특성추출기(112)는 음성검출기(111)가 생성하는 구분자를 기초로 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출한다(도 5의 S510 참조). 특성추출기(112)는 잡음환경에서 음성인식을 위한 알고리즘에 의한 입력 신호의 특성값으로서, 예를 들어, 평균(mean), 공분산(covariance matrix), 가중치(weight) 등 하나 이상의 특성값을 추출할 수 있다. 즉, 음성 신호의 특성값은, GMM(Gausian Mixture Model) 학습의 경우, 성분(가우시안 확률밀도함수)별 평균, 공분산, 혼합계수(성분이 전체 혼합 확률밀도 함수에서 차지하는 비율) 등을 포함할 수 있고, 신경망(Neural Network) 학습의 경우, 각 계층 사이의 가중치와 바이어스 등을 포함할 수 있다.The feature extractor 112 extracts the feature value of the signal for the noise section of the input audio signal based on the delimiter generated by the voice detector 111 (see S510 of FIG. 5). The feature extractor 112 is a feature value of an input signal by an algorithm for speech recognition in a noise environment. For example, the feature extractor 112 may extract one or more feature values such as a mean, a covariance matrix, and a weight. Can be. That is, in case of Gaussian Mixture Model (GMM) learning, the characteristic value of the speech signal may include an average of each component (Gaussian probability density function), a covariance, and a mixing coefficient (a ratio of the components in the overall mixing probability density function). In the case of neural network learning, weights and biases between the layers may be included.

이외에도 잡음구간에 대한 신호의 특성값은 주파수 영역의 특성값 또는 시간 영역의 특성값 등을 포함할 수 있다. 주파수 영역의 특성값은 Mel-frequency Cepstral Coefficients, Relative Spectra Perceptual Linear Prediction Coefficients, Discrete Fourier transform 결과 등을 포함할 수 있으며, 시간 영역의 특성값은 Pitch, Linear Prediction Coefficients 등을 포함할 수 있다. In addition, the characteristic value of the signal for the noise section may include a characteristic value in the frequency domain or a characteristic value in the time domain. The characteristic value of the frequency domain may include Mel-frequency Cepstral Coefficients, Relative Spectra Perceptual Linear Prediction Coefficients, Discrete Fourier transform results, and the like. The characteristic value of the time domain may include Pitch, Linear Prediction Coefficients.

잡음신호 특성버퍼(113)는 특성추출기(112)의 출력을 순차 저장하고 출력한다. 잡음환경 분류기(114)는 잡음신호 특성버퍼(113)에 저장된 소정의 시간 동안(예, 버퍼 전체 또는 일부)의 특성값에 대응된 현재의 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 잡음전력 추정기(180)로 제공한다.The noise signal characteristic buffer 113 sequentially stores and outputs the output of the characteristic extractor 112. The noise environment classifier 114 determines the type of the current noise environment corresponding to the characteristic value for a predetermined time (e.g., all or part of the buffer) stored in the noise signal characteristic buffer 113, and updates the corresponding estimator parameter to determine the noise. To the power estimator 180.

잡음환경 분류기(114)는 잡음신호 특성버퍼(113)로부터 출력되는 특성값과 비교될 기준 특성값으로서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 메모리 등 저장 수단에 저장하고 있으며, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 메모리 등 저장 수단에 저장하고 있다.The noise environment classifier 114 is a reference characteristic value to be compared with the characteristic value output from the noise signal characteristic buffer 113. The noise environment classifier 114 stores the characteristic value of each noise environment previously obtained by using a machine learning method in a storage means such as a memory. In addition, the estimator parameter for each noise environment obtained by prior evaluation is stored in a storage means such as a memory.

도 3은 본 발명의 잡음환경 분류기(114)에 사용되는 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining characteristic values of noise environments for each noise environment previously obtained by using a machine learning method used in the noise environment classifier 114 of the present invention.

예를 들어, 컴퓨터(예, Personal Computer 등)에 의하여, 잡음환경별(예, 무소음환경, 소음환경1, 소음환경2, 소음환경3,..) 잡음 데이터(예, 실제 녹음, Noisex-92 등)를 수집하여 데이터베이스(S110)에 기록 관리하고, 특성추출기(S120)를 이용해 각 잡음환경의 데이터에 대하여 평균(mean), 공분산(covariance matrix), 가중치(weight) 등 음성신호 특성값을 추출한다. 이와 같이 추출된 음성신호 특성값에 대하여는, 교사적 학습법을 적용할 수도 있고 클러스터링을 위해 비교사적 학습법을 이용할 수도 있다. 예를 들어, 기계학습기(S130)의 SVM(Support Vector Machine), GMM(Gausian Mixture Model), 신경망(Neural Network) 등 기계학습 알고리즘을 이용해 학습하여, 음성신호 특성값들의 학습 결과를 메모리(S140)에 업데이트함으로써, 각 잡음환경에 대하여 최적화된 음성신호 특성값을 잡음환경 분류기(114)로 제공할 수 있다. 더욱 더 정확한 각 잡음환경의 음성신호 특성값을 제공하기 위하여, 가능한한 많은 종류의 잡음환경에 대한 잡음 데이터가 수집되고 해당 음성신호 특성값들이 학습되어 업데이트되어 잡음환경 분류기(114)로 제공될 수 있다.For example, by computer (e.g. Personal Computer, etc.), noise data (e.g., noisy environment, noise environment 1, noise environment 2, noise environment 3, ..) noise data (e.g., actual recording, Noisex-92) Etc.), and records and manages the data in a database S110, and extracts voice signal characteristic values such as mean, covariance matrix, and weight with respect to data of each noise environment using the feature extractor S120. do. For the extracted speech signal characteristic values, a teacher learning method may be applied or a non-private learning method may be used for clustering. For example, by using a machine learning algorithm such as SVM (Support Vector Machine), GMM (Gausian Mixture Model), Neural Network (Neural Network) of the machine learner (S130), the learning results of the voice signal characteristic values are stored in the memory (S140). By updating to, the noise signal characteristic value optimized for each noise environment can be provided to the noise environment classifier 114. In order to provide more accurate voice signal characteristic values of each noise environment, noise data for as many kinds of noise environments as possible can be collected, and the corresponding voice signal characteristic values can be learned and updated to be provided to the noise environment classifier 114. have.

잡음분류 추정부(110)의 잡음환경 분류기(114)는, 위와 같이 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 잡음신호 특성버퍼(113)로부터 출력되는 잡음구간에 대한 신호의 특성값을 비교하여 해당 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정할 수 있게 된다(도 5의 S520 참조). The noise environment classifier 114 of the noise classification estimator 110 is configured to generate a signal for a noise section output from the noise signal characteristic buffer 113 and a noise environment characteristic value previously obtained by using a machine learning method. By comparing the characteristic values, it is possible to determine the noise environment of the characteristic values of the signal for the corresponding noise section (see S520 of FIG. 5).

도 4는 본 발명의 잡음환경 분류기(114)에 사용되는 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터를 설명하기 위한 도면이다.FIG. 4 is a diagram for explaining the noise parameter for each noise environment, which is obtained in advance by prior evaluation used in the noise environment classifier 114 of the present invention.

예를 들어, 먼저, 컴퓨터(예, Personal Computer 등)에 의하여, 잡음환경별(예, 무소음환경, 소음환경1, 소음환경2, 소음환경3,..) 잡음 데이터를 수집하여 데이터베이스(S210)에 기록 관리하고, 잡음이 없는 소정의 음성 신호에 대한 데이터를 수집하여 데이터베이스(S220)에 기록 관리한다. 다음에 데이터베이스들(S210, S220)로부터의 각 잡음환경별 잡음을 음성 신호와 합성(S230)하여 다양한 신호대잡음비로 오염된 신호를 생성한 후, 각 잡음환경별로 추정기 파라미터를 변화시켜가면서 잡음의 전력을 추정하고(예, 잡음전력 추정기(180)의 잡음전력 추정 참조), 잡음의 전력에 대한 이득을 계산(예, 이득계산부(190)의 이득계산 참조)하여 잡음을 제거(S240)함으로써, 그 결과에 대하여 성능평가를 수행(S250)하고 메모리에 업데이트한다(S260). 각 잡음환경에 대한 잡음 제거의 결과가 최적화되도록 선택된 추정기 파라미터에 의한 잡음 제거 성능이 소정의 기준을 만족하면, 해당 잡음환경별 추정기 파라미터가 잡음환경 분류기(114)로 제공될 수 있다. 여기서 잡음 제거 알고리즘의 성능 평가는, 주관적 방법(MOS, mean opinion score) 또는 객관적 방법(Perceptual Evaluation Speech Quality, Log-Likelihood Ratio, Segmental Signal to Noise Ratio, Weighted-slop spectral 등, 또는 위의 측정결과들을 선형 결합한 composite measure 등)으로 측정하여 이루어질 수 있다.For example, first, by the computer (eg, Personal Computer, etc.), by collecting the noise data for each noise environment (eg, noisy environment, noise environment 1, noise environment 2, noise environment 3, ..) database (S210) The recording management is performed in the recording process, and data for a predetermined voice signal without noise is collected and recorded in the database S220. Next, a noise contaminated with various signal-to-noise ratios is generated by synthesizing the noise of each noise environment from the databases S210 and S220 with a voice signal (S230), and then changing the estimator parameter for each noise environment to change the power of the noise. By estimating the noise power (see, for example, estimating the noise power of the noise power estimator 180), and calculating the gain for the power of the noise (for example, referring to the gain calculation of the gain calculator 190) to remove the noise (S240), The performance evaluation is performed on the result (S250) and updated in the memory (S260). When the noise canceling performance by the estimator parameter selected to optimize the noise canceling result for each noise environment satisfies a predetermined criterion, the corresponding noise environment estimator parameter may be provided to the noise environment classifier 114. Here, the performance evaluation of the noise cancellation algorithm may be based on a subjective method (MOS, mean opinion score) or an objective method (Perceptual Evaluation Speech Quality, Log-Likelihood Ratio, Segmental Signal to Noise Ratio, Weighted-Slop spectral, etc.). It can be made by measuring with a linear combined composite measure.

잡음분류 추정부(110)의 잡음환경 분류기(114)는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 위와 같이 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값을 이용하여 결정한 해당 잡음환경에 대응되는 추정기 파라미터를 잡음전력 추정기(180)로 출력하게 된다(도 5의 S530 참조). The noise environment classifier 114 of the noise classification estimator 110 determines the noise environment classifier 114 previously determined by using the noise environment characteristic values previously acquired by using the machine learning method, among the noise environment estimator parameters previously obtained by prior evaluation. The estimator parameter corresponding to the noise environment is output to the noise power estimator 180 (see S530 of FIG. 5).

한편, 도 1에서, 입력신호 처리부(120)는 입력 오디오 신호의 FFT(Fast Fourier Transform) 데이터를 생성한다. 이를 위하여 입력신호 처리부(120)는 입력버퍼(121), 윈도우적용부(122) 및 FFT부(123)를 포함한다. In FIG. 1, the input signal processor 120 generates fast fourier transform (FFT) data of an input audio signal. To this end, the input signal processor 120 includes an input buffer 121, a window application unit 122, and an FFT unit 123.

입력버퍼(121)는 입력 오디오 신호를 순차 저장하고 출력한다. 윈도우적용부(122)는 입력 버퍼의 출력에서 유효 데이터를 선택한다. 윈도우적용부(122)는 소정의 FFT 윈도우 함수를 이용하여 해당 형태의 유효 데이터를 선택하여 출력할 수 있다. FFT부(123)는 윈도우 적용부(122)의 출력을 FFT 처리한 데이터(주파수 영역의 데이터)를 생성한다.The input buffer 121 sequentially stores and outputs an input audio signal. The window application unit 122 selects valid data from the output of the input buffer. The window application unit 122 may select and output valid data of a corresponding shape by using a predetermined FFT window function. The FFT unit 123 generates data (data in the frequency domain) obtained by FFT processing the output of the window application unit 122.

이에 따라 잡음전력 추정기(180)는 FFT부(123)의 FFT 데이터로부터 잡음의 전력을 추정하되, 잡음환경 분류기(114)가 제공하는 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정할 수 있다.Accordingly, the noise power estimator 180 estimates the power of the noise from the FFT data of the FFT unit 123, and estimates the power of the noise in the corresponding noise environment based on the estimator parameter provided by the noise environment classifier 114. Can be.

이득계산부(190)는 잡음전력 추정기(180)에서 추정된 잡음의 전력에 대한 이득을 계산한다. 곱셈기(200)는 FFT 처리한 데이터에 대하여 이득계산부(190)로부터의 이득을 곱하여 잡음이 제거된 결과를 출력한다. IFFT부(210)는 곱셈기(200)의 출력을 IFFT(Inverse FFT) 처리한 데이터(시간 영역의 데이터)를 생성한다. 출력버퍼(220)는 IFFT부(210)의 출력 데이터를 순차 저장하고 스피커 등으로향상된 오디오 신호를 출력한다(도 5의 S540 참조).The gain calculator 190 calculates a gain for the power of the noise estimated by the noise power estimator 180. The multiplier 200 multiplies the gain from the gain calculator 190 by the FFT-processed data and outputs a result of removing the noise. The IFFT unit 210 generates data (data in a time domain) obtained by IFFT (Inverse FFT) processing of the output of the multiplier 200. The output buffer 220 sequentially stores the output data of the IFFT unit 210 and outputs an improved audio signal to a speaker or the like (see S540 of FIG. 5).

위의 잡음전력 추정기(180)는, 최소 트래킹(minimum statistics), 시간 회귀적 평균(minima controlled recursive averaging, improved MCRA 등), 히스토그램 기반의 알고리즘 등의 알고리즘을 사용하여 잡음 N(k,l)의 전력을 추정할 수 있다. 추정기 파라미터는 하기하는 바와 같이 잡음의 전력 E{| N(k,l)|2}과 관련된 α등의 계수가 이에 해당할 수 있다. The noise power estimator 180 uses the algorithm of noise N (k, l) using algorithms such as minimum tracking, minimum recursive averaging, improved MCRA, and histogram based algorithms. The power can be estimated. The estimator parameter is the power of the noise E {| N (k, l) | 2 } may correspond to a coefficient such as α.

잡음 전력 추정 후에 이득계산부(190)는 이를 기반으로 잡음 제거를 위한 잡음의 이득 G(k,l)을 계산한다. 이득계산 알고리즘은 Spectral Subtraction, Winner Filter, ML(maximum-likelihood), MMSE(minimum mean square error), log-MMSE 등이 사용될 수 있으며 계산된 이득은 다음 [수학식1]에 적용되어 잡음 제거를 수행한다.After the noise power estimation, the gain calculator 190 calculates the gain G (k, l) of the noise for noise cancellation based on this. The gain calculation algorithm may use Spectral Subtraction, Winner Filter, maximum-likelihood (ML), minimum mean square error (MMSE), log-MMSE, etc. The calculated gain is applied to Equation 1 to remove noise do.

[수학식1][Equation 1]

Figure pat00004
Figure pat00004

시간 영역에서 깨끗한 음성을 s(t), 잡음을 n(t)라 하면 오염된 음성 신호

Figure pat00005
로 나타낼 수 있고, 주파수 영역에서는
Figure pat00006
로 나타낼 수 있다. 여기에서 k와 l은 각각 주파수 영역에서 인덱스와 시간 영역에서 프레임 인덱스를 나타내며
Figure pat00007
는 출려되는 향상된 오디오 신호를 나타낸다. 여기서, 이득 계산부(190)의 잡음 제거 알고리즘과 관련된 처리는 다음과 같은 함수들 중 어느 하나 이상을 이용하여 수행될 수 있다. 하기에서
Figure pat00008
는 기대값 연산자(expectation operator)를 나타낸다. In the time domain, s (t) is the clear voice and n (t) is the noise.
Figure pat00005
In the frequency domain
Figure pat00006
It can be represented as. Where k and l represent the index in the frequency domain and the frame index in the time domain, respectively
Figure pat00007
Denotes the enhanced audio signal to be emitted. Here, the processing related to the noise canceling algorithm of the gain calculator 190 may be performed using any one or more of the following functions. In the following
Figure pat00008
Represents an expectation operator.

(1) a priori SNR :

Figure pat00009
(1) a priori SNR:
Figure pat00009

(2) a posteriori SNR :

Figure pat00010
(2) a posteriori SNR:
Figure pat00010

(3) Winer filter :

Figure pat00011
(3) Winer filter:
Figure pat00011

(4) spectral subtraction :

Figure pat00012
(4) spectral subtraction:
Figure pat00012

(5) Maximum-Likelihood :

Figure pat00013
(5) Maximum-Likelihood:
Figure pat00013

(6) MMSE:

Figure pat00014
(6) MMSE:
Figure pat00014

여기서,

Figure pat00015
, I0와 I1은 각각 0차와 1차의 Modified Bessel 함수.here,
Figure pat00015
, I 0 and I 1 are Modified Bessel functions of 0th and 1st order, respectively.

(7) log-MMSE :

Figure pat00016
(7) log-MMSE:
Figure pat00016

(8) decision-directed : a priori SNR 추정(8) decision-directed: a priori SNR estimation

Figure pat00017
Figure pat00017

여기서,

Figure pat00018
은 이전 프레임의 향상된 오디오 신호이고,
Figure pat00019
은 추정된 잡음 전력이다.here,
Figure pat00018
Is the enhanced audio signal of the previous frame,
Figure pat00019
Is the estimated noise power.

한편, 종래의 문헌 국내공개특허 제10-2013-0118513호와 본 발명의 가장 큰 차이는, 본 발명의 경우 잡음 환경 분류를 통해 잡음 환경에 따라 최적화된 잡음 전력 추정기(180)의 파라미터를 업데이트 하여 잡음 전력을 구하고 이를 바탕으로 이득을 계산하여 잡음 제거를 수행하는데 반해, 국내공개특허 제10-2013-0118513호의 경우 수학식

Figure pat00020
을 이용하여 잡음 제거를 수행한다는 차이가 있다.On the other hand, the biggest difference between the conventional Korean Patent Publication No. 10-2013-0118513 and the present invention, in the case of the present invention by updating the parameters of the noise power estimator 180 optimized according to the noise environment through the noise environment classification While noise cancellation is performed by obtaining a noise power and calculating a gain based on this, in case of Korean Patent Publication No. 10-2013-0118513
Figure pat00020
There is a difference in that noise cancellation is performed using.

또한, 국제특허공개 WO2010-015371는 잡음 전력, SNR 또는 이득으로 표현될 수 있는 음성 향상에 필요한 정보를 기계 학습법을 이용하여 획득하지만, 본 발명은 잡음의 특성을 학습하여 잡음 환경을 구별하여 그에 따른 최적 잡음 전력을 계산할 수 있는 파라미터를 제공한다는 차이가 있다. 또한, 본 발명은 음성검출기(111)를 이용하여 잡음 신호만의 특성을 추출한다는 점에서도 국제특허공개 WO2010-015371와는 차이가 있다.In addition, WO2010-015371 obtains information required for speech enhancement, which can be expressed as noise power, SNR, or gain, using machine learning, but the present invention learns the characteristics of noise to distinguish the noise environment and accordingly The difference is that it provides a parameter to calculate the optimal noise power. In addition, the present invention is different from the international patent publication WO2010-015371 in that it extracts only the noise signal using the voice detector 111.

상술한 바와 같이, 본 발명에 따른 보청기(100)는, 잡음 환경에 따라 최적화된 잡음 전력 추정기(180)의 파라미터를 결정해 정확한 잡음 전력을 계산함으로써 해당 잡음 환경에 최적화된 이득을 도출하여 잡음 상황에서 보청기 사용자의 음성 인지 능력을 향상시킬 수 있다. 또한, 전체 신호의 특성을 추출하는 대신 음성검출기(111)를 사용하여 잡음 신호 구간만의 특성을 도출한다는 점에서 전체 신호의 특성을 도출해야 하는 구조보다 적은 연산을 필요로 한다. 또한, 다양한 음성과 잡음이 혼재하는 상황을 훈련하여 이를 바탕으로 이득(잡음 전력, SNR)을 도출하는 구조와 달리 환경 잡음만을 훈련하여 그에 맞는 잡음 전력 추정기(180)의 파라미터만을 도출한다는 점에서 훈련 과정이 간단하고 효율적이다.As described above, the hearing aid 100 according to the present invention determines a parameter of the noise power estimator 180 optimized according to the noise environment and calculates accurate noise power to derive a gain optimized for the noise environment to obtain a noise situation. Improve the voice recognition ability of hearing aid users. In addition, instead of extracting the characteristic of the entire signal, the voice detector 111 is used to derive the characteristic of only the noise signal section, which requires less computation than the structure that requires derivation of the characteristic of the entire signal. In addition, unlike the structure that derives gains (noise power, SNR) based on the situation where various voices and noises are mixed and trains the situation, only the environmental noise is trained to obtain only the parameters of the noise power estimator 180 accordingly. The process is simple and efficient.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations may be made without departing from the essential features of the present invention. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and all technical ideas having equivalent or equivalent modifications to the claims as well as the following claims are included in the scope of the present invention. It should be interpreted as.

잡음분류 추정부(110)
음성검출기(111)
특성추출기(112)
잡음신호 특성버퍼(113)
잡음환경 분류기(114)
입력신호 처리부(120)
입력버퍼(121)
윈도우적용부(122)
FFT부(123)
잡음전력 추정기(180)
이득계산부(190)
곱셈기(200)
IFFT부(210)
출력버퍼(220)
Noise classification estimator 110
Voice Detector (111)
Feature Extractor (112)
Noise Signal Characteristic Buffer (113)
Noise Environment Classifier (114)
Input signal processing unit 120
Input buffer (121)
Window application part (122)
FFT section (123)
Noise Power Estimator (180)
Gain calculator 190
Multiplier (200)
IFFT Part (210)
Output buffer (220)

Claims (13)

입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 잡음분류 추정부;
상기 입력 오디오 신호의 FFT 데이터를 생성하는 입력신호 처리부; 및
상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 잡음전력 추정기
를 포함하는 것을 특징으로 하는 보청기.
A noise classification estimator for determining a type of noise environment corresponding to the characteristic value of the signal for the divided noise section of the input audio signal and updating an estimator parameter matching the type of the noise environment;
An input signal processor configured to generate FFT data of the input audio signal; And
A noise power estimator estimating power of noise from the FFT data, and estimating power of noise in a corresponding noise environment based on the estimator parameter
Hearing aid comprising a.
제1항에 있어서,
상기 잡음분류 추정부는, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출하는 것을 특징으로 하는 보청기.
The method of claim 1,
And the noise classification estimator extracts the characteristic value from only the signal for the noise section extracted using a voice detector, not from the overall characteristic value of the input audio signal.
제1항에 있어서,
상기 잡음분류 추정부는, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정하는 것을 특징으로 하는 보청기.
The method of claim 1,
The noise classification estimator determines a noise environment of a signal characteristic value corresponding to the noise section by comparing a characteristic value of a noise environment obtained in advance using a machine learning method with a characteristic value of a signal for the noise section. Hearing aid, characterized in that.
제3항에 있어서,
상기 잡음분류 추정부는, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력하는 것을 특징으로 하는 보청기.
The method of claim 3,
And the noise classification estimator outputs, to the noise power estimator, the estimator parameter corresponding to the determined noise environment among the noise environment estimator parameters previously obtained by preliminary evaluation.
제1항에 있어서,
상기 잡음분류 추정부는,
상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 음성검출기;
상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 특성추출기;
상기 특성추출기의 출력을 순차 저장하고 출력하는 잡음신호 특성버퍼; 및
상기 잡음신호 특성버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 잡음환경 분류기
를 포함하는 것을 특징으로 하는 보청기.
The method of claim 1,
The noise classification estimator,
A voice detector for generating a separator of each section for distinguishing between a voice signal section and a noise section of the input audio signal;
A feature extractor for extracting a feature value of a signal for a noise section of the input audio signal based on the delimiter;
A noise signal characteristic buffer for sequentially storing and outputting the output of the characteristic extractor; And
A noise environment classifier which determines the type of the noise environment corresponding to the characteristic value for a predetermined time stored in the noise signal characteristic buffer and updates and outputs the corresponding estimator parameter.
Hearing aid comprising a.
제1항에 있어서,
상기 입력신호 처리부는,
상기 입력 오디오 신호를 순차 저장하고 출력하는 입력버퍼;
상기 입력 버퍼의 출력에서 유효 데이터를 선택하는 윈도우 적용부; 및
상기 윈도우 적용부의 출력을 FFT 처리한 데이터를 생성하는 FFT부
를 포함하는 것을 특징으로 하는 보청기.
The method of claim 1,
The input signal processor,
An input buffer for sequentially storing and outputting the input audio signal;
A window application unit for selecting valid data from an output of the input buffer; And
FFT unit for generating data obtained by FFT processing the output of the window application unit
Hearing aid comprising a.
제6항에 있어서,
추정된 상기 잡음의 전력에 대한 이득을 계산하는 이득계산부;
상기 FFT 처리한 데이터에 대하여 상기 이득을 곱하는 곱셈기;
상기 곱셈기의 출력을 IFFT 처리한 데이터를 생성하는 IFFT부; 및
상기 IFFT부의 출력 데이터를 순차 저장하고 출력하는 출력버퍼
를 더 포함하는 것을 특징으로 하는 보청기.
The method of claim 6,
A gain calculator for calculating an estimated gain for the power of the noise;
A multiplier for multiplying the gain by the FFT processed data;
An IFFT unit for generating data obtained by IFFT processing the output of the multiplier; And
An output buffer for sequentially storing and outputting the output data of the IFFT unit
Hearing aid further comprising a.
입력 오디오 신호의 구분된 잡음구간에 대한 신호의 특성값에 대응된 잡음환경의 종류를 결정하고, 상기 잡음환경의 종류에 매칭되는 추정기 파라미터를 업데이트하는 단계;
상기 입력 오디오 신호의 FFT 데이터를 생성하는 단계; 및
상기 FFT 데이터로부터 잡음의 전력을 추정하되, 상기 추정기 파라미터를 기초로 해당 잡음환경에서의 잡음의 전력을 추정하는 단계
를 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
Determining a type of noise environment corresponding to the characteristic value of the signal for the divided noise section of the input audio signal and updating an estimator parameter matching the type of the noise environment;
Generating FFT data of the input audio signal; And
Estimating power of noise from the FFT data, and estimating power of noise in a corresponding noise environment based on the estimator parameter
Hearing aid signal processing method comprising a.
제8항에 있어서,
상기 업데이트하는 단계에서, 상기 입력 오디오 신호에 대한 전체적인 특성값이 아닌, 음성검출기를 이용하여 추출한 상기 잡음구간에 대한 신호만에 대하여 상기 특성값을 추출하는 것을 특징으로 하는 보청기 신호 처리 방법.
The method of claim 8,
And in the updating step, extracting the characteristic value of only the signal for the noise section extracted using a voice detector, not the overall characteristic value of the input audio signal.
제8항에 있어서,
상기 업데이트하는 단계에서, 사전에 기계학습법을 이용하여 미리 획득한 잡음환경별 특성값과 상기 잡음구간에 대한 신호의 특성값을 비교하여 해당 상기 잡음구간에 대한 신호의 특성값에 대한 잡음환경을 결정하는 것을 특징으로 하는 보청기 신호 처리 방법.
The method of claim 8,
In the updating step, by comparing the characteristic values of the signal for the noise section with the noise values obtained in advance by using the machine learning method to determine the noise environment for the characteristic value of the signal for the noise section Hearing aid signal processing method characterized in that.
제10항에 있어서,
상기 업데이트하는 단계에서, 사전 평가에 의해 미리 획득한 잡음환경별 추정기 파라미터 중에서, 결정된 상기 잡음환경에 대응되는 상기 추정기 파라미터를 상기 잡음전력 추정기로 출력하는 것을 특징으로 하는 보청기 신호 처리 방법.
The method of claim 10,
And in the updating step, outputting the estimator parameter corresponding to the determined noise environment from among the noise environment estimator parameters previously obtained by a prior evaluation, to the noise power estimator.
제8항에 있어서,
상기 업데이트하는 단계는,
상기 입력 오디오 신호의 음성신호구간과 잡음구간을 구분하기 위한 각 구간의 구분자를 생성하는 단계;
상기 구분자를 기초로 상기 입력 오디오 신호의 잡음구간에 대한 신호의 특성값을 추출하는 단계;
상기 특성값을 버퍼에 순차 저장하고 출력하는 단계; 및
상기 버퍼에 저장된 소정의 시간 동안의 특성값에 대응된 상기 잡음환경의 종류를 결정하고 해당 추정기 파라미터를 업데이트하여 출력하는 단계
를 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
The method of claim 8,
The updating step,
Generating a separator for each section for distinguishing between a voice signal section and a noise section of the input audio signal;
Extracting a characteristic value of a signal for a noise section of the input audio signal based on the delimiter;
Sequentially storing and outputting the characteristic values in a buffer; And
Determining a type of the noise environment corresponding to the characteristic value for a predetermined time stored in the buffer, and updating and outputting a corresponding estimator parameter
Hearing aid signal processing method comprising a.
제8항에 있어서,
추정된 상기 잡음의 전력에 대한 이득을 계산하는 단계;
상기 FFT 처리한 데이터에 대하여 상기 이득을 곱셈하는 단계;
상기 곱셈의 결과를 IFFT 처리한 데이터를 생성하는 단계; 및
상기 IFFT 처리에 의한 데이터를 버퍼에 순차 저장하고 출력하는 단계
를 더 포함하는 것을 특징으로 하는 보청기 신호 처리 방법.
The method of claim 8,
Calculating a gain for the estimated power of the noise;
Multiplying the gain by the FFT processed data;
Generating data obtained by IFFT processing the result of the multiplication; And
Sequentially storing and outputting data by the IFFT process in a buffer
Hearing aid signal processing method further comprising.
KR1020190145000A 2017-05-15 2019-11-13 Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof KR102206546B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170059797 2017-05-15
KR20170059797 2017-05-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180048603A Division KR20180125385A (en) 2017-05-15 2018-04-26 Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof

Publications (2)

Publication Number Publication Date
KR20190129805A true KR20190129805A (en) 2019-11-20
KR102206546B1 KR102206546B1 (en) 2021-01-22

Family

ID=64565427

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180048603A KR20180125385A (en) 2017-05-15 2018-04-26 Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof
KR1020190145000A KR102206546B1 (en) 2017-05-15 2019-11-13 Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180048603A KR20180125385A (en) 2017-05-15 2018-04-26 Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof

Country Status (1)

Country Link
KR (2) KR20180125385A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065387A (en) 2019-11-27 2021-06-04 주식회사 리딤 Multifunctional hearing aid system
KR102647545B1 (en) * 2022-11-10 2024-03-14 주식회사 이엠텍 Electronic device having open speaker

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102130505B1 (en) * 2019-05-02 2020-07-06 남서울대학교 산학협력단 Apparatus and method for removing feedback signal of hearing aid through deep learning
US11076243B2 (en) 2019-06-20 2021-07-27 Samsung Electro-Mechanics Co., Ltd. Terminal with hearing aid setting, and setting method for hearing aid
CN110300367A (en) * 2019-06-28 2019-10-01 深圳航天金悦通科技有限公司 A kind of intelligent hearing aid based on lossless noise reduction technology

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002537586A (en) * 1999-02-18 2002-11-05 アンドレア エレクトロニクス コーポレイション System, method and apparatus for canceling noise
JP2015130659A (en) * 2013-12-13 2015-07-16 ジーエヌ リザウンド エー/エスGn Resound A/S Learning hearing aid
KR20160091978A (en) * 2013-11-28 2016-08-03 와이덱스 에이/에스 Method of operating a hearing aid system and a hearing aid system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002537586A (en) * 1999-02-18 2002-11-05 アンドレア エレクトロニクス コーポレイション System, method and apparatus for canceling noise
KR20160091978A (en) * 2013-11-28 2016-08-03 와이덱스 에이/에스 Method of operating a hearing aid system and a hearing aid system
JP2015130659A (en) * 2013-12-13 2015-07-16 ジーエヌ リザウンド エー/エスGn Resound A/S Learning hearing aid

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065387A (en) 2019-11-27 2021-06-04 주식회사 리딤 Multifunctional hearing aid system
KR102647545B1 (en) * 2022-11-10 2024-03-14 주식회사 이엠텍 Electronic device having open speaker

Also Published As

Publication number Publication date
KR20180125385A (en) 2018-11-23
KR102206546B1 (en) 2021-01-22

Similar Documents

Publication Publication Date Title
KR102206546B1 (en) Hearing Aid Having Noise Environment Classification and Reduction Function and Method thereof
Pandey et al. On adversarial training and loss functions for speech enhancement
CN107910011B (en) Voice noise reduction method and device, server and storage medium
KR102152197B1 (en) Hearing Aid Having Voice Activity Detector and Method thereof
US8655656B2 (en) Method and system for assessing intelligibility of speech represented by a speech signal
JPH1115491A (en) Environmentally compensated method of processing speech
CN112735456A (en) Speech enhancement method based on DNN-CLSTM network
JP6054142B2 (en) Signal processing apparatus, method and program
CN111696568B (en) Semi-supervised transient noise suppression method
CN112687276B (en) Audio signal processing method and device and storage medium
JP2008158035A (en) Device for determining voiced sound interval of multiple sound sources, method and program therefor, and its recording medium
Swami et al. Speech enhancement by noise driven adaptation of perceptual scales and thresholds of continuous wavelet transform coefficients
Selvi et al. Hybridization of spectral filtering with particle swarm optimization for speech signal enhancement
Elshamy et al. An iterative speech model-based a priori SNR estimator
JP6404780B2 (en) Wiener filter design apparatus, sound enhancement apparatus, acoustic feature quantity selection apparatus, method and program thereof
Seong et al. WADA-W: A modified WADA SNR estimator for audio-visual speech recognition
Han et al. Reverberation and noise robust feature compensation based on IMM
JP6439174B2 (en) Speech enhancement device and speech enhancement method
Lu Reduction of musical residual noise using block-and-directional-median filter adapted by harmonic properties
JP6961545B2 (en) Sound signal processor, sound signal processing method, and program
Ng et al. Small footprint multi-channel convmixer for keyword spotting with centroid based awareness
Sehr et al. Model-based dereverberation in the Logmelspec domain for robust distant-talking speech recognition
Liu et al. Investigation of Cost Function for Supervised Monaural Speech Separation.
Ondusko et al. Blind signal-to-noise ratio estimation of speech based on vector quantizer classifiers and decision level fusion
Win et al. Speech enhancement techniques for noisy speech in real world environments

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant