KR20180125395A - Environment classification hearing aid and environment classification method using thereof - Google Patents

Environment classification hearing aid and environment classification method using thereof Download PDF

Info

Publication number
KR20180125395A
KR20180125395A KR1020180054200A KR20180054200A KR20180125395A KR 20180125395 A KR20180125395 A KR 20180125395A KR 1020180054200 A KR1020180054200 A KR 1020180054200A KR 20180054200 A KR20180054200 A KR 20180054200A KR 20180125395 A KR20180125395 A KR 20180125395A
Authority
KR
South Korea
Prior art keywords
environment
mode
external sound
dsp
feature point
Prior art date
Application number
KR1020180054200A
Other languages
Korean (ko)
Other versions
KR102044962B1 (en
Inventor
조경환
박영진
김선권
안홍섭
양기동
오준택
Original Assignee
한국전기연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전기연구원 filed Critical 한국전기연구원
Publication of KR20180125395A publication Critical patent/KR20180125395A/en
Application granted granted Critical
Publication of KR102044962B1 publication Critical patent/KR102044962B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/39Aspects relating to automatic logging of sound environment parameters and the performance of the hearing aid during use, e.g. histogram logging, or of user selected programs or settings in the hearing aid, e.g. usage logging

Abstract

The present invention relates to an environment classification hearing aid to classify in which environment did an external sound input to a hearing aid input, and an environment classification method using the same. The environment classification hearing aid comprises a plurality of DSPs for analyzing an environment of an external sound, and processing a voice signal included in the external sound according to the analyzed environment. The environment classification hearing aid is operated by at least one of a first mode extracting a first feature point from a digital signal of the plurality of DSPs and a second mode for extracting a second feature point from the digital signal to analyze the environment of the external sound again when the environment of the external sound is analyzed through the first mode.

Description

환경 분류 보청기 및 이를 이용한 환경 분류 방법{ENVIRONMENT CLASSIFICATION HEARING AID AND ENVIRONMENT CLASSIFICATION METHOD USING THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a hearing aid,

본 발명은 환경 분류 보청기 및 이를 이용한 환경 분류 방법에 관한 것으로서, 보다 구체적으로는 보청기에 입력되는 외부 사운드가 어떠한 환경에서 입력되는 것인지 분류하기 위한 환경 분류 보청기 및 이를 이용한 환경 분류 방법 에 관한 것이다.The present invention relates to an environment classifying hearing aid and an environmental classifying method using the same, and more particularly, to an environment classifying hearing aid for classifying an external sound inputted into a hearing aid and an environment classifying method using the same.

일반적으로, 보청기는 난청으로 진단된 환자의 귀에 장착하여 소리를 증폭하여 주는 기구로서, 소리를 받는 마이크로폰과 소리를 증폭시키는 증폭기, 증폭된 소리를 내보내는 리시버 등으로 구성되어 있으며, 난청인 사용자의 청력기관으로 입력되는 음향신호가 정상인과 동일한 정도로 뇌에 입력될 수 있도록 음향신호를 인위적으로 변형시킨다.Generally, a hearing aid is a device for amplifying sound by being attached to the ear of a patient diagnosed with hearing loss. The hearing aid is composed of a microphone for receiving sound, an amplifier for amplifying sound, and a receiver for outputting amplified sound. Artificially deforms the acoustic signal so that the acoustic signal input to the organism can be input to the brain to the same degree as a normal person.

현재 시중에 판매되고 있는 보청기는 크게 아날로그형 및 디지털형 보청기로 분류할 수 있다. 이중 아날로그형 보청기는 보청기 내에 포함된 아날로그 회로가 디지털 회로에 비해 유연성이나 신뢰성이 떨어져 기능 조정이 어려우므로, 사용자의 가청영역을 2~3가지의 제한된 대역수로만 증폭 가능하다는 단점이 있었다.Currently available hearing aids are classified into analog type and digital type hearing aids. The dual analogue type hearing aids have the disadvantage that the analog circuit included in the hearing aid can not amplify the functionality of the digital circuit because of the flexibility and reliability of the digital circuit.

따라서, 종래 아날로그형 보청기의 문제점을 해결하기 위해 아날로그 회로의 유연성과 신뢰성보다 향상된 성능을 가지며, 복잡한 신호처리 알고리즘의 실현이 가능한 디지털 보청기에 대한 개발이 활발히 이루어지고 있다.Therefore, in order to solve the problems of the conventional analog type hearing aid, development of a digital hearing aid capable of realizing a complicated signal processing algorithm, which has an improved performance than the flexibility and reliability of an analog circuit, has been actively developed.

종래에 개발된 디지털 보청기는 외부에서 발생하는 사운드를 처리하여 보청기의 사용자에게 출력하는 과정에서 잡음을 제거하기 위하여 외부 사운드가 발생하는 환경에 대한 분류를 수행하는 경우가 있다. 따라서 보청기 사용자에게 출력되는 사운드로부터 잡음을 보다 효율적으로 제거하기 위해선 외부의 환경으로부터 들리는 잡음인 환경 사운드를 효과적으로 분류하고, 환경 사운드의 종류에 따라 잡음을 제거하는 방법이 요구된다. Conventionally developed digital hearing aids may classify an environment in which an external sound is generated in order to remove noise in a process of processing sound generated from the outside and outputting the sound to a user of the hearing aid. Therefore, in order to more effectively remove the noise from the sound output to the hearing aid user, a method of effectively classifying the environmental sound, which is the noise heard from the external environment, and removing the noise according to the kind of the environment sound is required.

일반적으로 디지털형 보청기에서 수행되는 환경을 분류 과정은 DSP(Digital Signal Processor)에 의해 처리된다. 환경을 보다 정확히 분류하기 위해선 다량의 연산 처리가 요구되며 그에 따라 복수의 DSP가 동작되어야 한다. 예를 들어, 잡음 제거 또는 WDRC(Wide Dynamic Range Compression) 증폭과 같은 보청기의 기본적인 동작을 수행하기 위한 DSP와 환경 변화를 감지하고 분류하기 위한 DSP가 별도로 동작 되는 경우, 외부 사운드에 대한 환경 분류시 적어도 2 이상의 DSP가 같이 동작되어야 한다. In general, the process of classifying the environment performed in a digital hearing aid is processed by a DSP (Digital Signal Processor). To classify the environment more precisely, a large amount of arithmetic processing is required, and accordingly, a plurality of DSPs must be operated. For example, if the DSP for performing the basic operation of the hearing aid such as noise elimination or WDRC (Wide Dynamic Range Compression) amplification and the DSP for detecting and classifying environmental changes are operated separately, Two or more DSPs must be operated together.

그리고, 복수의 DSP가 환경 연산 처리를 위해 같이 동작하면 보청기의 전력 소모량도 증가하게 된다. 반면, 보청기에 요구되는 착용감과 휴대성으로 인하여 보청기의 크기는 제한되며, 그에 따라 보청기에 저장할 수 있는 에너지는 제한되는 문제점이 있다.And, when a plurality of DSPs operate together for environment calculation processing, the power consumption of the hearing aid increases. On the other hand, the size of the hearing aid is limited due to the comfort and portability required of the hearing aid, which limits the energy that can be stored in the hearing aid.

따라서, 보청기의 환경 분류 기능을 효율적으로 수행하면서도 전력의 소모를 감소시킬 수 있는 방안이 요구된다.Therefore, there is a need for a method that can reduce the power consumption while efficiently performing the environmental classification function of the hearing aid.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위해 창안된 것으로, 보청기의 환경 분류 기능을 보다 효율적으로 수행하면서 소모되는 전력의 양을 감소시키는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to reduce the amount of power consumed while performing an environmental classification function of a hearing aid more efficiently.

본 발명은 보청기의 DSP 구조를 환경 분류 알고리즘에 따라 선택적으로 변경 가능하게 하여 DSP에서 소모되는 전력의 양을 감소시키는 것을 다른 목적으로 한다.Another object of the present invention is to reduce the amount of power consumed by the DSP by selectively changing the DSP structure of the hearing aid according to the environment classification algorithm.

상기한 과제를 해결하기 위하여 본 발명의 실시예에 따른 환경 분류 보청기는 외부 사운드가 입력되는 마이크로폰; 상기 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 상기 외부 사운드에 포함된 음성 신호를 처리하는 복수의 DSP; 및 상기 DSP에 의하여 음성 신호가 처리된 디지털 신호를 변환하여 사용자에게 출력하는 리시버; 를 포함하고, 상기 복수의 DSP 중 적어도 일부는 상기 외부 사운드로부터 음성 신호를 처리하고 상기 외부 사운드의 환경을 분석하기 위해 상기 디지털 신호로부터 제1 특징점을 추출하는 제1 모드; 및 상기 제1 모드를 통해 상기 외부 사운드의 환경이 분석되면, 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드; 중 적어도 하나의 모드로 동작할 수 있다.According to an aspect of the present invention, there is provided an environment classifying hearing aid comprising: a microphone for inputting an external sound; A plurality of DSPs for analyzing the environment of the external sound and processing voice signals included in the external sound according to the analyzed environment; A receiver for converting a digital signal processed by the DSP into a voice signal and outputting the converted digital signal to a user; At least some of the plurality of DSPs processing a voice signal from the external sound and extracting a first feature point from the digital signal to analyze the environment of the external sound; And a second mode for analyzing the environment of the external sound by extracting a second characteristic point from the digital signal when the environment of the external sound is analyzed through the first mode; Lt; RTI ID = 0.0 > mode. ≪ / RTI >

상기 DSP는 명령어를 디코딩하여 연산을 처리하는 DSP 코어; 및 상기 DSP 코어의 연산 처리에 필요한 명령어와 데이터가 저장되는 메모리부; 를 포함할 수 있다.The DSP includes a DSP core that decodes an instruction to process an operation; A memory unit for storing instructions and data necessary for arithmetic processing of the DSP core; . ≪ / RTI >

상기 DSP 코어는 상기 명령어를 디코딩하는 디코딩부; 디코딩된 상기 명령어에 따라 연산을 처리하는 연산부; 상기 연산부의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장하기 위한 레지스터부; 를 포함할 수 있다.The DSP core includes: a decoding unit decoding the instruction; An operation unit for processing an operation according to the decoded instruction; A register unit for storing intermediate processing results generated in the operation processing of the operation unit; . ≪ / RTI >

상기 제1 모드가 동작되는 DSP는 상기 제1 특징점을 추출하기 위한 간이 명령어 처리부; 를 더 포함할 수 있다.A DSP for operating the first mode includes a simple command processor for extracting the first feature point; As shown in FIG.

상기 간이 명령어 처리부는 상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제1 특징점을 추출하기 위한 간이 명령어를 지시하는 명령어 버퍼; 및 상기 연산부에 포함되는 산술 유닛 중 적어도 일부를 사용하여 상기 명령어 버퍼의 지시에 대응하여 연산을 처리하는 간이 연산부; 를 포함할 수 있다.Wherein the simple instruction processing unit comprises: a command buffer for indicating a simple instruction for extracting the first feature point using at least a part of the register files included in the register unit; And an arithmetic operation unit that processes the arithmetic unit in accordance with an instruction of the instruction buffer using at least a part of the arithmetic units included in the arithmetic unit; . ≪ / RTI >

상기 제2 모드가 동작되는 DSP의 상기 DSP 코어는 상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제2 특징점을 추출할 때 사용되는 반복 명령어를 처리하는 루프 버퍼; 를 더 포함할 수 있다.The DSP core of the DSP in which the second mode is operated includes a loop buffer for processing repeated instructions used when extracting the second characteristic point using at least a part of register files included in the register unit; As shown in FIG.

상기 제1 특징점은 ZCR(Zero Crossing Rate), 파워 스펙트럼 중 적어도 하나 이상에 대응되고, 상기 제2 특징점은 MFCC(Mel-Scale Frequency Cepstrum Coefficient), 스펙트럼 엔트로피, 상기 ZCR 중 적어도 하나 이상에 대응될 수 있다.Wherein the first feature point corresponds to at least one of a ZCR (zero crossing rate) and a power spectrum, and the second feature point corresponds to at least one of a Mel-Scale Frequency Cepstrum Coefficient (MFCC), a spectral entropy, have.

상기 DSP는 상기 제1 모드를 통해 상기 제1 특징점을 추출한 후, 기 저장된 환경 정보와 거리값을 비교하여 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석할 수 있다.The DSP may analyze the environment of the external sound by extracting the first feature point through the first mode, comparing the previously stored environment information with the distance value, and measuring the similarity.

상기 DSP는 상기 제2 모드를 통해 상기 제2 특징점을 추출한 후, 기 저장된 환경 정보와 GMM(Gaussian Mixture Model) 기반 로그-라이클리후드를 통해 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석할 수 있다.The DSP may extract the second feature point through the second mode and then analyze the environment of the external sound by measuring the similarity through pre-stored environment information and log-raycyle hood based on GMM (Gaussian Mixture Model) .

상기 제2 모드는 상기 DSP가 상기 제1 모드를 통한 상기 외부 사운드의 환경 분석 결과, 기 분석된 상기 외부 사운드의 환경과 상기 제1 모드를 통해 분석된 상기 외부 사운드의 환경이 일치하지 않을 때 동작될 수 있다.Wherein the second mode is a mode in which when the environment of the external sound analyzed by the DSP is different from the environment of the external sound analyzed through the first mode and the environment of the external sound analyzed through the first mode, .

상기 제2 모드는 상기 제1 모드가 동작되는 DSP와 다른 DSP에서 동작될 수 있다.The second mode may be operated in a DSP different from the DSP in which the first mode is operated.

상기 제2 모드를 통한 상기 외부 사운드의 환경 분석이 종료되면, 상기 제2 모드가 동작되는 DSP는 유휴 상태로 변경될 수 있다.When the environment analysis of the external sound through the second mode is terminated, the DSP in which the second mode is operated may be changed to the idle state.

상기한 과제를 해결하기 위하여 본 발명의 실시예에 따른 환경 분류 방법은 보청기의 복수의 DSP에 의하여 보청기에 입력된 외부 사운드의 환경을 분류하기 위한 방법에 있어서, 상기 외부 사운드에 대한 음성 신호 처리 단계; 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계; 상기 제1 특징점을 통해 상기 외부 사운드의 환경을 분석하는 단계; 상기 외부 사운드의 환경이 기 환경과 일치하지 않으면 제2 모드로 동작하여 상기 외부 사운드의 제2 특징점을 추출하는 단계; 및 상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계; 를 포함하고, 상기 제2 특징점을 통해 다시 분석된 상기 외부 사운드의 환경에 대한 정보는 상기 음성 신호 처리 단계에 반영될 수 있다.According to another aspect of the present invention, there is provided a method for classifying an environment of an external sound inputted to a hearing aid by a plurality of DSPs of a hearing aid, the method comprising the steps of: ; Operating in a first mode to extract first feature points of the external sound; Analyzing the environment of the external sound through the first feature point; Extracting a second feature point of the external sound by operating in a second mode if the environment of the external sound does not match the environment; And re-analyzing the environment of the external sound through the second feature point; And information on the environment of the external sound analyzed again through the second feature point may be reflected in the speech signal processing step.

상기 제1 모드는 상기 복수의 DSP 중 하나에 의하여 동작되고, 상기 제2 모드는 상기 복수의 DSP 중 다른 하나에 의하여 동작될 수 있다.The first mode may be operated by one of the plurality of DSPs, and the second mode may be operated by another one of the plurality of DSPs.

상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계 이후, 상기 제2 모드가 동작된 DSP를 유휴 상태로 변경하는 단계; 를 더 포함할 수 있다.Further comprising: after re-analyzing the environment of the external sound through the second feature point, changing the DSP in which the second mode is operated to an idle state; As shown in FIG.

상기 외부 사운드에 대한 음성 신호 처리 단계와 상기 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계는 상기 제1 모드로 동작되는 DSP가 병행하여 수행할 수 있다.The step of processing the voice signal for the external sound and the step of extracting the first feature point of the external sound by operating in the first mode may be performed in parallel with the DSP operated in the first mode.

본 발명의 실시예에 따른 환경 분류 보청기 및 환경 분류 방법은 환경 분류 기능을 보다 효율적으로 수행하면서 소모되는 전력의 양을 감소시킬 수 있다. The environment classification hearing aid and the environment classification method according to the embodiment of the present invention can reduce the amount of power consumed while performing the environment classification function more efficiently.

또한, 본 발명의 실시예에 따른 환경 분류 보청기 및 환경 분류 방법은 보청기의 DSP 구조를 환경 분류 알고리즘에 따라 선택적으로 변경 가능하게 하여 DSP에서 소모되는 전력의 양을 감소시키는 효과가 있다.In addition, the environment classifying hearing aid and the environment classifying method according to the embodiment of the present invention can selectively change the DSP structure of the hearing aid according to the environment classifying algorithm, thereby reducing the amount of power consumed in the DSP.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1는 본 발명의 일 실시예에 따른 환경 분류 보청기를 설명하기 위한 도면이다.
도 2 내지 도 4는 도 1에서 DSP의 구조가 변형될 수 있는 실시예를 보다 상세히 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 환경 분류 방법을 설명하기 위한 도면이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of the specification, illustrate embodiments of the invention and, together with the description, serve to explain the principles of the invention.
1 is a view for explaining an environment classifying hearing aid according to an embodiment of the present invention.
FIGS. 2 to 4 are views for explaining an embodiment in which the structure of the DSP can be modified in FIG.
5 is a view for explaining an environmental classification method according to another embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments will be described in detail below with reference to the accompanying drawings.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.The following examples are provided to aid in a comprehensive understanding of the methods, apparatus, and / or systems described herein. However, this is merely an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. The following terms are defined in consideration of the functions of the present invention, and may be changed according to the intention or custom of the user, the operator, and the like. Therefore, the definition should be based on the contents throughout this specification. The terms used in the detailed description are intended only to describe embodiments of the invention and should in no way be limiting. Unless specifically stated otherwise, the singular form of a term includes plural forms of meaning. In this description, the expressions " comprising " or " comprising " are intended to indicate certain features, numbers, steps, operations, elements, parts or combinations thereof, Should not be construed to preclude the presence or possibility of other features, numbers, steps, operations, elements, portions or combinations thereof.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.It is also to be understood that the terms first, second, etc. may be used to describe various components, but the components are not limited by the terms, and the terms may be used to distinguish one component from another .

이하에서는, 본 발명을 예시한 실시 형태들이 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1는 본 발명의 일 실시예에 따른 환경 분류 보청기를 설명하기 위한 도면이다. 1 is a view for explaining an environment classifying hearing aid according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 다른 환경 분류 보청기는 범용 프로세서(10), 마이크로폰(20), 범용 메모리(30), 리시버(40) 및 복수의 DSP (50, 51)들을 포함하는 것을 알 수 있다. 그리고 상기한 구성들은 버스를 통해 서로 연결되어 신호를 주고 받을 수 있다. 1, an environment classifying hearing aid according to an embodiment of the present invention includes a general processor 10, a microphone 20, a general memory 30, a receiver 40, and a plurality of DSPs 50 and 51 . And the above-described configurations can be connected to each other via a bus to exchange signals.

범용 프로세서(10)는 환경 분류 보청기에 포함되는 복수의 DSP(50, 51)들을 동작시키거나 유휴 상태로 변환시킬 수 있으며, 복수의 DSP(50, 51) 간의 파라미터 값 또는 연산 처리에 대한 결과 값을 전달하도록 제어할 수 있다.The general purpose processor 10 can operate or convert a plurality of DSPs 50 and 51 included in the environment classifying hearing aid into an idle state and can set a parameter value between the plurality of DSPs 50 and 51 or a result value As shown in FIG.

마이크로폰(20)은 환경 분류 보청기의 외부로부터 입력되는 외부 사운드를 수신하여 디지털 신호로 변환시킬 수 있다. 이를 위하여 마이크로폰(20)에는 A/D 컨버터와 같은 신호 변환 장치가 포함될 수 있다.The microphone 20 can receive an external sound input from the outside of the environment classifying hearing aid and convert it into a digital signal. To this end, the microphone 20 may include a signal conversion device such as an A / D converter.

범용 메모리(30)는 범용 프로세서(10), 마이크로폰(20), 리시버(40) 과 같은 환경 분류 보청기의 내부 장치의 연산 처리 등에 사용되는 데이터들을 저장하는 저장 장치일 수 있다.The general purpose memory 30 may be a storage device for storing data used for arithmetic processing and the like of an internal apparatus of an environment classifying hearing aid such as a general-purpose processor 10, a microphone 20 and a receiver 40. [

리시버(40)는 복수의 DSP(50, 51)을 통해 음성 신호에서 잡음이 제거된 디지털 신호를 환경 분류 보청기의 사용자가 청력을 통해 인식할 수 있도록 소리로 변환시켜 출력할 수 있다. The receiver 40 can convert a digital signal from which a noise is removed from a speech signal through a plurality of DSPs 50 and 51 into a sound so that the user of the environmental classification hearing aid can recognize the sound through hearing.

복수의 DSP(50, 51) 들은 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 외부 사운드에 포함된 음성 신호를 처리할 수 있다.The plurality of DSPs 50 and 51 may analyze the environment of the external sound and process the voice signal included in the external sound according to the analyzed environment.

이러한 복수의 DSP 중 적어도 일부는 상기 복수의 DSP 중 적어도 일부는 상기 외부 사운드의 환경을 분석하기 위해 상기 디지털 신호로부터 제1 특징점을 추출하여 상기 외부 사운드의 환경을 분석하는 제1 모드 및 상기 제1 모드를 통해 상기 외부 사운드의 환경이 분석되면, 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드 중 적어도 하나의 모드로 동작할 수 있다.Wherein at least some of the plurality of DSPs include a first mode in which at least some of the plurality of DSPs extract a first feature point from the digital signal to analyze the environment of the external sound and analyze the environment of the external sound, And a second mode for analyzing the environment of the external sound by extracting a second characteristic point from the digital signal when the environment of the external sound is analyzed through the mode.

여기서 외부 사운드의 환경이라 함은 보청기가 외부 사운드를 입력받는 장소로서, 카페 안, 길거리, 영화관, 공사장 등 다양한 장소가 예시될 수 있다. 이러한 환경으로부터 발생하는 소리는 보청기 사용자가 듣고자 하는 상대방의 음성에 섞여 잡음을 유발한다. 따라서, 이러한 외부 사운드가 어떠한 환경에 속해 있는지 분석하고, 해당 환경에 따라 잡음 제거 방법을 달리하는 것이 중요하다.Here, the environment of the external sound refers to a place where a hearing aid receives external sound, and various places such as a cafe, a street, a movie theater, and a construction site can be exemplified. The sound from this environment is mixed with the voice of the other party that the hearing aid user wants to hear, which causes noise. Therefore, it is important to analyze how the external sound belongs to the environment and to vary the noise removal method according to the environment.

환경 분류 보청기에 포함되는 DSP의 수는 보청기 설계자의 의도 또는 보청기 제작 환경에 따라 달라질 수 있다. The number of DSPs included in an environmental classification hearing aid may vary depending on the intention of the hearing aid designer or the hearing aid production environment.

도 2 내지 도 4는 도 1에서 DSP의 구조가 변형될 수 있는 실시예를 보다 상세히 설명하기 위한 도면이다.FIGS. 2 to 4 are views for explaining an embodiment in which the structure of the DSP can be modified in FIG.

도 2는 본 발명의 실시예에 따른 DSP의 일반 동작 모드를 설명하기 위한 도면이다. 도 2를 참조하면, DSP는 일반 동작 모드에서 DSP 코어(100) 및 메모리부(110)를 포함할 수 있다.2 is a diagram for explaining a general operation mode of a DSP according to an embodiment of the present invention. Referring to FIG. 2, the DSP may include a DSP core 100 and a memory unit 110 in a general operation mode.

DSP 코어(100)는 수신되는 명령어를 해독하고 관련된 데이터를 메모리부(110)로부터 로드하여 계산하고 그 결과값을 출력할 수 있다. The DSP core 100 can decode the received instruction and load the related data from the memory unit 110 and calculate and output the result.

이를 위하여 DSP 코어(100)는 명령어를 디코딩하는 디코딩부(101), 디코딩된 명령어에 따라 연산을 처리하는 연산부(103) 및 연산부(103)의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장하기 위한 레지스터부(102)를 포함할 수 있다.For this purpose, the DSP core 100 includes a decoding unit 101 for decoding an instruction, an operation unit 103 for performing an operation according to the decoded instruction, and an operation unit 103 for storing an intermediate process result generated in the operation process of the operation unit 103 And a register unit 102.

메모리부(110)에는 DSP 코어(100)의 연산 처리에 필요한 명령어와 데이터가 저장될 수 있다. 보다 상세하게, 메모리부(110)는 명령어와 저장된 데이터를 저장하는 명령어 메모리(111)와 상기한 연산부(103)의 연산에 필요한 데이터를 저장하는 데이터 메모리(112)를 포함할 수 있다.The memory unit 110 may store instructions and data necessary for the arithmetic processing of the DSP core 100. In more detail, the memory unit 110 may include an instruction memory 111 for storing instructions and stored data, and a data memory 112 for storing data necessary for the operation of the operation unit 103.

디코딩부(101)는 범용 프로세서(10)나 마이크로폰(20) 등 보청기의 다른 구성으로부터 수신하는 디지털 신호를 명령어로 해독한다. 디코딩부(101)의 명령어 해독 과정에서 디코딩부(101)는 명령어 메모리(111)에 접근하여 필요한 데이터를 로드할 수 있다. The decoding unit 101 decodes a digital signal received from other components of the hearing aid, such as the general-purpose processor 10 and the microphone 20, by using a command. The decoding unit 101 may access the instruction memory 111 to load necessary data in the decoding process of the instruction of the decoding unit 101. [

레지스터부(102)는 연산부(103)의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장 하거나 연산 처리가 끝난 값을 갱신하기 위한 데이터를 임시적으로 저장할 수 있다. 레지스터부(102)는 복수의 레지스터 파일(R0, R1, R2, ..., R15)를 포함할 수 있다. 도 2에서 레지스터부(102)는 16개의 레지스터 파일(R0, R1, R2, ..., R15)로 구성되는 것을 예시하였다. 하지만, DSP 코어(100)의 설계 또는 하기하는 DSP의 모드에 따라 레지스터부(102)에 포함되는 레지스터 파일의 숫자는 달라질 수 있다.The register unit 102 may store the intermediate processing result generated in the operation processing of the operation unit 103 or temporarily store the data for updating the operation processed value. The register unit 102 may include a plurality of register files R0, R1, R2, ..., R15. In FIG. 2, the register unit 102 is configured to include 16 register files (R0, R1, R2, ..., R15). However, the number of register files included in the register unit 102 may vary depending on the design of the DSP core 100 or the mode of the DSP.

연산부(103)는 주어진 명령어에 따라 데이터 메모리(112)로부터 로드된 데이터들 간의 연산을 수행하고 그 결과값을 출력할 수 있다. 연산부(103)는 ALU(Arithmetic Logic Unit)으로서, 복수의 산술 유닛을 포함하여 구성될 수 있다. 여기서 산술 유닛은 두 데이터 간의 덧셈 연산과 곱셈 연산을 수행할 수 있는 MAC(Multiplier Accumulator) 유닛이 예시될 수 있다. The arithmetic unit 103 can perform arithmetic operation between the data loaded from the data memory 112 and output the result of the arithmetic operation according to a given instruction. The arithmetic unit 103 is an ALU (Arithmetic Logic Unit), and can be configured to include a plurality of arithmetic units. Here, the arithmetic unit may be a MAC (Multiplier Accumulator) unit capable of performing an addition operation and a multiplication operation between two pieces of data.

도 3은 본 발명의 실시예에 따른 DSP의 제1 모드를 설명하기 위한 도면이고, 도 4는 본 발명의 실시예에 따른 DSP의 제2 모드를 설명하기 위한 도면이다. 도 3과 도 4를 설명함에 있어서, 도 2의 DSP의 일반 동작 모드와 중복되는 구성 또는 효과에 대한 설명은 생략하기로 한다.FIG. 3 is a view for explaining a first mode of a DSP according to an embodiment of the present invention, and FIG. 4 is a diagram for explaining a second mode of a DSP according to an embodiment of the present invention. In the description of FIG. 3 and FIG. 4, the description of the configuration or effect overlapping with the general operation mode of the DSP of FIG. 2 will be omitted.

제1 모드는 외부 사운드로부터 음성 신호를 처리하고 외부 사운드의 환경을 분서하기 위해 디지털 신호로부터 제1 특징점을 추출하는 모드일 수 있다. 그리고 제2 모드는 제1 모드를 통해 외부 사운드의 환경이 분석되면, 디지털 신호로부터 제2 특징점을 추출하여 외부 사운드의 환경을 다시 분석하기 위한 모드일 수 있다.The first mode may be a mode for processing a speech signal from an external sound and extracting a first feature point from the digital signal to decompose the environment of the external sound. The second mode may be a mode for analyzing the environment of the external sound by extracting the second characteristic point from the digital signal when the environment of the external sound is analyzed through the first mode.

환경 분류 보청기에 포함되는 복수의 DSP들은 범용 프로세서의 판단에 따라 상기한 일반 동작 모드, 제1 모드 및 제2 모드 중 적어도 하나 이상의 모드로 변환되어 동작될 수 있다.The plurality of DSPs included in the environment classification hearing aid can be converted into at least one of the above-mentioned general operation mode, first mode and second mode according to the judgment of the general purpose processor.

도 3을 참조하면, 제1 모드에서 DSP 코어(200)가 도 2의 DSP 코어(100)와 달리 레지스터부(202)의 레지스터 파일 중 일부와 연산부(203)의 일부 산술 유닛이 간이 명령어 처리부(210)로 사용되는 것을 알 수 있다. 3, in the first mode, the DSP core 200 is different from the DSP core 100 of FIG. 2 in that some arithmetic units of the arithmetic unit 203 and some of the register files of the register unit 202 are connected to the simple instruction processing unit 210). ≪ / RTI >

보다 상세하게, DSP의 제1 모드에서 DSP는 제1 특징점을 추출하기 위한 간이 명령어 처리부(210)는 레지스터부(202)에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 제1 특징점을 추출하기 위한 간이 명령어를 지시하는 명령어 버퍼(211)를 포함할 수 있다. 또한, 간이 명령어 처리부(210)는 연산부(203)에 포함되는 산술 유닛 중 적어도 일부를 사용하여 명령어 버퍼(211)의 지시에 대응하여 연산을 처리하는 간이 연산부(212)를 포함할 수 있다.More specifically, in the first mode of the DSP, the simplified instruction processing unit 210 for extracting the first feature point in the DSP extracts the first feature point using at least a part of the register files included in the register unit 202 And a command buffer 211 for indicating a command. The simplified instruction processing unit 210 may include a simple arithmetic operation unit 212 for performing an arithmetic operation in accordance with an instruction of the instruction buffer 211 by using at least some of the arithmetic units included in the arithmetic unit 203. [

즉, 도 2의 DSP 일반 동작 모드에서와 달리 도 3의 DSP 제1 모드에서는 레지스터 파일과 산술 유닛을 일부 DSP 코어(200)의 외부로 분리할 수 있다. 여기서 외부로 분리하는 것은 레지스터 파일과 산술 유닛의 물리적인 위치가 분리되는 것이 아니며, DSP 코어(200)와 별개의 연산을 처리하기 위해 그 사용 용도를 달리하는 것을 의미할 수 있다. In other words, unlike the DSP general operation mode of FIG. 2, the register file and the arithmetic unit can be separated from the DSP core 200 in the DSP first mode of FIG. Here, separating the register file and the arithmetic unit from each other does not mean that the register file and the arithmetic unit are physically separated from each other, but may be used differently from the DSP core 200 in order to process a separate operation.

제1 모드에서 간이 명령어 처리부(210)는 명령어 버퍼(211)와 간이 연산부(212)를 통해 DSP 코어(200)와 병행하여 연산을 처리할 수 있다. DSP 코어(200)가 외부 사운드로부터 음성 신호 처리를 위한 알고리즘을 수행하는 동안, 간이 명령어 처리부(210)는 외부 사운드에 포함된 제1 특징점을 추출할 수 있다. In the first mode, the simplified instruction processing unit 210 can process an operation in parallel with the DSP core 200 through the instruction buffer 211 and the simple operation unit 212. [ While the DSP core 200 performs the algorithm for processing the voice signal from the external sound, the simplified command processing unit 210 may extract the first feature point included in the external sound.

이를 통하여 제1 모드에서 도 2의 일반 동작 모드 보다 많은 수의 산술 유닛을 유휴 상태가 아닌 상태로 동작시킬 수 있다. 이를 통하여 DSP는 일반 동작 모드에서보다 같은 시간 동안 보다 많은 계산량을 처리할 수 있게 된다. 따라서 외부 사운드에 대한 연산 처리 과정에 대한 효율성이 증대되는 효과가 있다.In this way, it is possible to operate the arithmetic units in a state other than the idle state in the first mode than in the general operation mode in Fig. This allows the DSP to process more computations for the same amount of time than in the normal mode of operation. Therefore, there is an effect that the efficiency of the arithmetic processing process for the external sound is increased.

연산부의 산술 유닛 중 일부 산술 유닛을 다른 연산 처리에 사용하는 만큼, 간이 명령어 처리부(210)에서 처리되는 연산은 계산량이 적은 연산일 필요성이 있다. 따라서, 간이 명령어 처리부(210)를 통해 추출되는 제1 특징점은 단순 반복 계산으로 추출되는 특징점일 수 있다.Since some arithmetic units of the arithmetic units are used for other arithmetic operations, the arithmetic operations to be processed in the simple instruction processor 210 need to be arithmetic operations with a small amount of computation. Accordingly, the first feature point extracted through the simple instruction processing unit 210 may be a feature point extracted by simple iterative calculation.

제1 모드에서 메모리부(220)는 일반 동작 모드와 같이 명령어 메모리(221)와 데이터 메모리(222)를 포함할 수 있다.In the first mode, the memory unit 220 may include a command memory 221 and a data memory 222 as in a normal operation mode.

간이 명령어 처리부(210)의 명령어 버퍼(211)는 메모리에 저장된 데이터에 대하여 반복적으로 벡터 혹은 배열의 형태로 연산을 수행하도록 할 수 있다. 즉, 간이 명령어 처리부(210)는 하나의 명령어로 여러 개의 데이터를 반복 계산할 수 있다. 따라서, 간이 연산부(212)는 메모리부(220)의 데이터 메모리(222)로부터 데이터를 바로 로드하고 저장할 수 있고 별도의 레지스터 파일의 필요 없이 데이터가 인가 되는대로 바로 명령어에 따른 연산을 처리할 수 있다. The instruction buffer 211 of the simple instruction processing unit 210 may repeatedly perform an operation on the data stored in the memory in the form of a vector or an array. That is, the simple command processing unit 210 can repeatedly calculate a plurality of data with one command. Therefore, the simple arithmetic operation unit 212 can directly load and store data from the data memory 222 of the memory unit 220, and can process the arithmetic operation according to the instruction as soon as the data is applied without the need for a separate register file.

상기한 방법으로 제1 특징점을 추출하는 경우, 제1 특징점의 추출을 위하여 별도의 DSP를 추가로 동작 시키거나 DSP에 별도의 하드웨어를 추가할 필요가 없으므로 DSP에 의한 전력 사용량을 감소시킬 수 있게 된다.In the case of extracting the first feature point by the above-described method, it is not necessary to additionally operate a separate DSP or to add additional hardware to the DSP in order to extract the first feature point, so that the power consumption by the DSP can be reduced .

제1 특징점의 추출을 통하여 현재 입력되는 외부 사운드의 환경에 대한 1차적인 판단이 가능하다. 제1 특징점을 통해 환경 분류 보청기가 이미 인식하고 있던 환경과 현재 입력되는 외부 사운드의 환경이 동일한지 여부를 우선적으로 판단할 수 있다. 제1 특징점의 추출을 통해 외부 사운드의 환경을 판단한 결과, 이미 인식된 환경과 새로 인식된 환경이 서로 다르지 않다면, 추가적인 DSP의 동작하지 않고 환경 분류를 종료할 수 있다.The first determination of the environment of the currently input external sound is possible through the extraction of the first feature point. It is possible to preferentially judge whether or not the environment already recognized by the environment classification hearing aid is identical to the environment of the external sound currently input through the first feature point. As a result of determining the environment of the external sound through the extraction of the first feature point, if the already recognized environment and the newly recognized environment are not different from each other, the environment classification can be terminated without operating the additional DSP.

만약 제1 특징점의 추출 결과, 이미 인식된 환경과 새로 인식된 환경이 서로 다르다면, 추가적인 DSP를 동작시켜 현재 입력되는 외부 사운드에 대한 제2 특징점을 추출할 수 있다. 이 때, 범용 프로세서(10)의 제어에 따라 유휴 상태에 있던 DSP가 제2 모드로서 추가적으로 동작하게 될 수 있다.If it is determined that the already recognized environment is different from the newly recognized environment as a result of the extraction of the first feature point, an additional DSP may be operated to extract the second feature point of the currently inputted external sound. At this time, the DSP which is in the idle state under the control of the general-purpose processor 10 may be additionally operated as the second mode.

또한, 마지막으로 환경을 인식하여 분류한 시점이 현재로부터 소정의 시간 이상 경과한 경우, 환경을 새로 인식하여 분류할 필요성이 있으므로 추가적인 DSP를 동작시킬 수 있다. 이 때, 소정의 시간은 보청기 설계자의 의도에 따라 달리 설정될 수 있다.In addition, when the environment is recognized and classified last for a predetermined time or more from the current time, it is necessary to newly recognize and classify the environment, so that the additional DSP can be operated. At this time, the predetermined time may be set differently according to the intention of the hearing aid designer.

여기서 제1 특징점은 인접한 샘플 사이에서 음수와 양수의 변화가 얼마나 이루어지는 지에 대한 가산 값인 ZCR(Zero Crossing Rate), 밴드 별로 파워를 측정함으로써 구해지는 파워 스펙트럼 등 비교적 그 연산 과정이 단순한 것일 수 있다. 제1 모드에 따라 동작되는 DSP는 제1 특징점을 추출 한 후, 이전에 추출되었던 특징점과 비교하여 외부 사운드의 환경 변화 여부를 판단할 수 있다.Here, the first characteristic point may be a relatively simple calculation process such as ZCR (Zero Crossing Rate), which is an added value of how the negative and positive numbers change between adjacent samples, and power spectrum, which is obtained by measuring power per band. The DSP operating according to the first mode may extract the first feature point and compare the extracted feature point with the previously extracted feature point to determine whether the environment changes.

DSP는 제1 모드를 통해 제1 특징점이 추출되면, 기 저장된 환경 정보와 제1 특징점의 거리값을 비교하여 유사도를 측정하고, 이러한 유사도의 차이가 소정의 범위 이상이면 환경에 변화가 생긴 것으로 인식하여 제2 특징점 추출 단계로 넘어갈 수 있다.When the first feature points are extracted through the first mode, the DSP compares the previously stored environment information with the distance values of the first feature points to measure the similarity degree. If the difference in the degree of similarity exceeds a predetermined range, And then proceeds to the second feature point extraction step.

여기서 환경 정보는 이전의 외부 사운드에 대하여 추출되었던 제1 특징점을 의미할 수 있다. 그리고 거리값은 유클리디언 디스턴스나 코사인 디스턴스로 설명되는 특징점 간의 벡터의 거리 값을 의미할 수 있다.Here, the environment information may indicate a first feature point extracted for a previous external sound. And the distance value may mean a distance value of a vector between minutiae points described by Euclidian distance or cosine distance.

도 4를 참조하면, 제2 모드에서 DSP 코어(300)가 도 2의 DSP 코어(100)와 달리 레지스터부(202)의 레지스터 파일 중 일부가 루프 버퍼(304)로 사용되는 것을 알 수 있다.Referring to FIG. 4, it can be seen that, in the second mode, some of the register files of the register portion 202 are used as the loop buffer 304, unlike the DSP core 300 of the DSP core 100 of FIG.

루프 버퍼(304)는 제2 특징점의 추출에 활용될 수 있다. 제2 특징점은 제1 특징점보다 복잡한 특성을 가지므로, 특징점의 추출에 보다 많은 연산이 요구된다. 환경 분류를 위하여 특징점을 추출할 때 사용되는 명령어는 반복 명령어인 경우가 많다. 이러한 반복 명령어에 의한 연산은 단순한 편이지만, 명령어가 반복 실행되면서 전체적인 계산량을 늘리게 된다. 또한, DSP코어가 지속적으로 메모리부에 접근하게 되므로 전력 소모가 증가하는 원인이 된다.The loop buffer 304 can be utilized for extracting the second feature point. Since the second feature point has more complex characteristics than the first feature point, more computation is required for extracting the feature points. The commands used to extract feature points for environmental classification are often repeated commands. Although the operation based on such a repeat instruction is simple, it increases the overall calculation amount by repeatedly executing the instruction. In addition, the DSP core continuously accesses the memory area, which causes an increase in power consumption.

루프 버퍼(304)는 제2 특징점의 추출에 있어서 사용되는 반복 명령어를 처리함으로써 DSP 코어(300)가 메모리부(310)의 명령어 메모리(311)에 대한 접근 빈도를 줄여줄 수 있다. 즉, 레지스터부를 구성하는 레지스터 파일의 일부를 루프 버퍼(304)로 활용함으로써 DSP 코어(300)의 메모리부(310)에 대한 접근 빈도를 줄일 수 있게 된다.The loop buffer 304 can reduce the access frequency of the DSP core 300 to the instruction memory 311 of the memory unit 310 by processing the repeated instruction used in extracting the second feature point. That is, the frequency of access to the memory unit 310 of the DSP core 300 can be reduced by utilizing a part of the register file constituting the register unit as the loop buffer 304.

여기서 제2 특징점은 일정 구간의 파워 스펙트럼 밀도에 대한 MFCC(Mel-Scale Frequency Cepstrum Coefficient), 파워 스펙트럼의 평활도(smoothness)에 대한 스펙트럼 엔트로피, ZCR 중 적어도 하나 이상에 대응되는 것일 수 있다.Here, the second characteristic point may correspond to at least one of a Mel-Scale Frequency Cepstrum Coefficient (MFCC) for a power spectral density of a predetermined section, a spectral entropy for a smoothness of a power spectrum, and ZCR.

DSP는 현재 환경의 제2 특징점을 추출하고, GMM(Gaussian Mixture Model)을 기반으로 하는 로그-라이클리후드(Log-Likelihood)를 통해 유사도를 측정하여 외부 사운드의 환경을 분석할 수 있다. The DSP can extract the second feature point of the current environment and analyze the environment of the external sound by measuring the similarity through log-likelihood based on GMM (Gaussian Mixture Model).

제1 모드와 제2 모드로 동작하는 DSP는 서로 다른 DSP일 수 있다. 제1 모드로 동작하는 DSP는 DSP 코어(200)를 통해 음성 신호 처리를 수행 중이며, 이와 동시에 다른 DSP는 제2 모드로 동작되어 제2 특징점을 추출하고 환경을 분석할 수 있다. 제2 모드로 동작되는 DSP의 환경 분석 결과는 제1 모드로 동작중인 DSP에 전달되어 음성 신호 처리에 사용될 수 있다.The DSP operating in the first mode and the second mode may be different DSPs. The DSP operating in the first mode is performing the voice signal processing through the DSP core 200 and at the same time the other DSP is operated in the second mode to extract the second characteristic points and analyze the environment. The result of the environmental analysis of the DSP operating in the second mode may be transmitted to the DSP operating in the first mode and used for voice signal processing.

제1 모드로 동작하는 DSP가 제1 특징점을 추출한 결과 기 저장된 환경 정보와 현재 입력되는 외부 사운드의 환경이 서로 다르다고 판단되었을 때, 제1 모드로 동작하는 DSP와 다른 DSP가 동작될 수 있다. 즉, 제2 모드로 동작되는 DSP는 제1 특징점의 추출 결과에 따라 유휴 상태에서 제2 모드로 변경될 수 있다.When the DSP operating in the first mode extracts the first feature point and it is determined that the pre-stored environment information and the environment of the currently input external sound are different from each other, a DSP different from the DSP operating in the first mode may be operated. That is, the DSP operating in the second mode can be changed from the idle state to the second mode according to the extraction result of the first feature point.

그리고, 제2 모드로 동작되는 DSP의 제2 특징점에 대한 추출이 종료되면 제2 모드로 동작되는 DSP는 다시 유휴 모드로 변경되어 전력 소모를 절감할 수 있다.When extraction of the second feature point of the DSP operating in the second mode is completed, the DSP operating in the second mode is changed to the idle mode again, thereby saving power consumption.

도 5는 본 발명의 다른 실시예에 따른 환경 분류 방법을 설명하기 위한 도면이다. 5 is a view for explaining an environmental classification method according to another embodiment of the present invention.

도 5를 참조하면, 환경 분류 방법은 외부 사운드에 대한 음성 신호 처리 단계(S110), 제1 특징점 추출 단계(S120), 제1 특징점을 이용한 외부 사운드 환경 분석 단계(S130), 제2 특징점 추출 단계(S160), 제2 특징점을 이용한 외부 사운드 환경 분석 단계(S170)를 포함할 수 있다.Referring to FIG. 5, the environmental classification method includes a voice signal processing step S110, a first feature point extraction step S120, an external sound environment analysis step S130 using a first feature point, a second feature point extraction step (S160), and an external sound environment analysis step (S170) using the second characteristic point.

환경 분류 보청기의 마이크로폰을 통해 외부 사운드가 입력되면(S100), DSP가 제1 모드로 동작할 수 있다. 상기한 단계에서 음성 신호 처리 단계(S110)와 제1 특징점 추출 단계(S120)는 제1 모드로 동작되는 DSP 상에서 수행되는 단계로 볼 수 있다. 음성 신호 처리 단계(S110)와 제1 특징점 추출 단계(S120)는 상술한 바와 같이, 같은 DSP 내에서 병행하여 수행될 수 있다.When the external sound is input through the microphone of the environment classification hearing aid (S100), the DSP can operate in the first mode. The voice signal processing step S110 and the first feature point extracting step S120 may be performed on the DSP operating in the first mode. The speech signal processing step S110 and the first feature point extracting step S120 may be performed in parallel in the same DSP as described above.

음성 신호 처리 단계(S110)는 DSP가 외부 사운드에 포함된 음성 신호를 인식하고 처리하기 위한 단계로서, 후술하는 바와 같이 제2 특징점이 추출되는 경우, 제2 특징점으로부터 인식된 환경에 대한 정보가 반영될 수 있다.The voice signal processing step (S110) is a step for the DSP to recognize and process the voice signal included in the external sound. When the second feature point is extracted as described later, the information about the recognized environment is reflected .

제1 특징점 추출 단계(S120)는 DSP가 제1 모드로 동작하여 외부 사운드로부터 제1 특징점을 추출하는 단계를 의미할 수 있다.The first feature point extracting step (S120) may mean that the DSP operates in the first mode and extracts the first feature point from the external sound.

제1 특징점이 추출되면 제1 모드로 동작하는 DSP는 기존의 환경 정보와 새로 추출된 제1 특징점을 비교하여 환경의 변화 여부를 판단한다(S130). DSP는 기존의 환경 정보와 제1 특징점의 유사도 차이가 소정의 값 이하라면, 환경이 유지된 것으로 판단한다(S140). 만약 기존의 환경 정보와 제1 특징점의 유사도 차이가 소정의 값을 초과한다면, 환경이 변한 것으로 판단하여 유휴 상태에 있던 다른 DSP를 동작시킬 수 있다(S150).When the first feature point is extracted, the DSP operating in the first mode compares the existing environment information with the newly extracted first feature point to determine whether the environment is changed (S130). If the difference in similarity between the existing environmental information and the first feature point is less than a predetermined value, the DSP determines that the environment is maintained (S140). If the difference in similarity between the existing environment information and the first feature point exceeds a predetermined value, it is determined that the environment has changed and another DSP in the idle state can be operated (S150).

유휴 상태에서 제2 모드로 변경되어 동작되는 DSP는 외부 사운드로부터 제2 특징점을 추출할 수 있다(S160). 제2 모드로 동작되는 DSP는 추출된 제2 특징점을 통해 외부 사운드의 환경이 어떤 환경인지 분류할 수 있게 된다. 이와 관련된 정보는 알고리즘에 반영되어 앞선 음성 신호 처리 단계를 수행하는 제1 모드의 DSP에 전달될 수 있다. 그리고 제2 특징점을 추출함으로써 제2 모드의 수행이 종료된 DSP는 다시 유휴 상태로 변경되어 전력 소모를 줄일 수 있다(S180).The DSP, which is operated by changing from the idle state to the second mode, can extract the second feature point from the external sound (S160). The DSP operating in the second mode can classify the surroundings of the environment of the external sound through the extracted second feature points. The information related to this can be transmitted to the DSP of the first mode which is reflected in the algorithm and performs the preceding speech signal processing step. Then, by extracting the second feature point, the DSP whose operation in the second mode is ended is changed to the idle state again, thereby reducing power consumption (S180).

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the technical spirit of the present invention but to illustrate the present invention. The scope of protection of the present invention should be construed by the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

10: 범용 프로세서 20: 마이크로폰
30: 범용 메모리 40: 리시버
50, 51: DSP
10: general purpose processor 20: microphone
30: general purpose memory 40: receiver
50, 51: DSP

Claims (16)

외부 사운드가 입력되는 마이크로폰;
상기 외부 사운드의 환경을 분석하고, 분석된 환경에 따라 상기 외부 사운드에 포함된 음성 신호를 처리하는 복수의 DSP; 및
상기 DSP에 의하여 음성 신호가 처리된 디지털 신호를 변환하여 사용자에게 출력하는 리시버; 를 포함하고,
상기 복수의 DSP 중 적어도 일부는
상기 외부 사운드로부터 음성 신호를 처리하고 상기 외부 사운드의 환경을 분석하기 위해 상기 디지털 신호로부터 제1 특징점을 추출하는 제1 모드; 및
상기 제1 모드를 통해 상기 외부 사운드의 환경이 분석되면, 상기 디지털 신호로부터 제2 특징점을 추출하여 상기 외부 사운드의 환경을 다시 분석하기 위한 제2 모드; 중 적어도 하나의 모드로 동작하는 것을 특징으로 하는 환경 분류 보청기.
A microphone to which an external sound is input;
A plurality of DSPs for analyzing the environment of the external sound and processing voice signals included in the external sound according to the analyzed environment; And
A receiver for converting a digital signal processed by the DSP into a voice signal and outputting the converted digital signal to a user; Lt; / RTI >
At least some of the plurality of DSPs
A first mode for processing a speech signal from the external sound and extracting a first feature point from the digital signal to analyze the environment of the external sound; And
A second mode for analyzing the environment of the external sound by extracting a second characteristic point from the digital signal when the environment of the external sound is analyzed through the first mode; Wherein the at least one of the at least one mode and the at least one mode is selected from the group consisting of:
제1 항에 있어서, 상기 DSP는
명령어를 디코딩하여 연산을 처리하는 DSP 코어; 및
상기 DSP 코어의 연산 처리에 필요한 명령어와 데이터가 저장되는 메모리부; 를 포함하는 것을 특징으로 하는 환경 분류 보청기.
2. The apparatus of claim 1, wherein the DSP
A DSP core decoding an instruction to process an operation; And
A memory unit for storing instructions and data necessary for arithmetic processing of the DSP core; And an environmental classification hearing aid.
제2 항에 있어서, 상기 DSP 코어는
상기 명령어를 디코딩하는 디코딩부;
디코딩된 상기 명령어에 따라 연산을 처리하는 연산부;
상기 연산부의 연산 처리 과정에서 발생하는 중간 처리 결과를 저장하기 위한 레지스터부; 를 포함하는 것을 특징으로 하는 환경 분류 보청기.
3. The system of claim 2, wherein the DSP core
A decoding unit decoding the instruction;
An operation unit for processing an operation according to the decoded instruction;
A register unit for storing intermediate processing results generated in the operation processing of the operation unit; And an environmental classification hearing aid.
제3 항에 있어서, 상기 제1 모드가 동작되는 DSP는
상기 제1 특징점을 추출하기 위한 간이 명령어 처리부; 를 더 포함하는 것을 특징으로 하는 환경 분류 보청기.
4. The method of claim 3, wherein the DSP in which the first mode is operated comprises:
A simple command processing unit for extracting the first feature point; Further comprising: an environmental classification hearing aid.
제4 항에 있어서, 상기 간이 명령어 처리부는
상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제1 특징점을 추출하기 위한 간이 명령어를 지시하는 명령어 버퍼; 및
상기 연산부에 포함되는 산술 유닛 중 적어도 일부를 사용하여 상기 명령어 버퍼의 지시에 대응하여 연산을 처리하는 간이 연산부; 를 포함하는 것을 특징으로 하는 환경 분류 보청기.
5. The apparatus of claim 4, wherein the simple command processing unit
A command buffer for indicating a simple command for extracting the first characteristic point using at least a part of the register files included in the register unit; And
A simple arithmetic operation unit for performing an arithmetic operation corresponding to an instruction of the instruction buffer using at least a part of arithmetic units included in the arithmetic unit; And an environmental classification hearing aid.
제3 항에 있어서, 상기 제2 모드가 동작되는 DSP의 상기 DSP 코어는
상기 레지스터부에 포함되는 레지스터 파일 중 적어도 일부를 사용하여 상기 제2 특징점을 추출할 때 사용되는 반복 명령어를 처리하는 루프 버퍼; 를 더 포함하는 것을 특징으로 하는 환경 분류 보청기.
4. The method of claim 3, wherein the DSP core of the DSP in which the second mode is operating
A loop buffer for processing an iteration instruction used when extracting the second feature point using at least a part of the register files included in the register unit; Further comprising: an environmental classification hearing aid.
제1 항에 있어서,
상기 제1 특징점은 ZCR(Zero Crossing Rate), 파워 스펙트럼 중 적어도 하나 이상에 대응되고,
상기 제2 특징점은 MFCC(Mel-Scale Frequency Cepstrum Coefficient), 스펙트럼 엔트로피, 상기 ZCR 중 적어도 하나 이상에 대응되는 것을 특징으로 하는 환경 분류 보청기.
The method according to claim 1,
The first feature point corresponds to at least one of ZCR (zero crossing rate) and power spectrum,
Wherein the second feature point corresponds to at least one of MFCC (Mel-Scale Frequency Cepstrum Coefficient), spectral entropy, and ZCR.
제1 항에 있어서, 상기 DSP는
상기 제1 모드를 통해 상기 제1 특징점을 추출한 후, 기 저장된 환경 정보와 거리값을 비교하여 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석하는 것을 특징으로 하는 환경 분류 보청기.
2. The apparatus of claim 1, wherein the DSP
Wherein the environment analyzing unit analyzes the environment of the external sound by extracting the first feature point through the first mode, comparing the previously stored environment information with the distance value, and measuring the similarity.
제1 항에 있어서, 상기 DSP는
상기 제2 모드를 통해 상기 제2 특징점을 추출한 후, 기 저장된 환경 정보와 GMM(Gaussian Mixture Model) 기반 로그-라이클리후드를 통해 유사도를 측정함으로써 상기 외부 사운드의 환경을 분석하는 것을 특징으로 하는 환경 분류 보청기.
2. The apparatus of claim 1, wherein the DSP
Extracting the second feature point through the second mode, and analyzing the environment of the external sound by measuring the similarity through pre-stored environment information and a log-likelihood based on GMM (Gaussian Mixture Model) Classification hearing aids.
제1 항에 있어서, 상기 제2 모드는
상기 DSP가 상기 제1 모드를 통한 상기 외부 사운드의 환경 분석 결과, 기 분석된 상기 외부 사운드의 환경과 상기 제1 모드를 통해 분석된 상기 외부 사운드의 환경이 일치하지 않을 때 동작되는 것을 특징으로 하는 환경 분류 보청기.
2. The method of claim 1,
Wherein the DSP is operated when the environment of the external sound analyzed in the environment analysis of the external sound through the first mode and the environment of the external sound analyzed through the first mode do not coincide with each other Environmental Classification Hearing Aids.
제1 항에 있어서, 상기 제2 모드는
상기 제1 모드가 동작되는 DSP와 다른 DSP에서 동작되는 것을 특징으로 하는 환경 분류 보청기.
2. The method of claim 1,
Wherein the first mode is operated in a DSP different from the DSP in which the first mode is operated.
제11 항에 있어서,
상기 제2 모드를 통한 상기 외부 사운드의 환경 분석이 종료되면, 상기 제2 모드가 동작되는 DSP는 유휴 상태로 변경되는 것을 특징으로 하는 환경 분류 보청기.
12. The method of claim 11,
Wherein when the environment analysis of the external sound through the second mode is terminated, the DSP in which the second mode is operated is changed to an idle state.
보청기의 복수의 DSP에 의하여 보청기에 입력된 외부 사운드의 환경을 분류하기 위한 방법에 있어서,
상기 외부 사운드에 대한 음성 신호 처리 단계;
제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계;
상기 제1 특징점을 통해 상기 외부 사운드의 환경을 분석하는 단계;
상기 외부 사운드의 환경이 기 환경과 일치하지 않으면 제2 모드로 동작하여 상기 외부 사운드의 제2 특징점을 추출하는 단계; 및
상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계; 를 포함하고,
상기 제2 특징점을 통해 다시 분석된 상기 외부 사운드의 환경에 대한 정보는 상기 음성 신호 처리 단계에 반영되는 것을 특징으로 하는 환경 분류 방법.
A method for classifying an environment of an external sound inputted to a hearing aid by a plurality of DSPs of a hearing aid,
Processing a voice signal for the external sound;
Operating in a first mode to extract first feature points of the external sound;
Analyzing the environment of the external sound through the first feature point;
Extracting a second feature point of the external sound by operating in a second mode if the environment of the external sound does not match the environment; And
Analyzing the environment of the external sound again through the second feature point; Lt; / RTI >
Wherein the information about the environment of the external sound analyzed again through the second feature point is reflected in the speech signal processing step.
제13 항에 있어서,
상기 제1 모드는 상기 복수의 DSP 중 하나에 의하여 동작되고,
상기 제2 모드는 상기 복수의 DSP 중 다른 하나에 의하여 동작되는 것을 특징으로 하는 환경 분류 방법.
14. The method of claim 13,
Wherein the first mode is operated by one of the plurality of DSPs,
Wherein the second mode is operated by another one of the plurality of DSPs.
제13 항에 있어서,
상기 제2 특징점을 통해 상기 외부 사운드의 환경을 다시 분석하는 단계 이후, 상기 제2 모드가 동작된 DSP를 유휴 상태로 변경하는 단계; 를 더 포함하는 것을 특징으로 하는 환경 분류 방법.
14. The method of claim 13,
Further comprising: after re-analyzing the environment of the external sound through the second feature point, changing the DSP in which the second mode is operated to an idle state; Further comprising the steps of:
제13 항에 있어서, 상기 외부 사운드에 대한 음성 신호 처리 단계와 상기 제1 모드로 동작하여 상기 외부 사운드의 제1 특징점을 추출하는 단계는
상기 제1 모드로 동작되는 DSP가 병행하여 수행하는 것을 특징으로 하는 환경 분류 방법.
14. The method of claim 13, wherein the step of processing the sound signal for the external sound and the step of extracting the first feature point of the external sound by operating in the first mode
And the DSP operating in the first mode is performed in parallel.
KR1020180054200A 2017-05-15 2018-05-11 Environment classification hearing aid and environment classification method using thereof KR102044962B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20170060136 2017-05-15
KR1020170060136 2017-05-15

Publications (2)

Publication Number Publication Date
KR20180125395A true KR20180125395A (en) 2018-11-23
KR102044962B1 KR102044962B1 (en) 2019-11-15

Family

ID=64565491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180054200A KR102044962B1 (en) 2017-05-15 2018-05-11 Environment classification hearing aid and environment classification method using thereof

Country Status (1)

Country Link
KR (1) KR102044962B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002504794A (en) * 1998-02-18 2002-02-12 トプホルム アンド ウエスターマン エイピーエス Binaural digital hearing aid system
US20150036856A1 (en) * 2013-07-31 2015-02-05 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
KR20150052903A (en) * 2013-11-06 2015-05-15 삼성전자주식회사 Hearing device and external device using life cycle
US20160241974A1 (en) * 2015-02-13 2016-08-18 Oticon A/S Hearing system comprising a separate microphone unit for picking up a users own voice

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002504794A (en) * 1998-02-18 2002-02-12 トプホルム アンド ウエスターマン エイピーエス Binaural digital hearing aid system
US20150036856A1 (en) * 2013-07-31 2015-02-05 Starkey Laboratories, Inc. Integration of hearing aids with smart glasses to improve intelligibility in noise
KR20150052903A (en) * 2013-11-06 2015-05-15 삼성전자주식회사 Hearing device and external device using life cycle
US20160241974A1 (en) * 2015-02-13 2016-08-18 Oticon A/S Hearing system comprising a separate microphone unit for picking up a users own voice

Also Published As

Publication number Publication date
KR102044962B1 (en) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110503970B (en) Audio data processing method and device and storage medium
US10964339B2 (en) Low-complexity voice activity detection
US10824391B2 (en) Audio user interface apparatus and method
EP3522153B1 (en) Voice control system, wakeup method and wakeup apparatus therefor, electrical appliance and co-processor
US20180332416A1 (en) Utilizing digital microphones for low power keyword detection and noise suppression
CN106782591B (en) Device and method for improving speech recognition rate under background noise
JP6076994B2 (en) Extraction and analysis of audio feature data
CN110880329B (en) Audio identification method and equipment and storage medium
JP2015501450A5 (en)
CN105869655A (en) Audio device and method for voice detection
US11308946B2 (en) Methods and apparatus for ASR with embedded noise reduction
Gruenstein et al. A cascade architecture for keyword spotting on mobile devices
CN105719657A (en) Human voice extracting method and device based on microphone
CN111540370A (en) Audio processing method and device, computer equipment and computer readable storage medium
CN112951243A (en) Voice awakening method, device, chip, electronic equipment and storage medium
CN115699174A (en) Context-aware hardware-based voice activity detection
CN111654782B (en) Intelligent sound box and signal processing method
KR102044962B1 (en) Environment classification hearing aid and environment classification method using thereof
CN106340310A (en) Speech detection method and device
JP2012155301A (en) State recognition type speech recognition method
JP6973652B2 (en) Audio processing equipment, methods and programs
US11195545B2 (en) Method and apparatus for detecting an end of an utterance
TW202226225A (en) Apparatus and method for improved voice activity detection using zero crossing detection
CN113628613A (en) Two-stage user customizable wake word detection
CN113889084A (en) Audio recognition method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right