KR102178414B1 - Wireless sound converting device with multiple microphone units - Google Patents
Wireless sound converting device with multiple microphone units Download PDFInfo
- Publication number
- KR102178414B1 KR102178414B1 KR1020190099516A KR20190099516A KR102178414B1 KR 102178414 B1 KR102178414 B1 KR 102178414B1 KR 1020190099516 A KR1020190099516 A KR 1020190099516A KR 20190099516 A KR20190099516 A KR 20190099516A KR 102178414 B1 KR102178414 B1 KR 102178414B1
- Authority
- KR
- South Korea
- Prior art keywords
- gain
- data
- signal
- electronic device
- reference data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/002—Damping circuit arrangements for transducers, e.g. motional feedback circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2420/00—Details of connection covered by H04R, not provided for in its groups
- H04R2420/07—Applications of wireless loudspeakers or wireless microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
본 발명은 무선 음향 변환 장치에 관한 것으로서, 특히 복수의 마이크부를 구비하여, 주변 소음 특성에 따라 복수의 마이크부로부터의 음향 신호의 이득을 결정하는 복수의 마이크부를 구비하는 무선 음향 변환 장치에 관한 것이다.The present invention relates to a wireless acoustic conversion device, and more particularly, to a wireless acoustic conversion device including a plurality of microphone units, which have a plurality of microphone units and determine gains of sound signals from the plurality of microphone units according to ambient noise characteristics. .
음성 또는 음향 데이터의 신호처리에서 가장 문제가 되는 것은 해당 신호에 포함된 잡음의 제거인데, 그 잡음은 신호의 전체구간에 골고루 분포하는 잡음과 특정 구간에 일시적으로 존재하는 산발적 잡음으로 나눌 수 있다.The most problematic in signal processing of speech or acoustic data is the removal of noise included in the signal, and the noise can be divided into noise evenly distributed over the entire section of the signal and sporadic noise temporarily present in a specific section.
그 중 산발적 잡음은 임펄스성 잡음, 즉 짧은 시간 동안 존재하며 그 진폭이 매우 크고 단순한 파형을 갖는 잡음과 돌발성 잡음 즉, 임펄스 잡음에 비해 비교적 긴 시간 동안 존재하며 음성과 비슷한 진폭과 신호성분이 복잡한 돌발성 잡음으로 대별된다.Among them, sporadic noise is impulse noise, that is, it exists for a short time, and its amplitude is very large and has a simple waveform, and sporadic noise, that is, it exists for a relatively long time compared to impulse noise. It is roughly classified as noise.
종래에는, 신호 전구간에 걸쳐 존재하는 잡음을 제거하는 방법이 사용된 바, 이러한 방법은 고전적인 필터나 적응 필터 등의 방법과 평균잡음 제거법 등의 방법이 있으며, 산발적 잡음의 하나인 임펄스성 잡음을 제거하기 위한 방법들은 가변역을 이용하거나 앞뒤 신호의 상관관계를 이용하는 방법 등이 있다.Conventionally, a method of removing noise existing over the entire signal has been used, and these methods include a method such as a classical filter or an adaptive filter and a method such as an average noise removal method, and impulse noise, which is one of the sporadic noise, has been used. Methods for removal include using a variable region or a method of using correlation between front and rear signals.
기존의 잡음제거 방법들을 사용하여 잡음을 축약 시키거나 제거 할 경우, 필요한 신호성분도 왜곡되거나 제거하는 경우가 발생되는 부작용이 있다. 입력된 신호에서 잡음성분을 제거하고 필요한 음성 신호만을 검출하는 것은 음성 신호처리, 음성코딩 및 각종 데이터 통신분야에서 시스템의 성능과 음성코딩의 압축률 향상, 통신대역폭의 효율적 사용을 가능토록 할 수 있는 매우 중요한 문제이다. When noise is reduced or removed by using existing noise reduction methods, there is a side effect of distorting or removing necessary signal components. Removing the noise component from the input signal and detecting only the necessary voice signal is very effective in enabling efficient use of the communication bandwidth, improving the system performance and the compression rate of the voice coding in voice signal processing, voice coding and various data communication fields. It's an important issue.
본 발명은 복수의 마이크부를 구비하여, 주변 소음 특성에 따라 복수의 마이크부로부터의 음향 신호의 이득을 결정하는 복수의 마이크부를 구비하는 무선 음향 변환 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a wireless acoustic conversion apparatus including a plurality of microphone units and including a plurality of microphone units for determining gains of sound signals from the plurality of microphone units according to ambient noise characteristics.
본 발명인 무선 음향 변환 장치는 음향을 각각 획득하여 제 1 및 제 2 전기 신호를 생성하여 인가하는 제 1 및 제 2 마이크와, 전자 디바이스와 무선 통신을 수행하는 통신부와, 통신부를 통하여 전자 디바이스와 무선 통신을 수행하여, 제 1 및 제 2 마이크로부터 제 1 및 제 2 전기 신호를 인가 받아, 제 1 전기 신호의 신호 대 잡음비를 기준으로 하여 제 1 및 제 2 전기 신호 각각에 대한 제 1 및 제 2 이득 비율을 결정하고, 결정된 제 1 및 제 2 이득 비율에 따라 제 1 및 제 2 전기 신호를 처리하고, 처리된 제 1 및 제 2 전기 신호를 합산하여 출력 신호를 생성하고, 생성된 출력 신호를 통신부를 통하여 전자 디바이스로 전송하는 데이터 프로세서를 구비하고, 무선 음향 변환 장치가 착용자에게 착용된 경우, 제 1 마이크는 착용자의 청각 기관의 외부에 노출되고 제 2 마이크는 착용자의 청각 기관에 적어도 일부분이 삽입되거나 무선 음향 변환 장치의 케이스에 의해 외부와 차단되는 것이 바람직하다.The wireless acoustic conversion apparatus of the present invention includes first and second microphones that respectively obtain sound and generate and apply first and second electrical signals, a communication unit for performing wireless communication with an electronic device, and a wireless communication unit through the communication unit. By performing communication, receiving first and second electric signals from the first and second microphones, and receiving first and second electric signals for each of the first and second electric signals based on the signal-to-noise ratio of the first electric signal. A gain ratio is determined, the first and second electrical signals are processed according to the determined first and second gain ratios, the processed first and second electrical signals are summed to generate an output signal, and the generated output signal is A data processor that transmits to the electronic device through the communication unit is provided, and when the wireless acoustic conversion device is worn by the wearer, the first microphone is exposed to the outside of the wearer's hearing organ, and the second microphone is at least partially covered by the wearer's hearing organ. It is preferable to be inserted or blocked from the outside by the case of the wireless sound conversion device.
삭제delete
또한, 데이터 프로세서는 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터를 저장하고, 저장된 이득 기준 데이터로부터 제 1 전기 신호의 신호 대 잡음비에 따른 제 1 및 제 2 이득 비율을 결정하되, 제 1 및 제 2 이득 비율의 합은 기준 비율인 것이 바람직하다.In addition, the data processor stores at least one gain reference data corresponding to the ambient noise environment, and determines first and second gain ratios according to the signal-to-noise ratio of the first electrical signal from the stored gain reference data, the first and It is preferable that the sum of the second gain ratios is a reference ratio.
또한, 데이터 프로세서는 통신부를 통하여 전자 디바이스로부터 이득 기준 데이터를 수신하여 저장하는 것이 바람직하다.In addition, it is preferable that the data processor receives and stores the gain reference data from the electronic device through the communication unit.
또한, 데이터 프로세서는 제 1 전기 신호의 주파수축 신호의 특성에 적합한 이득 기준 데이터를 결정하는 것이 바람직하다.Also, it is preferable that the data processor determine gain reference data suitable for the characteristic of the frequency axis signal of the first electrical signal.
또한 본 발명인 무선 음향 변환 장치와, 무선 음향 변환 장치와 통신을 수행하는 전자 디바이스 및 데이터 서버로 구성된 음향 통신 시스템에서, 무선 음향 변환 장치는 기설정된 시간 동안의 제 1 및 제 2 전기 신호를 전자 디바이스에 전송하고, 전자 디바이스는 제 1 및 제 2 전기 신호를 수신하고, 제 1 및 제 2 전기 신호를 데이터 서버로 전송하며, 데이터 서버는 제 1 및 제 2 전기 신호를 수신하고, 수신된 제 1 전기 신호를 주파수축 변환을 수행하여 제 1 전기 신호의 주파수축 신호에 대하여 MFCC(Mel Frequency Cepstral Coefficient)를 수행하여 특징 데이터들을 추출하고, 추출된 특징 데이터들을 인공 신경망 처리를 수행하여 추출된 특징 데이터에 가장 적합한 이득 기준 데이터를 결정하고, 결정된 이득 기준 데이터를 전자 디바이스로 전송하고, 전자 디바이스는 결정된 이득 기준 데이터를 수신하고, 결정된 이득 기준 데이터를 무선 음향 변환 장치로 전송한다.Further, in an acoustic communication system comprising a wireless acoustic conversion apparatus according to the present invention, an electronic device performing communication with the wireless acoustic conversion apparatus, and a data server, the wireless acoustic conversion apparatus transmits first and second electrical signals for a predetermined time to the electronic device. And the electronic device receives the first and second electrical signals, transmits the first and second electrical signals to the data server, the data server receives the first and second electrical signals, and the received first Feature data extracted by performing MFCC (Mel Frequency Cepstral Coefficient) on the frequency axis signal of the first electrical signal by performing frequency axis transformation on the electrical signal, and performing artificial neural network processing on the extracted feature data It determines the most suitable gain reference data, transmits the determined gain reference data to the electronic device, the electronic device receives the determined gain reference data, and transmits the determined gain reference data to the wireless acoustic conversion device.
본 발명은 복수의 마이크부를 구비하여, 주변 소음 특성에 따라 복수의 마이크부로부터의 음향 신호들 각각의 이득을 결정하여, 이득 처리를 수행하여, 착용자의 음성(음향)이 잘 전달되도록 하며, 주변 소음 특성에 적합한 이득 비율을 지닌 이득 기준 데이터를 결정하도록 하여, 주변 소음에 대한 감쇄 처리(잡음 제거 처리)가 가능하도록 하는 효과가 있다. The present invention includes a plurality of microphone units, determines the gain of each of the sound signals from the plurality of microphone units according to the ambient noise characteristics, performs gain processing, so that the wearer's voice (sound) is well transmitted. There is an effect of enabling attenuation processing (noise removal processing) for ambient noise by determining gain reference data having a gain ratio suitable for noise characteristics.
도 1은 본 발명에 따른 무선 음향 변환 장치와, 전자 디바이스를 포함하는 음향 통신 시스템의 제어 구성도이다.
도 2는 이득 기준 데이터들의 예시이다.1 is a control configuration diagram of an acoustic communication system including a wireless acoustic conversion device and an electronic device according to the present invention.
2 is an example of gain reference data.
이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.In the following, the present invention will be described in detail through examples and drawings. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include various modifications, equivalents, and/or alternatives of the embodiments of the present invention. In connection with the description of the drawings, similar reference numerals may be used for similar elements.
본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "have", "may have", "include", or "may contain" are the presence of corresponding features (eg, elements such as numbers, functions, actions, or parts). And does not exclude the presence of additional features.
본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as "A or B", "at least one of A or/and B", or "one or more of A or/and B" may include all possible combinations of items listed together. . For example, “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) it may refer to all cases including both at least one A and at least one B.
본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as “first”, “second”, “first”, or “second” used in this document can modify various elements regardless of their order and/or importance, and It is used to distinguish it from the component, but does not limit the component. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of the rights described in this document, a first component may be referred to as a second component, and similarly, a second component may be renamed to a first component.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.Some component (eg, a first component) is "(functionally or communicatively) coupled with/to)" to another component (eg, a second component) or " When referred to as "connected to", it should be understood that the certain component may be directly connected to the other component or may be connected through another component (eg, a third component). On the other hand, when a component (eg, a first component) is referred to as being “directly connected” or “directly connected” to another component (eg, a second component), the component and the It may be understood that no other component (eg, a third component) exists between the different components.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression "configured to" used in this document is, for example, "suitable for", "having the capacity to" depending on the situation. It can be used interchangeably with ", "designed to", "adapted to", "made to", or "capable of". The term "configured to (or set) to" may not necessarily mean only "specifically designed to" in hardware. Instead, in some situations, the expression "a device configured to" may mean that the device "can" along with other devices or parts. For example, the phrase “a processor configured (or configured) to perform A, B, and C” means a dedicated processor (eg, an embedded processor) for performing the operation, or executing one or more software programs stored in a memory device. By doing so, it may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly indicates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by one of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related technology, and unless explicitly defined in this document, they may be interpreted in an ideal or excessively formal meaning. It is not interpreted. In some cases, even terms defined in this document cannot be interpreted to exclude embodiments of this document.
도 1은 본 발명에 따른 무선 음향 변환 장치와, 전자 디바이스를 포함하는 음향 통신 시스템의 제어 구성도이고, 도 2는 이득 기준 데이터들의 예시이다.1 is a control configuration diagram of an acoustic communication system including a wireless acoustic conversion apparatus and an electronic device according to the present invention, and FIG. 2 is an example of gain reference data.
무선 음향 변환 장치(10, 20)는 전자 디바이스(30)와 무선 통신(예를 들면, 블루투스 통신 등)을 수행하며, 무선 음향 변환 장치(10)(예를 들면, 우측 청각 기관용)와 무선 음향 변환 장치(20)(예를 들면, 좌측 청각 기관용)도 서로 무선 통신을 수행한다. The wireless
무선 음향 변환 장치(10)는 착용자로부터 입력(예를 들면, 전원 온/오프, 재생곡의 선택, 이득 기준 데이터의 선택 등)을 획득하여 데이터 프로세서(19)에 인가하는 입력부(11)와, 전원 상태(예를 들면, 충전 중, 충전 정도 등)를 표시하는 표시부(12)와, 전자 디바이스(30) 및/또는 무선 음향 변환 장치(20)와 무선 통신을 수행하는 통신부(13)와, 음향을 각각 획득하여 획득된 음향 각각의 제 1 및 제 2 전기 신호 각각 생성하여 데이터 프로세서(19)에 인가하는 제 1 및 제 2 마이크(14a), (14b)와, 전자 디바이스(30)로부터 수신되는 전기 신호를 데이터 프로세서(19)로부터 인가 받아 음 방출을 수행하는 스피커(15)와, 상술된 구성요소들을 제어하여 전자 디바이스(30)와 무선 통신을 통하여 음향 재생 기능, 전화 통화 기능 등의 음향 변환 기능을 수행하면서, 제 1 및 제 2 마이크(14a), (14b) 각각으로부터 제 1 및 제 2 전기 신호 각각을 인가 받아 이득 처리 데이터에 따라 처리하고, 처리된 제 1 및 제 2 전기 신호를 합산하여 출력 신호를 생성하는 데이터 프로세서(19)로 구성된다. 다만, 전원을 공급하는 전원부(미도시), 입력부(11), 표시부(12), 통신부(13), 스피커(15) 등은 본 발명이 속하는 기술분야에 대하여 통상의 지식을 가진 사람들에게 당연히 인식되는 정도에 불과한 기술에 해당되어, 그 상세한 설명이 생략된다.The wireless
제 1 및 제 2 마이크(14a), (14b)는 동일하게 마이크로폰이나, 무선 음향 변환 장치(10)이 착용자의 청각 기관에 장착되거나 삽입되는 것과 같이 착용자에 의해 음향 변환(예를 들면, 음향 재생 기능, 전화 통화 기능 등)을 위해 사용될 때에 그 설치 위치 또는 착용 위치에 의해 획득하는 음향의 특성이 상이하다.The first and
제 1 마이크(14a)는 외부(착용자의 청각 기관의 외부)로 노출되어 착용자의 발음 기관(즉, 입 등)으로부터의 음향과, 주변 소음을 모두 획득할 수 있는 위치에 장착된다. 반면에, 제 2 마이크(14b)는 착용자의 청각 기관에 적어도 일부분이 삽입되어 외부와 차단되거나, 무선 음향 변환 장치(10)의 케이스에 의해 외부와 차단되는 위치에 장착되어, 주변 소음이 상당히 적으면서 착용자의 발음 기관으로부터의 음향을 주로 획득한다. 이러한 위치 차이에 의해 제 1 마이크(14a)에서 획득되는 음향 신호의 주파수는 전체 주파수 대역을 포함하나, 제 2 마이크(14b)에서 획득되는 음향 신호의 주파수는 음성 주파수 대역 이내의 주파수 대역(예를 들면, 2kHz 이내의 주파수)이거나, 음성 주파수 대역을 어느 정도만 초과하는 주파수 대역을 포함한다. 즉, 제 1 마이크(14a)에서 획득되는 음향 신호의 주파수 대역은 제 2 마이크(14b)에서 획득되는 음향 신호의 주파수 대역보다 크다.The
상술된 바와 같이, 제 1 마이크(14a)로부터의 제 1 전기 신호가 주변 소음을 제 2 마이크(14b)로부터의 제 2 전기 신호보다 더 잘 획득할 수 있기에, 데이터 프로세서(19)는 제 1 전기 신호를 이용하여 주변 소음 또는 주변 소음 환경을 판단한다.As described above, since the first electrical signal from the
데이터 프로세서(19)는 통신부(13), 제 1 및 제 2 마이크(14a, 14b)와 스피커(15)를 제어하여 음향 재생 기능, 전화 통화 기능 등을 수행하는 프로세서(예를 들면, MCU, CPU, MICROPROCESSOR 등)과, 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터들을 포함하는 이득 처리 데이터 등을 저장하는 저장 공간(예를 들면, 메모리 등)로 구성된다. The
데이터 프로세서(9)는 제 1 전기 신호를 기설정된 크기의 기준 프레임 단위로 처리하되, 적어도 고속 푸리에 변환(FFT: Fast Fourier Transform)을 수행하여 시간 영역의 신호인 제 1 전기 신호를 주파수 영역의 신호로 변환한다. 또한, 데이터 프로세서(9)는 제 1 전기 신호의 주파수 영역의 신호로부터 제 1 전기 신호의 주파수축 에너지를 산정하고, 산정된 주파수축 에너지를 이용하여 주변 소음 환경이 반영된 신호 대 잡음비(SNR)을 산정한다. 주파수 영역의 신호로부터 주파수축 에너지를 산정하는 과정과, 주파수축 에너지를 이용하여 신호 대 잡음비(SNR)를 산정하는 과정은 본 발명이 속하는 기술분야에 대하여 통상의 지식을 가진 자에게 이미 널리 알려진 기술에 해당되어, 그 설명이 생략된다. 또한, 데이터 프로세서(9)는 주파수 영역의 신호인 제 1 전기 신호를 역 고속 푸리에 변환(IFFT: Inverse Fast Fourier Transform)을 수행하여 시간 영역의 신호인 제 1 전기 신호로 변환한다.The data processor 9 processes the first electrical signal in units of a reference frame having a preset size, and performs at least Fast Fourier Transform (FFT) to convert the first electrical signal, which is a signal in the time domain, into a signal in the frequency domain. Convert to In addition, the data processor 9 calculates the frequency axis energy of the first electric signal from the signal in the frequency domain of the first electric signal, and calculates the signal-to-noise ratio (SNR) reflecting the surrounding noise environment using the calculated frequency axis energy. Calculate. The process of calculating the frequency axis energy from the signal in the frequency domain and the process of calculating the signal-to-noise ratio (SNR) using the frequency axis energy are techniques that are well known to those of ordinary skill in the art to which the present invention belongs. Corresponds to, and its description is omitted. In addition, the data processor 9 converts the first electrical signal, which is a signal in the frequency domain, into a first electrical signal, which is a signal in the time domain, by performing an Inverse Fast Fourier Transform (IFFT).
또한, 데이터 프로세서(9)는 제 1 전기 신호의 주파수축 에너지를 매 프레임마다 산정하거나 기설정된 시간(예를 들면, 5초, 10초) 간격으로 산정하고, 산정된 주파수축 에너지를 이용하여 신호 대 잡음비(SNR)를 산정한다.In addition, the data processor 9 calculates the frequency axis energy of the first electrical signal every frame or at predetermined time intervals (e.g., 5 seconds, 10 seconds), and uses the calculated frequency axis energy. Calculate the noise-to-noise ratio (SNR).
데이터 프로세서(9)가 저장하는 이득 기준 데이터에 대하여 설명된다. 이득 기준 데이터는 제 1 전기 신호의 신호 대 잡음비(SNR)를 기준으로 하여, 제 1 및 제 2 전기 신호 각각에 대한 제 1 이득 비율과 제 2 이득 비율 각각을 결정하기 위한 데이터이다. 여기서, 제 1 이득 비율과 제 2 이득 비율은 0 내지 1의 범위에 속하며, 제 1 및 제 2 이득 비율의 합은 1(기준 비율)로 항상 동일한 값이다. 예를 들면, 제 1 이득 비율이 0이면 제 2 이득 비율은 1이며, 제 1 이득 비율이 0.3이면 제 2 이득 비율은 0.7이다. The gain reference data stored by the data processor 9 will be described. The gain reference data is data for determining each of a first gain ratio and a second gain ratio for each of the first and second electric signals based on the signal-to-noise ratio (SNR) of the first electric signal. Here, the first gain ratio and the second gain ratio fall in the range of 0 to 1, and the sum of the first and second gain ratios is 1 (reference ratio), which is always the same value. For example, if the first gain ratio is 0, the second gain ratio is 1, and if the first gain ratio is 0.3, the second gain ratio is 0.7.
도 2의 (a)와 (b)는 이득 기준 데이터의 특성을 나타내는 예시들이다. 이득 기준 곡선(S1), (S2)의 상측은 제 1 이득 비율(T1)의 영역이고, 이득 기준 곡선(S1), (S2)의 하측은 제 2 이득 비율(T2)의 영역이다. 이득 기준 곡선(S1)은 신호 대 잡음비(SNR)의 증가에 따라 제 1 이득 비율(T1)의 정비례하여 증가하는 특성을 지닌 선형적이고, 이득 기준 곡선(S2)은 신호 대 잡음비(SNR)의 증가에 따라 제 1 이득 비율(T1)이 증가하는 특성을 지닌 비선형적이다. 2A and 2B are examples showing characteristics of gain-based data. The upper side of the gain reference curves S1 and S2 is the area of the first gain ratio T1, and the lower side of the gain reference curves S1 and S2 is the area of the second gain ratio T2. The gain reference curve (S1) is linear with a characteristic that increases in direct proportion to the first gain ratio (T1) as the signal-to-noise ratio (SNR) increases, and the gain reference curve (S2) increases the signal-to-noise ratio (SNR). The first gain ratio T1 is nonlinear with an increasing characteristic.
도 2의 (a)에서, 신호 대 잡음비(SNR)가 E1인 경우, 제 1 이득 비율(T1)은 비율(T1-1)이고 제 2 이득 비율(T2)은 비율(T2-1)로 결정되며, 신호 대 잡음비(SNR)가 E2인 경우, 제 1 이득 비율(T1)은 비율(T1-2)이고 제 2 이득 비율(T2)은 비율(T2-2)로 결정된다. 신호 대 잡음비(SNR)가 증가할 수록 제 1 이득 비율(T1)이 증가하고 제 2 이득 비율(T2)은 감소되며, 신호 대 잡음비(SNR)가 감소할 수록 제 1 이득 비율(T1)이 감소하고 제 2 이득 비율(T2)이 증가한다. 즉, 데이터 프로세서(9)가 제 1 전기 신호의 신호 대 잡음비(SNR)를 이용하여 이득 처리 데이터에 포함된 하나의 이득 기준 데이터로부터 제 1 및 제 2 이득 비율을 결정한다.In Fig. 2A, when the signal-to-noise ratio (SNR) is E1, the first gain ratio (T1) is the ratio (T1-1) and the second gain ratio (T2) is determined as the ratio (T2-1). When the signal-to-noise ratio (SNR) is E2, the first gain ratio T1 is the ratio T1-2 and the second gain ratio T2 is the ratio T2-2. As the signal-to-noise ratio (SNR) increases, the first gain ratio (T1) increases and the second gain ratio (T2) decreases. As the signal-to-noise ratio (SNR) decreases, the first gain ratio (T1) decreases. And the second gain ratio T2 increases. That is, the data processor 9 determines the first and second gain ratios from one gain reference data included in the gain-processed data using the signal-to-noise ratio (SNR) of the first electrical signal.
또한, 데이터 프로세서(9)는 결정된 제 1 이득 비율과 제 1 전기 신호를 곱하여 이득 처리된 제 1 전기 신호를 산정하고, 결정된 제 2 이득 비율과 제 2 전기 신호를 곱하여 이득 처리된 제 2 전기 신호를 산정한 후, 이득 처리된 제 1 전기 신호와 이득 처리된 제 2 전기 신호를 합산하여 출력 신호를 생성한다. 데이터 프로세서(9)는 출력 신호를 통신부(13)를 통하여 전자 디바이스(30)로 전송한다.Further, the data processor 9 calculates a gain-processed first electrical signal by multiplying the determined first gain ratio and the first electrical signal, and multiplies the determined second gain ratio by the second electrical signal to obtain a gain-processed second electrical signal. After calculating, the gain-processed first electric signal and the gain-processed second electric signal are summed to generate an output signal. The data processor 9 transmits an output signal to the
도 2에서 예시로 도시된 (a)와 (b)는 이득 기준 데이터의 특성인 신호 대 잡음비(SNR)에 따른 제 1 및 제 2 전기 신호들 간의 이득 비율(즉, 이득 기준 곡선의 형태)은 주변 소음 환경에 의존하여 결정된 것이다. 즉, 이득 기준 데이터는 특정의 주변 소음 환경에서 착용자의 음성을 보다 명확하게 통화의 상대방에게 전달하거나 전송하도록, 신호 대 잡음비(SNR)에 따른 제 1 및 제 2 전기 신호들 간의 이득 비율들을 포함하여 구성된다. 주변 소음 환경은 예를 들면, 제 1 전기 신호의 주파수축 에너지의 80% 이상이 2kHz 이하에서 형성되는 것 등과 같이, 제 1 전기 신호의 주파수축 에너지의 다양한 특성으로 정의될 수 있다. 데이터 프로세서(9)는 주파수축 에너지 특성이 상이한 주변 소음 환경들 각각에 대응하는 복수의 이득 기준 데이터들을 저장한다. (A) and (b) shown by way of example in FIG. 2 are gain ratios between the first and second electrical signals according to the signal-to-noise ratio (SNR), which is the characteristic of the gain-based data, It was determined depending on the ambient noise environment. That is, the gain reference data includes gain ratios between the first and second electrical signals according to the signal-to-noise ratio (SNR) so that the wearer's voice is more clearly transmitted or transmitted to the other party of the call in a specific ambient noise environment. Is composed. The ambient noise environment may be defined as various characteristics of the frequency axis energy of the first electric signal, such as that 80% or more of the frequency axis energy of the first electric signal is formed at 2 kHz or less. The data processor 9 stores a plurality of gain reference data corresponding to each of the ambient noise environments having different frequency axis energy characteristics.
다음으로, 무선 음향 변환 장치(20)는 무선 음향 변환 장치(10)와 동일한 구성을 지니며, 입력부(21), 표시부(22), 통신부(23), 제 1 및 제 2 마이크(24a, 24b), 스피커(25) 및 데이터 프로세서(29) 각각은 입력부(11), 표시부(12), 통신부(13), 제 1 및 제 2 마이크(14a, 14b), 스피커(15) 및 데이터 프로세서(19) 각각과 동일한 기능을 수행한다. Next, the wireless sound conversion device 20 has the same configuration as the wireless
다만, 무선 음향 변환 장치(10)와 무선 음향 변환 장치(20) 중의 어느 하나의 장치만이 출력 신호를 생성하여 통신부(13)에 인가할 수도 있다. However, only one of the wireless
또한, 무선 음향 변환 장치(10)와 무선 음향 변환 장치(20)가 서로의 통신 관계에서 마스터 기기와 슬레이브 기기로 동작할 수도 있다.In addition, the wireless
다음으로, 전자 디바이스(30)는 예를 들면, 스마트폰, 테블릿 PC 등과 같은 정보 통신 기기에 해당되며, 착용자로부터 입력(예를 들면, 전원 온/오프, 재생곡의 선택, 이득 기준 데이터의 선택 등)을 획득하여 데이터 프로세서(39)에 인가하는 입력부(31)와, 이득 처리 데이터, 전원 상태(예를 들면, 충전 중, 충전 정도 등) 등을 표시하는 표시부(32)와, 무선 음향 변환 장치(10) 및/또는 무선 음향 변환 장치(20)와 무선 통신을 수행하는 통신부(33)와, 외부의 음향을 획득하여 획득된 음향의 전기 신호를 데이터 프로세서(39)에 인가하는 마이크(34)와, 전기 신호를 데이터 프로세서(39)로부터 전기 신호를 수신하여 음 방출을 수행하는 스피커(35)와, 상술된 구성요소들을 제어하여 무선 음향 변환 장치(10) 및/또는 (20)와 무선 통신을 통하여 음향 재생 기능, 전화 통화 기능 등을 수행하면서, 무선 음향 변환 장치(10), (20)에 저장된 이득 기준 데이터 및 이득 처리 데이터에 대한 갱신 과정과, 주변 소음 환경에 따른 이득 기준 데이터의 결정 과정을 수행하는 데이터 프로세서(39)를 포함한다. 다만, 전원을 공급하는 전원부(미도시), 입력부(31), 표시부(32), 통신부(33), 마이크(34), 스피커(35) 등은 본 발명이 속하는 기술분야에 대하여 통상의 지식을 가진 사람들에게 당연히 인식되는 정도에 불과한 기술에 해당되어, 그 상세한 설명이 생략된다.Next, the
데이터 프로세서(39)는 상술된 구성요소들을 제어하여 무선 음향 변환 장치(10) 및/또는 (20)와 무선 통신을 통하여 음향 재생 기능, 전화 통화 기능 등을 수행하는 프로세서(예를 들면, MCU, CPU, MICROPROCESSOR 등)와, 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터들을 포함하는 이득 처리 데이터 등을 저장하는 저장 공간(예를 들면, 메모리 등)로 구성된다. The
먼저, 이득 처리 데이터에 대한 갱신 과정에 대해서 설명된다. 데이터 프로세서(39)는 통신부(33)를 통하여 외부 서버(미도시)로부터 신호 대 잡음비(SNR)에 따른 이득 기준 데이터들을 포함하는 신규의 이득 처리 데이터를 수신하여, 수신된 신규의 이득 처리 데이터를 저장한다. 또한, 데이터 프로세서(39)는 통신부(13), (23)과 통신 연결 상태에서 저장된 신규의 이득 처리 데이터를 무선 음향 변환 장치(10), (20)로 전송한다. 데이터 프로세서(19), (29) 각각은 신규의 이득 처리 데이터를 통신부(13), (23) 각각을 통하여 수신하여 저장하여, 이전에 저장된 이득 처리 데이터 대신에 저장된 신규의 이득 처리 데이터를 이용한다. First, an update process for the gain processing data will be described. The
다음으로, 주변 소음 환경에 따른 이득 기준 데이터의 결정 과정에 대해서 설명된다. 데이터 프로세서(39)는 도 2에서 기재된 바와 같이, 다양한 형태의 이득 기준 곡선(S)에 대응하는 이득 기준 데이터들을 저장하며, 저장된 이득 기준 데이터들 중에서, 제 1 전기 신호의 주파수축 신호 특성에 보다 적합한, 즉 주변 소음 환경에 보다 적합한 이득 기준 데이터를 결정한다. 이러한 결정을 위해, 무선 음향 변환 장치(10), (20)와 전자 디바이스(30)는 서로 통신 가능한 상태에서 데이터 프로세서(39)는 이득 기준 데이터의 결정을 위한 어플리케이션을 수행하여, 데이터 프로세서(19), (29) 각각으로 제 1 및 제 2 전기 신호의 송신 요청을 수행한다. 이에, 데이터 프로세서(19), (29) 각각은 기설정된 시간(예를 들면, 5초) 동안의 음향을 포함하는 제 1 및 제 2 전기 신호를 통신부(13), (23) 각각을 통하여 전송하고, 기설정된 시간 동안에는 이전에 결정된 이득 기준 데이터에 따라 이득 처리를 수행하여 출력 신호를 통신부(13), (23) 각각을 통하여 전자 디바이스(30)로 전송한다. 데이터 프로세서(39)는 통신부(33)를 통하여 제 1 및 제 2 전기 신호를 수신하고, 수신된 제 1 전기 신호의 주파수축 신호 특성에 적합한 이득 기준 데이터를 결정한다. 데이터 프로세서(39)는 결정된 이득 기준 데이터를 통신부(33)를 통하여 무선 음향 변환 장치(10), (20)로 전송한다. 데이터 프로세서(19), (29) 각각은 통신부(13), (23) 각각을 통하여 이득 기준 데이터를 수신하여 저장하고, 가장 최근에 저장된 이득 기준 데이터를 기준으로 하여 이득 처리를 수행한다. Next, a process of determining the gain reference data according to the surrounding noise environment will be described. As described in FIG. 2, the
또한, 무선 음향 변환 장치(10), (20)와 전자 디바이스(30)는 서로 통신 가능한 상태에서, 데이터 프로세서(39)가 이득 기준 데이터의 결정을 위한 어플리케이션을 수행하지 않을 경우, 데이터 프로세서(19), (29) 각각은 가장 최근에 저장된 이득 기준 데이터를 기준으로 하여 이득 처리를 수행한다.In addition, in a state in which the wireless
또한, 데이터 프로세서(39)는 기저장된 이득 기준 곡선(S)에 대응하는 이득 기준 데이터들을 표시부(32)에 표시하고, 착용자가 표시된 이득 기준 데이터들 중에서 하나를 선택하도록 할 수도 있다. 데이터 프로세서(39)는 선택된 이득 기준 데이터나 선택된 이득 기준 데이터를 구별할 수 있는 식별 데이터(예를 들면, 이득 기준 데이터의 고유 번호 등)를 통신부(33)를 통하여 무선 음향 변환 장치(10), (20)로 전송한다. 이에, 데이터 프로세서(19), (29) 각각은 통신부(13), (23)를 통하여 이득 기준 데이터나 식별 데이터를 수신하고, 수신된 이득 기준 데이터에 따른 또는 식별 데이터에 대응하는 기저장된 이득 기준 데이터에 따른 이득 처리를 수행한다. Further, the
특히, 데이터 프로세서(39)는 제 1 전기 신호를 데이터 서버(미도시)로 전송하여 인공 지능을 활용하여 학습된 이득 기준 데이터를 선택하거나 결정할 수도 있다. 데이터 서버는 제 1 전기 신호를 수신하여, 제 1 전기 신호를 기준 프레임 단위로 고속 푸리에 변환(FFT)을 수행하여 시간 영역의 신호인 제 1 전기 신호를 주파수 영역의 신호로 변환하는 제 1 과정을 수행한다. 다음으로, 데이터 서버는 주파수 영역의 신호에 대하여 MFCC(Mel Frequency Cepstral Coefficient)를 수행하여 음향의 특징 데이터들을 추출한다. 다음으로, 데이터 서버는 추출된 특징 데이터들을 입력 받는 입력층과, 입력층으로부터 특징 데이터들을 받아 특성을 추출하는 은닉층과, 은닉층으로부터 추출된 특성을 출력하는 출력층으로 구성된 인공 신경망을 구비하며, 인공 신경만은 이득 기준 데이터의 개수에 대응하는 은닉층들을 구비한다. 또한, 데이터 서버는 각 은닉층들에서 추출된 특성들(features)과 가중치(weight)의 곱과 바이어스(bias)의 합을 입력으로 하는 Sigmoid 함수의 출력인 가설(hypothesis)을 산정하며, 가설을 입력으로 하는 cost 함수의 출력인 cost를 산정하며, 산정된 cost를 입력으로 하는 Gradientdescent 함수의 출력인 optimizer를 산정한다. 데이터 서버는 산정된 optimizer들 중에서 추출된 특징 데이터들에 가장 비슷하거나 근접한 optimizer를 결정하고, 결정된 optimizer에 대응하는 은닉층과, 그 대응하는 은닉층에 대응하는 이득 기준 데이터를 결정한다. 데이터 서버는 위와 같은 과정을 통하여 특징 데이터에 가장 적합한 이득 기준 데이터를 결정하고, 결정된 이득 기준 데이터를 전자 디바이스(30)로 전송하다. In particular, the
전자 디바이스(30)는 이득 기준 데이터를 수신하고, 수신된 이득 기준 데이터를 통신부(33)를 통하여 무선 음향 변환 장치(10, 20) 각각으로 전송한다. 이에, 무선 음향 변환 장치(10, 20)는 이득 기준 데이터를 수신하여 저장하고, 저장된 이득 기준 데이터에 따라서 제 1 및 제 2 전기 신호를 처리하여 출력 신호를 생성하여 전자 다바이스(30)로 전송한다.The
상술된 이득 기준 데이터의 결정 과정은 전자 디바이스(30)에서 결정하는 과정이 기재되어 있으나, 데이터 프로세서(19), (29) 각각이 복수의 이득 기준 데이터들 중에서 주변 소음 환경에 적합한 이득 기준 데이터를 결정할 수도 있다. 즉, 데이터 프로세서(19), (29)는 제 1 전기 신호의 주파수축 에너지를 산정하고, 산정된 주파수축 에너지의 특성에 적합한 이득 기준 데이터를 결정한다. 특히, 데이터 프로세서(19), (29)는 상술된 인공 지능을 활용하여 학습된 이득 기준 데이터를 선택하거나 결정할 수도 있다. 또한, 데이터 프로세서(19), (29)는 입력부(11), (21) 각각로부터 착용자에 의한 이득 기준 데이터에 대한 선택 입력을 획득하여, 선택된 이득 기준 데이터에 따라 이득 처리를 수행할 수도 있다.In the process of determining the gain reference data described above, the process of determining by the
다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.At least a part of a device (eg, a processor or its functions) or a method (eg, operations) according to various embodiments is, for example, in a computer-readable storage media in the form of a program module. It can be implemented with stored instructions. When the command is executed by a processor, the one or more processors may perform a function corresponding to the command. The computer-readable storage medium may be, for example, a memory.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예:자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical media (e.g. CD-ROM, DVD (Digital Versatile Disc), magnetic- It may include optical media (eg floptical disk), hardware devices (eg ROM, RAM, flash memory, etc.), etc. In addition, program instructions, such as those made by a compiler, may be included. It may include not only machine code but also high-level language code that can be executed by a computer using an interpreter, etc. The above-described hardware device may be configured to operate as one or more software modules to perform operations of various embodiments. The same goes for vice versa.
다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.A processor or functions performed by the processor according to various embodiments of the present disclosure may include at least one or more of the above-described components, some of the above-described components may be omitted, or additional other components may be further included. Operations performed by a module, a program module, or other components according to various embodiments may be executed sequentially, in parallel, repeatedly, or in a heuristic manner. Also, some operations may be executed in a different order, omitted, or other operations may be added.
이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.As described above, the present invention is not limited to the specific preferred embodiment described above, and anyone with ordinary knowledge in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims It goes without saying that modifications can be made, and such changes are within the scope of the claims.
10, 20: 무선 음향 변환 장치 30: 전자 디바이스10, 20: wireless sound conversion device 30: electronic device
Claims (6)
전자 디바이스와 무선 통신을 수행하는 통신부와;
통신부를 통하여 전자 디바이스와 무선 통신을 수행하여, 제 1 및 제 2 마이크로부터 제 1 및 제 2 전기 신호를 인가 받아, 제 1 전기 신호의 신호 대 잡음비를 기준으로 하여 제 1 및 제 2 전기 신호 각각에 대한 제 1 및 제 2 이득 비율을 결정하고, 결정된 제 1 및 제 2 이득 비율에 따라 제 1 및 제 2 전기 신호를 처리하고, 처리된 제 1 및 제 2 전기 신호를 합산하여 출력 신호를 생성하고, 생성된 출력 신호를 통신부를 통하여 전자 디바이스로 전송하는 데이터 프로세서를 구비하고,
무선 음향 변환 장치가 착용자에게 착용된 경우, 제 1 마이크는 착용자의 청각 기관의 외부에 노출되고 제 2 마이크는 착용자의 청각 기관에 적어도 일부분이 삽입되거나 무선 음향 변환 장치의 케이스에 의해 외부와 차단되는 위치에 장착되는 것을 특징으로 하는 무선 음향 변환 장치.First and second microphones respectively obtaining sound and generating and applying first and second electrical signals;
A communication unit for performing wireless communication with an electronic device;
By performing wireless communication with the electronic device through the communication unit, the first and second electric signals are applied from the first and second microphones, and each of the first and second electric signals based on the signal-to-noise ratio of the first electric signal Determining the first and second gain ratios for, processing the first and second electrical signals according to the determined first and second gain ratios, and summing the processed first and second electrical signals to generate an output signal And a data processor for transmitting the generated output signal to the electronic device through the communication unit,
When the wireless acoustic conversion device is worn by the wearer, the first microphone is exposed to the outside of the wearer's hearing organ, and the second microphone is at least partially inserted into the wearer's hearing organ or blocked from the outside by the case of the wireless acoustic conversion device. Wireless sound conversion device, characterized in that mounted in the position.
데이터 프로세서는 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터를 저장하고, 저장된 이득 기준 데이터로부터 제 1 전기 신호의 신호 대 잡음비에 따른 제 1 및 제 2 이득 비율을 결정하되, 제 1 및 제 2 이득 비율의 합은 기준 비율인 것을 특징으로 하는 무선 음향 변환 장치.The method of claim 1,
The data processor stores at least one gain reference data corresponding to the ambient noise environment, and determines first and second gain ratios according to the signal-to-noise ratio of the first electrical signal from the stored gain reference data, the first and second gain reference data. The wireless sound conversion device, characterized in that the sum of the gain ratio is a reference ratio.
데이터 프로세서는 통신부를 통하여 전자 디바이스로부터 이득 기준 데이터를 수신하여 저장하는 것을 특징으로 하는 무선 음향 변환 장치.The method of claim 3,
The data processor receives and stores the gain reference data from the electronic device through the communication unit.
데이터 프로세서는 제 1 전기 신호의 주파수축 신호의 특성에 적합한 이득 기준 데이터를 결정하는 것을 특징으로 하는 무선 음향 변환 장치.The method of claim 3,
The data processor determines gain reference data suitable for characteristics of a frequency axis signal of the first electric signal.
무선 음향 변환 장치와 통신을 수행하는 전자 디바이스 및 데이터 서버로 구성된 음향 통신 시스템에 있어서,
무선 음향 변환 장치는 기설정된 시간 동안의 제 1 및 제 2 전기 신호를 전자 디바이스에 전송하고,
전자 디바이스는 제 1 및 제 2 전기 신호를 수신하고, 제 1 및 제 2 전기 신호를 데이터 서버로 전송하며, 데이터 서버는 제 1 및 제 2 전기 신호를 수신하고, 수신된 제 1 전기 신호를 주파수축 변환을 수행하여 제 1 전기 신호의 주파수축 신호에 대하여 MFCC(Mel Frequency Cepstral Coefficient)를 수행하여 특징 데이터들을 추출하고, 추출된 특징 데이터들을 인공 신경망 처리를 수행하여 추출된 특징 데이터에 가장 적합한 이득 기준 데이터를 결정하고, 결정된 이득 기준 데이터를 전자 디바이스로 전송하고,
전자 디바이스는 결정된 이득 기준 데이터를 수신하고, 결정된 이득 기준 데이터를 무선 음향 변환 장치로 전송하는 것을 특징으로 하는 음향 통신 시스템.A wireless sound conversion device according to claim 4;
In the acoustic communication system consisting of an electronic device and a data server for performing communication with a wireless acoustic conversion device,
The wireless sound conversion apparatus transmits the first and second electrical signals for a preset time to the electronic device,
The electronic device receives the first and second electrical signals, transmits the first and second electrical signals to the data server, the data server receives the first and second electrical signals, and frequency the received first electrical signals. The most suitable gain for the extracted feature data by performing axial transformation and extracting feature data by performing MFCC (Mel Frequency Cepstral Coefficient) on the frequency axis signal of the first electrical signal, and performing artificial neural network processing on the extracted feature data. Determine reference data, transmit the determined gain reference data to the electronic device,
The electronic device receives the determined gain reference data, and transmits the determined gain reference data to the wireless acoustic conversion device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190099516A KR102178414B1 (en) | 2019-08-14 | 2019-08-14 | Wireless sound converting device with multiple microphone units |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190099516A KR102178414B1 (en) | 2019-08-14 | 2019-08-14 | Wireless sound converting device with multiple microphone units |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102178414B1 true KR102178414B1 (en) | 2020-11-13 |
Family
ID=73398821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190099516A KR102178414B1 (en) | 2019-08-14 | 2019-08-14 | Wireless sound converting device with multiple microphone units |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102178414B1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160099640A (en) * | 2013-12-16 | 2016-08-22 | 퀄컴 인코포레이티드 | Systems and methods for feedback detection |
KR101903374B1 (en) * | 2017-09-01 | 2018-11-22 | 올리브유니온(주) | Adaptive smart hearing device and system according to environmental changes and noise, and the method thereof |
KR101985808B1 (en) * | 2018-06-25 | 2019-06-05 | 주식회사 이엠텍 | Wearable sound convertor |
KR20200064397A (en) * | 2018-11-29 | 2020-06-08 | 주식회사 비에스엘 | Sound transferring apparatus |
-
2019
- 2019-08-14 KR KR1020190099516A patent/KR102178414B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160099640A (en) * | 2013-12-16 | 2016-08-22 | 퀄컴 인코포레이티드 | Systems and methods for feedback detection |
KR101903374B1 (en) * | 2017-09-01 | 2018-11-22 | 올리브유니온(주) | Adaptive smart hearing device and system according to environmental changes and noise, and the method thereof |
KR101985808B1 (en) * | 2018-06-25 | 2019-06-05 | 주식회사 이엠텍 | Wearable sound convertor |
KR20200064397A (en) * | 2018-11-29 | 2020-06-08 | 주식회사 비에스엘 | Sound transferring apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210035563A1 (en) | Per-epoch data augmentation for training acoustic models | |
CN106782504B (en) | Audio recognition method and device | |
US11569789B2 (en) | Compensation for ambient sound signals to facilitate adjustment of an audio volume | |
CN111161752B (en) | Echo cancellation method and device | |
CN108269569B (en) | Speech recognition method and device | |
US10504539B2 (en) | Voice activity detection systems and methods | |
US9892721B2 (en) | Information-processing device, information processing method, and program | |
US9640194B1 (en) | Noise suppression for speech processing based on machine-learning mask estimation | |
JP7498560B2 (en) | Systems and methods | |
CN109121057B (en) | Intelligent hearing aid method and system | |
US20200296510A1 (en) | Intelligent information capturing in sound devices | |
CN109979469B (en) | Signal processing method, apparatus and storage medium | |
JP2012155339A (en) | Improvement in multisensor sound quality using sound state model | |
US20230054864A1 (en) | Methods and Apparatus for Audio Equalization Based on Variant Selection | |
US11902760B2 (en) | Methods and apparatus for audio equalization based on variant selection | |
CN113614828B (en) | Method and apparatus for fingerprinting an audio signal via normalization | |
EP3484183B1 (en) | Location classification for intelligent personal assistant | |
CN110268471A (en) | The method and apparatus of ASR with embedded noise reduction | |
US11528571B1 (en) | Microphone occlusion detection | |
CN110867191A (en) | Voice processing method, information device and computer program product | |
KR102178414B1 (en) | Wireless sound converting device with multiple microphone units | |
CN111782859A (en) | Audio visualization method and device and storage medium | |
CN114501281B (en) | Sound adjusting method, device, electronic equipment and computer readable medium | |
KR102647545B1 (en) | Electronic device having open speaker | |
CN117953912B (en) | Voice signal processing method and related equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |