KR102178414B1 - Wireless sound converting device with multiple microphone units - Google Patents

Wireless sound converting device with multiple microphone units Download PDF

Info

Publication number
KR102178414B1
KR102178414B1 KR1020190099516A KR20190099516A KR102178414B1 KR 102178414 B1 KR102178414 B1 KR 102178414B1 KR 1020190099516 A KR1020190099516 A KR 1020190099516A KR 20190099516 A KR20190099516 A KR 20190099516A KR 102178414 B1 KR102178414 B1 KR 102178414B1
Authority
KR
South Korea
Prior art keywords
gain
data
signal
electronic device
reference data
Prior art date
Application number
KR1020190099516A
Other languages
Korean (ko)
Inventor
김종태
이규하
염태선
Original Assignee
주식회사 이엠텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이엠텍 filed Critical 주식회사 이엠텍
Priority to KR1020190099516A priority Critical patent/KR102178414B1/en
Application granted granted Critical
Publication of KR102178414B1 publication Critical patent/KR102178414B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/002Damping circuit arrangements for transducers, e.g. motional feedback circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

The present invention relates to wireless sound conversion device having a plurality of microphone units, which includes the plurality of microphone units and determines gains of sound signals from the plurality of microphone units according to ambient noise characteristics. According to the present invention, the wireless sound conversion device includes: first and second microphones each obtaining sound to generate and apply first and second electrical signals; a communication unit which performs wireless communication with an electronic device; and a data processor which performs wireless communication with the electronic device through the communication unit, receives first and second electrical signals from the first and second microphones, and receives first and second electrical signals based on the signal-to-noise ratio of the first electrical signal to determine first and second gain ratios for each of the electrical signals, and then processes the first and second electrical signals according to a determined first and second gain ratio, generates an output signal by summing the processed first and second electrical signals, and transmits the generated output signal through the communication unit to the electronic device.

Description

복수의 마이크부를 구비하는 무선 음향 변환 장치{WIRELESS SOUND CONVERTING DEVICE WITH MULTIPLE MICROPHONE UNITS}A wireless sound conversion device having a plurality of microphone units TECHNICAL FIELD [0002]

본 발명은 무선 음향 변환 장치에 관한 것으로서, 특히 복수의 마이크부를 구비하여, 주변 소음 특성에 따라 복수의 마이크부로부터의 음향 신호의 이득을 결정하는 복수의 마이크부를 구비하는 무선 음향 변환 장치에 관한 것이다.The present invention relates to a wireless acoustic conversion device, and more particularly, to a wireless acoustic conversion device including a plurality of microphone units, which have a plurality of microphone units and determine gains of sound signals from the plurality of microphone units according to ambient noise characteristics. .

음성 또는 음향 데이터의 신호처리에서 가장 문제가 되는 것은 해당 신호에 포함된 잡음의 제거인데, 그 잡음은 신호의 전체구간에 골고루 분포하는 잡음과 특정 구간에 일시적으로 존재하는 산발적 잡음으로 나눌 수 있다.The most problematic in signal processing of speech or acoustic data is the removal of noise included in the signal, and the noise can be divided into noise evenly distributed over the entire section of the signal and sporadic noise temporarily present in a specific section.

그 중 산발적 잡음은 임펄스성 잡음, 즉 짧은 시간 동안 존재하며 그 진폭이 매우 크고 단순한 파형을 갖는 잡음과 돌발성 잡음 즉, 임펄스 잡음에 비해 비교적 긴 시간 동안 존재하며 음성과 비슷한 진폭과 신호성분이 복잡한 돌발성 잡음으로 대별된다.Among them, sporadic noise is impulse noise, that is, it exists for a short time, and its amplitude is very large and has a simple waveform, and sporadic noise, that is, it exists for a relatively long time compared to impulse noise. It is roughly classified as noise.

종래에는, 신호 전구간에 걸쳐 존재하는 잡음을 제거하는 방법이 사용된 바, 이러한 방법은 고전적인 필터나 적응 필터 등의 방법과 평균잡음 제거법 등의 방법이 있으며, 산발적 잡음의 하나인 임펄스성 잡음을 제거하기 위한 방법들은 가변역을 이용하거나 앞뒤 신호의 상관관계를 이용하는 방법 등이 있다.Conventionally, a method of removing noise existing over the entire signal has been used, and these methods include a method such as a classical filter or an adaptive filter and a method such as an average noise removal method, and impulse noise, which is one of the sporadic noise, has been used. Methods for removal include using a variable region or a method of using correlation between front and rear signals.

기존의 잡음제거 방법들을 사용하여 잡음을 축약 시키거나 제거 할 경우, 필요한 신호성분도 왜곡되거나 제거하는 경우가 발생되는 부작용이 있다. 입력된 신호에서 잡음성분을 제거하고 필요한 음성 신호만을 검출하는 것은 음성 신호처리, 음성코딩 및 각종 데이터 통신분야에서 시스템의 성능과 음성코딩의 압축률 향상, 통신대역폭의 효율적 사용을 가능토록 할 수 있는 매우 중요한 문제이다. When noise is reduced or removed by using existing noise reduction methods, there is a side effect of distorting or removing necessary signal components. Removing the noise component from the input signal and detecting only the necessary voice signal is very effective in enabling efficient use of the communication bandwidth, improving the system performance and the compression rate of the voice coding in voice signal processing, voice coding and various data communication fields. It's an important issue.

본 발명은 복수의 마이크부를 구비하여, 주변 소음 특성에 따라 복수의 마이크부로부터의 음향 신호의 이득을 결정하는 복수의 마이크부를 구비하는 무선 음향 변환 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide a wireless acoustic conversion apparatus including a plurality of microphone units and including a plurality of microphone units for determining gains of sound signals from the plurality of microphone units according to ambient noise characteristics.

본 발명인 무선 음향 변환 장치는 음향을 각각 획득하여 제 1 및 제 2 전기 신호를 생성하여 인가하는 제 1 및 제 2 마이크와, 전자 디바이스와 무선 통신을 수행하는 통신부와, 통신부를 통하여 전자 디바이스와 무선 통신을 수행하여, 제 1 및 제 2 마이크로부터 제 1 및 제 2 전기 신호를 인가 받아, 제 1 전기 신호의 신호 대 잡음비를 기준으로 하여 제 1 및 제 2 전기 신호 각각에 대한 제 1 및 제 2 이득 비율을 결정하고, 결정된 제 1 및 제 2 이득 비율에 따라 제 1 및 제 2 전기 신호를 처리하고, 처리된 제 1 및 제 2 전기 신호를 합산하여 출력 신호를 생성하고, 생성된 출력 신호를 통신부를 통하여 전자 디바이스로 전송하는 데이터 프로세서를 구비하고, 무선 음향 변환 장치가 착용자에게 착용된 경우, 제 1 마이크는 착용자의 청각 기관의 외부에 노출되고 제 2 마이크는 착용자의 청각 기관에 적어도 일부분이 삽입되거나 무선 음향 변환 장치의 케이스에 의해 외부와 차단되는 것이 바람직하다.The wireless acoustic conversion apparatus of the present invention includes first and second microphones that respectively obtain sound and generate and apply first and second electrical signals, a communication unit for performing wireless communication with an electronic device, and a wireless communication unit through the communication unit. By performing communication, receiving first and second electric signals from the first and second microphones, and receiving first and second electric signals for each of the first and second electric signals based on the signal-to-noise ratio of the first electric signal. A gain ratio is determined, the first and second electrical signals are processed according to the determined first and second gain ratios, the processed first and second electrical signals are summed to generate an output signal, and the generated output signal is A data processor that transmits to the electronic device through the communication unit is provided, and when the wireless acoustic conversion device is worn by the wearer, the first microphone is exposed to the outside of the wearer's hearing organ, and the second microphone is at least partially covered by the wearer's hearing organ. It is preferable to be inserted or blocked from the outside by the case of the wireless sound conversion device.

삭제delete

또한, 데이터 프로세서는 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터를 저장하고, 저장된 이득 기준 데이터로부터 제 1 전기 신호의 신호 대 잡음비에 따른 제 1 및 제 2 이득 비율을 결정하되, 제 1 및 제 2 이득 비율의 합은 기준 비율인 것이 바람직하다.In addition, the data processor stores at least one gain reference data corresponding to the ambient noise environment, and determines first and second gain ratios according to the signal-to-noise ratio of the first electrical signal from the stored gain reference data, the first and It is preferable that the sum of the second gain ratios is a reference ratio.

또한, 데이터 프로세서는 통신부를 통하여 전자 디바이스로부터 이득 기준 데이터를 수신하여 저장하는 것이 바람직하다.In addition, it is preferable that the data processor receives and stores the gain reference data from the electronic device through the communication unit.

또한, 데이터 프로세서는 제 1 전기 신호의 주파수축 신호의 특성에 적합한 이득 기준 데이터를 결정하는 것이 바람직하다.Also, it is preferable that the data processor determine gain reference data suitable for the characteristic of the frequency axis signal of the first electrical signal.

또한 본 발명인 무선 음향 변환 장치와, 무선 음향 변환 장치와 통신을 수행하는 전자 디바이스 및 데이터 서버로 구성된 음향 통신 시스템에서, 무선 음향 변환 장치는 기설정된 시간 동안의 제 1 및 제 2 전기 신호를 전자 디바이스에 전송하고, 전자 디바이스는 제 1 및 제 2 전기 신호를 수신하고, 제 1 및 제 2 전기 신호를 데이터 서버로 전송하며, 데이터 서버는 제 1 및 제 2 전기 신호를 수신하고, 수신된 제 1 전기 신호를 주파수축 변환을 수행하여 제 1 전기 신호의 주파수축 신호에 대하여 MFCC(Mel Frequency Cepstral Coefficient)를 수행하여 특징 데이터들을 추출하고, 추출된 특징 데이터들을 인공 신경망 처리를 수행하여 추출된 특징 데이터에 가장 적합한 이득 기준 데이터를 결정하고, 결정된 이득 기준 데이터를 전자 디바이스로 전송하고, 전자 디바이스는 결정된 이득 기준 데이터를 수신하고, 결정된 이득 기준 데이터를 무선 음향 변환 장치로 전송한다.Further, in an acoustic communication system comprising a wireless acoustic conversion apparatus according to the present invention, an electronic device performing communication with the wireless acoustic conversion apparatus, and a data server, the wireless acoustic conversion apparatus transmits first and second electrical signals for a predetermined time to the electronic device. And the electronic device receives the first and second electrical signals, transmits the first and second electrical signals to the data server, the data server receives the first and second electrical signals, and the received first Feature data extracted by performing MFCC (Mel Frequency Cepstral Coefficient) on the frequency axis signal of the first electrical signal by performing frequency axis transformation on the electrical signal, and performing artificial neural network processing on the extracted feature data It determines the most suitable gain reference data, transmits the determined gain reference data to the electronic device, the electronic device receives the determined gain reference data, and transmits the determined gain reference data to the wireless acoustic conversion device.

본 발명은 복수의 마이크부를 구비하여, 주변 소음 특성에 따라 복수의 마이크부로부터의 음향 신호들 각각의 이득을 결정하여, 이득 처리를 수행하여, 착용자의 음성(음향)이 잘 전달되도록 하며, 주변 소음 특성에 적합한 이득 비율을 지닌 이득 기준 데이터를 결정하도록 하여, 주변 소음에 대한 감쇄 처리(잡음 제거 처리)가 가능하도록 하는 효과가 있다. The present invention includes a plurality of microphone units, determines the gain of each of the sound signals from the plurality of microphone units according to the ambient noise characteristics, performs gain processing, so that the wearer's voice (sound) is well transmitted. There is an effect of enabling attenuation processing (noise removal processing) for ambient noise by determining gain reference data having a gain ratio suitable for noise characteristics.

도 1은 본 발명에 따른 무선 음향 변환 장치와, 전자 디바이스를 포함하는 음향 통신 시스템의 제어 구성도이다.
도 2는 이득 기준 데이터들의 예시이다.
1 is a control configuration diagram of an acoustic communication system including a wireless acoustic conversion device and an electronic device according to the present invention.
2 is an example of gain reference data.

이하에서, 본 발명은 실시예와 도면을 통하여 상세하게 설명된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.In the following, the present invention will be described in detail through examples and drawings. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include various modifications, equivalents, and/or alternatives of the embodiments of the present invention. In connection with the description of the drawings, similar reference numerals may be used for similar elements.

본 문서에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "have", "may have", "include", or "may contain" are the presence of corresponding features (eg, elements such as numbers, functions, actions, or parts). And does not exclude the presence of additional features.

본 문서에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as "A or B", "at least one of A or/and B", or "one or more of A or/and B" may include all possible combinations of items listed together. . For example, “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) it may refer to all cases including both at least one A and at least one B.

본 문서에서 사용된 "제1", "제2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as “first”, “second”, “first”, or “second” used in this document can modify various elements regardless of their order and/or importance, and It is used to distinguish it from the component, but does not limit the component. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of the rights described in this document, a first component may be referred to as a second component, and similarly, a second component may be renamed to a first component.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.Some component (eg, a first component) is "(functionally or communicatively) coupled with/to)" to another component (eg, a second component) or " When referred to as "connected to", it should be understood that the certain component may be directly connected to the other component or may be connected through another component (eg, a third component). On the other hand, when a component (eg, a first component) is referred to as being “directly connected” or “directly connected” to another component (eg, a second component), the component and the It may be understood that no other component (eg, a third component) exists between the different components.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성(또는 설정)된"은 하드웨어적으로 "특별히 설계된(specifically designed to)"것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성(또는 설정)된 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.The expression "configured to" used in this document is, for example, "suitable for", "having the capacity to" depending on the situation. It can be used interchangeably with ", "designed to", "adapted to", "made to", or "capable of". The term "configured to (or set) to" may not necessarily mean only "specifically designed to" in hardware. Instead, in some situations, the expression "a device configured to" may mean that the device "can" along with other devices or parts. For example, the phrase “a processor configured (or configured) to perform A, B, and C” means a dedicated processor (eg, an embedded processor) for performing the operation, or executing one or more software programs stored in a memory device. By doing so, it may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은 관련 기술의 문맥 상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly indicates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by one of ordinary skill in the technical field described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related technology, and unless explicitly defined in this document, they may be interpreted in an ideal or excessively formal meaning. It is not interpreted. In some cases, even terms defined in this document cannot be interpreted to exclude embodiments of this document.

도 1은 본 발명에 따른 무선 음향 변환 장치와, 전자 디바이스를 포함하는 음향 통신 시스템의 제어 구성도이고, 도 2는 이득 기준 데이터들의 예시이다.1 is a control configuration diagram of an acoustic communication system including a wireless acoustic conversion apparatus and an electronic device according to the present invention, and FIG. 2 is an example of gain reference data.

무선 음향 변환 장치(10, 20)는 전자 디바이스(30)와 무선 통신(예를 들면, 블루투스 통신 등)을 수행하며, 무선 음향 변환 장치(10)(예를 들면, 우측 청각 기관용)와 무선 음향 변환 장치(20)(예를 들면, 좌측 청각 기관용)도 서로 무선 통신을 수행한다. The wireless sound conversion devices 10 and 20 perform wireless communication with the electronic device 30 (for example, Bluetooth communication, etc.), and the wireless sound conversion device 10 (for example, for the right auditory organ) and wireless sound The conversion device 20 (for example, for a left auditory organ) also performs wireless communication with each other.

무선 음향 변환 장치(10)는 착용자로부터 입력(예를 들면, 전원 온/오프, 재생곡의 선택, 이득 기준 데이터의 선택 등)을 획득하여 데이터 프로세서(19)에 인가하는 입력부(11)와, 전원 상태(예를 들면, 충전 중, 충전 정도 등)를 표시하는 표시부(12)와, 전자 디바이스(30) 및/또는 무선 음향 변환 장치(20)와 무선 통신을 수행하는 통신부(13)와, 음향을 각각 획득하여 획득된 음향 각각의 제 1 및 제 2 전기 신호 각각 생성하여 데이터 프로세서(19)에 인가하는 제 1 및 제 2 마이크(14a), (14b)와, 전자 디바이스(30)로부터 수신되는 전기 신호를 데이터 프로세서(19)로부터 인가 받아 음 방출을 수행하는 스피커(15)와, 상술된 구성요소들을 제어하여 전자 디바이스(30)와 무선 통신을 통하여 음향 재생 기능, 전화 통화 기능 등의 음향 변환 기능을 수행하면서, 제 1 및 제 2 마이크(14a), (14b) 각각으로부터 제 1 및 제 2 전기 신호 각각을 인가 받아 이득 처리 데이터에 따라 처리하고, 처리된 제 1 및 제 2 전기 신호를 합산하여 출력 신호를 생성하는 데이터 프로세서(19)로 구성된다. 다만, 전원을 공급하는 전원부(미도시), 입력부(11), 표시부(12), 통신부(13), 스피커(15) 등은 본 발명이 속하는 기술분야에 대하여 통상의 지식을 가진 사람들에게 당연히 인식되는 정도에 불과한 기술에 해당되어, 그 상세한 설명이 생략된다.The wireless acoustic conversion device 10 includes an input unit 11 that obtains an input (for example, power on/off, selection of a playback song, selection of gain reference data, etc.) from a wearer and applies it to the data processor 19, A display unit 12 that displays power status (eg, charging, degree of charge, etc.), a communication unit 13 that performs wireless communication with the electronic device 30 and/or the wireless sound conversion device 20, The first and second microphones 14a, 14b, and the electronic device 30 respectively generate first and second electrical signals of each of the acquired sound by obtaining sound and apply it to the data processor 19, respectively. A speaker 15 that emits sound by receiving an electrical signal from the data processor 19 and the above-described components are controlled to sound such as a sound reproduction function and a phone call function through wireless communication with the electronic device 30 While performing the conversion function, each of the first and second electric signals is applied from each of the first and second microphones 14a and 14b, and processed according to the gain processing data, and the processed first and second electric signals are It consists of a data processor 19 that adds up to generate an output signal. However, the power supply unit (not shown), the input unit 11, the display unit 12, the communication unit 13, and the speaker 15 that supply power are naturally recognized by those with ordinary knowledge in the technical field to which the present invention belongs. It corresponds to a technique only to the extent that it becomes, and a detailed description thereof is omitted.

제 1 및 제 2 마이크(14a), (14b)는 동일하게 마이크로폰이나, 무선 음향 변환 장치(10)이 착용자의 청각 기관에 장착되거나 삽입되는 것과 같이 착용자에 의해 음향 변환(예를 들면, 음향 재생 기능, 전화 통화 기능 등)을 위해 사용될 때에 그 설치 위치 또는 착용 위치에 의해 획득하는 음향의 특성이 상이하다.The first and second microphones 14a and 14b are the same as the microphone, but the wireless sound conversion device 10 is mounted or inserted into the wearer's hearing organ, so that sound conversion by the wearer (for example, sound reproduction When used for a function, a phone call function, etc.), the characteristics of the sound obtained by the installation position or the wearing position are different.

제 1 마이크(14a)는 외부(착용자의 청각 기관의 외부)로 노출되어 착용자의 발음 기관(즉, 입 등)으로부터의 음향과, 주변 소음을 모두 획득할 수 있는 위치에 장착된다. 반면에, 제 2 마이크(14b)는 착용자의 청각 기관에 적어도 일부분이 삽입되어 외부와 차단되거나, 무선 음향 변환 장치(10)의 케이스에 의해 외부와 차단되는 위치에 장착되어, 주변 소음이 상당히 적으면서 착용자의 발음 기관으로부터의 음향을 주로 획득한다. 이러한 위치 차이에 의해 제 1 마이크(14a)에서 획득되는 음향 신호의 주파수는 전체 주파수 대역을 포함하나, 제 2 마이크(14b)에서 획득되는 음향 신호의 주파수는 음성 주파수 대역 이내의 주파수 대역(예를 들면, 2kHz 이내의 주파수)이거나, 음성 주파수 대역을 어느 정도만 초과하는 주파수 대역을 포함한다. 즉, 제 1 마이크(14a)에서 획득되는 음향 신호의 주파수 대역은 제 2 마이크(14b)에서 획득되는 음향 신호의 주파수 대역보다 크다.The first microphone 14a is exposed to the outside (outside of the wearer's hearing organ) and is mounted at a position capable of acquiring both sound from the wearer's pronunciation organ (ie, mouth, etc.) and ambient noise. On the other hand, the second microphone 14b is at least partially inserted into the wearer's hearing organ and is blocked from the outside, or is mounted at a location that is blocked from the outside by the case of the wireless acoustic conversion device 10, so that the surrounding noise is significantly reduced. While mainly acquiring sound from the wearer's pronunciation organ. Due to this positional difference, the frequency of the sound signal obtained from the first microphone 14a includes the entire frequency band, but the frequency of the sound signal obtained from the second microphone 14b is within the frequency band (for example, For example, a frequency within 2 kHz), or a frequency band exceeding the voice frequency band to a certain extent. That is, the frequency band of the sound signal obtained from the first microphone 14a is larger than the frequency band of the sound signal obtained from the second microphone 14b.

상술된 바와 같이, 제 1 마이크(14a)로부터의 제 1 전기 신호가 주변 소음을 제 2 마이크(14b)로부터의 제 2 전기 신호보다 더 잘 획득할 수 있기에, 데이터 프로세서(19)는 제 1 전기 신호를 이용하여 주변 소음 또는 주변 소음 환경을 판단한다.As described above, since the first electrical signal from the first microphone 14a can better acquire the ambient noise than the second electrical signal from the second microphone 14b, the data processor 19 The signal is used to determine the ambient noise or ambient noise environment.

데이터 프로세서(19)는 통신부(13), 제 1 및 제 2 마이크(14a, 14b)와 스피커(15)를 제어하여 음향 재생 기능, 전화 통화 기능 등을 수행하는 프로세서(예를 들면, MCU, CPU, MICROPROCESSOR 등)과, 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터들을 포함하는 이득 처리 데이터 등을 저장하는 저장 공간(예를 들면, 메모리 등)로 구성된다. The data processor 19 controls the communication unit 13, the first and second microphones 14a and 14b, and the speaker 15 to perform a sound reproduction function, a phone call function, etc. , MICROPROCESSOR, etc.), and a storage space (eg, memory, etc.) for storing gain processing data including at least one gain reference data corresponding to the ambient noise environment.

데이터 프로세서(9)는 제 1 전기 신호를 기설정된 크기의 기준 프레임 단위로 처리하되, 적어도 고속 푸리에 변환(FFT: Fast Fourier Transform)을 수행하여 시간 영역의 신호인 제 1 전기 신호를 주파수 영역의 신호로 변환한다. 또한, 데이터 프로세서(9)는 제 1 전기 신호의 주파수 영역의 신호로부터 제 1 전기 신호의 주파수축 에너지를 산정하고, 산정된 주파수축 에너지를 이용하여 주변 소음 환경이 반영된 신호 대 잡음비(SNR)을 산정한다. 주파수 영역의 신호로부터 주파수축 에너지를 산정하는 과정과, 주파수축 에너지를 이용하여 신호 대 잡음비(SNR)를 산정하는 과정은 본 발명이 속하는 기술분야에 대하여 통상의 지식을 가진 자에게 이미 널리 알려진 기술에 해당되어, 그 설명이 생략된다. 또한, 데이터 프로세서(9)는 주파수 영역의 신호인 제 1 전기 신호를 역 고속 푸리에 변환(IFFT: Inverse Fast Fourier Transform)을 수행하여 시간 영역의 신호인 제 1 전기 신호로 변환한다.The data processor 9 processes the first electrical signal in units of a reference frame having a preset size, and performs at least Fast Fourier Transform (FFT) to convert the first electrical signal, which is a signal in the time domain, into a signal in the frequency domain. Convert to In addition, the data processor 9 calculates the frequency axis energy of the first electric signal from the signal in the frequency domain of the first electric signal, and calculates the signal-to-noise ratio (SNR) reflecting the surrounding noise environment using the calculated frequency axis energy. Calculate. The process of calculating the frequency axis energy from the signal in the frequency domain and the process of calculating the signal-to-noise ratio (SNR) using the frequency axis energy are techniques that are well known to those of ordinary skill in the art to which the present invention belongs. Corresponds to, and its description is omitted. In addition, the data processor 9 converts the first electrical signal, which is a signal in the frequency domain, into a first electrical signal, which is a signal in the time domain, by performing an Inverse Fast Fourier Transform (IFFT).

또한, 데이터 프로세서(9)는 제 1 전기 신호의 주파수축 에너지를 매 프레임마다 산정하거나 기설정된 시간(예를 들면, 5초, 10초) 간격으로 산정하고, 산정된 주파수축 에너지를 이용하여 신호 대 잡음비(SNR)를 산정한다.In addition, the data processor 9 calculates the frequency axis energy of the first electrical signal every frame or at predetermined time intervals (e.g., 5 seconds, 10 seconds), and uses the calculated frequency axis energy. Calculate the noise-to-noise ratio (SNR).

데이터 프로세서(9)가 저장하는 이득 기준 데이터에 대하여 설명된다. 이득 기준 데이터는 제 1 전기 신호의 신호 대 잡음비(SNR)를 기준으로 하여, 제 1 및 제 2 전기 신호 각각에 대한 제 1 이득 비율과 제 2 이득 비율 각각을 결정하기 위한 데이터이다. 여기서, 제 1 이득 비율과 제 2 이득 비율은 0 내지 1의 범위에 속하며, 제 1 및 제 2 이득 비율의 합은 1(기준 비율)로 항상 동일한 값이다. 예를 들면, 제 1 이득 비율이 0이면 제 2 이득 비율은 1이며, 제 1 이득 비율이 0.3이면 제 2 이득 비율은 0.7이다. The gain reference data stored by the data processor 9 will be described. The gain reference data is data for determining each of a first gain ratio and a second gain ratio for each of the first and second electric signals based on the signal-to-noise ratio (SNR) of the first electric signal. Here, the first gain ratio and the second gain ratio fall in the range of 0 to 1, and the sum of the first and second gain ratios is 1 (reference ratio), which is always the same value. For example, if the first gain ratio is 0, the second gain ratio is 1, and if the first gain ratio is 0.3, the second gain ratio is 0.7.

도 2의 (a)와 (b)는 이득 기준 데이터의 특성을 나타내는 예시들이다. 이득 기준 곡선(S1), (S2)의 상측은 제 1 이득 비율(T1)의 영역이고, 이득 기준 곡선(S1), (S2)의 하측은 제 2 이득 비율(T2)의 영역이다. 이득 기준 곡선(S1)은 신호 대 잡음비(SNR)의 증가에 따라 제 1 이득 비율(T1)의 정비례하여 증가하는 특성을 지닌 선형적이고, 이득 기준 곡선(S2)은 신호 대 잡음비(SNR)의 증가에 따라 제 1 이득 비율(T1)이 증가하는 특성을 지닌 비선형적이다. 2A and 2B are examples showing characteristics of gain-based data. The upper side of the gain reference curves S1 and S2 is the area of the first gain ratio T1, and the lower side of the gain reference curves S1 and S2 is the area of the second gain ratio T2. The gain reference curve (S1) is linear with a characteristic that increases in direct proportion to the first gain ratio (T1) as the signal-to-noise ratio (SNR) increases, and the gain reference curve (S2) increases the signal-to-noise ratio (SNR). The first gain ratio T1 is nonlinear with an increasing characteristic.

도 2의 (a)에서, 신호 대 잡음비(SNR)가 E1인 경우, 제 1 이득 비율(T1)은 비율(T1-1)이고 제 2 이득 비율(T2)은 비율(T2-1)로 결정되며, 신호 대 잡음비(SNR)가 E2인 경우, 제 1 이득 비율(T1)은 비율(T1-2)이고 제 2 이득 비율(T2)은 비율(T2-2)로 결정된다. 신호 대 잡음비(SNR)가 증가할 수록 제 1 이득 비율(T1)이 증가하고 제 2 이득 비율(T2)은 감소되며, 신호 대 잡음비(SNR)가 감소할 수록 제 1 이득 비율(T1)이 감소하고 제 2 이득 비율(T2)이 증가한다. 즉, 데이터 프로세서(9)가 제 1 전기 신호의 신호 대 잡음비(SNR)를 이용하여 이득 처리 데이터에 포함된 하나의 이득 기준 데이터로부터 제 1 및 제 2 이득 비율을 결정한다.In Fig. 2A, when the signal-to-noise ratio (SNR) is E1, the first gain ratio (T1) is the ratio (T1-1) and the second gain ratio (T2) is determined as the ratio (T2-1). When the signal-to-noise ratio (SNR) is E2, the first gain ratio T1 is the ratio T1-2 and the second gain ratio T2 is the ratio T2-2. As the signal-to-noise ratio (SNR) increases, the first gain ratio (T1) increases and the second gain ratio (T2) decreases. As the signal-to-noise ratio (SNR) decreases, the first gain ratio (T1) decreases. And the second gain ratio T2 increases. That is, the data processor 9 determines the first and second gain ratios from one gain reference data included in the gain-processed data using the signal-to-noise ratio (SNR) of the first electrical signal.

또한, 데이터 프로세서(9)는 결정된 제 1 이득 비율과 제 1 전기 신호를 곱하여 이득 처리된 제 1 전기 신호를 산정하고, 결정된 제 2 이득 비율과 제 2 전기 신호를 곱하여 이득 처리된 제 2 전기 신호를 산정한 후, 이득 처리된 제 1 전기 신호와 이득 처리된 제 2 전기 신호를 합산하여 출력 신호를 생성한다. 데이터 프로세서(9)는 출력 신호를 통신부(13)를 통하여 전자 디바이스(30)로 전송한다.Further, the data processor 9 calculates a gain-processed first electrical signal by multiplying the determined first gain ratio and the first electrical signal, and multiplies the determined second gain ratio by the second electrical signal to obtain a gain-processed second electrical signal. After calculating, the gain-processed first electric signal and the gain-processed second electric signal are summed to generate an output signal. The data processor 9 transmits an output signal to the electronic device 30 through the communication unit 13.

도 2에서 예시로 도시된 (a)와 (b)는 이득 기준 데이터의 특성인 신호 대 잡음비(SNR)에 따른 제 1 및 제 2 전기 신호들 간의 이득 비율(즉, 이득 기준 곡선의 형태)은 주변 소음 환경에 의존하여 결정된 것이다. 즉, 이득 기준 데이터는 특정의 주변 소음 환경에서 착용자의 음성을 보다 명확하게 통화의 상대방에게 전달하거나 전송하도록, 신호 대 잡음비(SNR)에 따른 제 1 및 제 2 전기 신호들 간의 이득 비율들을 포함하여 구성된다. 주변 소음 환경은 예를 들면, 제 1 전기 신호의 주파수축 에너지의 80% 이상이 2kHz 이하에서 형성되는 것 등과 같이, 제 1 전기 신호의 주파수축 에너지의 다양한 특성으로 정의될 수 있다. 데이터 프로세서(9)는 주파수축 에너지 특성이 상이한 주변 소음 환경들 각각에 대응하는 복수의 이득 기준 데이터들을 저장한다. (A) and (b) shown by way of example in FIG. 2 are gain ratios between the first and second electrical signals according to the signal-to-noise ratio (SNR), which is the characteristic of the gain-based data, It was determined depending on the ambient noise environment. That is, the gain reference data includes gain ratios between the first and second electrical signals according to the signal-to-noise ratio (SNR) so that the wearer's voice is more clearly transmitted or transmitted to the other party of the call in a specific ambient noise environment. Is composed. The ambient noise environment may be defined as various characteristics of the frequency axis energy of the first electric signal, such as that 80% or more of the frequency axis energy of the first electric signal is formed at 2 kHz or less. The data processor 9 stores a plurality of gain reference data corresponding to each of the ambient noise environments having different frequency axis energy characteristics.

다음으로, 무선 음향 변환 장치(20)는 무선 음향 변환 장치(10)와 동일한 구성을 지니며, 입력부(21), 표시부(22), 통신부(23), 제 1 및 제 2 마이크(24a, 24b), 스피커(25) 및 데이터 프로세서(29) 각각은 입력부(11), 표시부(12), 통신부(13), 제 1 및 제 2 마이크(14a, 14b), 스피커(15) 및 데이터 프로세서(19) 각각과 동일한 기능을 수행한다. Next, the wireless sound conversion device 20 has the same configuration as the wireless sound conversion device 10, and the input unit 21, the display unit 22, the communication unit 23, the first and second microphones 24a, 24b ), the speaker 25 and the data processor 29, respectively, the input unit 11, the display unit 12, the communication unit 13, the first and second microphones 14a, 14b, the speaker 15, and the data processor 19 ) It performs the same function as each.

다만, 무선 음향 변환 장치(10)와 무선 음향 변환 장치(20) 중의 어느 하나의 장치만이 출력 신호를 생성하여 통신부(13)에 인가할 수도 있다. However, only one of the wireless sound conversion device 10 and the wireless sound conversion device 20 may generate an output signal and apply it to the communication unit 13.

또한, 무선 음향 변환 장치(10)와 무선 음향 변환 장치(20)가 서로의 통신 관계에서 마스터 기기와 슬레이브 기기로 동작할 수도 있다.In addition, the wireless sound conversion device 10 and the wireless sound conversion device 20 may operate as a master device and a slave device in a communication relationship with each other.

다음으로, 전자 디바이스(30)는 예를 들면, 스마트폰, 테블릿 PC 등과 같은 정보 통신 기기에 해당되며, 착용자로부터 입력(예를 들면, 전원 온/오프, 재생곡의 선택, 이득 기준 데이터의 선택 등)을 획득하여 데이터 프로세서(39)에 인가하는 입력부(31)와, 이득 처리 데이터, 전원 상태(예를 들면, 충전 중, 충전 정도 등) 등을 표시하는 표시부(32)와, 무선 음향 변환 장치(10) 및/또는 무선 음향 변환 장치(20)와 무선 통신을 수행하는 통신부(33)와, 외부의 음향을 획득하여 획득된 음향의 전기 신호를 데이터 프로세서(39)에 인가하는 마이크(34)와, 전기 신호를 데이터 프로세서(39)로부터 전기 신호를 수신하여 음 방출을 수행하는 스피커(35)와, 상술된 구성요소들을 제어하여 무선 음향 변환 장치(10) 및/또는 (20)와 무선 통신을 통하여 음향 재생 기능, 전화 통화 기능 등을 수행하면서, 무선 음향 변환 장치(10), (20)에 저장된 이득 기준 데이터 및 이득 처리 데이터에 대한 갱신 과정과, 주변 소음 환경에 따른 이득 기준 데이터의 결정 과정을 수행하는 데이터 프로세서(39)를 포함한다. 다만, 전원을 공급하는 전원부(미도시), 입력부(31), 표시부(32), 통신부(33), 마이크(34), 스피커(35) 등은 본 발명이 속하는 기술분야에 대하여 통상의 지식을 가진 사람들에게 당연히 인식되는 정도에 불과한 기술에 해당되어, 그 상세한 설명이 생략된다.Next, the electronic device 30 corresponds to an information communication device such as, for example, a smart phone or a tablet PC, and inputs from the wearer (eg, power on/off, selection of playback songs, An input unit 31 that acquires a selection, etc.) and applies it to the data processor 39, a display unit 32 that displays gain processing data, power status (e.g., charging, degree of charge, etc.), and wireless sound A communication unit 33 that performs wireless communication with the conversion device 10 and/or the wireless sound conversion device 20, and a microphone that applies an electrical signal of sound obtained by obtaining external sound to the data processor 39 ( 34), a speaker 35 for receiving an electrical signal from the data processor 39 to emit sound, and a wireless sound conversion device 10 and/or 20 by controlling the above-described components. While performing a sound reproduction function, a phone call function, etc. through wireless communication, an update process of the gain reference data and the gain processing data stored in the wireless acoustic conversion devices 10 and 20, and the gain reference data according to the surrounding noise environment It includes a data processor 39 that performs the determination process of. However, the power supply unit (not shown), the input unit 31, the display unit 32, the communication unit 33, the microphone 34, the speaker 35, and the like that supply power are generally knowledgeable in the technical field to which the present invention belongs. It corresponds to a skill that is only recognized by those who have it, and a detailed description thereof is omitted.

데이터 프로세서(39)는 상술된 구성요소들을 제어하여 무선 음향 변환 장치(10) 및/또는 (20)와 무선 통신을 통하여 음향 재생 기능, 전화 통화 기능 등을 수행하는 프로세서(예를 들면, MCU, CPU, MICROPROCESSOR 등)와, 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터들을 포함하는 이득 처리 데이터 등을 저장하는 저장 공간(예를 들면, 메모리 등)로 구성된다. The data processor 39 controls the above-described components to perform a sound reproduction function, a phone call function, etc. through wireless communication with the wireless sound conversion device 10 and/or 20 (e.g., MCU, CPU, MICROPROCESSOR, etc.), and a storage space (eg, memory) for storing gain processing data including at least one gain reference data corresponding to the ambient noise environment.

먼저, 이득 처리 데이터에 대한 갱신 과정에 대해서 설명된다. 데이터 프로세서(39)는 통신부(33)를 통하여 외부 서버(미도시)로부터 신호 대 잡음비(SNR)에 따른 이득 기준 데이터들을 포함하는 신규의 이득 처리 데이터를 수신하여, 수신된 신규의 이득 처리 데이터를 저장한다. 또한, 데이터 프로세서(39)는 통신부(13), (23)과 통신 연결 상태에서 저장된 신규의 이득 처리 데이터를 무선 음향 변환 장치(10), (20)로 전송한다. 데이터 프로세서(19), (29) 각각은 신규의 이득 처리 데이터를 통신부(13), (23) 각각을 통하여 수신하여 저장하여, 이전에 저장된 이득 처리 데이터 대신에 저장된 신규의 이득 처리 데이터를 이용한다. First, an update process for the gain processing data will be described. The data processor 39 receives new gain-processed data including gain reference data according to a signal-to-noise ratio (SNR) from an external server (not shown) through the communication unit 33, and stores the received new gain-processed data. Save it. In addition, the data processor 39 transmits the new gain processing data stored in the communication connection state with the communication units 13 and 23 to the wireless acoustic conversion devices 10 and 20. Each of the data processors 19 and 29 receives and stores the new gain processing data through the communication units 13 and 23, respectively, and uses the stored gain processing data instead of the previously stored gain processing data.

다음으로, 주변 소음 환경에 따른 이득 기준 데이터의 결정 과정에 대해서 설명된다. 데이터 프로세서(39)는 도 2에서 기재된 바와 같이, 다양한 형태의 이득 기준 곡선(S)에 대응하는 이득 기준 데이터들을 저장하며, 저장된 이득 기준 데이터들 중에서, 제 1 전기 신호의 주파수축 신호 특성에 보다 적합한, 즉 주변 소음 환경에 보다 적합한 이득 기준 데이터를 결정한다. 이러한 결정을 위해, 무선 음향 변환 장치(10), (20)와 전자 디바이스(30)는 서로 통신 가능한 상태에서 데이터 프로세서(39)는 이득 기준 데이터의 결정을 위한 어플리케이션을 수행하여, 데이터 프로세서(19), (29) 각각으로 제 1 및 제 2 전기 신호의 송신 요청을 수행한다. 이에, 데이터 프로세서(19), (29) 각각은 기설정된 시간(예를 들면, 5초) 동안의 음향을 포함하는 제 1 및 제 2 전기 신호를 통신부(13), (23) 각각을 통하여 전송하고, 기설정된 시간 동안에는 이전에 결정된 이득 기준 데이터에 따라 이득 처리를 수행하여 출력 신호를 통신부(13), (23) 각각을 통하여 전자 디바이스(30)로 전송한다. 데이터 프로세서(39)는 통신부(33)를 통하여 제 1 및 제 2 전기 신호를 수신하고, 수신된 제 1 전기 신호의 주파수축 신호 특성에 적합한 이득 기준 데이터를 결정한다. 데이터 프로세서(39)는 결정된 이득 기준 데이터를 통신부(33)를 통하여 무선 음향 변환 장치(10), (20)로 전송한다. 데이터 프로세서(19), (29) 각각은 통신부(13), (23) 각각을 통하여 이득 기준 데이터를 수신하여 저장하고, 가장 최근에 저장된 이득 기준 데이터를 기준으로 하여 이득 처리를 수행한다. Next, a process of determining the gain reference data according to the surrounding noise environment will be described. As described in FIG. 2, the data processor 39 stores gain reference data corresponding to the gain reference curve S of various types, and among the stored gain reference data, the frequency axis signal characteristic of the first electric signal is more Determine the gain reference data that is suitable, that is, more suitable for the ambient noise environment. For this determination, while the wireless acoustic conversion apparatuses 10 and 20 and the electronic device 30 can communicate with each other, the data processor 39 performs an application for determining the gain reference data, and the data processor 19 ) And (29) respectively perform a request for transmission of the first and second electrical signals. Accordingly, each of the data processors 19 and 29 transmits the first and second electrical signals including sound for a predetermined time (eg, 5 seconds) through the communication units 13 and 23 respectively. And, during a preset time, gain processing is performed according to the previously determined gain reference data, and the output signal is transmitted to the electronic device 30 through the communication units 13 and 23, respectively. The data processor 39 receives the first and second electrical signals through the communication unit 33, and determines gain reference data suitable for the frequency axis signal characteristic of the received first electrical signal. The data processor 39 transmits the determined gain reference data to the wireless acoustic conversion devices 10 and 20 through the communication unit 33. Each of the data processors 19 and 29 receives and stores the gain reference data through the communication units 13 and 23, and performs gain processing based on the most recently stored gain reference data.

또한, 무선 음향 변환 장치(10), (20)와 전자 디바이스(30)는 서로 통신 가능한 상태에서, 데이터 프로세서(39)가 이득 기준 데이터의 결정을 위한 어플리케이션을 수행하지 않을 경우, 데이터 프로세서(19), (29) 각각은 가장 최근에 저장된 이득 기준 데이터를 기준으로 하여 이득 처리를 수행한다.In addition, in a state in which the wireless acoustic conversion apparatuses 10 and 20 and the electronic device 30 can communicate with each other, when the data processor 39 does not perform an application for determining the gain reference data, the data processor 19 ) And (29) each perform gain processing based on the most recently stored gain reference data.

또한, 데이터 프로세서(39)는 기저장된 이득 기준 곡선(S)에 대응하는 이득 기준 데이터들을 표시부(32)에 표시하고, 착용자가 표시된 이득 기준 데이터들 중에서 하나를 선택하도록 할 수도 있다. 데이터 프로세서(39)는 선택된 이득 기준 데이터나 선택된 이득 기준 데이터를 구별할 수 있는 식별 데이터(예를 들면, 이득 기준 데이터의 고유 번호 등)를 통신부(33)를 통하여 무선 음향 변환 장치(10), (20)로 전송한다. 이에, 데이터 프로세서(19), (29) 각각은 통신부(13), (23)를 통하여 이득 기준 데이터나 식별 데이터를 수신하고, 수신된 이득 기준 데이터에 따른 또는 식별 데이터에 대응하는 기저장된 이득 기준 데이터에 따른 이득 처리를 수행한다. Further, the data processor 39 may display gain reference data corresponding to the previously stored gain reference curve S on the display unit 32 and allow the wearer to select one of the displayed gain reference data. The data processor 39 transmits the selected gain reference data or identification data capable of distinguishing the selected gain reference data (eg, a unique number of the gain reference data) through the communication unit 33 to the wireless acoustic conversion device 10, Transfer to (20). Accordingly, each of the data processors 19 and 29 receives gain reference data or identification data through the communication units 13 and 23, and a pre-stored gain reference corresponding to the received gain reference data or the identification data. Performs gain processing according to data.

특히, 데이터 프로세서(39)는 제 1 전기 신호를 데이터 서버(미도시)로 전송하여 인공 지능을 활용하여 학습된 이득 기준 데이터를 선택하거나 결정할 수도 있다. 데이터 서버는 제 1 전기 신호를 수신하여, 제 1 전기 신호를 기준 프레임 단위로 고속 푸리에 변환(FFT)을 수행하여 시간 영역의 신호인 제 1 전기 신호를 주파수 영역의 신호로 변환하는 제 1 과정을 수행한다. 다음으로, 데이터 서버는 주파수 영역의 신호에 대하여 MFCC(Mel Frequency Cepstral Coefficient)를 수행하여 음향의 특징 데이터들을 추출한다. 다음으로, 데이터 서버는 추출된 특징 데이터들을 입력 받는 입력층과, 입력층으로부터 특징 데이터들을 받아 특성을 추출하는 은닉층과, 은닉층으로부터 추출된 특성을 출력하는 출력층으로 구성된 인공 신경망을 구비하며, 인공 신경만은 이득 기준 데이터의 개수에 대응하는 은닉층들을 구비한다. 또한, 데이터 서버는 각 은닉층들에서 추출된 특성들(features)과 가중치(weight)의 곱과 바이어스(bias)의 합을 입력으로 하는 Sigmoid 함수의 출력인 가설(hypothesis)을 산정하며, 가설을 입력으로 하는 cost 함수의 출력인 cost를 산정하며, 산정된 cost를 입력으로 하는 Gradientdescent 함수의 출력인 optimizer를 산정한다. 데이터 서버는 산정된 optimizer들 중에서 추출된 특징 데이터들에 가장 비슷하거나 근접한 optimizer를 결정하고, 결정된 optimizer에 대응하는 은닉층과, 그 대응하는 은닉층에 대응하는 이득 기준 데이터를 결정한다. 데이터 서버는 위와 같은 과정을 통하여 특징 데이터에 가장 적합한 이득 기준 데이터를 결정하고, 결정된 이득 기준 데이터를 전자 디바이스(30)로 전송하다. In particular, the data processor 39 may transmit the first electrical signal to a data server (not shown) to select or determine the learned gain reference data using artificial intelligence. The data server receives the first electrical signal, performs a fast Fourier transform (FFT) on the first electrical signal in units of a reference frame, and converts the first electrical signal, which is a time domain signal, into a frequency domain signal. Perform. Next, the data server extracts sound feature data by performing MFCC (Mel Frequency Cepstral Coefficient) on the signal in the frequency domain. Next, the data server has an artificial neural network composed of an input layer that receives the extracted feature data, a hidden layer that receives feature data from the input layer and extracts a feature, and an output layer that outputs the feature extracted from the hidden layer. Has hidden layers corresponding to the number of gain reference data. In addition, the data server calculates a hypothesis, which is the output of the Sigmoid function, which takes as input the sum of the product of features and weights extracted from each hidden layer and the bias, and inputs the hypothesis. It calculates the cost, which is the output of the cost function, and calculates the optimizer, which is the output of the gradient function that takes the calculated cost as an input. The data server determines an optimizer that is the closest or closest to the extracted feature data among the calculated optimizers, and determines a hidden layer corresponding to the determined optimizer and gain reference data corresponding to the corresponding hidden layer. The data server determines gain reference data most suitable for the feature data through the above process and transmits the determined gain reference data to the electronic device 30.

전자 디바이스(30)는 이득 기준 데이터를 수신하고, 수신된 이득 기준 데이터를 통신부(33)를 통하여 무선 음향 변환 장치(10, 20) 각각으로 전송한다. 이에, 무선 음향 변환 장치(10, 20)는 이득 기준 데이터를 수신하여 저장하고, 저장된 이득 기준 데이터에 따라서 제 1 및 제 2 전기 신호를 처리하여 출력 신호를 생성하여 전자 다바이스(30)로 전송한다.The electronic device 30 receives the gain reference data and transmits the received gain reference data to each of the wireless acoustic conversion devices 10 and 20 through the communication unit 33. Accordingly, the wireless acoustic conversion apparatuses 10 and 20 receive and store the gain reference data, process the first and second electrical signals according to the stored gain reference data, generate an output signal, and transmit it to the electronic device 30. .

상술된 이득 기준 데이터의 결정 과정은 전자 디바이스(30)에서 결정하는 과정이 기재되어 있으나, 데이터 프로세서(19), (29) 각각이 복수의 이득 기준 데이터들 중에서 주변 소음 환경에 적합한 이득 기준 데이터를 결정할 수도 있다. 즉, 데이터 프로세서(19), (29)는 제 1 전기 신호의 주파수축 에너지를 산정하고, 산정된 주파수축 에너지의 특성에 적합한 이득 기준 데이터를 결정한다. 특히, 데이터 프로세서(19), (29)는 상술된 인공 지능을 활용하여 학습된 이득 기준 데이터를 선택하거나 결정할 수도 있다. 또한, 데이터 프로세서(19), (29)는 입력부(11), (21) 각각로부터 착용자에 의한 이득 기준 데이터에 대한 선택 입력을 획득하여, 선택된 이득 기준 데이터에 따라 이득 처리를 수행할 수도 있다.In the process of determining the gain reference data described above, the process of determining by the electronic device 30 is described, but each of the data processors 19 and 29 selects gain reference data suitable for the surrounding noise environment from among a plurality of gain reference data. You can decide. That is, the data processors 19 and 29 calculate the frequency axis energy of the first electric signal and determine gain reference data suitable for the characteristics of the calculated frequency axis energy. In particular, the data processors 19 and 29 may select or determine the learned gain reference data using the aforementioned artificial intelligence. In addition, the data processors 19 and 29 may obtain selection inputs for gain reference data by the wearer from the input units 11 and 21, respectively, and perform gain processing according to the selected gain reference data.

다양한 실시 예에 따른 장치(예: 프로세서 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리가 될 수 있다.At least a part of a device (eg, a processor or its functions) or a method (eg, operations) according to various embodiments is, for example, in a computer-readable storage media in the form of a program module. It can be implemented with stored instructions. When the command is executed by a processor, the one or more processors may perform a function corresponding to the command. The computer-readable storage medium may be, for example, a memory.

컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예:자기테이프), 광기록 매체(optical media)(예: CD-ROM, DVD(Digital Versatile Disc), 자기-광 매체(magnetoopticalmedia)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM, RAM, 또는 플래시 메모리 등)등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시 예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical media (e.g. CD-ROM, DVD (Digital Versatile Disc), magnetic- It may include optical media (eg floptical disk), hardware devices (eg ROM, RAM, flash memory, etc.), etc. In addition, program instructions, such as those made by a compiler, may be included. It may include not only machine code but also high-level language code that can be executed by a computer using an interpreter, etc. The above-described hardware device may be configured to operate as one or more software modules to perform operations of various embodiments. The same goes for vice versa.

다양한 실시 예에 따른 프로세서 또는 프로세서에 의한 기능들은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시 예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.A processor or functions performed by the processor according to various embodiments of the present disclosure may include at least one or more of the above-described components, some of the above-described components may be omitted, or additional other components may be further included. Operations performed by a module, a program module, or other components according to various embodiments may be executed sequentially, in parallel, repeatedly, or in a heuristic manner. Also, some operations may be executed in a different order, omitted, or other operations may be added.

이상 설명한 바와 같이, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형의 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.As described above, the present invention is not limited to the specific preferred embodiment described above, and anyone with ordinary knowledge in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims It goes without saying that modifications can be made, and such changes are within the scope of the claims.

10, 20: 무선 음향 변환 장치 30: 전자 디바이스10, 20: wireless sound conversion device 30: electronic device

Claims (6)

음향을 각각 획득하여 제 1 및 제 2 전기 신호를 생성하여 인가하는 제 1 및 제 2 마이크와;
전자 디바이스와 무선 통신을 수행하는 통신부와;
통신부를 통하여 전자 디바이스와 무선 통신을 수행하여, 제 1 및 제 2 마이크로부터 제 1 및 제 2 전기 신호를 인가 받아, 제 1 전기 신호의 신호 대 잡음비를 기준으로 하여 제 1 및 제 2 전기 신호 각각에 대한 제 1 및 제 2 이득 비율을 결정하고, 결정된 제 1 및 제 2 이득 비율에 따라 제 1 및 제 2 전기 신호를 처리하고, 처리된 제 1 및 제 2 전기 신호를 합산하여 출력 신호를 생성하고, 생성된 출력 신호를 통신부를 통하여 전자 디바이스로 전송하는 데이터 프로세서를 구비하고,
무선 음향 변환 장치가 착용자에게 착용된 경우, 제 1 마이크는 착용자의 청각 기관의 외부에 노출되고 제 2 마이크는 착용자의 청각 기관에 적어도 일부분이 삽입되거나 무선 음향 변환 장치의 케이스에 의해 외부와 차단되는 위치에 장착되는 것을 특징으로 하는 무선 음향 변환 장치.
First and second microphones respectively obtaining sound and generating and applying first and second electrical signals;
A communication unit for performing wireless communication with an electronic device;
By performing wireless communication with the electronic device through the communication unit, the first and second electric signals are applied from the first and second microphones, and each of the first and second electric signals based on the signal-to-noise ratio of the first electric signal Determining the first and second gain ratios for, processing the first and second electrical signals according to the determined first and second gain ratios, and summing the processed first and second electrical signals to generate an output signal And a data processor for transmitting the generated output signal to the electronic device through the communication unit,
When the wireless acoustic conversion device is worn by the wearer, the first microphone is exposed to the outside of the wearer's hearing organ, and the second microphone is at least partially inserted into the wearer's hearing organ or blocked from the outside by the case of the wireless acoustic conversion device. Wireless sound conversion device, characterized in that mounted in the position.
삭제delete 제 1 항에 있어서,
데이터 프로세서는 주변 소음 환경에 대응하는 적어도 하나 이상의 이득 기준 데이터를 저장하고, 저장된 이득 기준 데이터로부터 제 1 전기 신호의 신호 대 잡음비에 따른 제 1 및 제 2 이득 비율을 결정하되, 제 1 및 제 2 이득 비율의 합은 기준 비율인 것을 특징으로 하는 무선 음향 변환 장치.
The method of claim 1,
The data processor stores at least one gain reference data corresponding to the ambient noise environment, and determines first and second gain ratios according to the signal-to-noise ratio of the first electrical signal from the stored gain reference data, the first and second gain reference data. The wireless sound conversion device, characterized in that the sum of the gain ratio is a reference ratio.
제 3 항에 있어서,
데이터 프로세서는 통신부를 통하여 전자 디바이스로부터 이득 기준 데이터를 수신하여 저장하는 것을 특징으로 하는 무선 음향 변환 장치.
The method of claim 3,
The data processor receives and stores the gain reference data from the electronic device through the communication unit.
제 3 항에 있어서,
데이터 프로세서는 제 1 전기 신호의 주파수축 신호의 특성에 적합한 이득 기준 데이터를 결정하는 것을 특징으로 하는 무선 음향 변환 장치.
The method of claim 3,
The data processor determines gain reference data suitable for characteristics of a frequency axis signal of the first electric signal.
제 4 항에 따른 무선 음향 변환 장치와;
무선 음향 변환 장치와 통신을 수행하는 전자 디바이스 및 데이터 서버로 구성된 음향 통신 시스템에 있어서,
무선 음향 변환 장치는 기설정된 시간 동안의 제 1 및 제 2 전기 신호를 전자 디바이스에 전송하고,
전자 디바이스는 제 1 및 제 2 전기 신호를 수신하고, 제 1 및 제 2 전기 신호를 데이터 서버로 전송하며, 데이터 서버는 제 1 및 제 2 전기 신호를 수신하고, 수신된 제 1 전기 신호를 주파수축 변환을 수행하여 제 1 전기 신호의 주파수축 신호에 대하여 MFCC(Mel Frequency Cepstral Coefficient)를 수행하여 특징 데이터들을 추출하고, 추출된 특징 데이터들을 인공 신경망 처리를 수행하여 추출된 특징 데이터에 가장 적합한 이득 기준 데이터를 결정하고, 결정된 이득 기준 데이터를 전자 디바이스로 전송하고,
전자 디바이스는 결정된 이득 기준 데이터를 수신하고, 결정된 이득 기준 데이터를 무선 음향 변환 장치로 전송하는 것을 특징으로 하는 음향 통신 시스템.
A wireless sound conversion device according to claim 4;
In the acoustic communication system consisting of an electronic device and a data server for performing communication with a wireless acoustic conversion device,
The wireless sound conversion apparatus transmits the first and second electrical signals for a preset time to the electronic device,
The electronic device receives the first and second electrical signals, transmits the first and second electrical signals to the data server, the data server receives the first and second electrical signals, and frequency the received first electrical signals. The most suitable gain for the extracted feature data by performing axial transformation and extracting feature data by performing MFCC (Mel Frequency Cepstral Coefficient) on the frequency axis signal of the first electrical signal, and performing artificial neural network processing on the extracted feature data. Determine reference data, transmit the determined gain reference data to the electronic device,
The electronic device receives the determined gain reference data, and transmits the determined gain reference data to the wireless acoustic conversion device.
KR1020190099516A 2019-08-14 2019-08-14 Wireless sound converting device with multiple microphone units KR102178414B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190099516A KR102178414B1 (en) 2019-08-14 2019-08-14 Wireless sound converting device with multiple microphone units

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190099516A KR102178414B1 (en) 2019-08-14 2019-08-14 Wireless sound converting device with multiple microphone units

Publications (1)

Publication Number Publication Date
KR102178414B1 true KR102178414B1 (en) 2020-11-13

Family

ID=73398821

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190099516A KR102178414B1 (en) 2019-08-14 2019-08-14 Wireless sound converting device with multiple microphone units

Country Status (1)

Country Link
KR (1) KR102178414B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160099640A (en) * 2013-12-16 2016-08-22 퀄컴 인코포레이티드 Systems and methods for feedback detection
KR101903374B1 (en) * 2017-09-01 2018-11-22 올리브유니온(주) Adaptive smart hearing device and system according to environmental changes and noise, and the method thereof
KR101985808B1 (en) * 2018-06-25 2019-06-05 주식회사 이엠텍 Wearable sound convertor
KR20200064397A (en) * 2018-11-29 2020-06-08 주식회사 비에스엘 Sound transferring apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160099640A (en) * 2013-12-16 2016-08-22 퀄컴 인코포레이티드 Systems and methods for feedback detection
KR101903374B1 (en) * 2017-09-01 2018-11-22 올리브유니온(주) Adaptive smart hearing device and system according to environmental changes and noise, and the method thereof
KR101985808B1 (en) * 2018-06-25 2019-06-05 주식회사 이엠텍 Wearable sound convertor
KR20200064397A (en) * 2018-11-29 2020-06-08 주식회사 비에스엘 Sound transferring apparatus

Similar Documents

Publication Publication Date Title
US20210035563A1 (en) Per-epoch data augmentation for training acoustic models
CN106782504B (en) Audio recognition method and device
US11569789B2 (en) Compensation for ambient sound signals to facilitate adjustment of an audio volume
CN111161752B (en) Echo cancellation method and device
CN108269569B (en) Speech recognition method and device
US10504539B2 (en) Voice activity detection systems and methods
US9892721B2 (en) Information-processing device, information processing method, and program
US9640194B1 (en) Noise suppression for speech processing based on machine-learning mask estimation
JP7498560B2 (en) Systems and methods
CN109121057B (en) Intelligent hearing aid method and system
US20200296510A1 (en) Intelligent information capturing in sound devices
CN109979469B (en) Signal processing method, apparatus and storage medium
JP2012155339A (en) Improvement in multisensor sound quality using sound state model
US20230054864A1 (en) Methods and Apparatus for Audio Equalization Based on Variant Selection
US11902760B2 (en) Methods and apparatus for audio equalization based on variant selection
CN113614828B (en) Method and apparatus for fingerprinting an audio signal via normalization
EP3484183B1 (en) Location classification for intelligent personal assistant
CN110268471A (en) The method and apparatus of ASR with embedded noise reduction
US11528571B1 (en) Microphone occlusion detection
CN110867191A (en) Voice processing method, information device and computer program product
KR102178414B1 (en) Wireless sound converting device with multiple microphone units
CN111782859A (en) Audio visualization method and device and storage medium
CN114501281B (en) Sound adjusting method, device, electronic equipment and computer readable medium
KR102647545B1 (en) Electronic device having open speaker
CN117953912B (en) Voice signal processing method and related equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant