WO2013084810A1 - 耳孔装着型収音装置、信号処理装置、収音方法 - Google Patents

耳孔装着型収音装置、信号処理装置、収音方法 Download PDF

Info

Publication number
WO2013084810A1
WO2013084810A1 PCT/JP2012/081054 JP2012081054W WO2013084810A1 WO 2013084810 A1 WO2013084810 A1 WO 2013084810A1 JP 2012081054 W JP2012081054 W JP 2012081054W WO 2013084810 A1 WO2013084810 A1 WO 2013084810A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
signal
microphone
collected
ear
Prior art date
Application number
PCT/JP2012/081054
Other languages
English (en)
French (fr)
Inventor
宏平 浅田
慎平 土谷
大善 小林
耕治 投野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US14/360,948 priority Critical patent/US9237392B2/en
Priority to EP12854783.3A priority patent/EP2790416B1/en
Priority to CN201280058984.8A priority patent/CN103959813B/zh
Publication of WO2013084810A1 publication Critical patent/WO2013084810A1/ja
Priority to US14/992,906 priority patent/US9918162B2/en
Priority to US15/883,667 priority patent/US11070910B2/en
Priority to US17/303,673 priority patent/US11765497B2/en
Priority to US18/446,275 priority patent/US20230388703A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L21/0232Processing in the frequency domain
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016Earpieces of the intra-aural type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058Manufacture or assembly
    • H04R1/1075Mountings of transducers in earphones or headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R11/00Transducers of moving-armature or moving-core type
    • H04R11/02Loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/003Mems transducers or their use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/03Reduction of intrinsic noise in microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23Direction finding using a sum-delay beam-former
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers

Definitions

  • This technique is a signal for performing signal processing on a sound collecting device having an ear hole mounting type sound collecting device having a mounting part configured to be at least partially insertable into the ear hole part, and an internal microphone provided in the mounting part.
  • the present invention relates to a processing apparatus and a sound collection method.
  • an earphone microphone (earphone with a built-in microphone) for enabling listening to received sound and collecting sound is used.
  • FIG. 16 shows an example of a general earphone microphone (hereinafter referred to as a conventional earphone microphone 100) that is widely used at present.
  • the conventional earphone microphone 100 is provided with an earphone unit 101 for listening to the received sound and a microphone 102A for collecting the uttered sound.
  • Earphone unit 101 is configured to be worn on the ear of wearer H, and has a built-in speaker for outputting a received sound.
  • a cord upper housing 102 is formed on a cord for transmitting a signal to the earphone unit 101, and a microphone 102 ⁇ / b> A is formed in the cord upper housing 102.
  • the uttered sound emitted from the wearer (speaker) reaches the microphone 102A via the outside (outside air) and is collected.
  • the microphone 102A for collecting the uttered sound is exposed to the outside. That is, the microphone 102A is in direct contact with external noise (environmental noise). For this reason, in the conventional earphone microphone 100, ambient noise is picked up relatively loudly together with the uttered sound, and the S / N (signal-to-noise ratio) of the utterance signal tends to decrease. That is, as a result, it is difficult for the other party of the call to hear the speech from the wearer H.
  • noise reduction processing such as SS method (SS: Spectrum Subtraction) on the uttered sound collection signal.
  • SS method Spectrum Subtraction
  • noise reduction processing relatively large processing resources are required, which is disadvantageous in terms of product cost and power consumption.
  • noise reduction processing involving nonlinear processing on the frequency axis as in the SS method generally has a problem of deterioration in sound quality after processing.
  • the present technology has been made in view of the above-mentioned problems, and the problem is to realize a sound pickup with a good S / N with reduced influence of noise, without using noise reduction processing.
  • the present technology is configured as follows as an ear hole mounting type sound pickup device. That is, at least a part of the mounting part is configured to be insertable into the ear canal part, and the mounting part is configured so that a substantially sealed internal space connected to the external auditory canal is formed inside the ear hole part in a mounted state. Is provided. In addition, an internal microphone is provided that is disposed in the internal space of the mounting portion and picks up the uttered sound that is emitted by the wearer and propagates through the ear canal in a state of being attached to the ear canal portion.
  • a low-frequency extraction filter unit that performs a filtering process for extracting a low-frequency component from the collected sound signal by the internal microphone, or a high-frequency emphasizing equalizing process for the sound-collected signal by the internal microphone.
  • One of the equalizing processing sections to be applied is provided.
  • the microphone that collects the uttered sound (the internal microphone) is substantially sealed from the outside, and is installed in a space that communicates with the ear canal of the wearer (speaker). By being installed in a space sealed from the outside, the influence of noise can be effectively reduced. Further, since the utterance sound propagating through the ear canal of the wearer is collected, the conventional earphone microphone (FIG. 16) that collects the utterance sound emitted from the wearer and propagating in the outside world is collected. Can pick up the utterance sound with good S / N. In addition, in the present technology, the low-frequency component of the sound-collected signal from the internal microphone is extracted by the low-frequency extraction filter unit.
  • the equalizing processing unit is provided. By providing the equalizing processing unit, it is possible to reduce the humming sound that occurs when the uttered sound via the ear canal is collected and to improve the sound quality of the uttered sound collected signal.
  • an utterance sound can be collected with better S / N than a conventional earphone microphone that collects an utterance sound propagating in the outside world. Further, according to the present technology, noise reduction processing for a collected sound signal can be made unnecessary, and as a result, increase in signal processing resources can be prevented, which is advantageous in terms of product cost and power consumption.
  • FIG. 1 It is a figure for demonstrating the structure of the mounting part with which the sound collection system of embodiment is provided. It is the figure which showed typically the mode of the sound collection of the speech sound by the sound collection system of embodiment. It is a figure for demonstrating the structure of the signal processing system for sound quality improvement. It is a figure for demonstrating the specific frequency characteristic which should be set to an equalizer for sound quality improvement. It is explanatory drawing about a compressor process. It is a figure for demonstrating the point that the speech sound component becomes more dominant than an external noise component in the low region of the sound collection signal by an internal microphone. It is the figure which showed the structure of the sound collection system as Example 1.
  • FIG. 1 It is a figure for demonstrating the structure of the mounting part with which the sound collection system of embodiment is provided. It is the figure which showed typically the mode of the sound collection of the speech sound by the sound collection system of embodiment. It is a figure for demonstrating the structure of the signal processing system for sound quality improvement. It is a figure for demonstrating the specific frequency characteristic which should be set
  • FIG. 10 is a flowchart illustrating a specific processing procedure to be executed by a control unit according to the fifth embodiment. It is the figure which showed the structure of the sound collection system as Example 6. FIG. It is the figure which showed the structural example of the conventional earphone microphone.
  • FIG. 1 is a diagram for describing a structure of a mounting portion 1 included in a sound collection system as an embodiment according to the present technology. Specifically, A in FIG. 1 represents a perspective view of the wearing portion 1, and B in FIG. 1 represents the ear canal HA and ear canal HB of the wearer H in the wearing state of the wearer (speaker) H. The relationship with the mounting part 1 is represented by a sectional view.
  • the wearing unit 1 is provided with an internal microphone 1 ⁇ / b> B in order to pick up the utterance sound of the wearer (speaker) H.
  • a MEMS microphone MEMS: Micro Electro Mechanical Systems
  • the internal microphone 1B is adopted as the internal microphone 1B in consideration of the arrangement space.
  • the outer shape of the mounting portion 1 is configured such that at least a part of the mounting portion 1 can be inserted into the ear hole portion of the wearer H so that the mounting portion 1 can be worn on the ear portion of the wearer H.
  • the mounting part 1 in this case is formed with an ear hole insertion part 1A that is shaped to be inserted into the ear hole part HB of the wearer H, and the ear hole insertion part 1A corresponds to the ear hole part HB.
  • the wearing part 1 is put into a wearing state with respect to the ear part of the wearer H.
  • the mounting part 1 is comprised so that the internal space 1V connected with the external ear canal HA of the wearer H may be formed as shown to B of FIG.
  • the ear hole insertion portion 1A of the mounting portion 1 is covered with an elastic material on the surface portion, similarly to the ear hole insertion portion of the canal type earphone portion, and is in close contact with the ear hole portion HB at the time of mounting. It is comprised so that can be obtained.
  • the internal space 1V is a substantially sealed space from the outside.
  • the internal microphone 1B is arranged in the internal space 1V.
  • FIG. 2 is a diagram schematically showing a state of sound collection by the sound collection system according to the embodiment having the mounting portion 1.
  • the noise that propagates from the outside of the housing can be prevented. Since the sound insulation property of the microphone is sufficiently enhanced, the mixing of noise into the internal microphone 1B is sufficiently suppressed. That is, as a result, the utterance sound can be collected with a better S / N (signal-to-noise ratio) than the conventional earphone microphone 100 (see FIG. 13) that collects the utterance sound via the outside world. Note that the sound insulation at this time is not limited as long as it can cover at least the band of noise intended to be suppressed.
  • the gain (response) in the low frequency is larger in the external auditory canal HA than in the normal free space.
  • the response characteristic of the low range becomes relatively large. Due to this influence, the transmitted voice based on the collected sound signal from the internal microphone 1B becomes a sound that is confined to the low frequency range, and it becomes somewhat difficult for the other party of the call to hear.
  • signal processing means as an equalizer (EQ) as shown in FIG.
  • EQ equalizer
  • FIG. 4 is a diagram for explaining specific frequency characteristics to be set in the equalizer 11.
  • a specified conversation sequence is collected by a microphone installed in the outside of the wearing unit 1 in a no-noise state.
  • the frequency characteristics of the collected sound signal (a set of ⁇ plots and broken lines in the figure) and the same conversation sequence are collected by the internal microphone 1B in the internal space 1V connected to the ear canal HA in the same noise-free state.
  • the frequency characteristics of the collected sound signal at the time of the sound ( ⁇ plot and a set of alternate long and short dash lines) are shown in comparison. In this figure, the frequency characteristic shows a time-averaged value on the frequency axis.
  • the diaphragm of the internal microphone 1B is compared with the external environment as an unsealed environment.
  • the amplitude will be large.
  • a larger microphone output voltage can be obtained in the lower range than a microphone installed outside.
  • the sound pickup signal ( ⁇ & alternate long and short dash line) by the internal microphone 1B has a low-frequency bulge compared to the sound pickup signal ( ⁇ & broken line) by the microphone installed outside. Can be confirmed. If the collected sound signal of the internal microphone 1B having the characteristics shown in FIG. 4A is used as it is, the transmitted sound to the other party of the call will be a voice with low intelligibility as a muffled sound. There is a risk that listening at will be difficult.
  • the clarity of the transmitted sound to be heard by the other party is improved.
  • the frequency characteristic of the sound collected signal by the internal microphone 1B should be close to the frequency characteristic of the sound collected signal by the microphone installed in the outside world.
  • a filter that is, an equalizer 11 represented by a transfer function as shown in B of FIG. 4 is prepared, and the frequency characteristic of the collected sound signal of the internal microphone 1B is corrected by the filter. That is, the sound pickup signal frequency characteristic of the internal microphone 1B may be corrected by an equalizer 11 having a high frequency emphasis type (low frequency suppression type) filter characteristic as shown in FIG. Accordingly, it is possible to obtain natural speech with higher clarity after the equalizer than before the equalizer.
  • FIG. 4A the frequency characteristics of the collected sound signal of the internal microphone 1B after correction by the equalizer 11 having the filter characteristics shown in FIG. Yes.
  • the frequency characteristics it can be seen that the sound collection signal from the internal microphone 1B approaches the sound collection signal from the microphone installed in the external environment, and has a more natural frequency characteristic balance.
  • the noise collection processing by the noise gate processing unit 12 is performed on the collected sound signal by the internal microphone 1 ⁇ / b> B via the microphone amplifier 10, and then the characteristic correction by the equalizer 11 is performed. ing. In addition, the compressor process by the compressor 13 is performed on the collected sound signal via the equalizer 11.
  • the noise gate processing unit 12 lowers the output signal level (that is, closes the gate) when the level of the input signal falls below a certain level, and restores the output signal level when the level exceeds the certain level (gate). Open).
  • parameters such as the rate of attenuation of the output level in noise gate processing, the opening / closing envelope of the gate, and the frequency band to which the gate reacts are appropriately set so as to improve the clarity of the uttered sound. Set.
  • the compressor 13 performs processing for adjusting the time axis amplitude of the input sound pickup signal as the compressor processing.
  • FIG. 5A the time axis waveform of the collected sound signal before the compressor process is shown by A in FIG. 5, and the time axis waveform of the collected sound signal after the compressor process is shown by B in FIG.
  • the equalizer 11 described above is intended to improve the sound quality by adjusting the frequency characteristics of the collected sound signal, but the compressor process is to correct the waveform of the collected sound signal on the time axis.
  • the uttered voice reaches the diaphragm of the internal microphone 1B through the external auditory canal HA through vibration in the human body such as the bone and meat of the wearer H. This is to some extent compared with air propagation. It will have non-linearity. For this reason, the difference in the size of the utterance voice that changes depending on the volume of the voice at the time of utterance is larger than when collecting sound via normal air propagation, and if it is left as it is, it is difficult to hear the collected sound. There is a risk of becoming. Referring to FIG. 5A, it can be confirmed that the difference in the size of the speech between the speech groups to be spoken is large.
  • the compressor 13 adjusts the time axis amplitude of the collected sound signal from the internal microphone 1B as shown in FIG. That is, the difference in the size of the uttered voice is suppressed. This makes it easier to listen to the uttered voice and improves the sound quality.
  • various signal processing for the collected sound signal may be realized by an analog electric circuit, or may be realized by digital signal processing via an ADC (A / D converter).
  • FIG. 6 is an explanatory diagram regarding this point.
  • a frequency characteristic of a sound pickup signal by the internal microphone 1B a frequency characteristic in a non-speech portion under a general noise environment (a set of ⁇ and a broken line: noise only), a speech portion The frequency characteristics (a set of ⁇ and a solid line: noise + speech sound) are shown.
  • general airplane cabin noise was used as the noise.
  • the unit of analysis is 1/3 octave.
  • a signal when noise and a speech sound are collected ( ⁇ & solid line) rather than a signal when only noise is collected ( ⁇ & broken line). It can be confirmed that the level is higher especially in the low range. That is, when the utterance sound is collected via the external auditory canal HA by the internal microphone 1B, the utterance sound is more dominant than the external noise particularly in the low frequency range of the collected sound signal (in the figure, the internal microphone 1). Voice dominant band). This is because the noise component is attenuated particularly in the low range by the sealing / sound insulation function derived from the structure of the mounting portion 1, while the sound collection component via the ear canal HA as shown in FIG. Depends on the gain of the low range becoming large.
  • the collected sound signal by the internal microphone 1B is subjected to the filtering process, and the low frequency component of the collected sound signal (the component of the voice dominant band of the internal microphone 1B) is extracted. Further S / N improvement can be achieved.
  • FIG. 7 is a diagram showing an example of the configuration of a sound collection system (hereinafter referred to as Example 1) as an embodiment for further improving the S / N by using the low-frequency component filtering process as described above. is there.
  • Example 1 a sound collection system
  • the sound collection system as the first embodiment includes a mounting unit 1 and a signal processing unit 2.
  • a speaker 1S for outputting a received sound is disposed in the internal space 1V of the mounting unit 1 together with the internal microphone 1B.
  • the speaker 1S is a BA (balanced armature) type considering the installation space.
  • the signal processing unit 2 includes the above-described microphone amplifier 10, equalizer 11, noise gate processing unit 12, and compressor 13, and also includes an LPF (low-pass filter) 14 and an amplifier 15.
  • the LPF 14 is disposed between the microphone amplifier 10 and the noise gate processing unit 12, and thereby performs low-pass filtering processing on the collected sound signal by the internal microphone 1 ⁇ / b> B after passing through the microphone amplifier 10.
  • the cut-off frequency of the LPF 14 is appropriately set so that a component of “sound dominant band of the internal microphone” as shown in FIG. 5 can be extracted.
  • the sound pickup signal by the internal microphone 1 ⁇ / b> B after passing through the compressor 13 is output to the outside of the signal processing unit 2 as a transmission signal as shown in the figure.
  • the signal processing unit 2 is supplied with an incoming signal from the outside.
  • the amplifier 15 amplifies the received signal and drives the speaker 1S in the mounting unit 1 based on the amplified received signal. As a result, a reception sound corresponding to the reception signal is output from the speaker 1S.
  • the S / N of the utterance sound collection signal is ensured by the (passive) sound insulation performance of the housing of the mounting unit 1 against the environmental noise, and then the internal microphone.
  • the S / N of the utterance sound collection signal is ensured by the (passive) sound insulation performance of the housing of the mounting unit 1 against the environmental noise, and then the internal microphone.
  • Example 1 the effect that it becomes easy for the wearer H to hear a received sound by the sound insulation effect which the mounting part 1 has is also acquired.
  • the signal processing unit 2 for realizing the filtering process for extracting the voice dominant band component and the various signal processes (equalizer 11 to compressor 13) for improving the sound quality as described above.
  • the various signal processes for improving the sound quality as described above.
  • FIG. 8 is a diagram showing a configuration example of each of “integrated type” and “separated type”.
  • the signal processing unit 2 is provided inside the housing of the mounting unit 1.
  • a transmission signal that is, a sound collection signal by the internal microphone 1B after various signal processing by the signal processing unit 2
  • the external device 50 for example, an information processing device such as a smartphone.
  • a reception signal is transmitted from the external device 50 to the mounting unit 1.
  • the signal processing unit 2 is provided inside the external device 50.
  • a sound collection signal (transmission sound collection signal in the figure) from the internal microphone 1 is transmitted from the mounting unit 1 to the external device 50.
  • the external device 50 transmits the reception signal (the reception sound output signal in the figure) after amplification by the amplifier 15 in the signal processing unit 2 to the mounting unit 1 (speaker 1S).
  • FIG. 9 is an explanatory diagram of a configuration of a sound collection system according to the second embodiment.
  • the S / N of the utterance / acquisition signal is further improved by the beam forming process using the signals collected by the left and right channels, and the received sound is heard in both ears of the wearer H. It is to make.
  • the channel is also referred to as ch.
  • the received signal is generally monaural. Therefore, in the second embodiment, a system for listening to the monaural reception sound with both ears is proposed.
  • the sound collection system according to the second embodiment includes a mounting unit 3 and a signal processing unit 20 instead of the signal processing unit 2 as compared with the sound collection system according to the first embodiment illustrated in FIG.
  • the point is different.
  • the mounting portion 3 is to be mounted on the ear of the wearer H that is opposite to the ear on the side on which the mounting portion 1 is mounted. As with the mounting unit 1, at least a part of the mounting unit 3 can be inserted into the ear hole HB of the wearer H and can be mounted on the ear of the wearer H.
  • the mounting part 3 is also formed with an ear hole insertion part 3A that can be inserted into the ear hole part HB of the wearer H, and the ear hole insertion part 3A is inserted into the ear hole part HB.
  • the wearing unit 3 is put into a wearing state with respect to the ear part of the wearer H.
  • the wearing portion 3 is also configured to form an internal space 3V connected to the ear canal HA of the wearer H in the wearing state to the wearer H, and the ear hole insertion portion 3A has a surface portion thereof. It is covered with an elastic material so that it can be in close contact with the ear canal HB when worn.
  • An internal microphone 3B is arranged in the internal space 3V of the mounting portion 3 as shown in the figure. In the case of this example, a MEMS microphone is also used for the internal microphone 3B.
  • a speaker 3 ⁇ / b> S is disposed in the internal space 3 ⁇ / b> V of the mounting portion 3.
  • the speaker S3 is also of the BA type.
  • the speaker 3 ⁇ / b> S is driven based on the received signal amplified by the amplifier 15 provided in the signal processing unit 20.
  • the output of the amplifier 15 is also supplied to the speaker 1S on the mounting unit 1 side in the same manner as in the first embodiment.
  • the received sound based on the received signal is transmitted to the mounting unit 1 side and the mounting unit 3. Will be output from both sides.
  • Example 2 the mounting portion 1 side is assumed to be the Lch side, and the mounting portion 2 side is assumed to be the Rch side.
  • the signal processing unit 20 is different from the signal processing unit 2 in the first embodiment in that an Rch microphone amplifier 21 and an LPF 22 and a beam forming processing unit 23 are added.
  • the microphone amplifier 21 amplifies a sound collection signal from the internal microphone 3B on the mounting unit 3 side.
  • the LPF 22 performs a low-pass filtering process for extracting a low-frequency component as the above-described audio dominant band with respect to a sound-collected signal from the internal microphone 3B with a cutoff frequency equivalent to that of the LPF 14. In this case, the LPF 22 performs a low-pass filtering process on the collected sound signal by the internal microphone 3B after being amplified by the microphone amplifier 21.
  • the LPF 22 can also improve the S / N of the sound collected signal from the internal microphone 3B.
  • the beamforming processing unit 23 collects a sound collection signal (Lch side sound collection signal) from the internal microphone 1B that has passed through the LPF 14 disposed on the Lch side, and a sound collection signal (Rch) from the internal microphone 3B that has passed through the LPF 22 disposed on the Rch side. Side sound pickup signal), and beam forming processing is performed.
  • a sound collection signal Lch side sound collection signal
  • Rch sound collection signal
  • the process of adding the Lch side sound collection signal and the Rch side sound collection signal can be most simply mentioned.
  • the internal microphone 1B that performs speech collection on the Lch side and the internal microphone 3B that performs speech collection on the Rch side are approximately equidistant from the mouth (voice zone) of the wearer H that is the speech source. Therefore, the beam forming processing unit 23 adds the collected sound signals to efficiently extract the sound from the direction of the utterance sound source (via the external auditory canal HA) and from other directions. Sound (noise component) can be suppressed. That is, further S / N improvement of the utterance sound pickup signal can be achieved.
  • a sound component from the sound source direction is determined from the sound analysis result of the collected sound signal, and only the sound component from the sound source direction is determined from the determination result.
  • An extraction method can be used.
  • a process of determining a dominant component in the collected sound signal may be performed.
  • the collected sound signal after the beamforming processing by the beamforming processing unit 23 is output to the outside of the signal processing unit 20 as an utterance signal via the noise gate processing unit 12 ⁇ the equalizer 11 ⁇ the compressor 13.
  • the improvement effect due to the (passive) sound insulation performance of the housings of the mounting portions 1 and 3 and the LPFs 14 and 22 In addition to the improvement effect obtained by extracting the dominant band component of the uttered voice, the S / N improvement effect obtained by the reduction of the noise component by the beamforming processing unit 23 can be obtained.
  • Example 1 Since the sound-insulation effect by the mounting part 3 is also acquired, the sound-insulation effect can be acquired in both ears of the wearer H. As a result, the effect of Example 1 is obtained. Compared with the case, the ease of listening to the received sound is improved.
  • the signal processing for further improving the S / N of the uttered sound collection signal includes, for example, the noise reduction processing by the SS method (SS: Spectrum Subtraction) in addition to the beam forming processing described above. It is good also as what performs.
  • the noise reduction processing of the SS method is disclosed in, for example, Reference Document 1 below. ⁇ Reference 1 ... JP 2010-11117 A
  • the second embodiment can adopt both “integrated” and “separated” configurations as shown in FIG.
  • the signal processing unit 20 is one of the mounting portions 1 and 3.
  • a sound collection signal from an internal microphone in the other mounting portion is input to one mounting portion where the signal processing unit 20 is provided, and the amplifier 15 is connected from the one mounting portion to the other mounting portion. The received signal after amplification by is input.
  • the configuration in which the monaural transmission signal is obtained by performing the beam forming process as in the second embodiment only the configuration (23, 12, 11, 13) below the beam forming processing unit 23 is used for any of the mounting units 1, 3.
  • it may be provided (in other words, only the microphone amplifier 21 and the LPF 22 are provided in the mounting portion 3 among the components constituting the signal processing unit).
  • FIG. 10 is a diagram illustrating a configuration of a sound collection system according to the third embodiment.
  • an external microphone 1C is added to the mounting unit 1 and a signal processing unit 25 is provided instead of the signal processing unit 2.
  • the external microphone 1 ⁇ / b> C is a microphone installed so as to be able to pick up sound generated outside the housing of the mounting unit 1.
  • the external microphone 1 ⁇ / b> C is installed so that the sound collection port is located on the housing surface of the mounting unit 1.
  • the MEMS microphone is used for the external microphone 1C as well as the internal microphone 1B.
  • the external microphone 1 ⁇ / b> C only needs to be installed so as to be able to collect sound generated outside the housing of the mounting unit 1, and the sound collecting port is not necessarily directly exposed to the outside of the housing of the mounting unit 1. There is no need.
  • the signal processing unit 25 is different from the signal processing unit 2 in that a microphone amplifier 26, an HPF (high pass filter) 27, a delay circuit (DELAY in the figure) 28, and an addition unit 29 are added.
  • the microphone amplifier 26 amplifies a sound collection signal from the external microphone 1C.
  • the HPF 27 performs a high-pass filtering process on the collected sound signal from the external microphone 1 ⁇ / b> C after being amplified by the microphone amplifier 26.
  • the delay circuit 28 is provided in a signal processing system (between the microphone amplifier 10 and the adder 29) for a sound collected signal by the internal microphone 1B, and delays the sound collected signal by the internal microphone 1B by a predetermined time length.
  • the delay circuit 28 is provided between the LPF 14 and the adder 29 and is configured to give a delay of a predetermined time length to the collected sound signal by the internal microphone 1B after passing through the LPF 14.
  • the addition unit 29 is provided to add the sound collection signal from the internal microphone 1B that has undergone the low-pass filtering process by the LPF 14 and the sound collection signal from the external microphone 1C that has undergone the high-pass filtering process by the HPF 27.
  • the adder 29 in this case is provided at a position where the output signal of the delay circuit 28 and the output signal of the HPF 27 are added.
  • the addition signal by the addition unit 29 is output to the outside of the signal processing unit 25 as an utterance signal after passing through the noise gate processing unit 12 and the compressor 13.
  • the equalizer 11 that is, the equalization filter for suppressing the low-frequency swell (bumping sound) caused by the sound collection via the external ear canal HA by the internal microphone 1B is provided for the sound collection signal side by the internal microphone 1B. And is arranged on the front side of the adder 29 (that is, before synthesis with the output of the HPF 27). Specifically, in the present example, the equalizer 11 is arranged between the microphone amplifier 10 and the LPF 14 and performs an equalization process on the collected sound signal from the internal microphone 1B after being amplified by the microphone amplifier 10. .
  • the external microphone 1C is provided in the mounting unit 1 and the signal obtained by performing high-pass filtering processing by the HPF 27 on the collected sound signal is added to the LPF 14 by the adding unit 29. It is assumed that it is added to the collected sound signal from the internal microphone 1B.
  • the uttered sound emitted from the mouth of the wearer H is collected through the outside world (outside air).
  • the external microphone 1C also picks up environmental noise.
  • the high-pass filtering processing by the HPF 27 is applied to the sound collection signal from the external microphone 1C.
  • the sound collection signal from the external microphone 1C is, in contrast to the sound collection signal from the internal microphone 1B, its middle / high range ( This is because the speech component is superior to the noise component in the middle range and the high range.
  • FIG. 11 is a diagram for explaining this point.
  • the frequency characteristics in the non-speech part under the general noise environment ( ⁇ and broken lines) are shown as the frequency characteristics of the collected sound signal by the external microphone 1C. Set: noise only) and frequency characteristics in the utterance part ( ⁇ and solid line set: noise + utterance sound).
  • FIG. 11B as a comparison, the frequency characteristic in the non-speech portion under the general noise environment for the collected sound signal by the internal microphone 1B, similar to that shown in FIG. : Only noise), and frequency characteristics in the utterance part (a pair of ⁇ and solid line: noise + utterance sound).
  • the actual noise (• & broken line) such as the noise in the airplane has a very low frequency component, and the level tends to decrease as the frequency goes up. For this reason, in sound collection by the external microphone 1C, the uttered voice component tends to be superior to the noise component in a relatively middle / high range.
  • the high-pass filtering process to the collected sound signal of the external microphone 1C by the configuration as in the third embodiment, it is possible to obtain a middle / high frequency utterance sound of the wearer H.
  • a component can be extracted with a relatively good S / N ratio.
  • the sound collection signal that has passed through the HPF 27 and the sound collection signal that has passed through the LPF 14 are added by the adder 29. That is, for each of the external and internal sound collection microphone output signals, a band superior to the sound collection is selected and added.
  • the configuration of the third embodiment as described above it is possible to add not only the low range of the utterance sound but also the effective information of the middle / high range as the utterance collection signal. It is possible to listen to speech sound with higher sound quality.
  • the cut-off frequency of the HPF 27 is appropriately set so as to extract the middle / high-frequency speech dominant band components as shown in FIG.
  • the delay circuit 28 is provided to delay the sound collection signal from the internal microphone 1B with respect to the sound collection signal from the external microphone 1C. This is because the internal microphone 1B and the external microphone 1C are installed. This is intended to absorb the difference in the arrival time of the uttered voice accompanying the difference in position. That is, the delay circuit 28 is set with a delay time corresponding to the time difference between the arrival time of the utterance sound of the wearer H to the internal microphone 1B and the arrival time to the external microphone 1C. It is intended to suppress deterioration in sound quality that may occur when the distance between 1B and the external microphone 1C is relatively large and the difference in arrival time is relatively long. For example, when the distance between the microphones is 1 cm, if the sound speed is about 340 m / sec, a delay time of about 30 ⁇ sec should be set.
  • FIG. 12 is a diagram illustrating a configuration of a sound collection system according to the fourth embodiment.
  • the processing characteristics of various signal processing units for improving S / N and sound quality are made variable, and these processing characteristics can be switched as necessary. Appropriate improvement processing according to the external noise situation and the intention of the user (wearer H) is realized.
  • the processing characteristics of each unit are switched according to a user operation.
  • the sound collection system in this case is different from the sound collection system of the third embodiment (FIG. 10) in that a signal processing unit 30 is provided instead of the signal processing unit 25. In addition, a memory 32 is newly added.
  • the signal processing unit 30 is different from the signal processing unit 25 in that the processing characteristics of the equalizer 11, the LPF 14, the HPF 27, the noise gate processing unit 12, and the compressor 13 are variable.
  • each of the above-described parts whose processing characteristics are variable is represented as an equalizer 11 ', LPF 14', HPF 27 ', noise gate processing unit 12', and compressor 13 'as shown in the figure.
  • the signal processing unit 30 is provided with a control unit 31.
  • the control unit 31 performs switching control of processing characteristics of the equalizer 11 ′, the LPF 14 ′, the HPF 27 ′, the noise gate processing unit 12 ′, and the compressor 13 ′.
  • a mode instruction signal is input from the outside to the control unit 31 in this case.
  • This mode instruction signal is a signal indicating another processing mode selected in accordance with the user operation.
  • the memory 32 is a storage device that can be read by the control unit 31.
  • mode-processing characteristic correspondence information 32A in the figure information on each mode that can be instructed by the mode instruction signal and the mode are provided.
  • Information relating to the processing characteristics to be set in the respective sections (equalizer 11 ′, LPF 14 ′, HPF 27 ′, noise gate processing section 12 ′, and compressor 13 ′) whose processing characteristics are variable (hereinafter referred to as processing characteristics information and Information) is stored.
  • processing characteristic information for example, parameter information necessary for changing the processing characteristics of the above-described units may be stored.
  • the control unit 31 reads the processing characteristic information corresponding to the characteristic indicated by the mode instruction signal, and changes the processing characteristic of each part in which the processing characteristic is variable according to the processing characteristic information.
  • S / N / sound quality improvement processing can be performed in an appropriate processing mode intended by the user according to an external noise situation or the like.
  • FIG. 13 is a diagram illustrating a configuration of a sound collection system according to the fifth embodiment.
  • the processing characteristics are automatically switched regardless of the user operation based on the result of performing the voice analysis on the external noise situation.
  • the sound collection system according to the fifth embodiment is different from the sound collection system according to the fourth embodiment in that a signal processing unit 35 is provided instead of the signal processing unit 30. Further, the analysis result-processing characteristic correspondence information 32B is stored in the memory 32 instead of the mode-processing characteristic correspondence information 32A.
  • the signal processing unit 35 is different from the signal processing unit 30 of the fourth embodiment in that a control unit 36 is provided instead of the control unit 31.
  • the control unit 36 performs a voice analysis process on the external noise based on the collected sound signal from the external microphone 1C, and based on the analysis result and the information content of the analysis result-processing characteristic correspondence information 32B, the equalizer 11 ′, the LPF 14 ′, The processing characteristics of the HPF 27 ′, the noise gate processing unit 12 ′, and the compressor 13 ′ are switched. As shown in the figure, in the case of this example, the sound collection signal from the external microphone 1 ⁇ / b> C before input is input to the microphone amplifier 26 to the control unit 36.
  • the analysis result-processing characteristic correspondence information 32B stored in the memory 32 includes information representing a result (that is, corresponding to each noise state) that can be obtained as an analysis result of the control unit 36, and the above-described information according to each analysis result.
  • the information is associated with the processing characteristic information indicating the processing characteristics to be set for each unit whose processing characteristics are variable.
  • the control unit 36 reads the corresponding processing characteristic information from the analysis result-processing characteristic correspondence information 32B, and the processing characteristic of each part whose processing characteristic is made variable according to the read processing characteristic information. To change.
  • FIG. 14 is a flowchart showing a specific processing procedure to be executed by the control unit 36.
  • step S101 the external microphone output is monitored for a predetermined time. That is, depending on this monitoring process, the non-speech portion (speech period) of the sound pickup signal from the external microphone 1C is detected.
  • the non-speech part is detected by using, for example, the fact that general environmental noise is (quasi-) stationary compared to speech speech, and monitoring the microphone output within a certain period of time, and the level is low This is done by detecting the period as a non-speech part.
  • step S102 noise analysis is performed in the non-speech detection part. Specifically, frequency analysis is performed on the collected sound signal portion detected as a non-speech portion in the process of step S101.
  • the frequency analysis in step S102 can be realized using BPF (band pass filter), FFT (fast Fourier transform), or the like.
  • step S102 parameter control of each part is performed based on the noise analysis result in step S103. That is, based on the noise analysis result in step S102 and the information content of the analysis result-processing characteristic correspondence information 32B in the memory 32, the processing characteristic of each part whose processing characteristic is made variable as described above is switched. .
  • the sound collection system as the fifth embodiment as described above it is possible to appropriately collect a speech sound with high S / N and high sound quality even if the type of noise around the user changes.
  • FIG. 15 is a diagram illustrating a configuration of a sound collection system according to the sixth embodiment.
  • the S / N / sound quality improving method using the external microphone and the HPF described in the third embodiment and the S / N / sound quality improving method by beam forming described in the second embodiment are used. It is a combination.
  • the mounting portion 1 side corresponds to the Lch and the mounting portion 3 side corresponds to the Rch.
  • the sound collection system according to the sixth embodiment has an external microphone 1 ⁇ / b> C added to the mounting portion 1 and an external microphone 3 ⁇ / b> C added to the mounting portion 3 in comparison with the sound collection system according to the second embodiment.
  • the difference is that a signal processing unit 40 is provided instead of the signal processing unit 20.
  • the external microphone 3C is installed so that sound generated outside the housing can be directly collected in the same manner as the mounting part 1 side.
  • a MEMS microphone is also used for the external microphone 3C.
  • the signal processing unit 40 is the same as the signal processing unit 25 of the third embodiment with respect to the configuration on the Lch side. That is, the microphone amplifier 10, the equalizer 11, the LPF 14, and the delay circuit 28 are provided for the sound collection signal from the internal microphone 1B, and the microphone amplifier 26 and the HPF 27 are provided for the sound collection signal from the external microphone 1C. After that, the addition unit 29 performs addition for the collected sound signals via the respective units.
  • the Rch side has the same configuration as that of the Lch side described above. That is, as shown in the figure, a microphone amplifier 21, an equalizer 43, an LPF 22, and a delay circuit 44 are provided for a sound collection signal from the internal microphone 3B, and a microphone amplifier 41 and a HPF 42 are provided for the sound collection signal from the external microphone 3C. Are added, and the addition unit 45 performs addition for the collected sound signals via the respective units. As a result, the S / N / sound quality improvement effect similar to that described in the second embodiment can be obtained for the Rch-side uttered sound collection signal.
  • the filter characteristics of the equalizer 43 provided on the Rch side, the cutoff frequency of the HPF 42, and the delay time of the delay circuit 44 are Basically, they may be the same as those of the equalizer 11, the HPF 27, and the delay circuit 28, respectively.
  • the signal processing unit 40 is provided with an amplifier 15. Also in this case, the monaural reception signal amplified by the amplifier 15 is supplied to the speaker 1S and the speaker 3S, respectively, as in the case of the second embodiment.
  • the signal processing unit 40 is provided with a beam forming processing unit 23, a noise gate processing unit 12, and a compressor 13 as in the case of the second embodiment.
  • the beamforming processing unit 23 performs a beamforming process based on the Lch-side collected sound signal obtained by the adding unit 29 and the Rch-side collected sound signal obtained by the adding unit 45.
  • the same noise suppression effect as in the beam forming process in the second embodiment can be obtained, and as a result, further S / N improvement can be achieved for the uttered sound collection signal. .
  • the sound collection system according to the present technology is used for calling is exemplified, but the present technology can also be suitably applied to a system for recording the collected speech signal.
  • the sound collection is performed in monaural.
  • the beamforming processing unit 23 in FIG. 15 is omitted, and the output of the addition unit 29 and the output of the addition unit 45 are output independently.
  • the noise gate processing unit 12 and the compressor 13 are provided independently for the output of the adding unit 29 and the output of the adding unit 45, respectively, so that the sound quality of each of the Lch transmission signal and the Rch transmission signal is further improved. It can also be configured.
  • the speakers 1S and 3S are based on the BA type. However, the speakers 1S and 3S can be replaced with those based on the dynamic type or the capacitor type.
  • the system is not particularly limited with respect to the internal microphones 1B and 3B and the external microphones 1C and 3C.
  • the present technology may be configured as follows. (1) At least a part thereof is configured to be insertable into the ear canal part, and a mounting part configured to form a substantially sealed internal space connected to the external auditory canal inside the ear hole part in a mounted state; An internal microphone that is disposed in the internal space of the mounting portion and picks up the uttered sound that is emitted by the wearer and propagates through the ear canal in a state of being mounted on the ear canal portion; A low-frequency extraction filter unit that performs a filtering process for extracting a low-frequency component from the sound collected by the internal microphone, or An ear hole mounting type sound collecting device including any of equalizing processing units for performing high-frequency emphasis type equalizing processing on a sound collected signal from the internal microphone.
  • An external microphone arranged to pick up the external sound of the mounting part; A mid / high range extraction filter unit that performs filtering processing to extract mid / high range components from the sound collected by the external microphone; An adder that adds the collected sound signal filtered by the middle / high-frequency extraction filter unit and the collected sound signal filtered by the low-frequency extraction filter unit (1)
  • the ear hole mounting type sound pickup device according to claim 1.
  • a first internal microphone is disposed as the internal microphone
  • a second internal microphone is disposed as the internal microphone
  • the low-frequency extraction filter unit is Applying the filtering process to the collected sound signal from the first internal microphone and the collected sound signal from the second internal microphone, respectively, Based on the collected sound signal from the first internal microphone subjected to the filtering process by the low-frequency extraction filter unit and the collected sound signal from the second internal microphone subjected to the filtering process by the low-frequency extraction filter unit.
  • the ear hole mounting type sound collecting device further including a beam forming processing unit that performs a beam forming process.
  • (1) to (1) including at least one of a noise gate processing unit that performs noise gate processing on a sound collected signal by the internal microphone and a compressor processing unit that performs compressor processing on the sound collected signal by the internal microphone. 4.
  • the ear canal mounting type sound collecting device according to 4).
  • (6) The ear hole-mounted sound collecting device according to any one of (1) to (5), wherein the filter processing characteristics of the low-frequency extraction filter section are variable.
  • the ear hole-mounted sound collecting device according to any one of (5) to (7), wherein a processing characteristic of at least one of the equalizing processing unit, the noise gate processing unit, or the compressor processing unit is variable.
  • the ear hole-mounted sound collecting device further including a control unit that performs switching control of filter processing characteristics of the low-frequency extraction filter unit according to an operation input.
  • the ear-hole-mounted sound collecting device further including a control unit that performs switching control of filter processing characteristics of the low-frequency extraction filter unit according to a result of noise analysis based on a sound collection signal of external noise. .
  • the control unit The ear hole wearing type according to (10), wherein a non-speech period in which the level of the sound collection signal with respect to the external noise is a predetermined level or less is detected, and the noise analysis is performed based on the sound collection signal in the non-speech period. Sound collection device.
  • At least a part of the mounting part is configured to be insertable into the ear hole part, and the mounting part is configured so that a substantially sealed internal space connected to the ear canal is formed in the ear hole part in a mounted state.
  • the low-frequency extraction filter unit that performs the filtering process of A signal processing apparatus comprising: an equalizing processing unit that performs high-frequency emphasis type equalizing processing on a sound-collected signal from the internal microphone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Headphones And Earphones (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

 本技術は、ノイズリダクション処理によらず、騒音の影響を低減したS/Nの良い音声収音を実現することができる耳孔装着型収音装置、信号処理装置、収音方法に関する。 耳孔装着型の収音装置として、発話音を収音するマイクロホンが、外部から略密閉とされ且つ装着者(発話者)の外耳道と通じる空間内に設置される。外部から密閉された空間内に設置されることで、発話者の外耳道を経由して伝播する発話音が収音される。外耳道経由で得た収音信号では特に低域にて騒音成分より発話音声成分が優位となるため、例えばLPF等を用いて上記収音信号の低域を抽出することで、発話収音信号のS/N改善を図ることができる。或いは、外耳道経由の収音を行った際に生じるこもり音を低減するためのイコライジング処理を上記収音信号に施すことで、音質向上を図ることができる。

Description

耳孔装着型収音装置、信号処理装置、収音方法
 本技術は、少なくともその一部が耳孔部に挿入可能に構成された装着部を有する耳孔装着型の収音装置と、上記装着部に設けられた内部マイクロホンによる収音信号について信号処理を行う信号処理装置と、収音方法とに関する。
特許第4352932号公報
 近年、いわゆるスマートフォンなど通話機能を有する情報処理装置が広く普及し始めている。
 このような通話機能を有する情報処理装置には、受話音の聴取と発話音の収音を可能とするためのイヤホンマイク(マイク一体型イヤホン)が用いられる。
 図16は、現状において普及している一般的なイヤホンマイク(以下、従来のイヤホンマイク100と表記)の例を示している。
 この図16に示すように従来のイヤホンマイク100は、受話音を聴取するためのイヤホン部101と、発話音を収音するためのマイクロホン102Aとが別々に設けられている。イヤホン部101は、装着者Hの耳に装着可能に構成され、受話音を出力するためのスピーカが内蔵されている。そして、この場合のイヤホンマイク100では、イヤホン部101に信号を伝送するためのコード上においてコード上ハウジング102が形成され、当該コード上ハウジング102内にマイクロホン102Aが形成されている。
 このような構成による従来のイヤホンマイク100では、装着者(発話者)から発せられた発話音が、外界(外気)を経由してマイクロホン102Aに到達して収音されることになる。
 但し、上記構成による従来のイヤホンマイク100では、発話音を収音するためのマイクロホン102Aが外部に露出された状態にある。すなわち、当該マイクロホン102Aは外部騒音(環境騒音)に直接的に接している。
 このため従来のイヤホンマイク100では、発話音と共に周囲の騒音が比較的大きく収音されてしまい、発話信号のS/N(信号対雑音比)が低下する傾向となる。つまりその結果、通話の相手方において、装着者Hからの発話音声が聞こえ難くなってしまう。
 上記のような騒音に伴うS/Nの悪化を抑制するにあたっては、例えばSS法(SS:Spectrum Subtraction)を始めとするいわゆるノイズリダクション処理を発話収音信号に対して行うことも考えられる。
 しかしながら、このようなノイズリダクション処理の実現のためには比較的大きな処理リソースを要するものとなり、その分、製品コストや消費電力等の面で不利となってしまう。
 また、上記SS法のような周波数軸での非線形処理を伴うノイズリダクション処理は、一般的に処理後の音質劣化も問題となる。
 本技術は上記問題点に鑑み為されたものであり、その課題は、ノイズリダクション処理によらず、騒音の影響を低減したS/Nの良い音声収音を実現することにある。
 上記課題の解決のため、本技術では耳孔装着型収音装置として以下のように構成することとした。
 すなわち、少なくともその一部が耳孔部に挿入可能に構成されると共に、上記耳孔部への装着状態下においてその内部に外耳道と連接する略密閉な内部空間が形成されるように構成された装着部を備える。
 また、上記装着部の上記内部空間内に配されて、上記耳孔部への装着状態下において装着者により発せられ上記外耳道を通じて伝播する発話音を収音する内部マイクロホンを備える。
 また、上記内部マイクロホンによる収音信号に対して低域成分を抽出するためのフィルタリング処理を施す低域抽出フィルタ部、又は、上記内部マイクロホンによる収音信号に対して高域強調型のイコライジング処理を施すイコライジング処理部の何れかを備えるようにした。
 上記本技術によれば、発話音を収音するマイクロホン(上記内部マイクロホン)は、外部から略密閉とされ、且つ装着者(発話者)の外耳道と通じる空間内に設置されたものとなる。外部から密閉された空間内に設置されることで、騒音の影響を効果的に低減することができる。また、装着者の外耳道を経由して伝播する発話音を収音するものとしたことで、装着者から発せられ外界を伝播する発話音を収音する従来のイヤホンマイク(図16)の場合よりもS/N良く発話音を収音できる。
 その上で本技術では、上記低域抽出フィルタ部により上記内部マイクロホンによる収音信号の低域成分を抽出するものとしている。後述もするように外耳道経由で伝播する発話音を収音する場合には、その収音信号の特に低域において発話音成分が外部騒音成分よりも優位となる。従って上記フィルタ部を設けたことで、発話収音信号のさらなるS/N改善を図ることができる。
 或いは本技術では、上記イコライジング処理部を設ける。当該イコライジング処理部を設けることで、外耳道経由の発話音を収音した際に生じるこもり音を低減し、発話収音信号の音質向上を図ることができる。
 本技術によれば、外界を伝播する発話音を収音する従来のイヤホンマイクよりもS/N良く発話音を収音できる。
 また本技術よれば、収音信号に対するノイズリダクション処理は不要とでき、その結果、信号処理のリソースの増大化を防ぎ、製品コストや消費電力などの面で有利とできる。
実施の形態の収音システムが備える装着部の構造について説明するための図である。 実施の形態の収音システムによる発話音の収音の様子を模式的に示した図である。 音質改善のための信号処理系の構成について説明するための図である。 音質改善のためイコライザに設定すべき具体的な周波数特性について説明するための図である。 コンプレッサ処理についての説明図である。 内部マイクロホンによる収音信号の低域で外部騒音成分よりも発話音成分の方が優位となる点について説明するための図である。 実施例1としての収音システムの構成を示した図である。 実施の形態の収音システムが採り得る「一体型」「分離型」それぞれの構成例を示した図である。 実施例2としての収音システムの構成を示した図である。 実施例3としての収音システムの構成を示した図である。 外部マイクロホンによる収音信号の中・高域で外部騒音成分よりも発話音声成分の方が優位となる点について説明するための図である。 実施例4としての収音システムの構成を示した図である。 実施例5としての収音システムの構成を示した図である。 実施例5における制御部が実行すべき具体的な処理の手順を示したフローチャートである。 実施例6としての収音システムの構成を示した図である。 従来のイヤホンマイクの構成例を示した図である。
 以下、本技術に係る実施の形態について説明する。
 なお、説明は以下の順序で行う。
 <1.外耳道経由の発話音収音について>
 <2.音質改善のための信号処理について>
 <3.低域抽出によるさらなるS/N改善>
 [3-1.実施例1]
 [3-2.実施例2]
 [3-3.実施例3]
 [3-4.実施例4]
 [3-5.実施例5]
 [3-6.実施例6]
 <4.変形例>
 <1.外耳道経由の発話音収音について>
 図1は、本技術に係る実施の形態としての収音システムが備える装着部1の構造について説明するための図である。
 具体的に、図1のAは装着部1の透視斜視図を表し、図1のBは装着者(発話者)Hの耳部への装着状態における装着者Hの外耳道HA、耳孔部HBと装着部1との関係を断面図により表している。
 先ず装着部1は、装着者(発話者)Hの発話音を収音するべく、その内部に内部マイクロホン1Bが設けられている。
 本例の場合、内部マイクロホン1Bとしては、その配置スペースを考慮してMEMSマイクロホン(MEMS:Micro Electro Mechanical Systems)が採用される。
 装着部1は、その外形としては、装着者Hの耳孔部に対して少なくともその一部が挿入可能に構成され、それにより該装着者Hの耳部に対して装着できるようにされている。具体的に、この場合の装着部1には装着者Hの耳孔部HBに対して挿入可能な形状とされた耳孔挿入部1Aが形成されており、該耳孔挿入部1Aが耳孔部HBに対して挿入されることで装着部1が装着者Hの耳部に対して装着状態となる。
 そして、装着部1は、装着者Hへの装着状態において、図1のBに示すように装着者Hの外耳道HAと連接する内部空間1Vが形成されるように構成されている。
 このとき、装着部1が有する耳孔挿入部1Aは、カナル型のイヤホン部が有する耳孔挿入部と同様に、その表面部が弾性を有する材料で覆われて、装着時に耳孔部HBとの密着状態が得られるように構成されている。
 このため装着時において、上記の内部空間1Vは外界から略密閉された空間となる。
 内部マイクロホン1Bは、当該内部空間1V内に配されている。
 図2は、装着部1を有する実施の形態の収音システムによる発話音の収音の様子を模式的に示した図である。
 先ず前提として、本実施の形態の収音システムでは、発話音の収音は、装着部1を装着者Hの耳部に装着した状態で行われるものである。
 装着部1の装着状態において、装着者Hが発話した場合は、該発話に伴う振動が装着者Hの声帯から骨や皮膚などを経由し外耳道HAに伝達される(図中の破線矢印)。図1にて説明したように、装着状態では、内部マイクロホン1Bが配された装着部1の内部空間1Vと外耳道HAとが外界から略密閉された状態で連接している。このため、上記のように装着者Hの外耳道HAを経由して得られる発話音を、内部マイクロホン1Bによって収音することができる。
 このような実施の形態としての収音システムによれば、騒音環境下においても、装着部1の筐体内部の密閉性が十分にとれていれば、筐体の外側より伝播する騒音に対しての遮音性は十分高まるため、内部マイクロホン1Bに対する騒音の混入は十分抑えられる。つまりこれにより、外界経由で発話音を収音する従来のイヤホンマイク100(図13を参照)と比較して、S/N(信号対雑音比)よく発話音を収音することができる。
 なお、このときの遮音性は、少なくとも抑制を意図する騒音の帯域がカバーできるものであればよく、その意味で完全な密閉性が求められるものではない。
 <2.音質改善のための信号処理について>
 上記のように外耳道HA経由で伝播する発話音を収音対象とし且つ内部マイクロホン1Bが配される内部空間1Vの密閉性を確保して収音を行う本実施の形態の収音システムによれば、従来のイヤホンマイク100よりもS/N良く発話音を収音できる。
 但し、例えば通常のカナル型イヤホンのように密閉性が比較的強い場合、外耳道HA内では通常の自由空間に比べて低域でのゲイン(応答)が大きくなるため、内部マイクロホン1Bによる収音信号としては低域の応答特性が比較的大となってしまう。
 この影響により、内部マイクロホン1Bによる収音信号に基づく送話音声は、低域寄りにこもったような音となってしまい、通話の相手方にとってやや聞き取り難いものとなってしまう。
 そこで、上記のような低域寄りの収音信号応答特性を補正すべく、図3のAに示すようにイコライザ(EQ)としての信号処理手段を設けることが望ましい。
 具体的に図3のAに示す構成では、内部マイクロホン1Bによる収音信号をマイクアンプ10で増幅した後、イコライザ11による等化処理(特性補正処理)を施すものとしている。
 図4は、イコライザ11に設定すべき具体的な周波数特性について説明するための図である。
 先ず、図4のAでは、外耳道HA経由の収音信号の低域ゲインが大となることを説明すべく、無騒音の状態において装着部1の外界に設置したマイクロホンにより規定の会話列を収音した際の収音信号の周波数特性(図中、▲プロットと破線の組)と、同じく無騒音の状態にて、外耳道HAと連接する内部空間1Vにて内部マイクロホン1Bにより同会話列を収音した際の収音信号の周波数特性(■プロットと一点鎖線の組)とを対比して示している。
 なおこの図において、周波数特性は周波数軸上で時間的に平均化したものを示している。
 外耳道HAと連接された略密閉の内部空間1V内では、発話に伴い外耳道HA内で低域の音波・振動が発生した際に、内部マイクロホン1Bの振動板は非密閉環境としての外界と比べて大きく振幅することになる。この結果、外界設置のマイクロホンよりも低域について大きなマイク出力電圧が得られるものである。
 実際、図4のAを参照すると、内部マイクロホン1Bによる収音信号(■&一点鎖線)には、外界設置のマイクロホンによる収音信号(▲&破線)に対し低域の膨らみが生じていることが確認できる。
 この図4のAに示すような特性を有する内部マイクロホン1Bの収音信号のままでは、通話相手方への送話音はこもり音としての明瞭度の低い音声が得られてしまい、結果、該相手方での聞き取りが困難となってしまう虞がある。
 そこで、内部マイクロホン1Bによる収音信号の周波数特性を補正し、より自然な周波数特性バランスとすることで、通話相手に聴取されるべき送話音の明瞭度を向上させる。
 このためには、内部マイクロホン1Bによる収音信号の周波数特性を、外界設置のマイクロホンによる収音信号の周波数特性に近づけるものとすればよい。
 具体的には、図4のBに示すような伝達関数で表されるフィルタ(つまりイコライザ11)を用意し、該フィルタにより内部マイクロホン1Bの収音信号の周波数特性を補正する。すなわち、図4のBに示すような、高域強調型(低域抑制型)のフィルタ特性を有するイコライザ11によって、内部マイクロホン1Bの収音信号周波数特性を補正すればよい。
 このことにより、イコライザ前よりイコライザ後の方が、より明瞭度が高く自然な音声を得ることができる。
 ここで、図4のAにおいては、●プロットと実線の組により、図4のBに示すフィルタ特性を有するイコライザ11によって補正を行った後の内部マイクロホン1Bの収音信号の周波数特性を示している。
 該周波数特性を参照すると、内部マイクロホン1Bによる収音信号は外界設置マイクロホンによる収音信号に近づき、より自然な周波数特性バランスとなっていることが分かる。
 また、送話音の音質改善の意味では、図3のBに示すように、内部マイクロホン1Bによる収音信号に対してイコライザ11による補正と共にノイズゲート処理、及びコンプレッサ処理を施すことも有効である。
 具体的に、図3のBに示す構成では、マイクアンプ10を介した内部マイクロホン1Bによる収音信号に対し、ノイズゲート処理部12によるノイズゲート処理を施した上でイコライザ11による特性補正を施している。その上で、イコライザ11を介した収音信号に対し、コンプレッサ13によるコンプレッサ処理を施すものとしている。
 ノイズゲート処理部12は、ノイズゲート処理として、入力信号のレベルが一定レベル以下となると出力信号レベルを下げ(つまりゲートを閉じ)、上記一定レベルより大となると出力信号レベルを元に戻す(ゲートを開く)処理を行う。
 なお、一般に行われているように、ノイズゲート処理における出力レベルの減衰の割合、ゲートの開閉エンベロープ、ゲートが反応する周波数帯域等のパラメータは、発話音の明瞭度の向上が図られるよう適切に設定する。
 また、コンプレッサ13は、上記コンプレッサ処理として、入力される収音信号の時間軸振幅を整える処理を行う。
 ここで、コンプレッサ13によるコンプレッサ処理について図5を参照して説明する。
 図5では、図5のAによりコンプレッサ処理前の収音信号の時間軸波形を、図5のBによりコンプレッサ処理後の収音信号の時間軸波形を示している。
 前述のイコライザ11は、収音信号の周波数特性を整えて音質向上を図るものであったが、コンプレッサ処理は、時間軸上において収音信号の波形を補正するものである。
 前述のように本実施の形態の場合、発話音声は、装着者Hの骨や肉など人体内の振動を通じて外耳道HA経由で内部マイクロホン1Bの振動板に届くが、これは空気伝播に比べてある程度の非線形性を持つこととなる。
 そのため、発話時の声の大きさによって変わる発話音声の大小の差が、通常の空気伝播を介した収音を行う場合に比して大きくなり、そのままであると収音された音声が聞き取り難くなる虞がある。
 図5のAを参照すると、発話される各音声群間で音声の大小の差が大きくなっていることが確認できる。
 そこでコンプレッサ13により、内部マイクロホン1Bによる収音信号の時間軸振幅を図5のBに示すように整える。すなわち、発話音声の大小の差を抑制する。
 これにより、発話音声の聞き取りがより容易となり、音質の向上が図られる。
 なお本実施の形態において、収音信号に対する各種信号処理は、アナログ電気回路によって実現しても良いし、ADC(A/Dコンバータ)を介してデジタル信号処理により実現するものとしても良い。
 <3.低域抽出によるさらなるS/N改善>
 [3-1.実施例1]
 これまでの説明から理解されるように、本実施の形態では、図2において説明したような外耳道HA経由での収音を行うものとしたことで、従来のイヤホンマイク100の場合よりも収音信号のS/Nの改善が図られるものとなるが、本実施の形態ではさらなるS/Nの改善を図るべく、内部マイクロホン1Bによる収音信号に対してその低域成分を抽出するためのフィルタリング処理を施す。
 ここで、先の図2で説明したような外耳道HA経由での発話音収音を行った場合、その収音信号においては、特にその低域にて外部騒音成分よりも発話音成分の方が優位となる。
 図6はこの点についての説明図であり、内部マイクロホン1Bによる収音信号周波数特性として、一般的な騒音環境下での無発話部分における周波数特性(●と破線の組:騒音のみ)、発話部分における周波数特性(■と実線の組:騒音+発話音)とを示している。
 なお実験において、騒音としては一般的な飛行機の機内騒音を用いた。また解析の単位は1/3オクターブである。
 この図6によると、内部マイクロホン1Bによる収音信号として、騒音のみが収音された場合の信号(●&破線)よりも騒音と発話音とが収音された場合の信号(■&実線)の方が、特に低域においてそのレベルが大となっていることが確認できる。すなわち、内部マイクロホン1Bにより外耳道HA経由での発話音収音を行った場合、その収音信号の特に低域において外部騒音より発話音の方が優位となるものである(図中、内部マイクの音声優位帯域)。これは、装着部1の構造に由来する密閉・遮音機能により特に低域において騒音成分が減衰される一方で、先の図4のAのように外耳道HA経由での収音成分については特にその低域のゲインが大となることに依る。
 従って、前述のように内部マイクロホン1Bによる収音信号に対してフィルタリング処理を施し、該収音信号の低域成分(内部マイクロホン1Bの音声優位帯域の成分)を抽出することで、発話収音信号のさらなるS/N改善を図ることができる。
 図7は、上記のような低域成分のフィルタリング処理の併用によりさらなるS/N改善を図る実施の形態としての収音システムの構成の一例(以下、実施例1と表記)を示した図である。
 なお以降の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
 この図7に示すように、実施例1としての収音システムは、装着部1と信号処理部2とを有して構成される。
 先ず、この場合の装着部1の内部空間1V内には、内部マイクロホン1Bと共に、受話音の出力を行うためのスピーカ1Sが配される。本例の場合、該スピーカ1Sとしては、その設置スペースを考慮してBA(バランスドアーマチュアー)型によるものを用いるものとしている。
 そして、信号処理部2には、前述したマイクアンプ10,イコライザ11,ノイズゲート処理部12,コンプレッサ13が備えられると共に、LPF(ローパスフィルタ)14、及びアンプ15が備えられる。
 本例の場合、LPF14は、マイクアンプ10とノイズゲート処理部12との間に配置され、これによりマイクアンプ10を介した後の内部マイクロホン1Bによる収音信号に対してローパスフィルタリング処理を施すようにされる。このLPF14のカットオフ周波数は、図5に示したような「内部マイクの音声優位帯域」の成分が抽出できるように適切に設定される。
 なお信号処理部2において、コンプレッサ13を介した後の内部マイクロホン1Bによる収音信号は、図のように送話信号として信号処理部2の外部に出力される。
 また信号処理部2には、外部より受話信号が供給される。
 アンプ15は、当該受話信号を増幅し、該増幅後の受話信号に基づき装着部1内のスピーカ1Sを駆動する。これによりスピーカ1Sから上記受話信号に応じた受話音が出力される。
 上記のような実施例1としての収音システムによれば、環境騒音に対して装着部1の筐体の(パッシブ)遮音性能により発話収音信号のS/Nを確保した上で、内部マイクロホン1Bによる収音信号に対しローパスフィルタリング処理を施して発話音声の優位帯域の成分を抽出することで、発話収音信号のさらなるS/N向上を図ることができる。
 また図7に示す実施例1としての構成によれば、装着部1の有する遮音効果によって装着者Hが受話音を聞き取り易くなるという効果も得られる。
 ところで、上記のような音声優位帯域成分の抽出のためのフィルタリング処理や前述した音質改善のための各種信号処理(イコライザ11~コンプレッサ13)とを実現する信号処理部2を含めた実施の形態の収音システムの具体的な構成としては、該信号処理部2を装着部1に設ける「一体型」と、信号処理部2を装着部1の外部に設ける「分離型」との何れかを採用することができる。
 図8は「一体型」「分離型」それぞれの構成例を示した図である。
 先ず、図8のAに示す「一体型」の構成は、装着部1の筐体内部に信号処理部2を設けるものである。この場合、当該装着部1からは、外部装置50(例えばスマートフォンなどの情報処理装置)に対し送話信号(つまり信号処理部2による各種信号処理を経た後の内部マイクロホン1Bによる収音信号)を伝送することになる。また外部装置50から装着部1に対しては、受話信号が伝送されることになる。
 また、図8のBに示す「分離型」の構成では、外部装置50の内部に信号処理部2を設ける。この場合、装着部1から外部装置50に対しては、内部マイクロホン1による収音信号(図中、送話音収音信号)を伝送する。また外部装置50から装着部1(スピーカ1S)に対しては、信号処理部2内のアンプ15による増幅後の受話信号(図中、受話音出力用信号)を伝送する。
 [3-2.実施例2]
 図9は、実施例2としての収音システムの構成についての説明図である。
 実施例2は、左右の両チャンネルで収音した信号を用いたビームフォーミング処理により発話収音信号のさらなるS/N改善を図ると共に、受話音の聴取が装着者Hの両耳において行われるようにするものである。 なお以下、チャンネルについてはchとも表記する。
 先ず前提として、受話信号は一般的にモノラルである。そのため実施例2では、該モノラルの受話音を両耳にて聴取させるシステムを提案する。
 実施例2の収音システムは、図7に示した実施例1の収音システムと比較して、装着部3が追加されると共に、信号処理部2に代えて信号処理部20が設けられた点が異なる。
 装着部3は、装着者Hの有する耳のうち装着部1が装着される側の耳とは逆側の耳に対し装着されるべきものである。装着部3は、装着部1と同様に、少なくともその一部が装着者Hの耳孔部HBに挿入可能に構成され、装着者Hの耳部に装着可能とされる。具体的に装着部3としても、装着者Hの耳孔部HBに対して挿入可能な形状とされた耳孔挿入部3Aが形成されており、該耳孔挿入部3Aが耳孔部HBに対して挿入されることで装着部3が装着者Hの耳部に対して装着状態となる。
 そして装着部3としても、装着者Hへの装着状態において、装着者Hの外耳道HAと連接する内部空間3Vが形成されるように構成されていると共に、耳孔挿入部3Aは、その表面部が弾性を有する材料で覆われて、装着時に耳孔部HBとの密着状態が得られるようにされている。
 装着部3の内部空間3V内には、図のように内部マイクロホン3Bが配される。本例の場合この内部マイクロホン3BについてもMEMSマイクロホンを採用している。
 また装着部3の内部空間3V内には、スピーカ3Sが配置されている。本例の場合、スピーカS3としてもBA型によるものを採用している。
 図示するように該スピーカ3Sは、信号処理部20に設けられたアンプ15により増幅された受話信号に基づき駆動される。この場合、アンプ15の出力は実施例1の場合と同様に装着部1側のスピーカ1Sに対しても供給されており、結果、受話信号に基づく受話音は、装着部1側と装着部3側の双方から出力されることになる。
 ここで、実施例2においては、装着部1側がLch側、装着部2側がRch側とされるものとする。
 信号処理部20は、実施例1の場合の信号処理部2との比較で、Rch側用のマイクアンプ21及びLPF22と、ビームフォーミング処理部23とが追加された点が異なる。
 マイクアンプ21は、装着部3側の内部マイクロホン3Bによる収音信号を増幅する。
 LPF22はLPF14と同等のカットオフ周波数により、内部マイクロホン3Bによる収音信号について、前述の音声優位帯域としての低域成分を抽出するローパスフィルタリング処理を行う。この場合、LPF22は、マイクアンプ21により増幅された後の内部マイクロホン3Bによる収音信号にローパスフィルタリング処理を施すようにされる。
 該LPF22により、内部マイクロホン3Bによる収音信号についてもS/Nの改善が図られる。
 ビームフォーミング処理部23は、Lch側に配されたLPF14を経た内部マイクロホン1Bによる収音信号(Lch側収音信号)と、Rch側に配されたLPF22を経た内部マイクロホン3Bによる収音信号(Rch側収音信号)とを入力し、ビームフォーミング処理を行う。
 ここで、Lch,Rchの収音信号を用いた具体的なビームフォーミング処理の例としては、最も単純には、Lch側収音信号とRch側収音信号とを加算する処理を挙げることができる。
 図9に示す構成によれば、Lch側で発話収音を行う内部マイクロホン1BとRch側で発話収音を行う内部マイクロホン3Bは、発話音源である装着者Hの口(声帯)から略等距離の位置にあることになるので、ビームフォーミング処理部23にてそれらの収音信号を加算することで、発話音源方向からの音(外耳道HA経由)を効率的に抽出し、それ以外の方向からの音(ノイズ成分)は抑制することができる。すなわち、発話収音信号のさらなるS/N改善が図られるものである。
 なお、ビームフォーミング処理の具体的手法としては、上記の加算以外にも、例えば音源方向からの音声成分を収音信号についての音声解析結果から判定しその判定結果から音源方向からの音声成分のみを抽出する手法などを採り得る。このとき、上記音声解析の具体的処理としては、収音信号中の支配的な成分を判定する処理を行うものとすればよい。
 何れにせよ、ここで言うビームフォーミング処理としては、音源方向からの音声成分は強調し、それ以外の方向からの音声成分は抑制させる処理を行うものとすればよい。
 ビームフォーミング処理部23によるビームフォーミング処理後の収音信号は、ノイズゲート処理部12→イコライザ11→コンプレッサ13を介して、発話信号として信号処理部20の外部に出力される。
 上記のような実施例2としての収音システムによれば、発話収音信号のS/N改善効果として、装着部1,3の筐体の(パッシブ)遮音性能に依る改善効果とLPF14,22による発話音声の優位帯域成分の抽出に依る改善効果とが得られた上で、さらにビームフォーミング処理部23による騒音成分の低減に依るS/N改善効果を得ることができる。
 また図9に示した実施例2としての構成によれば、装着部3による遮音効果も得られることから装着者Hの両耳にて遮音効果を得ることができ、その結果、実施例1の場合との比較で受話音の聞き取り容易性が向上する。
 なお実施例2において、発話収音信号のさらなるS/N改善を図るための信号処理としては、先に説明したビームフォーミング処理以外にも、例えばSS法(SS:Spectrum Subtraction)などによるノイズリダクション処理を行うものとしてもよい。
 SS法のノイズリダクション処理については例えば下記参考文献1に開示されている。
 ・参考文献1・・・特開2010-11117号公報
 また確認のため述べておくと、実施例2についても、先の図8に示したような「一体型」「分離型」の双方の構成を採り得る。
 ここで、実施例2のように装着部1と装着部3の双方を設ける構成において、「一体型」の構成を採用する場合には、信号処理部20は装着部1、3の何れか一方に設けることができる。その場合、信号処理部20が設けられる一方の装着部に対しては、他方の装着部内の内部マイクロホンによる収音信号を入力し、上記一方の装着部から上記他方の装着部に対してアンプ15による増幅後の受話信号を入力することになる。
 或いは、実施例2のようにビームフォーミング処理を行ってモノラル送話信号を得る構成においては、ビームフォーミング処理部23以下の構成(23,12,11,13)のみを装着部1,3の何れか一方に設ける(換言すれば信号処理部を構成する各部のうちマイクアンプ21とLPF22のみを装着部3内に設ける)構成とすることもできる。
 なお上記の点は、以下で説明する各実施例についても同様である。
 [3-3.実施例3]
 図10は、実施例3としての収音システムの構成を示した図である。
 実施例3の収音システムは、実施例1の収音システムとの比較で、装着部1に対して外部マイクロホン1Cが追加されると共に、信号処理部2に代えて信号処理部25が設けられた点が異なる。
 先ず、外部マイクロホン1Cは、装着部1の筐体外部で生じる音を収音できるように設置されたマイクロホンとなる。一例として本例の場合、外部マイクロホン1Cはその収音口が装着部1の筐体表面に位置するように設置されているとする。
 本例の場合、外部マイクロホン1Cについても内部マイクロホン1Bと同様にMEMSマイクロホンを用いている。
 なお、外部マイクロホン1Cは、装着部1の筐体外部で生じる音を収音できるように設置されればよく、必ずしもその収音口を装着部1の筐体の外界に直接的に表出させる必要はない。
 信号処理部25は、信号処理部2との比較で、マイクアンプ26、HPF(ハイパスフィルタ)27、遅延回路(図中DELAY)28、及び加算部29が追加された点が異なる。
 マイクアンプ26は、外部マイクロホン1Cによる収音信号を増幅する。
 またHPF27はマイクアンプ26で増幅された後の外部マイクロホン1Cによる収音信号についてハイパスフィルタリング処理を施す。
 遅延回路28は、内部マイクロホン1Bによる収音信号についての信号処理系(マイクアンプ10~加算部29の間)において設けられ、内部マイクロホン1Bによる収音信号に所定時間長による遅延を与える。
 本例の場合、遅延回路28はLPF14と加算部29との間に設けられ、LPF14を介した後の内部マイクロホン1Bによる収音信号に対し所定時間長の遅延を与えるようにされている。
 加算部29は、LPF14によるローパスフィルタリング処理を経た内部マイクロホン1Bによる収音信号とHPF27によるハイパスフィルタリング処理を経た外部マイクロホン1Cによる収音信号とを加算するために設けられる。具体的にこの場合の加算部29は、遅延回路28の出力信号とHPF27の出力信号とを加算する位置に設けられる。
 加算部29による加算信号は、ノイズゲート処理部12とコンプレッサ13とを介した後、発話信号として信号処理部25の外部に出力される。
 なおこの場合、イコライザ11、すなわち内部マイクロホン1Bによる外耳道HA経由での収音に伴い生じる低域のふくらみ(こもり音)を抑制するための等化フィルタは、内部マイクロホン1Bによる収音信号側に対してのみ機能すればよく、加算部29の手前側(すなわちHPF27の出力との合成前)に配置される。具体的に、本例においてイコライザ11は、マイクアンプ10とLPF14との間に配置されてマイクアンプ10による増幅後の内部マイクロホン1Bによる収音信号に対して等化処理を施すようにされている。
 上記説明からも理解されるように、実施例3では、装着部1に外部マイクロホン1Cを設けた上で、その収音信号にHPF27によるハイパスフィルタリング処理を施した信号を、加算部29によりLPF14を介した内部マイクロホン1Bによる収音信号と加算するものとしている。
 ここで、外部マイクロホン1Cでは、装着者Hの口より発せられた発話音が外界(外気)を通じて収音されることになる。またこれと共に外部マイクロホン1Cでは環境騒音も同時に収音されることになる。
 外部マイクロホン1Cによる収音信号に対しHPF27によるハイパスフィルタリング処理を施しているのは、外部マイクロホン1Cの収音信号は、内部マイクロホン1Bによる収音信号の場合とは逆に、その中・高域(中域及び高域)において発話音声成分が騒音成分よりも優位となるためである。
 図11はこの点につき説明するための図であり、図11のAでは、外部マイクロホン1Cによる収音信号周波数特性として、一般的な騒音環境下での無発話部分における周波数特性(●と破線の組:騒音のみ)、発話部分における周波数特性(■と実線の組:騒音+発話音)とを示している。
 また図11のBでは比較として、先の図6で示したものと同様の、内部マイクロホン1Bによる収音信号についての一般的な騒音環境下での無発話部分における周波数特性(●と破線の組:騒音のみ)、発話部分における周波数特性(■と実線の組:騒音+発話音)とを示している。
 なお、この場合も騒音としては一般的な飛行機の機内騒音を用い、解析の単位は1/3オクターブである。また図11のAの結果は、図11のB(図6)の場合と同じ音声列を発話した場合の結果を示すものである。
 図11のAを参照すると、外部マイクロホン1Cの場合は、低域においては環境騒音のみが収音された場合の信号(●&破線)、騒音と発話音とが収音された場合の信号(■&実線)のそれぞれのレベルはほぼ同等となっているのに対し、中・高域においては、騒音のみが収音された場合の信号よりも騒音と発話音とが収音された場合の信号の方がそのレベルが大となっていることが確認できる。
 この結果より、外部マイクロホン1Cによる外界経由の発話音収音を行った場合には、その収音信号の特に中・高域において、騒音よりも発話音の方が優位となることが分かる(図中、外部マイクの音声優位帯域)。
 図11のAの結果からも分かるように、一般に飛行機機内の騒音など実際の騒音(●&破線)は低域成分が非常に大きくなっており、高域に行くにしたがってレベルが下がる傾向とる。このため、外部マイクロホン1Cによる収音においては、発話音声成分は比較的中・高域において騒音成分より優位な傾向となるものである。
 このことからも理解されるように、先の実施例3としての構成により外部マイクロホン1Cの収音信号に対しハイパスフィルタリング処理を施すことによっては、装着者Hによる発話音のうち中・高域の成分を比較的S/N良く抽出することができる。
 そして、前述のように実施例3においては、HPF27を経た収音信号とLPF14を経た収音信号とが加算部29において加算される。すなわち、外部・内部の収音マイク出力信号の各々についてそれぞれ発話音収音に優位な帯域を選んでそれらを加算しているものである。
 上記のような実施例3としての構成によれば、発話収音信号として、発話音の低域のみでなく中・高域の有効な情報も加えることができ、その結果、通話相手方に対してより高音質な発話音声を聴取させることができる。
 なお確認のため述べておくと、HPF27のカットオフ周波数は、図11のAに示したような中・高域の音声優位帯域の成分が抽出できるように適切に設定されるものである。
 なお、実施例2においては遅延回路28を設けて内部マイクロホン1Bによる収音信号を外部マイクロホン1Cによる収音信号に対して遅延させるものとしているが、これは、内部マイクロホン1Bと外部マイクロホン1Cの設置位置の差に伴う発話音声到達時間の差の吸収を意図したものである。
 すなわち、遅延回路28には、装着者Hの発話音の内部マイクロホン1Bへの到達時間と外部マイクロホン1Cへの到達時間との時間差に相当する遅延時間が設定されており、これにより、例えば内部マイクロホン1Bと外部マイクロホン1Cとの離間距離が比較的大きく上記到達時間の差が比較的長い場合に生じる虞のある音質の劣化の抑制が図られるものである。
 例えば両マイクの距離が1cm離れている場合、音速を約340m/secとすると約30μsec程度の遅延時間を設定すべきものとなる。
 [3-4.実施例4]
 図12は、実施例4としての収音システムの構成を示した図である。
 実施例4、及び後述する実施例5は、S/Nや音質の向上のための各種信号処理部の処理特性を可変とし、必要に応じこれらの処理特性の切り替えを可能とすることで、例えば外部の騒音状況やユーザ(装着者H)の意図に応じた適切な改善処理が実現されるようにするものである。
 図12により説明する実施例4は、ユーザ操作に応じて各部の処理特性の切り替えを行うものである。
 この場合の収音システムとしては、先の実施例3の収音システム(図10)との比較で、信号処理部25に代えて信号処理部30が設けられる点が異なる。また新たにメモリ32が追加される。
 信号処理部30は、信号処理部25との比較で、イコライザ11、LPF14、HPF27、ノイズゲート処理部12、及びコンプレッサ13の処理特性が可変とされている点が異なる。ここで、このように処理特性が可変とされた上記各部については、図のようにイコライザ11’、LPF14’、HPF27’、ノイズゲート処理部12’、及びコンプレッサ13’と表記する。
 また信号処理部30には、制御部31が設けられる。
 制御部31は、イコライザ11’、LPF14’、HPF27’、ノイズゲート処理部12’、及びコンプレッサ13’の各部の処理特性の切り替え制御を行う。
 具体的に、この場合の制御部31には、外部よりモード指示信号が入力される。このモード指示信号は、ユーザ操作に応じて選択された処理モードの別を示す信号となる。
 メモリ32は制御部31が読み出し可能な記憶装置であり、該メモリ32には図中のモード-処理特性対応情報32Aとして、上記モード指示信号により指示され得る各モードの情報とそのモードに対応して上記処理特性が可変とされた各部(イコライザ11’、LPF14’、HPF27’、ノイズゲート処理部12’、及びコンプレッサ13’)に設定されるべき処理特性に係る情報(以下、処理特性情報と表記)とが対応付けられた情報が格納されている。
 ここで、上記処理特性情報としては、例えば上記各部の処理特性を変更するために必要となるパラメータ情報を格納しておくものとすればよい。
 制御部31は、上記モード指示信号が示す特性に応じた処理特性情報を読み出し、該処理特性情報に従って上記処理特性が可変とされた各部の処理特性を変更させる。
 このような実施例4としての構成により、例えば外部の騒音状況等に応じてユーザが意図した適切な処理モードによるS/N・音質の改善処理が行われるようにできる。
 なお、上記ではS/N・音質改善のための処理を行う各部の全てについてその処理特性を可変とし且つ切り替えを行うものとしたが、少なくともそれら各部のうち1つについて処理特性の可変・切り替えが行われるものとすればよい。なおこの点については下記実施例5についても同様である。
 [3-5.実施例5]
 図13は、実施例5としての収音システムの構成を示した図である。
 実施例5は、外部騒音状況について音声解析を行った結果に基づき、ユーザ操作に依らず自動的に処理特性の切り替えを行うものである。
 実施例5の収音システムは、実施例4の収音システムとの比較で、信号処理部30に代えて信号処理部35が設けられる点が異なる。また、メモリ32に対してモード-処理特性対応情報32Aではなく解析結果-処理特性対応情報32Bが格納される点が異なる。
 信号処理部35は、実施例4の信号処理部30との比較で、制御部31に代えて制御部36が設けられた点が異なる。
 制御部36は、外部マイクロホン1Cによる収音信号に基づき外部騒音についての音声解析処理を行い、その解析結果と、解析結果-処理特性対応情報32Bの情報内容とに基づきイコライザ11’、LPF14’、HPF27’、ノイズゲート処理部12’、及びコンプレッサ13’の処理特性の切り替えを行う。
 図のように本例の場合、制御部36に対してはマイクアンプ26に入力前の外部マイクロホン1Cによる収音信号を入力するものとしている。
 この場合、メモリ32に格納される解析結果-処理特性対応情報32Bは、制御部36の解析結果として得られうる結果(つまり騒音状況の別に相当)を表す情報と、各解析結果に応じて上記処理特性が可変とされた各部に設定されるべき処理特性を表す処理特性情報とが対応付けられた情報とされる。
 制御部36は、外部騒音についての解析結果に基づき、解析結果-処理特性対応情報32Bから対応する処理特性情報を読み出し、該読み出した処理特性情報に従って上記処理特性が可変とされた各部の処理特性を変更させる。
 図14は、制御部36により実行されるべき具体的な処理の手順を表したフローチャートである。
 図14において、先ずステップS101では、外部マイク出力を一定時間監視する。すなわち、この監視処理によっては、外部マイクロホン1Cによる収音信号の無発話部分(無発話期間)を検出する。
 無発話部分の検出は、例えば一般的な環境騒音が発話音声と比較して(準)定常的であることを利用し、或る一定時間内のマイク出力を監視してその中でレベルが小さい期間を無発話部分として検出することで行う。
 続くステップS102では、無発話検出部分において騒音解析を行う。具体的には、ステップS101の処理で無発話部分として検出された収音信号部分について、周波数解析を行うものである。
 該ステップS102での周波数解析は、BPF(バンドパスフィルタ)やFFT(高速フーリエ変換)などを用いて実現できる。
 ステップS102にて騒音解析を行った後は、ステップS103において、騒音解析結果に基づき各部のパラメータ制御を行う。すなわち、ステップS102による騒音解析結果とメモリ32内の解析結果-処理特性対応情報32Bの情報内容とに基づき、前述のように処理特性が可変とされた各部の処理特性の切り替えを行うものである。
 上記のような実施例5としての収音システムによれば、ユーザの周囲での騒音の種類が変わっても適切に高S/N・高音質にて発話音声の収音が可能となる。
 [3-6.実施例6]
 図15は、実施例6としての収音システムの構成を示した図である。
 実施例6は、先の実施例3で説明した外部マイクロホンとHPFとを用いたS/N・音質の改善手法と、実施例2で説明したビームフォーミングによるS/N・音質の改善手法との組み合わせに係るものである。
 なお実施例6においても、先の実施例2と同様、装着部1側がLch、装着部3側がRchにそれぞれ対応するものとする。
 図15において、実施例6の収音システムは、先の実施例2の収音システムとの比較で、装着部1に外部マイクロホン1Cが、また装着部3に外部マイクロホン3Cが追加されると共に、信号処理部20に代えて信号処理部40が設けられた点が異なる。
 装着部3において、外部マイクロホン3Cは、装着部1側と同様の要領で筐体外部で生じる音を直接的に収音できるように設置されている。なお本例の場合、外部マイクロホン3CについてもMEMSマイクロホンが採用される。
 信号処理部40は、Lch側の構成については先の実施例3の信号処理部25と同様となる。すなわち、内部マイクロホン1Bによる収音信号に対してはマイクアンプ10、イコライザ11、LPF14、及び遅延回路28が設けられ、外部マイクロホン1Cによる収音信号に対してはマイクアンプ26、HPF27がそれぞれ設けられた上で、加算部29により、それらの各部をそれぞれ介した収音信号についての加算が行われる。
 また、Rch側については、上記により説明したLch側の構成と同様の構成を有する。すなわち、図のように内部マイクロホン3Bによる収音信号に対してはマイクアンプ21、イコライザ43、LPF22、及び遅延回路44が設けられ、外部マイクロホン3Cによる収音信号に対してはマイクアンプ41、HPF42がそれぞれ設けられた上で、加算部45によって、それらの各部をそれぞれ介した収音信号についての加算が行われるものである。
 これによりRch側の発話収音信号についても、先の実施例2にて説明したものと同様のS/N・音質の改善効果が得られるものとなる。
 なお確認のため述べておくと、装着部1と装着部3の構造が左右対象であれば、Rch側に設けられるイコライザ43のフィルタ特性、HPF42のカットオフ周波数、及び遅延回路44の遅延時間は、基本的にはそれぞれイコライザ11、HPF27、遅延回路28のものと同様でよい。
 また、信号処理部40には、アンプ15が設けられる。この場合も該アンプ15により増幅されたモノラル受話信号がスピーカ1S、スピーカ3Sに対してそれぞれ供給される点は、実施例2の場合と同様である。
 また、信号処理部40には、実施例2の場合と同様にビームフォーミング処理部23、ノイズゲート処理部12、及びコンプレッサ13が設けられる。
 この場合のビームフォーミング処理部23は、加算部29で得られたLch側収音信号と加算部45で得られたRch側収音信号とに基づくビームフォーミング処理を行う。
 このビームフォーミング処理によって、実施例2の場合のビームフォーミング処理と同様の騒音抑制効果(発話音声の抽出効果)が得られるものとなり、結果、発話収音信号についてのさらなるS/N改善が図られる。
 <4.変形例>
 以上、本技術に係る実施の形態について説明したが、本技術はこれまでで説明した具体例に限定されるべきものではない。
 例えばこれまでの説明では、内部マイクロホン、外部マイクロホンのそれぞれの収音信号における音声優位帯域の成分の抽出にあたりLPF、HPFをそれぞれ用いるものとしたが、それらの抽出にはBPFのような帯域制限フィルタを用いることもできる。
 また、これまでの説明では、内部マイクロホンによる収音信号の音声優位帯域成分の抽出のための低域抽出フィルタ部と、こもり音低減のためのイコライジング処理部との双方を設ける場合を例示したが、発話収音信号のS/N向上(音質向上)にあたっては、これらのうち少なくとも何れか一方を備えるものとすればよい。
 またこれまでの説明では、本技術に係る収音システムを通話用途に用いる場合を例示したが、本技術は、収音した発話信号を録音するシステムにも好適に適用できる。
 またこれまでの説明では、収音はモノラルで行うものとしたが、特に上記の録音システムへの適用を考慮した場合等には、ステレオ収音を行うように構成することもできる。その場合、例えば図15の構成を例に挙げれば、該図15におけるビームフォーミング処理部23を省略し、加算部29の出力と加算部45の出力とをそれぞれ独立して出力するものとすればよい。或いは、これら加算部29の出力と加算部45の出力とにそれぞれ独立にノイズゲート処理部12・コンプレッサ13を設けるものとして、Lch送話信号とRch送話信号のそれぞれについてさらなる高音質化を図る構成とすることもできる。
 またこれまでの説明では、スピーカ1S,3SについてはBA型によるものを用いるものとしたが、これに代えてダイナミック型やコンデンサ型などによるものを用いることもできる。
 また内部マイクロホン1B,3Bや外部マイクロホン1C,3Cに関しても方式は特に問わない。
 また、本技術は以下に示す構成とすることもできる。
(1)
 少なくともその一部が耳孔部に挿入可能に構成されると共に、上記耳孔部への装着状態下においてその内部に外耳道と連接する略密閉な内部空間が形成されるように構成された装着部と、
 上記装着部の上記内部空間内に配されて、上記耳孔部への装着状態下において装着者により発せられ上記外耳道を通じて伝播する発話音を収音する内部マイクロホンと
 を備えると共に、
 上記内部マイクロホンによる収音信号に対して低域成分を抽出するためのフィルタリング処理を施す低域抽出フィルタ部、又は、
 上記内部マイクロホンによる収音信号に対して高域強調型のイコライジング処理を施すイコライジング処理部の何れかを備える
 耳孔装着型収音装置。
(2)
 上記装着部の外部音を収音するように配された外部マイクロホンと、
 上記外部マイクロホンによる収音信号に対して中・高域成分を抽出するためのフィルタリング処理を施す中・高域抽出フィルタ部と、
 上記中・高域抽出フィルタ部によりフィルタリング処理が施された上記収音信号と上記低域抽出フィルタ部によりフィルタリング処理が施された上記収音信号とを加算する加算部とを備える
 上記(1)に記載の耳孔装着型収音装置。
(3)
 上記内部マイクロホンから上記加算部までの間に配されて、上記加算部にて加算される上記内部マイクロホン側からの収音信号を遅延させる遅延処理部を備える
 上記(2)に記載の耳孔装着型収音装置。
(4)
 上記装着部として、
 上記装着者の一方の耳に対して装着されるべき第1の装着部と、他方の耳に対して装着されるべき第2の装着部とを有しており、
 上記第1の装着部の上記内部空間内には、上記内部マイクロホンとして第1の内部マイクロホンが配され、
 上記第2の装着部の上記内部空間内には、上記内部マイクロホンとして第2の内部マイクロホンが配され、
 上記低域抽出フィルタ部は、
 上記第1の内部マイクロホンによる収音信号と上記第2の内部マイクロホンによる収音信号とにそれぞれ上記フィルタリング処理を施すと共に、
 上記低域抽出フィルタ部によるフィルタリング処理が施された上記第1の内部マイクロホンによる収音信号と上記低域抽出フィルタ部によるフィルタリング処理が施された上記第2の内部マイクロホンによる収音信号とに基づくビームフォーミング処理を行うビームフォーミング処理部を備える
 上記(1)に記載の耳孔装着型収音装置。
(5)
 上記内部マイクロホンによる収音信号に対してノイズゲート処理を施すノイズゲート処理部、又は上記内部マイクロホンによる収音信号に対してコンプレッサ処理を施すコンプレッサ処理部の少なくとも何れかを備える
 上記(1)~(4)に記載の耳孔装着型収音装置。
(6)
 上記低域抽出フィルタ部のフィルタ処理特性が可変とされる上記(1)~(5)に記載の耳孔装着型収音装置。
(7)
 上記中・高域抽出フィルタ部のフィルタ処理特性が可変とされる上記(2)又は(3)又は(5)に記載の耳孔装着型収音装置。
(8)
 上記イコライジング処理部、又は上記ノイズゲート処理部、又は上記コンプレッサ処理部の少なくとも何れかの処理特性が可変とされる
 上記(5)~(7)に記載の耳孔装着型収音装置。
(9)
 操作入力に応じて、上記低域抽出フィルタ部のフィルタ処理特性の切り替え制御を行う制御部を備える
 上記(6)に記載の耳孔装着型収音装置。
(10)
 外部騒音についての収音信号に基づき騒音解析を行った結果に応じて上記低域抽出フィルタ部のフィルタ処理特性の切り替え制御を行う制御部を備える
 上記(6)に記載の耳孔装着型収音装置。
(11)
 上記制御部は、
 上記外部騒音についての収音信号のレベルが所定レベル以下となる無発話期間を検出し、該無発話期間における上記収音信号に基づいて上記騒音解析を行う
 上記(10)に記載の耳孔装着型収音装置。
(12)
 上記低域抽出フィルタ部、上記イコライジング処理部が上記装着部の内部に設けられる
 上記(1)~(11)に記載の耳孔装着型収音装置。
(13)
 少なくともその一部が耳孔部に挿入可能に構成されると共に、上記耳孔部への装着状態下においてその内部に外耳道と連接する略密閉な内部空間が形成されるように構成された装着部の上記内部空間内に配されて、上記耳孔部への装着状態下において装着者により発せられ上記外耳道を通じて伝播する発話音を収音する内部マイクロホンによる収音信号に対して、低域成分を抽出するためのフィルタリング処理を施す低域抽出フィルタ部、又は、
 上記内部マイクロホンによる収音信号に対して高域強調型のイコライジング処理を施すイコライジング処理部の何れかを備える
 信号処理装置。
 1,3 装着部、1A,3A 耳孔挿入部、1B,3B 内部マイクロホン、1C,3C 外部マイクロホン、1S,3S スピーカ、1V,3V 内部空間、2,20,25,30,35,40 信号処理部、10,21,26,41 マイクアンプ、11,11’,43 イコライザ、12,12’ ノイズゲート処理部、13,13’ コンプレッサ、14,14’,22 LPF(ローパスフィルタ)、15 アンプ、23 ビームフォーミング処理部、27,27’,42 HPF(ハイパスフィルタ)、28,44 遅延回路(DELAY)、29,45 加算部、31,36 制御部、32 メモリ、32A モード-処理特性対応情報、32B 解析結果-処理特性対応情報、50 外部装置

Claims (14)

  1.  少なくともその一部が耳孔部に挿入可能に構成されると共に、上記耳孔部への装着状態下においてその内部に外耳道と連接する略密閉な内部空間が形成されるように構成された装着部と、
     上記装着部の上記内部空間内に配されて、上記耳孔部への装着状態下において装着者により発せられ上記外耳道を通じて伝播する発話音を収音する内部マイクロホンと
     を備えると共に、
     上記内部マイクロホンによる収音信号に対して低域成分を抽出するためのフィルタリング処理を施す低域抽出フィルタ部、又は、
     上記内部マイクロホンによる収音信号に対して高域強調型のイコライジング処理を施すイコライジング処理部の何れかを備える
     耳孔装着型収音装置。
  2.  上記装着部の外部音を収音するように配された外部マイクロホンと、
     上記外部マイクロホンによる収音信号に対して中・高域成分を抽出するためのフィルタリング処理を施す中・高域抽出フィルタ部と、
     上記中・高域抽出フィルタ部によりフィルタリング処理が施された上記収音信号と上記低域抽出フィルタ部によりフィルタリング処理が施された上記収音信号とを加算する加算部とを備える
     請求項1に記載の耳孔装着型収音装置。
  3.  上記内部マイクロホンから上記加算部までの間に配されて、上記加算部にて加算される上記内部マイクロホン側からの収音信号を遅延させる遅延処理部を備える
     請求項2に記載の耳孔装着型収音装置。
  4.  上記装着部として、
     上記装着者の一方の耳に対して装着されるべき第1の装着部と、他方の耳に対して装着されるべき第2の装着部とを有しており、
     上記第1の装着部の上記内部空間内には、上記内部マイクロホンとして第1の内部マイクロホンが配され、
     上記第2の装着部の上記内部空間内には、上記内部マイクロホンとして第2の内部マイクロホンが配され、
     上記低域抽出フィルタ部は、
     上記第1の内部マイクロホンによる収音信号と上記第2の内部マイクロホンによる収音信号とにそれぞれ上記フィルタリング処理を施すと共に、
     上記低域抽出フィルタ部によるフィルタリング処理が施された上記第1の内部マイクロホンによる収音信号と上記低域抽出フィルタ部によるフィルタリング処理が施された上記第2の内部マイクロホンによる収音信号とに基づくビームフォーミング処理を行うビームフォーミング処理部を備える
     請求項1に記載の耳孔装着型収音装置。
  5.  上記内部マイクロホンによる収音信号に対してノイズゲート処理を施すノイズゲート処理部、又は上記内部マイクロホンによる収音信号に対してコンプレッサ処理を施すコンプレッサ処理部の少なくとも何れかを備える
     請求項1に記載の耳孔装着型収音装置。
  6.  上記低域抽出フィルタ部のフィルタ処理特性が可変とされる請求項1に記載の耳孔装着型収音装置。
  7.  上記中・高域抽出フィルタ部のフィルタ処理特性が可変とされる請求項2に記載の耳孔装着型収音装置。
  8.  上記イコライジング処理部、又は上記ノイズゲート処理部、又は上記コンプレッサ処理部の少なくとも何れかの処理特性が可変とされる
     請求項5に記載の耳孔装着型収音装置。
  9.  操作入力に応じて、上記低域抽出フィルタ部のフィルタ処理特性の切り替え制御を行う制御部を備える
     請求項6に記載の耳孔装着型収音装置。
  10.  外部騒音についての収音信号に基づき騒音解析を行った結果に応じて上記低域抽出フィルタ部のフィルタ処理特性の切り替え制御を行う制御部を備える
     請求項6に記載の耳孔装着型収音装置。
  11.  上記制御部は、
     上記外部騒音についての収音信号のレベルが所定レベル以下となる無発話期間を検出し、該無発話期間における上記収音信号に基づいて上記騒音解析を行う
     請求項10に記載の耳孔装着型収音装置。
  12.  上記低域抽出フィルタ部、上記イコライジング処理部が上記装着部の内部に設けられる
     請求項1に記載の耳孔装着型収音装置。
  13.  少なくともその一部が耳孔部に挿入可能に構成されると共に、上記耳孔部への装着状態下においてその内部に外耳道と連接する略密閉な内部空間が形成されるように構成された装着部の上記内部空間内に配されて、上記耳孔部への装着状態下において装着者により発せられ上記外耳道を通じて伝播する発話音を収音する内部マイクロホンによる収音信号に対して、低域成分を抽出するためのフィルタリング処理を施す低域抽出フィルタ部、又は、
     上記内部マイクロホンによる収音信号に対して高域強調型のイコライジング処理を施すイコライジング処理部の何れかを備える
     信号処理装置。
  14.  少なくともその一部が耳孔部に挿入可能に構成されると共に、上記耳孔部への装着状態下においてその内部に外耳道と連接する略密閉な内部空間が形成されるように構成された装着部の上記内部空間内に配された内部マイクロホンにより、上記耳孔部への装着状態下において装着者により発せられ上記外耳道を通じて伝播する発話音を収音する収音手順と、
     上記収音手順によって上記内部マイクロホンにより得られる収音信号に対して低域成分を抽出するためのフィルタリング処理、又は高域強調型のイコライジング処理の何れかを施す信号処理手順と
     を有する収音方法。
PCT/JP2012/081054 2011-12-08 2012-11-30 耳孔装着型収音装置、信号処理装置、収音方法 WO2013084810A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US14/360,948 US9237392B2 (en) 2011-12-08 2012-11-30 Earhole-wearable sound collection device, signal processing device, and sound collection method
EP12854783.3A EP2790416B1 (en) 2011-12-08 2012-11-30 Earhole attachment-type sound pickup device, signal processing device, and sound pickup method
CN201280058984.8A CN103959813B (zh) 2011-12-08 2012-11-30 耳孔可佩戴式声音收集设备,信号处理设备和声音收集方法
US14/992,906 US9918162B2 (en) 2011-12-08 2016-01-11 Processing device and method for improving S/N ratio
US15/883,667 US11070910B2 (en) 2011-12-08 2018-01-30 Processing device and a processing method for voice communication
US17/303,673 US11765497B2 (en) 2011-12-08 2021-06-04 Earhole-wearable sound collection device, signal processing device, and sound collection method
US18/446,275 US20230388703A1 (en) 2011-12-08 2023-08-08 Earhole-wearable sound collection device, signal processing device, and sound collection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-268782 2011-12-08
JP2011268782A JP6069830B2 (ja) 2011-12-08 2011-12-08 耳孔装着型収音装置、信号処理装置、収音方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/360,948 A-371-Of-International US9237392B2 (en) 2011-12-08 2012-11-30 Earhole-wearable sound collection device, signal processing device, and sound collection method
US14/992,906 Continuation US9918162B2 (en) 2011-12-08 2016-01-11 Processing device and method for improving S/N ratio

Publications (1)

Publication Number Publication Date
WO2013084810A1 true WO2013084810A1 (ja) 2013-06-13

Family

ID=48574178

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/081054 WO2013084810A1 (ja) 2011-12-08 2012-11-30 耳孔装着型収音装置、信号処理装置、収音方法

Country Status (5)

Country Link
US (5) US9237392B2 (ja)
EP (2) EP3291574A1 (ja)
JP (1) JP6069830B2 (ja)
CN (1) CN103959813B (ja)
WO (1) WO2013084810A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100985A (zh) * 2014-05-07 2015-11-25 钰太芯微电子科技(上海)有限公司 多个麦克风共享同一模拟总线的耳机装置
US20210287674A1 (en) * 2020-03-16 2021-09-16 Knowles Electronics, Llc Voice recognition for imposter rejection in wearable devices

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11291456B2 (en) 2007-07-12 2022-04-05 Staton Techiya, Llc Expandable sealing devices and methods
US8600067B2 (en) 2008-09-19 2013-12-03 Personics Holdings Inc. Acoustic sealing analysis system
JP2012517865A (ja) 2009-02-13 2012-08-09 パーソニクス ホールディングス インコーポレイテッド 耳栓およびポンピングシステム
JP5919686B2 (ja) 2011-08-31 2016-05-18 ソニー株式会社 音響再生装置
JP6019553B2 (ja) 2011-08-31 2016-11-02 ソニー株式会社 イヤホン装置
US10070211B2 (en) * 2013-06-28 2018-09-04 Kopin Corporation Digital voice processing method and system for headset computer
TWI563856B (en) * 2014-02-27 2016-12-21 Merry Electronics Co Ltd Mobile device and corresponding noise-canceling earphone
US10366703B2 (en) * 2014-10-01 2019-07-30 Samsung Electronics Co., Ltd. Method and apparatus for processing audio signal including shock noise
US9905216B2 (en) 2015-03-13 2018-02-27 Bose Corporation Voice sensing using multiple microphones
CN112188336A (zh) * 2015-08-10 2021-01-05 固昌通讯股份有限公司 耳机麦克风
KR101731714B1 (ko) * 2015-08-13 2017-04-28 중소기업은행 음질 개선을 위한 방법 및 헤드셋
CN105516854A (zh) * 2015-11-24 2016-04-20 宁波柏人艾电子有限公司 一种音箱的信号处理电路
EP4236362A3 (en) * 2015-12-30 2023-09-27 GN Hearing A/S A head-wearable hearing device
US10586552B2 (en) 2016-02-25 2020-03-10 Dolby Laboratories Licensing Corporation Capture and extraction of own voice signal
JP6094844B1 (ja) * 2016-03-14 2017-03-15 合同会社ディメンションワークス 音響再生装置、音響再生方法、及びプログラム
US9955279B2 (en) * 2016-05-11 2018-04-24 Ossic Corporation Systems and methods of calibrating earphones
JP6729787B2 (ja) * 2017-03-10 2020-07-22 ヤマハ株式会社 ヘッドフォン
CN108574459B (zh) * 2017-03-14 2022-04-01 南京理工大学 一种高效时域宽带波束形成电路及方法
US10483931B2 (en) * 2017-03-23 2019-11-19 Yamaha Corporation Audio device, speaker device, and audio signal processing method
EP3422736B1 (en) * 2017-06-30 2020-07-29 GN Audio A/S Pop noise reduction in headsets having multiple microphones
DE102018204687B3 (de) * 2018-03-27 2019-06-13 Infineon Technologies Ag MEMS Mikrofonmodul
US10516934B1 (en) 2018-09-26 2019-12-24 Amazon Technologies, Inc. Beamforming using an in-ear audio device
CN110164425A (zh) * 2019-05-29 2019-08-23 北京声智科技有限公司 一种降噪方法、装置及可实现降噪的设备
DE112022002887T5 (de) * 2021-05-31 2024-03-21 Sony Group Corporation Signalverarbeitungseinrichtung, Signalverarbeitungsverfahren und Programm
CN113542960B (zh) * 2021-07-13 2023-07-14 RealMe重庆移动通信有限公司 音频信号处理方法、系统、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261534A (ja) * 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 送受話器
JP2003264883A (ja) * 2002-03-08 2003-09-19 Denso Corp 音声処理装置および音声処理方法
JP2009141698A (ja) * 2007-12-06 2009-06-25 Rohm Co Ltd ヘッドセット
JP4352932B2 (ja) 2004-02-26 2009-10-28 ソニー株式会社 マイクロホン装置
JP2010011117A (ja) 2008-06-27 2010-01-14 Sony Corp ノイズ低減音声再生装置およびノイズ低減音声再生方法
JP2010147982A (ja) * 2008-12-22 2010-07-01 Hosiden Corp リモコン付きステレオイヤホンマイク

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3270146A (en) * 1963-03-14 1966-08-30 Motorola Inc Hearing aid
DE7918029U1 (de) * 1979-06-22 1980-12-04 Siemens Ag, 1000 Berlin Und 8000 Muenchen Kleinhoergeraet
US4471490A (en) * 1983-02-16 1984-09-11 Gaspare Bellafiore Hearing aid
US4622440A (en) * 1984-04-11 1986-11-11 In Tech Systems Corp. Differential hearing aid with programmable frequency response
US5225836A (en) * 1988-03-23 1993-07-06 Central Institute For The Deaf Electronic filters, repeated signal charge conversion apparatus, hearing aids and methods
JPH05333899A (ja) 1992-05-29 1993-12-17 Fujitsu Ten Ltd 音声入力装置、音声認識装置および警報発生装置
JP2835009B2 (ja) 1995-02-03 1998-12-14 岩崎通信機株式会社 骨導気導複合型イヤーマイクロホン装置
JPH08223677A (ja) 1995-02-15 1996-08-30 Nippon Telegr & Teleph Corp <Ntt> 送話器
ATE285162T1 (de) * 1997-04-16 2005-01-15 Dsp Factory Ltd Gerät und verfahren zur programmierung eines hörhilfegerätes
US6240192B1 (en) * 1997-04-16 2001-05-29 Dspfactory Ltd. Apparatus for and method of filtering in an digital hearing aid, including an application specific integrated circuit and a programmable digital signal processor
US6236731B1 (en) * 1997-04-16 2001-05-22 Dspfactory Ltd. Filterbank structure and method for filtering and separating an information signal into different bands, particularly for audio signal in hearing aids
US5991419A (en) * 1997-04-29 1999-11-23 Beltone Electronics Corporation Bilateral signal processing prosthesis
US6295364B1 (en) * 1998-03-30 2001-09-25 Digisonix, Llc Simplified communication system
US6353671B1 (en) * 1998-02-05 2002-03-05 Bioinstco Corp. Signal processing circuit and method for increasing speech intelligibility
JP2002125298A (ja) 2000-10-13 2002-04-26 Yamaha Corp マイク装置およびイヤホンマイク装置
DE10110258C1 (de) * 2001-03-02 2002-08-29 Siemens Audiologische Technik Verfahren zum Betrieb eines Hörhilfegerätes oder Hörgerätesystems sowie Hörhilfegerät oder Hörgerätesystem
US6504848B1 (en) 2001-06-13 2003-01-07 Interdigital Communications Corporation Binary-tree method and system for multiplexing scheduling
US7936890B2 (en) * 2006-03-28 2011-05-03 Oticon A/S System and method for generating auditory spatial cues
US7502484B2 (en) 2006-06-14 2009-03-10 Think-A-Move, Ltd. Ear sensor assembly for speech processing
JP4678349B2 (ja) 2006-08-31 2011-04-27 ヤマハ株式会社 通話判定装置
US8565459B2 (en) * 2006-11-24 2013-10-22 Rasmussen Digital Aps Signal processing using spatial filter
JP4928922B2 (ja) * 2006-12-01 2012-05-09 株式会社東芝 情報処理装置、およびプログラム
WO2008137870A1 (en) 2007-05-04 2008-11-13 Personics Holdings Inc. Method and device for acoustic management control of multiple microphones
US8855343B2 (en) * 2007-11-27 2014-10-07 Personics Holdings, LLC. Method and device to maintain audio content level reproduction
US20090147982A1 (en) 2007-12-06 2009-06-11 Rohm Co., Ltd. Headphone set and headphone cable
DK2088802T3 (da) * 2008-02-07 2013-10-14 Oticon As Fremgangsmåde til estimering af lydsignalers vægtningsfunktion i et høreapparat
JP5499633B2 (ja) 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US8515109B2 (en) * 2009-11-19 2013-08-20 Gn Resound A/S Hearing aid with beamforming capability
US8594353B2 (en) * 2010-09-22 2013-11-26 Gn Resound A/S Hearing aid with occlusion suppression and subsonic energy control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261534A (ja) * 1999-03-10 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 送受話器
JP2003264883A (ja) * 2002-03-08 2003-09-19 Denso Corp 音声処理装置および音声処理方法
JP4352932B2 (ja) 2004-02-26 2009-10-28 ソニー株式会社 マイクロホン装置
JP2009141698A (ja) * 2007-12-06 2009-06-25 Rohm Co Ltd ヘッドセット
JP2010011117A (ja) 2008-06-27 2010-01-14 Sony Corp ノイズ低減音声再生装置およびノイズ低減音声再生方法
JP2010147982A (ja) * 2008-12-22 2010-07-01 Hosiden Corp リモコン付きステレオイヤホンマイク

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100985A (zh) * 2014-05-07 2015-11-25 钰太芯微电子科技(上海)有限公司 多个麦克风共享同一模拟总线的耳机装置
CN105100985B (zh) * 2014-05-07 2019-01-18 钰太芯微电子科技(上海)有限公司 多个麦克风共享同一模拟总线的耳机装置
US20210287674A1 (en) * 2020-03-16 2021-09-16 Knowles Electronics, Llc Voice recognition for imposter rejection in wearable devices

Also Published As

Publication number Publication date
EP2790416A1 (en) 2014-10-15
US20220103936A1 (en) 2022-03-31
US20180176681A1 (en) 2018-06-21
US11765497B2 (en) 2023-09-19
EP2790416B1 (en) 2017-11-15
US11070910B2 (en) 2021-07-20
CN103959813A (zh) 2014-07-30
CN103959813B (zh) 2018-11-16
EP3291574A1 (en) 2018-03-07
US20160127825A1 (en) 2016-05-05
US20140321688A1 (en) 2014-10-30
JP2013121106A (ja) 2013-06-17
US9237392B2 (en) 2016-01-12
US9918162B2 (en) 2018-03-13
US20230388703A1 (en) 2023-11-30
EP2790416A4 (en) 2015-07-29
JP6069830B2 (ja) 2017-02-01

Similar Documents

Publication Publication Date Title
US11765497B2 (en) Earhole-wearable sound collection device, signal processing device, and sound collection method
JP6069829B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
JP6017825B2 (ja) 特に「ハンズフリー」電話システム向けの近接音声信号を雑音除去するための手段を有するマイクロホンとイヤホンの組合せ型のオーディオ・ヘッドセット
US9949048B2 (en) Controlling own-voice experience of talker with occluded ear
US8675884B2 (en) Method and a system for processing signals
JP6315046B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
US9398366B2 (en) Handset and headset
CN110856072B (zh) 一种耳机通话降噪方法及耳机
JP2015204627A (ja) 電気的ヒスを低減するanc能動雑音制御オーディオヘッドセット
JP6197930B2 (ja) 耳孔装着型収音装置、信号処理装置、収音方法
JP2014514609A (ja) 改善されたオーディオのための統合されたサイコアコースティック・バス・エンハンスメント(pbe)
CN110782912A (zh) 音源的控制方法以及扬声设备
EP3213527A1 (en) Self-voice occlusion mitigation in headsets
EP3840402B1 (en) Wearable electronic device with low frequency noise reduction
US20230169948A1 (en) Signal processing device, signal processing program, and signal processing method
JP2023173365A (ja) スピーカ装置及びスピーカシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12854783

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012854783

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14360948

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE