WO2025045956A1 - Method for processing ambient sound which is captured by an audio device that can be worn on or in the ear, and corresponding device - Google Patents
Method for processing ambient sound which is captured by an audio device that can be worn on or in the ear, and corresponding device Download PDFInfo
- Publication number
- WO2025045956A1 WO2025045956A1 PCT/EP2024/074093 EP2024074093W WO2025045956A1 WO 2025045956 A1 WO2025045956 A1 WO 2025045956A1 EP 2024074093 W EP2024074093 W EP 2024074093W WO 2025045956 A1 WO2025045956 A1 WO 2025045956A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- ear
- factor
- audio device
- sound
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 210000000613 ear canal Anatomy 0.000 claims abstract description 21
- 210000003454 tympanic membrane Anatomy 0.000 claims description 37
- 230000005236 sound signal Effects 0.000 claims description 14
- 230000003111 delayed effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000009423 ventilation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 206010011878 Deafness Diseases 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 208000016354 hearing loss disease Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1016—Earpieces of the intra-aural type
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
- G10K2210/10—Applications
- G10K2210/108—Communication systems, e.g. where useful sound is kept and noise is cancelled
- G10K2210/1081—Earphones, e.g. for telephones, ear protectors or headsets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/05—Electronic compensation of the occlusion effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
Definitions
- the present invention relates to a method for processing ambient sound which is recorded using an audio device that can be worn on or in the ear.
- the audio device that can be worn on or in the ear can be headphones or a hearing aid, but can also be other audio devices, such as hearing protection, glasses with audio function or a headset.
- the present invention also relates to a corresponding device.
- Headphones with an ambient mode compensate for the passive attenuation of ambient sound caused by the headphones.
- Such an ambient mode can, for example, aim to make ambient sound sound as if no headphones were being worn when headphones with an active ambient mode are worn.
- Such an ambient mode can also be used with hearing aids that are used to compensate for hearing loss or to improve speech intelligibility in noisy environments.
- Both headphones with an ambient mode and hearing aids with an ambient mode are also referred to below as portable audio devices with an ambient mode. It goes without saying that these can be worn on or in the ear and are therefore not explicitly mentioned for the sake of simplicity.
- the portable audio device can also include, for example, hearing protection, glasses with an audio function or a headset.
- a portable audio device with an ambient mode the ambient sound is recorded by an external microphone, converted into a digital signal by an analog-digital converter, processed on a digital signal processor, then converted into an analog signal by a digital-analog converter and played back via one or more loudspeakers of the portable audio device.
- an external microphone which can be used to reduce body and ambient sound in the ear canal using a feedback controller. To achieve the most natural hearing result possible, it is crucial which sound reaches the eardrum. This sound depends in particular on the passive sound, the ambient sound passively dampened by the portable audio device, and the active sound reproduced by the loudspeaker.
- Both the passive damping characteristics and the transfer function from the loudspeaker to the eardrum depend on the respective fit of the portable audio device for the individual user.
- the individual fit can, for example, lead to unpleasant exaggerations or unnatural dampening of frequencies compared to the open ear.
- fine adjustment of the volume, timbre and amplification at different frequencies of the hearing aid is necessary, which is often carried out by a hearing aid acoustician at great expense and time.
- a reference signal is generated from the recorded ambient sound; a measurement signal is generated from the sound recorded in the ear canal of a user of the audio device that can be worn on or in the ear; the reference signal is processed into a first signal and the measurement signal into a second signal; a factor is determined based on the first and second signals, so that a measure of the signal strength of the second signal is adjusted to a measure of the signal strength of the first signal; a third signal based on the reference signal is weighted with the determined factor; and the third signal weighted with the determined factor is output.
- first and second signals are divided into frequency bands to generate first and second band signals
- a factor is determined for each band based on the respective first and second band signals, so that a measure of the signal strength of the respective second band signal is adjusted to a measure of the signal strength of the respective first band signal;
- the determined factors or a filter based on the determined factors are applied to the third signal in such a way that the third signal is weighted by the factors in corresponding frequency bands;
- the third signal is divided into frequency bands to generate third band signals
- the reference signal is processed into a first signal and the measurement signal is processed into a second signal such that the ratio of the signal strength of the first and second signals corresponds to the ratio of the sound pressure level at the eardrum of the user with an open ear canal and one closed by the audio device worn on or in the ear.
- the first signal is additionally processed by an amplification factor, dynamic processing, and/or noise suppression.
- the factor is calculated recursively as a quotient of a measure of the signal strength of the first signal weighted with the factor and the second signal.
- the third signal weighted with the factor is delayed and the factor is used as a quotient of a measure of the signal strength the delayed third signal multiplied by the factor and the second signal.
- Fig. 7 shows schematically the magnitude response of individual bandpass filters of a filter bank
- Fig. 11 shows a block diagram of a hybrid portable audio device with an inventive processing of an ambient sound detected by a sensor.
- Fig. 1 shows an example of a portable audio device 10 in the form of an in-ear headphone, in which the method according to the invention can be carried out.
- the in-ear headphone 10 sits, held by an ear insert 17, in the ear canal 15 of a user and seals it completely or partially acoustically.
- the ear canal 15 can be more or less strongly opened by a ventilation 18.
- the portable audio device 10 can also have targeted ventilation in the housing or in the earpiece 17.
- the headphones 10 are equipped with at least one reference sensor in the form of an external microphone 11, which detects the ambient sound and generates a reference signal based on this. Furthermore, at least one measuring sensor in the form of an inward-facing microphone 12 is provided on the side of the headphones directed in the ear canal towards the eardrum 16, with which the sound in the ear canal is detected and a measuring signal is generated based on this.
- the headphones 10 are equipped with at least one processor 14, which processes the ambient sound recorded by the external microphone 11 according to the invention.
- the at least one processor 14 can in particular be one or more digital signal processors. Based on the ambient sound processed by the processor 14, an audio signal is then reproduced via the loudspeaker 13 inside the headphones.
- the processed ambient sound reproduced via the loudspeaker can then, for example, result in users being able to hear their surroundings clearly when wearing a portable audio device 10 despite the passive attenuation of ambient sound caused by the ear insert, or in compensating for a user's hearing loss, or in protecting the user's hearing from short-term loud noises.
- the acoustic impedance driven by the loudspeaker 13 may depend not only on the ventilation 18 but also on other individual factors such as the geometry of the ear or the impedance of the user's eardrum.
- the transfer function from the loudspeaker 13 to the inner microphone 12 and to the eardrum 16 may differ from user to user.
- the passive damping characteristics of the portable audio device 10 may differ from person to person. For example, for a larger ventilation 18, more ambient sound can passively reach the eardrum 16. These individual acoustic properties may lead to an undesirable sound pressure level at the eardrum 16.
- a target level can be determined which should be present at the eardrum regardless of the individual acoustic properties. Based on the measurement signal, however, an actual level can be determined which is currently present at the eardrum and is subject to the individual acoustic properties.
- One aim of the method according to the invention is to adjust the actual level to the target level.
- Fig. 2 shows a schematic flow chart of the method according to the invention with the basic steps for processing ambient sound detected by a sensor of an audio device that can be worn on or in the ear. This can be used in particular for individualizing a transparency mode in headphones or a hearing aid, but is not limited to this.
- sensor signals are recorded in a first step S1.
- an external microphone records ambient sound and generates a reference signal
- an internal microphone records the sound in the ear canal and generates a measurement signal.
- the reference and measurement signals are each pre-processed into a first and a second signal.
- a factor is calculated based on the first and second signals.
- a third signal based on the reference signal is weighted with this factor.
- the third signal weighted with the determined factor is output. The weighting with the determined factor can be done in particular by multiplying by the factor.
- Steps S1 to S5 can then be followed by further processing steps not shown in the flow chart, such as a digital-to-analog conversion and subsequent playback via one or more loudspeakers.
- the invention is explained in more detail below using several block diagrams that represent implementations of various embodiments of the method.
- the block diagrams each illustrate the signal flow and, through the blocks shown, elements for processing the signals.
- the functions of the various elements shown in the figures can be provided by corresponding software modules or dedicated hardware units of a processor.
- the function of individual blocks is described only once for reasons of clarity, provided that it does not differ in the various block diagrams.
- Fig. 3 shows a first block diagram of an inventive processing of an ambient sound detected by a sensor.
- the reference signal x(n) of the external microphone is filtered by an equalizer 25 in order to obtain the open eardrum signal o(n)
- the open eardrum signal corresponds to an estimate of the signal that would arrive at the eardrum without wearing the portable audio device.
- the measurement signal e(n) is filtered with the equalizer 24 to generate the closed eardrum signal c(n).
- the closed eardrum signal corresponds to an estimate of the signal that currently arrives at the eardrum when wearing the portable audio device.
- the equalizers can be determined, for example, by artificial head measurements. To do this, the signal at the open eardrum microphone of an artificial head can first be measured for a defined external excitation signal, with the portable audio device not inserted. The device can then be inserted and, with the same excitation, the signal from the external and internal microphones as well as the signal from the closed eardrum microphone can be recorded. The equalizer 25 can then be determined as a relative transfer function from the external microphone signal to the open eardrum signal, and the equalizer 24 as a relative transfer function from the internal microphone signal to the closed eardrum signal.
- the signal strengths o 0 and a c can be calculated based on the open and closed eardrum signals o(n) and c(n), which correspond to the ratio of the sound pressure levels at the open and closed eardrum.
- the signal x(ri) can then be further processed and reproduced via a loudspeaker 13 of the portable audio device 10. It is assumed that the sound pressure level at the eardrum caused by the signal x(n) is above the Sound pressure level of the ambient sound that reaches the eardrum via other paths. This assumption applies in particular when high frequency components of the ambient sound are attenuated by the passive attenuation of the portable audio device 10 and low frequency components of the ambient sound are attenuated, for example by a feedback controller 52, as shown in Fig. 11.
- the signal strength of the measurement signal u e (n) is proportional to the signal strength of the modified signal u ⁇ (n), which corresponds approximately to the signal strength of the reference signal scaled by the factor: o e ) ⁇ Ox ) ⁇ g(n)a x (n)
- the factor can, for example, either be divided by the factor delayed by a delay element 21 before calculating the signal strength of the closed eardrum signal c(n) by an estimator 22', or, as shown in Fig. 3, be multiplied by the factor before calculating the signal strength of the open eardrum signal x(n) by an estimator 22' in order to calculate the signal strength cr 0 > (n).
- the factor g(n) can then be calculated in block 23, for example as a quotient of these signal strengths:
- the sound pressure level at the eardrum when wearing the portable audio device (actual level) is then adjusted, using the previously described equalizers 24 and 25, to the sound pressure level at the eardrum that would be present without wearing the portable audio device (target level).
- the equalizers 24 and 25 can also be designed differently than previously described in order to achieve a different goal, such as acoustic transparency.
- block 25 can also include dynamic processing or Noise reduction may include noise reduction to determine an improved target level that will protect the user's hearing from loud noises or provide hearing improvement. An example of this is shown in Fig. 10.
- Fig. 4 shows a second block diagram of an inventive processing of ambient sound detected by a sensor.
- the equalizer 24 can implement a transfer function which corresponds to the quotient of the transfer functions of the equalizers 25 and 24, as previously explained in relation to Fig. 2.
- the ratio of the signal strength of the equalized measurement signal and the reference signal still corresponds to the ratio of the sound pressure level at the open and closed eardrum, so that the equalizer 25 can be dispensed with.
- This saving is particularly advantageous when the method is used in a filter bank structure, since this means that either an additional filter bank or duplicates of the equalizer 25 can be dispensed with.
- Fig. 5 shows a third block diagram of an inventive processing of an ambient sound detected by a sensor.
- the factor is not calculated based on the signal strength of the reference signal multiplied by the delayed factor, but instead on the signal strength of the modified signal x(n) delayed by a delay element 21. This makes it possible to save a multiplication 26.
- Fig. 6 shows a block diagram of a block 20 according to the invention for calculating the factor g(n), which can be used, for example, in the following filter bank implementations.
- This structure is characterized in that it receives a measurement signal e k (n) that has already been modified, for example by an equalizer 24, as well as a reference signal x k (n) and only outputs a factor g k (n).
- Fig. 7 shows an example of the magnitude response 30 of a filter bank which divides an input signal into K frequency bands.
- Each filter with the impulse response b k (n) of the filter bank should ideally be designed in such a way that it blocks frequency components of the input signal below a lower limit frequency f gk and above an upper limit frequency f g , k+1 , and allows frequency components between f gk and f g , k+1 to pass through without distortion.
- the sum of the bandpass filters should be 30 Ideally, sf ⁇ fg :1 ⁇ fg :K+1 otherwise, so that there are no unwanted cancellations or amplifications, especially in the transition areas when the bandpass filters are connected in parallel.
- Fig. 8 shows a block diagram of a device according to the invention for using a block 20 in a filter bank structure 40.
- the reference and measurement signals are filtered by respective equalizers 24, 25 and converted into a modified reference and measurement signal.
- the modified reference signal and the modified measurement signal are each divided into band signals x k (n) and e k (n) by a filter bank analysis 41. These band signals are then fed to an algorithm 20, for example as shown in Fig. 6, in order to calculate a factor g k (n) for each band.
- the bold lines in the block diagram show that these are multi-channel signals and factors.
- the factors are then fed to a unit 45 which filters x (n) so that x (n) is weighted with the factors g k (n) in corresponding frequency bands.
- the coefficients of the filter can be calculated, selected or otherwise determined based on the factors g k (n).
- filtering in the frequency domain can be implemented with appropriate weighting of frequency coefficients.
- Fig. 9 shows another form of implementation of unit 45 by weighting band signals.
- Implementing the method in a filter bank structure is advantageous because different factors can be applied in different frequency bands. For example, in a single-channel implementation of the method, it may occur more frequently that that the measurement level is too low at low frequencies and too high at high frequencies compared to the reference level, but these deviations cannot be compensated at the same time.
- Fig. 9 shows a further block diagram of a device according to the invention for using a block 20 in a filter bank structure 40.
- the measurement signal is filtered by an equalizer 24.
- the reference signal and the modified measurement signal are each divided into band signals x k (n) and e k (n) by a filter bank analysis 41 and fed to an algorithm 20.
- the unit for filtering the reference signal 45 from Fig. 8 is designed in this case such that the factors per band are multiplied by the reference band signals x k (n) and then summed in a filter bank synthesis step 42 and output in the form of x(n).
- Fig. 10 shows a further block diagram of a device according to the invention for applying a weighting algorithm 20 in a filter bank structure 44.
- the reference band signals x k (n) which are fed to the algorithm 20 are first processed by a block 43, whereby the signal strength of the reference band signals fed to the algorithm is modified.
- the block can correspond, for example, to a dynamic compression, a noise reduction or a simple scaling. This can protect the user's hearing from loud noises and/or improve hearing through a noise-reduced ambient signal and/or adjust the sound perception through user settings.
- the parameters of block 43 can also be configured by users. For example, users can select a factor with which the reference band signals are scaled in block 43. Since the factors of the algorithm in block 20 are calculated based on the scaled reference band signals, and the reference band signals are in turn scaled with the factors of the algorithm before synthesis 42, the measurement level, and accordingly the sound pressure level at the user's eardrum when wearing the portable audio device, is scaled according to the reference level modified by the user. Accordingly, the reference band signals can be cleaned by noise reduction or compressed by a dynamic compressor, so that the measurement level is adjusted by algorithm 20 according to this noise reduction or dynamic compression.
- Such a process 43 can also be integrated into the single-channel methods shown in Fig. 3 and Fig. 4, for example in Fig. 3 behind the equalizer 25, or in Fig. 4 after the branching of the reference signal and before the multiplication 26 with the delayed factor.
- Fig. 11 shows a block diagram of a hybrid portable audio device 10 with method 44 according to the invention, here using the filter bank structure from Fig. 10 as an example.
- the portable audio device is equipped with an external microphone 11, an internal microphone 12 and a loudspeaker 13.
- An audio signal a(n) can be filtered via an equalizer 50 and then played back via the loudspeaker 13.
- the signal e(n) of the internal microphone 12 is calculated with the output signal of a secondary path estimation 53, filtered by a feedback controller 52, and also played back via the loudspeaker 13. Since the signal played back by the loudspeaker 13 into the ear canal is recorded by the internal microphone 12, a closed control loop is formed with the controller 52.
- the controller 52 can be designed so that sound in the ear canal, for example passively dampened ambient sound or structure-borne sound, is dampened in certain frequency ranges. In this way, for example, the occlusion effect caused by the closure of the ear canal can be compensated.
- the secondary path estimate 53 corresponds to an estimate of the transfer function from the loudspeaker 13 to the internal microphone 12, the so-called secondary path.
- the secondary path estimate 53 can be used to reduce the influence of the controller 52 on the audio signal a(n) or the output signal of the forward filter 51.
- the switch 54 can be set so that in switch position 1 only the equalized audio signal, in position 2 no signal, and in position 3 the sum of the equalized audio signal and the output signal of the forward filter is fed to the secondary path estimate.
- the signals from the external microphone 11 and internal microphone 12 are fed to the device 44, the processed ambient sound signal is output by the device 44 and filtered by a forward filter 51 before it is reproduced via the loudspeaker together with the signal from the controller 52 and the equalizer 50.
- the forward filter can be designed so that the ambient sound The sound pressure level at the eardrum when wearing the portable audio device 10 corresponds to the sound pressure level that would be present at the eardrum if no portable audio device were worn.
- the forward filter can also be of a different nature.
- the sound pressure level can only be implemented in a certain frequency range corresponding to the open ear, or a targeted amplification / attenuation can be set.
- the forward filter it is also possible to apply the forward filter to the signal from the external microphone first before it is fed to process 44. A further forward filter after the process is then not necessary. Ideally, the influence of the forward filter should be taken into account when determining equalizers 24 and 25.
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Headphones And Earphones (AREA)
Abstract
Description
Beschreibung Description
Verfahren zur Verarbeitung von Umgebungsschall, welcher mit einem am oder im Ohr tragbaren Audiogerät erfasst wird, und entsprechende Vorrichtung Method for processing ambient sound which is detected by an audio device which can be worn on or in the ear, and corresponding device
Die vorliegende Erfindung betrifft ein Verfahren zur Verarbeitung von Umgebungsschall, welcher mit einem am oder im Ohr tragbaren Audiogerät erfasst wird. Bei dem am oder im Ohr tragbaren Audiogerät kann es sich hierbei insbesondere um einen Kopfhörer oder ein Hörgerät, aber auch um andere Audiogeräte, wie beispielsweise einen Gehörschutz, eine Brille mit Audiofunktion oder eine Hörsprechgarnitur, handeln. Die vorliegende Erfindung betrifft weiterhin eine entsprechende Vorrichtung. The present invention relates to a method for processing ambient sound which is recorded using an audio device that can be worn on or in the ear. The audio device that can be worn on or in the ear can be headphones or a hearing aid, but can also be other audio devices, such as hearing protection, glasses with audio function or a headset. The present invention also relates to a corresponding device.
Ein Kopfhörer mit einem Ambientmodus (auch Transparenz-, Hear-Through- oder Pass- Through- Modus) kompensiert die durch den Kopfhörer hervorgerufene passive Dämpfung von Umgebungsschall. Ein solcher Ambientmodus kann beispielsweise das Ziel verfolgen, Umgebungsschall beim Tragen eines Kopfhörers mit einem aktiven Ambientmodus so klingen zu lassen, als ob kein Kopfhörer getragen würde. Auch bei Hörgeräten, die dazu dienen, einen Hörverlust auszugleichen oder die Sprachverständlichkeit in lauten Umgebungen zu verbessern, kann ein solcher Ambientmodus eingesetzt werden. Sowohl ein Kopfhörer mit einem Ambientmodus als auch ein Hörgerät mit einem Ambientmodus werden im Folgenden auch kurz als tragbares Audiogerät mit einem Ambientmodus bezeichnet, dass diese am oder im Ohr tragbar sind, versteht sich von selbst und wird daher zur Vereinfachung nicht jeweils explizit erwähnt. Ferner kann das tragbare Audiogerät beispielsweise auch einen Gehörschutz, eine Brille mit Audiofunktion oder eine Hörsprechgarnitur umfassen. Headphones with an ambient mode (also known as transparency, hear-through or pass-through mode) compensate for the passive attenuation of ambient sound caused by the headphones. Such an ambient mode can, for example, aim to make ambient sound sound as if no headphones were being worn when headphones with an active ambient mode are worn. Such an ambient mode can also be used with hearing aids that are used to compensate for hearing loss or to improve speech intelligibility in noisy environments. Both headphones with an ambient mode and hearing aids with an ambient mode are also referred to below as portable audio devices with an ambient mode. It goes without saying that these can be worn on or in the ear and are therefore not explicitly mentioned for the sake of simplicity. Furthermore, the portable audio device can also include, for example, hearing protection, glasses with an audio function or a headset.
Bei einem tragbaren Audiogerät mit einem Ambientmodus wird der Umgebungsschall durch ein äußeres Mikrofon aufgezeichnet, durch einen Analog-Digital-Wandler in ein digitales Signal umgewandelt, auf einem digitalen Signalprozessor prozessiert, anschließend durch einen Digital-Analog-Wandler in ein analoges Signal umgewandelt und über einen oder mehrere Lautsprecher des tragbaren Audiogeräts wiedergegeben. Eine solches tragbares Audiogerät verfügt dabei, zusätzlich zu dem mindestens einen Lautsprecher und dem mindestens einen äußeren Mikrofon, über ein inneres Mikrofon, welches genutzt werden kann, um durch einen rückgekoppelten Regler im Gehörgang anliegenden Körper- und Umgebungsschall zu reduzieren. Für ein möglichst natürliches Hörergebnis ist entscheidend, welcher Schall am Trommelfell ankommt. Dieser Schall hängt dabei insbesondere von dem Passivschall, dem passiv durch das tragbare Audiogerät gedämpften Umgebungsschall, sowie von dem vom Lautsprecher wiedergegebenen Aktivschall ab. Sowohl die passive Dämpfungscharakteristik als auch die Transferfunktion vom Lautsprecher zum Trommelfell hängt von der jeweiligen Passform des tragbaren Audiogeräts für den individuellen Nutzer ab. Bei einem klassischen Ambientmodus für Kopfhörer kann es durch die individuelle Passform beispielsweise zu unangenehmen Überhöhungen oder unnatürlichen Dämpfungen von Frequenzen gegenüber dem offenen Ohr kommen. Um solche störenden Effekte bei einem Hörgerät zu vermeiden, ist eine Feineinstellung der Lautstärke, Klangfarbe und Verstärkung bei verschiedenen Frequenzen des Hörgeräts erforderlich, die oft unter Zeitaufwand und Kosten durch einen Hörgeräteakustiker durchgeführt wird. In a portable audio device with an ambient mode, the ambient sound is recorded by an external microphone, converted into a digital signal by an analog-digital converter, processed on a digital signal processor, then converted into an analog signal by a digital-analog converter and played back via one or more loudspeakers of the portable audio device. In addition to the at least one loudspeaker and the at least one external microphone, such a portable audio device has an internal microphone, which can be used to reduce body and ambient sound in the ear canal using a feedback controller. To achieve the most natural hearing result possible, it is crucial which sound reaches the eardrum. This sound depends in particular on the passive sound, the ambient sound passively dampened by the portable audio device, and the active sound reproduced by the loudspeaker. Both the passive damping characteristics and the transfer function from the loudspeaker to the eardrum depend on the respective fit of the portable audio device for the individual user. In a classic ambient mode for headphones, the individual fit can, for example, lead to unpleasant exaggerations or unnatural dampening of frequencies compared to the open ear. In order to avoid such disturbing effects with a hearing aid, fine adjustment of the volume, timbre and amplification at different frequencies of the hearing aid is necessary, which is often carried out by a hearing aid acoustician at great expense and time.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren und eine entsprechende Vorrichtung zur Verfügung zu stellen, welches ein möglichst natürliches Hörergebnis auch bei einem teilweisen oder vollständigen Ohrverschluss durch ein am oder im Ohr getragenen Audiogerät ermöglicht. It is an object of the invention to provide an improved method and a corresponding device which enables the most natural hearing result possible even when the ear is partially or completely blocked by an audio device worn on or in the ear.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine entsprechende Vorrichtung gemäß Anspruch 10 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche. This object is achieved by a method having the features of claim 1 and a corresponding device according to claim 10. Preferred embodiments of the invention are the subject of the dependent claims.
Bei einem erfindungsgemäßen Verfahren zur Verarbeitung von Umgebungsschall, welcher mit einem am oder im Ohr tragbaren Audiogerät erfasst wird, werden die folgenden Schritte ausgeführt: aus dem erfassten Umgebungsschall wird ein Referenzsignal erzeugt; aus dem erfassten Schall im Gehörgang eines Nutzers des am oder im Ohr tragbaren Audiogeräts wird ein Messsignal erzeugt; das Referenzsignal wird zu einem ersten Signal und das Messsignal zu einem zweiten Signal verarbeitet; es wird ein Faktor basierend auf dem ersten und zweiten Signal ermittelt, sodass ein Maß für die Signalstärke des zweiten Signals an ein Maß für die Signalstärke des ersten Signals angeglichen wird; es wird ein auf dem Referenzsignal basierendes drittes Signal mit dem ermittelten Faktor gewichtet; und es wird das mit dem ermittelten Faktor gewichtete dritte Signal ausgegeben. Gemäß einer bevorzugten Ausführungsform der Erfindung In a method according to the invention for processing ambient sound which is recorded with an audio device that can be worn on or in the ear, the following steps are carried out: a reference signal is generated from the recorded ambient sound; a measurement signal is generated from the sound recorded in the ear canal of a user of the audio device that can be worn on or in the ear; the reference signal is processed into a first signal and the measurement signal into a second signal; a factor is determined based on the first and second signals, so that a measure of the signal strength of the second signal is adjusted to a measure of the signal strength of the first signal; a third signal based on the reference signal is weighted with the determined factor; and the third signal weighted with the determined factor is output. According to a preferred embodiment of the invention
- wird das erste und zweite Signal in Frequenzbänder aufgeteilt, um erste und zweite Bandsignale zu erzeugen; - the first and second signals are divided into frequency bands to generate first and second band signals;
- wird pro Band ein Faktor basierend auf dem jeweiligen ersten und zweiten Bandsignal ermittelt, sodass ein Maß für die Signalstärke des jeweiligen zweiten Bandsignals an ein Maß für die Signalstärke des jeweiligen ersten Bandsignals angeglichen wird; - a factor is determined for each band based on the respective first and second band signals, so that a measure of the signal strength of the respective second band signal is adjusted to a measure of the signal strength of the respective first band signal;
- werden die ermittelten Faktoren oder ein auf den ermittelten Faktoren basierendes Filter so auf das dritte Signal angewendet, dass das dritte Signal in entsprechenden Frequenzbändern mit den Faktoren gewichtet wird; - the determined factors or a filter based on the determined factors are applied to the third signal in such a way that the third signal is weighted by the factors in corresponding frequency bands;
- wird das gewichtete dritte Signal ausgegeben. - the weighted third signal is output.
Gemäß einer weiteren bevorzugten Ausführungsform der Erfindung According to a further preferred embodiment of the invention
- wird das dritte Signal in Frequenzbänder aufgeteilt, um dritte Bandsignale zu erzeugen; - the third signal is divided into frequency bands to generate third band signals;
- werden die dritten Bandsignale mit den jeweiligen ermittelten Faktoren multipliziert;- the third band signals are multiplied by the respective determined factors;
- werden die mit den jeweiligen ermittelten Faktoren multiplizierten Bandsignale summiert; - the band signals multiplied by the respective determined factors are summed;
- wird das Summensignal ausgegeben. - the sum signal is output.
Gemäß einer weiteren bevorzugten Ausführungsform wird hierbei das Referenzsignal so zu einem ersten Signal und das Messsignal so zu einem zweiten Signal verarbeitet, dass das Verhältnis der Signalstärke des ersten und zweiten Signals dem Verhältnis des Schalldruckpegels am Trommelfell des Nutzers mit offenem und durch das am oder im Ohr tragbare Audiogerät geschlossenem Gehörgang entspricht. According to a further preferred embodiment, the reference signal is processed into a first signal and the measurement signal is processed into a second signal such that the ratio of the signal strength of the first and second signals corresponds to the ratio of the sound pressure level at the eardrum of the user with an open ear canal and one closed by the audio device worn on or in the ear.
Vorteilhafterweise wird hierbei das erste Signal zusätzlich durch einen Verstärkungsfaktor, eine Dynamikprozessierung, und/oder eine Störgeräuschunterdrückung verarbeitet. Advantageously, the first signal is additionally processed by an amplification factor, dynamic processing, and/or noise suppression.
Gemäß einer weiteren bevorzugten Ausführungsform wird der Faktor rekursiv als Quotient eines Maßes der Signalstärke des mit dem Faktor gewichteten ersten Signals und des zweiten Signals berechnet. According to a further preferred embodiment, the factor is calculated recursively as a quotient of a measure of the signal strength of the first signal weighted with the factor and the second signal.
Gemäß einer nochmals weiteren bevorzugten Ausführungsform wird das mit dem Faktor gewichtete dritte Signal verzögert und der Faktor als Quotient eines Maßes der Signalstärke des mit dem Faktor multiplizierten, verzögerten dritten Signals und des zweiten Signals berechnet. According to yet another preferred embodiment, the third signal weighted with the factor is delayed and the factor is used as a quotient of a measure of the signal strength the delayed third signal multiplied by the factor and the second signal.
Vorteilhafterweise wird das ausgegebene Signal durch ein Vorwärtsfilter gefiltert und anschließend über einen Lautsprecher des am oder im Ohr tragbaren Audiogeräts wiedergegeben. Advantageously, the output signal is filtered by a forward filter and then reproduced via a loudspeaker of the on- or in-ear audio device.
Gemäß einer weiteren Ausführungsform der Erfindung wird das Referenzsignal, bevor es zu dem ersten Signal verarbeitet wird, durch ein Vorwärtsfilter gefiltert und das ausgegebene Signal über einen Lautsprecher des am oder im Ohr tragbaren Audiogeräts wiedergegeben. According to a further embodiment of the invention, the reference signal is filtered by a forward filter before it is processed into the first signal and the output signal is reproduced via a loudspeaker of the on- or in-ear audio device.
Insbesondere erfolgt vorteilhafterweise in einem Ambientmodus des am oder im Ohr tragbaren Audiogeräts eine zumindest teilweise Kompensation einer durch das am oder im Ohr tragbare Audiogerät hervorgerufenen passive Dämpfung des Umgebungsschalls, die an den Nutzer des am oder im Ohr tragbaren Audiogeräts individuell angepasst ist. In particular, in an ambient mode of the audio device that can be worn on or in the ear, at least partial compensation of a passive attenuation of the ambient sound caused by the audio device that can be worn on or in the ear is advantageously carried out, which is individually adapted to the user of the audio device that can be worn on or in the ear.
Entsprechend umfasst eine erfindungsgemäße Vorrichtung zur Verarbeitung von Umgebungsschall, welcher mit einem am oder im Ohr tragbaren Audiogerät erfasst wird, einen Prozessor, der konfiguriert ist, um: aus dem erfassten Umgebungsschall ein Referenzsignal zu erzeugen; aus dem erfassten Schall im Gehörgang eines Nutzers des am oder im Ohr tragbaren Audiogeräts ein Messsignal zu erzeugen; das Referenzsignal zu einem ersten Signal und das Messsignal zu einem zweiten Signal zu verarbeiten; einen Faktor basierend auf dem ersten und zweiten Signal zu ermitteln, sodass ein Maß für die Signalstärke des zweiten Signals an ein Maß für die Signalstärke des ersten Signals angeglichen wird; ein auf dem Referenzsignal basierendes drittes Signal mit dem ermittelten Faktor zu gewichten; und das mit dem ermittelten Faktor gewichtete dritte Signal auszugeben. Accordingly, a device according to the invention for processing ambient sound which is detected with an audio device that can be worn on or in the ear comprises a processor that is configured to: generate a reference signal from the detected ambient sound; generate a measurement signal from the detected sound in the ear canal of a user of the audio device that can be worn on or in the ear; process the reference signal into a first signal and the measurement signal into a second signal; determine a factor based on the first and second signals so that a measure of the signal strength of the second signal is adjusted to a measure of the signal strength of the first signal; weight a third signal based on the reference signal with the determined factor; and output the third signal weighted with the determined factor.
Gemäß einer Ausführungsform der Erfindung umfasst die erfindungsgemäße Vorrichtung einen Referenzsensor zur Erfassung des Umgebungsschalls und Erzeugung eines auf dem erfassten Umgebungsschall basierenden Referenzsignals; einen Messsensor zur Erfassung des Schalls im Gehörgang eines Nutzers des am oder im Ohr tragbaren Audiogeräts und Erzeugung eines auf dem erfassten Schall basierenden Messsignals; und einen Lautsprecher zur Wiedergabe eines Audiosignals basierend auf dem von dem Prozessor verarbeiteten Umgebungsschall. According to one embodiment of the invention, the device according to the invention comprises a reference sensor for detecting the ambient sound and generating a reference signal based on the detected ambient sound; a measuring sensor for detecting the sound in the ear canal of a user of the on-ear or in-ear audio device and generating a measuring signal based on the detected sound; and a loudspeaker for reproducing an audio signal based on the ambient sound processed by the processor.
Hierbei ist der Prozessor vorteilhafterweise konfiguriert, mindestens eine Filterbank zur Aufteilung des ersten und zweiten Signals in Frequenzbänder anzuwenden. The processor is advantageously configured to use at least one filter bank to divide the first and second signals into frequency bands.
Weiterhin kann der Prozessor konfiguriert sein, die mindestens eine Filterbank zusätzlich zur Aufteilung des dritten Signals in Frequenzbänder anzuwenden. Furthermore, the processor may be configured to apply the at least one filter bank in addition to dividing the third signal into frequency bands.
Die erfindungsgemäße Vorrichtung kann insbesondere in das am oder im Ohr tragbare Audiogerät integriert sein. The device according to the invention can in particular be integrated into the audio device worn on or in the ear.
Insbesondere kann das am oder im Ohr tragbare Audiogerät als Kopfhörer oder Hörgerät ausgestaltet sein. In particular, the audio device worn on or in the ear can be designed as headphones or a hearing aid.
Die Erfindung betrifft auch ein Computerprogramm mit Instruktionen, die einen Computer zur Ausführung der Schritte des erfindungsgemäßen Verfahrens veranlassen. The invention also relates to a computer program with instructions which cause a computer to carry out the steps of the method according to the invention.
Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den Ansprüchen in Verbindung mit den Figuren ersichtlich. Further features of the present invention will become apparent from the following description and claims taken in conjunction with the figures.
Fig. 1 zeigt schematisch einen Im-Ohr-Kopfhörer im Gehörgang mit wesentlichen elektronischen Komponenten; Fig. 1 shows schematically an in-ear headphone in the ear canal with essential electronic components;
Fig. 2 zeigt schematisch ein Ablaufdiagramm des erfindungsgemäßen Verfahrens; Fig. 2 shows schematically a flow chart of the method according to the invention;
Fig. 3 zeigt ein erstes Blockdiagramm einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls; Fig. 3 shows a first block diagram of an inventive processing of an ambient sound detected by a sensor;
Fig. 4 zeigt ein zweites Blockdiagramm einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls; Fig. 5 zeigt ein drittes Blockdiagramm einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls; Fig. 4 shows a second block diagram of an inventive processing of an ambient sound detected by a sensor; Fig. 5 shows a third block diagram of an inventive processing of an ambient sound detected by a sensor;
Fig. 6 zeigt ein Blockdiagramm einer erfindungsgemäßen Berechnung eines Faktors; Fig. 6 shows a block diagram of a calculation of a factor according to the invention;
Fig. 7 zeigt schematisch den Magnitudengang einzelner Bandpassfilter einer Filterbank; Fig. 7 shows schematically the magnitude response of individual bandpass filters of a filter bank;
Fig. 8 zeigt ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zur Ermittlung der Faktoren in Frequenzbändern; Fig. 8 shows a block diagram of an inventive device for determining the factors in frequency bands;
Fig. 9 zeigt ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zur Anwendung der Faktoren in einer Filterbankstruktur; Fig. 9 shows a block diagram of an apparatus according to the invention for applying the factors in a filter bank structure;
Fig. 10 zeigt ein Blockdiagramm einer weiteren erfindungsgemäßen Vorrichtung zur Anwendung der Gewichtungsvorschrift in einer Filterbankstruktur mit einer Prozessierung des Referenzsignals; Fig. 10 shows a block diagram of another device according to the invention for applying the weighting rule in a filter bank structure with processing of the reference signal;
Fig. 11 zeigt ein Blockdiagramm eines hybriden tragbaren Audiogeräts mit einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls. Fig. 11 shows a block diagram of a hybrid portable audio device with an inventive processing of an ambient sound detected by a sensor.
Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung, wie er in den Ansprüchen definiert ist, zu verlassen. In order to better understand the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. It is understood that the invention is not limited to these embodiments and that the described features can also be combined or modified without departing from the scope of the invention as defined in the claims.
Fig. 1 zeigt exemplarisch ein tragbares Audiogerät 10 in der Form eines Im-Ohr- Kopfhörer (engl. In- Ear- Kopfhörer), bei dem das erfindungsgemäße Verfahren durchgeführt werden kann. Das Verfahren kann aber genauso in andersartigen Kopfhörern, Hörgeräten, Gehörschützern, Headsets oder Brillen mit Audiofunktionalität genutzt werden. Der Im-Ohr- Kopfhörer 10 sitzt dabei, gehalten durch einen Ohreinsatz 17, im Gehörgang 15 eines Nutzers bzw. einer Nutzerin und dichtet diesen ganz oder teilweise akustisch ab. Je nach der Passform des Ohreinsatzes 17 für einen individuellen Nutzer, kann der Gehörgang 15 mehr oder weniger stark durch eine Ventilierung 18 geöffnet sein. Das tragbare Audiogerät 10 kann auch im Gehäuse oder im Ohreinsatz 17 über eine gezielte Ventilierung verfügen. Fig. 1 shows an example of a portable audio device 10 in the form of an in-ear headphone, in which the method according to the invention can be carried out. However, the method can also be used in other types of headphones, hearing aids, hearing protectors, headsets or glasses with audio functionality. The in-ear headphone 10 sits, held by an ear insert 17, in the ear canal 15 of a user and seals it completely or partially acoustically. Depending on the fit of the ear insert 17 for an individual user, the ear canal 15 can be more or less strongly opened by a ventilation 18. The portable audio device 10 can also have targeted ventilation in the housing or in the earpiece 17.
Der Kopfhörer 10 ist mit mindestens einem Referenzsensor in Form eines äußeren Mikrofons 11 ausgestattet, welcher den Umgebungsschall erfasst und darauf basierend ein Referenzsignal erzeugt. Weiterhin ist mindestens ein Messsensor in Form eines nach innen gerichteten Mikrofons 12 auf der in dem Gehörgang in Richtung des Trommelfells 16 gerichteten Seite des Kopfhörers vorgesehen, mit dem der Schall im Gehörgang erfasst und darauf basierend ein Messsignal erzeugt wird. Der Kopfhörer 10 ist mit mindestens einem Prozessor 14 ausgestattet, welcher den von dem äußeren Mikrofon 11 aufgezeichneten Umgebungsschall erfindungsgemäß prozessiert. Bei dem mindestens einen Prozessor 14 kann es sich insbesondere um einen oder mehrere digitale Signalprozessoren handeln. Basierend auf dem von dem Prozessor 14 verarbeiteten Umgebungsschall wird dann ein Audiosignal über den kopfhörerinternen Lautsprecher 13 wiedergegeben. Der über den Lautsprecher wiedergegebene verarbeitete Umgebungsschall kann dann beispielsweise dazu führen, dass Nutzer, trotz der, durch den Ohreinsatz hervorgerufenen, passiven Dämpfung von Umgebungsschall beim Tragen eines tragbaren Audiogeräts 10 ihre Umgebung klar hören können, oder dass ein Hörverlust des Nutzers ausgeglichen, oder dass das Gehör des Nutzers vor kurzfristigen lauten Geräuschen geschützt wird. The headphones 10 are equipped with at least one reference sensor in the form of an external microphone 11, which detects the ambient sound and generates a reference signal based on this. Furthermore, at least one measuring sensor in the form of an inward-facing microphone 12 is provided on the side of the headphones directed in the ear canal towards the eardrum 16, with which the sound in the ear canal is detected and a measuring signal is generated based on this. The headphones 10 are equipped with at least one processor 14, which processes the ambient sound recorded by the external microphone 11 according to the invention. The at least one processor 14 can in particular be one or more digital signal processors. Based on the ambient sound processed by the processor 14, an audio signal is then reproduced via the loudspeaker 13 inside the headphones. The processed ambient sound reproduced via the loudspeaker can then, for example, result in users being able to hear their surroundings clearly when wearing a portable audio device 10 despite the passive attenuation of ambient sound caused by the ear insert, or in compensating for a user's hearing loss, or in protecting the user's hearing from short-term loud noises.
Die akustische Impedanz, die der Lautsprecher 13 treibt, kann neben der Ventilierung 18 auch von weiteren individuellen Faktoren wie der Ohrgeometrie oder der Impedanz des Trommelfells des Nutzers abhängen. Dadurch kann sich die Transferfunktion vom Lautsprecher 13 zum inneren Mikrofon 12 sowie zum Trommelfell 16 von Nutzer zu Nutzer unterscheiden. Ebenso kann sich auch die passive Dämpfungscharakteristik des tragbaren Audiogeräts 10 von Person zu Person unterscheiden. Für eine größere Ventilierung 18 kann beispielsweise mehr Umgebungsschall passiv an das Trommelfell 16 gelangen. Diese individuellen akustischen Eigenschaften können zu einem unerwünschten Schalldruckpegel am Trommelfell 16 führen. Die relative Transferfunktion von einem inneren Mikrofon 12 zum Trommelfell 16 sowie der am äußeren Mikrofon 11 anliegen Schalldruckpegel hängen hingegen weniger stark von den individuellen akustischen Eigenschaften ab. The acoustic impedance driven by the loudspeaker 13 may depend not only on the ventilation 18 but also on other individual factors such as the geometry of the ear or the impedance of the user's eardrum. As a result, the transfer function from the loudspeaker 13 to the inner microphone 12 and to the eardrum 16 may differ from user to user. Likewise, the passive damping characteristics of the portable audio device 10 may differ from person to person. For example, for a larger ventilation 18, more ambient sound can passively reach the eardrum 16. These individual acoustic properties may lead to an undesirable sound pressure level at the eardrum 16. The relative transfer function from an inner microphone 12 to the eardrum 16 and the sound pressure level applied to the outer microphone 11, on the other hand, depend less strongly on the individual acoustic properties.
Basierend auf dem Referenzsignal kann ein Sollpegel, welcher am Trommelfell unabhängig von den individuellen akustischen Eigenschaften anliegen soll, ermittelt werden. Basierend auf dem Messsignal kann hingegen ein Istpegel, welcher aktuell am Trommelfell anliegt und den individuellen akustischen Eigenschaften unterliegt, geschätzt werden. Ein Ziel des erfindungsgemäßen Verfahrens ist es nun, den Istpegel an den Sollpegel anzugleichen. Based on the reference signal, a target level can be determined which should be present at the eardrum regardless of the individual acoustic properties. Based on the measurement signal, however, an actual level can be determined which is currently present at the eardrum and is subject to the individual acoustic properties. One aim of the method according to the invention is to adjust the actual level to the target level.
Fig. 2 zeigt schematisch ein Ablaufdiagramm des erfindungsgemäßen Verfahrens mit den grundlegenden Schritten zur Verarbeitung eines mit einem Sensor eines am oder im Ohr tragbaren Audiogeräts erfassten Umgebungsschalls. Dieses kann insbesondere zur Individualisierung eines Transparenzmodus bei einem Kopfhörer oder Hörgerät angewendet werden, ist aber nicht darauf beschränkt. Fig. 2 shows a schematic flow chart of the method according to the invention with the basic steps for processing ambient sound detected by a sensor of an audio device that can be worn on or in the ear. This can be used in particular for individualizing a transparency mode in headphones or a hearing aid, but is not limited to this.
Bei dem Verfahren werden in einem ersten Schritt S1 Sensorsignale erfasst. Dabei wird insbesondere durch ein äußeres Mikrofon Umgebungsschall erfasst und ein Referenzsignal erzeugt, sowie durch ein inneres Mikrofon der Schall im Gehörgang erfasst und ein Messsignal erzeugt. In einem zweiten Schritt S2 wird das Referenz- und Messsignal jeweils zu einem ersten und einem zweiten Signal vorverarbeitet. In einem dritten Schritt S3 wird basierend auf dem ersten und zweiten Signal ein Faktor berechnet. In einem vierten Schritt S4 wird ein, auf dem Referenzsignal basierendes, drittes Signal mit diesem Faktor gewichtet. In einem fünften Schritt S5 wird das mit dem ermittelten Faktor gewichtete dritte Signal ausgegeben. Die Gewichtung mit dem ermittelten Faktor kann hierbei insbesondere durch eine Multiplikation mit dem Faktor erfolgen. In the method, sensor signals are recorded in a first step S1. In particular, an external microphone records ambient sound and generates a reference signal, and an internal microphone records the sound in the ear canal and generates a measurement signal. In a second step S2, the reference and measurement signals are each pre-processed into a first and a second signal. In a third step S3, a factor is calculated based on the first and second signals. In a fourth step S4, a third signal based on the reference signal is weighted with this factor. In a fifth step S5, the third signal weighted with the determined factor is output. The weighting with the determined factor can be done in particular by multiplying by the factor.
An die Schritte S1 bis S5 können sich dann weitere, in dem Ablaufdiagramm nicht dargestellte Verarbeitungsschritte anschließen, wie beispielsweise eine Digital-Analog- Wandlung sowie eine darauf folgende Wiedergabe über einen oder mehrere Lautsprecher. Steps S1 to S5 can then be followed by further processing steps not shown in the flow chart, such as a digital-to-analog conversion and subsequent playback via one or more loudspeakers.
Im Folgenden wird die Erfindung anhand mehrerer Blockdiagramme, die Umsetzungen verschiedener Ausführungsformen des Verfahrens wiedergeben, weiter erläutert. Die Blockdiagramme veranschaulichen jeweils den Signalfluss sowie, durch die dargestellten Blöcke, Elemente zur Verarbeitung der Signale. Die Funktionen der verschiedenen in den Figuren gezeigten Elemente können sowohl durch entsprechende Softwaremodule oder auch dedizierte Hardwareeinheiten eines Prozessors bereitgestellt werden. Die Funktion einzelner Blöcke wird hierbei, soweit sie sich in den verschiedenen Blockdiagrammen nicht unterscheidet, aus Gründen der Übersichtlichkeit nur jeweils einmal beschrieben. The invention is explained in more detail below using several block diagrams that represent implementations of various embodiments of the method. The block diagrams each illustrate the signal flow and, through the blocks shown, elements for processing the signals. The functions of the various elements shown in the figures can be provided by corresponding software modules or dedicated hardware units of a processor. The function of individual blocks is described only once for reasons of clarity, provided that it does not differ in the various block diagrams.
Fig. 3 zeigt ein erstes Blockdiagramm einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls. Dabei wird das Referenzsignal x(n) des äußeren Mikrofons durch einen Equalizer 25 gefiltert, um das offene Trommelfellsignal o(n) zu erzeugen. Das offene Trommelfellsignal entspricht dabei einer Schätzung des Signals, welches am Trommelfell ohne Tragen des tragbaren Audiogeräts ankommen würde. Das Messsignal e(n) wird mit dem Equalizer 24 gefiltert, um das geschlossene Trommelfellsignal c(n) zu erzeugen. Das geschlossene Trommelfellsignal entspricht einer Schätzung des Signals, welches aktuell beim Tragen des tragbaren Audiogeräts am Trommelfell ankommt. Fig. 3 shows a first block diagram of an inventive processing of an ambient sound detected by a sensor. The reference signal x(n) of the external microphone is filtered by an equalizer 25 in order to obtain the open eardrum signal o(n) The open eardrum signal corresponds to an estimate of the signal that would arrive at the eardrum without wearing the portable audio device. The measurement signal e(n) is filtered with the equalizer 24 to generate the closed eardrum signal c(n). The closed eardrum signal corresponds to an estimate of the signal that currently arrives at the eardrum when wearing the portable audio device.
Die Equalizer können beispielsweise durch Kunstkopfmessungen bestimmt werden. Dazu kann für ein definiertes äußeres Anregungssignal zunächst das Signal am offenen Trommelfellmikrofon eines Kunstkopfes gemessen werden, wobei das tragbare Audiogerät nicht eingesetzt ist. Anschließen kann das Gerät eingesetzt werden und bei gleicher Anregung das Signal des äußeren und inneren Mikrofons sowie das Signal des geschlossenen Trommelfellmikrofons aufgezeichnet werden. Der Equalizer 25 kann dann als relative Transferfunktion vom äußeren Mikrofonsignal zum offenen Trommelfellsignal, und der Equalizer 24 als relative Transferfunktion vom inneren Mikrofonsignal zum geschlossenen Trommelfellsignal ermittelt werden. The equalizers can be determined, for example, by artificial head measurements. To do this, the signal at the open eardrum microphone of an artificial head can first be measured for a defined external excitation signal, with the portable audio device not inserted. The device can then be inserted and, with the same excitation, the signal from the external and internal microphones as well as the signal from the closed eardrum microphone can be recorded. The equalizer 25 can then be determined as a relative transfer function from the external microphone signal to the open eardrum signal, and the equalizer 24 as a relative transfer function from the internal microphone signal to the closed eardrum signal.
Durch Schätzer der Signalstärke 22, 22‘ können basierend auf dem offenen und geschlossenen Trommelfellsignal o(n) und c(n) die Signalstärken o0 und ac berechnet werden, welche im Verhältnis dem Verhältnis der Schalldruckpegel am offenen und geschlossenen Trommelfell entsprechen. Die Schätzer 22, 22‘ können beispielsweise als exponentielle Glätter des Betrags eines Signals, mit einem Glättungsfaktor 0 < A < 1.0, implementiert werden: o (n) = A ■ ax(n - 1) + (1 - A) • |x(n) | Using signal strength estimators 22, 22', the signal strengths o 0 and a c can be calculated based on the open and closed eardrum signals o(n) and c(n), which correspond to the ratio of the sound pressure levels at the open and closed eardrum. The estimators 22, 22' can be implemented, for example, as exponential smoothers of the magnitude of a signal, with a smoothing factor 0 < A < 1.0: o (n) = A ■ a x (n - 1) + (1 - A) • |x(n) |
Eine Glättung eines quadrierten Signals, um eine Kurzzeitleistung zu berechnen, mit anschließender Bildung der Quadratwurzel ist ebenfalls möglich. Smoothing a squared signal to calculate a short-term power, followed by taking the square root, is also possible.
Das Referenzsignal x(n) wird nun mit einem Faktor g(n) multipliziert, um das modifizierte Signal x(n) = g(n) ■ x(n) zu erzeugen. Das Signal x(ri) kann dann weiterverarbeitet und über einen Lautsprecher 13 des tragbaren Audiogeräts 10 wiedergegeben werden. Hierbei wird davon ausgegangen, dass der durch das Signal x(n) hervorgerufene Schalldruckpegel am Trommelfell über dem Schalldruckpegel des Umgebungsschalls, welcher über andere Wege an das Trommelfell gelangt, liegt. Diese Annahme gilt insbesondere dann, wenn durch die passive Dämpfung des tragbaren Audiogeräts 10 hohe Frequenzanteile und beispielsweise durch einen rückgekoppelten Regler 52, wie in Fig. 11 gezeigt, tiefe Frequenzanteile des Umgebungsschalls gedämpft werden. Dann gilt, dass die Signalstärke des Messsignals ue(n) proportional zu der Signalstärke des modifizierten Signals u^(n) ist, was in etwa der mit dem Faktor skalierten Signalstärke des Referenzsignals entspricht: oe )~Ox ) ~ g(n)ax(n) The reference signal x(n) is now multiplied by a factor g(n) to generate the modified signal x(n) = g(n) ■ x(n). The signal x(ri) can then be further processed and reproduced via a loudspeaker 13 of the portable audio device 10. It is assumed that the sound pressure level at the eardrum caused by the signal x(n) is above the Sound pressure level of the ambient sound that reaches the eardrum via other paths. This assumption applies in particular when high frequency components of the ambient sound are attenuated by the passive attenuation of the portable audio device 10 and low frequency components of the ambient sound are attenuated, for example by a feedback controller 52, as shown in Fig. 11. Then the signal strength of the measurement signal u e (n) is proportional to the signal strength of the modified signal u^(n), which corresponds approximately to the signal strength of the reference signal scaled by the factor: o e )~Ox ) ~ g(n)a x (n)
Da das mit dem Faktor verrechnete modifizierte Signal über einen Lautsprecher 13 abgespielt und entsprechend von dem inneren Mikrofon 12 erfasst wird, unterliegt die Signalstärke des Messsignals, entsprechend der vorherigen Gleichung, und entsprechend auch die Signalstärke des geschlossenen Trommelfellsignals, bereits dem Einfluss des Faktors. Um diesen Einfluss zu kompensieren, kann der Faktor beispielsweise entweder vor der Berechnung der Signalstärke des geschlossenen Trommelfellsignals c(n) durch einen Schätzer 22‘ durch den, mit einem Verzögerungsglied 21 verzögerten, Faktor dividiert werden, oder, wie in Fig. 3 gezeigt, vor der Berechnung der Signalstärke des offenen Trommelfellsignals x(n) durch einen Schätzer 22‘ mit dem Faktor multipliziert werden, um die Signalstärke cr0> (n) zu berechnen. Das Verhältnis von crö(n) zu uc(n) entspricht dann dem Verhältnis des Schalldruckpegels am offenen und geschlossenen Trommelfell, wenn x(n) = x(n) gelten würde. Der Faktor g(n) kann dann in Block 23, beispielsweise als Quotient dieser Signalstärken, berechnet werden: Since the modified signal calculated with the factor is played over a loudspeaker 13 and recorded accordingly by the internal microphone 12, the signal strength of the measurement signal, according to the previous equation, and accordingly also the signal strength of the closed eardrum signal, is already subject to the influence of the factor. In order to compensate for this influence, the factor can, for example, either be divided by the factor delayed by a delay element 21 before calculating the signal strength of the closed eardrum signal c(n) by an estimator 22', or, as shown in Fig. 3, be multiplied by the factor before calculating the signal strength of the open eardrum signal x(n) by an estimator 22' in order to calculate the signal strength cr 0 > (n). The ratio of crö(n) to u c (n) then corresponds to the ratio of the sound pressure level at the open and closed eardrum if x(n) = x(n) were to apply. The factor g(n) can then be calculated in block 23, for example as a quotient of these signal strengths:
Durch die Multiplikation 26 des Faktors g(ri) mit dem Referenzsignal x(ri) zur Erzeugung von x(n) und der Wiedergabe von x(n) über einen Lautsprecher 13 des tragbaren Audiogeräts 10 wird dann, mit den zuvor beschriebenen Equalizern 24 und 25, der Schalldruckpegel am Trommelfell beim Tragen des tragbaren Audiogeräts (Istpegel) an den Schalldruckpegel am Trommelfell, welcher ohne das Tragen des tragbaren Audiogeräts anliegen würde, (Sollpegel) angeglichen. By multiplying 26 the factor g(ri) by the reference signal x(ri) to generate x(n) and reproducing x(n) via a loudspeaker 13 of the portable audio device 10, the sound pressure level at the eardrum when wearing the portable audio device (actual level) is then adjusted, using the previously described equalizers 24 and 25, to the sound pressure level at the eardrum that would be present without wearing the portable audio device (target level).
Die Equalizer 24 und 25 können dabei auch anders als zuvor beschrieben ausgestaltet sein um ein anderes Ziel, als beispielsweise akustische Transparenz, zu erreichen. The equalizers 24 and 25 can also be designed differently than previously described in order to achieve a different goal, such as acoustic transparency.
Beispielsweise kann Block 25 auch eine Dynamikprozessierung oder eine Störgeräuschunterdrückung beinhalten, um einen verbesserten Sollpegel zu ermitteln, welcher dazu führt, dass das Gehör des Nutzers vor lauten Geräuschen geschützt oder eine Hörverbesserung umgesetzt wird. Ein Beispiel hierfür wird in Fig. 10 gezeigt. For example, block 25 can also include dynamic processing or Noise reduction may include noise reduction to determine an improved target level that will protect the user's hearing from loud noises or provide hearing improvement. An example of this is shown in Fig. 10.
Fig. 4 zeigt ein zweites Blockdiagramm einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls. Hierbei kann der Equalizer 24 eine Transferfunktion, welche dem Quotienten der Transferfunktionen der Equalizer 25 und 24, wie zuvor zu Fig. 2 erläutert, entspricht, implementieren. Dadurch entspricht das Verhältnis der Signalstärke des equalisierten Messsignals und des Referenzsignals weiterhin dem Verhältnis des Schalldruckpegel am offenen und geschlossenen Trommelfell, so dass der Equalizer 25 eingespart werden kann. Diese Einsparung ist insbesondere dann vorteilhaft, wenn das Verfahren in einer Filterbankstruktur eingesetzt wird, da so entweder auf eine zusätzliche Filterbank oder auf Duplikate des Equalizers 25 verzichtet werden kann. Fig. 4 shows a second block diagram of an inventive processing of ambient sound detected by a sensor. In this case, the equalizer 24 can implement a transfer function which corresponds to the quotient of the transfer functions of the equalizers 25 and 24, as previously explained in relation to Fig. 2. As a result, the ratio of the signal strength of the equalized measurement signal and the reference signal still corresponds to the ratio of the sound pressure level at the open and closed eardrum, so that the equalizer 25 can be dispensed with. This saving is particularly advantageous when the method is used in a filter bank structure, since this means that either an additional filter bank or duplicates of the equalizer 25 can be dispensed with.
Fig. 5 zeigt ein drittes Blockdiagramm einer erfindungsgemäßen Verarbeitung eines mit einem Sensor erfassten Umgebungsschalls. Dabei wird der Faktor nicht basierend auf der Signalstärke des, mit dem verzögerten Faktor multiplizierten, Referenzsignals berechnet, sondern stattdessen auf der Signalstärke des, mit einem Verzögerungsglied 21 verzögerten, modifizierten Signals x(n). Dadurch kann eine Multiplikation 26 eingespart werden. Fig. 5 shows a third block diagram of an inventive processing of an ambient sound detected by a sensor. In this case, the factor is not calculated based on the signal strength of the reference signal multiplied by the delayed factor, but instead on the signal strength of the modified signal x(n) delayed by a delay element 21. This makes it possible to save a multiplication 26.
Fig. 6 zeigt ein Blockdiagramm eines erfindungsgemäßen Blocks 20 zur Berechnung des Faktors g(n), welche beispielsweise in den folgenden Filterbankimplementierungen genutzt werden kann. Diese Struktur zeichnet sich dadurch aus, dass sie ein bereits, beispielsweise durch einen Equalizer 24, modifiziertes Messsignal ek(n) sowie ein Referenzsignal xk(n) erhält und lediglich einen Faktor gk(n) ausgibt. Fig. 6 shows a block diagram of a block 20 according to the invention for calculating the factor g(n), which can be used, for example, in the following filter bank implementations. This structure is characterized in that it receives a measurement signal e k (n) that has already been modified, for example by an equalizer 24, as well as a reference signal x k (n) and only outputs a factor g k (n).
Fig. 7 zeigt exemplarisch den Magnitudengang 30 einer Filterbank, welche ein Eingangssignal in K Frequenzbänder aufteilt. Jedes Filter, mit der Impulsantwort bk(n), der Filterbank sollte dabei idealerweise so ausgelegt sein, dass es Frequenzanteile des Eingangssignals unterhalb einer unteren Grenzfrequenz fg k sowie oberhalb einer oberen Grenzfrequenz fg,k+1 sperrt, sowie Frequenzanteile zwischen fg k und fg,k+1 verzerrungsfrei durchlässt. Daraus ergibt sich folgende Zielfunktion für den Magnitudengang eines Filters abhängig von der Frequenz f : 0, falls f < fg,k < falls /5, fe < f < fg,k+1 0, sonst Fig. 7 shows an example of the magnitude response 30 of a filter bank which divides an input signal into K frequency bands. Each filter with the impulse response b k (n) of the filter bank should ideally be designed in such a way that it blocks frequency components of the input signal below a lower limit frequency f gk and above an upper limit frequency f g , k+1 , and allows frequency components between f gk and f g , k+1 to pass through without distortion. This results in the following objective function for the magnitude response of a filter depending on the frequency f : 0 if f < fg, k < if / 5 , fe < f < f g , k+1 0, otherwise
Weiterhin sollte für die Summe der Bandpassfilter 30 idealerweise gelten, dass s f < fg:1 < fg:K+1 sonst, sodass es insbesondere in den Übergangsbereichen bei der Parallelschaltung der Bandpassfilter nicht zu unerwünschten Auslöschungen oder Verstärkungen kommt. Furthermore, the sum of the bandpass filters should be 30 Ideally, sf < fg :1 < fg :K+1 otherwise, so that there are no unwanted cancellations or amplifications, especially in the transition areas when the bandpass filters are connected in parallel.
Fig. 8 zeigt ein Blockdiagramm einer erfindungsgemäßen Vorrichtung zur Anwendung eines Blocks 20 in einer Filterbankstruktur 40. Dabei werden, wie in Fig. 3, das Referenz- und Messsignal durch jeweilige Equalizer 24, 25 gefiltert und in ein modifiziertes Referenz- und Messsignal überführt. Das modifizierte Referenzsignal sowie das modifizierte Messsignal werden jeweils durch eine Filterbankanalyse 41 in Bandsignale xk(n) und ek(n) aufgeteilt. Diese Bandsignale werden dann einem Algorithmus 20, beispielsweise wie in Fig. 6 dargestellt, zugeführt, um pro Band einen Faktor gk(n) zu berechnen. Die fetten Linien in dem Blockdiagramm zeigen, dass es sich um mehrkanalige Signale und Faktoren handelt. Die Faktoren werden dann einer Einheit 45 zugeführt, welche eine Filterung von x(n) durchführt, sodass x(n) in entsprechenden Frequenzbändern mit den Faktoren gk(n) gewichtet wird. Die Koeffizienten des Filters können dabei basierend auf den Faktoren gk(n) berechnet, ausgewählt oder anderweitig ermittelt werden. Ebenso kann die Filterung im Frequenzbereich mit entsprechender Gewichtung von Frequenzkoeffizienten umgesetzt werden. Fig. 9 stellt eine weitere Form der Umsetzung der Einheit 45 durch eine Gewichtung von Bandsignalen dar. Fig. 8 shows a block diagram of a device according to the invention for using a block 20 in a filter bank structure 40. As in Fig. 3, the reference and measurement signals are filtered by respective equalizers 24, 25 and converted into a modified reference and measurement signal. The modified reference signal and the modified measurement signal are each divided into band signals x k (n) and e k (n) by a filter bank analysis 41. These band signals are then fed to an algorithm 20, for example as shown in Fig. 6, in order to calculate a factor g k (n) for each band. The bold lines in the block diagram show that these are multi-channel signals and factors. The factors are then fed to a unit 45 which filters x (n) so that x (n) is weighted with the factors g k (n) in corresponding frequency bands. The coefficients of the filter can be calculated, selected or otherwise determined based on the factors g k (n). Likewise, filtering in the frequency domain can be implemented with appropriate weighting of frequency coefficients. Fig. 9 shows another form of implementation of unit 45 by weighting band signals.
Eine Umsetzung des Verfahrens in einer Filterbankstruktur ist vorteilhaft, da verschiedene Faktoren in verschiedenen Frequenzbändern angewendet werden können. Bei einer einkanaligen Implementierung des Verfahrens kann es beispielsweise häufiger vorkommen, dass der Messpegel bei tiefen Frequenzen zu gering und bei hohen Frequenzen zu groß gegenüber dem Referenzpegel ist, diese Abweichungen aber nicht gleichzeitig kompensiert werden können. Implementing the method in a filter bank structure is advantageous because different factors can be applied in different frequency bands. For example, in a single-channel implementation of the method, it may occur more frequently that that the measurement level is too low at low frequencies and too high at high frequencies compared to the reference level, but these deviations cannot be compensated at the same time.
Fig. 9 zeigt ein weiteres Blockdiagramm einer erfindungsgemäßen Vorrichtung zur Anwendung eines Blocks 20 in einer Filterbankstruktur 40. Dabei wird, ähnlich zu Fig. 4, das Messsignal durch einen Equalizer 24 gefiltert. Das Referenzsignal sowie das modifizierte Messsignal werden durch jeweils eine Filterbankanalyse 41 in Bandsignale xk(n) und ek(n) aufgeteilt und einem Algorithmus 20 zugeführt. Die Einheit zur Filterung des Referenzsignals 45 aus Fig. 8 ist in diesem Fall so ausgestaltet, dass die Faktoren pro Band mit den Referenzbandsignalen xk(n) multipliziert und anschließend in einem Filterbanksyntheseschritt 42 summiert und in Form von x(n) ausgegeben werden. Fig. 9 shows a further block diagram of a device according to the invention for using a block 20 in a filter bank structure 40. In this case, similar to Fig. 4, the measurement signal is filtered by an equalizer 24. The reference signal and the modified measurement signal are each divided into band signals x k (n) and e k (n) by a filter bank analysis 41 and fed to an algorithm 20. The unit for filtering the reference signal 45 from Fig. 8 is designed in this case such that the factors per band are multiplied by the reference band signals x k (n) and then summed in a filter bank synthesis step 42 and output in the form of x(n).
Fig. 10 zeigt ein weiteres Blockdiagramm einer erfindungsgemäßen Vorrichtung zur Anwendung eines Gewichtungsalgorithmus 20 in einer Filterbankstruktur 44. Hierbei werden die Referenzbandsignale xk(n), welche dem Algorithmus 20 zugeführt werden, zunächst durch einen Block 43 prozessiert, wodurch die Signalstärke, der dem Algorithmus zugeführten Referenzbandsignale, modifiziert wird. Der Block kann beispielsweise einer Dynamikkompression, einer Störgeräuschreduktion oder einer einfachen Skalierung entsprechen. Hierdurch kann das Gehör des Nutzers vor lauten Geräuschen geschützt, und/oder das Hören durch ein entstörtes Umgebungssignal verbessert und/oder das Klangempfinden durch Nutzereinstellung angepasst werden. Fig. 10 shows a further block diagram of a device according to the invention for applying a weighting algorithm 20 in a filter bank structure 44. The reference band signals x k (n) which are fed to the algorithm 20 are first processed by a block 43, whereby the signal strength of the reference band signals fed to the algorithm is modified. The block can correspond, for example, to a dynamic compression, a noise reduction or a simple scaling. This can protect the user's hearing from loud noises and/or improve hearing through a noise-reduced ambient signal and/or adjust the sound perception through user settings.
Die Parameter des Blocks 43 können dabei auch durch Nutzer konfiguriert werden. Beispielsweise können Nutzer einen Faktor wählen, mit dem die Referenzbandsignale in dem Block 43 skaliert werden. Da die Faktoren des Algorithmus in Block 20 basierend auf den skalierten Referenzbandsignalen berechnet werden, und die Referenzbandsignale vor der Synthese 42 wiederum mit den Faktoren des Algorithmus skaliert werden, wird der Messpegel, und entsprechend der Schalldruckpegel am Trommelfell des Nutzers beim Tragen des tragbaren Audiogeräts, entsprechend des, durch den Nutzer modifizierten, Referenzpegels skaliert. Entsprechend können die Referenzbandsignale durch eine Störgeräuschreduktion bereinigt oder durch einen Dynamikkompressor komprimiert werden, sodass durch den Algorithmus 20 der Messpegel entsprechend dieser Störgeräuschreduktion oder Dynamikkompression angepasst wird. Ein solcher Prozess 43 lässt sich ebenso auch in die in Fig. 3 und Fig. 4 dargestellten einkanaligen Verfahren integrieren, beispielsweise in Fig. 3 hinter dem Equalizer 25, oder in Fig. 4 nach der Abzweigung des Referenzsignals und vor der Multiplikation 26 mit dem verzögerten Faktor. The parameters of block 43 can also be configured by users. For example, users can select a factor with which the reference band signals are scaled in block 43. Since the factors of the algorithm in block 20 are calculated based on the scaled reference band signals, and the reference band signals are in turn scaled with the factors of the algorithm before synthesis 42, the measurement level, and accordingly the sound pressure level at the user's eardrum when wearing the portable audio device, is scaled according to the reference level modified by the user. Accordingly, the reference band signals can be cleaned by noise reduction or compressed by a dynamic compressor, so that the measurement level is adjusted by algorithm 20 according to this noise reduction or dynamic compression. Such a process 43 can also be integrated into the single-channel methods shown in Fig. 3 and Fig. 4, for example in Fig. 3 behind the equalizer 25, or in Fig. 4 after the branching of the reference signal and before the multiplication 26 with the delayed factor.
Fig. 11 zeigt ein Blockdiagram eines hybriden tragbaren Audiogeräts 10 mit erfindungsgemäßem Verfahren 44, hier exemplarisch anhand der Filterbankstruktur aus Fig. 10. Das tragbare Audiogerät ist dabei mit einem äußeren Mikrofon 11, einem inneren Mikrofon 12 und einem Lautsprecher 13 ausgestattet. Fig. 11 shows a block diagram of a hybrid portable audio device 10 with method 44 according to the invention, here using the filter bank structure from Fig. 10 as an example. The portable audio device is equipped with an external microphone 11, an internal microphone 12 and a loudspeaker 13.
Ein Audiosignal a(n), z.B. Musik oder ein Telefonat, kann dabei über einen Equalizer 50 gefiltert und anschließend über den Lautsprecher 13 wiedergegeben werden. Zusätzlich wird das Signal e(n) des inneren Mikrofons 12 mit dem Ausgangssignal einer Sekundärpfadschätzung 53 verrechnet, durch einen rückgekoppelten Regler 52 gefiltert, und ebenfalls über den Lautsprecher 13 wiedergegeben. Da das, vom Lautsprecher 13 in den Gehörgang wiedergegebene, Signal vom inneren Mikrofon 12 aufgezeichnet wird, bildet sich mit dem Regler 52 ein geschlossener Regelkreis. Der Regler 52 kann so ausgelegt werden, dass Schall im Gehörgang, beispielsweise passiv gedämpfter Umgebungsschall oder Körperschall, in bestimmten Frequenzbereichen gedämpft wird. So kann beispielsweise der durch den Verschluss des Gehörgangs hervorgerufene Okklusionseffekt kompensiert werden. An audio signal a(n), e.g. music or a telephone call, can be filtered via an equalizer 50 and then played back via the loudspeaker 13. In addition, the signal e(n) of the internal microphone 12 is calculated with the output signal of a secondary path estimation 53, filtered by a feedback controller 52, and also played back via the loudspeaker 13. Since the signal played back by the loudspeaker 13 into the ear canal is recorded by the internal microphone 12, a closed control loop is formed with the controller 52. The controller 52 can be designed so that sound in the ear canal, for example passively dampened ambient sound or structure-borne sound, is dampened in certain frequency ranges. In this way, for example, the occlusion effect caused by the closure of the ear canal can be compensated.
Die Sekundärpfadschätzung 53 entspricht dabei einer Schätzung der Transferfunktion vom Lautsprecher 13 zum inneren Mikrofon 12, dem sogenannten Sekundärpfad. Die Sekundärpfadschätzung 53 kann dazu genutzt werden, um den Einfluss des Reglers 52 auf das Audiosignal a(n) oder das Ausgangssignal des Vorwärtsfilter 51 zu reduzieren. Der Schalter 54 kann dabei so eingestellt werden, dass in Schalterstellung 1 lediglich das equalisierte Audiosignal, in Stellung 2 kein Signal, und in Stellung 3 die Summe des equalisierten Audiosignals und des Ausgangssignals des Vorwärtsfilters der Sekundärpfadschätzung zugeführt wird. The secondary path estimate 53 corresponds to an estimate of the transfer function from the loudspeaker 13 to the internal microphone 12, the so-called secondary path. The secondary path estimate 53 can be used to reduce the influence of the controller 52 on the audio signal a(n) or the output signal of the forward filter 51. The switch 54 can be set so that in switch position 1 only the equalized audio signal, in position 2 no signal, and in position 3 the sum of the equalized audio signal and the output signal of the forward filter is fed to the secondary path estimate.
Die Signale des äußeren Mikrofons 11 und inneren Mikrofons 12 werden der Vorrichtung 44 zugeführt, das verarbeitete Umgebungsschallsignal wird von der Vorrichtung 44 ausgegeben und durch ein Vorwärtsfilter 51 gefiltert, bevor es zusammen mit dem Signal des Reglers 52 und des Equalizers 50 über den Lautsprecher wiedergegeben wird. Vorteilshafterweise kann das Vorwärtsfilter dabei so ausgelegt werden, dass der durch Umgebungsschall hervorgerufene Schalldruckpegel am Trommelfell beim Tragen des tragbaren Audiogeräts 10 dem Schalldruckpegel entspricht, welcher am Trommelfell anliegen würde, wenn kein tragbares Audiogerät getragen würde. Allerdings kann das Vorwärtsfilter auch anders geartet sein. Beispielsweise kann der Schalldruckpegel nur in einem bestimmten Frequenzbereich entsprechend dem offenen Ohr umgesetzt werden, oder eine gezielte Verstärkung / Abschwächung eingestellt werden. The signals from the external microphone 11 and internal microphone 12 are fed to the device 44, the processed ambient sound signal is output by the device 44 and filtered by a forward filter 51 before it is reproduced via the loudspeaker together with the signal from the controller 52 and the equalizer 50. Advantageously, the forward filter can be designed so that the ambient sound The sound pressure level at the eardrum when wearing the portable audio device 10 corresponds to the sound pressure level that would be present at the eardrum if no portable audio device were worn. However, the forward filter can also be of a different nature. For example, the sound pressure level can only be implemented in a certain frequency range corresponding to the open ear, or a targeted amplification / attenuation can be set.
Entgegen dem in Fig. 11 dargestellten Blockdiagramm ist es auch möglich, anstelle des Signals des inneren Mikrofons 12, das mit dem Ausgangssignal der Sekundärpfadschätzung 53 verrechnete Signal des inneren Mikrofons 12 der Verarbeitung 44 zuzuführen, indem die Addition 55 vorgezogen wird. So kann beispielsweise der Einfluss des Audiosignals auf die Verarbeitung des Umgebungsschalls reduziert werden. Contrary to the block diagram shown in Fig. 11, it is also possible to feed the signal of the inner microphone 12 calculated with the output signal of the secondary path estimation 53 to the processing 44 instead of the signal of the inner microphone 12 by bringing forward the addition 55. In this way, for example, the influence of the audio signal on the processing of the ambient sound can be reduced.
Ebenso ist es möglich, das Vorwärtsfilter zunächst auf das Signal des äußeren Mikrofons anzuwenden, bevor dieses dem Verfahren 44 zugeführt wird. Auf ein weiteres Vorwärtsfilter nach dem Verfahren kann dann verzichtet werden. Dabei sollte idealerweise der Einfluss des Vorwärtsfilters bei der Ermittlung der Equalizer 24 und 25 berücksichtigt werden. It is also possible to apply the forward filter to the signal from the external microphone first before it is fed to process 44. A further forward filter after the process is then not necessary. Ideally, the influence of the forward filter should be taken into account when determining equalizers 24 and 25.
Auch ist es möglich, statt dem Signal des äußeren Mikrofons 11 die Summe des, optional durch den Equalizer 50 equalisierten, Audiosignals und des, optional bereits durch ein Vorwärtsfilter 51 gefilterten, Signals des äußeren Mikrofons 11 dem Verfahren zuzuführen. So kann beispielsweise durch die erfindungsgemäße Verarbeitung 44 nicht nur der Pegel des Umgebungsschalls, sondern auch der Pegel eines Audiosignals, angepasst werden. Auch kann der Verarbeitungseinheit 44 lediglich das equalisierte Audiosignal zugeführt werden. Dadurch würde dann lediglich der Pegel des Audiosignals durch das erfindungsmäßige Verfahren angepasst. It is also possible to feed the sum of the audio signal, optionally equalized by the equalizer 50, and the signal of the external microphone 11, optionally already filtered by a forward filter 51, to the method instead of the signal of the external microphone 11. For example, not only the level of the ambient sound but also the level of an audio signal can be adjusted by the processing 44 according to the invention. It is also possible to feed only the equalized audio signal to the processing unit 44. This would then mean that only the level of the audio signal would be adjusted by the method according to the invention.
Bezugszeichenliste list of reference symbols
Kopfhörer Headphones
Äußeres Mikrofon external microphone
Inneres Mikrofon inner microphone
Lautsprecher speakers
Signalprozessor signal processor
Gehörgang ear canal
Trommelfell eardrum
Ohreinsatz earpiece
Ventilierung ventilation
Block zur Berechnung eines Faktors aus modifiziertem Messsignal und Referenzsignal Block for calculating a factor from modified measurement signal and reference signal
Verzögerungsglied , 22‘ Schätzer der Signalstärke delay element , 22' estimator of signal strength
Block zur Berechnung eines Faktors aus SignalstärkenBlock for calculating a factor from signal strengths
Equalisierungsfilter für ein zweites Signal equalization filter for a second signal
Equalisierungsfilter für ein erstes Signal , 26‘ Multiplizierer Equalization filter for a first signal, 26' multiplier
Magnitudengang eines Filters der Filterbank Magnitude response of a filter of the filter bank
Vorrichtung zur Anwendung von Faktoren in einer FilterbankstrukturDevice for applying factors in a filter bank structure
Filterbankanalyse filter bank analysis
Filterbanksynthese filter bank synthesis
Prozess zur Aufbereitung eines ersten Signals process for preparing a first signal
Vorrichtung zur Anwendung von Faktoren in einer Filterbankstruktur mit Aufbereitung Device for applying factors in a filter bank structure with processing
Einheit zur Filterung eines dritten Signals basierend auf den FaktorenUnit for filtering a third signal based on the factors
Equalisierungsfilter für externe Audiosignale equalization filter for external audio signals
Vorwärtsfilter forward filter
Rückgekoppelter Regler feedback controller
Sekundärpfadschätzung Schalter zur Auswahl des Eingangssignals der Sekundärpfadschätzung, 55‘, 55“ Addierer Verfahrensschritt zur Erfassung der Sensorsignale Verfahrensschritt zur Vorverarbeitung der Sensorsignale Verfahrensschritt zur Berechnung eines Faktors Verfahrensschritt zur Anwendung des Faktors Verfahrensschritt zur Ausgabe des resultierenden Signals secondary path estimation Switch for selecting the input signal of the secondary path estimation, 55', 55“ Adder Process step for recording the sensor signals Process step for preprocessing the sensor signals Process step for calculating a factor Process step for applying the factor Process step for outputting the resulting signal
Claims
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023123184.7 | 2023-08-29 | ||
DE102023123184.7A DE102023123184A1 (en) | 2023-08-29 | 2023-08-29 | Method for processing ambient sound which is detected by an audio device which can be worn on or in the ear, and corresponding device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2025045956A1 true WO2025045956A1 (en) | 2025-03-06 |
Family
ID=92633263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2024/074093 WO2025045956A1 (en) | 2023-08-29 | 2024-08-28 | Method for processing ambient sound which is captured by an audio device that can be worn on or in the ear, and corresponding device |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102023123184A1 (en) |
WO (1) | WO2025045956A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080063228A1 (en) * | 2004-10-01 | 2008-03-13 | Mejia Jorge P | Accoustically Transparent Occlusion Reduction System and Method |
US20090129619A1 (en) * | 2006-08-07 | 2009-05-21 | Widex A/S | Hearing aid method for in-situ occlusion effect and directly transmitted sound measurement |
US20160105751A1 (en) * | 2013-06-03 | 2016-04-14 | Sonova Ag | Method for operating a hearing device and a hearing device |
WO2016115622A1 (en) * | 2015-01-22 | 2016-07-28 | Eers Global Technologies Inc. | Active hearing protection device and method therefore |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10327890A1 (en) * | 2003-06-20 | 2005-01-20 | Siemens Audiologische Technik Gmbh | Method for operating a hearing aid and hearing aid with a microphone system, in which different directional characteristics are adjustable |
DE102020213051A1 (en) * | 2020-10-15 | 2022-04-21 | Sivantos Pte. Ltd. | Method for operating a hearing aid device and hearing aid device |
-
2023
- 2023-08-29 DE DE102023123184.7A patent/DE102023123184A1/en active Pending
-
2024
- 2024-08-28 WO PCT/EP2024/074093 patent/WO2025045956A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080063228A1 (en) * | 2004-10-01 | 2008-03-13 | Mejia Jorge P | Accoustically Transparent Occlusion Reduction System and Method |
US20090129619A1 (en) * | 2006-08-07 | 2009-05-21 | Widex A/S | Hearing aid method for in-situ occlusion effect and directly transmitted sound measurement |
US20160105751A1 (en) * | 2013-06-03 | 2016-04-14 | Sonova Ag | Method for operating a hearing device and a hearing device |
WO2016115622A1 (en) * | 2015-01-22 | 2016-07-28 | Eers Global Technologies Inc. | Active hearing protection device and method therefore |
Also Published As
Publication number | Publication date |
---|---|
DE102023123184A1 (en) | 2025-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69933141T2 (en) | TONE PROCESSOR FOR ADAPTIVE DYNAMIC RANGE IMPROVEMENT | |
DE60116255T2 (en) | NOISE REDUCTION DEVICE AND METHOD | |
DE69033177T2 (en) | Hearing aid with acoustic feedback compensation | |
DE102006047965A1 (en) | Method for the reduction of occlusion effects with acoustic device locking an auditory passage, involves using signal from transmission path of audio signal, and transmission function is observed by output of output converter | |
DE102013214309B4 (en) | Handset or headset | |
EP2229010B1 (en) | Hearing aid and method for noise compensation in a hearing aid | |
DE102009010892B4 (en) | Apparatus and method for reducing impact sound effects in hearing devices with active occlusion reduction | |
DE102016204448B4 (en) | Method and electronic device for adjusting the balance of an audio signal | |
DE102015216822B4 (en) | A method of suppressing feedback in a hearing aid | |
EP2172063A1 (en) | User-adaptable hearing aid comprising an initialization module | |
EP3373599B1 (en) | Method for frequency warping of an audio signal and hearing aid operating according to this method | |
WO2021204754A1 (en) | Method, device, headphones and computer program for actively suppressing interfering noise | |
DE102008017550A1 (en) | Multi-stage estimation method for noise reduction and hearing aid | |
DE102015003855A1 (en) | Method for operating an electroacoustic system and an electroacoustic system | |
DE102008022533B3 (en) | Method for operating a hearing device and microphone system for a hearing aid | |
EP4158901B1 (en) | Method, device, headphones and computer program for actively suppressing the occlusion effect during the playback of audio signals | |
DE102019213810B3 (en) | Method for operating a hearing aid and hearing aid | |
WO2021185891A1 (en) | System and method for compensating for the occlusion effect in earpieces or hearing aids, with improved perception of one's own voice | |
WO2025045956A1 (en) | Method for processing ambient sound which is captured by an audio device that can be worn on or in the ear, and corresponding device | |
EP4117306A1 (en) | Electro-acoustic method using an lms algorithm | |
DE102022201942B4 (en) | Method for reducing echo in a hearing instrument | |
EP1309225B1 (en) | Method for determining the feedback threshold in a hearing aid | |
DE102022111300A1 (en) | Device for reducing noise when reproducing an audio signal with headphones or hearing aids and corresponding method | |
DE102021132434A1 (en) | Device for active noise and/or occlusion suppression, corresponding method and computer program | |
DE102012008557B4 (en) | Method for feedback suppression in electroacoustic systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24765076 Country of ref document: EP Kind code of ref document: A1 |