WO2023286299A1 - 音声処理装置及び音声処理方法、並びに補聴機器 - Google Patents

音声処理装置及び音声処理方法、並びに補聴機器 Download PDF

Info

Publication number
WO2023286299A1
WO2023286299A1 PCT/JP2022/003690 JP2022003690W WO2023286299A1 WO 2023286299 A1 WO2023286299 A1 WO 2023286299A1 JP 2022003690 W JP2022003690 W JP 2022003690W WO 2023286299 A1 WO2023286299 A1 WO 2023286299A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
hearing
sound
hearing aid
processing device
Prior art date
Application number
PCT/JP2022/003690
Other languages
English (en)
French (fr)
Inventor
理 中村
堅一 牧野
恭輔 松本
慎平 土谷
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023534588A priority Critical patent/JPWO2023286299A1/ja
Priority to CN202280048248.8A priority patent/CN117678243A/zh
Priority to EP22841649.1A priority patent/EP4373129A1/en
Publication of WO2023286299A1 publication Critical patent/WO2023286299A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Definitions

  • this disclosure mainly relates to an audio processing device and an audio processing method that perform audio processing for hearing aid devices, and hearing aid devices.
  • Hearing aids that collect, amplify and output ambient sounds are becoming popular in order to solve the problem of hearing loss for people with hearing impairments. If the ambient sound contains noise in addition to the desired voice (e.g., a speaker's utterance), the quality of the amplified voice deteriorates. (also referred to as “noise reduction (NR) processing” in literature) is often performed (see, for example, Patent Document 1). In addition, based on the audiogram (hearing level for each frequency band) obtained as a result of the user's hearing test, hearing loss is corrected by amplifying the sound in the frequency band of the part of the audible frequency range where hearing is impaired. It is common for amplification functions to be set to mitigate.
  • NR noise reduction
  • An object of the present disclosure is to provide an audio processing device and an audio processing method that perform audio processing mainly for hearing aid equipment, and a hearing aid equipment.
  • the present disclosure has been made in consideration of the above problems, and the first aspect thereof is an information estimation unit for estimating control information based on hearing threshold information about the hearing threshold for each frequency and input speech information; a signal processing unit that processes an input audio signal based on the estimated control information; It is a speech processing device comprising
  • the hearing threshold information is the result of threshold measurement that measures the hearing threshold for each frequency of the user of the speech processing device.
  • the hearing threshold information is information on the sound pressure level for each frequency of the measurement signal used in the hearing ability measurement function.
  • the information estimation unit estimates information about the allowable delay amount in the signal processing unit.
  • the information estimation unit estimates noise canceling characteristic information related to noise canceling processing performed by the signal processing unit.
  • a second aspect of the present disclosure is an information estimation step of estimating control information based on hearing threshold information about the hearing threshold for each frequency and input speech information; and a signal processing step of processing an input audio signal based on the estimated control information.
  • a third aspect of the present disclosure is a hearing aid device with a hearing measurement function, picking up the ambient sound of the hearing aid device when conducting a hearing measurement; amplifying the collected ambient sound; The hearing aid device outputs the amplified ambient sound from a speaker of the hearing aid device or an external device connected to the hearing aid device.
  • a hearing aid device picks up ambient sound when the measurement sound for hearing ability measurement is stopped.
  • a noise canceling function is further provided, information indicating that noise canceling was used during the hearing test will be recorded together with the results of the hearing test, and the presence or absence of noise canceling will be displayed when the measurement results are displayed. to be displayed together.
  • a sound processing apparatus that performs processing for determining the allowable delay amount and noise canceling characteristic information of signal processing such as noise reduction performed in a hearing aid device, as well as noise canceling characteristic information during hearing measurement and audio processing methods and hearing aid devices.
  • FIG. 1 is a diagram showing a configuration example of a hearing aid device.
  • FIG. 2 is a diagram showing an example of the relationship between the input sound pressure level and the output sound pressure level in a hearing aid device.
  • FIG. 3 is a diagram showing an example in which the hearing threshold of a hearing-impaired person increases (worsens).
  • FIG. 4 is a diagram showing an example of an audiogram of a hearing-impaired person.
  • FIG. 5 is a diagram showing another example of the relationship between the input sound pressure level and the output sound pressure level in the hearing aid device.
  • FIG. 6 is a diagram showing an example of sound and audio signal flow in a hearing aid device.
  • FIG. 1 is a diagram showing a configuration example of a hearing aid device.
  • FIG. 2 is a diagram showing an example of the relationship between the input sound pressure level and the output sound pressure level in a hearing aid device.
  • FIG. 3 is a diagram showing an example in which the hearing threshold of a hearing-impaired person increases (wors
  • FIG. 7 is a diagram showing an example in which a user 790 of a hearing aid device 701 converses with a speaker 794 face to face.
  • FIG. 8 is a diagram showing how the voice uttered by the speaker is transmitted to the ear of the speaker himself/herself.
  • FIG. 9 is a diagram showing an example of a feedforward comb filter.
  • FIG. 10 is a diagram showing amplitude characteristics of the comb filter shown in FIG.
  • FIG. 11 is a diagram illustrating the effect of the NR function.
  • FIG. 12 is a diagram showing an example in which the effect of the NR function is small.
  • FIG. 13 is a diagram showing another configuration example of the hearing aid device.
  • FIG. 10 is a diagram showing an example in which a user 790 of a hearing aid device 701 converses with a speaker 794 face to face.
  • FIG. 8 is a diagram showing how the voice uttered by the speaker is transmitted to the ear of the speaker himself/herself.
  • FIG. 14 is a diagram showing a configuration example (first embodiment) of a hearing aid device having a variable delay NR function.
  • FIG. 15 is a diagram showing an example of generating a trained model.
  • FIG. 16 is a diagram showing an example of a user interface when creating learning data.
  • FIG. 17 is a diagram showing an example of a user interface used when a subject (a hearing-impaired person) answers the allowable amount of delay.
  • FIG. 18 is a flow chart showing a procedure for creating learning data.
  • FIG. 19 is a diagram showing another generation example of a trained model.
  • FIG. 20 is a diagram showing still another generation example of a trained model.
  • FIG. 21 is a diagram showing a configuration example of the allowable delay amount estimator 2126 that does not use a trained model.
  • FIG. 21 is a diagram showing a configuration example of the allowable delay amount estimator 2126 that does not use a trained model.
  • FIG. 22 is a flow chart showing a processing procedure for determining an allowable delay amount without using a trained model.
  • FIG. 23 is a flow chart showing a variable delay NR processing procedure in the hearing aid device.
  • FIG. 24 is a diagram showing a configuration example of a delay amount determination unit that uses a learned model for estimation.
  • FIG. 25 is a flow chart showing the processing flow of the delay amount determination unit 2416.
  • FIG. 26 is a diagram showing a configuration example of the delay amount determining section 2616.
  • FIG. 27 is a flow chart showing the processing flow of the delay amount determination unit 2616.
  • FIG. 28 is a flowchart illustrating an example of processing for proposing update of the delay amount to the user.
  • FIG. 29 is a diagram showing an example of a proposal method when proposing delay amount update to the user of the hearing aid device.
  • FIG. 30 is a diagram showing an example of a reply method from the hearing aid user.
  • FIG. 31 is a diagram illustrating an example of a user interface for use in proposing delay amount updates to hearing aid users and receiving responses from hearing aid users.
  • FIG. 32 is a diagram showing a specific display method of the recommended range.
  • FIG. 33 is a diagram showing a configuration example of the NR section.
  • FIG. 34 is a diagram showing an example of variable delay buffer operation.
  • FIG. 35 is a diagram showing a second configuration example (first embodiment) of a hearing aid device having a variable delay NR function.
  • FIG. 36 is a diagram showing another generation example of a trained model.
  • FIG. 37 is a diagram showing an example of arranging a camera 3797 on a hearing aid device.
  • FIG. 38 is a diagram showing still another generation example of a trained model.
  • FIG. 39 is a diagram showing a configuration example of a delay amount determination unit that uses a learned model for estimation.
  • FIG. 40 is a flow chart showing the processing flow of the delay amount determining unit 3916.
  • FIG. 41 is a diagram illustrating the mechanism of noise canceling.
  • FIG. 42 is a diagram showing a configuration example of a hearing aid equipped with a noise canceling function.
  • FIG. 43 is a diagram showing an example of the effect when the NC function is added to the NR function.
  • FIG. 44 is a diagram showing an example in which the effect of the NC function is small.
  • FIG. 45 is a diagram showing an example of an audiogram of the treble impairment gradual type.
  • FIG. 46 is a diagram showing an example of a mountain-shaped audiogram.
  • FIG. 47 is a diagram showing expected noise attenuation amounts expected to be attenuated by noise canceling processing.
  • FIG. 48 is a diagram showing an example of a horizontal audiogram.
  • FIG. 49 is a diagram showing an example of input/output characteristics of a hearing aid device.
  • FIG. 50 is a diagram showing a configuration example (second embodiment) of a hearing aid device having an NC signal generation function.
  • FIG. 51 is a diagram showing an example of generating a trained model.
  • FIG. 52 is a diagram showing an example of a user interface used by a subject (a hearing-impaired person) to answer NC characteristic information.
  • FIG. 53 is a flow chart showing a procedure for creating learning data.
  • FIG. 54 is a diagram showing a configuration example of the NC characteristic estimator 5431 when no learned model is generated.
  • FIG. 55 is a flow chart showing a processing procedure for estimating the NC characteristic in the NC characteristic estimating section 5431.
  • FIG. 56 is a flow chart showing the processing procedure of the NC function in the hearing aid device 5001.
  • FIG. 57 is a diagram showing a configuration example of an NC characteristic determination unit that estimates NC characteristics using a trained model.
  • FIG. 58 is a diagram showing a configuration example of an NC characteristic determination section that estimates NC characteristics without using a trained model.
  • FIG. 59 is a flow chart showing a processing procedure for proposing updating of the NC characteristic curve and NC intensity to the user.
  • FIG. 60 is a diagram showing an example of a user interface when proposing updating of the NC intensity and the NC characteristic curve to the user and obtaining an answer from the user.
  • FIG. 61 is a diagram showing a method of presenting the recommended range 6099.
  • FIG. 62 is a diagram showing an example of conventional hearing measurement.
  • FIG. 63 is a diagram illustrating the influence of noise on hearing measurement.
  • FIG. 64 is a diagram exemplifying the influence of noise when performing audiometry for a hearing-impaired person.
  • FIG. 65 is a diagram showing an example of conventional additional hearing measurement.
  • FIG. 66 is a diagram illustrating the effect of reducing noise during hearing measurement.
  • FIG. 67 is a diagram showing an example of hearing measurement according to the third embodiment.
  • FIG. 68 is a diagram showing an example of noise attenuation.
  • FIG. 69 is a diagram showing an example of changing the noise canceling characteristic curve depending on the frequency of the audiometry signal.
  • FIG. 70 is a diagram showing a configuration example of a hearing aid device that uses the NC signal generation function for hearing measurement.
  • FIG. 71 is a diagram showing an example of generating a trained model.
  • FIG. 72 is a diagram showing an example of a user interface when creating learning data.
  • FIG. 73 is a diagram showing an example of a user interface used when a subject (hearing-impaired) answers NC characteristic information.
  • FIG. 74 is a flow chart showing a procedure for creating learning data.
  • FIG. 75 is a diagram showing a configuration example of the NC characteristic estimation section 7531 when no trained model is generated.
  • FIG. 76 is a flow chart showing a processing procedure for estimating the NC characteristic in the NC characteristic estimating section 7531. As shown in FIG. FIG. 77 is a flow chart showing the processing procedure of the NC function in the hearing aid device 7001.
  • FIG. FIG. 78 is a diagram showing a configuration example of an NC characteristic determination section that estimates NC characteristics using a trained model.
  • FIG. 79 is a diagram showing a configuration example of an NC characteristic determination section that estimates NC characteristics without using a trained model.
  • FIG. 80 illustrates another example user interface for use in suggesting updates to the NC Intensity and NC Characteristic Curves and receiving responses.
  • FIG. 81 is a diagram showing another example of a user interface that presents a recommended range and obtains an answer from the hearing aid user.
  • FIG. 82 is a flow chart showing a processing procedure for proposing a change in sound environment to the user.
  • FIG. 83 is a diagram showing an example of notifying the hearing aid user of noise that may affect the hearing measurement.
  • FIG. 84 is a diagram showing a display example of hearing measurement results.
  • FIG. 85 is a diagram showing a display example of hearing measurement results.
  • FIG. 86 is a diagram showing a display example of hearing measurement results.
  • FIG. 87 is a diagram showing a display example of hearing measurement results.
  • FIG. 88 is a diagram showing a display example of hearing measurement results.
  • FIG. 89 is a diagram showing a display example of hearing measurement results.
  • Fig. 1 schematically shows a configuration example of a hearing aid device.
  • the illustrated hearing aid device 101 comprises a microphone 102 and a speaker (also called receiver) 103 . Sound picked up by the microphone 102 is converted from sound to an electric signal by the microphone 102 , signal-processed, and then converted from the electric signal to sound by the speaker 103 . The sound output from the speaker 103 is radiated to the ear canal 191 and reaches the eardrum behind it.
  • An ADC (analog digital converter) 104 converts the analog signal from the microphone 102 into a digital signal and sends it to the signal processing section 106 .
  • the signal processing unit 106 performs signal processing such as adjustment of amplitude characteristics and phase characteristics and adjustment of gain.
  • a DAC (digital to analog converter) 105 converts the digital signal into an analog signal and sends it to the speaker 103 .
  • the hearing aid device 101 has a shape that covers the entrance of the external auditory canal, but it may be of an earhole type or an ear-hung type. ), the shape of headphones, the canal type that closes the external auditory canal, and the open-ear type that does not completely block the external auditory canal.
  • Fig. 2 shows an example of the relationship between the input sound pressure level and the output sound pressure level in hearing aid equipment.
  • the input sound pressure level refers to the level of sound entering the microphone
  • the output sound pressure level refers to the level of sound output from the speaker.
  • the gain curve indicated by reference numeral 280 is gain versus input sound pressure level.
  • an input sound pressure level range 281 is transformed by a gain curve 280 into an output sound pressure level range 282 .
  • the input sound pressure level is 40 dB SPL (Sound Pressure Level)
  • a gain of 30 dB is given, resulting in an output sound pressure level of 70 dB SPL.
  • the input sound pressure level is 80 dB SPL
  • a gain of 10 dB is given and the output sound pressure level is 90 dB SPL.
  • Persons with sensorineural hearing loss such as age-related hearing loss, have difficulty hearing soft sounds, but the loudness of sounds they perceive to be loud is not much different from that of persons with normal hearing (characteristic A1). Therefore, there is a method of giving a large gain to a small input sound pressure level and giving a small gain to a high input sound pressure level. This method began to spread around 2000, and is used in many hearing aid devices that are currently in widespread use.
  • the gain curve 280 is composed of three line segments, but there are various methods such as changing the number of line segments and using curves.
  • the hearing aid device has a feature (feature B1) of changing the gain depending on the input sound pressure level.
  • Fig. 3 shows an example of an increase (deterioration) in the hearing threshold of a hearing-impaired person.
  • the horizontal axis of FIG. 3 is frequency, and the vertical axis is sound pressure level.
  • Hearing threshold refers to the threshold at which you can barely hear or not hear.
  • the curve labeled 383 represents the hearing threshold for a normal hearing person and the curve labeled 384 represents the hearing threshold for a deaf person.
  • Reference number 385 indicates a 40 dB threshold increase occurring in the hearing threshold 384 of the hearing impaired as compared to the hearing threshold 383 of the normal hearing. That is, the hearing of the hearing-impaired person deteriorates by 40 dB.
  • a person with normal hearing can hear the pure tone 386 , but a hearing-impaired person having a hearing threshold 384 cannot hear the pure tone 386 .
  • the intensity of loud and unbearable sound is called the pain threshold, which is roughly around 130-140 dB SPL.
  • the area between the auditory threshold and the pain threshold is called the auditory field, and this range is the range in which sound can be heard. Since the pain threshold is not significantly different between the normal hearing and the hearing impaired, the hearing impaired has a narrower hearing field and a narrower range of audible sound intensity compared to the normal hearing. For this reason, hearing-impaired people have feature A1, and hearing aid devices have feature B1 to deal with this.
  • Fig. 4 shows an example of an audiogram of a hearing-impaired person.
  • the audiogram shows, at each frequency, how much the hearing threshold of the hearing-impaired person deteriorates compared to that of a normal-hearing person.
  • the horizontal axis in FIG. 4 is the frequency, and the vertical axis is the hearing level.
  • the hearing deteriorates by 15 dB at 1000 Hz
  • the hearing deteriorates by 40 dB at 4000 Hz.
  • This is generally expressed as a hearing level of 15 dB HL (Hearing Level) at 1000 Hz and a hearing level of 40 dB HL at 4000 Hz.
  • Hearing aid devices often perform frequency-by-frequency amplification to improve the degraded hearing of a hearing-impaired person.
  • the standard is about 1/3 to 1/2 of the hearing level. Assuming that the gain for an input sound pressure level of 60 dB SPL is half the hearing level, in the example shown in FIG.
  • FIG. 5 shows another example of the relationship between the input sound pressure level and the output sound pressure level in a hearing aid device (wherein reference number 580 indicates a gain curve and the input sound pressure level range 581 is converted to output sound pressure level range 582 by gain curve 580).
  • reference number 580 indicates a gain curve
  • the input sound pressure level range 581 is converted to output sound pressure level range 582 by gain curve 580.
  • the gain curve at 1000 Hz looks like the gain curve indicated by reference numeral 580 in FIG.
  • the gain curve at 4000 Hz looks like the gain curve indicated by reference number 280 in FIG.
  • the hearing aid device has a feature (feature B2) of changing the gain according to the user's hearing ability.
  • Fig. 6 shows an example of the flow of sound and audio signals in hearing aid equipment.
  • sound at position P1 reaches position P2 of the ear canal 691 via two major routes.
  • a first path is a path via the microphone 602 and a second path is a path not via the microphone 602 .
  • the sound of the second path is sound passing through the vent hole of the hearing aid 601, sound passing through the gap between the hearing aid 601 and the ear canal, sound passing through the housing of the hearing aid 601, and passing through the earpiece (also called dome).
  • the sound of the first path is picked up by the microphone 602 , passed through the ADC 604 , the signal processing unit 606 and the DAC 605 and output from the speaker 603 .
  • the signal processing unit 606, and the DAC 605 the sound in the first path is generally delayed compared to the sound in the second path.
  • the hearing aid device has the characteristic that the second path exists in addition to the first path (characteristic B3), and the fact that the sound of the first path is delayed with respect to the sound of the second path.
  • characteristic B3 the characteristic that the second path exists in addition to the first path
  • feature B4 the fact that the sound of the first path is delayed with respect to the sound of the second path.
  • FIG. 7 shows an example in which a user 790 of a hearing aid device 701 faces and converses with a speaker 794 .
  • arrows indicate sounds transmitted from a speaker 794 to a hearing aid user 790, that is, other people's voices. If the delay of the hearing aid 701 is large, for the user 790 of the hearing aid, the movement of the mouth of the speaker 794 and the voice of the speaker 794 via the hearing aid 701 are out of sync. Human beings are sensitive to this deviation and feel discomfort. For example, in the field of broadcasting, the amount of deviation between video and audio is specified. RECOMMENDATION ITU-R BT.
  • Fig. 8 shows how the voice uttered by the speaker is transmitted to the speaker's own ear.
  • the voice uttered by the speaker that is, his/her own voice
  • the voice uttered by the speaker is indicated by an arrow pointing from the mouth in front of the head to the ear.
  • DAF delayed auditory feedback
  • a delay of about 200 milliseconds is the strongest for adults (see Non-Patent Document 1). Even a delay of less than 200 milliseconds makes it difficult to speak. This phenomenon is also encountered in telephone calls, teleconferences, etc., where one's own voice returns with a delay.
  • feature B3 the feature that the second route exists in addition to the first route
  • FIG. 9 shows an example of a feedforward comb filter.
  • the illustrated comb filter amplifies the input signal x[n] by a factor ⁇ in the first path with delay, while amplifying the input signal x[n] by a factor ⁇ in the second path without delay. It is configured to amplify and mix them to output a signal y[n].
  • the dashed line in FIG. 10 indicates the case where the amount of delay is twice that of the solid line.
  • the sound of the output signal y[n] tends to change in timbre and may be perceived as a metallic sound.
  • the delay becomes longer, it becomes difficult to perceive changes in tone color, and instead echoes become more perceptible. Echo sensitivity also depends on the sound source. Percussion-like sounds tend to be easier to notice.
  • the first path in FIG. 9 corresponds to the first path in FIG. 6, and the second path in FIG. 9 corresponds to the second path in FIG.
  • the other person's voice is the case of listening to the voice of someone other than oneself as shown in FIG. 7, and the own voice is the case of listening to one's own voice as shown in FIG.
  • the allowable delay amount in the signal processing of the hearing aid device changes depending on the magnitude of the sound pressure ratio of the first path to the second path.
  • This sound pressure ratio is affected by the feature B1 and the feature B2.
  • feature B1 feature of changing the gain depending on the input sound pressure level
  • the sound pressure ratio increases when the input sound pressure level is low, and decreases when the input sound pressure level is high.
  • the gain is 5 dB at 90 dB SPL, and the sound pressure ratio is small even if the hearing level is not low.
  • the sound pressure ratio becomes smaller when the hearing ability is close to that of a person with normal hearing, that is, when the hearing ability level is low.
  • the sound pressure ratio is small regardless of the magnitude of the input sound pressure level.
  • the sound pressure ratio is used here, the sound pressure ratio and the sound pressure level difference are of the same type, and either expression may be used.
  • the main function of hearing aid equipment is to amplify sound according to the hearing ability of the hearing impaired. This improves hearing for hearing-impaired people during conversations in quiet surroundings.
  • noise from the environment will be amplified along with your voice.
  • many hearing-impaired people have the characteristic that they have more trouble hearing words in noisy environments than normal-hearing people (feature A2). This is largely attributed to the dysfunction of the posterior labyrinth (all auditory pathways behind the labyrinth).
  • NR Noise Reduction
  • the NR function is a function of suppressing noise contained in an audio signal picked up by a microphone, and is realized by removing noise components contained in an input audio signal through signal processing.
  • the SNR Signal noise ratio
  • Fig. 11 illustrates the effect of the NR function.
  • Positions P1 and P2 in FIG. 11 correspond to positions P1 and P2 in FIG. 6, respectively.
  • a first route and a second route in FIG. 11 correspond to the first route and the second route in FIG. 6, respectively.
  • the spectrogram indicated by reference number 1170 represents the sound at position P1.
  • This spectrogram 1170 consists of a speech spectrum 1174 and noise 1175 .
  • the difference d1 in the spectrogram 1170 is small, with the speech slightly louder than the noise, and is difficult for hearing impaired people to hear.
  • Reference number 1172 shows the spectrogram of sound arriving at position P2 through the second path.
  • the shape of the spectrogram 1172 is affected by the housing and earpiece of the hearing aid device, but for the sake of simplicity of explanation, these effects are ignored here.
  • Spectrogram 1172 is approximately equal to spectrogram 1170 .
  • the amplification indicated by reference number 1177 and the NR function indicated by reference number 1107 are activated. Amplification and NR processing are performed in the signal processing section.
  • Reference number 1171 shows the spectrogram of sound arriving at position P2 through the first path. The NR function spreads the difference d1 of spectrogram 1170 like the difference dNR of spectrogram 1171, improving the SNR.
  • Spectrogram 1172 and spectrogram 1171 are mixed at position P2.
  • Reference numeral 1173 indicates the sound spectrogram at position P2.
  • Difference d2_1 in spectrogram 1173 is close to difference dNR. It can be seen that the SNR at position P2 is greatly improved compared to position P1. That is, d1 ⁇ d2_1.
  • FIG. 12 shows an example in which the effect of the NR function is small. Positions P1 and P2 in FIG. 12 correspond to positions P1 and P2 in FIG. 6, respectively. A first route and a second route in FIG. 12 respectively correspond to the first route and the second route in FIG.
  • a spectrogram 1270 represents the sound at position P1 and consists of a speech spectrum 1274 and noise 1275 .
  • the difference d1 between the peak of the voice spectrum 1274 and the peak of the noise 1275 in the spectrogram 1270 is small, and the voice is slightly louder than the noise, which makes hearing-impaired people difficult to hear.
  • Reference number 1272 shows the spectrogram of sound arriving at position P2 through the second path.
  • the first path operates the NR function as indicated by reference number 1207 but does not amplify as indicated by reference number 1277 (gain: 0 dB).
  • Reference numeral 1271 shows the spectrogram of sound arriving at position P2 via the first path.
  • Spectrogram 1272 and spectrogram 1271 are mixed at position P2, and the sound at position P2 becomes spectrogram 1273.
  • the NR function spreads the difference d1 of spectrogram 1270 like the difference dNR of spectrogram 1271, improving the SNR.
  • difference d2_2 in spectrogram 1273 is close to difference d1. It can be seen that the SNR improvement at position P2 is only marginal. That is, d1 ⁇ d2_2.
  • the reason why the SNR at position P2 is greatly improved in the example shown in FIG. 11 but is only slightly improved in the example shown in FIG. 12 is that the vertical axis of the spectrogram is dB. This is because when two sounds expressed in dB are added, the loud sound becomes dominant.
  • the SNR at the position P2 is greatly improved by using the NR function, and the hearing difficulty of the user of the hearing instrument is alleviated.
  • the gain of the first path is small, even if the NR function is used, the SNR at the position P2 will be slightly improved, and the hearing difficulty of the hearing aid user will be slightly improved.
  • the effect of the NR function depends on the magnitude of the amplification gain of the hearing aid equipment.
  • the magnitude of the amplification gain depends on the hearing ability of the user of the hearing aid and the sound pressure input to the hearing aid.
  • NR technologies for audio signals. Although not described in detail here, for example, a spectral subtraction method (see, for example, Patent Document 2), which works effectively for stationary noise, is often used.
  • a spectral subtraction method see, for example, Patent Document 2
  • NR technology is used in hearing aid devices, real-time processing is the basis, but in general, a longer amount of delay is required to obtain higher noise suppression performance. For this reason, it is a very important factor to what extent the amount of delay is within the allowable range. Forcibly suppressing stationary noise without increasing the amount of delay increases side effects and, conversely, leads to worsening of listening comprehension.
  • a hearing aid device When a hearing aid device amplifies a sudden loud sound (burst sound) such as the sound of a door slamming in the same way as a voice, the user of the hearing aid device is startled by the sudden loud sound.
  • a sudden loud sound burst sound
  • Persons with sensorineural hearing loss such as age-related hearing loss, have characteristic A1 (a characteristic that although it is difficult for them to hear soft sounds, the loudness of sounds they feel is not much different from that of people with normal hearing). For this reason, sudden sounds are even more unpleasant for hearing aid users than for normal hearing people.
  • the hearing aid operates to apply a small gain to loud sounds, but has limited effect on sudden sounds.
  • This processing has a time constant, and the primary purpose of the time constant is to improve the difficulty of listening to words.
  • a function of suppressing sudden sounds is also installed in many hearing aid devices that are currently in widespread use.
  • the sudden sound suppression function monitors the level of the sound input from the microphone, and performs processing to reduce the gain when the level suddenly increases.
  • the process of lowering the gain may not be done in time.
  • you try to make it in time by setting a short follow-up time the side effect is that the sound will fluctuate.
  • a longer delay amount is required to stably and reliably suppress sudden sounds. For this reason, it is a very important factor to what extent the amount of delay is within the allowable range.
  • the delay amount of the first path should be short in order to suppress echoes and the like, but long in order to suppress noise and sudden sounds.
  • making the delay amount variable makes the hearing aid device more satisfying for the user of the hearing aid device.
  • the amplification gain is large and the sound in the second path has relatively little influence, so there is little echo effect. If the environment is noisy with respect to the voice, it is possible to increase the satisfaction by making the NR function work strongly even if the delay amount is increased. Conversely, even for a hearing-impaired person with a hearing level of 40 dB HL, in a sound environment of 80 dB SPL, the gain of amplification is small, the influence of sound in the second path is relatively large, and the influence of echo occurs. Even if the NR effect is weakened, the feeling of satisfaction can be enhanced by shortening the delay amount.
  • FIG. 13 shows another configuration example of the hearing aid device.
  • a hearing aid device 1301 shown in FIG. 13 is configured by adding a sound source storage/playback unit 1312 and an external interface 1313 to the hearing aid device shown in FIG.
  • the sound source storage/playback unit 1312 plays back a sound source stored in advance in the built-in memory, such as an audio player.
  • the signal processing unit 1306 performs signal processing suitable for hearing loss as necessary, and the speaker 1303 converts the signal into sound.
  • the sound source can also include a low battery message, etc., like conventional hearing aids.
  • the external interface 1313 is, for example, wirelessly connected to a television, and receives audio from the television.
  • the signal processing unit 1306 performs signal processing suitable for hearing loss as necessary, and the speaker 1303 converts the signal into sound.
  • the audio signal from the sound source reproduction unit 1312 or the external interface 1313 is output from the speaker 1303, whether or not to output the sound picked up by the microphone 1302 is determined by the user of the hearing aid device.
  • an audio signal picked up by the microphone 1302 can be superimposed on an audio signal from a television or the like in preparation for being spoken to.
  • the user wants to concentrate on the television it is possible to stop overlapping the audio signals picked up by the microphone 1302 . In the latter case, no echo occurs.
  • the hearing aid device has a feature (feature B5) that the priority of the necessary functions changes according to the usage scene. Since the primary purpose of a hearing instrument is to improve speech understanding, feature B2 (feature of varying gain to suit user's hearing) allows the hearing instrument to have a gain setting adapted to the user's hearing. Many current hearing aid devices control the gain according to the input sound pressure, as shown in FIG. Even hearing aids without the NR function are useful, for example, in situations where people with mild or moderate hearing loss enjoy conversations with their families in a quiet environment such as at home. On the other hand, in noisy environments, such as restaurants, supermarkets, and izakayas, where conversations are lost in noise, the NR function is required to improve listening difficulties.
  • the noise is loud, there are usage scenes where conversation is not a high priority.
  • the NR function has a high effect even if the delay is slightly longer.
  • the priority of the necessary functions changes depending on the usage scene. Therefore, it is very important to appropriately change the delay amount of the first path according to the usage scene in order to increase the satisfaction of the user of the hearing aid device.
  • a hearing impaired person has two features A1 and A2.
  • Feature A1 It is difficult to hear soft sounds, but the loudness of sounds that are perceived as loud is not much different from that of people with normal hearing.
  • the hearing aid device has five features B1 to B5.
  • Characteristic B1 Characteristic that the gain is changed depending on the input sound pressure level Characteristic B2: Characteristic that the gain is changed according to the hearing ability of the user Characteristic B3: Characteristic that the second path exists in addition to the first path Characteristic B4: Characteristic that the sound of the first path is delayed Characteristic B5: Characteristic that the priority of the necessary function changes according to the usage scene
  • features B1 to B4 Due to features B1 to B4, it is necessary to shorten the delay because discomfort due to discrepancies between visual and auditory information, stuttering due to delayed auditory feedback, and hearing difficulty due to echoes occur.
  • the features A1 and A2 In order for the features A1 and A2 to make the NR function and the sudden sound suppression function work effectively for the purpose of improving listening difficulties, it is necessary to allow a longer amount of delay.
  • the satisfaction of the user of the hearing aid device can be improved.
  • feature B5 by considering usage scenes for delay amount control, it is possible to meet the needs of the user of the hearing aid device in more detail. Therefore, in the first embodiment of the present disclosure, the satisfaction of the user of the hearing aid device is improved by controlling the delay amount of the first path.
  • an NC Noise canceling function. Automatic setting of the NC function, automatic on/off switching, automatic intensity switching, automatic characteristic change, presentation of recommended settings on the user interface, etc., enable power saving, which is important for hearing aid equipment, and at the same time To improve listening difficulties of a device user.
  • the hearing aid device must grasp the hearing ability of the user.
  • hearing aids themselves have been used to measure hearing in place of traditional dedicated audiometry devices.
  • audiometry should be done in a quiet environment, such as a soundproof room. It is due to feature B3 of the hearing aid. In a noisy environment, the noise masks the inspection sound, hindering accurate measurement.
  • the third embodiment of the present disclosure enables hearing measurement even in an environment with some noise.
  • the NR function is a function that removes noise components contained in the input audio signal by signal processing (that is, suppresses noise on the audio signal), whereas the NC function is a function of superimposing an NC signal, which has the same amplitude as the noise component and is phase-inverted, onto the desired signal, thereby canceling spatial noise with the NC signal after voice output.
  • the NR function and the NC function are completely different functions. Note that there are Since the NR function outputs a signal from which noise has been removed, the effect of NR is maintained even if there is a delay. On the other hand, if the delay is large, the NC function cannot cancel the noise due to the time difference between the noise and the NC signal, and the NC effect is lost. In addition, since the earpiece can insulate noise in a high frequency band, the NC function is mainly used for canceling noise of 1 KHz or less, which cannot be insulated.
  • the hearing aid user's satisfaction is improved by controlling the delay amount of the first path.
  • FIG. 14 shows a configuration example of a hearing aid device 1401 having a variable delay NR function according to the first embodiment.
  • the microphone 1402, ADC 1404, DAC 1405, and speaker 1403 are drawn in a straight line from left to right, and have the same configuration as the hearing aid device 1301 shown in FIG. Sound picked up by the microphone 1402 is converted from sound to an electric signal in the microphone 1402 .
  • ADC 1404 converts the analog signal from microphone 1402 to a digital signal.
  • the NR section 1407 suppresses noise in the audio signal.
  • the NR section 1407 is controlled by the control section 1411, the details of which will be described later.
  • the amplitude/phase adjustment unit 1409 adjusts the amplitude, phase, etc. of the audio signal after NR processing.
  • Amplitude/phase adjustment section 1409 is set by control section 1411 using hearing information storage section 1415 and an input audio signal to amplitude/phase adjustment section 1409 .
  • control section 1411 determines the gain for each frequency according to the gain curves shown in FIGS.
  • the hearing information stored in the hearing information storage unit 1415 may be a gain curve as shown in FIGS. 2 and 5, or may be a hearing measurement result as shown in FIG. In the case of audiometric results, it also includes the process of obtaining a gain curve from the audiometric results.
  • DAC 1405 converts digital signals to analog signals.
  • Speaker 1403 converts the electrical signal into sound. The delay amount of the audio output from the speaker 1403 changes in the same manner as the delay amount of the variable delay NR function.
  • the sound source storage/playback unit 1412 plays back the stored sound source.
  • the sound source can be a voice message when the battery level is low, a voice message when switching programs, a sound source for audiometry, etc., like conventional hearing aids. It is also possible to store music sources like an audio player.
  • the external interface 1413 is in charge of transmitting and receiving audio signals and transmitting and receiving other data.
  • a hearing aid device 1401 having independent left and right shapes, it can be used to transmit a sound signal picked up by a microphone to the opposite ear.
  • it can be used to transmit television audio signals, connection information indicating that the television is connected, and the like.
  • Data stored in the sound source storage/playback unit 1412 , configuration information storage unit 1414 , and hearing information storage unit 1415 may also be received via the external interface 1413 .
  • Data stored in the trained model storage unit 1417 may also be received via the external interface 1413 .
  • the external interface 1413 can also be used for transmitting information from the hearing aid device 1401 to the user (user) of the hearing aid device 1401 and for receiving information from the user (user) of the hearing aid device 1401 .
  • the configuration information storage unit 1414 stores configuration information of the hearing aid device 1401 .
  • the configuration information of the hearing aid device 1401 includes, for example, information indicating the wearing method such as whether it is one-ear or two-ear and whether it is an ear-hole type or an ear-hung type, the type of earpiece (dome), and the ear-hole type. and information about the characteristics of the housing of the hearing aid device 1401, such as the shape of the behind-the-ear type. Whether it is monoaural or binaural makes a difference, for example, when detecting self-voiced vocalizations. The difference in the type of earpiece greatly affects the characteristics of the sound on the second path shown in FIG. 13 (that is, the sound that cannot be blocked by the earpiece).
  • the hearing information storage unit 1415 stores the hearing information of the individual user of the hearing aid device 1401 .
  • the hearing information can use, for example, the gain curve 280 shown in FIG.
  • the delay amount determination unit 1416 determines the delay amount allowed in signal processing in the NR unit 1407, the amplitude/phase adjustment unit 1409, etc., based on the hearing information, the input speech information, and the configuration information. For example, the delay amount determination unit 1416 determines the allowable delay amount using a pre-learned model using the hearing information, the input speech information, and the configuration information as the explanatory variables and the allowable delay amount information as the objective variable. can be done.
  • the learned model storage unit 1417 has learned model information used when the delay amount determination unit 1416 determines the allowable delay amount.
  • the learned model information may be acquired via the external interface 1413 and stored in the learned model storage unit 1417 . Also, it is possible to store the learned model re-learned by the hearing aid device 1401 in the learned model storage unit 1417 .
  • FIG. 15 shows an example of how a learned model is generated, which is applied in this embodiment.
  • This trained model 1501 is used in the delay amount determination unit 1416, and inputs hearing information, input speech information, and configuration information, estimates and outputs allowable delay amount information. That is, the trained model 1501 uses the hearing information, the input speech information, and the configuration information as explanatory variables, and the allowable delay amount information as the objective variable.
  • FIG. 15 shows a trained model with three input nodes, one output node, and a neural network with two intermediate layers, but the present invention is not limited to this.
  • the trained model 1501 can be generated by a server or personal computer separate from the hearing aid device 1401 .
  • the generated trained model 1501 may be transmitted to the hearing aid device 1401 via the external interface 1413 of the hearing aid device shown in FIG. Note that the trained model 1501 may be generated on the hearing aid device 1401 side (so-called edge AI). Each explanatory variable and objective variable of the trained model 1501 will be explained.
  • Hearing information can use the measurement result information of pure tone audiometry.
  • the pure tone audiometry may be at least one of an air conduction audiometry or a bone conduction audiometry.
  • the audiogram example shown in FIG. 4 is an example of the measurement results of air conduction audiometry.
  • Gain information obtained using a prescription formula based on the measurement result information can also be used instead of the measurement result information of the pure tone audiometry.
  • Gain information refers to, for example, the gain curve 280 shown in FIG.
  • prescription formulas NAL-NL2 (National Acoustic Laboratories non-linear 2) and DSLv5 (Desired Sensation Level version 5) widely used in conventional hearing aids can be used.
  • Prescription formulas are not limited to these, and any formula can be used as long as the gain is determined according to the hearing ability.
  • the hearing information may be the results of self-recorded audiometry (in which the volume of the sound changes when the subject presses a button and is recorded) in addition to the results of pure tone audiometry.
  • the result of threshold measurement for measuring the hearing threshold for each frequency may be used.
  • a speech discrimination score (speech recognition score) may be used.
  • a speech discrimination score is the result of a speech discrimination measurement.
  • Speech audiometry including speech discrimination tests, is presented in ISO 8253-3. In Japan, with reference to ISO8253-3 (1998), the Japanese Society of Audiological Medicine has indicated a guideline "Speech Sound Auditory Test Method 2003".
  • a measurement performed by distorting the speech sound of a normal speech audiometry is called a distorted speech audiometry. Speech discrimination scores obtained from speech discrimination measurements using distorted speech sounds may also be used.
  • speech discrimination scores tend to decrease in the case of post-labyrinthine hearing loss. Furthermore, it is widely known that people with post-labyrinthine deafness tend to have more trouble hearing words in noise. For this reason, it can be used as good reference data when determining the strength of NR, in other words, the delay amount of NR.
  • the speech discrimination score is a numerical value between 0% and 100%. No distinction is made herein between speech discrimination measurements and speech discrimination tests, or between speech audiometry and speech audiometry. Here, the speech discrimination score was used as a means of measuring the tendency to have difficulty hearing words in noise, but in short, the result of measuring the degree of difficulty in hearing words in noise can be used.
  • the range of pure tone audiometry measurements is from -20 dB HL to 120 dB HL, as shown in the audiogram shown in FIG.
  • the gain is broadly estimated between 0 dB and 80 dB for all input speech levels.
  • These ranges can be used as they are as learning data ranges. That is, for example, the measured value of pure tone audiometry can be -20 dB HL to 120 dB HL.
  • the measured value of pure tone audiometry can be -20 dB HL to 120 dB HL.
  • the hearing aid effect of hearing aids is weak, and it is considered to be the applicable level for cochlear implants. Considering these together, it is effective to set the learning data range to, for example, 0 dB HL to 90 dB HL or 0 dB HL to 80 dB HL. Out-of-range values can be rounded to the boundary value.
  • a voice signal picked up from the microphone 1402 of the hearing aid device 1401 can be used.
  • a level value converted into a sound pressure level or the like can also be used instead of the audio signal.
  • it may be in the form of amplitude spectrum or power spectrum.
  • frequency domain signals such as amplitude and power spectra
  • FFT fast fourier transform
  • the hearing aid device 1401 often performs signal processing in the frequency domain in accordance with hearing ability, like the amplitude/phase adjustment unit 1409 in FIG. Therefore, matching the FFT size for preparing learning data with the FFT size for other processing of the hearing aid device that uses the trained model for estimation helps reduce the amount of processing and power consumption of the hearing aid device 1401 .
  • the hearing aid device 1401 For the input audio information, when the hearing aid device 1401 is used with both ears, the sounds picked up by the left and right microphones 1402 are different. Sounds from the left and right microphones 1402 may be processed independently or collectively. If the left and right hearing aid devices 1401 have independent housings, the sound picked up via the external interface 1413 is wirelessly sent to the opposite ear. In this case, the audio signal as it is has a large amount of data, and a large amount of power is required for transmission. In order to reduce the amount of data, thinning may be performed in the time direction. In order to reduce the amount of data, it may be configured to transmit the feature amount extracted from the audio signal. As features, for example, level values, zero crosses, tonalities, spectral roll-offs, bark scale power values, and the like may be used.
  • the loudness of sound received in the environment is broadly estimated to be 0 dB SPL to 140 dB SPL.
  • a narrower range is practical.
  • the sound of leaves touching each other is 20 dB SPL
  • the sound of a train passing under the guard is 100 dB SPL.
  • the main purpose of hearing aid equipment is to improve speech comprehension, and it is effective to set the input sound level range to 20 dB SPL to 110 dB SPL or 30 dB SPL to 100 dB SPL.
  • Out-of-range values can be rounded to the boundary value.
  • Both the hearing information learning data range and the input speech information learning data range may be limited in the data set stage, or may be limited as preprocessing when learning the trained model 1501. good too.
  • the feature amount of the audio signal When used as the input audio information, it may be converted into the feature amount at the stage of the data set, or may be converted into the feature amount as preprocessing when learning the trained model.
  • Any training data can be used when training the trained model 1501, but it is generally useful to normalize the training data in order to improve identification performance and speed up learning. It is effective to normalize both the hearing information learning data and the input speech information learning data.
  • the aforementioned learning data range is normalized to the range of 0.0 to 1.0. It may be normalized at the learning data set stage, or may be normalized as preprocessing when learning the trained model 1501 .
  • the configuration information includes information such as the type of earpiece, how it is worn, and the characteristics of the housing of the hearing aid (described above). .
  • information such as the type of earpiece, how it is worn, and the characteristics of the housing of the hearing aid (described above).
  • the voice reaches the hearing aid device 1401 in both ears at substantially the same time with substantially the same volume and substantially the same timbre.
  • beamforming in the monoaural hearing aid device 1401 can be used to detect the voice coming from the direction of the mouth of the user of the hearing aid device 1401 and use its characteristics such as strength and timbre. Binaural wearing can detect one's own utterance more reliably than monoaural wearing.
  • the configuration information includes information such as the type of earpiece of the hearing instrument 1401, how it is worn, characteristics of the hearing instrument housing, etc. (described above).
  • types of earpieces include open-dome, closed-dome, double-dome, and tulip-shaped earpieces (domes) commonly used in conventional hearing aids, as well as molds. It may also include information such as RECD (real ear to coupler difference), which is often used for fitting conventional hearing aids.
  • RECD real ear to coupler difference
  • the strength and timbre of the sound of the second path in FIG. 13 are affected by the type of earpiece.
  • the prediction of the sound of the second path is important, and the type of earpiece and the RECD are useful for this prediction.
  • the configuration information can be omitted in some cases.
  • a product configuration it is assumed that the earpiece is worn in both ears, and the earpiece has only one type of acoustic characteristics.
  • TWS hearing aid function
  • the allowable delay amount information may be the delay time or the number of delay samples. This permissible delay amount information indicates how much delay the first path is tolerable for the user of the hearing aid device 1401 compared to the second path in FIG. More specifically, the delay amount in NR section 1407 is determined so that the overall delay amount of the first path is within this allowable range. For example, if the overall delay tolerance for the first path is 6 ms, and the non-NR function causes a 4 ms delay, then simply the NR function has an upper delay limit of 2 ms. becomes.
  • the allowable delay amount may be the allowable delay amount DLY_ALL_MAX for the entire first route or the allowable delay amount DLY_NR_MAX limited to the NR function.
  • the allowable delay amount of the learning data is more preferably the allowable delay amount DLY_ALL_MAX of the entire first route.
  • the allowable delay amount of the learning data is mainly explained as the allowable delay amount DLY_ALL_MAX of the entire first route, but it is not limited to this.
  • the allowable delay amount DLY_NR_MAX of the NR function can be easily obtained by subtracting the delay amount DLY_OTHER other than the NR function from the estimated allowable delay amount DLY_ALL_MAX of the entire first path. That is, it is possible to calculate the allowable delay amount DLY_NR_MAX for the NR function as in the following equation (1).
  • FIG. 16 shows an example of the user interface when creating learning data.
  • Portable information device 1664 displays hearing information and configuration information.
  • the hearing information is an audiogram.
  • the audiogram may be in the form of data transferred from a hearing measurement device (not shown) or in the form of manual input by the user of the portable information device 1664 .
  • the configuration information in this example, is the type of earpiece to be used, the selection of the earmold, and the selection of the left or right hearing aid device to be used.
  • the setting information is transmitted to the hearing aid device 1601, and the left and right hearing aid devices 1601A and 1601B operate according to the setting.
  • the hearing aid 1601A is shown in a shape similar to a conventional RIC (Receiver in the Canal) type hearing aid, and the hearing aid 1601B is shown in a shape similar to a conventional TWS, but the shape is not limited to this.
  • the connection between the personal digital assistant 1664 and the hearing aid devices 1601A and 1601B can be either wireless or wired.
  • FIG. 17 shows an example of a user interface used by the subject (hearing-impaired) to answer the allowable amount of delay.
  • Portable information device 1764 has a slider bar 1767 and radio buttons 1769 as a user interface for adjusting the amount of delay. For example, when the subject changes slider bar 1767, the amount of delay in the hearing aid device changes accordingly.
  • Radio buttons 1769 are assigned, for example, a delay amount of 2 milliseconds to No. 1 and a delay amount of 50 milliseconds to No. 9, and the like.
  • a sound environment assumed as input voice information is reproduced around the subject, and the subject designates the maximum allowable delay amount in the sound environment with the slider bar 1767 and the radio button 1769, and clicks the OK button. Press 1765 to confirm.
  • hearing information, input speech information, configuration information, and allowable delay amount information are added to the learning data set.
  • the above-described user interface is not limited to the slider bar 1767 and the radio button 1769, and may be configured to adjust the delay amount in other forms.
  • Fig. 18 shows the procedure for creating learning data in the form of a flowchart.
  • the hearing aid device and the sound environment reproduction system are set based on the input information (step S1801).
  • a sound environment reproduction system reproduces sound environments such as quiet rooms, hospitals, shopping malls, and restaurants. For example, a configuration in which 5.1-channel speakers are arranged around the subject can be used. For example, a conversation partner may be placed in front of the subject.
  • the subject designates the amount of delay using the user interface as shown in FIG. 17 (step S1802).
  • the hearing aid device is operated according to the delay amount specified by the subject (step S1803).
  • step S1804 it is determined whether the subject has determined the allowable amount of delay. If the OK button has not been pressed (No in step S1804), the process returns to step S1802 to repeat the designation of the delay amount and the operation with that delay amount. When repeated, if there is no new designation from the subject in step S1802, the immediately preceding settings may be maintained and used. On the other hand, if the OK button is pressed (Yes in step S1804), the delay amount specified at that time is added to the learning data set as allowable delay amount information (step S1805).
  • FIGS. 17 and 18 show examples in which the subject designates candidates for the amount of delay
  • the present invention is not limited to this.
  • the subject may be presented with the automatically changed amount of delay, and the subject may answer whether it is acceptable or not each time.
  • the subject may be presented with two different sets of delay amount settings, and the subject may answer which one is more acceptable. In short, it is sufficient to obtain an answer as to how much delay amount is acceptable for the subject.
  • FIG. 19 shows another generation example of a learned model used in the delay amount determining section 1416.
  • FIG. Hearing information, input speech information, and configuration information are used, and allowable delay amount information is output.
  • the difference from the generation example shown in FIG. 15 is that a trained model is generated for each configuration information.
  • a trained model A 1940 is generated under the conditions of the configuration information A
  • a trained model B 1941 is generated under the conditions of the configuration information B
  • a trained model C 1942 is generated under the conditions of the configuration information C.
  • configuration information A is monoaural and open dome
  • configuration information B is binaural and closed dome.
  • FIG. 19 shows an example in which three types of learned models A to C are generated using three types of configuration information A to C as conditions.
  • a trained model as described above may be generated.
  • the generation example shown in FIG. 15 and the generation example shown in FIG. 19 are the same in that the hearing information, the input speech information, and the configuration information are used, and the allowable delay amount information is output.
  • FIG. 20 shows yet another generation example of the trained model used in the delay amount determination unit 1416.
  • FIG. In the illustrated generation example, hearing information, input speech information, and configuration information are input, and allowable delay amount information is output. The difference from the generation example shown in FIG. The point is that the output of the finished model 2041 is used. Since detection of the presence or absence of one's own voice is irrelevant to the presence or absence of hearing loss, it is possible to easily prepare a large amount of training data with the cooperation of a person with normal hearing (a person with normal hearing). First, using input speech information and configuration information, a second trained model 2041 for detecting the presence or absence of own voice is generated. Next, when generating the first trained model 2040, the estimation result of the second trained model 2041 is used.
  • the first trained model 2040 is input with the presence/absence information of the own voice, and outputs the allowable delay amount information.
  • highly accurate self-voice detection can be expected, and as a result, improvement in the accuracy of estimation of allowable delay amount information of the first trained model 2040 can be expected.
  • the learning data are hearing information, input speech information, configuration information, and allowable delay amount information.
  • a subject for acquiring learning data must be a hearing-impaired person. Since most hearing-impaired people are elderly, there is a problem that it is difficult to work for a long time. For this reason, it is divided into parts that must depend on the hearing impaired (or parts that require the cooperation of the hearing impaired) and parts that do not need to rely on (or the parts that do not require the cooperation of the hearing impaired). Generating a trained model is useful for efficiently constructing a training data set.
  • FIG. 21 shows a configuration example of the allowable delay amount estimating section 2126 when a learned model is not used.
  • gain information for example, the gain curve 280 shown in FIG. 2 can be used.
  • the first sound pressure level calculator 2122 calculates the first sound pressure level P_1(f), which is the output of the first path, using the level information for each frequency band of the input sound and the gain information. f represents frequency.
  • the acoustic characteristics of the earpiece, etc. are acquired from the configuration information.
  • an attenuation characteristic for each frequency can be used. In general, high frequencies are attenuated more and low frequencies are less attenuated.
  • the second sound pressure level calculation unit 2123 uses the configuration information (acoustic characteristics of the earpiece, etc.) and the level information for each frequency band of the input sound to calculate the sound inside the ear canal (for example, position P2 in FIG. 13) through the second route. Calculate a second sound pressure level P_2(f).
  • the sound pressure level difference calculator 2124 calculates the difference r(f) between the first sound pressure level P_1(f) and the second sound pressure level P_2(f) as shown in Equation (2) below.
  • the allowable delay amount calculator 2125 calculates the allowable delay amount DLY_ALL_MAX from the sound pressure level difference r(f), for example, as shown in the following equation (3).
  • the function f1 is a function that expresses the relationship between the sound pressure level difference r(f) and the allowable delay amount DLY_ALL_MAX, and is approximated in advance from statistical data. For example, as illustrated in the description of FIG. 9, it can be calculated as 60 milliseconds when the difference is large and 6 milliseconds when the difference is small.
  • FIG. 22 shows, in the form of a flowchart, a processing procedure for determining the allowable delay amount without using the learned model in the allowable delay amount estimation unit 2126 shown in FIG.
  • the first sound pressure level calculator 2122 calculates the first sound pressure level P_1(f), which is the output of the first path, from the input speech information and hearing information (step S2201). Also, the second sound pressure level calculator 2123 calculates the second sound pressure level P_2(f) of the second path from the input audio information and the configuration information (step S2202). Next, the sound pressure level difference calculator 2124 calculates the sound pressure level difference r(f) between the first sound pressure level P_1(f) and the second sound pressure level P_2(f) based on the above equation (2).
  • the allowable delay amount calculator 2125 calculates the allowable delay amount DLY_ALL_MAX based on the above equation (3) from the sound pressure level difference r(f) (step S2204) and outputs it (step S2205).
  • the function f1 is a function representing the relationship between the sound pressure level difference r(f) and the allowable delay amount DLY_ALL_MAX of the entire first path. It may be a function representing the relationship of the quantity DLY_NR_MAX. In that case, in step S2205 of FIG. 22, the allowable delay amount DLY_NR_MAX is output.
  • a lot of training data is required to train a trained model.
  • the procedure for creating learning data is time-consuming and troublesome. What is important when collecting a large amount of training data is to reduce manual work as much as possible.
  • the method that does not use a trained model and has been described with reference to FIGS. 21 and 22 can be used as a tool for efficiently constructing learning data.
  • candidates for the allowable delay amount are prepared using a method that does not use a trained model.
  • the candidates are manually fine-tuned and used as learning data. For example, the initial values of the slider bar 1767 and radio button 1769 in FIG. 17 are determined using candidates for the allowable delay amount calculated by a method that does not use a trained model.
  • the subject can determine the answer by only trying around the initial value.
  • the number of two-choice questions required can be reduced.
  • This method can significantly improve work efficiency.
  • the method that does not use a trained model which has been described with reference to FIGS. 21 and 22, is computationally light and can be implemented even with inexpensive hearing aid equipment. In other words, it can be used as a simple substitute for estimation using a trained model.
  • FIG. 23 shows the variable delay NR processing procedure in the hearing aid device in the form of a flowchart.
  • the NR delay amount is initialized (step S2301).
  • NR processing is performed on the input audio signal (step S2302).
  • the NR-processed audio signal is output from the speaker after being subjected to other signal processing of the hearing aid.
  • the amount of delay in audio output from the speaker is affected by the amount of delay in NR processing.
  • step S2303 using the hearing information of the user of the hearing aid, the input audio information of the hearing aid, and the configuration information of the hearing aid, the recommended setting of the NR delay amount is calculated (step S2303). An example of how to obtain the delay amount will be described later with reference to FIGS. 24 to 27.
  • the NR delay amount is updated based on the reply from the user of the hearing aid device (step S2305).
  • For settings that automatically apply recommended settings update automatically. Examples of how to present the recommended settings to the hearing aid device user and how to respond will be described later with reference to FIGS. 28 to 32. FIG.
  • step S2306 it is determined whether to end the NR processing.
  • the process is not to end (No in step S2306), the process returns to step S2302 to continue the process. If the NR process is to end (Yes in step S2306), this process ends.
  • the timing for ending the NR processing is, for example, when the user of the hearing aid turns off the NR function or turns off the power of the hearing aid.
  • FIG. 23 explained that the user is the user of the hearing aid device, the user may be a family member other than the user of the hearing aid device.
  • a family member or the like may be next to the user of the hearing aid device, or may be located away from the user of the hearing aid device via the network.
  • FIG. 24 shows a configuration example of a delay amount determination unit that uses a learned model to determine allowable delay amount information, according to the present disclosure.
  • the delay amount determination unit 2416 shown in FIG. 24 corresponds to the delay amount determination unit 1416 shown in FIG. 14, receives the hearing information, the input speech information, and the configuration information, and outputs the delay amount. Input and output are performed via the control unit 1411 of FIG.
  • the trained model 2440 may be any of the trained models described with reference to FIGS. 15, 19, and 20.
  • the trained model 2440 inputs hearing information, input speech information, and configuration information, and outputs allowable delay amount information.
  • the delay amount calculator 2427 receives the allowable delay amount information, calculates the delay amount of the NR section, and outputs it.
  • FIG. 25 shows the processing flow of the delay amount determining unit 2416 in the form of a flowchart.
  • the trained model 2440 receives hearing information, input speech information, and configuration information, and uses the trained model to estimate the allowable delay amount (step S2501).
  • the delay amount calculator 2427 calculates the allowable delay amount DLY_NR_MAX of the NR unit from the allowable delay amount information (step S2502).
  • the permissible delay amount estimated by the learned model 2440 is the permissible delay amount DLY_ALL_MAX for the entire first route
  • the permissible delay amount DLY_NR_MAX can be calculated as shown in the following equation (4).
  • DLY_OTHER is the amount of delay other than the NR function.
  • the allowable delay amount estimated by the learned model is the allowable delay amount DLY_NR_MAX of the NR function
  • the allowable delay amount estimated by the learned model can be used as it is.
  • the delay amount calculator 2427 determines the delay amount DLY_NR of the NR section from the allowable delay amount DLY_NR_MAX of the NR section (step S2503).
  • the delay amount DLY_NR of the NR section is determined by the following equation (5).
  • the delay amount DLY_NR of the NR section 1407 can be determined within a range not exceeding DLY_NR_MAX. For example, when the NR unit 1407 has three types of delay amounts, 16 samples, 32 samples, and 64 samples, and the calculated DLY_NR_MAX is 40 samples, DLY_NR is determined to be 32 samples.
  • the delay amount DLY_NR of the NR unit 1407 may not only be set to a value as large as possible, but may also be set to a small value. For example, when the NR unit 1407 has three types of delay amounts, 16 samples, 32 samples, and 64 samples, and the calculated DLY_NR_MAX is 40 samples, DLY_NR may be determined as 16 samples.
  • the allowable delay amount is calculated independently, it is possible to use separate left and right delay amounts or to use a unified delay amount for left and right.
  • the same delay amount is used for the left and right, for example, the average of the delay amounts calculated for the left and right may be used, or the delay amount may be adjusted to a short delay amount.
  • the same amount of delay for left and right In order to suppress fluctuations in localization of left and right sounds, it is preferable to use the same amount of delay for left and right. In order to suppress the uncomfortable feeling of the user of the hearing aid device, it is preferable to combine the left and right delay amounts with a short delay amount.
  • the calculated delay amounts can be exchanged via the external interface 1413 .
  • FIG. 26 shows a configuration example of the delay amount determination unit 2616 according to the present disclosure.
  • the delay amount determination unit 2616 corresponds to the delay amount determination unit 1416 shown in FIG. 14, receives the hearing information, the input speech information, and the configuration information, and outputs the delay amount. Input and output are performed via the control unit 1411 of FIG.
  • the permissible delay amount estimator 2626 inputs the hearing information, the input speech information, and the configuration information, and outputs the permissible delay amount information.
  • the delay amount determination unit 2616 is different from the delay amount determination unit 2416 shown in FIG. 24 in that the allowable delay amount estimation unit 2626 determines the allowable delay amount information without using a trained model.
  • the permissible delay amount estimating section 2626 may have, for example, the same configuration as the permissible delay amount estimating section 2126 shown in FIG. 21, but is not limited to this.
  • the operation of the delay amount calculator 2627 is the same as that of the delay amount calculator 2427 in FIG.
  • FIG. 27 shows the processing flow of the delay amount determination unit 2616 in the form of a flowchart. The processing is the same as that shown in FIG. 25 except that the allowable delay amount estimation unit 2626 determines the allowable delay amount information without using the learned model in step S2701.
  • FIG. 28 shows, in the form of a flowchart, an example of processing for proposing to the user to update the delay amount. If the newly calculated delay amount of the NR unit 1407 is different from the current delay amount of the NR unit, there are two methods: a method of automatically updating, and a method of suggesting an update to the user of the hearing aid device. In the case of automatic updating, since frequent updating may lead to discomfort, it is preferable to update with a certain amount of time constant. For example, the flow chart shown in FIG. 28 can be used to suggest an update to a user of a hearing instrument.
  • the new delay amount of the NR unit 1407 is calculated (step S2801). This is as shown in FIGS. 24 and 26.
  • the newly calculated delay amount of the NR unit 1407 is compared with the current delay amount of the NR unit 1407 to check whether or not the delay amount of the NR unit 1407 has changed (step S2802).
  • step S2802 If the newly calculated delay amount of the NR unit 1407 does not differ from the current delay amount of the NR unit 1407 (No in step S2802), the process returns to step S2801. On the other hand, if the newly calculated delay amount of the NR unit 1407 and the current delay amount of the NR unit 1407 are different (Yes in step S2802), the process advances to step S2803 to Therefore, updating the delay amount of the NR unit 1407 is proposed. An example of the proposed method will be described later with reference to FIGS. 29, 31, and 32. FIG.
  • step S2804 an answer to the proposal is obtained from the user of the hearing aid device. Examples of answering methods will be described later with reference to FIGS. 30, 31, and 32.
  • step S2805 the process branches depending on the content of the answer. If the response from the user indicates that the update is desired (Yes in step S2805), the delay amount of the NR unit 1407 is updated (step S2806), and this process ends. On the other hand, if the answer from the user indicates that the update is not desired (No in step S2805), the delay amount of the NR unit 1407 is not updated (step S2807), and this processing ends.
  • FIG. 29 shows an example of a proposal method for proposing delay amount update to the hearing aid device user.
  • a proposal can be made by reproducing the voice message from the speaker of the hearing aid device 2901 or the speaker of the externally connected portable information device 2964 . Besides voice, it may be a specific alarm sound or music.
  • the screen of the externally connected personal digital assistant 2964 can also be used. Language messages, symbols, pictograms, etc. are also possible.
  • the vibration function of the externally connected portable information device 2964 can also be used. For example, it can be distinguished by changing the intermittent interval of vibration.
  • Fig. 30 shows an example of a reply method from the hearing aid user.
  • the user 3090 can respond using the buttons of the hearing aid device 3001, the touch sensor, or the user interface on the screen of the portable information device 3064 connected externally. It is also possible to receive a response from the user using the hearing aid device 3001 or the acceleration sensor of the externally connected portable information device 3064 .
  • the hearing aid device 3001 can detect the vertical shaking of the head when answering "yes” and the horizontal shaking of the head when answering "no" with an acceleration sensor, and can receive it as an answer.
  • the mobile information device 3064 can also receive a "yes” or "no” answer depending on the direction in which the mobile information device 3064 is shaken.
  • An answer from the user can also be received using the hearing aid device 3001 or the microphone of the externally connected portable information device 3064 .
  • the user of the hearing aid can respond verbally and recognize the voice picked up by the microphone to identify whether the voice was "yes" or "no".
  • FIG. 31 shows another user interface example used when proposing delay amount updates to the hearing aid user and receiving an answer from the hearing aid user.
  • a slider bar 3167 representing the intensity of NR, which may also be displayed with a recommended range 3199.
  • the strength of NR expresses the length of the delay amount.
  • the "weak" strength of the NR corresponds to the "short” delay amount.
  • the length of the delay amount may be used.
  • a recommended range 3199 is determined from the newly calculated delay amount.
  • a recommended range 3199A on the left side of FIG. 31 is an example in which the newly calculated delay amount is short, and a recommended range 3199B on the right side of FIG. 31 is an example in which the newly calculated delay amount is long.
  • the recommended range may range from 80% to 100% of the newly calculated amount of delay.
  • Fig. 32 shows several specific display methods of the recommended range.
  • a display method such as a recommended range 3299C or a recommended range 3299D may be used.
  • a dial 3268 may be used instead of the slider bar 3167 shown in FIG.
  • the recommended range for the dial may be a display method such as a recommended range 3299E or a recommended range 3299F.
  • the means for adjusting the intensity of NR is not limited to the slider bar 3167 and the dial 3268, and other means may be used.
  • the present invention is not limited to these.
  • the recommended range should be automatically presented according to the newly calculated delay amount.
  • the user of the hearing aid device (user) can set the strength of NR according to his/her own intention while referring to it.
  • press the OK button 3165 to exit.
  • the hearing aid device user (user) presses the OK button 3165 without operating the slider bar 3167 or the dial 3268 to end the process.
  • a switch 3166 may be used to designate switching between on and off of the automatic setting.
  • FIG. 33 shows a configuration example of the NR section, which corresponds to the NR section 1407 in FIG.
  • FIG. 34 shows an example of variable delay buffer operation.
  • the time domain is first transformed into the frequency domain.
  • window functions and 50% overlap are often used.
  • the NR section 3307 shown in FIG. 33 receives, for example, the delay amount determined by the delay amount determination section 1416 in FIG. 14 via the control section 1411 in FIG.
  • An audio signal input to the NR unit 3307 first enters an input buffer 3351 (input buffer 3451 in FIG. 34).
  • a windowing unit (preprocessing) 3353 multiplies a window function (for example, the window function 3450 in FIG. 34) having a size suitable for the amount of delay.
  • the FFT 3355 converts to the frequency domain using an FFT of a size suitable for the amount of delay.
  • the NR_core 3357 performs NR processing using a spectral subtraction method or the like.
  • FIG. 34 shows an example of variable delay buffer operation when the delay amount is changed in the order of 2-frame delay, 4-frame delay, and 2-frame delay, consisting of 13 frames from frame 1 to frame 13. .
  • the audio codec also makes the frame size variable, but in the audio codec, the conversion destination is a bitstream, and such a problem does not occur. In order to solve this problem, a process for smoothly connecting the processed audio signals is required.
  • the window size is changed at the timing when the amount of delay changes, and cross-fade is used to smoothly connect the processed audio signals.
  • the FFT size is changed according to the amount of delay, but the FFT size does not have to be changed.
  • the number of frames used for estimating the noise spectrum may be extended according to the amount of delay.
  • FIGS. 33 and 34 show examples of frequency domain and frame processing, time domain or sample processing may be used.
  • a configuration is also possible in which NR processing of a plurality of delay amounts is always performed in parallel, selected as appropriate, and connected by cross-fading.
  • cross-fading is performed with a width of one frame, but it may be performed over a plurality of frames. It suffices if the audio signal after the variable delay NR processing is smoothly connected.
  • FIG. 35 shows a second configuration example of the hearing aid device having the variable delay NR function according to the first embodiment.
  • the microphone 3502, ADC 3504, DAC 3505, and speaker 3503 are drawn in a straight line from left to right, it should be understood that the arrangement is similar to that of FIG.
  • the configuration of the hearing aid device 3501 will be described below, focusing on differences from the hearing aid device 1401 shown in FIG.
  • the sound source storage/playback unit 3512 corresponds to the sound source storage/playback unit 1412 in FIG.
  • the external interface 3513 corresponds to the external interface 1413 in FIG. 14, and can handle connection information and sensor information to be described later.
  • the configuration information storage unit 3514 corresponds to the configuration information storage unit 1414 in FIG.
  • the trained model storage unit 3517 has the same configuration as the trained model storage unit 1417 in FIG.
  • the connection information storage unit 3518 stores information regarding external devices connected to the hearing aid device 3501 .
  • the external device may be a telephone device, a mobile information device, a television, or the like.
  • the type information of the external device can be used as the connection information.
  • the connection information can also include content genre information of audio to be transmitted from the external device to the hearing aid device 3501 .
  • the content genre information includes movie genre, news genre, sports genre, and the like.
  • the sensor information section 3519 is information of various sensors. Refers to accelerometers, gyro sensors, cameras, etc.
  • the hearing aid device 3501 according to the second configuration example shown in FIG. 35 uses the influence of the feature B5 (the feature that the priority of the required function changes depending on the usage scene) to estimate the allowable delay amount. .
  • the feature B5 the feature that the priority of the required function changes depending on the usage scene
  • connection information and sensor information is used.
  • FIG. 36 shows another generation example of the trained model according to the first embodiment of the present disclosure.
  • This trained model 3640 is used in the delay amount determination unit 3516 in the hearing aid device 3501, and inputs hearing information, input speech information, configuration information, connection information, and sensor information to estimate allowable delay amount information. output.
  • the learned model 3640 is obtained by adding connection information and sensor information to the explanatory variables of the learned model 1501 shown in FIG.
  • the trained model 3640 is drawn as a neural network with 5 input nodes, 1 output node, and 2 intermediate layers, but it is not limited to this.
  • the trained model 3640 can be generated by a server or personal computer separate from the hearing aid device 3501 .
  • the generated trained model 3640 can be transmitted to the hearing aid device 3501 via the external interface 3513 in FIG.
  • the hearing information, input speech information, configuration information, and allowable delay amount information are the same as in the example of the trained model generation shown in FIG.
  • the connection information and sensor information will be described below.
  • connection information for example, the type information of the connected external device can be used.
  • Wireless communication such as Bluetooth (registered trademark) or Wi-Fi (registered trademark) can be used for the connection.
  • type information of the external device for example, a telephone device, a mobile information device, a television, etc. can be used.
  • the hearing aid when the hearing aid is wirelessly connected to a telephone device, the sound transmitted from the telephone device is output from the speaker of the hearing aid device, not the sound picked up by the microphone of the hearing aid device. Therefore, no echoes caused by feature B3 are generated. A delay is allowed as long as it does not hinder communication with the other party.
  • call delays of up to 150 milliseconds are allowed. As an approximation, assuming that 20% of that is acceptable in the hearing aid device, up to 30 milliseconds is acceptable. For example, even when the hearing aid device is wirelessly connected to the television, no echo is generated as attributed to feature B3. However, as already explained with reference to FIG. 7, a television has video and audio, and if they are out of sync, the viewer feels uncomfortable. For example, in the case of an external device such as a television that can use various contents, content genre information can also be used. Even when connected to a television, the expected behavior may differ depending on whether the video content being watched is movie content or news content.
  • the voice of the news content is originally a clear utterance with a substantially constant volume, and the NR function is rarely required.
  • movie content sound effects and noise are important elements of movie content, and it is often difficult to hear the sound.
  • IPG Interactive Program Guide
  • Content genre information can be acquired from an electronic program guide (EPG: Electronic Program Guide, IPG: Interactive Program Guide) in the case of television broadcasting, for example.
  • EPG Electronic Program Guide
  • IPG Interactive Program Guide
  • the sound picked up by the microphone of the hearing aid device is not output from the speaker, but both may be output at the same time. In that case, the influence of the echo caused by the feature B3 is also received.
  • the type information of the connected external device is used as the connection information and there are not many types of the type, a trained model is generated for each type in the same way as the trained model generation example shown in FIG. is also possible. However, illustration is omitted here.
  • Sensor information is information about various sensors, and includes, for example, acceleration sensors, gyro sensors, and cameras.
  • the information of the acceleration sensor can be added to the learning data for the input of the learned model for detecting the presence or absence of own voice shown in FIG.
  • the vibrations of one's own voice travel from the vocal cords to the external auditory canal and the auricle via the skull.
  • the vibration is acquired by an accelerometer and used.
  • Information from the acceleration sensor can be obtained with high accuracy even in noisy environments, so it is possible to achieve more accurate detection of the presence or absence of one's own voice even in noisy environments. For example, by using an acceleration sensor or a gyro sensor, it is possible to estimate the body motion of the hearing aid user.
  • FIG. 37 shows an example in which a camera 3797 is arranged in a hearing aid device.
  • a camera by using a camera, it is possible to detect that there is a face in the near distance in front. In this case as well, the possibility of communicating with someone increases.
  • the allowable amount of delay is likely to be short. For example, if the person is looking forward and hardly moves, the possibility of watching TV or the like increases, and the possibility of communicating with someone decreases. The amount of delay allowed is likely to be long.
  • one camera 3797 is arranged in each of the left and right hearing aid devices in FIG. 37, the present invention is not limited to this.
  • FIG. 38 shows still another generation example of the trained model according to the present disclosure.
  • hearing information, input audio information, configuration information, connection information, and sensor information are input, and allowable delay amount information is output.
  • the difference from the generation example shown in FIG. 36 is that the output of the second trained model 3841 is used as the input of the first trained model 3840 .
  • body motion estimation and face detection are not related to the presence or absence of hearing loss, so it is possible to easily prepare a large amount of learning data with the cooperation of people with normal hearing.
  • a second trained model 3841 for detecting body motion and a second trained model 3841 for detecting a face are generated.
  • the estimation result of the second trained model 3841 is used. That is, in addition to hearing information, input speech information, configuration information, connection information, and sensor information, body movement information and face information are input to the first trained model 3840, and allowable delay amount information is output. With such a configuration, highly accurate body motion estimation and face detection can be expected, and as a result, improvement in the accuracy of estimation of allowable delay amount information of the first trained model 3840 can be expected.
  • FIG. 39 shows a configuration example of a delay amount determination unit that uses a learned model for estimation according to the present disclosure.
  • the delay amount determination unit 3916 corresponds to the delay amount determination unit 3516 shown in FIG. 35, but receives hearing information, input audio information, configuration information, connection information, and sensor information, and outputs the delay amount. Input and output are performed via the controller 3511 in FIG.
  • the trained model 3940 may be either the trained model described in FIG. 36 or FIG.
  • the trained model 3940 inputs hearing information, input speech information, configuration information, connection information, and sensor information, and outputs allowable delay amount information.
  • the delay amount calculator 3927 receives the allowable delay amount information, calculates and outputs the delay amount of the NR section.
  • FIG. 40 shows, in the form of a flowchart, the flow of processing in which the delay amount determination unit 3916 determines the delay amount using the learned model.
  • the trained model 3940 receives connection information and sensor information in addition to hearing information, input speech information, and configuration information, and estimates the allowable delay amount using the trained model (step S4001).
  • the delay amount calculator 3927 calculates the allowable delay amount DLY_NR_MAX of the NR unit 3507 from the allowable delay amount information based on the above equation (4) (step S4002).
  • the delay amount calculator 3927 determines the delay amount DLY_NR of the NR unit 3507 from the allowable delay amount DLY_NR_MAX of the NR unit 3507 based on the above equation (5) (step S4003).
  • the delay amount DLY_NR of the NR unit 3507 can be determined within a range not exceeding DLY_NR_MAX. For example, when the NR unit 3507 has three types of delay amounts, 16 samples, 32 samples, and 64 samples, and the calculated DLY_NR_MAX is 40 samples, DLY_NR is determined to be 32 samples.
  • the delay amount DLY_NR of the NR unit 3507 may not only be set to a value as large as possible, but may also be set to a small value. For example, when the NR unit 3507 has three delay amounts of 16 samples, 32 samples, and 64 samples, and the calculated DLY_NR_MAX is 40 samples, DLY_NR may be determined as 16 samples.
  • the handling of the delay amount of the NR unit 3507 in the left and right independent hearing aids is the same as in the configuration example shown in FIG.
  • a hearing aid device with independent left and right sensors if the sensor is independent on the left and right, it is possible to use the sensor information separately for the left and right, or to use it unified for the left and right.
  • the left and right are uniformly used, for example, the average of the left and right may be used.
  • it can be exchanged via the external interface 3513 .
  • the above description focuses on controlling the delay amount of the NR function using hearing information in the hearing aid device, but it is possible to perform similar control with the sudden sound suppression function as described above.
  • the NR function and the sudden sound suppression function can be effectively activated by controlling the delay amount of the first path using hearing information, input voice information, and the like.
  • the effect is that it is possible to improve discomfort caused by the discrepancy between visual information and auditory information, stuttering due to delayed auditory feedback, difficulty in listening due to echo, and difficulty in listening caused by features A1 to A2. is.
  • the user of the hearing aid device can choose to update the setting by himself/herself, which can be expected to give a higher sense of satisfaction.
  • the hearing aid device further utilizes the NC function in addition to the NR function.
  • Automatic setting of the NC function automatic on/off switching, automatic intensity switching, automatic characteristic change, presentation of recommended settings on the user interface, etc., enable power saving, which is important for hearing aid equipment, and at the same time To improve listening difficulties of a device user.
  • the NR function is a function that removes noise components contained in the input audio signal by signal processing (that is, suppresses noise on the audio signal), whereas the NC function is a function of superimposing an NC signal, which has the same amplitude as the noise component and is phase-inverted, onto the desired signal, thereby canceling spatial noise with the NC signal after voice output.
  • the NR function and the NC function are completely different functions. Note that there are Since the NR function outputs a signal from which noise has been removed, the effect of NR is maintained even if there is a delay. On the other hand, if the delay is large, the NC function cannot cancel the noise due to the time difference between the noise and the NC signal, and the NC effect is lost. In addition, since the earpiece can insulate noise in a high frequency band, the NC function is mainly used for canceling noise of 1 KHz or less, which cannot be insulated.
  • FIG. 41 illustrates the mechanism of noise canceling. For example, assume that the waveform 4145 is the waveform when the sound (noise) at position P1 in FIG. 13 reaches position P2 via the second route.
  • the waveforms 4145 and 4146 cancel each other out, ideally resulting in silence.
  • Noise reduction is to suppress noise in an audio signal
  • noise canceling is to cancel out spatial noise.
  • FIG. 42 shows a configuration example of a hearing aid device equipped with a noise canceling function.
  • a configuration example in which a microphone 4229 is added inside a hearing aid device 4201 is shown.
  • the inner microphone 4229 for the NC function, feedback type noise canceling can also be performed.
  • Other configurations such as a microphone 4202, a speaker 4203, an ADC 4204, a DAC 4205, a signal processing unit 4206, a sound source storage/playback unit 4212, and an external interface 4213 are the same as those of the hearing aid device 1301 shown in FIG. 13, so detailed description thereof is omitted here. do.
  • FIG. 43 shows an example of the effect of adding the NC function to the NR function.
  • Position P1 and position P2 in FIG. 43 correspond to position P1 and position P2 shown in FIGS. 6 and 13, respectively.
  • Spectrogram 4370 represents the sound at position P1 and consists of speech spectrum 4374 and noise 4375 .
  • the difference d1 in spectrogram 4370 is small, with speech slightly louder than noise, and hearing-impaired people have difficulty hearing.
  • the audio signal is subjected to signal processing by the signal processing unit 4206.
  • the signal processing is performed by the first processing system that applies the NR function and the NC function. includes a second processing system that operates on the
  • a spectrogram 4372 is the combined sound that reaches the position P2 through the second route and the sound that reaches the position P2 through the second processing system of the first route.
  • the NC function 4308 is operated without amplification in the second processing system of the first path. That is, spectrogram 4372 represents the sound at position P2 after noise cancellation.
  • the NC function spreads the difference d1 of spectrogram 4370 like the difference dNC of spectrogram 4372, improving the SNR. Note that the shape of the spectrogram is affected by the housing of the hearing aid, the earpiece, etc., but for the sake of simplicity, we will ignore them here.
  • the first processing system of the first path operates the NR function 4307, but does not amplify as indicated by reference number 4377 (gain: 0 dB).
  • a spectrogram 4371 is the sound that reaches the position P2 through the first processing system on the first path.
  • the NR function spreads the difference d1 of spectrogram 4370 like the difference dNR of spectrogram 4371, improving the SNR.
  • spectrogram 4372 and spectrogram 4371 are mixed at position P2, and the sound at position P2 becomes spectrogram 4373.
  • Difference d2_3 of spectrogram 4373 is larger than d2_2 in FIG. It can be seen that when the NC function is added to the NR function, the SNR at position P2 is greatly improved compared to the case of only the NR function.
  • FIG. 44 shows an example in which the effect of the NC function is small. Positions P1 and P2 in FIG. 44 correspond to positions P1 and P2 in FIGS. 6 and 13, respectively. In the example shown in FIG. 44, the difference d1 between the peak of the voice spectrum 4474 and the peak of the noise 4475 in the spectrogram 4470 is small and the voice is slightly louder than the noise.
  • the NC function 4408 is operated without amplification in the second processing system of the first route.
  • the amplification (gain: large) and the NR function are applied.
  • a spectrogram 4471 is the sound that reaches the position P2 through the first processing system on the first path.
  • Spectrogram 4472 and spectrogram 4471 are mixed at position P2, and the sound at position P2 becomes spectrogram 4473.
  • FIG. The NR function spreads the difference d1 of spectrogram 4470 like the difference dNR of spectrogram 4471, improving the SNR.
  • spectrogram 4472 and spectrogram 4471 are mixed at position P2, and the sound at position P2 becomes spectrogram 4473.
  • the difference d2_4 in spectrogram 4473 is only slightly larger than d2_1 in FIG. It can be seen that even if the NC function is added to the NR function, there is only a small further improvement in SNR at position P2 compared to the NR function alone.
  • the effect of adding the NC function to the NR function depends on the magnitude of the amplification gain of the hearing aid equipment.
  • the magnitude of the amplification gain depends on the hearing ability of the user of the hearing aid and the sound pressure input to the hearing aid.
  • NC function Another aspect of the NC function is the discomfort of the NC effect being too strong and power consumption issues. If the NC effect is too strong in a quiet environment, the user of the hearing aid device may feel discomfort, such as a feeling of tingling in the ears. As for power consumption, since hearing aids are products that require long-term operation in a small housing, it is necessary to reduce power consumption. The NC function tends to consume a large amount of power because it may be necessary to operate an ADC or DAC dedicated to the NC function. These problems can be improved by switching ON/OFF of the NC function or adjusting strength according to the situation.
  • FIG. 45 shows an example of an audiogram of a gradual treble disorder type
  • FIG. 46 shows an example of an audiogram of a mountain type.
  • the gain is 7.5 dB at 250 Hz and 25 dB at 1000 Hz
  • the gain is 15 dB at 250 Hz and 5 dB at 1000 Hz.
  • FIG. 47 shows the expected noise attenuation that is expected to be attenuated by noise canceling processing.
  • curve A indicated by reference number 4734 has a noise canceling effect over a wide frequency band although the maximum attenuation is not high.
  • Curves B, C, and D indicated by reference numbers 4735, 4736, and 4737, respectively, have narrow frequency bands but high maximum attenuation. By performing the noise canceling process in this way, it is possible to adjust the curve of the expected noise attenuation amount.
  • FIG. 48 shows an example of a horizontal audiogram.
  • a prescription that gives a gain of 1/2 for an input of 60 dB SPL. Since all frequencies are 40 dB HL, the gain is 20 dB for all frequencies. Ignoring the gain with bare ears, the gain becomes like the gain curve 4980 in FIG. 49, for example.
  • the hearing level is high, in the case of sensorineural hearing loss, it is common to reduce the gain for a high input sound pressure level due to feature B1.
  • the gain is small near the input sound pressure level of 90 dB SPL. It can be said that using the NC function is effective in improving listening difficulties. At this time, it is effective to use the curve A4734 in FIG.
  • FIG. 50 shows a configuration example of a hearing aid device 5001 having an NC signal generation function according to the second embodiment of the present disclosure.
  • a microphone 5002, an ADC 5004, a DAC 5005, and a speaker 5003 are drawn in a straight line from left to right, and have the same configuration as the hearing aid device shown in FIGS.
  • the configuration of the hearing aid device 5001 will be described below, focusing on differences from the hearing aid device 1401 shown in FIG.
  • the setting of the amplitude/phase adjustment unit 5009 is performed by the control unit 5011 using the hearing information storage unit 5015 and the input audio signal to the amplitude/phase adjustment unit 5009 (same as above).
  • the audio signal adjusted by the amplitude/phase adjuster 5009 is sent to the DAC 5005 .
  • the NC signal generation unit 5008 receives the audio signal from the ADC 5004 as an input and generates a noise cancellation (NC) signal.
  • the NC signal is a signal for spatially canceling noise that reaches position P2 via the second path in the hearing aid device shown in FIGS. 13 and 42 .
  • the generated NC signal is sent to DAC5005.
  • NC signal generation section 5008 generates an NC signal using the NC characteristics (NC characteristic curve, NC intensity) determined by NC characteristic determination section 5030 .
  • the DAC 5005 receives the digital signal in which the NC signal is superimposed on the audio signal adjusted by the amplitude/phase adjustment unit 5009, and converts it into an analog signal. Speaker 5003 converts the electrical signal into sound. Therefore, the sound output from the speaker 5003 includes the sound converted from the NC signal generated by the NC signal generator 5008, canceling the noise passing through the second path.
  • the ADC 5004 and the DAC 5005 are shown to be shared by the NR section 5007 and the NC signal generation section 5008, they may be provided separately.
  • FIG. 51 shows an example of generating a trained model in the second embodiment of the present disclosure.
  • the trained model 5140 inputs hearing information, input speech information, and configuration information, and estimates and outputs NC characteristic information.
  • FIG. 51 depicts a neural network with three input nodes, one output node, and two intermediate layers, but the trained model 5140 is not limited to this.
  • Parameters of hearing information, input speech information, and configuration information, which are inputs to the trained model 5140, are the same as in the example of generating the trained model 1501 shown in FIG. 15, and detailed description thereof is omitted here. . Also, the configuration information can be omitted in some cases.
  • the learned model 5140 may generate a learned model for each configuration information, but detailed description is omitted here.
  • NC characteristic information can use noise canceling strength information. For example, it can be a value with a range, such as 0.0 to 1.0. For example, 0.0 may be defined as noise canceling off.
  • the noise canceling characteristic curve may be selected from a plurality of types. It is possible to select a noise canceling characteristic curve as described in FIG. At this time, the NC characteristic information is a noise canceling characteristic curve. It is also possible to include intensity information in the NC characteristic information. For example, as a classification problem, the learning data in FIG. , 75% of curve B, and so on.
  • FIG. 52 shows an example of a user interface used by a subject (a hearing-impaired person) when responding with NC characteristic information.
  • An NC characteristic curve and NC intensity can be used as examples of NC characteristic information.
  • the portable information device 5264 has a radio button 5269 and a slider bar 5267 as a user interface for adjusting the NC characteristic curve and NC intensity.
  • the NC characteristic curve of the hearing aid device 5001 changes accordingly.
  • the slider bar 5267 is slid toward “strong”, the NC strength of the hearing aid device changes to a strong direction.
  • OFF of the NC function can be selected.
  • the effect of the NC function cannot be expected at a high frequency such as 4 kHz, it may be selected not to use the NC function.
  • a sound environment assumed as input voice information is reproduced around the subject, and the subject designates the NC characteristic curve and NC intensity that are optimal for him/herself in the sound environment using the radio button 5269 and the slider bar 5267. , OK button 5265 to determine.
  • hearing information, input speech information, configuration information, and NC characteristic information are added to the learning data set.
  • Fig. 53 shows the procedure for creating learning data in the form of a flowchart.
  • the hearing aid device and the sound environment reproduction system are set based on the input information (step S5301).
  • a sound environment reproduction system reproduces sound environments such as quiet rooms, hospitals, shopping malls, and restaurants. For example, a configuration in which 5.1-channel speakers are arranged around the subject can be used. For example, a conversation partner may be placed in front of the subject.
  • the subject designates NC characteristic information using the user interface as shown in FIG. 52 (step S5302).
  • the hearing aid device is operated according to the NC characteristic information designated by the subject (step S5303).
  • it is determined whether the OK button 5265 in the user interface shown in FIG. 52 has been pressed step S5304).
  • step S5304 it is determined whether or not the subject has confirmed the NC characteristic information. If the OK button has not been pressed (No in step S5304), the process returns to step S5302 to repeat the designation of NC characteristic information and the operation based on that NC characteristic information. During repetition, if there is no new designation from the subject in step S5302, the immediately preceding settings may be maintained and used. On the other hand, if the OK button is pressed (Yes in step S5304), the NC characteristic information specified at that time is added to the learning data set (step S5305), and this process ends.
  • FIGS. 52 and 53 show examples in which the subject designates candidates for NC characteristics
  • the present invention is not limited to this.
  • the NC characteristic of the hearing aid device may be automatically set and presented to the subject, and the subject may answer comfort/discomfort each time.
  • two different sets of NC characteristic settings may be presented to the subject and the subject may answer which one is more comfortable. In short, it is only necessary to obtain an answer regarding the NC characteristic that indicates whether the subject is comfortable or uncomfortable.
  • FIG. 54 shows a configuration example of the NC characteristic estimation unit 5431 when no learned model is generated.
  • the NC characteristic estimating section 5431 is used in the NC characteristic determining section 5030 of the hearing aid device 5001 .
  • the first sound pressure level calculator 5422 calculates the first sound pressure level P_1(f), which is the output of the first path, using the level information for each frequency band of the input sound and the gain information.
  • the second sound pressure level calculator 5423 uses the configuration information (acoustic characteristics of the earpiece, etc.) and the input sound level information to calculate the sound inside the ear canal (for example, position P2 in FIGS. 13 and 48) through the second route.
  • the sound pressure level difference calculator 5424 calculates the difference r(f ) is calculated as in the above equation (2).
  • the sound pressure ratio P_1(f)/P_2(f) may be calculated.
  • the NC intensity/NC characteristic curve calculator 5432 calculates the NC intensity NC_LEVEL from the sound pressure level difference r(f). For example, the NC intensity NC_LEVEL can be calculated as in the following equation (6).
  • the function f2L is a function that expresses the relationship between the sound pressure level difference r(f) and the NC intensity NC_LEVEL, and is approximated in advance from statistical data. For example, as described with reference to FIGS. 43 and 44, 0.0 can be calculated when the difference is large, and 1.0 when the difference is small. Here, 0.0 means NC function off or NC function weak, and 1.0 means NC function strong.
  • the NC intensity/NC characteristic curve calculator 5432 further determines an NC characteristic curve NC_CURVE from the sound pressure level difference r(f). For example, the NC characteristic curve NC_CURVE can be calculated as in the following equation (7).
  • the function f2C is a function representing the relationship between the sound pressure level difference r(f) and the NC characteristic curve NC_CURVE, and is approximated in advance from statistical data.
  • characteristic curves such as curve A, curve B, and curve C illustrated in FIG. 47 are determined through the user interface shown in FIG. It may be a choice not to use the NC function.
  • FIG. 55 shows a processing procedure for estimating the NC characteristic in the NC characteristic estimating section 5431 shown in FIG. 54 in the form of a flowchart.
  • the processing up to calculating the sound pressure level difference r(f) between the first sound pressure level P_1(f) and the second sound pressure level P_2(f) is the processing shown in FIG. Since it is the same as the procedure, the explanation is omitted here.
  • the NC strength/NC characteristic curve calculator 5432 calculates the NC strength NC_LEVEL and the NC characteristic curve NC_CURVE (step S5504). Then, the NC strength NC_LEVEL and the NC characteristic curve NC_CURVE are output from the NC characteristic estimating section 5431 (step S5505), and this processing ends.
  • NC characteristic candidates are prepared using a method that does not use a trained model.
  • the candidates are manually fine-tuned and used as learning data. For example, initial values of slider bar 5267 and radio button 5269 in FIG. 52 are determined using NC characteristic candidates calculated by a method that does not use a trained model. By doing so, the subject can determine the answer by only trying around the initial value.
  • FIG. 56 shows the processing procedure of the NC function in the hearing aid device 5001 in the form of a flowchart.
  • the NC characteristic information is initialized (step S5601).
  • NC processing is performed on the input audio signal (step S5602).
  • the NC signal generated by the NC processing is superimposed on the input audio signal and output from speaker 5003 .
  • the recommended setting of the NC characteristic information is calculated (step S5603). An example of how to obtain the characteristic information will be described later with reference to FIGS. 57 and 58.
  • FIG. Next, recommended settings are presented to the user of the hearing aid device 5001 as needed (step S5604).
  • step S5604 the process of step S5604 may be skipped.
  • the NC characteristic information is updated based on the reply from the user of the hearing aid device 5001 (step S5605). For settings that automatically apply recommended settings, update automatically. Examples of how the recommended settings are presented to the user of the hearing aid device 5001 and how the user responds will be described later with reference to FIGS. 29, 30, and 59-61.
  • it is determined whether or not the NC processing is finished step S5606). Here, if the NC process is not to end (No in step S5606), the process returns to step S6202 to continue this process. On the other hand, if the NC process is to end (Yes in step S5606), this process ends.
  • the timing for ending the NC processing is when the user of the hearing aid device 5001 turns off the NC function, or when the power of the hearing aid device 5001 is turned off.
  • the user is described as the user of the hearing aid device 5001, the user may be a family member of the user of the hearing aid device 5001 other than the user himself/herself. A family member or the like may be next to the user of the hearing aid device 5001, or may be present via a network.
  • FIG. 57 shows a configuration example of an NC characteristic determination unit that determines NC characteristics using a trained model according to the second embodiment of the present disclosure.
  • the NC characteristic determining section 5730 shown in FIG. 57 corresponds to the NC characteristic determining section 5030 of the hearing aid device 5001 shown in FIG.
  • the NC characteristic determining section 5730 receives hearing information, input speech information, and configuration information, and outputs NC characteristic information. Input and output are performed via the control unit 5011 in FIG.
  • the trained model 5740 can use the trained model 5140 shown in FIG.
  • the trained model 5740 inputs hearing information, input speech information, and configuration information, and outputs NC characteristic information.
  • the NC characteristic information is, for example, ON/OFF of the NC signal generator 5008, NC intensity, and NC characteristic curve.
  • the NC characteristic information is calculated independently for the left and right hearing aid devices 5001 with independent shapes, it is possible to use separate NC characteristic information for the left and right or to use unified NC characteristic information for the left and right.
  • the NC characteristic information unified for the left and right for example, the NC characteristic information calculated for the left and right may be averaged, or the NC characteristic information having a weak intensity and a wide frequency band may be used. If the left and right hearing acuity is close, it is preferable to use the NC characteristic information that is unified for the left and right in order to suppress fluctuations in the localization of the left and right sounds.
  • the left and right NC characteristic information In order to suppress the sense of discomfort of the user of the hearing aid device 5001, it is preferable to combine the left and right NC characteristic information with NC characteristic information having a weak strength and a wide frequency band.
  • the calculated NC characteristic information can be exchanged via the external interface 5013 . If the left and right hearing acuity is significantly different, it is preferable to use separate left and right NC characteristic information.
  • FIG. 58 shows a configuration example of an NC characteristic determination unit that determines NC characteristics without using a trained model, according to the second embodiment of the present disclosure.
  • NC characteristic determining section 5830 corresponds to NC characteristic determining section 5030 of hearing aid device 5001 shown in FIG.
  • FIG. 59 shows, in the form of a flowchart, a processing procedure for proposing updating of the NC characteristic curve and NC strength to the user. If the newly calculated NC characteristic curve and NC intensity are different from the current NC characteristic curve and NC intensity, there are two methods: automatic update or suggesting an update to the hearing aid user. In the case of automatic updating, since frequent updating may lead to discomfort, it is preferable to update with a certain amount of time constant. For example, the flow chart shown in FIG. 59 can be used to suggest an update to a user of a hearing instrument.
  • a new NC characteristic curve and NC intensity are calculated (step S5901). This is done using the NC characteristic determining section 5730 shown in FIG. 57 and the NC characteristic determining section 5830 shown in FIG.
  • the newly calculated NC characteristic curve/NC strength and the current NC characteristic curve/NC strength are compared (step S5902). If the newly calculated NC characteristic curve/NC intensity does not differ from the current NC characteristic curve/NC intensity (No in step S5902), the process returns to step S5901. If the newly calculated NC characteristic curve/NC intensity is different from the current NC characteristic curve/NC intensity (Yes in step S5902), the NC characteristic curve/NC intensity is provided to the user of the hearing aid device. is proposed to be updated (step S5903).
  • a reply to the proposal is obtained from the user of the hearing aid device (step S5904).
  • An example of the answering method can be performed in the same manner as the method described with reference to FIG. Then, it branches according to the content of the reply from the user (step S5905). If the answer is that updating is desired (Yes in step S5905), the NC characteristic curve/NC intensity is updated (step S5906), and this process ends. On the other hand, if the answer is that updating is not desired (No in step S5905), the NC characteristic curve/NC intensity is not updated (step S5907), and this processing ends.
  • FIG. 60 shows an example of a user interface for proposing updating of the NC intensity and NC characteristic curve to the user of the hearing aid device 5001 and obtaining an answer from the user of the hearing aid device 5001 .
  • a slider bar 6067 representing NC intensity, together with a recommended range 6099.
  • a recommended range of 6099 is determined from the newly calculated NC intensity.
  • a recommended range 6099A shown on the left side of FIG. 60 is an example in which the newly calculated NC strength is weak
  • a recommended range 6099B shown in the right side of FIG. 60 is an example in which the newly calculated NC strength is strong.
  • the recommended range may range from 80% to 120% of the newly calculated NC intensity.
  • the same user interface also includes a radio button 6069 for the user to specify the NC type.
  • Fig. 61 shows a presentation method of the recommended range 6099. It may be like a recommended range 6199C or a recommended range 6199D shown in FIG. Instead of the slider bar 6067, a dial 6168 may be used to indicate the NC intensity.
  • the recommended range for the dial may be a recommended range of 6199E or a recommended range of 6199F.
  • NC type in FIGS. 60 and 61 is another way of saying the NC characteristic curve. For users of hearing aid devices, the term NC type is easier to understand than the NC characteristic curve.
  • the recommended mark 6098A is an example of the newly calculated NC characteristic curve "Curve B"
  • the recommended mark 6098B is an example of the newly calculated NC characteristic curve "Curve A”.
  • the recommended mark 6098 may be shown in any of the recommended marks 6198C, 6198D, 6198E, and 6198F shown in FIG.
  • the slider bar 6067 and the dial 6168 for the NC intensity, and the radio button 6069 for the NC characteristic curve were explained as examples, but the present invention is not limited to these, and A recommended range 6099 and a recommended mark 6198 may be automatically presented according to the calculated NC strength and NC characteristic curve.
  • a recommended range 6099 and a recommended mark 6198 may be automatically presented according to the calculated NC strength and NC characteristic curve.
  • the hearing aid user can adjust the NC intensity and the NC characteristic curve according to his or her own will while referring to them. Can be set.
  • the switch 6066 may be used to designate them.
  • the second embodiment it is possible to turn on/off the NC function, adjust the intensity, propose a change of the NC characteristic curve, and perform automatic control. Even with the NR function, the SNR improvement at location P2 is marginal if the first path amplification gain is small. On the other hand, according to the second embodiment, it is possible to further improve the SNR, and it is possible to improve the listening difficulties of the user of the hearing aid device. Furthermore, the second embodiment also enables a reduction in power consumption, which is important in hearing aid equipment.
  • the third embodiment of the present disclosure enables hearing measurement even in an environment with some noise.
  • the hearing aid device needs to grasp the user's hearing ability.
  • Fig. 62 shows an example of conventional hearing measurement. Due to feature B3 that the second path exists in addition to the first path, the hearing ability cannot be measured accurately when there is external noise. For this reason, it is generally recommended that hearing measurements be performed in a soundproof room.
  • Subject 6295 is in a soundproof room 6263 and is shielded from external noise. Subject 6295 wears receiver 6261 and holds response push button 6262 in hand.
  • a measurement device operator 6296 operates a measurement device 6260 to send a measurement signal to a receiver 6261 of a subject 6295 . Subject 6295 responds using response push button 6262 .
  • a device called an audiometer can be used as the measuring device 6260 .
  • the operator 6296 and the measuring device 6260 are drawn outside the soundproof room 6263, but they may be inside the soundproof room 6263. A larger soundproof room 6263 is required to accommodate the operator 6296 and measuring device 6260 .
  • Fig. 63 illustrates the influence of noise on hearing measurement.
  • the hearing threshold the threshold at which the sound is barely audible or inaudible
  • the hearing threshold of a person with normal hearing is sometimes simply referred to as the hearing threshold.
  • the pure tone audiometry the level of a pure tone of a prescribed frequency is varied and presented to the subject 6295 through the receiver 6261 to measure the threshold.
  • a noise A indicated by reference numeral 6375 in FIG. 63, during the audiometry.
  • even a person with normal hearing who should be able to hear the pure tone (measurement signal) indicated by reference number 6386 cannot hear the pure tone 6386 .
  • Fig. 64 shows an example of the influence of noise when performing audiometry for a hearing-impaired person.
  • the hearing threshold of a hearing impaired person is the hearing threshold 6484
  • the pure tone (measurement signal) 6486 is not audible.
  • a hearing-impaired person with hearing threshold 6484 cannot hear pure tone 6486 with or without noise A 6475 .
  • the noise A6475 does not affect the audiometry of a hearing-impaired person with a hearing threshold of 6484. This is because the noise A 6475 is below the hearing threshold 6484 of the hearing impaired.
  • the amount of noise required during audiometry depends on the subject's hearing threshold.
  • Fig. 65 shows an example of conventional additional hearing measurement.
  • Some recent hearing aid devices have a hearing ability measurement function.
  • a hearing aid device 6501 substitutes for the role of the receiver 6261 in FIG.
  • a subject 6595 wears a hearing aid device 6501 .
  • An operator 6596 operates a measurement device 6560 to send measurement signals to the hearing aid device 6501 of the subject 6595 .
  • the measurement device 6560 is, for example, a PC (Personal Computer), and can reproduce measurement signals by installing software for audiometry.
  • the measurement device 6560 sends a control signal to reproduce the measurement signal stored in the hearing aid device 6501 .
  • Subject 6595 then responds verbally and gesturally. The reason why FIG.
  • additional is that it is based on the premise that hearing measurement in a low noise level environment as in FIG. 62 is performed in advance.
  • a subject 6501 is of interest, who is known to have a high (worse) level of hearing loss from prior measurements, and who knows that the measurements can be performed without entering a soundproof room.
  • the hearing measurement shown in FIG. 65 may be used when re-measurement is desired within several months from the previous hearing measurement. The reason for wanting to do an additional audiometry is that it is easier than an audiometry in a soundproof room.
  • FIG. 66 illustrates the effect of reducing noise during hearing measurement.
  • a pure tone (measurement signal) 6686 cannot be heard in the presence of noise A indicated by reference number 6675 . If the noise A 6675 can be reduced to the noise B 6676 , the pure tone 6686 is above the hearing threshold 6683 , so a person with the hearing threshold 6683 can hear the pure tone 6686 .
  • noise affects audiometry.
  • the effect of noise on audiometry is characterized in that it depends not on the absolute level of noise, but on the relationship between noise and the hearing ability of the subject. When the subject's hearing is impaired, louder noise is tolerated than for a person with normal hearing. If the noise can be reduced, even if it is not as much as in a soundproof room, it will be possible to measure the audiometry of people with mild hearing loss.
  • Hearing measurements are usually performed at otolaryngology departments or hearing aid shops that have soundproof rooms. Many hearing-impaired people feel the annoyance of having to visit a hospital or store. There is also a need to use hearing aids more easily.
  • some of the existing sound collectors that can be purchased at consumer electronics stores or on the Internet use the simple measurement function of the sound collector to set the sound collector.
  • the sound environment in ordinary homes is not necessarily quiet.
  • the permissible noise level increases as the hearing deteriorates.
  • Figures 4, 45, and 46 there are various levels of hearing, and even if the average hearing level is at the level of moderate hearing loss, the level of hearing in some frequency bands is considered normal.
  • a method is provided that makes it possible to perform hearing measurement more easily and more accurately. For this purpose, noise reduction methods using noise canceling technology are used in audiometry.
  • FIG. 67 shows an example of hearing measurement according to the third embodiment of the present disclosure.
  • Subject 6795 is wearing hearing aid device 6701 .
  • the subject 6795 operates the measurement device 6764 to send a measurement signal to the hearing aid device 6701 of the subject 6795 .
  • the measuring device 6764 is, for example, a PC, which can be installed with audiometric software to reproduce the measurement signal.
  • the measurement device 6764 sends a control signal to reproduce the measurement signal stored in the hearing aid device 6701 .
  • the subject 6795 responds to the measurement signal verbally, by gestures, by button operation, or the like.
  • Fig. 68 shows examples of passive noise attenuation and active noise attenuation due to earpieces, headphone cushions, and the like.
  • Earpieces and headphone cushions passively reduce noise.
  • Earpieces and the like are generally effective in reducing high-frequency noise.
  • Reference numeral 6848 in FIG. 68 illustrates passive noise attenuation by earpieces, headphone cushions, and the like.
  • a specific example of the noise attenuation amount 6848 is roughly 1000 Hz or more.
  • the noise canceling technology shown in FIG. 41 actively reduces noise.
  • noise canceling technology is effective in reducing low frequency noise.
  • Reference numeral 6847 in FIG. 68 illustrates active noise attenuation by noise canceling techniques.
  • a specific example of the noise attenuation amount 6847 is roughly 1000 Hz or less.
  • noise canceling has a frequency band in which an effect can be expected and a frequency band in which an effect cannot be expected.
  • pure tone audiometry which is one type of audiometry, mainly measures 125 Hz, 250 Hz, 500 Hz, 1000 Hz, 2000 Hz, 4000 Hz, and 8000 Hz. In some cases, 750 Hz, 1500 Hz, 3000 Hz and 6000 Hz are measured. What is important here is that the audiometry device knows the frequency of the sound being measured.
  • Some common noise-cancelling headphones change the characteristic curve of noise-cancelling processing according to the type of noise in the environmental sound. For example, the type of noise is distinguished between a train and an airplane.
  • the characteristic curve of the noise canceling process be changed according to the type of noise in the environmental sound, but also the frequency of the measured sound can affect the performance of the noise canceling process. It is possible to change the characteristic curve.
  • audiometry for example, when measuring at 250 Hz, it is sufficient to reduce noise that hinders hearing of a pure tone of 250 Hz.
  • the characteristic curve B or the characteristic curve C in FIG. 47 it is possible to increase the noise attenuation in a specific frequency band compared to the case where the characteristic curve A is used.
  • FIG. 69 shows an example of changing the noise canceling characteristic curve depending on the frequency of the audiometry signal.
  • the noise that masks the measurement sound is mainly frequencies near the measurement sound.
  • the pure tone 6986 of 250 MHz is the measurement signal
  • the noise masking the pure tone 6986 can be effectively reduced by using the characteristic curve B6935 as the noise canceling characteristic curve.
  • the pure tone 6987 of 500 MHz is the measurement signal
  • the noise masking the pure tone 6987 can be effectively reduced by using the characteristic curve C6936.
  • the pure tone 6988 of 4000 MHz is the measurement signal
  • the noise canceling function may be turned off because the frequency of the pure tone 6988 is outside the frequency band in which the noise canceling effect can be expected.
  • the characteristic curve suitable for the pure tone 6986 can also be made like the characteristic curve BB6938 by adding noise in the environment where the subject is present.
  • a shape like the characteristic curve BB6938 is effective, for example, when there is more noise at frequencies lower than the frequency of the measurement signal. Masking by noise covers a wider range on the high frequency side than on the low frequency side with reference to the noise frequency band.
  • the characteristic curve suitable for the pure tone 6987 can also be made like the characteristic curve CC6939 by adding the noise of the environment where the subject is present.
  • FIG. 70 shows a configuration example of a hearing aid device 7001 that uses the NC signal generation function for hearing measurement according to the third embodiment of the present disclosure.
  • the microphone 7002, ADC 7004, DAC 7005, and speaker 7003 are drawn in a straight line from left to right, but have the same configuration as the hearing aid devices shown in FIGS.
  • the differences from the hearing aid device 5001 shown in FIG. 50 will be described, and mainly the functions and operations of the respective units during the hearing measurement will be described.
  • the NC signal generation unit 7008 receives the audio signal from the ADC 7004 as an input and generates a noise cancellation signal (NC signal).
  • the NC signal is a signal for spatially canceling noise that reaches position P2 via the second path in the hearing aid device shown in FIGS. 13 and 42 .
  • NC signal generation section 7008 generates an NC signal using the NC characteristics (NC characteristic curve, NC intensity) determined by NC characteristic determination section 7030 .
  • the generated NC signal is sent to DAC7005.
  • the sound source storage/playback unit 7012 plays back the measurement signal.
  • the reproduced measurement signal may store PCM (pulse code modulation) data or the like, or may be generated by a calculation formula.
  • the level of the reproduced measurement signal may be changed under the control of the control section 7011 .
  • the measurement signal may be supplied from the external interface 7013 in addition to the sound source storage/playback unit 7012 .
  • the frequency and level of the measurement signal are also transmitted via the external interface 7013 . If not transmitted, the hearing instrument may detect it from the measured signal. In any case, the hearing instrument 7001 knows the frequency and level of the measured signal. Since the NR section 7007 is not used in the hearing ability measurement function, it does not input the audio signal from the ADC 7004 and directly outputs the measurement signal input from the sound source storage/playback device 7012 or the external interface 7013 .
  • the amplitude/phase adjustment unit 7009 may adjust the amplitude of the measurement signal according to the hearing level being measured.
  • the measurement signal output from the amplitude/phase adjustment section 7009 is sent to the DAC 7005 .
  • DAC7005 converts the digital signal to an analog signal.
  • Speaker 7003 converts electrical signals into sound.
  • the sound output from the speaker 7003 includes the sound converted from the NC signal generated by the NC signal generator, and cancels the noise that has passed through the second path.
  • the sound output from speaker 7003 contains the measurement signal.
  • the ADC 7004 and the DAC 7005 are shown to be shared by the NR section 7007 and the NC signal generation section 7008, they may be prepared separately.
  • the external interface 7013 may receive measurement signals. Data stored in the configuration information storage unit 7014 and the learned model storage unit 7017 also pass through the external interface 7013 . The measured data stored in the hearing information storage unit 7915 may be transmitted to an external device via the external interface 7013 . It can also be used for transmitting information from the hearing aid device 7001 to the user (user) of the hearing aid device 7001 and receiving information from the user (user) of the hearing aid device 7001 .
  • the hearing information storage unit 7015 stores the user's hearing level measured using the hearing aid device 7001 .
  • the hearing information storage unit 7015 may store hearing measurement results as shown in FIG.
  • the hearing information storage unit 7015 may also store the presence/absence and characteristics of noise canceling at the time of measurement, the noise level, and the like.
  • the sensor information section 7019 is information of various sensors. Sensors include acceleration sensors, gyro sensors, and the like.
  • FIG. 71 shows an example of generating a trained model in the third embodiment of the present disclosure.
  • the trained model 7140 inputs measured signal information, input speech information, and configuration information, and estimates and outputs NC characteristic information.
  • the measurement signal information may be the frequency of the measurement signal and the level of the measurement signal in the case of pure tone audiometry.
  • the unit of the level value of the measurement signal may be the audiometer dial level (dB HL) or the sound pressure level (dB SPL).
  • dB HL audiometer dial level
  • dB SPL sound pressure level
  • self-reported audiometry may also be used. In short, any signal may be used as long as it is a threshold measurement signal for measuring the hearing threshold for each frequency.
  • the range of pure tone audiometry measurements is from -20 dB HL to 120 dB HL, as shown in the audiogram shown in FIG. For example, it can be -20 dB HL to 120 dB HL.
  • the hearing aid device 7001 At an average hearing level of 90 dB HL or higher, the hearing aid effect of hearing aids is low, and it is considered the applicable level for cochlear implants.
  • the learning data range is set to, for example, 0 dB HL to 90 dB HL or 0 dB HL to 80 dB HL.
  • Out-of-range values can be rounded to the boundary value.
  • a broad estimate is 0 dB SPL to 110 dB SPL, although it depends on the frequency.
  • the input audio information is an audio signal picked up from the microphone 7002 of the hearing aid device 7001 .
  • the input audio information refers to environmental noise.
  • a level value converted into a sound pressure level or the like can also be used instead of the audio signal.
  • it may be in the form of amplitude spectrum or power spectrum.
  • the ear canal sound pressure may be obtained by adding naked ear gain to the input audio signal.
  • the hearing aid device 7001 For the input audio information, when the hearing aid device 7001 is used with both ears, the sounds picked up by the left and right microphones 7002 are different.
  • the configuration in which the sounds from the left and right microphones 7002 may be processed independently or may be processed collectively is the same as in the case of the trained model generation example shown in FIG.
  • the loudness of sound received in the environment is broadly estimated to be 0 dB SPL to 140 dB SPL.
  • the hearing aid device 7001 it is effective to set the range of the volume of sound received in the environment to, for example, 20 dB SPL to 100 dB SPL.
  • the ear canal sound pressure it is effective to set it to, for example, 20 dB SPL to 120 dB SPL.
  • Both the training data range of the measured signal information and the training data range of the input speech information may be limited at the data set stage, or may be limited as preprocessing when learning the trained model 7140. good too.
  • Any training data can be used when training the trained model 7140, but it is generally useful to normalize the training data in order to improve identification performance and speed up learning. It is effective to normalize both the hearing information learning data and the input speech information learning data.
  • the aforementioned learning data range is normalized to the range of 0.0 to 1.0. It may be normalized at the learning data set stage, or may be normalized as preprocessing when learning the trained model 7140 .
  • the configuration information includes information such as the type of earpiece, how to wear it, and the characteristics of the housing of the hearing aid (described above). In the case of monoaural wear, care must be taken because the ear opposite to the ear to be measured cannot be masked. It includes information (described above) such as the type of earpiece (dome) of the hearing aid device 7001 . It may also include information such as RECD, which is commonly used in fitting conventional hearing aids. For example, the intensity and timbre of the second path sound in the hearing aid devices shown in FIGS. 13 and 42 are affected by the type of earpiece. When considering the comparison between the measured sound and the sound of the second path, prediction of the sound of the second path is important, and the type of earpiece and RECD are useful for this prediction.
  • the configuration information can be omitted in some cases.
  • a product configuration it is assumed that the earpiece is worn in both ears, and the earpiece has only one type of acoustic characteristics.
  • TWS hearing aid function
  • the learned model 7140 may generate a learned model for each configuration information, but detailed description is omitted here.
  • NC characteristic information can use noise canceling strength information. For example, it can be a value with a range, such as 0.0 to 1.0. For example, 0.0 may be defined as noise canceling off.
  • the noise canceling characteristic curve may be selected from a plurality of types. Selection of the noise canceling characteristic curve can be performed as described with reference to FIGS. 47 and 69 .
  • the NC characteristic information output from the trained model 7140 is the same as in the generated example of the trained model 5140 shown in FIG. 51, and detailed description thereof will be omitted here.
  • FIG. 72 shows an example of a user interface when creating learning data.
  • Portable information device 7264 displays the frequency and configuration information of the measurement signal for pure tone audiometry. For example, by checking the frequencies to be learned, the checked frequencies are executed in order. 125 Hz, 250 Hz, 500 Hz, 1000 Hz, 2000 Hz, 4000 Hz, and 8000 Hz are frequencies normally always measured in pure tone audiometry and may be selected by default. 750Hz, 1500Hz, 3000Hz and 6000Hz are checked as necessary.
  • the configuration information in the example shown in FIG. 72, is selection of the type of earpiece to be used and earmold, and selection of left and right hearing aid devices to be used.
  • the setting information is transmitted to the hearing aid devices 7201A and 7201B, and the hearing aid devices 7201A and 7201B operate according to the settings.
  • Hearing aids 7201A and 7201B are depicted as conventional RIC hearing aids, and hearing aid 8201B is depicted as having a shape similar to a conventional TWS, but the present invention is not limited to this.
  • Connections between hearing aid devices 7201A and 7201B and personal digital assistant 7264 may be wireless or wired.
  • FIG. 73 shows an example of a user interface used by a subject (a hearing-impaired person) when responding with NC characteristic information.
  • the frequency of the current measurement signal may be displayed.
  • the frequency of the current measurement signal is 500 Hz.
  • An NC characteristic curve and NC intensity can be used as examples of NC characteristic information.
  • a radio button 7369 and a slider bar 7367 are arranged on the portable information device 7364 as a user interface for adjusting the NC characteristic curve and the NC intensity. NC characteristic information is learned for each frequency of the measurement signal.
  • the measurement signal is a pure tone 6986
  • the subject performs adjustment using the NC characteristic curve B6935 as a reference.
  • Radio button 7369A is used to narrow or widen the width of the NC characteristic curve.
  • Radio button 7369B is used to lower or raise the center frequency of the NC characteristic curve.
  • an NC characteristic curve BB6938 is obtained.
  • NC characteristic curve CC6939 is obtained by similar operation.
  • width and frequency were selected as parameters for adjusting the NC characteristic curve, but the parameters are not limited to these.
  • a switch 7366 allows the NC function to be turned off.
  • the effect of the NC function cannot be expected at a high frequency such as 4 kHz, it may be selected not to use the NC function.
  • a sound environment assumed as input voice information is reproduced around the subject, and the subject selects the optimum NC characteristic curve and NC intensity for the subject in the sound environment. , and press the OK button 7365 to confirm.
  • measurement signal information, input speech information, configuration information, and NC characteristic information are added to the learning data set.
  • Fig. 74 shows the procedure for creating learning data in the form of a flowchart.
  • the illustrated processing procedure is basically the same as that shown in FIG. 53, so the description is omitted here.
  • FIGS. 73 and 74 show an example in which the subject designates the NC characteristic candidate, but the present invention is not limited to this.
  • the NC characteristic of the hearing aid device 7001 may be automatically set and presented to the subject, and the subject may answer whether it is pleasant or unpleasant each time.
  • two different sets of NC characteristic settings may be presented to the subject and the subject may answer which one is more comfortable. In short, it is only necessary to obtain an answer regarding the NC characteristic that indicates whether the subject is comfortable or uncomfortable.
  • FIG. 75 shows a configuration example of the NC characteristic estimation unit 7531 when no learned model is generated.
  • the NC characteristic estimating section 7531 is used in the NC characteristic determining section 7030 of the hearing aid device 7001 .
  • the measurement signal information is the frequency and level of the measurement sound, and may be the measurement signal.
  • the first sound pressure level calculator 7528 calculates the sound pressure level P_1 of the measured sound. If the level value input to the first sound pressure level calculator 7528 is already the sound pressure level of the measured sound, the input is output as is.
  • the second sound pressure level calculator 7523 uses the frequency information and configuration information (acoustic characteristics of the earpiece, etc.) of the measured sound, and the input sound level information to calculate the sound in the ear canal (for example, FIGS. 13 and 48) through the second route. Estimate the sound at position P2) in the hearing aid shown in , and calculate the sound pressure level P_2 corresponding to the narrowband noise that may mask the measured sound.
  • a configuration may be employed in which a microphone 4229 is placed inside the hearing aid device 4201 to directly obtain the sound pressure level P_2 of the sound in the ear canal through the second path.
  • a suitable timing for collecting sound from the microphone 4229 inside the hearing aid 4201 is when the measurement sound is not being output.
  • the measurement sound is an intermittent sound
  • the sound may be picked up at the timing between the measurement sounds.
  • the sound signal obtained by removing the measurement signal from the picked-up sound signal is estimated.
  • Necessary NC intensity calculation section 7524 calculates noise canceling intensity NC_NEED required for measurement from the difference between the level of noise passing through the second path and the level of measured sound, as shown in the following equation (8).
  • NC_NEED is non-negative.
  • An NC strength/NC characteristic curve calculator 7532 calculates an NC strength NC_LEVEL and an NC characteristic curve NC_CURVE from the required NC strength NC_NEED.
  • the NC intensity NC_LEVEL is calculated by the following formula (9) using the function f3L.
  • f3L for obtaining the NC strength NC_LEVEL is expressed as in the following formula (10).
  • th_NC is the threshold of the effect of NC processing.
  • NC_NEED the required NC intensity
  • NC characteristic curve NC_CURVE is calculated by the following formula (11) using the function f3C.
  • f3C for obtaining the NC characteristic curve may select the NC characteristic curve so that NC_LEVEL has a sufficient value while giving priority to the breadth of the frequency band. For example, when the required NC strength NC_NEED is small, priority is given to curve A4734 shown in FIG. 47, and when the required NC strength NC_NEED is large, priority is given to curve C4736 shown in FIG.
  • FIG. 76 shows a processing procedure for estimating the NC characteristic in the NC characteristic estimating section 7531 shown in FIG. 75 in the form of a flowchart.
  • the first sound pressure level calculation unit 7528 calculates the first sound pressure level P_1 of the measurement sound from the measurement signal information (step S7601), and the second sound pressure level calculation unit 7523 inputs the constant sound frequency information.
  • a second sound pressure level P_2 corresponding to narrowband noise for masking the measurement sound is calculated from the audio information and the configuration information (step S7602).
  • the required NC intensity calculation unit 7524 calculates the required NC intensity NC_NEED from the first sound pressure level P_1 and the second sound pressure level P_2 (step S7603), and the NC intensity/NC characteristic curve calculation unit 7532 NC strength NC_LEVEL and NC characteristic curve NC_CURVE are calculated from required NC strength NC_NEED (step S7604), NC characteristic estimator 7531 outputs NC strength NC_LEVEL and NC characteristic curve NC_CURVE (step S7605), and this processing ends. do.
  • FIG. 75 shows a configuration example for estimating NC characteristics using measured signal information, input speech information, and configuration information
  • the characteristic curve B6935 and the characteristic curve C6936 described with reference to FIG. 69 may be defined.
  • NC characteristic candidates are prepared using a method that does not use a trained model.
  • the candidates are manually fine-tuned and used as learning data. For example, initial values of slider bar 7367 and radio button 7369 in FIG. 73 are determined using NC characteristic candidates calculated by a method that does not use a trained model.
  • the subject can determine the answer by only trying around the initial value.
  • the number of two-choice questions required can be reduced.
  • This method can significantly improve work efficiency.
  • the method shown in FIGS. 75 and 76 which does not use a trained model, requires less computation, and can be implemented even with inexpensive hearing aid equipment. In other words, it can be used as a simple substitute for estimation using a trained model.
  • FIG. 77 shows the processing procedure of the NC function in the hearing aid device 7001 in the form of a flowchart. Since this processing procedure is basically the same as that in FIG. 56, the explanation is omitted here.
  • FIG. 78 shows a configuration example of an NC characteristic determination unit that uses a learned model for estimation according to the third embodiment of the present disclosure.
  • the configuration of the NC characteristic determining section 7830 is basically the same as that of the NC characteristic determining section shown in FIG. 57, and the description thereof is omitted here.
  • FIG. 79 shows a configuration example of an NC characteristic determining section that does not use a trained model according to the third embodiment of the present disclosure.
  • the configuration of the NC characteristic determining section 7930 is basically the same as that of the NC characteristic determining section shown in FIG. 58, and the description thereof is omitted here.
  • the processing procedure shown in the form of a flowchart in FIG. 59 can be used. If the newly calculated NC characteristic curve and NC intensity are different from the current NC characteristic curve and NC intensity, there are two methods: a method of automatically updating, and a method of proposing an update to the user of the hearing aid device 7001. . In the case of automatic updating, since frequent updating may lead to discomfort, it is preferable to update with a certain amount of time constant.
  • the flow chart shown in FIG. 59 can be used.
  • step S5901 a new NC characteristic curve/NC intensity is calculated. This is as shown in FIGS.
  • step S5902 the newly calculated NC characteristic curve/NC strength and the current NC characteristic curve/NC strength are compared. If the newly calculated NC characteristic curve/NC intensity does not differ from the current NC characteristic curve/NC intensity (No in step S5902), the process returns to step S5901. If the newly calculated NC characteristic curve/NC intensity is different from the current NC characteristic curve/NC intensity (Yes in step S5902), the process advances to step S5903 to provide the user of the hearing aid device 7001 with the NC characteristic curve/NC intensity. Suggest updating the NC intensity.
  • An example of the proposed method can be performed in the same manner as in FIG.
  • step S5904 a reply to the proposal is obtained.
  • An example of the answering method can be performed in the same manner as in FIG.
  • step S5905 the process branches depending on the content of the reply. If the answer is to request updating (Yes in step S5906), the process advances to step S5906 to update the NC characteristic curve and NC intensity, and terminates this process. If updating is not desired (No in step S5906), the process proceeds to step S5907 and ends without updating the NC characteristic curve/NC intensity.
  • FIG. 80 shows another example of a user interface used when proposing updating the NC intensity and NC characteristic curve to the user of the hearing aid device 7001 and receiving an answer from the user of the hearing aid device 7001 .
  • the basic configuration of the user interface is the same as the example shown in FIG.
  • the width and frequency are adjusted in order to adjust the NC characteristic curve.
  • FIG. Recommended marks 8098A-D are determined from newly calculated NC characteristic curves.
  • the recommended mark 8098A is an example of "0", which indicates that the width of the newly calculated NC characteristic curve is standard, and the recommended mark 8098C indicates that the width of the newly calculated NC characteristic curve is slightly wider. +1" is an example.
  • the recommended mark 8098B is an example of "0” indicating that the frequency of the newly calculated NC characteristic curve is standard, and the recommended mark 8098D is also an example of "0" indicating that the frequency of the newly calculated NC characteristic curve is standard. For example.
  • FIG. 81 shows another user interface example that presents the recommended range and obtains an answer from the user of the hearing aid.
  • the basic configuration of the user interface is the same as the example shown in FIG.
  • the recommended mark 8098 illustrated in FIG. 80 may be like the recommended mark 8198E, recommended mark 8198F, recommended mark 8198G, and recommended mark 8198H in FIG.
  • the slider bar 8067 and dial 8168 for the NC strength, and the radio button 8069 for the NC characteristic curve were explained as examples, but they are not limited to these, in short, newly calculated
  • a recommended range 8099 and a recommended mark 8098 may be automatically presented according to the NC strength and NC characteristic curve.
  • the hearing aid user can adjust the NC intensity and the NC characteristic curve according to his or her own will while referring to them. Can be set. After updating the settings, press the OK button 8065 to exit. If you do not want to change the settings, press the OK button 8065 to finish without operating the slider bar 8067, dial 8168, or radio button 8069. If the NC intensity and the NC characteristic curve are to be set automatically, they may be designated by the switch 8066A. The ON/OFF setting of the NC may be designated by a switch 8066B.
  • FIG. 82 shows, in the form of a flowchart, a processing procedure for proposing a change in the sound environment to the user. If the effectiveness of the NC does not meet the needs, it can be suggested to the user of the hearing instrument to interrupt or stop the measurement. For example, if the noise of a vacuum cleaner is a problem, the vacuum cleaner can be turned off. If traffic noise from the road in front of your room is a problem, you can move to a room farther from the road.
  • the required NC strength NC_NEED is calculated (step S8201).
  • the effect of NC is determined (step S8202). Specifically, the required NC strength NC_NEED is compared with the threshold th_NC, and if the required NC strength NC_NEED is greater than the threshold th_NC, it is determined that the realizable effect cannot satisfy the need, and the required NC strength NC_NEED is set to the threshold. If less than or equal to th_NC, it can be determined that the achievable effect meets the need.
  • step S8202 If NC is effective (Yes in step S8202), return to step S8201. On the other hand, if the NC is not effective (No in step S8202), the fact that the NC is not effective is communicated to the user of the hearing aid device (user), and furthermore, the user of the hearing aid device 7001 is notified of the sound.
  • a change of environment is proposed (step S8203). An example of the proposed method can be performed in the same manner as in FIG.
  • step S8204 a response to the proposal is obtained from the user of the hearing aid device.
  • An example of the answering method can be performed in the same manner as in FIG.
  • step S8204 it branches depending on the content of the answer obtained from the user. If the user's answer indicates that he/she wishes to change (Yes in step S8205), the hearing measurement is interrupted (step S8206), and this process ends. When resuming the hearing measurement in a quieter environment, the hearing measurement may be restarted or continued from the beginning. Since the hearing measurement is a time-consuming measurement, the burden on the user can be reduced by starting from the continuation. When interrupting the measurement, you may send a message to that effect. On the other hand, if the user's answer does not wish to change (No in step S8205), the hearing measurement is stopped (step S8207), and this process ends. When the measurement is aborted, a message may be sent to the user that the measurement cannot be performed due to environmental noise.
  • FIG. 83 shows an example of notifying the hearing aid user of noise that may affect the hearing measurement.
  • the noise that may affect the hearing measurement refers to, for example, noise A6375 when a person with a hearing threshold of 6383 performs the hearing measurement at 250 Hz in FIG. It may not be easy for the layperson, who is not a sound expert, to recognize which sounds are environmental noises that affect audiometry. Therefore, environmental noise, which is a problem at the site of hearing acuity measurement, is picked up from the microphone of the hearing aid device 8301, amplified, and output to the user of the hearing aid device 8301 (user).
  • the speaker used for output may be the speaker of the hearing aid device 8301 or the speaker of the portable information device 8364A connected to the hearing aid device 8301 .
  • the frequency band in question may be narrowed down.
  • bandpass filters lowpass filters, highpass filters, bandstop filters, etc.
  • the environmental noise in question By amplifying the environmental noise in question to the extent that the user (user) of the hearing aid device 8301 can hear it, the user (user) of the hearing aid device 8301 can hear the environmental noise in question. It is possible to specifically recognize the environmental noise that is a problem, and it helps to take countermeasures. Countermeasures include turning off the power switch of the equipment that is generating the noise and moving to a room where the noise does not occur.
  • the environmental noise output to the user (user) of the hearing aid device 8301 may be configured to output the sound picked up by the microphone in real time, or may be recorded once and then output.
  • a person other than the user of the hearing aid device 8301 may use the portable information device 8364 to check the environmental noise.
  • a family member or the like may be next to the user of the hearing aid device, or may be away from the user of the hearing aid device 8301 to which the portable information device 8364 is connected via the network.
  • audiometry When audiometry is performed using NC, it may be recorded together with the audiometry data. For example, it is recorded that noise canceling is used for 125 Hz and 250 Hz and that noise canceling is not used for other frequencies. Additionally, environmental noise levels may be recorded along with the audiometry data. The ambient noise level may, for example, be represented by a single value over the entire frequency band, or may be a value for each frequency of the audiometry. Via the external interface 7013, hearing measurement results can be transmitted to the outside of the hearing aid device. At that time, along with the audiometry data, whether or not noise canceling is used, NC characteristic curve, NC intensity, environmental noise level, and configuration information can be transmitted. This makes it possible to later confirm under what conditions the measurement results were obtained.
  • the hearing measurement results transmitted to the outside of the hearing aid device 8301 via the external interface can be configured to be displayed on the screen of the portable information device 8364, for example.
  • an audiogram as shown in FIG. 4 is easy to understand because it is a widely used format.
  • a transmission destination external to the hearing aid device 8301 may be a third-party information device (not shown) connected to a network.
  • Figures 84 to 89 show display examples of hearing measurement results. This is an example of displaying the NC use notation 8433 inside and outside the audiogram so that the frequency at which the hearing test was performed using the NC can be known. This example is an audiometry result using noise cancellation at 125 Hz and 250 Hz.
  • the NC use notation 8433A in FIG. 84 is an example of displaying an "N" mark near the hearing acuity measurement value.
  • NC use notation 8433B in FIG. 85 is an example of displaying an "N" mark at the corresponding frequency position outside the audiogram.
  • the NC use notation 8433C in FIG. 86 is an example of displaying the corresponding frequency in the audiogram with shading.
  • the NC usage notation 8433E in FIG. 88 is an example of displaying the shape of the mark representing the audiometry result of the audiogram distinguishing from others.
  • the NC use notation 8433F in FIG. 89 is an example of displaying the frequency for which the audiometry was performed using the NC.
  • the NC use notation is not limited to 8433A to F, and other notation methods may be used. In short, any form is acceptable as long as it can be read that the audiometry was performed using the NC.
  • the hearing measurement results may be displayed on a screen of a portable information device or the like, or may be printed on paper or the like.
  • NC characteristic information in the third embodiment of the present disclosure has been described in the form of a hearing aid device, it is also possible to add a noise canceling function to the receiver 6261 of the conventional measuring device 6260 described in FIG. .
  • the user interfaces described with reference to FIGS. 29, 30, 80, and 81 can be used in the measuring device 6260 and information equipment (not shown) operated by the measuring device operator 6296.
  • FIG. 29 the user interfaces described with reference to FIGS. 29, 30, 80, and 81 can be used in the measuring device 6260 and information equipment (not shown) operated by the measuring device operator 6296.
  • the noise masks the inspection sound, hindering accurate measurement.
  • the noise canceling processing in accordance with the measurement sound, the noise that adversely affects the measurement can be efficiently reduced.
  • the effect of enabling hearing measurement As a result, for example, even at a place such as a home, there are more opportunities to easily perform hearing measurement.
  • the fact that the measurement was performed using noise canceling together with the hearing test results it is possible to later confirm under what conditions the measurement results were obtained.
  • the present disclosure describes how to wear, including whether it is single ear or double ear, whether it is an ear hole type or an ear hook type, the type of earpiece (dome), the ear hole type or the ear hook type. It can be applied to various hearing aid devices with different configuration information, such as information about the properties of the housing of the hearing aid device, such as its shape.
  • the embodiments in which the present disclosure is mainly applied to hearing aid equipment have been mainly described, but TWS, headphones, earphones, sound collectors, head-mounted displays (HMDs), etc. with a hear-through function have been described. can be similarly applied to
  • a speech processing device comprising:
  • the hearing threshold information is the result of threshold measurement of the hearing threshold for each frequency of the user of the audio processing device, or the sound pressure level information for each frequency of the measurement signal used in the hearing ability measurement function. , including at least one of The audio processing device according to (1) above.
  • the hearing threshold information includes a measurement result of hearing threshold measurement
  • the hearing threshold measurement includes at least one measurement result of pure tone audiometry or self-reported geometry;
  • the audio processing device according to (2-1) above.
  • the measurement result of the pure tone audiometry includes the measurement result of at least one of air conduction audiometry and bone conduction audiometry;
  • the hearing threshold information includes gain information calculated by a prescription formula from the results of hearing measurements;
  • the hearing threshold information includes a measurement result above the hearing threshold
  • the measurement above the hearing threshold includes at least one measurement result of a speech discrimination measurement or a distorted speech discrimination measurement;
  • the audio processing device according to (2-5) above.
  • the hearing threshold measurement includes at least one measurement result of pure tone audiometry or self-reported geometry, The audio processing device according to (2-7) above.
  • the measurement result of the pure tone audiometry includes the measurement result of at least one of air conduction audiometry and bone conduction audiometry;
  • the input audio information is input audio of an audio processing device that outputs an audio signal output from the signal processing unit;
  • the audio processing device according to either (1) or (2) above.
  • the input voice information includes the user's own utterance of the voice processing device;
  • the audio processing device according to (3) above.
  • the input audio information includes a level value of the input audio of the audio processing device
  • the input speech information includes at least one of an amplitude spectrum and a power spectrum of the input speech of the speech processing device;
  • the information estimation unit further estimates the control information based on configuration information of the speech processing device.
  • the audio processing device according to (1) above.
  • the configuration information includes information indicating whether the audio processing device is monoaural or binaural;
  • the configuration information includes at least one of the type of earpiece connected to the audio processing device and acoustic characteristic information of the earpiece;
  • the audio processing device according to (4) above.
  • the information estimating unit estimates at least one of information regarding an allowable delay amount in the signal processing unit or noise canceling characteristic information regarding noise canceling processing performed in the signal processing unit;
  • the audio processing device according to any one of (1) to (4) above.
  • the information estimation unit estimates an allowable delay amount for the entire processing in the signal processing unit.
  • the audio processing device according to (5) above.
  • the information estimation unit estimates an allowable delay amount for a part of processing in the signal processing unit;
  • the audio processing device according to (5) above.
  • the partial processing includes at least one of noise reduction processing and sudden sound suppression processing;
  • the audio processing device according to (5-2) above.
  • the allowable delay amount is a delay time or the number of delay samples
  • the noise canceling characteristic information includes at least one of a noise canceling characteristic curve and noise canceling strength
  • the information estimating unit estimates the control information using a pre-learned model with at least the user's hearing information and the input speech information as explanatory variables and the control information as the objective variable.
  • the audio processing device according to any one of (1) to (6) above.
  • the signal processing unit processes an input audio signal of the audio processing device;
  • the information estimating unit estimates the control information using the learned model trained on the condition of the configuration information of the speech processing device.
  • the trained model is composed of a first trained model and a second trained model; using the output of the second trained model as the input of the first trained model;
  • the audio processing device according to any one of (7) and (8) above.
  • the speech processing device is applied to a hearing aid device,
  • the training data set of the first trained model requires cooperation of the hearing-impaired person, and the training data set of the second trained model does not require cooperation of any kind.
  • the second trained model is learned in advance using input speech information and configuration information of the speech processing device as explanatory variables and self-voice presence/absence information as objective variables,
  • the first trained model is learned in advance using the hearing information, the input speech information, the configuration information of the speech processing device, and the presence/absence information of the voice as explanatory variables, and the allowable delay amount information as the objective variable.
  • the signal processing unit processes an input audio signal of the audio processing device;
  • the second learned model is learned in advance using sensor information as an explanatory variable and body movement information or face information as an objective variable,
  • the first trained model uses hearing information, input speech information, configuration information of the speech processing device, connection information of the speech processing device, sensor information, body movement information, or face information as explanatory variables, and allows allowable delay amount information as the objective. pre-learned as a variable,
  • the audio processing device according to (4) above.
  • connection information includes type information of an external device connected to the hearing aid device and transmitting audio information to the hearing aid device.
  • the audio processing device according to (9-3) above.
  • connection information includes content genre information of content transmitted from an external device connected to the audio processing device and transmitting audio information to the audio processing device, The audio processing device according to (9-3) above.
  • the sensor information includes sensor information obtained from a sensor mounted on the audio processing device, The audio processing device according to (9-3) above.
  • the sensor information includes at least one of gyro sensor information and camera information;
  • the information estimation unit calculating a first sound pressure level from the gain information calculated by the prescription formula from the result of the measurement and the sound pressure level for each band of the input sound to the sound processing device; calculating a second sound pressure level from the acoustic characteristics based on the sound pressure level for each band and the configuration information of the sound processing device; Based on the difference between the first sound pressure level and the second sound pressure level, as the control information, an allowable delay amount in the signal processing unit, or noise canceling related to noise canceling processing performed in the signal processing unit determining characteristic information, The audio processing device according to (2) above.
  • the information estimation unit calculating a first sound pressure level from the frequency information and sound pressure level information of the measurement signal and the sound pressure level for each band of the input sound to the sound processing device; calculating a second sound pressure level from the acoustic characteristics based on the sound pressure level for each band and the configuration information of the sound processing device; calculating the noise canceling strength required for hearing measurement from the difference between the first sound pressure level and the second sound pressure level; Based on the required noise canceling strength, determining a noise canceling characteristic related to noise canceling processing performed by the signal processing unit as the control information,
  • the audio processing device according to (2) above.
  • the configuration information includes at least one of a type of earpiece of the audio processing device, a wearing method, and characteristic information of the housing of the audio processing device.
  • the speech processing device according to any one of (4), (10), and (11) above.
  • the newly estimated second control information is displayed on the screen of the external device connected to the speech processing device along with setting means for the user to set the control information. or display as a recommended range,
  • the setting means consists of a slider bar, a dial, or a radio button;
  • the audio processing device according to (15) above.
  • the audio processing device is any one of earphones, headphones, hearing aids, sound collectors, and head-mounted displays.
  • the audio processing device according to any one of (1) to (16) above.
  • a speech processing method comprising:
  • a hearing aid device with a hearing measurement function picking up the ambient sound of the hearing aid device when conducting a hearing measurement; amplifying the collected ambient sound; outputting the amplified ambient sound from a speaker of the hearing aid device or an external device connected to the hearing aid device; hearing aid equipment.
  • Trained model C 2040 First learned model 2041 Second learned model 2122 First sound pressure level calculator 2123 Second sound pressure level calculator 2124 Sound pressure level difference calculator 2125 Allowable delay Amount calculator 2126 Allowable delay amount estimator 2416 Delay amount determiner 2427 Delay amount calculator 2440 Trained model 2616 Delay amount determiner 2626 Allowable delay amount estimator 2627 Delay amount calculator 2901 Hearing aid device 2964 Portable information device 3001 Hearing aid device 3064 Portable information device 3307 NR unit 3351 Input buffer 3352 Output buffer 3353 Windowing unit 3354 IFFTM3355 FFT 3356... IFFT, 3357... NR_core 3501... Hearing aid device 3502... Microphone 3503... Speaker 3504... ADC 3505... DAC 3507... NR unit 3509...
  • Amplitude/phase adjustment unit 3511 Control unit 3512... Sound source storage/playback unit 3513... External interface 3514... Configuration Information storage unit 3515 Hearing information storage unit 3516 Delay amount determination unit 3517 Learned model storage unit 3518 Connection information storage unit 3519 Sensor information unit 3640 Learned model 3797 Camera 3840 First learning Already model 3841... Second learned model 3916... Delay amount determination unit 3927... Delay amount calculation unit 3940... Learned model 4201... Hearing aid device 4202... Microphone 4203... Speaker 4204... ADC, 4205...
  • DAC 4206 Signal processing unit 4212 Sound source storage/playback unit 4213 External interface 4229 Microphone 5001 Hearing aid device 5002 Microphone 5003 Speaker 5004 ADC 5005 DAC 5007 NR unit 5008 NC signal generation unit 5009 Amplitude/Phase Adjustment Unit 5011 Control Unit 5012 Sound Source Storage/Reproduction Unit 5013 External Interface 5014 Configuration Information Storage Unit 5015 Hearing Storage Unit 5017 Learned Model Storage Unit 5019 Sensor Information Unit 5030 NC Characteristic determining unit 5140 Trained model 5264 Portable information device 5422 First sound pressure level calculating unit 5423 Second sound pressure level calculating unit 5424 Sound pressure level difference calculating unit 5431 NC characteristic estimating unit 5432 NC intensity/NC characteristic curve calculator 5730 NC characteristic determining section 5740 Learned model 5830 NC characteristic determining section 5831 NC characteristic estimating section 6260 measuring device 6261 receiver 6262 response push button 6263 Soundproof room 6501...
  • Hearing aid device 6560 Measuring device 6701... Hearing aid device 6764... Measuring device 7001... Hearing aid device 7002... Microphone 7003... Speaker 7004... ADC 7005... DAC 7007... NR section 7008... NC signal generation section , 7009... Amplitude/phase adjusting unit 7011... Control unit 7012... Sound source storage/playback unit 7013... External interface 7014... Configuration information storage unit 7015... Hearing ability storage unit 7017... Learned model storage unit 7019... Sensor information unit 7030 ... NC characteristic determination unit 714 0... Learned model 7201A, 7201B... Hearing aid device 7264... Portable information device 7364... Portable information device 7528...
  • First sound pressure level calculator 7523 Second sound pressure level calculator 7524 Required NC intensity calculator 7531 NC characteristic estimator 7532 NC intensity/NC characteristic curve calculator 7830 NC characteristic determiner 7840 Learned model 7930 NC characteristic Determining unit 7931 NC characteristic estimating unit 8064 Portable information device 8301 Hearing aid device 8364 Portable information device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

主に補聴機器のための音声処理を行う音声処理装置を提供する。　音声処理装置は、周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定部と、前記推定された制御情報に基づいて入力音声信号を処理する信号処理部を具備する。前記聴覚閾値情報は、前記音声処理装置の使用者の周波数毎の聴覚閾値を測定した閾値測定の結果である。前記情報推定部は、前記信号処理部における許容遅延量又はノイズキャンセリング特性に関する情報を推定する。

Description

音声処理装置及び音声処理方法、並びに補聴機器
　本明細書で開示する技術（以下、「本開示」とする）は、主に補聴機器のための音声処理を行う音声処理装置及び音声処理方法、並びに補聴機器に関する。
　聴覚障がい者などの難聴の問題を解決するために、周囲音を収音及び増幅して出力する補聴器が普及している。周囲音は希望する音声（会話者の発話など）の他にノイズが含まれていると増幅した音声の品質が劣化するため、集音した音声信号からノイズ成分を削減する処理（以下、本明細書では「ノイズリダクション（ＮＲ）処理」とも呼ぶ）が行われることが多い（例えば、特許文献１を参照のこと）。また、使用者の聴力テストの結果として得られるオージオグラム（周波数帯域毎の聴力レベル）に基づいて、可聴周波数範囲のうち聴覚が欠損している部分の周波数帯の音を増幅して聴覚損失を緩和するように、増幅機能が設定されることが一般的である。
特表２０１６－５３７８９１号公報 特開平８－２２１０９２号公報
Ｄｏｎａｌｄ　Ｇ．ＭａｃＫａｙ，Ｍｅｔａｍｏｒｐｈｏｓｉｓ　ｏｆ　ａ　Ｃｒｉｔｉｃａｌ　Ｉｎｔｅｒｖａｌ：Ａｇｅ－Ｌｉｎｋｅｄ　Ｃｈａｎｇｅｓ　ｉｎ　ｔｈｅ　Ｄｅｌａｙ　ｉｎ　Ａｕｄｉｔｏｒｙ　Ｆｅｅｄｂａｃｋ　ｔｈａｔ　Ｐｒｏｄｕｃｅｓ　Ｍａｘｉｍａｌ　Ｄｉｓｒｕｐｔｉｏｎ　ｏｆ　Ｓｐｅｅｃｈ，Ｔｈｅ　Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ａｃｏｕｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，１９６７
　本開示の目的は、主に補聴機器のための音声処理を行う音声処理装置及び音声処理方法、並びに補聴機器を提供することにある。
　本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
　周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定部と、
　前記推定された制御情報に基づいて入力音声信号を処理する信号処理部と、
を具備する音声処理装置である。
　前記聴覚閾値情報は、前記音声処理装置の使用者の周波数毎の聴覚閾値を測定した閾値測定の結果である。又は、前記聴覚閾値情報は、聴力測定機能で使用する測定信号の周波数毎の音圧レベルの情報である。
　そして、前記情報推定部は、前記信号処理部における許容遅延量に関する情報を推定する。又は、前記情報推定部は、前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性情報を推定する。
　また、本開示の第２の側面は、
　周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定ステップと、
　前記推定された制御情報に基づいて入力音声信号を処理する信号処理ステップと、を有する音声処理方法である。
　また、本開示の第３の側面は、聴力測定機能を備えた補聴機器であって、
　聴力測定実施時に前記補聴機器の周囲音を収音し、
　前記収音した周囲音を増幅し、
　前記補聴機器又は前記補聴機器と接続した外部機器のスピーカから、前記増幅した周囲音を出力する、補聴機器である。
　第３の側面に係る補聴機器は、聴力測定用の測定音が停止しているときに周囲音の収音を行うようにする。また、ノイズキャンセリング機能をさらに備える場合には、聴力測定時にノイズキャンセリングを使用したことを示す情報を聴力測定の結果とともに記録し、測定結果を表示する際には、ノイズキャンセリングの有無についても併せて表示するようにする。
　本開示によれば、補聴機器において行われるノイズリダクションなどの信号処理の許容遅延量やノイズキャンセリング特性情報、さらには聴力測定時におけるノイズキャンセリング特性情報を決定するための処理を行う音声処理装置及び音声処理方法、並びに補聴機器を提供することができる。
　なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
　本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、補聴機器の構成例を示した図である。 図２は、補聴機器における入力音圧レベルと出力音圧レベルの関係の一例を示した図である。 図３は、難聴者の聴覚閾値が上昇（悪化）する例を示した図である。 図４は、難聴者のオージオグラムの例を示した図である。 図５は、補聴機器における入力音圧レベルと出力音圧レベルの関係の他の例を示した図である。 図６は、補聴機器における、音と音声信号の流れの例を示した図である。 図７は、補聴機器７０１の使用者７９０が話者７９４と向かい合って会話する例を示した図である。 図８は、話者が発声した音声が話者自身の耳に伝わる様子を示した図である。 図９は、フィードフォワード型のコムフィルタの例を示した図である。 図１０は、図９に示したコムフィルタの振幅特性を示した図である。 図１１は、ＮＲ機能の効果を例示した図である。 図１２は、ＮＲ機能の効果が小さい例を示した図である。 図１３は、補聴機器の他の構成例を示した図である。 図１４は、可変遅延ＮＲ機能を備えた補聴機器の構成例（第１の実施例）を示した図である。 図１５は、学習済モデルの生成例を示した図である。 図１６は、学習用データ作成時のユーザインターフェース例を示した図である。 図１７は、被検者（難聴者）が許容遅延量を回答する際に使用するユーザインターフェース例を示した図である。 図１８は、学習用データ作成時の手順を示したフローチャートである。 図１９は、学習済モデルの他の生成例を示した図である。 図２０は、学習済モデルのさらに他の生成例を示した図である。 図２１は、学習済モデルを用いない許容遅延量推定部２１２６の構成例を示した図である。 図２２は、学習済モデルを使用しないで許容遅延量を決定するための処理手順を示したフローチャートである。 図２３は、補聴機器における可変遅延ＮＲの処理手順を示したフローチャートである。 図２４は、学習済モデルを推定に使用する遅延量決定部の構成例を示した図である。 図２５は、遅延量決定部２４１６の処理の流れを示したフローチャートである。 図２６は、遅延量決定部２６１６の構成例を示した図である。 図２７は、遅延量決定部２６１６の処理の流れを示したフローチャートである。 図２８は、遅延量の更新をユーザに提案する処理の一例を示したフローチャートである。 図２９は、遅延量更新を補聴機器の使用者に提案する際の提案方法の例を示した図である。 図３０は、補聴機器の使用者からの回答方法の例を示した図である。 図３１は、遅延量更新を補聴機器の使用者に提案するとともに補聴機器の使用者からの回答を受け取る際に使用するユーザインターフェース例を示した図である。 図３２は、推奨範囲の具体的な表示方法を示した図である。 図３３は、ＮＲ部の構成例を示した図である。 図３４は、可変遅延のバッファ操作例を示した図である。 図３５は、可変遅延ＮＲ機能を備えた補聴機器の第２の構成例（第１の実施例）を示した図である。 図３６は、学習済モデルの他の生成例を示した図である。 図３７は、補聴機器にカメラ３７９７を配置した例を示した図である。 図３８は、学習済モデルのさらに他の生成例を示した図である。 図３９は、学習済モデルを推定に使用する遅延量決定部の構成例を示した図である。 図４０は、遅延量決定部３９１６の処理の流れを示したフローチャートである。 図４１は、ノイズキャンセリングの仕組みを例示した図である。 図４２は、ノイズキャンセリング機能を搭載した補聴機器の構成例を示した図である。 図４３は、ＮＲ機能にＮＣ機能を追加したときの効果の例を示した図である。 図４４は、ＮＣ機能の効果が小さい例を示した図である。 図４５は、高音障害漸傾型のオージオグラム例を示した図である。 図４６は、山型のオージオグラム例を示した図である。 図４７は、ノイズキャンセリング処理によって減衰できることが期待される期待ノイズ減衰量を示した図である。 図４８は、水平型のオージオグラム例を示した図である。 図４９は、補聴機器の入出力特性例を示した図である。 図５０は、ＮＣ信号生成機能を備えた補聴機器の構成例（第２の実施例）を示した図である。 図５１は、学習済モデルの生成例を示した図である。 図５２は、被検者（難聴者）がＮＣ特性情報を回答する際に使用するユーザインターフェース例を示した図である。 図５３は、学習用データ作成時の手順を示したフローチャートである。 図５４は、学習済モデルを生成しない場合のＮＣ特性推定部５４３１の構成例を示した図である。 図５５は、ＮＣ特性推定部５４３１においてＮＣ特性を推定するための処理手順を示したフローチャートである。 図５６は、補聴機器５００１におけるＮＣ機能の処理手順を示したフローチャートである。 図５７は、学習済モデルを使用してＮＣ特性を推定するＮＣ特性決定部の構成例を示した図である。 図５８は、学習済モデルを使用しないでＮＣ特性を推定するＮＣ特性決定部の構成例を示した図である。 図５９は、ＮＣ特性カーブとＮＣ強度の更新をユーザに提案する処理手順を示したフローチャートである。 図６０は、ＮＣ強度とＮＣ特性カーブの更新を使用者に提案し、使用者からの回答を得る際のユーザインターフェース例を示した図である。 図６１は、推奨範囲６０９９の提示方法を示した図である。 図６２は、従来の聴力測定を行う例を示した図である。 図６３は、聴力測定における騒音が及ぼす影響を例示した図である。 図６４は、難聴者の聴力測定を行う際の騒音が及ぼす影響を例示した図である。 図６５は、従来の追加的な聴力測定の例を示した図である。 図６６は、聴力測定時の騒音を低減したときの効果を例示した図である。 図６７は、第３の実施例による聴力測定例を示した図である。 図６８は、ノイズ減衰量の例を示した図である。 図６９は、聴力測定信号の周波数に依存してノイズキャンセリングの特性カーブを変化させる例を示した図である。 図７０は、ＮＣ信号生成機能を聴力測定に利用する補聴機器の構成例を示した図である。 図７１は、学習済モデルの生成例を示した図である。 図７２は、学習用データ作成時のユーザインターフェース例を示した図である。 図７３は、被検者（難聴者）がＮＣ特性情報を回答する際に使用するユーザインターフェース例を示した図である。 図７４は、学習用データ作成時の手順を示したフローチャートである。 図７５は、学習済モデルを生成しない場合のＮＣ特性推定部７５３１の構成例を示した図である。 図７６は、ＮＣ特性推定部７５３１においてＮＣ特性を推定するための処理手順を示したフローチャート図である。 図７７は、補聴機器７００１におけるＮＣ機能の処理手順を示したフローチャートである。 図７８は、学習済モデルを使用してＮＣ特性を推定するＮＣ特性決定部の構成例を示した図である。 図７９は、学習済モデルを使用しないでＮＣ特性を推定するＮＣ特性決定部の構成例を示した図である。 図８０は、ＮＣ強度とＮＣ特性カーブの更新を提案するとともに回答を受け取る際に使用する別のユーザインターフェース例を示した図である。 図８１は、推奨範囲を提示するとともに補聴機器の使用者からの回答を得る他のユーザインターフェース例を示した図である。 図８２は、音環境の変更をユーザに提案する処理手順を示したフローチャートである。 図８３は、聴力測定に影響を与える可能性のある騒音を補聴機器の使用者（ユーザ）に知らせる例を示した図である。 図８４は、聴力測定結果の表示例を示した図である。 図８５は、聴力測定結果の表示例を示した図である。 図８６は、聴力測定結果の表示例を示した図である。 図８７は、聴力測定結果の表示例を示した図である。 図８８は、聴力測定結果の表示例を示した図である。 図８９は、聴力測定結果の表示例を示した図である。
　以下、図面を参照しながら本開示について説明する。
　図１には、補聴機器の構成例を概略的に示している。図示の補聴機器１０１は、マイクロホン１０２とスピーカ（レシーバーとも呼ばれる）１０３を備えている。マイクロホン１０２から収音した音は、マイクロホン１０２において音から電気信号に変換され、信号処理された後、スピーカ１０３において電気信号から音に変換される。スピーカ１０３から出力された音は、外耳道１９１に放射され、その奥の鼓膜へと届く。ＡＤＣ（ａｎａｌｏｇ　ｄｉｇｉｔａｌ　ｃｏｎｖｅｒｔｅｒ）１０４は、マイクロホン１０２からのアナログ信号をデジタル信号に変換し、信号処理部１０６へ送る。信号処理部１０６は、振幅特性及び位相特性の調整や利得の調整などの信号処理を行う。ＤＡＣ（ｄｉｇｉｔａｌ　ａｎａｌｏｇ　ｃｏｎｖｅｒｔｅｒ）１０５は、デジタル信号をアナログ信号に変換し、スピーカ１０３へ送る。図１では、外耳道入口を覆うような形状の補聴機器１０１を描いているが、耳穴型や耳掛け型の形状でもよく、ヒアスルー（ｈｅａｒｔｈｒｏｕｇｈ：外部音取込）機能の付いたＴＷＳ（ｔｒｕｅ　ｗｉｒｅｌｅｓｓ　ｓｔｅｒｅｏ）の形状や、ヘッドホンの形状、外耳道を塞ぐタイプのカナル型や、外耳道を完全にふさがないオープンイヤーのものであってもよい。
　図２には、補聴機器における入力音圧レベルと出力音圧レベルの関係の一例を示している。入力音圧レベルは、マイクロホンに入る音のレベルを指し、出力音圧レベルは、スピーカから出力された音のレベルを指す。参照番号２８０で示す利得曲線は、入力音圧レベルに対する利得である。図２に示す例では、入力音圧レベル範囲２８１が、利得曲線２８０によって、出力音圧レベル範囲２８２に変換される。例えば、入力音圧レベル４０ｄＢ　ＳＰＬ（Ｓｏｕｏｎｄ　Ｐｒｅｓｓｕｒｅ　Ｌｅｖｅｌ）のとき、３０ｄＢの利得が与えられ、出力音圧レベル７０ｄＢ　ＳＰＬとなる。また、入力音圧レベル８０ｄＢ　ＳＰＬのとき、１０ｄＢの利得が与えられ、出力音圧レベル９０ｄＢ　ＳＰＬとなる。加齢性難聴など、感音難聴者は、小さい音は聴こえ難いものの、うるさいと感じる音の大きさは健聴者（正常な聴力を持つ者）とあまり変わらないという特徴がある（特徴Ａ１）。このため、小さな入力音圧レベルに対しては大きな利得を与え、大きな入力音圧レベルに対しては小さな利得を与えるという手法がある。この手法は、２０００年頃から広まり始め、現在普及している補聴機器の多くに採用されている。図２に示す例では、利得曲線２８０が３つの線分から構成されているが、これに限らず、線分の本数を変えたり、曲線を使ったり、さまざまな方式が存在する。
　このように、補聴機器には、入力音圧レベルに依存して利得を変えるという特徴（特徴Ｂ１）がある。
　図３には、難聴者の聴覚閾値が上昇（悪化）する例を示している。図３の横軸は周波数であり、縦軸は音圧レベルである。聴覚閾値とは僅かに聴こえるか聴こえないかの閾値を指す。参照番号３８３で示す曲線は健聴者の聴覚閾値を表し、参照番号３８４で示す曲線はある難聴者の聴覚閾値を表している。参照番号３８５は、健聴者の聴覚閾値３８３と比べたときの、難聴者の聴覚閾値３８４に起きている４０ｄＢの閾値上昇を示している。つまり、難聴者の聴こえが４０ｄＢ悪化している。このとき、健聴者には、純音３８６が聴こえるが、聴覚閾値３８４を持つ難聴者には、純音３８６は聴こえない。うるさくて耐えられない音の強さを痛覚閾値と言い、概ね１３０～１４０ｄＢ　ＳＰＬ前後である。聴覚閾値と痛覚閾値の間を聴野と言い、この範囲こそが音として聴こえる範囲である。健聴者も難聴者も痛覚閾値は大きくは変わらないため、難聴者は健聴者と比べ、聴野が狭くなり、聴こえる音の強さの範囲が狭くなる。このような理由により、難聴者には特徴Ａ１があり、これに対処するために、補聴機器には特徴Ｂ１がある。
　図４には、難聴者のオージオグラムの例を示している。オージオグラムは、健聴者の聴覚閾値と比べて、難聴者の聴覚閾値がどれだけ悪化しているかを、周波数毎に示す。図４の横軸は周波数であり、縦軸は聴力レベルであるが、図３とは上下が逆であるので注意を要する。図４に示す例では、１０００Ｈｚは１５ｄＢ聴こえが悪化し、４０００Ｈｚは４０ｄＢ聴こえが悪化している。このことを、１０００Ｈｚの聴力レベルが１５ｄＢ　ＨＬ（Ｈｅａｒｉｎｇ　Ｌｅｖｅｌ）であり、４０００Ｈｚの聴力レベルが４０ｄＢ　ＨＬであると一般に表現する。補聴機器は、難聴者の悪化した聴こえを改善するために、増幅を周波数毎に行うことが多い。増幅する際の利得の決め方には種々の方法があるが、聴力レベルの１／３～１／２程度が目安となる。仮に、入力音圧レベル６０ｄＢ　ＳＰＬに対する利得を、聴力レベルの半分と定めると、図４に示す例では、１０００Ｈｚの利得は７．５ｄＢ、４０００Ｈｚの利得は２０ｄＢと決まる。
　図５には、補聴機器における入力音圧レベルと出力音圧レベルの関係の他の例を示している（但し、同図中、参照番号５８０は利得曲線を示しており、入力音圧レベル範囲５８１が利得曲線５８０によって出力音圧レベル範囲５８２に変換される）。図４に示す難聴者の場合、例えば、１０００Ｈｚの利得曲線は図５中の参照番号５８０で示す利得曲線のようになる。一方、４０００Ｈｚの利得曲線は、図２中の参照番号２８０で示す利得曲線のようになる。
　このように、補聴機器には、使用者の聴力に合わせて利得を変えるという特徴（特徴Ｂ２）がある。
　図６には、補聴機器における、音と音声信号の流れの例を示している。例えば、位置Ｐ１の音は、大きく２つの経路を経由して、外耳道６９１の位置Ｐ２に届く。第１の経路は、マイクロホン６０２を経由する経路であり、第２の経路は、マイクロホン６０２を経由しない経路である。第２の経路の音は、補聴機器６０１のベントホールを通過する音、補聴機器６０１と耳穴の隙間を通過する音、補聴機器６０１の筐体を通過する音、イヤーピース（ドームとも呼ばれる）を通過する音などがある。第１の経路の音は、マイクロホン６０２で収音され、ＡＤＣ６０４、信号処理部６０６、ＤＡＣ６０５を経て、スピーカ６０３から出力される。この際、ＡＤＣ６０４、信号処理部６０６、ＤＡＣ６０５において、遅延が発生するため、第１の経路の音は、第２の経路の音に比べて一般に遅延する。
　このように、補聴機器には、第１の経路の他に第２の経路が存在するという特徴（特徴Ｂ３）と、第２の経路の音に対して第１の経路の音が遅延するという特徴（特徴Ｂ４）がある。
　上述した補聴機器の特徴Ｂ１～Ｂ４は、補聴機器において問題を生み出す。まず、特徴Ｂ４（第１の経路の音が遅延するという特徴）による影響について説明する。
　図７には、補聴機器７０１の使用者７９０が話者７９４と向かい合って会話する例を示している。同図中、話者７９４から補聴機器の使用者７９０に伝わる音声、すなわち他者の声を矢印で示している。補聴機器７０１の遅延が大きい場合、補聴機器の使用者７９０にとって、話者７９４の口の動きと、補聴機器７０１を経由した話者７９４の音声の同期がずれてしまう。人間はこのずれに敏感であり、違和感を感じる。例えば放送の分野では、映像と音声のずれの大きさを規定している。ＲＥＣＯＭＭＥＮＤＡＴＩＯＮ　ＩＴＵ－Ｒ　ＢＴ．１３５９－１（１９９８）では、映像に対する音の遅延について、１２５ミリ秒以上で知覚され、許容限界を１８５ミリ秒としている。欧州では、ＥＢＵ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　Ｒ３７－２００７において、映像に対する音の遅延を６０ミリ秒までとしている。打楽器の場合、６０ミリ秒で知覚され、許容限界は１４２ミリ秒であるという報告もある。放送の場合、視聴者はスクリーンの向こうの出来事に対して聞き役に専念することになるが、図７に示すような会話の例では、円滑な会話や身振り手振りのやりとりが求められる。許容される音の遅延は、さらに短い可能性がある。
　図８には、話者が発声した音声が話者自身の耳に伝わる様子を示している。同図中、話者が発声した音声すなわち自声を、頭部前方の口から耳に向かう矢印で示している。人は、発声する際、単に発声するだけではなく、耳から聴こえた自身の音声を脳で活用していると考えられている。発声した音声を遅延させて耳に聴かせることを遅延聴覚フィードバック（ｄｅｌａｙｅｄ　ａｕｄｉｔｏｒｙ　ｆｅｅｄｂａｃｋ：ＤＡＦ）といい、発声する者に吃音を生じさせ得る。吃音の程度は、大人の場合、２００ミリ秒程度の遅延が最も強いとされる（非特許文献１を参照のこと）。２００ミリ秒より短い遅延であっても、しゃべり難さを感じるようになる。この現象は、電話やテレビ会議などで、自分の声が遅れて戻ってくるような場面でも遭遇する。
　次に、特徴Ｂ３（第１の経路の他に第２の経路が存在するという特徴）の影響について説明する。
　図９には、フィードフォワード型のコムフィルタの例を示している。図示のコムフィルタは、遅延（ｄｅｌａｙ）を含む第１の経路で入力信号ｘ［ｎ］を倍率αで増幅する一方、遅延を含まない第２の経路では入力信号ｘ［ｎ］を倍率βで増幅して、これらを混合して信号ｙ［ｎ］を出力するように構成されている。また、図１０には、図９に示すコムフィルタの、α＝１、β＝１のときの振幅特性を実線で示している。大きなディップが周期的に並ぶ。１ミリ秒の遅延量（ｄｅｌａｙ）の場合を実線と仮定すると、最初のディップの周波数は５００Ｈｚ、２番目のディップの周波数は１５００Ｈｚとなる。遅延量が長くなると、ディップの間隔が狭くなる。例えば、図１０中の破線は、実線のときと比べて２倍の遅延量の場合である。遅延量が１ミリ秒～２５ミリ秒程度のとき、出力信号ｙ［ｎ］の音は、音色の変化を感じ易くなり、金属的な音に感じられることがある。遅延が長くなると、音色の変化は次第に感じ難くなり、代わりにエコーを感じ易くなる。エコーの感じ易さは、音源によるところもある。打楽器のような音は気づき易い傾向がある。図９中の第１の経路は図６中の第１の経路に対応し、図９中の第２の経路は図６中の第２の経路に対応する。
　図６の位置Ｐ１の音が位置Ｐ２に届く際、第１の経路には遅延があるため、第２の経路の音が届いた後に、第１の経路の音が遅延して届く。遅延量の程度によっては、エコーを感じる。エコーは言葉の聴き取りを阻害する。補聴機器の主たる目的は、言葉の聴き取りを改善することであるため、エコーの発生は抑えなければならない課題である。例えば、健聴者の場合、他者の声では平均７．１ミリ秒（標準偏差２．５ミリ秒）、自声では平均４．８ミリ秒（標準偏差１．６ミリ秒）でエコーを感じ始める。また、難聴者の場合、それらは多少長くなり、他者の声では平均８．９ミリ秒（標準偏差３．８ｍｓｅｃ）、自声では平均６．３ミリ秒（標準偏差２．６ミリ秒）でエコーを感じ始める。他者の声とは、図７に示すように自分以外の者の声を聴く場合であり、自声とは、図８に示すように自分自身の声を聴く場合である。
　図９に示すコムフィルタにおいて、例えば、α＝１００、β＝０．５を仮定する。これは、図６においては、第２の経路の音の強さに比べて第１の経路の音の強さがとても強い場合（音圧比が大）である。補聴機器であれば、増幅の利得が大きい場合である。この状況では、特徴Ｂ３（第１の経路の他に第２の経路が存在するという特徴）の影響はあまり受けず、特徴Ｂ４（第１の経路の音が遅延するという特徴）による影響が主なものとなる。つまり、視覚情報と聴覚情報のずれに起因する違和感やコミュニケーションのし難さを防ぐこと、遅延聴覚フィードバックに起因する発声のし難さを防ぐことが、課題となる。放送の規格を参考にすれば、第１の経路の遅延量は、例えば、６０ミリ秒まで許容されることになる。
　また、図９に示すコムフィルタにおいて、例えば、α＝１、β＝０．５を仮定する。これは、図６においては、第２の経路と第１の経路の音の強さがあまり変わらない場合（音圧比が小）である。補聴機器であれば、増幅の利得がとても小さい場合である。この状況では、特徴Ｂ４（第１の経路の音が遅延するという特徴）による影響に加え、特徴Ｂ３（第１の経路の他に第２の経路が存在するという特徴）の影響も受けることとなる。つまり、言葉の聴き取りを阻害するエコーを防ぐことが、課題に加わる。第１の経路の遅延量は、例えば６ミリ秒まで許容されることになる。
　以上のように、第２の経路に対する第１の経路の音圧比の大小によって、補聴機器の信号処理において許容される遅延量は変化する。この音圧比は、特徴Ｂ１や特徴Ｂ２の影響を受ける。例えば、特徴Ｂ１（入力音圧レベルに依存して利得を変えるという特徴）により、入力音圧レベルが小さいときに音圧比が大きくなり、入力音圧レベルが大きいときに音圧比は小さくなる。図２に示す例であれば、９０ｄＢ　ＳＰＬのときの利得は５ｄＢであり、聴力レベルが小さくない場合でも音圧比は小さい。特徴Ｂ２（使用者の聴力に合わせて利得を変えるという特徴）より、聴力が健聴者に近いとき、つまり、聴力レベルが小さいときに音圧比は小さくなる。図４及び図５に示す例であれば、聴力レベル１５ｄＢ　ＨＬのとき、入力音圧レベルの大小に依らずに音圧比は小さい。ここでは音圧比で表現したが、音圧比と音圧レベル差は同種のものであり、どちらの表現でも構わない。
　ところで、補聴機器の主たる機能は、難聴者の聴力に合わせて音を増幅することである。これによって、静かな環境での会話の場合、難聴者の聴こえは改善する。一方で、レストランやショッピングモールなど、静かでない環境の場合、その環境の騒音（ノイズ）も音声と一緒に増幅されてしまう。一般に、難聴者の多くには、健聴者と比べて騒音下での言葉の聴き取りに苦労するという特徴がある（特徴Ａ２）。これは、後迷路（迷路より後方のすべての聴覚伝導路）の機能低下によるところが大きいとされている。このような背景から、現在普及している補聴機器の多くは、ＮＲ（Ｎｏｉｓｅ　Ｒｅｄｕｃｔｉｏｎ：騒音抑制）機能を搭載している。ＮＲ機能は、マイクロホンから収音した音声信号に含まれる騒音（ノイズ）を抑制する機能であり、入力音声信号に含まれるノイズ成分を信号処理によって除去することによって実現する。ＮＲ処理の結果、音声のＳＮＲ（Ｓｉｇｎａｌ　ｎｏｉｓｅ　ｒａｔｉｏ）が向上し、言葉の聴き取りの苦労が改善する。
　図１１には、ＮＲ機能の効果を例示している。図１１中の位置Ｐ１、位置Ｐ２は、図６中の位置Ｐ１、位置Ｐ２にそれぞれ対応する。また、図１１中の第１の経路、第２の経路は、図６中の第１の経路、第２の経路にそれぞれ対応する。
　参照番号１１７０で示すスペクトログラムは位置Ｐ１の音を表している。このスペクトログラム１１７０は、音声のスペクトル１１７４とノイズ１１７５から成る。音声スペクトル１１７４のピークとノイズ１１７５のピークの差を差ｄ１とする。差ｄ１が大きいほど、ＳＮＲが良い。スペクトログラム１１７０における差ｄ１は小さく、音声がノイズより僅かに大きい程度であり、難聴者は聴き取りに苦労する。
　参照番号１１７２は、第２の経路を通って位置Ｐ２に届く音のスペクトログラムを示している。スペクトログラム１１７２の形状は、補聴機器の筐体やイヤーピースなどの影響を受けるが、ここでは説明の簡素化のため、それらの影響を無視することとする。スペクトログラム１１７２は、スペクトログラム１１７０とほぼ等しい。
　一方、第１の経路では、参照番号１１７７で示す増幅とともに参照番号１１０７で示すＮＲ機能を作用させる。増幅及びＮＲ処理は信号処理部において実施される。参照番号１１７１は、第１の経路を通って位置Ｐ２に届く音のスペクトログラムを示している。ＮＲ機能によって、スペクトログラム１１７０の差ｄ１はスペクトログラム１１７１の差ｄＮＲのように広がり、ＳＮＲが改善する。
　スペクトログラム１１７２とスペクトログラム１１７１は、位置Ｐ２で混ざり合う。参照番号１１７３は、位置Ｐ２における音のスペクトログラムを示している。スペクトログラム１１７３の差ｄ２＿１は、差ｄＮＲに近い。位置Ｐ２でのＳＮＲが、位置Ｐ１に比べて大きく改善することが確認できる。つまり、ｄ１＜＜ｄ２＿１である。
　図１２には、ＮＲ機能の効果が小さい例を示している。図１２中の位置Ｐ１、位置Ｐ２は、図６中の位置Ｐ１、位置Ｐ２にそれぞれ対応する。また、図１２中の第１の経路、第２の経路は、図６中の第１の経路、第２の経路にそれぞれ対応する。
　スペクトログラム１２７０は位置Ｐ１の音を表し、音声のスペクトル１２７４とノイズ１２７５から成る。スペクトログラム１２７０における音声スペクトル１２７４のピークとノイズ１２７５のピークの差ｄ１は小さく、音声がノイズより僅かに大きい程度であり、難聴者は聴き取りに苦労する。
　参照番号１２７２は、第２の経路を通って位置Ｐ２に届く音のスペクトログラムを示している。一方、第１の経路では、参照番号１２０７で示すようにＮＲ機能を作用させるが、参照番号１２７７に示すように増幅しない（利得：０ｄＢ）。参照番号１２７１は、第１の経路を通って位置Ｐ２に届く音のスペクトログラムを示している。
　スペクトログラム１２７２とスペクトログラム１２７１は、位置Ｐ２で混ざり合い、位置Ｐ２における音はスペクトログラム１２７３となる。ＮＲ機能によって、スペクトログラム１２７０の差ｄ１はスペクトログラム１２７１の差ｄＮＲのように広がり、ＳＮＲが改善する。しかしながら、スペクトログラム１２７３の差ｄ２＿２は、差ｄ１に近い。位置Ｐ２でのＳＮＲの改善が僅かだけであることが確認できる。つまり、ｄ１≒ｄ２＿２である。
　図１１に示す例では位置Ｐ２のＳＮＲが大きく改善したにも拘わらず、図１２に示す例では僅かしか改善しない理由は、スペクトログラムの縦軸がｄＢになっていることからもわかる。ｄＢ表示の２つの音を加算するとき、大きな音が支配的となるためである。このように、第１の経路の利得が大きい場合は、ＮＲ機能を利用することによって位置Ｐ２のＳＮＲが大きく改善し、補聴機器の使用者の聴き取りの苦労を改善させられる。一方、第１の経路の利得が小さい場合は、ＮＲ機能を利用したとしても位置Ｐ２のＳＮＲの改善は僅かであり、補聴機器の使用者の聴き取りの苦労の改善も僅かである。
　以上のように、位置Ｐ２のＳＮＲの改善という目的に対して、ＮＲ機能の効果は、補聴機器の増幅の利得の大小に依存する。そして、図２及び図５に示す例からも分かるように、増幅の利得の大小は、補聴機器の使用者の聴力と、補聴機器への入力音圧に依存する。
　音声信号に対するＮＲ技術にはさまざまなものがある。ここでは詳細は触れないが、定常的な騒音に対して効果的に働くものに、例えば、スペクトルサブトラクション法（例えば、特許文献２を参照のこと）があり、よく利用される。補聴機器でＮＲ技術を利用する場合、リアルタイム処理が基本となるが、一般に、より高いノイズ抑制性能を得るためには、より長い遅延量を必要とする。このため、どこまでの遅延量が許容範囲となるのかは、非常に重要な要素である。遅延量を長くせずに、定常的な騒音を無理に抑制しようとすると、副作用が大きくなり、逆に聴き取りの悪化につながる。例えば、スペクトルサブトラクション法において、遅延量を長くせずに、引き算する雑音スペクトルを大きく見積もることで、より多くの定常的な騒音を抑制しようした場合、副作用として、多くのミュージカルノイズを発生させてしまったり、音声の中の必要な音素までも削ってしまったりしてしまい、聴き取りをかえって阻害してしまう。聴き取りへの悪影響を及ぼさずに、より多くの騒音を抑制するためには、長い遅延量を許容した上でＮＲ技術を適用することが効果的である。
　他にも、長い遅延量を許容することが効果的な例がある。ドアが勢いよく閉まる音など、急な大きな音（突発音）を音声と同じように補聴機器が増幅すると、補聴機器の使用者は突然の強大な音に驚かされてしまう。加齢性難聴など、感音難聴者には、特徴Ａ１（小さい音は聴こえ難いものの、うるさいと感じる音の大きさは健聴者とあまりかわらないという特徴）がある。このため、補聴機器の使用者にとって、突発音は、健聴者よりもさらに不愉快なものである。図２に示したように、補聴機器は大きな音には小さな利得を適用するように動作するものの、突発音に対する効果は限定的である。この処理には時定数があり、その時定数は言葉の聴き取りの苦労を改善することを第一の目的としているためである。突発音を抑制する機能も現在普及している補聴機器の多くに搭載されている。突発音抑制機能は、原理としては、マイクロホンから入力される音のレベルを監視し、急激に大きくなったときに、利得を下げる処理を行う。但し、短い遅延量でこれを行おうとすると、利得を下げる処理が間に合わないことが起こり得る。間に合わせようと、追従時間を短く設定すると、副作用で音の揺らぎが発生してしまう。一般に、安定的により確実に突発音を抑えるためには、より長い遅延量を必要とする。このため、どこまでの遅延量が許容範囲となるのかは、非常に大切な要素である。
　以上述べたように、エコー等を抑えるためには、第１の経路の遅延量は短い方がよいものの、騒音や突発音を抑制するためには長い方がよい。従来の補聴機器では、補聴機器メーカー毎に最適と考える遅延量に固定するのが一般的である。具体的には、１０～１２ミリ秒以下が目安となっている。しかしながら、特徴Ｂ１～Ｂ４を考え合わせると、遅延量を可変にすることによって、補聴機器の使用者にとって、より満足感のある補聴機器になることがわかる。
　例えば、聴力レベルが４０ｄＢ　ＨＬの難聴者の場合、５０ｄＢ　ＳＰＬの音の環境では、増幅の利得が大きく、第２の経路の音の影響は相対的に少ないため、エコーの影響はあまりない。音声に対して騒音が大きい環境であれば、遅延量を長くしてでもＮＲ機能を強く働かせた方が満足感を高めることができる。逆に、聴力レベルが４０ｄＢ　ＨＬの難聴者の場合であっても、８０ｄＢ　ＳＰＬの音の環境では、増幅の利得が小さく、第２の経路の音の影響が相対的に大きくなり、エコーの影響が生じる。ＮＲ効果を弱くしてでも、遅延量を短くした方が満足感を高めることができる。
　図１３には、補聴機器の他の構成例を示している。図１３に示す補聴機器１３０１は、図１に示した補聴機器に対して、音源記憶再生部１３１２と外部インターフェース１３１３をさらに追加した構成である。音源記憶再生部１３１２は、例えば、オーディオプレーヤのように、内蔵メモリにあらかじめ記憶している音源を再生する。必要に応じて難聴に合わせた信号処理を信号処理部１３０６が行い、スピーカ１３０３が音に変換する。音源には、従来の補聴機器のように、バッテリー残量低下の旨のメッセージなどを含めることも可能である。外部インターフェース１３１３は、例えば無線でテレビなどと繋がっており、テレビなどの音声を受信する。必要に応じて難聴に合わせた信号処理を信号処理部１３０６が行い、スピーカ１３０３が音に変換する。音源再生部１３１２や外部インターフェース１３１３からの音声信号をスピーカ１３０３から出力する際、マイクロホン１３０２にて収音した音をともに出力するか否かは、補聴機器の使用者の意思による。例えば、話しかけられた場合に備え、テレビなどからの音声信号に、マイクロホン１３０２で収音した音声信号を重ねることができる。例えばテレビなどに集中したい場合、マイクロホン１３０２で収音した音声信号を重ねることを止めることができる。後者の場合、エコーは発生しない。
　図１３に示したように、補聴機器には、利用シーンに応じて必要な機能の優先度が変化するという特徴（特徴Ｂ５）がある。補聴機器の主たる目的は言葉の聴き取りの改善であるため、特徴Ｂ２（使用者の聴力に合わせて利得を変えるという特徴）により、補聴機器は使用者の聴力に合わせた利得設定を持つ。現在の多くの補聴機器は、特徴Ｂ１（入力音圧レベルに依存して利得を変えるという特徴）により、図２に示したように、入力音圧に合わせて利得を制御する。ＮＲ機能を持たない補聴機器であっても、例えば、軽度、中度難聴レベルの難聴者が、自宅などの静かな環境で家族との会話を楽しむといった利用シーンでは役立つ。その一方で、騒音がある環境、例えば、レストランやスーパーマーケット、居酒屋など、会話が騒音に紛れるような利用シーンにおいては、聴き取りの苦労の改善のためにＮＲ機能が必要とされる。
　騒音は大きいものの、会話の優先度はあまり高くない利用シーンもある。通勤時に利用する電車やバスなどは、車内アナウンスを聞き取れればよく、会話の頻度は高くない。この場合、遅延が多少長くなってでも、ＮＲ機能の効果が高い方が好まれる。
　場所によらない利用シーンもある。例えば、電話の場合、電話相手は目の前にいないため、口の動きと音のずれを気にする必要はない。電話はそれ自体が長い遅延を持っている。国際電話接続及び回線に関するＩＴＵ－Ｔ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　Ｇ．１１４（０５／２００３）は、１５０ミリ秒未満の遅延であればほとんどの音声アプリケーションにおいて許容範囲内であるとし、長くとも４００ミリ秒を超えないようにすることを勧めている。駅のホームで電話をする場合など、遅延は多少長めであっても、ＮＲ機能はしっかり働いてほしい。但し、電話と補聴機器が無線通信するような場合、マイクロホンから収音した音に対するＮＲ機能は必要とされず、電話音声に対するＮＲ機能が必要とされる可能性がある。
　意味的な利用シーンもある。例えば、映画コンテンツを楽しむ場合、映画に含まれる騒音は、映画の臨場感を高める上で重要であり、あまり騒音を抑制してしまうと、映画の楽しみが減ってしまう。その一方で、セリフの聴き取りも大切である。ＮＲ機能を一律に弱めに働かせたり、セリフのある部分だけＮＲ効果を強めにしたりすることが考えられる。
　以上述べたように、利用シーンに応じて必要な機能の優先度は変化する。したがって、第１の経路の遅延量を、利用シーンに応じて適切に変化させることは、補聴機器の使用者の満足感を高める上でとても重要である。
　以上をまとめる。難聴者には、２つの特徴Ａ１及びＡ２がある。
特徴Ａ１：小さい音は聴こえ難いものの、うるさいと感じる音の大きさは健聴者とあまりかわらないという特徴
特徴Ａ２：健聴者と比べて騒音下での言葉の聴き取りに苦労するという特徴
　また、補聴機器には、５つの特徴Ｂ１～Ｂ５がある。
特徴Ｂ１：入力音圧レベルに依存して利得を変えるという特徴
特徴Ｂ２：使用者の聴力に合わせて利得を変えるという特徴
特徴Ｂ３：第１の経路の他に第２の経路が存在するという特徴
特徴Ｂ４：第１の経路の音が遅延するという特徴
特徴Ｂ５：利用シーンに応じて必要な機能の優先度が変化するという特徴
　特徴Ｂ１～Ｂ４に起因して、視覚情報と聴覚情報のずれによる違和感、遅延聴覚フィードバックによる吃音、エコーによる聴き取り困難が発生するため、遅延を短くする必要がある。一方、特徴Ａ１～Ａ２により、聴き取りの苦労を改善する目的でＮＲ機能や突発音抑制機能を効果的に働かせるためには、長めの遅延量を許容にする必要がある。環境音の大きさ、利得曲線、第２の経路に対する第１の経路の音圧比などによって、遅延量を適切に変化させることによって、補聴機器の使用者の満足感を向上させられる。さらに、特徴Ｂ５にあるように、遅延量制御のために、利用シーンを考慮することによって、補聴機器の使用者のニーズにより細かく応えることができる。そこで、本開示の第１の実施例では、第１の経路の遅延量を制御することにより、補聴機器の使用者の満足感を向上させる。
　また、特徴Ｂ１～Ｂ３に起因して、ＮＲ機能を利用したとしても、第１の経路の増幅の利得が小さなとき、位置Ｐ２のＳＮＲの改善は僅かである。そのような場合であっても、特徴Ａ１～Ａ２を踏まえると、補聴機器の使用者の聴き取りの苦労の改善が必要である。そのために、本開示の第２の実施例では、ＮＣ（Ｎｏｉｓｅ　ｃａｎｃｅｌｌｉｎｇ）機能を利用する。ＮＣ機能の自動設定や、自動オン・オフ切替、自動強弱切替、自動特性変更、ユーザインターフェース上での推奨設定の提示などを行うことで、補聴機器にとって重要な省電力を可能にすると同時に、補聴機器の使用者の聴き取りの苦労を改善する。
　また、特徴Ｂ２に起因して、補聴機器は、使用者の聴力を把握しなければならない。近年、伝統的な専用の聴力測定装置の代わりに、補聴機器そのものを使って聴力を測定することが行われるようになってきた。しかしながら、聴力測定は防音室のような静かな環境で測る必要がある。それは補聴機器の特徴Ｂ３に起因する。騒音のある環境ではその騒音が検査音をマスキングしてしまい、正確な測定に支障をきたす。補聴機器の使用者の満足感を向上させるため、そこで、本開示の第３の実施例では、騒音が多少あるような環境であっても聴力測定を可能にする。
　なお、本明細書において、ＮＲ機能は入力音声信号に含まれるノイズ成分を信号処理によって除去する（すなわち、音声信号上のノイズを抑制する）処理によって実現する機能であるのに対して、ＮＣ機能はノイズ成分と同振幅で位相を反転させたＮＣ信号を希望信号に重畳することによって、音声出力後にＮＣ信号によって空間上のノイズを打ち消す機能であり、ＮＲ機能とＮＣ機能は全く相違する機能であるという点に留意されたい。ＮＲ機能は、ノイズを除去した信号が出力されるため、遅延があってもＮＲの効果は保たれる。これに対し、ＮＣ機能は、遅延が大きいとノイズとＮＣ信号との時間差によりノイズを打ち消すことができず、ＮＣの効果が失われる。付言すれば、イヤーピースによって高周波数帯のノイズを遮音できることから、ＮＣ機能は主に遮音できない１ＫＨｚ以下のノイズのキャンセルに利用される。
　本開示の第１の実施例では、第１の経路の遅延量を制御することにより、補聴機器の使用者の満足感を向上させる。
　図１４には、第１の実施例に係る、可変遅延ＮＲ機能を備えた補聴機器１４０１の構成例を示している。図１４では、マイクロホン１４０２、ＡＤＣ１４０４、ＤＡＣ１４０５、スピーカ１４０３を左から右へ一直線に描いているが、図１３に示した補聴機器１３０１と同様の構成である。マイクロホン１４０２から収音した音は、マイクロホン１４０２において音から電気信号に変換される。ＡＤＣ１４０４は、マイクロホン１４０２からのアナログ信号をデジタル信号に変換する。ＮＲ部１４０７は、音声信号内の騒音（ノイズ）を抑制する。ＮＲ部１４０７は、制御部１４１１の制御を受けるが、詳細は後述する。振幅・位相調整部１４０９は、ＮＲ処理後の音声信号の振幅や位相などを調整する。振幅・位相調整部１４０９の設定は、聴力情報記憶部１４１５と、振幅・位相調整部１４０９への入力音声信号を用いて、制御部１４１１が行う。具体的には、制御部１４１１は、図２及び図５で示したような利得曲線に従って、周波数毎に利得を定める。聴力情報記憶部１４１５が記憶する聴力情報は、図２及び図５で示したような利得曲線であってもよく、図４で示したような聴力測定結果であってもよい。聴力測定結果の場合は、聴力測定結果から利得曲線を得る処理をも含む。ＤＡＣ１４０５は、デジタル信号をアナログ信号に変換する。スピーカ１４０３は、電気信号を音に変換する。スピーカ１４０３から出力される音声の遅延量は、可変遅延ＮＲ機能の遅延量の変化と同じように変化する。
　音源記憶再生部１４１２は、記憶している音源を再生する。音源は、従来の補聴機器のように、バッテリー残量低下時の音声メッセージや、プログラム切り替え時の音声メッセージ、聴力測定の音源などが可能である。また、オーディオプレーヤのように、音楽音源を記憶することも可能である。
　外部インターフェース１４１３は、音声信号の送受信と、その他のデータの送受信を担当する。例えば、左右独立した形状の補聴機器１４０１において、マイクロホンから収音した音声信号を反対耳へ伝送するのに使用することができる。例えば無線接続でテレビを視聴しているとき、テレビの音声信号、テレビと接続しているという接続情報などの伝送に使用することができる。音源記憶再生部１４１２、構成情報記憶部１４１４や、聴力情報記憶部１４１５に格納されるデータも、外部インターフェース１４１３を経由で受信してよい。学習済モデル記憶部１４１７に格納されるデータも外部インターフェース１４１３を経由で受信してよい。補聴機器１４０１から補聴機器１４０１の使用者（ユーザ）への情報送信や、補聴機器１４０１の使用者（ユーザ）からの情報受信にも外部インターフェース１４１３を使用することができる。
　構成情報記憶部１４１４は、補聴機器１４０１の構成情報を記憶する。補聴機器１４０１の構成情報は、例えば、片耳装用又は両耳装用のいずれであるか及び耳穴型や耳掛け型のいずれであるかといった着用方法を示す情報や、イヤーピース（ドーム）の種類や耳穴型や耳掛け型の形状など補聴機器１４０１のハウジングの特性に関する情報を含む。片耳装用又は両耳装用のいずれであるかは、例えば、自声の発声を検出する際に違いを生む。イヤーピースの種類の違いは、図１３に示した第２の経路の音（すなわちイヤーピースで遮音できない音）の特性に大きく影響する。
　聴力情報記憶部１４１５は、補聴機器１４０１の使用者個人の聴力情報を記憶する。例えば、聴力測定の結果情報や、その結果情報から計算された利得情報などである。利得情報は、例えば、図２で示した利得曲線２８０を使用することができ。
　遅延量決定部１４１６は、聴力情報、入力音声情報、構成情報に基づいて、ＮＲ部１４０７及び振幅・位相調整部１４０９などにおける信号処理において許容される遅延量を決定する。遅延量決定部１４１６は、例えば、聴力情報、入力音声情報、構成情報を説明変数とするとともに許容遅延量情報を目的変数として事前に学習された学習済モデルを用いて許容遅延量を決定することができる。
　学習済モデル記憶部１４１７は、遅延量決定部１４１６において許容遅延量を決定する際に使用する学習済モデル情報を持つ。外部インターフェース１４１３経由で学習済モデル情報を取得して、学習済モデル記憶部１４１７に格納されてよい。また、補聴機器１４０１で学習し直した学習済モデルを学習済モデル記憶部１４１７に格納することも可能である。
　図１５には、本実施形態で適用される、学習済モデルの生成例を示している。この学習済モデル１５０１は、遅延量決定部１４１６において使用されるが、聴力情報、入力音声情報、構成情報を入力して、許容遅延量情報を推定して出力とする。すなわち、学習済モデル１５０１は、聴力情報、入力音声情報、構成情報を説明変数とし、許容遅延量情報を目的変数とする。図１５では、入力ノード数が３、出力ノード数が１、中間層が２層のニューラルネットワークとする学習済モデルを示しているが、これに限定されるものではない。学習済モデル１５０１の生成は、補聴機器１４０１とは別の、サーバーやパーソナルコンピュータにて行うことができる。生成された学習済モデル１５０１は、図１４に示した補聴機器の外部インターフェース１４１３を経由して、補聴機器１４０１に伝送するようにしてもよい。なお、学習済モデル１５０１の生成は、補聴機器１４０１側（いわゆるエッジＡＩ）で行われてもよい。学習済モデル１５０１の各説明変数及び目的変数について説明しておく。
　聴力情報は、純音聴力測定の測定結果情報を使用することができる。本明細書では、純音聴力測定と純音聴力検査を区別しない。純音聴力測定は、気導聴力測定又は骨導聴力測定の少なくとも一方であってよい。図４に示したオージオグラム例は、気導聴力測定の測定結果の例である。純音聴力測定の測定結果情報の代わりに、その測定結果情報に基づく処方式を用いて求めた利得情報を使用することもできる。利得情報とは、図２に示した利得曲線２８０などを指す。処方式として、従来の補聴器で広く使われているＮＡＬ－ＮＬ２（Ｎａｔｉｏｎａｌ　Ａｃｏｕｓｔｉｃ　Ｌａｂｏｒａｔｏｒｉｅｓ　ｎｏｎ－ｌｉｎｅａｒ２）やＤＳＬｖ５（Ｄｅｓｉｒｅｄ　Ｓｅｎｓａｔｉｏｎ　Ｌｅｖｅｌ　ｖｅｒｓｉｏｎ５）が利用可能である。処方式は、これらに限らず、任意のものが利用可能であり、聴力に合わせた利得を定められればよい。
　聴力情報は、純音聴力測定結果の他に、（被検者がボタンを押すことで音の大きさが変わり、それが記録される）自記オージオメトリーの測定結果であってもよい。要するに、周波数毎の聴覚閾値を測定する閾値測定の結果であればよい。
　閾値測定の他に、閾値上での語音聴力測定結果を加えてもよい。例えば、語音弁別スコア（ｓｐｅｅｃｈ　ｄｉｓｃｒｉｍｉｎａｔｉｏｎ　ｓｃｏｒｅ、ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｃｏｒｅ）を使用してもよい。語音弁別スコアは、語音弁別測定の結果である。語音弁別検査を含む語音聴力検査はＩＳＯ８２５３－３で提示されている。日本では、ＩＳＯ８２５３－３（１９９８）を参考に、日本聴覚医学会が指針「語音聴覚検査法２００３」を示している。通常の語音聴力測定の語音を歪ませて行う測定を、歪語音聴力測定という。歪語音を用いた語音弁別測定から求めた語音弁別スコアを用いてもよい。後迷路性難聴の場合、語音弁別スコア、特に、歪語音弁別スコアが低下する傾向があることが広く一般に知られている。さらに、後迷路性難聴の場合、騒音の中の言葉の聴き取りに苦労する傾向が強いことも広く一般に知られている。このことから、ＮＲの強度、言い換えると、ＮＲの遅延量を決める際のよい参照データとして利用することができる。語音弁別スコアは、０％～１００％の数値である。本明細書では、語音弁別測定と語音弁別検査、語音聴力測定と語音聴力検査を区別しない。ここでは、騒音の中の言葉の聴き取りに苦労する傾向を測定する手段として語音弁別スコアを挙げたが、要するに騒音の中の言葉の聴き取りの苦労度合いを測定した結果であればよい。
　聴力情報の学習用データの範囲について説明する。純音聴力測定の測定値の範囲は、図２に示したオージオグラムのように、－２０ｄＢ　ＨＬ～１２０ｄＢ　ＨＬである。利得は、すべての入力音声レベルに対して、広く見積もって、０ｄＢ～８０ｄＢである。これらの範囲をそのまま学習用データ範囲として使用することができる。つまり、例えば、純音聴力測定の測定値であれば、－２０ｄＢ　ＨＬ～１２０ｄＢ　ＨＬとすることができる。その一方で、例えば、純音聴力測定の測定値の範囲であっても、補聴機器での利用を考えると、０ｄＢ　ＨＬ以下には有用な情報はない。平均聴力レベル９０ｄＢ　ＨＬ以上は、補聴機器による補聴効果は薄く、人工内耳の適用レベルとされている。これらを考え合わせると、学習用データ範囲として、例えば、０ｄＢ　ＨＬ～９０ｄＢ　ＨＬや、０ｄＢ　ＨＬ～８０ｄＢ　ＨＬに設定することが有効である。範囲外の値は境界値に丸めることができる。
　入力音声情報は、補聴機器１４０１のマイクロホン１４０２から収音した音声信号を使用することができる。音声信号の代わりに、音圧レベルなどに変換したレベル値も使用することができる。さらに、振幅スペクトルやパワースペクトルの形式であってもよい。振幅スペクトルやパワースペクトルのような周波数領域の信号の場合、時間領域信号から周波数領域信号への変換が必要になる。この変換には、例えば、ＦＦＴ（ｆａｓｔ　ｆｏｕｒｉｅｒ　ｔｒａｎｓｆｏｒｍ）を使用することができる。補聴機器１４０１では、図１４中の振幅・位相調整部１４０９のように、聴力に合わせた信号処理を、周波数領域にて行うことが多い。このため、学習用データを準備する際のＦＦＴサイズを、学習済モデルを推定に用いる補聴機器の他の処理のＦＦＴサイズに合わせることは、補聴機器１４０１の処理量削減や消費電力削減に役立つ。
　入力音声情報は、補聴機器１４０１を両耳使用する場合、左右のマイクロホン１４０２から収音される音が異なる。左右のマイクロホン１４０２からの音を独立に処理する構成でもよく、まとめて処理する構成でもよい。左右で補聴機器１４０１の筐体が独立している場合、外部インターフェース１４１３を経由して収音した音を反対耳へ無線で送ることになる。この場合、音声信号そのままではデータ量が多く、伝送のための電力が多く必要となる。データ量を削減するために、時間方向に間引いてもよい。データ量を削減するために、音声信号から抽出した特徴量を伝送する構成としてもよい。特徴量としては、例えば、レベル値、ゼロクロス（ｚｅｒｏ　ｃｒｏｓｓ）、トーナリティ（ｔｏｎａｌｉｔｙ）、スペクトルロールオフ（ｓｐｅｃｔｒａｌ　ｒｏｌｌ－ｏｆｆ）、バークスケール（Ｂａｒｋ　ｓｃａｌｅ）のパワー値などを使用してもよい。
　入力音声情報の学習用データの範囲について説明する。一般に、環境で受ける音の大きさは、広く見積もって、０ｄＢ　ＳＰＬ～１４０ｄＢ　ＳＰＬである。その一方で、補聴機器１４０１での利用を考えると、より狭い範囲が実用的である。例えば、木の葉の触れ合う音は２０ｄＢ　ＳＰＬ、電車が通過するガード下の音は１００ｄＢ　ＳＰＬとされている。補聴機器の主な目的は言葉の聴き取りの改善であり、入力音声レベルの範囲は、２０ｄＢ　ＳＰＬ～１１０ｄＢ　ＳＰＬや、３０ｄＢ　ＳＰＬ～１００ｄＢ　ＳＰＬに設定することが有効である。範囲外の値は境界値に丸めることができる。
　聴力情報の学習用データ範囲も、入力音声情報の学習用データ範囲も、データセットの段階で範囲限定されていてもよく、あるいは、学習済モデル１５０１を学習する際に前処理として範囲限定してもよい。入力音声情報に音声信号の特徴量を用いる場合、データセットの段階で特徴量に変換してもよく、又は、学習済モデルを学習する際に前処理として特徴量に変換してもよい。
　学習済モデル１５０１を学習する際、任意の学習用データを使用できるが、識別性能の向上や学習の高速化のために、学習用データを正規化することは一般に有用である。聴力情報の学習用データも、入力音声情報の学習用データも、正規化することは有効である。その場合、例えば、前述の学習用データ範囲を０．０～１．０の範囲に正規化する。学習用データセットの段階で正規化されていてもよく、又は、学習済モデル１５０１を学習する際に前処理として正規化してもよい。
　構成情報は、イヤーピースの種類、着用方法、補聴機器のハウジングの特性などの情報を含むが（前述）、補聴機器１４０１の使用者の自声の発声を検出するためには、重要な情報である。例えば、両耳装用であるとき、補聴機器１４０１の使用者が発声すると、その声は両耳の補聴機器１４０１にほぼ同時にほぼ同じ大きさ、ほぼ同じ音色で届く。これらの情報を用いて、容易に発声のタイミングを検出することができる。片耳装用の場合、片耳の補聴機器１４０１におけるビームフォーミングを用いて、補聴機器１４０１の使用者の口の方向から到来する声を検出し、その強さや音色などの特性を使うことができる。両耳装用の場合の方が、片耳装用の場合と比べて、自声の発声をより確実に検出可能である。構成情報は、補聴機器１４０１のイヤーピースの種類、着用方法、補聴機器のハウジングの特性などの情報を含む（前述）。イヤーピース（ドーム）などの種類の例として、従来の補聴器でよく使われる、オープンドーム型、クローズドーム型、ダブルドーム型、チューリップ型のイヤーピース（ドーム）や、モールドなどが挙げられる。従来の補聴器の調整によく使用されるＲＥＣＤ（ｒｅａｌ　ｅａｒ　ｔｏ　ｃｏｕｐｌｅｒ　ｄｉｆｆｅｒｅｎｃｅ）などの情報を含んでもよい。例えば、図１３における第２の経路の音の強さや音色は、イヤーピースの種類の影響を受ける。第１の経路の音と第２の経路の音の比較を考える際、第２の経路の音の予測は重要であり、この予測に、イヤーピースの種類や、ＲＥＣＤが役立つ。
　構成情報は、場合によっては省略することも可能である。例えば、商品構成として、両耳装用を前提とし、イヤーピースの音響特性が１種類のみの場合などである。ＴＷＳなどで補聴機能を利用するような場合が想定される。
　許容遅延量情報は、遅延時間であっても、遅延サンプル数であってもよい。この許容遅延量情報は、図１３において、第２の経路と比べて、第１の経路がどれだけ遅延しても補聴機器１４０１の使用者にとって許容範囲であるかを表す。より具体的には、第１の経路の全体の遅延量がこの許容範囲に収まるように、ＮＲ部１４０７での遅延量を定める。例えば、第１の経路の全体の遅延の許容範囲が６ミリ秒であり、ＮＲ機能以外の部分で４ミリ秒の遅延が発生するならば、単純にはＮＲ機能の遅延の上限は２ミリ秒となる。
　学習済モデル１５０１の学習用データとして、許容遅延量は、第１の経路全体の許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸであっても、ＮＲ機能に限った許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸであってもよい。学習済モデル１５０１の学習後にＮＲ機能以外の遅延量が変更になる可能性に備えるため、学習用データの許容遅延量は、第１の経路全体の許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸがより好ましい。以下の説明では、学習用データの許容遅延量は、第１の経路全体の許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸとしての説明を中心とするが、これに限るものではない。ＮＲ機能の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸは、推定された第１の経路全体の許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸからＮＲ機能以外の遅延量ＤＬＹ＿ＯＴＨＥＲを引くことによって容易に求めることができる。つまり、下式（１）のようにＮＲ機能の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸを計算することができる。
Figure JPOXMLDOC01-appb-M000001
　但し、上式（１）中で、αは非負の数値であり、ＮＲ部の遅延量と他の処理の遅延量が完全に排他的であるとき、α＝０である。ＮＲ部の処理と他の処理の間に共通のバッファなどがある場合、α＞０になり得る。αは、補聴機器１４０１のバッファ構成に依存する。
　図１６には、学習用データ作成時のユーザインターフェース例を示している。携帯情報機器１６６４には、聴力情報と構成情報が表示されている。この例では、聴力情報はオージオグラムである。オージオグラムは、聴力測定装置（図示しない）からデータが転送される形態であっても、携帯情報機器１６６４の使用者が手動で入力する形態であってもよい。構成情報は、この例では、使用するイヤーピースの種類やイヤーモールドの選択、使用する補聴機器の左右の選択である。設定を完了すると、補聴機器１６０１へ設定情報が伝送され、左右の補聴機器１６０１Ａ及び１６０１Ｂは設定に従った動作をする。補聴機器１６０１Ａは従来のＲＩＣ（Ｒｅｃｅｉｖｅｒ　ｉｎ　ｔｈｅ　Ｃａｎａｌ）型補聴器に近い形状、補聴機器１６０１Ｂは従来のＴＷＳに近い形状で描いているが、これに限るものではない。携帯情報機器１６６４と補聴機器１６０１Ａ及び１６０１Ｂ間の接続は、無線又は有線のいずれであってもよい。
　図１７には、被検者（難聴者）が許容遅延量を回答する際に使用するユーザインターフェース例を示している。携帯情報機器１７６４には、遅延量を調整するためのユーザインターフェースとしてスライダーバー１７６７と、ラジオボタン１７６９がある。例えば、被検者がスライダーバー１７６７を変更すると、補聴機器の遅延量がそれに合わせて変化する。ラジオボタン１７６９は、例えば、１番には遅延量２ミリ秒、９番には遅延量５０ミリ秒などが割り当てられている。入力音声情報として想定する音環境が被検者の周囲に再現され、その音環境の中で、被検者は許容可能な最大の遅延量をスライダーバー１７６７やラジオボタン１７６９で指定し、ＯＫボタン１７６５を押して決定する。これによって、学習用データセットに、聴力情報、入力音声情報、構成情報、許容遅延量情報が追加される。なお、前述したユーザインターフェースはスライダーバー１７６７と、ラジオボタン１７６９に限定されるものではなく、それ以外の形態で遅延量を調整可能なものであってもよい。
　図１８には、学習用データ作成時の手順をフローチャートの形式で示している。まず、補聴機器や図示しない音環境再現システムに、入力情報に基づいた設定を行う（ステップＳ１８０１）。音環境再現システムとは、静かな部屋、病院、ショッピングモール、レストランなどの音環境を再現するものである。例えば、被検者の周りに５．１チャンネルのスピーカを並べる構成とすることができる。例えば、被検者の前に、会話相手を配置してもよい。次いで、図１７に示したようなユーザインターフェースを用いて、被検者が遅延量を指定する（ステップＳ１８０２）。次いで、被検者が指定した遅延量に従って、補聴機器を動作させる（ステップＳ１８０３）。次いで、例えば図１７に示したユーザインターフェースのＯＫボタン１７６５が押されたかを判定する（ステップＳ１８０４）。つまり、被検者が許容遅延量を確定したかどうかを判定する。ＯＫボタンが押されていない場合は（ステップＳ１８０４のＮｏ）、ステップＳ１８０２へ戻り、遅延量の指定とその遅延量での動作を繰り返す。反復時、ステップＳ１８０２で被検者からの新たな指定がなければ直前の設定をそのまま維持して使用してよい。一方、ＯＫボタンが押された場合は（ステップＳ１８０４のＹｅｓ）、そのときに指定されていた遅延量を許容遅延量情報として、学習用データセットに追加する（ステップＳ１８０５）。
　図１７及び図１８には、遅延量の候補を被検者が指定する例を示したが、これに限定されるものではない。例えば、自動で変更された遅延量が被検者に提示され、その都度、被検者が許容可能か否か回答する形式でもよい。あるいは、例えば、異なる２組の遅延量の設定が被検者に提示され、どちらがより許容できるかを回答する形式であってもよい。要するに、被検者にとってどの程度までの遅延量が許容可能かの回答が得られればよい。
　図１９には、遅延量決定部１４１６において使用される、学習済モデルの他の生成例を示している。聴力情報、入力音声情報、構成情報を使用し、許容遅延量情報を出力とする。図１５に示した生成例との違いは、構成情報別で学習済モデルを生成する点である。例えば、構成情報Ａの条件で学習済モデルＡ１９４０を生成し、構成情報Ｂの条件で学習済モデルＢ１９４１を生成し、構成情報Ｃの条件で学習済モデルＣ１９４２を生成する。例えば、構成情報Ａは片耳装用且つオープンドームであり、構成情報Ｂは両耳装用且つクローズドームである。構成情報の要素の組み合わせが少ない場合、このように、構成情報毎に学習済モデルを生成し、推定段階では、構成情報に基づいて学習済モデルを選択するという方法を採用することも可能である。図１９には３種類の構成情報Ａ～Ｃの各々を条件として３種類の学習済モデルＡ～Ｃを生成する例を示したが、補聴機器が４種類以上の構成情報に分類され、４種類以上の学習済モデルを生成してもよい。図１５に示した生成例も、図１９に示す生成例も、聴力情報、入力音声情報、構成情報を使用し、許容遅延量情報を出力している点では同じである。
　図２０には、遅延量決定部１４１６において使用される、学習済モデルのさらに他の生成例を示している。図示の生成例では、聴力情報、入力音声情報、構成情報を入力とし、許容遅延量情報を出力とする。図１５に示した生成例との違いは、学習済モデルが第１の学習済モデル２０４０と第２の学習済モデル２０４１で構成され、第１の学習済モデル２０４０の入力に、第２の学習済モデル２０４１の出力を使う点である。自声の有無の検出は、難聴の有無に関わりがないため、健聴者（正常な聴力を持つ者）の協力を得て、大量の学習データを容易に用意することが可能である。まず、入力音声情報と構成情報を用いて、自声の有無を検出する第２の学習済モデル２０４１を生成する。次いで、第１の学習済モデル２０４０を生成する際は、第２の学習済モデル２０４１の推定の結果を利用する。つまり、第１の学習済モデル２０４０に、聴力情報、入力音声情報、構成情報に加えて、自声の有無情報を入力し、許容遅延量情報を出力とする。このような構成によって、高精度な自声検出が期待でき、結果的に、第１の学習済モデル２０４０の許容遅延量情報の推定の精度向上が期待できる。
　学習用データは、聴力情報、入力音声情報、構成情報と、許容遅延量情報である。学習用データを取得するための被検者は、難聴者である必要がある。難聴者の多くは高齢者であるため、長時間の作業は難しいという課題がある。このため、難聴者に依存しなければならない部分（又は、難聴者の協力を必要とする部分）と、依存しなくてよい部分（又は、難聴者の協力を必要としない部分）とに切り分けて学習済モデルを生成することは、学習用データセットを効率よく構築するために役立つ。
　図２１には、学習済モデルを用いない場合の許容遅延量推定部２１２６の構成例を示している。利得情報には、例えば、図２に示した利得曲線２８０を使用することができる。第１の音圧レベル計算部２１２２は、入力音声の周波数帯域別レベル情報と利得情報を用いて、第１の経路の出力である第１の音圧レベルＰ＿１（ｆ）を計算する。ｆは周波数を表す。次に構成情報からイヤーピースなどの音響特性を取得する。この音響特性は、例えば、周波数毎の減衰特性を使用することができる。一般に、高い周波数の減衰量は多く、低い周波数の減衰量は少ない。例えば、図１３に示した位置Ｐ１の音は、第２の経路を経由する際に、イヤーピースの減衰特性に合わせて減衰する。第２の音圧レベル計算部２１２３は、構成情報（イヤーピースなどの音響特性）と入力音声の周波数帯域別レベル情報を用いて、第２の経路による外耳道内（例えば、図１３の位置Ｐ２）の第２の音圧レベルＰ＿２（ｆ）を計算する。音圧レベル差計算部２１２４は、第１の音圧レベルＰ＿１（ｆ）と第２の音圧レベルＰ＿２（ｆ）の差ｒ（ｆ）を、下式（２）のように計算する。
Figure JPOXMLDOC01-appb-M000002
　Ｐ＿１とＰ＿２を音圧レベルの代わりに音圧で考える場合には、音圧比Ｐ＿１（ｆ）／Ｐ＿２（ｆ）を計算してもよい。許容遅延量計算部２１２５は、音圧レベル差ｒ（ｆ）から、許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸを、例えば下式（３）のように計算する。
Figure JPOXMLDOC01-appb-M000003
　ここで、関数ｆ１は、音圧レベル差ｒ（ｆ）と許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸの関係を表す関数であり、事前に統計データから近似的に求められたものである。例えば、図９の説明の中で例示したように、差が大きいときに６０ミリ秒、差が小さいときに６ミリ秒と計算できる。
　図２２には、図２１に示した許容遅延量推定部２１２６において、学習済モデルを使用しないで許容遅延量を決定するための処理手順をフローチャートの形式で示している。第１の音圧レベル計算部２１２２は、入力音声情報と聴力情報から、第１の経路の出力である第１の音圧レベルＰ＿１（ｆ）を計算する（ステップＳ２２０１）。また、第２の音圧レベル計算部２１２３は、入力音声情報と構成情報から、第２の経路の第２の音圧レベルＰ＿２（ｆ）を計算する（ステップＳ２２０２）。次いで、音圧レベル差計算部２１２４は、上式（２）に基づいて、第１の音圧レベルＰ＿１（ｆ）と第２の音圧レベルＰ＿２（ｆ）の音圧レベル差ｒ（ｆ）を計算する（ステップＳ２２０３）。そして、許容遅延量計算部２１２５は、音圧レベル差ｒ（ｆ）から、上式（３）に基づいて許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸを計算して（ステップＳ２２０４）、出力する（ステップＳ２２０５）。
　上記説明では、関数ｆ１を、音圧レベル差ｒ（ｆ）と第１の経路全体の許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸの関係を表す関数としたが、音圧レベル差ｒ（ｆ）とＮＲ機能の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸの関係を表す関数としてもよい。その場合、図２２のステップＳ２２０５では、許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸを出力する。
　学習済モデルを学習するためには多くの学習用データが必要となる。学習用データ作成の手順は、図１６～図１８を参照しながら説明した通り、時間と手間のかかる作業である。多くの学習用データを集める際に重要なことは、人手で行う作業を可能な限り減らすことである。図２１及び図２２を参照しながら説明した、学習済モデルを用いない方法は、学習用データを効率よく構築する際の道具として利用することができる。まず、学習済モデルを用いない方法を使用して許容遅延量の候補を準備する。次に、その候補の微調整を人手で行い、それを学習用データとする。例えば、学習済モデルを用いない方法で計算した許容遅延量の候補を用いて、図１７中のスライダーバー１７６７やラジオボタン１７６９の初期値を決める。このようにすることで、被検者は、初期値の近辺のみを試すだけで、回答を決定できる。被検者に２択問題を回答させる構成の場合であれば、必要な２択問題の個数を減らすことができる。この方法によって、作業効率を格段に向上できる。さらに、図２１及び図２２を参照しながら説明した、学習済モデルを用いない方法は、演算が軽いため、廉価な補聴機器であっても実行可能である。つまり、学習済モデルによる推定の簡易的な代替として利用することができる。
　図２３には、補聴機器における可変遅延ＮＲの処理手順をフローチャートの形式で示している。
　まず、ＮＲの遅延量を初期化する（ステップＳ２３０１）。次いで、入力音声信号に対してＮＲ処理を行う（ステップＳ２３０２）。ＮＲ処理された音声信号は、補聴機器のその他の信号処理を施した上でスピーカから出力される。スピーカから出力される音声の遅延量は、ＮＲ処理の遅延量の影響を受ける。
　次いで、補聴機器の使用者の聴力情報、補聴機器の入力音声情報、補聴機器の構成情報を使用して、ＮＲの遅延量の推奨設定を計算する（ステップＳ２３０３）。遅延量の求め方の例については、図２４～図２７を参照して後述する。次いで、必要に応じて推奨設定を補聴機器の使用者（ユーザ）に提示する（ステップＳ２３０４）。推奨設定を自動的に適用する設定の場合は、ステップＳ２３０４をスキップしてよい。
　次いで、補聴機器の使用者（ユーザ）からの回答に基づいてＮＲの遅延量を更新する（ステップＳ２３０５）。推奨設定を自動的に適用する設定の場合は、自動で更新する。推奨設定の補聴機器の使用者への提示方法と回答方法の例については、図２８～図３２を参照して後述する。
　そして、ＮＲ処理を終了するか判定する（ステップＳ２３０６）。ここで、終了しない場合には（ステップＳ２３０６のＮｏ）、ステップＳ２３０２へ戻り、処理を継続する。また、ＮＲ処理を終了する場合には（ステップＳ２３０６のＹｅｓ）、本処理を終了する。ＮＲ処理を終了するタイミングとしては、補聴機器の使用者がＮＲ機能をオフにした場合や、補聴機器の電源をオフにした場合などである。
　図２３ではユーザを補聴機器の使用者として説明したが、補聴機器の使用者本人以外の家族などであってもよい。家族などは、補聴機器の使用者の隣にいてもよく、ネットワークを介して補聴機器の使用者から離間した場所にいてもよい。
　図２４には、本開示に係る、学習済モデルを許容遅延量情報の決定に使用する遅延量決定部の構成例を示している。図２４に示す遅延量決定部２４１６は、図１４に示した遅延量決定部１４１６に対応し、聴力情報、入力音声情報、構成情報を入力とし、遅延量を出力とする。入力と出力は、図１４の制御部１４１１を経由して行われる。学習済モデル２４４０は、図１５、図１９、図２０で説明した学習済モデルのいずれでもよい。学習済モデル２４４０は、聴力情報、入力音声情報、構成情報を入力して、許容遅延量情報を出力する。遅延量計算部２４２７は、許容遅延量情報を受け取り、ＮＲ部の遅延量を計算して出力する。
　図２５には、遅延量決定部２４１６の処理の流れをフローチャートの形式で示している。
　まず、学習済モデル２４４０は、聴力情報、入力音声情報、構成情報を受け取り、学習済モデルを使用して、許容遅延量を推定する（ステップＳ２５０１）。次いで、遅延量計算部２４２７は、許容遅延量情報から、ＮＲ部の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸを計算する（ステップＳ２５０２）。学習済モデル２４４０が推定する許容遅延量が第１の経路全体の許容遅延量ＤＬＹ＿ＡＬＬ＿ＭＡＸの場合、許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸを下式（４）のように計算することができる。
Figure JPOXMLDOC01-appb-M000004
　上式（４）において、ＤＬＹ＿ＯＴＨＥＲは、ＮＲ機能以外の遅延量である。αは非負の数値であり、ＮＲ部の遅延量と他の処理の遅延量が完全に排他的であれば、α＝０である。ＮＲ部の処理と他の処理の間に共通のバッファなどがある場合、α＞０になり得る。学習済モデルが推定する許容遅延量が、ＮＲ機能の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸの場合は、学習済モデルが推定する許容遅延量を、そのまま使用することができる。
　次いで、遅延量計算部２４２７は、ＮＲ部の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸからＮＲ部の遅延量ＤＬＹ＿ＮＲを決定する（ステップＳ２５０３）。ＮＲ部の構成上、任意の遅延量が使用可能であるとき、ＮＲ部の遅延量ＤＬＹ＿ＮＲは、下式（５）のように決まる。
Figure JPOXMLDOC01-appb-M000005
　ＮＲ部１４０７の構成上可能な遅延量が離散的であるとき、ＮＲ部１４０７の遅延量ＤＬＹ＿ＮＲは、ＤＬＹ＿ＮＲ＿ＭＡＸを超えない範囲で定めることができる。例えば、ＮＲ部１４０７の構成上可能な遅延量が１６サンプル、３２サンプル、６４サンプルの３種類であるとき、計算されたＤＬＹ＿ＮＲ＿ＭＡＸが４０サンプルであれば、ＤＬＹ＿ＮＲは３２サンプルと決まる。ＮＲ部１４０７の遅延量ＤＬＹ＿ＮＲをできるだけ大きな値で設定するだけでなく、小さな値で設定しても構わない。例えば、ＮＲ部１４０７の構成上可能な遅延量が１６サンプル、３２サンプル、６４サンプルの３種類であり、計算されたＤＬＹ＿ＮＲ＿ＭＡＸが４０サンプルであるとき、ＤＬＹ＿ＮＲを１６サンプルと定めてもよい。
　左右独立した形状の補聴機器において、独立して許容遅延量を計算した場合、左右別々の遅延量を使うことも、左右で統一した遅延量を使うことも可能である。左右で統一した遅延量を使う場合、例えば、左右それぞれで計算した遅延量の平均としてもよく、短い遅延量に合わせてもよい。左右の音の定位のふらつきを抑えるために、左右で統一した遅延量を使うことが好ましい。補聴機器の使用者の違和感を抑えるためには、左右の遅延量の統合には、短い遅延量に合わせることが好ましい。左右の許容遅延量の統合を行う際は、外部インターフェース１４１３を経由して、計算した遅延量をやり取りできる。
　図２６には、本開示に係る遅延量決定部２６１６の構成例を示している。遅延量決定部２６１６は、図１４に示した遅延量決定部１４１６に対応し、聴力情報、入力音声情報、構成情報を入力とし、遅延量を出力とする。入力と出力は、図１４の制御部１４１１を経由して行われる。許容遅延量推定部２６２６は、聴力情報、入力音声情報、構成情報を入力して、許容遅延量情報を出力する。許容遅延量推定部２６２６は学習済モデルを使用せずに許容遅延量情報を決定するという点で、遅延量決定部２６１６は、図２４に示した遅延量決定部２４１６とは相違する。許容遅延量推定部２６２６は、例えば図２１に示した許容遅延量推定部２１２６と同様の構成でもよいが、これには限定されない。遅延量計算部２６２７の動作は、図２４中の遅延量計算部２４２７と同じである。
　図２７には、遅延量決定部２６１６の処理の流れをフローチャートの形式で示している。ステップＳ２７０１で許容遅延量推定部２６２６が学習済モデルを使用せずに許容遅延量情報を決定する以外は、図２５に示した処理と同様である。
　図２８には、遅延量の更新をユーザに提案する処理の一例をフローチャートの形式で示している。新たに計算されたＮＲ部１４０７の遅延量が、現在のＮＲ部の遅延量と異なる場合、自動的に更新する方法と、補聴機器の使用者に更新を提案する方法の２通りがある。自動で更新する場合、頻繁な更新は不快感につながる恐れがあることから、ある程度の時定数を持たせて更新することが好ましい。補聴機器の使用者に更新を提案する場合は、例えば、図２８に示すフローチャートを使用することができる。
　まず、新たなＮＲ部１４０７の遅延量を計算する（ステップＳ２８０１）。これは、図２４や図２６に示した通りである。次いで、新たに計算されたＮＲ部１４０７の遅延量と現在のＮＲ部１４０７の遅延量を比較して、ＮＲ部１４０７の遅延量が変化したか否かをチェックする（ステップＳ２８０２）。
　新たに計算されたＮＲ部１４０７の遅延量と現在のＮＲ部１４０７の遅延量が異ならない場合には（ステップＳ２８０２のＮｏ）、ステップＳ２８０１へ戻る。一方、新たに計算されたＮＲ部１４０７の遅延量と現在のＮＲ部１４０７の遅延量が異なる場合には（ステップＳ２８０２のＹｅｓ）、ステップＳ２８０３に進んで、補聴機器の使用者（ユーザ）に対して、ＮＲ部１４０７の遅延量の更新を提案する。提案方法の例については、図２９、図３１、図３２を用いて、後述する。
　次いで、提案に対する回答を補聴機器の使用者（ユーザ）から得る（ステップＳ２８０４）。回答方法の例については、図３０、図３１、図３２を用いて、後述する。次いでステップＳ２８０５では、回答内容によって分岐する。使用者からの回答が更新を希望するものであれば（ステップＳ２８０５のＹｅｓ）、ＮＲ部１４０７の遅延量を更新してから（ステップＳ２８０６）、本処理を終了する。一方、使用者からの回答が更新を希望しないものであれば（ステップＳ２８０５のＮｏ）、ＮＲ部１４０７の遅延量を更新しないで（ステップＳ２８０７）、本処理を終了する。
　図２９には、遅延量更新を補聴機器の使用者に提案する際の提案方法の例を示している。補聴機器２９０１のスピーカや、外部接続された携帯情報機器２９６４のスピーカから、音声メッセージを再生することで提案できる。音声の他に、特定のアラーム音や音楽であってもよい。外部接続された携帯情報機器２９６４のスクリーンを使用することもできる。言語によるメッセージ、記号、絵文字なども可能である。さらに、外部接続された携帯情報機器２９６４のバイブレーション機能を使用することもできる。例えば、バイブレーションの断続の間隔を変えることで区別することができる。
　図３０には、補聴機器の使用者からの回答方法の例を示している。使用者３０９０は、補聴機器３００１のボタンや、タッチセンサー、外部接続された携帯情報機器３０６４のスクリーン上のユーザインターフェースを使って回答することができる。補聴機器３００１や外部接続された携帯情報機器３０６４の加速度センサーを利用して使用者からの回答を受け取ることも可能である。例えば、補聴機器３００１であれば、「はい」のときに頭を縦に振り、「いいえ」のときに頭を横に振ることを加速度センサーで検知し、それを回答として受け取ることができる。携帯情報機器３０６４も、携帯情報機器３０６４を振る方向によって「はい」又は「いいえ」の回答として受け取ることができる。補聴機器３００１や外部接続された携帯情報機器３０６４のマイクロホンを使用して使用者からの回答を受け取ることもできる。補聴機器の使用者は音声によって回答し、マイクロホンで収音したその音声を音声認識して、その音声が「はい」又は「いいえ」のいずれであったかを識別できる。
　図３１には、遅延量更新を補聴機器の使用者に提案するとともに補聴機器の使用者からの回答を受け取る際に使用する、別のユーザインターフェース例を示している。ＮＲの強度を表すスライダーバー３１６７があり、推奨範囲３１９９をともに表示してもよい。ＮＲの強度は、遅延量の長短を言い換えたものである。ＮＲの強度の「弱」が遅延量の「短い」に該当し、）には、遅延量の長短よりも、ＮＲの強弱の方が分かり易い。遅延量の長短を用いても構わない。推奨範囲３１９９は、新たに計算された遅延量から定まる。図３１左の推奨範囲３１９９Ａは、新たに計算された遅延量が短めの例であり、図３１右の推奨範囲３１９９Ｂは、新たに計算された遅延量が長めの例である。例えば、推奨範囲は、新たに計算された遅延量の８０％～１００％の範囲としてよい。
　図３２には、推奨範囲の具体的な表示方法をいくつか示している。推奨範囲３２９９Ｃや推奨範囲３２９９Ｄのような表示方法であってもよい。図３１に示したスライダーバー３１６７の代わりに、ダイヤル３２６８でもよい。ダイヤルの場合の推奨範囲は、推奨範囲３２９９Ｅや推奨範囲３２９９Ｆのような表示方法であってもよい。また、ＮＲの強度を調整するものとしては、スライダーバー３１６７やダイヤル３２６８に限定されず、それら以外のものであってもよい。
　図３１と図３２には、スライダーバー３１６７とダイヤル３２６８をそれぞれ例示したが、これらに限るものではなく、要するに新たに計算された遅延量に従って推奨範囲が自動的に提示されればよい。このように、推奨範囲を補聴機器の使用者（ユーザ）に提示することにより、補聴機器の使用者（ユーザ）はそれを参考にしながらも自分の意思によってＮＲの強度を設定することができる。設定を更新したら、ＯＫボタン３１６５を押して終了する。設定を変更したくない場合は、補聴機器の使用者（ユーザ）はスライダーバー３１６７やダイヤル３２６８を操作することなく、ＯＫボタン３１６５を押して終了させる。ＮＲの強度、つまり、ＮＲの遅延量を自動で設定したい場合は、スイッチ３１６６で自動設定のオン・オフの切り替えを指定できるようにしてもよい。
　図３３には、ＮＲ部の構成例を示しているが、図１４中のＮＲ部１４０７に該当する。図３４には、可変遅延のバッファ操作例を示している。例えば、スペクトルサブトラクション法のような周波数領域での処理の場合、まず時間領域から周波数領域へ変換する。ＦＦＴを用いる場合、窓関数と５０％オーバーラップを使用することが多い。
　図３３に示すＮＲ部３３０７は、例えば、図１４中の遅延量決定部１４１６で決まった遅延量を、図１４の制御部１４１１経由で受け取る。ＮＲ部３３０７に入力された音声信号は、まず入力バッファ３３５１（図３４中の入力バッファ３４５１）に入る。窓掛け部（前処理）３３５３では、遅延量に合ったサイズの窓関数（例えば、図３４中の窓関数３４５０）を掛ける。ＦＦＴ３３５５では、遅延量に合ったサイズのＦＦＴを用いて周波数領域へ変換する。ＮＲ＿ｃｏｒｅ３３５７では、スペクトルサブトラクション法などを利用してＮＲ処理を行う。ＮＲ処理された音声信号を、ＩＦＦＴ３３５６でＩＦＦＴ（ｉｎｖｅｒｓｅ　ｆａｓｔ　ｆｏｕｒｉｅｒ　ｔｒａｎｓｆｏｒｍ）を用いて時間領域へ変換した後、窓掛け部（後処理）３３５４で窓関数を掛け、出力バッファ３３５２（図３４中の出力バッファ３４５２）に渡す。
　図３４には、フレーム１からフレーム１３までの１３個のフレームから成り、２フレーム遅延、４フレーム遅延、２フレーム遅延の順で遅延量が変化する場合の可変遅延のバッファ操作例を示している。リアルタイム処理の場合、遅延量が長い方向に変化するときに、処理後の音声信号が足りなくなり、遅延量が短い方向に変化するときに、処理後の音声信号が余る。単純に遅延量を変化させると、処理後の音声信号に断続が発生し、異音の原因となる。この課題は、リアルタイム処理に特有の課題である。例えば、オーディオコーデックにおいてもフレームサイズを可変にすることが行われるが、オーディオコーデックでは変換先がビットストリームであり、このような課題は発生しない。この課題を解決するために、処理後の音声信号を滑らかにつなぐ処理が必要となる。図３４に示す例では、遅延量が変化するタイミングで、窓サイズを変更し、クロスフェードを用いて、処理後の音声信号を滑らかにつなぐ。以上の説明では、遅延量に合わせてＦＦＴサイズを変更する例を示したが、ＦＦＴサイズを変更しなくともよい。ノイズスペクトルの見積りに使用するフレーム数を遅延量に合わせて伸ばす構成でも構わない。
　図３３及び図３４では、周波数領域、且つ、フレーム処理の例を示したが、時間領域でも、サンプル処理でもよい。複数の遅延量のＮＲ処理を常に並列で行い、それらを適宜選択し、クロスフェードでつなぐ構成でもよい。図３４に示す例では、クロスフェードを１フレームの幅で行っているが、複数フレームに渡ってもよい。可変遅延ＮＲ処理後の音声信号が滑らかにつながればよい。
　図３５には、第１の実施例に係る可変遅延ＮＲ機能を備えた補聴機器の、第２の構成例を示している。マイクロホン３５０２、ＡＤＣ３５０４、ＤＡＣ３５０５、スピーカ３５０３を左から右へ一直線に描いているが、図１３と同様の構成であると理解されたい。以下では、図１４に示した補聴機器１４０１との相違点を中心に、補聴機器３５０１の構成について説明する。
　音源記憶再生部３５１２は、図１４中の音源記憶再生部１４１２に対応する。外部インターフェース３５１３は、図１４中の外部インターフェース１４１３に対応するが、さらに後述の接続情報やセンサー情報を扱うことができる。構成情報記憶部３５１４は、図１４中の構成情報記憶部１４１４に対応する。学習済モデル記憶部３５１７は、図１４中の学習済モデル記憶部１４１７と同様の構成である。
　接続情報記憶部３５１８は、補聴機器３５０１と接続している外部機器に関する情報を記憶する。例えば、外部機器として、電話機器、携帯情報機器、テレビなどが可能である。接続情報としては、外部機器の種別情報を使用することができる。外部機器から補聴機器３５０１へ伝送する音声のコンテンツジャンル情報などを接続情報に含めることもできる。コンテンツジャンル情報とは、映画ジャンル、ニュースジャンル、スポーツジャンルなどである。
　センサー情報部３５１９は、各種センサーの情報である。加速度センサー、ジャイロセンサー、カメラなどを指す。
　図３５に示す第２の構成例に係る補聴機器３５０１は、特徴Ｂ５（利用シーンに応じて必要な機能の優先度が変化するという特徴）の影響を、許容遅延量の推定に役立てるものである。そのために、接続情報又はセンサー情報のうち少なくとも一方を用いる。
　図３６には、本開示の第１の実施例に係る学習済モデルの他の生成例を示している。この学習済モデル３６４０は、補聴機器３５０１内の遅延量決定部３５１６において使用されるが、聴力情報、入力音声情報、構成情報、接続情報、センサー情報を入力して、許容遅延量情報を推定して出力とする。すなわち、学習済モデル３６４０は、図１５に示した学習済モデル１５０１に、さらに接続情報とセンサー情報が説明変数に加えられている。図３６では、入力ノード数が５、出力ノード数が１、中間層が２層のニューラルネットワークとして、学習済モデル３６４０を描いているが、これに限るものではない。学習済モデル３６４０の生成は、補聴機器３５０１とは別の、サーバーやパーソナルコンピュータにて行うことができる。生成された学習済モデル３６４０は、図３５中の外部インターフェース３５１３を経由して、補聴機器３５０１に伝送することができる。
　聴力情報、入力音声情報、構成情報、許容遅延量情報は、図１５に示した学習済モデルの生成例の場合と同様である。以下、接続情報、センサー情報について説明する。
　接続情報は、例えば、接続している外部機器の種別情報を使用することができる。接続には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）などの無線通信を使用することができる。外部機器の種別情報には、例えば、電話機器、携帯情報機器、テレビなどを使用することができる。例えば、補聴機器が電話機器と無線接続している場合、補聴機器のマイクロホンから収音された音ではなく、電話機器から伝送されてきた音が、補聴機器のスピーカから出力される。このため、特徴Ｂ３に起因するようなエコーは発生しない。通話相手とのコミュニケーションに支障のない範囲での遅延が許容される。ＩＴＵ－Ｔ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　Ｇ．１１４（０５／２００３）によれば、通話の遅延は１５０ミリ秒まで許容される。概算としてその２０％まで補聴機器で許容されると仮定すれば、３０ミリ秒まで許容されることになる。例えば、補聴機器がテレビと無線接続している場合も、特徴Ｂ３に起因するようなエコーは発生しない。しかしながら、テレビは映像と音声があり、それらの同期がずれると、視聴者が違和感を感じることは、図７を参照しながら既に説明した通りである。例えば、テレビのようにさまざまなコンテンツを利用できる外部機器の場合、コンテンツジャンル情報をさらに使用することもできる。テレビと接続している場合でも、観ている映像コンテンツが映画コンテンツの場合とニュースコンテンツの場合では、期待される動作は異なり得る。ニュースコンテンツの音声はもともと音量がほぼ一定で且つクリアな発話であり、ＮＲ機能が必要とされることは少ない。これに対して、映画コンテンツでは、効果音や騒音は映画コンテンツの重要な要素であり、音声を聴き取り難い場合が少なくない。難聴者には、ＮＲ機能が役立つ。コンテンツジャンル情報は、例えば、テレビ放送であれば、電子番組ガイド（ＥＰＧ：Ｅｌｅｃｔｒｏｎｉｃ　Ｐｒｏｇｒａｍ　Ｇｕｉｄｅ、ＩＰＧ：Ｉｎｔｅｒａｃｔｉｖｅ　Ｐｒｏｇｒａｍ　Ｇｕｉｄｅ）から取得することができる。以上の説明では、外部機器から伝送される音声を聴く場合、補聴機器のマイクロホンから収音した音声をスピーカから出力しないとしたが、両者を同時に出力するものとしてもよい。その場合、特徴Ｂ３に起因するエコーの影響も受けることとなる。
　接続情報に、接続している外部機器の種別情報を使用し、その種別の種類が多くない場合、図１９に示した学習済モデル生成例と同じように、種別毎に学習済モデルを生成することも可能である。但し、ここでは図示を省略する。
　センサー情報は、各種センサーの情報であり、例えば、加速度センサー、ジャイロセンサー、カメラなどが含まれる。例えば、図２０に示した自声有無検出の学習済モデルの入力の学習用データに、加速度センサーの情報を加えて使用することができる。自声の振動は声帯から頭蓋骨を経由して外耳道や耳介まで届く。その振動を加速度センサーで取得して使用する。加速度センサーからの情報は、騒音下であっても精度よく取得できることから、騒音がある環境であってもより高精度な自声有無検出を実現できる。例えば、加速度センサー、ジャイロセンサーを使用することによって、補聴機器の使用者の体動を推定することができる。例えば、よく頷いたり、首を横に振ったりしていれば、誰かとコミュニケーションしている可能性が上がる。図３７には、補聴機器にカメラ３７９７を配置した例を示している。例えば、カメラを使用することによって、前方の近距離に顔があることを検出することができる。この場合も、誰かとコミュニケーションしている可能性が上がる。許容される遅延量は短い可能性が高くなる。例えば、前方を見る姿勢でほぼ動かなければ、テレビなどを観ている可能性が上がり、誰かとコミュニケーションしている可能性が下がる。許容される遅延量は長い可能性が高くなる。なお、図３７では左右の補聴機器にカメラ３７９７が一つずつ配置されているが、これに限定されず、複数であったり、左右の補聴機器でカメラの数が異なったりしていてもよい。
　図３８には、本開示に係る学習済モデルのさらに他の生成例を示している。図３８に示す生成例では、聴力情報、入力音声情報、構成情報、接続情報、センサー情報を入力とし、許容遅延量情報を出力とする。図３６に示した生成例との違いは、第１の学習済モデル３８４０の入力に、第２の学習済モデル３８４１の出力を使う点である。例えば、体動の推定や顔の検出は、難聴の有無に関わりがないため、健聴者の協力を得て、大量の学習データを容易に用意することが可能である。まず、センサー情報を用いて、体動を検出する第２の学習済モデル３８４１や、顔を検出する第２の学習済モデル３８４１を生成する。次に、第１の学習済モデル３８４０を生成する際は、第２の学習済モデル３８４１の推定の結果を利用する。つまり、第１の学習済モデル３８４０に、聴力情報、入力音声情報、構成情報、接続情報、センサー情報に加えて、体動情報や顔情報を入力し、許容遅延量情報を出力とする。このような構成によって、高精度な体動推定や顔検出が期待でき、結果的に、第１の学習済モデル３８４０の許容遅延量情報の推定の精度向上が期待できる。
　図３９には、本開示に係る、学習済モデルを推定に使用する遅延量決定部の構成例を示している。遅延量決定部３９１６は、図３５に示した遅延量決定部３５１６に対応するが、聴力情報、入力音声情報、構成情報、接続情報、センサー情報を入力とし、遅延量を出力とする。入力と出力は、図３５中の制御部３５１１を経由して行われる。学習済モデル３９４０は、図３６又は図３８で説明した学習済モデルのいずれでもよい。学習済モデル３９４０は、聴力情報、入力音声情報、構成情報、接続情報、センサー情報を入力して、許容遅延量情報を出力する。遅延量計算部３９２７は、許容遅延量情報を受け取り、ＮＲ部の遅延量を計算して出力する。
　図４０には、遅延量決定部３９１６が学習済みモデルを使用して遅延量を決定する処理の流れをフローチャートの形式で示している。
　まず、学習済モデル３９４０は、聴力情報、入力音声情報、構成情報の他に、さらに接続情報とセンサー情報を受け取り、学習済みモデルを使用して許容遅延量を推定する（ステップＳ４００１）。次いで、遅延量計算部３９２７は、許容遅延量情報から、上式（４）に基づいてＮＲ部３５０７の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸを計算する（ステップＳ４００２）。
　次いで、遅延量計算部３９２７は、上式（５）に基づいてＮＲ部３５０７の許容遅延量ＤＬＹ＿ＮＲ＿ＭＡＸからＮＲ部３５０７の遅延量ＤＬＹ＿ＮＲを決定する（ステップＳ４００３）。
　ＮＲ部３５０７の構成上可能な遅延量が離散的であるとき、ＮＲ部３５０７の遅延量ＤＬＹ＿ＮＲは、ＤＬＹ＿ＮＲ＿ＭＡＸを超えない範囲で定めることができる。例えば、ＮＲ部３５０７の構成上可能な遅延量が１６サンプル、３２サンプル、６４サンプルの３種類であるとき、計算されたＤＬＹ＿ＮＲ＿ＭＡＸが４０サンプルであれば、ＤＬＹ＿ＮＲは３２サンプルと決まる。ＮＲ部３５０７の遅延量ＤＬＹ＿ＮＲをできるだけ大きな値で設定するだけでなく、小さな値で設定しても構わない。例えば、ＮＲ部３５０７の構成上可能な遅延量が１６サンプル、３２サンプル、６４サンプルの３種類であり、計算されたＤＬＹ＿ＮＲ＿ＭＡＸが４０サンプルであるとき、ＤＬＹ＿ＮＲを１６サンプルと定めてもよい。
　新たに計算されたＮＲ部３５０７の遅延量が、現在のＮＲ部３５０７の遅延量と異なる場合、自動的に更新していく方法と、補聴機器の使用者に更新を提案する方法の２通りがある。これらに対する処理は、図２８～図３２を参照しながら説明した通りである。
　ＮＲ部３５０７の遅延量の変更に合わせて窓サイズを変更することや、ＮＲ処理後の音声信号を断続させずに滑らかにつなぐことは、図３３及び図３４を参照しながら説明した通りである。
　左右独立した形状の補聴機器におけるＮＲ部３５０７の遅延量の扱いは、図１４に示した構成例の場合と同様である。左右独立した形状の補聴機器において、センサーが左右独立にある形態の場合、センサー情報を左右別々に使うことも、左右で統一して使うことも可能である。左右で統一して使う場合、例えば、左右の平均としてもよい。左右のセンサー情報の統合を行う際は、外部インターフェース３５１３を経由してやり取りできる。
　以上、補聴機器において聴力情報などを使用してＮＲ機能の遅延量を制御することを中心に説明したが、上述したように突発音抑制機能でも同様に制御することが可能である。
　第１の実施例によってもたらされる効果についてまとめておく。第１の実施例によって第１の経路の遅延量を聴力情報や入力音声情報などを使用して制御することにより、ＮＲ機能や突発音抑制機能を効果的に働かせることが可能となる。その効果とは、特徴Ｂ１～Ｂ４に起因する、視覚情報と聴覚情報のずれによる違和感、遅延聴覚フィードバックによる吃音、エコーによる聴き取り困難、特徴Ａ１～Ａ２に起因する、聴き取りの苦労を改善できることである。さらに、遅延量の推奨設定を補聴機器の使用者に提示し、それを参考に補聴機器の使用者が設定の更新を自ら選択できることで、より高い満足感が期待できる。
　第２の実施例では、補聴機器はＮＲ機能に加えてＮＣ機能をさらに利用する。ＮＣ機能の自動設定や、自動オン・オフ切替、自動強弱切替、自動特性変更、ユーザインターフェース上での推奨設定の提示などを行うことで、補聴機器にとって重要な省電力を可能にすると同時に、補聴機器の使用者の聴き取りの苦労を改善する。
　なお、本明細書において、ＮＲ機能は入力音声信号に含まれるノイズ成分を信号処理によって除去する（すなわち、音声信号上のノイズを抑制する）処理によって実現する機能であるのに対して、ＮＣ機能はノイズ成分と同振幅で位相を反転させたＮＣ信号を希望信号に重畳することによって、音声出力後にＮＣ信号によって空間上のノイズを打ち消す機能であり、ＮＲ機能とＮＣ機能は全く相違する機能であるという点に留意されたい。ＮＲ機能は、ノイズを除去した信号が出力されるため、遅延があってもＮＲの効果は保たれる。これに対し、ＮＣ機能は、遅延が大きいとノイズとＮＣ信号との時間差によりノイズを打ち消すことができず、ＮＣの効果が失われる。付言すれば、イヤーピースによって高周波数帯のノイズを遮音できることから、ＮＣ機能は主に遮音できない１ＫＨｚ以下のノイズのキャンセルに利用される。
　第２の実施例について具体的に説明する前に、背景と課題を補足する。特徴Ｂ１～Ｂ３に起因して、ＮＲ機能を利用したとしても、図１２で説明したように、第１の経路の増幅の利得が小さい場合、位置Ｐ２のＳＮＲの改善は僅かである。そのような場合であっても、特徴Ａ１～Ａ２のため、騒音下での言葉の聴き取りの苦労を改善することが求められている。そこで、第２の実施例では、ＮＣ機能を利用する。図４１には、ノイズキャンセリングの仕組みの例示している。例えば、図１３の位置Ｐ１の音（ノイズ）が第２の経路を経由して位置Ｐ２に届いたときの波形が波形４１４５であるとする。このとき、第１の経路によって、位置Ｐ２に波形４１４６の音を届けたとすると、波形４１４５と波形４１４６は打ち消し合い、理想的には無音になる。ノイズリダクションは音声信号上のノイズを抑制することであり、ノイズキャンセリングは空間上のノイズを打ち消すことであり、両者の成り立ちは全く異なる。
　図４２には、ノイズキャンセリング機能を搭載した補聴機器の構成例を示している。マイクロホン４２２９を、補聴機器４２０１の内側に追加する構成例を示している。内側のマイクロホン４２２９をＮＣ機能用に利用することで、フィードバック型のノイズキャンセリングを行うこともできる。なお、マイクロホン４２０２、スピーカ４２０３、ＡＤＣ４２０４、ＤＡＣ４２０５、信号処理部４２０６、音源記憶再生部４２１２、外部インターフェース４２１３などその他の構成は図１３に示した補聴機器１３０１と同様なので、ここでは詳細な説明を省略する。
　図４３には、ＮＲ機能にＮＣ機能を追加したときの効果の例を示している。図４３中の位置Ｐ１及び位置Ｐ２は、図６及び図１３に示した位置Ｐ１及び位置Ｐ２にそれぞれ対応する。
　スペクトログラム４３７０は、位置Ｐ１の音を表し、音声のスペクトル４３７４とノイズ４３７５から成る。音声スペクトル４３７４のピークとノイズ４３７５のピークの差ｄ１が大きいほど、ＳＮＲが良い。スペクトログラム４３７０における差ｄ１は小さく、音声がノイズより僅かに大きい程度であり、難聴者は聴き取りに苦労する。
　マイクロホン４２０２を経由する第１の経路では、音声信号が信号処理部４２０６によって信号処理が施されるが、第２の実施例では、信号処理はＮＲ機能を作用させる第１の処理系とＮＣ機能を作用させる第２の処理系を含む。
　第２の経路を通って位置Ｐ２に届く音と、第１の経路の第２の処理系を通って位置Ｐ２に届く音が合わさった音をスペクトログラム４３７２とする。第１の経路の第２の処理系では増幅せずにＮＣ機能４３０８を作用させる。つまり、スペクトログラム４３７２は、ノイズキャンセリングされた後の位置Ｐ２の音を表す。ＮＣ機能によって、スペクトログラム４３７０の差ｄ１はスペクトログラム４３７２の差ｄＮＣのように広がり、ＳＮＲが改善する。なお、スペクトログラムの形状は、補聴機器の筐体やイヤーピースなどの影響を受けるが、議論を簡単にするため、ここではそれらを無視することとする。
　一方、第１の経路の第１の処理系では、ＮＲ機能４３０７を作用させるが、参照番号４３７７に示すように増幅しない（利得：０ｄＢ）。第１の経路の第１の処理系を通って位置Ｐ２に届く音をスペクトログラム４３７１とする。ＮＲ機能によって、スペクトログラム４３７０の差ｄ１はスペクトログラム４３７１の差ｄＮＲのように広がり、ＳＮＲが改善する。
　そして、スペクトログラム４３７２とスペクトログラム４３７１は、位置Ｐ２で混ざり合い、位置Ｐ２における音はスペクトログラム４３７３となる。スペクトログラム４３７３の差ｄ２＿３は、図１２のｄ２＿２と比べ、大きくなる。ＮＣ機能をＮＲ機能に追加した場合、ＮＲ機能のみの場合と比べて、位置Ｐ２でのＳＮＲが大きく改善することが確認できる。
　このように、第１の経路の利得が小さい場合であっても、ＮＲ機能に加えてＮＣ機能を用いることによって、位置Ｐ２でのＳＮＲを改善することが可能となる。
　図４４には、ＮＣ機能の効果が小さい例を示している。図４４中の位置Ｐ１、位置Ｐ２は、図６及び図１３中の位置Ｐ１、位置Ｐ２にそれぞれ対応する。図４４に示す例では、スペクトログラム４４７０における音声スペクトル４４７４のピークとノイズ４４７５のピークの差ｄ１は小さく、音声がノイズより僅かに大きい程度であり、難聴者は聴き取りに苦労する。
　第１の経路の第２の処理系では増幅せずにＮＣ機能４４０８を作用させる。一方、第１の経路の第１の処理系では増幅（利得：大）とともにＮＲ機能を作用させる。第１の経路の第１の処理系を通って位置Ｐ２に届く音をスペクトログラム４４７１とする。スペクトログラム４４７２とスペクトログラム４４７１は、位置Ｐ２で混ざり合い、位置Ｐ２における音はスペクトログラム４４７３となる。ＮＲ機能によって、スペクトログラム４４７０の差ｄ１はスペクトログラム４４７１の差ｄＮＲのように広がり、ＳＮＲが改善する。
　そして、スペクトログラム４４７２とスペクトログラム４４７１は、位置Ｐ２で混ざり合い、位置Ｐ２における音はスペクトログラム４４７３となる。しかしながら、スペクトログラム４４７３の差ｄ２＿４は、図１１のｄ２＿１と比べ、僅かに大きい程度である。ＮＣ機能をＮＲ機能に追加した場合であっても、ＮＲ機能のみの場合と比べて、位置Ｐ２でのＳＮＲのさらなる改善は、僅かだけであることが確認できる。
　図４３に示したように第１の経路の第１の処理系の利得が小さい場合は、ＮＣ機能を追加することによって位置Ｐ２のＳＮＲが大きく改善し、補聴機器の使用者の聴き取りの苦労を改善させられる。一方、図４４に示したように第１の経路の第１の処理系の利得が大きい場合は、既にＮＲ機能によって位置Ｐ２のＳＮＲが改善しており、ＮＣ機能を追加したことによるさらなる改善は僅かである。補聴機器の使用者の聴き取りの苦労の改善も僅かである。
　以上のように、位置Ｐ２のＳＮＲの改善という目的に対して、ＮＣ機能をＮＲ機能に追加することによる効果は、補聴機器の増幅の利得の大小に依存する。そして、図２及び図５に示した例からも分かるように、増幅の利得の大小は、補聴機器の使用者の聴力と、補聴機器への入力音圧に依存する。
　ＮＣ機能の別の側面として、強過ぎるＮＣ効果の違和感や、消費電力の課題がある。静かな環境においてＮＣ効果を強くし過ぎると、耳がツンとした感じになるなど、補聴機器の使用者に違和感を感じさせることがある。消費電力については、補聴機器は小さな筐体で長時間の動作が求められる製品であるため、消費電力を抑える必要がある。ＮＣ機能は、場合によってはＮＣ機能専用のＡＤＣやＤＡＣを動作させる必要があるため、消費電力は大きい傾向がある。これらの課題は、状況に応じてＮＣ機能のオン・オフを切り替えたり、強弱を調整したりすることによって、改善することができる。
　図４５には高音障害漸傾型のオージオグラム例を示し、図４６には山型のオージオグラム例を示している。例えば、６０ｄＢ　ＳＰＬの入力に対して、１／２の利得を与える処方を考える。図４５に示す例では２５０Ｈｚが７．５ｄＢ、１０００Ｈｚが２５ｄＢの利得となり、図４６に示す例では２５０Ｈｚが１５ｄＢ、１０００Ｈｚが５ｄＢとなる。図４３及び図４４を参照しながら説明したように、ＮＲ機能にＮＣ機能を追加した場合、ＮＲ機能の利得が小さい場合にはさらなるＳＮＲの改善効果が大きくなるが、ＮＣ機能の効果が小さい場合にはＮＲ機能の利得を大きくしてもさらなるＳＮＲの改善効果が小さい。これらを考え合わせると、図４５に示すオージオグラムの場合は１２５Ｈｚ～２５０Ｈｚ付近を、図４６に示すオージオグラムの場合は５００Ｈｚから１０００Ｈｚ付近を重点的にノイズキャンセリングすることが、聴き取りの苦労の改善に効果的と言うことができる。
　図４７には、ノイズキャンセリング処理によって減衰できることが期待される期待ノイズ減衰量を示している。例えば、参照番号４７３４で示すカーブＡは最大減衰量が高くないものの広い周波数帯域に渡ってノイズキャンセリングの効果を持つ。また、参照番号４７３５、４７３６、４７３７でそれぞれ示すカーブＢ、カーブＣ、カーブＤは、周波数帯域は狭いものの最大減衰量は高い。このように、ノイズキャンセリング処理を行うことによって、期待ノイズ減衰量のカーブを調整することが可能である。
　図４５～図４７を参照しながら説明したことから、聴力情報に依存してノイズキャンセリングの特性を調整することは、聴き取りの苦労の改善に効果的といえる。例えば、図４５に示すオージオグラムのときはカーブＢ４７３５を用い、図４６に示すオージオグラムのときはカーブＤ４７３７を用いると効果的である。
　図４８には、水平型のオージオグラム例を示している。例えば、６０ｄＢ　ＳＰＬの入力に対して２分の1の利得を与える処方を考える。どの周波数も４０ｄＢ　ＨＬであるので、利得はどの周波数も２０ｄＢとなる。裸耳利得を無視して考えると、例えば利得は図４９中の利得曲線４９８０のようになる。聴力レベルは大きいものの、感音難聴の場合は特徴Ｂ１によって、大きな入力音圧レベルに対して利得を小さくすることが一般的である。図４９に示す補聴機器の入出力特性例では、入力音圧レベル９０ｄＢ　ＳＰＬ近辺では利得が小さい。ＮＣ機能を用いることは、聴き取りの苦労の改善に効果的と言える。このとき、図４７中のカーブＡ４７３４を用いると効果的である。
　図５０には、本開示の第２の実施例に係る、ＮＣ信号生成機能を備えた補聴機器５００１の構成例を示している。マイクロホン５００２、ＡＤＣ５００４、ＤＡＣ５００５、スピーカ５００３を左から右へ一直線に描いているが、図１３及び図４２に示した補聴機器と同様の構成である。以下では、図１４に示した補聴機器１４０１との相違点を中心に、補聴機器５００１の構成について説明する。
　振幅・位相調整部５００９の設定は、聴力情報記憶部５０１５と、振幅・位相調整部５００９への入力音声信号を用いて、制御部５０１１が行う（同上）。振幅・位相調整部５００９で調整された音声信号は、ＤＡＣ５００５へ送られる。
　ＮＣ信号生成部５００８は、ＡＤＣ５００４からの音声信号を入力として受け取り、ノイズキャンセル（ＮＣ）信号を生成する。ＮＣ信号とは、図１３及び図４２に示した補聴機器において、第２の経路を経由し、位置Ｐ２に届いた騒音を空間上でキャンセルするための信号のことである。生成されたＮＣ信号は、ＤＡＣ５００５へ送られる。ＮＣ信号生成部５００８は、ＮＣ特性決定部５０３０が決定したＮＣ特性（ＮＣ特性カーブ、ＮＣ強度）を用いてＮＣ信号を生成する。
　ＤＡＣ５００５は、振幅・位相調整部５００９で調整された音声信号にＮＣ信号が重畳されたデジタル信号を入力して、アナログ信号に変換する。スピーカ５００３は、電気信号から音に変換する。したがって、スピーカ５００３から出力される音は、ＮＣ信号生成部５００８で生成されたＮＣ信号が変換された音を含み、第２の経路を経由した騒音をキャンセルする。ここでは、ＡＤＣ５００４とＤＡＣ５００５をＮＲ部５００７とＮＣ信号生成部５００８で共用するように描いているが別々に用意する構成でも構わない。
　図５１には、本開示の第２の実施例における、学習済モデルの生成例を示している。学習済モデル５１４０は、聴力情報、入力音声情報、構成情報を入力して、ＮＣ特性情報を推定して出力する。図５１には、入力ノード数が３、出力ノード数が１、中間層が２層のニューラルネットワークを描いているが、学習済モデル５１４０はこれに限定されるものではない。
　学習済みモデル５１４０への入力である聴力情報、入力音声情報、構成情報の各パラメータは、図１５に示した学習済モデル１５０１の生成例の場合と同様であり、ここでは詳細な説明を省略する。また、構成情報は、場合によっては省略することも可能である。
　また、図１９に示したように、学習済モデル５１４０は、構成情報別に学習済モデルを生成してもよいが、ここでは詳細な説明を省略する。
　ＮＣ特性情報は、ノイズキャンセリングの強度情報を使用することができる。例えば、０．０～１．０のような、範囲を持つ値とすることができる。例えば、０．０をノイズキャンセリングのオフと定めてもよい。ノイズキャンセリングの特性カーブを、複数種類から選択する形態でもよい。図４７で説明したようなノイズキャンセリングの特性カーブの選択を行うことができる。このとき、ＮＣ特性情報は、ノイズキャンセリングの特性カーブとする。強度情報をＮＣ特性情報に含めることも可能である。例えば、分類問題として、学習用データを、図４７中のカーブＡの１００％、カーブＡの７５％、カーブＡの５０％、カーブＡの２５％、カーブＡの０％、カーブＢの１００％、カーブＢの７５％というようにすることができる。
　図５２には、被検者（難聴者）が、ＮＣ特性情報を回答する際に使用するユーザインターフェース例を示している。ＮＣ特性情報の例として、ＮＣ特性カーブとＮＣ強度を利用することができる。携帯情報機器５２６４は、ＮＣ特性カーブとＮＣ強度を調整するためのユーザインターフェースとして、ラジオボタン５２６９と、スライダーバー５２６７を備えている。例えば、被検者がラジオボタン５２６９を変更すると、補聴機器５００１のＮＣ特性カーブがそれに合わせて変化する。スライダーバー５２６７は、例えば、「強」の方へスライドさせると、補聴機器のＮＣ強度が強い方向へ変化する。図５２に示す例では、ラジオボタン５２６９の選択肢の１つに、ＮＣ機能のＯＦＦを選べるようにしている。例えば、４ｋＨｚなど、高い周波数ではＮＣ機能の効果は期待できないため、ＮＣ機能を使用しないという選択をしてよい。入力音声情報として想定する音環境が被検者の周囲に再現され、その音環境の中で、被検者は自分にとって最適なＮＣ特性カーブとＮＣ強度をラジオボタン５２６９やスライダーバー５２６７で指定し、ＯＫボタン５２６５を押して決定する。これによって、学習用データセットに、聴力情報、入力音声情報、構成情報、ＮＣ特性情報が追加される。
　図５３には、学習用データ作成時の手順をフローチャートの形式で示している。まず、補聴機器や図示しない音環境再現システムに、入力情報に基づいた設定をする（ステップＳ５３０１）。音環境再現システムとは、静かな部屋、病院、ショッピングモール、レストランなどの音環境を再現するものである。例えば、被検者の周りに５．１チャンネルのスピーカを並べる構成とすることができる。例えば、被検者の前に、会話相手を配置してもよい。次いで、図５２に示したようなユーザインターフェースを用いて、被検者がＮＣ特性情報を指定する（テップＳ５３０２）。次いで、被検者が指定したＮＣ特性情報に従って、補聴機器を動作させる（ステップＳ５３０３）。次いで、図５２に示したユーザインターフェース中のＯＫボタン５２６５が押されたかを判定する（ステップＳ５３０４）。つまり、被検者がＮＣ特性情報を確定したかどうかを判定する。ＯＫボタンが押されていない場合には（ステップＳ５３０４のＮｏ）、ステップＳ５３０２へ戻り、ＮＣ特性情報の指定とそのＮＣ特性情報での動作を繰り返す。反復時に、ステップＳ５３０２で被検者からの新たな指定がなければ直前の設定をそのまま維持して使用してよい。一方、ＯＫボタンが押された場合には（ステップＳ５３０４のＹｅｓ）、そのときに指定されていたＮＣ特性情報を学習用データセットに追加して（ステップＳ５３０５）、本処理を終了する。
　図５２及び図５３では、ＮＣ特性の候補を被検者が指定する例を示したが、これに限るものではない。例えば、補聴機器のＮＣ特性が自動で設定され、被検者に提示され、その都度、被検者が快／不快を回答する形式でもよい。あるいは、例えば、異なる２組のＮＣ特性設定が被検者に提示され、どちらがより快適であるかを回答する形式であってもよい。要するに、被検者にとって快又は不快のいずれであるかを示すＮＣ特性に関する回答が得られればよい。
　図５４には、学習済モデルを生成しない場合のＮＣ特性推定部５４３１の構成例を示している。ＮＣ特性推定部５４３１は、補聴機器５００１のＮＣ特性決定部５０３０で利用される。
　第１の音圧レベル計算部５４２２は、入力音声の周波数帯域別レベル情報と利得情報を用いて、第１の経路の出力である第１の音圧レベルＰ＿１（ｆ）を計算する。また、第２の音圧レベル計算部５４２３は、構成情報（イヤーピースなどの音響特性）と入力音声レベル情報を用いて、第２の経路による外耳道内（例えば、図１３、図４８の位置Ｐ２）の第２の音圧レベルＰ＿２（ｆ）を計算し、音圧レベル差計算部５４２４は、第１の音圧レベルＰ＿１（ｆ）と第２の音圧レベルＰ＿２（ｆ）の差ｒ（ｆ）を、上式（２）のように計算する。
　Ｐ＿１とＰ＿２を音圧レベルの代わりに音圧で考える場合は、音圧比Ｐ＿１（ｆ）／Ｐ＿２（ｆ）を計算してもよい。ＮＣ強度・ＮＣ特性カーブ計算部５４３２は、音圧レベル差ｒ（ｆ）から、ＮＣ強度ＮＣ＿ＬＥＶＥＬを計算する。例えば、下式（６）のようにＮＣ強度ＮＣ＿ＬＥＶＥＬを計算できる。
Figure JPOXMLDOC01-appb-M000006
　上式（６）において、関数ｆ２Ｌは、音圧レベル差ｒ（ｆ）とＮＣ強度ＮＣ＿ＬＥＶＥＬの関係を表す関数であり、事前に統計データから近似的に求められたものである。例えば、図４３及び図４４を参照しながら説明したように、差が大きいときに０．０、差が小さいときに１．０と計算できる。ここで、０．０はＮＣ機能オフ、又は、ＮＣ機能弱を意味し、１．０はＮＣ機能強を意味する。ＮＣ強度・ＮＣ特性カーブ計算部５４３２は、さらに、音圧レベル差ｒ（ｆ）から、ＮＣ特性カーブＮＣ＿ＣＵＲＶＥを決定する。例えば、下式（７）のようにＮＣ特性カーブＮＣ＿ＣＵＲＶＥを計算できる。
Figure JPOXMLDOC01-appb-M000007
　上式（７）において、関数ｆ２Ｃは、音圧レベル差ｒ（ｆ）とＮＣ特性カーブＮＣ＿ＣＵＲＶＥの関係を表す関数であり、事前に統計データから近似的に求められたものである。例えば、図４７に例示したようなカーブＡ、カーブＢ、カーブＣなどの特性カーブを、図５２に示したようなユーザインターフェースを介して決定する。ＮＣ機能を使用しないという選択であってもよい。
　図５５には、図５４に示したＮＣ特性推定部５４３１においてＮＣ特性を推定するための処理手順をフローチャートの形式で示している。第１の音圧レベルＰ＿１（ｆ）と第２の音圧レベルＰ＿２（ｆ）の音圧レベル差ｒ（ｆ）を計算するまでの処理（ステップＳ５５０１～Ｓ５５０３）は、図２２に示した処理手順と同様なので、ここでは説明を省略する。ＮＣ強度・ＮＣ特性カーブ計算部５４３２が、ＮＣ強度ＮＣ＿ＬＥＶＥＬとＮＣ特性カーブＮＣ＿ＣＵＲＶＥを計算する（ステップＳ５５０４）。そして、ＮＣ特性推定部５４３１から、ＮＣ強度ＮＣ＿ＬＥＶＥＬとＮＣ特性カーブＮＣ＿ＣＵＲＶＥを出力して（ステップＳ５５０５）、本処理を終了する。
　学習済モデルを学習するためには多くの学習用データが必要となる。学習用データ作成の手順例は、図１６、図５２及び図５３を参照しながら説明した通り、時間と手間のかかる作業である。多くの学習用データを集める際に重要なことは、人手で行わなければならない作業を可能な限り減らすことである。図５４及び図５５を参照しながら説明した、学習済モデルを用いない方法は、学習用データを効率よく構築する際の道具として利用することができる。まず、学習済モデルを用いない方法を使用してＮＣ特性の候補を準備する。次に、その候補の微調整を人手で行い、それを学習用データとする。例えば、学習済モデルを用いない方法で計算したＮＣ特性の候補を用いて、図５２中のスライダーバー５２６７やラジオボタン５２６９の初期値を決める。このようにすることで、被検者は、初期値の近辺のみを試すだけで、回答を決定できる。被検者に２択問題を回答させる構成の場合であれば、必要な２択問題の個数を減らすことができる。この方法によって、作業効率を格段に向上できる。さらに、図５４及び図５５に示した学習済モデルを用いない方法は、演算が軽いため、廉価な補聴機器であっても実行可能である。つまり、学習済モデルによる推定の簡易的な代替として利用することができる。
　図５６には、補聴機器５００１におけるＮＣ機能の処理手順をフローチャートの形式で示している。まず、ＮＣの特性情報を初期化する（ステップＳ５６０１）。次いで、入力音声信号に対してＮＣ処理を行う（ステップＳ５６０２）。ＮＣ処理によって生成されたＮＣ信号は、入力音声信号に重畳されて、スピーカ５００３から出力される。次いで、補聴機器の使用者の聴力情報、補聴機器の入力音声情報、補聴機器５００１の構成情報を使用して、ＮＣ特性情報の推奨設定を計算する（ステップＳ５６０３）。特性情報の求め方の例については、後で図５７及び図５８を参照しながら説明する。次いで、必要に応じて推奨設定を補聴機器５００１の使用者（ユーザ）に提示する（ステップＳ５６０４）。推奨設定を自動的に適用する設定の場合は、ステップＳ５６０４の処理をスキップしてよい。次いで、補聴機器５００１の使用者（ユーザ）からの回答に基づいてＮＣ特性情報を更新する（ステップＳ５６０５）。推奨設定を自動的に適用する設定の場合は、自動で更新する。補聴機器５００１の使用者への推奨設定の提示方法と使用者の回答方法の例は、後で図２９、図３０、図５９～図６１を参照しながら説明する。次いで、ＮＣ処理を終了するか判定する（ステップＳ５６０６）。ここで、ＮＣ処理を終了しない場合は（ステップＳ５６０６のＮｏ）、ステップＳ６２０２へ戻り、本処理を継続する。一方、ＮＣ処理を終了する場合は（ステップＳ５６０６のＹｅｓ）、本処理を終了する。ＮＣ処理を終了するタイミングとしては、補聴機器５００１の使用者がＮＣ機能をオフにした場合や、補聴機器５００１の電源をオフにした場合などである。ユーザを補聴機器５００１の使用者として説明したが、補聴機器５００１の使用者の家族など使用者本人以外であってもよい。家族などは、補聴機器５００１の使用者の隣にいてもよく、ネットワークを介した所にいてもよい。
　図５７には、本開示の第２の実施例に係る、学習済モデルを使用してＮＣ特性を決定するＮＣ特性決定部の構成例を示している。図５７に示すＮＣ特性決定部５７３０は、図５０に示した補聴機器５００１のＮＣ特性決定部５０３０に対応する。ＮＣ特性決定部５７３０は、聴力情報、入力音声情報、構成情報を入力とし、ＮＣ特性情報を出力とする。入力と出力は、図５０中の制御部５０１１を経由して行われる。学習済モデル５７４０は、図５１に示した学習済モデル５１４０を使用することができる。学習済モデル５７４０は、聴力情報、入力音声情報、構成情報を入力して、ＮＣ特性情報を出力する。ＮＣ特性情報は、例えば、ＮＣ信号生成部５００８のオン・オフ、ＮＣ強度、ＮＣ特性カーブである。
　左右独立した形状の補聴機器５００１において、独立してＮＣ特性情報を計算した場合、左右別々のＮＣ特性情報を使うことも、左右で統一したＮＣ特性情報を使うことも可能である。左右で統一したＮＣ特性情報を使う場合、例えば、左右それぞれで計算したＮＣ特性情報の平均としてもよく、強度が弱く周波数帯域が広いＮＣ特性情報に合わせてもよい。左右の聴力が近い場合は、左右の音の定位のふらつきを抑えるために、左右で統一したＮＣ特性情報を使うことが好ましい。補聴機器５００１の使用者の違和感を抑えるためには、左右のＮＣ特性情報の統合には、強度が弱く周波数帯域が広いＮＣ特性情報に合わせることが好ましい。左右のＮＣ特性情報の統合を行う際は、外部インターフェース５０１３を経由して、計算したＮＣ特性情報をやり取りできる。左右の聴力が大きく異なる場合は、左右別々のＮＣ特性情報を使うことが好ましい。
　図５８には、本開示の第２の実施例に係る、学習済モデルを使用しないでＮＣ特性を決定するＮＣ特性決定部の構成例を示している。ＮＣ特性決定部５８３０は、図５０に示した補聴機器５００１のＮＣ特性決定部５０３０に対応する。
　図５９には、ＮＣ特性カーブとＮＣ強度の更新をユーザに提案する処理手順をフローチャートの形式で示している。新たに計算されたＮＣ特性カーブとＮＣ強度が、現在のＮＣ特性カーブとＮＣ強度と異なる場合、自動的に更新する方法と、補聴機器の使用者に更新を提案する方法の２通りがある。自動で更新する場合、頻繁な更新は不快感につながる恐れがあることから、ある程度の時定数を持たせて更新することが好ましい。補聴機器の使用者に更新を提案する場合は、例えば、図５９に示すフローチャートを使用することができる。
　まず、新たなＮＣ特性カーブ・ＮＣ強度を計算する（ステップＳ５９０１）。これは、図５７に示したＮＣ特性決定部５７３０や図５８に示したＮＣ特性決定部５８３０を使用して行われる。次いで、新たに計算されたＮＣ特性カーブ・ＮＣ強度と現在のＮＣ特性カーブ・ＮＣ強度を比較する（ステップＳ５９０２）。新たに計算されたＮＣ特性カーブ・ＮＣ強度と現在のＮＣ特性カーブ・ＮＣ強度が異ならない場合には（ステップＳ５９０２のＮｏ）、ステップＳ５９０１へ戻る。新たに計算されたＮＣ特性カーブ・ＮＣ強度と現在のＮＣ特性カーブ・ＮＣ強度が異なる場合には（ステップＳ５９０２のＹｅｓ）、補聴機器の使用者（ユーザ）に対して、ＮＣ特性カーブ・ＮＣ強度の更新を提案する（ステップＳ５９０３）。提案方法の例は、図２９を参照しながら説明した方法と同様に行うことができる。次いで、提案に対する回答を補聴機器の使用者（ユーザ）から得る（ステップＳ５９０４）。回答方法の例は、図３０を参照しながら説明した方法と同様に行うことができる。そして、使用者からの回答内容によって分岐する（ステップＳ５９０５）。回答が更新を希望するものであれば（ステップＳ５９０５のＹｅｓ）、ＮＣ特性カーブ・ＮＣ強度を更新して（ステップＳ５９０６）、本処理を終了する。一方、回答が更新を希望しないものであれば（ステップＳ５９０５のＮｏ）、ＮＣ特性カーブ・ＮＣ強度を更新しないで（ステップＳ５９０７）、本処理を終了する。
　図６０には、ＮＣ強度とＮＣ特性カーブの更新を補聴機器５００１の使用者に提案するとともに、補聴機器５００１の使用者からの回答を得る際のユーザインターフェース例を示している。ＮＣ強度を表すスライダーバー６０６７があり、推奨範囲６０９９をともに表示する。推奨範囲６０９９は、新たに計算されたＮＣ強度から定まる。例えば、図６０左に示す推奨範囲６０９９Ａは、新たに計算されたＮＣ強度が弱めの例であり、図６０右に示す推奨範囲６０９９Ｂは、新たに計算されたＮＣ強度が強めの例である。例えば、推奨範囲は、新たに計算されたＮＣ強度の８０％～１２０％の範囲としてよい。また、同ユーザインターフェースは、ユーザがＮＣタイプを指定するラジオボタン６０６９を含んでいる。
　図６１には、推奨範囲６０９９の提示方法を示している。図６１に示す、推奨範囲６１９９Ｃや推奨範囲６１９９Ｄのようであってもよい。スライダーバー６０６７の代わりに、ダイヤル６１６８でＮＣ強度を示すようにしてもよい。ダイヤルの場合の推奨範囲は、推奨範囲６１９９Ｅや推奨範囲６１９９Ｆのようであってもよい。図６０及び図６１中の「ＮＣタイプ」は、ＮＣ特性カーブを言い換えたものである。補聴機器の使用者（ユーザ）には、ＮＣ特性カーブよりも、ＮＣタイプという単語の方が理解し易い。図６０に示すユーザインターフェース例では、ＮＣタイプを表すラジオボタン６０６９があり、推奨マーク６０９８をともに表示する。推奨マーク６０９８は、新たに計算されたＮＣ特性カーブから定まる。例えば、推奨マーク６０９８Ａは、新たに計算されたＮＣ特性カーブが「カーブＢ」の例であり、推奨マーク６０９８Ｂは、新たに計算されたＮＣ特性カーブが「カーブＡ」の例である。推奨マーク６０９８の図示方法は、図６１中の、推奨マーク６１９８Ｃや推奨マーク６１９８Ｄ、推奨マーク６１９８Ｅ、推奨マーク６１９８Ｆのいずれかのようであってもよい。
　図６０及び図６１に示す例では、ＮＣ強度のためにスライダーバー６０６７とダイヤル６１６８、ＮＣ特性カーブのためにラジオボタン６０６９を例として説明したが、これらに限るものではなく、要は、新たに計算されたＮＣ強度とＮＣ特性カーブに従って推奨範囲６０９９や推奨マーク６１９８が自動的に提示されればよい。このように、推奨範囲や推奨マークを補聴機器の使用者（ユーザ）に提示することにより、補聴機器の使用者（ユーザ）はそれを参考にしながらも自分の意思によってＮＣ強度とＮＣ特性カーブを設定できる。設定を更新したら、ＯＫボタン６０６５を押して終了する。設定を変更したくない場合は、スライダーバー６０６７やダイヤル６１６８、ラジオボタン６０６９を操作することなく、ＯＫボタン６０６５を押して終了させる。ＮＣ強度、ＮＣ特性カーブ（ＮＣタイプ）を自動で設定したい場合は、スイッチ６０６６で指定できるようにしてもよい。
　第２の実施例によってもたらされる効果についてまとめておく。第２の実施例によってＮＣ機能のオン・オフ、強弱調整、ＮＣ特性カーブ変更の提案及び自動制御を行うことが可能となる。ＮＲ機能を利用したとしても、第１の経路の増幅の利得が小さい場合には位置Ｐ２のＳＮＲの改善は僅かである。これに対し、第２の実施例によって、ＳＮＲをさらに改善させることが可能となり、補聴機器の使用者の聴き取りの苦労を改善することができる。さらに、第２の実施例によって、補聴機器において重要な消費電力の削減をも可能となる。
　本開示の第３の実施例では、騒音が多少あるような環境であっても聴力測定を可能にする。
　第３の実施例を説明する前に、背景と課題を補足する。使用者に聴力に合わせて利得を変えるという特徴Ｂ２に起因して、補聴機器では、使用者の聴力を把握する必要がある。
　図６２には、従来の聴力測定を行う例を示している。第１の経路の他に第２の経路が存在するという特徴Ｂ３に起因して、外部からの騒音があると正確に聴力を測定できない。このため、一般に、聴力測定は防音室内で行うことが推奨されている。被検者６２９５は、防音室６２６３の中におり、外部からの騒音から遮断されている。被検者６２９５は、受話器６２６１を装着し、応答用押しボタン６２６２を手に持つ。測定装置の操作者６２９６は測定装置６２６０を操作して、被検者６２９５の受話器６２６１に測定信号を送る。被検者６２９５は応答用押しボタン６２６２を使って応答する。測定装置６２６０は、オージオメータと呼ばれる装置を使用することができる。図６２に示す例では、操作者６２９６と測定装置６２６０が防音室６２６３の外にいるように描いているが、防音室６２６３の中にいることもある。操作者６２９６と測定装置６２６０を収容するには、より大型の防音室６２６３が必要になる。
　図６３には、聴力測定における騒音が及ぼす影響を例示している。図３でも説明したように、僅かに聴こえるか聴こえないかの閾値を聴覚閾値と呼ぶが、図６３中の参照番号６３８３で示す聴覚閾値は健聴者の聴覚閾値である。健聴者の聴覚閾値を単に聴覚閾値と呼ぶこともある。純音聴力測定では、規定の周波数の純音のレベルを変化させて受話器６２６１を通して被検者６２９５に提示して、閾値を測定する。聴力測定のときに、図６３中の参照番号６３７５で示す騒音Ａがあったと仮定する。このとき、参照番号６３８６で示す純音（測定信号）を聴くことができるはずの健聴者であっても、純音６３８６は聴こえない。何故なら、純音６３８６よりも騒音Ａ６３７５の方の音圧レベルが大きいため、純音６３８６が騒音Ａ６３７５にマスキングされてしまうからである。このような理由で、聴力測定は、一般に、防音室６２６３で行うことが推奨される。一方で、難聴者の場合は、状況が異なる。
　図６４には、難聴者の聴力測定を行う際の騒音が及ぼす影響を例示している。ある難聴者の聴覚閾値が聴覚閾値６４８４であるとき、純音（測定信号）６４８６は聴こえない。騒音Ａ６４７５があってもなくても、聴覚閾値６４８４を持つ難聴者は、純音６４８６を聴くことができない。つまり、騒音Ａ６４７５は、聴覚閾値６４８４を持つ難聴者の聴力測定に影響しない。何故なら、騒音Ａ６４７５は、難聴者の聴覚閾値６４８４よりも低いからである。このように、聴力測定の際に必要とされる騒音の少なさは、被検者の聴覚閾値に依存する。例えば、健聴者と比べて、聴力が一様に５０ｄＢ悪化している難聴者の聴力測定を行う場合、健聴者と比べて、５０ｄＢ騒音が大きい環境であっても可能といえる。但し、被検者の聴覚閾値は聴力測定するまで未知であるため、測定に影響を与えない騒音レベルは、聴力測定するまで未知である。
　図６５には、従来の追加的な聴力測定の例を示している。近年の補聴機器には、聴力測定機能を持つものがある。図６２中の受話器６２６１の役割を、補聴機器６５０１が代用する。被検者６５９５は、補聴機器６５０１を装着する。操作者６５９６は測定装置６５６０を操作して、被検者６５９５の補聴機器６５０１に測定信号を送る。測定装置６５６０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）であり、聴力測定用のソフトウェアをインストールして測定信号を再生することができる。又は、測定装置６５６０は、補聴機器６５０１内に記憶している測定信号を再生するように制御信号を送る。そして、被検者６５９５は、口頭や身振りで応答する。図６５を「追加的」と呼ぶ理由は、図６２のような低騒音レベル環境での聴力測定を事前に行うことを前提にしているためである。事前測定によって、難聴のレベルが高い（悪い）ことが既知であり、防音室に入ることなく測定を実施できることが分っている被検者６５０１が対象となる。前回の聴力測定から数か月程度以内に再度測定したい場合などに、図６５に示す聴力測定が利用されることがある。追加的聴力測定を行いたくなる理由は、防音室での聴力測定よりも手軽だからである。
　図６６には、聴力測定時の騒音を低減したときの効果を例示している。例えば、聴覚閾値６６８３を持つ者が、聴力測定として純音（測定信号）６６８６を提示されたとき、参照番号６６７５で示す騒音Ａがあると、純音６６８６を聴くことはできない。騒音Ａ６６７５を、騒音Ｂ６６７６に低減できた場合、純音６６８６は聴覚閾値６６８３より上にあるため、聴覚閾値６６８３を持つ者は純音６６８６を聴くことができるようになる。
　以上をまとめる。聴力測定は、防音室などの静かな環境で行うことが推奨される。理由は、騒音が聴力測定に影響するためである。騒音の聴力測定への影響は、騒音の絶対レベルではなく、騒音と被検者の聴力の関係に依存するという特徴がある。被検者の聴力が悪化しているとき、健聴者の場合と比べて大きな騒音が許容される。防音室ほどでなくとも、騒音を低減することができるならば、より軽度な難聴者の聴力測定も可能となる。
　聴力測定は、通常、防音室などを備えた耳鼻咽喉科や補聴器店で行われている。わざわざ病院や店舗を訪れなければならないといった煩わしさを感じる難聴者は少なくない。また、補聴機器をもっと手軽に使いたいというニーズもある。例えば、家電量販店やインターネットで購入できる既存の集音器の中には、集音器の簡易測定機能を使用して集音器の設定を行うものもある。しかしながら、一般家庭の音環境は必ずしも静かとは言えない。図６３及び図６４に示したように、聴力の悪化が進んでいる場合、許容される騒音レベルは上がる。しかし、図４、図４５及び図４６に示したように、聴力にはさまざまなものがあり、たとえ平均聴力レベルが中度難聴レベルであったとしても一部の周波数帯域の聴力が正常レベルということもある。そこで、第３の実施例では、聴力測定をより手軽に、より正確に行うことを可能にする方法を提供する。そのために、聴力測定においてノイズキャンセリング技術を使ったノイズ低減方法を用いる。
　図６７には、本開示の第３の実施例に係る聴力測定の例を示している。被験者６７９５は、補聴機器６７０１を装着している。また、被験者６７９５は、測定装置６７６４を操作して、被検者６７９５の補聴機器６７０１に測定信号を送る。測定装置６７６４は、例えば、ＰＣであり、聴力測定用のソフトウェアをインストールして測定信号を再生することができる。又は、測定装置６７６４は、補聴機器６７０１内に記憶している測定信号を再生するように制御信号を送る。そして、被検者６７９５は、測定信号に対して口頭や身振り、ボタン操作などで応答する。第３の実施例によれば、図６７に示すように、自宅などの必ずしも静かではない場所において、補聴機器６７０１を用いて手軽に聴力測定することが可能になる。
　ノイズキャンセリング技術を聴力測定に使用することを考える場合に関係するいくつかの事柄について説明する。
　図６８には、イヤーピースやヘッドホンのクッションなどによるパッシブなノイズ減衰量と、アクティブなノイズ減衰量の例を示している。イヤーピースやヘッドホンのクッションはパッシブに騒音（ノイズ）を低減する。一般に、イヤーピースなどは、高い周波数のノイズ低減に有効である。図６８中の参照番号６８４８は、イヤーピースやヘッドホンのクッションなどによるパッシブなノイズ減衰量を例示している。ノイズ減衰量６８４８の具体例は、大まかに１０００Ｈｚ以上などである。これに対して、図４１に示したノイズキャンセリング技術はアクティブに騒音（ノイズ）を低減する。一般に、ノイズキャンセリング技術は、低い周波数のノイズ低減に有効である。図６８中の参照番号６８４７は、ノイズキャンセリング技術によるアクティブなノイズ減衰量を例示している。ノイズ減衰量６８４７の具体例は、大まかに１０００Ｈｚ以下などである。このように、ノイズキャンセリングには、効果を期待できる周波数帯域と効果を期待できない周波数帯域がある。
　聴力測定の１つである純音聴力測定では、図４に示したオージオグラムからも分かるように、主に、１２５Ｈｚ、２５０Ｈｚ、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚ，８０００Ｈｚを測定する。場合によっては、７５０Ｈｚ、１５００Ｈｚ、３０００Ｈｚ、６０００Ｈｚを測定することもある。ここで重要なことは、聴力測定装置は、測定中の測定音の周波数を知っているということである。一般のノイズキャンセリングヘッドホンの中には、環境音の中の騒音の種類によって、ノイズキャンセリング処理の特性カーブを変更するものもある。例えば、騒音の種類が電車か飛行機かを区別する。聴力測定装置にてノイズキャンセリング処理を行う場合、環境音の中の騒音の種類によって、ノイズキャンセリング処理の特性カーブを変更できるだけでなく、加えて、測定音の周波数によって、ノイズキャンセリング処理の特性カーブを変更することが可能である。聴力測定の目的では、例えば、２５０Ｈｚの測定を行っているとき、２５０Ｈｚの純音の聴き取りを阻害するノイズを低減できればよい。例えば、図４７中の特性カーブＢや特性カーブＣなどを使用することによって、特性カーブＡを使用する場合に比べて、特定の周波数帯域のノイズ減衰量を大きくすることが可能となる。
　図６９には、聴力測定信号の周波数に依存してノイズキャンセリングの特性カーブを変化させる例を示している。測定音をマスキングするノイズは主に測定音の近傍の周波数である。例えば、２５０ＭＨｚの純音６９８６が測定信号のとき、ノイズキャンセリングの特性カーブとして特性カーブＢ６９３５を用いることにより、純音６９８６をマスキングするノイズを効果的に低減できる。同様に、５００ＭＨｚの純音６９８７が測定信号のとき、特性カーブＣ６９３６を用いることにより、純音６９８７をマスキングするノイズを効果的に低減できる。他方、４０００ＭＨｚの純音６９８８が測定信号のときは、純音６９８８の周波数がノイズキャンセリングの効果を期待できる周波数帯域外であるため、ノイズキャンセリング機能をオフにしてよい。
　また、測定信号の周波数に依存してノイズキャンセリングの特性カーブを変化させることに加え、被検者がいる環境の騒音にも依存してノイズキャンセリングの特性カーブを変化させることができる。例えば、純音６９８６に適した特性カーブは、被検者のいる環境の騒音を加味して特性カーブＢＢ６９３８のようにすることもできる。特性カーブＢＢ６９３８のような形状は、測定信号の周波数よりも低い周波数の騒音がより大きい場合などに有効である。ノイズによるマスキングは、ノイズの周波数帯域を基準にして低域側よりも高域側の方が広範囲に渡る。同様に、純音６９８７に適した特性カーブを、被検者のいる環境の騒音を加味して特性カーブＣＣ６９３９のようにすることもできる。
　図７０には、本開示の第３の実施例に係る、ＮＣ信号生成機能を聴力測定に利用する補聴機器７００１の構成例を示している。図７０では、マイクロホン７００２、ＡＤＣ７００４、ＤＡＣ７００５、スピーカ７００３を左から右へ一直線に描いているが、図１３及び図４２に示した補聴機器と同様の構成である。以下では、図５０に示した補聴機器５００１との相違点を中心に、且つ主に聴力測定時における各部の機能及び動作について説明する。
　ＮＣ信号生成部７００８は、ＡＤＣ７００４からの音声信号を入力として受け取り、ノイズキャンセル信号（ＮＣ信号）を生成する。ＮＣ信号とは、図１３及び図４２に示した補聴機器において、第２の経路を経由し、位置Ｐ２に届いた騒音を空間上でキャンセルするための信号のことである。ＮＣ信号生成部７００８は、ＮＣ特性決定部７０３０が決定したＮＣ特性（ＮＣ特性カーブ、ＮＣ強度）を用いてＮＣ信号を生成する。生成されたＮＣ信号は、ＤＡＣ７００５へ送られる。
　音源記憶再生部７０１２は、測定信号を再生する。再生される測定信号は、ＰＣＭ（ｐｕｌｓｅ　ｃｏｄｅ　ｍｏｄｕｌａｔｉｏｎ）データなどを記憶してもよく、計算式で生成してもよい。再生される測定信号は、制御部７０１１からの制御によってレベルを変えてもよい。測定信号は、音源記憶再生部７０１２の他に、外部インターフェース７０１３から供給される構成でもよい。この場合、測定信号の周波数とレベルも外部インターフェース７０１３を経由して伝送される。伝送されない場合は、補聴機器が測定信号から検出してもよい。いずれにしても、補聴機器７００１は測定信号の周波数とレベルを知っている。ＮＲ部７００７は、聴力測定機能では使用しないため、ＡＤＣ７００４から音声信号を入力せず、且つ、音源記憶再生装置７０１２又は外部インターフェース７０１３から入力される測定信号をそのまま出力する。
　振幅・位相調整部７００９が、測定中の聴力レベルに合わせて測定信号の振幅を調整する構成でもよい。振幅・位相調整部７００９から出力された測定信号は、ＤＡＣ７００５へ送られる。ＤＡＣ７００５は、デジタル信号をアナログ信号に変換する。スピーカ７００３は、電気信号から音に変換する。スピーカ７００３から出力される音は、ＮＣ信号生成部で生成されたＮＣ信号が変換された音を含み、第２の経路を経由した騒音をキャンセルする。スピーカ７００３から出力される音は、測定信号を含む。ここでは、ＡＤＣ７００４とＤＡＣ７００５をＮＲ部７００７とＮＣ信号生成部７００８で共用するように描いているが別々に用意する構成でも構わない。
　外部インターフェース７０１３は、測定信号を受信してよい。構成情報記憶部７０１４や、学習済モデル記憶部７０１７に格納されるデータも、外部インターフェース７０１３を経由する。測定された聴力情報記憶部７９１５に格納されたデータを、外部インターフェース７０１３を経由して外部機器へ送信してもよい。補聴機器７００１から補聴機器７００１の使用者（ユーザ）への情報送信や、補聴機器７００１の使用者（ユーザ）からの情報受信にも使用することができる。
　聴力情報記憶部７０１５は、補聴機器７００１を用いて測定された使用者の聴力レベルを記憶する。もちろん、聴力情報記憶部７０１５は、図４で示したような聴力測定結果を記憶してもよい。聴力情報記憶部７０１５は、さらに、測定時のノイズキャンセリングの有無や特性、騒音レベルなどをともに記憶してもよい。
　センサー情報部７０１９は、各種センサーの情報である。センサーは、加速度センサー、ジャイロセンサーなどを含む。
　図７１には、本開示の第３の実施例における、学習済モデルの生成例を示している。学習済モデル７１４０は、測定信号情報、入力音声情報、構成情報を入力して、ＮＣ特性情報を推定して出力する。
　測定信号情報は、純音聴力測定であれば、測定信号の周波数、測定信号のレベルであってよい。測定信号のレベル値の単位は、オージオメータのダイヤルレベル（ｄＢ　ＨＬ）であっても、音圧レベル（ｄＢ　ＳＰＬ）であってもよい。純音聴力測定の他に、自記オージオメトリーでもよい。要するに、周波数毎の聴覚閾値を測定する閾値測定の測定信号であればよい。
　測定信号情報の学習用データの範囲について説明する。純音聴力測定の測定値の範囲は、図２に示したオージオグラムのように、－２０ｄＢ　ＨＬ～１２０ｄＢ　ＨＬである。例えば、－２０ｄＢ　ＨＬ～１２０ｄＢ　ＨＬとすることができる。その一方で、例えば、純音聴力測定の測定値の範囲であっても、補聴機器７００１での利用を考えると、０ｄＢ　ＨＬ以下には有用な情報はない。平均聴力レベル９０ｄＢ　ＨＬ以上は、補聴機器による補聴効果は低く、人工内耳の適用レベルとされている。これらを考え合わせると、学習用データ範囲として、例えば、０ｄＢ　ＨＬ～９０ｄＢ　ＨＬや、０ｄＢ　ＨＬ～８０ｄＢ　ＨＬに設定することが有効である。範囲外の値は境界値に丸めることができる。外耳道音圧で表現する場合は、周波数にも依るが、広く見積もって、０ｄＢ　ＳＰＬ～１１０ｄＢ　ＳＰＬである。
　入力音声情報は、補聴機器７００１のマイクロホン７００２から収音した音声信号である。聴力測定時においては、入力音声情報は環境騒音を指す。音声信号の代わりに、音圧レベルなどに変換したレベル値も使用することができる。さらに、振幅スペクトルやパワースペクトルの形式であってもよい。入力音声信号に裸耳利得を加え、外耳道音圧を求めてもよい。
　入力音声情報は、補聴機器７００１を両耳使用する場合、左右のマイクロホン７００２から収音される音が異なる。左右のマイクロホン７００２からの音を独立に処理する構成でもよく、まとめて処理する構成でもよいという点は、図１５に示した学習済モデルの生成例の場合と同様である。
　入力音声情報の学習用データの範囲について説明する。一般に、環境で受ける音の大きさは、広く見積もって、０ｄＢ　ＳＰＬ～１４０ｄＢ　ＳＰＬである。補聴機器７００１での利用を考えると、環境で受ける音の大きさの範囲は、例えば、２０ｄＢ　ＳＰＬ～１００ｄＢ　ＳＰＬに設定するのが有効である。外耳道音圧であれば、例えば、２０ｄＢ　ＳＰＬ～１２０ｄＢ　ＳＰＬに設定するのが有効である。
　測定信号情報の学習用データ範囲も、入力音声情報の学習用データ範囲も、データセットの段階で範囲限定されていてもよく、又は学習済モデル７１４０を学習する際に前処理として範囲限定してもよい。
　学習済モデル７１４０を学習する際、任意の学習用データを使用できるが、識別性能の向上や学習の高速化のために、学習用データを正規化することは一般に有用である。聴力情報の学習用データも、入力音声情報の学習用データも、正規化することは有効である。その場合、例えば、前述の学習用データ範囲を０．０～１．０の範囲に正規化する。学習用データセットの段階で正規化されていてもよく、又は学習済モデル７１４０を学習する際に前処理として正規化してもよい。
　構成情報は、イヤーピースの種類、着用方法、補聴機器のハウジングの特性などの情報を含む（前述）。片耳装用の場合、測定耳の反対耳のマスキングが行えないため、注意が必要である。補聴機器７００１のイヤーピース（ドーム）の種類などの情報（前述）を含む。従来の補聴器の調整によく使用されるＲＥＣＤなどの情報を含んでもよい。例えば、図１３及び図４２に示した補聴機器における第２の経路の音の強さや音色は、イヤーピースの種類の影響を受ける。測定音と第２の経路の音の比較を考える際、第２の経路の音の予測は重要であり、この予測にイヤーピースの種類やＲＥＣＤが役立つ。
　構成情報は、場合によっては省略することも可能である。例えば、商品構成として、両耳装用を前提とし、イヤーピースの音響特性が１種類のみの場合などである。ＴＷＳなどで補聴機能を利用するような場合が想定される。
　また、図１９に示したように、学習済モデル７１４０は、構成情報別に学習済モデルを生成してもよいが、ここでは詳細な説明を省略する。
　ＮＣ特性情報は、ノイズキャンセリングの強度情報を使用することができる。例えば、０．０～１．０のような、範囲を持つ値とすることができる。例えば、０．０をノイズキャンセリングのオフと定めてもよい。ノイズキャンセリングの特性カーブを、複数種類から選択する形態でもよい。図４７及び図６９を参照しながら説明したようなノイズキャンセリングの特性カーブの選択を行うことができる。学習済モデル７１４０からの出力であるＮＣ特性情報は、図５１に示した学習済モデル５１４０の生成例の場合と同様であり、ここでは詳細な説明を省略する。
　図７２には、学習用データ作成時のユーザインターフェース例を示している。携帯情報機器７２６４には、純音聴力測定の測定信号の周波数と構成情報が表示されている。例えば、学習を行う周波数にチェックを入れることで、チェックされた周波数が順に実行される。１２５Ｈｚ、２５０Ｈｚ、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚ、８０００Ｈｚは、純音聴力測定で通常必ず測定する周波数であり、デフォルトで選択されていてよい。７５０Ｈｚ、１５００Ｈｚ、３０００Ｈｚ、６０００Ｈｚは必要に応じてチェックする。構成情報は、図７２に示す例では、使用するイヤーピースの種類やイヤーモールドの選択、使用する補聴機器の左右の選択である。設定を完了すると、補聴機器７２０１Ａ及び７２０１Ｂへ設定情報が伝送され、補聴機器７２０１Ａ及び７２０１Ｂは設定に従った動作をする。補聴機器７２０１Ａ及び７２０１Ｂは従来のＲＩＣ型補聴器、補聴機器８２０１Ｂは従来のＴＷＳに近い形状で描いているが、これに限るものではない。補聴機器７２０１Ａ及び７２０１Ｂと携帯情報機器７２６４間の接続は、無線であっても有線であってもよい。
　図７３には、被検者（難聴者）が、ＮＣ特性情報を回答する際に使用するユーザインターフェース例を示している。参考情報として、現在の測定信号の周波数を表示してもよい。図７３に示す例では、現在の測定信号の周波数は５００Ｈｚとなっている。ＮＣ特性情報の例として、ＮＣ特性カーブとＮＣ強度を利用することができる。携帯情報機器７３６４には、ＮＣ特性カーブとＮＣ強度を調整するためのユーザインターフェースとして、ラジオボタン７３６９とスライダーバー７３６７が配置されている。測定信号の周波数毎にＮＣ特性情報を学習する。図６９を参照しながら説明したように、例えば、測定信号が純音６９８６のとき、ＮＣ特性カーブＢ６９３５を基準として、被検者が調整を行う。ＮＣ特性カーブの幅を狭くしたり広くしたりするには、ラジオボタン７３６９Ａを用いる。ＮＣ特性カーブの中心周波数を下げたり上げたりするには、ラジオボタン７３６９Ｂを用いる。この操作によって、例えば、ＮＣ特性カーブＢＢ６９３８を得る。例えば、測定信号が純音６９８７のとき、同様の操作によって、ＮＣ特性カーブＣＣ６９３９を得る。この例では、ＮＣ特性カーブの調整として、幅と周波数をパラメータとして選んだが、これに限るものではない。スライダーバー７３６７は、例えば、「強」の方へスライドさせると、補聴機器７００１のＮＣ強度が強い方向へ変化する。この例では、スイッチ７３６６によって、ＮＣ機能のオフを選べるようにしている。例えば、４ｋＨｚなど、高い周波数ではＮＣ機能の効果は期待できないため、ＮＣ機能を使用しないという選択をしてよい。入力音声情報として想定する音環境が被検者の周囲に再現され、その音環境の中で、被検者はその被検者にとって最適なＮＣ特性カーブとＮＣ強度をラジオボタン７３６９やスライダーバー７３６７で指定し、ＯＫボタン７３６５を押して決定する。これによって、学習用データセットに、測定信号情報、入力音声情報、構成情報、ＮＣ特性情報が追加される。
　図７４には、学習用データ作成時の手順をフローチャートの形式で示している。図示の処理手順は基本的に図５３に示したものと同様なので、ここでは説明を省略する。
　図７３及び図７４には、ＮＣ特性の候補を被検者が指定する例を示したが、これに限るものではない。例えば、補聴機器７００１のＮＣ特性が自動で設定され、被検者に提示され、その都度、被検者が快又は不快のいずれであるかを回答する形式でもよい。あるいは、例えば、異なる２組のＮＣ特性設定が被検者に提示され、どちらがより快適であるかを回答する形式であってもよい。要するに、被検者にとって快又は不快であるかを示すＮＣ特性に関する回答が得られればよい。
　図７５には、学習済モデルを生成しない場合のＮＣ特性推定部７５３１の構成例を示している。ＮＣ特性推定部７５３１は、補聴機器７００１のＮＣ特性決定部７０３０で利用される。
　測定信号情報は、測定音の周波数やレベルであり、測定信号でもよい。第１の音圧レベル計算部７５２８は、測定音の音圧レベルＰ＿１を計算する。第１の音圧レベル計算部７５２８に入力されるレベル値が既に測定音の音圧レベルである場合は、入力をそのまま出力する。第２の音圧レベル計算部７５２３は、測定音の周波数情報と構成情報（イヤーピースなどの音響特性）と入力音声レベル情報を用いて、第２の経路による外耳道内（例えば、図１３及び図４８に示した補聴機器における位置Ｐ２）の音を見積り、測定音をマスキングする可能性のある狭帯域雑音相当の音圧レベルＰ＿２を計算する。この計算には、例えば、ＩＳＯ５３２－１９７５を使うことができる。図４２に示したように、補聴機器４２０１の内側にマイクロホン４２２９を配置し、第２の経路による外耳道内の音の音圧レベルＰ＿２を直接得る構成でもよい。補聴機器４２０１の内側のマイクロホン４２２９からの収音のタイミングは、測定音を出力していないときが好適である。測定音が断続音の場合、測定音と測定音の間のタイミングで収音してもよい。測定音を出力しているタイミングでも収音する場合は、収音した音声信号から測定信号を除いたものを推定する。必要ＮＣ強度計算部７５２４は、第２の経路を経由した騒音のレベルと測定音のレベルの差から、測定に必要とされるノイズキャンセリング強度ＮＣ＿ＮＥＥＤを下式（８）のように計算する。
Figure JPOXMLDOC01-appb-M000008
　上式（８）において、定数βは、－５ｄＢ～１０ｄＢの補正値である。ＮＣ＿ＮＥＥＤは非負である。ＮＣ強度・ＮＣ特性カーブ計算部７５３２は、必要ＮＣ強度ＮＣ＿ＮＥＥＤから、ＮＣ強度ＮＣ＿ＬＥＶＥＬとＮＣ特性カーブＮＣ＿ＣＵＲＶＥを計算する。ＮＣ強度ＮＣ＿ＬＥＶＥＬは、関数ｆ３Ｌを使って下式（９）のように計算される。
Figure JPOXMLDOC01-appb-M000009
　上式（９）において、ＮＣ強度ＮＣ＿ＬＥＶＥＬを求めるｆ３Ｌは、下式（１０）のように表される。
Figure JPOXMLDOC01-appb-M000010
　但し、上式（１０）において、ｔｈ＿ＮＣはＮＣ処理の効果の閾値である。必要ＮＣ強度（ＮＣ＿ＮＥＥＤ）が閾値ｔｈ＿ＮＣより大きいとき、実現可能なＮＣ効果は必要を満たせない。ｔｈ＿ＮＣは、ＮＣ機能の特性カーブから定まる値である。例えば、ある特性カーブの２５０Ｈｚのノイズ減衰量が２５ｄＢのとき、ｔｈ＿ＮＣ＝２５ｄＢと定めることができる。また、ＮＣ特性カーブＮＣ＿ＣＵＲＶＥは、関数ｆ３Ｃを使って下式（１１）のように計算される。
Figure JPOXMLDOC01-appb-M000011
　上式（１１）において、ＮＣ特性カーブを求めるｆ３Ｃは、周波数帯域の広さを優先しつつ、ＮＣ＿ＬＥＶＥＬが充分な値になるようにＮＣ特性カーブを選択してよい。例えば、必要ＮＣ強度ＮＣ＿ＮＥＥＤが小さいとき、図４７に示したカーブＡ４７３４を優先し、必要ＮＣ強度ＮＣ＿ＮＥＥＤが大きいとき、図４７に示したカーブＣ４７３６を優先する。
　図７６には、図７５に示したＮＣ特性推定部７５３１においてＮＣ特性を推定するための処理手順をフローチャートの形式で示している。第１の音圧レベル計算部７５２８が測定信号情報から測定音の第１の音圧レベルＰ＿１を計算し（ステップＳ７６０１）、第２の音圧レベル計算部７５２３が、定音の周波数情報と入力音声情報と構成情報から測定音をマスキングする狭帯域雑音相当の第２の音圧レベルＰ＿２を計算する（ステップＳ７６０２）。次いで、必要ＮＣ強度計算部７５２４が、第１の音圧レベルＰ＿１と第２の音圧レベルＰ＿２から、必要ＮＣ強度ＮＣ＿ＮＥＥＤを計算し（ステップＳ７６０３）、ＮＣ強度・ＮＣ特性カーブ計算部７５３２が、必要ＮＣ強度ＮＣ＿ＮＥＥＤから、ＮＣ強度ＮＣ＿ＬＥＶＥＬとＮＣ特性カーブＮＣ＿ＣＵＲＶＥを計算し（ステップＳ７６０４）、ＮＣ特性推定部７５３１が、ＮＣ強度ＮＣ＿ＬＥＶＥＬとＮＣ特性カーブＮＣ＿ＣＵＲＶＥを出力して（ステップＳ７６０５）、本処理を終了する。
　図７５には、測定信号情報と入力音声情報と構成情報を使用してＮＣ特性を推定する構成例を示したが、測定信号情報だけを用いてＮＣ特性情報を定めることも可能である。つまり、図６９で説明した特性カーブＢ６９３５や特性カーブＣ６９３６のように定めてもよい。
　学習済モデルを学習するためには多くの学習用データが必要となる。図７２～図７４を参照しながら手順例を説明した通り、学習用データ作成は時間と手間のかかる作業である。多くの学習用データを集める際に重要なことは、人手で行わなければならない作業を可能な限り減らすことである。図７５及び図７６で説明した、学習済モデルを用いない方法は、学習用データを効率よく構築する際の道具として利用することができる。まず、学習済モデルを用いない方法を使用してＮＣ特性の候補を準備する。次に、その候補の微調整を人手で行い、それを学習用データとする。例えば、学習済モデルを用いない方法で計算したＮＣ特性の候補を用いて、図７３中のスライダーバー７３６７やラジオボタン７３６９の初期値を決める。このようにすることで、被検者は、初期値の近辺のみを試すだけで、回答を決定できる。被検者に２択問題を回答させる構成の場合であれば、必要な２択問題の個数を減らすことができる。この方法によって、作業効率を格段に向上できる。さらに、図７５及び図７６で示した学習済モデルを用いない方法は、演算が軽いため、廉価な補聴機器であっても実行可能である。つまり、学習済モデルによる推定の簡易的な代替として利用することができる。
　図７７には、補聴機器７００１におけるＮＣ機能の処理手順をフローチャートの形式で示している。この処理手順は基本的に図５６と同様なので、ここでは説明を省略する。
　図７８には、本開示の第３の実施例に係る、学習済モデルを推定に使用するＮＣ特性決定部の構成例を示している。ＮＣ特性決定部７８３０の構成は、基本的には図５７に示したＮＣ特性決定部と同様であり、ここでは説明を省略する。
　図７９には、本開示の第３の実施例に係る、学習済モデルを使用しないＮＣ特性決定部の構成例を示している。ＮＣ特性決定部７９３０の構成は、基本的には図５８に示したＮＣ特性決定部と同じであり、ここでは説明を省略する。
　ＮＣ特性カーブとＮＣ強度の更新をユーザに提案する処理として、例えば図５９にフローチャートの形式で示した処理手順を利用することができる。新たに計算されたＮＣ特性カーブとＮＣ強度が、現在のＮＣ特性カーブとＮＣ強度と異なる場合、自動的に更新する方法と、補聴機器７００１の使用者に更新を提案する方法の２通りがある。自動で更新する場合、頻繁な更新は不快感につながる恐れがあることから、ある程度の時定数を持たせて更新することが好ましい。補聴機器７００１の使用者に更新を提案する場合は、例えば、図５９に示したフローチャートを使用することができる。ステップＳ５９０１では、新たなＮＣ特性カーブ・ＮＣ強度を計算する。これは、図７８及び図７９に示した通りである。ステップＳ５９０２では、新たに計算されたＮＣ特性カーブ・ＮＣ強度と現在のＮＣ特性カーブ・ＮＣ強度を比較する。新たに計算されたＮＣ特性カーブ・ＮＣ強度と現在のＮＣ特性カーブ・ＮＣ強度が異ならない場合は（ステップＳ５９０２のＮｏ）、ステップＳ５９０１へ戻る。新たに計算されたＮＣ特性カーブ・ＮＣ強度と現在のＮＣ特性カーブ・ＮＣ強度が異なる場合は（ステップＳ５９０２のＹｅｓ）、ステップＳ５９０３へ進み、補聴機器７００１の使用者に対して、ＮＣ特性カーブ・ＮＣ強度の更新を提案する。提案方法の例は、図２９と同様に行うことができる。次いでステップＳ５９０４では、提案に対する回答を得る。回答方法の例は、図３０と同様に行うことができる。ステップＳ５９０５では、回答内容によって分岐する。回答が更新を希望するものであれば（ステップＳ５９０６のＹｅｓ）、ステップＳ５９０６へ進み、ＮＣ特性カーブ・ＮＣ強度を更新して、本処理を終了する。更新を希望しないものであれば（ステップＳ５９０６のＮｏ）、ステップＳ５９０７へ進み、ＮＣ特性カーブ・ＮＣ強度を更新しないで、本処理を終了する。
　図８０には、ＮＣ強度とＮＣ特性カーブの更新を補聴機器７００１の使用者に提案するとともに補聴機器７００１の使用者からの回答を受け取る際に使用する別のユーザインターフェース例を示している。ユーザインターフェースの基本的な構成は、図６０に示した例と同様である。また、図８０に示す例では、ＮＣ特性カーブを調整するために、例えば、幅と周波数を調整する。幅を表すラジオボタン８０６９Ａと周波数を表すラジオボタン８０６９Ｂがあり、推奨マーク８０９８をともに表示する。推奨マーク８０９８Ａ～Ｄは、新たに計算されたＮＣ特性カーブから定まる。例えば、推奨マーク８０９８Ａは、新たに計算されたＮＣ特性カーブの幅が標準を表す「０」の例であり、推奨マーク８０９８Ｃは、新たに計算されたＮＣ特性カーブの幅が少し広めを表す「＋１」の例である。推奨マーク８０９８Ｂは、新たに計算されたＮＣ特性カーブの周波数が標準を表す「０」の例であり、推奨マーク８０９８Ｄも、新たに計算されたＮＣ特性カーブの周波数が標準を表す「０」の例である。
　図８１には、推奨範囲を提示するとともに補聴機器の使用者からの回答を得る他のユーザインターフェース例を示している。ユーザインターフェースの基本的な構成は、図６１に示した例と同様である。図８０で例示した推奨マーク８０９８は、図８１中の推奨マーク８１９８Ｅや推奨マーク８１９８Ｆ、推奨マーク８１９８Ｇ、推奨マーク８１９８Ｈのようであってもよい。図８０と図８１では、ＮＣ強度のためにスライダーバー８０６７とダイヤル８１６８、ＮＣ特性カーブのためにラジオボタン８０６９を例として説明したが、これらに限定されるものではなく、要するに、新たに計算されたＮＣ強度とＮＣ特性カーブに従って推奨範囲８０９９や推奨マーク８０９８が自動的に提示されればよい。このように、推奨範囲や推奨マークを補聴機器の使用者（ユーザ）に提示することにより、補聴機器の使用者（ユーザ）はそれを参考にしながらも自分の意思によってＮＣ強度とＮＣ特性カーブを設定できる。設定を更新したら、ＯＫボタン８０６５を押して終了する。設定を変更したくない場合は、スライダーバー８０６７やダイヤル８１６８、ラジオボタン８０６９を操作することなく、ＯＫボタン８０６５を押して終了させる。ＮＣ強度、ＮＣ特性カーブを自動で設定したい場合は、スイッチ８０６６Ａで指定できるようにしてもよい。ＮＣのオン／オフの設定は、スイッチ８０６６Ｂで指定できるようにしてよい。
　図８２には、音環境の変更をユーザに提案する処理手順をフローチャートの形式で示している。ＮＣの効果が必要性を満たせない場合には、測定を中断又は中止することを補聴機器の使用者に提案することができる。例えば、掃除機の音が問題であれば、掃除機を停止することができる。部屋の前の道路の交通音が問題であれば、道路から遠い部屋に移動することができる。
　まず、必要ＮＣ強度ＮＣ＿ＮＥＥＤを計算する（ステップＳ８２０１）。次いで、ＮＣの効果を判定する（ステップＳ８２０２）。具体的には、必要ＮＣ強度ＮＣ＿ＮＥＥＤを閾値ｔｈ＿ＮＣと大小比較して、必要ＮＣ強度ＮＣ＿ＮＥＥＤが閾値ｔｈ＿ＮＣより大きい場合には、実現可能な効果は必要を満たせないと判定し、必要ＮＣ強度ＮＣ＿ＮＥＥＤが閾値ｔｈ＿ＮＣ以下であれば、実現可能な効果が必要を満たすと判定することができる。
　ＮＣが効果的な場合は（ステップＳ８２０２のＹｅｓ）、ステップＳ８２０１へ戻る。一方、ＮＣが効果的でない場合には（ステップＳ８２０２のＮｏ）、ＮＣが効果的でないことを補聴機器の使用者（ユーザ）に伝達し、さらに補聴機器７００１の使用者（ユーザ）に対して音環境の変更を提案する（ステップＳ８２０３）。提案方法の例は、図２９と同様に行うことができる。ステップＳ８２０４では、提案に対する回答を補聴機器の使用者（ユーザ）から得る。回答方法の例は、図３０と同様に行うことができる。
　ステップＳ８２０４においてユーザから得た回答内容によって分岐する。ユーザの回答が変更を希望するものであれば（ステップＳ８２０５のＹｅｓ）、聴力測定を中断して（ステップＳ８２０６）、本処理を終了する。より静かな環境において聴力測定を再開する場合、聴力測定は、最初からやり直してもよく、続きから行ってもよい。聴力測定は時間のかかる測定であるため、続きから行うことでユーザの負担を軽減できる。測定を中断するときは、その旨のメッセージを伝えてよい。一方、ユーザの回答が変更を希望しないものであれば（ステップＳ８２０５のＮｏ）、聴力測定を中止して（ステップＳ８２０７）、本処理を終了する。測定を中止するときは、環境騒音が原因で測定を行えない旨のメッセージをユーザに伝えてよい。
　図８３には、聴力測定に影響を与える可能性のある騒音を補聴機器の使用者（ユーザ）に知らせる例を示している。聴力測定に影響を与える可能性のある騒音とは、例えば、図６３において、聴覚閾値６３８３を持つ者が２５０Ｈｚの聴力測定を行う際の騒音Ａ６３７５を指す。音の専門家でない一般の人にとって、どの音が聴力測定に影響する環境騒音であるのかを認識することは容易ではない場合がある。そこで、聴力測定を行う現場で問題になっている環境騒音を補聴機器８３０１のマイクロホンから収音し、それを増幅し、補聴機器８３０１の使用者（ユーザ）に向けて出力する。出力する際に用いるスピーカは、補聴機器８３０１のスピーカでもよく、補聴機器８３０１と接続された携帯情報機器８３６４Ａのスピーカでもよい。増幅する際に、問題になっている周波数帯域に絞ってもよい。そのために、バンドパスフィルタやローパスフィルタ、ハイパスフィルタ、バンドストップフィルタ等を使うことができる。補聴機器８３０１の使用者（ユーザ）が聴こえる程度に増幅して、問題となっている環境騒音を補聴機器８３０１の使用者（ユーザ）に聴かせることによって、補聴機器８３０１の使用者（ユーザ）は問題となっている環境騒音を具体的に認識することができ、対策を打つための助けとなる。対策とは、その騒音を発生させている機器の電源スイッチを切ることや、その騒音がしない部屋へ移動することなどである。補聴機器８３０１の使用者（ユーザ）に向けて出力する環境騒音は、マイクロホンから収音した音をリアルタイムで出力する構成でもよく、一度録音し、それを出力する構成でもよい。携帯情報機器８３６４を使用して環境騒音を確認するのは、家族など補聴機器８３０１の使用者本人以外であってもよい。家族などは、補聴機器の使用者の隣にいてもよく、ネットワークを介して携帯情報機器８３６４が接続される、補聴機器８３０１の使用者本人から離間した場所にいてもよい。
　ＮＣを用いて聴力測定を行った際、そのことを聴力測定データとともに記録してよい。例えば、１２５Ｈｚ、２５０Ｈｚにノイズキャンセリングを用い、それ以外の周波数にノイズキャンセリングを用いていないことを記録する。さらに、環境騒音レベルを聴力測定データとともに記録してよい。環境騒音レベルは、例えば、全周波数帯域に渡って１つの値で代表してもよく、聴力測定の周波数毎の値でもよい。外部インターフェース７０１３を経由して、聴力測定結果を補聴機器の外部へ伝送することができる。その際、聴力測定データとともに、ノイズキャンセリングの使用の有無、ＮＣ特性カーブ、ＮＣ強度、環境騒音レベル、構成情報を伝送することができる。これによって、どのような条件で測定された結果なのかを後から確認することができる。外部インターフェースを経由して、補聴機器８３０１の外部へ伝送された聴力測定結果は、例えば、携帯情報機器８３６４の画面に表示する構成にできる。例えば、図４に示したようなオージオグラムは、広く一般に使われている形式であるため分かり易い。補聴機器８３０１の外部の伝送先は、ネットワークに接続された第３者の情報機器（図示しない）であってもよい。
　図８４～図８９には、聴力測定結果の表示例を示している。ＮＣを用いて聴力測定を行った周波数が分かるように、オージオグラムの内外にＮＣ使用表記８４３３を表示する例である。この例は、１２５Ｈｚと２５０Ｈｚにノイズキャンセリングを用いた聴力測定結果である。図８４中のＮＣ使用表記８４３３Ａは、聴力測定値の近傍に「Ｎ」マークを表示する例である。図８５中のＮＣ使用表記８４３３Ｂは、オージオグラムの外の該当周波数位置に「Ｎ」マークを表示する例である。図８６中のＮＣ使用表記８４３３Ｃは、オージオグラムの内の該当周波数に網掛け表示する例である。図８７中のＮＣ使用表記８４３３Ｄは、オージオグラムの聴力測定結果を表すマークの色を他と区別して表示する例である。図８８中のＮＣ使用表記８４３３Ｅは、オージオグラムの聴力測定結果を表すマークの形を他と区別して表示する例である。図８９中のＮＣ使用表記８４３３Ｆは、ＮＣを用いて聴力測定を行った周波数を表示する例である。ＮＣ使用表記８４３３Ａ～Ｆに限るものではなく、他の表記方法でもよい。要するに、ＮＣを用いて聴力測定を行ったことを読み取れる形式であればよい。聴力測定結果は、携帯情報機器などのスクリーン上に表示してもよく、紙などに印刷してもよい。
　本開示の第３の実施例におけるＮＣ特性情報の推定を補聴機器の形態で説明したが、図６２で説明した従来の測定装置６２６０の受話器６２６１にノイズキャンセリング機能を付加する構成も可能である。このとき、図２９や図３０、図８０、図８１で説明したユーザインターフェースは、測定装置６２６０や測定装置操作者６２９６が操作する図示しない情報機器において利用することができる。
　第３の実施例によってもたらされる効果についてまとめておく。騒音のある環境ではその騒音が検査音をマスキングしてしまい、正確な測定に支障をきたす。これに対し、第３の実施例では、測定音に合わせてノイズキャンセリング処理を行うことで、測定に悪影響を及ぼす騒音を効率的に低減することによって、騒音が多少あるような環境であっても聴力測定を可能にするという効果がある。これによって、例えば、家庭のような場所であっても、手軽に聴力測定を実施できる機会が増える。さらに、ノイズキャンセリングを用いて測定を行ったことを、聴力測定結果とともに表示することで、どのような条件で測定された測定結果であるかを後から確認することが可能となる。
　以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本開示は、片耳装用又は両耳装用のいずれであるか及び耳穴型や耳掛け型のいずれであるかなどを始めとする着用方法や、イヤーピース（ドーム）の種類や耳穴型や耳掛け型の形状など補聴機器のハウジングの特性に関する情報など、構成情報が異なるさまざまの補聴機器に適用することができる。また、本明細書では、本開示を主に補聴機器に適用した実施形態を中心に説明してきたが、さらにヒアスルー機能の付いたＴＷＳやヘッドホン、イヤホン、集音器、ヘッドマウントディスプレイ（ＨＭＤ）などにも同様に適用することができる。
　要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　なお、本開示は、以下のような構成をとることも可能である。
（１）周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定部と、
　前記推定された制御情報に基づいて入力音声信号を処理する信号処理部と、
を具備する音声処理装置。
（２）前記聴覚閾値情報は、前記音声処理装置の使用者の周波数毎の聴覚閾値を測定した閾値測定の結果、又は聴力測定機能で使用する測定信号の周波数毎の音圧レベルの情報のうち、少なくとも一方を含む、
上記（１）に記載の音声処理装置。
（２－１）前記聴覚閾値情報は、聴覚閾値測定での測定結果を含む、
上記（２）に記載の音声処理装置。
（２－２）前記聴覚閾値測定は、純音聴力測定又は自記ジオメトリーのうち少なくとも一方の測定結果を含む、
上記（２－１）に記載の音声処理装置。
（２－３）前記純音聴力測定の測定結果は、気導聴力測定又は骨導聴力測定のうち少なくとも一方の測定結果を含む、
上記（２－２）に記載の音声処理装置。
（２－４）前記聴覚閾値情報は、聴力測定の結果から処方式によって計算された利得情報を含む、
上記（２）に記載の音声処理装置。
（２－５）前記聴覚閾値情報は、聴覚閾値上での測定結果を含む、
上記（２）に記載の音声処理装置。
（２－６）前記聴覚閾値上での測定は、語音弁別測定又は歪語音弁別測定のうち少なくとも一方の測定結果を含む、
上記（２-５）に記載の音声処理装置。
（２－７）前記聴力測定機能は聴覚閾値測定である、
上記（２）に記載の音声処理装置。
（２－８）前記聴覚閾値測定は、純音聴力測定又は自記ジオメトリーのうち少なくとも一方の測定結果を含む、
上記（２－７）に記載の音声処理装置。
（２－９）前記純音聴力測定の測定結果は、気導聴力測定又は骨導聴力測定のうち少なくとも一方の測定結果を含む、
上記（２－８）に記載の音声処理装置。
（２－１０）前記測定信号の周波数及び音圧レベルが聴力測定に必要な周波数及び音圧レベルに限定される、
上記（２）に記載の音声処理装置。
（３）前記入力音声情報は、前記信号処理部から出力される音声信号を出力する音声処理装置の入力音声である、
上記（１）又は（２）のいずれかに記載の音声処理装置。
（３－１）前記入力音声情報は、前記音声処理装置の使用者の自声の発声を含む、
上記（３）に記載の音声処理装置。
（３－２）前記入力音声情報は、前記音声処理装置の入力音声のレベル値を含む、
上記（３）に記載の音声処理装置。
（３－３）前記入力音声情報は、前記音声処理装置の入力音声の振幅スペクトル又はパワースペクトルのうち少なくとも一方を含む、
上記（３）に記載の音声処理装置。
（４）前記情報推定部は、さらに前記音声処理装置の構成情報に基づいて前記制御情報を推定する、
上記（１）に記載の音声処理装置。
（４－１）前記構成情報は、前記音声処理装置が片耳装用又は両耳装用のいずれであるかを示す情報を含む、
上記（４）に記載の音声処理装置。
（４－２）前記構成情報は、前記音声処理装置に接続されるイヤーピースの種類又は前記イヤーピースの音響特性情報のうち少なくとも１つを含む、
上記（４）に記載の音声処理装置。
（５）前記情報推定部は、前記信号処理部における許容遅延量に関する情報、又は、前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性情報のうち少なくとも一方を推定する、
上記（１）乃至（４）のいずれかに記載の音声処理装置。
（５－１）前記情報推定部は、前記信号処理部における処理全体の許容遅延量を推定する、
上記（５）に記載の音声処理装置。
（５－２）前記情報推定部は、前記信号処理部における一部の処理の許容遅延量を推定する、
上記（５）に記載の音声処理装置。
（５－３）前記一部の処理は、ノイズリダクション処理又は突発音抑制処理のうち少なくとも一方を含む、
上記（５-２）に記載の音声処理装置。
（５－４）前記許容遅延量は遅延時間または遅延サンプル数である、
上記（５）に記載の音声処理装置。
（６）前記ノイズキャンセリング特性情報は、ノイズキャンセリング特性カーブ又はノイズキャンセリング強度のうち少なくとも一方を含む、
上記（５）に記載の音声処理装置。
（７）前記情報推定部は、少なくとも使用者の聴力情報と前記入力音声情報を説明変数とし制御情報を目的変数として事前に学習された学習済モデルを使用して前記制御情報を推定する、
上記（１）乃至（６）のいずれかに記載の音声処理装置。
（８）前記信号処理部は前記音声処理装置の入力音声信号を処理し、
　前記情報推定部は、前記音声処理装置の構成情報を条件として学習された前記学習済モデルを使用して前記制御情報を推定する、
上記（７）に記載の音声処理装置。
（９）前記学習済モデルは、第１の学習済モデルと第２の学習済モデルで構成され、
　前記第２の学習済モデルの出力を前記第１の学習済モデルの入力とする、
上記（７）又は（８）のいずれかに記載の音声処理装置。
（９－１）前記音声処理装置は補聴機器に適用され、
　前記第１の学習済モデルの学習用データセットは難聴者の協力を必要とし、前記第２の学習済モデルの学習用データセットはなんちょうしゃの協力を必要としない、
上記（９）に記載の音声処理装置。
（９－２）前記音声処理装置の入力音声信号を処理し、
　前記第２の学習済モデルは、入力音声情報と前記音声処理装置の構成情報を説明変数とし自声有無情報を目的変数として事前に学習され、
　第１の学習済モデルは、聴力情報と入力音声情報と前記音声処理装置の構成情報と自声有無情報を説明変数とし許容遅延量情報を目的変数として事前に学習される、
上記（９）に記載の音声処理装置。
（９－３）前記信号処理部は前記音声処理装置の入力音声信号を処理し、
　前記第２の学習済モデルは、センサー情報を説明変数とし体動情報又は顔情報を目的変数として事前に学習され、
　第１の学習済モデルは、聴力情報と入力音声情報と前記音声処理装置の構成情報と前記音声処理装置の接続情報とセンサー情報と体動情報又は顔情報を説明変数とし許容遅延量情報を目的変数として事前に学習される、
上記（よ）に記載の音声処理装置。
（９－３－１）前記接続情報は、前記補聴機器と接続し、前記補聴機器に音声情報を伝送する外部機器の種別情報を含む、
上記（９－３）に記載の音声処理装置。
（９－３－２）前記接続情報は、前記音声処理装置と接続し、前記音声処理装置に音声情報を伝送する外部機器から伝送されるコンテンツのコンテンツジャンル情報を含む、
上記（９－３）に記載の音声処理装置。
（９－３－３）前記センサー情報は、前記音声処理装置に搭載されたセンサーから得られたセンサー情報を含む、
上記（９－３）に記載の音声処理装置。
（９－３－４）前記センサー情報は、ジャイロセンサー情報、カメラ情報のうち少なくとも１つを含む、
上記（９－３）に記載の音声処理装置。
（１０）前記情報推定部は、
　前記測定の結果から処方式によって計算された利得情報と前記音声処理装置への入力音声の帯域別音圧レベルから第１の音圧レベルを計算し、
　前記帯域別音圧レベルと前記音声処理装置の構成情報に基づく音響特性から第２の音圧レベルを計算し、
　前記第１の音圧レベルと前記第２の音圧レベルの差に基づいて、前記制御情報として前記信号処理部における許容遅延量、又は前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性情報を決定する、
上記（２）に記載の音声処理装置。
（１０－１）制御情報を推定する学習済モデルの学習用データ作成のためのユーザインターフェースにおいて、前記決定した制御情報を初期値に用いる、
上記（１０）に記載の音声処理装置。
（１１）前記情報推定部は、
　前記測定信号の周波数情報及び音圧レベル情報と前記音声処理装置への入力音声の帯域別音圧レベルから第１の音圧レベルを計算し、
　前記帯域別音圧レベルと前記音声処理装置の構成情報に基づく音響特性から第２の音圧レベルを計算し、
　前記第１の音圧レベルと前記第２の音圧レベルの差から聴力測定に必要なノイズキャンセリング強度を計算し、
　前記必要なノイズキャンセリング強度に基づいて、前記制御情報として前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性を決定する、
上記（２）に記載の音声処理装置。
（１１－１）ノイズキャンセリング特性情報を推定する学習済モデルの学習用データ作成のためのユーザインターフェースにおいて、前記決定したノイズキャンセリング特性を初期値に用いる、
上記（１１）に記載の音声処理装置。
（１２）前記構成情報は、前記音声処理装置のイヤーピースの種類、着用方法、前記音声処理装置のハウジングの特性情報のうち、少なくとも１つを含む、
上記（４）、（１０）、（１１）のいずれか１項に記載の音声処理装置。
（１３）前記音声処理装置において現在使用している第１の制御情報と前記情報推定部が新たに推定した第２の制御情報が異なるときに、前記音声処理装置で使用する制御情報の変更に関する処理を行う、
上記（１）乃至（１２）のいずれかに記載の音声処理装置。
（１３－１）前記第１の制御情報から前記第２の制御情報への変更を自動で行う、
上記（１３）に記載の音声処理装置。
（１４）前記第１の制御情報から前記第２の制御情報への変更を前記音声処理装置の使用者に推奨し、前記使用者からの回答に基づいて制御情報の変更を行う、
上記（１３）に記載の音声処理装置。
（１４－１）前記音声処理装置の聴覚情報出力手段から音声メッセージ、アラーム音、又は音楽を出力して前記推奨を行う、
上記（１４）に記載の音声処理装置。
（１４－２）前記音声処理装置と接続された外部機器の出力手段を用いて前記推奨を行う、
上記（１４）に記載の音声処理装置。
（１４－２－１）前記外部機器の聴覚出力手段から音声メッセージ、アラーム音、又は音楽を出力して前記推奨を行う、
上記（１４－２）に記載の音声処理装置。
（１４－２－２）前記外部機器の視覚出力手段から言語メッセージ、記号、又は絵文字を出力して前記推奨を行う、
上記（１４－２）に記載の音声処理装置。
（１４－２－３）前記外部機器の触覚出力手段からバイブレーションを出力して前記推奨を行う、
上記（１４－２）に記載の音声処理装置。
（１４－３）前記補聴機器の物理的なボタン、タッチセンサー、加速度センサー、又はマイクロホンへの入力に基づいて前記使用者からの回答を取得する、
上記（１４）に記載の音声処理装置。
（１４－４）前記音声処理装置と接続された外部機器の物理的なボタン、ユーザインターフェース、加速度センサー、又はマイクロホンへの入力に基づいて前記使用者からの回答を取得する、
上記（１４）に記載の音声処理装置。
（１５）前記音声処理装置と接続された外部機器の画面上に、使用者が制御情報を設定するための設定手段とともに、新たに推定した前記第２の制御情報を、推奨マーク、推奨値、又は推奨範囲として表示する、
上記（１４）に記載の音声処理装置。
（１５－１）前記設定手段は、スライダーバー、ダイヤル、又はラジオボタンからなる、
上記（１５）に記載の音声処理装置。
（１６）計算された必要なノイズキャンセリング強度によるノイズキャンセリングの効果が十分でないときに、前記音声処理装置の使用者にノイズキャンセリングの効果が十分でないことを伝達するとともに音環境の変更を提案し、前記使用者からの回答に基づいて聴力測定の中断又は中止を決定する、
上記（１３）に記載の音声処理装置。
（１６－１）前記使用者からの回答に基づいて聴力測定を中断した後に、変更後の音環境において聴力測定を途中から再開する、
上記（１６）に記載の音声処理装置。
（１７）前記音声処理装置は、イヤホン、ヘッドホン、補聴器、集音器、ヘッドマウントディスプレイのいずれかである、
上記（１）乃至（１６）のいずれかに記載の音声処理装置。
（１８）周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定ステップと、
　前記推定された制御情報に基づいて入力音声信号を処理する信号処理ステップと、
を有する音声処理方法。
（１９）聴力測定機能を備えた補聴機器であって、
　聴力測定実施時に前記補聴機器の周囲音を収音し、
　前記収音した周囲音を増幅し、
　前記補聴機器又は前記補聴機器と接続した外部機器のスピーカから、前記増幅した周囲音を出力する、
補聴機器。
（１９－１）聴力測定用の測定音が停止しているときに周囲音の収音を行う、
上記（１９）に記載の補聴機器。
（２０）ノイズキャンセリング機能をさらに備え、
　聴力測定時にノイズキャンセリングを使用したことを示す情報を聴力測定の結果とともに記録する、
上記（１９）に記載の補聴機器。
（２０－１）聴力測定の結果とともに、ノイズキャンセリングの有無を表示する、
上記（２０）に記載の補聴機器。
　１０１…補聴機器、１０２…マイクロホン、１０３…スピーカ
　１０４…ＡＤＣ、１０５…ＤＡＣ、１０６…信号処理部
　６０１…補聴機器、６０２…マイクロホン、６０３…スピーカ
　６０４…ＡＤＣ、６０５…ＤＡＣ、６０６…信号処理部
　１３０１…補聴機器、１３０２…マイクロホン、１３０３…スピーカ
　１３０４…ＡＤＣ、１３０５…ＤＡＣ、１３０６…信号処理部
　１３１２…音源記憶再生部、１３１３…外部インターフェース
　１４０１…補聴機器、１４０２…マイクロホン、１４０３…スピーカ
　１４０４…ＡＤＣ、１４０５…ＤＡＣ、１４０７…ＮＲ部
　１４０９…振幅・位相調整部、１４１１…制御部
　１４１２…音源記憶再生部、１４１３…外部インターフェース
　１４１４…構成情報記憶部、１４１５…聴力情報記憶部
　１４１６…遅延量決定部、１４１７…学習済モデル記憶部
　１５０１…学習済モデル
　１６０１…補聴機器、１６６４…携帯情報機器
　１７６４…携帯情報機器
　１９４０…学習済モデルＡ、１９４１…学習済モデルＢ
　１９４２…学習済モデルＣ
　２０４０…第１の学習済モデル、２０４１…第２の学習済モデル
　２１２２…第１の音圧レベル計算部
　２１２３…第２の音圧レベル計算部、２１２４…音圧レベル差計算部
　２１２５…許容遅延量計算部、２１２６…許容遅延量推定部
　２４１６…遅延量決定部、２４２７…遅延量計算部
　２４４０…学習済モデル
　２６１６…遅延量決定部、２６２６…許容遅延量推定部
　２６２７…遅延量計算部
　２９０１…補聴機器、２９６４…携帯情報機器
　３００１…補聴機器、３０６４…携帯情報機器
　３３０７…ＮＲ部、３３５１…入力バッファ、３３５２…出力バッファ
　３３５３…窓掛け部、３３５４…ＩＦＦＴＭ３３５５…ＦＦＴ
　３３５６…ＩＦＦＴ、３３５７…ＮＲ＿ｃｏｒｅ
　３５０１…補聴機器、３５０２…マイクロホン、３５０３…スピーカ
　３５０４…ＡＤＣ、３５０５…ＤＡＣ、３５０７…ＮＲ部
　３５０９…振幅・位相調整部、３５１１…制御部
　３５１２…音源記憶再生部、３５１３…外部インターフェース
　３５１４…構成情報記憶部、３５１５…聴力情報記憶部
　３５１６…遅延量決定部、３５１７…学習済モデル記憶部
　３５１８…接続情報記憶部、３５１９…センサー情報部
　３６４０…学習済モデル
　３７９７…カメラ
　３８４０…第１の学習済モデル、３８４１…第２の学習済モデル
　３９１６…遅延量決定部、３９２７…遅延量計算部
　３９４０…学習済モデル
　４２０１…補聴機器、４２０２…マイクロホン、４２０３…スピーカ
　４２０４…ＡＤＣ、４２０５…ＤＡＣ、４２０６…信号処理部
　４２１２…音源記憶再生部、４２１３…外部インターフェース
　４２２９…マイクロホン
　５００１…補聴機器、５００２…マイクロホン、５００３…スピーカ
　５００４…ＡＤＣ、５００５…ＤＡＣ、５００７…ＮＲ部
　５００８…ＮＣ信号生成部、５００９…振幅・位相調整部
　５０１１…制御部、５０１２…音源記憶再生部
　５０１３…外部インターフェース、５０１４…構成情報記憶部
　５０１５…聴力記憶部、５０１７…学習済モデル記憶部
　５０１９…センサー情報部、５０３０…ＮＣ特性決定部
　５１４０…学習済モデル
　５２６４…携帯情報機器
　５４２２…第１の音圧レベル計算部
　５４２３…第２の音圧レベル計算部、５４２４…音圧レベル差計算部
　５４３１…ＮＣ特性推定部
　５４３２…ＮＣ強度・ＮＣ特性カーブ計算部
　５７３０…ＮＣ特性決定部、５７４０…学習済モデル
　５８３０…ＮＣ特性決定部、５８３１…ＮＣ特性推定部
　６２６０…測定装置、６２６１…受話器、６２６２…応答用押しボタン
　６２６３…防音室
　６５０１…補聴機器、６５６０…測定装置
　６７０１…補聴機器、６７６４…測定装置
　７００１…補聴機器、７００２…マイクロホン、７００３…スピーカ
　７００４…ＡＤＣ、７００５…ＤＡＣ、７００７…ＮＲ部
　７００８…ＮＣ信号生成部、７００９…振幅・位相調整部
　７０１１…制御部、７０１２…音源記憶再生部
　７０１３…外部インターフェース、７０１４…構成情報記憶部
　７０１５…聴力記憶部、７０１７…学習済モデル記憶部
　７０１９…センサー情報部、７０３０…ＮＣ特性決定部
　７１４０…学習済モデル
　７２０１Ａ、７２０１Ｂ…補聴機器、７２６４…携帯情報機器
　７３６４…携帯情報機器
　７５２８…第１の音圧レベル計算部、
　７５２３…第２の音圧レベル計算部
　７５２４…必要ＮＣ強度計算部、７５３１…ＮＣ特性推定部
　７５３２…ＮＣ強度・ＮＣ特性カーブ計算部
　７８３０…ＮＣ特性決定部、７８４０…学習済モデル
　７９３０…ＮＣ特性決定部、７９３１…ＮＣ特性推定部
　８０６４…携帯情報機器
　８３０１…補聴機器、８３６４…携帯情報機器

Claims (20)

  1. 　周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定部と、
    　前記推定された制御情報に基づいて入力音声信号を処理する信号処理部と、
    を具備する音声処理装置。
  2. 　前記聴覚閾値情報は、前記音声処理装置の使用者の周波数毎の聴覚閾値を測定した閾値測定の結果、又は聴力測定機能で使用する測定信号の周波数毎の音圧レベルの情報のうち、少なくとも一方を含む、
    請求項１に記載の音声処理装置。
  3. 　前記入力音声情報は、前記信号処理部から出力される音声信号を出力する前記音声処理装置の入力音声である、
    請求項１に記載の音声処理装置。
  4. 　前記情報推定部は、さらに前記音声処理装置の構成情報に基づいて前記制御情報を推定する、
    請求項１に記載の音声処理装置。
  5. 　前記情報推定部は、前記信号処理部における許容遅延量に関する情報、又は、前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性情報のうち少なくとも一方を推定する、
    請求項１に記載の音声処理装置。
  6. 　前記ノイズキャンセリング特性情報は、ノイズキャンセリング特性カーブ又はノイズキャンセリング強度のうち少なくとも一方を含む、
    請求項５に記載の音声処理装置。
  7. 　前記情報推定部は、少なくとも使用者の聴力情報と前記入力音声情報を説明変数とし制御情報を目的変数として事前に学習された学習済モデルを使用して前記制御情報を推定する、
    請求項１に記載の音声処理装置。
  8. 　前記信号処理部は前記音声処理装置の入力音声信号を処理し、
    　前記情報推定部は、前記音声処理装置の構成情報を条件として学習された前記学習済モデルを使用して前記制御情報を推定する、
    請求項７に記載の音声処理装置。
  9. 　前記学習済モデルは、第１の学習済モデルと第２の学習済モデルで構成され、
    　前記第２の学習済モデルの出力を前記第１の学習済モデルの入力とする、
    請求項７に記載の音声処理装置。
  10. 　前記情報推定部は、
    　前記測定の結果から処方式によって計算された利得情報と前記音声処理装置への入力音声の帯域別音圧レベルから第１の音圧レベルを計算し、
    　前記帯域別音圧レベルと前記音声処理装置の構成情報に基づく音響特性から第２の音圧レベルを計算し、
    　前記第１の音圧レベルと前記第２の音圧レベルの差に基づいて、前記制御情報として前記信号処理部における許容遅延量、又は前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性情報を決定する、
    請求項２に記載の音声処理装置。
  11. 　前記情報推定部は、
    　前記測定信号の周波数情報及び音圧レベル情報と前記音声処理装置への入力音声の帯域別音圧レベルから第１の音圧レベルを計算し、
    　前記帯域別音圧レベルと前記音声処理装置の構成情報に基づく音響特性から第２の音圧レベルを計算し、
    　前記第１の音圧レベルと前記第２の音圧レベルの差から聴力測定に必要なノイズキャンセリング強度を計算し、
    　前記必要なノイズキャンセリング強度に基づいて、前記制御情報として前記信号処理部で行われるノイズキャンセリング処理に関するノイズキャンセリング特性を決定する、
    請求項２に記載の音声処理装置。
  12. 　前記構成情報は、前記音声処理装置のイヤーピースの種類、着用方法、前記音声処理装置のハウジングの特性情報のうち、少なくとも１つを含む、
    請求項４に記載の音声処理装置。
  13. 　前記音声処理装置において現在使用している第１の制御情報と前記情報推定部が新たに推定した第２の制御情報が異なるときに、前記音声処理装置で使用する制御情報の変更に関する処理を行う、
    請求項１に記載の音声処理装置。
  14. 　前記第１の制御情報から前記第２の制御情報への変更を前記音声処理装置の使用者に推奨し、前記使用者からの回答に基づいて制御情報の変更を行う、
    請求項１３に記載の音声処理装置。
  15. 　前記音声処理装置と接続された外部機器の画面上に、使用者が制御情報を設定するための設定手段とともに、新たに推定した前記第２の制御情報を、推奨マーク、推奨値、又は推奨範囲として表示する、
    請求項１４に記載の音声処理装置。
  16. 　計算された必要なノイズキャンセリング強度によるノイズキャンセリングの効果が十分でないときに、前記音声処理装置の使用者にノイズキャンセリングの効果が十分でないことを伝達するとともに音環境の変更を提案し、前記使用者からの回答に基づいて聴力測定の中断又は中止を決定する、
    請求項１３に記載の音声処理装置。
  17. 　前記音声処理装置は、イヤホン、ヘッドホン、補聴器、集音器、ヘッドマウントディスプレイのいずれかである、
    請求項１に記載の音声処理装置。
  18. 　周波数毎の聴覚閾値に関する聴覚閾値情報と、入力音声情報に基づいて、制御情報を推定する情報推定ステップと、
    　前記推定された制御情報に基づいて入力音声信号を処理する信号処理ステップと、
    を有する音声処理方法。
  19. 　聴力測定機能を備えた補聴機器であって、
    　聴力測定実施時に前記補聴機器の周囲音を収音し、
    　前記収音した周囲音を増幅し、
    　前記補聴機器又は前記補聴機器と接続した外部機器のスピーカから、前記増幅した周囲音を出力する、
    補聴機器。
  20. 　ノイズキャンセリング機能をさらに備え、
    　聴力測定時にノイズキャンセリングを使用したことを示す情報を聴力測定の結果とともに記録する、
    請求項１９に記載の補聴機器。
PCT/JP2022/003690 2021-07-12 2022-01-31 音声処理装置及び音声処理方法、並びに補聴機器 WO2023286299A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023534588A JPWO2023286299A1 (ja) 2021-07-12 2022-01-31
CN202280048248.8A CN117678243A (zh) 2021-07-12 2022-01-31 声音处理装置、声音处理方法和助听装置
EP22841649.1A EP4373129A1 (en) 2021-07-12 2022-01-31 Audio processing device and audio processing method, and hearing aid appratus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021114718 2021-07-12
JP2021-114718 2021-07-12

Publications (1)

Publication Number Publication Date
WO2023286299A1 true WO2023286299A1 (ja) 2023-01-19

Family

ID=84919202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/003690 WO2023286299A1 (ja) 2021-07-12 2022-01-31 音声処理装置及び音声処理方法、並びに補聴機器

Country Status (4)

Country Link
EP (1) EP4373129A1 (ja)
JP (1) JPWO2023286299A1 (ja)
CN (1) CN117678243A (ja)
WO (1) WO2023286299A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221092A (ja) 1995-02-17 1996-08-30 Hitachi Ltd スペクトルサブトラクションを用いた雑音除去システム
JP2005504470A (ja) * 2001-09-20 2005-02-10 サウンド・アイ・ディ 携帯電話及びユーザのための個人向けオーディオを生成する他の製品に関する音質向上
JP2007235364A (ja) * 2006-02-28 2007-09-13 Rion Co Ltd 補聴器
WO2009001559A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
JP2013162325A (ja) * 2012-02-03 2013-08-19 Sony Corp 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末
JP2016537891A (ja) 2013-11-28 2016-12-01 ヴェーデクス・アクティーセルスカプ 補聴器システムの動作方法および補聴器システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221092A (ja) 1995-02-17 1996-08-30 Hitachi Ltd スペクトルサブトラクションを用いた雑音除去システム
JP2005504470A (ja) * 2001-09-20 2005-02-10 サウンド・アイ・ディ 携帯電話及びユーザのための個人向けオーディオを生成する他の製品に関する音質向上
JP2007235364A (ja) * 2006-02-28 2007-09-13 Rion Co Ltd 補聴器
WO2009001559A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
JP2013162325A (ja) * 2012-02-03 2013-08-19 Sony Corp 信号処理装置、信号処理方法、プログラム、信号処理システムおよび通信端末
JP2016537891A (ja) 2013-11-28 2016-12-01 ヴェーデクス・アクティーセルスカプ 補聴器システムの動作方法および補聴器システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DONALD G. MACKAY: "Metamorphosis of a Critical Interval: Age-Linked Changes in the Delay in Auditory Feedback that Produces Maximal Disruption of Speech", THE JOURNAL OF THE ACOUSTICAL SOCIETY OF AMERICA, 1967

Also Published As

Publication number Publication date
JPWO2023286299A1 (ja) 2023-01-19
CN117678243A (zh) 2024-03-08
EP4373129A1 (en) 2024-05-22

Similar Documents

Publication Publication Date Title
EP2870779B1 (en) Method and system for fitting hearing aids, for training individuals in hearing with hearing aids and/or for diagnostic hearing tests of individuals wearing hearing aids
US8918197B2 (en) Audio communication networks
US8879745B2 (en) Method of deriving individualized gain compensation curves for hearing aid fitting
Stone et al. Tolerable hearing aid delays. II. Estimation of limits imposed during speech production
US9319814B2 (en) Method for fitting a hearing aid device with active occlusion control to a user
Laurence et al. A comparison of behind-the-ear high-fidelity linear hearing aids and two-channel compression aids, in the laboratory and in everyday life
KR20120034085A (ko) 이어폰 구조체 및 그 작동 방법
Peeters et al. Subjective and objective evaluation of noise management algorithms
JP2012529843A (ja) 補聴器の方向音響フィッティングのための方法と装置
US11206501B2 (en) Method for operating a hearing instrument and a hearing system containing a hearing instrument
US9361906B2 (en) Method of treating an auditory disorder of a user by adding a compensation delay to input sound
US9131318B2 (en) Method and system for providing hearing assistance to a user
Kuk et al. Effects of training on the use of a manual microphone shutoff on a BiCROS device
WO2023286299A1 (ja) 音声処理装置及び音声処理方法、並びに補聴機器
Lezzoum et al. Echo threshold between passive and electro-acoustic transmission paths in digital hearing protection devices
US20220264232A1 (en) A hearing aid comprising an open loop gain estimator
WO2011043819A1 (en) Method of deriving individualized gain compensation curves for hearing aid fitting
Courtois Spatial hearing rendering in wireless microphone systems for binaural hearing aids
Bispo et al. A cepstral method to estimate the stable optimal solution for feedforward occlusion cancellation in hearing aids
Bramsløw et al. Hearing aids
Patel Acoustic Feedback Cancellation and Dynamic Range Compression for Hearing Aids and Its Real-Time Implementation
Dillon Hearing Aids
Fisher Speech referenced dynamic compression limiting: improving loudness comfort and acoustic safety
WO2023160275A9 (zh) 声音信号的处理方法及耳机设备
JPH05145985A (ja) 携帯ステレオ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22841649

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023534588

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280048248.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022841649

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022841649

Country of ref document: EP

Effective date: 20240212