WO2010087171A1 - 補聴器および補聴処理方法 - Google Patents

補聴器および補聴処理方法 Download PDF

Info

Publication number
WO2010087171A1
WO2010087171A1 PCT/JP2010/000485 JP2010000485W WO2010087171A1 WO 2010087171 A1 WO2010087171 A1 WO 2010087171A1 JP 2010000485 W JP2010000485 W JP 2010000485W WO 2010087171 A1 WO2010087171 A1 WO 2010087171A1
Authority
WO
WIPO (PCT)
Prior art keywords
consonant
time
section
hearing aid
sound
Prior art date
Application number
PCT/JP2010/000485
Other languages
English (en)
French (fr)
Inventor
房川歌津衣
伊藤元邦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800010766A priority Critical patent/CN101939784B/zh
Priority to EP10735643.8A priority patent/EP2383732B1/en
Priority to JP2010530205A priority patent/JPWO2010087171A1/ja
Priority to US12/866,320 priority patent/US8374877B2/en
Publication of WO2010087171A1 publication Critical patent/WO2010087171A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/35Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using translation techniques
    • H04R25/353Frequency, e.g. frequency shift or compression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L2021/065Aids for the handicapped in understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/93Discriminating between voiced and unvoiced parts of speech signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Definitions

  • the present invention relates to hearing aids and hearing aid processing methods, and in particular to hearing aid processing techniques for hearing compensation.
  • senile deafness plays a role of converting sound signals to the brain as it ages, and hair cells in the inner ear weaken, deform, disappear, etc., and the converted signals are sent to the brain. It occurs from the fact that sound signals are less likely to be transmitted to the brain due to damage to the nerves to be transmitted.
  • a hearing aid has been used as a device to compensate for the hearing of a deaf person whose hearing ability is lower than normal.
  • a hearing aid technology is used which improves the hearing by amplifying the sound according to the deterioration of the hearing characteristic of the deaf person.
  • speech speed conversion has been proposed as a hearing aid technology for improving the ability to listen to words as well as hearing aids. Televisions and radios that have the function of slowly playing back voice using this speech speed conversion Many telephones etc. have also appeared.
  • hearing aid devices using these hearing aid techniques only improve some of the deafness mechanisms. Therefore, even if a person with a deafness including a senile deaf person uses a hearing aid, sufficient amplification improvement effect can not be obtained only by amplifying the sound according to the hearing characteristic. This is because sensorineural deafness is characterized by the fact that the ability to distinguish speech as words is reduced rather than simply the volume can not be heard.
  • the characteristics of the decrease in the ability of the sensorineural deafness include 1) loudness replenishment phenomenon, 2) decrease in frequency selectivity, and 3) decrease in time resolution, which will be described below.
  • the minimum audibility value is higher than that of a healthy person, but when the sound becomes stronger than the audibility value, the loudness which is the sensory magnitude of the sound increases sharply It is a phenomenon.
  • a person with a deafening sound tends to be sensitive to volume change, as if feeling a loud sound if the sound is louder than the audible value, although it is difficult to hear small sounds.
  • a hearing aid device using the above-described conventional hearing aid technology focuses on this phenomenon and aims at hearing improvement.
  • Proactive masking refers to a phenomenon in which, when a certain sound is reacted, the reaction does not disappear as soon as the sound disappears, and the subsequent sound generated during that time becomes inaudible.
  • retrogressive masking refers to a phenomenon in which the stronger the sound, the faster the neural response occurs, so that if the strong sound comes after the weak sound, the two sounds become indistinguishable, making it difficult to hear the weak preceding sound.
  • consonants are characterized by small energy, rapid time change, short duration. Therefore, a person with deafness depends on the speed of speaking in a conversation, but since it is likely to cause successive masking by vowels before and after consonants, it is often difficult to hear consonants.
  • the above-mentioned prior art only makes it possible to reduce the temporal masking from vowel to consonant among the effects of the decrease in time resolution. That is, the above-mentioned prior art does not solve the problem of making the perceptual deaf person perceive a consonant with a large temporal change and a short duration and improving the consonant recognition rate.
  • the pitch period is extracted by using the steady part (mainly the vowel part) of the speech, and interpolation is performed in units of pitch so that the speech speed is extended by time expansion. . Therefore, it has not been resolved with regard to making consonants with a short time duration perceivably change rapidly, and to improve the consonant recognition rate.
  • by delaying the speech speed there may occur a situation where so-called lip sync can not be obtained because the movement of the lips and the voice deviate and the visual information and the auditory information become out of synchronization, and as a result, the contents of the conversation may become difficult to hear .
  • the present invention is intended to solve these problems due to a reduction in time resolution, and an object thereof is to provide a hearing aid and a hearing aid processing method that improve the recognition rate of consonants with a large time change and a short duration.
  • the hearing aid of the present invention comprises an audio input means for inputting an external audio signal, a sound section of the audio signal inputted to the audio input means, and an area which can be regarded as acoustically silent.
  • a voice analysis unit for detecting and detecting a consonant section and a vowel section in the detected voice section, and temporally extending the consonant section detected by the voice analysis section, the voice analysis section
  • a signal processing unit that temporally compresses at least one of the vowel section and the section that can be regarded as acoustically silent.
  • the vowel section is temporally compressed by deleting a part of the time of the extended consonant section from the vowel section in pitch units, and the remaining part of the time of the expanded consonant section is
  • the section that can be regarded as acoustically silent may be compressed by deleting the signal of the section that can be regarded as acoustically silent.
  • the hearing aid further includes adjusting means for adjusting a time for extending the consonant section based on time resolution information indicating time resolution of hearing of the user using the hearing aid, the signal processing means further comprising:
  • the consonant interval detected by the voice analysis means may be extended for the time adjusted by the adjustment means.
  • the hearing aid further includes adjusting means for calculating the sound pressure of the audio signal and adjusting the time for expanding the consonant section based on the calculated sound pressure, and the signal processing means includes the audio analysis.
  • the consonant interval detected by the means may be extended for the time adjusted by the adjusting means.
  • the intelligibility of voice can be improved according to the sound pressure of the input voice.
  • the voice analysis unit analyzes the type of consonant in the consonant section, and the hearing aid further adjusts the time for extending the consonant section based on the type of consonant analyzed by the voice analysis section.
  • An adjustment unit may be provided, and the signal processing unit may extend the consonant section detected by the voice analysis unit for the time adjusted by the adjustment unit.
  • a hearing aid and a hearing aid processing method that improve the recognition rate of consonants with a rapid time change and a short duration. Specifically, for people with hearing impairment whose temporal resolution is lowered, including senile deafness, consonant hearing can be particularly improved, and speech intelligibility can be improved.
  • FIG. 1 is a block diagram showing the configuration of the hearing aid in Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing an operation example 1 of the speech analysis means and the control means in the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing an operation example 2 of the speech analysis means and the control means in the first embodiment of the present invention.
  • FIG. 4 is a flowchart of operation example 3 of the speech analysis means and the control means in the first embodiment of the present invention.
  • FIG. 5 is a block diagram showing the configuration of the hearing aid in Embodiment 2 of the present invention.
  • FIG. 6 is a block diagram showing the configuration of the hearing aid in the third embodiment of the present invention.
  • FIG. 7 is a block diagram showing the configuration of the hearing aid in Modification 1 of Embodiment 3 of the present invention.
  • FIG. 8 is a block diagram showing the configuration of the hearing aid in Modification 2 of Embodiment 3 of the present invention.
  • FIG. 9 is a block diagram showing the configuration of the hearing aid in the fourth embodiment of the present invention.
  • FIG. 10A shows the acoustic features of unvoiced plosives.
  • FIG. 10B shows the acoustic features of unvoiced plosives.
  • FIG. 10C shows the acoustic features of unvoiced plosives.
  • FIG. 11A is a diagram showing the acoustic features of voiced plosives.
  • FIG. 10A shows the acoustic features of unvoiced plosives.
  • FIG. 10B shows the acoustic features of unvoiced plosives.
  • FIG. 10C shows the acoustic features of unvoiced plosives.
  • FIG. 11B is a diagram showing the acoustic features of voiced plosives.
  • FIG. 11C is a diagram showing the acoustic features of voiced plosives.
  • FIG. 12A shows the acoustic features of nasal consonants.
  • FIG. 12B shows the acoustic features of nasal consonants.
  • FIG. 13A is a diagram showing the acoustic feature of frictional noise.
  • FIG. 13B is a diagram showing the acoustic features of frictional noise.
  • FIG. 13C is a diagram showing the acoustic features of frictional noise.
  • FIG. 14 is a diagram showing an example of the expansion rate table.
  • FIG. 15 is a diagram showing an example of the expansion rate table.
  • FIG. 16 is a diagram showing an example of the minimum time resolution table.
  • FIG. 17 is a diagram showing an example of the configuration of the time expansion / compression adjustment means 503.
  • FIG. 18 is a diagram showing an example of the configuration of the time expansion / compression adjustment means 503.
  • FIG. 19 is a block diagram showing the configuration of the hearing aid in the first modification of the fourth embodiment of the present invention.
  • FIG. 20 is a diagram showing an example of the expansion rate table.
  • FIG. 21 is a block diagram showing an example of the configuration of the time expansion / compression adjustment means 703.
  • FIG. 22 is a flowchart showing an operation example of the hearing aid in the first modification of the fourth embodiment.
  • FIG. 22 is a flowchart showing an operation example of the hearing aid in the first modification of the fourth embodiment.
  • FIG. 23 is a block diagram showing another example of the configuration of the time expansion / compression adjustment means 703.
  • FIG. 24 is a flowchart showing another operation example of the hearing aid in the first modification of the fourth embodiment of the present invention.
  • FIG. 25 is a block diagram showing the configuration of the hearing aid in Modification 2 of Embodiment 4 of the present invention.
  • FIG. 26 is a block diagram showing the configuration of the hearing aid in Modification 3 of Embodiment 4 of the present invention.
  • FIG. 1 is a block diagram showing the configuration of the hearing aid in Embodiment 1 of the present invention.
  • the hearing aid illustrated in FIG. 1 includes an audio input unit 201, an audio analysis unit 202, a control unit 203, a signal processing unit 204, and an audio output unit 207.
  • the voice input unit 201 is, for example, a microphone, an induction coil, or an external input terminal for receiving an output of a voice communication device or a voice reproduction device, receives an external voice signal, and outputs the input voice signal to the signal processing unit 204 Do.
  • the voice analysis means 202 analyzes the type of sound of the voice signal input to the voice input means 201 (vowel, consonant, etc.). Specifically, the voice analysis unit 202 determines whether the input voice signal is a section that can be regarded as acoustically silent or a sound section. Furthermore, the voice analysis unit 202 determines the consonant section and the vowel section by detecting the consonant section and the vowel section following the consonant section in the sound section determined as the sound section.
  • the voice analysis unit 202 determines a section that can be regarded as acoustically silent and a sound section as follows.
  • the voice analysis unit 202 calculates the power of the voice signal in unit time, and when the time when the power value becomes equal to or more than the predetermined threshold exceeds the predetermined duration, determines that it is a sound interval and is less than the predetermined duration And if it is less than a predetermined threshold, it is determined that the section can be regarded as acoustically silent.
  • the voice analysis unit 202 detects and determines the consonant section and the vowel section in the sound section determined to be the sound section as follows.
  • the voice analysis unit 202 extracts (detects) formant frequency or pitch period in a sounding section determined to be a sounding section, for example, and determines the consonant and the vowel from the features of the consonant and the vowel, etc.
  • the consonant section is estimated and determined from the presence of the following vowel to determine the consonant section.
  • the voice analysis unit 202 may determine the consonant section and the vowel section based on either the formant frequency or the pitch period, or may use a known determination method other than the examples described above.
  • the control unit 203 controls the signal processing unit 204 based on the analysis of the voice analysis unit 202. That is, based on the type of sound (vowel, consonant, etc., etc.) analyzed by the voice analysis means 202, the control means 203 determines the processing content (expansion, compression, etc.) of the sound. Then, control of the signal processing unit 204 is performed by sending a control signal including information such as a section of sound and processing content to the signal processing unit 204.
  • the control unit 203 when the voice analysis unit 202 detects a consonant interval or a vowel interval following a consonant interval, the control unit 203 performs signal processing according to the detected consonant interval or a vowel interval following the consonant interval. The control of the unit 204 is performed.
  • the control section 203 inputs, to the signal processing section 204, a control signal including information for the time expansion section 205 to perform time expansion of the consonant section.
  • control section 203 causes a signal processing section 204 to generate a control signal including information for time compression of the vowel section by the time compression section 206.
  • control unit 203 and the signal processing unit 204 share processing can be implemented in various ways depending on the mounting method, and the present invention is not limited to the processing sharing.
  • the control unit 203 transmits only the type of sound and the processing content to the signal processing unit 204, the processing time is determined by the signal processing unit 204, and transmits the processing time to the control unit 203 if necessary. It does not matter.
  • the information for the time expansion means 205 to perform time expansion of the consonant section may be determined for each type of the detected consonant, or the consonants are roughly classified into groups, and each group is individually classified. It may be decided. In addition, depending on the deterioration of the time resolution of the listener, it may be determined for each type of consonant or for each group of consonants roughly classified.
  • the signal processing unit 204 has a time expansion unit 205 and a time compression unit 206, and is output from the voice input unit 201 by the time expansion unit 205 and the time compression unit 206 according to the control signal from the control unit 203. Process the voice signal. Specifically, the signal processing unit 204 receives an audio signal from the audio input unit 201 and receives a control signal from the control unit 203. The signal processing unit 204 processes the audio signal input from the audio input unit 201 by the time expansion unit 205 and the time compression unit 206 based on the control signal from the control unit 203.
  • the signal processing unit 204 temporally extends the consonant section detected by the voice analysis unit 202, and temporally at least one of the vowel section detected by the voice analysis unit 202 and the section that can be regarded as acoustically silent. Compress.
  • a control signal inputted from the control means 203 causes a delay in the judgment of a consonant section. Therefore, in general, it is necessary to provide a delay buffer in the signal processing unit 204 or at the previous stage of the signal processing unit 204 so that the time compression and expansion means can operate in accordance with the judgment delay.
  • the time expansion unit 205 performs time expansion of the consonant interval designated by the control signal from the control unit 203.
  • the time expansion of the consonant interval can be performed, for example, by a technique of temporally cutting out the audio signal of the consonant interval as disclosed in Patent Document 5 and repeating the portion. Furthermore, by performing cross-fading that fades in and out during time expansion of the consonant section, the joint can be made smoother.
  • consonant interval in which the consonant is generated
  • the temporal masking by vowel before and after the consonant can reduce the effects of As a result, it is possible to improve the recognition rate of consonants among those who are hard of hearing consonants.
  • the method of extending the consonant section is not limited to the above-described consonant expansion method, and other consonant expansion methods may be used. Even in that case, the same recognition rate improvement effect can be obtained.
  • the time compression unit 206 compresses the time obtained by expanding the consonant section from at least one of the vowel section and the section that can be regarded as acoustically silent. Specifically, based on the control signal from the control unit 203, the time compression unit 206 performs time compression of a vowel section following the consonant section specified above or a section that can be regarded as acoustically silent or a consonant section Perform time compression on both the vowel section following and the section that can be regarded as acoustically silent.
  • the time compression unit 206 temporally compresses the vowel section by deleting a part of the time of the extended consonant section from the vowel section in pitch units, and the remaining part of the time of the extended consonant section By compressing the section of the section that can be regarded as acoustically silent by compressing the section of the section that can be regarded as acoustically silent. As described above, the time compression unit 206 does not use the consonant section itself (position and place), but the time (quantity) increased by the extension processing, that is, the time that is expanded in the consonant section. Do.
  • the time compression unit 206 performs an operation for one or more subsequent vowel sections based on recording of the time when the consonant section is extended or the like so that the generation timing of the consonant matches the visual information.
  • Time compression is performed by deleting part or all of the audio signal of a part or a silent section. This is because even if a process of partially deleting a sound is performed in the vowel section, the duration time is long and the steady state continues, so that it is not difficult to hear. Also, even if a part or all of the silent section is deleted, it does not adversely affect the voice listening.
  • the pitch period of the vowel of the vowel section to be compressed is extracted and deleted by pitch unit to shorten the time. Is preferred.
  • the vowel section is deleted in units of pitches in this manner, it is considered that deletion can not be performed so as to match the extension time of the consonant exactly.
  • it is desirable to delete in pitch units even if it does not exactly coincide with the extension time for the above-mentioned reason.
  • the control unit 203 may hold the time when the consonant section is expanded, or the signal processing unit 204 may hold it.
  • a recording unit or the like may be provided to record the extension time.
  • the audio output unit 207 outputs the audio signal processed by the signal processing unit 204.
  • the sound output means 207 may use, for example, not only earphones, speakers, headphones, etc., but also transducers such as bone conduction transducers, electrodes for the inner ear, etc.
  • FIG. 2 is a flowchart showing an operation example 1 of the speech analysis means and the control means in the first embodiment.
  • operation example 1 it illustrates about the case where the consonant detection flag cons is used.
  • the voice analysis means 202 first determines whether or not the input voice inputted to the voice input means 201 is a voiced section (S201). If the voice analysis unit 202 determines that the input voice is a voiced section (in the case of YES in S201), the process proceeds to the step (S202) of determining whether the determined voiced section is a consonant section. Otherwise (if NO at S201), the speech analysis means 202 ends the processing.
  • step S202 when the voice analysis unit 202 determines that the voice of the sound section is a voice of a consonant section (in the case of YES in S202), the process proceeds to step (S204) of performing time expansion control. If not (in the case of NO in S202), the process proceeds to the step (S205) of determining whether time compression processing is necessary.
  • step S204 the control unit 203 controls the time expansion unit 205 of the signal processing unit 204 to perform time expansion for a predetermined time, and substitutes 1 into the consonant detection flag cons.
  • step S202 determines that the voice analysis unit 202 does not have the sound section as a consonant section (in the case of NO in S202)
  • step S205 when the voice analysis unit 202 determines that the consonant detection flag cons is 1 (in the case of YES in S205), it is further determined whether the sound section is a vowel section (S206) Go to If not (in the case of NO in S205), the process ends. If it is determined in step S206 that the voiced section is a vowel section (in the case of YES in S206), the voice analysis unit 202 proceeds to the step (S208) of performing time compression control in pitch units.
  • step S208 the control unit 203 controls the time compression unit 206 to perform time compression by deleting the vowel section for the time equal to or longer than the time in which the consonant was expanded, and performing the consonant detection flag Assign 0 to cons.
  • the voice analysis unit 202 and the control unit 203 operate on the input voice that is continuously input to the voice input unit 201.
  • S205 it is determined whether or not the consonant detection flag cons is 1 if time expansion is not performed or if time compression is performed after time expansion (all states in which cons is 0 ) To prevent unnecessary time compression from being performed.
  • No in S206 is to enable to cope with noise and the like in which the sound interval is not a consonant interval or a vowel interval.
  • the operation when using the expansion time variable dur instead of the consonant detection flag cons, the operation may be performed as follows. That is, in step S204, instead of substituting 1 for cons, the time when the consonant is expanded is added to dur. In step S205, instead of determining whether cons is 1, it is determined whether dur is greater than zero. In step S208, time compression is performed so as not to exceed the time indicated by dur, and the time when the vowel is compressed is subtracted from the variable dur.
  • the process using the extension time variable dur as described above is particularly effective when the hearing aid of the present invention processes input speech at short time intervals, as in the case of frame processing, for example. Further, the method is not limited to the method using the above-described consonant detection flag or the expansion time variable, and other methods capable of determining whether or not to expand may be used.
  • FIG. 3 is a flowchart showing an operation example 2 of the speech analysis means and the control means in the first embodiment.
  • the case of using the consonant detection flag cons is exemplified also in the second operation example described below, it is possible to determine whether the expansion time variable dur should be used or whether it should be expanded as in the first operation example described above. Other methods may be used.
  • the voice analysis unit 202 first determines whether or not the input voice input to the voice input unit 201 is a voiced section (S301). If the voice analysis unit 202 determines that the input voice is a voiced section (in the case of YES in S301), it proceeds to the step (S302) to determine whether the determined voiced section is a consonant section. If not (in the case of NO in S301), the process proceeds to the step (S305) of determining whether time compression processing is necessary.
  • step S302 when the sound analysis unit 202 determines that the sound of the sound section is a sound of a consonant section (in the case of YES in S302), the process proceeds to step (S304) for performing time expansion control. If not (in the case of NO in S302), the process ends.
  • movement of step S304 is the same as step S204 of FIG. 2, description is abbreviate
  • step S305 if it is determined in step S305 that the voice analysis unit 202 determines that the consonant detection flag cons is 1 (YES in S305), the process proceeds to step (S307) in which time compression control is performed. If not (in the case of NO in S305), the process ends.
  • step S307 the control unit 203 controls the time compression unit 206 to perform time compression by deleting a section that can be regarded as acoustically silent as long as or longer than the time of extension of the consonant. Substitute 0 for the consonant detection flag cons.
  • the voice analysis unit 202 and the control unit 203 operate on the input voice that is continuously input to the voice input unit 201.
  • the difference between the operation example 1 and the operation example 2 is that time compression is performed by deleting a section that can be regarded as acoustically silent, not a vowel section.
  • FIG. 4 is a flowchart showing an operation example 3 of the voice analysis unit 202 and the control unit 203 in the first embodiment.
  • the case of using the consonant detection flag cons is exemplified also in the third operation example described below, as in the first or second operation example described above, whether to use the expansion time variable dur or to expand You may use the other method which can be judged.
  • the voice analysis means 202 first determines whether or not the input voice inputted to the voice input means 201 is a voiced section (S401). If the voice analysis unit 202 determines that the input voice is a voiced section (in the case of YES in S401), the process proceeds to the step (S402) of determining whether the determined voiced section is a consonant section. If not (in the case of NO in S401), the process proceeds to the step (S409) of determining whether the time compression process is necessary.
  • step S402 If it is determined in step S402 that the voice of the sound section is a voice of a consonant section (in the case of YES in S402), the voice analysis unit 202 proceeds to the step of performing time expansion control (S404). If not (in the case of NO in S402), the process proceeds to step (S405) to determine whether time compression processing is necessary.
  • step S404 to S406 are the same as steps S204 to S206 in FIG.
  • step S406 if the voice analysis unit 202 determines (detects) that the sound section is a vowel section (if YES in S406), the process proceeds to step (S408) in which time compression control in pitch units is performed. If not (in the case of NO in S406), the process ends.
  • step S408 the control unit 203 controls the time compression unit 206 to perform time compression by deleting the vowel section in pitch units for the time that the consonant is expanded or a shorter time.
  • step S409 determines in step S409 that the consonant determination flag cons is 1 (YES in S409)
  • the process proceeds to step (S411) in which time compression control is performed. If not (in the case of NO in S409), the process ends.
  • step S411 the control unit 203 controls the time compression unit 206 to perform time compression by deleting a section that can be regarded as acoustically silent as the time that the consonant is expanded or a shorter time.
  • the voice analysis unit 202 and the control unit 203 operate on the input voice that is continuously input to the voice input unit 201.
  • the difference between the operation example 1 and the operation example 2 is that the vowel section and the section that can be regarded as acoustically silent are deleted to perform time compression.
  • step S408 control is performed such that the vowel section is deleted in units of pitch for a time shorter than the time when the consonant is expanded and time compression is performed, and 0 is added to cons. Assign. If it is determined in step S409 that cons is 0 and vow is 1, the process advances to step S411.
  • step S411 compression of a section that can be regarded as silent as acoustically for the time portion of the difference between the consonant expansion time and the vowel compression time (for example, the remaining time during which the vowel is not shortened among the expansion time of consonant) Control to be performed and substitute 0 into vow.
  • the time compression processing is performed in the subsequent vowel section, the section that can be regarded as acoustically silent, or both of the subsequent vowel section and the section that can be regarded as acoustically silent.
  • the time compression processing may be performed not only in these sections described above, but also in other vowel sections and noise or other sections that occur thereafter.
  • an interval suitable for an audio signal may be selected and time-compensated so as to eliminate the mismatch between the visual information and the auditory information and to enable the lip-sync to assist in hearing.
  • the voice analysis unit 202 analyzes the voice signal input to the voice input unit 201, and determines whether it is a section that can be regarded as acoustically silent or a voiced section, and in the determined voiced section, Furthermore, the consonant section and the vowel section are determined. Then, based on the determination result of the voice analysis unit 202, the control unit 203 outputs, to the signal processing unit 204, a control signal for operating the time expansion unit 205 and the time compression unit 206 of the signal processing unit 204.
  • the time expansion means 205 performs time expansion of the consonant section, and the time compression means 206 performs the subsequent vowel section, the section that can be regarded as acoustically silent, or both the subsequent vowel section and the section that can be regarded as acoustically silent.
  • the time compression is performed by deleting the time portion expanded in the consonant section in.
  • the time resolution is lowered, and a deaf person who is hard to perceive consonants of speech in a normal conversation can secure the perceptual time of consonants, resulting in The degree of recognition of the entire voice can be improved.
  • the following vowel section the section that can be regarded as acoustically silent, the other vowel section, or the meaningless section etc. Inconsistencies with visual information can also be resolved.
  • the analysis of the entire consonant may not be performed, and the time expansion of the consonant section may be performed using a method of detecting the feature of the sound to be expanded simply and quickly. In that case, it is possible not only to reduce the judgment delay of the consonant section described above, but there is also a preferable aspect because the implementation is simplified.
  • a method of detecting the feature of the voice to be decompressed simply and at high speed for example, a leading portion (rapid change in frequency component) such as burst and friction or a transition portion (change in formant component: formant transition)
  • a leading portion rapid change in frequency component
  • a transition portion change in formant component: formant transition
  • FIG. 5 is a block diagram showing the configuration of the hearing aid in Embodiment 2 of the present invention.
  • the hearing aid illustrated in FIG. 5 includes an audio input unit 201, an audio analysis unit 202, an adjustment unit 301, a control unit 304, a signal processing unit 204, and an audio output unit 207.
  • the same components as in FIG. 1 will be assigned the same reference numerals and descriptions thereof will be omitted.
  • the hearing aid shown in FIG. 5 differs from the hearing aid according to the first embodiment in the configurations of the adjustment unit 301, the control means 304 and the signal processing unit 204.
  • the adjustment unit 301 includes a time resolution setting unit 302 and a time expansion / compression adjustment unit 303, and a time for expanding a part of the audio signal according to the time resolution of hearing of the hearing aid user of the present invention; Adjust the time to compress the other part. For example, when the degree of decrease in the time resolution of the user's hearing is large, the adjusting unit 301 lengthens the time for extending the consonant section, as compared with the case where the degree of decrease in the time resolution of the user's hearing is small. adjust.
  • the time resolution setting means 302 sets an adjustment value for the time resolution of the hearing aid as one of the fitting parameters using a fitting program or the like before using the hearing aid. Ru.
  • the value of the time resolution of the hearing aid user is set in the time resolution setting means 302 using the adjustment value set in this manner.
  • the adjustment value is input and set from the external input of the hearing aid, but is not limited to the configuration set by the time resolution setting unit 302, and is set by the adjustment unit 301 including the time expansion / compression adjustment unit 303. May be configured.
  • the time resolution setting unit 302 sets, as the time resolution value of the hearing aid user's hearing, data measured using a time resolution measurement method or a parameter of the degree of decrease in time resolution according to the measurement value Be done.
  • time resolution is described in detail in "An Introduction to Auditory Psychology" (Translated by Ken J. Cole, by B. J. C. Moore). For example, a gap in which noise intermittently occurs in wide band or narrow band noise is inserted, and the detection threshold of the gap is measured to calculate the degree of decrease in time resolution.
  • the measurement of such time resolution may be performed at the time of fitting the hearing aid or at the time of otolaryngology medical treatment, or a means for incorporating the measurement program into the hearing aid and measuring while emitting sound using the receiver of the hearing aid is also conceivable. .
  • the degree of decrease in the temporal resolution may be simply calculated by measuring the successive masking characteristic.
  • the degree of decrease in time resolution is simply calculated by measuring the perceptible delay time of the probe and the amount of masking using a short signal called a probe and a masker.
  • the time resolution may be measured by simply performing a hearing test using sentences with different speech speeds and estimating the degree of decrease in time resolution according to the correct answer rate.
  • the time expansion / compression adjustment means 303 is based on the time resolution value set by the time resolution setting means 302, the time for which the time expansion means 305 of the signal processing unit 204 expands (expansion time) and the time for the time compression means 306 to compress. Set the adjustment amount to adjust the (compression time).
  • the time expansion / compression adjustment means 303 sets the expansion time and the compression time shorter, for example, when the degree of decrease in time resolution is small. If the degree of decrease is large, the extension time and the compression time are set longer. As described above, by extending the consonant until the user can perceive the consonant in accordance with the degree of decrease in the time resolution of the user, it is possible to easily perceive the consonant with a short duration.
  • the control unit 304 outputs the adjustment amount set by the time expansion / compression adjustment unit 303 to the signal processing unit 204 together with the control signal corresponding to the detection result by the voice analysis unit 202. That is, based on the type of sound (vowel, consonant, etc., etc.) analyzed by the voice analysis means 202, the control means 304 determines the processing content (expansion, compression, etc.) of the sound.
  • the control of the signal processing unit 204 is performed by sending a control signal including information such as a sound section and processing content to the signal processing unit 204 together with the adjustment amount set by the time expansion / compression adjustment unit 303. Do.
  • the time expansion unit 305 performs time expansion of the consonant section based on the adjustment amount and the control signal input to the signal processing unit 204 by the control unit 304.
  • the time expansion of the consonant section is performed in the same manner as the time expansion means 205 of FIG. 1, but the time for expanding the consonant section is also determined based on the inputted adjustment amount.
  • the time compression unit 306 performs time compression of a vowel section or the like based on the adjustment amount and the control signal input from the control unit 304 to the signal processing unit 204. This time compression is performed in the same manner as the time compression means 206 of FIG. 1, but the time to compress the vowel section etc. is determined also based on the inputted adjustment amount.
  • the time resolution setting unit 302 and the time expansion / compression adjustment unit 303 adjust the expansion time and the compression time of the voice according to the time resolution of the user's hearing. be able to. As a result, it is possible to realize a hearing aid and a hearing aid processing method capable of further improving consonant listening suitable for an individual.
  • FIG. 6 is a block diagram showing the configuration of the hearing aid in the third embodiment of the present invention.
  • the hearing aid illustrated in FIG. 6 includes an audio input unit 201, an audio analysis unit 202, an adjustment unit 401, a control unit 404, a signal processing unit 204, and an audio output unit 207.
  • symbol is used and description is abbreviate
  • the hearing aid shown in FIG. 6 differs from the hearing aid according to the first embodiment in the configurations of the adjustment unit 401 and the control means 404.
  • the adjustment unit 401 is composed of a sound pressure calculation unit 402 and a time expansion / compression adjustment unit 403, and in accordance with the sound pressure of the input sound input to the sound input unit 201, a time for expanding a part of the sound signal Adjust the time to compress the other part.
  • the sound pressure calculation unit 402 calculates the sound pressure per unit time of the input voice input to the voice input unit 201.
  • the time expansion / compression adjustment unit 403 Based on the sound pressure (value) calculated by the sound pressure calculation unit 402, the time expansion / compression adjustment unit 403 compares the time to be expanded and the time to be compressed in the time expansion unit 305 and the time compression unit 306. Set the adjustment amount to be adjusted. For example, when the sound pressure value calculated by the sound pressure calculation unit 402 is larger than a predetermined value, the time expansion / compression adjustment unit 403 sets the expansion time and the compression time shorter, and the sound pressure value is a predetermined value. If it is the same or smaller, set the extension time and compression time longer.
  • the predetermined value means a sound pressure value which becomes a standard at a predetermined extension time and compression time.
  • the time expansion / compression adjustment unit 403 determines that the sound pressure value calculated by the sound pressure calculation unit 402 is equal to or less than the predetermined value. It adjusts so that the time which extends a consonant area may be shortened compared with the case of.
  • the control unit 404 outputs the adjustment amount set by the time expansion / compression adjustment unit 403 to the signal processing unit 204 together with the control signal corresponding to the detection result by the voice analysis unit 202. That is, based on the type of sound (vowel, consonant, etc., etc.) analyzed by the voice analysis means 202, the control means 404 determines the processing content (expansion, compression, etc.) of the sound.
  • the control of the signal processing unit 204 is performed by sending a control signal including information such as a sound section and processing content to the signal processing unit 204 together with the adjustment amount set by the time expansion / compression adjustment unit 403. Do.
  • a consonant is generated for the sound having high sound pressure and sufficient intelligibility.
  • Time can be prolonged, and conversely, the adverse effect of lowering the clarity or producing an unnaturalness can be prevented.
  • the time during which the consonant is generated can be extended to assist the perception of the consonant.
  • the time resolution of the user also changes depending on the sound pressure (the size of the sound), this change is often different for each user. Therefore, it is preferable to carry out a hearing test for each sound pressure of the user before using the hearing aid to obtain a parameter related to the hearing for each sound pressure. In that case, even if the parameter concerning the hearing ability for each sound pressure obtained is input to the adjustment unit 401, the adjustment amount is set in the time expansion / compression adjustment means 403, and the expansion time and compression time according to the sound pressure are determined. Good.
  • the speech intelligibility for each sound pressure of the consonant and vowel is measured, and a parameter relating to the soundness for each sound pressure is input to the adjustment unit 401 including the time expansion / compression adjustment means 403, and the adjustment amount is set.
  • the expansion time and the compression time may be determined according to the sound pressure.
  • FIG. 7 is a block diagram showing the configuration of the hearing aid in Modification 1 of Embodiment 3 of the present invention.
  • the sound pressure calculation unit 402 of FIG. 6 calculates the sound pressure per unit time of the sound input by the sound input unit 201, while the sound analysis unit 202 determines that it is a sound interval. The difference is that the calculation of the sound pressure is performed only for the section that has been set. With the configuration as shown in FIG. 7, sound pressure calculation of a section that can be regarded as acoustically silent in speech and a meaningless section such as noise can be omitted, and efficient processing can be performed.
  • the expansion / compression time of the sound pressure calculation means 402 of the adjustment unit 401 and the time expansion / compression adjustment means 403 according to the size of the sound pressure of the input voice inputted to the voice input means 201 It can be adjusted. As a result, it is possible to realize a hearing aid and a hearing aid processing method capable of preventing sound deterioration due to high sound pressure and expansion and compression of a part of sound that is sufficiently clear. Further, by adjusting the expansion time and compression time of the voice in accordance with the user's hearing pressure for each sound pressure, it is possible to improve voice listening more suitable for an individual. Furthermore, by adjusting the expansion time and compression time of the voice according to the clarity of each sound pressure of the consonant and the vowel, the voice listening can be improved.
  • FIG. 8 is a block diagram showing the configuration of the hearing aid in Modification 2 of Embodiment 3 of the present invention. The same components as those in FIG. 1, FIG. 5, or FIG.
  • the hearing aid in FIG. 8 is another configuration example of the adjustment unit 401 in FIG. 6, and the configuration of the adjustment unit 601 is different from the hearing aid in FIG. 6 according to the third embodiment.
  • the adjusting unit 601 shown in FIG. 8 includes a time resolution setting unit 302, a sound pressure calculating unit 402, and a time expansion / compression adjusting unit 603.
  • the time expansion / compression adjustment means 603 sets an adjustment amount based on the sound pressure value calculated by the sound pressure calculation means 402 and the time resolution value set by the time resolution setting means 302 and outputs the adjustment amount to the control means 604 Do. Note that, as described in FIG. 7, the time expansion / compression adjustment unit 603 may perform the calculation processing by the sound pressure calculation unit 402 only for the section determined to be a sound section by the voice analysis unit 202. Good.
  • the control unit 604 inputs the adjustment amount set by the time expansion / compression adjustment unit 603 to the signal processing unit 204 together with the control signal corresponding to the detection result by the voice analysis unit 202. That is, based on the type of sound (vowel, consonant, etc., etc.) analyzed by the voice analysis means 202, the control means 604 determines the processing content (expansion, compression, etc.) of the sound.
  • the control of the signal processing unit 204 is performed by sending a control signal including information such as a sound section and processing content to the signal processing unit 204 together with the adjustment amount set by the time expansion / compression adjustment unit 603. Do.
  • FIG. 9 is a block diagram showing the configuration of the hearing aid in the fourth embodiment of the present invention.
  • the hearing aid illustrated in FIG. 9 includes an audio input unit 201, an adjustment unit 501, a control unit 504, a signal processing unit 204, and an audio output unit 207.
  • symbol is used and description is abbreviate
  • the hearing aid illustrated in FIG. 9 differs from the hearing aid in FIG. 1 according to the first embodiment in the configurations of the adjustment unit 501, the control unit 504, and the signal processing unit 204. Further, the hearing aid shown in FIG. 9 is different from the hearing aid of FIG. 5 according to the third embodiment in the configurations of the adjustment unit 501 and the control means 504.
  • the adjustment unit 501 includes a voice analysis unit 502 and a time expansion / compression adjustment unit 503, and one of the voice signals according to the type of the consonant of the voice input to the voice input unit 201. Set the adjustment amount to adjust the time to extend the part and the time to compress the other part.
  • the voice analysis unit 502 determines whether the voice input to the voice input unit 201 is a section that can be regarded as acoustically silent or a voiced section, and determines that the section is a voiced section. It is determined whether the sound interval is a consonant interval or a vowel interval. Furthermore, the voice analysis unit 502 determines the type of consonant in the consonant interval when it is determined to be a consonant interval.
  • consonant is classified as follows according to, for example, Kano et al. “Digital signal processing of sound and sound information”, although it depends on the method of classification. That is, nasal consonant (m, n), unvoiced frictional noise (f, s, sh), voiced frictional noise (z, zh), glottal frictional noise (h), unvoiced plosive sound (p, t, k), voiced plosive sound (b , D, g) unvoiced accompaniment (ts, ch), semi-vowels (w) and stuttering (y).
  • Non-voiced hard palate tears such as noise, silent gums friction sound (s), silent hard palate friction sound (sh), voiced gums friction sound (z), voiced hard palate friction sound (zh), glottis friction sound (h), etc. ch), and silent tears (ts) and so on.
  • lip nose m
  • gum nose n
  • repulsion l
  • lip half vowel w
  • hard palate vowel stuttering
  • the type of consonant can be determined by detecting the vowel section from the voice signal of the voice inputted to the voice input means 201 and estimating the voice section sandwiched between the vowel sections by the time pattern. .
  • the acoustic characteristics (characteristics on the spectrum) of each consonant that is, the rapid or gradual intensity change (initial part) seen at the beginning, and the part following the initial part, that is, a short formant called cross.
  • the type of consonant can be identified based on the change in frequency (formant transition part) and the constant part of the formant frequency based on the initial part and the crossover.
  • specific types of some consonants will be described as an example.
  • FIGS. 10A-10C are diagrams (spectrograms) showing the acoustic characteristics of unvoiced plosives.
  • FIG. 10A is a diagram showing an acoustic feature when a male voice emits "pa" as an example of unvoiced burst sound
  • FIG. 10B is a case where a male voice emits "ta” as an example of unvoiced burst sound
  • the vertical axis represents frequency
  • the horizontal axis represents time.
  • the shade of color indicates the intensity of the sound, and the brighter part indicates that the component included in the audio signal is stronger.
  • FIG. 11A-11C illustrate the acoustic features of voiced plosives.
  • FIG. 11A is a diagram showing an acoustic feature when a male voice emits "B" as an example of a voiced plosive sound
  • FIG. 11B is a case where a male voice emits "Da” as an example of a voiced plosive sound
  • a buzz bar (low-frequency component at the beginning) is used as an acoustic feature indicated by a voiced plosive (b, d, g) which is one of the consonant types.
  • a short time severe tens of ms formant frequency change, which is called a transition to the initial part, is observed.
  • voiced plosives (b, d, g) it can be considered that distinction can be made based on the time length of the buzz bar and the change in formant frequency.
  • FIG. 12A and 12B illustrate the acoustic features of nasal consonants.
  • FIG. 12A is a diagram showing an acoustic feature when a male voice emits “ma” as an example of a nasal consonant
  • FIG. 12B is an acoustic diagram when a male voice emits “na” as an example of a nasal consonant Showing the dynamic features.
  • a nasal consonant which is one of the types of consonants
  • a concentration of energy near 200 Hz is observed at the beginning (head).
  • the formant frequency change can be seen.
  • nasal consonants (m, n) it is considered possible to distinguish by the form of formant frequency change.
  • the voice analysis means 502 determines the initial intensity change based on the acoustic characteristics (characteristics on the spectrum) of each consonant.
  • the type of consonant can be determined (specified) from the characteristic of short formant frequency change called crossover.
  • the signal processing unit 204 performs expansion processing.
  • the extension processing is a part where a temporal change is a clue (consonant, for example, the extension of a consonant (m, n), a voiced plosive (b, d, g) transition (formant transition part) ) Is extended so that the change can be perceived.
  • a part (consonant sound) with a short duration of sound generation (consonant) such as elongating a rupture / friction part is extended so that the component can be perceived.
  • the time expansion / compression adjustment means 503 adjusts the expansion time and the compression time in the time expansion means 305 and the time compression means 306 of the signal processing unit 204 according to the type of consonant determined by the speech analysis means 502. Set the amount.
  • the time expansion / compression adjustment means 503 sets the expansion time and the adjustment amount of compression time as follows according to the type of consonant determined by the speech analysis means 502. That is, the time expansion / compression adjustment means 503 is data such as a hearing test which shows consonants easy to be perceived by the hearing aid user and consonants hard to be perceivable in classification based on articulatory position of consonant, articulatory system and presence or absence of vocal cord vibration etc. Are held in advance by a table or the like. The time expansion / compression adjustment means 503 sets the adjustment amount between the expansion time and the compression time to be longer for a consonant estimated to be hard to perceive by data such as audiometry, and is estimated to be easy to perceive For consonants, set shorter.
  • the time expansion / compression adjustment unit 503 performs expansion and compression based on data such as an audiometry test that indicates a consonant that the hearing aid user can easily perceive and a consonant that is difficult to perceive. Can be improved.
  • the time expansion / compression adjustment means 503 sets the adjustment amount short enough not to be confused with the voiced plosive sound, and the voiced burst In the case of sound, the adjustment amount is set to be long enough to make the difference with the unvoiced plosive sound clear.
  • This makes it possible to cope with the problem that it is difficult for a deaf person with a reduced temporal resolution to distinguish between unvoiced bursting and voiced bursting.
  • This problem is caused by the fact that it becomes difficult for a deaf person with reduced temporal resolution to correctly perceive voice onset time (VOT), which contributes to the discrimination between the two.
  • VOT voice onset time
  • VOT the difference between unvoiced plosive sound and voiced plosive sound
  • VOT the difference between unvoiced plosive sound and voiced plosive sound
  • the time expansion / compression adjustment means 503 is, for example, a table in which the adjustment amount set for each hearing aid user of the hearing aid user regarding the perceptibility of each consonant or the consonant is associated with the consonant as data such as a hearing test. keeping.
  • these tables are not limited to the case of being held by the time expansion / compression unit 503, and the adjustment unit 501 may be provided with a storage unit, and may be configured to be held by the storage unit.
  • a table showing data such as a hearing test may indicate standardized data or data based on the hearing ability of an individual hearing aid user so as to correspond to the hearing aid user in general. .
  • FIG. 14 is a diagram showing an example of the expansion rate table.
  • the expansion rate table shown in FIG. 14 shows the relationship between the time resolution and the expansion rate for each component (type) of each consonant, and indicates the magnification (adjustment amount) to be expanded according to the type of consonant .
  • the value 20 (ms) of the time resolution in the figure is a time indicating the consonant hearing ability of the hearing aid user as a whole, and is set in advance.
  • the time expansion / compression adjustment unit 503 expands the time of the consonant b by 4.5 times. Also, for example, in the case of the glottal friction noise h, the time expansion / compression adjustment means 503 extends the time of the consonant h by 1.8 times.
  • the time expansion / compression adjustment means 503 indicates that the time of consonant is not expanded.
  • the value which the expansion rate table of FIG. 14 shows is only an example by which the magnification of the expansion time for every combination of the kind of consonant and the time resolution of the user's hearing using a hearing aid is set.
  • other values may be used as long as the hearing aid user can distinguish the consonant.
  • the slow-varying hard palate vowels (stuttering) do not need to stretch much, but the temporal change of the pace is fast, as shown in FIGS. 10A-10C (p, t, k)
  • the voiced burst sound shown in FIGS. 11A to 11C may be set to have a longer extension time than that illustrated.
  • the value of the time resolution shown in the expansion rate table may not be 20 ms, and may be 25 ms or 15 ms. It may be any value that can be set as the hearing aid user in general.
  • the types of consonants shown in the expansion rate table are not limited to the types of consonants shown in FIG.
  • the type of consonant may be a type of group roughly classifying the respective consonants with a common feature.
  • the expansion rate may be indicated for each consonant type, that is, for each group into which the consonants are roughly classified.
  • groups that roughly classify the types of consonants are not limited to voiced plosive sound, unvoiced plosive sound, unvoiced frictional sound, voiced frictional noise, unvoiced scraping sound and nasal sound as shown in FIG. 16, for example, lip and gum sounds It may be a group classified as etc.
  • the expansion rate for each group may be set using a representative value (for example, an average value, a maximum value, a minimum value, etc.) in each group.
  • the representative value in each group may be prepared and set in advance, or may be set from the value of the expansion rate of each consonant in each group.
  • FIG. 16 is a diagram showing an example of the minimum time resolution table.
  • the minimum time resolution table shown in FIG. 16 indicates the minimum time resolution necessary for perception (discrimination) for each consonant type. In comparison with the time resolution of the hearing aid user (listener), if it is determined that they can not be perceived, the extension processing is performed.
  • the time resolution of the hearing aid user (listener) is, for example, 25 (ms) and is set in advance.
  • the time expansion / compression adjustment means 503 extends the time of the consonant m by 1.3 times from the value of 25 (ms) /19.3 (ms) . Also, for example, in the case of the voiced gum bursting sound d, the time expansion / compression adjustment means 503 expands the time of the consonant d by 6.1 times from the value of 25 (ms) /4.1 (ms). However, for example, in the case of the hard palate half vowel (stuttering) y described as (33.5) in FIG. 16, this indicates that the sound can be recognized without extension, so that time extension The compression adjusting unit 503 expands (does not expand) by 1.0 times.
  • the time expansion / compression adjustment means 503 sets the time resolution of the hearing aid user (listener) hearing in the minimum time resolution table in the type of consonant analyzed by the sound analysis means 202. Expand by the value obtained by dividing by.
  • the value indicated by the minimum time resolution table in FIG. 16 is merely an example, and may be another value as long as the hearing aid user can distinguish the consonant from the extension time.
  • the slow-varying hard palate vowels (stuttering) do not need to stretch much, but the temporal change of the pace is fast, as shown in FIGS. 10A-10C (p, t, k)
  • the voiced burst sound shown in FIGS. 11A to 11C may be set to have a longer extension time than that illustrated.
  • the value of the time resolution of the hearing aid user (listener) set in advance may not be 25 ms, and may be 20 ms or 15 ms. It may be any value that can be set as the hearing aid user in general.
  • the types of consonants shown in the minimum time resolution table are not limited to the types of consonants shown in FIG.
  • the types of consonants may be roughly classified into groups. Others are the same as in the case of the expansion rate table described above, so the description will be omitted.
  • the expansion rate table and the minimum time resolution table described above are not limited to the case of being held by the time expansion / compression adjustment unit 503, and may be held by the storage unit provided in the adjustment unit 501. May be Here, an example of the configuration of the time expansion / compression adjustment means 503 when the time expansion / compression adjustment means 503 holds the expansion rate table and the minimum time resolution table is shown in the figure.
  • FIGS. 17 and 18 are diagrams showing an example of the configuration of the time expansion / compression adjustment means 503.
  • FIG. 17 and 18 are diagrams showing an example of the configuration of the time expansion / compression adjustment means 503.
  • the time expansion / compression adjustment means 503 shown in FIG. 17 is composed of, for example, an expansion rate setting means 5031 and an expansion rate table storage means 5032.
  • the expansion rate table storage unit 5032 holds the expansion rate table described above.
  • the expansion rate setting means 5031 sets the expansion rate with reference to the expansion rate table held by the expansion rate table storage means 5032 based on the time resolution of the hearing aid user (listener) and the type of consonant.
  • the expansion rate setting means 5031 outputs the adjustment amount including the set expansion rate to the control means 504.
  • the time expansion / compression adjustment means 503 shown in FIG. 18 is constituted of, for example, an expansion rate setting means 5031 and a minimum time resolution table storage means 5033.
  • the minimum time resolution table storage means 5033 holds the above-mentioned minimum time resolution table.
  • the extension rate setting means 5031 refers to the minimum time resolution table held by the minimum time resolution table storage means 5033 and compares it with the time resolution of the hearing aid user (listener), and determines that the extension rate can not be perceived.
  • Set The expansion rate setting means 5031 outputs the adjustment amount including the set expansion rate to the control means 504.
  • the time expansion / compression adjustment means 503 can set the adjustment amount for expansion and compression according to the type of consonant based on the expansion rate table and the minimum time resolution table, the recognition rate of consonants Can be improved.
  • the control unit 504 outputs the adjustment amount set by the time expansion / compression adjustment unit 503 to the signal processing unit 204 together with the control signal corresponding to the detection result of the voice analysis unit 502. That is, based on the type of consonant determined by the voice analysis unit 502, the control unit 504 determines the processing content (expansion, compression, etc.) of the sound.
  • the control of the signal processing unit 204 is performed by sending a control signal including information such as a sound section and processing content to the signal processing unit 204 together with the adjustment amount set by the time expansion / compression adjustment unit 503. Do.
  • the hearing aid of the fourth embodiment is configured.
  • the expansion time and the compression time can be adjusted according to the type of consonant by the voice analysis unit 502 of the adjustment unit 501 and the time expansion / compression adjustment unit 503. In accordance with, you can improve the consonant listening.
  • FIG. 19 is a block diagram showing the configuration of the hearing aid in the first modification of the fourth embodiment of the present invention.
  • the hearing aid illustrated in FIG. 19 includes an audio input unit 201, an adjustment unit 701, a control unit 704, a signal processing unit 204, and an audio output unit 207.
  • the adjustment unit 701 includes a voice analysis unit 502, a time expansion / compression adjustment unit 703, and a time resolution setting unit 302. The same components as those in FIG. 1, FIG. 5, or FIG.
  • the hearing aid shown in FIG. 19 differs from the hearing aid in FIG. 9 in the configuration of the adjustment unit 701 and the control means 704. Specifically, the adjustment unit 701 of the hearing aid shown in FIG. 19 differs from the adjustment unit 501 of the hearing aid of FIG. 9 in the configurations of the time expansion / compression adjustment means 703 and the time resolution setting means 302.
  • the voice analysis unit 502 determines whether the voice input to the voice input unit 201 is a section that can be regarded as acoustically silent or a voiced section, and determines that the section is a voiced section. It is determined whether the sound interval is a consonant interval or a vowel interval. Furthermore, the voice analysis unit 502 determines the type of consonant in the consonant interval when it is determined to be a consonant interval. Specifically, based on the acoustic characteristics (characteristics on the spectrum) of each consonant, the speech analysis means 502 determines the type of consonant from the characteristics of the initial intensity change and the short formant frequency change called crossover. (Identify.
  • the voice analysis unit 502 determines whether an acoustic feature to be expanded appears in the determined consonant section, and if an acoustic feature to be expanded appears, set and hold the extension area. You may.
  • the time resolution setting means 302 sets a time resolution value for adapting the hearing aid to the user individually before using the hearing aid.
  • the time expansion / compression adjustment means 703 refers to the expansion rate table and the minimum time resolution table, and the type of consonant determined by the speech analysis means 502 and the hearing aid user set by the time resolution setting means 302 (listener The adjustment amount is set based on the time resolution value of.
  • the time expansion / compression adjustment means 703 outputs the set adjustment amount to the control means 704.
  • the time expansion / compression adjustment unit 703 adjusts the amount of adjustment for adjusting the expansion time and the compression time of the sound according to both the type of consonant of the input sound and the time resolution of the hearing aid user. It can be set. As a result, it is possible to realize a hearing aid and hearing aid processing method that can improve the hearing more suitable for an individual.
  • FIG. 20 is a diagram showing an example of the expansion rate table.
  • the expansion rate table shown in FIG. 20 shows, for each component (type) of each consonant, the relationship between the time resolution and the expansion rate, and indicates the magnification (adjustment amount) to be expanded according to the type of consonant .
  • FIG. 21 is a block diagram showing an example of the configuration of the time expansion / compression adjustment means 703. As shown in FIG.
  • the time expansion / compression adjustment means 703 shown in FIG. 21 is composed of, for example, an expansion rate setting means 7031 and an expansion rate table storage means 7032.
  • the expansion rate table storage means 7032 holds the expansion rate table shown in FIG.
  • the extension ratio setting unit 7031 refers to the extension ratio table held by the extension ratio table storage unit 7032 based on the time resolution of the hearing aid user (listener) set by the time resolution setting unit 302 and the type of consonant. , Set the expansion rate.
  • the expansion rate setting means 7031 outputs the adjustment amount including the set expansion rate to the control means 704.
  • the type of the consonant determined by the voice analysis unit 502 is the sounding lip burst sound b and the time resolution value of the hearing aid user (listener) set by the time resolution setting unit 302 is 15 ms.
  • the time expansion / compression adjustment means 703 sets an adjustment amount for expanding the consonant section determined to be the consonant b by 3.4 times with reference to the expansion rate table shown in FIG.
  • the type of the consonant determined by the voice analysis unit 502 is the glottal friction sound h
  • the time resolution value of the hearing aid user (listener) set by the time resolution setting unit 302 is 15 ms.
  • the time expansion / compression adjustment means 703 sets an adjustment amount for expanding the consonant section determined to be the consonant h by 1.4 times with reference to the expansion rate table shown in FIG.
  • the other parts are also the same, so the description will be omitted.
  • the values indicated by the expansion rate table in FIG. 20 are merely examples, and may be other values as long as it is a magnification of the expansion time at which the hearing aid user can distinguish consonants.
  • the slow-varying hard palate vowels (stuttering) do not need to stretch much, but the temporal change of the pace is fast, as shown in FIGS. 10A-10C (p, t, k)
  • the voiced burst sound shown in FIGS. 11A to 11C may be set to have a longer extension time than that illustrated.
  • the extension time of a relatively short consonant such as an unvoiced plosive sound
  • an occurrence of hearing loss with a relatively long consonant such as a voiced plosive sound
  • the extension time of the unvoiced plosive may not exceed the extension time of the voiced plosive, or the extension time of the voiced plosive may be further extended.
  • the control unit 704 outputs the adjustment amount set by the time expansion / compression adjustment unit 703 to the signal processing unit 204 together with the control signal corresponding to the detection result by the voice analysis unit 502. That is, the control means 304 controls the signal processing unit 204 by sending both the control signal and the adjustment amount to the signal processing unit 204.
  • FIG. 22 is a flowchart showing an operation example of the hearing aid in the first modification of the fourth embodiment.
  • the operations in steps S401 to S411 are the same as steps S401 to S411 in FIG.
  • step S4040 the speech analysis means 502 determines whether an acoustic feature to be expanded appears in the determined (detected) consonant section (S4041).
  • the speech analysis means 502 determines that the acoustic feature to be decompressed appears (in the case of YES in S4041), it proceeds to the step (S4042) of setting the decompression interval. If not (in the case of NO in S4041), the process ends.
  • the time expansion / compression adjustment unit 703 When the consonant section determined (detected) by the speech analysis unit 502 is set as the expansion interval to be expanded (S 4042), the time expansion / compression adjustment unit 703 generates an expansion rate as shown in FIG. 20. Refer to the table. The time expansion / compression adjustment means 703 responds to both the type of consonant of the input speech determined (detected) by the speech analysis means 502 and the time resolution of the hearing aid user set by the time resolution setting means 302. An adjustment amount for adjusting the expansion rate and time of the expansion section and the time for compressing the vowel / silence section according to the consonant expansion time is set (S4043).
  • the control means 704 outputs the adjustment amount set by the time expansion / compression adjustment means 703 to the signal processing unit 204 together with the control signal according to the detection result by the voice analysis means 502.
  • the signal processing unit 204 executes the extension processing according to the adjustment amount and the control signal output from the control unit 704 (S4044).
  • the extension processing is, for example, a part where a temporal change is a clue, such as extending a transition (formant transition part) of nasal consonants (m, n) and voiced plosives (b, d, g) (Consonant sound) is to be extended so that the change can be perceived.
  • a portion (consonant) having a short duration of sound generation such as extending a rupture / fracture portion, so that the component can be perceived. That is, the extension process is performed on an initial (leading) portion such as a burst and a transition portion (formant transition) following the initial portion.
  • the extension processing is performed using the extension ratio table prepared in advance.
  • FIG. 23 is a block diagram showing another example of the configuration of the time expansion / compression adjustment means 703. As shown in FIG.
  • the minimum time resolution table storage means 7033 holds the minimum time resolution table shown in FIG.
  • the expansion rate setting unit 7031 is a minimum time resolution table held by the minimum time resolution table storage unit 7033 based on the time resolution of the hearing aid user (listener) set by the time resolution setting unit 302 and the type of consonant. See and set the extension rate.
  • the expansion rate setting means 7031 outputs the adjustment amount including the set expansion rate to the control means 704.
  • the time expansion / compression adjustment means 703 refers to the minimum time resolution table shown in FIG. 16 and determines that the consonant section determined as the consonant m from the value of 25 (ms) /19.3 (ms) is 1.3. Set the adjustment amount to double.
  • the time expansion / compression adjustment means 703 refers to the minimum time resolution table shown in FIG. 16 and determines the consonant section determined as the consonant d from the value of 25 (ms) /4.1 (ms). Set the adjustment amount to expand by 1 time.
  • the other parts are also the same, so the description will be omitted.
  • the value indicated by the minimum time resolution table shown in FIG. 16 is merely an example, and may be another value as long as the hearing aid user can obtain the magnification of the extension time by which the consonant can be discerned.
  • the slow-varying hard palate vowels (stuttering) do not need to stretch much, but the temporal change of the pace is fast, as shown in FIGS. 10A-10C (p, t, k)
  • the voiced burst sound shown in FIGS. 11A to 11C may be set to have a longer extension time than that illustrated.
  • the extension time of a relatively short consonant such as an unvoiced plosive sound
  • an occurrence of hearing loss with a relatively long consonant such as a voiced plosive sound
  • the extension time of the unvoiced plosive may not exceed the extension time of the voiced plosive, or the extension time of the voiced plosive may be further extended.
  • the control unit 704 outputs the adjustment amount set by the time expansion / compression adjustment unit 703 to the signal processing unit 204 together with the control signal corresponding to the detection result by the voice analysis unit 502. That is, the control means 304 controls the signal processing unit 204 by sending both the control signal and the adjustment amount to the signal processing unit 204.
  • FIG. 24 is a flowchart showing another operation example of the hearing aid in the modification 1 of the fourth embodiment.
  • the operations in steps S401 to S411 are the same as steps S401 to S411 in FIG. Further, the operations of step S4041 and step S4012 are the same as steps S4041 to S4012 of FIG.
  • step S4047 the time expansion / compression adjustment unit 703 refers to the minimum time resolution table as shown in FIG. Then, the time expansion / compression adjustment means 703 is based on both the type of consonant of the input voice determined (detected) by the voice analysis means 502 and the time resolution of the hearing aid user set by the time resolution setting means 302. , Minimum time resolution is acquired (S4047). Next, the time expansion / compression adjustment means 703 sets an adjustment amount for adjusting the expansion rate and time of the expansion section, and the time to compress the vowel / silence section according to the consonant expansion time (S4048).
  • control means 704 outputs the adjustment amount set by the time expansion / compression adjustment means 703 to the signal processing unit 204 together with the control signal according to the detection result by the voice analysis means 502.
  • the signal processing unit 204 executes the extension processing in accordance with the adjustment amount and the control signal output from the control unit 704 (S4047).
  • the extension processing here is performed on the initial (head) portion such as a burst and the transition portion (formant transition) which initially follows, as described above.
  • the extension processing is performed using the minimum time resolution table prepared in advance.
  • the hearing aid configured as described above performs extension processing for each consonant in accordance with the deterioration of the time resolution of the hearing aid user (listener).
  • the extension processing is extension processing based on time resolution, and is performed using a previously prepared extension rate table or minimum time resolution table or the like. Specifically, for example, a part where a temporal change is a clue (consonant), such as extending the transition (formant transition part) of nasal consonant (m, n) and voiced plosive (b, d, g) Only extend the process so that the change can be perceived.
  • extension processing is performed such that a component (consonant) having a short duration of sound generation (consonant) can be perceived, such as extension of a burst / fracture portion.
  • the extension process is performed on the initial part (head) such as a burst and the transition part (formant transition) that follows the initial part.
  • the degradation degree of the time resolution of the hearing aid user depends not only on the type of consonant sound but also on the speaking speed.
  • the voice analysis means 502 analyzes the speech speed, for example, by measuring the time intervals at which the consonants and vowels appear, and holds the speech speed information, and the time expansion / compression adjustment means 703 uses the speech analysis means 502.
  • the adjustment amount may be set in consideration of the held speech speed information.
  • the time expansion / compression adjustment means 703 sets an expansion rate table or a minimum time resolution table for speech of a standard speech speed, for example, when the speech speed is 1.2 times faster than the standard.
  • the table may be adjusted according to the speech speed of the audio being listened to, such as setting the value of the expansion rate table to 1.2 or the value of the minimum resolution table to 1.2.
  • the time resolution value of the hearing aid user (listener) is known in advance (previously prepared), and the time resolution setting means 302 determines the time of the hearing aid user (listener).
  • the resolution value is set is described as a typical example, it is not limited thereto.
  • the hearing aid user (listener) who estimates (measures) the time resolution of the hearing aid user (listener) with the adjustment device etc. and estimates (measures) with the adjustment device etc. ) May be set in the time resolution setting means 302.
  • the adjusting device or the like may be provided inside the time resolution setting unit 302 or may be separately provided outside.
  • This adjustment device acquires the hearing loss pattern that measures how the hearing aid user (listener) misses consonant sounds, and estimates the time resolution of the hearing aid user (listener) from the acquired hearing difference pattern Do. For example, if the hearing aid user (listener) makes a mistake in consonant k and answers consonant m correctly, the adjustment device uses the minimum time resolution table shown in FIG. From the minimum time resolution 19.3 ms of the consonant m, the time resolution of the hearing aid user (listener) is estimated to be about 18 to 19 ms. Thus, the adjustment device may estimate the time resolution of the hearing aid user (listener) from the hearing aid pattern of the hearing aid user (listener).
  • the measurement of the hearing loss pattern uses, for example, the result of a general speech intelligibility test (57S, 67S), or using a sound that is likely to cause (misleading) hearing loss so that the boundary of discrimination can be recognized. You can do it.
  • the adjustment device not only estimates the time resolution of the hearing aid user (listener) from the hearing aid pattern of the hearing aid user (listener), but also identifies consonant or consonant pairs that are likely to cause hearing loss.
  • the time resolution setting means 302 may be notified.
  • the time expansion / compression adjustment means 703 sets an adjustment amount for the consonant or consonant pair likely to cause anomalous sound so that the acoustic feature of the consonant or consonant pair likely to cause an auditory sense becomes clear. , Output to the control means.
  • the time expansion / compression adjustment means 703 may respond by, for example, readjustment of the value of the expansion rate table or the minimum time resolution table for consonants or consonant pairs in which hearing is likely to occur.
  • the signal processing unit 204 performs an extension process on the consonant or consonant pair that is likely to cause an abnormal hearing so that the acoustic features become clear. For example, if hearing loss occurs between nasal consonants (m, n) or voiced plosives (b, d, g), the extension interval and extension rate are set so that the difference between the transition parts can be perceived. Ru. In addition, for example, when hearing loss occurs between lip sounds (p, b, m, w) and gum sounds (t, d, s, z, ts, n), the initial (head) rupture and tear The extension interval and the extension ratio are set so that sounds and the like can be perceived. In this way, the hearing aid may perform the extension process on the consonant or consonant pair susceptible to hearing loss so that the acoustic features become clear.
  • Modification 2 The degree of deterioration of the time resolution of the hearing aid user (listener) listener not only differs depending on the type of consonant sound, but also varies depending on the size of the sound (sound pressure). Therefore, in the second modification, as a configuration example in consideration of the size of the voice, A configuration example different from the adjustment unit 501 in the above-described modification 1 will be described.
  • FIG. 25 is a block diagram showing the configuration of the hearing aid in Modification 2 of Embodiment 4 of the present invention.
  • the hearing aid shown in FIG. 25 includes an audio input unit 201, an adjustment unit 801, a control unit 804, a signal processing unit 204, and an audio output unit 207.
  • the adjustment unit 801 is configured of a voice analysis unit 502, a time expansion / compression adjustment unit 803, and a sound pressure calculation unit 402. The same components as those in FIG. 1, FIG. 5, or FIG.
  • the time expansion / compression adjustment means 803 refers to the expansion rate table and the minimum time resolution table to determine the type of consonant determined by the speech analysis means 502 and the sound pressure (value) calculated by the sound pressure calculation means 402. Set the adjustment amount based on the For example, when the sound pressure calculated by the sound pressure calculation unit 402 is larger than a predetermined value, the time expansion / compression adjustment unit 803 is set in the expansion ratio table according to the type of consonant determined by the sound analysis unit 502. The adjustment amount is set to be a value obtained by subtracting a predetermined value from the expansion rate.
  • the time expansion / compression adjustment unit 803 when the sound pressure calculated by the sound pressure calculation unit 402 is less than or equal to a predetermined value, the time expansion / compression adjustment unit 803 generates an expansion rate table for the types of consonants determined by the sound analysis unit 502. The adjustment amount is set to be a value obtained by adding a predetermined value from the set expansion rate. The time expansion / compression adjustment means 803 outputs the set adjustment amount to the control means 804.
  • the sound pressure calculation unit 402 may perform the calculation process only on the section determined as the sound section by the voice analysis unit 502, as in FIG. 8 described above.
  • the control unit 804 outputs the adjustment amount set by the time expansion / compression adjustment unit 803 to the signal processing unit 204 together with the control signal corresponding to the detection result of the voice analysis unit 502. That is, based on the type of sound (vowel, consonant, etc., etc.) analyzed by the voice analysis means 502, the control means 804 determines the processing content (expansion, compression, etc.) of the sound.
  • the control of the signal processing unit 204 is performed by sending a control signal including information such as a sound section and processing content to the signal processing unit 204 together with the adjustment amount set by the time expansion / compression adjustment unit 303. Do.
  • FIG. 26 is a block diagram showing the configuration of the hearing aid in Modification 3 of Embodiment 4 of the present invention.
  • the hearing aid illustrated in FIG. 26 includes an audio input unit 201, an adjustment unit 901, a control unit 904, a signal processing unit 204, and an audio output unit 207.
  • the adjustment unit 901 includes a voice analysis unit 502, a sound pressure calculation unit 402, a time resolution setting unit 302, and a time expansion / compression adjustment unit 903. The same components as those in FIG. 1, FIG. 5, or FIG.
  • the time expansion / compression adjustment means 903 refers to the expansion rate table and the minimum time resolution table, and the type of consonant determined by the speech analysis means 502, the sound pressure value calculated by the sound pressure calculation means 402, and the time The adjustment amount is set based on the time resolution value set by the resolution setting means 302.
  • the time expansion / compression adjustment means 903 outputs the set adjustment amount to the control means 904. Also in this case, as shown in FIG. 8 described above, the sound pressure calculation unit 402 may perform the calculation process only on the section determined as the sound section by the voice analysis unit 202.
  • the control unit 904 outputs the adjustment amount set by the time expansion / compression adjustment unit 903 to the signal processing unit 204 together with the control signal corresponding to the detection result of the voice analysis unit 202.
  • the expansion time and the compression time of the voice are determined according to the type of consonant of the input voice, the sound pressure of the input voice, and the time resolution of the user. It is possible to realize a hearing aid and a hearing aid processing method that can be adjusted, more suitable for personal listening improvement, and that prevents the audio degradation due to improper expansion and compression of the audio.
  • the consonant is transmitted to the deaf person who has difficulty in hearing the consonant due to the reduction of the time resolution. It is possible to give enough time for perception. As a result, it is possible to improve consonant mishearing and misrecognition, and to improve the degree of consonant recognition and hence the degree of speech recognition.
  • the consonant section is deleted by deleting the time that is extended Compress the time of the following section. Thereby, it is possible to prevent the time lag between the visual information and the auditory information.
  • this time compression is not limited to the vowel section following the consonant section obtained by expanding the time, and may be performed on another vowel section or may be performed on a meaningless section such as noise.
  • the expansion time of the consonant segment is maintained according to the degree of decrease in the time resolution of the deaf person by holding the data of the degree of decrease in time resolution of the person with hearing loss adjust.
  • consonant hearing improvement adapted to the individual with a hearing loss can be improved.
  • the expansion time of the consonant section is adjusted according to the sound pressure of the input sound. As a result, it is possible to improve hearing of consonants according to the sound pressure.
  • the type of consonant is determined based on the acoustic characteristics of the consonant, that is, the change in intensity of the initial sound signal and the initial following period (formant transition part).
  • the extension time of the consonant section to be expanded is adjusted by using, for example, PSOLA method or using a repetition process of repeating and duplicating the waveform of the formant transition part. This makes it possible to improve consonant listening according to the type of consonant. Note that, depending on the type of consonant, as described above, not only according to the type of consonant but also according to a group roughly classifying the type of consonant may be used.
  • groups of voiced plosives, groups of unvoiced plosives, groups of unvoiced frictional noises, groups of voiced frictional noises, groups of unvoiced avulsions, and groups of nasal sounds and types of consonants may be classified roughly.
  • a group of lip sounds, a group of gum sounds, etc., and a type of consonant may be roughly classified.
  • the expansion rate may be set using a representative value (for example, an average value, a maximum value, a minimum value, and the like) in each group.
  • the representative value in each group may be prepared and set in advance, or may be set from the value of the expansion rate of each consonant in each group.
  • hearing loss may be generated conversely by setting the expansion rate individually for each consonant.
  • correction may be performed to set a common expansion rate for a consonant or a pair of consonants in which hearing loss occurs.
  • hearing loss may be permitted for the initial use of the hearing aid. This is to learn that if the hearing aid user (listener) can perceive (distinguish) the acoustic difference of each consonant by the extension processing of the present invention, learning is performed so that the consonant indicated by the abnormal hearing is correctly recognized. Then, it is because it is also possible to eliminate hearing loss gradually. Thus, hearing aid may be permitted depending on the relearning of the hearing aid user (listener).
  • the analysis of the entire consonant is not performed, and the feature of the sound to be expanded is easily and quickly detected to start the time expansion of the consonant section. It is also good. That is, for example, if a characteristic change indicating a consonant is detected, such as a leading part (rapid change in frequency component) or a transition part (change in formant component: formant transition) indicating rupture / friction, the analysis of the entire consonant is awaited. Instead, the time extension of the consonant section may be started. In that case, it is possible not only to reduce the judgment delay of the consonant section described above, but to achieve an effect that the implementation becomes simple.
  • consonant or vowel may be determined using not the feature on the spectrum of voice (formant or the like) but the feature in the case where the voice is analyzed on the time axis.
  • the system LSI is a super-multifunctional LSI manufactured by integrating a plurality of components on one chip, and more specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions as the microprocessor operates in accordance with the computer program.
  • each of the above-described devices may be configured from an IC card or a single module that can be detached from each device.
  • the IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may be tamper resistant.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention is a computer readable recording medium that can read the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc ), And may be recorded in a semiconductor memory or the like. Further, the present invention may be the digital signal recorded on these recording media.
  • the computer program or the digital signal may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, and the like.
  • the present invention may be a computer system comprising a microprocessor and a memory, wherein the memory stores the computer program, and the microprocessor operates according to the computer program.
  • the present invention can be used for hearing aids and hearing aid processing methods, and in particular, improves hearing of consonant sounds of people with impaired temporal resolution, including senile deafness, and improves hearing aids, voice communication devices, and voice reproduction devices. When applied, it can be used for a hearing aid and a hearing aid processing method using sound processing technology that can improve speech intelligibility.

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Telephone Function (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

時間分解能の低下による聴力低下を改善する補聴器は、外部音声信号が入力される音声入力手段(201)と、音声入力手段(201)に入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析手段(202)と、音声分析手段(202)により検出された子音区間を時間的に伸長し、音声分析手段(202)により検出された母音区間および音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理部(204)とを備える。

Description

補聴器および補聴処理方法
 本発明は補聴器および補聴処理方法に関し、特に、聴覚補償のための補聴処理技術に関するものである。
 高齢社会の到来により高齢の難聴者が増加している。この高齢難聴者のうち多くが、老化現象による老人性難聴をわずらっている。老人性難聴の大半は、感音性難聴と呼ばれる内耳もしくは内耳以降の神経系の障害に起因する難聴である。言い換えると、老人性難聴は、加齢に伴い、音信号を脳へ伝える信号に変換する役割を担う内耳の有毛細胞が、弱化、変形、消失等することや、変換された信号を脳へ伝える神経が損傷すること等により、音信号を脳へ伝搬しにくくなることから起こる。
 従来、聴力が正常よりも低下する難聴者の聴覚を補償するものとして、補聴器が用いられてきた。補聴器では、例えば難聴者の聴力特性の劣化に応じて音を増幅させることにより聞こえを改善させる補聴技術が用いられている。また、近年では、補聴器だけでなく、高齢者向けに言葉の聞き取りをよくする補聴技術として話速変換が提案され、この話速変換を用いて、音声をゆっくり再生させる機能のあるテレビやラジオ、電話等も数多く出現している。
 しかし、これらの補聴技術を用いた補聴機器は、難聴のメカニズムの一部を改善するにすぎないものである。そのため、老人性難聴者を含む感音性難聴者が補聴器を使用しても、聴力特性に応じた音の増幅だけでは、十分な聴力改善の効果を得られない。なぜなら、感音性難聴は、単に音量的に音声が聞こえないというよりも、音声を言葉として聞き分ける能力が低下しているということが特徴としてみられるからである。
 ここで、感音性難聴の能力の低下の特徴として、1)ラウドネス補充現象、2)周波数選択性の低下、3)時間分解能の低下が挙げられ、下記に説明する。
 1)ラウドネス補充現象とは、最小可聴域値は健聴者と比べ上昇しているが、音が可聴値以上の強さになると、音の感覚的な大きさであるラウドネスが急激に増加するという現象である。つまり、感音性難聴者は小さい音が聞こえにくいのに、少しでも可聴値以上の大きな音になると、うるさく感じるというように、音量変化に敏感になる傾向がある。なお、前述した従来の補聴技術を用いた補聴機器はこの現象に着目し、聴力改善を図ったものである。
 2)感音性難聴では、周波数選択性の低下により、周波数帯域成分間のマスキング、とりわけ低域周波数成分による高域周波数成分のマスキング(上向性マスキング)の影響が増大する。つまり、感音性難聴者は、低音域の音よりも高音域の音が聞き取りにくくなるという傾向がある。なお、これに対しては、左右の耳に低域と高域とを別々に分けて提示することで、音声の明瞭度が高くなること等が報告されている(例えば、非特許文献1参照)。
 3)感音声難聴では、時間分解能の低下により、音の速い変化に対応しにくくなる。そのため、例えば2つの音が継続的に与えられた場合に、一方の音が他方の音にマスキングされる継時マスキングの影響が増大する。つまり、感音性難聴者は、時間変化の速い音を知覚することや、時間的に近い音を区別することが難しくなる。なお、継時マスキングには、先行音が後続音をマスクする順向性マスキングと、後続音が先行音をマスクする逆向性マスキングの2種類がある。順向性マスキングは、ある音に反応すると、音が消えてもすぐにその反応がおさまらず、その間に発生した後続の音が聞こえにくくなるという現象を指す。また、逆向性マスキングは、強い音ほど、神経の反応は速く起こるため、弱い音の後に強い音がくると2音の区別がつかなくなり、弱い先行音が聞こえにくくなる現象を指す。
 通常の会話では、母音はエネルギーが大きい、時間変化が少ない、持続時間が長いという特徴があり、逆に子音は、エネルギーの小さい、時間変化が激しい、持続時間が短いという特徴がある。そのため、感音性難聴者は、会話中の話すスピードに依存するものの、子音の前後の母音による継時マスキングが起こりやすいため、子音の聞き取りが難しい場合が多い。
 さらに、感音性難聴者は、時間分解能の低下により音の速い変化に対応しにくいため、子音の前後の音による継時マスキングがなくても、結果として子音を聞き逃してしまう場合も多い。これは、時間変化が激しく持続時間の短い子音に対して、感音性難聴者の有毛細胞が反応する前にその子音が消えてしまい反応できないためである。その結果、子音を聞き逃してしまう。
 このように、感音性難聴者は、時間分解能の低下により、子音の聞き取りが難しく、何を言っているか分からなかったり、違う言葉に聞こえたりするというように子音の認識率が悪化する。
 それに対して、従来、継時マスキングの影響を軽減する方法がある。例えば、母音が子音を継時マスキングすることがないように、母音のフォルマント成分が大きい低域の信号を抑圧することによって、結果的に子音を強調する技術が開示されている(例えば、特許文献1参照)。また、母音の終端部分を一部、一定時間抑圧して、母音と子音の間に無音区間を置くことによって、次に来る子音への継時マスキングの影響を抑える技術も開示されている(例えば、特許文献2、特許文献3参照)。さらに、母音による子音の継時マスキングに関連する、周波数成分間で発生するマスキングを低減するために、左右の耳に異なる周波数特性の信号を与える技術も提案されている(例えば、特許文献4参照)。
 このような処理を行うことで、母音から子音への継時マスキングを減らし、子音の聞き取りを改善させることができる。
特許第3596580号公報 特許第3303446号公報 特開平3-245700号公報 特開2006-87018号公報 特開昭58-70400号公報
Barbara Franklin,"The Effect of Combining Low- and High-Frequency Passbands on Consonant Recognition in the Hearing Impaired",Journal of Speech and Hearing Research,USA,American Speech-Language-Hearing Association,December 1975,Vol.18,719-727.
 しかしながら、上記従来の技術は、時間分解能の低下の影響のうち母音から子音への継時マスキングを減らすことを可能にしたにすぎない。つまり、上記従来の技術では、時間変化が激しく持続時間の短い子音を感音性難聴者に知覚させ、子音認識率を改善させることに関しては解決されていない。
 また、従来の話速変換は、音声の定常部分(主に母音部)を用いて、ピッチ周期を抽出し、ピッチ単位で補間を行うことで、時間伸長して話速を遅くするものである。そのため、時間変化が激しく、持続時間の短い子音を知覚させ、子音認識率を改善させることに関しては解決できていない。また、話速を遅らせることにより、唇の動作と声がずれて視覚情報と聴覚情報が同期しなくなる、いわゆるリップシンクがとれない状況が発生し、その結果会話の内容が聞きにくくなる場合がある。
 そこで、本発明は、時間分解能の低下によるこれらの課題を解決するもので、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を提供することを目的とする。
 この課題を解決するために、本発明の補聴器は、外部音声信号が入力される音声入力手段と、前記音声入力手段に入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析手段と、前記音声分析手段により検出された前記子音区間を時間的に伸長し、前記音声分析手段により検出された前記母音区間および前記音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理手段とを備える。
 本構成によると、子音区間を時間伸長することで、時間変化が激しく持続時間の短い子音の認識率を改善するとともに、母音区間および/または音響的に無音とみなせる区間を圧縮することで視覚情報と聴覚情報を同期させ、リップシンクによる聴覚補助を保つことができる。
 また、前記伸長された子音区間の時間の一部を、前記母音区間から信号をピッチ単位で削除することにより前記母音区間を時間的に圧縮し、前記伸長された子音区間の時間の残部を、前記音響的に無音とみなせる区間の信号を削除することにより前記音響的に無音とみなせる区間を圧縮するとしてもよい。
 本構成によると、子音区間そのもの(位置・場所)ではなく、伸張処理によって増えた時間(量)のうちの一部の時間分を母音区間から削除し、リップシンクがとれない状況を回避する。それにより、時間変化が激しく持続時間の短い子音の認識率を改善でき、リップシンクによる聴覚補助も保ちつつ、音の高さが変化するといった音質の劣化を防ぐことができる。
 また、前記補聴器は、さらに、前記補聴器を利用する利用者の聴覚の時間分解能を示す時間分解能情報に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長するとしてもよい。
 本構成によると、補聴器利用者個人に適した子音の聞き取り改善ができる。
 また、前記補聴器は、さらに、前記音声信号の音圧を算出し、算出した前記音圧に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長するとしてもよい。
 本構成によると、入力音声の音圧に応じた音声の明瞭度改善ができる。
 また、前記音声分析手段は、前記子音区間内において子音の種類を分析し、前記補聴器は、さらに、前記音声分析手段により分析された子音の種類に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長するとしてもよい。
 本構成によると、各子音の種類に応じた最適な持続時間を与え、子音に応じた音声の明瞭度改善ができる。
 本発明によれば、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を実現することができる。具体的には、老人性難聴を含む時間分解能が低下した感音性難聴者に対して、特に子音の聞き取りを向上させることができ、音声明瞭度を改善させることができる。
図1は、本発明の実施の形態1における補聴器の構成を示すブロック図である。 図2は、本発明の実施の形態1における音声分析手段と制御手段との動作例1を示すフローチャートである。 図3は、本発明の実施の形態1における音声分析手段と制御手段との動作例2を示すフローチャートである。 図4は、本発明の実施の形態1における音声分析手段と制御手段との動作例3のフローチャートである。 図5は、本発明の実施の形態2における補聴器の構成を示すブロック図である。 図6は、本発明の実施の形態3における補聴器の構成を示すブロック図である。 図7は、本発明の実施の形態3の変形例1における補聴器の構成を示すブロック図である。 図8は、本発明の実施の形態3の変形例2における補聴器の構成を示すブロック図である。 図9は、本発明の実施の形態4における補聴器の構成を示すブロック図である。 図10Aは、無声破裂音の音響的特徴を示す図である。 図10Bは、無声破裂音の音響的特徴を示す図である。 図10Cは、無声破裂音の音響的特徴を示す図である。 図11Aは、有声破裂音の音響的特徴を示す図である。 図11Bは、有声破裂音の音響的特徴を示す図である。 図11Cは、有声破裂音の音響的特徴を示す図である。 図12Aは、鼻子音の音響的特徴を示す図である。 図12Bは、鼻子音の音響的特徴を示す図である。 図13Aは、摩擦音の音響的特徴を示す図である。 図13Bは、摩擦音の音響的特徴を示す図である。 図13Cは、摩擦音の音響的特徴を示す図である。 図14は、伸長率テーブルの1例を示す図である。 図15は、伸長率テーブルの1例を示す図である。 図16は、最小時間分解能テーブルの1例を示す図である。 図17は、時間伸長・圧縮調整手段503の構成の一例を示す図である。 図18は、時間伸長・圧縮調整手段503の構成の一例を示す図である。 図19は、本発明の実施の形態4の変形例1における補聴器の構成を示すブロック図である。 図20は、伸長率テーブルの1例を示す図である。 図21は、時間伸長・圧縮調整手段703の構成の一例を示すブロック図である。 図22は、本実施形態4の変形例1における補聴器の動作例を示すフローチャートである。 図23は、時間伸長・圧縮調整手段703の構成の別の一例を示すブロック図である。 図24は、本発明の実施の形態4の変形例1における補聴器の別の動作例を示すフローチャートである。 図25は、本発明の実施の形態4の変形例2における補聴器の構成を示すブロック図である。 図26は、本発明の実施の形態4の変形例3における補聴器の構成を示すブロック図である。
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 (実施の形態1)
 図1は、本発明の実施の形態1における補聴器の構成を示すブロック図である。
 図1に示す補聴器は、音声入力手段201と、音声分析手段202と、制御手段203と、信号処理部204と、音声出力手段207とを備える。
 音声入力手段201は、例えばマイクロホン、誘導コイルまたは音声通信装置若しくは音声再生装置の出力を入力する外部入力端子であり、外部の音声信号が入力され、入力された音声信号を信号処理部204に出力する。
 音声分析手段202は、音声入力手段201に入力される音声信号の音の種別(母音、子音、それ以外等)を分析する。具体的には、音声分析手段202は、入力された音声信号が音響的に無音とみなせる区間であるか、または有音区間であるかを判定する。さらに、音声分析手段202は、有音区間と判定された有音区間内において、子音区間と子音区間に後続する母音区間を検出することにより、子音区間と母音区間とを判定する。
 例えば、音声分析手段202は、音響的に無音とみなせる区間と有音区間とを次のように判定する。音声分析手段202は、単位時間における音声信号のパワーを計算し、そのパワー値が所定閾値以上になる時間が所定継続時間を超えた場合、有音区間と判定し、所定継続時間未満である場合や所定閾値未満である場合、音響的に無音とみなせる区間と判定する。なお、有音区間と音響的に無音と見なせる区間(無音区間)とを判定する方法には、例示した以外に知られる判定方法を用いてもよい。
 また、例えば、音声分析手段202は、有音区間と判定された有音区間内における子音区間と母音区間とを次のように検出して判定する。音声分析手段202は、例えば有音区間と判定された有音区間内においてフォルマント周波数またはピッチ周期を抽出(検出)し、子音と母音とが有するそれぞれの特徴から子音と母音とを判定する方法等を用いる。ここで、子音の信号は、単体では他の雑音との区別が難しいため、子音区間を判断するために後続する母音の存在とから子音区間を推定および判定を行う。なお、音声分析手段202は、フォルマント周波数およびピッチ周期のどちらに基づいて子音区間と母音区間とを判定してもよいし、上記の例示した以外に知られる判定方法を用いてもよい。
 制御手段203は、音声分析手段202の分析に基づいて、信号処理部204の制御を行う。すなわち、制御手段203は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して音の区間および処理内容等の情報を含む制御信号を送ることにより、信号処理部204の制御を行う。
 具体的には、制御手段203は、音声分析手段202によって子音区間または子音区間に後続する母音区間が検出されたとき、検出された子音区間または子音区間に後続する母音区間に応じて、信号処理部204の制御を行う。制御手段203は、音声分析手段202において子音区間が検出された場合、時間伸長手段205が子音区間の時間伸長を行うための情報を含む制御信号を信号処理部204に入力する。さらに、制御手段203は、音声分析手段202において検出された子音区間に後続する母音区間がある場合、時間圧縮手段206が母音区間の時間圧縮を行うための情報を含む制御信号を信号処理部204に入力する。
 なお、制御手段203と信号処理部204とがどのように処理分担するかは実装方法により様々な実装が可能であり、本実施の形態の処理分担に限られたものではない。例えば、制御手段203は、音の種別と処理内容のみを信号処理部204に送り、処理時間は信号処理部204が決定するとし、必要な場合には制御手段203に送信するような構成であってもかまわない。
 また、時間伸長手段205が子音区間の時間伸長を行うための情報は、検出された子音の種類毎にそれぞれ決められていてもよいし、子音を大まかなグループに分類し、そのグループ毎にそれぞれ決められていてもよい。また、受聴者の時間分解能の劣化に応じて、子音の種類毎または大まかに分類された子音のグループ毎にそれぞれ決められてもよい。
 信号処理部204は、時間伸長手段205と時間圧縮手段206とを有し、制御手段203からの制御信号に応じて、時間伸長手段205と時間圧縮手段206とにより、音声入力手段201から出力された音声信号の信号処理を行う。具体的には、信号処理部204は、音声入力手段201より音声信号が入力され、制御手段203より制御信号が入力される。信号処理部204は、制御手段203からの制御信号に基づいて、時間伸長手段205と時間圧縮手段206とにより、音声入力手段201から入力された音声信号を処理する。すなわち、信号処理部204は、音声分析手段202により検出された子音区間を時間的に伸長し、音声分析手段202により検出された母音区間および音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する。なお、子音を判断するために、後続する母音が音声分析手段202に入力される必要がある場合には、制御手段203から入力される制御信号には子音区間の判断遅延が生じる。そのため、一般的には遅延バッファを信号処理部204内または信号処理部204の前段に設けて判断遅延にあわせて時間圧縮および伸長手段が動作できるようにする必要がある。
 時間伸長手段205は、制御手段203からの制御信号で指定された子音区間の時間伸長を行う。子音区間の時間伸長は、例えば特許文献5で開示されているように子音区間の音声信号を時間的に切り出し、その部分を繰り返す技術などにより行うことができる。さらに、子音区間の時間伸長に、フェードイン・フェードアウトを行うクロスフェードを行うことで、つなぎ目をよりスムーズにすることができる。
 このように、子音の発生している時間(子音区間)を長くすることで、劣化した内耳の有毛細胞でも子音に対して反応できるようになり、また、子音の前後の母音による継時マスキングの影響を減少させることができる。これにより、子音が聞き取りづらい難聴者の、子音の認識率を改善することができる。なお、子音区間を伸長する方法は、上記の子音伸長方式に限定されるものではなく、その他の子音伸長方式を用いてもよい。その場合でも、同様の認識率改善効果がある。
 時間圧縮手段206は、母音区間および前記音響的に無音とみなせる区間の少なくとも一方から子音区間を伸長した時間分を圧縮する。具体的には、時間圧縮手段206は、制御手段203からの制御信号に基づいて、上記で指定された子音区間に後続する母音区間、若しくは音響的に無音とみなせる区間の時間圧縮、または子音区間に後続する母音区間および音響的に無音とみなせる区間両方の時間圧縮を行う。また、時間圧縮手段206は、伸長された子音区間の時間の一部を、母音区間から信号をピッチ単位で削除することにより母音区間を時間的に圧縮し、伸長された子音区間の時間の残部を、音響的に無音とみなせる区間の信号を削除することにより音響的に無音とみなせる区間を圧縮する。このように、時間圧縮手段206は、子音区間そのもの(位置・場所)ではなく、伸張処理によって増えた時間(量)すなわち子音区間で時間伸長された時間分を後続の区間で時間圧縮する手当を行う。それにより、時間伸長手段205が子音区間の時間を伸長した場合でも、視覚情報と聴覚情報にズレが生じ、リップシンク(視覚と聴覚の同期)による聴覚補助ができなくなるという問題に対応することができる。
 より具体的には、時間圧縮手段206は、子音の発生タイミングが視覚情報と合うように、子音区間を伸長した時間の記録等をもとにその時間分またはそれ以上、後続する母音区間の一部、または無音区間の音声信号を一部もしくは全部を削除することにより時間圧縮を行う。これは、母音区間では部分的に音を削除する処理を行ったとしても、継続時間が長く、定常状態が続くため、聞き取りにくくなることはないからである。また、無音区間の一部もしくは全部を削除しても音声の聞き取りに悪影響は及ぼさないからである。ただし、その場合でも、母音区間の時間圧縮により音の高さが変化するといった音質の劣化を防ぐために、圧縮する母音区間の母音のピッチ周期を抽出し、ピッチ単位で削除して時間を縮めるのが好ましい。なお、このようにピッチ単位で母音区間を削除する場合は、子音の伸長時間と厳密に一致させるようには削除できないと考えられる。しかし、その場合でも、母音区間を削除する場合には上述の理由により伸長時間と厳密に一致させなくても、ピッチ単位で削除することが望ましい。
 なお、子音区間を伸長した時間については、制御手段203が保持してもよいし、信号処理部204が保持してもよい。また他に記録部等を設け、伸長時間を記録するような構成としてもよい。
 音声出力手段207は、信号処理部204で処理された音声信号を出力する。音声出力手段207は、例えば、イヤホン、スピーカ、ヘッドフォン等だけでなく、骨導振動子のような振動子や、内耳用の電極等を利用したものでもよい。
 次に、以上のように構成された本実施の形態の補聴器における音声分析手段202と制御手段203との動作の一例について説明する。図2は、本実施形態1における音声分析手段と制御手段との動作例1を示すフローチャートである。なお、以下の動作例1においては、子音検出フラグconsを用いた場合について例示する。
 音声分析手段202は、まず、音声入力手段201に入力される入力音声が、有音区間であるか否かを判定する(S201)。音声分析手段202は、その入力音声が有音区間であると判定すれば(S201のYESの場合)、判定した有音区間が子音区間であるか否かを判定するステップ(S202)に進む。音声分析手段202は、そうでなければ(S201のNOの場合)、処理を終了する。
 次に、ステップS202において、音声分析手段202は、その有音区間の音声が子音区間の音声であると判定すると(S202のYESの場合)、時間伸張制御を行うステップ(S204)に進む。そうでなければ(S202のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S205)に進む。ステップS204において、制御手段203は、信号処理部204の時間伸長手段205に、所定時間の時間伸長を行わせるよう制御を行い、子音検出フラグconsに1を代入する。
 一方、ステップS202において、音声分析手段202は、その有音区間が子音区間ではないと判定すると(S202のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S205)に進む。ステップS205において、音声分析手段202は、子音検出フラグconsが1であると判定すると(S205のYESの場合)、さらに、その有音区間が母音区間であるか否かを判定するステップ(S206)に進む。そうでなければ(S205のNOの場合)、処理を終了する。ステップS206において、音声分析手段202は、その有音区間が母音区間と判定すると(S206のYESの場合)、ピッチ単位の時間圧縮制御を行うステップ(S208)に進む。そうでなければ(S206のNOの場合)、処理を終了する。ステップS208において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれ以上の時間分の母音区間をピッチ単位で削除させて時間圧縮を行わせるよう制御を行い、子音検出フラグconsに0を代入する。
 以上のように、音声分析手段202と制御手段203とは、連続して音声入力手段201に入力される入力音声についての動作を行う。なお、S205において、子音検出フラグconsが1であるか否か判定するのは、時間伸張が行われていない場合、あるいは時間伸張の後に時間圧縮が行なわれた場合(いずれもconsが0の状態)に、不必要な時間圧縮が行われるのを防止するためである。また、S206のNoは、有音区間が子音区間でも母音区間でもない雑音等の場合でも対応できるようにするためにある。
 なお、以上の動作例1において、子音検出フラグconsの代わりに伸張時間変数durを用いる場合には、以下のように動作を行えばよい。すなわち、ステップS204においては、consに1を代入する代わりに、durに子音を伸張した時間を加算する。また、ステップS205においては、consが1であるか否かを判定する代わりに、durが0より大きいか否かを判定する。また、ステップS208においては、durが示す時間を超えない範囲で時間圧縮を行わせるように制御し,変数durから母音を圧縮した時間を減算する。以上のような伸張時間変数durを用いる処理は、本発明の補聴器が、例えばフレーム処理のように、入力された音声を短い時間間隔で区切って処理するような場合に、特に有効である。さらに、上述の子音検出フラグや伸張時間変数を用いる方法に限らず、伸長するべきか否かが判断できるその他の方法を用いても良い。
 次に、音声分析手段202と制御手段203の他の動作例(動作例2)について説明する。図3は、本実施形態1における音声分析手段と制御手段との動作例2を示すフローチャートである。なお、以下の動作例2においても、子音検出フラグconsを用いた場合について例示するが、上述の動作例1と同様に、伸張時間変数durを用いるか、あるいは伸長するべきか否かが判断できるその他の方法を用いても良い。
 音声分析手段202は、まず、音声入力手段201に入力される入力音声が、有音区間であるか否かを判定する(S301)。音声分析手段202は、その入力音声が有音区間であると判定すれば(S301のYESの場合)、判定した有音区間が子音区間であるか否かを判定するステップ(S302)に進む。そうでなければ(S301のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S305)に進む。
 次に、ステップS302において、音声分析手段202は、その有音区間の音声が子音区間の音声であると判定すると(S302のYESの場合)、時間伸張制御を行うステップ(S304)に進む。そうでなければ(S302のNOの場合)、処理を終了する。なお、ステップS304の動作は、図2のステップS204と同じであるため説明を省略する。
 一方、ステップS305において、音声分析手段202は、子音検出フラグconsが1であると判定すると(S305のYESの場合)、時間圧縮制御を行うステップ(S307)に進む。そうでなければ(S305のNOの場合)、処理を終了する。ステップS307において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれ以上の時間分の、音響的に無音とみなせる区間を削除させて時間圧縮を行わせるよう制御を行い、子音検出フラグconsに0を代入する。
 以上のように、音声分析手段202と制御手段203とは、連続して音声入力手段201に入力される入力音声についての動作を行う。なお、動作例1と動作例2との違いは、母音区間ではなく、音響的に無音とみなせる区間を削除して時間圧縮を行う点にある。
 さらに、音声分析手段202と制御手段203との他の動作例(動作例3)について説明する。図4は、本実施形態1における音声分析手段202と制御手段203との動作例3を示すフローチャートである。なお、以下の動作例3においても、子音検出フラグconsを用いた場合について例示するが、上述の動作例1あるいは動作例2と同様に、伸張時間変数durを用いるか、あるいは伸長するべきか否かが判断できるその他の方法を用いても良い。
 音声分析手段202は、まず、音声入力手段201に入力される入力音声が、有音区間であるか否かを判定する(S401)。音声分析手段202は、その入力音声が有音区間であると判定すれば(S401のYESの場合)、判定した有音区間が子音区間であるか否かを判定するステップ(S402)に進む。そうでなければ(S401のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S409)に進む。
 ステップS402において、音声分析手段202は、その有音区間の音声が子音区間の音声であると判定すると(S402のYESの場合)、時間伸張制御を行うステップ(S404)に進む。そうでなければ(S402のNOの場合)、時間圧縮処理が必要か否かを判定するステップ(S405)に進む。なお、ステップS404~ステップS406の動作は、図2のステップS204~S206とそれぞれ同じであるため説明を省略する。
 ステップS406において、音声分析手段202は、その有音区間が母音区間であると判定(検出)すると(S406のYESの場合)、ピッチ単位の時間圧縮制御を行うステップ(S408)に進む。そうでなければ(S406のNOの場合)、処理を終了する。ステップS408において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれより短い時間分の、母音区間をピッチ単位で削除させて時間圧縮を行わせるよう制御を行う。そして、母音区間を圧縮した時間ならびに音響的に無音とみなせる区間を圧縮した時間の総和が、子音を伸張した時間と等しい場合は、子音検出フラグconsに0を代入する。
 一方、ステップS409において、音声分析手段202は、子音判定フラグconsが1であると判定すると(S409のYESの場合)、時間圧縮制御を行うステップ(S411)に進む。そうでなければ(S409のNOの場合)、処理を終了する。ステップS411において、制御手段203は、時間圧縮手段206に、子音を伸長した時間分またはそれより短い時間分の、音響的に無音とみなせる区間を削除させて時間圧縮を行わせるよう制御を行う。そして、母音区間を圧縮した時間ならびに音響的に無音とみなせる区間を圧縮した時間の総和が、子音を伸張した時間と等しい場合は、子音検出フラグconsに0を代入する。
 以上のように、音声分析手段202と制御手段203とは、連続して音声入力手段201に入力される入力音声についての動作を行う。なお、動作例1および動作例2との違いは、母音区間および音響的に無音とみなせる区間を削除して時間圧縮を行う点にある。
 なお、上述の動作例3においては、母音区間あるいは音響的に無音とみなせる区間のどちらか先に検出したほうの時間圧縮制御を行うように動作するが、母音区間を先に検出してから音響的に無音とみなせる区間の時間圧縮処理を行う場合は、子音判定フラグconsに加え母音判定フラグvowを用いて、以下のように動作を行えばよい。すなわち、ステップS408においては、子音を伸長した時間より短い時間分の、母音区間をピッチ単位で削除させて時間圧縮を行わせるよう制御を行い、consに0を代入するのに加え、vowに1を代入する。ステップS409においては、consが0であり、かつ、vowが1であると判定するとS411に進む。ステップS411においては、子音伸長時間と母音圧縮時間との差分の時間分(例えば子音の伸長時間分のうち母音を縮められなかった残りの時間分)について、音響的に無音とみなせる区間の圧縮を行わせるよう制御を行い、vowに0を代入する。
 以上のように、本実施の形態では、後続の母音区間、若しくは、音響的に無音とみなせる区間、または後続の母音区間と音響的に無音とみなせる区間との両方で時間圧縮処理を行う。しかし、上記で説明したこれらの区間だけでなく、後続のさらにその後に発生する他の母音区間や雑音等の区間で時間圧縮処理を行ってもよい。いずれにせよ、視覚情報と聴覚情報との不一致を解消し、リップシンクによる聴覚補助が可能となるよう、音声信号に適した区間を選択し、時間圧縮する手当を行えばよい。
 以上のように、本実施の形態1によれば、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を実現することができる。具体的には、音声入力手段201に入力される音声信号を音声分析手段202において分析し、音響的に無音とみなせる区間であるか有音区間であるか判定し、判定した有音区間で、さらに子音区間と母音区間との判定を行う。そして、音声分析手段202の判定結果によって、制御手段203は、信号処理部204の時間伸長手段205および時間圧縮手段206を動作させる制御信号を信号処理部204に出力する。時間伸長手段205では、子音区間の時間伸長を行い、時間圧縮手段206では、後続の母音区間、若しくは音響的に無音とみなせる区間、または後続の母音区間と音響的に無音とみなせる区間との両方において子音区間で伸長した時間分を削除することにより時間圧縮する。
 このように子音区間を知覚できる長さまで時間伸長することで、時間分解能が低下し、通常の会話における音声の子音を知覚しにくい難聴者が、子音の知覚時間を確保することができ、結果的に音声全体の認識度合いを向上させることができる。さらに、子音の伸長によりリップシンクによる聴覚補助ができなくなるという問題に対して、後続の母音区間、音響的に無音とみなせる区間、他の母音区間、または無意味区間等を時間圧縮することで、視覚情報との不一致をも解消できる。
 なお、子音全体の分析までは行わず、伸長すべき音声の特徴を、簡易的かつ高速に検出する方法を用いて、子音区間の時間伸長を行うとしてもよい。その場合、上述した子音区間の判断遅延を少なくすることができるだけでなく、実装が簡易になるため好ましい一面もある。ここで、伸長すべき音声の特徴を簡易的かつ高速に検出する方法としては、例えば、破裂・摩擦といった先頭部分(急激な周波数成分の変化)または渡り部分(フォルマント成分の変化:フォルマント遷移)といった子音の特徴のみを検出する方法などがある。
 (実施の形態2)
 図5は、本発明の実施の形態2における補聴器の構成を示すブロック図である。図5に示す補聴器は、音声入力手段201と、音声分析手段202と、調整部301と、制御手段304と、信号処理部204と、音声出力手段207とを備える。なお、図5において、図1と同じ構成要素については同じ符号を用い、説明を省略する。
 また、図5に示す補聴器は、実施の形態1に係る補聴器に対して、調整部301、制御手段304および信号処理部204の構成が異なる。
 調整部301は、時間分解能設定手段302と時間伸長・圧縮調整手段303とで構成され、本発明の補聴器利用者の、聴覚の時間分解能に応じて、音声信号の一部を伸長する時間と、その他の一部を圧縮する時間とを調整する。例えば、調整部301は、利用者の聴覚の時間分解能の低下度合いが大きい場合には、利用者の聴覚の時間分解能の低下度合いが小さい場合に比べて、子音区間を伸長する時間を長くするよう調整する。
 時間分解能設定手段302は、本発明の補聴器を利用者に適応させるため、補聴器利用前に、フィッティングプログラム等を用いてその補聴器の時間分解能に対する調整値が、フィッティングのパラメータの1つとして、設定される。このようにして設定された調整値を用いて、時間分解能設定手段302には、補聴器利用者の時間分解能の値が設定される。ここで、調整値は、補聴器の外部入力から入力されて設定されるが、時間分解能設定手段302が設定する構成に限られず、時間伸長・圧縮調整手段303も含めた調整部301により、設定される構成となっていてもよい。
 例えば、時間分解能設定手段302は、補聴器利用者の聴覚の時間分解能値として、時間分解能の測定方法を用いて測定されたデータ、または、測定値に応じた、時間分解能の低下度合いのパラメータが設定される。
 なお、時間分解能の測定方法は、「聴覚心理学概論」(B.J.Cムーア著 大串健吾監訳)の中に詳しく書かれている。例えば、広帯域または狭帯域雑音の中に雑音が断続するギャップを挿入し、ギャップの検知閾を測定することで時間分解能の低下度合いを算出する。このような時間分解能の測定は、補聴器のフィッティング時や耳鼻科診療の際に行えばよいし、補聴器に測定プログラムを内蔵して、補聴器のレシーバを使って音を出しながら計測する手段も考えられる。また、時間分解能の低下は継時マスキングの影響を増大させる傾向があるため、継時マスキング特性を測定することで、簡易的に時間分解能の低下度合いを算出してもよい。例えば、前記「聴覚心理学概論」によると、プローブと呼ばれる短い信号とマスカーを使って、プローブの知覚できる遅延時間、マスキング量を測定することで、簡易的に時間分解能の低下度合いを算出する。また、単純に、話速の異なる文章で聞き取り試験を行い、正答率に応じて、時間分解能の低下度合いを推測することにより時間分解能を測定するとしてもよい。
 時間伸長・圧縮調整手段303は、時間分解能設定手段302で設定された時間分解能値に基づき、信号処理部204の時間伸長手段305が伸長する時間(伸長時間)と時間圧縮手段306が圧縮する時間(圧縮時間)とを調整する調整量を設定する。
 具体的には、時間伸長・圧縮調整手段303は、時間分解能設定手段302で設定された時間分解能値に基づき、例えば時間分解能の低下度合いが小さい場合は、伸長時間と圧縮時間とを短めに設定し、低下度合いが大きい場合は、伸長時間と圧縮時間とを長めに設定する。このように、利用者の時間分解能の低下度合いに応じて、その利用者が子音を知覚できるまで子音を伸長することによって、継続時間の短い子音を知覚しやすくすることができる。
 制御手段304は、時間伸長・圧縮調整手段303で設定された調整量を、音声分析手段202による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段304は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段303で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
 時間伸長手段305は、制御手段304により信号処理部204に入力された調整量と制御信号とに基づいて、子音区間の時間伸長を行う。この子音区間の時間伸長は、図1の時間伸長手段205と同様に行うが、子音区間を伸長させる時間は入力された調整量にも基づいて決定される。
 時間圧縮手段306は、制御手段304により信号処理部204に入力された調整量と制御信号とに基づいて、母音区間等の時間圧縮を行う。この時間圧縮は、図1の時間圧縮手段206と同様に行うが、母音区間等を圧縮させる時間は、入力された調整量にも基づいて決定される。
 このように本実施の形態2によれば、時間分解能設定手段302と時間伸長・圧縮調整手段303とにより、利用者の聴覚の時間分解能に応じて、音声の伸長時間と圧縮時間とを調整することができる。それにより、さらに、個人に適した子音の聞き取り改善を可能とする補聴器および補聴処理方法を実現することができる。
 (実施の形態3)
 利用者の時間分解能は、音圧(音の大きさ)によっても変化することが知られている。そのため、本実施の形態3では、入力された音声信号の音圧に応じて、伸長処理を行う場合の例について以下説明する。
 図6は、本発明の実施の形態3における補聴器の構成を示すブロック図である。図6に示す補聴器は、音声入力手段201と、音声分析手段202と、調整部401と、制御手段404と、信号処理部204と、音声出力手段207とを備える。なお、図1または図5と同じ構成要素については同じ符号を用い、説明を省略する。
 図6に示す補聴器は、実施の形態1に係る補聴器に対して、調整部401および制御手段404の構成が異なる。
 調整部401は、音圧算出手段402と時間伸長・圧縮調整手段403とで構成され、音声入力手段201に入力された入力音声の音圧に応じて、音声信号の一部を伸長する時間とその他の一部を圧縮する時間とを調整する。
 具体的には、音圧算出手段402は、音声入力手段201に入力された入力音声の単位時間あたりの音圧を算出する。
 時間伸長・圧縮調整手段403は、音圧算出手段402で算出された音圧(値)に基づいて、時間伸長手段305と時間圧縮手段306とにおいて、伸長される時間と圧縮される時間とを調整する調整量を設定する。例えば、時間伸長・圧縮調整手段403は、音圧算出手段402で算出された音圧値が所定値よりも大きいときは、伸長時間と圧縮時間を短めに設定し、前記音圧値が所定値と同じか小さいときは、伸長時間と圧縮時間を長めに設定する。ここで、所定値とは、予め定められた伸長時間と圧縮時間とにおける標準となる音圧値を意味する。また、例えば、時間伸長・圧縮調整手段403は、音圧算出手段402で算出された音圧値が所定値より大きい場合には、音圧算出手段402で算出された音圧値が所定値以下の場合に比べて、子音区間を伸長する時間を短くするよう調整する。
 制御手段404は、時間伸長・圧縮調整手段403で設定された調整量を、音声分析手段202による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段404は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段403で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
 このように、音声入力手段201に入力される入力音声の音圧に応じて伸長時間と圧縮時間とを変化させることで、例えば音圧が高く明瞭度が十分ある音声に対して子音が発生している時間を長くさせることができ、逆に明瞭度を下げたり、不自然さを出したりという悪影響を防ぐことができる。また音圧が低い場合は、子音が発生している時間を長くして、子音の知覚を補助することができる。
 なお、音圧(音の大きさ)によっても利用者の時間分解能が変化するが、この変化は利用者毎に異なる場合が多い。そのため、補聴器利用前に利用者の音圧毎の聴力検査を実施し、音圧毎の聴力に係るパラメータを得るのが好ましい。その場合、得られた音圧毎の聴力に係るパラメータを調整部401に入力し、時間伸長・圧縮調整手段403において調整量を設定し、音圧に応じた伸長時間と圧縮時間を決めてもよい。
また、子音と母音の音圧毎の音声明瞭度を測定し、音圧毎の明瞭度に係るパラメータを、時間伸長・圧縮調整手段403を含む調整部401に入力し、前記調整量を設定し、音圧に応じた伸長時間と、圧縮時間を決めてもよい。
 (変形例1)
 図7は、本発明の実施の形態3の変形例1における補聴器の構成を示すブロック図である。
 図7の補聴器では、図6の音圧算出手段402が音声入力手段201により入力された音声の、単位時間あたりの音圧を算出するのに対して、音声分析手段202で有音区間と判定された区間に対してのみ、音圧の算出を行う点で異なっている。図7のような構成にすることにより、音声の音響的に無音とみなせる区間や、雑音等の無意味区間の音圧算出を省くことができ、効率的な処理ができる。
 以上のように、調整部401の音圧算出手段402と時間伸長・圧縮調整手段403とにより、音声入力手段201に入力される入力音声の音圧の大きさに応じて、伸長・圧縮時間を調整することができる。これにより、音圧が高く、十分に明瞭な音声の一部を伸長、圧縮することによる音声劣化を防ぐことができる補聴器および補聴処理方法を実現できる。また利用者の音圧毎の聴力に応じて音声の伸長時間と圧縮時間とを調整することにより、より個人に適した、音声の聞き取り改善ができる。さらに、子音、母音の音圧毎の明瞭度に応じて、音声の伸長時間と圧縮時間を調整することで、音声の聞き取りの改善ができる。
 (変形例2)
 図8は、本発明の実施の形態3の変形例2における補聴器の構成を示すブロック図である。図1、図5、または図6と同じ構成要素については同じ符号を用い、説明を省略する。
 図8の補聴器は、図6の調整部401の他の構成例であり、実施の形態3に係る図6の補聴器に対して、調整部601の構成が異なる。
 図8に示す調整部601は、時間分解能設定手段302と音圧算出手段402と、時間伸長・圧縮調整手段603とで構成されている。
 時間伸長・圧縮調整手段603は、音圧算出手段402で算出された音圧値と、時間分解能設定手段302で設定された時間分解能値とに基づき、調整量を設定して制御手段604に出力する。なお、時間伸長・圧縮調整手段603は、図7で説明したように、音声分析手段202で有音区間と判定された区間に対してのみ、音圧算出手段402による算出処理を行うこととしてもよい。
 制御手段604は、時間伸長・圧縮調整手段603で設定された調整量を、音声分析手段202による検出結果に応じた制御信号と共に信号処理部204に入力する。すなわち、制御手段604は、音声分析手段202で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段603で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
 このように、入力音声の音圧と補聴器利用者の時間分解能との両方に応じて音声の伸長時間と圧縮時間とを調整することができる。それにより、より個人に適した聞き取りの改善することができるだけでなく、音声の不適切な伸長と圧縮とによる音声劣化を防ぐことができる補聴器および補聴処理方法を実現できる。
 (実施の形態4)
 図9は、本発明の実施の形態4における補聴器の構成を示すブロック図である。図9に示す補聴器は、音声入力手段201と、調整部501と、制御手段504と、信号処理部204と、音声出力手段207とを備える。なお、図1、図5または図6と同じ構成要素については同じ符号を用い、説明を省略する。
 図9に示す補聴器は、実施の形態1に係る図1の補聴器に対して、調整部501、制御手段504および信号処理部204の構成が異なる。また、図9に示す補聴器は、実施の形態3に係る図5の補聴器に対して、調整部501および制御手段504の構成が異なる。
 調整部501は、図9に示すように、音声分析手段502と時間伸長・圧縮調整手段503とで構成され、音声入力手段201に入力された音声の子音の種類に応じて、音声信号の一部を伸長する時間とその他の一部を圧縮する時間とを調整する調整量を設定する。
 具体的には、音声分析手段502は、音声入力手段201に入力された音声が、音響的に無音とみなせる区間であるか有音区間であるかを判定し、有音区間と判定した場合に有音区間内が子音区間であるか母音区間であるかを判定する。さらに、音声分析手段502は、子音区間と判定した場合に、子音区間内での子音の種類を判定する。
 ここで、子音の種類とは、分類の仕方にもよるが、例えば鹿野他「音声・音情報のデジタル信号処理」によれば、以下のように分類される。すなわち、鼻子音(m、n)、無声摩擦音(f、s、sh)、有声摩擦音(z、zh)、声門摩擦音(h)、無声破裂音(p、t、k)、有声破裂音(b、d、g)、無声破擦音(ts、ch)、半母音(w)および拗音(y)である。
 また、より詳細な分類の仕方として、例えば、次のとおりである。無声口唇破裂音(p)、無声歯茎破裂音(t)、無声軟口蓋破裂音(k)、有声口唇破裂音(b)、有声歯茎破裂音(d)、有声軟口蓋破裂音(g)などの破裂音と、無声歯茎摩擦音(s)、無声硬口蓋摩擦音(sh)、有声歯茎摩擦音(z)、有声硬口蓋摩擦音(zh)、声門摩擦音(h)などの摩擦音と、無声硬口蓋破擦音(ch)、無声歯茎破擦音(ts)などの破擦音とがある。また、口唇鼻音(m)、歯茎鼻音(n)、はじき音(l)、口唇半母音(w)および、硬口蓋半母音(拗音)(y)もある。
 なお、音声分析手段502において、子音の種類は、音声入力手段201に入力された音声の音声信号から母音区間を検出し、母音区間に挟まれた音声区間を時間パターンで推定することにより判定できる。具体的には、各子音の音響的特徴(スペクトラム上の特性)、すなわち、先頭にみられる急激あるいは緩やかな強度変化(初期部)と、初期部に続く部分、すなわち渡りと呼ばれる短時間のフォルマント周波数変化(フォルマント遷移部分)と、一定になったフォルマント周波数とのうちの、初期部と渡りとに基づいて、子音の種類を特定することができる。以下、いくつかの子音の種類を例に挙げて具体的に説明する。
 図10A~図10Cは、無声破裂音の音響的特徴を示す図(スペクトログラム)である。図10Aは、無声破裂音の一例として男性の声が「パ」を発する場合の音響的特徴を示す図であり、図10Bは、無声破裂音の一例として男性の声が「タ」を発する場合の音響的特徴を示す図である。図10Cは、無声破裂音の一例として男性の声が「カ」を発する場合の音響的特徴を示す図である。なお、図中、縦軸は周波数を示しており、横軸は、時間を示している。また、図中、色の濃淡は音の強度を示し、明るいところほど、音声信号に含まれる成分が強いことを示している。
 この場合、図10A~図10Cに示すように、子音の種類の一つである無声破裂音(p、t、k)が示す音響的特徴として、初期に続く部分で、渡りと呼ばれるフォルマント周波数変化(フォルマント遷移)が異なるのに加え、初期(先頭)の破裂部分(音の強度変化の激しい部分)が観察される。なお、無声破裂音(p、t、k)内では、フォルマント遷移の違いに加え、初期(先頭)の破裂部分の長さ・周波数成分が異なっていることにより、区別することができる。その例を以下に述べる。
 図11A~図11Cは、有声破裂音の音響的特徴を示す図である。図11Aは、有声破裂音の一例として男性の声が「バ」を発する場合の音響的特徴を示す図であり、図11Bは、有声破裂音の一例として男性の声が「ダ」を発する場合の音響的特徴を示す図である。図11Cは、有声破裂音の一例として男性の声が「ガ」を発する場合の音響的特徴を示す図である。
 この場合、図11A~図11Cに示すように、子音の種類の一つである有声破裂音(b、d、g)が示す音響的特徴として、初期(先頭)にバズバー(先頭の低周波成分)と、初期に続く部分に渡りと呼ばれる短時間(数十ms程度)のフォルマント周波数変化とが観察される。なお、有声破裂音(b、d、g)内では、バズバーの時間的長さや、フォルマント周波数変化により、区別することが可能であると考えられる。
 図12Aおよび図12Bは、鼻子音の音響的特徴を示す図である。図12Aは、鼻子音の一例として男性の声が「マ」を発する場合の音響的特徴を示す図であり、図12Bは、鼻子音の一例として男性の声が「ナ」を発する場合の音響的特徴を示す図である。
 この場合、図12Aおよび図12Bに示すように、子音の種類の一つである鼻子音(m、n)が示す音響的特徴として、初期(先頭)に、200Hz付近のエネルギーの集中が観察され、さらに、初期に続く部分で、フォルマント周波数変化が見られる。なお、鼻子音(m、n)内では、フォルマント周波数変化の形により、区別することが可能であると考えられる。
 その他にも子音の分類アルゴリズムは考えられるが、このような子音分類方法を導入することで、音声分析手段502は、各子音の音響的特徴(スペクトラム上の特性)に基づき、初期の強度変化と渡りと呼ばれる短時間のフォルマント周波数変化との特徴から、子音の種類を判定(特定)することができる。
 その後、信号処理部204で、伸長処理が行われる。なお、伸長処理は、例えば、鼻子音(m、n)、有声破裂音(b、d、g)の渡り(フォルマント遷移部分)を伸長するなど、時間的変化が手がかりとなっている部分(子音)だけを、その変化が知覚できるように伸長処理する。また、例えば、破裂・破擦部分を伸長するなど、音が発している継続時間が短い部分(子音)を、その成分が知覚できるように伸長処理する。
 時間伸長・圧縮調整手段503は、音声分析手段502で判定された子音の種類に応じて、信号処理部204の時間伸長手段305と時間圧縮手段306とにおける伸長時間と圧縮時間とを調整する調整量を設定する。
 例えば、時間伸長・圧縮調整手段503は、その伸長時間と圧縮時間の調整量とを、音声分析手段502により判定された子音の種類に応じて、次のように設定する。すなわち、時間伸長・圧縮調整手段503は、子音の調音位置、調音方式と声帯振動の有無などに基づく分類において、補聴器利用者が知覚しやすい子音と知覚しにくい子音とを示す聴力検査等のデータをテーブル等で予め保持している。そして、時間伸長・圧縮調整手段503は、聴力検査等のデータにより知覚しにくいと推定される子音に関しては、伸長時間と圧縮時間との調整量を長めに設定し、知覚しやすいと推定される子音に関しては、短めに設定する。
 このように、時間伸長・圧縮調整手段503は、補聴器利用者が知覚しやすい子音と知覚しにくい子音とを示す聴力検査等のデータに基づいて、伸長および圧縮を行うことで、子音の認識率を向上させることができる。
 例えば、時間伸長・圧縮調整手段503は、音声分析手段502により判定された子音の種類が無声破裂音の場合は、有声破裂音と混同することがない程度に調整量を短く設定し、有声破裂音の場合は、無声破裂音との差をはっきりさせる程度に調整量を長めに設定する。これにより、時間分解能の低下した難聴者が、無声破裂音と有声破裂音を識別することが難しいという問題に対応することができる。なお、この問題は、時間分解能の低下した難聴者にとって、両者の識別の一因となる有声開始時間(Voice onset time(VOT))を正確に知覚しにくくなることにより生じる。このような子音に関しては、VOTの違い、つまり無声破裂音と有声破裂音の違いを、子音が無声破裂音の場合と有声破裂音の場合とで調整量を変化させ、両者の違いをはっきりさせることにより子音の認識率を向上させることができる。
 なお、時間伸長・圧縮調整手段503は、聴力検査等のデータとして、例えば、各子音の知覚しやすさに関する補聴器利用者の聴力情報または子音毎に設定した調整量を子音に対応づけたテーブルを保持している。もちろん、これらのテーブルは、時間伸長・圧縮手段503が保持する場合に限られず、調整部501内が記憶部を備え、その記憶部で保持する構成であってもよい。
 また、聴力検査等のデータを示すテーブルは、補聴器利用者全般に対応するよう、標準化されたデータを示すものであっても、補聴器利用者個人の聴力に基づくデータを示すものであってもよい。
 ここで、聴力検査等のデータを示すテーブルと、それを用いて伸長処理を行う時間伸長・圧縮調整手段503についてより具体的に説明する。
 図14は、伸長率テーブルの1例を示す図である。図14に示す伸長率テーブルは、各子音の成分(種類)毎に、時間分解能と伸長率との関係を示しており、子音の種類に応じて伸長すべき倍率(調整量)を示している。ここで、図中の時間分解能の値20(ms)は、補聴器利用者全般における子音の聞き分け能力を示す時間であり、予め設定されている。
 図14に示すように、例えば、有音口唇破裂音bの場合、時間伸長・圧縮調整手段503は、子音bの時間を4.5倍に伸長する。また、例えば、声門摩擦音hの場合、時間伸長・圧縮調整手段503は、子音hの時間を1.8倍に伸長する。ここで、1.0倍と示される子音の種類については、時間伸長・圧縮調整手段503は、子音の時間を伸長しないことを示している。
 なお、図14の伸長率テーブルが示す値は、子音の種類と補聴器を利用する利用者の聴覚の時間分解能との組み合わせ毎の伸長時間の倍率が設定されている一例に過ぎない。もちろん他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長率になっていればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A~図10Cに示した無声破裂音(p、t、k)および図11A~図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。同様に、伸長率テーブルに示される時間分解能の値は20msでなくてもよく、25msまたは15msでもよい。補聴器利用者全般として設定できる値であればよい。
 また、伸長率テーブルに示す子音の種類は、図14に示す子音の種類に限られない。例えば、図15に示すように、子音の種類を、子音それぞれを共通の特徴で大まかに分類したグループの種類としてもよい。その場合には、子音の種類毎すなわち子音を大まかに分類したグループ毎について伸長率を示せばよい。また、子音の種類を大まかに分類したグループも、図16に示すような有声破裂音、無声破裂音、無声摩擦音、有声摩擦音、無声破擦音および鼻音に限られず、例えば、口唇音、歯茎音等と分類したグループでもよい。また、それらのグループ毎の伸長率は、各グループ内の代表値(例えば、平均値、最大値、最小値等)を用いて設定すればよい。この各グループ内の代表値は、予め用意した上で設定してもよいし、各グループ内の子音のそれぞれの伸長率の値から設定するとしてもよい。
 図16は、最小時間分解能テーブルの1例を示す図である。図16に示す最小時間分解能テーブルは、子音の種類毎に、知覚(弁別)できるために必要な最低限の時間分解能を示している。補聴器利用者(受聴者)の時間分解能と比較し、知覚できないと判定した場合に、伸長処理を行う。ここで、補聴器利用者(受聴者)の時間分解能は、例えば25(ms)であり、予め設定されている。
 図16に示すように、例えば、口唇鼻音mの場合、時間伸長・圧縮調整手段503は、25(ms)/19.3(ms)の値から子音mの時間を1.3倍に伸長する。また、例えば、有声歯茎破裂音dの場合、時間伸長・圧縮調整手段503は、25(ms)/4.1(ms)の値から子音dの時間を6.1倍に伸長する。ただし、図16中で(33.5)と記載されている、例えば硬口蓋半母音(拗音)yの場合は、伸張しなくても認識できる音であることを示しており、そのため、時間伸長・圧縮調整手段503は、1.0倍に伸長する(伸長しない)。
 このように、時間伸長・圧縮調整手段503は、補聴器利用者(受聴者)の聴覚の時間分解能を、音声分析手段202により分析された子音の種類における最小時間分解能テーブルに設定される最小時間分解能で除算して得られた値倍に伸長する。
 なお、図16の最小時間分解能テーブルが示す値は、一例に過ぎず、他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長時間の倍率になればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A~図10Cに示した無声破裂音(p、t、k)および図11A~図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。同様に、予め設定されている補聴器利用者(受聴者)の時間分解能の値は25msでなくてもよく、20msまたは15msでもよい。補聴器利用者全般として設定できる値であればよい。
 また、上記同様に、最小時間分解能テーブルに示す子音の種類は、図16に示す子音の種類に限られない。例えば、図15に示すように、子音の種類を大まかに分類したグループ毎としてもよい。その他、上述した伸長率テーブルの場合と同様であるため、説明を省略する。
 また、上述した伸長率テーブルおよび最小時間分解能テーブルは、上述したように、時間伸長・圧縮調整手段503が保持する場合に限られず、調整部501内に備えられた記憶部で保持する構成であってもよい。ここで、伸長率テーブルおよび最小時間分解能テーブルを時間伸長・圧縮調整手段503が保持する場合の時間伸長・圧縮調整手段503の構成の一例を図に示す。
 図17および図18は、時間伸長・圧縮調整手段503の構成の一例を示す図である。
 図17に示す時間伸長・圧縮調整手段503は、例えば、伸長率設定手段5031と伸長率テーブル記憶手段5032とで構成される。伸長率テーブル記憶手段5032は、上述した伸長率テーブルを保持している。伸長率設定手段5031は、補聴器利用者(受聴者)の時間分解能と、子音の種類とに基づいて伸長率テーブル記憶手段5032が保持する伸長率テーブルを参照し、伸長率を設定する。伸長率設定手段5031は、設定した伸長率を含む調整量を制御手段504に出力する。
 図18に示す時間伸長・圧縮調整手段503は、例えば、伸長率設定手段5031と最小時間分解能テーブル記憶手段5033とで構成される。最小時間分解能テーブル記憶手段5033は、上述した最小時間分解能テーブルを保持している。伸長率設定手段5031は、最小時間分解能テーブル記憶手段5033が保持する最小時間分解能テーブルを参照し、補聴器利用者(受聴者)の時間分解能と比較し、知覚できないと判定した場合に、伸長率を設定する。伸長率設定手段5031は、設定した伸長率を含む調整量を制御手段504に出力する。
 このように、時間伸長・圧縮調整手段503は、伸長率テーブルや最小時間分解能テーブルに基づき、子音の種類に応じて、伸長および圧縮を行う調整量を設定することができるので、子音の認識率を向上させることができる。
 制御手段504は、時間伸長・圧縮調整手段503で設定された調整量を、音声分析手段502での検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段504は、音声分析手段502で判定された子音の種類に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段503で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
 以上のように、実施の形態4の補聴器は構成される。
 このように本実施の形態の補聴器では、調整部501の音声分析手段502と時間伸長・圧縮調整手段503とにより、子音の種類に応じて、伸長時間と圧縮時間を調整できるため、子音の種類に応じて、子音の聞き取りを改善することができる。
 (変形例1)
 次に、上述した調整部501の他の構成例について説明する。
 図19は、本発明の実施の形態4の変形例1における補聴器の構成を示すブロック図である。図19に示す補聴器は、音声入力手段201と、調整部701と、制御手段704と、信号処理部204と、音声出力手段207とを備える。調整部701は、音声分析手段502と、時間伸長・圧縮調整手段703と、時間分解能設定手段302とで構成されている。図1、図5、または図9と同じ構成要素については同じ符号を用い、説明を省略する。
 図19に示す補聴器は、図9の補聴器に対して、調整部701、制御手段704の構成が異なる。具体的には、図19に示す補聴器の調整部701は、図9の補聴器の調整部501に対して、時間伸長・圧縮調整手段703と、時間分解能設定手段302との構成が異なる。
 音声分析手段502は、上述したように、音声入力手段201に入力された音声が、音響的に無音とみなせる区間であるか有音区間であるかを判定し、有音区間と判定した場合に有音区間内が子音区間であるか母音区間であるかを判定する。さらに、音声分析手段502は、子音区間と判定した場合に、子音区間内での子音の種類を判定する。具体的には、音声分析手段502は、各子音の音響的特徴(スペクトラム上の特性)に基づき、初期の強度変化と渡りと呼ばれる短時間のフォルマント周波数変化との特徴から、子音の種類を判定(特定)する。
 なお、音声分析手段502は、判定した子音区間において、伸長を行うべき音響的特徴が現れているかを判定し、伸長を行うべき音響的特徴が現れている場合に、伸長区間を設定して保持するとしてもよい。
 時間分解能設定手段302は、補聴器利用前に、補聴器を利用者個人に適応させるための時間分解能値が設定されている。
 時間伸長・圧縮調整手段703は、伸長率テーブルや最小時間分解能テーブルを参照して、音声分析手段502により判定された子音の種類と、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値とに基づいて調整量を設定する。時間伸長・圧縮調整手段703は、設定した調整量を制御手段704に出力する。
 以上のような構成により、時間伸長・圧縮調整手段703は、入力音声の子音の種類と補聴器利用者の時間分解能との両方に応じて、音声の伸長時間と圧縮時間とを調整する調整量を設定することができる。それにより、より個人に適した聞き取りの改善できる補聴器および補聴処理方法を実現できる。
 以下、具体的に、時間伸長・圧縮調整手段703が予め用意された伸長率テーブルを参照することにより設定された調整量から、子音の伸長処理を行う場合と、予め用意された最小時間分解能テーブルを参照することにより設定された調整量から、子音の伸長処理を行う場合とについて説明する。
 まず、予め用意された伸長率テーブルを用いた伸長処理について説明する。
 図20は、伸長率テーブルの1例を示す図である。図20に示す伸長率テーブルは、各子音の成分(種類)毎に、時間分解能と伸長率との関係を示しており、子音の種類に応じて伸長すべき倍率(調整量)を示している。
また、図21は、時間伸長・圧縮調整手段703の構成の一例を示すブロック図である。
 図21に示す時間伸長・圧縮調整手段703は、例えば、伸長率設定手段7031と伸長率テーブル記憶手段7032とで構成される。伸長率テーブル記憶手段7032は、図20に示す伸長率テーブルを保持している。伸長率設定手段7031は、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能と、子音の種類とに基づいて伸長率テーブル記憶手段7032が保持する伸長率テーブルを参照し、伸長率を設定する。伸長率設定手段7031は、設定した伸長率を含む調整量を制御手段704に出力する。
 例えば、音声分析手段502により判定された子音の種類が、有音口唇破裂音b、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が15msであるとする。その場合、時間伸長・圧縮調整手段703は、図20に示す伸長率テーブルを参照して、子音bと判定された子音区間を3.4倍に伸長する調整量を設定する。また、例えば、音声分析手段502により判定された子音の種類が、声門摩擦音h、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が15msであるとする。その場合、時間伸長・圧縮調整手段703は、図20に示す伸長率テーブルを参照して、子音hと判定された子音区間を1.4倍に伸長する調整量を設定する。その他も同様のため、説明を省略する。
 なお、図20の伸長率テーブルが示す値は、一例に過ぎず、他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長時間の倍率になっていればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A~図10Cに示した無声破裂音(p、t、k)および図11A~図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。一方、初期部の時間が比較的短い子音、例えば無声破裂音の伸張時間を長くすることにより、初期部の時間が比較的長い子音、例えば有声破裂音との異聴が発生する場合には、無声破裂音の伸張時間が有声破裂音の伸張時間を越えないようにするか、あるいは有声破裂音の伸張時間をさらに長くするように設定してもよい。
 制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段304は、信号処理部204に対して、制御信号と調整量とをともに送ることにより、信号処理部204の制御を行う。
 以上のように構成された補聴器の動作例について、次に説明する。
 図22は、本実施形態4の変形例1における補聴器の動作例を示すフローチャートである。なお、ステップS401~ステップS411の動作は、図4のステップS401~S411とそれぞれ同じであるため説明を省略する。
 ステップS4040において、音声分析手段502は、判定(検出)した子音区間において、伸長を行うべき音響的特徴が現れているかを判定する(S4041)。音声分析手段502は、伸長を行うべき音響的特徴が現れていると判定すると(S4041のYESの場合)、伸長区間を設定するステップ(S4042)に進む。そうでなければ(S4041のNOの場合)、処理を終了する。
 次に、音声分析手段502により判定(検出)した子音区間が伸長処理すべき伸長区間であると設定されると(S4042)、時間伸長・圧縮調整手段703は、図20に示すような伸長率テーブルを参照する。そして、時間伸長・圧縮調整手段703は、音声分析手段502により判定(検出)された入力音声の子音の種類と時間分解能設定手段302で設定された補聴器利用者の時間分解能との両方に応じて、伸長区間の伸長率と時間と、子音伸長時間に応じて母音・無音区間を圧縮する時間とを調整する調整量を設定する(S4043)。
 次に、制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。信号処理部204は、制御手段704より出力された調整量と制御信号とに従って、伸長処理を実行する(S4044)。ここで、伸長処理とは、例えば、鼻子音(m、n)、有声破裂音(b、d、g)の渡り(フォルマント遷移部分)を伸長するなど、時間的変化が手がかりとなっている部分(子音)だけを、その変化が知覚できるように伸長処理することである。また、例えば、破裂・破擦部分を伸長するなど、音が発している継続時間が短い部分(子音)を、その成分が知覚できるように伸長処理することである。すなわち、破裂などの初期(先頭)と初期に続く渡り部分(フォルマント遷移)とに対して伸長処理を実施する。
 以上のようにして、予め用意された伸長率テーブルを用いた伸長処理が行われる。
 次に、予め用意された図16に示す最小時間分解能テーブルを用いた伸長処理について説明する。
 図23は、時間伸長・圧縮調整手段703の構成の別の一例を示すブロック図である。
 図23に示す時間伸長・圧縮調整手段703は、例えば、伸長率設定手段7031と最小時間分解能テーブル記憶手段7033とで構成される。最小時間分解能テーブル記憶手段7033は、図16に示す最小時間分解能テーブルを保持している。伸長率設定手段7031は、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能と、子音の種類とに基づいて、最小時間分解能テーブル記憶手段7033が保持する最小時間分解能テーブルを参照し、伸長率を設定する。伸長率設定手段7031は、設定した伸長率を含む調整量を制御手段704に出力する。
 例えば、音声分析手段502により判定された子音の種類が、口唇鼻音m、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が25msであるとする。その場合、時間伸長・圧縮調整手段703は、図16に示す最小時間分解能テーブルを参照し、25(ms)/19.3(ms)の値から子音mと判定された子音区間を1.3倍に伸長する調整量を設定する。また、例えば、音声分析手段502により判定された子音の種類が、有声歯茎破裂音d、かつ、時間分解能設定手段302で設定された補聴器利用者(受聴者)の時間分解能値が25msであるとする。その場合、時間伸長・圧縮調整手段703は、図16に示す最小時間分解能テーブルを参照し、25(ms)/4.1(ms)の値から、子音dと判定された子音区間を6.1倍に伸長する調整量を設定する。その他も同様のため、説明を省略する。
 なお、図16に示す最小時間分解能テーブルが示す値は、一例に過ぎず、他の値でもよく、補聴器利用者が子音を聞き分け可能な伸長時間の倍率になればよい。例えば、渡りの時間的変化が遅い硬口蓋半母音(拗音)はあまり伸長する必要はないが、渡りの時間的変化が早い、図10A~図10Cに示した無声破裂音(p、t、k)および図11A~図11Cに示した有声破裂音は例示したよりも伸張時間が長くなるように設定してもよい。一方、初期部の時間が比較的短い子音、例えば無声破裂音の伸張時間を長くすることにより、初期部の時間が比較的長い子音、例えば有声破裂音との異聴が発生する場合には、無声破裂音の伸張時間が有声破裂音の伸張時間を越えないようにするか、あるいは有声破裂音の伸張時間をさらに長くするように設定してもよい。
 制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段304は、信号処理部204に対して、制御信号と調整量とをともに送ることにより、信号処理部204の制御を行う。
 以上のように構成された補聴器の動作例について、次に説明する。
 図24は、本実施形態4の変形例1における補聴器の別の動作例を示すフローチャートである。なお、ステップS401~ステップS411の動作は、図4のステップS401~S411とそれぞれ同じであるため説明を省略する。また、ステップS4041と、ステップS4012の動作は、図22のステップS4041~S4012とそれぞれ同じであるため説明を省略する。
 ステップS4047において、時間伸長・圧縮調整手段703は、図16に示すような最小時間分解能テーブルを参照する。そして、時間伸長・圧縮調整手段703は、音声分析手段502により判定(検出)された入力音声の子音の種類と時間分解能設定手段302で設定された補聴器利用者の時間分解能との両方に基づいて、最小時間分解能を取得する(S4047)。次いで、時間伸長・圧縮調整手段703は伸長区間の伸長率と時間と、子音伸長時間に応じて母音・無音区間を圧縮する時間とを調整する調整量を設定する(S4048)。
 次に、制御手段704は、時間伸長・圧縮調整手段703で設定された調整量を、音声分析手段502による検出結果に応じた制御信号と共に信号処理部204に出力する。信号処理部204は、制御手段704より出力された調整量と制御信号とに従って、伸長処理を実行する(S4047)。ここでの伸長処理は、上述したのと同様に、破裂などの初期(先頭)と初期に続く渡り部分(フォルマント遷移)とに対してなされる。
 以上のように、予め用意された最小時間分解能テーブルを用いた伸長処理が行われる。
 以上のように構成される補聴器は、補聴器利用者(受聴者)の時間分解能の劣化に応じて、子音ごとに伸長処理を行う。その伸長処理は、時間分解能に基づく伸長処理であり、予め用意された伸長率テーブルまたは最小時間分解能テーブルなどを用いて行われる。具体的には、例えば、鼻子音(m、n)、有声破裂音(b、d、g)の渡り(フォルマント遷移部分)を伸長するなど、時間的変化が手がかりとなっている部分(子音)だけを、その変化が知覚できるように伸長処理を行う。また、例えば、破裂・破擦部分を伸長するなど、音が発している継続時間が短い部分(子音)を、その成分が知覚できるように伸長処理を行う。言い換えると、破裂などの初期(先頭)と初期に続く渡り部分(フォルマント遷移)とに対して伸長処理を行う。
 なお、補聴器利用者(受聴者)受聴者の時間分解能の劣化度合いは、上述したように、子音の種類によって異なるだけでなく、話速によっても異なる。
 そのため、音声分析手段502は、例えば子音や母音の出現する時間間隔を測定するなどにより、話速を分析し、話速情報を保持し、時間伸長・圧縮調整手段703は、音声分析手段502に保持されている話速情報も考慮して、調整量を設定するとしてもよい。具体的には、時間伸長・圧縮調整手段703は、伸長率テーブルまたは最小時間分解能テーブルを標準的な話速の音声に対して設定し、例えば、話速が標準より1.2倍速い場合には、伸長率テーブルの値を1.2倍または最小分解能テーブルの値を1.2分の1にするなど、受聴している音声の話速に応じてテーブルを調整するとしてもよい。
 また、上記の伸長処理において、補聴器利用者(受聴者)の時間分解能の値は、予め分かっており(予め用意されており)、時間分解能設定手段302にその補聴器利用者(受聴者)の時間分解能の値が設定される場合を典型例として説明しているが、それに限られない。例えば、本発明に係る補聴器の利用開始前に、調整装置等により補聴器利用者(受聴者)の時間分解能を推定(測定)して、調整装置等により推定(測定)した補聴器利用者(受聴者)の時間分解能を時間分解能設定手段302に設定するとしてもよい。この調整装置等は、時間分解能設定手段302の内部に備えていてもよいし、外部に別途用意されているとしてもよい。
 ここで、調整装置等により補聴器利用者(受聴者)の時間分解能を推定する方法を例示する。
 この調整装置は、補聴器利用者(受聴者)が子音をどのように聞き間違えるのを測定した異聴パターンを取得し、取得した異聴パターンから、補聴器利用者(受聴者)の時間分解能を推定する。例えば、補聴器利用者(受聴者)が子音kを間違え、子音mを正答する場合には、調整装置は、図16に示す最小時間分解能テーブルを用いて、子音kの最小時間分解能17.6msと子音mの最小時間分解能19.3msとから、その補聴器利用者(受聴者)の時間分解能を18~19ms程度と推定する。このように、調整装置は、補聴器利用者(受聴者)の異聴パターンから、補聴器利用者(受聴者)の時間分解能を推定するとしてもよい。なお、異聴パターンの測定は、例えば、一般的な語音明瞭度検査(57S、67S)の結果を用いたり、弁別の境界線が分かるように異聴の起きやすい(紛らわしい)発生の音声を用いたりして行えばよい。
 また、この調整装置は、補聴器利用者(受聴者)の異聴パターンから、補聴器利用者(受聴者)の時間分解能を推定するだけでなく、異聴の起こしやすい子音または子音のペアを特定し、時間分解能設定手段302に通知するとしてもよい。その場合、時間伸長・圧縮調整手段703は、異聴の起こしやすい子音または子音のペアの音響的特徴が明瞭になるように、異聴の起こしやすい子音または子音のペアについての調整量を設定し、制御手段に出力する。なお、時間伸長・圧縮調整手段703は、異聴の起こしやすい子音または子音のペアについての伸長率テーブルまたは最小時間分解能テーブルの値を再調整するなどで対応してもよい。そして、信号処理部204は、異聴の起こしやすい子音または子音のペアについて、音響的特徴が明瞭になるように伸長処理を行う。例えば、鼻子音(m、n)間または有声破裂音(b、d、g)間で異聴が発生する場合、それらの渡り部分の違いが知覚できるように、伸長区間および伸長率が設定される。また、例えば、口唇音(p、b、m、w)間、歯茎音(t、 d、s、z、ts、n)間で異聴が発生する場合、初期(先頭)の破裂・破擦音等が知覚できるように、伸長区間および伸長率が設定される。このようにして、補聴器は、異聴の起こしやすい子音または子音のペアについて、音響的特徴が明瞭になるように伸長処理を行うとしてもよい。
 (変形例2)
 補聴器利用者(受聴者)受聴者の時間分解能の劣化度合いは、子音の種類によって異なるだけでなく、音声の大きさ(音圧)によっても異なる。そのため、変形例2では、音声の大きさを考慮した場合の構成例として、
上述した変形例1における調整部501とは別の構成例について説明する。
 図25は、本発明の実施の形態4の変形例2における補聴器の構成を示すブロック図である。図25に示す補聴器は、音声入力手段201と、調整部801と、制御手段804と、信号処理部204と、音声出力手段207とを備える。調整部801は、音声分析手段502と、時間伸長・圧縮調整手段803と、音圧算出手段402とで構成されている。図1、図5、または図9と同じ構成要素については同じ符号を用い、説明を省略する。
 時間伸長・圧縮調整手段803は、伸長率テーブルや最小時間分解能テーブルを参照して、音声分析手段502により判定された子音の種類と音圧算出手段402で算出された音圧(値)とに基づき、調整量を設定する。例えば、時間伸長・圧縮調整手段803は、音圧算出手段402で算出された音圧が所定値よりも大きい場合には、音声分析手段502により判定された子音の種類において伸長率テーブルに設定された伸長率から所定値分差し引いた値となるよう調整量を設定する。また、時間伸長・圧縮調整手段803は、音圧算出手段402で算出された算出された音圧が所定値以下の場合には、音声分析手段502により判定された子音の種類において伸長率テーブルに設定された伸長率から所定値分付加した値となるよう調整量を設定する。時間伸長・圧縮調整手段803は、設定した調整量を制御手段804に出力する。
 なお、音圧算出手段402は、上述した図8と同様に、音声分析手段502で有音区間と判定された区間に対してのみ、算出処理を行うとしてもよい。
 制御手段804は、時間伸長・圧縮調整手段803で設定された調整量を、音声分析手段502での検出結果に応じた制御信号と共に信号処理部204に出力する。すなわち、制御手段804は、音声分析手段502で分析された音の種別(母音、子音、それ以外等)に基づいて、その音の処理内容(伸長、圧縮等)等の判断を行う。そして、信号処理部204に対して、音の区間および処理内容等の情報を含む制御信号を、時間伸長・圧縮調整手段303で設定された調整量とともに送ることにより、信号処理部204の制御を行う。
 このようにして、伸長率テーブルや最小時間分解能テーブルを参照して、入力音声の子音の種類と入力音声の音圧の両方とに応じて、音声の伸長時間と圧縮時間とを調整することができ、個人に適した聞き取りの改善と、音声の不適切な伸長と圧縮による音声劣化を防ぐ補聴器および補聴処理方法を実現することができる。
 (変形例3)
 さらに、調整部501の他の構成例について説明する。
 図26は、本発明の実施の形態4の変形例3における補聴器の構成を示すブロック図である。図26に示す補聴器は、音声入力手段201と、調整部901と、制御手段904と、信号処理部204と、音声出力手段207とを備える。調整部901は、音声分析手段502と、音圧算出手段402と、時間分解能設定手段302と、時間伸長・圧縮調整手段903とで構成されている。図1、図5、または図9と同じ構成要素については同じ符号を用い、説明を省略する。
 時間伸長・圧縮調整手段903は、伸長率テーブルや最小時間分解能テーブルを参照して、音声分析手段502により判定された子音の種類と、音圧算出手段402で算出された音圧値と、時間分解能設定手段302で設定された時間分解能値とに基づき、調整量を設定する。時間伸長・圧縮調整手段903は、設定した調整量を制御手段904に出力する。なお、この場合も、上述した図8のように、音圧算出手段402は、音声分析手段202で有音区間と判定された区間に対してのみ、算出処理を行うこととしてもよい。
 制御手段904は、時間伸長・圧縮調整手段903で設定された調整量を、音声分析手段202での検出結果に応じた制御信号と共に信号処理部204に出力する。
 このようにして、伸長率テーブルや最小時間分解能テーブルを参照して、入力音声の子音の種類、入力音声の音圧、利用者の時間分解能とに応じて、音声の伸長時間と圧縮時間とを調整することができ、より個人に適した聞き取りの改善と、音声の不適切な伸長と圧縮による音声劣化を防ぐ補聴器および補聴処理方法を実現することができる。
 以上のように、本発明によれば、入力音声を分析して子音区間を検出し、子音区間の時間を伸長することで、時間分解能の低化により子音の聞き取りが難しい難聴者に、子音を知覚するに十分な時間を与えることが可能になる。これにより、子音の聞き逃しや誤認識を改善し、子音認識度、ひいては音声認識度を向上させることができる。
 なお、子音区間の時間を伸長させるだけでは、視覚情報と聴覚情報とにズレが生じてしまい、視覚による聴覚補助ができなくなるという問題が発生する。特に、聞き取りの難しい子音に対しては、視覚情報と聴覚情報との間に遅延が生じると、さらに聞き取りにくくなる。そのため、本発明に係る補聴器および補聴処理方法では、視覚情報と聴覚情報との間に遅延を生じさせないように、以降の子音の発生時間を揃える手当を行う。すなわち、子音区間に後続する母音区間若しくは子音区間の後に出現する音響的に無音とみなせる区間または母音区間と無音区間との両方で、子音区間を伸長させた時間分を削除することで子音区間に後続する区間の時間を圧縮する。それにより、視覚情報と聴覚情報との時間のズレが生じないようにすることができる。なお、この時間圧縮は時間を伸長した子音区間に後続する母音区間に限られず、他の母音区間に対して行ってもよいし、雑音等の無意味区間に対して行ってもよい。
 また、本発明に係る補聴器および補聴処理方法では、難聴者の時間分解能の低下度合いのデータをテーブル等で保持することにより、難聴者の時間分解能の低下度合いに応じて、子音区間の伸長時間を調整する。それにより、難聴者個人に適応した子音の聞き取り改善を行うことができる。
 さらに、本発明に係る補聴器および補聴処理方法では、入力音声の音圧に応じて、子音区間の伸長時間を調整する。それにより、音圧に応じた子音の聞き取り改善を行うことができる。
 さらに、本発明に係る補聴器および補聴処理方法では、子音の種類を、子音の音響的特徴すなわち初期の音信号の強度変化と、初期に続く渡り(フォルマント遷移部分)とに基づいて子音の種類を判定し、子音の種類に応じて、例えばPSOLA法を用いたり、フォルマント遷移部分の波形を繰り返して複製する繰り返し処理等を用いたりして伸長処理する子音区間の伸長時間を調整する。それにより、子音の種類に応じた子音の聞き取り改善を行うことができる。なお、子音の種類に応じてとは、上述したように、子音の種類毎に応じてというだけでなく、子音の種類を大まかに分類したグループに応じてとしてもよい。例えば、有声破裂音のグループ、無声破裂音のグループ、無声摩擦音のグループ、有声摩擦音のグループ、無声破擦音のグループおよび鼻音のグループと子音の種類を大まかに分類してもよい。また、例えば、口唇音のグループ、歯茎音のグループ等と子音の種類を大まかに分類してもよい。そして、各グループ内の代表値(例えば、平均値、最大値、最小値等)を用いて伸長率を設定すればよい。この各グループ内の代表値は、予め用意した上で設定してもよいし、各グループ内の子音のそれぞれの伸長率の値から設定してもよい。
 なお、子音毎ごとに個別に伸長率を設定することにより、逆に異聴が発生する場合も考えられる。その場合には、異聴の発生する子音または子音のペアについて共通の伸長率を設定するように補正(修正)すればよい。
 また、本発明の伸張処理により、逆に子音の異聴が発生する場合でも、補聴器の使用初期については、異聴を許容するとしてもよい。これは、本発明の伸張処理により、補聴器利用者(受聴者)が子音ごとの音響的な違いを知覚(区別)することができれば、その異聴の示す子音を正しく認識するように学習することで、次第に異聴が解消することも可能だからである。このように、補聴器利用者(受聴者)の再学習に依存して異聴を許容するとしてもよい。
 以上、本発明によれば、時間変化が激しく、持続時間の短い子音の認識率を向上させる補聴器および補聴処理方法を実現することができる。
 なお、上記の本発明の補聴器および補聴処理方法において、子音全体の分析までは行わず、伸長すべき音声の特徴を、易的かつ高速に検出して、子音区間の時間伸長を開始する構成としてもよい。すなわち、例えば、破裂・摩擦を示す先頭部分(急激な周波数成分の変化)または渡り部分(フォルマント成分の変化:フォルマント遷移)など子音を示す特徴的な変化を検出すれば、子音全体の分析を待たずに、子音区間の時間伸長を開始する構成としてもよい。その場合、上述した子音区間の判断遅延を少なくすることができるだけでなく、実装が簡易になるという効果を奏する。
 また、音声のスペクトラム上の特徴(フォルマント等)ではなく、音声を時間軸上で分析した場合の特徴を用いて、子音あるいは母音の判定を行っても良い。
 以上、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
 上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
 また、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
 また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
 また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
 また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
 また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
 また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
 また、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
 本発明は、補聴器および補聴処理方法に利用でき、特に、老人性難聴を含む、時間分解能の低下した感音性難聴者の、子音の聞き取りを向上させ、補聴器や音声通信機器、音声再生装置に適用した場合、音声明瞭度を向上させることが可能となる音響処理技術を用いた補聴器および補聴処理方法に利用できる。
 201 音声入力手段
 202、502 音声分析手段
 203、304、404、504、604、704、804、904  制御手段
 204 信号処理部
 205、305 時間伸長手段
 206、306 時間圧縮手段
 207  音声出力手段
 301、401、501、601、701、801、901 調整部
 302 時間分解能設定手段
 303、403、503、603、703、803、903 時間伸長・圧縮調整手段
 402 音圧算出手段
 5031、7031 伸張率設定手段
 5032、7032 伸張率テーブル記憶手段
 5033、7033 最小時間分解能テーブル記憶手段

Claims (15)

  1.  外部音声信号が入力される音声入力手段と、
     前記音声入力手段に入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析手段と、
     前記音声分析手段により検出された前記子音区間を時間的に伸長し、前記音声分析手段により検出された前記母音区間および前記音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理手段とを備える
     補聴器。
  2.  前記信号処理手段は、前記伸長された子音区間の時間の一部を、前記母音区間から信号をピッチ単位で削除することにより前記母音区間を時間的に圧縮し、前記伸長された子音区間の時間の残部を、前記音響的に無音とみなせる区間の信号を削除することにより前記音響的に無音とみなせる区間を圧縮する
     請求項1に記載の補聴器。
  3.  前記補聴器は、さらに、前記補聴器を利用する利用者の聴覚の時間分解能を示す時間分解能情報に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、
     前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長する
     請求項1または請求項2に記載の補聴器。
  4.  前記調整手段は、
     前記時間分解能情報が利用者の聴覚の時間分解能の低下度合いが大きいことを示す場合には、前記時間分解能情報が利用者の聴覚の時間分解能の低下度合いが小さいことを示す場合に比べて、前記子音区間を伸長する時間を長くするよう調整する
     請求項3に記載の補聴器。
  5.  前記補聴器は、さらに、前記音声信号の音圧を算出し、算出した前記音圧に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、
     前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長する
     請求項1または請求項2に記載の補聴器。
  6.  前記調整手段は、
     前記算出した前記音圧が所定値より大きい場合には、前記算出した前記音圧が所定値以下の場合に比べて、前記子音区間を伸長する時間を短くするよう調整する
     請求項5に記載の補聴器。
  7.  前記音声分析手段は、前記子音区間内において子音の種類を分析し、
     前記補聴器は、さらに、前記音声分析手段により分析された子音の種類に基づき、前記子音区間を伸長する時間を調整する調整手段を備え、
     前記信号処理手段は、前記音声分析手段により検出された前記子音区間を前記調整手段が調整した時間、伸長する
     請求項1または請求項2に記載の補聴器。
  8.  前記調整手段は、
     前記子音の種類毎に伸長率が設定された伸長率テーブルを保持し、前記伸長率テーブルを参照することにより、前記子音区間を伸長する時間を前記子音の種類毎に調整する
     請求項7に記載の補聴器。
  9.  前記伸長率テーブルには、前記子音の種類と前記補聴器を利用する利用者の聴覚の時間分解能を示す時間分解能情報との組み合わせ毎の伸長率が設定されており、
     前記調整手段は、前記伸長率テーブルを参照することにより、前記時間分解能情報に応じて、前記子音区間を伸長する時間を前記子音の種類毎に調整する
     請求項8に記載の補聴器。
  10.  前記子音の種類は、子音を共通の特徴で分類したグループの種類を含む
     請求項7に記載の補聴器。
  11.  前記調整手段は、さらに、前記音声信号の音圧を算出し、
     前記算出された音圧が所定値よりも大きい場合には、前記音声分析手段により分析された子音の種類における前記伸長率テーブルに設定される伸長率から所定値分差し引いた値を用い、前記算出された音圧が所定値以下の場合には、前記音声分析手段により分析された子音の種類における前記伸長率から所定値分付加した値を用いて前記子音区間を伸長するよう調整する
     請求項7に記載の補聴器。
  12.  前記音声分析手段は、前記検出した有音区間内において、子音の音響的特徴を検出した場合に、前記子音区間を検出したとし、
     前記信号処理手段は、前記音声分析手段が当該子音区間に続く前記母音区間を検出する前に、前記音声分析手段により検出されたとされる前記子音区間の伸長を開始する
     請求項1に記載の補聴器。
  13.  前記調整手段は、
     前記子音の種類毎に弁別可能な最低限の時間分解能を示す最小時間分解能が設定された最小時間分解能テーブルを保持し、前記最小時間分解能テーブルを参照することにより、前記子音区間を伸長する時間を前記子音の種類毎に調整する
     請求項7に記載の補聴器。
  14.  前記調整手段は、
     前記補聴器を利用する利用者の聴覚の時間分解能を、前記音声分析手段により分析された子音の種類における前記最小時間分解能テーブルに設定される最小時間分解能で除算して得られた値倍の時間となるよう、前記子音区間を伸長する時間を調整する
     請求項13に記載の補聴器。
  15.  外部音声信号が入力される音声入力ステップと、
     前記音声入力ステップにおいて、入力された音声信号の有音区間と音響的に無音とみなせる区間とを検出し、検出した有音区間内において子音区間と母音区間とを検出する音声分析ステップと、
     前記音声分析ステップにおいて検出された前記子音区間を時間的に伸長し、前記音声分析ステップにおいて検出された前記母音区間および前記音響的に無音とみなせる区間の少なくとも一方を時間的に圧縮する信号処理ステップとを含む
     補聴処理方法。
     
     
     
PCT/JP2010/000485 2009-01-29 2010-01-28 補聴器および補聴処理方法 WO2010087171A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2010800010766A CN101939784B (zh) 2009-01-29 2010-01-28 助听器及助听处理方法
EP10735643.8A EP2383732B1 (en) 2009-01-29 2010-01-28 Hearing aid and hearing aiding method
JP2010530205A JPWO2010087171A1 (ja) 2009-01-29 2010-01-28 補聴器および補聴処理方法
US12/866,320 US8374877B2 (en) 2009-01-29 2010-01-28 Hearing aid and hearing-aid processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-017549 2009-01-29
JP2009017549 2009-01-29

Publications (1)

Publication Number Publication Date
WO2010087171A1 true WO2010087171A1 (ja) 2010-08-05

Family

ID=42395435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/000485 WO2010087171A1 (ja) 2009-01-29 2010-01-28 補聴器および補聴処理方法

Country Status (5)

Country Link
US (1) US8374877B2 (ja)
EP (1) EP2383732B1 (ja)
JP (2) JPWO2010087171A1 (ja)
CN (1) CN101939784B (ja)
WO (1) WO2010087171A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102481122B (zh) * 2010-06-04 2014-10-08 松下电器产业株式会社 听觉测定装置及其方法
US20120197643A1 (en) * 2011-01-27 2012-08-02 General Motors Llc Mapping obstruent speech energy to lower frequencies
DE102011006511B4 (de) * 2011-03-31 2016-07-14 Sivantos Pte. Ltd. Hörhilfegerät sowie Verfahren zum Betrieb eines Hörhilfegeräts
DE102011006515A1 (de) 2011-03-31 2012-10-04 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verbesserung der Sprachverständlichkeit mit einem Hörhilfegerät sowie Hörhilfegerät
CN102222507B (zh) * 2011-06-07 2012-10-24 中国科学院声学研究所 一种适用于汉语语言的听力损失补偿方法及设备
US20130013302A1 (en) * 2011-07-08 2013-01-10 Roger Roberts Audio input device
JP5991923B2 (ja) * 2011-07-08 2016-09-14 パナソニック株式会社 補聴適合度判定装置、および、補聴適合度判定方法
FR2979465B1 (fr) 2011-08-31 2013-08-23 Alcatel Lucent Procede et dispositif de ralentissement d'un signal audionumerique
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
EP2864983B1 (en) 2012-06-20 2018-02-21 Widex A/S Method of sound processing in a hearing aid and a hearing aid
JP6296219B2 (ja) 2012-07-13 2018-03-20 パナソニックIpマネジメント株式会社 補聴装置
TWI576824B (zh) * 2013-05-30 2017-04-01 元鼎音訊股份有限公司 處理聲音段之方法及其電腦程式產品及助聽器
CN104244155A (zh) * 2013-06-07 2014-12-24 杨国屏 处理声音段的方法及助听器
CN103813253B (zh) * 2014-03-11 2017-11-21 深圳市微纳集成电路与系统应用研究院 助听器声音处理方法
CA2964906A1 (en) * 2014-10-20 2016-04-28 Audimax, Llc Systems, methods, and devices for intelligent speech recognition and processing
US10390147B2 (en) * 2015-02-24 2019-08-20 Gn Hearing A/S Frequency mapping for hearing devices
US10631113B2 (en) * 2015-11-19 2020-04-21 Intel Corporation Mobile device based techniques for detection and prevention of hearing loss
CN105357619B (zh) * 2015-12-11 2018-10-26 广州大学 一种数字助听器频率分辨力增强方法
US10098082B2 (en) * 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
EP3414923A1 (en) 2016-02-11 2018-12-19 Widex A/S Method of fitting a hearing aid system capable of detecting auditory neuro-synaptopathy, a hearing aid fitting system and a computerized device
EP3799446A1 (en) * 2016-08-29 2021-03-31 Oticon A/s Hearing aid device with speech control functionality
US9967689B1 (en) 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
EP3327723A1 (en) * 2016-11-24 2018-05-30 Listen Up Technologies Ltd Method for slowing down a speech in an input media content
US11412333B2 (en) * 2017-11-15 2022-08-09 Starkey Laboratories, Inc. Interactive system for hearing devices
DE102019201456B3 (de) * 2019-02-05 2020-07-23 Sivantos Pte. Ltd. Verfahren für eine individualisierte Signalverarbeitung eines Audiosignals eines Hörgerätes
CN110097874A (zh) * 2019-05-16 2019-08-06 上海流利说信息技术有限公司 一种发音纠正方法、装置、设备以及存储介质
JP2021026098A (ja) * 2019-08-02 2021-02-22 株式会社三菱ケミカルホールディングス コミュニケーション支援装置
EP4287655A1 (en) * 2022-06-01 2023-12-06 Sivantos Pte. Ltd. Method of fitting a hearing device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59123400A (ja) * 1982-12-29 1984-07-17 Sony Corp 時計付補聴器
JPH06289896A (ja) * 1993-03-31 1994-10-18 Hitachi Ltd 音声の特徴強調方式および装置
JPH10333695A (ja) * 1997-06-04 1998-12-18 Technol Res Assoc Of Medical & Welfare Apparatus 音声変換装置
JP2005065124A (ja) * 2003-08-19 2005-03-10 Matsushita Electric Ind Co Ltd 補聴器
JP2005287600A (ja) * 2004-03-31 2005-10-20 National Institute Of Advanced Industrial & Technology 音声情報伝達装置
JP2007219188A (ja) * 2006-02-17 2007-08-30 Kyushu Univ 子音加工装置、音声情報伝達装置及び子音加工方法
JP2008070564A (ja) * 2006-09-13 2008-03-27 Fujitsu Ltd 音声強調装置、音声登録装置、音声強調プログラム、音声登録プログラム、音声強調方法および音声登録方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5870400A (ja) 1981-10-21 1983-04-26 市川 征二 速度違反警報、記録取締方法
JPS5879400A (ja) * 1981-11-06 1983-05-13 Gen Eng:Kk 補聴器
JPH03245700A (ja) 1990-02-23 1991-11-01 Matsushita Electric Ind Co Ltd 補聴器
JPH075898A (ja) * 1992-04-28 1995-01-10 Technol Res Assoc Of Medical & Welfare Apparatus 音声信号処理装置と破裂性抽出装置
US5572593A (en) * 1992-06-25 1996-11-05 Hitachi, Ltd. Method and apparatus for detecting and extending temporal gaps in speech signal and appliances using the same
JP3303446B2 (ja) 1993-07-21 2002-07-22 ソニー株式会社 音声信号処理装置
JP3245700B2 (ja) 1996-07-15 2002-01-15 三菱樹脂株式会社 折畳み式収納容器
JP3596580B2 (ja) 1997-07-11 2004-12-02 ソニー株式会社 音声信号の処理回路
US6289310B1 (en) * 1998-10-07 2001-09-11 Scientific Learning Corp. Apparatus for enhancing phoneme differences according to acoustic processing profile for language learning impaired subject
US6732073B1 (en) * 1999-09-10 2004-05-04 Wisconsin Alumni Research Foundation Spectral enhancement of acoustic signals to provide improved recognition of speech
JP2004526473A (ja) * 2000-11-15 2004-09-02 ロゴメトリックス・コーポレーション 口の動作及び関連した事象を利用する方法
US7457741B2 (en) * 2004-03-30 2008-11-25 National Institute of Advnaced Industrial Science and Technology Device for transmitting speech information
CN1269106C (zh) * 2004-08-31 2006-08-09 四川微迪数字技术有限公司 一种用于数字助听器的中文语音信号处理方法
JP2006087018A (ja) * 2004-09-17 2006-03-30 Matsushita Electric Ind Co Ltd 音響処理装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59123400A (ja) * 1982-12-29 1984-07-17 Sony Corp 時計付補聴器
JPH06289896A (ja) * 1993-03-31 1994-10-18 Hitachi Ltd 音声の特徴強調方式および装置
JPH10333695A (ja) * 1997-06-04 1998-12-18 Technol Res Assoc Of Medical & Welfare Apparatus 音声変換装置
JP2005065124A (ja) * 2003-08-19 2005-03-10 Matsushita Electric Ind Co Ltd 補聴器
JP2005287600A (ja) * 2004-03-31 2005-10-20 National Institute Of Advanced Industrial & Technology 音声情報伝達装置
JP2007219188A (ja) * 2006-02-17 2007-08-30 Kyushu Univ 子音加工装置、音声情報伝達装置及び子音加工方法
JP2008070564A (ja) * 2006-09-13 2008-03-27 Fujitsu Ltd 音声強調装置、音声登録装置、音声強調プログラム、音声登録プログラム、音声強調方法および音声登録方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2383732A4 *

Also Published As

Publication number Publication date
JP5870309B2 (ja) 2016-02-24
CN101939784A (zh) 2011-01-05
JPWO2010087171A1 (ja) 2012-08-02
JP2014194554A (ja) 2014-10-09
EP2383732A4 (en) 2012-12-05
EP2383732A1 (en) 2011-11-02
US8374877B2 (en) 2013-02-12
CN101939784B (zh) 2012-11-21
EP2383732B1 (en) 2015-10-07
US20110004468A1 (en) 2011-01-06

Similar Documents

Publication Publication Date Title
JP5870309B2 (ja) 補聴器および補聴処理方法
US10475467B2 (en) Systems, methods and devices for intelligent speech recognition and processing
US8195454B2 (en) Speech enhancement in entertainment audio
KR100283421B1 (ko) 음성 속도 변환 방법 및 그 장치
US8311842B2 (en) Method and apparatus for expanding bandwidth of voice signal
CN109565625B (zh) 耳机佩戴状态监测装置及方法
JP2002237785A (ja) 人間の聴覚補償によりsidフレームを検出する方法
Schmitt et al. A phoneme perception test method for high-frequency hearing aid fitting
WO2011055489A1 (ja) 補聴器
JPH0968997A (ja) 音声処理方法及び装置
JP2006333396A (ja) 音声信号拡声装置
JP2002252894A (ja) 音響信号処理装置
Ainsworth et al. Auditory processing of speech
Brouckxon et al. Time and frequency dependent amplification for speech intelligibility enhancement in noisy environments
JP2008102551A (ja) 音声信号の処理装置およびその処理方法
Drullman The significance of temporal modulation frequencies for speech intelligibility
KR20090065749A (ko) 보청기 및 그 청력 측정 방법
Fortune Real ear compression ratios: the effects of venting and adaptive release time
JP5395826B2 (ja) 補聴器調整装置
JPH0772896A (ja) 音声の圧縮伸長装置
Kasisopa et al. Auditory-Visual Lexical Tone Perception in Thai Elderly Listeners with and without Hearing Impairment.

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080001076.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010530205

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12866320

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010735643

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10735643

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE