WO2011155197A1 - 聴力判定システム、その方法およびそのプログラム - Google Patents

聴力判定システム、その方法およびそのプログラム Download PDF

Info

Publication number
WO2011155197A1
WO2011155197A1 PCT/JP2011/003237 JP2011003237W WO2011155197A1 WO 2011155197 A1 WO2011155197 A1 WO 2011155197A1 JP 2011003237 W JP2011003237 W JP 2011003237W WO 2011155197 A1 WO2011155197 A1 WO 2011155197A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
sound
user
determination
group
Prior art date
Application number
PCT/JP2011/003237
Other languages
English (en)
French (fr)
Inventor
和紀 小塚
信夫 足立
幸治 森川
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180011484.4A priority Critical patent/CN102781321B/zh
Priority to JP2012508286A priority patent/JP5002739B2/ja
Publication of WO2011155197A1 publication Critical patent/WO2011155197A1/ja
Priority to US13/564,390 priority patent/US9131868B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting

Definitions

  • the present invention relates to a technique for determining whether or not a speech has been heard and determining whether or not the speech is heard comfortably. More specifically, the present invention provides speech intelligibility and comfort for fitting a hearing aid or the like to adjust the amount of amplification for each frequency of the sound to obtain a sound of an appropriate magnitude for each user.
  • the present invention relates to a hearing determination system for simultaneous determination.
  • Hearing aids are devices that amplify sounds at frequencies that are difficult for users to hear.
  • the purpose of wearing a hearing aid is to improve the ability to distinguish conversations by making up for the decreased hearing ability of the user.
  • the amount of sound amplification that the user seeks from the hearing aid varies depending on the degree of hearing loss for each user. Therefore, before starting to use the hearing aid, it is necessary to first determine the hearing ability for each user.
  • the speech intelligibility determination is important among the hearing determinations for using hearing aids.
  • the “sound intelligibility determination” is a determination as to whether or not a speech is heard. Specifically, it is a determination of the ability to distinguish whether or not a single syllable word sound has been heard.
  • the “single syllable word sound” indicates one vowel or a combination of a consonant and a vowel (for example, “a” / “da” / “shi”).
  • Non-Patent Document 1 conventional speech intelligibility determination is performed in the following procedure.
  • a single syllable voice is spoken to the user by verbal or CD playback one by one using the 57S type word table (50 single syllables) or 67S type word table (20 single syllables) established by the Japan Audiological Society.
  • the user is made to answer by using a method such as utterance or description as to which speech has been heard.
  • the examiner collates the word table with the answer, and calculates the correct answer rate, which is the proportion of single syllables that are correctly heard out of all single syllables.
  • the correct answer rate is speech intelligibility.
  • techniques such as Patent Documents 1 and 2 are known.
  • the user needs to answer by speaking or describing, and the determiner needs to manually determine whether the user's answer is correct. For this reason, the above-described determination method is burdensome for both the user and the determiner and takes time.
  • “Comfort determination” is a determination of whether or not the user is listening comfortably.
  • the determination regarding comfort has been made from the viewpoint of whether or not the user is in an uncomfortable state. For example, when the user is noisy and cannot stand, or when the sound is low and cannot be heard, the user verbally reports the fact to the judge. Or, a discomfort level test for determining the maximum output sound pressure level has been performed. This makes it difficult to objectively determine how comfortable the user is listening to the sound.
  • An object of the present invention is to provide a hearing determination system for determining comfort of how to hear a speech in a short time. Furthermore, the objective of this invention is providing the hearing determination system for determining speech intelligibility and comfort simultaneously and in a short time.
  • the hearing determination system refers to a biological signal measurement unit that measures a user's electroencephalogram signal, a plurality of speech data, and a speech database that stores at least one group of the plurality of speech sounds.
  • a presenting sound control unit for determining the sound to be presented to the user, an auditory stimulus presenting unit for presenting the determined sound to the user by voice, and a visual stimulus presenting unit for presenting the determined sound to the user as characters ,
  • the group-specific adder for adding the event-related potential of the electroencephalogram signal for each group of speech sounds, and the user from the event-related potential added for each group Comfort for each group is determined, and a comfort determination unit that outputs a determination result and the event-related potentials
  • the it is determined in speech every whether clarity are clearly heard the speech, and a clarity judging unit that outputs a determination result.
  • the comfort determination unit is configured such that the event-related potential added for each group has a predetermined positive component within a range of 600 ms to 900 ms starting from the time when the speech sound is presented from the auditory stimulus presentation unit.
  • the comfort may be determined for each group on the basis of whether or not the device has a predetermined negative component within a range of 100 ms to 300 ms.
  • the comfort determination unit is configured such that the event-related potential added for each group has a predetermined positive component within a range of 600 ms to 900 ms starting from the time when the speech sound is presented from the auditory stimulus presentation unit. And determining whether or not the user is comfortably listening to the word sound based on whether or not the user has a predetermined negative component within a range of 100 ms to 300 ms. You may provide the determination part which determines the said comfort for every said group according to the determination result of the negative component determination part and the said positive component determination part, and the determination result of the said negative component determination part.
  • the intelligibility determination unit is configured such that the event-related potential added for each word sound is within a range of 200 ms to 400 ms or about 400 ms to 600 ms from the time when the character of the word sound is presented from the visual stimulus presentation unit.
  • the clarity may be determined for each word sound based on whether or not a predetermined positive component is included in the range.
  • each of the plurality of speech sounds may be classified into the at least one group based on a predetermined rule.
  • the at least one group may be a vowel group, a voiced consonant group, or an unvoiced consonant group.
  • each of the plurality of speech sounds may be classified into the at least one group based on the magnitude of the occurrence probability of abnormal hearing.
  • the presented speech sound control unit determines the number of times of speech to be presented to the user, and in the speech database, each of the plurality of speech sounds is classified into the plurality of groups based on the number of speech sounds.
  • the speech sound control unit may determine the number of voices presented by the auditory stimulus presentation unit and the number of characters presented by the visual stimulus presentation unit according to the number of speech sounds of the plurality of groups.
  • the presented speech sound control unit determines the number of times of the speech to be presented to the user, and the auditory stimulus presenting unit and the visual stimulus presenting unit are the number of times of presentation of the voice determined by the presented speech sound control unit, and The speech of the word sound and the presentation of characters may be continued until the number of presentations of the characters is reached.
  • the presenting speech sound control unit may determine the number of times the speech sound to be presented to the user is presented, and the presented speech sound control unit may determine to present the specific speech sound presented to the user a plurality of times.
  • the presenting speech sound control unit may determine the number of times of presentation according to the magnitude of the user's brain wave signal.
  • the hearing determination system may further include a hearing determination result database that stores determination results respectively output from the comfort determination unit and the clarity determination unit.
  • the hearing determination system further includes an adder for each sound that adds the event-related potential for each sound with reference to the sound database, and the intelligibility determiner adds the event added for each sound.
  • the clarity of whether or not the user is clearly listening to the word sound may be determined for each word sound from the related potential.
  • Another hearing ability determination system refers to a biological signal measurement unit that measures a user's electroencephalogram signal, and a speech sound database that stores data of a plurality of speech sounds and data of at least one group of the plurality of speech sounds.
  • a speech-to-speech control unit that determines a speech to be presented to the user, an auditory stimulus presentation unit that speech-determines the determined speech to the user, and an event-related potential of the electroencephalogram signal with reference to the speech database
  • a comfort determination unit that determines and outputs a determination result.
  • Still another hearing determination system refers to a speech sound database that stores data of a plurality of speech sounds and data of at least one group of the plurality of speech sounds, determines a speech sound to be presented to the user, and An audio stimulus presenting unit that presents the determined speech to the user by voice, and a visual stimulus presentation unit that controls the determined speech to be presented to the user by the character, and the speech
  • the group-specific adding unit that adds the event-related potential of the electroencephalogram signal measured by the biological signal measuring unit for each group of the speech sounds, and the event-related potential added for each group
  • the user Determines whether or not the user is comfortably listening to the speech sound for each of the groups, and outputs a determination result from the comfort determination unit and the event-related potential
  • the user determines the speech every whether clarity are clearly heard the speech, and a clarity judging unit that outputs a determination result.
  • the hearing determination method is presented to the user with reference to a step of measuring a user's electroencephalogram signal and a speech sound database storing data of a plurality of speech sounds and data of at least one group of the plurality of speech sounds.
  • a step of determining a speech sound; a step of presenting the determined speech sound to the user by voice; a step of presenting the determined speech sound to the user by a character; and referring to the speech sound database, the electroencephalogram signal And adding the event-related potential for each group of speech sounds and the event-related potential added for each group to determine whether the user is comfortably listening to the speech sounds for each group. Whether the user is clearly listening to the speech from the event-related potential and the step of outputting the determination result It determines Akirasei the speech each include a step of outputting a determination result.
  • a computer program is a computer program executed by a computer provided in the hearing determination system, and the computer program outputs a measured user's brain wave signal to a computer installed in the hearing determination system.
  • Receiving referring to a speech database that stores data of a plurality of speech sounds and data of at least one group of the plurality of speech sounds, determining a speech sound to be presented to the user, and sounding the determined speech sounds Presenting to the user in step, presenting the determined speech to the user in characters, and referring to the speech database and adding an event-related potential of the electroencephalogram signal for each group of speech And the thing added for each group
  • the user determines whether the user is comfortably listening to the word sound based on the related potential, and outputs a determination result for each group, and the user clearly hears the word sound based on the event related potential. And determining whether or not the user is listening for each word sound and outputting a determination result.
  • an event-related potential for speech presentation of a single syllable word sound and an electroencephalogram waveform obtained by measuring the event-related potential for character presentation are added for each determination of speech intelligibility and comfort determination.
  • the number of voice and character presentations can be reduced.
  • the hearing determination by the electroencephalogram can be performed in a short time, and thus the hearing determination with less burden on the user can be realized.
  • comfort is determined using event-related potentials for voice presentation of single syllable words.
  • FIG. 1 It is a figure which shows the timing of the electroencephalogram, audio
  • A is a figure which shows six conditions, an audio
  • (b) is a figure which shows the gain adjustment amount for every frequency.
  • A) is a figure which shows the electrode position of the international 10-20 method
  • (b) is a figure which shows the electrode arrangement
  • FIG. 5 is a diagram showing gain adjustment amounts for each frequency under conditions (1) to (3). It is a flowchart which shows the procedure for 1 trial.
  • FIG. 1 It is a figure which shows the result of having carried out total addition averaging of the event related electric potential in the electrode position (Pz) of a parietal part for every subjective judgment of absolute mismatch / absolute match. It is a figure which shows the change of an identification rate when changing the frequency
  • FIG. 1 is a block configuration diagram of a hearing determination system 100 according to Embodiment 1.
  • FIG. It is a figure which shows an example of the database stored in speech sound DB12. It is a figure which shows the structure of the clarity determination part 8.
  • FIG. It is a figure which shows the structure of the comfort determination part.
  • 3 is a flowchart showing a procedure of processes performed in the hearing determination system 100. It is a flowchart which shows the procedure of the detailed process of step S18 of FIG. It is a flowchart which shows the procedure of the detailed process of step S19 of FIG.
  • FIG. 10 is a flowchart illustrating an overall processing procedure performed in the hearing determination system 101 according to the second embodiment.
  • FIG. 10 is a flowchart showing an overall processing procedure performed in the hearing aid adjustment system 103.
  • the hearing determination system divides the user state at the time of listening to the sound into whether the sound is recognized and how comfortable the user listens to the sound, and is used to determine the user state based on an electroencephalogram. .
  • the hearing determination system combines comfort determination and speech intelligibility determination. However, only comfort determination may be performed without performing speech intelligibility determination.
  • the comfort determination is performed by using the event-related potential of the user's electroencephalogram signal from the voice presentation as an index, with a setting that presents the speech of a single syllable as a voice and makes the user recognize the voice.
  • Speech intelligibility is determined by presenting a character after presenting a single syllable speech as a voice, and allowing the user to determine whether the voice presentation matches the character presentation. This is done using the related potential as an index.
  • the “event-related potential” is a part of an electroencephalogram and refers to a transient potential fluctuation in the brain that occurs in time relation to an external or internal event.
  • comfort and speech intelligibility can be determined by an event-related potential of an electroencephalogram.
  • the word sound intelligibility determination it is determined by ⁇ / x whether or not the voice has been recognized for each word sound, and the number of the word sounds recognized is divided by the number of sound words for determination (20 in the case of 67S type word table).
  • the “sound intelligibility curve” described above is a curve representing the results of measuring the speech intelligibility for a plurality of hearing levels. Since the determination result obtained by the speech intelligibility determination is the correct answer rate of the discrimination, it is reflected whether or not the discrimination was made, but it does not reflect what state the user was at the time of listening to the speech. However, there are cases where the user can distinguish comfortably in the situation in which the user is able to hear, and there are cases where the user has been able to hear but is uncomfortable.
  • Speech intelligibility determination is a short time determination performed at a hearing aid store. For this reason, the user who is making the determination tries to distinguish the speech sound by making the utmost effort. Moreover, since it is not a judgment object whether the user felt noisy, even if it feels a little noisy if it cannot be tolerated, the user endures and performs the judgment task. When hearing aids are worn on a daily basis, it is difficult to always listen to the conversation with maximum effort. In addition, since the hearing aid is worn for a long time, it is necessary to endure annoyance for a long time, which is a burden on the user.
  • the inventors of the present application consider that the user status at the time of listening to the speech should be determined separately when the endurance for effort or annoyance is unnecessary and when the endurance for effort or annoyance is required. It was. They identified them as comfort factors when listening to speech. Since effort and annoyance are completely different intracerebral processes, there is a possibility that they can be determined separately by measuring brain waves.
  • the inventors of the present application conducted the following two types of experiments in order to identify the characteristic components of the electroencephalogram that realize the speech intelligibility determination and the comfort determination.
  • electroencephalogram measurement experiment 2 electroencephalogram measurement experiment 2 was conducted to measure event-related potentials starting from character presentation with the setting of presenting single syllable speech in order of voice and text.
  • the event-related potentials were added and averaged based on subjective reports on effort / noisiness.
  • the event-related potentials were averaged based on a subjective report about annoyance acquired before and after the experiment.
  • the event-related potentials were added and averaged based on the coincidence / disagreement between speech and characters acquired during the experiment.
  • the amplitude of the negative component with a latency of about 200 ms increases with an increase in the sound pressure level of the stimulus voice independently of the positive component.
  • determination of effort can be made based on the presence or absence of a positive component with a latency of about 750 ms of the event-related potential starting from the time when the voice was presented, based on correspondence with the degree of confidence of voice discrimination.
  • the annoyance can be determined from the presence or absence of a negative component with a latency of about 200 ms.
  • the speech intelligibility is the latency of the event-related potential starting from the time when the character is presented. It was found that the determination can be made based on the presence or absence of a positive component having a latency of about 300 ms and a positive component having a latency of about 500 ms.
  • EEG measurement experiment 1 (experiment related to comfort)
  • the relationship between the effort report obtained after the voice presentation and the subjective report on the annoyance and the event-related potential starting from the voice was examined.
  • experimental settings and experimental results of the electroencephalogram measurement experiment will be described with reference to FIGS.
  • the experiment participants were 15 university / graduate students with normal hearing.
  • the speech sounds presented as stimuli consisted of 8 voices (Shi, Su, Ki, Ku, Ta, Te, To, Ha) of the 67S-style word table established by the Japan Audiological Society among unvoiced consonants that are often misunderstood. ).
  • speech sounds with adjusted frequency gain were used.
  • Frequency gain means gain (circuit gain, amplification factor) for each of a plurality of frequency bands.
  • LF Large Flat
  • LD Large Distorted
  • MF Middle Flat
  • MD Middle Distorted
  • FIG. 2 (a) shows six conditions of voice and distortion.
  • FIG. 2B shows the gain adjustment amount for each frequency. The reason why the frequency gain of the high frequency is reduced is to simulate a high-tone gradual type that is a typical pattern of elderly hearing loss.
  • the voice stimulus was presented from a speaker with a flat frequency characteristic.
  • FIG. 3 (a) shows the electrode positions of the international 10-20 method (10-20 system), and FIG. 3 (b) shows the electrode arrangement in which the electrodes are mounted in this experiment.
  • the sampling frequency was 200 Hz and the time constant was 1 second.
  • a 1-6 Hz digital bandpass filter was applied off-line.
  • a waveform of ⁇ 200 ms to 1000 ms was cut out from the time when the voice was presented.
  • ⁇ 200 milliseconds refers to a time point 200 milliseconds before the time when the voice is presented.
  • Fig. 4 shows the outline of the experimental procedure of the electroencephalogram measurement experiment.
  • a single syllable speech in which the frequency gain was adjusted to 6 conditions in Procedure A was presented. Details of the presented voice will be described later.
  • Procedure B the participant was made to hear the voice and the character corresponding to the heard voice was written down. Only the type of speech was changed without changing the conditions of the presented speech. Procedures A and B were repeated 5 times.
  • procedure C the participant was made to make a subjective judgment regarding the effort / noisiness with respect to the voice presented in the procedure A. Subjective judgment was performed on a visual analog scale (100-step judgment) using a touch panel.
  • the above procedure A to procedure C were repeated as 12 blocks and repeated 12 blocks (total 60 trials). The sound pressure and distortion conditions of the voice presented for each block were changed in a random order.
  • FIG. 5 is a flowchart showing the procedure for one trial.
  • step S11 a single syllable voice is presented to the experiment participant.
  • step S12 the participant hears a single syllable and thinks of the corresponding character.
  • step S13 the participant writes down the characters corresponding to the heard voice.
  • step S14 the number of times the voice is presented is counted. The process returns to S11 until the number of presentations is four. When the number of presentations is 5, the process proceeds to S15 and the number of presentations is reset.
  • step S15 the participant answers the subjectivity to the voice heard in step S11.
  • each participant determined by the method described later was labeled for effort / noisiness based on a threshold value.
  • the subjectivity determination label is the participant's state.
  • Fig. 6 shows the result of subjective judgment for each participant regarding effort. The percentage of all trials is shown.
  • the solid line in FIG. 6 is the distribution of the subjective determination result, and the broken line indicates the threshold value obtained by dividing the subjective determination (high effort, low effort).
  • the threshold is determined based on the ranking of the determination results for each individual (1 to 100 on the visual analog scale) because there is a large individual difference in subjective determination. Specifically, the threshold value is a value at which the ranking of the determination results within an individual becomes the center. However, the same judgment results were treated as the same subjective judgment (high effort, low effort).
  • FIG. 7 shows the result of subjective judgment for each participant regarding annoyance.
  • the percentage of all trials is displayed.
  • the solid line in FIG. 7 indicates the distribution of the subjective determination results, and the broken line indicates the threshold value obtained by dividing the subjective determination (noisy, not noisy).
  • the present inventors determined the threshold value for each individual based on the ranking of the determination results (1 to 100 on the visual analog scale). More specifically, a threshold is set on the assumption that the rank of the determination result within an individual is 1/3 from the larger determination result, and the other is not annoying. However, the same judgment result was treated as the same subjective judgment (noisy / not noisy).
  • FIG. 8A shows a waveform obtained by summing and averaging event-related potentials starting from voice presentation at the top of the head (Pz) based on subjective judgment regarding effort. The addition average was performed based on subjective judgment regarding the effort of each block under all six conditions of the measurement experiment.
  • the horizontal axis is time and the unit is ms
  • the vertical axis is potential and the unit is ⁇ V.
  • the lower direction of the graph corresponds to positive (positive) and the upper direction corresponds to negative (negative).
  • the broken line shown in FIG. 8A is an addition average waveform when it is determined that the effort is low
  • the solid line is an addition average waveform when it is determined that the effort is high.
  • FIG. 8 (a) shows that a positive component appears at a latency of 600 to 900 ms when the effort is high (solid line) compared to the case where the effort when listening to the speech is low (dashed line). Looking at the average potential of 600-900 ms for each subjective judgment, it was 1.99 ⁇ V when the effort was low, and 2.73 ⁇ V when the effort was high. As a result of t-testing the interval average potential, there was a significant difference at the 10% level.
  • FIG. 8B shows the result of calculating the p value for each sampling. From FIG. 8 (b), it can be seen that the p-value is smaller in the time zone of about 600 to 900 ms starting from the voice stimulus than in the other time zones.
  • the effort of listening to speech is likely to be reflected in a positive potential of about 600-900 ms latency starting from voice presentation.
  • the time periods in which the significant difference due to the difference in subjective judgment lasted for 15 ms or more were 420-445 ms, 655-670 ms, 730-745 ms, 775-830 ms ( p ⁇ .05).
  • FIG. 9 is a waveform obtained by summing and averaging the event-related potentials starting from the voice stimulus at the top of the head (Pz) based on subjective judgment regarding annoyance. The addition average was performed based on subjective judgment regarding the annoyance of each block under all six conditions of the measurement experiment.
  • the horizontal axis in FIG. 9 is time and the unit is ms, and the vertical axis is potential and the unit is ⁇ V.
  • the downward direction of the graph corresponds to positive (positive) and the upward direction corresponds to negative (negative).
  • the solid line shown in FIG. 9 is the total addition average waveform when the user feels “noisy” in the subjective judgment, and the broken line is the addition average waveform when the user feels “not noisy” in the subjective judgment. is there.
  • FIG. 9 shows that the latency of the negative component (N1 component) caused by the latency of about 200 ms is shorter in the solid line determined to be noisy than the broken line determined to be noisy.
  • the latency of the N1 component for each participant was 195 ms when it was noisy and 240 ms when it was not.
  • p ⁇ .05 the interval average potential of the latency of 200 ms to 300 ms for each participant was 0.14 ⁇ V when noisy and ⁇ 1.38 ⁇ V when not noisy.
  • the section average potential of the latency of 200 ms to 300 ms was significantly large (p ⁇ .05). Therefore, the latency of the N1 component starting from the voice presentation and the average potential of the negative component of about 200 to 300 ms starting from the voice presentation reflect the loudness and may be used as an index of the loudness when listening to the speech. .
  • the time period in which the significant difference due to the difference in subjective judgment lasted 15 ms or longer was 50-70 ms, 155-175 ms, 225-290 ms, 920-935 ms. .
  • EEG measurement experiment 2 (Experiment on speech intelligibility)
  • the inventors of the present application examined the relationship between the speech intelligibility and the event-related potential after the presentation of characters.
  • the experimental settings and experimental results of the electroencephalogram measurement experiment 2 will be described with reference to FIGS.
  • the experiment participants were 5 university / graduate students with normal hearing.
  • the electroencephalogram was recorded on the basis of the right mastoid from Fz, Cz, Pz, C3, C4 (International 10-20 method) on the scalp shown in FIG. 3 (a).
  • the sampling frequency was 200 Hz and the time constant was 1 second.
  • a 0.1-6 Hz digital bandpass filter was applied off-line.
  • As an event-related potential for character presentation a waveform of ⁇ 100 ms to 1000 ms was cut out from the time when the character was presented.
  • the addition average of event-related potentials was performed based on the result of button press (absolute coincidence / absolute disagreement) obtained in EEG measurement experiment 3.
  • FIG. 10 is a diagram showing an outline of the experimental procedure.
  • a single syllable voice was presented.
  • the speech is selected from the Na / Ma, La / Y, and K / Ta lines, which are often mistaken.
  • the following three conditions of sound were presented with the frequency gain changed in three stages so that the ease of listening at the time of listening was changed.
  • Large gain condition The voice was obtained by gradually adjusting (reducing) the gain of the frequency of 250 Hz-16 kHz to -50 dB. In advance, the participants were instructed to listen to the sound and think of the corresponding characters.
  • FIG. 11 shows the gain adjustment amount for each frequency in each of the conditions (1) to (3).
  • the reason why the frequency gain of the high frequency is reduced is to reproduce a typical pattern of deafness of elderly people and to simulate hearing that is equivalent to difficulty of hearing of elderly people with normal hearing.
  • Step G a character was shown on the display.
  • 50% of the characters were presented with a disagreement with the speech presented in Procedure E.
  • Mismatched characters were selected on a different line from the voice, with the vowels aligned as a pair of na and ma, ra and ya, and k and ta.
  • “NA” is presented in the procedure E
  • “NA” is presented as the matching condition
  • “MA” is presented as the mismatching condition in the procedure G.
  • the participant feels as expected for the “NA” presentation and feels disappointing for the “MA” presentation.
  • Procedure H was provided to confirm how much the participants felt a mismatch between the voice presented in Procedure E and the letters presented in Procedure G. If you feel an absolute match, press the number 5 on the keyboard, maybe 4 if you feel a match, 3 if you don't know, maybe 2 if you feel a mismatch, an absolute mismatch In the case of the case, 1 was pressed.
  • the inventors of the present application conducted an experiment in which procedure E to procedure H were repeated 108 times.
  • three sounds of Mana / Ya / La / Ka / Ta were used as presented word sounds, and gain adjustment was performed in three stages for these word sounds (a total of 54 types).
  • FIG. 12 is a flowchart showing the procedure for one trial. In this flowchart, for the convenience of explanation, both the operation of the apparatus and the operation of the experiment participant are described.
  • step S21 single syllable speech is presented to the experiment participants.
  • step S22 the participant hears a single syllable and thinks of the corresponding character.
  • step S23 the participant presses the space key as the “Next” button.
  • Step S24 is a step of presenting on the display a character that matches or does not match the voice starting from Step S23.
  • the probability that the voice and the character match is 50%. Therefore, the probability that the voice and the character do not match is also 50%.
  • step S25 the participant confirms whether the character imagined in step S22 matches the character presented in step S24.
  • step S26 the number of 1 to 5 keys is used to answer how much the participant feels the match / mismatch in step S26.
  • FIG. 13 shows the result of total addition averaging of event-related potentials at the electrode position (Pz) at the top of the head for each subjective judgment of absolute mismatch / absolute match.
  • An event-related potential of ⁇ 100 to 1000 ms is used in the calculation, assuming that the time when the character is presented as a stimulus is 0 ms.
  • the horizontal axis in FIG. 13 is time and the unit is ms, and the vertical axis is potential and the unit is ⁇ V.
  • the downward direction of the graph corresponds to positive (positive), and the upward direction corresponds to negative (negative).
  • Baseline correction was performed by adjusting the average potential from ⁇ 100 ms to 0 ms to zero.
  • the solid line shown in FIG. 13 is the addition average waveform of the event-related potential when the participant feels inconsistency
  • the broken line is the addition average waveform of the event-related potential when the participant feels coincidence.
  • a positive component appears in a range centering on the latency from 200 ms to 400 ms in the broken line felt by the presenting participant as compared to the solid line that the participant felt inconsistency.
  • the solid line that the presenting participant felt disagreement had a positive component appearing in the range centered on the latency from 500 ms to 600 ms. I understand.
  • the time period in which the significant difference (p ⁇ 0.05) due to the difference in speech intelligibility lasted for 20 ms or longer was 270 ms-390 ms and 450 ms-540 sms. It was.
  • the inventors of the present application analyzed electroencephalogram data for specifying the number of additions necessary to use the components found based on the above-mentioned experiment for determination.
  • a certain identification rate for example, 80%
  • the required number of additions differs greatly for each judgment item
  • the speech intelligibility determination needs to be less than the number of additions (20 times) conventionally required for brain waves
  • Comfortable In gender determination it was discovered that the number of times of addition required more than the number of times of addition (20 times) conventionally required for an electroencephalogram.
  • an average potential in a section (600 ms-900 ms) determined to have a significant difference in the above experiment was calculated from the added waveform and used as a feature amount. Further, the average potential of the same interval was calculated for the total addition average waveform under each “high effort / low effort” condition, and the average value was used as a threshold value. When the result of calculating the feature amount is larger than the threshold value, it is identified as “high effort”, and when it is small, “low effort”. The ratio of the correct number of identification results for all waveforms at this time was defined as the identification rate.
  • the event-related potential measured in EEG measurement experiment 1 was used to identify “noisy / not noisy” in the subjective report.
  • a waveform corresponding to the number of additions was randomly extracted from the waveforms for all trials under each “noisy / noisy” condition, and the addition average was performed.
  • the inventors of the present application created 20 additional waveforms for each condition.
  • the identification boundary that separates “noisy / not noisy” for these feature quantities will be described.
  • a total addition average waveform was used for the calculation of the identification boundary.
  • the average potential of the total summed average waveform and the N1 latency in each “noisy / non-noisy” condition were calculated for the same section as that at the time of creating the feature amount.
  • the average potential and the N1 latency calculated under the “noisy / non-noisy” condition are plotted as “points” in the potential-time graph. At this time, a straight line passing through these two points was considered, and a perpendicular passing through the midpoint of the straight line was used as an identification boundary.
  • the identification rate The ratio of the correct number of identification results for all waveforms at this time was defined as the identification rate.
  • the event-related potential measured in EEG measurement experiment 2 was used to identify “absolute coincidence / absolute disagreement” in the subjective report.
  • a waveform corresponding to the number of additions was randomly extracted from the waveforms for all trials under each “absolute match / absolute mismatch” condition, and an addition average was performed. This added waveform was prepared for 20 waveforms for each condition.
  • an average potential in a section (270 ms-390 ms, 450 ms-540 ms) determined to have a significant difference in the above experiment was calculated from the added waveform, and the difference was used as a feature amount.
  • the average potential difference in the same section was calculated for the total addition average waveform under each “absolute match / absolute mismatch” condition, and the average value was used as a threshold value.
  • the above-described threshold value is used, and when the result of calculating the feature quantity is larger than the threshold value, it is identified as “absolute coincidence”, and when it is smaller, it is identified as “absolute disagreement”.
  • the ratio of the correct number of identification results for all waveforms at this time was defined as the identification rate.
  • FIG. 14 shows changes in the identification rate when the number of additions is changed for the above three determination items.
  • the identification rate in FIG. 14 is an average value when the above calculation is repeated 100 times. According to FIG. 14, although the number of subjects is small, some fluctuations are observed, but basically, the identification rate is improved as the number of additions on the horizontal axis increases in all judgment items. However, it can be said that the identification rate is unlikely to increase even if the effort is increased.
  • the relationship between the number of additions and the identification rate is different.
  • the speech intelligibility reaches an identification accuracy of 80% with 5 additions, while the annoyance has an identification accuracy of 70% with 20 additions.
  • the identification accuracy of effort even if the number of additions is larger, it can be said that it does not reach the accuracy of speech intelligibility and annoyance identification. As a result of the experiment, the present inventors have discovered such characteristics.
  • the potential difference (potential difference shown as “about 6 ⁇ V” and “about 2.5 ⁇ V” in FIG. 13) used for identifying the speech intelligibility shown in FIG. 13 and the comfort shown in FIGS. 8 and 9 are identified. Therefore, the potential difference in the section used for this purpose (potential difference indicated as “about 1 ⁇ V” in each figure) is greatly different.
  • the first reason may be the difference in the type of stimulus. Since the determination of speech intelligibility is a response to a visual stimulus, generally a greater response is likely to occur than a response to an auditory stimulus, and the electroencephalogram component is large. On the other hand, since comfort (“effort” and “noisiness”) is a response to an auditory stimulus, the magnitude of the electroencephalogram component is considered to be smaller than the response to a visual stimulus.
  • the speech intelligibility is a determination content that can clearly determine whether or not the spoken sound and the presented character match.
  • comfort is an ambiguous determination as to whether it is comfortable.
  • the electroencephalogram component is larger in the speech intelligibility determination than in the comfort determination. Therefore, depending on the identification method and the like, the identification accuracy obtained in this experiment may be increased or decreased. However, it is considered that the order relationship between speech intelligibility and comfort discrimination accuracy does not change due to the type of stimulation and the electroencephalogram component.
  • the required number of additions is determined from the relationship between the number of additions and the identification rate. For example, if 80% identification accuracy is required for speech intelligibility determination, the required number of additions at that time is five. Thus, the required number of additions is determined by the required identification accuracy for each determination item. For this reason, the necessary number of additions varies when the above-described identification accuracy changes, and the required accuracy may change depending on the content of the hearing determination to be performed. In the following, in order to describe the required number of additions, it is assumed that the accuracy required for speech intelligibility determination is 80% and the accuracy required for comfort is 70% as an example.
  • the intelligibility is the number of additions conventionally required ( It is understood that the number of additions is required to be equal to or higher than that of the conventional one, although it may be less than (20 times). However, although there is a difference in the required number of additions between intelligibility and comfort, these are judged as responses to a series of voice and character presentations, so in a single trial, the response of clarity and comfort is Each can only be obtained once.
  • the presentation time becomes longer.
  • the 20-sound of the 67S word table is used to determine the speech intelligibility
  • the 20-sound is presented 20 times, it is necessary to present a total of 400 times. Therefore, it is necessary for the subject to concentrate on hearing the voice during the 400 presentations, which is considered to be a heavy burden on the subject.
  • the time required for selection is estimated to take at least 2 hours for 400 presentations when the sound pressure of the presented voice is 3 types, the interval between voice stimuli is 3 seconds, and the hearing judgment is performed for naked / wearing.
  • the inventors of the present application focused on the difference in the required number of additions of speech intelligibility and comfort, and the fineness required for determination of speech intelligibility and comfort.
  • the “fineness” of the judgment in this specification is a concept indicating whether the output of the judgment result that is finally used is for each word sound or a group of several sound words.
  • the speech intelligibility determination it is necessary to determine the correct / incorrect answer for each speech in order to determine whether the speech is recognized.
  • the comfort determination it is not necessary to determine comfort / discomfort for each speech sound in the determination of annoyance and effort, and it may be determined collectively for those that sound the same under the same sound pressure and other conditions. It is done. This idea can be said to have been conceived for the first time by the present inventors as a result of analyzing the user's hearing at the time of comfort determination. This will be specifically described below.
  • the effort is an index indicating how much effort the user has made to distinguish the speech.
  • the sound cannot be distinguished when the frequency of the sound is closer than the presented sound pressure. Therefore, it is considered that effort can be determined collectively based on frequency.
  • FIG. 15 is a diagram plotting the hearing level for each phoneme against the frequency. According to FIG. 15, it can be seen that the distribution of phonemes is biased (frequency bias). For this reason, when determining effort together, grouping may be performed for each distribution in FIG.
  • FIG. 16 shows an example in which 20 words in the 67S word table are grouped according to the above.
  • FIG. 16A shows an example in which 20 words in the 67S word table are grouped according to the distribution of FIG.
  • “shi” and “su” in FIG. 16A are classified into “s” groups located in the vicinity of the frequency of about 6000 Hz in FIG.
  • “ki”, “ku”, “ta”, “te” and “g” in FIG. 16A are classified into groups of “k” and “t” located in the vicinity of the frequency of about 3500 Hz in FIG. Is done.
  • “C” and “G” in FIG. 16A are classified into “h” and “g” groups located in the vicinity of the frequency of about 1800 Hz in FIG.
  • FIG. 16 (b) is an example of grouping the 20 word sounds of the 67S word table for each vowel for annoyingness.
  • FIG. 17 shows the relationship of the determination methods compiled by the inventors of the present application.
  • the time after the elapse of a predetermined time calculated from a certain time point in order to define the event-related potential component is expressed as, for example, “latency 750 ms”. This means that a range centered on a specific time of 750 ms can be included.
  • EMP Event-Related Potential
  • the terms “about Xms” and “near Xms” mean that a width of 30 to 50 ms can exist around the Xms (for example, 300 ms ⁇ 30 ms, 750 ms ⁇ 50 ms).
  • width from 30 ms to 50 ms is an example of a general individual difference of the P300 component.
  • the positive component of the latency of about 750 ms has a slower latency than P300, the individual difference of the user is further increased. It appears greatly. Therefore, it is preferable to handle it as a wider width, for example, a width of about 100 ms to 150 ms before and after. Therefore, in this embodiment, “latency of about 750 ms” indicates that the latency is from 600 ms to 900 ms.
  • a latency of 600 ms to 900 ms means a latency of 600 m to 900 ms.
  • “around 200 ms latency” and “about 200 ms latency” may have a width of 30 to 50 ms before and after the latency of 200 ms, or slightly wider than that, for example, It may have a width of 50 ms to 100 ms.
  • “positive component” means a potential greater than 0 ⁇ V. However, in the present specification, the “positive component” does not need to be absolutely positive (greater than 0 ⁇ V). In the present specification, the presence or absence of a “positive component” is identified in order to identify whether the discrimination confidence level is high or low, and the segment average potential is 0 ⁇ V or less as long as significant discrimination level can be discriminated. There may be.
  • negative component means a potential smaller than 0 ⁇ V.
  • the “negative component” does not need to be absolutely negative (less than 0 ⁇ V).
  • the presence or absence of a “negative component” is identified in order to identify whether or not it is felt noisy. As long as it is possible to identify whether or not it is felt noisy, even if the section average potential or the like is 0 ⁇ V or more Good.
  • the magnitude of the negative component it is described as the presence or absence of the negative component.
  • FIG. 18 shows a configuration and usage environment of the hearing determination system 100 according to the present embodiment.
  • the hearing determination system 100 includes a hearing determination device 1, a biological signal measurement unit 3, a visual stimulation unit 4, and an auditory stimulation unit 5.
  • the biological signal measuring unit 3 is connected to at least two electrodes A and B.
  • the electrode A is attached to the mastoid of the user 5 and the electrode B is attached to a position on the scalp of the user 5 (so-called Pz).
  • the hearing determination system 100 presents a single syllable speech to the user 2 in the order of voice and letters. Comfort determination is performed based on the brain wave (event-related potential) of the user 2 measured from the voice presentation time. Further, the speech intelligibility determination is performed based on the brain wave (event-related potential) of the user 2 measured from the character presentation time.
  • the electroencephalogram of the user 2 corresponding to the potential difference between the electrode A and the electrode B is acquired by the biological signal measuring unit 3.
  • the biological signal measuring unit 3 transmits information (an electroencephalogram signal) corresponding to the potential difference to the hearing determination device 1 wirelessly or by wire.
  • FIG. 18 shows an example in which the information is transmitted to the hearing determination apparatus 1 by the biological signal measurement unit 3 wirelessly.
  • the hearing determination apparatus 1 performs sound pressure control for sound determination and control of voice and character presentation timing, and presents the sound to the user 2 via the auditory stimulation unit 5 (for example, a speaker).
  • the character is presented via the visual stimulation unit 4 (for example, a display).
  • FIG. 19 shows a hardware configuration of the hearing determination apparatus 1 according to the present embodiment.
  • the hearing determination apparatus 1 includes a CPU 30, a memory 31, an audio controller 32, and a graphic controller 33. These are connected to each other by a bus 34 and can exchange data with each other.
  • the CPU 30 executes a computer program 35 stored in the memory 31.
  • the computer program 35 describes a processing procedure shown in a flowchart described later.
  • the hearing determination apparatus 1 performs processing for controlling the entire hearing determination system 100 using the speech DB 12 stored in the same memory 31 according to the computer program 35.
  • the determination result by the hearing determination device 1 is stored in the hearing determination result DB 10 in the memory 31. This process will be described in detail later.
  • the audio controller 32 generates a sound to be presented in accordance with a command from the CPU 30, and outputs the generated sound signal to the auditory stimulation presenting unit 5 with a designated sound pressure.
  • the graphic controller 33 generates characters to be presented in accordance with instructions from the CPU 30 and outputs them to the visual stimulus presenting unit 4.
  • Each function block (excluding the speech sound DB 12) of the hearing determination apparatus 1 to be described later is sometimes changed as a whole by the CPU 30, the memory 31, the audio controller 32, and the graphic controller 33 by executing the program 35 shown in FIG. It corresponds to the function realized in.
  • FIG. 20 is a block diagram of the hearing determination system 100 according to this embodiment.
  • the hearing determination system 100 includes a hearing determination device 1, a biological signal measurement unit 3, a visual stimulus presentation unit 4, and an auditory stimulus presentation unit 5.
  • User 2's block is shown for convenience of explanation.
  • the hearing determination system 100 is used when the hearing determination is performed using the brain wave signal of the user 2.
  • the hearing determination is executed by the hearing determination apparatus 1.
  • the biological signal measuring unit 3 measures the user's brain waves and extracts event-related potentials starting from voice and character stimuli.
  • the visual stimulus presenting unit 4 presents a character indicating speech to the user in accordance with an instruction from the hearing determination device 1.
  • the presented characters serve as a stimulus to the user 2's vision.
  • the auditory stimulus presenting unit 5 presents the sound of the speech to the user according to the instruction from the hearing determination device 1.
  • the presented voice is a stimulus to the auditory sense of the user 2.
  • the hearing determination device 1 includes an adder unit 6 for each sound, an adder unit 7 for each group, a clarity determination unit 8, a comfort determination unit 9, a hearing determination result database (DB) 10, and a presentation sound control unit 11. And a speech sound database (DB) 12.
  • the group-by-group addition unit 7 adds event-related potentials starting from voice presentation for each group using data of a plurality of speech sound groups. It is sufficient that at least one group exists. Each group is classified based on a predetermined rule. For example, a vowel group, an unvoiced consonant group, and a voiced consonant group. However, depending on the rules, there may be a group to which the word sound as an element does not belong.
  • the intelligibility determination unit 8 determines the speech intelligibility for each speech from the electroencephalogram waveform added for each speech.
  • the comfort determination unit 9 determines the comfort for each group from the electroencephalogram waveform added for each group.
  • the hearing determination result DB 10 stores determination results.
  • the presentation sound control unit 11 refers to the sound and determines the sound to be presented to the user.
  • the word-to-sound adder 6 adds the event-related potentials starting from the text stimulus presentation to each sound using the sound information.
  • the speech sound DB 12 stores speech sounds and data of speech sound grouping.
  • the biological signal detection unit 3 is a device that measures a potential change in an electrode attached to the head of the user 2.
  • an electroencephalograph is applicable.
  • the exploration electrode is placed on Pz at the top of the head
  • the reference electrode is placed on the left or right mastoid
  • an electroencephalogram that is a potential difference between the exploration electrode and the reference electrode is measured.
  • the biological signal measuring unit 3 measures the brain wave of the user 2 and cuts out an event-related potential in a predetermined section (for example, a section from ⁇ 200 ms to 1000 ms) with the trigger received from the presentation word sound control unit 11 as a starting point.
  • the event-related potential starting from the trigger corresponding to the auditory stimulus is sent to the group-by-group addition unit 7, and the event-related potential starting from the trigger corresponding to the visual stimulus is sent to the word-sound addition unit 6.
  • the biological signal measurement unit 3 extracts the event-related potential in a predetermined range starting from the trigger from the presentation word sound control unit 70, performs baseline correction, and generates potential waveform data. Is transmitted to the event-related potential processing unit 55.
  • this process is an example.
  • the biological signal measurement unit 50 may continuously measure the brain waves, and the event-related potential processing unit 55 may perform necessary event-related potential extraction and baseline correction. If it is the said structure, the presentation sound determination part 70 does not need to transmit a trigger to the biological signal measurement part 50, and should just transmit a trigger to the event related electric potential process part 55.
  • the visual stimulus presenting unit 4 is a device that presents the user 2 with characters for determining speech intelligibility.
  • the visual stimulus presenting unit 4 is, for example, a television or a display.
  • the visual stimulus presenting unit 4 presents the character of the sound determined by the presented sound control unit 11 on the display surface.
  • the auditory stimulus presentation unit 4 is a device that presents a voice for comfort determination to the user.
  • the auditory stimulus presentation unit 4 is, for example, a speaker or headphones.
  • the type of the auditory stimulus presentation unit 4 is arbitrary. However, in order to make a correct determination, it is necessary to adjust the voice so that the voice can be accurately presented with the designated sound pressure. Thereby, the auditory stimulus presentation unit 4 can accurately present the single syllable speech determined by the presented word sound control unit 11.
  • the speech sound DB 12 is a speech sound database used for hearing determination.
  • FIG. 21 shows an example of a database stored in the speech sound DB 12.
  • the speech sound DB 12 shown in FIG. 21 stores speech files to be presented and speech sound information of consonant labels for each speech sound. Assume that gain adjustment for each frequency of the stored voice has been completed based on the fitting technique from the audiogram of the hearing impaired measured in advance.
  • the type of the word sound to be stored may be the word sound listed in the 57S word table or 67S word table.
  • the consonant label is used when the user 2 determines in which consonant the probability of occurrence of abnormal hearing is high.
  • the speech sound DB 12 has data of a plurality of speech sound groups.
  • the grouped data according to the likelihood of occurrence of abnormal hearing (ease of occurrence of abnormal hearing or probability of occurrence of abnormal hearing) is used when the user 2 determines in which group the probability of occurrence of abnormal hearing is high. Used for The grouping is, for example, major classification, middle classification, or minor classification.
  • the major classifications are vowels, unvoiced consonants, and voiced consonants.
  • the middle classification is a classification within unvoiced consonants and voiced consonants.
  • Sa line medium classification: 1 and Ta Ka Ha line (middle class: 2)
  • La Ya Wa line within the voiced consonant
  • La Ya Wa line within the voiced consonant
  • Na Ma Ga It can be classified into The Da Ba Line (medium classification: 2).
  • Minor classification can be classified into Na Ma line (minor classification: 1) and The Ga Da Ba line (minor classification: 2).
  • the speech sound DB 12 has data of addition groups for each comfort determination for adding by group.
  • the data of the addition group is used when the event-related potential to be added is switched in the group-by-group addition unit 7.
  • the addition group is, for example, annoyance and effort.
  • the annoyance is expressed as 0, 1, 2, 3, 4, 5 according to the amplitude of the judgment speech.
  • Effort is expressed as 0, 1, 2, 3, 4, 5 for each frequency of the judgment speech.
  • the presented word sound control unit 11 determines the word sound to be presented with reference to the word sound DB 12, and transmits information on the determined word sound to the visual stimulus presenting unit 4 and the auditory stimulus presenting unit 5.
  • the trigger is transmitted to the biological signal measuring unit 3 in accordance with the presentation time of each of the voice and the character.
  • the information of the speech sound to be presented is transmitted to the speech sound addition unit 6, and the speech sound information to be presented and the grouping data possessed by the speech sound are transmitted to the group addition unit 7.
  • you may also control that the determined speech sound is presented by the visual stimulus presentation unit 4 and the auditory stimulus presentation unit 5.
  • the presenting speech sound control unit 11 will be described as transmitting the same speech sound information to the visual stimulus presenting unit 4 and the auditory stimulus presenting unit 5.
  • the word-by-speech adder 6 and the group-by-group adder 7 perform a waveform averaging operation on the waveform of the event-related potential received from the biological signal measuring unit 3 according to the content of the presented word sound information received from the presented word sound control unit 11. Switch.
  • the word sound adder 6 receives an event-related potential starting from a trigger corresponding to the visual stimulus from the biological signal measuring unit 3. At this time, using the presented word sound information received from the presented word sound control unit 11, only the event-related potentials obtained by the presentation of the same word sound are selected and the addition average is performed. Then, the electroencephalogram data that has been subjected to the addition averaging for a predetermined number of times for each sound is sent to the intelligibility determination unit 8. When the averaging is performed using only the same word sounds, it is possible to make a discrimination determination for each word sound.
  • the group addition unit 7 receives an event-related potential starting from a trigger corresponding to the auditory stimulus from the biological signal measurement unit 3. At this time, using the presentation word sound information received from the presentation word sound control unit 11 and the grouping data of the word sounds, the event-related potentials obtained by the presentation of the word sounds in the same group are selected and the averaging is performed. Then, the electroencephalogram data that has been subjected to the addition averaging for a predetermined number of times for each group is sent to the comfort determination unit 9.
  • the group-by-group addition unit 7 selects and averages the event-related potentials obtained by presenting speech sounds belonging to the same voice group (such as the major classification in FIG. 21).
  • the articulation determination unit 8 identifies the addition-averaged electroencephalogram waveform received from the speech-by-sound addition unit 6, and determines the presence or absence of speech intelligibility for each speech. The determination result of speech intelligibility is transmitted to the hearing determination result DB 10.
  • FIG. 22 shows the configuration of the clarity determination unit 8.
  • the clarity determination unit 9 includes a positive component determination unit 51 and a determination unit 52.
  • the positive component determination unit 51 receives the addition-averaged electroencephalogram waveform received from the word-sound addition unit 6, and determines the presence or absence of a positive component having a latency of about 300 ms or about 500 ms from the addition waveform.
  • the presence or absence of positive components is identified by the following method. For example, the positive component determination unit 51 compares the maximum amplitude from the latency 200 ms to 400 ms and the section average potential from the latency 200 ms to 400 ms with a predetermined threshold. If the maximum amplitude or interval average potential in the range of latency from 200 ms to 400 ms or in the range of latency from 400 ms to 600 ms is greater than the threshold value, it is identified as “positive component present”. “None”.
  • the determination unit 52 receives the presence / absence of a positive component from the positive component determination unit 51, determines the clarity based on the presence / absence of the positive component, and transmits the determination result to the hearing determination result DB 10.
  • the comfort determination unit 9 identifies the waveform of the brain waves (event-related potentials) that have been averaged and received from the group-specific addition unit 7, and determines whether or not there is comfort for each group.
  • the comfort determination unit 9 transmits the determination result of comfort to the hearing determination result DB 10.
  • FIG. 23 shows a configuration of the comfort determination unit 9.
  • the comfort determination unit 8 includes a feature component determination unit 41, a determination unit 42, and a reference database (DB) 43.
  • the feature component determination unit 41 receives the waveform of the addition-averaged electroencephalogram (event-related potential) received from the group-by-group addition unit 7, and latency and threshold data for detecting negative and positive components from the reference DB 43, respectively. receive.
  • the characteristic component determination unit 41 includes a positive component determination unit 41a and a negative component determination unit 41b.
  • the positive component determination unit 41a determines whether or not a positive component exists at a latency of about 750 ms from the added waveform.
  • the presence or absence of positive components is identified by the following method. For example, the positive component determination unit 41a compares the maximum amplitude from the latency 600 ms to 900 ms and the section average potential from the latency 600 ms to 900 ms with a predetermined threshold.
  • the “predetermined threshold value” when using the section average potential is a threshold value of the presence or absence of a positive component of a general user, and is a section average potential of “high effort” and “low effort” obtained in the above-described experiment.
  • the median value may be 2.36 ⁇ V.
  • the positive component determination unit 41a identifies “there is a positive component” when the section average potential is greater than the threshold, and identifies “there is no positive component” when it is smaller.
  • the “latency of about 750 ms” and the threshold are set based on the data received from the reference DB 43.
  • the negative component determination unit 41b determines the presence or absence of a negative component having a latency of about 200 ms from the added waveform.
  • the presence or absence of a negative component is identified by the following method. For example, the negative component determination unit 41b compares the maximum amplitude from the latency of 100 ms to 300 ms and the section average potential from the latency of 100 ms to 300 ms with a predetermined threshold. When the section average potential is larger than the threshold, it is identified as “with negative component”, and when it is smaller, it is identified as “without negative component”. Further, the negative component determination unit 41b may compare the latency of the peak of the negative potential from 100 ms to 300 ms with a predetermined threshold value.
  • the negative component determination unit 41b identifies “there is a negative component” when the peak potential of the negative potential is shorter than the predetermined threshold, and “no negative component” when the peak latency is smaller than the predetermined threshold. Identify.
  • the “predetermined threshold value” may be 218 ms, which is the median value of the latency of the “noisy” and “non-noisy” negative components obtained in the above-mentioned experiment as a threshold value for the presence or absence of a negative component of a general user. .
  • the negative component determination unit 41b indicates that there is a similarity based on a similarity (for example, a correlation coefficient) with a predetermined template created from a typical negative component signal waveform having a latency of about 200 ms. And a case where they are not similar may be identified as “no negative component”.
  • the predetermined threshold value or template may be calculated and created from a waveform of a negative component of a general user held in advance. The latency (such as “about 200 ms”) and the threshold are set based on data received from the reference DB 43.
  • the determination unit 42 receives the presence / absence of a positive component and a negative component from the feature component determination unit 41, determines comfort based on the presence / absence of a positive component and a negative component, and transmits the determination result to the hearing determination result DB 10.
  • the hearing determination result DB 10 is a database that stores the hearing determination result. Determination results are received from the clarity determination unit 8 and the comfort determination unit 9, respectively, and stored as hearing determination results.
  • FIG. 24 is a flowchart illustrating a procedure of processes performed in the hearing ability determination system 100.
  • step S10 the biological signal measurement unit 3 starts measuring the brain waves of the user 2. In subsequent steps, electroencephalogram measurement is continuously performed.
  • step S11 the presented word sound control unit 11 determines a single syllable word sound to be presented with reference to the word sound DB 12.
  • the auditory stimulus presenting unit 5 presents the determined speech sound to the user 2.
  • presenting speech sound control unit 11 transmits a sound stimulus presentation trigger to biological signal measuring unit 3, and transmits grouped data possessed by the presenting sound information and word sound to group-specific adding unit 7.
  • the labels and numbers corresponding to the respective word sounds refer to the grouped data. For example, when the grouping is set to “major classification” and the word sound “A” is presented, the presented word sound control unit 11 transmits the grouping data “0” to the group addition unit 7.
  • step S12 the presented word sound control unit 11 determines a single syllable word sound corresponding to the auditory stimulus presented in step S11 while referring to the word sound DB 12.
  • the visual stimulus presenting unit 4 presents the determined character to the user 2. For example, the visual stimulus is presented 1 second after the auditory stimulus is presented (1000 ms later).
  • the presented speech sound control unit 11 transmits a visual stimulus presentation trigger to the biological signal measurement unit 3 at the same time as presenting a character, and transmits information on the speech sound presented to the speech sound adding unit 6.
  • step S13 the biological signal measurement unit 3 receives a trigger from the presented speech sound control unit 11, and cuts out an event-related potential from ⁇ 200 ms to 1000 ms, for example, from the trigger, from the measured brain waves. Then, an average potential of ⁇ 200 ms to 0 ms is obtained, and the obtained event-related potential is baseline-corrected so that the average potential becomes 0 ⁇ V. At this time, the event-related potential starting from the trigger corresponding to the auditory stimulus is sent to the group-by-group addition unit 7, and the event-related potential starting from the trigger corresponding to the visual stimulus is sent to the word-sound addition unit 6.
  • step S14 the group-by-group addition unit 7 adds and averages the event-related potentials cut out in step S13 for each group based on the grouping data possessed by the presentation word sound and the word sound received from the presentation word sound control unit 11.
  • the consonant labels shown in FIG. 21, major classification, middle classification, small classification, annoyance, and effort correspond to grouping.
  • the presentation word sound control unit 11 transmits the word sound “A” and the grouping data “0”.
  • the group addition unit 7 refers to the grouped data “0” and stores the waveform. Thereafter, when the same word sounds (“I”, “U”, “E”, “O”) are presented in the grouping data, the group addition unit 7 adds and averages these waveforms.
  • step S15 the speech-by-speech adding unit 6 performs the averaging of the event-related potentials cut out in step S13 for each speech based on the information of the presented speech received from the presented speech control unit 11.
  • Step S16 is a branch of whether or not the presentation has been completed for one set of the speech sounds scheduled for hearing determination. If not completed, the process returns to step S11, and if completed, the process proceeds to step S17.
  • Step S17 is a branch of whether or not the presentation has been completed with respect to the number of speech sound sets necessary for the determination. If not completed, the process returns to step S11, and if completed, the process proceeds to step S18.
  • step S18 the comfort determination unit 9 receives the electroencephalogram data averaged for each group from the group addition unit 7, and determines the presence or absence of comfort for each group. And the determination result of comfort is transmitted to hearing determination result DB12. Details of step S18 will be described below with reference to FIG.
  • FIG. 25 is a flowchart showing a detailed processing procedure of step S18 of FIG.
  • step S40 the feature component determination unit 41 determines whether the determination item is “noisy” or “effort”. That is, the feature component determination unit 41 receives the data for specifying the determination item from the group-by-group addition unit 7, and proceeds to the process of step S41 when the determination item is noisy. If the determination item is effort, the feature component determination unit 41 proceeds to step S47. Proceed to processing.
  • step S41 the feature component determination unit 41 receives latency data for detecting a negative component from the reference DB 43.
  • step S42 the feature component determination unit 41 receives the electroencephalogram data averaged for each group.
  • step S43 the negative component determination unit 41b determines whether or not there is a negative component with a latency of about 200 ms. If a negative component is not detected by the negative component determination unit 41b, the process proceeds to step S44, and if a negative component is detected, the process proceeds to step S45.
  • step S44 the determination unit 42 determines that it is “comfortable” in response to the absence of a negative component having a latency of about 200 ms from the negative component determination unit 41b with respect to the speech presented in step S11, and accumulates the determination result.
  • step S45 the determination unit 42 determines that the word component presented in step S11 has a negative component with a latency of about 200 ms from the negative component determination unit 41b, determines that it is “uncomfortable”, and accumulates the determination result.
  • step S46 the determination unit 42 determines whether or not the comfort determination has been completed for all the groups scheduled for comfort determination. If the comfort determination has not been completed, the process returns to step S41. If the comfort determination has been completed, the process ends.
  • step S47 the feature component determination unit 41 receives latency data for detecting a positive component from the reference DB 43.
  • step S48 the feature component determination unit 41 receives the electroencephalogram data averaged for each group.
  • step S49 the positive component determination unit 41a determines whether or not there is a positive component having a latency of about 200 ms. If a positive component is not detected by the positive component determination unit 41a, the process proceeds to step S50, and if a negative component is detected, the process proceeds to step S51.
  • step S50 the determination unit 42 determines that the word sound presented in step S11 is “comfortable” in response to the absence of a positive component having a latency of about 750 ms from the positive component determination unit 41a, and accumulates the determination result.
  • step S51 the determination unit 42 determines that the speech component presented in step S11 has a positive component with a latency of about 750 ms from the negative component determination unit 41a, determines that it is “uncomfortable”, and accumulates the determination result.
  • step S52 the determination unit 42 determines whether or not the comfort determination has been completed for all the groups scheduled for comfort determination. If not completed, the process returns to step S47, and if completed, the process ends.
  • step S18 the articulation determination unit 8 receives the electroencephalogram data averaged for each speech from the speech-by-sound addition unit 6, and determines whether or not there is speech intelligibility for each speech. And the determination result of speech intelligibility is transmitted to hearing determination result DB12. Details of step S19 will be described below with reference to FIG.
  • step S53 the positive component determination unit 51 receives the electroencephalogram data averaged for each group.
  • Step S54 is a branch depending on whether or not a positive component having a latency of about 300 ms is detected in the positive component determination unit 51. If no positive component is detected, the process proceeds to step S53. If a positive component is detected, step S54 is executed. The process proceeds to step S54.
  • step S55 the determination unit 52 determines that the group received from the presented speech sound control unit 11 in step S11 is comfortable in response to a positive component having a latency of about 300 ms from the positive component determination unit 41. Accumulate judgment results.
  • step S56 the determination unit 52 determines that the group received from the presented speech sound control unit 11 in step S11 is unclear in response to the absence of a positive component having a latency of 300 ms from the positive component determination unit 41. Accumulate judgment results.
  • Step S57 is a branch of whether or not the intelligibility determination has been completed for all the speech sounds scheduled for intelligibility determination. If not, the process returns to step S53. The determination ends.
  • step S20 the hearing determination result DB 10 receives from the intelligibility determination unit 8 the determination result determined to be clear / indistinct for each word sound, and from the comfort determination unit 9 to determine comfort / discomfort for each group. Receives the judgment result. And those results are accumulated in a database.
  • the number of presentations is expressed by dividing it into a speech sound set and the required number of sets.
  • the “speech sound set” is a summary of the speech sounds to be determined. For example, when presenting the 20 word sounds of the 67S word table, this 20 word sound corresponds to one set of the sound sounds, and the number of presentations is 20 times. By repeating this speech sound set for the required number of sets, it is possible to realize an average of brain waves.
  • the “necessary number of sets” is the number of sound sets to achieve the number of additions necessary for both sound intelligibility determination and comfort determination. Taking the case where the above waveforms are not switched as an example, the required number of sets is 20 times. Also, the total number of presentations is the word sound of the word sound set ⁇ the required number of sets.
  • FIG. 27 shows an example of a determination result for intelligibility and a determination result of comfort for each group when speech sounds are grouped.
  • the speech sound set (20 words, 67S word table), the speech intelligibility determination for 20 words, and the comfort determination are summarized in the large classification shown in FIG. An example will be described.
  • the major classification is classification of vowels, unvoiced consonants, and voiced consonants.
  • each of the 20 word sounds in the 67S word table includes 3 word sounds in the vowel group, 9 word sounds in the voiced consonant group, and 8 word sounds in the unvoiced consonant group.
  • the required number of sets is calculated assuming that the number of additions required for determination by speech sound is 5 and the number of additions required for comfort determination is 20 times.
  • the required number of sets is determined according to the vowel group having the smallest number of word sounds in the group, and the required number of sets is seven.
  • the determination result ( ⁇ , ⁇ ) in FIG. 27 refers to the result of detecting the component of the added waveform and determining the presence or absence thereof. For example, in the speech intelligibility determination, the presence / absence of a positive component is determined, and it is determined that there is no positive component (circle) (clear) and that determined to be positive is x (unclear).
  • the presence / absence of a component is determined, and it is determined that “No” is determined to be none (comfort), and “No” is determined to be determined to be present.
  • the number of voice / character presentations is reduced and the hearing determination is realized in a short time.
  • the time required for determination in hearing determination at a hearing aid store is reduced, and the effort of the hearing aid user is reduced.
  • the determination result of annoyance represents comfort.
  • the determination result of effort described in the electroencephalogram measurement experiment may indicate comfort, or both determination results of annoyance and effort may indicate comfort.
  • the level and polarity of the characteristic component of the measured event-related potential may vary depending on the part where the electroencephalogram measurement electrode is mounted and how the reference electrode and exploration electrode are set.
  • a person skilled in the art can detect the characteristic component of the event-related potential by making an appropriate modification according to the setting method of the reference electrode and the exploration electrode at that time, and perform the hearing determination. Is possible. Such modifications are within the scope of the present invention.
  • the grouping data is held in the speech database, but this data may be provided to the group addition unit 7.
  • the speech group to be added for each group may be a group of word sounds having the same consonant, or the occurrence probability of abnormal hearing (the major classification / middle classification of the group shown in FIG. 21). ⁇ Sounds with the same minor classification may be grouped.
  • the averaging is performed on the word sounds having the same consonant, it is possible to determine which consonant has low comfort.
  • averaging for each of the abnormal occurrence likelihood groups for example, in the grouping of voiced consonants and unvoiced consonants, comfort is high for voiced consonants but low comfort for unvoiced consonants. Thus, determination for each group becomes possible.
  • the number of necessary sets is 7 sets, taking as an example a case where three voice groups (vowels: 3 word sounds, voiced consonants: 9 word sounds, unvoiced consonants: 8 word sounds) are collected. At this time, the voiced consonant group and the unvoiced consonant group are presented for seven sets even though the required number of sets is three, so the determination time becomes long. Thus, when the total number of sets is larger than the required number of sets for each group, the number of sets can be reduced. However, in this case, since the required number of speech intelligibility sets is 5, it cannot be reduced from 5 sets to realize both determinations.
  • the required number of sets for the voiced consonant group and the unvoiced consonant group is five. Therefore, the presentation may be terminated when the required number of additions is reached for each group, such as 7 sets for vowel groups and 5 sets for voiced and unvoiced consonant groups. As described above, when only the necessary number of additions are presented, the time reduction effect in the present invention is further increased.
  • the speech to be presented may be selected randomly from the speech sound DB 12, or a specific consonant or a group of speech sounds may be selected intensively.
  • a specific consonant or a group of speech sounds may be selected intensively.
  • three speech groups (vowels: 3 word sounds, voiced consonants: 9 word sounds, unvoiced consonants: 8 word sounds) are collected.
  • a specific group of vowels (vowel “a”) is repeated.
  • the number of additions of 20 can be achieved with 5 sets. Therefore, the number of sets required for all determinations is 5.
  • adjusting the word sounds in the group increases the effect of time reduction in the present invention.
  • the determination can be made with the minimum required number of sets, and the hearing determination can be completed in the shortest determination time in the present system.
  • the number of sets required for each determination item may be determined from the magnitude of the electroencephalogram signal component of the user 2 measured by the biological signal measurement unit 3 in the presentation word sound control unit 11. By determining the number of sets from the magnitude of the signal component, it is possible to achieve hearing determination in the shortest determination time for the user while achieving the desired accuracy.
  • the speech sound may be determined by receiving information on speech sounds that have not been determined / re-determined from the hearing determination system 100.
  • the positive component and the negative component may be identified by comparison with a threshold value or by comparison with a template.
  • the hearing determination apparatus 1 may be realized as hardware such as a DSP in which a computer program is incorporated in one semiconductor circuit. Such a DSP can realize all the functions of the CPU 30, the memory 31, the audio controller 32, and the graphic controller 33 with a single integrated circuit.
  • the computer program 35 described above can be recorded on a recording medium such as a CD-ROM and distributed as a product to the market, or can be transmitted through an electric communication line such as the Internet.
  • a device for example, a PC having hardware shown in FIG. 19 can function as the hearing determination apparatus 1 according to the present embodiment by reading the computer program 35.
  • the speech sound DB 12 may not be held in the memory 31 and may be stored in, for example, a hard disk (not shown) connected to the bus 34.
  • the hearing determination apparatus 1 in this embodiment can be carried, for example, a user at home or work places the hearing aid and the hearing determination apparatus 1 in the sound environment where the hearing aid is used, and the hearing determination is performed. it can. Thereby, the hearing in daily life can be determined more accurately.
  • the visual stimulus presenting unit 4 is a display, but the visual stimulus presenting unit 4 may be a television.
  • the hearing determination apparatus 1 need only include a known circuit for generating a video signal for displaying a video on the television and a terminal for outputting the video signal.
  • the auditory stimulus presentation unit 5 may be a speaker normally provided in a television.
  • the configuration can be simplified only by providing a circuit for generating a video signal and an audio signal for the television and an output terminal.
  • the auditory stimulus presenting unit 5 is a speaker, but the auditory stimulus presenting unit 5 may be headphones. Using headphones makes it easy to carry and enables hearing determination in an environment used by the user.
  • the result of the comfort determination and the result of the clarity determination are stored in the hearing result storage DB 10, but may not be stored.
  • the result accumulation DB 80 is provided outside the comfort determination device 1, each determination result of the positive component determination unit 60 and the negative component determination unit 65 may be simply output.
  • Each determination result can be used as information related to comfort of listening to speech.
  • the waveform of the event-related potential is added or averaged for the purpose of confirming that a component reflecting the subjectivity related to the intelligibility appears in the event-related potential.
  • this is an example.
  • feature extraction methods for example, wavelet transform of waveforms
  • identification methods for example, support vector machine learning
  • positive and negative components can be identified even with non-addition or several minor additions. It is.
  • the speech sound adding unit 6 may be omitted.
  • the description has been made on the assumption of Japanese hearing ability determination.
  • it may be in English or Chinese as long as it is a single syllable.
  • a single syllable word may be presented and a determination for each word may be made.
  • FIG. 29 shows an example of the result of determining effort, annoyance, and intelligibility for each single syllable word.
  • Embodiment 2 demonstrated the example which determines speech intelligibility and comfort simultaneously.
  • FIG. 30 is a block diagram of the hearing determination system 101 according to this embodiment.
  • the difference between the hearing determination system 101 and the hearing determination system 100 according to the first embodiment is the configuration of the hearing determination apparatus 102.
  • the visual stimulus presentation unit 4, the speech-sound adding unit 6 and the articulation determination unit 8 of the hearing determination device 1 according to the first embodiment are omitted.
  • the presented word sound control unit 11 does not output an instruction to output the character of the word sound as a visual stimulus, and a trigger starting from the visual stimulus is sent to the biological signal measuring unit 3. There is no need to send.
  • Others are the same as the hearing determination system 100 according to the first embodiment.
  • FIG. 31 is a flowchart showing an overall processing procedure performed in the hearing determination system 101 of FIG. This flowchart is different from the flowchart (FIG. 24) of the hearing determination system 100 according to the first embodiment in that steps S12, S15, and S19 in FIG. 24 are omitted.
  • Embodiment 1 For the common configuration and processing operation, the description of Embodiment 1 is cited.
  • the hearing determination system 101 and the hearing determination device 102 since determination regarding intelligibility is omitted, there is no need to distinguish between words and sounds, and it is only necessary to perform determination regarding comfort. The result can be obtained.
  • the component determination unit 41a and the negative component determination unit 41b the presence / absence of a positive component is determined using a threshold value calculated from a positive / negative component of a general user or a template of a positive / negative component of a general user. The presence or absence of negative components was determined.
  • calibration is performed to measure the characteristics of the positive component with a latency of about 750 ms and the negative component with a latency of about 200 ms for each user before judging the comfort of listening to the sound. Sex may be determined. The user may select whether or not to perform calibration.
  • the calibration method is as follows, for example.
  • the presented sound control unit 11 refers to the sound DB 12 to determine the type of sound. Then, the presenting sound control unit 11 (1) the sound pressure level that the user can listen to without making an effort but feel “noisy” or (2) the sound that requires effort but is not “noisy”. Set the pressure level. Then, the voice is presented to the user 2 via the auditory stimulus presenting unit 5.
  • the word sound adder 6 and the group adder 7 add and average the event-related potentials measured by the biological signal measurement unit 50 for each sound pressure level.
  • the word-by-sound adder 6 and the group-by-group adder 7 store the feature values for each sound pressure level. More specifically, the speech sound adder 6 and the group adder 7 are used for identification by the positive component determination unit 51, the positive component determination unit 41a, and the negative component determination unit 41b described above from the addition average waveform. Each amount is calculated. For example, when the feature amount is a section average potential, the average potential of a predetermined section is calculated. The individual threshold values are stored in the reference DB 43 or the like. It can be said that the average value obtained in this way represents a characteristic unique to the user.
  • FIG. 32 shows the configuration of the hearing aid adjustment system 103 of the third embodiment.
  • the hearing aid adjustment system 103 includes a hearing determination system 104, an adjustment amount DB 301, and an adjustment unit 303.
  • the components included in the hearing aid adjustment system 103 are connected to each other by wire or wireless, and transmit and receive information.
  • the adjustment unit 303 transmits and receives information to and from a hearing aid (not shown) by wire or wireless.
  • the hearing determination system 104 included in the hearing aid adjustment system 103 has the same configuration as that of the first embodiment. Unlike the presented word sound control unit 11, the presented word sound control unit 302 included in the auditory determination system 104 adjusts the determined word sound with reference to the adjustment amount DB 301.
  • the adjustment amount DB 301 stores a plurality of values related to the adjustment amount of the hearing aid.
  • FIG. 33 shows an example of data stored in the adjustment amount DB 301.
  • the adjustment amount shown in FIG. 33 shows the value of the sound pressure that increases every 5 dB.
  • the adjustment amount DB 301 may have an amplification amount for each value smaller than 5 dB.
  • the adjustment amount DB 301 preferably has a value of an amplification amount used for adjustment of the hearing aid.
  • the adjustment amount DB 301 may include values relating to hearing aid processing such as directivity intensity, consonant enhancement, noise reduction, and more specifically, information for adjusting the hearing aid processing.
  • FIG. 34 shows an example of information stored in the adjustment amount DB 301 for adjusting the hearing aid processing.
  • (1) directivity intensity, (2) consonant enhancement, and (3) noise reduction have the following functions.
  • the adjustment amount DB 301 may hold numerical values corresponding to “ON” and “OFF”. For example, the adjustment amount DB 301 may hold a numerical value “1” corresponding to “ON” and a numerical value “0” corresponding to “OFF”.
  • the presented sound control unit 302 refers to the sound DB 12 and determines the sound to be presented to the user 2. Unlike the presented word sound control unit 11, the presented word sound control unit 302 adjusts the determined word sound. Specifically, the presented speech sound control unit 302 refers to the adjustment amount DB 301 and adjusts the determined speech sound. In addition, the presented word sound control unit 302 transmits information on the adjusted word sound to the auditory stimulus presentation unit 5. The auditory stimulation presenting unit 5 presents the user 2 with the word sound adjusted by the presented word control unit 302.
  • the adjustment unit 303 receives information of the presented speech sound from the presented speech sound control unit 302.
  • the speech information includes the determined speech and the amount of adjustment.
  • the adjustment unit 303 determines whether the adjustment amount is appropriate based on the result stored in the hearing measurement result DB 10. If it is determined that the adjustment amount is not appropriate, the adjustment unit 303 refers to the adjustment amount DB 301 and instructs the presentation word sound control unit 302 to adjust with a different adjustment amount.
  • the presented word sound control unit 302 performs adjustment with an amplification amount smaller than the previous amplification amount, for example.
  • FIG. 35 is a flowchart showing an overall processing procedure performed in the hearing aid adjustment system 103 of FIG.
  • the flowchart shown in FIG. 35 is different from the flowchart (FIG. 24) of the hearing determination system 100 according to the first embodiment, and includes steps S31 and S32.
  • steps S31 and S32 For the common configuration and processing operation, the description of Embodiment 1 is cited.
  • step S31 the adjustment unit 303 refers to the result stored in step S20 to determine comfort and clarity. If the adjustment unit 303 determines that the comfort and clarity are within the predetermined ranges, the adjustment unit 303 determines that the adjustment of the presentation word sound control unit 302 is appropriate, and the process ends. At this time, the adjustment unit 303 may adjust the hearing aid based on the adjustment amount determined to be appropriate, or may transmit information on the adjustment amount determined to be appropriate to the hearing aid.
  • step S32 the adjustment unit 303 outputs an instruction for changing the adjustment amount to the presented speech sound control unit 302.
  • step S ⁇ b> 32 the presented word sound control unit 302 receives an instruction from the adjustment unit 303, refers to the adjustment amount DB 301, reads information on different adjustment amounts, and changes the adjustment amount.
  • step S32 described above when the determination result indicating that the annoyance is high is obtained, the presentation word sound control unit 302, for example, receives information indicating an amplification amount smaller than the previous amplification amount from the adjustment amount DB 301. Read or set noise reduction to “ON”.
  • the presentation word sound control unit 302 reads, for example, information on the amplification amount larger than the previous amplification amount from the adjustment amount DB 301 or directivity. Turn on the strength processing.
  • the presentation word sound control unit 302 reads, for example, information on the amplification amount larger than the previous amplification amount from the adjustment amount DB 301 or consonant enhancement. Set the process to “ON”.
  • step SS11 the process returns to step SS11, and measurement is performed again.
  • the hearing determination can be performed in a short time. Rather, it can be used in hearing determination for all people.

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

 語音明瞭度と快適性とを同時に、かつ、短時間で判定するための判定システムを提供する。 判定システムは、複数の語音のデータおよび複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、ユーザに呈示する語音を決定する呈示語音制御部と、決定された語音を音声でユーザに呈示する聴覚刺激呈示部と、決定された語音を文字でユーザに呈示する視覚刺激呈示部と、語音データベースを参照して、ユーザの脳波信号の事象関連電位を語音のグループ毎に加算するグループ別加算部と、グループ毎に加算された事象関連電位から、ユーザが語音を快適に聞いているか否かの快適性をグループ毎に判定し、少なくともユーザが語音を努力して聞いているか否か、又はユーザが語音をうるさいと感じているかの判定する第1判定部と、事象関連電位から、ユーザが語音を明瞭に聞いているか否かの明瞭性を語音毎に判定する第2判定部とを備えている。

Description

聴力判定システム、その方法およびそのプログラム
 本発明は、語音を聞き取れたか否かを判定し、かつ、語音が快適に聞こえたか否かを判定するための技術に関する。より具体的には、本発明は、補聴器等において音の周波数ごとの増幅量等を調整して個々のユーザにとって適切な大きさの音を得るフィッティングのための、語音明瞭度と快適性とを同時に判定する聴力判定システムに関する。
 近年、社会の高齢化に伴い、老人性の難聴者が増加している。また若年者においても、大音量の音楽を長時間聴く機会が増えたなどの影響により、音響性の難聴者が増加している。また、補聴器の小型化・高性能化に伴い、補聴器の装用に対するユーザの抵抗が少なくなってきている。これらを背景として、補聴器を利用するユーザが増加している。
 補聴器は、ユーザが聞き分けにくい周波数の音を増幅させる装置である。補聴器を装用する目的は、ユーザの低下した聴力を補うことにより、会話の聞き分け能力を向上させることにある。ユーザが補聴器に求める音の増幅量は、ユーザごとの聴力低下の度合いに応じて異なる。そのため、補聴器の利用を開始する前には、まずユーザごとの聴力判定を行う必要がある。
 補聴器を利用するための聴力判定の中でも語音明瞭度判定は重要である。「語音明瞭度判定」とは、語音が聞き取れたか否かの判定である。具体的には、単音節の語音が聞き取れたか否かに関する聞き分け能力の判定である。「単音節の語音」とは、一つの母音または子音と母音との組合せを示す(たとえば「あ」/「だ」/「し」)。
 非特許文献1によれば、従来の語音明瞭度判定は以下のような手順で行われていた。まず、日本聴覚医学会が制定した57S式語表(50単音節)、または67S式語表(20単音節)を用いて単音節の音声をひとつずつ口頭やCD再生によってユーザに聞かせる。次に、呈示された語音をどの語音として聞き取ったかをユーザに発話または記述などの方法で回答させる。そして、判定者が語表と回答とを照合し全ての単音節のうち正しく聞き取れた単音節の割合である正答率を計算する。その正解率が語音明瞭度である。また、語音明瞭度の判定方法に関して、特許文献1、2のような技術が知られている。
特開平9-038069号公報 特開平6-114038号公報
「補聴器フィッティングの考え方」、小寺一興、診断と治療社、1999年、166頁
 上記の判定方法では、ユーザは発話または記述により回答する必要があり、また判定者は手作業でユーザの回答の正誤を判定する必要がある。そのため、上述の判定方法はユーザにとっても判定者にとっても負担が大きく、時間がかかっていた。
 一方、補聴器を長時間使用することを想定すると、語音明瞭度だけでなく、装用時の快適性も判定することが必要である。「快適性判定」とは、ユーザが快適に聞いているか否かの判定である。
 従来行われてきた快適性に関する判定はユーザが不快状態にあるか否かという観点で行われていた。たとえば、うるさくて我慢できない場合や、音が小さくて聞こえない場合にユーザが判定者に口頭でその旨を申告していた。または、最大出力音圧レベルを決定する不快レベル検査が行われていた。これでは、ユーザが音をどの程度快適に聞いているかを客観的に判定することは困難である。
 本発明の目的は、語音の聞こえ方の快適性を短時間で判定するための聴力判定システムを提供することにある。さらに、本発明の目的は、語音明瞭度と快適性とを同時に、かつ、短時間で判定するための聴力判定システムを提供することにある。
 本発明による聴力判定システムは、ユーザの脳波信号を計測する生体信号計測部と、複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定する呈示語音制御部と、決定された前記語音を音声で前記ユーザに呈示する聴覚刺激呈示部と、決定された前記語音を文字で前記ユーザに呈示する視覚刺激呈示部と、前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力する快適性判定部と、前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力する明瞭度判定部とを備えている。
 前記快適性判定部は、前記グループ毎に加算された前記事象関連電位が、前記聴覚刺激呈示部から前記語音の音声が呈示された時刻を起点として600msから900msの範囲内に所定の陽性成分を有するか否か、および、100msから300msの範囲内に所定の陰性成分を有するか否かに基づいて、前記快適性を前記グループ毎に判定してもよい。
 前記快適性判定部は、前記グループ毎に加算された前記事象関連電位が、前記聴覚刺激呈示部から前記語音の音声が呈示された時刻を起点として600msから900msの範囲内に所定の陽性成分を有するか否かを判定する陽性成分判定部と、100msから300msの範囲内に所定の陰性成分を有するか否かに基づいて、前記ユーザが前記語音を快適に聞いているか否かを判定する陰性成分判定部と前記陽性成分判定部の判定結果、および、前記陰性成分判定部の判定結果に応じて前記快適性を前記グループ毎に判定する判定部とを備えていてもよい。
 前記明瞭度判定部は、前記語音毎に加算された前記事象関連電位が、前記視覚刺激呈示部から前記語音の文字が呈示された時刻を起点として200msから400msの範囲内または約400msから600msの範囲内に所定の陽性成分を有するか否かに基づいて、前記明瞭性を語音毎に判定してもよい。
 前記語音データベースにおいて、前記複数の語音の各々は、予め定められた規則に基づいて前記少なくとも1つのグループに分類されていてもよい。
 前記少なくとも1つのグループは、母音のグループ、有声子音のグループ、無声子音のグループであってもよい。
 前記語音データベースにおいて、前記複数の語音の各々は、異聴発生確率の大きさに基づいて前記少なくとも1つのグループに分類されていてもよい。
 前記呈示語音制御部は、前記ユーザに呈示する語音の呈示回数を決定し、前記語音データベースにおいて、前記複数の語音の各々は、語音数に基づいて前記複数のグループに分類されており、前記呈示語音制御部は、前記複数のグループの語音数に応じて、前記聴覚刺激呈示部が呈示する音声の呈示回数、および、前記視覚刺激呈示部が呈示する文字の呈示回数を決定してもよい。
 前記呈示語音制御部は、前記ユーザに呈示する語音の呈示回数を決定し、前記聴覚刺激呈示部および前記視覚刺激呈示部は、前記呈示語音制御部によって決定された前記音声の呈示回数、および、前記文字の呈示回数に到達するまで、前記語音の音声および文字の呈示を継続してもよい。
 前記呈示語音制御部は、前記ユーザに呈示する語音の呈示回数を決定し、前記呈示語音制御部は、前記ユーザに呈示する特定の語音を複数回呈示すると決定してもよい。
 前記呈示語音制御部は、前記ユーザの脳波信号の大きさに応じて呈示回数を決定してもよい。
 前記聴力判定システムは、前記快適性判定部、および、前記明瞭度判定部からそれぞれ出力された判定結果を格納する聴力判定結果データベースをさらに備えていてもよい。
 前記聴力判定システムは、前記語音データベースを参照して、前記事象関連電位を語音毎に加算する語音別加算部をさらに備え、前記明瞭度判定部は、前記語音毎に加算された前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定してもよい。
 本発明による、他の聴力判定システムは、ユーザの脳波信号を計測する生体信号計測部と、複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定する呈示語音制御部と、決定された前記語音を音声で前記ユーザに呈示する聴覚刺激呈示部と、前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力する快適性判定部とを備えている。
 本発明による、さらに他の聴力判定システムは、複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定し、かつ、聴覚刺激呈示部が前記決定した前記語音を音声で前記ユーザに呈示し、視覚刺激提示部が前記決定した前記語音を文字で前記ユーザに呈示するように制御する呈示語音制御部と、前記語音データベースを参照して、生体信号計測部が計測した脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力する快適性判定部と、前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力する明瞭度判定部とを備えている。
 本発明による聴力判定方法は、ユーザの脳波信号を計測するステップと、複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定するステップと、決定された前記語音を音声で前記ユーザに呈示するステップと、決定された前記語音を文字で前記ユーザに呈示するステップと、前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するステップと、前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力するステップと、前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力するステップとを包含する。
 本発明によるコンピュータプログラムは、聴力判定システムに設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記聴力判定システムに実装されるコンピュータに対し、計測されたユーザの脳波信号を受け取るステップと、複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定するステップと、決定された前記語音を音声で前記ユーザに呈示するステップと、決定された前記語音を文字で前記ユーザに呈示するステップと、前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するステップと、前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力するステップと、前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力するステップとを実行させる。
 本発明によれば、単音節の語音の音声呈示に対する事象関連電位と、文字呈示に対する事象関連電位を計測したときの脳波波形に対して、語音明瞭度と快適性判定の判定ごとに加算する波形を選択することで、音声と文字の呈示回数を減らすことができる。これにより、脳波による聴力判定が短時間で可能となるため、ユーザにとって負担の少ない聴力判定を実現できる。
 また、本発明によれば、単音節の語音の音声呈示に対する事象関連電位を用いて快適性の判定を行う。語音明瞭度の判定を行わないことにより、より短時間で聴力判定(特に快適性判定)が可能になる。
本発明による聴力判定システムにおいて、快適性判定および明瞭度判定を行う際に利用される脳波と音声呈示および文字呈示のタイミングを示す図である。 (a)は音声と歪みの6条件を示す図であり、(b)は周波数ごとのゲイン調整量を示す図である。 (a)は国際10-20法の電極位置を示す図であり、(b)は本実験で電極を装着した電極配置を示す図である。 脳波計測実験の実験手順の概要を示す図である。 1試行分の手順を示すフローチャートである。 努力性に関する参加者ごとの主観判定の結果を示す図である。 うるささに関する参加者ごとの主観判定の結果を示す図である。 (a)は頭頂部(Pz)における音声呈示を起点とした事象関連電位を、努力性に関する主観判定に基づき総加算平均した波形図であり、(b)はサンプリングごとのp値を計算した結果を示す図である。 頭頂部(Pz)において音声刺激を起点とした事象関連電位を、うるささに関する主観判定に基づき総加算平均した波形図である。 実験手順の概要を示す図である。 条件(1)~(3)のそれぞれにおける周波数ごとのゲイン調整量を示す図である。 1試行分の手順を示すフローチャートである。 頭頂部の電極位置(Pz)における事象関連電位を絶対不一致/絶対一致の主観判定ごとに総加算平均した結果を示す図である。 3つの判定項目に対し、加算回数を変化させたときの識別率の変化を示す図である。 周波数に対する音素ごとの聴力レベルをプロットした図である。 67S式語表の20語音を上記に従ってグループ化した例を示す図である。 本願発明者らがまとめた判定方法の関係を示す図である。 実施形態1による聴力判定システム100の構成および利用環境を示す図である。 実施形態1による聴力判定装置1のハードウェア構成を示す図である。 実施形態1による聴力判定システム100のブロック構成図である。 語音DB12に格納されるデータベースの一例を示す図である。 明瞭度判定部8の構成を示す図である。 快適性判定部9の構成を示す図である。 聴力判定システム100において行われる処理の手順を示すフローチャートである。 図24のステップS18の詳細な処理の手順を示すフローチャートである。 図24のステップS19の詳細な処理の手順を示すフローチャートである。 明瞭度についての判定結果、および、語音をグループ化したときのグループごとの快適性の判定結果の一例を示す図である。 特定のグループの語音(母音の「ア」)を繰り返して語音をグループ化したときのグループごとの快適性の判定結果の一例を示す図である。 単音節の単語ごとに、努力性、うるささおよび明瞭度を判定した結果の一例を示す図である。 実施形態2による聴力判定システム101のブロック構成図である。 実施形態2による聴力判定システム101において行われる全体的な処理手順を示すフローチャートである。 実施形態3による補聴器調整システム103の構成を示す図である。 調整量DB301に記憶されているデータの例を示す図である。 調整量DB301に記憶されている、補聴処理を調整するための情報の例を示す図である。 補聴器調整システム103において行われる全体的な処理手順を示すフローチャートである。
 以下、本発明による聴力判定システムの実施形態を、図面を参照しながら説明する。
 本発明による聴力判定システムは、語音聴取時のユーザ状態を、語音が聞き分けられたかどうかと、ユーザがどの程度快適に語音を聴取したかに分け、脳波によってそのユーザ状態を判定するために用いられる。たとえば、図1に示すように、聴力判定システムは快適性判定と語音明瞭度判定とを組み合わせたものである。ただし語音明瞭度判定を行わず、快適性判定のみを行ってもよい。
 快適性判定は、単音節の語音を音声で呈示し、ユーザに音声を聞き分けさせる設定で、音声呈示を起点としたユーザの脳波信号の事象関連電位を指標にして行う。語音明瞭度判定は、単音節の語音を音声で呈示した後に文字を呈示し、ユーザに音声呈示と文字呈示が一致したかを判断させる設定で、文字呈示を起点としたユーザの脳波信号の事象関連電位を指標にして行う。ここで「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。
 本明細書では、快適性と語音明瞭度が脳波の事象関連電位によって判定可能であることを説明する。まず、快適性判定と語音明瞭度判定がそれぞれどのような脳波成分によって実現できるかを検証するために、本願発明者らが実施した脳波計測実験の詳細を説明し、その後、実施形態を説明する。
1.本願発明者らが実施した実験
 本願発明者らは、語音明瞭度判定以外にも快適性判定も必要と考えている。後述の実験の結果、本願発明者らは、快適性判定は、(1)どれだけ努力して語音を聞き分けたかを示す“努力性”、および、(2)語音をどれだけうるさいと感じたかを示す“うるささ”、の2要素に分離可能であることに想到した。これは、後述する語音明瞭度曲線の測定時のユーザ状態を詳細に分析した結果、初めて得られたものである。以下で、具体的に説明する。
 語音明瞭度判定では、語音ごとに音声を聞き分けられたかどうかを○/×で判定し、聞き分けられた語音の数を判定対照の語音数(67S式語表の場合は20)で割って求める。先に述べた「語音明瞭度曲線」とは、複数の聴力レベルに対し、この語音明瞭度を測定し、その結果を表した曲線である。語音明瞭度判定で得られる判定結果は聞き分けの正答率であるため、聞き分けられたか否かは反映されているが、語音聴取時にユーザがどんな状態であったかは反映されない。しかしながら、聞き分けられた状況においては、快適に聞き分けができた場合と、聞き分けはできたが不快であった場合が存在する。
 語音明瞭度判定は、補聴器販売店において実施される短時間の判定である。そのため、判定中のユーザは、最大限に努力して語音音声を聞き分けようとする。また、ユーザがうるさいと感じたかどうかは判定対象ではないため、我慢できないうるささでなければ少しうるさいと感じてもユーザは我慢して判定課題を遂行する。日常的に補聴器を装用する場合には、常に最大限の努力を維持して会話を聞き取ることは困難である。また、補聴器の装用が長時間にわたるため長時間にわたってうるささを我慢する必要があり、ユーザにとって負担になる。
 これらの状況に鑑み、本願発明者らは、語音聴取時のユーザ状態として、努力あるいはうるささに対する我慢が不要な場合と、努力あるいはうるささに対する我慢が必要な場合は切り分けて判定すべきであると考えた。そして、それらが語音聴取時の快適性の要素であると特定した。努力性とうるささは、全く別の脳内処理であるため、脳波の測定によりそれぞれを切り分けて判定できる可能性がある。
 そこで本願発明者らは、語音明瞭度判定と快適性判定を実現する脳波の特徴成分を特定するために以下の2種類の実験を実施した。
 まず、単音節の語音を音声で呈示し、音声に対応する語音をユーザに思い浮かべさせる設定で、音声呈示を起点に事象関連電位を計測し、後から語音に対する快適性として「努力性」と「うるささ」に関する主観報告させる脳波計測実験(脳波計測実験1)を実施した。
 さらに、単音節の語音を音声と文字で順に呈示する設定で、文字呈示を起点に事象関連電位を計測する脳波計測実験(脳波計測実験2)を実施した。
 脳波計測実験1では、努力性/うるささに関する主観報告に基づき、それぞれ事象関連電位を加算平均した。脳波計測実験2では、実験の前後に取得したうるささに関する主観報告に基づき事象関連電位を加算平均した。脳波計測実験2では、実験中に取得した音声と文字の一致/不一致に基づき事象関連電位を加算平均した。
 以下に上記の2種類の事象関連電位実験の結果をまとめる。
 脳波計測実験1の結果、音声刺激を起点とした事象関連電位において、音声聞き分けに対する自信度が高い場合と比べて自信度が低い場合には、頭頂部において潜時約750msの陽性成分が惹起されることを発見した。
 また、上記陽性成分とは独立に刺激音声の音圧レベルの増加に伴い潜時約200msの陰性成分の振幅が増大することを発見した。
 脳波計測実験2の結果、文字刺激を起点とした事象関連電位において、音声の聞き分けが高い場合と比べて低い場合には、頭頂部において潜時約500msの陽性成分が惹起されること、音声の聞き分けが低い場合と比べて聞き分けが高い場合には、頭頂部において潜時約300msの陽性成分が惹起されること、を発見した。ここでの「潜時」とは、音声刺激が呈示された時刻を起点として陽性成分または陰性成分が出現するまでの時間を示す。
 これら確認および発見から、(1)努力性の判定は、音声の聞き分け自信度との対応から音声が呈示された時刻を起点とした事象関連電位の潜時約750msの陽性成分の有無で判定可能なこと、(2)うるささの判定は、潜時約200msの陰性成分の有無から判定可能なこと、(3)語音明瞭度は、文字が呈示された時刻を起点とした事象関連電位の潜時約300msの陽性成分と、潜時約500msの陽性成分の有無で判定可能こと、を見出した。本手法により、語音明瞭度判定と同時に、その語音聴取時に努力していたか/うるさいと感じていたかの判定を、客観的・定量的に実現できる。
 以下で、聴力判定を実現するために本願発明者らが実施した脳波計測実験の詳細を説明する。
1.1. 脳波計測実験1(快適性に関する実験)
 脳波計測実験1では、音声呈示後に取得した努力性、および、うるささに関する主観報告と、音声を起点とした事象関連電位との関係を調べた。以下、図2から図9を参照しながら、脳波計測実験の実験設定および実験結果を説明する。
 実験参加者は、正常な聴力を持つ大学・大学院生15名であった。
 刺激として呈示した語音音声は、聞き取り間違いが多いとされる無声子音の中から日本聴覚医学会が制定した67S式語表の8音(シ、ス、キ、ク、タ、テ、ト、ハ)とした。正常な聴力を有する参加者に対して快適性の要素である「努力性」と「うるささ」とを操作するために、周波数ゲインを調整した語音音声を用いた。「周波数ゲイン」とは、複数の周波数帯域ごとのゲイン(回路の利得、増幅率)を意味する。
 周波数ゲインの調整には、音圧3種類(大:Large、中:Middle、小:Small)×歪み2種類(なし:Flat、あり:Distorted)の計6条件を設定した。具体的には以下の(1)~(6)のとおりである。条件の表記に関し、本明細書では、たとえば音圧大・歪みなしはLargeとFlatの頭文字を取り、LF条件などと記述する。
 (1)LF(Large Flat)条件:音圧は大きく聞き分け易い音声として全ての周波数帯域においてゲインを20dB向上させた。(2)LD(Large Distorted)条件:音圧は大きいが聞き分けが難しい音声としてMD条件をベースに全体的に20dB向上させた。(3)MF(Middle Flat)条件:音圧が大きく聞き分けやすい音声として周波数ゲインの加工をしなかった。(4)MD(Middle Distorted)条件:聞き分けが難しい音声としてLF条件の音声を250Hz-16kHzの周波数のゲインを段々と-30dBまで調整(低減)した。(5)SF(Small Flat)条件:音圧は小さいが聞き分け易い音声として全ての周波数帯域においてゲインを20dB下げた。(6)SD(Small Distorted)条件:音圧が小さく聞き分けが難しい音声としてMD条件をベースに全体的に20dB下げた。
 図2(a)は、音声と歪みの6条件を示す。また、図2(b)に、周波数ごとのゲイン調整量を示す。高周波数の周波数ゲインを低減させた理由は、高齢難聴の典型的なパターンである高音漸傾型を模擬するためである。音声刺激は、周波数特性がフラットなスピーカから呈示した。
 脳波は頭皮上のFz、Cz、Pz、C3、C4(国際10-20法)、左右こめかみ、右目上下から右マストイドを基準に記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図3(a)は、国際10-20法(10-20 System)の電極位置を示し、図3(b)は本実験で電極を装着した電極配置を示す。サンプリング周波数は200Hz、時定数は1秒とした。オフラインで1-6Hzのディジタルバンドパスフィルタをかけた。音声呈示に対する事象関連電位として、音声が呈示された時刻を起点に-200msから1000msの波形を切り出した。ここで、「-200ミリ秒」とは、音声を呈示する時刻より200ミリ秒前の時点をいう。
 図4は、脳波計測実験の実験手順の概要を示す。まず、手順Aにおいて6条件に周波数ゲインを調整した単音節の音声を呈示した。呈示した音声の詳細は後述する。次に手順Bにおいて、参加者に音声を聞かせ、聞き取った音声に対応する文字を書き取らせた。呈示音声の条件を変えず、語音の種類のみ変化させた。手順AとBを5試行繰り返した。そして手順Cにおいて、参加者に手順Aで呈示された音声に対する、努力性/うるささ等に関する主観判定を行わせた。主観判定はタッチパネルを利用し、ビジュアルアナログスケール(100段階判定)で行った。上述の手順Aから手順Cを1ブロックとして12ブロック繰り返した(計60試行)。ブロックごとに呈示音声の音圧と歪みの条件は、ランダムな順序で変化させた。
 図5は、1試行分の手順を示すフローチャートである。
 ステップS11では、単音節の音声が実験参加者に呈示される。
 ステップS12では、参加者は単音節の音声を聞いて対応する文字を思い浮かべる。
 ステップS13では、参加者は聞き取った音声に対する文字を書き取る。
 ステップS14では、音声が呈示された回数がカウントされる。呈示回数が4回まではS11に戻る。呈示回数が5回のときS15に進み、呈示回数をリセットする。
 ステップS15では参加者はステップS11で聞き取った音声に対して主観を回答する。
 以下、主観判定結果の分布と閾値の設定を説明する。
 まず、主観判定の結果を示す。主観判定結果に基づき、後述の方法で決定した参加者ごとに閾値に基づいて、努力性/うるささの有無のラベル付けを行った。以下においては、その主観判定のラベルを参加者の状態とする。
 図6は、努力性に関する参加者ごとの主観判定の結果である。全試行に対する割合が示されている。図6中の実線は主観判定結果の分布であり、破線は主観判定(努力性高、努力性低)を分割した閾値を示す。閾値は、主観判定の個人差が大きいため、個人ごとの判定結果(ビジュアルアナログスケールの1~100)の順位に基づいて決定した。具体的には、個人内での判定結果の順位が中央になる値を閾値とした。ただし、判定結果が同じものは同じ主観判定(努力性高、努力性低)として扱った。
 図7は、うるささに関する参加者ごとの主観判定の結果である。全試行に対する割合が表示されている。図7中の実線は主観判定結果の分布を示し、破線は主観判定(うるさい、うるさくない)を分割した閾値を示す。努力性と同様、主観判定の個人差が大きいため、本願発明らは、閾値を個人ごとに判定結果(ビジュアルアナログスケールの1~100)の順位に基づいて決定した。具体的には、個人内での判定結果の順位が、判定結果が大きい方から3分の1をうるさい、それ以外をうるさくないとし、閾値を設定した。ただし、判定結果が同じものは同じ主観判定(うるさい/うるさくない)として扱った。
 次に、努力性に関する実験結果を説明する。
 以下、事象関連電位の結果を説明する。
 まず、努力性の有無に基づいて加算平均した結果を示す。図8(a)は、頭頂部(Pz)における音声呈示を起点とした事象関連電位を、努力性に関する主観判定に基づき総加算平均した波形である。加算平均は、上記計測実験の全6条件におけるブロックごとの努力性に関する主観判定に基づいて行った。図8(a)の横軸は時間で単位はms、縦軸は電位で単位はμVである。図8(a)に示されたスケールから明らかなとおり、グラフの下方向が正(陽性)に、上方向が負(陰性)に対応している。図8(a)に示される破線は、努力性が低いと判定した場合の加算平均波形であり、実線は、努力性が高いと判定した場合の加算平均波形である。
 図8(a)より、語音聴取時の努力性が低い場合(破線)に比べて努力性が高い場合(実線)では、潜時600-900msに陽性成分が出現していることが分かる。主観判定ごとの600-900msの区間平均電位を見てみると、努力性が低い場合は1.99μV、努力性が高い場合には2.73μVであった。区間平均電位をt検定した結果、10%水準で有意差があった。図8(b)はサンプリングごとのp値を計算した結果である。図8(b)より、音声刺激を起点に約600-900msの時間帯において、他の時間帯と比べてp値が小さいことが分かる。従って、語音聴取の努力性は、音声呈示を起点として潜時約600-900msの陽性電位に反映される可能性があるといえる。0msから1000msにおける全てのサンプリングごとにt検定を実施した結果、主観判定の違いによる有意差が15ms以上持続した時間帯は420-445ms、655-670ms、730-745ms、775-830msであった(p < .05)。
 次に、うるささに関する実験結果を説明する。
 まず、うるささの有無に基づいて加算平均した結果を示す。
 図9は、頭頂部(Pz)において音声刺激を起点とした事象関連電位を、うるささに関する主観判定に基づき総加算平均した波形である。加算平均は、上記計測実験の全6条件における、ブロックごとのうるささに関する主観判定に基づいて行った。図9の横軸は時間で単位はms、縦軸は電位で単位はμVである。図9中に示されたスケールから明らかなとおり、グラフの下方向が正(陽性)に、上方向が負(陰性)に対応している。図9中に示される実線は、ユーザが主観判定で「うるさい」と感じた場合の総加算平均波形であり、破線は、ユーザが主観判定で「うるさくない」と感じた場合の加算平均波形である。
 図9より、うるさくないと判定した破線に比べて、うるさいと判定した実線では、潜時約200msに惹起される陰性成分(N1成分)の潜時が短いことが分かる。参加者ごとのN1成分の潜時はうるさい場合は195ms、うるさくない場合には240msであった。潜時をt検定した結果、有意差が認められた(p < .05)。また、参加者ごとの潜時200ms-300msの区間平均電位は、うるさい場合は0.14μV、うるさくない場合には-1.38μVであった。潜時200ms-300msの区間平均電位をt検定した結果、うるさい場合の区間平均電位は有意に大きかった(p < .05)。よって、音声呈示を起点としたN1成分の潜時と、音声呈示を起点として約200-300msの陰性成分の平均電位はうるささを反映し、語音聴取時のうるささの指標として利用できる可能性がある。0ms-1000msにおける全てのサンプリングごとにt検定を実施した結果、主観判定の違いによる有意差が15 ms以上持続した時間帯は50-70ms、155-175ms、225-290ms、920-935msであった。
1.2. 脳波計測実験2(語音明瞭度に関する実験)
 脳波計測実験2では、本願発明者らは、語音明瞭度と、文字呈示後の事象関連電位との関係を調べた。以下、図10から図13を参照しながら、脳波計測実験2の実験設定および実験結果を説明する。
 実験参加者は、正常な聴力を有する大学・大学院生5名であった。
 脳波は、図3(a)に示した頭皮上のFz、Cz、Pz、C3、C4(国際10-20法)から右マストイドを基準に記録した。サンプリング周波数は200Hz、時定数は1秒とした。オフラインで0.1-6Hzのディジタルバンドパスフィルタをかけた。文字呈示に対する事象関連電位として、文字が呈示された時刻を起点に-100msから1000msの波形を切り出した。事象関連電位の加算平均は、脳波計測実験3で取得したボタン押しの結果(絶対一致/絶対不一致)に基づいて行った。
 図10は実験手順の概要を示す図である。
 まず、手順Eにおいて単音節の音声を呈示した。語音は、聞き取り間違いが多いとされるナ行/マ行、ラ行/ヤ行、カ行/タ行から選択されている。語音聴取時の聞き取りやすさが変化するように、周波数ゲインを3段階に変えた下記3条件の音声を呈示した。
(1)ゲイン調整なし条件:周波数ゲイン調整なしの音声を呈示した。
(2)ゲイン小条件:250Hz-16kHzの周波数のゲインを段々と-25dBまで調整(低減)した音声を呈示した。
(3)ゲイン大条件:250Hz-16kHzの周波数のゲインを段々と-50dBまで調整(低減)した音声を呈示した。あらかじめ実験参加者には音声を聞いて対応する文字を思い浮かべるよう指示した。
 図11は、条件(1)~(3)のそれぞれにおける周波数ごとのゲイン調整量を示す。高周波数の周波数ゲインを低減させた理由は、高齢者の難聴の典型的なパターンを再現し、健聴者に対しても高齢難聴者の聞こえ難さと同等の聞こえを模擬するためである。
 次に図10の手順Fにおいて実験参加者にキーボードのスペースキーを押させた。参加者がボタンを押すことにより、手順が次の手順Gに進む。この手順Fは参加者のペースで手順Gの文字刺激を呈示するために付加された。
 手順Gにおいてディスプレイに一文字を呈示した。健常な聴力を有する参加者が不一致を感じるよう、50%の確率で手順Eで呈示した音声とは不一致な文字を呈示した。不一致な文字は、聞き取り間違いが多いとされるナ行とマ行、ラ行とヤ行、カ行とタ行をペアとして母音は揃えて音声とは異なる行の文字が選ばれた。たとえば、手順Eにおいて「な」を呈示した場合、手順Gでは一致条件として「な」、不一致条件として「ま」を呈示した。この場合、参加者が正しく音声を聞き取れたならば、「な」の呈示に対しては期待通りであると感じ、「ま」の呈示に対して期待はずれを感じることになる。
 手順Hは、参加者が手順Eで呈示された音声と手順Gで呈示された文字に対して、どれくらい不一致を感じたかを確認するために設けられた。絶対一致と感じた場合にはキーボードの数字の5を押させ、多分一致と感じた場合には4を、分からない場合は3を、多分不一致と感じた場合には2を、絶対不一致と感じた場合には1をそれぞれ押させた。
 本願発明者らは、手順Eから手順Hを108回繰り返して試行する実験を行った。本実験において、呈示語音はマ・ナ/ヤ・ラ/カ・タ行の各3音を使用し、それらの語音に対して3段階にゲイン調整を行った(計54種類)。
 図12は1試行分の手順を示すフローチャートである。このフローチャートでは、説明の便宜のため、装置の動作と実験参加者の動作の両方を記載している。
 ステップS21では単音節の音声が実験参加者に呈示される。
 ステップS22では参加者は単音節の音声を聞いて対応する文字を思い浮かべる。
 ステップS23では参加者は「次へ」ボタンとしてスペースキーを押す。
 ステップS24ではステップS23を起点に音声と一致または不一致な文字をディスプレイに呈示するステップである。音声と文字とが一致する確率は50%である。よって、音声と文字とが不一致である確率も50%である。
 ステップS25では参加者はステップS22で思い浮かべた文字とステップS24で呈示された文字とが一致したか否かを確認する。
 ステップS26では参加者がステップS26でどれくらい一致/不一致と感じたかを1から5の数字キーで回答する。
 図13は、頭頂部の電極位置(Pz)における事象関連電位を絶対不一致/絶対一致の主観判定ごとに総加算平均した結果を示す。刺激として文字が呈示された時刻を0msとして-100から1000msの事象関連電位が計算に用いられている。図13の横軸は時間で単位はms、縦軸は電位で単位はμVである。グラフの下方向が正(陽性)に対応し、上方向が負(陰性)に対応している。-100msから0msの平均電位を0に合わせてベースライン補正を行った。
 図13に示される実線は、参加者が不一致を感じた場合の事象関連電位の加算平均波形であり、破線は参加者が一致を感じた場合の事象関連電位の加算平均波形である。図13によれば、(1)参加者が不一致と感じた実線に比べて、呈示参加者が一致と感じた破線では、潜時200msから400msを中心とする範囲に陽性成分が出現していること、および、(2)参加者が一致と感じた破線に比べて、呈示参加者が不一致と感じた実線では、潜時500msから600msを中心とする範囲内に陽性成分が出現していること、が分かる。0msから1000msにおける全てのサンプリングごとにt検定を実施した結果、上記語音明瞭度の違いによる有意差(p<.05)が20ms以上持続した時間帯は、270ms-390msと、450ms-540smsであった。
 これらの脳波計測実験の結果から、(1)努力性、(2)うるささ、(3)語音明瞭度が特定の潜時の事象関連電位成分を見ることで、判定できる可能性があることが示された。
 次に、識別率と加算回数との関係を説明する。
 本願発明者らは、上記の実験に基づき発見した成分を判定に用いるのに、必要な加算回数を特定するための脳波データの分析を行った。各判定を行うための3種類の事象関連電位に対して加算回数順次増加させたときの識別率を調査した結果、一定の識別率(例えば80%)の達成を前提条件としたときに、(1)判定項目ごとに必要な加算回数が大きく異なること、(2)語音明瞭度判定は従来脳波で必要とされている加算回数(20回)よりも少ない加算回数でよいこと、(3)快適性判定では、従来脳波で必要とされている加算回数(20回)よりさらに多くの加算回数が必要なこと、を発見した。
 以下、3種類の判定項目(努力性、うるささ、語音明瞭度)に対して行った分析の詳細を説明する。
 努力性については、脳波計測実験1において計測した事象関連電位を用いて、主観報告の「努力性高/努力性低」を識別した。
 まず、各「努力性高/努力性低」条件における全試行分の波形から加算回数分の波形をランダムに取り出し、加算平均を行った。本願発明者らは、この加算波形を各条件につき20波形分作成した。
 次に、加算波形から上記実験において有意差ありと判定された区間(600ms-900ms)の平均電位を計算し、特徴量とした。また、各「努力性高/努力性低」条件における総加算平均波形においても同様の区間の平均電位を計算し、その平均値を閾値とした。そして、特徴量を計算した結果が、閾値より大きいときは「努力性高」、小さいときは「努力性低」と識別した。このときの全波形に対する識別結果の正解数の割合を識別率とした。
 うるささについては、脳波計測実験1において計測した事象関連電位を用いて、主観報告の「うるさい/うるさくない」を識別した。まず、各「うるさい/うるさくない」条件における全試行分の波形から加算回数分の波形をランダムに取り出し、加算平均を行った。本願発明者らは、この加算波形を各条件につき20波形分作成した。
 次に、加算波形から上記実験において有意差ありと判定された区間(200ms~300ms)の平均電位とN1潜時とを計算し、これらを特徴量(2次元)とした。
 ここで、これらの特徴量に対して「うるさい/うるさくない」を分ける識別境界について説明する。識別境界の計算には、総加算平均波形を用いた。各「うるさい/うるさくない」条件における総加算平均波形の平均電位とN1潜時とを、特徴量作成時と同様の区間に対して計算した。このように「うるさい/うるさくない」条件において計算した平均電位とN1潜時は、電位-時間のグラフにおいては「点」としてプロットされる。このとき、これらの2点を通る直線を考え、その直線の中点を通る垂線を識別境界とした。そして、特徴量を計算した結果が、識別境界より上にあるときは「うるさい」、下にあるときは「うるさくない」と識別した。このときの全波形に対する識別結果の正解数の割合を識別率とした。
 次に、語音明瞭度の判定処理を説明する。
 語音明瞭度については、脳波計測実験2において計測した事象関連電位を用いて、主観報告の「絶対一致/絶対不一致」を識別した。まず、各「絶対一致/絶対不一致」条件における全試行分の波形から加算回数分の波形をランダムに取り出し、加算平均を行った。この加算波形を、各条件につき20波形分作成した。つぎに、加算波形から上記実験において有意差ありと判定された区間(270ms-390ms、450ms-540ms)の平均電位を計算し、その差を特徴量とした。また、各「絶対一致/絶対不一致」条件における総加算平均波形においても同様の区間の平均電位差を計算し、その平均値を閾値とした。識別には前述の閾値を用いて、特徴量を計算した結果が、閾値より大きいときは「絶対一致」、小さいときは「絶対不一致」と識別した。このときの全波形に対する識別結果の正解数の割合を識別率とした。
 実験の結果、本願発明者らは、加算回数と識別率の関係に関する以下のようなデータを得ることができた。図14は、以上の3つの判定項目に対し、加算回数を変化させたときの識別率の変化を示す。図14の識別率は上記計算を100回繰り返したときの平均値である。図14によると、被験者数が少ないために多少の変動が見られるが、基本的には全ての判定項目において横軸の加算回数が増加すると、識別率が向上している。ただし、努力性は回数を増やしても、識別率が上昇しにくいといえる。
 一方、判定項目別の識別率に注目すると、それぞれの加算回数と識別率の関係が異なることが読める。語音明瞭度は加算回数5回で識別精度が80%に達するのに対し、うるささは加算回数20回で識別精度が70%である。そして、努力性の識別精度に関しては、さらに加算回数が多くても語音明瞭度とうるささの識別精度に及ばないといえる。実験の結果、本願発明者らはこのような特性を発見した。
 この特性が見られる理由として、脳波成分の大きさの違いが考えられる。
 図13に示す語音明瞭度の識別に使用した区間の電位差(図13中の「約6μV」、「約2.5μV」と示される電位差)と、図8と図9に示す快適性を識別するために使用した区間の電位差(それぞれの図において「約1μV」と示されている電位差)とは大きく異なっている。
 この理由として、以下の2つが挙げられる。まずひとつめの理由として、刺激の種類の違いが考えられる。語音明瞭度の判定は視覚刺激に対する反応であるため、一般的に聴覚刺激に対する反応より大きな反応が出やすく脳波成分は大きくなる。それに対して快適性(「努力性」および「うるささ」)は聴覚刺激に対しての反応であるため、脳波成分の大きさが視覚刺激に対する反応と比較して小さくなると考えられる。
 もうひとつの理由としては、判定内容の違いが考えられる。語音明瞭度は、聞き分けた語音と呈示された文字とが一致したかどうかという明確に判断ができる判定内容である。それに対して、快適性は快適かどうかという曖昧な判定である。そのため、快適性判定より語音明瞭度判定の方が脳波成分は大きくなると考えられる。したがって、識別方法などによっては、今回の実験で得られた識別精度は上下する可能性がある。しかしながら、刺激の種類と脳波成分のため、語音明瞭度と快適性の識別精度の順序関係は変化しないと考えられる。
 ここで、判定項目ごとの必要加算回数について考える。必要加算回数は、加算回数と識別率の関係から決定する。たとえば、語音明瞭度判定で80%の識別精度が必要だとすると、そのときの必要加算回数は5回となる。このように、必要加算回数は判定項目ごとに必要な識別精度により決定される。そのため、必要加算回数は上記の識別精度が変化した場合には変動するし、実施する聴力判定内容によっても、必要とされる精度が変化する可能性があるため、変動することが予想される。以下では、必要加算回数について記述するために、一例として、語音明瞭度判定で必要な精度は80%であるとし、快適性で必要な精度は70%であるとして説明する。
 以上をまとめると、図14に示されるように、一定の識別率(今回は語音明瞭度80%、快適性70%)を達成するには、明瞭度については従来必要とされてきた加算回数(20回)より少なくてよいが、快適性は従来と同程度、またはそれ以上の加算回数が必要なことが分かる。ただし、明瞭度と快適性の間で必要加算回数に違いがあるものの、これらは一連の音声呈示と文字呈示に対する反応として判定されるため、一回の試行では、明瞭度と快適性の反応はそれぞれ1回ずつ得られるだけである。
 快適性の識別精度を保つためには、加算回数を従来の20回またはそれ以上にする必要がある。しかしながら、加算回数を増やすと、呈示時間が長くかかってしまう。たとえば、語音明瞭度を判定するために67S語表の20語音を用いた場合、20語音を各20回呈示した場合には、合計400回も呈示する必要がある。そのため、被験者は400回の呈示中、音声の聞き分けに集中する必要があり、被験者にとって大きな負担になると考えられる。また、選択に要する時間は、呈示音声の音圧を3種類、音声刺激間の間隔を3秒とし、裸時/装用時について聴力判定をすると、400回の呈示に最低2時間かかると推定される。
 加算回数と呈示時間との関係に関し、本願発明者らは、語音明瞭度と快適性の必要加算回数の違いと、語音明瞭度と快適性の判定に必要な細かさが異なることに着目した。
 本明細書でいう判定の「細かさ」とは、最終的に使用される判定結果の出力が語音ごとかいくつかの語音をまとめたものかを示す概念である。語音明瞭度判定は、語音が聞き分けられたかを判定するため、語音ごとに正解/不正解を判定する必要がある。一方、快適性判定における、うるささや、努力性の判定は語音ごとに快適/不快を判定する必要はなく、同じ音圧などの条件で同じように聞こえるものはまとめて判定してもよいと考えられる。この考え方は、快適性判定時のユーザの聞こえを分析した結果、本願発明者らが初めて想到したと言えるものである。以下、具体的に説明する。
 まず、快適性判定時のユーザの聞こえについて、努力性判定とうるささ判定それぞれを説明する。 先に述べた通り、努力性は、ユーザがどれだけ努力して語音を聞き分けたかを示す指標である。ここで、ユーザが語音を聞き分けられない状況について考えると、呈示された音圧の大きさよりも、語音の周波数が近い場合に区別がつかなくなっていると推測される。したがって、努力性は周波数を基準にまとめて判定することができると考えられる。
 図15は、周波数に対する音素ごとの聴力レベルをプロットした図である。図15によれば、音素の分布に偏り(周波数の偏り)があることが見て取れる。そのため、努力性をまとめて判定する場合には、図15中の分布ごとや、近い語音ごとにグループ化すればよい。
 一方、うるささは、音の周波数帯が違っていても、その影響は小さく、音の振幅の大きさが直接の要因となる。したがって、語音の振幅の大きさを決定付ける母音の種類によりグループ化することができると考えられる。上記のように、同じ音の振幅や同じ周波数帯の音声はまとめて判定しても、語音ごとに快適性を判定したものと差は少ないと考えられる。つまり、語音明瞭度判定の方が細かい判定が必要であると言える。図16は、67S式語表の20語音を上記に従ってグループ化した例を示す。そして図16(a)は、努力性について図15の分布により、67S式語表の20語音をグループ化した例である。
 たとえば図16(a)の「シ」および「ス」は、図15の周波数約6000Hz付近に位置する「s」のグループに分類される。また、図16(a)の「キ」、「ク」、「タ」、「テ」および「ト」は、図15の周波数約3500Hz付近に位置する「k」および「t」のグループに分類される。図16(a)の「ハ」および「ガ」は、図15の周波数約1800Hz付近に位置する「h」および「g」のグループに分類される。
 一方、図16(b)はうるささについて、母音ごとに67S式語表の20語音をグループ化した例である。
 これらのことから、本願発明者らは、必要な判定の細かさと必要な加算回数とを総合すると、細かい判定が必要な明瞭度判定については加算回数が少なくてよいこと、および、加算が多く必要な快適性判定については複数の語音をまとめて判定できることを見出した。図17は、本願発明者らがまとめた判定方法の関係を示す。
 この知見から、本願発明者らは、必要加算回数が異なる聴力判定項目に対し、判定項目によって加算平均する波形を切り替えることで、全体としての音声と文字の呈示回数の削減が図れるという着想に至った。
 以下、この着想に基づき構成した本発明の実施形態の詳細と本発明の効果について、快適性判定としてうるささ判定を行った場合を例にとり、図面を参照しながら説明する。
 本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約750ms」と表現している。これは、750msという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位(ERP)マニュアル-P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、300ms±30ms、750ms±50ms)に存在し得ることを意味している。
 なお、上述の「30msから50msの幅」はP300成分の一般的な個人差の例であるが、上記潜時約750msの陽性成分はP300と比べて潜時が遅いためユーザの個人差がさらに大きく現れる。よって、より広い幅、たとえば前後に各100msから150ms程度の幅であるとして取り扱うことが好ましい。よって、本実施形態において、「潜時約750ms」は、潜時600msから900msであることを示す。潜時600msから900msは、潜時600m以上900ms以下を意味する。
 また、「潜時200ms付近」や「潜時約200ms」についても、潜時200msに対して前後に各30から50msの幅を持つとしてもよいし、それよりも若干広い幅、たとえば前後に各50msから100msの幅を持つとしてもよい。
 また、一般的には「陽性成分」とは0μVよりも大きい電位を意味する。しかしながら、本願明細書において「陽性成分」とは、絶対的に陽性である(0μVよりも大きい)ことを要しない。本願明細書では、聞き分け自信度が高いか低いかを識別するために「陽性成分」の有無を識別しており、聞き分け自信度の有意な高低を弁別できる限り、区間平均電位等が0μV以下であってもよい。
 なお、一般的には「陰性成分」とは0μVよりも小さい電位を意味する。しかしながら本願明細書において「陰性成分」とは、絶対的に陰性である(0μVよりも小さい)ことを要しない。本願明細書では、うるさいと感じたか否かを識別するために「陰性成分」の有無を識別しており、うるさいと感じたか否かを識別できる限り、区間平均電位等が0μV以上であってもよい。陰性成分の大小を判定できる場合には、陰性成分の有無として記述している。
2. 実施形態1
 図18は、本実施形態による聴力判定システム100の構成および利用環境を示す。
 聴力判定システム100は、聴力判定装置1と、生体信号計測部3と、視覚刺激部4と、聴覚刺激部5と、を備えている。生体信号計測部3は、少なくとも2つの電極AおよびBと接続されている。例えば、電極Aはユーザ5のマストイドに貼り付けられ、電極Bはユーザ5の頭皮上の位置(いわゆるPz)に貼り付けられている。
 聴力判定システム100は、単音節の語音を、音声と文字の順で、ユーザ2に呈示する。音声呈示時刻を起点に計測したユーザ2の脳波(事象関連電位)に基づき、快適性判定を行う。また、文字呈示時刻を起点に計測したユーザ2の脳波(事象関連電位)に基づき、語音明瞭度判定を行う。
 生体信号計測部3により、電極Aと電極Bとの電位差に対応するユーザ2の脳波を取得する。生体信号計測部3は、電位差に対応する情報(脳波信号)を無線または有線で聴力判定装置1に送信する。図18では、当該情報を生体信号計測部3無線で聴力判定装置1に送信する例を示している。
 聴力判定装置1は、聴力判定のための音声の音圧制御や、音声および文字の提示タイミングの制御を行い、ユーザ2に対して、聴覚刺激部5(たとえばスピーカ)を介して音声を呈示し、視覚刺激部4(たとえばディスプレイ)を介して文字を呈示する。
 図19は、本実施形態による聴力判定装置1のハードウェア構成を示す。聴力判定装置1は、CPU30と、メモリ31と、オーディオコントローラ32と、グラフィックコントローラ33とを有している。これら互いにバス34で接続され、相互にデータの授受が可能である。
 CPU30は、メモリ31に格納されているコンピュータプログラム35を実行する。コンピュータプログラム35には、後述するフローチャートに示される処理手順が記述されている。聴力判定装置1は、このコンピュータプログラム35にしたがって、同じメモリ31に格納されている語音DB12を利用して、聴力判定システム100の全体を制御する処理を行う。また、聴力判定装置1による判定結果は、メモリ31内の聴力判定結果DB10に格納される。この処理は後に詳述する。
 オーディオコントローラ32は、CPU30の命令に従って、それぞれ、呈示すべき音声を生成し、生成した音声信号を指定された音圧で聴覚刺激呈示部5に出力する。
 グラフィックコントローラ33は、CPU30の命令に従って、それぞれ、呈示すべき文字を生成し、視覚刺激呈示部4に出力する。
 後述する聴力判定装置1の各機能ブロック(語音DB12を除く)は、それぞれ、図19に示すプログラム35が実行されることによって、CPU30、メモリ31、オーディオコントローラ32、グラフィックコントローラ33によって全体としてその時々で実現される機能に対応している。
 図20は、本実施形態による聴力判定システム100のブロック構成図を示す。
 聴力判定システム100は、聴力判定装置1と、生体信号計測部3と、視覚刺激呈示部4と、聴覚刺激呈示部5とを備えている。ユーザ2のブロックは説明の便宜のために示されている。
 聴力判定システム100は、ユーザ2の脳波信号を利用して聴力判定を行う際に用いられる。聴力判定は、聴力判定装置1によって実行される。
 以下、聴力判定システム100の構成要素の機能の概要を説明する。詳細な機能および構成は後に詳述する。
 生体信号計測部3は、ユーザの脳波を計測し、音声と文字の刺激をそれぞれ起点とした事象関連電位を抽出する。視覚刺激呈示部4は、聴力判定装置1からの指示により、語音を示す文字をユーザに呈示する。呈示された文字は、ユーザ2の視覚への刺激となる。聴覚刺激呈示部5は、聴力判定装置1からの指示により、語音の音声をユーザに呈示する。呈示された音声は、ユーザ2の聴覚への刺激となる。
 聴力判定装置1は、語音別加算部6と、グループ別加算部7と、明瞭度判定部8と、快適性判定部9と、聴力判定結果データベース(DB)10と、呈示語音制御部11と、語音データベース(DB)12とを備えている。
 グループ別加算部7は、複数の語音のグループのデータを利用して、音声呈示を起点とした事象関連電位をグループ別に加算する。このグループは少なくとも1つ存在すればよい。各グループは、予め定められた規則に基づいて分類されている。たとえば母音のグループ、無声子音のグループ、有声子音のグループである。ただし、規則によっては要素となる語音が属しないグループが存在してもよい。
 明瞭度判定部8は、語音別に加算された脳波波形から語音ごとの語音明瞭度を判定する。
 快適性判定部9は、グループ別に加算された脳波波形からグループごとの快適性を判定する。
 聴力判定結果DB10は、判定結果を格納する。
 呈示語音制御部11は、語音を参照しユーザに呈示すべき語音を決定する。
 語音別加算部6は、語音の情報を利用して、文字刺激呈示を起点とした事象関連電位を語音別に加算する。
 語音DB12は、語音と語音のグループ分けのデータとを格納する。
 以下、各ブロックを詳しく説明する。
 生体信号検出部3は、ユーザ2の頭部に装着された電極における電位変化を計測する機器である。例えば、脳波計などが該当する。探査電極は、例えば、頭頂部のPzに、基準電極は左右どちらかのマストイドにおき、探査電極と基準電極の電位差である脳波を計測する。生体信号計測部3は、ユーザ2の脳波を計測し、呈示語音制御部11から受けたトリガを起点に所定区間(たとえば-200msから1000msの区間)の事象関連電位を切り出す。このとき、聴覚刺激に対応するトリガを起点とした事象関連電位をグループ別加算部7に送付し、視覚刺激に対応するトリガを起点とした事象関連電位を語音別加算部6に送付する。
 なお、本実施形態の説明では、生体信号計測部3は、呈示語音制御部70からのトリガを起点にして予め定められた範囲の事象関連電位を切り出し、ベースライン補正を行って電位波形のデータを事象関連電位処理部55に送信するとした。しかしながら、この処理は一例である。他の処理として、たとえば、生体信号計測部50は継続的に脳波を計測し、事象関連電位処理部55が必要な事象関連電位の切り出しおよびベースライン補正を行ってもよい。当該構成であれば、呈示語音決定部70は生体信号計測部50にトリガを送信する必要はなくなり、事象関連電位処理部55にトリガを送信すればよい。
 視覚刺激呈示部4は、ユーザ2に語音明瞭度判定のための文字を呈示するデバイスである。視覚刺激呈示部4は、例えば、テレビやディスプレイである。視覚刺激呈示部4は、呈示語音制御部11によって決定された語音の文字を表示面上に呈示する。
 聴覚刺激提示部4はユーザに快適性判定のための音声を呈示するデバイスである。聴覚刺激提示部4は、例えば、スピーカやヘッドフォンである。聴覚刺激提示部4の種類は、任意である。しかしながら、正しい判定を行うには指定された音圧で音声を正確に呈示できるよう調整されている必要がある。それにより、聴覚刺激提示部4は、呈示語音制御部11によって決定された単音節の音声を正確に呈示することができる。
 語音DB12は、聴力判定に用いる語音のデータベースである。図21は、語音DB12に格納されるデータベースの一例を示す。図21に示した語音DB12には、語音毎に、呈示する音声ファイル、子音ラベルの語音情報が格納されている。保存されている音声は、あらかじめ測定した難聴者のオージオグラムからフィッティング手法に基づいて周波数ごとのゲイン調整が完了しているとする。保存される語音の種類は、57S語表、67S語表に挙げられている語音でも良い。子音ラベルは、ユーザ2がどの子音において異聴が発生する確率が高いかを判定する際に利用される。
 また、語音DB12は、複数の語音のグループのデータを有している。異聴発生尤度(異聴の発生しやすさ、または、異聴発生の確率)に応じたグループ分けされたデータは、ユーザ2がどのグループにおいて異聴発生する確率が高いかを判定する際に利用される。グループ分けは、たとえば大分類、中分類、小分類とする。
 大分類は母音、無声子音、有声子音の分類でそれぞれ0、1、2のように表記している。中分類は無声子音内、有声子音内の分類である。無声子音内はサ行(中分類:1)とタ・カ・ハ行(中分類:2)に、有声子音内はラ・ヤ・ワ行(中分類:1)とナ・マ・ガ・ザ・ダ・バ行(中分類:2)に分類できる。小分類は、ナ・マ行(小分類:1)とザ・ガ・ダ・バ行(小分類:2)のように分類できる。異聴発生尤度については、「補聴器フィッティングの考え方」(小寺一興、診断と治療社、1999年、172頁)を参照した。
 また、語音DB12は、グループ別に加算するための快適性判定別の加算グループのデータを有している。加算グループのデータは、グループ別加算部7において加算する事象関連電位を切り替える際に利用される。加算グループは、たとえばうるささ、努力性とする。うるささは判定語音の振幅別にそれぞれ0、1、2、3、4、5のように表記している。努力性は判定語音の周波数別にそれぞれ0、1、2、3、4、5のように表記している。
 呈示語音制御部11は、語音DB12を参照し呈示する語音を決定し、決定した語音に関する情報を視覚刺激呈示部4と聴覚刺激呈示部5へ送信する。また、音声と文字それぞれの呈示時刻に合わせて、トリガを生体信号計測部3へ送信する。また、呈示する語音の情報を語音別加算部6へ送信し、呈示する語音情報と、その語音が持つグループ分けのデータをグループ別加算部7に送信する。また、決定した語音を、視覚刺激呈示部4および聴覚刺激呈示部5が呈示することも制御しても良い。
 本実施形態においては、呈示語音制御部11は視覚刺激呈示部4および聴覚刺激呈示部5へ同じ語音情報を送信するとして説明する。
 語音別加算部6およびグループ別加算部7は、呈示語音制御部11から受けた呈示語音情報の内容に応じて、生体信号計測部3から受けた事象関連電位の波形に関して、加算平均を行う波形を切り替える。
 語音別加算部6は、生体信号計測部3から視覚刺激に対応するトリガを起点とした事象関連電位を受け取る。このとき、呈示語音制御部11から受け取った呈示語音情報を利用して、同じ語音の呈示によって得られた事象関連電位のみを選択して加算平均を行う。そして、語音ごとに所定回数の加算平均が実行された脳波データを明瞭度判定部8に送付する。同じ語音のみで加算平均した場合には語音ごとの聞き分け判定が可能となる。
 グループ別加算部7は、生体信号計測部3から聴覚刺激に対応するトリガを起点とした事象関連電位を受け取る。このとき、呈示語音制御部11から受け取った呈示語音情報と語音が持つグループ分けのデータを利用して、同じグループ内の語音の呈示によって得られた事象関連電位を選択して加算平均を行う。そして、グループごとに所定回数の加算平均が実行された脳波データを快適性判定部9に送付する。
 たとえば、グループ別加算部7は、同じ音声グループ(図21中の大分類など)に属する語音の呈示によって得られた事象関連電位を選択して加算平均を行う。
 明瞭度判定部8は、語音別加算部6から受け取った加算平均済の脳波波形を識別し、語音ごとに語音明瞭度の有無を判定する。語音明瞭度の判定結果を聴力判定結果DB10に送信する。
 図22は、明瞭度判定部8の構成を示す。
 図22に示すように、明瞭度判定部9は、陽性成分判定部51と、判定部52とを備えている。
 陽性成分判定部51は、語音別加算部6から受け取った加算平均済の脳波波形を受け取り、加算波形から潜時約300msまたは約500msの陽性成分の有無を判定する。陽性成分の有無は以下の方法で識別する。たとえば、陽性成分判定部51は、潜時200msから400msの最大振幅や潜時200msから400msの区間平均電位を所定の閾値と比較する。そして、潜時200msから400msの範囲内、または、潜時400msから600msの範囲内の最大振幅又は区間平均電位が閾値より大きい場合には「陽性成分あり」と識別し、小さい場合を「陽性成分なし」と識別する。
 判定部52は、陽性成分判定部51から陽性成分の有無を受け取り、陽性成分の有無から明瞭度を判定し、判定結果を聴力判定結果DB10に送信する。
 快適性判定部9は、グループ別加算部7から受け取った加算平均済の脳波(事象関連電位)の波形を識別し、グループごとの快適性の有無を判定する。快適性判定部9は、快適性の判定結果を聴力判定結果DB10に送信する。
 図23は、快適性判定部9の構成を示す。
 図23に示すように、快適性判定部8は、特徴成分判定部41と、判定部42と、基準データベース(DB)43とを有している。
 特徴成分判定部41は、グループ別加算部7から受け取った加算平均済の脳波(事象関連電位)の波形と、基準DB43から陰性成分および陽性成分をそれぞれ検出するための潜時および閾値のデータを受け取る。
 特徴成分判定部41は、陽性成分判定部41aと、陰性成分判定部41bとを備えている。
 努力性を判定する場合は、陽性成分判定部41aは、加算波形から潜時約750msに陽性成分が存在するか否かを判定する。陽性成分の有無は以下の方法で識別する。たとえば、陽性成分判定部41aは、潜時600msから900msの最大振幅や潜時600msから900msの区間平均電位を所定の閾値と比較する。区間平均電位を用いる場合の「所定の閾値」は、一般的なユーザの陽性成分の有無の閾値として、上述の実験で得られた「努力性高」と「努力性低」の区間平均電位の中央値である2.36μVとしてもよい。そして、陽性成分判定部41aは、区間平均電位が閾値より大きい場合には「陽性成分あり」と識別し、小さい場合を「陽性成分なし」と識別する。上述の「潜時約750ms」および閾値は、基準DB43から受け取ったデータに基づいて設定される。
 うるささを判定する場合は、陰性成分判定部41bは、加算波形から潜時約200msの陰性成分の有無を判定する。陰性成分の有無は以下の方法で識別する。たとえば、陰性成分判定部41bは、潜時100msから300msの最大振幅や潜時100msから300msの区間平均電位を所定の閾値と比較する。そして、区間平均電位が閾値より大きい場合には「陰性成分あり」と識別し、小さい場合を「陰性成分なし」と識別する。また、陰性成分判定部41bは、潜時100msから300msの陰性電位のピークの潜時を所定の閾値と比較してもよい。そして、陰性成分判定部41bは、陰性電位のピーク潜時が所定の閾値よりも短い場合には「陰性成分あり」と識別し、ピーク潜時が所定の閾値より小さい場合を「陰性成分なし」と識別する。「所定の閾値」は、一般的なユーザの陰性成分の有無の閾値として、上述の実験で得られた「うるさい」と「うるさくない」の陰性成分の潜時の中央値である218msとしてもよい。または、陰性成分判定部41bは、潜時約200msの典型的な陰性成分信号の波形から作成した所定のテンプレートとの類似度(たとえば相関係数)によって類似している場合を「陰性成分あり」と識別し、類似していない場合を「陰性成分なし」と識別してもよい。所定の閾値やテンプレートは、予め保持した一般的なユーザの陰性成分の波形から算出・作成してもよい。上述の潜時(「約200ms」等)および閾値は、基準DB43から受け取ったデータに基づいて設定される。
 判定部42は、特徴成分判定部41から陽性成分および陰性成分の有無を受け取り、陽性成分および陰性成分の有無から快適性を判定し、判定結果を聴力判定結果DB10に送信する。
 聴力判定結果DB10は、聴力判定結果を格納するデータベースである。明瞭度判定部8と快適性判定部9からそれぞれ判定結果を受け取り、聴力判定結果として保存する。
 以下、図24~図26を参照しながら、上述の聴力判定システム100の処理手順を詳細に説明する。
 まず、図24を参照しながら図16の聴力判定システム100において行われる全体的な処理手順を説明する。図24は、聴力判定システム100において行われる処理の手順を示すフローチャートである。
 ステップS10において、生体信号計測部3はユーザ2の脳波の計測を開始する。以降のステップにおいて脳波計測は連続して行われる。
 ステップS11において、呈示語音制御部11は、語音DB12を参照しながら呈示する単音節の語音を決定する。聴覚刺激呈示部5は、決定した語音の音声をユーザ2に呈示する。呈示語音制御部11は音声を呈示すると同時に、生体信号計測部3に対し音声刺激呈示トリガを送信し、グループ別加算部7に呈示語音情報と語音が持つグループ分けのデータを送信する。このとき、図21に示す子音ラベルや、大分類、中分類、小分類において、各語音に対応するラベルや番号がグループ分けのデータを参照する。たとえば、グループ分けを「大分類」にして、語音「あ」を呈示した場合には、呈示語音制御部11はグループ別加算部7にグループ分けのデータ「0」を送信する。
 ステップS12において、呈示語音制御部11は、語音DB12を参照しながらステップS11で呈示した聴覚刺激に対応する単音節の語音を決定する。視覚刺激呈示部4は、ユーザ2に、決定した文字を呈示する。例えば、聴覚刺激呈示の1秒後(1000ms後)に、視覚刺激呈示を行う。呈示語音制御部11は、文字を呈示すると同時に、生体信号計測部3に対し視覚刺激呈示トリガを送信し、語音別加算部6に呈示した語音の情報を送信する。
 ステップS13において、生体信号計測部3は、呈示語音制御部11からトリガを受けて、計測した脳波のうち、トリガを起点にたとえば-200msから1000msまでの事象関連電位を切り出す。そして-200msから0msの平均電位を求め、その平均電位が0μVになるよう、得られた事象関連電位をベースライン補正する。このとき、聴覚刺激に対応するトリガを起点とした事象関連電位をグループ別加算部7に、視覚刺激に対応するトリガを起点とした事象関連電位を語音別加算部6に送付する。
 ステップS14において、グループ別加算部7は、ステップS13で切り出した事象関連電位を、呈示語音制御部11から受けた呈示語音と語音が持つグループ分けのデータに基づきグループごとに加算平均する。たとえば、図21に示す子音ラベルや、大分類、中分類、小分類、うるささ、努力性がグループ分けにあたる。グループ分けを「大分類」にして、語音「あ」が呈示されたときには、呈示語音制御部11からは語音「あ」と、グループ分けのデータ「0」が送信される。グループ別加算部7は、グループ分けのデータ「0」を参照し、その波形を記憶する。その後、グループ分けのデータが同じ語音(「い」、「う」、「え」、「お」)が呈示されたときには、グループ別加算部7は、これらの波形を加算平均する。
 ステップS15において、語音別加算部6は、ステップS13で切り出した事象関連電位を、呈示語音制御部11から受けた呈示語音の情報に基づき、語音別に加算平均を行う。
 ステップS16は、聴力判定予定の語音1セットに対して呈示が終了したか否かの分岐で、完了していない場合にはステップS11へ戻り、完了している場合にはステップS17へ進む。
 ステップS17は、判定に必要な語音セット数に対して呈示が終了したか否かの分岐で、完了していない場合にはステップS11へ戻り、完了している場合にはステップS18へ進む。
 ステップS18において、快適性判定部9は、グループ別加算部7からグループごとに加算平均した脳波データを受け取り、グループごとの快適性の有無を判定する。そして、快適性の判定結果を聴力判定結果DB12に送信する。以下、ステップS18の詳細を図25を参照しながら説明する。
 図25は、図24のステップS18の詳細な処理の手順を示すフローチャートである。
 ステップS40において、特徴成分判定部41は、判定項目を「うるささ」にするか「努力性」にするかを判定する。すなわち特徴成分判定部41は、グループ別加算部7から判定項目を特定するデータを受け取り、判定項目がうるささの場合にはステップS41の処理へ進み、判定項目が努力性の場合にはステップS47の処理に進む。
 ステップS41において、特徴成分判定部41は、基準DB43から陰性成分を検出するための潜時データを受け取る。
 ステップS42において、特徴成分判定部41はグループごとに加算平均した脳波データを受け取る。
 ステップS43において、陰性成分判定部41bは潜時約200msの陰性成分が存在するか否かを判定する。陰性成分判定部41bによって陰性成分が検出されなかった場合には処理はステップS44へ進み、陰性成分が検出された場合には処理はステップS45へ進む。
 ステップS44において、判定部42は、ステップS11で呈示した語音に対して陰性成分判定部41bから潜時約200msの陰性成分がなかったこと受けて「快適」と判定し、判定結果を蓄積する。
 ステップS45において、判定部42は、ステップS11で呈示した語音に対して陰性成分判定部41bから潜時約200msの陰性成分があったこと受けて「不快」と判定し、判定結果を蓄積する。
 ステップS46において、判定部42は、快適性判定予定の全てのグループに対して快適性判定が完了したか否かを判定する。快適性判定が完了していない場合には処理はステップS41へ戻り、完了している場合には処理は終了する。
 次に、努力性を判定項目とする処理を説明する。
 ステップS47において、特徴成分判定部41は、基準DB43から陽性成分を検出するための潜時データを受け取る。
 ステップS48において、特徴成分判定部41はグループごとに加算平均した脳波データを受け取る。
 ステップS49において、陽性成分判定部41aは潜時約200msの陽性成分が存在するか否かを判定する。陽性成分判定部41aによって陽性成分が検出されなかった場合には処理はステップS50へ、陰性成分が検出された場合には処理はステップS51へ進む。
 ステップS50において、判定部42は、ステップS11で呈示した語音に対して陽性成分判定部41aから潜時約750msの陽性成分がなかったこと受けて「快適」と判定し、判定結果を蓄積する。
 ステップS51において、判定部42は、ステップS11で呈示した語音に対して陰性成分判定部41aから潜時約750msの陽性成分があったこと受けて「不快」と判定し、判定結果を蓄積する。
 ステップS52において、判定部42は、快適性判定予定の全てのグループに対して快適性判定が完了したか否かを判定する。完了していない場合には処理はステップS47へ戻り、完了している場合には処理は終了する。
 再び図24を参照する。
 ステップS18において、明瞭度判定部8は語音別加算部6から語音ごとに加算平均した脳波データを受け取り、語音ごとの語音明瞭度の有無を判定する。そして、語音明瞭度の判定結果を聴力判定結果DB12に送信する。以下、ステップS19の詳細を図26を参照しながら説明する。
 ステップS53において、陽性成分判定部51はグループごとに加算平均した脳波データを受け取る。
 ステップS54は、陽性成分判定部51において潜時約300msの陽性成分が検出されたか否かによる分岐で、陽性成分が検出されなかった場合にはステップS53へ、陽性成分が検出された場合にはステップS54へそれぞれ進む。
 ステップS55において、判定部52は、ステップS11で呈示語音制御部11から受け取ったグループに対し、陽性成分判定部41から潜時約300msの陽性成分があったことを受けて、快適と判定し、判定結果を蓄積する。
 ステップS56において、判定部52は、ステップS11で呈示語音制御部11から受け取ったグループに対し、陽性成分判定部41から潜時300msの陽性成分がなかったことを受けて、不明瞭と判定し、判定結果を蓄積する。
 ステップS57は、明瞭度判定予定の全ての語音に対して明瞭度判定が完了したか否かの分岐で、完了していない場合にはステップS53へ戻り、完了している場合には語音明瞭度判定を終了する。
 ステップS20において、聴力判定結果DB10は、明瞭度判定部8からは語音ごとに明瞭/不明瞭が判定された判定結果を受け取り、快適性判定部9からはグループごとに快適/不快が判定された判定結果を受け取る。そして、それらの結果をデータベースに蓄積する。
 これまで説明した聴力判定システム100において、判定項目によって加算する波形を切り替える効果を説明する。
 以下では、音声と文字の呈示回数を考える上で、呈示回数を語音セットと必要セット数に分けて表現する。
 「語音セット」とは、判定する語音をまとめたものであり、たとえば、67S語表の20語音を呈示する場合は、この20語音が語音1セットにあたり、その呈示回数は20回である。この語音セットを必要セット数分、繰り返すことで、脳波の加算平均が実現できる。
 一方「必要セット数」とは、語音明瞭度判定と快適性判定、両方に必要な加算回数を達成するための語音セットの数である。上記の波形を切り替えない場合を例にすると、必要セット回数は20回である。また、合計の呈示回数は語音セットの語音×必要セット数となる。
 図27は、明瞭度についての判定結果、および、語音をグループ化したときのグループごとの快適性の判定結果の一例を示す。
 本発明における波形の切り替え効果について、図27に示すように、語音セット(20語音、67S語表)、語音明瞭度判定を20語音に対して、快適性判定を図21に示す大分類にまとめた場合を例にして説明する。前述のとおり、大分類は母音、無声子音、有声子音の分類である。このとき67S語表の20語音はそれぞれ、母音グループに3語音、有声子音グループに9語音、無声子音グループに8語音が含まれる。ここでは、語音別判定に必要な加算回数を5回、快適性判定に必要な加算を回数が20回として、必要セット数を計算する。
 必要セット数を計算するときには、語音明瞭度判定、快適性判定それぞれについて必要なセット数を考える必要がある。
 語音明瞭度判定は20語音に対して判定を行うため、語音セット(20語音)を5セット分呈示すれば、加算回数が5回となり、語音明瞭度判定が実現できる。
20語音:1語音×5セット=加算回数5回
 一方、快適性判定は3グループに対して判定を行うため、3つのグループについてそれぞれ必要セット数を考えると、
母音:3語音×7セット=加算回数21回
有声子音:9語音×3セット=加算回数27回
無声子音:8語音×3セット=加算回数24回
となり、母音は7セット、有声子音は3セット、無声子音は3セットで快適性判定に必要な加算回数20回を達成できる。
 ここで、両方の判定に必要な加算回数を達成するには、必要セット数が一番大きくなるものに合わせる必要がある。したがって、この例の場合は、グループ内の語音数が一番少ない母音グループに合わせて必要なセット数が決まり、その必要セット数は7回となる。
 この結果より、必要なセット数は20回から7回に大きく削減できる。また、このときの判定結果は、図27に示すように、明瞭度は語音ごとに明瞭/不明瞭の判定結果が得られ、快適性は音声グループごとに快適/不快の判定結果が得られる。
 ここで、図27の判定結果(○、×)は、加算波形に対して成分を検出し、その有無を判定した結果のことをいう。たとえば、語音明瞭度判定においては、陽性成分の有無を判定し、なしと判定されたものを○(明瞭)、ありと判定されたものを×(不明瞭)とする。
 同様に、快適性判定においては、成分の有無を判定し、なしと判定されたものを○(快適)、ありと判定されたものを×(不快)とする。
 上記の例において呈示語音20語音、呈示音声の音圧を3種類、音声刺激間の間隔を3秒とし、裸時/装用時について聴力判定時間について考える。本手法を用いる前は必要セット数が20回であり、判定時間は、
20語音×3種類×3秒×2パターン×20セット=7200秒(2時間)
であった。
 これに対し、本手法を用いると
20語音×3種類×3秒×2パターン×7セット=2520秒(42分)
となる。そのため、判定時間は2時間から42分となり、大幅な時間短縮が実現できる。
 本実施形態の聴力判定システム100によれば、音声・文字の呈示回数が削減され聴力判定が短時間で実現される。これによって、たとえば補聴器販売店における聴力判定において判定に要する時間が削減され、補聴器ユーザの手間が低減される。
 なお、今回の実施例においては、うるささの判定結果が快適性を表すとした。快適性を判定するに際しては、脳波計測実験のときに記述した、努力性の判定結果が快適性を表すとしてもよいし、うるささと努力性の両方の判定結果が快適性を表すとしてもよい。
 生体信号計測部3において、計測した事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定の仕方に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極の設定の仕方に応じて適切な改変を行って事象関連電位の特徴成分を検出し、聴力判定を行うことが可能である。そのような改変例は、本発明の範疇である。
 なお、今回の実施例においては、グループ分けのデータは語音データベースが保持しているが、このデータはグループ別加算部7に持たせてもよい。
 なお、グループ別加算部7において、グループ別に加算するときの音声グループは、同じ子音を持つ語音をグループにしてもよいし、異聴発生尤度(図21で示したグループの大分類・中分類・小分類)が同じ語音をグループにしてもよい。同じ子音を持つ語音で加算平均した場合にはどの子音において快適性が低いのかの判定が可能となる。また、異聴発生尤度グループごとに加算平均した場合には、たとえば有声子音と無声子音のグループ化では、有声子音に対して快適性が高いが、無声子音に対して快適性が低い、のようにグループごとの判定が可能となる。子音ごと、グループごとの加算平均では、グループ内に属する語音数分の加算回数が確保された加算波形がそれぞれ得られる。そのため、必要加算回数が多い快適性判定に対して、少ない音声・文字呈示回数で判定が可能となる。
 なお、呈示する語音は語音DB12から選択するときに、必要加算回数分のみを呈示してもよい。たとえば、先ほどと同様、3つの音声グループ(母音:3語音、有声子音:9語音、無声子音:8語音)にまとめた場合を例にすると、必要セット数は7セットであった。このとき、有声子音グループと無声子音グループは必要セット数が3セットであるにもかかわらず、7セット分呈示しているため、判定時間は長くなる。このように、グループごとの必要セット数に対して、全体のセット数が多い場合には、そのセット数を減らすことができる。ただし、この場合には、語音明瞭度の必要セット数は5セットであるため、両判定を実現するには、5セットより減らすことはできない。したがって、有声子音グループと無声子音グループの必要セット数は5回となる。そのため、母音グループは7セット、有声子音グループと無声子音グループは5セットで呈示終了、のようにグループごとに必要加算回数に達した時点で呈示を終了してもよい。以上のように、必要加算回数分のみ呈示した場合には、本発明における時間短縮の効果がより大きくなる。
 なお、呈示する語音は語音DB12からランダムに選択しても良いし、特定の子音またはグループの語音を集中的に選択してもよい。先ほどと同様、3つの音声グループ(母音:3語音、有声子音:9語音、無声子音:8語音)にまとめた場合を例にする。このとき、図28に示すように、特定のグループの語音(母音の「ア」)を繰り返す場合を考える。この場合には、先に述べた必要セット数の計算方法からすると、5セットで加算回数20回を達成できる。したがって、全ての判定に必要なセット数は5セットとなる。このように、グループ内の語音を調整すると、本発明における時間短縮の効果がより大きくなる。
 なお、呈示する語音は語音DB12からランダムに選択する、特定の子音またはグループの語音を集中的に選択する方法と、必要加算回数分のみを呈示する方法を組み合わせてもよい。2つを組み合わせることにより、必要最小セット数で判定が可能になり、本システムにおける最短の判定時間で聴力判定を終了できる。
 なお、呈示語音制御部11において、生体信号計測部3により計測したユーザ2の脳波信号成分の大きさから、それぞれの判定項目に必要なセット数を決定してもよい。信号成分の大きさからセット数を決定することにより、所望の精度を達成した状態で、ユーザにとって最短の判定時間で聴力判定を実現できる。
 なお、呈示語音制御部11において、語音は聴力判定システム100から未判定/再判定な語音の情報を受けて決定しても良い。
 なお、明瞭度判定部8と快適性判定部9において、陽性成分や陰性成分の識別は、閾値との比較によって行ってもよいし、テンプレートとの比較によって行ってもよい。
 なお、聴力判定装置1は、1つの半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のCPU30、メモリ31、オーディオコントローラ32、グラフィックコントローラ33の機能を全て実現できる。
 上述のコンピュータプログラム35は、CD-ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図19に示すハードウェアを備えた機器(たとえばPC)は、当該コンピュータプログラム35を読み込むことにより、本実施形態による聴力判定装置1として機能し得る。なお、語音DB12はメモリ31に保持されていなくてもよく、たとえばバス34に接続されたハードディスク(図示せず)に格納されていてもよい。
 なお、本実施形態における聴力判定装置1は持ち運びが可能であるため、例えば、自宅や職場等のユーザが補聴器を利用する音環境に実際に補聴器と聴力判定装置1を持って行って聴力判定ができる。これにより、日常生活での聞こえがより正確に判定できる。
 なお、図18では視覚刺激呈示部4はディスプレイであるとしたが、視覚刺激呈示部4はテレビであっても良い。テレビに接続する構成を採用することにより、聴力判定装置1はテレビに映像を表示するための映像信号を生成する周知の回路、および、その映像信号を出力する端子を備えるだけでよくなる。これにより、構成が簡易化された、持ち運びが簡易な聴力判定装置1を得ることができ、ユーザが利用する環境において聴力判定が可能となる。このとき、さらに聴覚刺激呈示部5はテレビに通常設けられているスピーカであってもよい。これにより、テレビへの映像信号および音声信号の生成回路および出力端子を備えるだけで、構成の簡易化が可能になる。
 なお、図18では聴覚刺激呈示部5をスピーカとしたが、聴覚刺激呈示部5はヘッドフォンでも良い。ヘッドフォンを用いることで、持ち運びが簡易になりユーザが利用する環境において聴力判定が可能となる。
 また、本実施形態においては、快適性判定の結果および明瞭度判定の結果は、聴力結果蓄積DB10に蓄積されるとしたが、蓄積しなくてもよい。たとえば結果蓄積DB80を快適性判定装置1の外部に設ける場合には、陽性成分判定部60および陰性成分判定部65の各判定結果を単に出力すればよい。各判定結果は、語音聴取の快適性に関する情報として利用され得る。
 なお本明細書では、事象関連電位に明瞭度に関する主観を反映した成分が出現することを確認する意味で事象関連電位の波形を加算し、または加算平均している。しかしながらこれは一例である。特徴量抽出の方法(たとえば波形のウェーブレット変換)や識別方法(たとえばサポートベクターマシンラーニング)を工夫して利用することにより、非加算または数回程度の少数加算でも陽性成分・陰性成分の識別は可能である。たとえば語音別加算部6を省略してもよい。
 これにより、ユーザが補聴器を利用する音環境においても聴力判定が実現できる。
 なお、本実施形態では日本語の聴力判定を想定して説明した。しかしながら、単音節の語音であれば英語でも中国語でもよい。たとえば英語の場合には、単音節の単語を呈示し、単語ごとの判定をすればよい。図29は、単音節の単語ごとに、努力性、うるささおよび明瞭度を判定した結果の一例を示している。
3. 実施形態2
 実施形態1では、語音明瞭度と、快適性とを同時に判定する例を説明した。
 本実施形態では、快適性は判定するが語音明瞭度判定は行わない聴力判定システムを説明する。
 図30は、本実施形態による聴力判定システム101のブロック構成図を示す。聴力判定システム101が実施形態1による聴力判定システム100と相違する点は、聴力判定装置102の構成である。具体的には、本実施形態にかかる聴力判定装置102から、実施形態1にかかる聴力判定装置1の視覚刺激呈示部4、語音別加算部6および明瞭度判定部8が省略されている。この構成の相違に伴って、呈示語音制御部11は、語音の文字を視覚刺激として出力するための指示を出力することはなく、また、視覚刺激を起点としたトリガを生体信号計測部3へ送信する必要もない。他は実施形態1による聴力判定システム100と同じである。
 図31は、図30の聴力判定システム101において行われる全体的な処理手順を示すフローチャートである。このフローチャートが実施形態1による聴力判定システム100のフローチャート(図24)と相違する点は、図24のステップS12、S15およびS19が省略されている点である。
 共通する構成および処理動作については、実施形態1の説明を援用する。
 本実施形態にかかる聴力判定システム101および聴力判定装置102によれば、明瞭度に関する判定を省いたことにより語音の区別の必要がなく、快適性に関する判定を行えばよいため、より短時間で判定結果を得ることができる。
4. 実施形態1および2の変形例
 上述の実施形態による聴力判定システム100では、明瞭度判定部8(図22)内の陽性成分判定部51、および、快適性判定部9(図23)内の陽性成分判定部41aおよび陰性成分判定部41bにおいて、一般的なユーザの陽性成分/陰性成分から算出した閾値や、一般的なユーザの陽性成分/陰性成分のテンプレートを用いて、それぞれ陽性成分の有無と陰性成分の有無を判定した。
 しかしながら、事象関連電位の波形は個人差が大きいため、それらを基準とした識別では、努力性・うるささを精度よく判定することは困難であった。
 そのため、語音聴取の快適性判定の前にユーザごとの潜時約750msの陽性成分と潜時約200msの陰性成分の特徴を測定するためのキャリブレーションを行い、個人ごとの成分特徴に基づいて快適性を判定してもよい。キャリブレーションを行うか否かを、ユーザが選択してもよい。
 キャリブレーションの方法は、たとえば以下のとおりである。
 呈示語音制御部11は、語音DB12を参照して語音の種類を決定する。そして、呈示語音制御部11は、単音節の音声呈示について(1)ユーザが努力しないで聞けるが「うるさい」と感じる音圧レベル、あるいは、(2)努力が必要だが「うるさくない」と感じる音圧レベルを設定する。そして、聴覚刺激呈示部5を介してユーザ2に音声を呈示する。
 そして、語音別加算部6およびグループ別加算部7は、生体信号計測部50で計測した事象関連電位を、音圧レベルごとに加算平均する。
 最後に語音別加算部6およびグループ別加算部7は、音圧レベルごとの特徴量を保存する。より具体的には、語音別加算部6およびグループ別加算部7は、加算平均波形から、上述の陽性成分判定部51、および、陽性成分判定部41aおよび陰性成分判定部41bで識別に用いる特徴量をそれぞれ算出する。たとえば、特徴量が区間平均電位の場合には、所定区間の平均電位を算出する。そして、個別の閾値を基準DB43等に保存する。このようにして得られた平均値は、そのユーザ固有の特徴を表しているといえる。
 このように得られた閾値を用いると、個々のユーザの個人差を考慮したより正確な判定を行うことが可能になる。
5. 実施形態3
 図32は、実施形態3の補聴器調整システム103の構成を示す。補聴器調整システム103は、聴力判定システム104と、調整量DB301と、調整部303とを備える。補聴器調整システム103に含まれる構成要素は、互いに有線又は無線で接続されており、情報の送受信を行う。さらに調整部303は、有線又は無線により、図示しない補聴器と、情報の送受信を行う。
 補聴器調整システム103に含まれる聴力判定システム104は、実施形態1と構成は同じである。聴覚判定システム104に含まれる呈示語音制御部302は、呈示語音制御部11と異なり、調整量DB301を参照して、決定した語音を調整する。
 調整量DB301は、補聴器の調整量に関する複数の値を記憶している。例えば、図33は、調整量DB301に記憶されているデータの例を示す。図33に示す調整量は、5dB毎に大きくなる音圧の値を示している。調整量DB301は、5dBより小さい値ごとの増幅量を有していても良い。調整量DB301は、補聴器の調整に用いる増幅量の値を有することが好適である。また、調整量DB301は、指向性強度、子音強調、ノイズリダクション等の補聴処理に関する値、より詳しくは、補聴処理を調整するための情報を有していてもよい。例えば、図34は、調整量DB301に記憶されている、補聴処理を調整するための情報の例を示す。補聴処理を音声処理に関する付加機能として有する場合には、図34に示すように、指向性強度、子音強調、ノイズリダクションの各機能のON/OFFを示す情報を有していてもよい。ここでいう(1)指向性強度、(2)子音強調、(3)ノイズリダクションは以下の機能を有する。
 (1)指向性強度:明瞭度そのものは変化しない。その一方、音源が異なるノイズが低減されるため、快適性は向上する。
 (2)子音強調:子音の周波数帯のゲイン調整量を増やすため、明瞭度は向上する。その一方、音声そのものの周波数特性が変化するため、快適性が低下する。
 (3)ノイズリダクション:ノイズとともに音声情報も低減されるため、明瞭度が下がる。その一方、うるささが低減する。
 なお、図34には「ON」または「OFF」という文字が示されているが、これは一例である。調整量DB301は、「ON」および「OFF」に対応する数値を保持してもよい。たとえば調整量DB301は、「ON」に対応する数値「1」、および、「OFF」に対応する数値「0」を保持していてもよい。
 呈示語音制御部302は、語音DB12を参照し、ユーザ2に提示する語音を決定する。呈示語音制御部302は、呈示語音制御部11と異なり、決定した語音を調整する。具体的には、呈示語音制御部302は、調整量DB301を参照し、決定した語音を調整する。また呈示語音制御部302は、調整した語音に関する情報を聴覚刺激提示部5に送信する。聴覚刺激呈示部5は、呈示語制御部302が調整した語音を、ユーザ2に呈示する。
 調整部303は、呈示した語音の情報を呈示語音制御部302から受信する。語音の情報には、決定した語音と、調整量とが含まれる。調整部303は、聴力計測結果DB10に記憶されている結果に基づいて、適切な調整量であるか否かを判定する。適切な調整量でないと判定した場合、調整部303は調整量DB301を参照して、異なる調整量で調整するよう、呈示語音制御部302に指示する。
 うるささが高いことを示す判定結果が得られている場合には、呈示語音制御部302は、例えば、前回の増幅量よりも小さい増幅量で調整を行う。
 図35は、図32の補聴器調整システム103において行われる全体的な処理手順を示すフローチャートである。図35に示すフローチャートは、実施形態1による聴力判定システム100のフローチャート(図24)と相違し、ステップS31およびS32を有する。共通する構成および処理動作については、実施形態1の説明を援用する。
 ステップS31において、調整部303は、ステップS20で保存された結果を参照して、快適性及び明瞭度を判定する。調整部303は、快適性及び明瞭度が所定の範囲内であると判定した場合には、呈示語音制御部302の調整が適切であると判定し処理は終了する。なお、このとき調整部303は、適切であると判定された調整量に基づいて、補聴器を調整し、または、適切であると判定された調整量の情報を補聴器に送信してもよい。
 一方、調整部303が、快適性及び明瞭度の少なくともいずれか所定の範囲外であると判定した場合には、処理はステップS32に進む。調整部303は、調整量を変更させるための指示を呈示語音制御部302に出力する。ステップS32において、呈示語音制御部302は、調整部303からの指示を受けて調整量DB301を参照し、異なる調整量の情報を読み出し調整量を変更する。
 上述のステップS32においては、うるささが高いことを示す判定結果が得られている場合には、呈示語音制御部302は、例えば、調整量DB301から前回の増幅量よりも小さい増幅量を示す情報を読込む、または、ノイズリダクションを「ON」にする。努力性が高いことを示す判定結果が得られている場合には、呈示語音制御部302は、例えば、調整量DB301から前回の増幅量よりも大きい増幅量の情報を読込む、または、指向性強度処理を「ON」にする。明瞭度が低いことを示す判定結果が得られている場合には、呈示語音制御部302は、例えば、調整量DB301から前回の増幅量よりも大きい増幅量の情報を読込む、または、子音強調処理を「ON」にする。
 その後、処理はステップSS11に戻り、再度測定が行われる。
 以上説明した構成および動作により、決定された語音を調整して再度の測定を行うことが可能になる。
 本発明の聴力判定装置および聴力判定装置が組み込まれた聴力判定システムによれば、聴力判定が短時間で可能となるため、体が不自由なユーザなど長時間の拘束が大きな負担となるユーザのみならず、全ての人に対する聴力判定において利用可能である。
 1、102 聴力判定装置
 2 ユーザ
 3 生体信号計測部
 4 聴覚刺激呈示部
 5 視覚刺激呈示部
 6 語音別加算部
 7 グループ別加算部
 8 明瞭度判定部
 9 快適性判定部
 10 聴力判定結果DB
 11、302 呈示語音制御部
 12 語音DB
 41 特徴成分判定部
 41a 陽性成分判定部
 41b 陰性成分判定部
 42 判定部
 43 基準DB
 51 陽性成分判定部
 52 判定部
 100、101 聴力判定システム
 103 補聴器調整システム
 104 聴力判定システム
 301 調整量DB
 303 調整部303

Claims (20)

  1.  ユーザの脳波信号を計測する生体信号計測部と、
     複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定する呈示語音制御部と、
     決定された前記語音を音声で前記ユーザに呈示する聴覚刺激呈示部と、
     決定された前記語音を文字で前記ユーザに呈示する視覚刺激呈示部と、
     前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、
     前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、少なくとも前記ユーザが前記語音を努力して聞いているか否か、又は前記ユーザが前記語音をうるさいと感じているかを判定する第1の判定部と、
     前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定する第2の判定部と
     を備えた、判定システム。
  2.  前記快適性判定部は、前記グループ毎に加算された前記事象関連電位が、前記聴覚刺激呈示部から前記語音の音声が呈示された時刻を起点として600ms以上900ms以下の範囲内に所定の陽性成分を有するか否か、および、100ms以上300ms以下の範囲内に所定の陰性成分を有するか否かに基づいて、前記快適性を前記グループ毎に判定する、請求項1に記載の判定システム。
  3.  前記快適性判定部は、
     前記グループ毎に加算された前記事象関連電位が、前記聴覚刺激呈示部から前記語音の音声が呈示された時刻を起点として600ms以上900ms以下の範囲内に所定の陽性成分を有するか否かを判定する陽性成分判定部と、
     100ms以上300ms以下の範囲内に所定の陰性成分を有するか否かに基づいて、前記ユーザが前記語音を快適に聞いているか否かを判定する陰性成分判定部と
     前記陽性成分判定部の判定結果、および、前記陰性成分判定部の判定結果に応じて前記快適性を前記グループ毎に判定する判定部と
     を備えた、請求項2に記載の判定システム。
  4.  前記明瞭度判定部は、前記語音毎に加算された前記事象関連電位が、前記視覚刺激呈示部から前記語音の文字が呈示された時刻を起点として200ms以上400ms以下の範囲内または約400ms以上600ms以下の範囲内に所定の陽性成分を有するか否かに基づいて、前記明瞭性を語音毎に判定する、請求項1または請求項2に記載の判定システム。
  5.  前記語音データベースにおいて、前記複数の語音の各々は、予め定められた規則に基づいて前記少なくとも1つのグループに分類されている、請求項1に記載の判定システム。
  6.  前記少なくとも1つのグループは、母音のグループ、有声子音のグループ、無声子音のグループである、請求項5に記載の判定システム。
  7.  前記語音データベースにおいて、前記複数の語音の各々は、異聴発生確率の大きさに基づいて前記少なくとも1つのグループに分類されている、請求項5に記載の判定システム。
  8.  前記第1の判定部が、前記ユーザが前記語音を努力して聞いているか否かを判定する場合には、前記少なくとも1つのグループは、前記語音の周波数に基づいて、グループ分けされている、請求項5に記載の判定システム。
  9.  前記第1の判定部が、前記ユーザが前記語音をうるさいと感じているか否かを判定する場合には、前記少なくとも1つのグループは、前記語音の種類に基づいて、グループ分けされている、請求項5に記載の判定システム。
  10.  前記呈示語音制御部は、前記ユーザに呈示する語音の呈示回数を決定し、
     前記語音データベースにおいて、前記複数の語音の各々は、語音数に基づいて前記複数のグループに分類されており、
     前記呈示語音制御部は、前記複数のグループの語音数に応じて、前記聴覚刺激呈示部が呈示する音声の呈示回数、および、前記視覚刺激呈示部が呈示する文字の呈示回数を決定する、請求項5に記載の判定システム。
  11.  前記呈示語音制御部は、前記ユーザに呈示する語音の呈示回数を決定し、
     前記聴覚刺激呈示部および前記視覚刺激呈示部は、前記呈示語音制御部によって決定された前記音声の呈示回数、および、前記文字の呈示回数に到達するまで、前記語音の音声および文字の呈示を継続する、請求項1に記載の判定システム。
  12.  前記呈示語音制御部は、前記ユーザに呈示する語音の呈示回数を決定し、
     前記呈示語音制御部は、前記ユーザに呈示する特定の語音を複数回呈示すると決定する、請求項1または11に記載の判定システム。
  13.  前記呈示語音制御部は、前記ユーザの脳波信号の大きさに応じて呈示回数を決定する、請求項12に記載の判定システム。
  14.  前記快適性判定部、および、前記明瞭度判定部からそれぞれ出力された判定結果を格納する聴力判定結果データベースをさらに備えた、請求項1に記載の判定システム。
  15.  前記語音データベースを参照して、前記事象関連電位を語音毎に加算する語音別加算部をさらに備え、
     前記明瞭度判定部は、前記語音毎に加算された前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定する、請求項1に記載の判定システム。
  16.  ユーザの脳波信号を計測する生体信号計測部と、
     複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定する呈示語音制御部と、
     決定された前記語音を音声で前記ユーザに呈示する聴覚刺激呈示部と、
     前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、
     前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力する快適性判定部と
     を備えた、判定システム。
  17.  複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定し、かつ、聴覚刺激呈示部が前記決定した前記語音を音声で前記ユーザに呈示し、視覚刺激提示部が前記決定した前記語音を文字で前記ユーザに呈示するように制御する呈示語音制御部と、
     前記語音データベースを参照して、生体信号計測部が計測した脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、
     前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力する快適性判定部と、
     前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力する明瞭度判定部と
     を備えた、判定システム。
  18.  ユーザの脳波信号を計測する生体信号計測部と、
     複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定し、語音の増幅量又は補聴処理を調整するための情報を含む調整量データベースを参照して、前記決定した語音を調整する呈示語音制御部と、
     調製された前記語音を音声で前記ユーザに呈示する聴覚刺激呈示部と、
     調製された前記語音を文字で前記ユーザに呈示する視覚刺激呈示部と、
     前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するグループ別加算部と、
     前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記調整された語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、少なくとも前記ユーザが前記調整された語音を努力して聞いているか否か、又は前記ユーザが前記調整された語音をうるさいと感じているかの判定する第1の判定部と、
     前記事象関連電位から、前記ユーザが前記調整された語音を明瞭に聞いているか否かの明瞭性を語音毎に判定する第2の判定部と、
     前記第1の判定部が、前記ユーザが前記調整された語音を努力して聞いていない、又は前記ユーザが前記調整された語音をうるさいと感じていないと判定し、かつ、前記第2の判定部が、前記ユーザが前記調整された語音を明瞭に聞いていると判定した場合、前記調整量が適切であると判定する調整部と
     を備えた、補聴器調整システム。
  19.  ユーザの脳波信号を計測するステップと、
     複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定するステップと、
     決定された前記語音を音声で前記ユーザに呈示するステップと、
     決定された前記語音を文字で前記ユーザに呈示するステップと、
     前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するステップと、
     前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力するステップと、
     前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力するステップと
     を包含する、判定方法。
  20.  聴力判定システムに設けられたコンピュータによって実行されるコンピュータプログラムであって、
     前記コンピュータプログラムは、前記聴力判定システムに実装されるコンピュータに対し、
     計測されたユーザの脳波信号を受け取るステップと、
     複数の語音のデータおよび前記複数の語音の少なくとも1つのグループのデータを格納する語音データベースを参照して、前記ユーザに呈示する語音を決定するステップと、
     決定された前記語音を音声で前記ユーザに呈示するステップと、
     決定された前記語音を文字で前記ユーザに呈示するステップと、
     前記語音データベースを参照して、前記脳波信号の事象関連電位を前記語音のグループ毎に加算するステップと、
     前記グループ毎に加算された前記事象関連電位から、前記ユーザが前記語音を快適に聞いているか否かの快適性を前記グループ毎に判定し、判定結果を出力するステップと、
     前記事象関連電位から、前記ユーザが前記語音を明瞭に聞いているか否かの明瞭性を語音毎に判定し、判定結果を出力するステップと
     を実行させる、コンピュータプログラム。
PCT/JP2011/003237 2010-06-11 2011-06-08 聴力判定システム、その方法およびそのプログラム WO2011155197A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180011484.4A CN102781321B (zh) 2010-06-11 2011-06-08 听力判定系统及其方法
JP2012508286A JP5002739B2 (ja) 2010-06-11 2011-06-08 聴力判定システム、その方法およびそのプログラム
US13/564,390 US9131868B2 (en) 2010-06-11 2012-08-01 Hearing determination system, and method and program for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-134240 2010-06-11
JP2010134240 2010-06-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/564,390 Continuation US9131868B2 (en) 2010-06-11 2012-08-01 Hearing determination system, and method and program for the same

Publications (1)

Publication Number Publication Date
WO2011155197A1 true WO2011155197A1 (ja) 2011-12-15

Family

ID=45097812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003237 WO2011155197A1 (ja) 2010-06-11 2011-06-08 聴力判定システム、その方法およびそのプログラム

Country Status (4)

Country Link
US (1) US9131868B2 (ja)
JP (1) JP5002739B2 (ja)
CN (1) CN102781321B (ja)
WO (1) WO2011155197A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5289591B1 (ja) * 2012-01-18 2013-09-11 三菱電機株式会社 音声ガイダンス機能搭載家電製品
JP2017148175A (ja) * 2016-02-23 2017-08-31 国立大学法人 筑波大学 きこえの診断装置、診断方法、及びプログラム
JP2020151095A (ja) * 2019-03-19 2020-09-24 株式会社東芝 聴力測定装置、聴力測定方法及びプログラム
CN111861819A (zh) * 2020-06-19 2020-10-30 北京国音红杉树教育科技有限公司 一种智能默写中评估用户记忆水平的方法及电子设备
EP3890592A4 (en) * 2018-12-07 2022-07-13 Cochlear Limited TEST SYSTEM AND PROCEDURES FOR LANGUAGE DISCRIMINATION

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6387352B2 (ja) 2012-10-24 2018-09-05 ドリームスケープ メディカル エルエルシー 脳系生体信号を検出するシステム
CN103054586B (zh) * 2012-12-17 2014-07-23 清华大学 一种基于汉语言语测听动态词表的汉语言语自动测听方法
US9675776B2 (en) * 2013-01-20 2017-06-13 The Block System, Inc. Multi-sensory therapeutic system
CN104545904A (zh) * 2013-10-24 2015-04-29 上海市气功研究所 一种认知脑电检测分析方法及其装置
CN111493883B (zh) * 2020-03-31 2022-12-02 北京大学第一医院 汉语重复-回忆言语认知功能测试评估系统
CN112426150A (zh) * 2020-12-04 2021-03-02 湖南省医疗器械检验检测所 一种多功能听力计及其相应的用于验配助听器的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11511367A (ja) * 1995-09-18 1999-10-05 クリーブランド、メディカル、デバイシズ、インコーポレーテッド 効果的な聴性誘発反応のためのワイアレスeegシステム
JP2004275619A (ja) * 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
WO2005001677A1 (ja) * 2003-06-27 2005-01-06 Matsushita Electric Industrial Co., Ltd. サービス提供装置
WO2007066440A1 (ja) * 2005-12-08 2007-06-14 Matsushita Electric Industrial Co., Ltd. 情報処理システム、情報処理装置および方法
JP2008503261A (ja) * 2004-06-18 2008-02-07 ニューロントリックス インコーポレイテッド 神経学的疾患のための誘発反応試験システム
WO2011093005A1 (ja) * 2010-01-28 2011-08-04 パナソニック株式会社 語音明瞭度評価システム、その方法およびそのプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL99946A (en) * 1991-11-03 1995-12-31 Or Gil Computerized Medical Sy Apparatus for determination of auditory threshold to intelligible speech
JPH06114038A (ja) 1992-10-05 1994-04-26 Mitsui Petrochem Ind Ltd 聴覚検査・訓練装置
JPH0938069A (ja) 1995-08-02 1997-02-10 Nippon Telegr & Teleph Corp <Ntt> 語音聴力検査方法およびこの方法を実施する装置
WO2001087147A2 (en) * 2000-05-19 2001-11-22 Michael Sasha John System and method for objective evaluation of hearing using auditory steady-state responses
EP1611846B1 (en) 2004-07-02 2015-11-18 Maico Diagnostic GmbH Method to design acoustic stimuli in the spectral domain for the recording of Auditory Steady-State Responses (ASSR)
JP2008539977A (ja) 2005-05-11 2008-11-20 バイオ−ロジック システムズ コーポレイション 神経生理学的中枢聴覚処理評価システム及び方法
CN102988059B (zh) 2006-10-13 2014-09-17 鲁特格斯州立大学 获取提高正常生长的婴儿听觉或视觉的方法与系统
US8364238B2 (en) 2008-11-14 2013-01-29 Neuronetrix Solutions, Llc Electrode system
US8805489B1 (en) 2010-02-08 2014-08-12 Einat OFEK Personal meaning extraction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11511367A (ja) * 1995-09-18 1999-10-05 クリーブランド、メディカル、デバイシズ、インコーポレーテッド 効果的な聴性誘発反応のためのワイアレスeegシステム
JP2004275619A (ja) * 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
WO2005001677A1 (ja) * 2003-06-27 2005-01-06 Matsushita Electric Industrial Co., Ltd. サービス提供装置
JP2008503261A (ja) * 2004-06-18 2008-02-07 ニューロントリックス インコーポレイテッド 神経学的疾患のための誘発反応試験システム
WO2007066440A1 (ja) * 2005-12-08 2007-06-14 Matsushita Electric Industrial Co., Ltd. 情報処理システム、情報処理装置および方法
WO2011093005A1 (ja) * 2010-01-28 2011-08-04 パナソニック株式会社 語音明瞭度評価システム、その方法およびそのプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SATOKO HISANAGA ET AL.: "Shichokaku Onsei Shori no Nichiei Bogo Kan ERP Hikaku", REPORT OF THE 2009 AUTUMN MEETING, THE ACOUSTICAL SOCIETY OF JAPAN CD-ROM, September 2009 (2009-09-01), pages 567 - 570 *
SHIN'YA KURIKI: "Measurements of auditory evoked neuromagnetic field using a multichannel SQUID magnetometer", JOURNAL OF THE ACOUSTICAL SOCIETY OF JAPAN, vol. 48, no. 5, May 1992 (1992-05-01), pages 320 - 327 *
TAKAHIRO TAMESUE ET AL.: "Kioku Seishin Sagyo Ji no Soon ni Taisuru Shinri - Seiriteki Teiryo Hyoka ni Kansuru Kisoteki Kosatsu", REPORT OF THE 2009 SPRING MEETING, THE ACOUSTICAL SOCIETY OF JAPAN CD-ROM, March 2009 (2009-03-01), pages 1031 - 1032 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5289591B1 (ja) * 2012-01-18 2013-09-11 三菱電機株式会社 音声ガイダンス機能搭載家電製品
JP2017148175A (ja) * 2016-02-23 2017-08-31 国立大学法人 筑波大学 きこえの診断装置、診断方法、及びプログラム
EP3890592A4 (en) * 2018-12-07 2022-07-13 Cochlear Limited TEST SYSTEM AND PROCEDURES FOR LANGUAGE DISCRIMINATION
JP2020151095A (ja) * 2019-03-19 2020-09-24 株式会社東芝 聴力測定装置、聴力測定方法及びプログラム
CN111861819A (zh) * 2020-06-19 2020-10-30 北京国音红杉树教育科技有限公司 一种智能默写中评估用户记忆水平的方法及电子设备
CN111861819B (zh) * 2020-06-19 2024-03-12 北京国音红杉树教育科技有限公司 一种智能默写中评估用户记忆水平的方法及电子设备

Also Published As

Publication number Publication date
US20120294451A1 (en) 2012-11-22
JPWO2011155197A1 (ja) 2013-08-01
CN102781321B (zh) 2015-04-08
JP5002739B2 (ja) 2012-08-15
US9131868B2 (en) 2015-09-15
CN102781321A (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5002739B2 (ja) 聴力判定システム、その方法およびそのプログラム
JP4690507B2 (ja) 語音明瞭度評価システム、その方法およびそのプログラム
JP5144835B2 (ja) うるささ判定システム、装置、方法およびプログラム
JP4638558B2 (ja) 語音明瞭度評価システム、その方法およびそのコンピュータプログラム
JP4769336B2 (ja) 補聴器の調整装置、方法およびプログラム
JP5144836B2 (ja) 語音聴取の評価システム、その方法およびそのプログラム
JP5042398B1 (ja) 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
JP5215508B1 (ja) 不快閾値推定システム、方法およびそのプログラム、補聴器調整システムおよび不快閾値推定処理回路
US8849391B2 (en) Speech sound intelligibility assessment system, and method and program therefor
US9479880B2 (en) Speech-sound distinguishing ability determination apparatus, speech-sound distinguishing ability determination system, hearing aid gain determination apparatus, speech-sound distinguishing ability determination method, and program thereof

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180011484.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792156

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012508286

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11792156

Country of ref document: EP

Kind code of ref document: A1