WO2013057928A1 - 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム - Google Patents

聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム Download PDF

Info

Publication number
WO2013057928A1
WO2013057928A1 PCT/JP2012/006611 JP2012006611W WO2013057928A1 WO 2013057928 A1 WO2013057928 A1 WO 2013057928A1 JP 2012006611 W JP2012006611 W JP 2012006611W WO 2013057928 A1 WO2013057928 A1 WO 2013057928A1
Authority
WO
WIPO (PCT)
Prior art keywords
auditory
video
user
related potential
event
Prior art date
Application number
PCT/JP2012/006611
Other languages
English (en)
French (fr)
Inventor
信夫 足立
小澤 順
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013512904A priority Critical patent/JP5352029B1/ja
Priority to CN2012800047581A priority patent/CN103327888A/zh
Publication of WO2013057928A1 publication Critical patent/WO2013057928A1/ja
Priority to US13/960,486 priority patent/US20130324880A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting

Definitions

  • This application relates to a technique for measuring an auditory event-related potential in response to an auditory stimulus with high accuracy. More specifically, the present application relates to a method of presenting an auditory stimulus while presenting an image and measuring an auditory event-related potential without being affected by fluctuations in the user's arousal level or the image.
  • the hearing aid amplifies an audio signal in a frequency band in which the hearing is lowered in accordance with the degree of hearing loss according to the state of hearing loss for each user. This makes it easier for the user to hear the sound.
  • the hearing per user is evaluated based on the user's subjective report.
  • the user's subjective report is an evaluation based on the subjective report, in which whether or not sound is heard is answered verbally or by pressing a button.
  • the evaluation based on the subjective report has the problem that the result varies depending on the language expression and personality, and the problem that the infant who cannot perform the subjective report cannot evaluate. Therefore, the development of methods for objectively evaluating hearing is progressing regardless of subjective reports.
  • Electroencephalogram is an effective tool for measuring user status such as perception and cognition.
  • the electroencephalogram reflects the neural activity of the cerebral cortex and is obtained by recording the potential change between two points on the scalp.
  • an auditory stimulus is presented to the user while recording an electroencephalogram while mounting an electrode on the user's scalp, a characteristic electroencephalogram is induced starting from the auditory stimulus.
  • This brain wave is called an auditory event-related potential.
  • the auditory event-related potential is an index that can objectively evaluate the user's hearing.
  • the auditory event-related potential includes an extrinsic component (auditory evoked potential) induced by an auditory stimulus and an intrinsic component caused by receiving the auditory stimulus.
  • Non-Patent Document 1 specifies the relationship between the loudness, which is an index of the subjective annoyance of the user, and the amplitude and latency of the N1 component with respect to the pure tone auditory stimulus. From the amplitude and latency of the N1 component, This suggests the possibility of estimating the loudness.
  • the “N1 component” is a negative sensory evoked potential that is evoked in about 100 ms starting from the presentation of auditory stimulation. Since the N1 component reflects the neural activity of the cerebral cortex, it is considered to have a higher correlation with the subjectivity than the brainstem reaction (ABR). This indicates the possibility that the loudness can be estimated in the auditory evaluation from the amplitude and latency of the N1 component.
  • Non-Patent Document 2 discloses an unpleasant threshold value estimation technique using habituation of the N1 component.
  • the “uncomfortable level” (also described as “UCL” in this specification) is a minimum sound pressure that is too loud to be heard for a long time. When the sound is so loud that it cannot be ignored, the fact that habituation of the N1 component does not occur is used.
  • One non-limiting exemplary embodiment of the present application is an auditory event-related potential measurement system for auditory evaluation, which suppresses fluctuations in auditory event-related potentials resulting from changes in arousal level, and provides high-accuracy auditory events.
  • a technique for measuring the related potential is provided.
  • an aspect of the present invention is to provide a region in a video so that the diagonal viewing angle of the region in the video presented to the user is greater than 2 degrees and smaller than 14 degrees.
  • a size determining unit that determines the size of the video
  • a video output unit that presents to the user a video including an area of the size determined by the size determining unit, and a period during which the video is presented to the user
  • An event-related potential is acquired from the electroencephalogram signal, starting from an auditory stimulus output section that presents the user with an auditory stimulus, a biological signal measurement section that measures the user's electroencephalogram signal, and a time at which the auditory stimulus was presented.
  • an auditory event-related potential measurement system including an electroencephalogram processing unit.
  • the auditory event-related potential measurement system it is possible to realize a highly accurate measurement of an auditory event-related potential by reducing fluctuations in the auditory event-related potential resulting from a change in the user's arousal level.
  • FIG. 4 is a flowchart showing a procedure of processes performed in the auditory event-related potential measurement system 1. It is a figure which shows the definition of the viewing angle in this specification. It is a figure which shows the example which determines the diagonal length (S) of the object for a visual angle calculation. It is a figure which shows typically the main area
  • Non-Patent Document 1 and Non-Patent Document 2 described above, a monotone auditory stimulus is presented for a long time. Therefore, the user often cannot maintain the arousal level.
  • auditory event-related potentials have a waveform that greatly depends on arousal level. It is thought to change. For this reason, even if a conventional method is used to make an audible evaluation using the amplitude or latency of the N1 component, the evaluation may not be correct.
  • Event-related potential is a type of electroencephalogram (EEG), which is a transient potential change in the brain that is temporally related to an external or internal event.
  • the “auditory event-related potential” is an event-related potential that is evoked by an auditory stimulus.
  • a P1 component that is a positive potential elicited at about 50 ms from an auditory stimulus
  • an N1 component that is a negative potential elicited at about 100 ms from an auditory stimulus presentation
  • an approximately 200 ms from an auditory stimulus presentation This corresponds to the P2 component, which is a positive potential induced in FIG.
  • Presenting sound means outputting a pure tone auditory stimulus, for example, outputting a pure tone from one ear of a headphone.
  • “Pure tone” is a sound represented by a sine wave having only a single frequency component among musical sounds that repeats periodic vibrations.
  • the type of headphones for presenting a pure tone is arbitrary. However, the headphones need only be able to accurately output a pure tone with the specified sound pressure. This makes it possible to correctly measure the uncomfortable sound pressure.
  • EOG Electronic electrogram
  • Ocular electricity is caused by the charged eyeball.
  • the cornea of the eyeball is positively charged and the retina is negatively charged.
  • the electrooculogram amplitude may be several tens of times greater than the event-related potential even at the electrodes on the scalp.
  • Ocular electricity can be a noise for event-related potentials.
  • the “viewing angle” is an angle formed by an object projected on the eyes.
  • satisfying the following Equation 1 is detected as vision.
  • tan ⁇ S / D (Equation 1)
  • D is the distance between the forefront of the participant's eyeball (hereinafter referred to as “eyeball position”) and the display
  • S is the diagonal of an object defined on the display (for example, a region where an image is presented). It is long.
  • FIG. 19 schematically shows an example of determining the diagonal length (S) of an object for viewing angle calculation.
  • the auditory event-related potential measurement system presents video in a size that is considered to be appropriate other than auditory stimulation, and reduces changes in the user's arousal level. Then, the auditory event-related potential is measured, which is less affected by electrical noise generated by changes in arousal level and eye movement during video viewing.
  • the auditory event-related potential measurement system includes a region in an image so that the diagonal viewing angle of the region in the image presented to the user is greater than 2 degrees and less than 14 degrees.
  • a size determining unit that determines the size of the video
  • a video output unit that presents to the user a video including an area of the size determined by the size determining unit, and a period during which the video is presented to the user
  • An event-related potential is acquired from the electroencephalogram signal, starting from an auditory stimulus output section that presents the user with an auditory stimulus, a biological signal measurement section that measures the user's electroencephalogram signal, and a time at which the auditory stimulus was presented.
  • an electroencephalogram processing section is an electroencephalogram processing section.
  • the auditory event-related potential measurement system further includes a calculation unit that adds and averages event-related potentials acquired by the electroencephalogram processing unit.
  • the auditory event-related potential measurement system further includes a distance measurement unit that measures a distance from the user's eyeball position to the video output unit.
  • the size determining unit determines a size of an area in the video based on the distance.
  • the distance measurement unit measures the distance at a predetermined timing
  • the size determination unit determines the size of the region in the video during the event-related potential measurement based on the measured distance. change.
  • the auditory event-related potential measurement system further includes a video playback processing unit that holds at least one type of the video content to be presented to the user and performs playback processing of the held video content.
  • the video content does not include audio information.
  • the video output unit prohibits the audio output.
  • the video playback processing unit holds a plurality of types of video content, and the video playback processing unit plays back video content selected by the user from the plurality of types of video content. Process.
  • the auditory event-related potential measurement system determines whether to present the auditory stimulus to one of the user's left and right ears, and to determine the frequency and sound pressure of the auditory stimulus, and has the determined characteristics.
  • An auditory stimulus generation unit that generates an auditory stimulus is further provided.
  • the size determination unit determines the size of the video so that the diagonal viewing angle of the entire video presented to the user has a range larger than 2 degrees and smaller than 14 degrees.
  • the size determining unit is configured to have a size of the partial area of the video so that a diagonal viewing angle of the partial area in the video presented to the user has a range larger than 2 degrees and smaller than 14 degrees. To decide.
  • the auditory event-related potential measurement method is an area in an image so that the diagonal viewing angle of the area in the image presented to the user is greater than 2 degrees and less than 14 degrees. Determining a size of the user, presenting to the user a video including an area of the size determined in the step of determining the size, and during the period in which the video is presented to the user Presenting an auditory stimulus, measuring the user's brain wave signal, and acquiring an event-related potential from the brain wave signal starting from the time when the auditory stimulus was presented.
  • a computer program which is one embodiment of the present invention is a computer program executed by a computer provided in an auditory event-related potential measuring device of an auditory event-related potential measuring system, and the computer program is a user for the computer. Determining the size of the region in the image so that the diagonal viewing angle of the region in the image presented in the above is greater than 2 degrees and less than 14 degrees; and determining the size to the user Presenting an image including an area of the size determined in the step; presenting an auditory stimulus to the user during a period in which the image is presented to the user; and obtaining an electroencephalogram signal of the user And an event-related potential from the electroencephalogram signal, starting from the time when the auditory stimulus is presented And a step of acquiring.
  • An auditory event-related potential measuring device is an auditory event-related potential measuring device incorporated and used in an auditory event-related potential measuring system having a video output unit, an auditory stimulus output unit, and a biological signal measuring unit.
  • a size determining unit that determines the size of the region in the video so that the diagonal viewing angle of the region in the video presented to the user is greater than 2 degrees and smaller than 14 degrees;
  • an electroencephalogram processing unit that acquires an event-related potential from the electroencephalogram signal measured by the measurement unit.
  • an auditory event-related potential measurement system when an auditory event-related potential is measured, an auditory event derived from a change in arousal level of a user by presenting an image in a size that is considered appropriate in addition to the auditory stimulus. It is possible to reduce the fluctuation of the related potential and to measure the auditory event related potential with high accuracy. In particular, it is effective in measuring auditory event-related potentials for auditory stimuli having a sound pressure lower than that generally evaluated as UCL. This improves the accuracy of the user's hearing evaluation, such as user dissatisfaction. This makes it possible to adjust the hearing aid with less.
  • an auditory event-related potential measurement system is outlined as an embodiment, and the configuration and operation of the auditory event-related potential measurement device are described in detail.
  • the inventors of the present application focused on a method of presenting visual stimuli (video) having a modality different from auditory stimuli during auditory event-related potential measurement in order to suppress fluctuations in the user's arousal level. That is, the inventors of the present application focused on a method of measuring an auditory event-related potential induced by an auditory stimulus while simultaneously presenting an auditory stimulus and a visual stimulus (video). Examples of the video capable of suppressing the arousal level include a movie, a TV program drama, and a sports broadcast. However, when viewing these images, an electrooculogram associated with eye movement is generated and mixed in the electroencephalogram as noise having a large amplitude (referred to as “ocular noise” in the present specification).
  • the inventors of the present application realized an auditory event-related potential measurement that is less susceptible to fluctuations in wakefulness and electrooculogram by appropriately selecting the size of the video to be presented and presenting the video.
  • FIG. 1 (a) shows an experimental paradigm for conventional auditory event-related potential measurement.
  • the horizontal axis is time, and the vertical line schematically shows the timing of auditory stimulation.
  • Auditory stimuli are presented repeatedly in order to reduce noise such as background electroencephalograms by averaging. For example, if the duration of an auditory stimulus is 100 ms, the average value of the interval between stimuli is 1 second, and the number of repetitions is 30 times, it takes about 30 seconds to measure one frequency, one sound pressure, and one ear's auditory event-related potential. Takes time.
  • FIG.1 (b) shows the user's virtual arousal level fluctuation
  • the horizontal axis is time, and the vertical axis is arousal level. According to FIG.1 (b), a mode that arousal level falls as time passes since the measurement start of an auditory event related electric potential is shown virtually.
  • FIG. 2 (a) shows an auditory event-related potential measurement paradigm that presents images in parallel.
  • the inventors of the present application focused on the auditory event-related potential measurement method shown in FIG.
  • an auditory stimulus is presented while an image is presented.
  • FIG. 2 (b) shows the virtual fluctuation of the user's arousal level during the auditory event-related potential measurement, as in FIG. 1 (b). It is considered that the reduction of the user's arousal level is suppressed by the presentation of the video, and the arousal level is maintained in a relatively high state.
  • the other is an electroencephalogram measurement experiment that measures the response to auditory stimuli.
  • pure sounds with the same frequency were presented three times in a monotonically decreasing sound pressure change in 5 dBHL increments, and event-related potentials for each auditory stimulus from the first sound to the third sound were measured.
  • the continuous presentation of auditory stimuli with a monotonously decreasing sound pressure change is also referred to as “decrescendo stimulus”.
  • the event-related potential for this auditory stimulus presentation was acquired and used as UCL value estimation data.
  • the inventors of the present application also performed wavelet transformation of event-related potentials for the first to third sounds even when presenting a decrescendo stimulus with a sound pressure lower than the sound pressure generally evaluated as UCL. It was found that the UCL of the subjective report can be estimated by linearly discriminating the calculated change pattern of the wavelet coefficient.
  • the sound pressure lower than the sound pressure generally evaluated as UCL varies depending on the HTL value.
  • Pascoe research results (Pascoe, DP (1988). (Clinical measurements of the auditory dynamic range and their relation to formulas for hearing aid gain. In 1ensen. H. 1. (Ed.) Hearing Aid: Based on Views 13th Danavox Symposium. Copenhagen: Stougaard.))
  • a value that is at least 5 dB lower than the estimated UCL value for each HTL value is set as the above-mentioned “low sound pressure”.
  • an event-related potential for an auditory stimulus occurs when the sound pressure of the auditory stimulus is higher than HTL. That is, the sound pressure range lower than the sound pressure generally evaluated as UCL is a range of sound pressure higher than HTL. This method enables UCL estimation in a short time and with high accuracy without presenting a loud sound.
  • Non-Patent Document 1 The subjective report experiment was conducted before and after the electroencephalogram measurement experiment. Similarly to Non-Patent Document 1, an intermittent sound was presented by an ascending method using an audiometer, and the sound pressure that was too noisy and uncomfortable was reported to the experiment participants, and the sound pressure was defined as UCL.
  • the inventors of the present application measured both ears one ear at a time for each of the three frequencies (1000, 2000, 4000 Hz) presented in the electroencephalogram measurement experiment. In order to prevent the experiment participants from predicting the sound pressure, the sound pressure at the start of the experiment was randomly determined from 60, 65, and 70 dB. The sound pressure of the intermittent sound was increased by 5 dB. Sound pressures that were too noisy and uncomfortable were reported by raising hands. Immediately after raising the participant's hand, the sound presentation was stopped, and the sound pressure was recorded as a subjective UCL value.
  • FIG. 3 shows UCL measurement results for each individual measured by subjective reports.
  • FIG. 3 shows the average value of the two measurement results.
  • the unit of sound pressure is dBHL.
  • the subjective UCL values vary to some extent. It can be seen that there are large variations among individuals.
  • Electroencephalogram measurement experiment In the electroencephalogram experiment, for three frequencies (1000 Hz, 2000 Hz, 4000 Hz), auditory stimuli of three sound pressures (80, 75, 70 dBHL) lower than the sound pressure generally evaluated as UCL were presented. . The three sound pressures were monotonously lowered. And the characteristic change of the event related electric potential for every auditory stimulus was investigated.
  • FIGS. 4, 5, and 6 experimental settings and experimental results of an electroencephalogram measurement experiment will be described.
  • the participants in the experiment were 15 adults (28-49 years old) with normal hearing, as in the subjective report experiment.
  • the inventors of the present application used a tone burst sound having a duration of 50 ms as an auditory stimulus.
  • the rise and fall of the auditory stimulus was 3 ms.
  • the characteristics of event-related potentials for sound pressure changes for each left and right ear and for each frequency The amount change was examined.
  • a plurality of auditory stimuli having the same frequency is referred to as an “auditory stimulus group”.
  • the auditory stimuli included in the auditory stimulus group were presented to the same ear at a predetermined interval. Auditory stimuli were presented one ear at a time using headphones.
  • FIG. 4 shows an outline of the auditory stimulation presented in the electroencephalogram measurement experiment.
  • the interval between auditory stimuli in the group of auditory stimuli with the same frequency was fixed at 300 ms.
  • the interval between the auditory stimulation groups was randomly determined in the range of 450 ⁇ 100 ms.
  • the auditory stimulation group for each left and right ear and each frequency was repeated 30 times (a total of 180 repetitions as the auditory stimulation group).
  • the inventors determined the frequency of the auditory stimulation group and the presentation ear with the following constraints. ⁇ The frequency is different from that of the previous auditory stimulation group. • Ears presenting auditory stimulation groups should be random on the left and right. However, in order to ensure the randomness of the stimulus to the left and right ears, the auditory stimulus group to either the left or right ear is not continued four times or more.
  • FIG. 5 (a) shows the electrode positions of the international 10-20 method (10-20 System).
  • FIG. 5B shows an electrode arrangement in which electrodes are mounted in this experiment. Circled numbers 1, 2 and 3 in FIG. 5B indicate electrode positions C3, Cz and C4, respectively.
  • the inventors of the present application recorded brain waves based on the right mastoid from C3, Cz, and C4 (international 10-20 method) on the scalp.
  • a “mastoid” is the mastoid process of the skull below the base of the back of the ear.
  • the position of the mastoid is indicated by “Ref”.
  • the electroencephalogram was measured with a sampling frequency of 1000 Hz, a time constant of 0.3 seconds, and a 30 Hz analog low-pass filter. A 5-20 Hz digital bandpass filter was applied off-line for the entire time zone of the measured electroencephalogram data. Thereafter, waveforms of ⁇ 100 ms to 400 ms were cut out from the respective auditory stimuli as event-related potentials for the auditory stimuli for each left and right ear, each frequency, and each sound pressure.
  • ⁇ 100 ms refers to a time point 100 milliseconds before the time when the auditory stimulus is presented.
  • the event-related potential waveforms and wavelet coefficients were averaged for each individual, left and right ears, frequency, and auditory stimulus from the first sound to the third sound. These are referred to as the addition average waveform and the addition average wavelet coefficient, respectively. Trials including an amplitude of 50 ⁇ V or more in absolute value in any electrode were excluded from the total average and the average because it is assumed to include the influence of noise caused by eye movements and blinks.
  • an average value of a frequency width of 5 Hz to 12.5 Hz of an addition average wavelet coefficient and a time width every 50 ms (hereinafter referred to as a wavelet feature quantity). Asked.
  • the event-related potentials that were averaged based on the subjective UCL value were compared.
  • the uncomfortable sound pressure from the event-related potential it is essential to have a difference in event-related potential that reflects the subjective UCL value for each participant.
  • the subjective UCL value is an index having a variation for each participant because personality with respect to a loud sound is different. For this reason, it is difficult to specify from the data for each individual whether or not there is a feature amount that reflects the subjective UCL value.
  • the event-related potentials were averaged and divided into two cases where the subjective UCL value was large and small, and the comparison was performed. Specifically, the averaging was performed separately for each participant, when the subjective UCL value for each frequency was greater than 95 dBHL and when it was 95 dBHL or less. Note that 95 dBHL is a value near the center of the subjective UCL value of all participants obtained in the subjective report experiment, and the number was almost the same when the subjective UCL value was greater than 95 dBHL and less than 95 dBHL.
  • FIG. 6 shows the total summed average waveform of brain waves for each subjective UCL value.
  • the electroencephalogram waveform to be added was measured from 100 ms before presentation of the first sound of the auditory stimulation group to 400 ms after presentation of the third sound in the central portion (Cz).
  • the case where the subjective UCL value is greater than 95 dBHL is indicated by a thick line, and the case where the subjective UCL value is 95 dBHL or less is indicated by a thin line.
  • the horizontal axis is time and the unit is ms, and the vertical axis is potential and the unit is ⁇ V. 0 ms on the horizontal axis is the first sound presentation time.
  • a negative N1 component is induced at approximately 100 ms and a positive P2 component is induced at approximately 200 ms, starting from the respective audio stimulus presentation timings indicated by arrows.
  • the subjective UCL value indicated by a thick line is larger than 95 dBHL
  • the N1-P2 amplitude is larger than when the subjective UCL is 95 dBHL or less. This suggests that there is a possibility that UCL can be estimated using the difference in event-related potential after the second sound as an index.
  • the N1-P2 amplitude represents the absolute value of the difference between the negative amplitude of the N1 component and the positive amplitude of the P2 component.
  • FIG. 7 shows the relationship between the magnitude of the subjective UCL value and the N1-P2 amplitude.
  • FIG. 7 shows the N1-P2 amplitude for each frequency for the first to third sounds when the subjective UCL value is greater than 95 dBHL and when it is less than 95 dBHL.
  • the N1-P2 amplitude is obtained as an absolute value of the difference between the N1 amplitude and the P2 amplitude.
  • the N1 amplitude was the section average potential from 90 ms to 110 ms after each auditory stimulus presentation of the first to third sounds.
  • the P2 amplitude was set to the average electric potential during the period from 190 ms to 210 ms after the presentation of the auditory stimulus.
  • the N1-P2 amplitudes for the first to third sounds are 4.24 ⁇ V, 2.51 ⁇ V, 1.45 ⁇ V, 1000 Hz, 2.99 ⁇ V, 1.45 ⁇ V, 1 at 2000 Hz, respectively. It was 2.28 ⁇ V, 1.40 ⁇ V, and 0.78 ⁇ V at 0.0000 ⁇ V and 4000 Hz.
  • the N1-P2 amplitudes for the first to third sounds when the subjective UCL value is 95 dBHL or less are 4.24 ⁇ V, 1.95 ⁇ V, 0.99 ⁇ V, and 2.95 ⁇ V and 1.11 ⁇ V at 2000 Hz, respectively. 0.88 ⁇ V, 1.84 ⁇ V, 1.33 ⁇ V, and 0.63 ⁇ V at 4000 Hz.
  • the N1-P2 amplitude for the second sound and the third sound was larger when the subjective UCL value was larger than 95 dBHL, compared to when the subjective UCL value was smaller than 95 dBHL. This indicates that at least the N1-P2 amplitude of the event-related potential with respect to the sound pressure change differs depending on the subjective UCL value.
  • the inventors of the present application examined the relationship between the subjective UCL value and the wavelet feature amount. Then, in order to clarify the accuracy of the uncomfortable sound pressure estimation using the feature amount change, a discriminant analysis was performed.
  • FIG. 8 shows the wavelet feature values for the first to third sounds for each condition and for each subjective UCL value.
  • wavelet feature amounts in a time zone from 201 ms to 250 ms are shown.
  • zone has shown the time interval calculated from the presentation time, whenever an auditory stimulus is shown.
  • the difference of the wavelet feature amount with respect to the first sound (80 dBHL) is small, it can be seen that the wavelet feature amount with respect to the second sound (75 dBHL) and the third sound (70 dBHL) varies depending on the subjective UCL value.
  • the wavelet feature amount for the second sound and the third sound is larger when the subjective UCL value is larger than 95 dBHL than when the subjective UCL value is smaller than or equal to 95 dBHL. This indicates that the event-related potential with respect to the sound pressure change has different wavelet feature values depending on the subjective UCL value.
  • the inventors of the present application performed a discriminant analysis.
  • Linear discriminant was used as a discriminant analysis technique.
  • the linear discrimination was performed by supervising the wavelet feature amount of the event-related potential for each sound pressure with the subjective UCL value for each left and right ear and each frequency obtained in the subjective report experiment.
  • the feature quantity was used alone or in combination, and the error from the subjective UCL value was compared for each number of feature quantity combinations.
  • FIG. 9 shows an example of data used in the uncomfortable sound pressure estimation.
  • the subjective UCL value in FIG. 9 is the UCL value for each participant, for each left and right ear, and for each frequency, measured by a subjective report experiment.
  • the sequence from the first sound to the third sound in FIG. 9 is the wavelet feature amount of the event-related potential for the first sound to the third sound of the auditory stimulus group from 201 ms to 250 ms after the presentation of the auditory stimulus.
  • the feature amount for each auditory stimulation group was supervised by the subjective UCL value, and linear discrimination was performed.
  • the inventors of the present invention perform linear discrimination on the linear discrimination target data that is the feature quantity of the event-related potential for the auditory stimulation group for each participant using the teacher data created from the feature quantity of the event-related potential of the other party. Carried out.
  • the inventors of the present application created teacher data for each condition, for each left and right ear, and for each frequency from the feature amount of the event-related potential of the other person.
  • the teacher data is created from the subjective UCL value of the right ear 1000 Hz of the data of the participants other than the participant 01 and the feature amount of the event-related potential.
  • the feature amount the above-described wavelet feature amount (time width 50 ms) was used.
  • the feature quantities are added in the column direction in both the linear discrimination target data and the teacher data.
  • the feature values for the first sound to the third sound in the first row to the third row are the fourth to sixth rows.
  • the eyes were feature amounts for the first to third sounds.
  • the absolute value of the difference between the subjective UCL value and the uncomfortable sound pressure estimation result was used as the estimation error, and the estimation accuracy was measured using the average estimation error obtained by averaging the estimation errors of the left and right and all frequencies of all participants.
  • FIG. 10 shows, as an example of the linear discrimination result, the distribution of the subjective UCL value and the uncomfortable sound pressure estimation result based on the linear discrimination when the number of feature quantity combinations is 5, for each condition.
  • the analysis was performed for each condition, for each left and right ear, and for each frequency, but FIG. 10 collectively shows the results obtained for each left and right ear and for each frequency.
  • the horizontal axis is the subjective UCL value
  • the unit is dBHL
  • the vertical axis is the estimated uncomfortable sound pressure
  • the unit is dBHL.
  • the uncomfortable sound pressure estimation result with respect to the subjective UCL value is shown on the lattice points with a circle.
  • the frequency distribution of the estimation result is indicated by the size of the circle.
  • the average estimation error was 5.2 dB. From this result, it can be seen that an unpleasant sound pressure correlated with the subjective UCL value can be estimated with some variation.
  • the discriminant analysis may be performed based on information on the P1-N1 amplitude and the N1-P2 amplitude without being limited to the wavelet feature amount.
  • teacher data may be created regardless of the left and right ears and frequency.
  • the time after the elapse of a predetermined time calculated from a certain time point in order to define the event-related potential component is expressed as, for example, “latency of about 100 ms”. This means that a range centered on a specific time of 100 ms can be included.
  • EMP Event-Related Potential
  • the terms “about Xms” and “near Xms” mean that a width of 30 to 50 ms can exist around the Xms (for example, 100 ms ⁇ 30 ms, 200 ms ⁇ 50 ms).
  • a pure tone having the same frequency is converted to a monotonically decreasing sound pressure change within a range of sound pressure lower than the sound pressure generally evaluated as UCL. It has been clarified that uncomfortable sound pressure can be estimated using feature quantities related to the wavelet coefficient of the electroencephalogram for each auditory stimulus from the first sound to the third sound when presented repeatedly.
  • an electrode for monitoring electrooculogram is provided around the eyeball, and the electrooculogram measured at the electrode is multiplied by a transfer coefficient of 1 or less to make the head.
  • a transfer coefficient of 1 or less to make the head
  • auditory event-related potential measurement without providing an electrode for an electrooculogram monitor is a precondition.
  • the frequency of the electrooculogram noise is about 10 Hz
  • the frequency of the electroencephalogram signal to be measured is greatly different, the influence can be reduced by frequency filtering.
  • the auditory event-related potential is about 10 Hz and is close to the frequency of electrooculogram noise, it is difficult to reduce electrooculogram noise by frequency filtering.
  • unpleasant sound pressure (referred to as subjective UCL value) for each frequency was measured by subjective report. Then, the auditory event-related potential measurement conditions are evaluated based on the unpleasant sound pressure estimated by linearly discriminating the auditory event-related potential measured under each condition (referred to as estimated unpleasant sound pressure) and the subjective UCL value error. Carried out.
  • FIG. 11 shows the conditions for screen presentation of the auditory event-related potential measurement experiment.
  • the fixation point and the video were presented on a display set 1m in front of the participants.
  • the fixed viewpoint under the no image condition was a mouse pointer (arrow) with a viewing angle of 0.5 degrees.
  • the video with the video condition presented the video with the visual angle of the number included in the condition name.
  • the experimental order for each condition was counterbalanced among the participants. Teaching to keep watching the fixed viewpoint in the condition without video and the video in the five conditions with video.
  • the auditory stimulation was the same regardless of the conditions (same as the electroencephalogram measurement experiment described in 1-2-2; FIG. 4).
  • pure sounds rise-fall 3 ms
  • three sound pressures 80, 75, 70 dBdHL
  • the pure tone of the same frequency was presented 3 times at intervals of 300 ms in the order of 80 dBHL, 75 dBHL, and 70 dBHL.
  • a triple presentation of pure tones of the same frequency is called an auditory stimulus group.
  • the auditory stimulation group presented one ear at a time.
  • the auditory stimulation group for each left and right ear and each frequency was repeated 25 times (a total of 150 times as the auditory stimulation group).
  • the interval between auditory stimulation groups was 450 ⁇ 50 ms.
  • the frequency of the auditory stimulus group and the presented ear were determined with the following constraints. The frequency is different from that of the immediately preceding auditory stimulation group. Ears presenting auditory stimulation groups are random on the left and right. However, in order to ensure the randomness of the stimulus to the left and right ears, the auditory stimulus group to either the left or right ear is not continued four times or more.
  • Electroencephalogram was recorded from C3, Cz, C4 (international 10-20 method) on the scalp based on the right mastoid.
  • a “mastoid” is the mastoid process of the skull below the base of the back of the ear.
  • FIG. 5 (a) shows the electrode positions of the international 10-20 method (10-20 System).
  • FIG. 5B shows an electrode arrangement in which electrodes are mounted in this experiment. Circled numbers 1, 2 and 3 in FIG. 5B indicate electrode positions C3, Cz and C4, respectively.
  • the electroencephalograph sampling frequency was 1000 Hz, the time constant was 0.5 seconds, and a 30 Hz analog low-pass filter was applied. A 5-20 Hz digital bandpass filter was applied off-line for the entire time zone of the measured electroencephalogram data. Thereafter, waveforms of ⁇ 100 ms to 400 ms were cut out from the respective auditory stimuli as event-related potentials for the auditory stimuli for each left and right ear, each frequency, and each sound pressure.
  • ⁇ 100 ms refers to a time point 100 milliseconds before the time when the auditory stimulus is presented.
  • the event-related potential waveforms and wavelet coefficients were averaged for each condition, for each individual, for each left and right ear, and for each auditory stimulus group from the first sound to the third sound for each frequency. These are referred to as the addition average waveform and the addition average wavelet coefficient, respectively. Trials including an amplitude of 50 ⁇ V or more in absolute value in any electrode were excluded from the total average and the average because it is assumed to include the influence of noise caused by eye movements and blinks.
  • an event-related potential feature quantity that can be an index of unpleasant sound pressure
  • an average value of a frequency width of 5 Hz to 12.5 Hz of an addition average wavelet coefficient and a time width every 50 ms hereinafter referred to as a wavelet feature quantity. Asked.
  • the subjective UCL value was also measured. Subjective UCL values are presented in an ascending manner using an audiometer in the same way as in the previous study (Takashi Kimitsu et al., "Characteristics of inner ear function tests in patients with hypersensitivity without hearing abnormalities", 2009). The sound pressure that was too loud to withstand was reported and measured. For each of the three frequencies (1000, 2000, 4000 Hz) presented in the auditory event-related potential measurement experiment, one ear was measured for each ear. In order not to predict the sound pressure, the sound pressure at the start of the experiment was randomly determined from 60, 65, and 70 dBHL. The sound pressure of the intermittent sound was increased by 5 dB. Sound pressures that were too loud to withstand were reported by raising hands. Immediately after raising the participant's hand, the sound presentation was stopped, and the sound pressure was recorded as a subjective UCL value.
  • Subjectivity report degree of arousal / eye strain
  • 12 (a) and 12 (b) show the results of subjective reports on the arousal level that were implemented after the electroencephalogram measurement under each condition.
  • Each numerical value represented by a bar graph is the average value of subjective reports on arousal level.
  • the vertical axis in FIG. 12 represents the arousal level. As described above, “I want to sleep very much” corresponds to 1, and “I don't want to sleep at all” corresponds to 7.
  • FIG. 12 (a) shows a comparison result between the condition without image and the condition with image. It can be seen that the arousal level is higher in the condition with the image than in the condition without the image. Therefore, it can be said that the reduction in arousal level during the measurement of auditory event-related potential can be reduced by video presentation.
  • FIG. 12B shows an average value of the arousal level for each size of the video presentation under the video presence condition. It can be seen that the awakening level increases as the video size increases from 2 degrees to 10 degrees. This partially agrees with the results of conventional research (Reeves, B. and Nass, C. (1996). The Media Expression: How people treatment computers, television and new media like reale.
  • the arousal level is not improved even when the video size is larger than 10 degrees. From this, it can be said that there is no difference in the effect of suppressing the arousal level reduction by the video presentation when the video size is larger than 10 degrees.
  • FIG. 13 shows the average value of subjective reports on eye fatigue.
  • the vertical axis in FIG. 13 is the degree of arousal. As described above, “very tired” is 1, and “not tired” is 7.
  • FIG. 13A shows a comparison between the no image condition and the image present condition. It can be seen that eye fatigue is less in the condition with the image than in the condition without the image. Therefore, it can be said that the eyes are less tired when viewing the video as compared to the case where the fixed viewpoint is kept during the auditory event-related potential measurement. It is thought that there is not much activity in daily life that suppresses eye movement and keeps looking at the fixation point, so even if the amount of eye movement itself is small, the eyes are likely to get tired.
  • FIG. 13A shows a comparison between the no image condition and the image present condition. It can be seen that eye fatigue is less in the condition with the image than in the condition without the image. Therefore, it can be said that the eyes are less tired when viewing the video as compared to the case where the fixed viewpoint is kept during
  • 13B is an average value of eye fatigue for each size of the video presentation under the video presence condition. It can be seen that only the image twice condition is different from the other conditions, and eye fatigue is great. This is probably because the size of the presented video was too small under the condition of the video twice, and the situation was close to an act of continuing to watch the fixation point.
  • FIG. 14 shows an estimation error for each size of the video presentation in the experiment conducted by the inventors of the present application. More specifically, FIG. 14 shows an unpleasant sound pressure for each participant and each frequency estimated by linearly determining an auditory event-related potential for an auditory stimulus having a sound pressure lower than a sound pressure generally evaluated as UCL. And the average error from the subjective UCL value for each condition.
  • shaft of FIG. 14 is an average value of estimation error.
  • the average value of the estimation error under the no-image condition was 5.6 dB.
  • the average values of the estimation errors from the video 2 degree condition to the video 18 degree condition were 5.8 dB, 3.6 dB, 4.4 dB, 5.8 dB, and 6.1 dB, respectively.
  • the average value of the estimation error is smaller than the no-image condition in the video 6 degree condition and the video 10 degree condition. Therefore, it is considered appropriate that the size of the video presented during the auditory event-related potential measurement is larger than the viewing angle of 2 degrees and smaller than the viewing angle of 14 degrees.
  • the above-described experiment conducted by the inventors of the present application shows that the auditory stimulation and the visual angle larger than 2 degrees and smaller than 14 degrees are presented simultaneously, so that the auditory event-related potential measurement can be performed with higher accuracy. realizable.
  • an auditory event-related potential measurement system will be described as an exemplary embodiment according to the present disclosure.
  • the auditory event-related potential measurement system presents a video of a size that is considered appropriate during the auditory event-related potential measurement, and is highly accurate auditory with less fluctuation of the user's arousal level and less noise due to video viewing. Realize event-related potential measurement.
  • the search electrode is provided in the center (Cz)
  • the reference electrode is provided in the right mastoid
  • an electroencephalogram that is a potential difference between the search electrode and the reference electrode is measured.
  • the level and polarity of the characteristic component of the event-related potential may vary depending on the part where the electroencephalogram measurement electrode is attached and the set positions of the reference electrode and the exploration electrode.
  • a person skilled in the art can perform an appropriate modification according to the current reference electrode and the exploration electrode to extract the characteristics of the event-related potential and measure the auditory event-related potential. It is. Such modifications are within the scope of the present disclosure.
  • FIG. 15 shows the configuration and usage environment of the auditory event-related potential measurement system 1.
  • This auditory event-related potential measurement system 1 (hereinafter referred to as “measurement system 1”) is illustrated in correspondence with the system configuration (FIG. 17) of the first embodiment described later.
  • the measurement system 1 measures the auditory event-related potential of the user 5 with high accuracy.
  • the electroencephalogram signal of the user 5 is acquired by the biological signal measurement unit 50 worn on the head of the user 5 and sent to the auditory event related potential measurement device 10 (hereinafter referred to as “measurement device 10”) wirelessly or by wire. .
  • the auditory stimulus output unit 61 and the video output unit 71 receive the information of the auditory stimulus and the video from the measurement device 10 wirelessly or by wire, respectively, and present the auditory stimulus and the video to the user 5, respectively.
  • the distance measuring unit 81 measures the distance between the eyeball position of the user 5 and the video output unit 71 and sends the measurement result to the measuring device 10 by wire or wirelessly.
  • the measurement system 1 shown in FIG. 15 includes a biological signal measurement unit 50 and an auditory stimulus output unit 61 in the same casing. But this is an example.
  • the biological signal measurement unit 50 and the auditory stimulus output unit 61 may be provided in separate housings.
  • the biological signal measuring unit 50 is a measuring instrument that measures a user's biological signal.
  • an example of the biological signal measurement unit 50 is an electroencephalograph.
  • the biological signal measuring unit 50 is connected to at least two electrodes A and B.
  • the electrode A is affixed to the mastoid of the user 5, and the electrode B is affixed to the center (so-called Cz) on the scalp of the user 5.
  • the biological signal measurement unit 50 measures an electroencephalogram of the user 5 corresponding to the potential difference between the electrode A and the electrode B, and outputs an electroencephalogram signal.
  • the auditory stimulus output unit 61 is, for example, a headphone or a speaker that outputs an auditory stimulus to the user 5.
  • the video output unit 71 is a monitor that presents video to the user 5, for example.
  • the distance measuring unit 81 is a distance meter that measures the distance between the eyeball position of the user 5 and the video output unit 71 at a predetermined timing. Any method can be used as long as the distance between the eyeball position of the user 5 and the video output unit 71 can be measured. For example, reflected waves of ultrasonic waves or millimeter waves may be used.
  • the measuring device 10 calculates an appropriate size of the video according to the distance between the user 5 and the video output unit 71 received from the distance measuring unit 81, and presents the video of a movie or a TV program to the user 5 at that size. While presenting auditory stimulation, the auditory event-related potential is measured.
  • FIG. 16 shows a hardware configuration of the measuring apparatus 10 according to the present embodiment.
  • the measurement apparatus 10 includes a CPU 30, a memory 31, an audio controller 32, and a graphic controller 33.
  • the CPU 30, the memory 31, the audio controller 32, and the graphic controller 33 are connected to each other via a bus 34 and can exchange data with each other.
  • the CPU 30 executes a computer program 35 stored in the memory 31.
  • the computer program 35 describes a processing procedure shown in a flowchart described later.
  • the measurement apparatus 10 performs processing for controlling the entire measurement system 1, such as generation of auditory stimuli, video playback, video brightness change detection, and exclusion trial determination. This process will be described in detail later.
  • the audio controller 32 outputs the auditory stimulus to be presented through the auditory stimulus output unit 61 at the designated timing and at the designated sound pressure and duration according to the instruction of the CPU 30.
  • the graphic controller 33 outputs an image via the image output unit 71 in accordance with an instruction from the CPU 30.
  • the measuring apparatus 10 may be realized as hardware such as a DSP in which a computer program is incorporated in one semiconductor circuit.
  • a DSP can realize all the functions of the CPU 30, the memory 31, the audio controller 32, and the graphic controller 33 with a single integrated circuit.
  • the computer program 35 described above can be recorded on a recording medium such as a CD-ROM as a product, distributed in the market, or transmitted through an electric communication line such as the Internet.
  • a device for example, a PC having hardware shown in FIG. 16 can function as the measuring apparatus 10 according to the present embodiment by reading the computer program 35.
  • FIG. 17 shows a functional block configuration of the measurement system 1 according to the present embodiment.
  • the measurement system 1 includes a biological signal measurement unit 50, an auditory stimulus output unit 61, a video output unit 71, a distance measurement unit 81, and a measurement device 10. Each component of the measurement system 1 is connected by wire or wirelessly.
  • the user 5 block is shown for convenience of explanation.
  • FIG. 17 also shows detailed functional blocks of the measuring apparatus 10.
  • the measurement apparatus 10 includes an electroencephalogram processing unit 55, an auditory stimulus generation unit 60, a video reproduction processing unit 70, a video size determination unit 75, and an auditory event related potential calculation unit 100.
  • Each functional block of the measuring device 10 is a function realized by the CPU 30, the memory 31, the audio controller 32, and the graphic controller 33 as a whole by executing the program described with reference to FIG. 16. It corresponds.
  • the auditory stimulus generation unit 60 determines information on the auditory stimulus to be presented to the user 5.
  • the information of the auditory stimulus includes whether it is presented to the right ear or the left ear of the user 5, and the frequency and sound pressure of the presented auditory stimulus.
  • the sound pressure of the auditory stimulus to be presented is determined within a range of sound pressures smaller than the sound pressure generally evaluated as UCL, for example.
  • the frequency of the auditory stimulation and the left and right ears may be determined randomly based on the following constraints, for example. ⁇ Do not select the same frequency as the previous auditory stimulus. ⁇ Select left and right ears in random order.
  • presentation of auditory stimuli to either the left or right ear should not be continued more than 4 times. By doing so, the influence of brain wave habitation due to continuous presentation of auditory stimuli of the same ear and frequency can be reduced, and high-accuracy auditory event-related potential measurement can be realized.
  • the auditory stimulus generation unit 60 generates the determined auditory stimulus as an audio signal, and sends it to the auditory stimulus output unit 61 with a predetermined interval between the stimuli.
  • the auditory stimulus may be, for example, a tone burst sound having a rise time and a fall time of 3 ms.
  • the duration of the auditory stimulation is set to, for example, 25 ms or more so that the auditory event-related potential is stably triggered.
  • the predetermined inter-stimulus interval is set to a time not shorter than the duration of the auditory stimulus and not longer than 2 seconds. For example, it may be 500 ms or 1 second.
  • the auditory stimulus generation unit 60 outputs a trigger to the electroencephalogram processing unit 55 at the timing when the information of the auditory stimulus is sent to the auditory stimulus output unit 61. This trigger is used when the brain wave processing unit 55 cuts out an event-related potential for an auditory stimulus.
  • the auditory stimulus generator 60 sends the information of the auditory stimulus to the auditory stimulus output unit 61 at the timing of presenting the auditory stimulus, the left and right ears, the frequency of the auditory stimulus, and the sound pressure information. Send to.
  • the auditory stimulus generation unit 60 may be configured by an input unit.
  • Information input by the user 5 or the hearing tester of the user 5 through the input unit may be information on auditory stimulation. That is, in this measurement system 1, it is also possible to receive auditory stimuli from the outside instead of generating them internally.
  • the auditory stimulus output unit 61 is connected to the auditory stimulus generator 60 by wire or wirelessly.
  • the auditory stimulus output unit 61 reproduces the auditory stimulus data generated by the auditory stimulus generator 60 and presents it to the user 5.
  • the auditory stimulus output unit 61 may send information on the time when the auditory stimulus is presented to the brain wave processing unit 55 using the presentation of the auditory stimulus to the user 5 as a trigger.
  • the biological signal measurement unit 50 measures the biological signal of the user 5.
  • the biological signal measuring unit 50 measures an electroencephalogram signal corresponding to the potential difference between the exploration electrode and the reference electrode as a biological signal. Frequency filtering with an appropriate cutoff frequency may be performed on the electroencephalogram signal.
  • the biological signal measurement unit 50 sends the measured electroencephalogram signal or the filtered electroencephalogram signal to the electroencephalogram processing unit 55.
  • the measured electroencephalogram signal or the filtered electroencephalogram signal is also referred to as electroencephalogram data.
  • the cutoff frequency may be set so as to pass from 5 Hz to 15 Hz, for example. It is assumed that the user 5 is wearing an electroencephalograph in advance.
  • the exploration electrode for electroencephalogram measurement is attached to, for example, Cz at the center.
  • the electroencephalogram processing unit 55 acquires an event-related potential in a predetermined section from the electroencephalogram data received from the biological signal measurement unit 50, starting from the trigger received from the auditory stimulus generation unit 60 or the auditory stimulus output unit 61. For example, the electroencephalogram processing unit 55 cuts out the event-related potential in a section from 100 ms before the auditory stimulus presentation to 400 ms after the auditory stimulus presentation.
  • the section to be cut out may be a section including a target auditory event-related potential component.
  • a positive component P1 component
  • the section to be cut out may be a section from 100 ms before the presentation of the auditory stimulus to 400 ms after the presentation of the auditory stimulus, or a section from 50 ms to 150 ms from the time of the auditory stimulus.
  • the electroencephalogram processing unit 55 sends the extracted event-related potential to the auditory event-related potential calculation unit 100.
  • the extracted event-related potential does not mean only the electroencephalogram data actually extracted from a predetermined section of the measured electroencephalogram signal.
  • the electroencephalogram data in which a necessary potential can be extracted even if it is not actually extracted is also included.
  • a necessary event-related potential can be extracted at any time. It can be said that the electroencephalogram processing unit 55 can acquire “the extracted event-related potential” by acquiring these.
  • the distance measuring unit 81 is a distance meter that measures the distance between the eyeball position of the user 5 and the video output unit 71 at a predetermined timing. Any method can be used as long as the distance between the eyeball position of the user 5 and the video output unit 71 can be measured. For example, an ultrasonic wave or a reflected wave of millimeter wave may be used. Then, the measurement result is sent to the video size determination unit 75.
  • the distance measurement unit 81 measures the angle between the eyeball position of the user 5 and the video output unit 71. For example, an angle between a line segment connecting the eyeball position of the user 5 and the center of the video output by the video output unit 71 and a line segment perpendicular to the screen of the video output unit 71.
  • the distance measuring unit 81 sends the measured angle to the video size determining unit 75.
  • the video size determining unit 75 Based on the distance between the user 5 and the video output unit 71 received from the distance measuring unit 81, the video size determining unit 75 sets the size of the video presented to the user using the above-described formula 1 to a viewing angle greater than 2 degrees. Decide in a range smaller than degrees. Alternatively, the video size determination unit 75 determines a video size of a viewing angle of 6 degrees or more and a viewing angle of 10 degrees or less.
  • the diagonal length of the video is determined in a range larger than 3.5 cm and smaller than 24.9 cm. Then, the determined video size is sent to the video reproduction processing unit 70.
  • the video size is determined in a range larger than the visual angle 2 degrees and smaller than the visual angle 14 degrees. May be. In this case, after adjusting the initial position based on the angle information between the eyeball position of the user 5 and the video output unit 71, the video size is determined based on Equation 1.
  • the video reproduction processing unit 70 holds in advance video (content) data presented to the user in a hard disk drive (not shown), for example.
  • the video reproduction processing unit 70 reproduces the video with the video size received from the video size determining unit 75. That is, the video reproduction processing unit 70 controls the output of video content.
  • Video content is information in which a plurality of images, at least partially different, are continuous in time series. For example, a drama or sports broadcast of a movie or TV video is used. In order to suppress the fluctuation of the arousal level of the user 5, the user 5 may select the content in accordance with the degree of interest of the user 5.
  • the video content does not include audio information.
  • Audio information may be included in the video content itself.
  • output of the audio information included in the video content is performed by controlling the video reproduction processing unit 70 so that the audio is not output from the speaker. Should be prohibited.
  • the video output unit 71 is connected to the video playback processing unit 70 in a wired or wireless manner, and outputs the video played back by the video playback processing unit 70.
  • the video is always played back during auditory event-related potential measurement.
  • the auditory event-related potential calculation unit 100 adds the event-related potential received from the electroencephalogram processing unit 55 based on the information of the auditory stimulus received from the auditory stimulus generation unit 60. Average. For example, the averaging is performed for each left and right ear, each frequency, and each sound pressure.
  • the event-related potential is a very small potential (for example, several ⁇ V)
  • the measured event-related potential is generally used by averaging.
  • the event-related potential can be acquired with high accuracy, the event-related potential for one sound may be used. In this case, the calculation unit 100 can be omitted.
  • FIG. 18 is a flowchart showing a procedure of processing performed in the measurement system 1.
  • the distance measuring unit 81 is a distance meter that measures the distance between the eyeball position of the user 5 and the video output unit 71. Any method can be used as long as the distance between the eyeball position of the user 5 and the video output unit 71 can be measured. For example, reflected waves of ultrasonic waves or millimeter waves may be used. Then, the measurement result is sent to the video size determination unit 75.
  • step S ⁇ b> 102 the video size determination unit 75 determines the size of the video to be presented to the user using Equation 1 above based on the distance between the user 5 and the video output unit 71 received from the distance measurement unit 81. It is determined within a range larger than the viewing angle of 14 degrees. For example, when the distance between the user 5 and the video output unit 71 is 1 m, the diagonal length of the video is determined in a range smaller than 3.5 cm and smaller than 24.9 cm. Then, the determined video size is sent to the video reproduction processing unit 70.
  • step S103 the biological signal measurement unit 50 measures the brain wave of the user 5 as a biological signal. Then, frequency filtering with an appropriate cutoff frequency is performed on the electroencephalogram data, and the continuous electroencephalogram data is sent to the electroencephalogram processing section.
  • step S ⁇ b> 104 the video reproduction processing unit 70 reproduces the video content stored in advance in the video reproduction processing unit 70 with the size determined by the video size determination unit 75 and presents it to the user 5 via the video output unit 71.
  • the video content is, for example, a drama or sports broadcast of a movie or TV video.
  • the user 5 may select the content in accordance with the degree of interest of the user 5. Note that the video content is presented so as not to include sound.
  • the auditory stimulus generation unit 60 determines information of the auditory stimulus to be presented to the user 5.
  • the information of the auditory stimulus includes whether it is presented to the right ear or the left ear of the user 5, and the frequency and sound pressure of the presented auditory stimulus.
  • the sound pressure of the auditory stimulus is generally determined in a lower sound pressure range than is evaluated as UCL.
  • the auditory stimulus generator 60 generates the determined auditory stimulus and sends it to the auditory stimulus output unit 61 with a predetermined inter-stimulus interval.
  • the auditory stimulus generation unit 60 outputs a trigger to the electroencephalogram processing unit 55 at the timing when the information of the auditory stimulus is sent to the auditory stimulus output unit 61.
  • the auditory stimulus generator 60 sends the information of the auditory stimulus to the auditory stimulus output unit 61 at the timing of presenting the auditory stimulus, the left and right ears, the frequency of the auditory stimulus, and the sound pressure information. Send to.
  • step S106 the auditory stimulus output unit 61 reproduces the auditory stimulus data generated by the auditory stimulus generator 60 and presents it to the user 5.
  • step S107 the electroencephalogram processing unit 55 starts from the electroencephalogram data received from the biological signal measurement unit 50 with a trigger received from the auditory stimulus generation unit 60 as a starting point (for example, from 100 ms before presenting the auditory stimulus to 400 ms after presenting the auditory stimulus).
  • the event-related potential in (interval) is cut out.
  • the event-related potential is sent to the calculation unit 100.
  • the electroencephalogram processing unit 55 sends the information on the left and right of the auditory stimulus received from the auditory stimulus generation unit 60, the frequency, and the sound pressure to the calculator 100.
  • Step S108 is a branch depending on whether or not the auditory stimulus presentation and the event-related potential extraction from step S105 to step S107 have been performed a predetermined number of times. For example, when the number of repetitions is 30 times for three sound pressures of five frequencies for the left and right ears, the predetermined number is 900 times (2 ⁇ 5 ⁇ 3 ⁇ 30). If Yes in step S108, the process proceeds to step S109. If No, the process returns to step S105 to repeat the presentation of the auditory stimulus and the extraction of the event-related potential.
  • step S ⁇ b> 109 the calculation unit 100 executes addition averaging of the event-related potentials similarly received from the electroencephalogram processing unit 55 based on the information of the auditory stimulation received from the electroencephalogram processing unit 55.
  • step S109 is not essential.
  • the user 5 is receiving auditory stimulation with a relatively high arousal level, and thus it can be said that the accuracy of the auditory event-related potential induced by the auditory stimulation is high. Because. It should be noted that the process of step S109 is provided to further improve accuracy.
  • an image is presented in a size in which the diagonal viewing angle is larger than 2 degrees and smaller than 14 degrees according to the distance between the user and the display.
  • High-accuracy auditory event-related potential measurement can be realized with little influence of electrooculogram noise caused by degree fluctuation and video viewing.
  • the video size determination unit 75 calculates the viewing angle based on Equation 1 with the diagonal length of the presented video as S. That is, the video size determination unit 75 determines the size of the video by regarding the entire video display area as a range (area) in which the line-of-sight movement can occur.
  • a range (area) in which a visual line movement can occur in an image can be specified in advance
  • the diagonal length of the region may be set to S.
  • FIGS. 20A and 20B each show a region where the diagonal length can be defined by a broken line.
  • the diagonal length of the main area 201a of the content may be S
  • the diagonal length of the caption display area 201b may be S. Good.
  • the main length of the content and the diagonal length of the caption display area may be stored in advance in the database or may be calculated in real time.
  • the video size determination unit 75 does not need to determine the size of the video itself, and may determine the size of the region for determining such a diagonal length S.
  • FIG. 21 schematically shows a main area 201a whose size is changed.
  • the video size determination unit 75 may change the size of the main area so that the main area of the content occupies a partial range of the entire video. At that time, areas other than the main area may be grayed out.
  • the video size is constant and the user's 5 eyeball position and the distance between the video output unit 71 are set in advance so that the diagonal viewing angle is larger than 2 degrees and smaller than 14 degrees. 5 or the position of the video output unit 71 may be adjusted. In this case, the distance measuring unit 81 and the video size determining unit 75 can be omitted.
  • distance measurement may be performed at predetermined intervals, and the video size may be determined again during the auditory event-related potential.
  • the size of the entire image may be dynamically changed. For example, when the region other than the main region is grayed out as shown in FIG. 21, the size of the entire image is not changed and is indicated by an arrow. Thus, the size of the grayed out area may be changed.
  • the video size may be determined according to the genre of the video to be reproduced. For example, in sports broadcasts where eye movements are expected to occur frequently, the diagonal viewing angle is set to be larger than 2 degrees and smaller than 8 degrees, and in drama where the frequency of eye movements is expected to be low, the diagonal viewing angle is set. May be set to be 8 degrees or more and less than 14 degrees.
  • the results of the auditory event-related potential measurement are not accumulated, but a result accumulation database may be newly provided to accumulate the results.
  • the video to be presented is held in advance in the video reproduction processing unit 70.
  • a TV image broadcast in real time may be presented when the auditory event-related potential is measured.
  • the luminance change detecting unit 76 may detect the luminance change of the TV video.
  • the P1 component of the user 5 is acquired.
  • the P1 component is greater than or equal to a predetermined threshold value, it means that the user 5 feels that the sound pressure of the presented sound (auditory stimulus) is noisy.
  • the sound pressure that the user 5 feels loud can be measured, and the hearing aid can be adjusted based on the measured information.
  • the measuring apparatus 10 includes at least a video reproduction processing unit 70 and an electroencephalogram processing unit 55.
  • the video size that is considered appropriate is a range in which the diagonal viewing angle of the video is greater than 2 degrees and less than 14 degrees.
  • This range is a range obtained by the present inventor based on the waveform of the event-related potential obtained by experiments. This range may vary depending on conditions different from the conditions of the experiment conducted by the inventors of the present application, for example, the type of video to be presented, the physical condition of the experiment participant on the day, and the visual acuity.
  • a value of 2 degrees or less may be the lower limit
  • a value of 14 degrees or more for example, 14.5 degrees
  • This range may be varied on the basis of whether or not the user's arousal level can be maintained under conditions where the auditory event-related potential measurement system is used. References herein to “ranges greater than 2 degrees and less than 14 degrees” do not exclude such variations, but are construed to include such variations.
  • the auditory event-related potential measurement device and the auditory event-related potential measurement system incorporating the auditory event-related potential measurement device of the present disclosure by presenting an image of a size that is considered appropriate in parallel with the auditory stimulus, Suppressing the influence of noise caused by arousal level reduction and video viewing, and realizes highly accurate auditory event-related potential measurement.
  • the measurement result of the auditory event-related potential with high accuracy can be used in the objective auditory evaluation of the user.
  • Auditory event-related potential measurement system 5
  • Auditory event-related potential measurement device (measurement device)
  • DESCRIPTION OF SYMBOLS 50 Biological signal measurement part 55
  • Distance measurement part 100 Auditory event related electric potential calculation part

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

 聞こえ評価のための聴覚事象関連電位測定システムにおいて、覚醒度の変化に由来する聴覚事象関連電位の変動を抑制し、高精度に聴覚事象関連電位を計測するために、聴覚刺激以外に適切と考えられるサイズで映像を呈示してユーザの覚醒度の変化を低減する。 聴覚事象関連電位計測システムは、ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するサイズ決定部と、ユーザに、サイズ決定部で決定された大きさの領域を含む映像を呈示する映像出力部と、ユーザに映像が呈示されている期間中にユーザに聴覚刺激を呈示する聴覚刺激出力部と、ユーザの脳波信号を計測する生体信号計測部と、聴覚刺激が呈示された時刻を起点として、脳波信号から事象関連電位を取得する脳波処理部とを備えている。

Description

聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
 本願は、聴覚刺激に対する聴覚事象関連電位を高精度に測定するための技術に関する。より具体的には、本願は、映像を呈示しながら聴覚刺激を呈示し、ユーザの覚醒度の変動や映像の影響を受けずに、聴覚事象関連電位を計測する方法に関する。
 近年、補聴器の小型化・高性能化に伴い、補聴器を利用するユーザが増加している。補聴器は、ユーザごとの聴力低下の状態に合わせて、聴力が低下している周波数帯の音声信号を、聴力低下の度合いに合わせて増幅する。これにより、ユーザが音を聞き取りやすくする。
 聴力低下の状態はユーザごとに異なるため、補聴器の利用を開始する前には、ユーザごとの聞こえを正しく評価する必要がある。そして、その評価結果に基づいて、周波数ごとの音の増幅量を決定する「フィッティング」を行う。
 一般的に、ユーザごとの聞こえは、ユーザの主観報告に基づいて評価される。ユーザの主観報告とは、主観報告に基づく評価では、音が聞こえているか又は音が聞こえていないかを、口頭あるいはボタン押し等で回答させる。しかし、主観報告による評価は、言語表現やパーソナリティによって、結果がばらつくという問題と、主観報告のできない乳児では評価ができないという問題がある。そこで、主観報告によらず、聞こえを客観的に評価する手法の開発が進んでいる。
 脳波は、知覚・認知等のユーザ状態を測定するための有効なツールである。脳波は、大脳皮質の神経活動を反映しており、頭皮上2点間の電位変化を記録して得られる。ユーザの頭皮上に電極を装着して脳波を記録しながら、ユーザに対して聴覚刺激を呈示すると、聴覚刺激を起点に特徴的な脳波が惹起される。この脳波は聴覚事象関連電位と呼ばれる。聴覚事象関連電位は、ユーザの聞こえを客観的に評価可能な指標である。聴覚事象関連電位は、聴覚刺激によって誘発される外因性成分(聴覚誘発電位)と、聴覚刺激を受けたことによる内因性成分を含む。
 非特許文献1は、ユーザの主観的なうるささの指標であるラウドネスと、純音聴覚刺激に対するN1成分の振幅および潜時との関係を特定し、N1成分の振幅および潜時から、聞こえ評価のうちラウドネスを推定できる可能性を示唆している。なお、「N1成分」とは、聴覚刺激呈示を起点に約100msにおいて惹起される陰性の感覚誘発電位である。N1成分は、大脳皮質の神経活動を反映しているため、脳幹反応(ABR)と比較して、主観との相関が高いと考えられている。これは、N1成分の振幅および潜時から、聞こえ評価のうちラウドネスを推定できる可能性を示している。
 また、非特許文献2は、N1成分の馴化を用いた不快閾値推定技術を開示している。「不快閾値」(uncomfortable level:本明細書では「UCL」も記述する。)とは、うるさすぎて長時間聞き続けることのできない最小の音圧である。音が大きすぎて無視できないときには、N1成分の馴化が生じないことを利用している。
 聴覚事象関連電位は背景脳波と比較して信号対雑音比(S/N)が低いため、刺激を繰り返し呈示し、加算平均を行うことにより、混入するノイズの影響を低減する必要がある。そのため、繰り返し回数をNとしたとき、刺激間間隔のN倍の時間を要する。たとえば、非特許文献2では、刺激間間隔1秒で800回の繰り返しを実施しているため、聴覚刺激の種類ごとに、800秒(十数分)の時間がかかる。
Hoppe,U.他、「Loudness perception and late auditory evoked potentials in adult cochlear implant users」、2001年 Mariam,M.他、「Comparing the habituation of late auditory evoked potentials to loud and soft sound」、2009年
 上述した従来の技術では、脳波計測をより早く行い、さらにより正確な聞こえ評価を行うことが求められていた。
 本願の、限定的ではない例示的なある実施形態は、聞こえ評価のための聴覚事象関連電位測定システムにおいて、覚醒度の変化に由来する聴覚事象関連電位の変動を抑制し、高精度に聴覚事象関連電位を計測する技術を提供する。
 上記課題を解決するために、本発明の一態様は、ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するサイズ決定部と、前記ユーザに、前記サイズ決定部で決定された大きさの領域を含む映像を呈示する映像出力部と、前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、前記ユーザの脳波信号を計測する生体信号計測部と、前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得する脳波処理部とを備えた聴覚事象関連電位計測システムを含む。
 上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
 本発明の一態様にかかる聴覚事象関連電位計測システムによれば、ユーザの覚醒度の変化に由来する聴覚事象関連電位の変動を低減し、精度の高い聴覚事象関連電位の計測を実現できる。
聴覚刺激のみの聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。 映像を並列呈示する聴覚事象関連電位計測パラダイムと聴覚事象関連電位計測中の仮想的な覚醒度変化を示す図である。 本願発明者らが実施した主観報告実験における不快音圧の主観報告値を示す図である。 本願発明者らが実施した脳波実験で使用した聴覚刺激の構成を示す図である。 国際10-20法の電極位置と、本願発明者らが実施した脳波実験での電極位置を示す図である。 本願発明者らが実施した脳波実験における事象関連電位の特徴データを示す図である。 周波数ごとの第1音から第3音に対するN1-P2振幅を示す図である。 本願発明者らが実施した脳波実験における事象関連電位のウェーブレット係数の例を示す図である。 本願発明者らが実施した不快音圧推定で用いた教師データの例を示す図である。 主観報告実験で得られた主観報告値と脳波実験から推定した不快音圧推定結果のばらつきを示す図である。 本願発明者らが実施した映像呈示のサイズが聴覚事象関連電位に及ぼす影響を調べるための実験の条件を示す図である。 本願発明者らが実施した実験の、覚醒度に対する主観報告の結果を示す図である。 本願発明者らが実施した実験の、目の疲れに関する主観報告の結果を示す図である。 本願発明者らが実施した実験の、映像呈示のサイズごとの推定誤差を示す図である。 例示的な実施形態による聴覚事象関連電位計測システム1の構成および利用環境を示す図である。 例示的な実施形態による聴覚事象関連電位計測装置10のハードウェア構成を示す図である。 例示的な実施形態による聴覚事象関連電位計測システム1の機能ブロックの構成を示す図である。 聴覚事象関連電位計測システム1において行われる処理の手順を示すフローチャートである。 本明細書における視角の定義を示す図である。 視角算出のための物体の対角長(S)を決定する例を示す図である。 サイズが変更される主領域201aを模式的に示す図である。
 上述した非特許文献1および非特許文献2のような従来の手法では、単調な聴覚刺激が長時間にわたって呈示される。そのため、しばしばユーザが覚醒度を維持できないことがあった。佐藤他、監修、「誘発電位の基礎と臨床」、p129、創造出版、1990年(第1版)に記載されているように、現時点では、聴覚事象関連電位は覚醒度によって波形そのものが大幅に変化すると考えられている。そのため、従来の手法によってN1成分の振幅や潜時を用いて聞こえ評価したとしても、その評価が正しくない可能性があった。
 以下、添付の図面を参照しながら、本開示による聴覚事象関連電位計測システムの実施形態を説明する。
 まず、本明細書における用語の定義を説明する。
 「事象関連電位(event-related potential:ERP)」とは、脳波(electroencephalogram:EEG)の一種であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。
 「聴覚事象関連電位」とは、聴覚刺激に対して惹起される事象関連電位である。たとえば、聴覚刺激を起点に約50msにおいて惹起される陽性の電位であるP1成分、聴覚刺激呈示を起点に約100msにおいて惹起される陰性の電位であるN1成分や、聴覚刺激呈示を起点に約200msにおいて惹起される陽性の電位であるP2成分が該当する。
 「音を呈示する」とは、純音の聴覚刺激を出力すること、たとえば純音をヘッドフォンの片耳側から出力することをいう。
 「純音」とは、周期振動を繰り返す楽音のうち、単一の周波数成分しか持たない正弦波で表される音である。純音を呈示するためのヘッドフォンの種類は任意である。ただし、ヘッドフォンは指定した音圧の純音を正確に出力できればよい。これにより、不快音圧を正しく測定することが可能となる。
 「眼電(electrooculogram:EOG)」とは、眼球運動によって生起する電位変動である。眼電は、眼球が帯電していることに起因して生じる。眼球の角膜は正に帯電しており、網膜は負に帯電している。眼球運動によって角膜および網膜の帯電状態が変化することにより、目の周辺の皮膚の電位が変化する。この皮膚の電位変化が眼電として検出される。眼電の振幅は、頭皮上の電極においても事象関連電位の数十倍程度の大きさになる場合もある。眼電は、事象関連電位に対するノイズとなり得る。
 「視角」とは、目に投影される物体がなす角度のことである。本明細書では、下記の数1を満たすθを視覚として検出する。
 tanθ=S/D           (数1)
ここで、Dは参加者の眼球の最前部(以下では「眼球位置」と呼ぶ。)とディスプレイとの距離、Sはディスプレイ上に定義される物体(たとえば映像が呈示される領域)の対角長である。図19は、視角算出のための物体の対角長(S)を決定する例を模式的に示している。
 本開示による聴覚事象関連電位計測システムは、聴覚刺激以外に適切と考えられるサイズで映像を呈示しユーザの覚醒度の変化を低減する。そして覚醒度の変化および、映像観取時の眼球運動によって発生する電気的ノイズの影響の少ない聴覚事象関連電位を計測する。
 本発明の一態様の概要は以下のとおりである。
 本発明の一態様である聴覚事象関連電位計測システムは、ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するサイズ決定部と、前記ユーザに、前記サイズ決定部で決定された大きさの領域を含む映像を呈示する映像出力部と、前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、前記ユーザの脳波信号を計測する生体信号計測部と、前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得する脳波処理部とを備えている。
 ある実施形態において、前記聴覚事象関連電位計測システムは、前記脳波処理部が取得した事象関連電位を加算平均する算出部をさらに備えている。
 ある実施形態において、前記聴覚事象関連電位計測システムは、前記ユーザの眼球位置から前記映像出力部までの距離を計測する距離計測部をさらに備えている。前記サイズ決定部は、前記距離に基づいて前記映像中の領域のサイズを決定する。
 ある実施形態において、前記距離計測部は所定のタイミングで前記距離を計測し、前記サイズ決定部は、計測された前記距離に基づいて前記事象関連電位計測中に前記映像中の領域のサイズを変更する。
 ある実施形態において、前記聴覚事象関連電位計測システムは、前記ユーザに呈示する前記映像のコンテンツを少なくとも1種類保持し、保持した映像のコンテンツの再生処理を行う映像再生処理部をさらに備えている。
 ある実施形態において、前記映像のコンテンツは、音声の情報を含まない。
 ある実施形態において、前記映像のコンテンツに音声の情報が含まれている場合には、前記映像出力部は前記音声の出力を禁止する。
 ある実施形態において、前記映像再生処理部は複数種類の映像のコンテンツを保持しており、前記映像再生処理部は、前記複数種類の映像のコンテンツのうちから前記ユーザが選択した映像のコンテンツの再生処理を行う。
 ある実施形態において、前記聴覚事象関連電位計測システムは、前記聴覚刺激を前記ユーザの左右の耳のいずれかに呈示するか、および前記聴覚刺激の周波数および音圧を決定し、決定した特性を有する聴覚刺激を生成する聴覚刺激生成部をさらに備えている。
 ある実施形態において、前記サイズ決定部は、ユーザに呈示される映像全体の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、前記映像のサイズを決定する。
 ある実施形態において、前記サイズ決定部は、ユーザに呈示される映像中の部分領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、前記映像の部分領域のサイズを決定する。
 本発明の一態様である聴覚事象関連電位計測方法は、ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するステップと、前記ユーザに、サイズを決定する前記ステップで決定された大きさの領域を含む映像を呈示するステップと、前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示するステップと、前記ユーザの脳波信号を計測するステップと、前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得するステップとを包含する。
 本発明の一態様であるコンピュータプログラムは、聴覚事象関連電位計測システムの聴覚事象関連電位計測装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するステップと、前記ユーザに、サイズを決定する前記ステップで決定された大きさの領域を含む映像を呈示するステップと、前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示するステップと、前記ユーザの脳波信号を取得するステップと、前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得するステップとを実行させる。
 本発明の一態様である聴覚事象関連電位計測装置は、映像出力部、聴覚刺激出力部および生体信号計測部を有する聴覚事象関連電位計測システムに組み込まれて用いられる聴覚事象関連電位計測装置であって、ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するサイズ決定部と、前記生体信号計測部が計測した脳波信号から事象関連電位を取得する脳波処理部とを備えている。前記映像出力部が、前記サイズ決定部で決定された大きさの領域を含む映像を前記ユーザに呈示している期間中に、前記聴覚刺激出力部は前記ユーザに聴覚刺激を呈示しているときにおいて、前記脳波処理部は、前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得する。
 本開示にかかる聴覚事象関連電位計測システムによれば、聴覚事象関連電位の計測時に、聴覚刺激以外に適切と考えられるサイズで映像を呈示することで、ユーザの覚醒度の変化に由来する聴覚事象関連電位の変動を低減し、精度の高い聴覚事象関連電位の計測が実現できる。特に、一般的にUCLと評価される音圧よりも低い音圧の聴覚刺激に対する聴覚事象関連電位の計測に効果的であり、これにより、ユーザの聞こえ評価の精度が向上し、たとえばユーザの不満の少ない補聴器の調整が実現できるようになる。
 以下では、まず、本開示をなすに至った経緯および知見を説明する。その後、実施形態として聴覚事象関連電位計測システムを概説し、聴覚事象関連電位計測装置の構成およびその動作を詳述する。
 (本開示の経緯)
 上述のように、一般的にUCLと評価されるよりも低い音圧の単調な聴覚刺激を繰り返す聴覚事象関電位計測では、ユーザが覚醒度を維持できない場合がある。それによって、覚醒度変動に伴う聴覚事象関連電位の波形変化が生じてしまう。
 それに対して、本願発明者らは、ユーザの覚醒度変動を抑制するために、聴覚刺激とは異なるモダリティの視覚刺激(映像)を、聴覚事象関連電位計測中に呈示する方法に着目した。つまり本願発明者らは、聴覚刺激および視覚刺激(映像)を同時に呈示しながら、聴覚刺激によって誘発される聴覚事象関連電位を計測する方法に着目した。覚醒度を抑制可能な映像としては、たとえば映画やTV番組のドラマやスポーツ中継などが挙げられる。しかしながら、それらの映像観取時には眼球運動に関連した眼電が発生し、振幅の大きなノイズ(本願明細書において「眼電ノイズ」と呼ぶ。)として脳波に混入する。そのため、覚醒度変動を抑制しつつ、かつ眼電の影響が少ないような映像呈示方法の工夫が必要になる。本願発明者らは、呈示する映像のサイズを適切に選択して映像を呈示することにより、覚醒度変動・眼電の影響を受けにくい聴覚事象関連電位計測を実現することを実現した。
 図1(a)は、従来の聴覚事象関連電位計測の実験パラダイムを示す。横軸は時間で、縦線は聴覚刺激のタイミングを模式的に示している。加算平均によって背景脳波等のノイズを低減するために、聴覚刺激が繰り返し呈示される。たとえば、聴覚刺激の持続時間が100ms、刺激間間隔の平均値が1秒で、繰り返し回数を30回とすると、一つの周波数、一つの音圧、片耳の聴覚事象関連電位計測に約30秒程度の時間を要する。
 そのため、たとえばユーザの聞こえ評価を行うために、5つの周波数、5つの音圧、両耳において聴覚事象関連電位を計測する場合、単純計算で約25分(30×5×5×2秒)程度かかる。ユーザは合計約25分間、単調な聴覚刺激を聞き続ける必要があり、特に一般的にUCLと評価される音圧よりも低い音圧の聴覚刺激を受ける場合には覚醒度を維持することが難しい。図1(b)は、聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。横軸は時間で、縦軸は覚醒度である。図1(b)によれば、聴覚事象関連電位の計測開始から時間が経過するにつれて、覚醒度が低下する様子が仮想的に示されている。
 図2(a)は、映像を並列呈示する聴覚事象関連電位計測パラダイムを示す。本願発明者らは図2(a)に示す聴覚事象関連電位計測方法に着目した。聴覚事象関連電位計測中のユーザの覚醒度低下を抑制するために、映像を呈示しながら、聴覚刺激を呈示する。図2(b)は、図1中(b)と同様に聴覚事象関連電位計測中のユーザの仮想的な覚醒度変動を示す。映像の呈示によって、ユーザの覚醒度の低下が抑制され、覚醒度が比較的高い状態で維持されると考えられる。
 以下では、まず本願発明者らが実施した実験により発見した、一般的にUCLと評価される音圧よりも低い音圧の聴覚刺激に対する事象関連電位を指標としたUCL推定方法を説明する。その後、本願発明者らが上述の課題に鑑み考案した、映像の同時呈示によって覚醒度変動を抑制する高精度な聴覚事象関連電位測定方法を述べる。
 (うるさくない聴覚刺激に対する事象関連電位に基づくUCL推定のための実験)
 1-1. 実験概要
 本願発明者らは、一般的にUCLと評価されるよりも低い音圧の純音に対する聴覚事象関連電位を指標に不快音圧を推定するための基礎データの収集のために以下の2つの実験を実施した。
 一つは、主観報告に基づいてUCLを測定する主観報告実験である。主観報告実験は、脳波計測実験の前後にそれぞれ実施した。この主観報告実験で得られたUCLデータを脳からの推定目標の基準データとして使用した。
 もう一つは、聴覚刺激に対する反応を計測する脳波計測実験である。脳波計測実験では、同一周波数の純音を5dBHL刻みの単調下降の音圧変化で3連発呈示し、第1音から第3音までのそれぞれの聴覚刺激に対する事象関連電位を計測した。以下、単調下降の音圧変化で聴覚刺激を複数回連発呈示することを「デクレッシェンド刺激」とも表記する。この聴覚刺激呈示に対する事象関連電位を取得して、UCL値の推定のデータとした。
 その結果、本願発明者らは、一般的にUCLと評価される音圧よりも低い音圧のデクレッシェンド刺激を呈示した場合にも、第1音から第3音に対する事象関連電位のウェーブレット変換により算出したウェーブレット係数の変化パターンを線形判別することで、主観報告のUCLを推定できることを見出した。
 ここで、一般的にUCLと評価される音圧よりも低い音圧とは、HTL値によって変動するものとする。たとえば、Pascoe の研究成果(Pascoe, D.P. (1988). (Clinical measurements of the auditory dynamic range and their relation to formulas for hearing aid gain. In 1ensen. H. 1. (Ed.) Hearing Aid Fitting: Theoretical and Practical Views 13th Danavox Symposium. Copenhagen: Stougaard.))に基づき、HTL値ごとの推定UCL値よりも少なくとも5dB以上低い値を、上述した「低い音圧」とする。なお、聴覚刺激に対する事象関連電位が生起するのは、聴覚刺激の音圧がHTLよりも高い場合である。すなわち、一般的にUCLと評価される音圧よりも低い音圧範囲とは、HTLよりも高い音圧の範囲とする。本手法により、強大音を呈示しなくても短時間かつ高精度なUCL推定が可能になる。
 以下、本願発明者らが実施した実験とその結果、そして分析により明らかになった脳波の特徴を詳述する。その後、本開示にかかる実施形態として聴覚事象関連電位計測システムの概要、その構成、および動作を説明する。
 (実験条件の説明)
 1-2. UCL主観報告実験および脳波計測実験
 1-2-1. UCL主観報告実験
 実験参加者は、正常な聴力を有する社会人15名(28から49歳)であった。
 主観報告実験は、脳波計測実験の前後それぞれにおいて実施した。非特許文献1と同様に、オージオメータを用いて断続音を上昇法で呈示し、うるさすぎて不快に感じる音圧を実験参加者に報告させ、その音圧をUCLとした。本願発明者らは、脳波計測実験で呈示する3周波数(1000、2000、4000Hz)それぞれについて、片耳ずつ両耳の測定を実施した。実験参加者に音圧を予測させないために、実験開始の音圧を60、65、70dBからランダムに決定した。断続音の音圧は5dBずつ上昇させた。うるさすぎて不快に感じる音圧は、挙手によって報告させた。参加者の挙手直後に音呈示をやめ、その音圧を主観UCL値として記録した。
 以下、主観報告実験の結果を述べる。
 全ての参加者が健聴者であった。しかしながら、主観報告実験の結果は、個人ごとに大きく異なった。たとえば同一周波数において最大で40dBの差異があった。これは、「うるさすぎて我慢できない」という定義の解釈は個人ごとに大きく異なることを示している。よって、主観報告によるUCL測定は難しいといえる。
 図3は、主観報告によって測定した個人ごとのUCL測定結果である。図3には、2回の測定結果の平均値を示した。音圧の単位は、dBHLである。図3中に示した左右耳ごと、周波数ごとの標準偏差からも分かるように、主観UCL値はある程度ばらついていることが分かる。個人ごとのばらつきが大きいことが分かる。
 1-2-2. 脳波計測実験
 脳波実験では、3つの周波数(1000Hz、2000Hz、4000Hz)について、一般的にUCLと評価される音圧よりも低い3つの音圧(80、75、70dBHL)の聴覚刺激が呈示された。3つの音圧は単調下降させた。そして、聴覚刺激ごとの事象関連電位の特徴変化を調べた。以下、図4、図5、図6を参照しながら、脳波計測実験の実験設定および実験結果を説明する。
 実験参加者は、主観報告実験と同じ、正常な聴力を有する社会人15名(28~49歳)であった。
 本願発明者らは、聴覚刺激として、持続時間50msのトーンバースト音を用いた。聴覚刺激の立ち上がり(rise)および下がり(fall)は3msとした。3種類の周波数(1000、2000、4000Hz)のそれぞれについて、3種類(80、75、70dBHL)の音圧の聴覚刺激を用いて、左右耳ごと、周波数ごとの音圧変化に対する事象関連電位の特徴量の変化を調べた。同一の周波数である複数の聴覚刺激を、「聴覚刺激群」と称する。
 聴覚刺激群に含まれる聴覚刺激は、所定間隔をあけて、同じ耳に呈示された。聴覚刺激は、ヘッドフォンを用いて片耳ずつ呈示された。
 図4は、脳波計測実験で呈示した聴覚刺激の概要を示す。
 参加者には聴覚刺激に注意を向けなくてもよいと教示した。同一周波数の聴覚刺激群内の聴覚刺激の間隔(図4中のISI1)は300msに固定した。また、聴覚刺激群間の間隔(図4中のISI2)は、450±100msの範囲でランダムに決定した。左右耳ごと、周波数ごとの聴覚刺激群をそれぞれ30回繰り返した(聴覚刺激群としては計180回の繰り返し)。
 同じ聴覚刺激群の連続呈示による聴覚誘発電位の慣れ(habituation)を低減するために、本願発明者らは、聴覚刺激群の周波数および呈示耳を次の制約で決定した。
  ・直前の聴覚刺激群とは異なる周波数とする。
  ・聴覚刺激群を呈示する耳は左右でランダムとする。ただし、左右の耳への刺激のランダム性を確保するために、左右どちらかの耳への聴覚刺激群を4回以上連続させない。
 次に、脳波を計測するために装着される電極の位置を説明する。図5(a)は、国際10-20法(10-20 System)の電極位置を示す。図5(b)は本実験で電極を装着した電極配置を示す。図5(b)の丸付き数字1、2および3は、電極位置のC3、CzおよびC4をそれぞれ示す。本願発明者らは、頭皮上のC3、Cz、C4(国際10-20法)から、右マストイドを基準に脳波を記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図5(b)には、マストイドの位置が「Ref」によって示されている。
 脳波はサンプリング周波数1000Hz、時定数0.3秒で、30Hzのアナログローパスフィルタをかけて計測した。計測した脳波データの全時間帯について、オフラインで5-20Hzのディジタルバンドパスフィルタをかけた。その後、左右耳ごと、周波数ごと、音圧ごとの聴覚刺激に対する事象関連電位として、それぞれの聴覚刺激を起点に、-100msから400msの波形をそれぞれ切り出した。ここで、「-100ms」とは、聴覚刺激を呈示した時刻より100ミリ秒前の時点をいう。
 また、聴覚刺激ごとに、事象関連電位の0ms以上300ms以下の範囲の脳波波形に対して、連続ウェーブレット変換を実施し、時間ごと、周波数ごとのウェーブレット係数を求めた。マザーウェーブレットとして、メキシカンハット関数 (ψ(t)=(1t^2)exp(t^2/2)) を用いた。
 事象関連電位の波形およびウェーブレット係数は、個人ごと、左右耳ごと、周波数ごと、第1音から第3音までの聴覚刺激ごとに加算平均した。それぞれ加算平均波形、加算平均ウェーブレット係数と呼ぶ。いずれかの電極において絶対値で50μV以上の振幅を含む試行は、眼球運動や瞬目によるノイズの影響を含むことが想定されるため、総加算平均および加算平均から除外した。
 そして不快音圧の指標となりうる事象関連電位の特徴量として、加算平均ウェーブレット係数の5Hzから12.5Hzの周波数幅かつ、50msごとの時間幅の平均値(以下では、ウェーブレット特徴量とよぶ)を求めた。
 1-3. 結果
 以下、脳波計測実験の結果を説明する。
 まず、音圧変化に対する事象関連電位に、不快音圧推定の指標が含まれることを確認するために、主観UCL値に基づいて加算平均した事象関連電位を比較した。事象関連電位から不快音圧を推定するためには、参加者ごとの主観UCL値を反映する事象関連電位の差の存在が必須である。ここで、上述のように主観UCL値は、強大音に対するパーソナリティが異なることから、参加者ごとのばらつきを持った指標である。そのため、主観UCL値を反映した特徴量の有無を、個人ごとのデータから特定することは難しい。そこで、そのばらつきを低減するために、主観UCL値が大きかった場合と小さかった場合の2つに分けて事象関連電位を加算平均し、比較を行った。具体的には、参加者ごと、周波数ごとの主観UCL値が95dBHLよりも大きかった場合と、95dBHL以下であった場合に分けて加算平均を実施した。なお、95dBHLは、主観報告実験で得られた全参加者の主観UCL値の中央付近の値であり、主観UCL値が95dBHLより大きい場合と、95dBHL以下の場合はほぼ同数であった。
 図6は、主観UCL値ごとの脳波の総加算平均波形を示す。加算対象の脳波波形は、中心部(Cz)における、聴覚刺激群の第1音呈示前100msから第3音呈示後400msに計測された。主観UCL値が95dBHLよりも大きい場合を太線で、主観UCL値が95dBHL以下の場合を細線でそれぞれ示した。横軸は時間で単位はms、縦軸は電位で単位はμVである。横軸の0msは、第1音呈示時刻である。矢印で示したそれぞれの聴覚刺激呈示タイミングを起点に、約100msに陰性のN1成分が、約200msに陽性のP2成分が惹起されている様子が見てとれる。また、主観UCL値が高い場合と低い場合で、第2音呈示以降の事象関連電位に差があらわれていることも分かる。具体的には、太線で示される、主観UCL値が95dBHLよりも大きい場合に、主観UCLが95dBHL以下の場合と比べてN1-P2振幅が大きかった。これは、第2音目以降の事象関連電位の差を指標に、UCLを推定できる可能性があることを示唆している。なお、N1-P2振幅とは、N1成分の陰性の振幅とP2成分の陽性の振幅の差の絶対値を表している。
 図7は、主観UCL値の大小とN1-P2振幅との関係を示している。図7には、主観UCL値が95dBHLよりも大きい場合と、95dBHL以下の場合における、第1音から第3音に対する周波数ごとのN1-P2振幅が示されている。N1-P2振幅は、N1振幅とP2振幅の差の絶対値として求められている。N1振幅は第1音から第3音のそれぞれの聴覚刺激呈示後90msから110msにおける区間平均電位とした。P2振幅は、同様に聴覚刺激呈示後190msから210msにおける区間平均電位とした。主観UCL値が95dBHLよりも大きい場合の第1音から第3音に対するN1-P2振幅はそれぞれ、1000Hzにおいて4.24μV、2.51μV、1.45μV、2000Hzにおいて2.99μV、1.45μV、1.00μV、4000Hzにおいて2.28μV、1.40μV、0.78μVであった。
 また、主観UCL値が95dBHL以下の場合の第1音から第3音に対するN1-P2振幅はそれぞれ、1000Hzにおいて、4.24μV、1.95μV、0.99μV、2000Hzにおいて2.95μV、1.11μV、0.88μV、4000Hzにおいて1.84μV、1.33μV、0.63μVであった。いずれの周波数においても、第2音・第3音に対するN1-P2振幅は、主観UCL値が95dBHLよりも大きい場合に、主観UCL値が95dBHL以下の場合と比べて大きかった。これは、音圧変化に対する事象関連電位は、主観UCL値の違いによって少なくともN1-P2振幅が異なることを示している。
 次に、本願発明者らは、主観UCL値とウェーブレット特徴量との関係を調べた。そして、その特徴量変化を用いた不快音圧推定の精度を明らかにするために、判別分析を実施した。
 図8は、条件ごと、主観UCL値ごとの第1音から第3音に対するウェーブレット特徴量を示す。図8には、結果の一例として、201msから250msの時間帯のウェーブレット特徴量を示した。なお、上記時間帯は、聴覚刺激を呈示する度にその呈示時刻から起算された時区間を示している。第1音(80dBHL)に対するウェーブレット特徴量の差は小さいが、第2音(75dBHL)および第3音(70dBHL)に対するウェーブレット特徴量は、主観UCL値によって異なっていることが分かる。具体的には、第2音・第3音に対するウェーブレット特徴量は、主観UCL値が95dBHLよりも大きい場合に、主観UCL値が95dBHL以下の場合と比べて大きかった。これは、音圧変化に対する事象関連電位は、主観UCL値の違いによってウェーブレット特徴量が異なることを示している。
 事象関連電位の特徴量変化を用いた不快音圧推定の精度を調べるために、本願発明者らは判別分析を実施した。判別分析の手法として、線形判別を用いた。線形判別は、音圧ごとの事象関連電位のウェーブレット特徴量を、上記主観報告実験で得られた左右耳ごと、周波数ごとの主観UCL値で教師づけして実施した。UCL推定に適した特徴量を探索するために、特徴量を単独あるいは組合せて、主観UCL値との誤差をそれぞれの特徴量組合せ数ごとに比較した。
 以下、線形判別で用いるデータおよび、実施した線形判別を説明する。図9は、不快音圧推定で用いたデータの例を示した。図9中の主観UCL値は、主観報告実験により測定した、参加者ごと、左右耳ごと、周波数ごとのUCL値である。図9中の第1音から第3音の列は、聴覚刺激群の第1音から第3音に対する事象関連電位の、聴覚刺激呈示後201msから250msのウェーブレット特徴量である。これら聴覚刺激群ごとの特徴量を、主観UCL値で教師づけして、線形判別を実施した。
 本願発明者らは、参加者ごとの聴覚刺激群に対する事象関連電位の特徴量である線形判別対象データに対して、他者の事象関連電位の特徴量から作成した教師データを用いて線形判別を実施した。また本願発明者らは、他者の事象関連電位の特徴量から、条件ごと、左右耳ごと、周波数ごとに教師データを作成した。
 たとえば、線形判別対象データを参加者01の右耳1000Hzとした場合、教師データは参加者01以外の参加者のデータの右耳1000Hzの主観UCL値と事象関連電位の特徴量から作成した。特徴量として、上述のウェーブレット特徴量(時間幅50ms)を用いた。不快音圧推定の可能性を探索するために、特徴量を複数組合せて用いる場合には、線形判別対象データと教師データのいずれにおいても、特徴量を列方向に追加した。たとえば151msから200msのウェーブレット特徴量と201msから250msのウェーブレット特徴量を組合せる場合には、1列目から3列目を前者の第1音から第3音に対する特徴量、4列目から6列目を後者の第1音から第3音に対する特徴量とした。主観UCL値と、不快音圧推定結果の差の絶対値を推定誤差とし、すべての参加者の左右および全周波数の推定誤差を平均した、平均推定誤差を用いて推定精度を測定した。
 図10は、線形判別結果の例として、特徴量組合せ数が5の場合の、主観UCL値と線形判別による不快音圧推定結果の分布を条件ごとに示す。分析は条件ごと、左右耳ごと、周波数ごとに実施したが、図10では左右耳ごと、周波数ごとに得られた結果をまとめて示した。図10中のスケールに示したように、横軸は主観UCL値で単位はdBHL、縦軸は不快音圧推定値で単位はdBHLである。主観UCL値に対する、不快音圧推定結果を○印で格子点上に示した。推定結果の度数分布を○印の大きさで示した。平均推定誤差は、5.2dBであった。この結果から、ある程度ばらつきはあるが主観UCL値と相関のある不快音圧を推定できていることが分かる。
 なお、ウェーブレット特徴量に限らず、P1-N1振幅やN1-P2振幅の情報に基づいて判別分析を実施してもよい。
 なお、教師データは、左右耳および周波数によらず作成してもよい。
 本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約100ms」と表現している。これは、100msという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位(ERP)マニュアル-P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、100ms±30ms、200ms±50ms)に存在し得ることを意味している。
 以上、本願発明者らが実施した主観報告実験および脳波計測実験により、一般的にUCLと評価される音圧よりも低い音圧の範囲において、同一周波数の純音を単調下降の音圧変化で3回連発呈示した場合に、第1音から第3音までのそれぞれの聴覚刺激に対する脳波のウェーブレット係数に関する特徴量を用いて不快音圧を推定可能であることが明らかとなった。
 (適切と考えられる映像サイズ特定実験)
 本願発明者らは、上述の聴覚事象関連電位計測中の覚醒度変動の課題に鑑み、(1)映像の同時呈示による聴覚事象関連電位計測中の覚醒度変動抑制の確認、(2)聴覚事象関連電位計測中に呈示する適切と考えられる映像サイズの特定、を目的に聴覚事象関連電位計測実験を実施した。その結果、(1)映像の同時呈示によりユーザの覚醒度変動が抑制されることを確認し、(2)適切と考えられる映像サイズは映像の対角の視角が2度より大きく14度より小さいことを特定した。以下で詳細に説明する。
 なお、眼電ノイズの影響を低減する一般的な方法に、眼電をモニタリングするための電極を眼球周辺に設け、その電極において計測された眼電に1以下の伝達係数をかけて、頭部で計測した脳波から減算する方法がある。しかしながら、眼球周辺に電極を装着する必要がありユーザにとってわずらわしいという問題がある。そこで、本明細書では、眼電モニタ用の電極を設けない聴覚事象関連電位計測を前提条件とする。
 また、眼電ノイズの周波数は約10Hz程度であるため、測定対象の脳波信号の周波数が大きく異なる場合には、周波数フィルタリングによってその影響を低減することが可能である。しかしながら、聴覚事象関連電位は約10Hz程度であり眼電ノイズの周波数と近いことから、周波数フィルタリングにより眼電ノイズを低減することは困難である。
 2-1. 実験概要
 上記目的(1)を調べるために、画面に固視点を呈示しながら聴覚刺激を呈示する条件(映像なし条件)と、映像を呈示しながら聴覚刺激を呈示する条件(映像あり条件)で、聴覚事象関連電位を計測した。また、映像あり条件では、上記目的(2)を調べるために、対角の視角が2度から18度の映像を呈示した(計5種類)。それぞれ、映像2度条件、映像6度条件、映像10度条件、映像14度条件、映像18度条件と呼ぶ。条件ごとの計測の後で、覚醒度と目の疲れに関する主観報告をさせた。また別途、主観報告により周波数ごとの不快音圧(主観UCL値と呼ぶ)を測定した。そして、それぞれの条件で計測した聴覚事象関連電位を線形判別して推定した不快音圧(推定不快音圧と呼ぶ)と、主観UCL値の誤差に基づいて、聴覚事象関連電位計測条件の評価を実施した。
 2-2. 方法
 実験参加者は正常な聴力を有する社会人5名(32~47歳)であった。
 図11は、実施した聴覚事象関連電位計測実験の画面呈示の条件を示す。固視点および映像は、参加者の目前1mに設置したディスプレイに呈示した。映像なし条件の固視点は、視角が0.5度のマウスポインタ(矢印)とした。映像あり条件の映像は、条件名に含まれる数字の視角の映像を呈示した。条件ごとの実験順序は、参加者間でカウンタバランスした。映像なし条件では固視点を、映像ありの5条件では映像を、それぞれ見続けるように教示した。
 聴覚刺激は、条件によらず同じであった(1-2-2で述べた脳波計測実験と同じ;図4)。聴覚刺激として、3つの周波数(1000Hz、2000Hz、4000Hz)それぞれについて、3つの音圧(80、75、70dB HL)の純音(立ち上がり-下がり3ms)を用意した。そして、同一周波数の純音を80dBHL、75dBHL、70dBHLの順に300msの間隔で3連発呈示した。同一周波数の純音の3連発呈示を聴覚刺激群と呼ぶ。聴覚刺激群は、片耳ずつ呈示した。左右耳ごと、周波数ごとの聴覚刺激群をそれぞれ25回繰り返した(聴覚刺激群としては計150回)。聴覚刺激群間の間隔は、450±50msとした。同じ聴覚刺激群の連続呈示による聴覚誘発電位の慣れ(habituation)を低減するために、聴覚刺激群の周波数および呈示耳は、次の制約で決定した。直前の聴覚刺激群とは異なる周波数とする。聴覚刺激群を呈示する耳は左右でランダムとする。ただし、左右の耳への刺激のランダム性を確保するために、左右どちらかの耳への聴覚刺激群を4回以上連続させない。
 脳波は頭皮上のC3、Cz、C4(国際10-20法)から、右マストイドを基準に記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図5(a)は、国際10-20法(10-20 System)の電極位置を示す。図5(b)は本実験で電極を装着した電極配置を示す。図5(b)の丸付き数字1、2および3は、電極位置のC3、CzおよびC4をそれぞれ示す。
 脳波計のサンプリング周波数は1000Hz、時定数は0.5秒とし、30Hzのアナログローパスフィルタをかけた。計測した脳波データの全時間帯について、オフラインで5-20Hzのディジタルバンドパスフィルタをかけた。その後で、左右耳ごと、周波数ごと、音圧ごとの聴覚刺激に対する事象関連電位として、それぞれの聴覚刺激を起点に、-100msから400msの波形をそれぞれ切り出した。ここで、「-100ms」とは、聴覚刺激を呈示した時刻より100ミリ秒前の時点をいう。
 また、聴覚刺激ごとに、事象関連電位の0ms以上300ms以下の範囲の脳波波形に対して、連続ウェーブレット変換を実施し、時間ごと、周波数ごとのウェーブレット係数を求めた。マザーウェーブレットとして、メキシカンハット関数 (ψ(t)=(1t^2)exp(t^2/2)) を用いた。
 事象関連電位の波形およびウェーブレット係数は、条件ごとに、個人ごと、左右耳ごと、周波数ごとの第1音から第3音までの聴覚刺激群ごとに加算平均した。それぞれ加算平均波形、加算平均ウェーブレット係数と呼ぶ。いずれかの電極において絶対値で50μV以上の振幅を含む試行は、眼球運動や瞬目によるノイズの影響を含むことが想定されるため、総加算平均および加算平均から除外した。そして不快音圧の指標となりうる事象関連電位の特徴量として、加算平均ウェーブレット係数の5Hzから12.5Hzの周波数幅かつ、50msごとの時間幅の平均値(以下では、ウェーブレット特徴量とよぶ)を求めた。
 聴覚事象関連電位計測後の覚醒度と目の疲れを調べるために、条件ごとの聴覚事象関連電位計測実験の後でそれぞれについて7段階の主観報告をさせた。覚醒度については、「非常に眠たい」を1、「全く眠たくない」を7として、目の疲れについては、「非常に疲れている」を1、「全く疲れていないを7」として、そのときの状態を数字で回答させた。なお、目の疲れを調べる意図は、映像の視聴に起因する負担が目にかかっているかどうかを把握するためである。映像の視聴は、聴覚刺激の測定には本来必要ではない。本願発明者らは、映像の視聴に起因する負担をできるだけ減らしたいと考え、目の疲れも調べることとした。
 さらに、主観UCL値の測定も実施した。主観UCL値は、従来研究(君付 隆他、「聴力に異常のない聴覚過敏患者における内耳機能検査の特徴」、2009年)と同様に、オージオメーターを用いて断続音を上昇法で呈示し、うるさすぎて耐えられない音圧を報告させて測定した。聴覚事象関連電位計測実験で呈示する3周波数(1000、2000、4000Hz)それぞれについて、片耳ずつ両耳の測定を実施した。音圧の予測をさせないために、実験開始の音圧は、60、65、70dBHLからランダムに決定した。断続音の音圧は5dBずつ上昇させた。うるさすぎて耐えられない音圧は、挙手によって報告させた。参加者の挙手直後に音呈示をやめ、その音圧を主観UCL値として記録した。
 2-3. 結果
 2-3-1. 主観報告(覚醒度・目の疲れ)
 図12(a)および(b)は、各条件の脳波計測の後で実施した、覚醒度に関する主観報告の結果を示す。棒グラフで表された各数値は覚醒度に関する主観報告の平均値である。図12中の縦軸は覚醒度を表す。上述のように、「非常に眠たい」が1に対応し、「全く眠たくない」が7に対応している。
 図12(a)は、映像なし条件と映像あり条件の比較結果を示す。映像なし条件に比べて、映像あり条件で覚醒度が高いことが分かる。よって、映像呈示により、聴覚事象関連電位計測中の覚醒度低下を低減できるといえる。図12(b)は、映像あり条件における、映像呈示のサイズごとの覚醒度の平均値を示す。映像サイズが2度から10度までは映像サイズの増大に伴い、覚醒度が高くなっていることが分かる。これは、従来研究の結果と一部は一致している(Reeves,B. and Nass,C.(1996).The Media Equation:How people treat computers,television and new media like real people and places.)。
 しかしながら、映像サイズが10度よりも大きい場合にも覚醒度は向上していない。このことから、映像呈示による覚醒度低下の抑制効果は、映像サイズが10度よりも大きい場合には差がないといえる。
 図13は、目の疲れに関する主観報告の平均値を示す。図13中の縦軸は覚醒度で、上述のように、「非常に疲れている」が1、「全く疲れていない」が7である。図13(a)は、映像なし条件と映像あり条件の比較である。映像なし条件に比べて、映像あり条件で目の疲れが小さいことが分かる。よって、聴覚事象関連電位計測中に固視点を見続けた場合に比べて、映像を見ているほうが、目が疲れにくいといえる。眼球運動を抑制して固視点を見続ける行為は日常生活には多くはないと考えられるため、眼球運動そのものの量は小さくても目が疲れやすいと考えられる。図13(b)は、映像あり条件における、映像呈示のサイズごとの目の疲れの平均値である。映像2度条件のみ他の条件と異なり、目の疲れが大きいことが分かる。これは、映像2度条件では呈示した映像のサイズが小さすぎたため、固視点を見続ける行為に近い状況になったためと考えられる。
 2-3-2. 脳波
 図14は、本願発明者らが実施した実験における、映像呈示のサイズごとの推定誤差を示す。より具体的には、図14は、一般的にUCLと評価される音圧よりも低い音圧の聴覚刺激に対する聴覚事象関連電位を線形判別して推定した参加者ごと、周波数ごとの不快音圧と、主観UCL値との平均誤差を、条件ごとに示している。図14の縦軸は、推定誤差の平均値である。映像なし条件の推定誤差の平均値は、5.6dBであった。映像2度条件から映像18度条件の推定誤差の平均値は、それぞれ5.8dB、3.6dB、4.4dB、5.8dB、6.1dBであった。映像6度条件と、映像10度条件において、推定誤差の平均値が映像なし条件よりも小さいことがわかる。よって、聴覚事象関連電位計測中に呈示する映像のサイズは、視角2度よりも大きく、視角14度よりも小さい場合が適切と考えられる。
 この理由を以下で考察する。映像2度条件後の主観報告では、覚醒度が低く、目の疲れが高かった。このことから、映像2度条件で推定誤差が増大した一つの要因として、覚醒度低下が挙げられる。また、映像サイズが14度以上の場合の推定誤差が増大した要因は、聴覚事象関連電位への眼電ノイズの混入であると考えられる。脳波に混入する眼電ノイズは、映像サイズが大きくなるに伴って、眼球運動の距離が長くなることから、ほぼ線形に増大するからである。
 いずれにしても、本願発明者らが実施した上述の実験により、聴覚刺激と同時に視角2度より大きく、14度より小さいサイズの映像を呈示することで、より精度の高い聴覚事象関連電位計測が実現できる。
 以下、本開示にかかる例示的な実施形態として、聴覚事象関連電位計測システムを説明する。
 <聴覚事象関連電位計測システムの概説>
 本実施形態による聴覚事象関連電位計測システムは、聴覚事象関連電位計測中に適切と考えられるサイズの映像を呈示し、ユーザの覚醒度変動および映像観取によるノイズの混入が少ない、高精度な聴覚事象関連電位計測を実現する。
 本実施形態においては、探査電極を中心部(Cz)に設け、基準電極を右マストイドに設けて、探査電極と基準電極の電位差である脳波を計測している。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定位置に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴を抽出し、聴覚事象関連電位の測定を行うことが可能である。そのような改変例は、本開示の範疇である。
 <利用環境>
 図15は、聴覚事象関連電位計測システム1の構成および利用環境を示す。この聴覚事象関連電位計測システム1(以下、「計測システム1」と記述する。)は、後述する実施形態1のシステム構成(図17)に対応させて例示している。
 計測システム1は、ユーザ5の聴覚事象関連電位を高精度に計測する。ユーザ5の脳波信号は、ユーザ5が頭部に装着した生体信号計測部50によって取得され、無線または有線で聴覚事象関連電位計測装置10(以下「計測装置10」と記述する。)に送られる。
 聴覚刺激出力部61と映像出力部71は、計測装置10から無線または有線で、それぞれ聴覚刺激と映像の情報を受け、ユーザ5にそれぞれ聴覚刺激と映像を呈示する。距離計測部81は、ユーザ5の眼球位置と映像出力部71の距離を測定し、有線または無線で計測装置10に測定結果を送る。図15に示す計測システム1は、生体信号計測部50および聴覚刺激出力部61を同じ筐体内に備える。しかしこれは一例である。生体信号計測部50および聴覚刺激出力部61はそれぞれ別の筐体に設けられてもよい。
 生体信号計測部50は、ユーザの生体信号を計測する計測器である。本開示においては、生体信号計測部50の一例は脳波計である。生体信号計測部50は、少なくとも2つの電極Aおよび電極Bと接続されている。例えば、電極Aはユーザ5のマストイドに貼り付けられ、電極Bはユーザ5の頭皮上の中心部(いわゆるCz)に貼り付けられている。生体信号計測部50は、電極Aと電極Bとの電位差に対応するユーザ5の脳波を計測し、脳波信号を出力する。
 聴覚刺激出力部61は、たとえばユーザ5に聴覚刺激を出力するヘッドフォン、スピーカである。
 映像出力部71は、たとえばユーザ5に映像を呈示するモニタである。
 距離計測部81は、所定のタイミングにおいてユーザ5の眼球位置と映像出力部71の距離を測定する距離計である。ユーザ5の眼球位置と映像出力部71の距離が測定できれば、手法は問わない。たとえば超音波やミリ波の反射波を用いてもよい。
 計測装置10は、距離計測部81から受けたユーザ5と映像出力部71の距離に応じて、映像の適切なサイズを計算し、そのサイズでたとえば映画やTV番組の映像をユーザ5に呈示しながら、聴覚刺激を呈示し、聴覚事象関連電位を計測する。
 図16は、本実施形態による計測装置10のハードウェア構成を示す。計測装置10は、CPU30と、メモリ31と、オーディオコントローラ32と、グラフィックコントローラ33を備えている。CPU30と、メモリ31と、オーディオコントローラ32、グラフィックコントローラ33とは、互いにバス34で接続されており、相互にデータの授受が可能である。
 CPU30は、メモリ31に格納されているコンピュータプログラム35を実行する。コンピュータプログラム35には、後述するフローチャートに示される処理手順が記述されている。計測装置10は、このコンピュータプログラム35にしたがって、聴覚刺激の生成、映像の再生、映像の輝度変化検出、除外試行の判定等の、計測システム1の全体を制御する処理を行う。この処理は後に詳述する。
 オーディオコントローラ32は、CPU30の命令に従って、それぞれ、呈示すべき聴覚刺激を指定されたタイミングで、指定された音圧および持続時間で聴覚刺激出力部61を介して出力する。
 グラフィックコントローラ33は、CPU30の命令に従って、映像出力部71を介して映像を出力する。
 なお、計測装置10は、1つの半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のCPU30、メモリ31、オーディオコントローラ32、グラフィックコントローラ33の機能を全て実現することが可能である。
 上述のコンピュータプログラム35は、CD-ROM等の記録媒体に記録されて製品とし、市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。
 図16に示すハードウェアを備えた機器(たとえばPC)は、当該コンピュータプログラム35を読み込むことにより、本実施形態による計測装置10として機能し得る。
 <計測システム1の構成>
 図17は、本実施形態による計測システム1の機能ブロックの構成を示す。計測システム1は、生体信号計測部50と、聴覚刺激出力部61と、映像出力部71と、距離計測部81と、計測装置10とを有している。計測システム1の各構成要素は、有線又は無線で接続されている。ユーザ5のブロックは説明の便宜のために示されている。
 図17は、計測装置10の詳細な機能ブロックも示している。計測装置10は、脳波処理部55と、聴覚刺激生成部60と、映像再生処理部70と、映像サイズ決定部75と、聴覚事象関連電位算出部100とを備えている。
 計測装置10の各機能ブロックは、それぞれ、図16に関連して説明したプログラムが実行されることによって、CPU30、メモリ31、オーディオコントローラ32、グラフィックコントローラ33によって全体としてその時々で実現される機能に対応している。
 以下、計測システム1の各構成要素を説明する。
 <聴覚刺激生成部60>
 聴覚刺激生成部60は、ユーザ5に呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ5の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。呈示する聴覚刺激の音圧は、たとえば一般的にUCLと評価される音圧よりも小さい音圧の範囲で決定する。聴覚刺激の周波数および左右耳は、たとえば次の制約に基づいてランダムに決定してもよい。
  ・直前の聴覚刺激と同じ周波数は選択しない。
  ・左右耳はランダムな順序で選択する。
 ただし、左右どちらか一方の耳への聴覚刺激の呈示を4回以上連続させない。こうすることで、同一耳、周波数の聴覚刺激の連続呈示による脳波の慣れ(habituation)の影響が低減され、高精度な聴覚事象関連電位計測が実現できる。
 聴覚刺激生成部60は、決定した聴覚刺激を音声信号として生成し、所定の刺激間間隔をあけて聴覚刺激出力部61に送る。聴覚刺激は、たとえば立ち上がり、立下り3msのトーンバースト音としてもよい。聴覚刺激の持続時間は、聴覚事象関連電位が安定して惹起されるよう、たとえば25ms以上に設定する。所定の刺激間間隔は、聴覚刺激の持続時間以上で2秒以下の時間に設定する。たとえば、500msとしてもよいし、1秒としてもよい。
 聴覚刺激生成部60は、聴覚刺激出力部61に聴覚刺激の情報を送ったタイミングで、脳波処理部55にトリガを出力する。このトリガは、脳波処理部55において聴覚刺激に対する事象関連電位を切り出す際に利用される。加えて、聴覚刺激生成部60は、聴覚刺激出力部61に聴覚刺激の情報を送ったタイミングで、聴覚刺激を呈示したタイミング、左右耳、聴覚刺激の周波数および音圧の情報を脳波処理部55に送る。
 なお、聴覚刺激生成部60は入力部で構成されても良い。ユーザ5又はユーザ5の聴力検査者が入力部により入力した情報を、聴覚刺激の情報としても良い。すなわち、本計測システム1では、聴覚刺激を内部で生成するのではなく、外部から受け取ることも可能である。
 <聴覚刺激出力部61>
 聴覚刺激出力部61は、聴覚刺激生成部60と有線または無線で接続されている。聴覚刺激出力部61は、聴覚刺激生成部60で生成された聴覚刺激データを再生し、ユーザ5に呈示する。聴覚刺激出力部61は、ユーザ5への聴覚刺激の呈示をトリガとして当該聴覚刺激を呈示した時刻の情報を、脳波処理部55に送っても良い。
 <生体信号計測部50>
 生体信号計測部50は、ユーザ5の生体信号を計測する。生体信号計測部50は、生体信号として、探査電極と基準電極の電位差に相当する脳波信号を計測する。脳波信号に対して、適切な遮断周波数の周波数フィルタリングを行っても良い。生体信号計測部50は、計測した脳波信号又はフィルタリングした脳波信号を脳波処理部55に送る。以下、計測した脳波信号又はフィルタリングした脳波信号を、脳波データとも表記する。
 周波数フィルタとしてバンドパスフィルタを用いる場合は、たとえば5Hzから15Hzまでを通過させるように遮断周波数を設定してもよい。ユーザ5は、あらかじめ脳波計を装着しているものとする。脳波計測用の探査電極は、たとえば中心部のCzに装着される。
 <脳波処理部55>
 脳波処理部55は、生体信号計測部50から受けた脳波データから、聴覚刺激生成部60又は聴覚刺激出力部61から受けたトリガを起点に、所定区間の事象関連電位を取得する。例えば、脳波処理部55は、聴覚刺激呈示前100msから聴覚刺激呈示後400msの区間の事象関連電位を切り出す。
 切り出す区間は、対象とする聴覚事象関連電位の成分を含む区間であればよい。例えば、聴覚刺激の時刻から50ms以上150ms以下の区間に現れる陽性成分(P1成分)を例に考える。切り出す区間は、上述のように、聴覚刺激呈示前100msから聴覚刺激呈示後400msの区間でも良いし、聴覚刺激の時刻から50ms以上150ms以下の区間でも良い。脳波処理部55は、切り出された事象関連電位を聴覚事象関連電位算出部100に送る。
 なお、「切り出された事象関連電位」とは、計測された脳波信号の所定区間から現に抽出された脳波データのみを意味しない。現に抽出されていなくても、必要な電位が抽出可能な状態になっている脳波データも含まれる。たとえば、脳波信号と、その脳波信号の当該所定区間を特定する区間情報とが存在していれば、必要な事象関連電位がいつでも抽出可能である。脳波処理部55は、これらを取得すれば、「切り出された事象関連電位」を取得することができると言える。
 <距離計測部81>
 距離計測部81は、所定のタイミングにおいてユーザ5の眼球位置と映像出力部71の距離を測定する距離計である。ユーザ5の眼球位置と映像出力部71の距離が測定できれば、手法は問わない。たとえば、超音波やミリ波の反射波を用いてもよい。そして、測定した結果を映像サイズ決定部75に送る。
 好ましくは、距離計測部81は、ユーザ5の眼球位置と映像出力部71との角度を計測する。例えば、ユーザ5の眼球位置と映像出力部71が出力する映像の中心を結んだ線分と、映像出力部71の画面に対して垂直な線分との角度である。距離計測部81は、測定した角度を映像サイズ決定部75に送る。
 <映像サイズ決定部75>
 映像サイズ決定部75は、距離計測部81から受けたユーザ5と映像出力部71との距離に基づいて、上述の式1を用いてユーザに呈示する映像のサイズを視角2度より大きく視角14度より小さい範囲で決定する。好もしくは、映像サイズ決定部75は、視角6度以上視角10度以下の映像のサイズに決定する。
 たとえば、ユーザ5と映像出力部71の距離が1mの場合には、映像の対角長が3.5cmよりも大きく、24.9cmよりも小さい範囲で決定する。そして、映像再生処理部70に決定した映像のサイズを送る。
 また、ユーザ5の眼球位置と映像出力部71との角度の情報と、ユーザ5と映像出力部71との距離に基づいて、映像サイズを視角2度より大きく視角14度より小さい範囲で決定しても良い。この場合、ユーザ5の眼球位置と映像出力部71との角度の情報に基づいて、初期位置を調整した上で、式1に基づいて、映像サイズを決定する。
 <映像再生処理部70>
 映像再生処理部70は、たとえば図示されないハードディスクラドイブ内に、ユーザに呈示される映像(コンテンツ)のデータを予め保持している。映像再生処理部70は、映像サイズ決定部75から受けた映像サイズで、映像を再生する。つまり、映像再生処理部70は、映像コンテンツの出力を制御する。
 映像のコンテンツとは、少なくとも一部が異なる複数の画像が、時系列で連続している情報である。たとえば、映画やTV映像のドラマやスポーツ中継とする。ユーザ5の覚醒度の変動を抑制するために、ユーザ5の興味度合いに合わせてユーザ5がコンテンツを選択できるようにしてもよい。
 なお、本実施形態においては、映像のコンテンツは、音声の情報を含まないとする。映像コンテンツ自体に音声情報が含まれていてもよいが、その場合には、映像再生処理部70が音声をスピーカから出力しないように制御すること等によって、映像のコンテンツに含まれる音声情報の出力を禁止すればよい。
 <映像出力部71>
 映像出力部71は、映像再生処理部70と有線または無線でつながり、映像再生処理部70で再生処理された映像を出力する。映像は、聴覚事象関連電位計測中、常に再生するものとする。
 <聴覚事象関連電位算出部100>
 聴覚事象関連電位算出部100(以下、「算出部100」と記述する。)は、聴覚刺激生成部60から受けた聴覚刺激の情報に基づいて、脳波処理部55から受けた事象関連電位を加算平均する。加算平均は、たとえば左右耳ごと、周波数ごと、音圧ごとに実施する。
 なお、事象関連電位は非常に小さい電位(例えば、数μV)であるため、計測した事象関連電位を加算平均して用いることが一般的である。しかし、事象関連電位を精度良く取得できる場合には、1音に対する事象関連電位でも構わない。この場合には、算出部100を省略することができる。
 <計測システム1の処理>
 次に、図18を参照しながら図17の計測システム1において行われる処理手順を説明する。図18は、計測システム1において行われる処理の手順を示すフローチャートである。
 ステップS101において、距離計測部81は、ユーザ5の眼球位置と映像出力部71の距離を測定する距離計である。ユーザ5の眼球位置と映像出力部71の距離が測定できれば、手法は問わない。たとえば超音波やミリ波の反射波を用いてもよい。そして、測定した結果を映像サイズ決定部75に送る。
 ステップS102において、映像サイズ決定部75は、距離計測部81から受けたユーザ5と映像出力部71との距離に基づいて、上述の式1を用いてユーザに呈示する映像のサイズを視角2度より大きく視角14度より小さい範囲で決定する。たとえば、ユーザ5と映像出力部71の距離が1mの場合には、映像の対角長が3.5cmよりも大きく、24.9cmよりも小さい範囲で決定する。そして、映像再生処理部70に決定した映像のサイズを送る。
 ステップS103において、生体信号計測部50は、生体信号としてユーザ5の脳波を計測する。そして、脳波データに対して適切な遮断周波数の周波数フィルタリングを行い、連続脳波データを脳波処理部に送る。
 ステップS104において、映像再生処理部70は、映像サイズ決定部75で決定されたサイズで、映像再生処理部70内にあらかじめ保持した映像コンテンツを再生し、映像出力部71を介してユーザ5に呈示する。映像コンテンツとは、たとえば映画やTV映像のドラマやスポーツ中継とする。ユーザ5の覚醒度の変動を抑制するために、ユーザ5の興味度合いに合わせてユーザ5がコンテンツを選択できるようにしてもよい。なお、映像コンテンツは、音を含まないように呈示されるとする。
 ステップS105において、聴覚刺激生成部60は、ユーザ5に呈示する聴覚刺激の情報を決定する。聴覚刺激の情報は、ユーザ5の右耳か左耳のどちらに呈示するのか、及び、呈示する聴覚刺激の周波数、音圧を含む。聴覚刺激の音圧は一般的にUCLと評価されるよりも低い音圧範囲で決定する。そして、聴覚刺激生成部60は、決定した聴覚刺激を生成し、所定の刺激間間隔をあけて聴覚刺激出力部61に送る。また、聴覚刺激生成部60は、聴覚刺激出力部61に聴覚刺激の情報を送ったタイミングで、脳波処理部55にトリガを出力する。加えて、聴覚刺激生成部60は、聴覚刺激出力部61に聴覚刺激の情報を送ったタイミングで、聴覚刺激を呈示したタイミング、左右耳、聴覚刺激の周波数および音圧の情報を脳波処理部55に送る。
 ステップS106において、聴覚刺激出力部61は、聴覚刺激生成部60で生成された聴覚刺激データを再生し、ユーザ5に呈示する。
 ステップS107において、脳波処理部55は、生体信号計測部50から受けた脳波データから、聴覚刺激生成部60から受けたトリガを起点に、所定区間(たとえば聴覚刺激呈示前100msから聴覚刺激呈示後400msの区間)の事象関連電位を切り出す。そして、その事象関連電位を算出部100に送る。また、脳波処理部55は、聴覚刺激生成部60から受けた聴覚刺激の左右、周波数、音圧の情報を算出部100に送る。
 ステップS108は、ステップS105からステップS107の聴覚刺激呈示および事象関連電位抽出をあらかじめ設定した所定の回数だけ実施したかによる分岐である。たとえば、左右それぞれの耳について、5つの周波数のそれぞれ3つの音圧に対して、30回の繰り返し回数とした場合、所定回数とは900回(2×5×3×30)である。ステップS108でYesの場合にはステップS109へ進み、Noの場合にはステップS105へ戻って聴覚刺激の呈示および事象関連電位の抽出を繰り返す。
 ステップS109において、算出部100は、脳波処理部55から受けた聴覚刺激の情報に基づいて、同じく脳波処理部55から受けた事象関連電位の加算平均を実行する。なお、本開示において、ステップS109は必須ではない。映像の呈示を含む、ステップS101からS108までの処理により、ユーザ5は比較的覚醒度が高い状態で聴覚刺激を受けているため、聴覚刺激によって誘発された聴覚事象関連電位の精度が高いと言えるからである。ステップS109の処理は、さらに精度を高めるために設けられていることに留意されたい。
 本実施形態の計測システム1によれば、聴覚事象関連電位計測中にユーザとディスプレイの距離に応じて、対角の視角が2度より大きく14度より小さいサイズで映像を呈示し、ユーザの覚醒度変動および映像観取により混入する眼電のノイズの影響が少ない高精度な聴覚事象関連電位計測が実現できる。
 なお、本明細書では、映像サイズ決定部75は呈示した映像の対角長をSとして、式1に基づいて視角を算出した。つまり、映像サイズ決定部75は、映像の表示領域全体を視線移動が起こりうる範囲(領域)として捉え、映像のサイズを決定していた。しかしながらこれは一例である。映像において視線移動が起こりうる範囲(領域)があらかじめ特定できる場合には、その領域の対角長をSとしてもよい。
 たとえば図20(a)および(b)はそれぞれ、対角長が定義され得る領域を破線で示している。図20(a)に示されるように、コンテンツの主領域201aの対角長をSとしてもよいし、図20(b)に示されるように、字幕表示領域201bの対角長をSとしてもよい。なお、コンテンツの主領域や、字幕表示領域の対角長は、あらかじめデータベースに保持しておいてもよいし、リアルタイムに算出してもよい。このとき映像サイズ決定部75は、映像自体のサイズを決定する必要はなく、そのような対角長Sを決定するための領域のサイズを決定すればよい。図21は、サイズが変更される主領域201aを模式的に示す。たとえば図21に示したように、映像サイズ決定部75は、コンテンツの主領域が映像全体の一部の範囲を占めるよう、主領域のサイズを変更してもよい。その際、主領域以外の領域はグレーアウトされてもよい。
 なお、映像サイズを一定とし、対角の視角が2度より大きく、14度よりも小さくなるように、ユーザ5の眼球位置と映像出力部71の距離があらかじめ設定した値となるように、ユーザ5または映像出力部71の位置を調整してもよい。この場合には、距離計測部81及び映像サイズ決定部75を省略することができる。
 なお、所定の間隔で距離計測を実施し、聴覚事象関連電位中に映像サイズを再度決定してもよい。その場合、映像全体のサイズを動的に変えてもよいし、たとえば図21に示したように主領域以外の領域をグレーアウトする場合には、映像全体のサイズは変更せずに、矢印で示すようにグレーアウトする領域の大きさを変えてもよい。
 なお、対角の視角が2度より大きく14度より小さい範囲において、映像のサイズは再生する映像のジャンルに応じて決定してもよい。たとえば眼球運動が頻繁に発生することが予想されるスポーツ中継では対角の視角が2度より大きく8度より小さいと設定し、眼球運動の頻度が低いことが予想されるドラマでは対角の視角が8度以上で14度より小さいと設定してもよい。
 なお、本実施形態においては、聴覚事象関連電位計測の結果の蓄積をしていないが、結果蓄積用のデータベースを新たに設け、結果を蓄積してもよい。
 なお、本実施形態においては、呈示する映像は映像再生処理部70にあらかじめ保持しているとした。しかし、聴覚事象関連電位計測時にリアルタイムで放送されているTV映像を呈示してもよい。その場合も同様に輝度変化検出部76において、TV映像の輝度変化を検出すればよい。
 なお、ユーザ5のUCLを測定する場合には、ユーザ5のP1成分を取得する。P1成分が所定の閾値以上に大きい場合には、ユーザ5は、呈示された音(聴覚刺激)の音圧がうるさいと感じていることを意味する。周波数等ごとに、ユーザ5がうるさいと感じている音圧を計測し、その計測した情報に基づいて、補聴器を調整することができる。
 なお、計測装置10は、少なくとも映像再生処理部70及び脳波処理部55とを備える。
 上述の実施形態では、適切と考えられる映像サイズは映像の対角の視角が2度より大きく14度より小さい範囲であるとした。この範囲は、あくまで本願発明者が実験によって得られた事象関連電位の波形に基づいて求めた範囲である。この範囲は、本願発明者が行った実験の条件とは相違する条件下、たとえば呈示する映像の種類、実験参加者の当日の体調の相違、視力の相違によって変動し得ると考えられる。2度以下の値(たとえば1.5度)が下限となることも考えられるし、14度以上の値(たとえば14.5度)が上限となることも考えられる。聴覚事象関連電位計測システムが利用される条件下で、利用者の覚醒度が維持され得るかどうかを基準として、この範囲を変動させてもよい。本願明細書における「2度より大きく14度より小さい範囲」という記載は、そのような変動を排除するものではなく、そのような変動を含むよう解釈される。
 本開示の聴覚事象関連電位計測装置および聴覚事象関連電位計測装置が組み込まれた聴覚事象関連電位計測システムによれば、聴覚刺激と並列に適切と考えられるサイズの映像を呈示することで、ユーザの覚醒度低下および映像観取によって混入するノイズの影響を抑制し、高精度な聴覚事象関連電位の計測が実現される。高精度な聴覚事象関連電位の計測結果は、ユーザの客観的な聞こえ評価において利用可能である。
 1 聴覚事象関連電位計測システム(計測システム)
 5 ユーザ
 10 聴覚事象関連電位計測装置(計測装置)
 50 生体信号計測部
 55 脳波処理部
 60 聴覚刺激生成部
 61 聴覚刺激出力部
 70 映像再生処理部
 71 映像出力部
 75 映像サイズ決定部
 76 輝度変化検出部
 81 距離計測部
 100 聴覚事象関連電位算出部

Claims (14)

  1.  ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するサイズ決定部と、
     前記ユーザに、前記サイズ決定部で決定された大きさの領域を含む映像を呈示する映像出力部と、
     前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示する聴覚刺激出力部と、
     前記ユーザの脳波信号を計測する生体信号計測部と、
     前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得する脳波処理部と
     を備えた、聴覚事象関連電位計測システム。
  2.  前記脳波処理部が取得した事象関連電位を加算平均する算出部をさらに備えた、請求項1に記載の聴覚事象関連電位計測システム。
  3.  前記ユーザの眼球位置から前記映像出力部までの距離を計測する距離計測部をさらに備え、
     前記サイズ決定部は、前記距離に基づいて前記映像中の領域のサイズを決定する、請求項1に記載の聴覚事象関連電位計測システム。
  4.  前記距離計測部は所定のタイミングで前記距離を計測し、
     前記サイズ決定部は、計測された前記距離に基づいて前記事象関連電位計測中に前記映像中の領域のサイズを変更する、請求項3に記載の聴覚事象関連電位計測システム。
  5.  前記ユーザに呈示する前記映像のコンテンツを少なくとも1種類保持し、保持した映像のコンテンツの再生処理を行う映像再生処理部をさらに備えた、請求項4に記載の聴覚事象関連電位計測システム。
  6.  前記映像のコンテンツは、音声の情報を含まない、請求項5に記載の聴覚事象関連電位計測システム。
  7.  前記映像のコンテンツに音声の情報が含まれている場合には、前記映像出力部は前記音声の出力を禁止する、請求項5に記載の聴覚事象関連電位計測システム。
  8.  前記映像再生処理部は複数種類の映像のコンテンツを保持しており、
     前記映像再生処理部は、前記複数種類の映像のコンテンツのうちから前記ユーザが選択した映像のコンテンツの再生処理を行う、請求項6に記載の聴覚事象関連電位計測システム。
  9.  前記聴覚刺激を前記ユーザの左右の耳のいずれかに呈示するか、および前記聴覚刺激の周波数および音圧を決定し、決定した特性を有する聴覚刺激を生成する聴覚刺激生成部をさらに備えた、請求項1に記載の聴覚事象関連電位計測システム。
  10.  前記サイズ決定部は、ユーザに呈示される映像全体の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、前記映像のサイズを決定する、請求項1に記載の聴覚事象関連電位計測システム。
  11.  前記サイズ決定部は、ユーザに呈示される映像中の部分領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、前記映像の部分領域のサイズを決定する、請求項1に記載の聴覚事象関連電位計測システム。
  12.  ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するステップと、
     前記ユーザに、サイズを決定する前記ステップで決定された大きさの領域を含む映像を呈示するステップと、
     前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示するステップと、
     前記ユーザの脳波信号を計測するステップと、
     前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得するステップと
     を包含する、聴覚事象関連電位計測方法。
  13.  聴覚事象関連電位計測システムの聴覚事象関連電位計測装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
     前記コンピュータプログラムは、前記コンピュータに対し、
     ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するステップと、
     前記ユーザに、サイズを決定する前記ステップで決定された大きさの領域を含む映像を呈示するステップと、
     前記ユーザに前記映像が呈示されている期間中に前記ユーザに聴覚刺激を呈示するステップと、
     前記ユーザの脳波信号を取得するステップと、
     前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得するステップと
     を実行させる、コンピュータプログラム。
  14.  ユーザに呈示される映像中の領域の対角の視角が2度よりも大きく14度よりも小さい範囲を有するように、映像中の領域のサイズを決定するサイズ決定部と、
     前記生体信号計測部が計測した脳波信号から事象関連電位を取得する脳波処理部と
     を備え、
     映像出力部により、前記サイズ決定部によって決定された大きさの領域を含む映像を前記ユーザに呈示している期間中に、前記聴覚刺激出力部が前記ユーザに聴覚刺激を呈示した場合、前記脳波処理部は、前記聴覚刺激が呈示された時刻を起点として、前記脳波信号から事象関連電位を取得する、聴覚事象関連電位計測装置。
PCT/JP2012/006611 2011-10-18 2012-10-16 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム WO2013057928A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013512904A JP5352029B1 (ja) 2011-10-18 2012-10-16 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
CN2012800047581A CN103327888A (zh) 2011-10-18 2012-10-16 听觉事件相关电位测量系统及其装置、方法与计算机程序
US13/960,486 US20130324880A1 (en) 2011-10-18 2013-08-06 Auditory event-related potential measurement system, auditory event-related potential measurement apparatus, auditory event-related potential measurement method, and computer program thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-228575 2011-10-18
JP2011228575 2011-10-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/960,486 Continuation US20130324880A1 (en) 2011-10-18 2013-08-06 Auditory event-related potential measurement system, auditory event-related potential measurement apparatus, auditory event-related potential measurement method, and computer program thereof

Publications (1)

Publication Number Publication Date
WO2013057928A1 true WO2013057928A1 (ja) 2013-04-25

Family

ID=48140594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/006611 WO2013057928A1 (ja) 2011-10-18 2012-10-16 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム

Country Status (4)

Country Link
US (1) US20130324880A1 (ja)
JP (1) JP5352029B1 (ja)
CN (1) CN103327888A (ja)
WO (1) WO2013057928A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108784692A (zh) * 2018-05-11 2018-11-13 上海大学 一种基于个体脑电差异的情绪调控训练系统和方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5632569B2 (ja) * 2012-10-09 2014-11-26 パナソニック株式会社 不快音圧推定システム、不快音圧推定プロセッサ、不快音圧推定方法およびそのコンピュータプログラム
JP2017064390A (ja) * 2015-09-28 2017-04-06 パナソニックIpマネジメント株式会社 電気刺激システム、電気刺激方法、コンピュータプログラム
JP6694733B2 (ja) * 2016-02-26 2020-05-20 日本光電工業株式会社 誘発電位測定装置
US10853775B1 (en) * 2016-12-29 2020-12-01 Wells Fargo Bank, N.A. Computing systems for proximity-based fees
EP3417775B1 (en) * 2017-06-22 2020-08-19 Oticon A/s A system for capturing electrooculography signals
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
EP3731749A4 (en) 2017-12-31 2022-07-27 Neuroenhancement Lab, LLC NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CA3112564A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
JP7176445B2 (ja) 2019-03-13 2022-11-22 株式会社リコー 脳反応計測システム、脳反応計測方法及び脳反応計測プログラム
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
KR20210007385A (ko) * 2019-07-11 2021-01-20 현대자동차주식회사 오류 모니터링을 이용한 교통 감시 시스템
CN112221003B (zh) * 2020-10-14 2021-07-20 电子科技大学 一种基于视听刺激快速诱发疲劳状态的模拟方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0592039A (ja) * 1991-10-02 1993-04-16 Mazda Motor Corp 覚醒度維持装置
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
WO2010073614A1 (ja) * 2008-12-22 2010-07-01 パナソニック株式会社 語音明瞭度評価システム、その方法およびそのコンピュータプログラム
WO2011045936A1 (ja) * 2009-10-15 2011-04-21 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907082A (en) * 1988-05-03 1990-03-06 Thomson Consumer Electronics, Inc. Dynamic control menu for a television system or the like
JP2908238B2 (ja) * 1994-05-27 1999-06-21 日本電気株式会社 ストレス計測装置
KR20030097310A (ko) * 2002-06-20 2003-12-31 삼성전자주식회사 디스플레이장치의 화상크기조절방법 및 그화상크기조절시스템과 화상크기조절방법을 수행하는프로그램이 저장된 기록매체
KR101348601B1 (ko) * 2008-01-31 2014-01-16 삼성전자주식회사 적응적인 임장감 향상 예측에 따른 임장감 향상 시스템 및방법
JP2009268826A (ja) * 2008-05-09 2009-11-19 Panasonic Corp 脳波識別方法調整装置および方法
WO2011006681A1 (en) * 2009-07-13 2011-01-20 Widex A/S A hearing aid adapted fordetecting brain waves and a method for adapting such a hearing aid

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0592039A (ja) * 1991-10-02 1993-04-16 Mazda Motor Corp 覚醒度維持装置
WO2008059878A1 (fr) * 2006-11-15 2008-05-22 Panasonic Corporation Dispositif d'ajustement pour un procédé d'identification d'ondes cérébrales, procédé d'ajustement et programme informatique
WO2010073614A1 (ja) * 2008-12-22 2010-07-01 パナソニック株式会社 語音明瞭度評価システム、その方法およびそのコンピュータプログラム
WO2011045936A1 (ja) * 2009-10-15 2011-04-21 パナソニック株式会社 運転注意量判別装置、方法、および、コンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHOGO OSAKA ET AL.: "A basic study on P300 ERPs evoked by simultaneous presentation of visual and auditory stimuli", IEICE TECHNICAL REPORT, 2009.09, MBE2009-47, September 2009 (2009-09-01), pages 51 - 56 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108784692A (zh) * 2018-05-11 2018-11-13 上海大学 一种基于个体脑电差异的情绪调控训练系统和方法

Also Published As

Publication number Publication date
CN103327888A (zh) 2013-09-25
JP5352029B1 (ja) 2013-11-27
JPWO2013057928A1 (ja) 2015-04-02
US20130324880A1 (en) 2013-12-05

Similar Documents

Publication Publication Date Title
JP5352029B1 (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
Michalewski et al. Auditory temporal processes in normal-hearing individuals and in patients with auditory neuropathy
JP5215508B1 (ja) 不快閾値推定システム、方法およびそのプログラム、補聴器調整システムおよび不快閾値推定処理回路
JP5915944B2 (ja) 不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム
JP5406414B2 (ja) 不快音圧推定システム、不快音圧推定装置、不快音圧推定システムの作動方法およびそのコンピュータプログラム
JP6041271B2 (ja) 補聴器利得決定システム、補聴器利得決定方法、およびコンピュータプログラム
JP5215507B1 (ja) 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置
JP5091366B2 (ja) 音圧評価システム、その方法およびそのプログラム
JP5579352B1 (ja) 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム
US9439003B2 (en) Uncomfortable sound pressure estimation system, uncomfortable sound pressure estimation processor, uncomfortable sound pressure estimation method, and computer program thereof
JP5249478B1 (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測方法およびそのコンピュータプログラム
Campbell et al. The effects of attention and conscious state on the detection of gaps in long duration auditory stimuli
JP2013085731A (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
Dzulkarnain EFFECT OF DIFFERENT INTER-STIMULUS INTERVALS (ISI) ON CORTICAL AUDITORY EVOKED POTENTIAL IN NORMAL HEARING ADULTS: A PRELIMINARY FINDING

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013512904

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12842593

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12842593

Country of ref document: EP

Kind code of ref document: A1