WO2011158506A1 - 補聴器、信号処理方法及びプログラム - Google Patents

補聴器、信号処理方法及びプログラム Download PDF

Info

Publication number
WO2011158506A1
WO2011158506A1 PCT/JP2011/003426 JP2011003426W WO2011158506A1 WO 2011158506 A1 WO2011158506 A1 WO 2011158506A1 JP 2011003426 W JP2011003426 W JP 2011003426W WO 2011158506 A1 WO2011158506 A1 WO 2011158506A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
hearing aid
scene
unit
sound source
Prior art date
Application number
PCT/JP2011/003426
Other languages
English (en)
French (fr)
Inventor
麻紀 山田
遠藤　充
考一郎 水島
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180002942.8A priority Critical patent/CN102474697B/zh
Priority to US13/388,494 priority patent/US9124984B2/en
Priority to JP2011535803A priority patent/JP5740572B2/ja
Priority to EP11795414.9A priority patent/EP2536170B1/en
Publication of WO2011158506A1 publication Critical patent/WO2011158506A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Definitions

  • the present invention relates to a hearing aid, a signal processing method, and a program that make it easier for a hearing aid user to hear a desired sound.
  • a hearing aid is a device that amplifies such a small sound and makes it easy to hear even a person whose hearing ability has decreased.
  • the hearing aid increases not only the desired sound but also the noise, it is difficult to hear the voice of the conversation partner and the sound of the TV in a noisy environment.
  • Patent Document 1 describes a microphone in which a sound source direction is detected by microphones having two or more directivities and the directivity is switched to the detected direction.
  • the microphone described in Patent Document 1 can make the sound of the sound source easier to hear when the sound source is one by directing directivity in the direction of the sound source.
  • Patent Document 2 describes a hearing aid that automatically controls directivity rather than designating the direction of the sound that the hearing aid user wants to hear by operation.
  • the hearing aid described in Patent Document 2 detects the line of sight of a hearing aid user and directs directivity in the direction of the line of sight.
  • An object of the present invention is to provide a hearing aid, a signal processing method, and a program that make it easy to hear the sound of the TV when the hearing aid user wants to watch the TV and the voice of the person when the hearing aid user wants to talk to the person.
  • the hearing aid of the present invention is a hearing aid worn on both ears provided with a microphone array, a sound source direction estimating unit for detecting a sound source direction from a sound signal input from the microphone array, and a hearing aid wearer's hearing aid from the sound signal.
  • a self-speech detection unit that detects voice, a TV sound detection unit that detects TV sound from the sound signal, a non-wearing person based on the detected sound source direction information, the self-speech detection result, and the TV sound detection result
  • the other-speaker detection unit for detecting the utterance of the speaker, the self-speech detection result, the TV sound detection result, the other-speaker utterance detection result, and the frequency for each sound source based on the sound source direction information
  • the signal processing method of the present invention is a signal processing method for a hearing aid worn on both ears on which a microphone array is installed, the step of detecting a sound source direction from a sound signal input from the microphone array, and the hearing aid from the sound signal.
  • a speaker other than the wearer based on the step of detecting the voice of the wearer, the step of detecting TV sound from the sound signal, the detected sound source direction information, the self-speech detection result, and the TV sound detection result Detecting the utterance, calculating the frequency for each sound source using the self-speech detection result, the TV sound detection result, the other-speaker utterance detection result, and the sound source direction information, and the sound source direction information And determining the scene based on the frequency for each sound source and controlling the hearing of the hearing aid according to the determined scene.
  • the present invention is a program for causing a computer to execute each step of the signal processing method.
  • the present invention can make it easier for a hearing aid user to hear a sound that he / she wants to hear according to the scene when there are a plurality of sound sources such as a TV and a conversation. For example, in a situation where the hearing aid user wants to watch TV, the sound of the TV is easier to hear when he / she wants to talk to a person, and in a situation where he / she talks while watching TV, both I can hear sound.
  • the figure which shows the structure of the hearing aid which concerns on embodiment of this invention The block diagram which shows the principal part structure of the hearing aid which concerns on the said embodiment.
  • Flow chart showing the flow of processing of the hearing aid according to the above embodiment The figure which shows the sound source direction estimation experiment result of the hearing aid concerning the said embodiment
  • the figure which shows the TV sound detection experiment result of the hearing aid concerning the said embodiment The figure which shows the TV sound detection experiment result of the hearing aid concerning the said embodiment.
  • determined the self-speech, TV single sound, and others' utterance with respect to the sound source direction estimation result for every frame of the hearing aid concerning the said embodiment The figure which shows the frequency according to the sound source in the "conversation scene” of the hearing aid concerning the said embodiment The figure which shows the frequency according to the sound source in the "TV scene” of the hearing aid which concerns on the said embodiment. The figure which shows the frequency according to the sound source in "while viewing scene” of the hearing aid concerning the above-mentioned embodiment. The figure which shows the table
  • determination by the point addition method of the hearing aid concerning the said embodiment The figure showing the example of the scene discrimination
  • FIG. 1 is a diagram showing a configuration of a hearing aid according to an embodiment of the present invention. This embodiment is an example applied to a remote control type hearing aid (hereinafter abbreviated as “hearing aid”) in which the hearing aid main body and the earphone are separated.
  • hearing aid a remote control type hearing aid
  • the hearing aid 100 includes a hearing aid housing 101 that is applied to the outer ear, and a remote control device 105 that is connected to the hearing aid housing 101 in a wired manner.
  • the hearing aid housing 101 includes two housings having the same configuration for the left ear and the right ear. On the upper part of the left and right hearing aid housings 101, microphones for picking up surrounding sounds are arranged side by side in the front and rear, respectively, and a microphone array 102 consisting of four in total is formed.
  • the hearing aid housing 101 includes a speaker 103 that outputs a hearing sound or a TV sound, and the speaker 103 is connected to an ear chip 104 fitted to the inner ear by a tube. The hearing aid user can hear the sound output from the speaker 103 from the ear chip 104.
  • the remote control device 105 includes a CPU 106 that controls and calculates the hearing aid 100 and a transmission / reception unit 107 that receives radio waves transmitted from the audio transmitter 108.
  • the audio transmitter 108 is connected to the TV 109 and transmits a TV sound signal by wireless communication such as Bluetooth.
  • the transmission / reception unit 107 receives radio waves sent from the audio transmitter 108 and sends the received TV sound to the CPU 106.
  • the sound collected by the microphone array 102 is sent to the CPU 106 in the remote control device 105.
  • the CPU 106 performs a hearing aid process such as directivity control or amplifying the gain of the frequency band in which the hearing ability is reduced so that the hearing aid user can easily hear the sound input from the microphone array 102 and outputs the sound from the speaker 103. . Further, the CPU 106 outputs the received TV sound from the speaker 103 according to the situation.
  • a signal processing method in the CPU 106 will be described in detail with reference to FIGS.
  • the remote control device 105 is placed in a breast pocket of a hearing aid user, processes the sound collected by the microphone array 102 inside the hearing aid housing 101, and makes the user wearing the ear tip 104 hear it.
  • the hearing aid 100 receives the radio signal transmitted from the audio transmitter 108 connected to the TV 109 by the transmission / reception unit 107 built in the remote control device 105 of the hearing aid 100.
  • the hearing aid user can switch and listen to the actual surrounding sound acquired by the hearing aid 100 and the sound of the TV 109.
  • the hearing aid 100 can be switched not only by the operation of the hearing aid user, but also can automatically determine the situation and optimally hear the sound that the hearing aid user wants to hear.
  • the hearing aid housing 101 and the remote control device 105 are connected by wire, but may be wireless. Further, instead of performing all the hearing aid processing by the CPU 106 in the remote control device 105, the left and right hearing aid housings 101 may be provided with a DSP (Digital Signal Processor) that performs some signal processing.
  • DSP Digital Signal Processor
  • FIG. 2 is a block diagram showing a main configuration of the hearing aid 100 according to the present embodiment.
  • the hearing aid 100 includes a microphone array 102, an A / D (Analog to Digital) conversion unit 110, a sound source direction estimation unit 120, a self-speech detection unit 130, a TV sound detection unit 140, and another person's speech detection unit. 150, a sound source frequency calculation unit 160, a scene determination unit 170, and an output sound control unit 180.
  • a / D Analog to Digital
  • the TV sound detection unit 140 includes a microphone input short time power calculation unit 141, a TV sound short time power calculation unit 142, and a TV single section detection unit 143.
  • the microphone array 102 is a sound collection device in which a plurality of microphones are arranged.
  • the hearing aid 100 is attached to both ears where the microphone array 102 is installed.
  • the A / D converter 110 converts the sound signal input from the microphone array 102 into a digital signal.
  • the sound source direction estimation unit 120 detects the sound source direction from the A / D converted sound signal.
  • the self-speech detector 130 detects the hearing aid user's voice from the A / D converted sound signal.
  • the TV sound detection unit 140 detects TV sound from the A / D converted sound signal.
  • a TV is described as an example of a sound source that exists daily in a home.
  • the signal detected by the TV sound detection unit 140 may be not only TV sound but also sound signals of various AV devices other than TV sound.
  • the various AV devices are, for example, a BD (Blu-ray Disc) / DVD (Digital Versatile Disk) device connected to a TV, or a streaming data reproducing device transmitted by broadband.
  • the TV sound in this specification is a collective term for sounds received from various AV devices including TV sound.
  • the microphone input short time power calculation unit 141 calculates the short time power of the sound signal converted by the A / D conversion unit 110.
  • the TV sound short time power calculation unit 142 calculates the short time power of the received TV sound.
  • the TV single section detection unit 143 determines a TV single section using the received TV sound and the sound signal converted by the A / D conversion unit 110. Specifically, the TV single section detection unit 143 compares the TV sound short-time power and the microphone input short-time power, and detects a section in which the difference falls within a predetermined range as a TV single section.
  • the other person utterance detection unit 150 detects the utterance of a speaker other than the wearer using the detected sound source direction information, the self utterance detection result, and the TV sound detection result.
  • the sound source frequency calculation unit 160 calculates the frequency for each sound source using the self-speech detection result, the TV sound detection result, the other-speaker speech detection result, and the sound source direction information.
  • the scene discriminating unit 170 discriminates the scene using the sound source direction information and the frequency for each sound source.
  • the scene classification includes “conversation scene” where the wearer is talking, “TV viewing scene” where the wearer is watching TV, and “while watching TV scene” where the wearer is talking and watching TV at the same time. included.
  • the output sound control unit 180 processes the sound input from the microphone according to the scene determined by the scene determination unit 170 so as to be easily heard by the user, and controls the hearing of the hearing aid 100.
  • the output sound control unit 180 controls the hearing of the hearing aid 100 by directivity control. For example, in the “conversation scene”, the output sound control unit 180 directs a directional beam in the front direction. In the “TV viewing scene”, the output sound control unit 180 directs a directional beam in the front direction. Further, in the “TV viewing scene”, the output sound control unit 180 outputs the TV sound received by the TV sound receiving unit. In the “TV viewing scene”, the output sound control unit 180 controls the wide directivity. In this case, in the “TV viewing scene”, the output sound control unit 180 outputs the TV sound received by the TV sound receiving unit to one ear, and outputs the sound having wide directivity to the other ear.
  • FIG. 3 shows a usage example of the hearing aid 100.
  • FIG. 3 is a diagram showing a positional relationship between a hearing aid user who wears the hearing aid on his / her ear, a TV, and a person having a conversation.
  • FIG. 3 (a) a TV is attached but the hearing aid user is not particularly watching the TV and is talking to the family.
  • This scene is called a “conversation scene”.
  • TV sound is flowing from the TV speaker on the right side of the hearing aid user, and the hearing aid user is talking to a person in front and diagonally left front.
  • this “conversation scene” since TV sound interferes with the conversation and it is difficult to have a conversation, it is desirable to suppress the TV sound and control the directivity forward.
  • FIG. 3B the positions of the person and the TV are the same as in FIG. 3A, but the hearing aid user is watching the TV and the family is talking in the left direction.
  • This scene will be referred to as a “TV scene”.
  • TV scene it is difficult to hear the TV sound as it is because the family conversation is in the way, so it is necessary for the hearing aid user to manually operate the TV sound to be directly output from the hearing aid.
  • TV scene it is desirable to switch this automatically or to direct the directivity to the front of the TV.
  • FIG. 3 (c) the positions of the person and the TV are the same as those in FIGS. 3 (a) and 3 (b), but the hearing aid user is talking about the contents of the TV with his / her family while watching the TV.
  • This scene will be referred to as “while viewing scene”.
  • this “viewing scene” it is necessary not to hear either the TV sound or the voice of the conversation, but to hear both sounds.
  • conversations related to TV content are often conducted when the sound of the TV is interrupted, so by listening to omnidirectional or wide-directional sound, both the sound of the TV and the voice of the conversation are heard. Will be able to.
  • FIG. 4 is a flowchart showing a process flow of the hearing aid 100. This flow is executed by the CPU 106 at every predetermined timing.
  • the sound collected by the microphone array 102 is converted into a digital signal by the A / D converter 110 and output to the CPU 106.
  • step S1 the sound source direction estimation unit 120 estimates and outputs the sound source direction by performing signal processing from the A / D converted sound signal using the difference in arrival time of the sound arriving at each microphone.
  • the sound source direction estimation unit 120 first obtains the direction of the sound source for each 512 points with a resolution of 22.5 ° for a sound signal sampled at a sampling frequency of 48 kHz.
  • the sound source direction estimation unit 120 outputs the direction that appears most frequently in the frame for one second as the estimated direction of the frame.
  • the sound source direction estimation unit 120 can obtain a sound source direction estimation result every second.
  • FIG. 5 shows the result output by the sound source direction estimation unit 120 at this time.
  • FIG. 5 is a diagram showing the results of the sound source direction estimation experiment, where the horizontal axis represents time (seconds) and the vertical axis represents the direction.
  • the directions are output in increments of 22.5 ° from ⁇ 180 ° to + 180 °, with the front of the hearing aid user being 0 °, the left direction being negative, and the right direction being positive.
  • the result of the sound source direction estimation experiment is that the sound output from the speaker of the TV in front of the hearing aid user is mixed with the voice of the conversation partner in the left hand of the hearing aid user, and an estimation error is generated. Including. For this reason, this information alone does not indicate what kind of sound source is in which direction.
  • step S ⁇ b> 2 the self-speech detection unit 130 determines whether or not the sound signal in the frame t is a self-speech segment from the A / D-converted sound signal and outputs it.
  • a method for detecting the spontaneous utterance as a known technique, for example, there is a method for detecting the spontaneous utterance by detecting a voice vibration due to bone conduction as disclosed in Patent Document 3. Using such a method, the self-speech detection unit 130 sets a section where the vibration component is equal to or greater than a predetermined threshold for each frame as a self-speech utterance section.
  • step S3 the TV sound detection unit 140 uses the A / D converted sound signal and the external TV sound signal received by the transmission / reception unit 107 (FIG. 1), and the surrounding sound environment in the frame t is TV. Judge whether or not only sound is sounding and output.
  • the TV sound detection unit 140 includes a microphone input short time power calculation unit 141, a TV sound short time power calculation unit 142, and a TV single section detection unit 143.
  • the microphone input short-time power calculation unit 141 calculates the short-time power of the sound signal collected by the microphone array 102.
  • the TV sound short-time power calculation unit 142 calculates the short-time power of the received TV sound.
  • the TV single section detection unit 143 compares these two outputs and detects a section in which the difference is within a certain range as a TV single section.
  • the TV sound detection method will be described.
  • the sound output from the TV speaker is not the same as the original TV sound because a delay occurs and a reflected sound is mixed while it travels through the space to the microphone of the hearing aid. Since the TV sound transmitted by radio waves also has a delay, when calculating the correlation between the sound collected by the microphone and the original TV sound, the unknown delay must be taken into account and the amount of calculation increases. Problem arises.
  • the sound collected by the microphone is compared with the original TV sound using a short-time power of about 1 second in which the delay can be ignored.
  • a short-time power of about 1 second in which the delay can be ignored.
  • the microphone input short-time power calculation unit 141 calculates the power Pm (t) in the 1-second section of the frame t with respect to the sound signal of at least one omnidirectional microphone in the microphone array 102 by the following equation (1).
  • Xi represents a sound signal
  • N represents the number of samples per second.
  • the sampling frequency is 48 kHz
  • N 48000.
  • the TV sound short-time power calculation unit 142 similarly calculates the power Pt (t) in the section for one second from the following equation (2) for the external TV sound signal received by the transmission / reception unit 107.
  • yi represents a TV sound signal.
  • FIG. 6 is a diagram showing the results of the TV sound detection experiment, where the horizontal axis represents time (seconds) and the vertical axis represents the power level difference (dB).
  • FIG. 6 shows the power difference Ld per second between the sound collected by the hearing aid microphone array 102 and the TV sound.
  • a shaded area surrounded by a square in FIG. 6 shows a section labeled by a person as a section of TV alone by listening.
  • the power level difference Ld (t) varies in the non-stationary sound other than the TV sound, that is, in the section where the voice of the conversation partner or one's own voice is heard.
  • this power level difference is a value in the vicinity of ⁇ 20 dB. From this, it can be seen that the TV single section can identify the section where only the TV sound is heard by using the power level difference per second as the feature amount. Therefore, the TV sound detection unit 140 detects a section where the power level difference Ld (t) is ⁇ 20 ⁇ ⁇ dB as a TV single section.
  • TV sounds include human voices, they cannot be distinguished from live human voices only by the voice that shows the voice quality, not noise or music.
  • the section of only the TV sound with a small amount of calculation without depending on the distance from the TV or the environment of the room. Can be detected.
  • step S ⁇ b> 4 the other person utterance detection unit 150 is detected by the self utterance section detected by the self utterance detection unit 130 and the TV single section detection unit 143 from the output result for each direction output by the sound source direction estimation unit 120. Excluded sections. Further, the other person utterance detection unit 150 outputs a section in which the voice band power of at least one omnidirectional microphone is equal to or greater than a predetermined threshold from the sections excluding the self-speaking section and the TV single section as the other person utterance section. . By restricting the other person utterance section to a place where the power of the voice band is large, noises other than human voice can be removed.
  • the detection of voice property is based on the voice band power, but other methods may be used.
  • FIG. 7 is a graph plotting the results of discrimination of self-speech, TV single sound, and other-speaker from the sound source direction estimation result for each frame shown in FIG.
  • the spontaneous speech is mainly detected at around 0 °, and the TV sound is often detected from 22.5 ° to 22.5 ° to the right of the hearing aid user. .
  • the hearing aid user looks at a 42-inch TV with stereo speakers on both the left and right sides at a distance of 1 to 2 meters. It is a sound collection of when you are. This experiment simulates an actual home environment.
  • the sound source direction estimation result is detected in the 0 ° direction.
  • step S5 the frequency calculation unit 160 for each sound source uses the output results of the own utterance detection unit 130, the TV single section detection unit 143, and the other person utterance detection unit 150 to calculate a long-time frequency for each sound source. Output.
  • FIGS. 8 to 10 show the ambient sound picked up by the hearing aid microphone array actually worn on both ears and the TV source sound recorded at the same time for each of the scenes of FIGS. 3 (a), (b) and (c). Are used to perform self-speech detection, TV single section detection, and other-speaker detection, and to determine the appearance frequency for 10 minutes for each sound source.
  • FIG. 8 is a frequency graph for each sound source in the “conversation scene”
  • FIG. 9 is a frequency graph for each sound source in the “TV scene”
  • FIG. 10 is a frequency graph for each sound source in the “viewing scene”.
  • the hearing aid user participates in the conversation, a lot of spontaneous speech is detected in the front direction. Since the hearing aid user faces the TV to view the TV screen, the TV sound is detected in a direction near the front, and the other person's utterance is detected in a direction other than the front. In addition, in the case of viewing, there is a tendency that the hearing aid user and others spend a certain amount of time silently watching TV together, and have a tendency to talk about the contents when the TV sound is interrupted. For this reason, the TV alone has a longer time.
  • FIG. 11 summarizes these features.
  • FIG. 11 is a diagram showing a table showing scene features.
  • the sound source frequency calculation unit 160 can determine the scene from the sound environment by using the characteristics shown in the table of FIG.
  • the shaded portion of the table shows parameters that are particularly characteristic of the scene.
  • the frequency in the past 10 minutes is obtained from the frame t.
  • a shorter section may be used so as to follow a realistic motion.
  • step S6 the scene discriminating unit 170 discriminates the scene using the frequency information for each sound source and the direction information of each sound source.
  • Whether or not the TV is powered can be determined by whether or not TV sound is received. However, the scene discriminating unit 170 automatically determines whether the hearing aid user is watching TV, is talking without watching TV, or is talking with family while watching TV. It is necessary to judge.
  • Scene discrimination is performed, for example, by scoring using the following point system.
  • FIG. 12 is a diagram showing an example of scene discrimination by a point addition method.
  • Fs is the frequency of the self-speech detected in the 0 ° direction within the past fixed time from the frame t
  • Dt is the TV direction in which the frequency of the TV single sound is highest
  • Ft is the frequency at that time Indicates.
  • the direction in which the frequency of the other person's utterance is highest is defined as the other person's utterance direction and Dp
  • Fp indicates the frequency at that time.
  • the frequency determination threshold is ⁇ .
  • the “conversation scene” score, the “TV scene” score, and the “while watching scene” score are obtained, and the scene having the highest value and the score is equal to or greater than the predetermined threshold ⁇ is set as the determination result.
  • the score is less than ⁇ , it is output that it is not any scene.
  • scoring is performed so that the parameters that clearly show the features of the scene will have a large score.
  • points are not deducted even if they are erroneously detected so that a scene can be detected even if all feature quantities are not correctly detected.
  • the scene determination unit 170 outputs “conversation scene” because the “conversation scene” score 20 having the highest score is equal to or greater than the predetermined threshold ⁇ .
  • the scene determination unit 170 outputs “TV scene” because the “TV scene” score 25 having the highest score is equal to or greater than the predetermined threshold ⁇ .
  • the scene discriminating unit 170 outputs “while viewing the scene” because the “while viewing scene” score 25 having the highest score is equal to or greater than the predetermined threshold ⁇ .
  • scoring for scene discrimination is not limited to the above-described scoring method.
  • the threshold value may be changed according to each feature amount, or the threshold value may be added in several stages.
  • the scene discriminating unit 170 may design and score a function depending on the frequency instead of adding a score to the score based on a threshold value, or may make a judgment based on a rule.
  • FIG. 13 shows an example of a determination method based on rules.
  • FIG. 13 is a diagram illustrating an example of scene discrimination based on rules.
  • step S ⁇ b> 7 the output sound control unit 180 controls the output sound according to the scene determined by the scene determination unit 170.
  • the output of the hearing aid speaker is switched to the externally input TV sound.
  • directivity control may be performed on the front.
  • control is performed so that the directivity is wide.
  • the output sound control unit 180 performs hearing aid processing such as amplifying the sound pressure in a frequency band that is difficult to hear according to the degree of hearing loss of the hearing aid user, and outputs from the speaker.
  • the hearing aid 100 of the present embodiment includes an A / D converter 110 that converts a sound signal input from the microphone array 102 into a digital signal, and a sound source that detects a sound source direction from the sound signal.
  • the hearing aid 100 uses the detected sound source direction information, the self-speech detection result, and the TV sound detection result to detect an utterance of a speaker other than the wearer, and a self-speech detection result.
  • a sound source frequency calculation unit 160 that calculates the frequency of each sound source using the sound source direction information.
  • the scene discriminating unit 170 discriminates “conversation scene”, “TV viewing scene”, and “TV viewing scene” using the sound source direction information and the frequency for each sound source.
  • the output sound control unit 180 controls the hearing of the hearing aid 100 according to the determined scene.
  • the surrounding TV sound is suppressed and directivity is narrowed to the front, so that it is easy to talk with the person in front.
  • the hearing aid user is concentrated on the TV, the output of the hearing aid is automatically switched to the TV sound, so that the TV sound can be easily heard without having to perform any troublesome operations.
  • it becomes wide directivity. Therefore, when everyone is silent, they can hear the sound of TV, and when someone speaks, they can hear both sounds without being suppressed.
  • the present embodiment appropriately discriminates the scene by using not only the direction of the sound source but also the type of the sound source (TV sound, self-speech or other person's voice), frequency information, and time information. Will be able to.
  • the present embodiment can cope with a case where both TV sound and conversation are desired to be heard by discriminating “while watching TV scene”.
  • the present invention can also be applied to a hearing aid that controls the volume of a TV.
  • FIG. 14 is a diagram showing the configuration of a hearing aid that controls the volume of the TV.
  • the same components as those in FIG. 2 are denoted by the same reference numerals.
  • a hearing aid 100A for controlling the volume of a TV includes a microphone array 102, an A / D conversion unit 110, a sound source direction estimation unit 120, a self-speech detection unit 130, a TV sound detection unit 140, and another person's speech detection.
  • the output sound control unit 180A generates a TV sound control signal for controlling the volume of the TV based on the scene determination result determined by the scene determination unit 170.
  • the transmission / reception unit 107 transmits the TV sound control signal generated by the output sound control unit 180A to the TV.
  • the TV sound control signal is preferably transmitted by wireless communication such as Bluetooth, but may be transmitted by infrared rays.
  • the TV of the present invention has an effect that the sound volume can be output in accordance with the scene determined by the hearing aid 100A.
  • the present invention can also be applied to devices other than TV.
  • devices other than TV include radio, audio, and personal computer.
  • the present invention receives sound information transmitted from a device other than the TV, and listens while talking whether the user is listening to the sound emitted from the device or is talking. Determine if it is a scene. Furthermore, the present invention may control the output sound according to the determined scene.
  • the present invention can also be realized as application software for a mobile device.
  • the present invention discriminates a scene from sound input from a microphone array mounted on a high-function mobile phone and sound information transmitted from a TV, and controls the output sound according to the scene to let the user hear it. be able to.
  • the names hearing aid and signal processing method are used.
  • the device may be a hearing aid device, an audio signal processing device, and the method may be a scene discrimination method or the like.
  • the signal processing method described above is also realized by a program for causing this signal processing method to function.
  • This program is stored in a computer-readable recording medium.
  • the hearing aid and the signal processing method according to the present invention are useful for a hearing aid that makes it easier for a hearing aid user to hear a desired sound.
  • the present invention is also useful as application software for portable devices such as high-function mobile phones.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　補聴器ユーザがＴＶを見たいときにはＴＶの音を、人と話をしたいときにはその人の声を聞きやすくする補聴器、信号処理方法及びプログラムを提供とすること。補聴器（１００）は、検出された音源方向情報と自発話検出結果とＴＶ音検出結果を用いて装着者以外の話者の発話を検出する他者発話検出部（１５０）と、自発話検出結果とＴＶ音検出結果と他話者発話検出結果と、音源方向情報を用いて音源毎の頻度を計算する音源別頻度計算部（１６０）とを備える。シーン判別部（１７０）は、音源方向情報と前記音源毎頻度とを用いて「会話シーン」、「ＴＶ視聴シーン」、「ながらＴＶ視聴シーン」を判別し、出力音制御部（１８０）は、判定されたシーンに応じて補聴器（１００）の聞こえを制御する。

Description

補聴器、信号処理方法及びプログラム
　本発明は、補聴器ユーザにとって聞きたい音を聞きやすくする補聴器、信号処理方法及びプログラムに関する。
　一般に聴力が低下すると、小さい音が聞こえづらくなる。補聴器は、このような小さい音を増幅して、聴力が低下した人でも聞き取りやすくする装置である。しかし、補聴器は、聞きたい音だけでなく騒音も大きくなってしまうため、うるさい環境下で会話相手の声やＴＶの音を聞き取ることは困難である。
　うるさい環境下で、特定の音だけを聞きやすくする方法としては、聞きたい音源のある方向にマイクの指向性を向ける方法がある。補聴器は、マイクの指向性を聞きたい音の方向に向けることにより、周囲の騒音が抑圧されてＳＮＲ（Signal to Noise ratio）が向上するため、その方向にある特定の音だけを聞きやすくすることができる。
　特許文献１には、２対以上の指向性を有するマイクロホンにより音源方向を検出し、検出した方向に指向性を切り替えるマイクロホンが記載されている。特許文献１記載のマイクロホンは、音源方向に指向性を向けることで、音源が一つの場合にはその音源の音を聞きやすくすることができる。しかし、複数の方向に音源がある場合は、どの方向に聞きたい音源があるかは補聴器ユーザが指定する必要がある。
　特許文献２には、補聴器ユーザが操作により聞きたい音の方向を指定するのではなく、自動的に指向性を制御する補聴器が記載されている。特許文献２記載の補聴器は、補聴器ユーザの視線を検出してその視線方向に指向性を向ける。
　一方、うるさい環境下で特定の音だけを聞きやすくする別の方法として、ＴＶの音を直接補聴器に取り込み、補聴器のスピーカから出力するという方法がある。この方法は、ユーザの操作により、ブルートゥースワイヤレス通信を用いて、ＴＶ、オーディオ、携帯電話の音を補聴器に取り込み、取り込んだＴＶなどの音を直接補聴器で聴くことができる。このような方法を用いた商品としては、例えば、SIEMENSの商品テックマルチナビゲーターとして、http://www.siemens-hi.co.jp/catalogue/tek.php#がある。しかし、この方法は、特許文献２と同様に、補聴器ユーザがＴＶなどを見るときに手動で切り替え操作をする必要があった。
実願昭６２－１５０４６４号公報 特開平９－３２７０９７号公報 特開昭５８－８８９９６号公報
　しかしながら、日常の家庭内には、複数の音源があり、どの音を補聴器ユーザが聴きたいかはその時々によって変化する。特に、家庭内で日常的に存在する音源として、ＴＶがある。ＴＶは、見ていないのに電源がＯＮで音が出ていることも多いため、会話とＴＶ音という複数の音源が存在するケースは多い。
　このように会話とＴＶ音という複数の音源が同時に存在するようなケースでは、家族と会話するときには会話相手の声を、ＴＶを見たいときにはＴＶの音を聞きやすことが望まれる。しかし、上記従来の技術では、補聴器ユーザがどの音を聞きたいかを手動で操作する必要があり、わずらわしいという課題があった。
　また、特許文献２記載の装置では、視線検出によって自動的に視線方向に指向性を制御する。ところが、家族でＴＶを見ながらＴＶの内容について会話をするような場合には、視線方向であるＴＶに指向性が向けられるため、家族の声が聞きづらくなり会話ができ難くなるという課題を有していた。
　本発明の目的は、補聴器ユーザがＴＶを見たいときにはＴＶの音を、人と話をしたいときにはその人の声を聞きやすくする補聴器、信号処理方法及びプログラムを提供とすることである。
　本発明の補聴器は、マイクロホンアレイを設置した両耳に装着する補聴器であって、前記マイクロホンアレイから入力された音信号から音源方向を検出する音源方向推定部と、前記音信号から補聴器装着者の声を検出する自発話検出部と、前記音信号からＴＶ音を検出するＴＶ音検出部と、前記検出された音源方向情報と前記自発話検出結果と前記ＴＶ音検出結果に基づいて装着者以外の話者の発話を検出する他話者発話検出部と、前記自発話検出結果と前記ＴＶ音検出結果と前記他話者発話検出結果と、前記音源方向情報に基づいて音源毎の頻度を計算する音源毎頻度計算部と、前記音源方向情報と前記音源毎頻度とを用いてシーンを判別するシーン判別部と、前記判定されたシーンに応じて補聴器の聞こえを制御する出力音制御部と、を備える構成を採る。
　本発明の信号処理方法は、マイクロホンアレイを設置した両耳に装着する補聴器の信号処理方法であって、前記マイクロホンアレイから入力された音信号から音源方向を検出するステップと、前記音信号から補聴器装着者の声を検出するステップと、前記音信号からＴＶ音を検出するステップと、前記検出された音源方向情報と前記自発話検出結果と前記ＴＶ音検出結果に基づいて装着者以外の話者の発話を検出するステップと、前記自発話検出結果と前記ＴＶ音検出結果と前記他話者発話検出結果と、前記音源方向情報を用いて音源毎の頻度を計算するステップと、前記音源方向情報と前記音源毎頻度とに基づいてシーンを判別するステップと、前記判定したシーンに応じて補聴器の聞こえを制御するステップとを有する。
　また他の観点から、本発明は、上記信号処理方法の各ステップをコンピュータに実行させるためのプログラムである。
　本発明は、ＴＶと会話という複数の音源があるときに、補聴器ユーザがシーンに応じて聞きたい音を聞きやすくすることができる。例えば、補聴器ユーザがＴＶを見たいときにはＴＶの音が、人と話をしたいときにはその人の声が聞きやすくなり、しかも、ＴＶを見ながら会話をするというシチュエーションでは、どちらか一方ではなく両方の音が聞こえるようになる。
本発明の実施の形態に係る補聴器の構成を示す図 上記実施の形態に係る補聴器の要部構成を示すブロック図 上記実施の形態に係る補聴器を耳に装着した補聴器ユーザと、ＴＶ、会話をしている人の位置関係を示す図 上記実施の形態に係る補聴器の処理の流れを表すフロー図 上記実施の形態に係る補聴器の音源方向推定実験結果を示す図 上記実施の形態に係る補聴器のＴＶ音検出実験結果を示す図 上記実施の形態に係る補聴器のフレーム毎の音源方向推定結果に対して、自発話、ＴＶ単独音、他者発話の判別を行った結果をプロットした図 上記実施の形態に係る補聴器の「会話シーン」での音源別頻度を示す図 上記実施の形態に係る補聴器の「ＴＶシーン」での音源別頻度を示す図 上記実施の形態に係る補聴器の「ながら視聴シーン」での音源別頻度を示す図 上記実施の形態に係る補聴器のシーンの特徴を現した表を示す図 上記実施の形態に係る補聴器の加点方式によるシーン判別の例を表す図 上記実施の形態に係る補聴器のルールによるシーン判別の例を表す図 上記実施の形態に係るＴＶの音量を制御する補聴器の構成を示す図
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（実施の形態）
　図１は、本発明の一実施の形態に係る補聴器の構成を示す図である。本実施の形態は、補聴器本体とイヤホンとが分離した形態のリモコン型補聴器（以下、「補聴器」と略記する）に適用した例である。
　図１に示すように、補聴器１００は、外耳にかける補聴器筐体１０１と、補聴器筐体１０１に有線で接続されるリモコン装置１０５とを備える。
　補聴器筐体１０１は、左耳用と右耳用の同じ構成の２つの筐体からなる。左右の補聴器筐体１０１の上部には、周囲の音を拾うマイクがそれぞれ前後に並べて設置されており、左右２個ずつあわせて４個からなるマイクロホンアレイ１０２を構成している。
　補聴器筐体１０１には、補聴した音又はＴＶ音を出力するスピーカ１０３が内蔵され、スピーカ１０３は、内耳にはめるイヤーチップ１０４にチューブでつながっている。補聴器ユーザは、スピーカ１０３から出力される音をイヤーチップ１０４から聞くことができる。
　リモコン装置１０５は、補聴器１００の制御及び演算を行うＣＰＵ１０６と、オーディオ送信機１０８から送られてくる電波を受信する送受信部１０７とを備える。
　オーディオ送信機１０８は、ＴＶ１０９に接続されており、ＴＶの音信号をブルートゥースなどの無線通信により送信する。
　送受信部１０７は、オーディオ送信機１０８から送られてくる電波を受信し、受信したＴＶ音をＣＰＵ１０６に送る。
　また、マイクロホンアレイ１０２により収音された音は、リモコン装置１０５内のＣＰＵ１０６に送られてくる。
　ＣＰＵ１０６は、マイクロホンアレイ１０２から入力された音に対し、補聴器ユーザが聞きやすいように指向性制御、あるいは、聴力の低下した周波数帯域のゲインを増幅するなどの補聴処理を行い、スピーカ１０３から出力する。また、ＣＰＵ１０６は、状況に応じて、受信したＴＶ音をスピーカ１０３から出力する。ＣＰＵ１０６での信号処理方法については、図４乃至図１３により詳述する。
　通常、リモコン装置１０５は、補聴器ユーザの胸ポケット等に置かれ、補聴器筐体１０１内部のマイクロホンアレイ１０２が収音した音を加工して、イヤーチップ１０４を装着したユーザに聞かせる。
　補聴器１００は、ＴＶ１０９につながれたオーディオ送信機１０８から送信された電波信号を、補聴器１００のリモコン装置１０５に内蔵された送受信部１０７で受信する。補聴器ユーザは、補聴器１００が取得する周囲の実際の音とＴＶ１０９の音とを、切り替えて聞くことができる。補聴器１００は、補聴器ユーザの操作により切り替えができるだけでなく、自動的に状況を判断し、補聴器ユーザにとって聞きたい音を最適に聞かせることができる。
　本実施の形態では、補聴器筐体１０１とリモコン装置１０５は有線で結合されているが、無線であってもよい。また、リモコン装置１０５内のＣＰＵ１０６で全ての補聴処理を行うのではなく、左右の補聴器筐体１０１に、一部の信号処理を行うＤＳＰ（Digital Signal Processor）を設けるようにしてもよい。
　図２は、本実施の形態に係る補聴器１００の要部構成を示すブロック図である。
　図２に示すように、補聴器１００は、マイクロホンアレイ１０２、Ａ／Ｄ（Analog to Digital）変換部１１０、音源方向推定部１２０、自発話検出部１３０、ＴＶ音検出部１４０、他者発話検出部１５０、音源別頻度計算部１６０、シーン判別部１７０、及び出力音制御部１８０を備える。
　ＴＶ音検出部１４０は、マイク入力短時間パワー算出部１４１、ＴＶ音短時間パワー算出部１４２、及びＴＶ単独区間検出部１４３から構成される。
　マイクロホンアレイ１０２は、複数のマイクを配置した収音装置である。補聴器１００は、マイクロホンアレイ１０２を設置した両耳に装着する。
　Ａ／Ｄ変換部１１０は、マイクロホンアレイ１０２から入力された音信号をデジタル信号に変換する。
　音源方向推定部１２０は、Ａ／Ｄ変換された音信号から音源方向を検出する。
　自発話検出部１３０は、Ａ／Ｄ変換された音信号から補聴器ユーザの声を検出する。
　ＴＶ音検出部１４０は、Ａ／Ｄ変換された音信号からＴＶ音を検出する。ここで、本実施の形態では、家庭内で日常的に存在する音源として、ＴＶを例に採り説明している。ＴＶ音検出部１４０が検出する信号は、ＴＶ音は勿論のこと、ＴＶ音以外の、各種ＡＶ機器の音信号であってもよい。各種ＡＶ機器は、例えば、ＴＶに接続されたＢＤ（Blu-ray Disc）／ＤＶＤ（Digital Versatile Disk）装置、あるいはブロードバンドにより送信されるストリーミングデータ再生装置である。以下、本明細書においてＴＶ音とは、ＴＶ音を含む各種ＡＶ機器から受信した音を総称していう。
　マイク入力短時間パワー算出部１４１は、Ａ／Ｄ変換部１１０で変換された音信号の短時間パワーを計算する。
　ＴＶ音短時間パワー算出部１４２は、受信したＴＶ音の短時間パワーを計算する。
　ＴＶ単独区間検出部１４３は、受信したＴＶ音とＡ／Ｄ変換部１１０で変換された音信号とを利用してＴＶ単独の区間を決定する。詳細には、ＴＶ単独区間検出部１４３は、ＴＶ音短時間パワーとマイク入力短時間パワーとを比較し、その差が所定範囲となる区間をＴＶ単独区間として検出する。
　他者発話検出部１５０は、検出された音源方向情報と前記自発話検出結果と前記ＴＶ音検出結果を用いて装着者以外の話者の発話を検出する。
　音源別頻度計算部１６０は、自発話検出結果とＴＶ音検出結果と他話者発話検出結果と、音源方向情報を用いて音源毎の頻度を計算する。
　シーン判別部１７０は、音源方向情報と前記音源毎頻度とを用いてシーンを判別する。シーン分類には、装着者が会話をしている「会話シーン」、装着者がＴＶを視聴している「ＴＶ視聴シーン」、装着者が会話もＴＶ視聴も同時に行う「ながらＴＶ視聴シーン」が含まれる。
　出力音制御部１８０は、シーン判別部１７０により判定されたシーンに応じて、マイクから入力された音をユーザにとって聞きやすいように加工し、補聴器１００の聞こえを制御する。出力音制御部１８０は、指向性制御により補聴器１００の聞こえを制御する。例えば、「会話シーン」では、出力音制御部１８０が正面方向に指向性のビームを向ける。また、「ＴＶ視聴シーン」では、出力音制御部１８０が正面方向に指向性のビームを向ける。さらに、「ＴＶ視聴シーン」では、出力音制御部１８０がＴＶ音受信部で受信したＴＶ音を出力する。また、「ながらＴＶ視聴シーン」では、出力音制御部１８０が広指向性の制御をする。この場合、「ながらＴＶ視聴シーン」では、出力音制御部１８０が片耳にＴＶ音受信部で受信したＴＶ音を出力し、もう片耳に広指向性とした音を出力する。
　以下、上述のように構成された補聴器１００の動作について説明する。
　図３は、本補聴器１００の使用例を示す。
　図３は、補聴器を耳に装着した補聴器ユーザと、ＴＶ、会話をしている人の位置関係を示す図である。
　図３（ａ）において、ＴＶは付いているが補聴器ユーザは、特にＴＶを見ておらず、家族と話をしている。このシーンを、「会話シーン」と呼ぶことにする。補聴器ユーザの右側にあるＴＶのスピーカからＴＶ音が流れており、補聴器ユーザは、正面及び左斜め前にいる人と会話をしている。この「会話シーン」では、ＴＶ音が会話の邪魔になり会話をしづらいため、ＴＶ音を抑圧し、前方に指向性を向ける制御を行うことが望ましい。
　図３（ｂ）において、図３（ａ）と人及びＴＶの位置は同じであるが、補聴器ユーザは、ＴＶを見ており、その左方向で家族が話をしている。このシーンを、「ＴＶシーン」と呼ぶことにする。この「ＴＶシーン」では、家族の会話が邪魔になりＴＶ音をそのまま聞くのは聞き取りづらいため、補聴器ユーザが手動でＴＶ音を直接補聴器から出力するように操作して切り替える必要がある。この「ＴＶシーン」では、これを自動的に切り替える、もしくはＴＶのある前方に指向性を向けることが望ましい。
　図３（ｃ）において、図３（ａ）（ｂ）と人及びＴＶの位置は同じであるが、補聴器ユーザは、ＴＶを見ながら横にいる家族とＴＶの内容について話をしている。このシーンを、「ながら視聴シーン」と呼ぶことにする。この「ながら視聴シーン」では、ＴＶ音と会話の声のどちらか一方の音を聞かせるのではなく、どちらの音も聞こえるようにする必要がある。通常、このようなＴＶ内容に関する会話は、ＴＶの音が途切れたときに行われることが多いため、無指向性又は広指向性の音を聞かせることで、ＴＶの音も会話の声も聞くことができるようになる。
　図４は、補聴器１００の処理の流れを表すフローチャートである。本フローは、ＣＰＵ１０６により所定タイミング毎に実行される。
　マイクロホンアレイ１０２で収音された音は、Ａ／Ｄ変換部１１０でデジタル信号に変換され、ＣＰＵ１０６に出力される。ＣＰＵ１０６は、短時間単位であるフレーム（＝１秒）ごとに、ステップＳ１～ステップＳ７の処理を実行する。
　[音源方向推定]
　ステップＳ１において、音源方向推定部１２０は、Ａ／Ｄ変換された音信号から、各マイクに到来する音の到来時間の差を利用して信号処理することにより、音源方向を推定し出力する。音源方向推定部１２０は、まず最初に、サンプリング周波数４８ｋＨｚでサンプリングした音信号について、５１２ポイントごとに音源のある方向を２２．５°の分解能で求める。次に、音源方向推定部１２０は、１秒間のフレーム内で最も高い頻度で表れる方向をそのフレームの推定方向として出力する。音源方向推定部１２０は、１秒ごとに音源方向推定結果を得ることができる。
　次は、図３（ｃ）の補聴器ユーザが横にいる人と会話をしながらＴＶを見ているシーンについて、実際に両耳に装着した補聴器マイクロホンアレイ１０２にて周囲の音を収音し、音源方向推定実験を行った結果について説明する。
　図５は、このときの音源方向推定部１２０にて出力された結果を示す。
　図５は、音源方向推定実験結果を示す図であり、横軸は時間（秒）、縦軸は方向を表す。方向は補聴器ユーザの正面を０°とし、左方向をマイナス、右方向をプラスとして、－１８０°から＋１８０°まで２２．５°刻みに出力される。
　図５に示すように、音源方向推定実験結果は、補聴器ユーザの正面にあるＴＶのスピーカから出力される音、補聴器ユーザの左手にいる会話相手の声が入り混じっている上に、推定エラーを含む。このため、この情報だけでは、どの方向にどのような音源があるのかはわからない。
　[自発話検出]
　ステップＳ２において、自発話検出部１３０は、Ａ／Ｄ変換された音信号から、フレームｔにおける音信号が自発話区間であるか否かを判定し、出力する。自発話検出の方法としては、公知の技術として、例えば特許文献３のように骨伝導による音声振動を検出することにより自発話を検出する方法がある。自発話検出部１３０は、このような方法を用いて、フレーム毎に振動成分が所定の閾値以上となる区間を自発話発声区間とする。
　[ＴＶ音検出]
　ステップＳ３において、ＴＶ音検出部１４０は、Ａ／Ｄ変換された音信号と、送受信部１０７（図１）で受信した外部ＴＶ音信号を利用して、フレームｔにおいて周囲の音環境がＴＶの音だけが鳴っている状態か否かを判断し出力する。
　ＴＶ音検出部１４０は、マイク入力短時間パワー算出部１４１、ＴＶ音短時間パワー算出部１４２、及び、ＴＶ単独区間検出部１４３とから構成される。マイク入力短時間パワー算出部１４１は、マイクロホンアレイ１０２で収音された音信号の短時間のパワーを計算する。また、ＴＶ音短時間パワー算出部１４２は、受信したＴＶ音の短時間のパワーを計算する。また、ＴＶ単独区間検出部１４３は、これら２つの出力を比較し、その差が一定の範囲内となる区間をＴＶ単独区間として検出する。
　ＴＶ音検出方法について説明する。
　通常、ＴＶのスピーカから出力される音は、補聴器のマイクまで空間を伝わる間に、遅延が生ずると共に反射音などが混入するため、元々のＴＶ音とは同じにはならない。電波で送信されるＴＶ音にも遅延が生じるため、マイクで収音された音と元々のＴＶ音との相関をとる場合は、未知の遅延を考慮しなくてはならず計算量が増えてしまうという問題が生ずる。
　そこで、本実施の形態では、遅延を無視できる１秒程度の短時間パワーを用いてマイクで収音された音と元々のＴＶ音とを比較する。これにより、本実施の形態では、ＴＶとの距離や部屋の環境、無線通信の状況に依存せず少ない計算量でＴＶ音検出が可能となる。
　マイク入力短時間パワー算出部１４１では、マイクロホンアレイ１０２のうちの少なくとも１つの無指向性マイクロホンの音信号について、次式（１）によりフレームｔの１秒間の区間におけるパワーＰｍ（ｔ）を計算する。式（１）では、Ｘｉは音信号を表し、Ｎは１秒間のサンプル数を表す。サンプリング周波数４８ｋＨｚのときは、Ｎ＝４８０００である。
Figure JPOXMLDOC01-appb-M000001
 　同様に、ＴＶ音短時間パワー算出部１４２では、送受信部１０７にて受信した外部ＴＶ音信号について、同様に次式（２）により１秒間の区間におけるパワーＰｔ（ｔ）を計算する。ｙｉは、ＴＶ音信号を表す。
Figure JPOXMLDOC01-appb-M000002
 　そして、フレームｔにおけるマイク入力音とＴＶ音のレベル差Ｌｄ（ｔ）は、次式（３）により求める。
　　Ｌｄ（ｔ）＝ｌｏｇ（Ｐｍ）－ｌｏｇ（Ｐｔ）　…（３）
　次は、図３（ｃ）の補聴器ユーザが横にいる人と会話をしながらＴＶを見ているシーンについて、ＴＶ音検出実験を行った結果について説明する。具体的には、図３（ｃ）のシーンにおいて、実際に両耳に装着した補聴器マイクロホンアレイ１０２にて周囲の音を収音するとともに、ＴＶのソース音も同時に記録し、ＴＶ音検出実験を行った。
　図６は、ＴＶ音検出実験結果を示す図であり、横軸が時間（秒）、縦軸がパワーレベル差（ｄＢ）を表す。
　図６は、補聴器マイクロホンアレイ１０２で収音された音とＴＶ音との１秒ごとのパワー差Ｌｄを示している。図６中の四角で囲った網掛け区間は、聴取により人がＴＶ単独の区間とラベル付けた区間を示している。ＴＶ音以外の非定常な音、すなわち会話相手の声や自分の声がしている区間おいて、パワーレベル差Ｌｄ（ｔ）は、まちまちである。しかし、ＴＶ音以外の音源がないＴＶ単独区間おいて、このパワーレベル差は、－２０ｄＢ付近の値になっていることがわかる。このことから、ＴＶ単独区間は、１秒ごとのパワーレベル差を特徴量とすることで、ＴＶ音のみが鳴っている区間を識別できることがわかる。そこで、ＴＶ音検出部１４０は、パワーレベル差Ｌｄ（ｔ）が－２０±θｄＢの値にある区間をＴＶ単独区間として検出する。
　この－２０ｄＢという値は、環境によって異なるため、長時間のパワーレベル差を観測することにより自動的に学習することが望ましい。なお、ＴＶ音検出部１４０は、ファンの音など定常騒音が周囲にあったとしても、定常騒音はパワーの時間変化がないため、パワーレベル差は一定値付近を示すことになり、ＴＶ音単独区間検出は可能である。
　ＴＶ音には、人の声も含まれるため、騒音や音楽ではない、人の声らしさを示す音声性だけでは生の人の声と区別ができない。しかし、本実施の形態では、このようにＴＶソース音を利用して短時間パワーの比較をすることにより、ＴＶとの距離や部屋の環境に依存せずに少ない計算量でＴＶ音のみの区間を検出することができる。
　[他者発話検出]
　ステップＳ４において、他者発話検出部１５０は、音源方向推定部１２０で出力された方向ごとの出力結果から、自発話検出部１３０で検出された自発話区間、ＴＶ単独区間検出部１４３で検出された区間を除く。さらに、他者発話検出部１５０は、自発話区間及びＴＶ単独区間を除いた区間から、少なくとも１つの無指向マイクの音声帯域パワーが所定の閾値以上となる区間を、他者発話区間として出力する。他者発話区間は、音声帯域のパワーが大きいところに限定することにより、人の声以外の騒音を除去することができる。なお、ここでは、音声性の検出を音声帯域パワーによるものとしたが、他の方法を用いてもよい。
　図７は、図５に示したフレーム毎の音源方向推定結果に対して、自発話、ＴＶ単独音、他者発話の判別を行った結果をプロットした図である。
　図７に示すように、自発話は主に０°付近に検出されており、ＴＶ音は補聴器ユーザの右２２．５°～左２２．５°に検出されていることが多いことなどがわかる。ＴＶ音の大きさ、スピーカの配置、補聴器ユーザとＴＶの位置関係にもよるが、この実験では、左右両側にステレオスピーカがついている４２インチのＴＶを補聴器ユーザが、１～２ｍ離れて見ているときの音を収音したものである。本実験は、実際の家庭内の環境を模擬している。
　通常、正面にいる話者及び補聴器ユーザの口は、両耳のマイクから等距離のところにあるため、音源方向推定結果は０°方向に検出される。
　本実施の形態では、自発話検出と組み合わせることにより、正面方向の音が、自発話であるか他者発話であるかを区別することが可能となる。さらに、本実施の形態では、ＴＶ音検出と組み合わせることにより、正面に自発話以外の音声があった場合、それがＴＶの中の人の声なのか、実際の人の生の声なのかを区別することができる。
　[音源毎頻度計算]
　ステップＳ５において、音源別頻度計算部１６０は、自発話検出部１３０、ＴＶ単独区間検出部１４３、他者発話検出部１５０の出力結果を用いて、それぞれの音源について、長時間の頻度を計算し出力する。
　図８乃至図１０は、図３（ａ）（ｂ）（ｃ）のそれぞれのシーンについて、実際に両耳に装着した補聴器マイクアレイにて収音した周囲音と、同時に記録したＴＶのソース音とを用いて、自発話検出、ＴＶ単独区間検出、他者発話検出を行い、音源別に１０分間の出現頻度を求めた図である。
　図８は、「会話シーン」での音源別頻度グラフ、図９は、「ＴＶシーン」での音源別頻度グラフ、図１０は、「ながら視聴シーン」での音源別頻度グラフである。
　図８乃至図１０に示すように、「会話シーン」、「ＴＶシーン」、「ながら視聴シーン」のそれぞれの特徴は、以下に示すような特徴が見られる。
　[シーンの特徴]
　「会話シーン」では、補聴器ユーザ自身会話に参加しているため、正面方向に自発話が多く検出されると共に、補聴器ユーザは会話相手の方を見ながらしゃべるため、正面方向付近に会話相手の声も検出される。ただし、正面方向に自発話も検出されるため、相対的に会話相手の声は、それほど多くは検出されない。また、会話は、ＴＶの内容とは無関係に進められるため、ＴＶを見るために黙り込むことがなく、そのためＴＶ単独の区間は短いという特徴が見られる。
　「ＴＶシーン」では、補聴器ユーザは会話に参加しないため、自発話はほとんど検出されない。補聴器ユーザはＴＶの画面を見るためにＴＶの方を向いているため、ＴＶ音は正面近くの方向に検出される。他者発話は、正面以外に検出され、しかもその発話量は多い。「会話シーン」では、正面方向に自発話と他者発話があるため、相対的に他者発話が少なかったが、「ＴＶシーン」では自発話と異なる方向に話者がいるため、「会話シーン」よりも多く他者発話が検出される。また、横でなされる会話は、ＴＶの内容とは無関係に行われるため、ＴＶを見るために黙り込むことがなく、ＴＶを見ているシーンであってもＴＶ単独の区間は短いという特徴がある。
　「ながら視聴シーン」では、補聴器ユーザ自身会話に参加しているため、正面方向に自発話が多く検出される。補聴器ユーザは、ＴＶの画面を見るためにＴＶの方を向いているため、ＴＶ音は正面近くの方向に検出され、他者発話は正面以外の方向に検出される。しかも、ながら視聴の場合には、補聴器ユーザと他者は一緒に黙ってＴＶを見ている時間がある程度長くあり、ＴＶの音が途切れたところでその内容について会話するという傾向が見られる。そのため、ＴＶ単独の時間は、長くなるという特徴がある。
　図１１は、これらの特徴をまとめて示したものである。
　図１１は、シーンの特徴を現した表を示す図である。
　音源別頻度計算部１６０は、図１１の表に示す特徴を利用して、音環境からシーンの判別を行うことができる。表の網掛け部分は、特にそのシーンに特徴的なパラメータを現している。
　ここでは、シーンの特徴の傾向をつかむために、フレームｔから過去１０分間における頻度を求めたが、実際にはリアルな動きに追従するようもっと短い区間にしてもよい。
　[シーン判別]
　ステップＳ６において、シーン判別部１７０は、前記音源別頻度情報と各音源の方向情報を用いてシーンの判別を行う。
　ＴＶの電源が付いているかどうかは、ＴＶ音が受信されているかどうかで判断できる。ただし、シーン判別部１７０は、そのときに補聴器ユーザがＴＶを見ているのか、ＴＶを見ずに会話している状態なのか、ＴＶを見ながら家族と会話しているのかを、自動的に判断する必要がある。
　シーン判別は、例えば、次のような加点方式によるスコアリングで行う。
　図１２は、加点方式によるシーン判別の例を表す図である。
　図１２に示すように、Ｆｓはフレームｔから過去一定時間内の０°方向に検出された自発話の頻度、ＤｔはＴＶ単独音の頻度が最も高い方向をＴＶ方向、Ｆｔはそのときの頻度を示す。また、他者発話の頻度が最も高い方向を他者発話方向とＤｐとし、Ｆｐはそのときの頻度を示す。また、頻度判定の閾値は、θとする。図１２を一例とした場合、加点方式によるシーン判別のスコアは、以下の通りである。
　Ｆｓ≧θのとき、「会話シーン」スコアと「ながら視聴シーン」スコアに１０点ずつ加点。
　Ｆｓ＜θのとき、「ＴＶシーン」スコアに１０点加点。
　|Ｄｐ|≦２２．５°のとき「会話シーン」スコアに５点加点。
　|Ｄｐ|＞２２．５°のとき「ＴＶシーン」スコアと「ながら視聴シーン」スコアに５点ずつ加点。
　|Ｄｐ|＞２２．５°かつＦｐ≧θのとき、「ＴＶシーン」スコアにさらに５点加点。
　|Ｄｔ|＞２２．５°のとき「会話シーン」スコアに５点加点。
　|Ｄｔ|≦２２．５°のとき、「ＴＶシーン」スコアと「ながら視聴シーン」スコアに５点ずつ加点。
　|Ｄｔ|≦２２．５°かつＦｔ≧θのとき、「ながら視聴シーン」スコアにさらに５点加点。
　以上のようにして、「会話シーン」スコア、「ＴＶシーン」スコア、「ながら視聴シーン」スコアをそれぞれ求め、最も大きい値となり、かつスコアが所定の閾値λ以上であるシーンを判定結果とする。スコアがλに満たない場合は、どのシーンでもないと出力する。
　ここでは、シーンの特徴をよく現すパラメータについては大きな加点になるようなスコアリングとした。また、全ての特徴量が正しく検出されなくてもシーンを検出できるように、誤検出されても減点されることはないようにした。
　過去１０分間における頻度の閾値θ＝４０、スコアの閾値λ＝１５とするとき、
　図８のような音源別頻度分布が得られていれば、各シーンのスコアは、以下のようになる。
　　「会話シーン」スコア＝１０＋５＋５＝２０
　　「ＴＶシーン」スコア＝０
　　「ながら視聴シーン」スコア＝０
　このため、シーン判別部１７０は、最もスコアの高い「会話シーン」スコア２０が、所定の閾値λ以上であるため、「会話シーン」であると出力する。
　また、図９のような音源別頻度分布が得られていれば、各シーンのスコアは、以下のようになる。
　　「会話シーン」スコア＝０
　　「ＴＶシーン」スコア＝１０＋５＋５＋５＝２５
　　「ながら視聴シーン」スコア＝５＋５＝１０
　このため、シーン判別部１７０は、最もスコアの高い「ＴＶシーン」スコア２５が所定の閾値λ以上であるため、「ＴＶシーン」であると出力する。
　また、図１０のような音源別頻度分布が得られていれば、各シーンのスコアは、以下のようになる。
　　「会話シーン」スコア＝１０
　　「ＴＶシーン」スコア＝５＋５＝１０
　　「ながら視聴シーン」スコア＝１０＋５＋５＋５＝２５
　このため、シーン判別部１７０は、最もスコアの高い「ながら視聴シーン」スコア２５が所定の閾値λ以上であるため、「ながら視聴シーン」であると出力する。
　なお、シーン判別のスコアリングは、上記のような加点方法に限定するものではない。閾値は、それぞれの特徴量によって変えてもよいし、閾値を数段階に分けて加点してもよい。
　また、シーン判別部１７０は、閾値によりスコアに加点するのではなく、頻度に依存した関数を設計してスコア付けしたり、ルールによる判定にしたりしてもよい。図１３には、ルールによる判定方法の例を示す。
　図１３は、ルールによるシーン判別の例を表す図である。
　[出力音制御]
　ステップＳ７において、出力音制御部１８０は、シーン判別部１７０により判定されたシーンに応じて出力音を制御する。
　「会話シーン」と判別された場合には、正面に指向性を向ける処理を行なう。
　「ＴＶシーン」と判別された場合には、補聴器のスピーカの出力を外部入力ＴＶ音に切り替える。あるいは、正面に指向性制御してもよい。
　「ながら視聴シーン」と判別された場合には、広指向性となるよう制御する。
　いずれのシーンにも判別されなかった場合には、広指向性又は無指向性とする。
　さらに、出力音制御部１８０は、補聴器ユーザの難聴の度合いに応じて聞こえづらい周波数帯域の音圧を増幅するなどの補聴処理を行い、スピーカから出力する。
　以上詳細に説明したように、本実施の形態の補聴器１００は、マイクロホンアレイ１０２から入力された音信号をデジタル信号に変換するＡ／Ｄ変換部１１０と、前記音信号から音源方向を検出する音源方向推定部１２０と、前記音信号から補聴器ユーザの声を検出する自発話検出部１３０と、前記音信号からＴＶ音を検出するＴＶ音検出部１４０と、を備える。また、補聴器１００は、検出された音源方向情報と前記自発話検出結果と前記ＴＶ音検出結果を用いて装着者以外の話者の発話を検出する他者発話検出部１５０と、自発話検出結果とＴＶ音検出結果と他話者発話検出結果と、音源方向情報を用いて音源毎の頻度を計算する音源別頻度計算部１６０と、を備える。シーン判別部１７０は、音源方向情報と前記音源毎頻度とを用いて、「会話シーン」、「ＴＶ視聴シーン」、「ながらＴＶ視聴シーン」を判別する。さらに、出力音制御部１８０は、判定されたシーンに応じて補聴器１００の聞こえを制御する。
　これにより、本実施の形態は、ＴＶを見ずに会話をしているときには周囲のＴＶ音を抑圧し、正面に指向性を絞るため、正面にいる人と会話しやすくなる。また、補聴器ユーザがＴＶに集中しているときには、自動的に補聴器の出力がＴＶ音に切り替わるため、わずらわしい操作をする必要なくＴＶ音が聞き取りやすくなる。また、会話をしながらＴＶを見ているときは、広指向性となる。このため、全員黙っているときには、ＴＶの音が聞こえ、誰かがしゃべったときにはどちらの音も抑圧されずに聞くことができる。
　このように、本実施の形態は、音源の方向だけでなく、音源の種類（ＴＶ音か自発話か他の人の声か）と頻度情報、時間情報を用いることにより、適切にシーンを判別することができるようになる。特に、本実施の形態は、「ながらＴＶ視聴シーン」を判別することにより、ＴＶ音と会話とどちらも聞きたい場合に対応することができる。
　以上の説明は、本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
　例えば、本発明は、ＴＶの音量を制御する補聴器に応用することも可能である。
　図１４は、ＴＶの音量を制御する補聴器の構成を示す図である。図２と同一構成部分には同一符号を付している。
　図１４に示すように、ＴＶの音量を制御する補聴器１００Ａは、マイクロホンアレイ１０２、Ａ／Ｄ変換部１１０、音源方向推定部１２０、自発話検出部１３０、ＴＶ音検出部１４０、他者発話検出部１５０、音源別頻度計算部１６０、シーン判別部１７０、及び出力音制御部１８０Ａを備える。
　出力音制御部１８０Ａは、シーン判別部１７０において判別されたシーン判別結果に基づいて、ＴＶの音量を制御するＴＶ音制御信号を生成する。
　送受信部１０７は、出力音制御部１８０Ａにより生成されたＴＶ音制御信号をＴＶに送信する。
　なお、ＴＶ音制御信号は、ブルートゥースなどの無線通信によって送信されることが望ましいが、赤外線によって送信されてもよい。
　これにより、本発明のＴＶは、補聴器１００Ａが判定したシーンに合わせた音量出力を行うことができるという効果がある。
　なお、本発明は、ＴＶ以外の機器に応用することも可能である。例えば、ＴＶ以外の機器は、ラジオやオーディオ、パソコンなどがある。本発明は、ＴＶ以外の機器から送信された音情報を受信して、ユーザがその機器から発される音を聞いているシーンなのか、会話しているシーンなのか、会話しながら聞いているシーンなのかを判定する。さらに、本発明は、判定されたそのシーンに応じて出力音を制御するようにしてもよい。
　また、本発明は、携帯機器のアプリソフトウェアとして実現することもできる。例えば、本発明は、高機能携帯電話に搭載されたマイクロホンアレイから入力された音と、ＴＶから送信された音情報からシーンを判別し、そのシーンに応じて出力音を制御しユーザに聞かせることができる。
　また、本実施の形態では、補聴器及び信号処理方法という名称を用いたが、これは説明の便宜上であり、装置は補聴装置、音声信号処理装置、方法はシーン判別方法等であってもよい。
　以上説明した信号処理方法は、この信号処理方法を機能させるためのプログラムでも実現される。このプログラムは、コンピュータで読み取り可能な記録媒体に格納されている。
　２０１０年６月１８日出願の特願２０１０－１３９７２６の日本出願に含まれる明細書、図面及び要約書の開示内容は、すべて本願に援用される。
　本発明に係る補聴器及び信号処理方法は、補聴器ユーザにとって聞きたい音を聞きやすくする補聴器に有用である。また、本発明は、高機能携帯電話など携帯機器のアプリソフトとしても有用である。
　１００，１００Ａ　補聴器
　１０１　補聴器筐体
　１０２　マイクロホンアレイ
　１０３　スピーカ
　１０４　イヤーチップ
　１０５　リモコン装置
　１０６　ＣＰＵ
　１０７　送受信部
　１０８　オーディオ送信機
　１０９　ＴＶ
　１１０　Ａ／Ｄ変換部
　１２０　音源方向推定部
　１３０　自発話検出部
　１４０　ＴＶ音検出部
　１４１　マイク入力短時間パワー算出部
　１４２　ＴＶ音短時間パワー算出部
　１４３　ＴＶ単独区間検出部
　１５０　他者発話検出部
　１６０　音源別頻度計算部
　１７０　シーン判別部
　１８０，１８０Ａ　出力音制御部
 

Claims (13)

  1. 　マイクロホンアレイを設置した両耳に装着する補聴器であって、
    　前記マイクロホンアレイから入力された音信号から音源方向を検出する音源方向推定部と、
    　前記音信号から補聴器装着者の声を検出する自発話検出部と、
    　前記音信号からＴＶ音を検出するＴＶ音検出部と、
    　前記検出された音源方向情報と前記自発話検出結果と前記ＴＶ音検出結果に基づいて装着者以外の話者の発話を検出する他話者発話検出部と、
    　前記自発話検出結果と前記ＴＶ音検出結果と前記他話者発話検出結果と、前記音源方向情報に基づいて音源毎の頻度を計算する音源毎頻度計算部と、
    　前記音源方向情報と前記音源毎頻度とを用いてシーンを判別するシーン判別部と、
    　前記判定されたシーンに応じて補聴器の聞こえを制御する出力音制御部と、
    　を備える補聴器。
  2. 　前記ＴＶ音検出部は、前記ＴＶから送信されたＴＶの音情報を受信するＴＶ音受信部と、
    　受信したＴＶ音と前記音信号に基づいてＴＶ単独区間を検出するＴＶ単独区間検出部と、を備える請求項１記載の補聴器。
  3. 　前記ＴＶ音検出部は、前記ＴＶから送信されたＴＶの音情報を受信するＴＶ音受信部と、
    　受信したＴＶ音の短時間パワーを計算するＴＶ音短時間パワー算出部と、
    　前記音信号の短時間パワーを計算するマイク入力短時間パワー算出部と、
    　前記ＴＶ音短時間パワーと前記マイク入力短時間パワーとを比較し、その差が所定範囲となる区間をＴＶ単独区間として検出するＴＶ単独区間検出部と、を備える請求項１記載の補聴器。
  4. 　前記シーン判別部は、装着者が会話をしている「会話シーン」、装着者がＴＶを視聴している「ＴＶ視聴シーン」、装着者が会話もＴＶ視聴も同時に行う「ながらＴＶ視聴シーン」の、各シーンに分類する請求項１記載の補聴器。
  5. 　前記出力音制御部は、指向性制御を行う請求項１記載の補聴器
  6. 　前記出力音制御部は、「会話シーン」では正面方向に指向性のビームを向ける請求項４記載の補聴器。
  7. 　前記出力音制御は、「ＴＶ視聴シーン」では正面方向に指向性のビームを向ける請求項４記載の補聴器。
  8. 　前記出力音制御部は、「ＴＶ視聴シーン」では前記ＴＶ音受信部で受信したＴＶ音を出力する請求項４記載の補聴器。
  9. 　前記出力音制御部は、「ながらＴＶ視聴シーン」では広指向性とする請求項４記載の補聴器。
  10. 　前記出力音制御部は、「ながらＴＶ視聴シーン」では一方の耳にＴＶ音受信部で受信したＴＶ音を出力し、他方の耳に広指向性とした音を出力する請求項４記載の補聴器。
  11. 　送受信部をさらに有し、
    　前記出力音制御部は、前記シーン判別部における分類結果に基づいて、ＴＶ音を制御するＴＶ音制御信号を生成し、
    　前記送受信部は、前記ＴＶ音制御信号を出力する請求項４記載の補聴器。
  12. 　マイクロホンアレイを設置した両耳に装着する補聴器の信号処理方法であって、
    　前記マイクロホンアレイから入力された音信号から音源方向を検出するステップと、
    　前記音信号から補聴器装着者の声を検出するステップと、
    　前記音信号からＴＶ音を検出するステップと、
    　前記検出された音源方向情報と前記自発話検出結果と前記ＴＶ音検出結果に基づいて装着者以外の話者の発話を検出するステップと、
    　前記自発話検出結果と前記ＴＶ音検出結果と前記他話者発話検出結果と、前記音源方向情報を用いて音源毎の頻度を計算するステップと、
    　前記音源方向情報と前記音源毎頻度とに基づいてシーンを判別するステップと、
    　前記判定したシーンに応じて補聴器の聞こえを制御するステップと
    　を有する補聴器の信号処理方法。
  13. 　請求項１２記載の補聴器の信号処理方法の各ステップをコンピュータに実行させるためのプログラム。
     
PCT/JP2011/003426 2010-06-18 2011-06-16 補聴器、信号処理方法及びプログラム WO2011158506A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180002942.8A CN102474697B (zh) 2010-06-18 2011-06-16 助听器和信号处理方法
US13/388,494 US9124984B2 (en) 2010-06-18 2011-06-16 Hearing aid, signal processing method, and program
JP2011535803A JP5740572B2 (ja) 2010-06-18 2011-06-16 補聴器、信号処理方法及びプログラム
EP11795414.9A EP2536170B1 (en) 2010-06-18 2011-06-16 Hearing aid, signal processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010139726 2010-06-18
JP2010-139726 2010-06-18

Publications (1)

Publication Number Publication Date
WO2011158506A1 true WO2011158506A1 (ja) 2011-12-22

Family

ID=45347921

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/003426 WO2011158506A1 (ja) 2010-06-18 2011-06-16 補聴器、信号処理方法及びプログラム

Country Status (5)

Country Link
US (1) US9124984B2 (ja)
EP (1) EP2536170B1 (ja)
JP (1) JP5740572B2 (ja)
CN (1) CN102474697B (ja)
WO (1) WO2011158506A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037526A (ja) * 2015-08-11 2017-02-16 京セラ株式会社 ウェアラブル装置及び出力システム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9219964B2 (en) 2009-04-01 2015-12-22 Starkey Laboratories, Inc. Hearing assistance system with own voice detection
US8477973B2 (en) 2009-04-01 2013-07-02 Starkey Laboratories, Inc. Hearing assistance system with own voice detection
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
US9247356B2 (en) * 2013-08-02 2016-01-26 Starkey Laboratories, Inc. Music player watch with hearing aid remote control
CN103686574A (zh) * 2013-12-12 2014-03-26 苏州市峰之火数码科技有限公司 立体声电子助听器
EP3461148B1 (en) * 2014-08-20 2023-03-22 Starkey Laboratories, Inc. Hearing assistance system with own voice detection
WO2016050312A1 (en) * 2014-10-02 2016-04-07 Sonova Ag Method of providing hearing assistance between users in an ad hoc network and corresponding system
US10181328B2 (en) * 2014-10-21 2019-01-15 Oticon A/S Hearing system
US9734845B1 (en) * 2015-06-26 2017-08-15 Amazon Technologies, Inc. Mitigating effects of electronic audio sources in expression detection
DE102015212613B3 (de) * 2015-07-06 2016-12-08 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätesystems und Hörgerätesystem
EP3116239B1 (en) * 2015-07-08 2018-10-03 Oticon A/s Method for selecting transmission direction in a binaural hearing aid
US9747814B2 (en) * 2015-10-20 2017-08-29 International Business Machines Corporation General purpose device to assist the hard of hearing
CN106782625B (zh) * 2016-11-29 2019-07-02 北京小米移动软件有限公司 音频处理方法和装置
DK3396978T3 (da) 2017-04-26 2020-06-08 Sivantos Pte Ltd Fremgangsmåde til drift af en høreindretning og en høreindretning
US10349122B2 (en) 2017-12-11 2019-07-09 Sony Corporation Accessibility for the hearing-impaired using keyword to establish audio settings
JP7163035B2 (ja) * 2018-02-19 2022-10-31 株式会社東芝 音響出力システム、音響出力方法及びプログラム
DE102018216667B3 (de) * 2018-09-27 2020-01-16 Sivantos Pte. Ltd. Verfahren zur Verarbeitung von Mikrofonsignalen in einem Hörsystem sowie Hörsystem
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
US10795638B2 (en) 2018-10-19 2020-10-06 Bose Corporation Conversation assistance audio device personalization
US11368776B1 (en) * 2019-06-01 2022-06-21 Apple Inc. Audio signal processing for sound compensation
CN114007177B (zh) * 2021-10-25 2024-01-26 北京亮亮视野科技有限公司 助听控制方法、装置、助听设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5888996A (ja) 1981-11-20 1983-05-27 Matsushita Electric Ind Co Ltd 骨導マイクロホン
JPS62150464A (ja) 1985-12-24 1987-07-04 Fujitsu Ltd 自動発券方式
JPH0686399A (ja) * 1992-08-31 1994-03-25 Daiichi Fueezu Kk 補聴器
JPH09327097A (ja) 1996-06-07 1997-12-16 Nec Corp 補聴器
JP2007028610A (ja) * 2005-07-11 2007-02-01 Siemens Audiologische Technik Gmbh 聴音装置及びその作動方法
JP2007515830A (ja) * 2003-09-19 2007-06-14 ヴェーデクス・アクティーセルスカプ 補聴器の受音特性の指向性制御方法および制御可能な指向特性を備える補聴器用の信号処理装置
WO2009001559A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
JP2009512372A (ja) * 2005-10-17 2009-03-19 ヴェーデクス・アクティーセルスカプ 選択可能なプログラムを有する補聴器および補聴器におけるプログラム変更方法
JP2009528802A (ja) * 2006-03-03 2009-08-06 ジーエヌ リザウンド エー／エス 補聴器の全方向性マイクロホンモードと指向性マイクロホンモードの間の自動切換え
JP2010139726A (ja) 2008-12-11 2010-06-24 Canon Inc 光学機器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6455793U (ja) 1987-10-02 1989-04-06
JPH03245699A (ja) 1990-02-23 1991-11-01 Matsushita Electric Ind Co Ltd 補聴器
US6072884A (en) * 1997-11-18 2000-06-06 Audiologic Hearing Systems Lp Feedback cancellation apparatus and methods
DE50115802D1 (de) * 2001-01-05 2011-04-07 Phonak Ag Dafür
US6910013B2 (en) 2001-01-05 2005-06-21 Phonak Ag Method for identifying a momentary acoustic scene, application of said method, and a hearing device
DE10236167B3 (de) * 2002-08-07 2004-02-12 Siemens Audiologische Technik Gmbh Hörhilfegerät mit automatischer Situtaionserkennung
EP2081405B1 (en) 2008-01-21 2012-05-16 Bernafon AG A hearing aid adapted to a specific type of voice in an acoustical environment, a method and use
JP4355359B1 (ja) * 2008-05-27 2009-10-28 パナソニック株式会社 マイクを外耳道開口部に設置する耳掛型補聴器
EP2579620A1 (en) * 2009-06-24 2013-04-10 Panasonic Corporation Hearing aid

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5888996A (ja) 1981-11-20 1983-05-27 Matsushita Electric Ind Co Ltd 骨導マイクロホン
JPS62150464A (ja) 1985-12-24 1987-07-04 Fujitsu Ltd 自動発券方式
JPH0686399A (ja) * 1992-08-31 1994-03-25 Daiichi Fueezu Kk 補聴器
JPH09327097A (ja) 1996-06-07 1997-12-16 Nec Corp 補聴器
JP2007515830A (ja) * 2003-09-19 2007-06-14 ヴェーデクス・アクティーセルスカプ 補聴器の受音特性の指向性制御方法および制御可能な指向特性を備える補聴器用の信号処理装置
JP2007028610A (ja) * 2005-07-11 2007-02-01 Siemens Audiologische Technik Gmbh 聴音装置及びその作動方法
JP2009512372A (ja) * 2005-10-17 2009-03-19 ヴェーデクス・アクティーセルスカプ 選択可能なプログラムを有する補聴器および補聴器におけるプログラム変更方法
JP2009528802A (ja) * 2006-03-03 2009-08-06 ジーエヌ リザウンド エー／エス 補聴器の全方向性マイクロホンモードと指向性マイクロホンモードの間の自動切換え
WO2009001559A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
JP2010139726A (ja) 2008-12-11 2010-06-24 Canon Inc 光学機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2536170A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037526A (ja) * 2015-08-11 2017-02-16 京セラ株式会社 ウェアラブル装置及び出力システム

Also Published As

Publication number Publication date
JPWO2011158506A1 (ja) 2013-08-19
EP2536170A1 (en) 2012-12-19
EP2536170B1 (en) 2014-12-31
JP5740572B2 (ja) 2015-06-24
US20120128187A1 (en) 2012-05-24
US9124984B2 (en) 2015-09-01
CN102474697B (zh) 2015-01-14
CN102474697A (zh) 2012-05-23
EP2536170A4 (en) 2013-03-27

Similar Documents

Publication Publication Date Title
JP5740572B2 (ja) 補聴器、信号処理方法及びプログラム
US10810989B2 (en) Method and device for acute sound detection and reproduction
US12045542B2 (en) Earphone software and hardware
KR102449230B1 (ko) 마이크로폰의 기회주의적 사용을 통한 오디오 향상
CN110447073B (zh) 用于降噪的音频信号处理
JP5581329B2 (ja) 会話検出装置、補聴器及び会話検出方法
US8744100B2 (en) Hearing aid in which signal processing is controlled based on a correlation between multiple input signals
US20170345408A1 (en) Active Noise Reduction Headset Device with Hearing Aid Features
WO2010140358A1 (ja) 補聴器、補聴システム、歩行検出方法および補聴方法
WO2012042768A1 (ja) 音声処理装置および音声処理方法
JP2011097268A (ja) 再生装置、ヘッドホン及び再生方法
JP2017063419A (ja) 雑音を受ける発話信号の客観的知覚量を決定する方法
EP3777114B1 (en) Dynamically adjustable sidetone generation
KR20150018727A (ko) 청각 기기의 저전력 운용 방법 및 장치
KR20170058320A (ko) 오디오 신호 처리 장치 및 방법
JP2010506526A (ja) 補聴器の動作方法、および補聴器
EP3072314B1 (en) A method of operating a hearing system for conducting telephone calls and a corresponding hearing system
CN115866474A (zh) 无线耳机的透传降噪控制方法、系统及无线耳机
JP7350092B2 (ja) 眼鏡デバイス、システム、装置、および方法のためのマイク配置
WO2022254834A1 (ja) 信号処理装置、信号処理方法およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180002942.8

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011535803

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13388494

Country of ref document: US

Ref document number: 2011795414

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11795414

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE