WO2010146857A1 - 補聴装置 - Google Patents

補聴装置 Download PDF

Info

Publication number
WO2010146857A1
WO2010146857A1 PCT/JP2010/004019 JP2010004019W WO2010146857A1 WO 2010146857 A1 WO2010146857 A1 WO 2010146857A1 JP 2010004019 W JP2010004019 W JP 2010004019W WO 2010146857 A1 WO2010146857 A1 WO 2010146857A1
Authority
WO
WIPO (PCT)
Prior art keywords
conversation partner
directivity
voice
sound
calling
Prior art date
Application number
PCT/JP2010/004019
Other languages
English (en)
French (fr)
Inventor
野村和也
小沼知浩
山田麻紀
遠藤充
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011519568A priority Critical patent/JP5409786B2/ja
Priority to US13/320,613 priority patent/US8654998B2/en
Priority to EP10789236.6A priority patent/EP2445230A4/en
Priority to CN201080021517.9A priority patent/CN102428716B/zh
Publication of WO2010146857A1 publication Critical patent/WO2010146857A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40Arrangements for obtaining a desired directivity characteristic
    • H04R25/407Circuits for combining signals of a plurality of transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • G01S3/803Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43Signal processing in hearing aids to enhance the speech intelligibility
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552Binaural
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present invention relates to a hearing aid device capable of detecting a call or various sounds based on input from a plurality of microphones.
  • Patent Document 1 discloses a method of detecting a voice established in a conversation with a hearing aid wearer based on the consistency of the speech timing as one method of determining whether the conversation partner is the conversation partner or not. ing.
  • the hearing aid needs to be structured so that the wearer of the hearing aid can respond to the call from the surrounding after highlighting the voice of the other party, and can recognize the sound emitted by the surrounding event.
  • a phenomenon occurs in which the frequency characteristic of the input voice differs depending on the arrival direction (angle) of the sound due to the influence of the position of the microphone and the vicinity shape.
  • the hearing aid detects a call
  • the hearing aid performs speech recognition of the call speech using speech having different frequency characteristics depending on the direction of arrival (angle) of the sound. Therefore, the frequency characteristic of the sound to be subjected to the speech recognition process deviates from the frequency characteristic of the speech data at the time of learning (off-line time) of the acoustic standard pattern used for collation, and the recognition accuracy of the hearing aid is lowered.
  • Non-Patent Document 1 discloses Cepstral Mean Subtraction (CMS).
  • CMS method is a method of estimating the difference of the frequency characteristics of the input speech by the average of the cepstrum of the input speech and applying the difference to the input speech to correct it.
  • CMS method needs to obtain the cepstrum average of the input speech after the end of speech, and can not perform real-time processing.
  • Non-Patent Document 2 cepstrum average of input speech, cepstrum average from start of input speech to current frame of input speech, and acoustic standard pattern used for collation of speech recognition
  • a MAP-CMS method has been proposed, in which the input speech is normalized by estimation from the cepstrum average of speech data at the time of learning (off-line time) by MAP estimation.
  • the CMS method described above needs to calculate the average of cepstrum after the end of speech and perform speech recognition processing and sound detection processing, and can not be applied to a hearing aid that performs hearing aid processing in real time.
  • the MAP-CMS method described above can perform real-time processing that advances speech recognition processing and sound detection processing in synchronization with time, speech correction processing can not be performed on speech data of frames immediately after the start of input. Therefore, the accuracy of speech recognition is reduced.
  • An object of the present invention is to provide a hearing aid device capable of detecting calls other than those of conversation partners and various sounds by input sound signals from a plurality of microphones without lowering the recognition accuracy.
  • the present invention is based on a plurality of microphones for converting into speech signals voices of conversation partners and calling voices other than the conversation partners and sounds including various sounds, and based on sound signals converted by the respective microphones, other than the conversation partners
  • a sound arrival direction estimation means for estimating an arrival direction of the calling voice, an acoustic signal converted by each microphone and a direction in which a calling voice other than the conversation partner estimated by the sound arrival direction estimation means arrives
  • a frequency characteristic correction processing unit for correcting frequency characteristics of calling voices other than the above and another speech data recorded using a microphone having one characteristic, call word standard patterns representing the features of phonemes and syllables are stored.
  • An audio standard pattern storage unit and a calling voice other than the conversation partner whose frequency characteristic has been corrected by the frequency characteristic correction processing unit; Based on the result of the call word judging means for checking whether or not it is a call word by collating with the standard word pattern for out-wording, and based on the judgment result of the call word judgment means, directivity is formed for directions other than the voice of the conversation partner Conversation directional non-talking party directional voice synthesis means, and voice output means for outputting a calling voice of the other voice conversation party based on the directivity formed by the non-speaking voice conversation party non-directive voice combining means;
  • the characteristic correction processing unit provides a hearing aid device that corrects the frequency characteristic of the calling voice other than the conversation partner so as to be equivalent to the microphone characteristic at the time of creating the sound standard pattern used in the calling word determination means.
  • the hearing aid device may further include conversation partner direction directivity synthesis means for forming directivity in the direction in which the voice of the conversation partner arrives based on the determination result of the call word determination means, wherein the call word determination means comprises The speech data of the conversation partner whose frequency characteristic has been corrected by the frequency characteristic correction processing unit is collated with the calling word standard pattern, and when it is determined to be a calling word, the conversation partner direction directivity synthesis means In addition to forming directivity with respect to the direction in which the voice of the conversation partner arrives, the directivity directivity synthesizing means other than the conversation partner also creates the directivity in directions other than the direction in which the voice of the conversation partner arrives The voice output means is formed by the conversation partner direction directivity synthesis means in addition to the directivity formed by the direction directivity synthesis means other than the conversation partner Based on the serial directivity, and outputs a voice calling other than the voice and the conversation partner of the conversation partner.
  • the call word determination means comprises The speech data of the conversation partner whose frequency characteristic has been corrected by the frequency characteristic correction processing
  • the calling word judging means collates the speech data of the conversation partner whose frequency characteristic has been corrected by the frequency characteristic correction processing unit with the calling word standard pattern and judges that it is not a calling word
  • the directionality other than the conversation partner's direction directivity synthesis unit further includes the voice of the conversation partner's voice
  • the voice output means does not form the directivity except in the incoming direction, and based on the directivity formed by the directivity non-speech partner other than the conversation partner, the voice of the conversation partner and the call of other than the conversation partner Output voice.
  • the hearing aid according to the present invention it is possible to detect calls or various sounds other than the conversation partner by the input sound signals from the plurality of microphones without lowering the speech recognition accuracy.
  • FIG. 2 Diagram of frequency characteristics by direction (angle) when microphone is attached to the right side of the head
  • structure figure which shows the hearing aid by Embodiment 2 of this invention The flowchart which shows the processing procedure of the hearing aid by the form 2 of execution of this invention Flow chart showing child process for call detection in FIG.
  • System configuration diagram showing an audio signal processing apparatus according to a third embodiment of the present invention
  • the flowchart which shows the processing procedure of the acoustic signal processing device due to the form 3 of execution of this invention
  • the system block diagram which shows the acoustic signal processing apparatus by Embodiment 4 of this invention
  • the flowchart which shows the processing procedure of the acoustic signal processing device due to the form 4 of execution of this invention
  • FIG. 1 is a block diagram showing a configuration of a hearing aid device 100 according to Embodiment 1 of the present invention.
  • the hearing aid device 100 according to the first embodiment includes two microphones 101a and 101b, a conversation partner direction search means 102, a conversation partner direction directivity synthesis means 103, and a non-conversation direction directivity synthesis.
  • a storage unit 111 and a call word character string storage unit 112 are provided.
  • the microphones 101a and 101b pick up incoming sound such as the voice of the other party of the conversation and convert the picked up sound into an acoustic signal. Then, the acoustic signal is output to the conversation partner direction search means 102.
  • the conversation partner direction search means 102 detects the voice data of the conversation partner based on the acoustic signals input from the microphones 101a and 101b, and searches for the direction in which the collected voice of the conversation partner is coming. Then, the direction in which the voice of the searched conversation partner arrives is output to the directivity / non-directivity determination means 108.
  • the calling direction search means 106 searches for the incoming direction from the calling voice collected by the microphones 101a and 101b. The determination as to the presence or absence of the calling voice is made, for example, based on whether the power of the input voice exceeds a preset threshold.
  • a head-related transfer function which is distortion due to the head and pinna, plays an important role in human direction perception (for example, Non-Patent Document 3). Therefore, in the present embodiment, as a method of estimating the direction of arrival (angle) of sound, characteristics of dip frequency and peak frequency for each angle of head transfer function, and frequency characteristics of input speech observed at the entrance position of the ear canal And estimate the direction of arrival (angle) of the sound. Then, the call direction search means 106 outputs the information of the direction estimated as the arrival direction of the call sound to the frequency characteristic correction processing unit 105 based on the searched call sound.
  • the correction coefficient storage unit 110 stores a correction coefficient for each angle in the directivity characteristic of the frequency of the input speech.
  • the correction coefficient takes into consideration the influence of the head shape of the hearing aid on the head.
  • the challenge word string storage unit 112 stores a challenge word string registered as a string.
  • the call word character string stored in the call word character string storage unit 112 is stored in advance in the call word character string storage unit 112 when the hearing aid device 100 is fitted.
  • the sound standard pattern storage unit 111 stores sound standard patterns corresponding to characters (for example, 50 sounds and alphabets).
  • the acoustic standard pattern stored in the acoustic standard pattern storage unit 111 is prepared in advance as a model representing the features of each phoneme / syllable from a large amount of speech data recorded using a microphone having one characteristic. It is voice data.
  • the frequency characteristic correction processing unit 105 selects one of the correction coefficients stored in the correction coefficient storage unit 110 based on the information of the direction estimated as the arrival direction of the call speech input from the call direction search means 106. Using the correction coefficient of the direction matching the direction, the calling voice data output from the directionality other than the conversation partner is corrected as needed so as to be equal to the characteristics of the microphone at the time of creating the acoustic standard pattern. Then, the call speech data that has been subjected to the correction processing is output to the call word judgment means 107.
  • the call word determination unit 107 creates a call word standard pattern from the “call word character string” stored in the call word character string storage unit 112 and the “sound standard pattern” stored in the sound standard pattern storage unit 111. . Then, the call word determination unit 107 collates the created call word standard pattern with the data of the call voice output from the frequency characteristic correction processing unit 105, and determines whether or not it is a call word.
  • the call word determination means 107 outputs non-directional information to the directivity / non-directional determination means 108 when it determines that the call voice is a call word.
  • the calling word determination unit 107 outputs the directivity information to the directivity / non-directed determining unit 108 when it determines that the calling voice of a person other than the conversation partner is not the calling word.
  • the directivity / non-direction determination unit 108 determines the conversation partner direction directivity synthesis unit 103 and the conversation. It is determined by each of the non-partner direction directivity synthesis means 104 whether or not to form directivity.
  • the directivity / non-directivity determination means 108 determines that the conversation partner's direction input from the conversation partner's direction search means 102 when the calling voice from the person other than the conversation partner is included in the voice data in addition to the voice of the conversation partner. Based on the direction in which the voice arrives and the non-directional information output from the call word determination unit 107, the determination result to the effect that directivity is formed in the conversation partner direction is output to the conversation partner direction directivity synthesis unit 103. Furthermore, the directivity / non-directivity determination means 108 outputs the determination result to the effect that directivity is to be formed in directions other than the direction of the conversation partner, to the directionality other than the conversation partner.
  • the directivity / non-direction determining unit 108 receives the conversation partner's voice input from the conversation partner direction searching unit 102 Based on the direction in which the voice arrives and the directivity information output from the invitation word determination means 107, a determination result indicating that directivity is formed in the direction of the conversation partner is output. Furthermore, the directivity / non-directivity determination unit 108 outputs a determination result indicating that directivity is not formed to the directionality other than the conversation partner.
  • the directionality combining means 104 other than the conversation partner forms the directionality based on the determination result of the directionality / non-direction determining means 108.
  • the directivity / non-directivity determination means 108 determines that the directivity is to be formed, the directivity is formed in a direction other than the direction of the conversation partner. For example, as in the directivity pattern 802 shown in FIG. 8, by forming directivity in addition to the direction of the conversation partner for call detection, it is possible to detect sound coming from a direction other than the conversation partner from the microphone It becomes.
  • the directivity / non-directivity determination unit 108 determines that the directivity is not formed, the directivity is not formed in the direction other than the direction of the conversation partner.
  • the conversation partner direction directivity synthesis means 103 forms directivity based on the determination result of the directivity / non-directivity determination means 108. That is, when the conversation partner direction directivity synthesis means 103 determines that the directivity / non-directivity determination means 108 forms directivity, the picked up voice data of the conversation partner and the information of the direction in which the voice of the conversation partner arrives Based on the direction of the conversation partner.
  • the conversation partner direction directivity synthesis means 103 changes the directivity in the direction of the conversation partner, as in the directivity pattern 701 of FIG. 7 or the directivity pattern 801 shown in FIG.
  • the conversation partner direction directivity synthesis means 103 determines that the directivity / non-direction determination means 108 does not form directivity, no directivity is created. Then, the voice data of the conversation partner whose directivity is synthesized is output to the speaker 109.
  • the speaker 109 is an audio output unit, and outputs the sound of the conversation partner emphasized by the directivity formed by the conversation partner direction directivity synthesis unit 103. As a result, the wearer of the hearing aid device 100 can listen to the sound of the conversation partner who is emphasized.
  • the speaker 109 outputs the sound of the conversation partner simultaneously with the microphone 101a.
  • 101b can output a ringing tone coming from a direction other than the conversation partner.
  • the wearer of the hearing aid device 100 can listen to the ringing tone coming from the direction other than the conversation partner in addition to the emphasized conversation partner's sound.
  • FIG. 2 is a flowchart showing the processing procedure of the hearing aid device 100 according to the first embodiment.
  • FIG. 3 is a flowchart illustrating a child process for call detection. The processing procedure of the hearing aid device 100 will be described below using the flowcharts shown in FIG. 2 and FIG.
  • the conversation has not started, and as shown by the directivity pattern 601 in FIG. 6, the person A wearing the hearing aid device 100 in the right ear can hear sounds in all directions by signal processing without directivity. It is a state.
  • step ST201 a child process for call detection is generated.
  • step ST 202 the direction of arrival of the voice of the conversation partner is searched by the conversation partner direction search means 102.
  • step ST203 based on the result in step ST202, the conversation partner direction search means 102 detects whether there is a conversation partner. If the voice of the conversation partner is detected, the process branches to step ST202 if the voice of the conversation partner is not detected.
  • step ST204 the conversation partner direction search means 102 detects the voice arrival direction of the conversation partner as an angle.
  • step ST205 the direction of the conversation partner detected in step ST204 is transmitted to step ST301 of the call detection child process shown in FIG. 3 as an angle.
  • step ST206 the omnidirectional change information transmitted from the call detection child process shown in FIG. 3 is received.
  • step ST207 when it is determined by the directivity / non-directivity determination unit 108 that the directivity is combined in the direction of the conversation partner, the process branches to step ST208.
  • step ST207 when it is determined by the directivity / non-directivity determination unit 108 that directivity is not formed, that is, when changing to non-directional, the process branches to step ST210.
  • step ST208 the directivity of the conversation partner B is obtained from the voice data of the conversation partner picked up and the direction information of the conversation partner direction as in the directivity pattern 701 of FIG. 7 by the conversation partner direction directivity synthesis means 103.
  • step ST209 the voice data of the conversation partner B whose directivity is synthesized as shown in FIG. 7 is output from the speaker 109, and the wearer A of the hearing aid device 100 listens to the emphasized voice of the conversation partner.
  • step ST210 as in the directivity pattern 601 shown in FIG. 6, the change is made omnidirectionally, and the process is returned to step ST201.
  • step ST301 the angle indicating the arrival direction of the sound of the conversation partner transmitted in step ST205 shown in FIG. 2 is received.
  • step ST302 if the angle indicating the arrival direction of the sound of the conversation partner has been received, the process branches to step ST303. If the angle indicating the arrival direction of the sound of the conversation partner is not received, the process branches to step ST302.
  • step ST303 directivity is formed in the direction of the conversation partner B in order to emphasize and hear the voice of the conversation partner B to the wearer A of the hearing aid device 100 as in the directivity pattern 801 shown in FIG. As in the directivity pattern 802 shown in FIG. 8, directivity is formed other than the direction of the conversation partner for call detection.
  • step ST304 it is determined whether there is a call. If it is determined that there is a call, the process branches to step ST304 if it is determined that there is no call.
  • it can be considered as one method for determining whether or not there is a call, based on whether the power of the input voice exceeds a preset threshold.
  • step ST305 the calling direction search means 106 determines the direction of the calling voice.
  • step ST306 the correction coefficient of the frequency characteristic for correcting the voice data to be input to the calling word determination means is called from the information on the angle of the calling voice, and applied as needed.
  • the method of determining the correction coefficient of the frequency characteristic will be described later.
  • step ST307 it is determined whether the input voice data corrected by the calling word determination unit 107 is a calling word.
  • step ST308 if it is determined in step ST307 that the word is a calling word, the process branches to step ST304 if it is not determined in step ST309 that the word is a calling word.
  • step ST309 the directivity / non-directivity determination unit 108 sends change information to non-direction to the conversation partner direction directivity synthesis unit 103 and the conversation partner other than the direction directivity synthesis unit 104, and the process returns to step ST302.
  • the hearing aid device 100 of the present embodiment emphasizes the voice of the conversation partner, and then is changed from directivity to omnidirectional when being called. Therefore, the user of the hearing aid can hear the calling voice and can talk with the calling person.
  • FIG. 4 is a diagram of the frequency characteristics according to the direction (angle) when the microphone is attached to the side of the right head
  • FIG. 5 is a diagram of the microphone at the time of creating the acoustic standard pattern of the input voice of the first embodiment It is a figure which shows the correction coefficient correct
  • the curve 401 showing the frequency characteristics of the sound coming from the direction of 90 ° right does not depend on the frequency on the low frequency side It is almost flat, and a slight drop is seen on the high band side.
  • the curve 402 indicating the frequency characteristic of the sound coming from the left 90 ° direction drops as the frequency is higher.
  • the correction coefficient is determined so that the frequency characteristic of the sound shown in FIG. 4 is changed to the frequency characteristic of the microphone at the time of creating the acoustic standard pattern shown by the broken line 501 in FIG.
  • the frequency characteristic of the microphone at the time of creation of the acoustic standard pattern is used in the calling word determination processing unit.
  • the hearing aid device 100 at the time of learning an acoustic standard pattern used for collation of speech recognition of the calling word judgment processing means using the correction coefficient, for the frequency characteristic of the input speech By bringing it close to the frequency characteristic of the voice data of time), real time processing can be realized without lowering the voice recognition accuracy.
  • the correction factor may use a value already measured in a general head shape.
  • the sound source 901 to surround the head periphery of the person A wearing the hearing aid device 100 in the right ear.
  • a sound (white noise or the like) for obtaining a correction coefficient is reproduced from 908.
  • the reproduced white noise and the like be recorded by the microphone of the hearing aid device 100, and a correction coefficient be obtained from the characteristics of the recorded sound and the characteristics of the microphone at the time of creating the acoustic standard pattern.
  • the calling word is not only the word used when people call, but also the ringing tone of the in-house broadcast played for the purpose of alerting the person, the warning sound of the train's home, the car / track / bus horn The same applies to alarm sound linked to a turn indicator, and alarm sound reproduced by a home electric appliance in order to notify the progress status.
  • a hearing aid of the type worn on one ear (right ear) has been described as an example, but in the second embodiment, a hearing aid of the type worn on both ears will be described as an example.
  • FIG. 10 is a block diagram showing a configuration of a hearing aid device 200 according to Embodiment 2 of the present invention.
  • the hearing aid device 200 of the second embodiment includes a right ear wearing hearing aid 200A and a left ear wearing hearing aid 200B.
  • the configuration of each hearing aid will be described below with reference to FIG.
  • the right ear attached hearing aid 200A constituting the hearing aid device 200 according to the second embodiment includes two microphones 201a and 201b, a conversation partner direction search means 202, and a conversation partner direction directivity synthesis means 203.
  • the conversation partner direction directivity synthesis means 204 frequency characteristic correction processing unit 205, call direction search means 206, call word judgment means 207, directivity / non-direction judgment means 208, speaker 209, correction coefficient A storage unit 221A, a calling word character string storage unit 223A, and an acoustic standard pattern storage unit 224A.
  • the left-ear mounted hearing aid 200B constituting the hearing aid device 200 according to the second embodiment includes two microphones 211a and 211b, a conversation partner direction search unit 212, a conversation partner direction directivity synthesis unit 213, and other than a conversation partner.
  • the left ear mounted hearing aid 200B has the same configuration as that of the right ear mounted hearing aid 200A has the same operation as the right ear mounted hearing aid 200A, and thus the detailed description is omitted.
  • the microphones 201a and 201b pick up an incoming sound such as the voice of a conversation partner and convert the picked up sound into an acoustic signal. Then, the acoustic signal is output to the conversation partner direction search means 202.
  • a person other than the person who is currently in conversation in addition to the voice of the other party, is directed to the wearer of the hearing aid 200 from other than the direction in which the other party is present.
  • Voice hereinafter referred to as call voice
  • a call is being made from the right side of the wearer of the hearing aid device 200.
  • a directivity pattern 601 as shown in FIG. 6 is formed as in the first embodiment.
  • the conversation partner direction search means 202 detects the voice data of the conversation partner based on the acoustic signals input from the microphones 201a and 201b, and searches for the direction in which the collected voice of the conversation partner is coming. Then, the direction in which the voice of the searched conversation partner arrives is output to the directivity / non-directivity determination means 208.
  • the calling direction searching means 206 searches for the incoming direction from the calling voice collected by the microphones 201a and 201b.
  • the determination as to the presence or absence of the calling voice is made, for example, based on whether the power of the input voice exceeds a preset threshold.
  • the call direction search means 206 first transmits the maximum sound pressure of the right ear to the call direction search means 216 of the left ear mounted hearing aid 200B via wireless communication means such as Bluetooth (Japanese Trademark Registration No. 4477936). Do. Similarly, the call direction search means 206 receives the maximum sound pressure of the left ear from the call direction search means 216 of the left ear mounted hearing aid 200 B via wireless communication means such as Bluetooth (Japanese Trademark Registration No. 4477936). To receive.
  • wireless communication means such as Bluetooth (Japanese Trademark Registration No. 4477936).
  • the call direction search means 206 compares the maximum sound pressures of both ears and estimates which of the left and right the call is occurring. For example, if it is determined that the calling direction searching means 206 is searching on the right side as a method of searching for the calling direction, realization of a directional beam by a delay-and-sum array and estimation of a sound source direction by scanning a directional beam Explore the call direction by The calling direction searching means 206 outputs the information on the direction in which the calling voice arrives and the direction in which the calling voice is estimated to the frequency characteristic correction processing unit 205 based on the searched calling voice.
  • the correction coefficient storage unit 221A stores the correction coefficient for each angle in the directivity characteristic of the frequency of the input speech. In addition, the correction coefficient is considered in consideration of the influence of the head shape caused by wearing the head of the hearing aid.
  • the challenge word string storage unit 223A stores a challenge word string registered as a string.
  • the calling word character string stored in the calling word character string storage unit 223A is stored in advance in the calling word character string storage unit 223A when the hearing aid device 200 is fitted.
  • the acoustic standard pattern storage unit 224A stores an acoustic standard pattern corresponding to a character (for example, 50 sounds or alphabets).
  • the acoustic standard pattern stored in the acoustic standard pattern storage unit 224A is prepared in advance as a model representing the features of each phoneme / syllable from a large amount of speech data recorded using a microphone having one characteristic. It is voice data.
  • the frequency characteristic correction processing unit 205 based on the information of the direction in which the calling voice inputted from the calling direction searching means 206 arrives and the direction in which it is estimated, among the correction coefficients stored in the correction coefficient storage unit 221A, the calling The voice data of the conversation partner outputted from the directionality other than the conversation partner is obtained using the correction coefficient of the direction matching the direction of the voice, so as to be equivalent to the microphone characteristics at the time of creating the acoustic standard pattern. Correct at any time. Then, the input speech data that has been subjected to the correction processing is output to the call word determination means 207.
  • the call word determination unit 207 creates a call word standard pattern from the “call word character string” stored in the call word character string storage unit 223A and the “sound standard pattern” stored in the sound standard pattern storage unit 224A. . Then, the call word determination unit 207 collates the created call word standard pattern with the data of the call voice by a person other than the conversation partner output from the frequency characteristic correction processing unit 205, and determines whether or not it is a call word. Do.
  • the call word determination means 207 determines that the call voice of a person other than the conversation partner is the call word
  • the non-directional information is determined by the directivity / non-directional determination means 208 and the directivity / non-existence of the left ear mounted hearing aid 200B. It is output to the directivity determination means 218.
  • the call word determination means 207 outputs directivity information to the directivity / non-directivity determination means 208 when it determines that the call voice of a person other than the conversation partner is not the call word.
  • the directivity / non-direction determination unit 208 determines the conversation partner direction directivity synthesis unit 203 and Each of the non-speaking party direction directivity synthesis means 204 determines whether or not to form directivity.
  • the directivity / non-directed determination means 208 determines that the conversation partner's direction input from the conversation partner's direction searching means 202 is the voice other than the conversation partner's voice if the calling voice is included in the voice data from a person other than the conversation partner. Based on the direction in which the voice arrives and the non-directional information output from the call word determination unit 207, the determination result to the effect that directivity is formed in the conversation partner direction is output to the conversation partner direction directivity synthesis unit 203.
  • the directivity / non-directivity determination unit 208 outputs the determination result to the effect that directivity is to be formed in directions other than the direction of the conversation partner, to the directionality other than the conversation partner.
  • the directivity / non-directivity determination means 208 determines that the conversation partner's direction input from the conversation partner direction search means 202 does not contain the calling voice from the person other than the conversation partner other than the voice of the conversation partner. Based on the direction in which the voice arrives and the directivity information output from the call word determination means 207, a determination result indicating that directivity is formed in the direction of the conversation partner is output.
  • the directivity / non-directivity determination unit 208 outputs the determination result indicating that the directivity is not formed to the directionality other than the conversation partner.
  • the non-speaking party directional directivity synthesizing unit 204 forms directivity based on the directivity / non-directivity judging unit 208 described later.
  • the directivity / non-directivity determination unit 208 determines that the directivity is to be formed, the directivity is formed in a direction other than the direction of the conversation partner.
  • the directivity / non-directivity determination means 208 determines that the directivity is not formed, the directivity is not created.
  • the conversation partner direction directivity synthesis means 203 forms directivity based on the determination result of the directivity / non-directivity determination means 208. That is, when the conversation partner direction directivity synthesis means 203 determines that the directivity / non-direction determination means 208 forms directivity, the voice data of the collected conversation partner and the information of the direction in which the voice of the conversation partner arrives Based on the directionality of the conversation partner.
  • the conversation partner direction directivity synthesis means 203 changes the directivity in the direction of the conversation partner, as in the directivity pattern 701 of FIG. 7 or the directivity pattern 801 shown in FIG.
  • the conversation partner direction directivity synthesis means 203 determines that the directivity / non-direction determination means 208 does not form directivity, no directivity is created.
  • the voice data of the conversation partner whose directivity is synthesized is output to the speaker 209.
  • the speaker 209 is an audio output unit, and outputs the sound of the conversation partner emphasized by the directivity formed by the conversation partner direction directivity synthesis unit 203. As a result, the wearer of the hearing aid apparatus 200 can listen to the sound of the conversation partner emphasized.
  • the speaker 209 outputs the sound of the conversation partner simultaneously with the microphone 201a.
  • 201b can be output ringing sound coming from a direction other than the conversation partner.
  • the wearer of the hearing aid apparatus 200 can listen to a ringing tone coming from a direction other than the conversation partner in addition to the emphasized conversation partner's sound.
  • FIG. 11 is a flowchart showing the processing procedure of the hearing aid device 200 of the second embodiment.
  • FIG. 12 is a flowchart showing a child process for call detection. The processing procedure of the hearing aid apparatus 200 will be described below using the flowcharts shown in FIGS. 11 and 12. At the beginning, conversation has not started, and as shown by the directivity pattern 601 in FIG. 6, audio in all directions can be heard.
  • step ST501 a child process for call detection is generated.
  • step ST 502 the conversation partner direction search means 202 searches for the direction of arrival of the voice of the conversation partner.
  • step ST503 based on the result in step ST502, the conversation partner direction search means 102 detects whether there is a conversation partner. If the voice of the conversation partner is detected, the process branches to step ST504 if the voice of the conversation partner is not detected.
  • step ST504 the conversation partner direction search means 202 detects the voice arrival direction of the conversation partner as an angle.
  • step ST505 the direction of the conversation partner detected in step ST504 is transmitted as an angle to step ST601 of the call detection child process shown in FIG.
  • step ST506 the omnidirectional change information transmitted from the call detection child process shown in FIG. 12 is received.
  • step ST507 when the directivity / non-directivity determination unit 208 determines that the directivity is combined in the direction of the conversation partner, the process branches to step ST508. In step ST507, when it is determined that the directivity is not formed by the directivity / non-directivity determination unit 208, that is, when the directivity is not changed, the process branches to step ST510.
  • step ST508 the conversation partner direction directivity synthesis means 203 makes conversation from the collected voice data of the conversation partner and the direction information of the conversation partner direction as in the directivity pattern 701 of FIG. 7 as in the first embodiment. Combine the directivity in the direction of opponent B.
  • step ST 509 as in the first embodiment, the voice data of the conversation partner B whose directivity is synthesized as shown in FIG. 7 is output from the speaker 109, and the speaker A of the hearing aid device 200 has the conversation emphasized. Listen to the other party's sound.
  • step ST510 as in the directivity pattern 601 shown in FIG. 6, the change is made omnidirectionally, and the process is returned to step ST501.
  • step ST601 the angle indicating the arrival direction of the sound of the conversation partner transmitted in step ST505 shown in FIG. 2 is received.
  • step ST602 if the angle indicating the arrival direction of the sound of the conversation partner has been received, the process branches to step ST603. If the angle indicating the arrival direction of the sound of the conversation partner is not received, the process branches to step ST602.
  • step ST603 as in the first embodiment, as in directivity pattern 801 shown in FIG. 8, the voice of conversation partner B is directed toward the conversation partner in order to emphasize and listen to the wearer A of hearing aid device 200. Form a sex.
  • step ST603 directivity is formed in a direction other than the conversation partner direction for call detection as in the directivity pattern 802 shown in FIG.
  • step ST604 the calling direction search means 206 communicates the maximum sound pressures with each other with the left and right hearing aids, and determines which of the left and right the calling is occurring.
  • step ST605 based on the determination result in step ST604, the process branches to step ST606 if the call has occurred on the right side, and the process proceeds to step ST610 if the call has occurred on the left side.
  • step ST606 the direction of the calling voice is determined by the calling direction search means 206 of the right ear worn hearing aid 200A.
  • step ST 607 the correction coefficient of the frequency characteristic for correcting the voice data to be input to the call word determination unit 207 is called from the information on the angle of the call voice, and applied as needed.
  • the method of determining the correction coefficient of the frequency characteristic is the same as that of the first embodiment, and thus the detailed description thereof is omitted.
  • step ST608 it is determined whether the input voice data corrected by the call word determination unit 207 of the right ear mounted hearing aid 200A is a call word.
  • step ST609 if it is determined in step ST608 that it is a calling word, the process branches to step ST604 if it is not determined in step ST614 that it is a calling word.
  • step ST610 the direction of the calling voice is determined by the calling direction search means 216 of the left ear mounted hearing aid 200B.
  • step ST611 the correction coefficient of the frequency characteristic for correcting the voice data to be input to the calling word determination means 207 is called from the information on the angle of the calling voice, and applied as needed.
  • the method of determining the correction coefficient of the frequency characteristic is the same as that of the first embodiment, and thus the detailed description thereof is omitted.
  • step ST612 it is determined whether the input voice data corrected by the call word determination means 217 of the left ear mounted hearing aid 200B is a call word.
  • step ST613 if it is determined in step ST612 that it is a calling word, the process branches to step ST604 if it is not determined in step ST614 that it is a calling word.
  • step ST614 when a call is occurring on the right side, the directional / non-directional determination means 208 of the right ear mounted hearing aid 200A changes the information to non-directional, the conversation partner directionality synthesis means of the right ear mounted hearing aid 200A.
  • step 203 the process is sent to the directionality combining means 204 other than the conversation partner, and the process returns to step ST602.
  • the directivity / non-directional determination means 218 of the left ear mounted hearing aid 200B changes the information to non-directional, the conversation partner direction directivity synthesis means 213 of the left ear mounted hearing aid 200B. , Other than the conversation partner This is sent to direction directivity synthesis means 214, and the process is returned to step ST602.
  • the hearing aid device 200 of the present embodiment emphasizes the voice of the conversation partner, and then is changed from directivity to non-directional when called. Therefore, the user of the hearing aid can hear the calling voice and can talk with the calling person.
  • FIG. 13 is a block diagram showing a configuration of acoustic signal processing apparatus 300 according to Embodiment 3 of the present invention.
  • the sound signal processing apparatus 300 according to the third embodiment includes two microphones 301 a and 301 b, a conversation partner direction search unit 302, a conversation partner direction directivity synthesis unit 303, and a sound direction other than the conversation partner.
  • Directionality synthesis means 304, frequency characteristic correction processing unit 305, non-speaking party sound direction searching means 306, non-speaking party sound determination means 307, directivity / non-oriented determination means 308, speaker 309, correction coefficient A storage unit 310 and an acoustic standard pattern storage unit 311 are provided.
  • the microphones 301a and 301b pick up an incoming sound such as the voice of a conversation partner and convert the picked up sound into an acoustic signal. Then, the acoustic signal is output to the conversation partner direction search means 302.
  • the person wearing the acoustic signal processing apparatus 300 in addition to the voice of the conversation partner, the person wearing the acoustic signal processing apparatus 300 from the direction other than the direction in which the conversation partner is present. It is assumed that a sound or voice other than the conversation partner reaching to (hereinafter referred to as a sound other than the conversation partner) is included.
  • a directional pattern 601 is formed (created) indicating that audio in all directions can be heard by signal processing.
  • the conversation partner direction search means 302 detects the voice data of the conversation partner based on the acoustic signals input from the microphones 301a and 301b, and searches for the direction in which the collected voice of the conversation partner's voice arrives. Then, the direction in which the voice of the searched conversation partner arrives is output to the directivity / non-directivity determination means 308.
  • the sound direction searching means 306 other than the conversation partner searches for the direction of arrival from sounds other than the conversation partner picked up by the microphones 301a and 301b.
  • the determination as to the presence or absence of sounds other than the conversation partner is made, for example, based on whether the power of the input voice exceeds a preset threshold.
  • a head-related transfer function which is distortion due to the head and pinna, plays an important role in human direction perception (for example, Non-Patent Document 3). Therefore, in the present embodiment, as a method of estimating the direction of arrival (angle) of the sound, characteristics of dip frequency and peak frequency for each angle of head transfer function, and frequency characteristics of input speech observed at the entrance position of the ear canal And estimate the direction of arrival (angle) of the sound. Then, based on the sound other than the conversation partner searched, the sound direction searching means 306 outputs information of the direction estimated as the arrival direction of the sound other than the conversation partner to the frequency characteristic correction processing unit 305.
  • the correction coefficient storage unit 310 stores the correction coefficient for each angle in the directivity characteristic of the frequency of the input speech.
  • the correction coefficient takes into consideration the influence of the head shape of the hearing aid on the head.
  • the acoustic standard pattern stored in the acoustic standard pattern storage unit 311 is a pattern created in advance from a large amount of data of sounds other than conversational partners recorded using a microphone having one characteristic.
  • the frequency characteristic correction processing unit 305 is stored in the correction coefficient storage unit 310 based on the information of the direction (angle) estimated as the arrival direction of the non-conversation sound input from the non-conversation sound direction searching means 306.
  • the directivity non-speech partner directivity synthesizing means 304 is equivalent to the microphone characteristic at the time of creating the acoustic standard pattern. Sound data other than the conversation partner outputted by the user is corrected as needed. Then, the sound data other than the conversation partner who has been subjected to the correction processing is output to the sound other than the conversation partner sound judging means 307.
  • the non-conversational sound determination means 307 collates the standard acoustic pattern stored in the standard acoustic pattern storage unit 311 with the data of the non-conversation other sound output from the frequency characteristic correction processing unit 305, and determines whether it is a non-conversation other sound. Determine if
  • the sound determination unit 307 determines that the sound is other than the conversation partner, the sound flag other than the conversation partner is output to the directivity / non-direction determination unit 308.
  • the sound flag other than the conversation partner sound is not output to the directivity / non-direction determination means 308.
  • the directivity / non-directivity determination means 308 determines the conversation partner direction directivity synthesis means 303. It is determined whether or not the directivity is to be formed in each of the directionality combining means 304 other than the conversation partner.
  • the directivity / non-directivity determination unit 308 determines the conversation input from the conversation partner direction search unit 302 when sound other than the conversation partner contains sounds other than the conversation partner's voice other than the voice of the conversation partner. If the other party's voice arrives in the direction (angle) and the other party's voice other than the other party's sound determination means 307, the other party's voice flag is output. It outputs the judgment result to the effect. Furthermore, the directivity / non-directivity determination unit 308 outputs a determination result to the effect that directivity is to be formed in directions other than the direction of the conversation partner, to the direction directivity synthesis unit 304 other than the conversation partner.
  • the directivity / non-orientation determination unit 308 determines that the other partner conversation probe direction searching unit 302 Based on the direction (angle) from which the voice of the conversation partner is input and the directivity information output from the non-speech partner sound determination means 307, a determination result indicating that directivity is formed in the direction of the conversation partner is output. Furthermore, the directivity / non-directivity determination unit 308 outputs a determination result indicating that directivity is not formed to the directionality other than the conversation partner.
  • the directionality combining means 304 other than the conversation partner performs signal processing for forming the directionality on the basis of the determination result of the directionality / non-direction determining means 308.
  • the determination result for forming the directivity is received from the directivity / non-directivity determination unit 308, the directivity is formed in a direction other than the direction of the conversation partner.
  • the directivity pattern 802 shown in FIG. 8 by forming directivity in directions other than the conversation partner direction to detect sounds other than the conversation partner, sounds coming from directions other than the conversation partner are detected from the microphone It becomes possible.
  • signal processing for forming directivity in directions other than the direction of the conversation partner is not performed.
  • the conversation partner direction directivity synthesis means 303 performs signal processing to form directivity based on the determination result of the directivity / non-directivity determination means 308. That is, when the conversation partner direction directivity synthesis means 303 determines that the directivity / non-direction determination means 308 forms directivity, the voice data of the picked up conversation partner and the information of the direction in which the voice of the conversation partner arrives Based on this, signal processing is performed to form directivity in the direction of the conversation partner.
  • the conversation partner direction directivity synthesis means 303 changes the directivity in the direction of the conversation partner as in the directivity pattern 701 of FIG. 7 or the directivity pattern 801 shown in FIG.
  • the conversation partner direction directivity synthesis unit 303 does not perform signal processing for forming directivity. Then, the voice data of the conversation partner whose directivity is synthesized is output to the speaker 309.
  • the speaker 309 is an audio output unit, and outputs the sound of the conversation partner emphasized by the directivity formed by the conversation partner direction directivity synthesis unit 303. As a result, the wearer of the acoustic signal processing device 300 can listen to the sound of the conversation partner emphasized.
  • the speaker 309 simultaneously outputs the sound of the conversation partner.
  • the sound other than the conversation partner can be output that comes from the direction other than the conversation partner picked up by the microphones 301a and 301b.
  • the wearer of the audio signal processing apparatus 300 can listen to sounds other than the conversation partner who come from directions other than the conversation partner, in addition to the emphasized sound of the conversation partner.
  • FIG. 14 is a flowchart showing the processing procedure of the acoustic signal processing device 300 according to the third embodiment.
  • FIG. 15 is a flowchart showing a child process for detecting sounds other than the conversation partner.
  • the processing procedure of the acoustic signal processing device 300 will be described below using the flowcharts shown in FIGS. 14 and 15.
  • the conversation has not started, and as shown by the directivity pattern 601 in FIG. 6, the person A wearing the acoustic signal processing device 300 on his right ear receives an omnidirectional voice by signal processing without directivity. Is in a state where Although the sound collection state shown in FIG. 6 has been described for the case of the first embodiment, the same may be applied to the case of the present embodiment.
  • step ST401 a child process for detecting a sound other than the conversation partner is generated.
  • step ST 402 the direction of arrival of the voice of the conversation partner is searched by the conversation partner direction search means 302.
  • step ST403 based on the result in step ST402, the conversation partner direction search means 302 detects whether there is a conversation partner. If the speech of the conversation partner is detected, the process branches to step ST402 if the speech of the conversation partner is not detected.
  • step ST404 the conversation partner direction search means 302 detects the voice arrival direction of the conversation partner as an angle.
  • step ST405 the direction of the conversation partner detected at step ST404 is transmitted to step ST701 of the non-speech partner sound detection process shown in FIG. 15 as an angle.
  • step ST406 the omnidirectional change information transmitted from the non-speech partner sound process shown in FIG. 15 is received.
  • step ST407 when the directivity / non-directivity determination unit 308 determines that the directivity is combined in the direction of the conversation partner, the process branches to step ST408. In step ST407, when it is determined that the directivity is not formed by the directivity / non-directivity determination unit 308, that is, when changing to non-directional, the process branches to step ST410.
  • step ST408 the conversation partner direction directivity synthesis means 303 directs the direction toward the conversation partner B based on the voice data of the collected conversation partner and the direction information of the conversation partner direction as in the directivity pattern 701 of FIG. Synthesize
  • step ST409 the voice data of the conversation partner B whose directivity is combined as shown in FIG. 7 is output from the speaker 309, and the wearer A of the audio signal processing apparatus 300 listens to the emphasized voice of the conversation partner.
  • the directivity shown in FIG. 7 has been described for the case of the first embodiment, but can be similarly applied to the case of the present embodiment.
  • step ST410 as in the directivity pattern 601 shown in FIG. 6, the change is made omnidirectionally, and the process is returned to step ST401.
  • step ST701 the angle indicating the arrival direction of the sound of the conversation partner transmitted in step ST405 shown in FIG. 14 is received.
  • step ST702 if the angle indicating the arrival direction of the sound of the conversation partner is received, the process branches to step ST703. If the angle indicating the arrival direction of the sound of the conversation partner is not received, the process branches to step ST702.
  • step ST703 directivity is formed in the direction of the conversation partner B to emphasize the voice of the conversation partner B to the wearer A of the audio signal processing apparatus 300 as shown in the directivity pattern 801 shown in FIG.
  • directivity is formed in directions other than the conversation partner direction for detecting sounds other than the conversation partner.
  • the directivity shown in FIG. 8 is described in the case of the first embodiment, the directivity is also applicable to the case of the present embodiment.
  • step ST704 it is determined whether there is a sound other than the conversation partner. If it is determined that there is a sound other than the conversation partner, the process branches to step ST704 if it is determined that there is no sound other than the conversation partner.
  • a method for determining whether there is a sound other than the conversation partner for example, it can be considered as a method of determining whether the power of the input voice exceeds a preset threshold.
  • step ST 705 the direction of sound other than the conversation partner is determined by the sound direction searching means 306 other than the conversation partner.
  • step ST706 the correction coefficient of the frequency characteristic for correcting the audio data to be input to the sound determining unit other than the conversation partner is called from the information of the angle of the sound other than the conversation partner and applied as needed.
  • the method of determining the correction coefficient of the frequency characteristic will be described later.
  • step ST 707 it is determined whether the input voice data corrected by the non-conversational sound determination means 307 is a non-conversation other sound.
  • step ST708 if it is determined that the sound is other than the conversation partner sound in step ST707, the process branches to step ST704 if it is not determined that the sound is other than the conversation partner sound.
  • step ST709 the directivity / non-directivity determination unit 308 sends the change information to non-direction to the conversation partner direction directivity synthesis unit 303 and the conversation partner other than the direction directivity synthesis unit 304, and the process returns to step ST702.
  • the audio signal processing apparatus 300 of the present embodiment emphasizes the voice of the conversation partner, and then, when a sound other than the conversation partner is detected, no directivity is detected. It is changed to the direction. Therefore, the user of the hearing aid can hear the sound other than the conversation partner, and can also talk with the speaker other than the conversation partner.
  • FIG. 4 is a diagram of the frequency characteristics according to the direction (angle) when the microphone is attached to the side of the right head
  • FIG. 5 is a diagram of the microphone at the time of creating the acoustic standard pattern of the input voice of the first embodiment It is a figure which shows the correction coefficient correct
  • the curve 401 showing the frequency characteristics of the sound coming from the direction of 90.degree. Regardless, it is almost flat and there is a slight drop on the high band side.
  • the curve 402 indicating the frequency characteristic of the sound coming from the left 90 ° direction drops as the frequency is higher.
  • the correction coefficient is determined so that the frequency characteristic of the sound shown in FIG. 4 is changed to the frequency characteristic of the microphone at the time of creating the acoustic standard pattern shown by the broken line 501 in FIG.
  • the frequency characteristic of the microphone at the time of creation of the acoustic standard pattern is used in the sound determination processing unit other than the conversation partner.
  • the frequency characteristic of the input speech is compared with the speech standard pattern used for the collation of the speech recognition by the sound judging processing means other than the conversation partner using the correction coefficient.
  • the correction factor may use a value already measured in a general head shape.
  • the sound signal processing apparatus 300 is placed around the head of the person A wearing the right ear as shown in FIG. 9 when fitting the sound signal processing apparatus 300. , Sound (white noise or the like) for obtaining a correction coefficient from the sound sources 901 to 908.
  • Sound white noise or the like
  • the reproduced white noise and the like be recorded by the microphone of the acoustic signal processing apparatus 300, and a correction coefficient be obtained from the characteristic of the recorded sound and the characteristic of the microphone at the time of creating the acoustic standard pattern.
  • the correction coefficient shown in FIG. 9 has been described for the case of the first embodiment, it can be similarly applied to the case of the present embodiment.
  • the calling word is not only the word used when people call, but also the ringing tone of the in-house broadcast played for the purpose of alerting the person, the warning sound of the train's home, the car / track / bus horn The same applies to alarm sound linked to a turn indicator, and alarm sound reproduced by a home electric appliance in order to notify the progress status.
  • Embodiment 4 In the third embodiment, the acoustic signal processing apparatus of the type worn on one ear (right ear) has been described as an example, but in the fourth embodiment, the acoustic signal processing apparatus of the type worn on both ears is described as an example Do.
  • FIG. 16 is a block diagram showing a configuration of acoustic signal processing apparatus 400 according to Embodiment 4 of the present invention.
  • an acoustic signal processing device 400 according to the fourth embodiment includes a right ear attached acoustic signal processing device 400A and a left ear attached acoustic signal processing device 400B.
  • the configuration of each acoustic signal processing device will be described below with reference to FIG.
  • the right ear attached acoustic signal processing apparatus 400A constituting the acoustic signal processing apparatus 400 according to the fourth embodiment includes two microphones 401a and 401b, conversation partner direction search means 402, and conversation partner direction pointing.
  • the left ear attached acoustic signal processing apparatus 400B constituting the acoustic signal processing apparatus 400 according to the fourth embodiment includes two microphones 411a and 411b, a conversation partner direction search unit 412, and a conversation partner direction directivity synthesis unit 413.
  • the conversation partner direction directivity synthesis means 414 the frequency characteristic correction means 415, the sound arrival direction search means 416, the non-speaking party sound judgment means 417, the directivity / non-direction judgment means 418, the speaker 419 , Correction coefficient storage unit 421B, and acoustic standard pattern storage unit 424B.
  • the left ear attached acoustic signal processing apparatus 400B has the same name as the right ear attached acoustic signal processing apparatus 400A, and operates in the same manner as the right ear attached acoustic signal processing apparatus 400A, so a detailed description is omitted. Do.
  • the microphones 401a and 401b pick up incoming sounds such as the voice of a conversation partner and convert the picked up sounds into an acoustic signal. Then, the acoustic signal is output to the conversation partner direction search means 402.
  • a person other than the person currently speaking is from the direction other than the direction of the conversation partner. It is assumed that the sound other than the conversation partner (hereinafter referred to as the sound other than the conversation partner) is included. Further, it is assumed that the sound other than the conversation partner is being sounded from the right side of the wearer of the acoustic signal processing device 400.
  • the conversation partner direction search means 402 detects the voice data of the conversation partner based on the audio signals input from the microphones 401a and 401b, and searches for the direction in which the collected voice of the conversation partner's voice arrives. Then, the direction in which the voice of the searched conversation partner arrives is output to the directivity / non-directivity determination means 408.
  • the sound arrival direction searching means 406 searches for the direction of arrival from sounds other than the conversation partner picked up by the microphones 401a and 401b.
  • the determination as to the presence or absence of sounds other than the conversation partner is made, for example, based on whether the power of the input voice exceeds a preset threshold.
  • the sound arrival direction searching means 406 first transmits the sound arrival direction searching means 416 of the left ear attached acoustic signal processing device 400 B to the right ear via a wireless communication means such as Bluetooth (Japanese trademark registration number 4477936). Send maximum sound pressure. Similarly, the sound arrival direction searching means 406 receives the sound arrival direction searching means 416 of the left ear attached acoustic signal processing device 400 B via a wireless communication means such as Bluetooth (Japanese trademark registration number 4477936). Receive the maximum sound pressure of.
  • a wireless communication means such as Bluetooth (Japanese trademark registration number 4477936).
  • the sound arrival direction searching means 406 compares the maximum sound pressures of both ears and estimates which of the left and right sounds other than the conversation partner sounds. For example, if it is determined that the sound arrival direction searching means 406 is performed on the right side as a method of searching for a sound direction other than the conversation partner, realization of a directional beam by a delay and sum array and a sound source by scanning of a directional beam The sound direction other than the conversation partner is searched by estimating the direction.
  • the sound arrival direction searching means 406 outputs to the frequency characteristic correcting means 405 information on the direction in which the sound other than the conversation partner arrives and the direction in which it is estimated, based on the sound other than the conversation partner searched.
  • the correction coefficient storage unit 421A stores the correction coefficient for each angle in the directivity characteristic of the frequency of the input speech.
  • the correction coefficient takes into consideration the influence of the head shape caused by wearing the head of the acoustic signal processing apparatus.
  • the acoustic standard pattern stored in the acoustic standard pattern storage unit 424A is a pattern created in advance from a large amount of data of sounds other than conversational partners recorded using a microphone having one characteristic.
  • the frequency characteristic correction means 405 is based on the information of the direction (angle) estimated to be the arrival direction of the sound other than the conversation partner inputted from the sound arrival direction search means 406, the correction coefficient stored in the correction coefficient storage unit 421A. Among them, using the correction coefficient in the direction (angle) that matches the direction of the sound other than the conversation partner, the directivity directivity synthesis means 404 other than the conversation partner is output so as to be equivalent to the microphone characteristics at the time of creating the acoustic standard pattern. Sound data other than the conversation partner is corrected as needed. Then, the non-conversation partner sound data that has been subjected to the correction process is output to the non-conversation partner sound determination means 407.
  • the non-conversational sound determination means 407 collates the standard acoustic pattern stored in the standard acoustic pattern storage unit 424A with the data of the non-conversation other sound output from the frequency characteristic correction means 405, and determines whether it is a non-conversation other sound Determine
  • the non-conversation sound determination means 407 determines that the sound is other than the conversation partner sound
  • the non-conversation sound flag is displayed as the directivity / non-directivity determination means 408 and the directivity of the left ear-mounted acoustic signal processing device 400B. It is outputted to the non-directional judging means 418.
  • the sound flag other than the conversation partner is used as the directivity / non-directivity determination unit 408 and the directivity of the left ear attached acoustic signal processing device 400B. No output to the non-directional determination unit 418.
  • the directivity / non-direction decision means 408 determines the conversation partner direction directivity synthesis means 403. It is determined whether each of the non-speaking party direction directivity synthesizing means 404 is to form directivity.
  • the directivity / non-directivity determination means 408 determines the conversation input from the conversation partner direction search means 402 when sound other than the conversation partner contains sounds other than the conversation partner's voice other than the voice of the conversation partner. If the other party's voice arrives in the direction (angle) and the other party's voice other than the other party's voice sound determination means 407, the other party's voice flag is output. It outputs the judgment result to the effect. Furthermore, the directivity / non-directivity determination means 408 outputs the determination result to the effect that directivity is to be formed in directions other than the direction of the conversation partner, to the direction directivity combining means 404 other than the conversation partner.
  • the conversation partner direction search unit 402 Based on the direction (angle) from which the voice of the conversation partner is input and the directivity information output from the non-speech partner sound determination means 407, a determination result indicating that directivity is formed in the direction of the conversation partner is output. Furthermore, the directivity / non-directivity determination unit 408 outputs the determination result indicating that the directivity is not formed to the directionality other than the conversation partner.
  • the directionality combining means 404 other than the conversation partner performs signal processing for forming the directivity based on the determination result of the directionality / non-direction determining means 408.
  • directivity is formed in a direction other than the direction of the conversation partner. For example, as in the directivity pattern 802 shown in FIG. 8, by forming directivity in directions other than the conversation partner direction to detect sounds other than the conversation partner, sounds coming from directions other than the conversation partner are detected from the microphone It becomes possible.
  • the conversation partner direction directivity synthesis means 403 performs signal processing to form directivity based on the determination result of the directivity / non-directivity determination means 408. That is, when the conversation partner direction directivity synthesis means 403 determines that the directivity / non-direction determination means 408 forms directivity, the voice data of the collected conversation partner and the information of the direction in which the voice of the conversation partner arrives Based on this, signal processing is performed to form directivity in the direction of the conversation partner.
  • the conversation partner direction directivity synthesis means 403 changes the directivity in the direction of the conversation partner as in the directivity pattern 701 of FIG. 7 or the directivity pattern 801 shown in FIG. 8 as in the third embodiment.
  • the conversation partner direction directivity synthesis unit 403 does not perform signal processing for forming directivity.
  • the directivity shown in FIG. 7 has been described for the case of the first embodiment, but can be similarly applied to the case of the present embodiment.
  • the voice data of the conversation partner whose directivity is synthesized is output to the speaker 409.
  • the speaker 409 is an audio output unit, and outputs the sound of the conversation partner emphasized by the directivity formed by the conversation partner direction directivity synthesis unit 403. As a result, the wearer of the acoustic signal processing apparatus 400 can listen to the sound of the conversation partner emphasized.
  • the speaker 409 simultaneously outputs the sound of the conversation partner.
  • the sound other than the conversation partner can be output that comes from the direction other than the conversation partner picked up by the microphones 401a and 401b.
  • the wearer of the audio signal processing apparatus 400 can listen to sounds other than the conversation partner coming from directions other than the conversation partner in addition to the emphasized sound of the conversation partner.
  • FIG. 17 is a flowchart showing the processing procedure of the acoustic signal processing device 400 of the fourth embodiment.
  • FIG. 18 is a flowchart showing a child process for detecting sounds other than the conversation partner. The processing procedure of the acoustic signal processing apparatus 400 will be described below using the flowcharts shown in FIGS. 17 and 18. At the beginning, conversation has not started, and as shown by the directivity pattern 601 in FIG. 6, audio in all directions can be heard.
  • step ST801 a child process for detecting sounds other than the conversation partner is generated.
  • step ST802 the direction of arrival of the voice of the conversation partner is searched by the conversation partner direction search means 402.
  • step ST803 based on the result in step ST802, the conversation partner direction search means 402 detects whether there is a conversation partner. If the voice of the conversation partner is detected, the process branches to step ST802 if the voice of the conversation partner is not detected.
  • step ST804 the conversation partner direction search means 402 detects the voice arrival direction of the conversation partner as an angle.
  • step ST805 the direction of the conversation partner detected in step ST804 is sent as an angle to step ST901 of the non-speech partner sound detection process shown in FIG.
  • step ST806 the non-directional change information transmitted from the non-speech partner sound process shown in FIG. 18 is received.
  • step ST 807 when it is determined by the directivity / non-directivity determination unit 408 that the directivity is combined in the direction of the conversation partner, the process branches to step ST 808.
  • step ST 807 when it is determined that the directivity is not formed by the directivity / non-directivity determination unit 408, that is, when changing to non-directional, the process branches to step ST 810.
  • step ST808 the conversation partner direction directivity synthesis means 403 carries out conversation from the collected voice data of the conversation partner and the direction information of the conversation partner direction as in the directivity pattern 701 of FIG. 7 as in the third embodiment. Combine the directivity in the direction of opponent B.
  • step ST 809 as in the third embodiment, the voice data of the conversation partner B whose directivity is synthesized as shown in FIG. 7 is output from the speaker 409, and the wearer A of the audio signal processing apparatus 400 is emphasized. Listen to the sound of the other party.
  • step ST810 as in the directivity pattern 601 shown in FIG. 6, the change is made omnidirectionally, and the process is returned to step ST801.
  • step ST901 the angle indicating the arrival direction of the sound of the conversation partner transmitted in step ST805 shown in FIG. 17 is received.
  • step ST902 if the angle indicating the arrival direction of the sound of the conversation partner is received, the process branches to step ST903. If the angle indicating the arrival direction of the sound of the conversation partner is not received, the process branches to step ST902.
  • step ST 903 as in the case of the directivity pattern 801 shown in FIG. 8, the conversation partner direction is emphasized in order to emphasize the voice of the conversation partner B to the wearer A of the audio signal processing apparatus 400 as in the third embodiment.
  • Form directivity In addition, in step ST 903, directivity is formed in a direction other than the conversation partner direction for call detection as in the directivity pattern 802 shown in FIG. 8.
  • step ST904 the sound arrival direction searching unit 406 causes the left and right acoustic signal processing devices to communicate the maximum sound pressures with each other, and determines which of the left and right sounds is occurring other than the conversation partner.
  • step ST905 based on the determination result in step ST904, when a sound other than the conversation partner is generated on the right side, the process branches to step ST906, and when a sound other than the conversation partner is generated on the left side, the process branches to step ST910.
  • step ST906 the direction of sound other than the conversation partner is determined by the sound arrival direction searching means 406 of the right ear worn acoustic signal processing device 400A.
  • step ST 907 the correction coefficient of the frequency characteristic for correcting the audio data to be input to the non-speech partner sound word judging means is called from the information of the angle of the non-speaking speaker sound and applied as needed.
  • the method of determining the correction coefficient of the frequency characteristic is the same as that of the third embodiment, and thus the detailed description thereof is omitted.
  • step ST908 it is determined whether the input voice data corrected by the non-speech partner sound determination means 407 of the right ear worn acoustic signal processing device 400A is a non-speech partner sound word.
  • step ST909 if it is determined in step ST908 that it is a sound word other than the conversation partner, the process branches to step ST904 if it is not determined that it is a sound word other than the conversation partner.
  • step ST910 the direction of sound other than the conversation partner is determined by the sound arrival direction searching means 416 of the left ear attached sound signal processing apparatus 400B.
  • step ST911 the correction coefficient of the frequency characteristic for correcting the voice data to be input to the non-speech partner sound word judging means is called from the information of the angle of the non-speaking speaker sound and applied as needed.
  • the method of determining the correction coefficient of the frequency characteristic is the same as that of the third embodiment, and thus the detailed description thereof is omitted.
  • step ST912 it is determined whether the input voice data corrected by the non-speech partner sound determination means 417 of the left ear attached sound signal processing apparatus 400B is a non-speech partner sound word.
  • step ST913 if it is determined in step ST912 that it is a sound word other than the conversation partner, the process branches to step ST904 if it is not determined that it is a sound word other than the conversation partner.
  • step ST914 when there is a sound other than the conversation partner on the right, the directivity / non-directional determination means 408 of the right ear mounted audio signal processing apparatus 400A changes the information to non-directional, the right ear mounted audio signal processing apparatus It is sent to the conversation partner direction directivity synthesis means 403 of 400 A, other than the conversation partner direction directivity synthesis means 404, and the process returns to step ST602.
  • the directivity / non-directional determination means 418 of the left ear mounted acoustic signal processing device 400B changes the information to non-directional, the left ear mounted acoustic signal processing device 400B. It is sent to the conversation partner direction directivity synthesis means 413 and the other than the conversation partner direction directivity synthesis means 414, and the process is returned to step ST902.
  • the sound signal processing apparatus 400 emphasizes the voice of the other party of the conversation and then changes from directivity to non-prompt when called out from step ST801 to step ST810 and step ST901 to step ST914 described above. . Therefore, the user of the audio signal processing device can hear the calling voice and can talk with the calling person.
  • Each function block employed in the description of each of the aforementioned embodiments may typically be implemented as an LSI constituted by an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include some or all. Although an LSI is used here, it may be called an IC, a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • a programmable field programmable gate array FPGA
  • a reconfigurable processor may be used which can reconfigure connection and setting of circuit cells in the LSI.
  • the hearing aid device is capable of detecting calls other than the other party of conversation and various sounds using input signals from two or more microphones without lowering the speech recognition accuracy, and is useful as a hearing aid or the like. .

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

 音声認識精度を低下させることなく、複数のマイクロホンからの入力音響信号によって、会話相手以外の呼びかけや様々な音を検出すること。本発明の補聴装置は、複数のマイクロホンで変換された音響信号に基づき推定された、前記会話相手以外の呼びかけ音声が到来する方向に基づき、前記会話相手以外の呼びかけ音声の周波数特性を補正し、一つの特性を持つマイクを用いて収録された他の音声データに基づき、音素及び音節の特徴を表す呼び出し単語標準パタンと、前記周波数特性補正処理部で周波数特性が補正された前記会話相手以外の呼びかけ音声を照合して、呼びかけ単語か否かを判定し、前記呼びかけ単語判定手段の判定結果に基づき、前記会話相手の音声が到来する方向以外について、指向性を形成する。そして、本発明の補聴装置は、前記会話相手以外の呼びかけ音声の周波数特性を、前記音響標準パタン作成時におけるマイク特性と同等になるように補正する。

Description

補聴装置
 本発明は、複数のマイクロホンからの入力に基づき、呼びかけや様々な音を検出可能な補聴装置に関するものである。
 補聴器の使用者に、強調した会話相手の声を聞かせることができる「会話強調機能」を備えた補聴器に対して、ユーザの期待が高まっている。会話相手の声を強調する際、会話相手かどうかを判定する一つの方法として、特許文献1では、発話タイミングの整合性により補聴器の装着者と会話成立している音声を検出する方法が開示されている。補聴器は、会話相手の声を強調した上で、さらに周囲からの呼びかけに補聴器の装着者が応答可能であり、周囲の事象により発せられる音を認識できるような構成にする必要がある。
 補聴器等の物体に密着させて装着する機器では、マイクロホンの位置や近傍形状の影響により、音の到来方向(角度)ごとに入力音声の周波数特性が異なるという現象が起きる。例えば、補聴器で呼びかけを検出する際、補聴器は、音の到来方向(角度)に依存して周波数特性が異なる音声を入力として呼びかけ音声の音声認識を行う。そのため、音声認識処理する音の周波数特性が、照合に用いる音響標準パタンの学習時(オフライン時)の音声データの周波数特性とずれてしまい、補聴器の認識精度が低下してしまう。
 照合に用いる音響標準パタンの周波数特性を補正する方法として、非特許文献1では、ケプストラム平均正規化法CMS(Cepstral Mean Subtraction)が開示されている。ケプストラム平均正規化法CMS法(以下、CMS法という)は、入力音声の周波数特性の差分を、入力音声のケプストラムの平均で推定し、入力音声に差分を適用して補正する方法である。CMS法は、発声終了後に入力音声のケプストラム平均を求める必要があり、実時間処理ができない。
 CMS法で実時間処理を実現する方法として、非特許文献2では、入力音声のケプストラム平均を、入力音声の開始から入力音声の現在フレームまでのケプストラム平均と、音声認識の照合に用いる音響標準パタンの学習時(オフライン時)の音声データのケプストラム平均と、からMAP推定によって推定し、入力音声を正規化する、MAP―CMS法が提案されている。
日本国特開2004-133403号公報
S. Furui, "Cepstral Analysis Technique for Automatic Speaker Verification", IEEE Trans. ASSP, vol.ASSP-29, No.2 pp.254-272, 1981 小坂ら, "環境変動に対する即時/逐次適応化の検討", 日本音響学会講論集, 3-6-25, pp.137-138, 3月 1997 "空間音響",イェンス ブラウエルト,森本政之、後藤敏幸、鹿島出版会
 しかしながら、上述したCMS法は、発声終了後にケプストラムの平均を求め、音声認識処理や音検出処理を行う必要があり、実時間で補聴処理を行う補聴器へは適用はできない。また、上述したMAP-CMS法は、時間に同期して音声認識処理や音検出処理をすすめる実時間処理が可能であるが、入力開始直後のフレームの音声データでは音声の補正処理が行えず、そのため音声認識の精度が低下してしまう。
 本発明の目的は、認識精度を低下させることなく、複数のマイクロホンからの入力音響信号によって、会話相手以外の呼びかけや様々な音を検出できる補聴装置を提供することである。
 本発明は、会話相手の音声及び前記会話相手以外の呼びかけ音声や様々な音を含む音を音響信号に変換する複数のマイクロホンと、各マイクロホンで変換された音響信号に基づき、前記会話相手以外の呼びかけ音声の到来方向を推定する音到来方向推定手段と、各マイクロホンで変換された音響信号及び前記音到来方向推定手段で推定した前記会話相手以外の呼びかけ音声が到来する方向に基づき、前記会話相手以外の呼びかけ音声の周波数特性を補正する周波数特性補正処理部と、一つの特性を持つマイクを用いて収録された他の音声データに基づき、音素及び音節の特徴を表す呼び出し単語標準パタンを格納する音響標準パタン格納部と、前記周波数特性補正処理部で周波数特性が補正された前記会話相手以外の呼びかけ音声を、前記呼び出し単語標準パタンと照合し、呼びかけ単語か否かを判定する呼びかけ単語判定手段と、前記呼びかけ単語判定手段の判定結果に基づき、前記会話相手の音声が到来する方向以外について、指向性を形成する会話相手以外方向指向性合成手段と、前記会話相手以外方向指向性合成手段で形成された前記指向性に基づき、前記会話相手以外の呼びかけ音声を出力する音声出力手段と、を備え、前記周波数特性補正処理部は、前記呼びかけ単語判定手段で用いる前記音響標準パタン作成時におけるマイク特性と同等になるように、前記会話相手以外の呼びかけ音声の周波数特性を補正する補聴装置を提供する。
 上記補聴装置は、更に、前記呼びかけ単語判定手段の判定結果に基づき、会話相手の音声が到来する方向について指向性を形成する会話相手方向指向性合成手段を、備え、前記呼びかけ単語判定手段が、前記周波数特性補正処理部で周波数特性が補正された前記会話相手の音声データを、前記呼び出し単語標準パタンと照合し、呼びかけ単語であると判定した場合、前記会話相手方向指向性合成手段が、前記会話相手の音声が到来する方向について、指向性を形成するのに加えて、更に、前記会話相手以外方向指向性合成手段が、前記会話相手の音声が到来する方向以外について、前記指向性を形成し、前記音声出力手段は、会話相手以外方向指向性合成手段で形成された前記指向性に加え、前記会話相手方向指向性合成手段で形成された前記指向性に基づき、前記会話相手の音声及び前記会話相手以外の呼びかけ音声を出力する。
 上記補聴装置では、前記呼びかけ単語判定手段が、前記周波数特性補正処理部で周波数特性が補正された前記会話相手の音声データを、前記呼び出し単語標準パタンと照合し、呼びかけ単語でないと判定した場合、前記会話相手方向指向性合成手段が、前記会話相手の音声が到来する方向について、指向性を形成するのに加えて、更に、前記会話相手以外方向指向性合成手段が、前記会話相手の音声が到来する方向以外について、前記指向性を形成せず、前記音声出力手段は、会話相手以外方向指向性合成手段で形成された前記指向性に基づき、前記会話相手の音声及び前記会話相手以外の呼びかけ音声を出力する。
 本発明に係る補聴器によれば、音声認識精度を低下させることなく、複数のマイクロホンからの入力音響信号によって、会話相手以外の呼びかけや様々な音を検出することが可能となる。
本発明の実施の形態1による補聴器を示すシステム構成図 本発明の実施の形態1による補聴器の処理手順を示すフローチャート 図2における呼びかけ検出用の子プロセスを示すフローチャート 右頭部側面にマイクロホンを装着した場合の方向(角度)による周波数特性の図 本発明の実施の形態1の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示す図 本発明の実施の形態1による補聴器の無指向による収音状態を示す図 本発明の実施の形態1による補聴器の会話相手方向に指向性を形成している状態を示す図 本発明の実施の形態1による補聴器の会話相手方向に指向性を形成し、かつ、会話相手以外方向にも指向性を形成している状態を示す図 本発明の実施の形態1の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示した図 本発明の実施の形態2による補聴器を示すシステム構成図 本発明の実施の形態2による補聴器の処理手順を示すフローチャート 図11における呼びかけ検出用の子プロセスを示すフローチャート 本発明の実施の形態3による音響信号処理装置を示すシステム構成図 本発明の実施の形態3による音響信号処理装置の処理手順を示すフローチャート 図14における会話相手以外音検出用の子プロセスを示すフローチャート 本発明の実施の形態4による音響信号処理装置を示すシステム構成図 本発明の実施の形態4による音響信号処理装置の処理手順を示すフローチャート 図17における会話相手以外音検出用の子プロセスを示すフローチャート
 以下、本発明の実施形態について、図面を参照して説明する。
(実施の形態1)
 図1は、本発明の実施の形態1における補聴装置100の構成を示すブロック図である。図1に示すように、実施の形態1の補聴装置100は、2つのマイクロホン101a、101bと、会話相手方向探査手段102と、会話相手方向指向性合成手段103と、会話相手以外方向指向性合成手段104と、周波数特性補正処理部105と、呼びかけ方向探査手段106と、呼びかけ単語判定手段107と、指向性・無指向判定手段108と、スピーカ109と、補正係数格納部110と、音響標準パタン格納部111と、呼びかけ単語文字列格納部112と、を備える。
<補聴装置100の構成>
 マイクロホン101a、101bは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段102に出力される。
 以下、説明のため、各マイクホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から補聴装置100の装着者に向かって呼びかける音声(以下、呼びかけ音声という)が含まれているものとする。
 なお、マイクロホン101a、101bで会話相手の音声を収音していないときは、図6に示すように、補聴装置100を右耳に装着した人物Aの周辺には、指向性をつけない信号処理によって全方向の音声が聞こえる状態を示す指向性パタン601が形成される。
 会話相手方向探査手段102は、マイクロホン101a、101bから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段108に出力される。
 呼びかけ方向探査手段106は、マイクロホン101a、101bで収音された呼びかけ音声から、その到来方向を探査する。呼びかけ音声の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
 ここで、頭部と耳介による歪である頭部伝達関数は人間の方向知覚に重要な役割を果たしている(例えば、非特許文献3)。そこで、本実施の形態では、音の到来方向(角度)を推定方法として、頭部伝達関数の角度毎のディップ周波数とピーク周波数の特徴と、外耳道入り口位置で観測された入力音声の周波数特性とを比較し、音の到来方向(角度)を推定する。
 そして、呼びかけ方向探査手段106は、探査された呼びかけ音声に基づき、呼びかけ音声の到来方向と推定される方向の情報を周波数特性補正処理部105に出力する。
 補正係数格納部110は、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、補聴器の頭部装着による頭部形状の影響が考慮されている。
 呼びかけ単語文字列格納部112は、文字列として登録された呼びかけ単語文字列を格納する。呼びかけ単語文字列格納部112に格納される呼びかけ単語文字列は、予め、補聴装置100のフィッティング時に、呼びかけ単語文字列格納部112に格納しておく。
 音響標準パタン格納部111は、文字(例えば、50音やアルファベット)に対応する音響標準パタンを格納する。なお、音響標準パタン格納部111に格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の音声データから、各音素/音節の特徴を表すモデルとしてあらかじめ作成された音声データである。
 周波数特性補正処理部105は、呼びかけ方向探査手段106から入力された呼びかけ音声の到来方向と推定された方向の情報に基づき、補正係数格納部110に格納されている補正係数のうち、呼びかけ音声の方向と合致する方向の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段104より出力された呼びかけ音声データを、随時補正する。そして、補正処理された呼びかけ音声データは、呼びかけ単語判定手段107へ出力される。
 呼びかけ単語判定手段107は、呼びかけ単語文字列格納部112に格納された「呼びかけ単語文字列」、及び音響標準パタン格納部111に格納された「音響標準パタン」から、呼び出し単語標準パタンを作成する。そして、呼びかけ単語判定手段107は、作成した呼び出し単語標準パタンを、周波数特性補正処理部105から出力された呼びかけ音声のデータと照合し、呼びかけ単語か否かを判定する。
 呼びかけ単語判定手段107は、呼びかけ音声が呼びかけ単語である判定した場合には、無指向情報を、指向性・無指向判定手段108に出力する。一方、呼びかけ単語判定手段107は、会話相手以外の人物の呼びかけ音声が呼びかけ単語でないと判定した場合には、指向情報を、指向性・無指向判定手段108に出力する。
 指向性・無指向判定手段108は、会話相手方向探査手段102から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段107の判定結果に基づき、会話相手方向指向性合成手段103及び会話相手以外方向指向性合成手段104のそれぞれで、指向性を形成するか否かを判定する。
 つまり、指向性・無指向判定手段108は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれている場合、会話相手方向探査手段102から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段107から出力された無指向情報に基づき、会話相手方向指向性合成手段103に、会話相手方向に指向性を形成する旨の判定結果を出力する。更に、指向性・無指向判定手段108は、会話相手以外方向指向性合成手段104に、会話相手の方向以外の方向にも指向性を形成する旨の判定結果を出力する。
 一方、指向性・無指向判定手段108は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれていない場合、会話相手方向探査手段102から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段107から出力された指向性情報に基づき、会話相手方向に指向性を形成する旨の判定結果を出力する。更に、指向性・無指向判定手段108は、会話相手以外方向指向性合成手段104に、指向性を形成しない旨の判定結果を出力する。
 会話相手以外方向指向性合成手段104は、指向性・無指向判定手段108の判定結果に基づき、指向性を形成する。指向性・無指向判定手段108が指向性を形成すると判定すると、会話相手の方向以外の方向に指向性を形成する。例えば、図8に示す指向性パタン802のように、呼びかけ検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段108が指向性を形成しないと判定すると、会話相手の方向以外の方向に指向性を形成しない。
 会話相手方向指向性合成手段103は、指向性・無指向判定手段108の判定結果に基づき、指向性を形成する。つまり、会話相手方向指向性合成手段103は、指向性・無指向判定手段108が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を形成する。
 例えば、会話相手方向指向性合成手段103は、図7の指向性パタン701や図8に示す指向性パタン801のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段103は、指向性・無指向判定手段108が指向性を形成しないと判定すると、指向性は作らない。
 そして、指向性が合成された会話相手の音声データは、スピーカ109に出力される。
 スピーカ109は、音声出力手段であり、会話相手方向指向性合成手段103により形成された指向性により強調された会話相手の音を出力する。その結果、補聴装置100の装着者が、強調された会話相手の音を聴取することができる。
 更に、スピーカ109は、会話相手以外方向指向性合成手段104で呼びかけ検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン101a、101bで収音した会話相手以外の方向から到来する呼びかけ音を出力することができる。その結果、補聴装置100の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する呼びかけ音も聴取することができる。
<補聴装置100の動作>
 図2は、実施の形態1の補聴装置100の処理手順をあらわすフローチャートである。図3は、呼びかけ検出用の子プロセスを示すフローチャートである。図2及び図3に示すフローチャートを用いて補聴装置100の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図6の指向性パタン601で示すように、補聴装置100を右耳に装着した人物Aは、指向性をつけない信号処理によって全方向の音声が聞こえる状態である。
 ステップST201では、呼びかけ検出用の子プロセスを生成する。
 ステップST202では、会話相手方向探査手段102により会話相手の音声の到来方向を探査する。
 ステップST203では、ステップST202での結果に基づき、会話相手方向探査手段102により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップST204に、会話相手の音声が検出されなければ、ステップST202に処理を分岐する。
 ステップST204では、会話相手方向探査手段102により、会話相手の音声到来方向を角度として検出する。
 ステップST205では、ステップST204で検出された会話相手の方向を角度として、図3に示す呼びかけ検出用子プロセスのステップST301に送信する。
 ステップST206では、図3に示す呼びかけ検出用子プロセスから送信された無指向への変更情報を受信する。
 ステップST207では、指向性・無指向判定手段108により会話相手の方向に指向性を合成すると判定された場合、ステップST208に処理を分岐する。また、ステップST207では、指向性・無指向判定手段108により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップST210に処理を分岐する。
 ステップST208では、会話相手方向指向性合成手段103により、図7の指向性パタン701のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Bの方向に指向性を合成する。
 ステップST209では、図7に示すように指向性が合成された会話相手Bの音声データは、スピーカ109から出力し、補聴装置100の装着者Aが、強調された会話相手の音を聴取する。
 ステップST210では、図6に示す指向性パタン601のように、無指向に変更し、ステップST201に処理を戻す。
<呼びかけ検出用の子プロセス>
 次に、図3に示す呼びかけ検出用子プロセスを以下に説明する。
 ステップST301では、図2に示すステップST205で送信された、会話相手の音の到来方向を示す角度を受信する。
 ステップST302では、会話相手の音の到来方向を示す角度を受信していればステップST303に、会話相手の音の到来方向を示す角度を受信していなければ、ステップST302に処理を分岐させる。
 ステップST303では、図8に示す指向性パタン801のように、会話相手Bの音声を、補聴装置100の装着者Aに強調して聞かせるために会話相手方向に指向性を形成し、かつ、図8に示す指向性パタン802のように、呼びかけ検出のために会話相手方向以外にも指向性を形成する。
 ステップST304では、呼びかけがあるか否かを判定する。呼びかけがあると判定されれば、ステップST305に、呼びかけがないと判定されればステップST304に処理を分岐する。ここで、呼びかけがあるかないかの判定には例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定するなどが一つの方法として考えられる。
 ステップST305では、呼びかけ方向探査手段106により呼びかけ音声の方向を判定する。
 ステップST306では、呼びかけ音声の角度の情報から、呼びかけ単語判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については後述する。
 ステップST307では、呼びかけ単語判定手段107により補正処理された入力音声データは、呼びかけ単語か否かを判定する。
 ステップST308では、ステップST307で呼びかけ単語と判定されれば、ステップST309に、呼びかけ単語であると判定されなければステップST304に処理を分岐する。
 ステップST309では、指向性・無指向判定手段108により、無指向への変更情報を会話相手方向指向性合成手段103、会話相手以外方向指向性合成手段104に送り、ステップST302に処理を戻す。
 上述したステップST201からステップST210及びステップST301からステップST309により、本実施の形態の補聴装置100は、会話相手の声を強調した上で、呼びかけられたときには指向性から無指向に変更される。そのため、補聴器の使用者は、呼びかけ音声が聞こえるようになり、呼びかけ者との会話も可能となる。
<周波数特性の補正係数の決め方>
 次に、ステップST306における、周波数特性の補正係数を呼び出す具体的な方法例を、説明する。例えば、装着者Aが右頭部側面に補聴装置100を装着した場合の周波数特性の補正係数について、図4、図5を参照して説明する。図4は、右頭部側面にマイクロホンを装着した場合の方向(角度)による周波数特性の図であり、図5は、本発明の実施の形態1の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示す図である。
 図4に示すように、装着者Aが右頭部側面に補聴装置100を装着した場合、右90°方向から到来する音の周波数特性を示す曲線401は、低域側ではその周波数に依らずほぼ平坦であり、高域側でやや落ち込みが見られる。一方、左90°方向から到来する音の周波数特性を示す曲線402は、周波数が高い領域ほど落ち込む。この場合、図4に示す音の周波数特性を、図5の破線501で示す、音響標準パタン作成時のマイクが有する周波数特性に、変更されるように、補正係数を決定する。なお、この音響標準パタン作成時のマイクの周波数特性は、呼びかけ単語判定処理部で用いられる。
 図4に示す右90°方向から到来する音の周波数特性(曲線401)の場合、低域部分は補正の必要はないが、図5に示すように、高域部分で矢印に示すように周波数特性を変更する補正が必要となる。同様に、図4に示す左90°方向から到来する音の周波数特性(曲線402)の場合、中高域で高い周波数ほど補正係数を大きくすることで、入力音声を、図5の破線501で示す、音響標準パタン作成時にマイクが有していた周波数特性に、補正することができる。
 上述のように、本実施形態に係る補聴装置100によれば、入力音声の周波数特性を、補正係数を用いて、呼びかけ単語判定処理手段の音声認識の照合に用いる音響標準パタンの学習時(オフライン時)の音声データの周波数特性に近づけることで、音声認識精度を低下させることなく実時間処理が実現できる。
 なお、補正係数は、一般的な頭部形状において、すでに測定された値を用いても良い。
 なお、音声認識の精度をより高くするためには、補聴装置100のフィッティング時に、図9に示すように、補聴装置100を、右耳に装着した人物Aの頭部周辺を囲む、音源901~908から補正係数を獲得するための音(ホワイトノイズ等)を再生する。次に、再生したホワイトノイズ等を、補聴装置100のマイクにより収録し、その収録音の特性と音響標準パタン作成時のマイクの特性とから補正係数を獲得するのが良い。
 なお、呼びかけ単語は、人が呼びかける際に用いる単語だけでなく、人に注意を喚起する目的で再生される館内放送の呼び出し音や、電車のホームの警告音や、車・トラック・バスのクラクションや、方向指示器に連動した警報音や、家庭内の家電機器が進行状態を知らせるために再生する報知音なども同様である。
(実施の形態2)
 実施の形態1では、片方の耳(右耳)に装着するタイプの補聴器を一例として説明したが、実施の形態2では、両耳に装着するタイプの補聴器を例にとって説明する。
 図10は、本発明の実施の形態2における補聴装置200の構成を示すブロック図である。図10に示すように、実施の形態2の補聴装置200は、右耳装着補聴器200Aと左耳装着補聴器200Bから構成される。図10を参照して、各補聴器の構成について、以下に説明する。
 図10に示すように、実施の形態2の補聴装置200を構成する右耳装着補聴器200Aは、2つのマイクロホン201a、201bと、会話相手方向探査手段202と、会話相手方向指向性合成手段203と、会話相手以外方向指向性合成手段204と、周波数特性補正処理部205と、呼びかけ方向探査手段206と、呼びかけ単語判定手段207と、指向性・無指向判定手段208と、スピーカ209と、補正係数格納部221Aと、呼びかけ単語文字列格納部223Aと、音響標準パタン格納部224Aと、を備える。
 同様に、実施の形態2の補聴装置200を構成する左耳装着補聴器200Bは、2つのマイクロホン211a、211bと、会話相手方向探査手段212と、会話相手方向指向性合成手段213と、会話相手以外方向指向性合成手段214と、周波数特性補正処理部215と、呼びかけ方向探査手段216と、呼びかけ単語判定手段217と、指向性・無指向判定手段218と、スピーカ219と、補正係数格納部221Bと、呼びかけ単語文字列格納部223Bと、音響標準パタン格納部224Bと、を備える。
 以下、右耳装着補聴器200Aの構成について、詳細に説明する。なお、左耳装着補聴器200Bについて、右耳装着補聴器200Aと同じ名称の構成は、すべて右耳装着補聴器200Aの構成と同じ動作をするため、詳細な説明を省略する。
<右耳装着補聴器200Aの構成>
 マイクロホン201a、201bは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段202に出力される。
 以下、説明のため、各マイクホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から補聴装置200の装着者に向かって呼びかける音声(以下、呼びかけ音声という)が含まれているものとする。また、補聴装置200の装着者の右側から呼びかけが行われているものとする。
 なお、マイクロホン201a、201bで会話相手の音声を収音していないときは、実施の形態1と同様、図6に示すような指向性パタン601が形成されているものとする。
 会話相手方向探査手段202は、マイクロホン201a、201bから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段208に出力される。
 呼びかけ方向探査手段206は、マイクロホン201a、201bで収音された呼びかけ音声から、その到来方向を探査する。呼びかけ音声の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
 呼びかけ方向探査手段206は、まず、左耳装着補聴器200Bの呼びかけ方向探査手段216に、Bluetooth(日本国商標登録番号第4477936号)などの無線通信手段を介して、右耳の最大音圧を送信する。同様に、呼びかけ方向探査手段206は、左耳装着補聴器200Bの呼びかけ方向探査手段216から、Bluetooth(日本国商標登録番号第4477936号)などの無線通信手段を介して、左耳の最大音圧を受信する。
 そして、呼びかけ方向探査手段206は、両耳の最大音圧同士を比較して、左右のどちらで呼びかけが起こっているかを推定する。例えば、呼びかけ方向探査手段206は、呼びかけ方向を探査する方法として、右側で起こっていると判定されれば、遅延和アレーによる指向性ビームの実現と、指向性ビームのスキャンによる音源方向の推定とにより、呼びかけ方向を探査する。呼びかけ方向探査手段206は、探査された呼びかけ音声に基づき、呼びかけ音声が到来する方向と推定される方向の情報とを周波数特性補正処理部205に出力する。
 補正係数格納部221Aは、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、補聴器の頭部装着による頭部形状の影響を考慮されている。
 呼びかけ単語文字列格納部223Aは、文字列として登録された呼びかけ単語文字列を格納する。呼びかけ単語文字列格納部223Aに格納される呼びかけ単語文字列は、予め、補聴装置200のフィッティング時に、呼びかけ単語文字列格納部223Aに格納しておく。
 音響標準パタン格納部224Aは、文字(例えば、50音やアルファベット)に対応する音響標準パタンを格納する。なお、音響標準パタン格納部224Aに格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の音声データから、各音素/音節の特徴を表すモデルとしてあらかじめ作成された音声データである。
 周波数特性補正処理部205は、呼びかけ方向探査手段206から入力された呼びかけ音声が到来する方向と推定される方向との情報に基づき、補正係数格納部221Aに格納されている補正係数のうち、呼びかけ音声の方向と合致する方向の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段104より出力された会話相手の音声データを、随時補正する。そして、補正処理された入力音声データは、呼びかけ単語判定手段207へ出力される。
 呼びかけ単語判定手段207は、呼びかけ単語文字列格納部223Aに格納された「呼びかけ単語文字列」、及び音響標準パタン格納部224Aに格納された「音響標準パタン」から、呼びかけ単語標準パタンを作成する。そして、呼びかけ単語判定手段207は、作成した呼びかけ単語標準パタンと、周波数特性補正処理部205から出力された、会話相手以外の人物による呼びかけ音声のデータとを照合し、呼びかけ単語か否かを判定する。
 呼びかけ単語判定手段207は、会話相手以外の人物の呼びかけ音声が呼びかけ単語である判定した場合には、無指向情報を、指向性・無指向判定手段208及び左耳装着補聴器200Bの指向性・無指向判定手段218に出力する。一方、呼びかけ単語判定手段207は、会話相手以外の人物の呼びかけ音声が呼びかけ単語でないと判定した場合には、指向性情報を、指向性・無指向判定手段208に出力する。
 指向性・無指向判定手段208は、会話相手方向探査手段202から入力された会話相手の音声が到来する方向と、呼びかけ単語判定手段207の判定結果に基づき、会話相手方向指向性合成手段203及び会話相手以外方向指向性合成手段204のそれぞれで、指向性を形成するか否かを判定する。
 つまり、指向性・無指向判定手段208は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれている場合、会話相手方向探査手段202から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段207から出力された無指向情報に基づき、会話相手方向指向性合成手段203に、会話相手方向に指向性を形成する旨の判定結果を出力する。
 更に、指向性・無指向判定手段208は、会話相手以外方向指向性合成手段204に、会話相手の方向以外の方向にも指向性を形成する旨の判定結果を出力する。一方、指向性・無指向判定手段208は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれていない場合、会話相手方向探査手段202から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段207から出力された指向性情報に基づき、会話相手方向に指向性を形成する旨の判定結果を出力する。
 更に、指向性・無指向判定手段208は、会話相手以外方向指向性合成手段204に、指向性を形成しない旨の判定結果を出力する。
 会話相手以外方向指向性合成手段204は、後述する指向性・無指向判定手段208に基づき、指向性を形成する。指向性・無指向判定手段208が指向性を形成すると判定すると、会話相手の方向以外の方向に指向性を形成する。
 例えば、実施の形態1と同様、図8に示す指向性パタン802のように、呼び出し検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段208が指向性を形成しないと判定すると、指向性は作らない。
 会話相手方向指向性合成手段203は、指向性・無指向判定手段208の判定結果に基づき、指向性を形成する。つまり、会話相手方向指向性合成手段203は、指向性・無指向判定手段208が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を合成する。
 例えば、会話相手方向指向性合成手段203は、実施の形態1と同様、図7の指向性パタン701や図8に示す指向性パタン801のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段203は、指向性・無指向判定手段208が指向性を形成しないと判定すると、指向性は作らない。
 そして、指向性が合成された会話相手の音声データは、スピーカ209に出力される。
 スピーカ209は、音声出力手段であり、会話相手方向指向性合成手段203により形成された指向性により強調された会話相手の音を出力する。その結果、補聴装置200の装着者が、強調された会話相手の音を聴取することができる。
 更に、スピーカ209は、会話相手以外方向指向性合成手段204で呼びかけ検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン201a、201bで収音した会話相手以外の方向から到来する呼びかけ音を出力することができる。その結果、補聴装置200の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する呼びかけ音も聴取することができる。
<補聴装置200の動作>
 図11は、実施の形態2の補聴装置200の処理手順をあらわすフローチャートである。図12は、呼びかけ検出用の子プロセスを示すフローチャートである。図11及び図12に示すフローチャートを用いて補聴装置200の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図6の指向性パタン601で示すように、全方向の音声が聞こえる状態である。
 ステップST501では、呼びかけ検出用の子プロセスを生成する。
 ステップST502では、会話相手方向探査手段202により会話相手の音声の到来方向を探査する。
 ステップST503では、ステップST502での結果に基づき、会話相手方向探査手段102により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップST504に、会話相手の音声が検出されなければ、ステップST502に処理を分岐する。
 ステップST504では、会話相手方向探査手段202により、会話相手の音声到来方向を角度として検出する。
 ステップST505では、ステップST504で検出された会話相手の方向を角度として、図12に示す呼びかけ検出用子プロセスのステップST601に送信する。
 ステップST506では、図12に示す呼びかけ検出用子プロセスから送信された無指向への変更情報を受信する。
 ステップST507では、指向性・無指向判定手段208により会話相手の方向に指向性を合成すると判定された場合、ステップST508に処理を分岐する。また、ステップST507では、指向性・無指向判定手段208により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップST510に処理を分岐する。
 ステップST508では、会話相手方向指向性合成手段203により、実施の形態1と同様、図7の指向性パタン701のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Bの方向に指向性を合成する。
 ステップST509では、実施の形態1と同様、図7に示すように指向性が合成された会話相手Bの音声データは、スピーカ109から出力し、補聴装置200の装着者Aが、強調された会話相手の音を聴取する。
 ステップST510では、図6に示す指向性パタン601のように、無指向に変更し、ステップST501に処理を戻す。
<呼びかけ検出用の子プロセス>
 次に、図12に示す呼びかけ検出用子プロセスを以下に説明する。
 ステップST601では、図2に示すステップST505で送信された、会話相手の音の到来方向を示す角度を受信する。
 ステップST602では、会話相手の音の到来方向を示す角度を受信していればステップST603に、会話相手の音の到来方向を示す角度を受信していなければ、ステップST602に処理を分岐させる。
 ステップST603では、実施の形態1と同様、図8に示す指向性パタン801のように、会話相手Bの音声を、補聴装置200の装着者Aに強調して聞かせるために会話相手方向に指向性を形成する。かつ、ステップST603では、図8に示す指向性パタン802のように、呼び出し検出のために会話相手方向以外にも指向性を形成する。
 ステップST604では、呼びかけ方向探査手段206によって、左右の補聴器で最大音圧を互いに通信し、左右のどちらで呼びかけが起こっているかを判定する。
 ステップST605では、ステップST604での判定結果に基づき、右側で呼びかけが起こっている場合、ステップST606、左側で呼びかけが起こっている場合、ステップST610に処理を分岐する。
 ステップST606では、右耳装着補聴器200Aの呼びかけ方向探査手段206により呼びかけ音声の方向を判定する。
 ステップST607では、呼びかけ音声の角度の情報から、呼びかけ単語判定手段207の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態1と同様のため、その詳細な説明は省略する。
 ステップST608では、右耳装着補聴器200Aの呼びかけ単語判定手段207により補正処理された入力音声データは、呼びかけ単語か否かを判定する。
 ステップST609では、ステップST608で呼びかけ単語と判定されれば、ステップST614に、呼びかけ単語であると判定されなければステップST604に処理を分岐する。
 ステップST610では、左耳装着補聴器200Bの呼びかけ方向探査手段216により呼びかけ音声の方向を判定する。
 ステップST611では、呼びかけ音声の角度の情報から、呼びかけ単語判定手段207の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態1と同様のため、その詳細な説明は省略する。
 ステップST612では、左耳装着補聴器200Bの呼びかけ単語判定手段217により補正処理された入力音声データは、呼びかけ単語か否かを判定する。
 ステップST613では、ステップST612で呼びかけ単語と判定されれば、ステップST614に、呼びかけ単語であると判定されなければステップST604に処理を分岐する。
 ステップST614では、右側で呼びかけが起こっている場合、右耳装着補聴器200Aの指向性・無指向判定手段208により、無指向への変更情報を、右耳装着補聴器200Aの会話相手方向指向性合成手段203、会話相手以外方向指向性合成手段204に送り、ステップST602に処理を戻す。
 同様に、左側で呼びかけが起こっている場合、左耳装着補聴器200Bの指向性・無指向判定手段218により、無指向への変更情報を、左耳装着補聴器200Bの会話相手方向指向性合成手段213、会話相手以外方向指向性合成手段214に送り、ステップST602に処理を戻す。
 上述したステップST501からステップST510及びステップST601からステップST614により、本実施の形態の補聴装置200は、会話相手の声を強調した上で、呼びかけられたときには指向性から無指向に変更される。そのため、補聴器の使用者は、呼びかけ音声が聞こえるようになり、呼びかけ者との会話も可能となる。
(実施の形態3)
 図13は、本発明の実施の形態3における音響信号処理装置300の構成を示すブロック図である。図13に示すように、実施の形態3の音響信号処理装置300は、2つのマイクロホン301a、301bと、会話相手方向探査手段302と、会話相手方向指向性合成手段303と、会話相手以外音方向指向性合成手段304と、周波数特性補正処理部305と、会話相手以外音方向探査手段306と、会話相手以外音判定手段307と、指向性・無指向判定手段308と、スピーカ309と、補正係数格納部310と、音響標準パタン格納部311と、を備える。
<音響信号処理装置300の構成>
 マイクロホン301a、301bは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段302に出力される。
 以下、説明のため、各マイクロホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から音響信号処理装置300の装着者に到達する会話相手以外の音や音声(以下、会話相手以外音という)が含まれているものとする。
 なお、マイクロホン301a、301bで会話相手の音声を収音していないときは、図6に示すように、音響信号処理装置300を右耳に装着した人物Aの周辺には、指向性をつけない信号処理によって全方向の音声が聞こえる状態を示す指向性パタン601が形成(作成)される。
 会話相手方向探査手段302は、マイクロホン301a、301bから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段308に出力される。
 会話相手以外音方向探査手段306は、マイクロホン301a、301bで収音された会話相手以外の音から、その到来方向を探査する。会話相手以外音の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
 ここで、頭部と耳介による歪である頭部伝達関数は人間の方向知覚に重要な役割を果たしている(例えば、非特許文献3)。そこで、本実施の形態では、音の到来方向(角度)の推定方法として、頭部伝達関数の角度毎のディップ周波数とピーク周波数の特徴と、外耳道入り口位置で観測された入力音声の周波数特性とを比較し、音の到来方向(角度)を推定する。そして、会話相手以外音方向探査手段306は、探査された会話相手以外音に基づき、会話相手以外音の到来方向と推定される方向の情報を周波数特性補正処理部305に出力する。
 補正係数格納部310は、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、補聴器の頭部装着による頭部形状の影響が考慮されている。音響標準パタン格納部311に格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の会話相手以外音のデータから、あらかじめ作成されたパタンである。
 周波数特性補正処理部305は、会話相手以外音方向探査手段306から入力された会話相手以外音の到来方向と推定された方向(角度)の情報に基づき、補正係数格納部310に格納されている補正係数のうち、会話相手以外音の方向と合致する方向(角度)の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段304より出力された会話相手以外音データを、随時補正する。そして、補正処理された会話相手以外音データは、会話相手以外音判定手段307へ出力される。
 会話相手以外音判定手段307は、音響標準パタン格納部311に格納された音響標準パタンを、周波数特性補正処理部305から出力された会話相手以外音のデータと照合し、会話相手以外音か否かを判定する。
 会話相手以外音判定手段307は、会話相手以外音であると判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段308に出力する。一方、会話相手以外音判定手段307は、会話相手以外音でないと判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段308に出力しない。
 指向性・無指向判定手段308は、会話相手方向探査手段302から入力された会話相手の音声が到来する方向及び会話相手以外音判定手段307の判定結果に基づき、会話相手方向指向性合成手段303及び会話相手以外方向指向性合成手段304のそれぞれに、指向性を形成させるか否かを判定する。
 つまり、指向性・無指向判定手段308は、会話相手の音声以外に、会話相手以外の人物から会話相手以外音が音声データに含まれている場合、会話相手方向探査手段302から入力された会話相手の音声が到来する方向(角度)及び会話相手以外音判定手段307から会話相手以外音フラグが出力されている場合は、会話相手方向指向性合成手段303に、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段308は、会話相手以外方向指向性合成手段304に、会話相手の方向以外の方向にも指向性を形成させる旨の判定結果を出力する。
 一方、指向性・無指向判定手段308は、会話相手以外音が音声データに含まれておらず、会話相手以外音判定手段307から会話相手以外音フラグが出力されない場合、会話相手方向探査手段302から入力された会話相手の音声が到来する方向(角度)及び会話相手以外音判定手段307から出力された指向性情報に基づき、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段308は、会話相手以外方向指向性合成手段304に、指向性を形成しない旨の判定結果を出力する。
 会話相手以外方向指向性合成手段304は、指向性・無指向判定手段308の判定結果に基づき、指向性を形成する信号処理を行う。指向性・無指向判定手段308から指向性を形成する判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する。例えば、図8に示す指向性パタン802のように、会話相手以外音検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段308から指向性を形成しない判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する信号処理を行わない。
 会話相手方向指向性合成手段303は、指向性・無指向判定手段308の判定結果に基づき、指向性を形成する信号処理を行う。つまり、会話相手方向指向性合成手段303は、指向性・無指向判定手段308が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を形成する信号処理を行う。
 例えば、会話相手方向指向性合成手段303は、図7の指向性パタン701や図8に示す指向性パタン801のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段303は、指向性・無指向判定手段308が指向性を形成しないと判定すると、指向性を形成する信号処理を行わない。そして、指向性が合成された会話相手の音声データは、スピーカ309に出力される。
 スピーカ309は、音声出力手段であり、会話相手方向指向性合成手段303により形成された指向性により強調された会話相手の音を出力する。その結果、音響信号処理装置300の装着者が、強調された会話相手の音を聴取することができる。
 更に、スピーカ309は、会話相手以外方向指向性合成手段304で会話相手以外音検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン301a、301bで収音した会話相手以外の方向から到来する会話相手以外音を出力することができる。その結果、音響信号処理装置300の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する会話相手以外音も聴取することができる。
<音響信号処理装置300の動作>
 図14は、実施の形態3の音響信号処理装置300の処理手順をあらわすフローチャートである。図15は、会話相手以外音検出用の子プロセスを示すフローチャートである。図14及び図15に示すフローチャートを用いて音響信号処理装置300の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図6の指向性パタン601で示すように、音響信号処理装置300を右耳に装着した人物Aは、指向性をつけない信号処理によって全方向の音声が聞こえる状態である。なお、図6に示す収音状態は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 ステップST401では、会話相手以外音検出用の子プロセスを生成する。ステップST402では、会話相手方向探査手段302により会話相手の音声の到来方向を探査する。
 ステップST403では、ステップST402での結果に基づき、会話相手方向探査手段302により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップST404に、会話相手の音声が検出されなければ、ステップST402に処理を分岐する。
 ステップST404では、会話相手方向探査手段302により、会話相手の音声到来方向を角度として検出する。
 ステップST405では、ステップST404で検出された会話相手の方向を角度として、図15に示す会話相手以外音検出用子プロセスのステップST701に送信する。
 ステップST406では、図15に示す会話相手以外音検出用子プロセスから送信された無指向への変更情報を受信する。
 ステップST407では、指向性・無指向判定手段308により会話相手の方向に指向性を合成すると判定された場合、ステップST408に処理を分岐する。また、ステップST407では、指向性・無指向判定手段308により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップST410に処理を分岐する。
 ステップST408では、会話相手方向指向性合成手段303により、図7の指向性パタン701のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Bの方向に指向性を合成する。
 ステップST409では、図7に示すように指向性が合成された会話相手Bの音声データは、スピーカ309から出力し、音響信号処理装置300の装着者Aが、強調された会話相手の音を聴取する。なお、図7に示す指向性は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 ステップST410では、図6に示す指向性パタン601のように、無指向に変更し、ステップST401に処理を戻す。
<会話相手以外音検出用の子プロセス>
 次に、図15に示す会話相手以外音検出用子プロセスを以下に説明する。
 ステップST701では、図14に示すステップST405で送信された、会話相手の音の到来方向を示す角度を受信する。
 ステップST702では、会話相手の音の到来方向を示す角度を受信していればステップST703に、会話相手の音の到来方向を示す角度を受信していなければ、ステップST702に処理を分岐させる。
 ステップST703では、図8に示す指向性パタン801のように、会話相手Bの音声を、音響信号処理装置300の装着者Aに強調して聞かせるために会話相手方向に指向性を形成し、かつ、図8に示す指向性パタン802のように、会話相手以外音検出のために会話相手方向以外にも指向性を形成する。なお、図8に示す指向性は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 ステップST704では、会話相手以外音があるか否かを判定する。会話相手以外音があると判定されれば、ステップST705に、会話相手以外音がないと判定されればステップST704に処理を分岐する。ここで、会話相手以外音があるかないかの判定には例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定するなどが一つの方法として考えられる。
 ステップST705では、会話相手以外音方向探査手段306により会話相手以外音の方向を判定する。
 ステップST706では、会話相手以外音の角度の情報から、会話相手以外音判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については後述する。
 ステップST707では、会話相手以外音判定手段307により補正処理された入力音声データは、会話相手以外音か否かを判定する。
 ステップST708では、ステップST707で会話相手以外音と判定されれば、ステップST709に、会話相手以外音であると判定されなければステップST704に処理を分岐する。
 ステップST709では、指向性・無指向判定手段308により、無指向への変更情報を会話相手方向指向性合成手段303、会話相手以外方向指向性合成手段304に送り、ステップST702に処理を戻す。
 上述したステップST401からステップST410及びステップST701からステップST709により、本実施の形態の音響信号処理装置300は、会話相手の声を強調した上で、会話相手以外音が検出されたときには指向性から無指向に変更される。そのため、補聴器の使用者は、会話相手以外音が聞こえるようになり、会話相手以外音者との会話も可能となる。
<周波数特性の補正係数の決め方>
 次に、ステップST706における、周波数特性の補正係数を呼び出す具体的な方法例を、説明する。例えば、装着者Aが右頭部側面に音響信号処理装置300を装着した場合の周波数特性の補正係数について、図4、図5を参照して説明する。図4は、右頭部側面にマイクロホンを装着した場合の方向(角度)による周波数特性の図であり、図5は、本発明の実施の形態1の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示す図である。なお、図4に示す周波数特性の図、図5に示す補正係数は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 図4に示すように、装着者Aが右頭部側面に音響信号処理装置300を装着した場合、右90°方向から到来する音の周波数特性を示す曲線401は、低域側ではその周波数に依らずほぼ平坦であり、高域側でやや落ち込みが見られる。一方、左90°方向から到来する音の周波数特性を示す曲線402は、周波数が高い領域ほど落ち込む。この場合、図4に示す音の周波数特性を、図5の破線501で示す、音響標準パタン作成時のマイクが有する周波数特性に、変更されるように、補正係数を決定する。なお、この音響標準パタン作成時のマイクの周波数特性は、会話相手以外音判定処理部で用いられる。
 図4に示す右90°方向から到来する音の周波数特性(曲線401)の場合、低域部分は補正の必要はないが、図5に示すように、高域部分で矢印に示すように周波数特性を変更する補正が必要となる。同様に、図4に示す左90°方向から到来する音の周波数特性(曲線402)の場合、中高域で高い周波数ほど補正係数を大きくすることで、入力音声を、図5の破線501で示す、音響標準パタン作成時にマイクが有していた周波数特性に、補正することができる。
 上述のように、本実施形態に係る音響信号処理装置300によれば、入力音声の周波数特性を、補正係数を用いて、会話相手以外音判定処理手段の音声認識の照合に用いる音響標準パタンの学習時(オフライン時)の音声データの周波数特性に近づけることで、音声認識精度を低下させることなく実時間処理が実現できる。
 なお、補正係数は、一般的な頭部形状において、すでに測定された値を用いても良い。
 なお、音声認識の精度をより高くするためには、音響信号処理装置300のフィッティング時に、図9に示すように、音響信号処理装置300を、右耳に装着した人物Aの頭部周辺を囲む、音源901~908から補正係数を獲得するための音(ホワイトノイズ等)を再生する。次に、再生したホワイトノイズ等を、音響信号処理装置300のマイクにより収録し、その収録音の特性と音響標準パタン作成時のマイクの特性とから補正係数を獲得するのが良い。なお、図9に示す補正係数は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用できる。
 なお、呼びかけ単語は、人が呼びかける際に用いる単語だけでなく、人に注意を喚起する目的で再生される館内放送の呼び出し音や、電車のホームの警告音や、車・トラック・バスのクラクションや、方向指示器に連動した警報音や、家庭内の家電機器が進行状態を知らせるために再生する報知音なども同様である。
(実施の形態4)
 実施の形態3では、片方の耳(右耳)に装着するタイプの音響信号処理装置を一例として説明したが、実施の形態4では、両耳に装着するタイプの音響信号処理装置を例にとって説明する。
 図16は、本発明の実施の形態4における音響信号処理装置400の構成を示すブロック図である。図16に示すように、実施の形態4の音響信号処理装置400は、右耳装着音響信号処理装置400Aと左耳装着音響信号処理装置400Bから構成される。図16を参照して、各音響信号処理装置の構成について、以下に説明する。
 図16に示すように、実施の形態4の音響信号処理装置400を構成する右耳装着音響信号処理装置400Aは、2つのマイクロホン401a、401bと、会話相手方向探査手段402と、会話相手方向指向性合成手段403と、会話相手以外方向指向性合成手段404と、周波数特性補正手段405と、音到来方向探査手段406と、会話相手以外音判定手段407と、指向性・無指向判定手段408と、スピーカ409と、補正係数格納部421Aと、音響標準パタン格納部424Aと、を備える。
 同様に、実施の形態4の音響信号処理装置400を構成する左耳装着音響信号処理装置400Bは、2つのマイクロホン411a、411bと、会話相手方向探査手段412と、会話相手方向指向性合成手段413と、会話相手以外方向指向性合成手段414と、周波数特性補正手段415と、音到来方向探査手段416と、会話相手以外音判定手段417と、指向性・無指向判定手段418と、スピーカ419と、補正係数格納部421Bと、音響標準パタン格納部424Bと、を備える。
 以下、右耳装着音響信号処理装置400Aの構成について、詳細に説明する。なお、左耳装着音響信号処理装置400Bについて、右耳装着音響信号処理装置400Aと同じ名称の構成は、すべて右耳装着音響信号処理装置400Aの構成と同じ動作をするため、詳細な説明を省略する。
<右耳音響信号処理装置400Aの構成>
 マイクロホン401a、401bは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段402に出力される。
 以下、説明のため、各マイクホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から音響信号処理装置400の装着者に向かって会話相手以外音る音声(以下、会話相手以外音という)が含まれているものとする。また、音響信号処理装置400の装着者の右側から会話相手以外音が行われているものとする。
 なお、マイクロホン401a、401bで会話相手の音声を収音していないときは、実施の形態3と同様、図6に示すような指向性パタン601が形成(作成)されているものとする。なお、図6に示す収音状態は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 会話相手方向探査手段402は、マイクロホン401a、401bから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段408に出力される。
 音到来方向探査手段406は、マイクロホン401a、401bで収音された会話相手以外音から、その到来方向を探査する。会話相手以外音の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
 音到来方向探査手段406は、まず、左耳装着音響信号処理装置400Bの音到来方向探査手段416に、Bluetooth(日本国商標登録番号第4477936号)などの無線通信手段を介して、右耳の最大音圧を送信する。同様に、音到来方向探査手段406は、左耳装着音響信号処理装置400Bの音到来方向探査手段416から、Bluetooth(日本国商標登録番号第4477936号)などの無線通信手段を介して、左耳の最大音圧を受信する。
 そして、音到来方向探査手段406は、両耳の最大音圧同士を比較して、左右のどちらで会話相手以外音が起こっているかを推定する。例えば、音到来方向探査手段406は、会話相手以外音方向を探査する方法として、右側で起こっていると判定されれば、遅延和アレーによる指向性ビームの実現と、指向性ビームのスキャンによる音源方向の推定とにより、会話相手以外音方向を探査する。音到来方向探査手段406は、探査された会話相手以外音に基づき、会話相手以外音が到来する方向と推定される方向の情報とを周波数特性補正手段405に出力する。
 補正係数格納部421Aは、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、音響信号処理装置の頭部装着による頭部形状の影響を考慮されている。
 音響標準パタン格納部424Aに格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の会話相手以外音のデータから、あらかじめ作成されたパタンである。
 周波数特性補正手段405は、音到来方向探査手段406から入力された会話相手以外音の到来方向と推定された方向(角度)の情報に基づき、補正係数格納部421Aに格納されている補正係数のうち、会話相手以外音の方向と合致する方向(角度)の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段404より出力された会話相手以外音データを、随時補正する。そして、補正処理された会話相手以外音データは、会話相手以外音判定手段407へ出力される。
 会話相手以外音判定手段407は、音響標準パタン格納部424Aに格納された音響標準パタンを、周波数特性補正手段405から出力された会話相手以外音のデータと照合し、会話相手以外音か否かを判定する。
 会話相手以外音判定手段407は、会話相手以外音であると判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段408及び左耳装着音響信号処理装置400Bの指向性・無指向判定手段418に出力する。一方、会話相手以外音判定手段407は、会話相手以外音でないと判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段408及び左耳装着音響信号処理装置400Bの指向性・無指向判定手段418に出力しない。
 指向性・無指向判定手段408は、会話相手方向探査手段402から入力された会話相手の音声が到来する方向及び会話相手以外音判定手段407の判定結果に基づき、会話相手方向指向性合成手段403及び会話相手以外方向指向性合成手段404のそれぞれに、指向性を形成させるか否かを判定する。
 つまり、指向性・無指向判定手段408は、会話相手の音声以外に、会話相手以外の人物から会話相手以外音が音声データに含まれている場合、会話相手方向探査手段402から入力された会話相手の音声が到来する方向(角度)及び会話相手以外音判定手段407から会話相手以外音フラグが出力されている場合は、会話相手方向指向性合成手段403に、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段408は、会話相手以外方向指向性合成手段404に、会話相手の方向以外の方向にも指向性を形成させる旨の判定結果を出力する。
 一方、指向性・無指向判定手段408は、会話相手以外音が音声データに含まれておらず、会話相手以外音判定手段407から会話相手以外音フラグが出力されない場合、会話相手方向探査手段402から入力された会話相手の音声が到来する方向(角度)及び会話相手以外音判定手段407から出力された指向性情報に基づき、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段408は、会話相手以外方向指向性合成手段404に、指向性を形成しない旨の判定結果を出力する。
 会話相手以外方向指向性合成手段404は、指向性・無指向判定手段408の判定結果に基づき、指向性を形成する信号処理を行う。指向性・無指向判定手段408から指向性を形成する判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する。例えば、図8に示す指向性パタン802のように、会話相手以外音検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段408から指向性を形成しない判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する信号処理を行わない。なお、図8に示す指向性は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 会話相手方向指向性合成手段403は、指向性・無指向判定手段408の判定結果に基づき、指向性を形成する信号処理を行う。つまり、会話相手方向指向性合成手段403は、指向性・無指向判定手段408が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を形成する信号処理を行う。
 例えば、会話相手方向指向性合成手段403は、実施の形態3と同様、図7の指向性パタン701や図8に示す指向性パタン801のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段403は、指向性・無指向判定手段308が指向性を形成しないと判定すると、指向性を形成する信号処理を行わない。なお、図7に示す指向性は、実施の形態1の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
 そして、指向性が合成された会話相手の音声データは、スピーカ409に出力される。
 スピーカ409は、音声出力手段であり、会話相手方向指向性合成手段403により形成された指向性により強調された会話相手の音を出力する。その結果、音響信号処理装置400の装着者が、強調された会話相手の音を聴取することができる。
 更に、スピーカ409は、会話相手以外方向指向性合成手段404で会話相手以外音検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン401a、401bで収音した会話相手以外の方向から到来する会話相手以外音を出力することができる。その結果、音響信号処理装置400の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する会話相手以外音も聴取することができる。
 <音響信号処理装置400の動作>
 図17は、実施の形態4の音響信号処理装置400の処理手順をあらわすフローチャートである。図18は、会話相手以外音検出用の子プロセスを示すフローチャートである。図17及び図18に示すフローチャートを用いて音響信号処理装置400の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図6の指向性パタン601で示すように、全方向の音声が聞こえる状態である。
 ステップST801では、会話相手以外音検出用の子プロセスを生成する。ステップST802では、会話相手方向探査手段402により会話相手の音声の到来方向を探査する。
 ステップST803では、ステップST802での結果に基づき、会話相手方向探査手段402により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップST804に、会話相手の音声が検出されなければ、ステップST802に処理を分岐する。
 ステップST804では、会話相手方向探査手段402により、会話相手の音声到来方向を角度として検出する。
 ステップST805では、ステップST804で検出された会話相手の方向を角度として、図18に示す会話相手以外音検出用子プロセスのステップST901に送信する。
 ステップST806では、図18に示す会話相手以外音検出用子プロセスから送信された無指向への変更情報を受信する。
 ステップST807では、指向性・無指向判定手段408により会話相手の方向に指向性を合成すると判定された場合、ステップST808に処理を分岐する。また、ステップST807では、指向性・無指向判定手段408により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップST810に処理を分岐する。
 ステップST808では、会話相手方向指向性合成手段403により、実施の形態3と同様、図7の指向性パタン701のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Bの方向に指向性を合成する。
 ステップST809では、実施の形態3と同様、図7に示すように指向性が合成された会話相手Bの音声データは、スピーカ409から出力し、音響信号処理装置400の装着者Aが、強調された会話相手の音を聴取する。
 ステップST810では、図6に示す指向性パタン601のように、無指向に変更し、ステップST801に処理を戻す。
 <会話相手以外音検出用の子プロセス>
 次に、図18に示す会話相手以外音検出用子プロセスを以下に説明する。ステップST901では、図17に示すステップST805で送信された、会話相手の音の到来方向を示す角度を受信する。
 ステップST902では、会話相手の音の到来方向を示す角度を受信していればステップST903に、会話相手の音の到来方向を示す角度を受信していなければ、ステップST902に処理を分岐させる。
 ステップST903では、実施の形態3と同様、図8に示す指向性パタン801のように、会話相手Bの音声を、音響信号処理装置400の装着者Aに強調して聞かせるために会話相手方向に指向性を形成する。かつ、ステップST903では、図8に示す指向性パタン802のように、呼び出し検出のために会話相手方向以外にも指向性を形成する。
 ステップST904では、音到来方向探査手段406によって、左右の音響信号処理装置で最大音圧を互いに通信し、左右のどちらで会話相手以外音が起こっているかを判定する。
 ステップST905では、ステップST904での判定結果に基づき、右側で会話相手以外音が起こっている場合、ステップST906、左側で会話相手以外音が起こっている場合、ステップST910に処理を分岐する。
 ステップST906では、右耳装着音響信号処理装置400Aの音到来方向探査手段406により会話相手以外音の方向を判定する。
 ステップST907では、会話相手以外音の角度の情報から、会話相手以外音単語判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態3と同様のため、その詳細な説明は省略する。
 ステップST908では、右耳装着音響信号処理装置400Aの会話相手以外音判定手段407により補正処理された入力音声データは、会話相手以外音単語か否かを判定する。
 ステップST909では、ステップST908で会話相手以外音単語と判定されれば、ステップST914に、会話相手以外音単語であると判定されなければステップST904に処理を分岐する。
 ステップST910では、左耳装着音響信号処理装置400Bの音到来方向探査手段416により会話相手以外音の方向を判定する。
 ステップST911では、会話相手以外音の角度の情報から、会話相手以外音単語判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態3と同様のため、その詳細な説明は省略する。
 ステップST912では、左耳装着音響信号処理装置400Bの会話相手以外音判定手段417により補正処理された入力音声データは、会話相手以外音単語か否かを判定する。
 ステップST913では、ステップST912で会話相手以外音単語と判定されれば、ステップST914に、会話相手以外音単語であると判定されなければステップST904に処理を分岐する。
 ステップST914では、右側で会話相手以外音が起こっている場合、右耳装着音響信号処理装置400Aの指向性・無指向判定手段408により、無指向への変更情報を、右耳装着音響信号処理装置400Aの会話相手方向指向性合成手段403、会話相手以外方向指向性合成手段404に送り、ステップST602に処理を戻す。
 同様に、左側で会話相手以外音が起こっている場合、左耳装着音響信号処理装置400Bの指向性・無指向判定手段418により、無指向への変更情報を、左耳装着音響信号処理装置400Bの会話相手方向指向性合成手段413、会話相手以外方向指向性合成手段414に送り、ステップST902に処理を戻す。
 上述したステップST801からステップST810及びステップST901からステップST914により、本実施の形態の音響信号処理装置400は、会話相手の声を強調した上で、呼びかけられたときには指向性から無指向に変更される。そのため、音響信号処理装置の使用者は、呼びかけ音声が聞こえるようになり、呼びかけ者との会話も可能となる。
 また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部または全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
 また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
 さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
 本出願は、2009年6月17日出願の日本特許出願(特願2009-144271)、に基づくものであり、その内容はここに参照として取り込まれる。
 本発明に係る補聴装置は、音声認識精度を低下させることなく、2つ以上のマイクロホンからの入力信号を用いて会話相手以外の呼びかけや様々な音を検出可能であり、補聴器等として有用である。
101a、101b、201a、201b、211a、211b マイクロホン
301a、301b、401a、401b、411a、411b マイクロホン
102、202、212、302、402、412  会話相手方向探査手段
103、203、213、303、403,413  会話相手方向指向性合成手段
104、204、214、304、404、414  会話相手以外方向指向性合成手段
105、205、215、305  周波数特性補正処理部
106、206、216  呼びかけ方向探査手段
306          会話相手以外音方向探査手段
405、415      周波数特性補正手段
406、416      音到来方向探査手段
107、207、217  呼びかけ単語判定手段
307、407、417  会話相手以外音判定手段
108、208、218  指向性・無指向判定手段
109、209、219、309、409、419  スピーカ
110、221A、221B、310、421A、421B  補正係数格納部
111、224A、224B、311、424A、424B 音響標準パタン格納部
112、223A、223B  呼びかけ単語文字列格納部

Claims (3)

  1.  会話相手の音声及び前記会話相手以外の呼びかけ音声や様々な音を含む音を音響信号に変換する複数のマイクロホンと、
     各マイクロホンで変換された音響信号に基づき、前記会話相手以外の呼びかけ音声の到来方向を推定する音到来方向推定手段と、
     各マイクロホンで変換された音響信号及び前記音到来方向推定手段で推定した、前記会話相手以外の呼びかけ音声が到来する方向に基づき、前記会話相手以外の呼びかけ音声の周波数特性を補正する周波数特性補正処理部と、
     一つの特性を持つマイクを用いて収録された他の音声データに基づき、音素及び音節の特徴を表す呼び出し単語標準パタンを格納する音響標準パタン格納部と、
     前記周波数特性補正処理部で周波数特性が補正された前記会話相手以外の呼びかけ音声を、前記呼び出し単語標準パタンと照合し、呼びかけ単語か否かを判定する呼びかけ単語判定手段と、
     前記呼びかけ単語判定手段の判定結果に基づき、前記会話相手の音声が到来する方向以外について、指向性を形成する会話相手以外方向指向性合成手段と、
     前記会話相手以外方向指向性合成手段で形成された前記指向性に基づき、前記会話相手以外の呼びかけ音声を出力する音声出力手段と、を備え、
     前記周波数特性補正処理部は、前記呼びかけ単語判定手段で用いる、前記音響標準パタン作成時におけるマイク特性と同等になるように、前記会話相手以外の呼びかけ音声の周波数特性を補正する補聴装置。
  2.  請求項1に記載の補聴装置は、更に、
     前記呼びかけ単語判定手段の判定結果に基づき、会話相手の音声が到来する方向について、指向性を形成する会話相手方向指向性合成手段を、備え、
     前記呼びかけ単語判定手段が、前記周波数特性補正処理部で周波数特性が補正された前記会話相手の音声データを、前記呼び出し単語標準パタンと照合し、呼びかけ単語であると判定した場合、
     前記会話相手方向指向性合成手段が、前記会話相手の音声が到来する方向について、指向性を形成するのに加えて、更に、前記会話相手以外方向指向性合成手段が、前記会話相手の音声が到来する方向以外について、前記指向性を形成し、
     前記音声出力手段は、会話相手以外方向指向性合成手段で形成された前記指向性に加え、前記会話相手方向指向性合成手段で形成された前記指向性に基づき、前記会話相手の音声及び前記会話相手以外の呼びかけ音声を出力する補聴装置。
  3.  請求項2に記載の補聴装置であって、
     前記呼びかけ単語判定手段が、前記周波数特性補正処理部で周波数特性が補正された前記会話相手の音声データを、前記呼び出し単語標準パタンと照合し、呼びかけ単語でないと判定した場合、
     前記会話相手方向指向性合成手段が、前記会話相手の音声が到来する方向について、指向性を形成するのに加えて、更に、前記会話相手以外方向指向性合成手段が、前記会話相手の音声が到来する方向以外について、前記指向性を形成せず、
     前記音声出力手段は、会話相手以外方向指向性合成手段で形成された前記指向性に基づき、前記会話相手の音声及び前記会話相手以外の呼びかけ音声を出力する補聴装置。
PCT/JP2010/004019 2009-06-17 2010-06-16 補聴装置 WO2010146857A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011519568A JP5409786B2 (ja) 2009-06-17 2010-06-16 補聴装置
US13/320,613 US8654998B2 (en) 2009-06-17 2010-06-16 Hearing aid apparatus
EP10789236.6A EP2445230A4 (en) 2009-06-17 2010-06-16 HEARING AID
CN201080021517.9A CN102428716B (zh) 2009-06-17 2010-06-16 助听器装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-144271 2009-06-17
JP2009144271 2009-06-17

Publications (1)

Publication Number Publication Date
WO2010146857A1 true WO2010146857A1 (ja) 2010-12-23

Family

ID=43356188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004019 WO2010146857A1 (ja) 2009-06-17 2010-06-16 補聴装置

Country Status (5)

Country Link
US (1) US8654998B2 (ja)
EP (1) EP2445230A4 (ja)
JP (1) JP5409786B2 (ja)
CN (1) CN102428716B (ja)
WO (1) WO2010146857A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
JP2015019360A (ja) * 2013-07-04 2015-01-29 ジーエヌ リザウンド エー/エスGn Resound A/S 個人ごとのhrtfの決定
EP2780757A4 (en) * 2011-11-14 2015-08-19 Google Inc DISPLAYING SOUND INDICATIONS ON A PORTABLE COMPUTER SYSTEM
JP2018098796A (ja) * 2016-12-15 2018-06-21 シバントス ピーティーイー リミテッド 補聴器の動作方法
JP2018113681A (ja) * 2016-12-23 2018-07-19 ジーエヌ ヒアリング エー/エスGN Hearing A/S 適応型の両耳用聴覚指向を有する聴覚機器及び関連する方法
JP7567345B2 (ja) 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9679568B1 (en) 2012-06-01 2017-06-13 Google Inc. Training a dialog system using user feedback
US9123338B1 (en) 2012-06-01 2015-09-01 Google Inc. Background audio identification for speech disambiguation
US9264803B1 (en) * 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
JP6296646B2 (ja) * 2014-01-22 2018-03-20 日東電工株式会社 聴覚補完システム、聴覚補完装置及び聴覚補完方法
DE102016225207A1 (de) * 2016-12-15 2018-06-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätes
JP7103353B2 (ja) * 2017-05-08 2022-07-20 ソニーグループ株式会社 情報処理装置
DK3468228T3 (da) * 2017-10-05 2021-10-18 Gn Hearing As Binauralt høresystem med lokalisering af lydkilder
DK180177B1 (en) * 2018-04-30 2020-07-16 Widex As Method of operating a hearing aid system and a hearing aid system
US10791404B1 (en) * 2018-08-13 2020-09-29 Michael B. Lasky Assisted hearing aid with synthetic substitution
CN114255762A (zh) * 2020-09-10 2022-03-29 北京搜狗科技发展有限公司 一种语音识别方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003516646A (ja) * 2000-03-31 2003-05-13 フォーナック アーゲー マイクロホン装置の伝達特性処理方法、同方法を適用するマイクロホン装置及びこれらを適用する補聴器
JP2004133403A (ja) 2002-09-20 2004-04-30 Kobe Steel Ltd 音声信号処理装置
JP2004527177A (ja) * 2001-04-18 2004-09-02 ヴェーデクス・アクティーセルスカプ 指向性コントローラおよび補聴器を制御する方法
JP4477936B2 (ja) 2003-05-21 2010-06-09 バイエル・テクノロジー・サービシーズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 核酸の検出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1017253B1 (en) * 1998-12-30 2012-10-31 Siemens Corporation Blind source separation for hearing aids
US20010028718A1 (en) 2000-02-17 2001-10-11 Audia Technology, Inc. Null adaptation in multi-microphone directional system
US20010038699A1 (en) 2000-03-20 2001-11-08 Audia Technology, Inc. Automatic directional processing control for multi-microphone system
JP2003528508A (ja) 2000-03-20 2003-09-24 オーディア テクノロジー インク 多重マイクロフォン・システムのための方向処理
US6865275B1 (en) 2000-03-31 2005-03-08 Phonak Ag Method to determine the transfer characteristic of a microphone system, and microphone system
JP4410378B2 (ja) * 2000-04-14 2010-02-03 三菱電機株式会社 音声認識方法および装置
US7457426B2 (en) * 2002-06-14 2008-11-25 Phonak Ag Method to operate a hearing device and arrangement with a hearing device
JP3910898B2 (ja) * 2002-09-17 2007-04-25 株式会社東芝 指向性設定装置、指向性設定方法及び指向性設定プログラム
US7319769B2 (en) * 2004-12-09 2008-01-15 Phonak Ag Method to adjust parameters of a transfer function of a hearing device as well as hearing device
JP5249207B2 (ja) * 2006-06-23 2013-07-31 ジーエヌ リザウンド エー/エス 適応性のある方向性信号処理を備えた補聴装置
DE102006047982A1 (de) * 2006-10-10 2008-04-24 Siemens Audiologische Technik Gmbh Verfahren zum Betreiben einer Hörfilfe, sowie Hörhilfe
US8325957B2 (en) * 2006-10-10 2012-12-04 Siemens Audiologische Technik Gmbh Hearing aid and method for operating a hearing aid
DE102007008739A1 (de) * 2007-02-22 2008-08-28 Siemens Audiologische Technik Gmbh Hörvorrichtung mit Störsignaltrennung und entsprechendes Verfahren

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003516646A (ja) * 2000-03-31 2003-05-13 フォーナック アーゲー マイクロホン装置の伝達特性処理方法、同方法を適用するマイクロホン装置及びこれらを適用する補聴器
JP2004527177A (ja) * 2001-04-18 2004-09-02 ヴェーデクス・アクティーセルスカプ 指向性コントローラおよび補聴器を制御する方法
JP2004133403A (ja) 2002-09-20 2004-04-30 Kobe Steel Ltd 音声信号処理装置
JP4477936B2 (ja) 2003-05-21 2010-06-09 バイエル・テクノロジー・サービシーズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 核酸の検出方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JENS BLAUERT; MASAYUKI MORIMOTO; TOSHIYUKI GOTO: "Spatial Hearing", KAJIMA INSTITUTE PUBLISHING CO., LTD.
KOSAKA ET AL.: "Study on Instantaneous or Incremental Environment Adaptation", ACOUSTICAL SOCIETY OF JAPAN, March 1997 (1997-03-01), pages 137 - 138
S. FURUI: "Cepstral Analysis Technique for Automatic Speaker Verification", IEEE TRANS. ASSP, vol. ASSP-29, no. 2, 1981, pages 254 - 272, XP002020822, DOI: doi:10.1109/TASSP.1981.1163530
See also references of EP2445230A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
EP2780757A4 (en) * 2011-11-14 2015-08-19 Google Inc DISPLAYING SOUND INDICATIONS ON A PORTABLE COMPUTER SYSTEM
US9838814B2 (en) 2011-11-14 2017-12-05 Google Llc Displaying sound indications on a wearable computing system
JP2015019360A (ja) * 2013-07-04 2015-01-29 ジーエヌ リザウンド エー/エスGn Resound A/S 個人ごとのhrtfの決定
US9426589B2 (en) 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
JP2018098796A (ja) * 2016-12-15 2018-06-21 シバントス ピーティーイー リミテッド 補聴器の動作方法
US10547956B2 (en) 2016-12-15 2020-01-28 Sivantos Pte. Ltd. Method of operating a hearing aid, and hearing aid
JP2018113681A (ja) * 2016-12-23 2018-07-19 ジーエヌ ヒアリング エー/エスGN Hearing A/S 適応型の両耳用聴覚指向を有する聴覚機器及び関連する方法
JP7567345B2 (ja) 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置

Also Published As

Publication number Publication date
JP5409786B2 (ja) 2014-02-05
EP2445230A4 (en) 2016-05-18
US8654998B2 (en) 2014-02-18
CN102428716A (zh) 2012-04-25
US20120063620A1 (en) 2012-03-15
EP2445230A1 (en) 2012-04-25
JPWO2010146857A1 (ja) 2012-11-29
CN102428716B (zh) 2014-07-30

Similar Documents

Publication Publication Date Title
WO2010146857A1 (ja) 補聴装置
US11023690B2 (en) Customized output to optimize for user preference in a distributed system
US9864745B2 (en) Universal language translator
US20060271370A1 (en) Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
Nakajima et al. Non-audible murmur (NAM) recognition
JP6596049B2 (ja) ハンズフリー通話機器の通話品質を向上させる方法、装置及びハンズフリー通話機器
US20120290297A1 (en) Speaker Liveness Detection
US20070276658A1 (en) Apparatus and Method for Detecting Speech Using Acoustic Signals Outside the Audible Frequency Range
US20190138603A1 (en) Coordinating Translation Request Metadata between Devices
JP2007221300A (ja) ロボット及びロボットの制御方法
CN111916101A (zh) 一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统
WO2021244056A1 (zh) 一种数据处理方法、装置和可读介质
WO2023104122A1 (en) Methods for clear call under noisy conditions
WO2019169686A1 (zh) 语音翻译方法、装置和计算机设备
JP5489778B2 (ja) 情報処理装置およびその処理方法
JP4840082B2 (ja) 音声通信装置
KR102088216B1 (ko) 자동 통역 시스템에서 크로스토크를 감소시키는 방법 및 장치
Zhao et al. A robust real-time sound source localization system for olivia robot
Zhao et al. Radio2Speech: High quality speech recovery from radio frequency signals
JP2006086877A (ja) ピッチ周波数推定装置、無声信号変換装置、無声信号検出装置、無声信号変換方法
WO2023104215A1 (en) Methods for synthesis-based clear hearing under noisy conditions
JPH08275279A (ja) 音声ピックアップシステム
Samborski et al. Speaker localization in conferencing systems employing phase features and wavelet transform
Fulop Reviews of Acoustical Patents
JP4297433B2 (ja) 音声合成方法及びその装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080021517.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10789236

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011519568

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13320613

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010789236

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE