JP5409786B2 - 補聴装置 - Google Patents

補聴装置 Download PDF

Info

Publication number
JP5409786B2
JP5409786B2 JP2011519568A JP2011519568A JP5409786B2 JP 5409786 B2 JP5409786 B2 JP 5409786B2 JP 2011519568 A JP2011519568 A JP 2011519568A JP 2011519568 A JP2011519568 A JP 2011519568A JP 5409786 B2 JP5409786 B2 JP 5409786B2
Authority
JP
Japan
Prior art keywords
conversation partner
directivity
sound
voice
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011519568A
Other languages
English (en)
Other versions
JPWO2010146857A1 (ja
Inventor
和也 野村
知浩 小沼
麻紀 山田
充 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011519568A priority Critical patent/JP5409786B2/ja
Publication of JPWO2010146857A1 publication Critical patent/JPWO2010146857A1/ja
Application granted granted Critical
Publication of JP5409786B2 publication Critical patent/JP5409786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/803—Systems for determining direction or deviation from predetermined direction using amplitude comparison of signals derived from receiving transducers or transducer systems having differently-oriented directivity characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、複数のマイクロホンからの入力に基づき、呼びかけや様々な音を検出可能な補聴装置に関するものである。
補聴器の使用者に、強調した会話相手の声を聞かせることができる「会話強調機能」を備えた補聴器に対して、ユーザの期待が高まっている。会話相手の声を強調する際、会話相手かどうかを判定する一つの方法として、特許文献１では、発話タイミングの整合性により補聴器の装着者と会話成立している音声を検出する方法が開示されている。補聴器は、会話相手の声を強調した上で、さらに周囲からの呼びかけに補聴器の装着者が応答可能であり、周囲の事象により発せられる音を認識できるような構成にする必要がある。
補聴器等の物体に密着させて装着する機器では、マイクロホンの位置や近傍形状の影響により、音の到来方向（角度）ごとに入力音声の周波数特性が異なるという現象が起きる。例えば、補聴器で呼びかけを検出する際、補聴器は、音の到来方向（角度）に依存して周波数特性が異なる音声を入力として呼びかけ音声の音声認識を行う。そのため、音声認識処理する音の周波数特性が、照合に用いる音響標準パタンの学習時（オフライン時）の音声データの周波数特性とずれてしまい、補聴器の認識精度が低下してしまう。
照合に用いる音響標準パタンの周波数特性を補正する方法として、非特許文献１では、ケプストラム平均正規化法ＣＭＳ（Ｃｅｐｓｔｒａｌ Ｍｅａｎ Ｓｕｂｔｒａｃｔｉｏｎ）が開示されている。ケプストラム平均正規化法ＣＭＳ法（以下、ＣＭＳ法という）は、入力音声の周波数特性の差分を、入力音声のケプストラムの平均で推定し、入力音声に差分を適用して補正する方法である。ＣＭＳ法は、発声終了後に入力音声のケプストラム平均を求める必要があり、実時間処理ができない。
ＣＭＳ法で実時間処理を実現する方法として、非特許文献２では、入力音声のケプストラム平均を、入力音声の開始から入力音声の現在フレームまでのケプストラム平均と、音声認識の照合に用いる音響標準パタンの学習時（オフライン時）の音声データのケプストラム平均と、からＭＡＰ推定によって推定し、入力音声を正規化する、ＭＡＰ―ＣＭＳ法が提案されている。
日本国特開２００４−１３３４０３号公報
Ｓ． Ｆｕｒｕｉ， "Ｃｅｐｓｔｒａｌ Ａｎａｌｙｓｉｓ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ"， ＩＥＥＥ Ｔｒａｎｓ． ＡＳＳＰ， ｖｏｌ．ＡＳＳＰ−２９， Ｎｏ．２ ｐｐ．２５４−２７２， １９８１ 小坂ら， "環境変動に対する即時／逐次適応化の検討"， 日本音響学会講論集， ３−６−２５， ｐｐ．１３７-１３８， ３月 １９９７ "空間音響",イェンス ブラウエルト,森本政之、後藤敏幸、鹿島出版会
しかしながら、上述したＣＭＳ法は、発声終了後にケプストラムの平均を求め、音声認識処理や音検出処理を行う必要があり、実時間で補聴処理を行う補聴器へは適用はできない。また、上述したＭＡＰ−ＣＭＳ法は、時間に同期して音声認識処理や音検出処理をすすめる実時間処理が可能であるが、入力開始直後のフレームの音声データでは音声の補正処理が行えず、そのため音声認識の精度が低下してしまう。
本発明の目的は、認識精度を低下させることなく、複数のマイクロホンからの入力音響信号によって、会話相手以外の呼びかけや様々な音を検出できる補聴装置を提供することである。
本発明は、会話相手の音声、及び前記会話相手以外が発する音を音響信号に変換する複数のマイクロホンと、前記複数のマイクロホンにおいて変換された複数の音響信号に基づき、前記会話相手以外が発する音の到来方向を推定する会話相手以外音方向探査部と、前記複数の音響信号と、推定された前記会話相手以外が発する音の到来方向とに基づき、前記会話相手以外が発する音の周波数特性を補正する周波数特性補正処理部と、所定の特性を有するマイクロホンを用いて収録された音声データに基づき、前記会話相手以外が発する音の音響標準パタンを格納する音響標準パタン格納部と、前記周波数特性が補正された前記会話相手以外が発する音を、前記音響標準パタンと照合し、会話相手以外音であるか否かを判定する会話相手以外音判定部と、前記会話相手以外音判定部の判定結果に基づき、指向性を形成するか否かを判定する指向性・無指向判定部と、を備え、前記周波数特性補正処理部は、前記会話相手以外音判定部において照合に用いられる前記音響標準パタンが作成される場合に用いられる前記マイクロホンの前記所定の特性と同等になるように、前記会話相手以外が発する音の周波数特性を補正する補聴装置を提供する。
また、本発明は、会話相手の音声、及び前記会話相手以外の呼びかけ音声や様々な音を含む音を音響信号に変換する複数のマイクロホンと、前記複数のマイクロホンにおいて変換された複数の音響信号に基づき、前記会話相手以外の呼びかけ音声の到来方向を推定する呼びかけ方向探査部と、前記複数の音響信号と、推定された前記会話相手以外の呼びかけ音声の到来方向とに基づき、前記会話相手以外の呼びかけ音声の周波数特性を補正する周波数特性補正処理部と、文字列として登録された呼びかけ単語文字列を格納する呼びかけ単語文字列格納部と、所定の特性を有するマイクロホンを用いて収録された音声データに基づき、音素及び音節の特徴を現す音響標準パタンを格納する音響標準パタン格納部と、前記呼びかけ単語文字列格納部に格納された前記呼びかけ単語文字列及び前記音響標準パタン格納部に格納された前記音響標準パタンから、呼び出し単語標準パタンを作成し、前記周波数特性が補正された前記会話相手以外の呼びかけ音声を、前記呼び出し単語標準パタンと照合し、呼びかけ単語か否かを判定する呼びかけ単語判定部と、前記呼びかけ単語判定部の判定結果に基づき、指向性を形成するか否かを判定する指向性・無指向判定部と、を備え、前記周波数特性補正処理部は、前記呼びかけ単語判定部において前記音響標準パタンが作成される場合に用いられる前記マイクロホンの前記所定の特性と同等になるように、前記会話相手以外の呼びかけ音声の周波数特性を補正する補聴装置を提供する。
本発明に係る補聴器によれば、音声認識精度を低下させることなく、複数のマイクロホンからの入力音響信号によって、会話相手以外の呼びかけや様々な音を検出することが可能となる。
本発明の実施の形態１による補聴器を示すシステム構成図 本発明の実施の形態１による補聴器の処理手順を示すフローチャート 図２における呼びかけ検出用の子プロセスを示すフローチャート 右頭部側面にマイクロホンを装着した場合の方向（角度）による周波数特性の図 本発明の実施の形態１の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示す図 本発明の実施の形態１による補聴器の無指向による収音状態を示す図 本発明の実施の形態１による補聴器の会話相手方向に指向性を形成している状態を示す図 本発明の実施の形態１による補聴器の会話相手方向に指向性を形成し、かつ、会話相手以外方向にも指向性を形成している状態を示す図 本発明の実施の形態１の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示した図 本発明の実施の形態２による補聴器を示すシステム構成図 本発明の実施の形態２による補聴器の処理手順を示すフローチャート 図１１における呼びかけ検出用の子プロセスを示すフローチャート 本発明の実施の形態３による音響信号処理装置を示すシステム構成図 本発明の実施の形態３による音響信号処理装置の処理手順を示すフローチャート 図１４における会話相手以外音検出用の子プロセスを示すフローチャート 本発明の実施の形態４による音響信号処理装置を示すシステム構成図 本発明の実施の形態４による音響信号処理装置の処理手順を示すフローチャート 図１７における会話相手以外音検出用の子プロセスを示すフローチャート
以下、本発明の実施形態について、図面を参照して説明する。
（実施の形態１）
図１は、本発明の実施の形態１における補聴装置１００の構成を示すブロック図である。図１に示すように、実施の形態１の補聴装置１００は、２つのマイクロホン１０１ａ、１０１ｂと、会話相手方向探査手段１０２と、会話相手方向指向性合成手段１０３と、会話相手以外方向指向性合成手段１０４と、周波数特性補正処理部１０５と、呼びかけ方向探査手段１０６と、呼びかけ単語判定手段１０７と、指向性・無指向判定手段１０８と、スピーカ１０９と、補正係数格納部１１０と、音響標準パタン格納部１１１と、呼びかけ単語文字列格納部１１２と、を備える。
＜補聴装置１００の構成＞
マイクロホン１０１ａ、１０１ｂは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段１０２に出力される。
以下、説明のため、各マイクホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から補聴装置１００の装着者に向かって呼びかける音声（以下、呼びかけ音声という）が含まれているものとする。
なお、マイクロホン１０１ａ、１０１ｂで会話相手の音声を収音していないときは、図６に示すように、補聴装置１００を右耳に装着した人物Ａの周辺には、指向性をつけない信号処理によって全方向の音声が聞こえる状態を示す指向性パタン６０１が形成される。
会話相手方向探査手段１０２は、マイクロホン１０１ａ、１０１ｂから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段１０８に出力される。
呼びかけ方向探査手段１０６は、マイクロホン１０１ａ、１０１ｂで収音された呼びかけ音声から、その到来方向を探査する。呼びかけ音声の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
ここで、頭部と耳介による歪である頭部伝達関数は人間の方向知覚に重要な役割を果たしている（例えば、非特許文献３）。そこで、本実施の形態では、音の到来方向（角度）を推定方法として、頭部伝達関数の角度毎のディップ周波数とピーク周波数の特徴と、外耳道入り口位置で観測された入力音声の周波数特性とを比較し、音の到来方向（角度）を推定する。
そして、呼びかけ方向探査手段１０６は、探査された呼びかけ音声に基づき、呼びかけ音声の到来方向と推定される方向の情報を周波数特性補正処理部１０５に出力する。
補正係数格納部１１０は、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、補聴器の頭部装着による頭部形状の影響が考慮されている。
呼びかけ単語文字列格納部１１２は、文字列として登録された呼びかけ単語文字列を格納する。呼びかけ単語文字列格納部１１２に格納される呼びかけ単語文字列は、予め、補聴装置１００のフィッティング時に、呼びかけ単語文字列格納部１１２に格納しておく。
音響標準パタン格納部１１１は、文字（例えば、５０音やアルファベット）に対応する音響標準パタンを格納する。なお、音響標準パタン格納部１１１に格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の音声データから、各音素／音節の特徴を表すモデルとしてあらかじめ作成された音声データである。
周波数特性補正処理部１０５は、呼びかけ方向探査手段１０６から入力された呼びかけ音声の到来方向と推定された方向の情報に基づき、補正係数格納部１１０に格納されている補正係数のうち、呼びかけ音声の方向と合致する方向の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段１０４より出力された呼びかけ音声データを、随時補正する。そして、補正処理された呼びかけ音声データは、呼びかけ単語判定手段１０７へ出力される。
呼びかけ単語判定手段１０７は、呼びかけ単語文字列格納部１１２に格納された「呼びかけ単語文字列」、及び音響標準パタン格納部１１１に格納された「音響標準パタン」から、呼び出し単語標準パタンを作成する。そして、呼びかけ単語判定手段１０７は、作成した呼び出し単語標準パタンを、周波数特性補正処理部１０５から出力された呼びかけ音声のデータと照合し、呼びかけ単語か否かを判定する。
呼びかけ単語判定手段１０７は、呼びかけ音声が呼びかけ単語である判定した場合には、無指向情報を、指向性・無指向判定手段１０８に出力する。一方、呼びかけ単語判定手段１０７は、会話相手以外の人物の呼びかけ音声が呼びかけ単語でないと判定した場合には、指向情報を、指向性・無指向判定手段１０８に出力する。
指向性・無指向判定手段１０８は、会話相手方向探査手段１０２から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段１０７の判定結果に基づき、会話相手方向指向性合成手段１０３及び会話相手以外方向指向性合成手段１０４のそれぞれで、指向性を形成するか否かを判定する。
つまり、指向性・無指向判定手段１０８は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれている場合、会話相手方向探査手段１０２から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段１０７から出力された無指向情報に基づき、会話相手方向指向性合成手段１０３に、会話相手方向に指向性を形成する旨の判定結果を出力する。更に、指向性・無指向判定手段１０８は、会話相手以外方向指向性合成手段１０４に、会話相手の方向以外の方向にも指向性を形成する旨の判定結果を出力する。
一方、指向性・無指向判定手段１０８は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれていない場合、会話相手方向探査手段１０２から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段１０７から出力された指向性情報に基づき、会話相手方向に指向性を形成する旨の判定結果を出力する。更に、指向性・無指向判定手段１０８は、会話相手以外方向指向性合成手段１０４に、指向性を形成しない旨の判定結果を出力する。
会話相手以外方向指向性合成手段１０４は、指向性・無指向判定手段１０８の判定結果に基づき、指向性を形成する。指向性・無指向判定手段１０８が指向性を形成すると判定すると、会話相手の方向以外の方向に指向性を形成する。例えば、図８に示す指向性パタン８０２のように、呼びかけ検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段１０８が指向性を形成しないと判定すると、会話相手の方向以外の方向に指向性を形成しない。
会話相手方向指向性合成手段１０３は、指向性・無指向判定手段１０８の判定結果に基づき、指向性を形成する。つまり、会話相手方向指向性合成手段１０３は、指向性・無指向判定手段１０８が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を形成する。
例えば、会話相手方向指向性合成手段１０３は、図７の指向性パタン７０１や図８に示す指向性パタン８０１のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段１０３は、指向性・無指向判定手段１０８が指向性を形成しないと判定すると、指向性は作らない。
そして、指向性が合成された会話相手の音声データは、スピーカ１０９に出力される。
スピーカ１０９は、音声出力手段であり、会話相手方向指向性合成手段１０３により形成された指向性により強調された会話相手の音を出力する。その結果、補聴装置１００の装着者が、強調された会話相手の音を聴取することができる。
更に、スピーカ１０９は、会話相手以外方向指向性合成手段１０４で呼びかけ検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン１０１ａ、１０１ｂで収音した会話相手以外の方向から到来する呼びかけ音を出力することができる。その結果、補聴装置１００の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する呼びかけ音も聴取することができる。
＜補聴装置１００の動作＞
図２は、実施の形態１の補聴装置１００の処理手順をあらわすフローチャートである。図３は、呼びかけ検出用の子プロセスを示すフローチャートである。図２及び図３に示すフローチャートを用いて補聴装置１００の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図６の指向性パタン６０１で示すように、補聴装置１００を右耳に装着した人物Ａは、指向性をつけない信号処理によって全方向の音声が聞こえる状態である。
ステップＳＴ２０１では、呼びかけ検出用の子プロセスを生成する。
ステップＳＴ２０２では、会話相手方向探査手段１０２により会話相手の音声の到来方向を探査する。
ステップＳＴ２０３では、ステップＳＴ２０２での結果に基づき、会話相手方向探査手段１０２により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップＳＴ２０４に、会話相手の音声が検出されなければ、ステップＳＴ２０２に処理を分岐する。
ステップＳＴ２０４では、会話相手方向探査手段１０２により、会話相手の音声到来方向を角度として検出する。
ステップＳＴ２０５では、ステップＳＴ２０４で検出された会話相手の方向を角度として、図３に示す呼びかけ検出用子プロセスのステップＳＴ３０１に送信する。
ステップＳＴ２０６では、図３に示す呼びかけ検出用子プロセスから送信された無指向への変更情報を受信する。
ステップＳＴ２０７では、指向性・無指向判定手段１０８により会話相手の方向に指向性を合成すると判定された場合、ステップＳＴ２０８に処理を分岐する。また、ステップＳＴ２０７では、指向性・無指向判定手段１０８により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップＳＴ２１０に処理を分岐する。
ステップＳＴ２０８では、会話相手方向指向性合成手段１０３により、図７の指向性パタン７０１のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Ｂの方向に指向性を合成する。
ステップＳＴ２０９では、図７に示すように指向性が合成された会話相手Ｂの音声データは、スピーカ１０９から出力し、補聴装置１００の装着者Ａが、強調された会話相手の音を聴取する。
ステップＳＴ２１０では、図６に示す指向性パタン６０１のように、無指向に変更し、ステップＳＴ２０１に処理を戻す。
＜呼びかけ検出用の子プロセス＞
次に、図３に示す呼びかけ検出用子プロセスを以下に説明する。
ステップＳＴ３０１では、図２に示すステップＳＴ２０５で送信された、会話相手の音の到来方向を示す角度を受信する。
ステップＳＴ３０２では、会話相手の音の到来方向を示す角度を受信していればステップＳＴ３０３に、会話相手の音の到来方向を示す角度を受信していなければ、ステップＳＴ３０２に処理を分岐させる。
ステップＳＴ３０３では、図８に示す指向性パタン８０１のように、会話相手Ｂの音声を、補聴装置１００の装着者Ａに強調して聞かせるために会話相手方向に指向性を形成し、かつ、図８に示す指向性パタン８０２のように、呼びかけ検出のために会話相手方向以外にも指向性を形成する。
ステップＳＴ３０４では、呼びかけがあるか否かを判定する。呼びかけがあると判定されれば、ステップＳＴ３０５に、呼びかけがないと判定されればステップＳＴ３０４に処理を分岐する。ここで、呼びかけがあるかないかの判定には例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定するなどが一つの方法として考えられる。
ステップＳＴ３０５では、呼びかけ方向探査手段１０６により呼びかけ音声の方向を判定する。
ステップＳＴ３０６では、呼びかけ音声の角度の情報から、呼びかけ単語判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については後述する。
ステップＳＴ３０７では、呼びかけ単語判定手段１０７により補正処理された入力音声データは、呼びかけ単語か否かを判定する。
ステップＳＴ３０８では、ステップＳＴ３０７で呼びかけ単語と判定されれば、ステップＳＴ３０９に、呼びかけ単語であると判定されなければステップＳＴ３０４に処理を分岐する。
ステップＳＴ３０９では、指向性・無指向判定手段１０８により、無指向への変更情報を会話相手方向指向性合成手段１０３、会話相手以外方向指向性合成手段１０４に送り、ステップＳＴ３０２に処理を戻す。
上述したステップＳＴ２０１からステップＳＴ２１０及びステップＳＴ３０１からステップＳＴ３０９により、本実施の形態の補聴装置１００は、会話相手の声を強調した上で、呼びかけられたときには指向性から無指向に変更される。そのため、補聴器の使用者は、呼びかけ音声が聞こえるようになり、呼びかけ者との会話も可能となる。
＜周波数特性の補正係数の決め方＞
次に、ステップＳＴ３０６における、周波数特性の補正係数を呼び出す具体的な方法例を、説明する。例えば、装着者Ａが右頭部側面に補聴装置１００を装着した場合の周波数特性の補正係数について、図４、図５を参照して説明する。図４は、右頭部側面にマイクロホンを装着した場合の方向（角度）による周波数特性の図であり、図５は、本発明の実施の形態１の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示す図である。
図４に示すように、装着者Ａが右頭部側面に補聴装置１００を装着した場合、右９０°方向から到来する音の周波数特性を示す曲線４０１は、低域側ではその周波数に依らずほぼ平坦であり、高域側でやや落ち込みが見られる。一方、左９０°方向から到来する音の周波数特性を示す曲線４０２は、周波数が高い領域ほど落ち込む。この場合、図４に示す音の周波数特性を、図５の破線５０１で示す、音響標準パタン作成時のマイクが有する周波数特性に、変更されるように、補正係数を決定する。なお、この音響標準パタン作成時のマイクの周波数特性は、呼びかけ単語判定処理部で用いられる。
図４に示す右９０°方向から到来する音の周波数特性（曲線４０１）の場合、低域部分は補正の必要はないが、図５に示すように、高域部分で矢印に示すように周波数特性を変更する補正が必要となる。同様に、図４に示す左９０°方向から到来する音の周波数特性（曲線４０２）の場合、中高域で高い周波数ほど補正係数を大きくすることで、入力音声を、図５の破線５０１で示す、音響標準パタン作成時にマイクが有していた周波数特性に、補正することができる。
上述のように、本実施形態に係る補聴装置１００によれば、入力音声の周波数特性を、補正係数を用いて、呼びかけ単語判定処理手段の音声認識の照合に用いる音響標準パタンの学習時（オフライン時）の音声データの周波数特性に近づけることで、音声認識精度を低下させることなく実時間処理が実現できる。
なお、補正係数は、一般的な頭部形状において、すでに測定された値を用いても良い。
なお、音声認識の精度をより高くするためには、補聴装置１００のフィッティング時に、図９に示すように、補聴装置１００を、右耳に装着した人物Ａの頭部周辺を囲む、音源９０１〜９０８から補正係数を獲得するための音（ホワイトノイズ等）を再生する。次に、再生したホワイトノイズ等を、補聴装置１００のマイクにより収録し、その収録音の特性と音響標準パタン作成時のマイクの特性とから補正係数を獲得するのが良い。
なお、呼びかけ単語は、人が呼びかける際に用いる単語だけでなく、人に注意を喚起する目的で再生される館内放送の呼び出し音や、電車のホームの警告音や、車・トラック・バスのクラクションや、方向指示器に連動した警報音や、家庭内の家電機器が進行状態を知らせるために再生する報知音なども同様である。
（実施の形態２）
実施の形態１では、片方の耳（右耳）に装着するタイプの補聴器を一例として説明したが、実施の形態２では、両耳に装着するタイプの補聴器を例にとって説明する。
図１０は、本発明の実施の形態２における補聴装置２００の構成を示すブロック図である。図１０に示すように、実施の形態２の補聴装置２００は、右耳装着補聴器２００Ａと左耳装着補聴器２００Ｂから構成される。図１０を参照して、各補聴器の構成について、以下に説明する。
図１０に示すように、実施の形態２の補聴装置２００を構成する右耳装着補聴器２００Ａは、２つのマイクロホン２０１ａ、２０１ｂと、会話相手方向探査手段２０２と、会話相手方向指向性合成手段２０３と、会話相手以外方向指向性合成手段２０４と、周波数特性補正処理部２０５と、呼びかけ方向探査手段２０６と、呼びかけ単語判定手段２０７と、指向性・無指向判定手段２０８と、スピーカ２０９と、補正係数格納部２２１Ａと、呼びかけ単語文字列格納部２２３Ａと、音響標準パタン格納部２２４Ａと、を備える。
同様に、実施の形態２の補聴装置２００を構成する左耳装着補聴器２００Ｂは、２つのマイクロホン２１１ａ、２１１ｂと、会話相手方向探査手段２１２と、会話相手方向指向性合成手段２１３と、会話相手以外方向指向性合成手段２１４と、周波数特性補正処理部２１５と、呼びかけ方向探査手段２１６と、呼びかけ単語判定手段２１７と、指向性・無指向判定手段２１８と、スピーカ２１９と、補正係数格納部２２１Ｂと、呼びかけ単語文字列格納部２２３Ｂと、音響標準パタン格納部２２４Ｂと、を備える。
以下、右耳装着補聴器２００Ａの構成について、詳細に説明する。なお、左耳装着補聴器２００Ｂについて、右耳装着補聴器２００Ａと同じ名称の構成は、すべて右耳装着補聴器２００Ａの構成と同じ動作をするため、詳細な説明を省略する。
＜右耳装着補聴器２００Ａの構成＞
マイクロホン２０１ａ、２０１ｂは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段２０２に出力される。
以下、説明のため、各マイクホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から補聴装置２００の装着者に向かって呼びかける音声（以下、呼びかけ音声という）が含まれているものとする。また、補聴装置２００の装着者の右側から呼びかけが行われているものとする。
なお、マイクロホン２０１ａ、２０１ｂで会話相手の音声を収音していないときは、実施の形態１と同様、図６に示すような指向性パタン６０１が形成されているものとする。
会話相手方向探査手段２０２は、マイクロホン２０１ａ、２０１ｂから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段２０８に出力される。
呼びかけ方向探査手段２０６は、マイクロホン２０１ａ、２０１ｂで収音された呼びかけ音声から、その到来方向を探査する。呼びかけ音声の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
呼びかけ方向探査手段２０６は、まず、左耳装着補聴器２００Ｂの呼びかけ方向探査手段２１６に、Ｂｌｕｅｔｏｏｔｈ（日本国商標登録番号第４４７７９３６号）などの無線通信手段を介して、右耳の最大音圧を送信する。同様に、呼びかけ方向探査手段２０６は、左耳装着補聴器２００Ｂの呼びかけ方向探査手段２１６から、Ｂｌｕｅｔｏｏｔｈ（日本国商標登録番号第４４７７９３６号）などの無線通信手段を介して、左耳の最大音圧を受信する。
そして、呼びかけ方向探査手段２０６は、両耳の最大音圧同士を比較して、左右のどちらで呼びかけが起こっているかを推定する。例えば、呼びかけ方向探査手段２０６は、呼びかけ方向を探査する方法として、右側で起こっていると判定されれば、遅延和アレーによる指向性ビームの実現と、指向性ビームのスキャンによる音源方向の推定とにより、呼びかけ方向を探査する。呼びかけ方向探査手段２０６は、探査された呼びかけ音声に基づき、呼びかけ音声が到来する方向と推定される方向の情報とを周波数特性補正処理部２０５に出力する。
補正係数格納部２２１Ａは、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、補聴器の頭部装着による頭部形状の影響を考慮されている。
呼びかけ単語文字列格納部２２３Ａは、文字列として登録された呼びかけ単語文字列を格納する。呼びかけ単語文字列格納部２２３Ａに格納される呼びかけ単語文字列は、予め、補聴装置２００のフィッティング時に、呼びかけ単語文字列格納部２２３Ａに格納しておく。
音響標準パタン格納部２２４Ａは、文字（例えば、５０音やアルファベット）に対応する音響標準パタンを格納する。なお、音響標準パタン格納部２２４Ａに格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の音声データから、各音素／音節の特徴を表すモデルとしてあらかじめ作成された音声データである。
周波数特性補正処理部２０５は、呼びかけ方向探査手段２０６から入力された呼びかけ音声が到来する方向と推定される方向との情報に基づき、補正係数格納部２２１Ａに格納されている補正係数のうち、呼びかけ音声の方向と合致する方向の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段１０４より出力された会話相手の音声データを、随時補正する。そして、補正処理された入力音声データは、呼びかけ単語判定手段２０７へ出力される。
呼びかけ単語判定手段２０７は、呼びかけ単語文字列格納部２２３Ａに格納された「呼びかけ単語文字列」、及び音響標準パタン格納部２２４Ａに格納された「音響標準パタン」から、呼びかけ単語標準パタンを作成する。そして、呼びかけ単語判定手段２０７は、作成した呼びかけ単語標準パタンと、周波数特性補正処理部２０５から出力された、会話相手以外の人物による呼びかけ音声のデータとを照合し、呼びかけ単語か否かを判定する。
呼びかけ単語判定手段２０７は、会話相手以外の人物の呼びかけ音声が呼びかけ単語である判定した場合には、無指向情報を、指向性・無指向判定手段２０８及び左耳装着補聴器２００Ｂの指向性・無指向判定手段２１８に出力する。一方、呼びかけ単語判定手段２０７は、会話相手以外の人物の呼びかけ音声が呼びかけ単語でないと判定した場合には、指向性情報を、指向性・無指向判定手段２０８に出力する。
指向性・無指向判定手段２０８は、会話相手方向探査手段２０２から入力された会話相手の音声が到来する方向と、呼びかけ単語判定手段２０７の判定結果に基づき、会話相手方向指向性合成手段２０３及び会話相手以外方向指向性合成手段２０４のそれぞれで、指向性を形成するか否かを判定する。
つまり、指向性・無指向判定手段２０８は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれている場合、会話相手方向探査手段２０２から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段２０７から出力された無指向情報に基づき、会話相手方向指向性合成手段２０３に、会話相手方向に指向性を形成する旨の判定結果を出力する。
更に、指向性・無指向判定手段２０８は、会話相手以外方向指向性合成手段２０４に、会話相手の方向以外の方向にも指向性を形成する旨の判定結果を出力する。一方、指向性・無指向判定手段２０８は、会話相手の音声以外に、会話相手以外の人物から呼びかけ音声が音声データに含まれていない場合、会話相手方向探査手段２０２から入力された会話相手の音声が到来する方向及び呼びかけ単語判定手段２０７から出力された指向性情報に基づき、会話相手方向に指向性を形成する旨の判定結果を出力する。
更に、指向性・無指向判定手段２０８は、会話相手以外方向指向性合成手段２０４に、指向性を形成しない旨の判定結果を出力する。
会話相手以外方向指向性合成手段２０４は、後述する指向性・無指向判定手段２０８に基づき、指向性を形成する。指向性・無指向判定手段２０８が指向性を形成すると判定すると、会話相手の方向以外の方向に指向性を形成する。
例えば、実施の形態１と同様、図８に示す指向性パタン８０２のように、呼び出し検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段２０８が指向性を形成しないと判定すると、指向性は作らない。
会話相手方向指向性合成手段２０３は、指向性・無指向判定手段２０８の判定結果に基づき、指向性を形成する。つまり、会話相手方向指向性合成手段２０３は、指向性・無指向判定手段２０８が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を合成する。
例えば、会話相手方向指向性合成手段２０３は、実施の形態１と同様、図７の指向性パタン７０１や図８に示す指向性パタン８０１のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段２０３は、指向性・無指向判定手段２０８が指向性を形成しないと判定すると、指向性は作らない。
そして、指向性が合成された会話相手の音声データは、スピーカ２０９に出力される。
スピーカ２０９は、音声出力手段であり、会話相手方向指向性合成手段２０３により形成された指向性により強調された会話相手の音を出力する。その結果、補聴装置２００の装着者が、強調された会話相手の音を聴取することができる。
更に、スピーカ２０９は、会話相手以外方向指向性合成手段２０４で呼びかけ検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン２０１ａ、２０１ｂで収音した会話相手以外の方向から到来する呼びかけ音を出力することができる。その結果、補聴装置２００の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する呼びかけ音も聴取することができる。
＜補聴装置２００の動作＞
図１１は、実施の形態２の補聴装置２００の処理手順をあらわすフローチャートである。図１２は、呼びかけ検出用の子プロセスを示すフローチャートである。図１１及び図１２に示すフローチャートを用いて補聴装置２００の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図６の指向性パタン６０１で示すように、全方向の音声が聞こえる状態である。
ステップＳＴ５０１では、呼びかけ検出用の子プロセスを生成する。
ステップＳＴ５０２では、会話相手方向探査手段２０２により会話相手の音声の到来方向を探査する。
ステップＳＴ５０３では、ステップＳＴ５０２での結果に基づき、会話相手方向探査手段１０２により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップＳＴ５０４に、会話相手の音声が検出されなければ、ステップＳＴ５０２に処理を分岐する。
ステップＳＴ５０４では、会話相手方向探査手段２０２により、会話相手の音声到来方向を角度として検出する。
ステップＳＴ５０５では、ステップＳＴ５０４で検出された会話相手の方向を角度として、図１２に示す呼びかけ検出用子プロセスのステップＳＴ６０１に送信する。
ステップＳＴ５０６では、図１２に示す呼びかけ検出用子プロセスから送信された無指向への変更情報を受信する。
ステップＳＴ５０７では、指向性・無指向判定手段２０８により会話相手の方向に指向性を合成すると判定された場合、ステップＳＴ５０８に処理を分岐する。また、ステップＳＴ５０７では、指向性・無指向判定手段２０８により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップＳＴ５１０に処理を分岐する。
ステップＳＴ５０８では、会話相手方向指向性合成手段２０３により、実施の形態１と同様、図７の指向性パタン７０１のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Ｂの方向に指向性を合成する。
ステップＳＴ５０９では、実施の形態１と同様、図７に示すように指向性が合成された会話相手Ｂの音声データは、スピーカ１０９から出力し、補聴装置２００の装着者Ａが、強調された会話相手の音を聴取する。
ステップＳＴ５１０では、図６に示す指向性パタン６０１のように、無指向に変更し、ステップＳＴ５０１に処理を戻す。
＜呼びかけ検出用の子プロセス＞
次に、図１２に示す呼びかけ検出用子プロセスを以下に説明する。
ステップＳＴ６０１では、図２に示すステップＳＴ５０５で送信された、会話相手の音の到来方向を示す角度を受信する。
ステップＳＴ６０２では、会話相手の音の到来方向を示す角度を受信していればステップＳＴ６０３に、会話相手の音の到来方向を示す角度を受信していなければ、ステップＳＴ６０２に処理を分岐させる。
ステップＳＴ６０３では、実施の形態１と同様、図８に示す指向性パタン８０１のように、会話相手Ｂの音声を、補聴装置２００の装着者Ａに強調して聞かせるために会話相手方向に指向性を形成する。かつ、ステップＳＴ６０３では、図８に示す指向性パタン８０２のように、呼び出し検出のために会話相手方向以外にも指向性を形成する。
ステップＳＴ６０４では、呼びかけ方向探査手段２０６によって、左右の補聴器で最大音圧を互いに通信し、左右のどちらで呼びかけが起こっているかを判定する。
ステップＳＴ６０５では、ステップＳＴ６０４での判定結果に基づき、右側で呼びかけが起こっている場合、ステップＳＴ６０６、左側で呼びかけが起こっている場合、ステップＳＴ６１０に処理を分岐する。
ステップＳＴ６０６では、右耳装着補聴器２００Ａの呼びかけ方向探査手段２０６により呼びかけ音声の方向を判定する。
ステップＳＴ６０７では、呼びかけ音声の角度の情報から、呼びかけ単語判定手段２０７の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態１と同様のため、その詳細な説明は省略する。
ステップＳＴ６０８では、右耳装着補聴器２００Ａの呼びかけ単語判定手段２０７により補正処理された入力音声データは、呼びかけ単語か否かを判定する。
ステップＳＴ６０９では、ステップＳＴ６０８で呼びかけ単語と判定されれば、ステップＳＴ６１４に、呼びかけ単語であると判定されなければステップＳＴ６０４に処理を分岐する。
ステップＳＴ６１０では、左耳装着補聴器２００Ｂの呼びかけ方向探査手段２１６により呼びかけ音声の方向を判定する。
ステップＳＴ６１１では、呼びかけ音声の角度の情報から、呼びかけ単語判定手段２０７の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態１と同様のため、その詳細な説明は省略する。
ステップＳＴ６１２では、左耳装着補聴器２００Ｂの呼びかけ単語判定手段２１７により補正処理された入力音声データは、呼びかけ単語か否かを判定する。
ステップＳＴ６１３では、ステップＳＴ６１２で呼びかけ単語と判定されれば、ステップＳＴ６１４に、呼びかけ単語であると判定されなければステップＳＴ６０４に処理を分岐する。
ステップＳＴ６１４では、右側で呼びかけが起こっている場合、右耳装着補聴器２００Ａの指向性・無指向判定手段２０８により、無指向への変更情報を、右耳装着補聴器２００Ａの会話相手方向指向性合成手段２０３、会話相手以外方向指向性合成手段２０４に送り、ステップＳＴ６０２に処理を戻す。
同様に、左側で呼びかけが起こっている場合、左耳装着補聴器２００Ｂの指向性・無指向判定手段２１８により、無指向への変更情報を、左耳装着補聴器２００Ｂの会話相手方向指向性合成手段２１３、会話相手以外方向指向性合成手段２１４に送り、ステップＳＴ６０２に処理を戻す。
上述したステップＳＴ５０１からステップＳＴ５１０及びステップＳＴ６０１からステップＳＴ６１４により、本実施の形態の補聴装置２００は、会話相手の声を強調した上で、呼びかけられたときには指向性から無指向に変更される。そのため、補聴器の使用者は、呼びかけ音声が聞こえるようになり、呼びかけ者との会話も可能となる。
（実施の形態３）
図１３は、本発明の実施の形態３における音響信号処理装置３００の構成を示すブロック図である。図１３に示すように、実施の形態３の音響信号処理装置３００は、２つのマイクロホン３０１ａ、３０１ｂと、会話相手方向探査手段３０２と、会話相手方向指向性合成手段３０３と、会話相手以外音方向指向性合成手段３０４と、周波数特性補正処理部３０５と、会話相手以外音方向探査手段３０６と、会話相手以外音判定手段３０７と、指向性・無指向判定手段３０８と、スピーカ３０９と、補正係数格納部３１０と、音響標準パタン格納部３１１と、を備える。
＜音響信号処理装置３００の構成＞
マイクロホン３０１ａ、３０１ｂは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段３０２に出力される。
以下、説明のため、各マイクロホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から音響信号処理装置３００の装着者に到達する会話相手以外の音や音声（以下、会話相手以外音という）が含まれているものとする。
なお、マイクロホン３０１ａ、３０１ｂで会話相手の音声を収音していないときは、図６に示すように、音響信号処理装置３００を右耳に装着した人物Ａの周辺には、指向性をつけない信号処理によって全方向の音声が聞こえる状態を示す指向性パタン６０１が形成（作成）される。
会話相手方向探査手段３０２は、マイクロホン３０１ａ、３０１ｂから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段３０８に出力される。
会話相手以外音方向探査手段３０６は、マイクロホン３０１ａ、３０１ｂで収音された会話相手以外の音から、その到来方向を探査する。会話相手以外音の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
ここで、頭部と耳介による歪である頭部伝達関数は人間の方向知覚に重要な役割を果たしている（例えば、非特許文献３）。そこで、本実施の形態では、音の到来方向（角度）の推定方法として、頭部伝達関数の角度毎のディップ周波数とピーク周波数の特徴と、外耳道入り口位置で観測された入力音声の周波数特性とを比較し、音の到来方向（角度）を推定する。そして、会話相手以外音方向探査手段３０６は、探査された会話相手以外音に基づき、会話相手以外音の到来方向と推定される方向の情報を周波数特性補正処理部３０５に出力する。
補正係数格納部３１０は、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、補聴器の頭部装着による頭部形状の影響が考慮されている。音響標準パタン格納部３１１に格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の会話相手以外音のデータから、あらかじめ作成されたパタンである。
周波数特性補正処理部３０５は、会話相手以外音方向探査手段３０６から入力された会話相手以外音の到来方向と推定された方向（角度）の情報に基づき、補正係数格納部３１０に格納されている補正係数のうち、会話相手以外音の方向と合致する方向（角度）の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段３０４より出力された会話相手以外音データを、随時補正する。そして、補正処理された会話相手以外音データは、会話相手以外音判定手段３０７へ出力される。
会話相手以外音判定手段３０７は、音響標準パタン格納部３１１に格納された音響標準パタンを、周波数特性補正処理部３０５から出力された会話相手以外音のデータと照合し、会話相手以外音か否かを判定する。
会話相手以外音判定手段３０７は、会話相手以外音であると判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段３０８に出力する。一方、会話相手以外音判定手段３０７は、会話相手以外音でないと判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段３０８に出力しない。
指向性・無指向判定手段３０８は、会話相手方向探査手段３０２から入力された会話相手の音声が到来する方向及び会話相手以外音判定手段３０７の判定結果に基づき、会話相手方向指向性合成手段３０３及び会話相手以外方向指向性合成手段３０４のそれぞれに、指向性を形成させるか否かを判定する。
つまり、指向性・無指向判定手段３０８は、会話相手の音声以外に、会話相手以外の人物から会話相手以外音が音声データに含まれている場合、会話相手方向探査手段３０２から入力された会話相手の音声が到来する方向（角度）及び会話相手以外音判定手段３０７から会話相手以外音フラグが出力されている場合は、会話相手方向指向性合成手段３０３に、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段３０８は、会話相手以外方向指向性合成手段３０４に、会話相手の方向以外の方向にも指向性を形成させる旨の判定結果を出力する。
一方、指向性・無指向判定手段３０８は、会話相手以外音が音声データに含まれておらず、会話相手以外音判定手段３０７から会話相手以外音フラグが出力されない場合、会話相手方向探査手段３０２から入力された会話相手の音声が到来する方向（角度）及び会話相手以外音判定手段３０７から出力された指向性情報に基づき、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段３０８は、会話相手以外方向指向性合成手段３０４に、指向性を形成しない旨の判定結果を出力する。
会話相手以外方向指向性合成手段３０４は、指向性・無指向判定手段３０８の判定結果に基づき、指向性を形成する信号処理を行う。指向性・無指向判定手段３０８から指向性を形成する判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する。例えば、図８に示す指向性パタン８０２のように、会話相手以外音検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段３０８から指向性を形成しない判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する信号処理を行わない。
会話相手方向指向性合成手段３０３は、指向性・無指向判定手段３０８の判定結果に基づき、指向性を形成する信号処理を行う。つまり、会話相手方向指向性合成手段３０３は、指向性・無指向判定手段３０８が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を形成する信号処理を行う。
例えば、会話相手方向指向性合成手段３０３は、図７の指向性パタン７０１や図８に示す指向性パタン８０１のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段３０３は、指向性・無指向判定手段３０８が指向性を形成しないと判定すると、指向性を形成する信号処理を行わない。そして、指向性が合成された会話相手の音声データは、スピーカ３０９に出力される。
スピーカ３０９は、音声出力手段であり、会話相手方向指向性合成手段３０３により形成された指向性により強調された会話相手の音を出力する。その結果、音響信号処理装置３００の装着者が、強調された会話相手の音を聴取することができる。
更に、スピーカ３０９は、会話相手以外方向指向性合成手段３０４で会話相手以外音検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン３０１ａ、３０１ｂで収音した会話相手以外の方向から到来する会話相手以外音を出力することができる。その結果、音響信号処理装置３００の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する会話相手以外音も聴取することができる。
＜音響信号処理装置３００の動作＞
図１４は、実施の形態３の音響信号処理装置３００の処理手順をあらわすフローチャートである。図１５は、会話相手以外音検出用の子プロセスを示すフローチャートである。図１４及び図１５に示すフローチャートを用いて音響信号処理装置３００の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図６の指向性パタン６０１で示すように、音響信号処理装置３００を右耳に装着した人物Ａは、指向性をつけない信号処理によって全方向の音声が聞こえる状態である。なお、図６に示す収音状態は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
ステップＳＴ４０１では、会話相手以外音検出用の子プロセスを生成する。ステップＳＴ４０２では、会話相手方向探査手段３０２により会話相手の音声の到来方向を探査する。
ステップＳＴ４０３では、ステップＳＴ４０２での結果に基づき、会話相手方向探査手段３０２により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップＳＴ４０４に、会話相手の音声が検出されなければ、ステップＳＴ４０２に処理を分岐する。
ステップＳＴ４０４では、会話相手方向探査手段３０２により、会話相手の音声到来方向を角度として検出する。
ステップＳＴ４０５では、ステップＳＴ４０４で検出された会話相手の方向を角度として、図１５に示す会話相手以外音検出用子プロセスのステップＳＴ７０１に送信する。
ステップＳＴ４０６では、図１５に示す会話相手以外音検出用子プロセスから送信された無指向への変更情報を受信する。
ステップＳＴ４０７では、指向性・無指向判定手段３０８により会話相手の方向に指向性を合成すると判定された場合、ステップＳＴ４０８に処理を分岐する。また、ステップＳＴ４０７では、指向性・無指向判定手段３０８により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップＳＴ４１０に処理を分岐する。
ステップＳＴ４０８では、会話相手方向指向性合成手段３０３により、図７の指向性パタン７０１のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Ｂの方向に指向性を合成する。
ステップＳＴ４０９では、図７に示すように指向性が合成された会話相手Ｂの音声データは、スピーカ３０９から出力し、音響信号処理装置３００の装着者Ａが、強調された会話相手の音を聴取する。なお、図７に示す指向性は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
ステップＳＴ４１０では、図６に示す指向性パタン６０１のように、無指向に変更し、ステップＳＴ４０１に処理を戻す。
＜会話相手以外音検出用の子プロセス＞
次に、図１５に示す会話相手以外音検出用子プロセスを以下に説明する。
ステップＳＴ７０１では、図１４に示すステップＳＴ４０５で送信された、会話相手の音の到来方向を示す角度を受信する。
ステップＳＴ７０２では、会話相手の音の到来方向を示す角度を受信していればステップＳＴ７０３に、会話相手の音の到来方向を示す角度を受信していなければ、ステップＳＴ７０２に処理を分岐させる。
ステップＳＴ７０３では、図８に示す指向性パタン８０１のように、会話相手Ｂの音声を、音響信号処理装置３００の装着者Ａに強調して聞かせるために会話相手方向に指向性を形成し、かつ、図８に示す指向性パタン８０２のように、会話相手以外音検出のために会話相手方向以外にも指向性を形成する。なお、図８に示す指向性は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
ステップＳＴ７０４では、会話相手以外音があるか否かを判定する。会話相手以外音があると判定されれば、ステップＳＴ７０５に、会話相手以外音がないと判定されればステップＳＴ７０４に処理を分岐する。ここで、会話相手以外音があるかないかの判定には例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定するなどが一つの方法として考えられる。
ステップＳＴ７０５では、会話相手以外音方向探査手段３０６により会話相手以外音の方向を判定する。
ステップＳＴ７０６では、会話相手以外音の角度の情報から、会話相手以外音判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については後述する。
ステップＳＴ７０７では、会話相手以外音判定手段３０７により補正処理された入力音声データは、会話相手以外音か否かを判定する。
ステップＳＴ７０８では、ステップＳＴ７０７で会話相手以外音と判定されれば、ステップＳＴ７０９に、会話相手以外音であると判定されなければステップＳＴ７０４に処理を分岐する。
ステップＳＴ７０９では、指向性・無指向判定手段３０８により、無指向への変更情報を会話相手方向指向性合成手段３０３、会話相手以外方向指向性合成手段３０４に送り、ステップＳＴ７０２に処理を戻す。
上述したステップＳＴ４０１からステップＳＴ４１０及びステップＳＴ７０１からステップＳＴ７０９により、本実施の形態の音響信号処理装置３００は、会話相手の声を強調した上で、会話相手以外音が検出されたときには指向性から無指向に変更される。そのため、補聴器の使用者は、会話相手以外音が聞こえるようになり、会話相手以外音者との会話も可能となる。
＜周波数特性の補正係数の決め方＞
次に、ステップＳＴ７０６における、周波数特性の補正係数を呼び出す具体的な方法例を、説明する。例えば、装着者Ａが右頭部側面に音響信号処理装置３００を装着した場合の周波数特性の補正係数について、図４、図５を参照して説明する。図４は、右頭部側面にマイクロホンを装着した場合の方向（角度）による周波数特性の図であり、図５は、本発明の実施の形態１の入力音声を音響標準パタン作成時のマイクの周波数特性に補正する補正係数を示す図である。なお、図４に示す周波数特性の図、図５に示す補正係数は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
図４に示すように、装着者Ａが右頭部側面に音響信号処理装置３００を装着した場合、右９０°方向から到来する音の周波数特性を示す曲線４０１は、低域側ではその周波数に依らずほぼ平坦であり、高域側でやや落ち込みが見られる。一方、左９０°方向から到来する音の周波数特性を示す曲線４０２は、周波数が高い領域ほど落ち込む。この場合、図４に示す音の周波数特性を、図５の破線５０１で示す、音響標準パタン作成時のマイクが有する周波数特性に、変更されるように、補正係数を決定する。なお、この音響標準パタン作成時のマイクの周波数特性は、会話相手以外音判定処理部で用いられる。
図４に示す右９０°方向から到来する音の周波数特性（曲線４０１）の場合、低域部分は補正の必要はないが、図５に示すように、高域部分で矢印に示すように周波数特性を変更する補正が必要となる。同様に、図４に示す左９０°方向から到来する音の周波数特性（曲線４０２）の場合、中高域で高い周波数ほど補正係数を大きくすることで、入力音声を、図５の破線５０１で示す、音響標準パタン作成時にマイクが有していた周波数特性に、補正することができる。
上述のように、本実施形態に係る音響信号処理装置３００によれば、入力音声の周波数特性を、補正係数を用いて、会話相手以外音判定処理手段の音声認識の照合に用いる音響標準パタンの学習時（オフライン時）の音声データの周波数特性に近づけることで、音声認識精度を低下させることなく実時間処理が実現できる。
なお、補正係数は、一般的な頭部形状において、すでに測定された値を用いても良い。
なお、音声認識の精度をより高くするためには、音響信号処理装置３００のフィッティング時に、図９に示すように、音響信号処理装置３００を、右耳に装着した人物Ａの頭部周辺を囲む、音源９０１〜９０８から補正係数を獲得するための音（ホワイトノイズ等）を再生する。次に、再生したホワイトノイズ等を、音響信号処理装置３００のマイクにより収録し、その収録音の特性と音響標準パタン作成時のマイクの特性とから補正係数を獲得するのが良い。なお、図９に示す補正係数は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用できる。
なお、呼びかけ単語は、人が呼びかける際に用いる単語だけでなく、人に注意を喚起する目的で再生される館内放送の呼び出し音や、電車のホームの警告音や、車・トラック・バスのクラクションや、方向指示器に連動した警報音や、家庭内の家電機器が進行状態を知らせるために再生する報知音なども同様である。
（実施の形態４）
実施の形態３では、片方の耳（右耳）に装着するタイプの音響信号処理装置を一例として説明したが、実施の形態４では、両耳に装着するタイプの音響信号処理装置を例にとって説明する。
図１６は、本発明の実施の形態４における音響信号処理装置４００の構成を示すブロック図である。図１６に示すように、実施の形態４の音響信号処理装置４００は、右耳装着音響信号処理装置４００Ａと左耳装着音響信号処理装置４００Ｂから構成される。図１６を参照して、各音響信号処理装置の構成について、以下に説明する。
図１６に示すように、実施の形態４の音響信号処理装置４００を構成する右耳装着音響信号処理装置４００Ａは、２つのマイクロホン４０１ａ、４０１ｂと、会話相手方向探査手段４０２と、会話相手方向指向性合成手段４０３と、会話相手以外方向指向性合成手段４０４と、周波数特性補正手段４０５と、音到来方向探査手段４０６と、会話相手以外音判定手段４０７と、指向性・無指向判定手段４０８と、スピーカ４０９と、補正係数格納部４２１Ａと、音響標準パタン格納部４２４Ａと、を備える。
同様に、実施の形態４の音響信号処理装置４００を構成する左耳装着音響信号処理装置４００Ｂは、２つのマイクロホン４１１ａ、４１１ｂと、会話相手方向探査手段４１２と、会話相手方向指向性合成手段４１３と、会話相手以外方向指向性合成手段４１４と、周波数特性補正手段４１５と、音到来方向探査手段４１６と、会話相手以外音判定手段４１７と、指向性・無指向判定手段４１８と、スピーカ４１９と、補正係数格納部４２１Ｂと、音響標準パタン格納部４２４Ｂと、を備える。
以下、右耳装着音響信号処理装置４００Ａの構成について、詳細に説明する。なお、左耳装着音響信号処理装置４００Ｂについて、右耳装着音響信号処理装置４００Ａと同じ名称の構成は、すべて右耳装着音響信号処理装置４００Ａの構成と同じ動作をするため、詳細な説明を省略する。
＜右耳音響信号処理装置４００Ａの構成＞
マイクロホン４０１ａ、４０１ｂは、会話相手の音声などの到来する音を収音し、その収音した音を音響信号に変換する。そして、音響信号は、会話相手方向探査手段４０２に出力される。
以下、説明のため、各マイクホンで収音された音には、会話相手の音声以外に、現在会話している相手以外の人物が、会話相手のいる方向以外から音響信号処理装置４００の装着者に向かって会話相手以外音る音声（以下、会話相手以外音という）が含まれているものとする。また、音響信号処理装置４００の装着者の右側から会話相手以外音が行われているものとする。
なお、マイクロホン４０１ａ、４０１ｂで会話相手の音声を収音していないときは、実施の形態３と同様、図６に示すような指向性パタン６０１が形成（作成）されているものとする。なお、図６に示す収音状態は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
会話相手方向探査手段４０２は、マイクロホン４０１ａ、４０１ｂから入力された音響信号に基づき、会話相手の音声データを検出し、収音された会話相手の音声が到来する方向を探査する。そして、探査された会話相手の音声が到来する方向は、指向性・無指向判定手段４０８に出力される。
音到来方向探査手段４０６は、マイクロホン４０１ａ、４０１ｂで収音された会話相手以外音から、その到来方向を探査する。会話相手以外音の有無の判定には、例えば、入力音声のパワーが予め設定する閾値をこえるかどうかで判定する。
音到来方向探査手段４０６は、まず、左耳装着音響信号処理装置４００Ｂの音到来方向探査手段４１６に、Ｂｌｕｅｔｏｏｔｈ（日本国商標登録番号第４４７７９３６号）などの無線通信手段を介して、右耳の最大音圧を送信する。同様に、音到来方向探査手段４０６は、左耳装着音響信号処理装置４００Ｂの音到来方向探査手段４１６から、Ｂｌｕｅｔｏｏｔｈ（日本国商標登録番号第４４７７９３６号）などの無線通信手段を介して、左耳の最大音圧を受信する。
そして、音到来方向探査手段４０６は、両耳の最大音圧同士を比較して、左右のどちらで会話相手以外音が起こっているかを推定する。例えば、音到来方向探査手段４０６は、会話相手以外音方向を探査する方法として、右側で起こっていると判定されれば、遅延和アレーによる指向性ビームの実現と、指向性ビームのスキャンによる音源方向の推定とにより、会話相手以外音方向を探査する。音到来方向探査手段４０６は、探査された会話相手以外音に基づき、会話相手以外音が到来する方向と推定される方向の情報とを周波数特性補正手段４０５に出力する。
補正係数格納部４２１Ａは、入力音声が有する周波数の指向特性において、各角度に対する補正係数を、格納する。なお、補正係数は、音響信号処理装置の頭部装着による頭部形状の影響を考慮されている。
音響標準パタン格納部４２４Ａに格納されている音響標準パタンは、一つの特性を持つマイクを用いて収録された大量の会話相手以外音のデータから、あらかじめ作成されたパタンである。
周波数特性補正手段４０５は、音到来方向探査手段４０６から入力された会話相手以外音の到来方向と推定された方向（角度）の情報に基づき、補正係数格納部４２１Ａに格納されている補正係数のうち、会話相手以外音の方向と合致する方向（角度）の補正係数を用いて、音響標準パタン作成時のマイクの特性と同等になるように、会話相手以外方向指向性合成手段４０４より出力された会話相手以外音データを、随時補正する。そして、補正処理された会話相手以外音データは、会話相手以外音判定手段４０７へ出力される。
会話相手以外音判定手段４０７は、音響標準パタン格納部４２４Ａに格納された音響標準パタンを、周波数特性補正手段４０５から出力された会話相手以外音のデータと照合し、会話相手以外音か否かを判定する。
会話相手以外音判定手段４０７は、会話相手以外音であると判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段４０８及び左耳装着音響信号処理装置４００Ｂの指向性・無指向判定手段４１８に出力する。一方、会話相手以外音判定手段４０７は、会話相手以外音でないと判定した場合には、会話相手以外音フラグを、指向性・無指向判定手段４０８及び左耳装着音響信号処理装置４００Ｂの指向性・無指向判定手段４１８に出力しない。
指向性・無指向判定手段４０８は、会話相手方向探査手段４０２から入力された会話相手の音声が到来する方向及び会話相手以外音判定手段４０７の判定結果に基づき、会話相手方向指向性合成手段４０３及び会話相手以外方向指向性合成手段４０４のそれぞれに、指向性を形成させるか否かを判定する。
つまり、指向性・無指向判定手段４０８は、会話相手の音声以外に、会話相手以外の人物から会話相手以外音が音声データに含まれている場合、会話相手方向探査手段４０２から入力された会話相手の音声が到来する方向（角度）及び会話相手以外音判定手段４０７から会話相手以外音フラグが出力されている場合は、会話相手方向指向性合成手段４０３に、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段４０８は、会話相手以外方向指向性合成手段４０４に、会話相手の方向以外の方向にも指向性を形成させる旨の判定結果を出力する。
一方、指向性・無指向判定手段４０８は、会話相手以外音が音声データに含まれておらず、会話相手以外音判定手段４０７から会話相手以外音フラグが出力されない場合、会話相手方向探査手段４０２から入力された会話相手の音声が到来する方向（角度）及び会話相手以外音判定手段４０７から出力された指向性情報に基づき、会話相手方向に指向性を形成させる旨の判定結果を出力する。更に、指向性・無指向判定手段４０８は、会話相手以外方向指向性合成手段４０４に、指向性を形成しない旨の判定結果を出力する。
会話相手以外方向指向性合成手段４０４は、指向性・無指向判定手段４０８の判定結果に基づき、指向性を形成する信号処理を行う。指向性・無指向判定手段４０８から指向性を形成する判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する。例えば、図８に示す指向性パタン８０２のように、会話相手以外音検出のために会話相手方向以外にも指向性を形成することで、会話相手以外の方向から到来する音をマイクロホンから検出することが可能となる。一方、指向性・無指向判定手段４０８から指向性を形成しない判定結果を受け取ると、会話相手の方向以外の方向に指向性を形成する信号処理を行わない。なお、図８に示す指向性は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
会話相手方向指向性合成手段４０３は、指向性・無指向判定手段４０８の判定結果に基づき、指向性を形成する信号処理を行う。つまり、会話相手方向指向性合成手段４０３は、指向性・無指向判定手段４０８が指向性を形成すると判定すると、収音された会話相手の音声データ及び会話相手の音声が到来する方向の情報に基づき、会話相手の方向に指向性を形成する信号処理を行う。
例えば、会話相手方向指向性合成手段４０３は、実施の形態３と同様、図７の指向性パタン７０１や図８に示す指向性パタン８０１のように、会話相手の方向に指向性を変更する。一方、会話相手方向指向性合成手段４０３は、指向性・無指向判定手段３０８が指向性を形成しないと判定すると、指向性を形成する信号処理を行わない。なお、図７に示す指向性は、実施の形態１の場合について説明したものであるが、本実施の形態の場合についても同様に適用可能である。
そして、指向性が合成された会話相手の音声データは、スピーカ４０９に出力される。
スピーカ４０９は、音声出力手段であり、会話相手方向指向性合成手段４０３により形成された指向性により強調された会話相手の音を出力する。その結果、音響信号処理装置４００の装着者が、強調された会話相手の音を聴取することができる。
更に、スピーカ４０９は、会話相手以外方向指向性合成手段４０４で会話相手以外音検出のために会話相手方向以外にも指向性を形成された場合には、会話相手の音の出力するのと同時に、マイクロホン４０１ａ、４０１ｂで収音した会話相手以外の方向から到来する会話相手以外音を出力することができる。その結果、音響信号処理装置４００の装着者が、強調された会話相手の音に加え、会話相手以外の方向から到来する会話相手以外音も聴取することができる。
＜音響信号処理装置４００の動作＞
図１７は、実施の形態４の音響信号処理装置４００の処理手順をあらわすフローチャートである。図１８は、会話相手以外音検出用の子プロセスを示すフローチャートである。図１７及び図１８に示すフローチャートを用いて音響信号処理装置４００の処理手順を、以下に説明する。なお、当初、会話は始まっておらず、図６の指向性パタン６０１で示すように、全方向の音声が聞こえる状態である。
ステップＳＴ８０１では、会話相手以外音検出用の子プロセスを生成する。ステップＳＴ８０２では、会話相手方向探査手段４０２により会話相手の音声の到来方向を探査する。
ステップＳＴ８０３では、ステップＳＴ８０２での結果に基づき、会話相手方向探査手段４０２により会話相手がいるか否かを検出する。会話相手の音声が検出されればステップＳＴ８０４に、会話相手の音声が検出されなければ、ステップＳＴ８０２に処理を分岐する。
ステップＳＴ８０４では、会話相手方向探査手段４０２により、会話相手の音声到来方向を角度として検出する。
ステップＳＴ８０５では、ステップＳＴ８０４で検出された会話相手の方向を角度として、図１８に示す会話相手以外音検出用子プロセスのステップＳＴ９０１に送信する。
ステップＳＴ８０６では、図１８に示す会話相手以外音検出用子プロセスから送信された無指向への変更情報を受信する。
ステップＳＴ８０７では、指向性・無指向判定手段４０８により会話相手の方向に指向性を合成すると判定された場合、ステップＳＴ８０８に処理を分岐する。また、ステップＳＴ８０７では、指向性・無指向判定手段４０８により指向性を形成しないと判定された場合、すなわち無指向に変更する場合、ステップＳＴ８１０に処理を分岐する。
ステップＳＴ８０８では、会話相手方向指向性合成手段４０３により、実施の形態３と同様、図７の指向性パタン７０１のように、収音された会話相手の音声データと会話相手方向の方向情報から会話相手Ｂの方向に指向性を合成する。
ステップＳＴ８０９では、実施の形態３と同様、図７に示すように指向性が合成された会話相手Ｂの音声データは、スピーカ４０９から出力し、音響信号処理装置４００の装着者Ａが、強調された会話相手の音を聴取する。
ステップＳＴ８１０では、図６に示す指向性パタン６０１のように、無指向に変更し、ステップＳＴ８０１に処理を戻す。
＜会話相手以外音検出用の子プロセス＞
次に、図１８に示す会話相手以外音検出用子プロセスを以下に説明する。ステップＳＴ９０１では、図１７に示すステップＳＴ８０５で送信された、会話相手の音の到来方向を示す角度を受信する。
ステップＳＴ９０２では、会話相手の音の到来方向を示す角度を受信していればステップＳＴ９０３に、会話相手の音の到来方向を示す角度を受信していなければ、ステップＳＴ９０２に処理を分岐させる。
ステップＳＴ９０３では、実施の形態３と同様、図８に示す指向性パタン８０１のように、会話相手Ｂの音声を、音響信号処理装置４００の装着者Ａに強調して聞かせるために会話相手方向に指向性を形成する。かつ、ステップＳＴ９０３では、図８に示す指向性パタン８０２のように、呼び出し検出のために会話相手方向以外にも指向性を形成する。
ステップＳＴ９０４では、音到来方向探査手段４０６によって、左右の音響信号処理装置で最大音圧を互いに通信し、左右のどちらで会話相手以外音が起こっているかを判定する。
ステップＳＴ９０５では、ステップＳＴ９０４での判定結果に基づき、右側で会話相手以外音が起こっている場合、ステップＳＴ９０６、左側で会話相手以外音が起こっている場合、ステップＳＴ９１０に処理を分岐する。
ステップＳＴ９０６では、右耳装着音響信号処理装置４００Ａの音到来方向探査手段４０６により会話相手以外音の方向を判定する。
ステップＳＴ９０７では、会話相手以外音の角度の情報から、会話相手以外音単語判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態３と同様のため、その詳細な説明は省略する。
ステップＳＴ９０８では、右耳装着音響信号処理装置４００Ａの会話相手以外音判定手段４０７により補正処理された入力音声データは、会話相手以外音単語か否かを判定する。
ステップＳＴ９０９では、ステップＳＴ９０８で会話相手以外音単語と判定されれば、ステップＳＴ９１４に、会話相手以外音単語であると判定されなければステップＳＴ９０４に処理を分岐する。
ステップＳＴ９１０では、左耳装着音響信号処理装置４００Ｂの音到来方向探査手段４１６により会話相手以外音の方向を判定する。
ステップＳＴ９１１では、会話相手以外音の角度の情報から、会話相手以外音単語判定手段の入力となる音声データを補正する周波数特性の補正係数を呼び出し、随時適用する。なお、周波数特性の補正係数の決め方については、実施の形態３と同様のため、その詳細な説明は省略する。
ステップＳＴ９１２では、左耳装着音響信号処理装置４００Ｂの会話相手以外音判定手段４１７により補正処理された入力音声データは、会話相手以外音単語か否かを判定する。
ステップＳＴ９１３では、ステップＳＴ９１２で会話相手以外音単語と判定されれば、ステップＳＴ９１４に、会話相手以外音単語であると判定されなければステップＳＴ９０４に処理を分岐する。
ステップＳＴ９１４では、右側で会話相手以外音が起こっている場合、右耳装着音響信号処理装置４００Ａの指向性・無指向判定手段４０８により、無指向への変更情報を、右耳装着音響信号処理装置４００Ａの会話相手方向指向性合成手段４０３、会話相手以外方向指向性合成手段４０４に送り、ステップＳＴ６０２に処理を戻す。
同様に、左側で会話相手以外音が起こっている場合、左耳装着音響信号処理装置４００Ｂの指向性・無指向判定手段４１８により、無指向への変更情報を、左耳装着音響信号処理装置４００Ｂの会話相手方向指向性合成手段４１３、会話相手以外方向指向性合成手段４１４に送り、ステップＳＴ９０２に処理を戻す。
上述したステップＳＴ８０１からステップＳＴ８１０及びステップＳＴ９０１からステップＳＴ９１４により、本実施の形態の音響信号処理装置４００は、会話相手の声を強調した上で、呼びかけられたときには指向性から無指向に変更される。そのため、音響信号処理装置の使用者は、呼びかけ音声が聞こえるようになり、呼びかけ者との会話も可能となる。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるLSIとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA（Field Programmable Gate Array）や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、２００９年６月１７日出願の日本特許出願（特願２００９−１４４２７１）、に基づくものであり、その内容はここに参照として取り込まれる。
本発明に係る補聴装置は、音声認識精度を低下させることなく、２つ以上のマイクロホンからの入力信号を用いて会話相手以外の呼びかけや様々な音を検出可能であり、補聴器等として有用である。
１０１ａ、１０１ｂ、２０１ａ、２０１ｂ、２１１ａ、２１１ｂ マイクロホン
３０１ａ、３０１ｂ、４０１ａ、４０１ｂ、４１１ａ、４１１ｂ マイクロホン
１０２、２０２、２１２、３０２、４０２、４１２ 会話相手方向探査手段
１０３、２０３、２１３、３０３、４０３，４１３ 会話相手方向指向性合成手段
１０４、２０４、２１４、３０４、４０４、４１４ 会話相手以外方向指向性合成手段
１０５、２０５、２１５、３０５ 周波数特性補正処理部
１０６、２０６、２１６ 呼びかけ方向探査手段
３０６ 会話相手以外音方向探査手段
４０５、４１５ 周波数特性補正手段
４０６、４１６ 音到来方向探査手段
１０７、２０７、２１７ 呼びかけ単語判定手段
３０７、４０７、４１７ 会話相手以外音判定手段
１０８、２０８、２１８ 指向性・無指向判定手段
１０９、２０９、２１９、３０９、４０９、４１９ スピーカ
１１０、２２１Ａ、２２１Ｂ、３１０、４２１Ａ、４２１Ｂ 補正係数格納部
１１１、２２４Ａ、２２４Ｂ、３１１、４２４Ａ、４２４Ｂ 音響標準パタン格納部
１１２、２２３Ａ、２２３Ｂ 呼びかけ単語文字列格納部

Claims (6)

  1. 会話相手の音声、及び前記会話相手以外が発する音を音響信号に変換する複数のマイクロホンと、
    前記複数のマイクロホンにおいて変換された複数の音響信号に基づき、前記会話相手以外が発する音の到来方向を推定する会話相手以外音方向探査部と、
    前記複数の音響信号と、推定された前記会話相手以外が発する音の到来方向とに基づき、前記会話相手以外が発する音の周波数特性を補正する周波数特性補正処理部と、
    所定の特性を有するマイクロホンを用いて収録された音声データに基づき、前記会話相手以外が発する音の音響標準パタンを格納する音響標準パタン格納部と、
    前記周波数特性が補正された前記会話相手以外が発する音を、前記音響標準パタンと照合し、会話相手以外音であるか否かを判定する会話相手以外音判定部と、
    前記会話相手以外音判定部の判定結果に基づき、指向性を形成するか否かを判定する指向性・無指向判定部と、を備え、
    前記周波数特性補正処理部は、前記会話相手以外音判定部において照合に用いられる前記音響標準パタンが作成される場合に用いられる前記マイクロホンの前記所定の特性と同等になるように、前記会話相手以外が発する音の周波数特性を補正する補聴装置。
  2. 請求項１に記載の補聴装置は、更に、
    前記複数のマイクロホンにおいて変換された複数の音響信号に基づき、前記会話相手の音声の到来方向を推定する会話相手方向探査部を、備え、
    前記会話相手以外音判定部が、前記周波数特性補正処理部において周波数特性が補正された前記会話相手以外が発する音を、前記音響標準パタンと照合し、会話相手以外音であると判定した場合、
    前記指向性・無指向判定部は、前記会話相手方向探査部から入力された会話相手の音声が到来する方向に基づき、前記会話相手の音声が到来する方向について、指向性を形成する判定をするのに加えて、更に、前記会話相手の音声が到来する方向以外の方向にも前記指向性を形成する判定をする補聴装置。
  3. 請求項２に記載の補聴装置であって、
    前記会話相手以外音判定部が、前記周波数特性補正処理部において周波数特性が補正された前記会話相手以外が発する音を、前記音響標準パタンと照合し、会話相手以外音でないと判定した場合、
    前記指向性・無指向判定部は、前記会話相手方向探査部から入力された会話相手の音声が到来する方向に基づき、前記会話相手の音声が到来する方向について、指向性を形成する判定をするのに加えて、更に、前記会話相手の音声が到来する方向以外の方向には前記指向性を形成しない判定をする補聴装置。
  4. 会話相手の音声、及び前記会話相手以外の呼びかけ音声や様々な音を含む音を音響信号に変換する複数のマイクロホンと、
    前記複数のマイクロホンにおいて変換された複数の音響信号に基づき、前記会話相手以外の呼びかけ音声の到来方向を推定する呼びかけ方向探査部と、
    前記複数の音響信号と、推定された前記会話相手以外の呼びかけ音声の到来方向とに基づき、前記会話相手以外の呼びかけ音声の周波数特性を補正する周波数特性補正処理部と、
    文字列として登録された呼びかけ単語文字列を格納する呼びかけ単語文字列格納部と、
    所定の特性を有するマイクロホンを用いて収録された音声データに基づき、音素及び音節の特徴を現す音響標準パタンを格納する音響標準パタン格納部と、
    前記呼びかけ単語文字列格納部に格納された前記呼びかけ単語文字列及び前記音響標準パタン格納部に格納された前記音響標準パタンから、呼び出し単語標準パタンを作成し、前記周波数特性が補正された前記会話相手以外の呼びかけ音声を、前記呼び出し単語標準パタンと照合し、呼びかけ単語か否かを判定する呼びかけ単語判定部と、
    前記呼びかけ単語判定部の判定結果に基づき、指向性を形成するか否かを判定する指向性・無指向判定部と、を備え、
    前記周波数特性補正処理部は、前記呼びかけ単語判定部において前記音響標準パタンが作成される場合に用いられる前記マイクロホンの前記所定の特性と同等になるように、前記会話相手以外の呼びかけ音声の周波数特性を補正する補聴装置。
  5. 請求項４に記載の補聴装置は、更に、
    前記複数のマイクロホンにおいて変換された複数の音響信号に基づき、前記会話相手の音声の到来方向を推定する会話相手方向探査部を、備え、
    前記呼びかけ単語判定部が、前記周波数特性補正処理部において周波数特性が補正された前記会話相手以外の呼びかけ音声を、前記呼び出し単語標準パタンと照合し、呼びかけ単語であると判定した場合、
    前記指向性・無指向判定部は、前記会話相手方向探査部から入力された会話相手の音声が到来する方向に基づき、前記会話相手の音声が到来する方向について、指向性を形成する判定をするのに加えて、更に、前記会話相手の音声が到来する方向以外の方向にも指向性を形成する判定をする補聴装置。
  6. 請求項５に記載の補聴装置であって、
    前記呼びかけ単語判定部が、前記周波数特性補正処理部において周波数特性が補正された前記会話相手以外の呼びかけ音声を、前記呼び出し単語標準パタンと照合し、呼びかけ単語でないと判定した場合、
    前記指向性・無指向判定部は、前記会話相手方向探査部から入力された会話相手の音声が到来する方向に基づき、前記会話相手の音声が到来する方向について、指向性を形成する判定をするのに加えて、更に、前記会話相手の音声が到来する方向以外の方向には指向性を形成しない判定をする補聴装置。
JP2011519568A 2009-06-17 2010-06-16 補聴装置 Active JP5409786B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011519568A JP5409786B2 (ja) 2009-06-17 2010-06-16 補聴装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009144271 2009-06-17
JP2009144271 2009-06-17
JP2011519568A JP5409786B2 (ja) 2009-06-17 2010-06-16 補聴装置
PCT/JP2010/004019 WO2010146857A1 (ja) 2009-06-17 2010-06-16 補聴装置

Publications (2)

Publication Number Publication Date
JPWO2010146857A1 JPWO2010146857A1 (ja) 2012-11-29
JP5409786B2 true JP5409786B2 (ja) 2014-02-05

Family

ID=43356188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011519568A Active JP5409786B2 (ja) 2009-06-17 2010-06-16 補聴装置

Country Status (5)

Country Link
US (1) US8654998B2 (ja)
EP (1) EP2445230A4 (ja)
JP (1) JP5409786B2 (ja)
CN (1) CN102428716B (ja)
WO (1) WO2010146857A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012205147A (ja) * 2011-03-25 2012-10-22 Kyocera Corp 携帯電子機器および音声制御システム
US8183997B1 (en) 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
US9679568B1 (en) 2012-06-01 2017-06-13 Google Inc. Training a dialog system using user feedback
US9123338B1 (en) 2012-06-01 2015-09-01 Google Inc. Background audio identification for speech disambiguation
US9264803B1 (en) * 2013-06-05 2016-02-16 Google Inc. Using sounds for determining a worn state of a wearable computing device
US9426589B2 (en) * 2013-07-04 2016-08-23 Gn Resound A/S Determination of individual HRTFs
JP6296646B2 (ja) * 2014-01-22 2018-03-20 日東電工株式会社 聴覚補完システム、聴覚補完装置及び聴覚補完方法
DE102016225204B4 (de) * 2016-12-15 2021-10-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätes
DE102016225207A1 (de) * 2016-12-15 2018-06-21 Sivantos Pte. Ltd. Verfahren zum Betrieb eines Hörgerätes
US10911877B2 (en) * 2016-12-23 2021-02-02 Gn Hearing A/S Hearing device with adaptive binaural auditory steering and related method
JP7103353B2 (ja) * 2017-05-08 2022-07-20 ソニーグループ株式会社 情報処理装置
DK3468228T3 (da) * 2017-10-05 2021-10-18 Gn Hearing As Binauralt høresystem med lokalisering af lydkilder
DK180177B1 (en) * 2018-04-30 2020-07-16 Widex As Method of operating a hearing aid system and a hearing aid system
US10791404B1 (en) * 2018-08-13 2020-09-29 Michael B. Lasky Assisted hearing aid with synthetic substitution
CN114255762A (zh) * 2020-09-10 2022-03-29 北京搜狗科技发展有限公司 一种语音识别方法、装置及电子设备
JP7567345B2 (ja) 2020-10-09 2024-10-16 ヤマハ株式会社 音信号処理方法および音信号処理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003516646A (ja) * 2000-03-31 2003-05-13 フォーナック アーゲー マイクロホン装置の伝達特性処理方法、同方法を適用するマイクロホン装置及びこれらを適用する補聴器
JP2004133403A (ja) * 2002-09-20 2004-04-30 Kobe Steel Ltd 音声信号処理装置
JP2004527177A (ja) * 2001-04-18 2004-09-02 ヴェーデクス・アクティーセルスカプ 指向性コントローラおよび補聴器を制御する方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1017253B1 (en) * 1998-12-30 2012-10-31 Siemens Corporation Blind source separation for hearing aids
US20010028718A1 (en) 2000-02-17 2001-10-11 Audia Technology, Inc. Null adaptation in multi-microphone directional system
US20010038699A1 (en) 2000-03-20 2001-11-08 Audia Technology, Inc. Automatic directional processing control for multi-microphone system
JP2003528508A (ja) 2000-03-20 2003-09-24 オーディア テクノロジー インク 多重マイクロフォン・システムのための方向処理
US6865275B1 (en) 2000-03-31 2005-03-08 Phonak Ag Method to determine the transfer characteristic of a microphone system, and microphone system
JP4410378B2 (ja) * 2000-04-14 2010-02-03 三菱電機株式会社 音声認識方法および装置
US7457426B2 (en) * 2002-06-14 2008-11-25 Phonak Ag Method to operate a hearing device and arrangement with a hearing device
JP3910898B2 (ja) * 2002-09-17 2007-04-25 株式会社東芝 指向性設定装置、指向性設定方法及び指向性設定プログラム
DE10322912A1 (de) 2003-05-21 2004-12-16 Bayer Technology Services Gmbh Verfahren zum Nachweis von Nukleinsäuren
US7319769B2 (en) * 2004-12-09 2008-01-15 Phonak Ag Method to adjust parameters of a transfer function of a hearing device as well as hearing device
JP5249207B2 (ja) * 2006-06-23 2013-07-31 ジーエヌ リザウンド エー／エス 適応性のある方向性信号処理を備えた補聴装置
DE102006047982A1 (de) * 2006-10-10 2008-04-24 Siemens Audiologische Technik Gmbh Verfahren zum Betreiben einer Hörfilfe, sowie Hörhilfe
US8325957B2 (en) * 2006-10-10 2012-12-04 Siemens Audiologische Technik Gmbh Hearing aid and method for operating a hearing aid
DE102007008739A1 (de) * 2007-02-22 2008-08-28 Siemens Audiologische Technik Gmbh Hörvorrichtung mit Störsignaltrennung und entsprechendes Verfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003516646A (ja) * 2000-03-31 2003-05-13 フォーナック アーゲー マイクロホン装置の伝達特性処理方法、同方法を適用するマイクロホン装置及びこれらを適用する補聴器
JP2004527177A (ja) * 2001-04-18 2004-09-02 ヴェーデクス・アクティーセルスカプ 指向性コントローラおよび補聴器を制御する方法
JP2004133403A (ja) * 2002-09-20 2004-04-30 Kobe Steel Ltd 音声信号処理装置

Also Published As

Publication number Publication date
EP2445230A4 (en) 2016-05-18
WO2010146857A1 (ja) 2010-12-23
US8654998B2 (en) 2014-02-18
CN102428716A (zh) 2012-04-25
US20120063620A1 (en) 2012-03-15
EP2445230A1 (en) 2012-04-25
JPWO2010146857A1 (ja) 2012-11-29
CN102428716B (zh) 2014-07-30

Similar Documents

Publication Publication Date Title
JP5409786B2 (ja) 補聴装置
US10097921B2 (en) Methods circuits devices systems and associated computer executable code for acquiring acoustic signals
CN108428452B (zh) 终端支架和远场语音交互系统
JP6596049B2 (ja) ハンズフリー通話機器の通話品質を向上させる方法、装置及びハンズフリー通話機器
TWI390945B (zh) 聲波通信用之方法及系統
JP4870130B2 (ja) イア・バイオメトリックスを使用してハンドヘルド・オーディオ・デバイス（ｈａｎｄｈｅｌｄａｕｄｉｏｄｅｖｉｃｅ）を設定する方法および装置
US20060271370A1 (en) Mobile two-way spoken language translator and noise reduction using multi-directional microphone arrays
US10075801B2 (en) Information processing system and storage medium
US20160048508A1 (en) Universal language translator
US11227125B2 (en) Translation techniques with adjustable utterance gaps
WO2014161309A1 (zh) 一种移动终端实现声源定位的方法及装置
US20190138603A1 (en) Coordinating Translation Request Metadata between Devices
TW200808095A (en) Oscillation/echo canceller system
WO2021244056A1 (zh) 一种数据处理方法、装置和可读介质
JP2004279241A (ja) 音源位置取得システム、音源位置取得方法、該音源位置取得システムに使用するための音反射要素および該音反射要素の形成方法
US11068233B2 (en) Selecting a microphone based on estimated proximity to sound source
CN105827793A (zh) 一种语音定向输出方法及移动终端
CN114333886A (zh) 音频处理方法、装置、电子设备及存储介质
JP4840082B2 (ja) 音声通信装置
KR102088216B1 (ko) 자동 통역 시스템에서 크로스토크를 감소시키는 방법 및 장치
US20230197084A1 (en) Apparatus and method for classifying speakers by using acoustic sensor
JP2006086877A (ja) ピッチ周波数推定装置、無声信号変換装置、無声信号検出装置、無声信号変換方法
Fulop Reviews of Acoustical Patents
CN117392995A (zh) 基于多模态的话者分离方法、装置、设备及存储介质
JP2011199764A (ja) 発言者音声抽出システム、発言者音声抽出装置及び発言者音声抽出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131105

R150 Certificate of patent or registration of utility model

Ref document number: 5409786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350