JP4769336B2 - 補聴器の調整装置、方法およびプログラム - Google Patents

Description

本発明は、補聴器の調整を行うための技術に関する。より具体的には、本発明は、補聴器の利用時にユーザが聞こえにくいと感じた音素を、ユーザの脳波を利用して特定し、よりよく聞こえるよう補聴器の補正処理を調整する技術に関する。

近年、社会の高齢化あるいは大音量の音楽を長時間聴く機会が増えたなどの影響により、老人性あるいは音響性の難聴者が増加している。また、補聴器の小型化・高性能化に伴って補聴器装用の敷居が低くなり、日常生活において会話をより明瞭に聞き取ることを目的に補聴器を利用するユーザが増加している。

補聴器は、音の増幅によりユーザの低下した聴力を補うための装置である。各ユーザが補聴器に求める音の増幅量は、そのユーザの聴力低下の度合いに応じて、また周波数帯に応じて異なる。そのため補聴器の利用を開始する前には、まず、各ユーザの聴力に合わせて音の増幅量を周波数毎に調整するフィッティングが必須である。

フィッティングは、一般的にはユーザごとのオージオグラムに基づいて行われる。「オージオグラム」とは、各周波数の純音に対する聞こえの評価の結果であり、たとえば、複数の周波数の音のそれぞれについて、そのユーザが聞き取ることが可能な最も小さい音圧レベル（デシベル値）を周波数に応じてプロットした図である。オージオグラムは補聴器店や病院において作成される。

補聴器店や病院は、まず、ユーザごとのオージオグラムを作成する。そして、オージオグラムから快適に聞こえる音圧レベルに増幅するための調整方法であるフィッティング手法に基づいて増幅量を決定し初期調整を行う。

補聴器店では、必要に応じてさらに、単音節の音声をひとつずつ口頭やＣＤによってユーザに呈示し、実際に語音が聞き取れたか否かの評価をする語音明瞭度評価を実施し、補聴器の微調整を行う。このような評価と補聴器の調整の繰り返しによって、ユーザの聞こえに応じた特性を持った補聴器を得ることができる。

しかし、このように丁寧に調整を行っても必ずしも満足のいく補聴器の調整はできないという課題があった。それは補聴器の評価および調整は補聴器販売店にて、販売店の専門家によって行われるからである。

より具体的に説明すると補聴器ユーザが実際に補聴器を装用するのは日常の生活場面であり、それは家庭内であったりテレビの視聴時であったり、外出中であったりするため、状況ごとに最適な補聴器の調整は異なると考えられる。従来は日常生活で補聴器の調整に不満があった場合には、その場面を覚えておき（例えば、会話は良く聞こえたがテレビを見ているときにはうるさかった、補聴器店の専門家との会話は問題なかったが家族との対話ではまだ聞き取りづらい、など）、それを補聴器販売店にて専門家に伝え、その結果をもとに専門家が再調整を行っていた。

この調整の困難さは、ユーザは記憶をたどりながら、過去の聞こえにくかった体験をその場面と聞こえにくさを説明し、専門家はその対話の中から補聴器の調整可能な多数の項目の中から適切なものを推定する必要がある点にある。もともと聞こえの主観的表現はばらつきが大きく、さらに記憶に基づくという点でさらに調整が困難になっている。

このような課題に対する解決策として、日常生活場面で自動的に再調整をするアプローチが考えられる。このアプローチに対する従来の関連技術としては、特に口頭報告による聞こえの評価ではなく脳波等の客観的な指標に基づいて評価を行う技術（特許文献１）、外部環境音の変化に応じて再生音を調整する技術（特許文献２）、複数のフィッティングパラメータを保持して切り替える技術（特許文献３）などが知られている。

特許文献１は、脳波を用いて純音に対する各周波数の聴覚特性の評価をＡＳＳＲ（Ａｕｄｉｒｏｔｙ Ｓｔｅａｄｙ−Ｓｔａｔｅ Ｒｅｓｐｏｎｓｅ）を用いて行うもので、これによりユーザごとにばらつきの大きな口頭報告をせずに評価が可能になる。

特許文献２は、外部環境音の変動に対しても常時同じ音質の音楽が再生できるようにするものであり、これによりある程度の外部環境音の変動に適応できる。

特許文献３は、複数のフィッティングパラメータをあらかじめ保持しておき、生活場所の音環境に合わせてフィッティングのパラメータを切り替えるものである。

特表２００３−５３３２５８号公報 特許第４１４５５０７号明細書 特許第３４８２４６５号明細書

これらの技術は、聞こえを生活場面ごとに異なる音環境に適応させる技術であり、口頭報告なしで聞こえ評価をするには有用である。

しかしながら、これらを利用しても、日常生活での聞こえ評価をユーザの手間なしに実現し、その場で補聴器の再調整を実現することはできない。換言すれば、日常生活でユーザが聞き取りにくいと感じた音を客観的に検出し、自動的に調整することができない。たとえば特許文献１は、ユーザの純音に対する聞こえ評価はできるが、会話音に対する評価は行えない。特許文献２は、外部音に応じた調整はある程度可能であるが、ユーザがどう聞こえたかに応じた調整はできない。そして、特許文献３では、複数の調整パラメータは保持するが、すべての状況に適したパラメータは必ずしも準備されない。

ユーザにとっては、音環境に関わらずユーザ自身が補聴器を通して聞く今の音を聞き取りやすいかどうかが、補聴器を調整すべきか否かの基準である。特に聞き取りにくかった音素を特定できれば、その音素のみの聞こえを改善する調整が可能になる。一般的に、補聴器の個別の調整方法によると、特定の音素に対しては効果があっても他の音素に対しては悪影響を及ぼす等の弊害がある。従来の調整方法を利用する限り、すべての音に対する調整を行わなければならないが、そのような調整は困難である。したがって、従来の調整方法ではない方法により、聞き取りにくい音素を対象にしつつも、他の音素には悪影響を及ぼさない調整方法が有効である。

本発明の目的は、ユーザが日常生活場面で遭遇する様々な音環境に対して特に口頭報告や手動の調整をしなくても補聴器側でその調整が必要なタイミングおよび聞こえの改善が必要な音素を特定し、自動的に再調整ができる補聴器の再調整装置を実現することにある。

本発明による、補聴器の調整装置は、周囲の音を集音し、音声信号を出力する集音部と、前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力する音声切出部と、ユーザの脳波信号を計測する脳波計測部と、前記脳波計測部で計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点とした事象関連電位に基づき、前記音素または音節に対する聞こえにくさを判定する聞こえ判定部と、前記聞こえ判定部において複数の音素または音節に対して聞こえにくいと判定された場合に、前記複数の音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定する音素特定部と、前記音素特定部で特定された前記音素または音節に対して、前記音素の種類に応じてゲイン調整方法を決定し、決定したゲイン調整方法で前記音素または音節のゲインを調整するゲイン調整部とを備えている。

前記聞こえ判定部は、前記事象関連電位のうち、前記音素または音節が発声された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位に所定の特徴成分が含まれているか否かに基づいて前記音素または音節に対する聞こえにくさを判定してもよい。

前記脳波計測部は、前記ユーザの国際１０−２０法におけるＰｚ周辺に設置された電極を利用して、前記脳波信号を計測してもよい。

前記聞こえ判定部は、前記事象関連電位に陽性成分が含まれているときは前記音素または音節が聞こえにくいと判定してもよい。

前記脳波計測部は、前記ユーザの国際１０−２０法におけるＣｚ周辺に設置された電極を利用して、前記脳波信号を計測してもよい。

前記聞こえ判定部は、前記事象関連電位に陰性成分が含まれているときは前記音素または音節が聞こえにくいと判定してもよい。

前記ゲイン調整部は、前記音素特定部で特定された音素の種類に応じて、複数種類のゲイン調整方法のいずれかから、前記音素の種類に応じたゲイン調整方法を選択してもよい。

本発明による、他の調整装置は、周囲の音を集音する集音部で集音された周囲の音の音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力する音声切出部と、ユーザの脳波信号を計測する脳波計測部で計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点とした事象関連電位に基づき、前記音声に対する聞こえにくさを判定する聞こえ判定部と、前記聞こえ判定部において複数の音素または音節に対して聞こえにくいと判定された場合に、前記複数の音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定する音素特定部とを備えており、前記音素特定部で特定された音素の情報を出力する。

前記調整装置は、前記音素特定部で特定された音素の情報を、音素のゲインを調整するゲイン調整部に出力してもよい。

本発明による補聴評価装置は、周囲の音を集音し、音声信号を出力する集音部と、前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力する音声切出部と、ユーザの脳波信号を計測する脳波計測部と、前記脳波計測部で計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点とした事象関連電位に基づき、前記音素または音節に対する聞こえにくさを判定する聞こえ判定部と、前記聞こえ判定部において複数の音素または音節に対して聞こえにくいと判定された場合に、前記複数の音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定し、特定した結果を蓄積する音素特定部とを備えている。

本発明による、補聴器の調整方法は、周囲の音を集音し、音声信号を出力するステップと、前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力するステップと、ユーザの脳波信号を計測するステップと、計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点とした事象関連電位に基づき、前記音素または音節に対する聞こえにくさを判定するステップと、前記判定するステップにおいて複数の音素または音節に対して聞こえにくいと判定された場合に、前記複数の音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定するステップと、特定された前記音素または音節に対して、前記音素または音節の種類に応じてゲイン調整方法を決定し、決定したゲイン調整方法で前記音素または音節のゲインを調整するステップとを包含する。

本発明によるコンピュータプログラムは、補聴器の調整のためのコンピュータプログラムであり、コンピュータによって実行されることにより、前記コンピュータに対し、集音された周囲の音の音声信号を受け取るステップと、前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力するステップと、計測されたユーザの脳波信号を受け取るステップと、前記脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点とした事象関連電位に基づき、前記音素または音節に対する聞こえにくさを判定するステップと、前記判定するステップにおいて複数の音素または音節に対して聞こえにくいと判定された場合に、前記複数の音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定するステップと、特定された前記音素または音節に対して、前記音素または音節の種類に応じてゲイン調整方法を決定し、決定したゲイン調整方法で前記音素または音節のゲインを調整するステップとを実行させる。

本発明によれば、補聴器を装着しているユーザが聞こえにくいと感じたタイミングおよびその音素を脳波解析により特定し、ユーザの聞こえを推定する。その結果得られた情報に基づき、聞こえにくいとして特定された音素に適した調整を行う。ユーザが聞こえにくいと思ったその場で補聴処理の調整を行うことができる。したがって、たとえばユーザは聞こえにくさの状況を記憶して補聴器販売店まで出向いて専門家に説明して再調整を受けるという手間が不要になる。

行動実験の実験手順の概要を示す図である。 ３つの条件に対応する周波数ごとのゲイン調整量を示す図である。 １試行分の手順を示すフローチャートである。 ボタン押しの結果により分類した参加者の音声聞き分けの自信度と、ボタン押しの正誤の確率を示した図である。 国際１０−２０法の電極位置を示した図である。 脳波計測実験の実験手順の概要を示す図である。 １試行分の手順を示すフローチャートである。 音声呈示を起点としたＰｚにおける事象関連電位を、聞き分け自信度に基づき総加算平均した波形図である。 電極位置Ｃ３、Ｃｚ、Ｃ４における音声呈示を起点とした事象関連電位の７００ｍｓから９００ｍｓの区間平均電位を聞き分け自信度ごとに示した図である。 本願発明者らによってまとめられた、陽性成分の有無と、聞き分け自信度および聞きやすさの対応関係を示す図である。 補聴器の再調整システム１００の構成および利用環境を示す図である。 再調整システム１００の使用シーンを例示する図である。 本実施の形態による補聴器の再調整システム１００のハードウェア構成を示す図である。 （ａ）は、補聴器のみで行われる処理の手順を示す図であり、（ｂ）は、本実施形態による補聴器の再調整システム１００の処理を組み合わせたときの手順の概要を示す図である。 音声切出部５の処理の詳細を示す図である。 音声切出部５の処理の具体的な説明図である。 聞こえ判定部７が行う処理の手順を示すフローチャートである。 聞こえ判定処理のデータ処理の例を示す図である。 音素特定部８が行う処理の手順を示すフローチャートである。 音素特定の処理の原理となる聴覚上の特性のデータを示す図である。 聞こえにくいとされた音節が含んでいる子音の種類によって、行うべき調整方法が異なることを示す例である。 補聴評価装置１１２の構成を示す図である。

以下、添付の図面を参照しながら、本発明による「補聴器の再調整装置」の各実施形態を説明する。

本発明による補聴器の再調整装置の構成には、下記の２点の技術的事項が含まれている。その１つは、脳波計測による聞こえやすさ（聞き分けの自信度）を評価する点、他の１つは、連続音声に対して脳波計測によって聞こえやすさを評価した場合においてどの音素に対して聞こえにくかったかを特定する点である。

第１の技術的事項である、脳波計測による聞き分けの自信度の評価に関しては、本願発明者らはユーザの回答入力をしなくても語音明瞭度評価を実現するための独自に考案した２種類の実験を実施した。そして、従来の純音に対する評価ではなく、語音に対する評価が可能になるための指標を発見した。

実施形態の説明に先だって、まず、この２種類の実験内容とそこから得られた新たな知見を説明する。

なお第２の技術的事項は、本願発明者らが、第１の実験結果と複数語音が連続した場合の聴覚研究の知見から着想を得たものである。第２の技術的事項については、実施形態の説明中で詳述する。

本願発明者らは、ユーザによる口頭報告を必要としない語音明瞭度評価を実現するために、以下の行動実験と脳波計測実験を実施した。

本願発明者らは、まず音声の聞き分けの自信度と異聴発生確率との関係を調べる行動実験を実施した。具体的には、単音節の語音を音声と文字（平仮名）で順に呈示し、ユーザに音声と文字が同一であったか否かを確認させ、音声聞き取りの自信度をボタンで回答させた。その結果、本願発明者らは、音声の聞き分け自信度が高い場合には異聴の発生確率が１０％以下と低く、聞き分け自信度が低い場合には異聴の発生確率が４０％以上と高いことを確認した。

つぎに本願発明者らは、単音節の語音を音声で呈示し、音声呈示に対する反応を調べる脳波実験を実施した。そして行動実験で取得した聞き分け自信度に基づき脳波の信号成分のひとつである事象関連電位を加算平均した。その結果、音声刺激を起点とした事象関連電位において、音声聞き分けに対する自信度が低い場合と比べて高い場合には、頭部中心部周辺において潜時７００ｍｓから９００ｍｓに陽性成分が惹起されることを発見した。

これらの行動実験と脳波実験に基づく発見から、音声呈示を起点とした頭部中心部付近の事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分の有無で音声の聞き分け自信度を判定可能であり、それに対応する語音明瞭度を評価可能であることを見出した。従来、語音明瞭度評価はユーザの口頭などでの回答の正誤に基づいて行われたが、本手法により、実際に音声を正しく聞き分けられたか否かではなく、ユーザが音声を聞き分けられたと思ったか否かに基づいて語音明瞭度評価が実現される。

１．行動実験
本願発明者らは、音声の聞き分けに関する自信度と異聴発生確率との関係を調べるために、行動実験を実施した。以下、図１から図３を参照しながら、実施した行動実験の実験設定および実験結果を説明する。

実験参加者は、正常な聴力を有する大学・大学院生６名であった。

図１は、行動実験の実験手順の概要を示す。

まず、手順Ａにおいて単音節の音声を呈示した。刺激語音は、「補聴器フィッティングの考え方」（小寺一興、診断と治療社、１９９９年、１７２頁）を参照して、相互に聞き取り間違いが多いとされるナ行／マ行のペア、ラ行／ヤ行のペア、カ行／タ行のペアから選択した。実験参加者には音声を聞いて対応する平仮名を思い浮かべるよう教示した。正常な聴力を有する参加者において音声ごとに聞き分け自信度が分散するように、周波数ゲインを加工した３条件の音声を呈示した。（１）０ｄＢ条件：聞き分けやすい音声として周波数ゲインの加工をしなかった。（２）−２５ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−２５ｄＢまで調整（低減）した。（３）−５０ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−５０ｄＢまで調整（低減）した。図２は、条件（１）〜（３）のそれぞれにおける周波数ごとのゲイン調整量を示す。高周波数の周波数ゲインを低減させた理由は、高齢者の難聴の典型的なパターンを再現するためである。一般の高齢難聴者は高周波数の音を聞き取りにくい。高周波数の周波数ゲインを低減させることにより、健聴者に高齢難聴者の聞こえ難さと同等の聞こえを模擬させることができる。

次に手順Ｂにおいて実験参加者にキーボードのスペースキーを押させた。手順Ｂは手順Ｃに進むためのボタン押しで、実験では参加者のペースで手順Ｃの文字刺激を呈示するために付加した。このボタンは「次へ」ボタンとも言及する。

手順Ｃにおいてディスプレイに平仮名を一文字呈示した。一致試行として手順Ａで呈示した音声と一致する文字を、不一致試行として音声とは一致しない平仮名をそれぞれ０．５の確率で呈示した。一致しない平仮名は一般的に聞き取り間違いが多いとされるナ行とマ行、ラ行とヤ行、カ行とタ行をペアとして母音は揃えて音声とは異なる行の文字を選んだ。たとえば、手順Ａにおいて平仮名「な」を呈示した場合、一致試行では手順Ｃにおいて「な」を呈示し、不一致試行では手順Ｃにおいて「ま」を呈示した。

手順Ｄは、参加者が手順Ａで呈示された音声と手順Ｃで呈示された文字にどれくらい不一致を感じたかを確認するためのボタン押し（キーボードの数字の１から５）である。絶対一致と感じた場合には５を、多分一致と感じた場合には４を、わからない場合には３を、多分不一致と感じた場合には２を、絶対不一致と感じた場合には１をそれぞれ押させた。このボタン押しにおいて５または１が押された場合、参加者は結果として手順Ｃの段階で正解と不正解（異聴発生）に別れたものの手順Ａの段階で呈示された音声を聞いた時点では聞き分けに自信があったと言える。同様に、２から４が押された場合、参加者は音声の聞き分けに自信がなかったと言える。

上述の手順Ａから手順Ｄを１０８回繰り返す実験を行った（１０８試行）。

図３は、１試行分の手順を示すフローチャートである。このフローチャートでは、説明の便宜のため、装置の動作と実験参加者の動作の両方を記載している。

ステップＳ１１は単音節の音声を実験参加者に呈示するステップである。音声は０ｄＢ条件、−２５ｄＢ条件、−５０ｄＢ条件の３条件をランダムな順序で呈示した（手順Ａ）。

ステップＳ１２は参加者が単音節の音声を聞いて対応する平仮名を思い浮かべるステップである。なお、「平仮名」とは、日本語において発音を表す文字（表音文字）である。

ステップＳ１３は参加者が次へボタンとしてスペースキーを押すステップである（手順Ｂ）。

ステップＳ１４はステップＳ１３を起点に５０％の確率で音声と一致または不一致な平仮名を文字でディスプレイに呈示するステップである（手順Ｃ）。

ステップＳ１５は参加者がステップＳ１２で思い浮かべた平仮名とステップＳ１４で呈示された平仮名とが一致したか否かを確認するステップである。

ステップＳ１６は参加者がステップＳ１５でどれくらい一致／不一致と感じたかを１から５の数字キーで回答するステップである（手順Ｄ）。

以下、行動実験の実験結果を示す。

図４は、ボタン押しの結果により分類した参加者の音声聞き分けの自信度と、ボタン押しの正誤の確率を示した図である。聞き分けの自信度は以下のように分類した。５（絶対一致）または１（絶対不一致）が押された場合を聞き分け自信度「高」とた。自信度が「高」であった確率は全体の試行のうち６０．４％（８６４試行中の５２２試行）であった。４（多分一致）、３（分からない）、２（多分不一致）が押された場合を聞き分け自信度「低」とした。自信度が「低」であった確率は、全体の試行のうち３９．６％（８６４試行中の３４２試行）であった。ボタン押しの正誤は音声と文字の一致／不一致と押されたボタンにより判定した。一致試行において５（絶対一致）または４（多分一致）が押された場合、および不一致試行において１（絶対不一致）または２（多分不一致）が押された場合を正とし、それら以外を誤とした。

図４（ａ）は、聞き分け自信度が高い試行におけるボタン押しの正誤結果である。ほぼ全ての試行（９２％）において正しいボタンが選択されたことが分かる。これは、聞き分け自信度が高い場合には、正しく音声を聞き分けられることを示している。この結果により、聞き分け自信度が高い場合は語音明瞭度が高いと評価できると言える。

図４（ｂ）は、聞き分け自信度が低い試行におけるボタン押しの正誤結果である。誤ったボタンが押された確率が高いことが分かる（４２％）。これは、聞き分け自信度が低い場合には、異聴が発生しやすいことを示している。この結果により、聞き分け自信度が低い場合は語音明瞭度が低いと評価できると言える。

なお、参加者ごとの異聴発生確率は、聞き分け自信度が低い場合に有意に高かった（ｐ＜．０１）。

以上、音声に対するユーザの聞き分け自信度に基づき語音明瞭度評価が実現できる可能性が行動実験によって明らかになった。これにより、ボタン押し以外の方法で聞き分け自信度が測定できれば、その指標に基づき回答入力なしの語音明瞭度評価が実現可能となる。本願発明者らは脳波の事象関連電位に着目し、脳波計測実験を実施して音声に対する聞き分け自信度の違いを反映する脳波成分が存在するかを調べた。以下、実施した脳波計測実験を説明する。

２．脳波計測実験
本願発明者らは、音声の聞き分け自信度と音声呈示後の事象関連電位との関係を調べるために、脳波計測実験を実施した。以下、図５から図９を参照しながら、実施した脳波計測実験の実験設定および実験結果を説明する。

実験参加者は、行動実験と同一の大学・大学院生６名であった。

本願発明者らは、右耳朶を基準にして、頭皮上のＦｚ、Ｃｚ、Ｐｚ、Ｃ３、Ｃ４（国際１０−２０法）の位置に設けられた電極を用いて脳波を測定し記録した。図５は、国際１０−２０法の電極位置を示した図である。サンプリング周波数は２００Ｈｚ、時定数は１秒とした。オフラインで１−６Ｈｚのディジタルバンドパスフィルタをかけた。音声呈示に対する事象関連電位として、音声呈示を起点に−１００ｍｓから１０００ｍｓの波形を切り出した。事象関連電位の加算平均は、上記行動実験の、全ての条件（０ｄＢ・−２５ｄＢ・−５０ｄＢ）における参加者ごと語音ごとの聞き分け自信度に基づいて行った。

図６は、脳波計測実験の実験手順の概要を示す。

手順Ｘにおいて単音節の音声を呈示した。刺激語音は、行動実験と同様に「補聴器フィッティングの考え方」（小寺一興、診断と治療社、１９９９年、１７２頁）を参照して、相互に聞き取り間違いが多いとされるナ行／マ行のペア、ラ行／ヤ行のペア、カ行／タ行のペアから選択した。実験参加者には音声を聞いて対応する平仮名を思い浮かべるよう教示した。また、正常な聴力を有する参加者の、音声ごとの聞き分け自信度が分散するように、行動実験と同様に、周波数ゲインを加工した下記３条件の音声を呈示した。
（１）０ｄＢ条件：聞き分けやすい音声として周波数ゲインの加工をしなかった。
（２）−２５ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−２５ｄＢまで調整（低減）した。
（３）−５０ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−５０ｄＢまで調整（低減）した。

上述の手順Ｘを１０８回繰り返す実験を行った（１０８試行）。

図７は、１試行分の手順を示すフローチャートである。図３と同じブロックについては同一の参照符号を付し、その説明は省略する。図３との差異は、ステップＳ１３からステップＳ１６がなく、実験参加者は明示的な行動を求められない点である。

以下、脳波計測実験の実験結果を示す。

図８は、音声呈示を起点としたＰｚにおける事象関連電位を、聞き分け自信度に基づき総加算平均した波形である。加算平均は、上記行動実験の、全ての条件（０ｄＢ・−２５ｄＢ・−５０ｄＢ）における参加者ごと語音ごとの聞き分け自信度に基づいて行った。図８の横軸は時間でその単位はｍｓ、縦軸は電位でその単位はμＶである。図８に示されたスケールから明らかなとおり、グラフの下方向が正（陽性）に対応し、上方向が負（陰性）に対応している。−１００ｍｓから０ｍｓの平均電位が０となるようにベースラインをそろえた。

図８に示される破線は行動実験において聞き分け自信度が高かった場合、実線は聞き分け自信度が低かった場合の、電極位置Ｐｚにおける事象関連電位の加算平均波形である。図８によれば、聞き分け自信度が高いことを示す破線に比べて、聞き分け自信度が低いことを示す実線には、潜時７００ｍｓから９００ｍｓに陽性成分が出現していることが分かる。

参加者ごとの７００ｍｓから９００ｍｓの区間平均電位は、聞き分け自信度が高い場合は−０．４７μＶ、自信度が低い場合には０．１３μＶであった。区間平均電位をｔ検定した結果、聞き分け自信度が低い場合において区間平均電位が有意に大きかった（ｐ＜．０５）。

これらの結果から、本願発明者らは、音声呈示を起点として潜時７００ｍｓから９００ｍｓの事象関連電位の陽性成分は聞き分け自信度を反映しており、当該陽性成分は聞き分け自信度の指標として利用可能である、という結論を導き出した。０ｍｓから１０００ｍｓにおける全てのサンプリングごとにｔ検定を実施した結果、聞き分け自信度の違いによる有意差が３０ｍｓ以上持続した時間帯は７３０ｍｓから７７０ｍｓおよび８４０ｍｓから９１５ｍｓのみであった。

図９は、電極位置Ｃ３、Ｃｚ、Ｃ４における、音声呈示を起点とした事象関連電位の７００ｍｓから９００ｍｓの区間平均電位を聞き分け自信度ごとに示した図である。図９に示される黒丸線は聞き分け自信度が高かった場合、白丸線は聞き分け自信度が低かった場合の区間平均電位である。電極位置Ｃ３、Ｃｚ、Ｃ４それぞれにおいて自信度が高かった場合と低かった場合の区間平均電位のｔ検定を行った結果、いずれの部位においても有意差があった（ｐ＜．０５）。

図９によれば、電極位置Ｃｚにおいては、聞き分け自信度が高い場合に事象関連電位は陽性となり、低い場合には事象関連電位は陰性であることが分かる。事象関連電位の極性に着目すると、電極位置Ｐｚで計測したとき（図８）と電極位置Ｃｚで計測したとき（図９）とでは、極性が反転していることが分かる。聴覚刺激に対する一般的な事象関連電位としてはＰ３００成分が知られている。Ｐ３００成分は電極位置ＣｚとＰｚにおいて極性が逆転することはほとんどない。また、Ｐ３００成分の潜時３００ｍｓ付近と比較して本実験で得られた成分の潜時は７００ｍｓから９００ｍｓと異なることなどから、聞き分け自信度が低い場合に電極位置Ｐｚにおいて惹起された今回の陽性成分はＰ３００成分とは異なる成分である可能性が高い。以下の説明では主として電極位置Ｐｚにおいて計測した脳波信号を利用する例を説明するが、電極位置をＣｚとする場合には本段落冒頭記載のように極性を逆にして読み替えればよい。なお、「Ｐ３００成分」とは、「新生理心理学２巻」（宮田様監修、北大路書房、１９９７）１４ページによると、一般的にはオドボール課題において標的刺激に対して惹起される、潜時３００ｍｓ付近の事象関連電位の陽性成分である。

さらに図９によれば、電極位置Ｃ３、Ｃｚ、Ｃ４において聞き分け自信度が高かった場合の区間平均電位である黒丸線と、聞き分け自信度が低かった場合の区間平均電位である白丸線とでは、電位分布（大小関係）が異なっていることが分かる。多重比較の結果、電位分布は有意に差があった（ｐ＜．０５）。これにより、電極位置Ｃ３、Ｃｚ、Ｃ４における電位分布からも聞き分け自信度が判定可能であるといえる。

上述の電極位置Ｐｚにおける潜時７００ｍｓから９００ｍｓの陽性成分（図８）および電極位置Ｃ３、Ｃ４、Ｃｚにおける潜時７００ｍｓから９００ｍｓの特徴成分（図９）は、種々の方法によって識別可能である。たとえば潜時約７００ｍｓ付近のピーク振幅の大きさを閾値処理する方法、典型的な上記成分の波形からテンプレートを作成してそのテンプレートとの類似度を算出する方法等を用いることができる。なお、閾値・テンプレートは予め保持した典型的なユーザのものを利用してもよいし、個人ごとに作成してもよい。

また、今回の実験では音声呈示を起点とした事象関連電位に聞き分け自信度に特徴的な成分が出現することを確認するために６人の参加者のデータを４０回程度ずつ加算平均した。しかし、特徴量抽出の方法（たとえば波形のウェーブレット変換）や識別方法（たとえばサポートベクターマシンラーニング）の工夫により非加算または数回程度の少数加算でも陽性成分の識別は可能である。

本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時７００ｍｓから９００ｍｓ」と表現している。これは、７００ｍｓから９００ｍｓという特定の時刻を中心とした範囲を包含し得ることを意味している。このとき、７００ｍｓ及び９００ｍｓの境界は「潜時７００ｍｓから９００ｍｓ」に含まれる。「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に」（加我君孝ほか編集、篠原出版新社、１９９５）の３０ページに記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる。したがって、「約Ｘｍｓ」や「Ｘｍｓ付近」という語は、Ｘｍｓを中心として３０ｍｓから５０ｍｓの幅がその前後（例えば、３００ｍｓ±３０ｍｓ、７００ｍｓ±５０ｍｓ）に存在し得ることを意味している。

なお、上述の「３０ｍｓから５０ｍｓの幅」はＰ３００成分の一般的な個人差の例であるが、上記潜時７００ｍｓから９００ｍｓの陽性成分はＰ３００と比べて潜時が遅いためユーザの個人差がさらに大きく現れる。よって、より広い幅、たとえば１００ｍｓ程度の幅であるとして取り扱うことが好ましい。

以上のように、行動実験および脳波計測実験によって、本願発明者らは、（１）音声に対するユーザの聞き分け自信度に基づいて語音明瞭度を評価できること、（２）音声呈示を起点とした事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分が聞き分け自信度を反映することを発見した。これらを併せると、事象関連電位の陽性成分を指標として音声に対する聞き分け自信度を介して、聞きにくさの評価指標として利用可能である。図１０は、本願発明者らによってまとめられた、陽性成分の有無と、聞き分け自信度および聞きやすさの対応関係を示す。この対応関係は、電極位置Ｐｚの部位の陽性成分を例に作成されている。

以下、本発明の実施形態にかかる補聴器の再調整装置を説明する。補聴器の再調整装置は、日常生活で補聴器を使用しているときに集音部から入力される会話音声によって惹起された脳波を計測し、会話音声の各音素を起点とした事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分の有無を用いて、各音素の聞きやすさの評価を行う。聞きにくい音素があった場合には、再調整装置は補聴器を再調整する。

（実施形態１）
以下、図面を参照しながら補聴器の再調整装置の実施形態を説明する。

図１１は、補聴器の再調整システム１００の構成および利用環境を示す。補聴器の再調整システム１００は、補聴器部１０１および補聴調整部１０２の２つの部分を備えている。補聴器部１０１は、補聴器の働きをする部分であり、集音部２と、補聴処理部３と、出力部４とを有している。補聴器部１０１、外界の音を集音部２によって集音し、補聴処理部３によってユーザ１の聞こえ具合に応じた補聴処理を行い、その結果を出力部４からユーザに出力する。

図１２は、再調整システム１００が使用されるシーンの一例である。ユーザは補聴器１０１および再調整装置１０２が一体となった補聴器の再調整システム１００を耳に装着している。図１１の構成要素に対応する図１２の構成要素には同じ参照符号を付している。たとえば、図１１の集音部２は、補聴器につけられたマイク２に対応する。また、図１１の出力部４はユーザに音を提示するスピーカ（レシーバ）に対応する。なお、図１１の補聴処理部３は、補聴器の内部の図示されない信号処理回路（チップ回路）に対応する。

図１１の補聴調整部１０２は、補聴器部１０１の外部で追加的な処理を行う。補聴調整部１０２は、脳波計測部６と、音声切出部５と、聞こえ判定部７と、音素特定部８と、ゲイン調整部９とを有している。脳波計測部６はユーザ１の脳波を計測する。音声切出部５は集音部２にて集音された音情報から音声部分を抽出する。脳波計測部６によって計測された脳波と、音声切出部５にて特定された音情報を対応づけることで、それぞれの音情報に対する脳反応が計測される。その脳反応から、聞こえ判定部７は、聞こえやすさに関する脳波の特徴（実験とデータは説明済）を用いて聞こえを判定する。その後、聞こえの判定結果に関し、脳波の潜時ずれが原因で複数の文字に対して聞こえにくいと判定された場合には、音素特定部８により、そのあいまいさを解消する処理を行い、ゲイン調整部９によってそれぞれの聞こえにくさに対応する調整を実施する。この調整は補聴処理部３に対して行われ、以後の補聴器部１０１の補聴処理に反映される。

図１１の補聴調整部１０２は、図１２に示す回路１０２などに対応する。より具体的に説明すると、図１１の補聴調整部１０２の脳波計計測部６は、生体信号を増幅する回路である脳波計本体６ａ、電極６ｂおよび電極６ｃを有している。脳波は、頭部およびその周辺に装着された少なくとも２つの電極間の電位差を計測することにより、計測される。この事例では、補聴器本体１０１とユーザの耳とが接触する部分に、電極６ｂおよび６ｃが設置してある。最近は、性能や使用感の向上のため両耳に補聴器を同時に装着する場合もあり、この場合には脳波計測は両耳の間の電位を計測でき、脳活動をより計測しやすくなる。

上述の脳波計測実験では電極を頭皮上に配置した。しかしながら、他の位置に電極を配置することも可能であると考えられる。図９に示したように聞き分け自信度が高い場合であっても低い場合であってもＣ３−Ｃｚ−Ｃ４の電位分布のパターンは反転している。よって、電極位置Ｃ３、Ｃ４よりもさらに外側の耳位置に電極を配置した場合でも聞き分け自信度の判定は可能であると考えられる。

その他の補聴調整部１０２の構成要素は、主に信号処理を行う機能部分である。これらは、図１３に示されるように、補聴器本体に内蔵された部品として実現される。部品とは、例えばＤＳＰ、メモリ等が想定される。以下、より詳しく説明する。

図１３は、本実施形態による補聴器の再調整システム１００のハードウェアの構成を示す。補聴器の再調整システム１００のハードウェアとして、補聴器部１０１の信号処理を行うＣＰＵ１０１ａ、ＲＡＭ１０１ｂ、ＲＯＭ１０１ｄが設けられている。ＲＡＭ１０１ｂ内には処理のプログラム１０１ｃが格納されている。同様に、補聴調整部１０２の信号処理を行うＣＰＵ１０２ａ、ＲＡＭ１０２ｂ、ＲＯＭ１０２ｄが設けられている。ＲＡＭ１０２ｂ内には処理のプログラム１０２ｃが格納されている。

外部との入出力関係のデバイスとしては、集音部２としてマイク２ａおよび音声入力回路２ｂが設けられ、出力部４としてスピーカ（レシーバ）４ａおよび音声出力回路４ｂが設けられている。脳波計測部６に関しては、脳波計６ａ、電極６ｂ、電極６ｃが設けられている。

それぞれのデバイスは、バス１００ａによって相互に接続され、データの授受が可能である。例えば、集音部２で集音された音声の信号は、ＲＡＭ１０１ｂに格納されたプログラム１０１ｃによってＣＰＵ１０１ａで補聴処理がなされ出力部４に送られる。

なお、補聴器の再調整システム１００は、１組のＣＰＵ、ＲＡＭ、ＲＯＭで構成されてもよいし、半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ、ＲＡＭ、ＲＯＭ、音声の入出力回路等の機能を全て実現できる。

また、上述のコンピュータプログラム１０１ｃ、１０２ｃは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。

次に、このような補聴器の再調整システム１００における処理について、図１４〜２２を用いて詳細に説明する。

図１４（ａ）は、通常の補聴器で行われる処理の手順を示し、図１４（ｂ）は、本実施形態による補聴器の再調整システム１００の処理を組み合わせたときの手順の概要を示す。概要のみの説明で不十分なステップについては、より詳細なフローチャートに基づいて後に説明する。

図１４（ａ）は補聴器の処理の流れの概要である。

ステップＳ２０において、集音部２は外部の音を集音する。

ステップＳ３０において、補聴処理部３は補聴処理を行う。補聴処理とは、ステップＳ２０で収録された音を周波数毎のパワーに分解し、それぞれの周波数毎に所定の増幅を行い、再度音声に戻す処理である。この周波数毎に所定の増幅を行うことを本明細書では「補聴処理」と呼び、周波数毎にどの程度のゲインで調整すべきかの所定の値を変更することを「ゲイン調整」と呼ぶ。

ステップＳ４０において、出力部４は、補聴処理が行われた結果をユーザに出力する。具体的には出力部４が調整後の音声を出力することで、ユーザ１は、調整する前に比べて聞きやすい音声として聞くことができる。

上述の処理に対して、図１４（ｂ）は再調整システムの処理の流れの概要を示す。図中で補聴器の処理と同様の処理が行われるステップには図１４（ａ）で使用した番号と同じ番号を付与し、その説明を省略する。ここで補聴器処理と異なる部分は、補聴器の処理ステップＳ２０とステップＳ３０に挟まれたステップＳ５０〜Ｓ９０の部分で、ここで補聴調整処理が行われる。

ステップＳ５０では、音声切出部５は音声信号を切り出す。本願発明者らによる上述の脳波実験では、音声は一音ずつ呈示された。しかしながら、ユーザの日常的な場面では連続音声を聞くことになるため、音声信号の切り出しが必要になる。

ステップＳ６０では、脳波計測部６は、脳波を計測する。脳波計は近年小型化が進み、低消費電力化も進んでいるため、補聴器に脳波計が組み合わされた機器も実現可能である。小型化された脳波計の電極の位置は、補聴器の再調整システム１００が片耳を利用して装着されるタイプであれば、たとえば補聴器と頭部の皮膚が接触する部分に複数設置すればよい。または、補聴器の再調整システム１００が両耳を利用して装着されるタイプであれば両耳で電極設置が可能である。後者の場合には両耳間の脳波も使用できる。また、ヘッドフォン型のような形状であれば頭部の脳波も計測可能になる。

計測される脳波は、様々な情報を含むと考えられるが、事象関連電位のように刺激呈示と関係付けることで、音声呈示に対する誘発電位の傾向をつかむことができる。

ステップＳ７０では、聞こえ判定部７は、音声切出部５にて切り出された音声信号に対応する脳波信号を抽出する。各脳波成分を抽出することで、聞こえ判定部７は、聞こえ具合の判定を行う。

ステップＳ８０では、音素特定部８は、聞こえ判定部７の出力結果のうち、聞きにくかった音声の候補が複数存在していた場合には本当に聞きにくかった部分を特定する。

ステップＳ９０では、ゲイン調整部９は、聞きにくい音素または音節に対するゲインを調整する。一般的に補聴器の個別の調整方法は特定の音素には効果があるが他の音素には悪影響を及ぼす等、すべての音に対する調整は難しく、聞きにくい音素を対象にした調整が有効である。

次に、上記フローのうち、発明の内容と特に関連が深い音声信号の切り出し処理（ステップＳ５０）、聞こえ判定処理（ステップＳ７０）、音素特定処理（ステップＳ８０）、および、ゲイン調整処理（ステップＳ９０）については、さらに個別のフローチャートと図面によりその処理の詳細を説明する。

図１５は音声切出部５の処理の流れの詳細を示し、図１６はその処理の説明図を示す。以下、図１５のフローチャートに沿って、必要に応じて図１６と対応付けながら説明する。

ステップＳ５１では、音声切出部５は集音部２により記録された音声信号を取得する。収録音声は一定の周期（タイミング）ごとに一定の長さで音声切出部５に取り込まれる。図１６に示す例では、音声切出部５は、「収録音声」に示される収録音声信号５１を取り込む。

ステップＳ５２では、音声切出部５は、収録音声信号５１を音響処理５２（図１６）によって音素系列に変換する。変換後の音素系列に対して、ステップＳ５３の抽出処理が行われる。

ステップＳ５２における音響処理とは、音声データの中にどのような音素や音節が含まれているかを検出する処理であり、音声認識の分野では、前処理で用いられる。具体的には、本実施形態における音響処理は、記憶してある各音素や音節の音響データ（例えば標準的な音声波形やその特徴量）を元に現在のデータと比較演算を行って、現在の発話内容を認識する処理である。

ステップＳ５３では、音声切出部５は、ステップＳ５２の音響処理の結果を受けて音素または音節の系列を抽出し出力する。図１６は、音響処理５２の結果、［ｈａｉ／ｄｏ／ｔｉ／ｒａ／ｄｅ／ｍｏ／ｉ／ｉ］という音素列５３が抽出された例を示している。本願明細書では、音節レベルで区切った音素が抽出されている。しかしながら、抽出の細かさは適宜変更してもよい。たとえば［ｈ／ａ／ｉ／ｄ／ｏ／ｕ／ｍ／ｏ］などと音素レベルで区切っても良い。また、もっと大きな単位として単語レベルや無音区間ごとで区切っても、上記と同様な処理が可能になる。単語の認定は、たとえば音声切出部５が音素列の並びと単語とを対応付けた辞書データを保持しておき、音素列５３に基づいて辞書データを参照することにより、実現してもよい。

ステップＳ５４では、音声切出部５は、出力音素列５３として抽出された各音節がどの時刻に発話されたかを対応付け、各々を対にして記憶する。

このような処理によって、最終的には現在発話されている音節情報とその音節が発話された時刻とを対応付けた情報が得られる。この対応関係を元にして、本明細書の冒頭で説明した脳波実験（事象関連電位計測実験）の知見が活用できるようになる。具体的には音節ごとに脳波を切出して個別の音節に対する脳波特徴を判断することで、聞こえの判定ができる。

次に、図１４（ｂ）のステップＳ７０に示されている聞こえ判定処理を詳細に説明する。聞こえ判定処理は、聞こえ判定部７（図１１）によって行われる。図１７は、聞こえ判定部７が行う処理の手順を示す。また図１８は、聞こえ判定処理のデータ処理の例を示す。

図１７のステップＳ７１では、聞こえ判定部７は、音声切出部５から音節情報とそれに対応した時刻情報７１（図１８）とを受け取る。時刻情報７１によれば、各音素の発声時点を特定することができる。

ステップＳ７２では、聞こえ判定部７は、脳波計測部６から脳波データを受け取った後に、音節と時刻の対応情報７１に含まれる時刻を起点に事象関連電位を抽出する。事象関連電位はある事象（この場合はある音節の発音）と関連して計測される脳波情報であり、音節が発生された時点から所定区間（例えば−１００ｍｓから１０００ｍｓの区間７２ａ）の脳波を切り出すことにより、事象関連電位が得られる。脳波は各音節に対してそれぞれ切り出される。図１８には、切り出された事象関連電位７２ｂが示されている。

ステップＳ７３では、聞こえ判定部７は、切出された事象関連電位７２ｂに対して解析のための脳波特徴を抽出する。今回注目している脳波特徴は例えば８００ｍｓ±１００ｍｓの特徴陽性成分であり、解析の特徴量は例えば潜時７００ｍｓから９００ｍｓの最大振幅や区間平均電位、その他Ｗａｖｅｌｅｔの係数等が使用される。

ステップＳ７４では、聞こえ判定部７は、ステップＳ７３で得られた脳波特徴について、聞こえにくさに関係する成分（例えばＰｚから脳波を計測した場合には後期陽性成分、ＬＰＰ（Ｌａｔｅ Ｐｏｓｉｔｉｖｅ Ｐｏｔｅｎｔｉａｌ）とも呼ばれる。）が含まれていたかを判別する。ＬＰＰが含まれたと判定された場合には、ステップＳ７５に進み、含まれないと判定された場合にはステップＳ７６に進む。

この判定方法の一例を挙げると、最大振幅や区間平均電位と所定の閾値とを比較してＬＰＰが含まれたか否かを判定すればよい。または、脳波特徴と、潜時７００ｍｓから９００ｍｓの典型的な陽性成分信号の波形から作成した脳波波形の所定のテンプレートとの類似度（たとえば相関係数）によって類似しているか否かを判定してもよい。図１８には、切り出された事象関連電位７２ｂと、聞き難いときのＬＰＰの波形７３とを比較することが模式的に示されている。比較の結果、類似している場合を「陽性成分あり」と判定し、類似していない場合を「陽性成分なし」と判定しても良い。所定の閾値やテンプレートは、予め保持した一般的なユーザの陽性成分の波形から算出・作成しても良いし、個人ごとの陽性成分の波形から算出・作成しても良い。

ステップＳ７５では、聞こえ判定部７は、「聞こえにくい」と判定する。

ステップＳ７６では、聞こえ判定部７は、「聞こえやすい」と判定する。

ステップＳ７７では、聞こえ判定部７は、聞こえの結果の保存をする。聞こえの結果は例えば判定結果７７（図１８）のようにテーブルに格納される。横軸には音節が並び、テーブル内にはその音節に対しては、判定結果が格納される。図１８に記載のように、例えば、ｈａｉ、ｒａには聞こえやすいという結果が格納され、ｄｏ、ｔｉには聞こえにくいという結果が格納されている。

このような処理を経て聞こえ判定の処理がなされ、通常の連続発話に対しても各音節に対する聞こえが評価される。

しかし、ここでどの文字が聴きにくかったかに関する課題がある。この課題は、音節の移り変わりの速さ（発話速度）と、脳波の特徴区間の幅とを比較すると、脳波の特徴区間の幅の方が広いことに起因して発生すると考えられる。

以下、具体的に説明する。標準的な発話速度はおよそ８〜１２モーラ（≒文字）程度であり、例えば日本語の１０モーラ／秒の発話速度は標準的にありえる。本実施形態の事例では、１音節はほぼ１文字に対応しているので、この場合は、ある音節が発話されて次の音節が発話されるまでの時間は１００ｍｓ前後になると想定される。

一方、本願発明者らが実施した脳波計測実験によれば聞こえにくさに関連した脳波の特徴は７００ｍｓ〜９００ｍｓに現れており、事象関連電位の分野ではかなり遅い潜時帯である。通常、事象関連電位の潜時の誤差は遅い潜時帯にいくほど大きくなる。本実施形態の事例では、対象とする事象関連電位の潜時の誤差は±１００ｍｓ程度が想定される。実際に、本願発明者らが実施した脳波実験においても有意差が確認された区間は７３０ｍｓ〜９１５ｍｓと幅が広いという特徴が認められた（図８）。

上記の両方の特性から考えると、一回の「聞こえにくい」を感じる主観的現象が発生した場合には、脳波の潜時の誤差からすると、複数（例えば２、３、４）程度の連続した音素または音節に対して脳波特徴成分が含まれると判定される可能性が高い。この場合には、例えば聞こえ判定結果７７のように複数の連続した音節（ｄｏ、ｔｉ）に対して聞こえにくいという処理結果になってしまうが、実際にはどの音節が原因かを突き止められた方がより効果的な補聴器の調整が可能になる。聞こえにくいと判定された音素または音節が複数検出された場合には、時間的に前に現れた音（最初に現れた音）が聞こえにくかった音であるとして、後述する調整処理の対象として取り扱ってもよい。

一般的に補聴器の最終段階の調整における個別の調整方法は、音素ごとに周波数特性のパターンが異なるため特定の音素には効果がある。しかしながら他の音素には悪影響を及ぼす等、すべての音に対する調整は難しく、聞きにくい音素が絞りこめた方が正確な調整が可能という特性を持っている。

このため聞こえ判定処理の後に、複数の聞こえにくい音節の候補が得られた場合には、どの音節が最も聞きにくかったかを特定する必要がある。これを本実施形態においては音素特定部８が担当し、本願発明者が着目する聴覚上の特性を活用した音素特定部８の処理を説明する。

そこで次に、図１４（ｂ）のステップＳ８０に示されている音素特定処理を詳細に説明する。音素特定処理は、音素特定部８（図１１）によって行われる。

図１９は、音素特定部８が行う処理の手順を示す。また、図２０は音素特定の処理の原理となる聴覚上の特性のデータを示す。以下、図１９のフローチャートに沿って、途中で図２０の聴覚原理と対応付けながら説明する。

ステップＳ８１では、音素特定部８は、聞こえ判定部７から音節と聞こえの評価結果を受け取る。

ステップＳ８２では、音素特定部８は、まず聞こえの評価結果の中に「聞こえにくい」が存在するかどうかを判定する。もしも「聞こえにくい」が存在しない場合には、ステップＳ８３に進み、「聞こえにくい」音節はなかったと出力して処理を終了する。「聞こえにくい」が存在した場合には、ステップＳ８４に進む。

ステップＳ８４では、音素特定部８は、「聞こえにくい」という評価結果が連続するかについて判断する。「聞こえにくい」という評価結果が連続しない場合には、ステップＳ８５に進み、「聞こえにくい」音節をその結果として出力して処理を終了する。もしも、「聞こえにくい」という評価結果が連続した場合には、ステップＳ８６に進む。ステップＳ８６に進む場合には、脳波の潜時と発話速度の関連から、音節の特定にあいまいさが残っていると判断される。

ステップＳ８６では、音素特定部８は、連続した「聞こえにくい」音節のうち、語頭に最も近い音節を、最も聞こえにくかった音節として選定し、それを結果として出力して終了する。例えば図１８の聞こえ判定結果７７においては、ｄｏとｔｉが候補として挙げられている。音素特定部８は、これらのうちｄｏを最終結果として決定することになる。

この処理が有効な理由を図２０の聴覚原理とともに説明する。

図２０は、無意味語３音節の第１音、第２音、第３音の明瞭度曲線を示す。この明瞭度曲線は、小寺一興、「補聴の進歩と社会的応用」、診断と治療社、２００６年、６７ページから引用した。この明瞭度曲線は、正常聴力者８名に対する語音明瞭度の評価結果である。横軸は自覚閾値上の検査音レベルで被験者に聞かせる音の大きさ（単位：ｄＢＳＬ）を示し、縦軸は語音明瞭度（単位：％）である。評価結果は、検査音レベルを１０〜４０デシベルの４段階に分け、そのそれぞれのレベルにおいて、第１音、第２音および第３音の明瞭度がそれぞれプロットされて表されている。

このグラフによれば３音節語において第１音がもっとも語音明瞭度が低く、その後第２音、第３音の順に明瞭度が向上することが読み取れる。

この結果は、前後の関係が使えない無意味語においても第１音が最も聴きにくい音節になる可能性があるという知見を示している。本願発明は、日常生活の対話シーンでの発話における聞き取り困難な音節を特定することを目的としている。本願発明者らは、この目的に対しても、脳波処理の結果、聞き取りにくいと判定される候補が連続して複数存在する場合には最も先頭に近い音節が最も聞き取りにくかったと判定するのが有効であると着想した。実験条件では無意味語での実験であるが日常会話では、前後の文字の関係等から単語を推定することも行われ、第１音はその前後の関係が最も活用しにくい点を考慮しても文頭に近い音節を選択するのは妥当であると考えられる。

なお、聞き取りにくい候補には、語頭の音が含まれる場合も含まれない場合も想定される。図２０の知見から考えると、語頭に近い音の方がより聴き難い傾向が見られるため、語頭に近い音が選択されることは妥当である。

また、連続音声に対してこの実験結果との関係性については、次のように考えられる。音声データは、対話文においても短くても無音区間が数多く存在し、その無音区間を切れ目として発話を捉えると連続音声も複数の単語レベルの単発的な発声の繰り返しと見なすことができる。脳波の潜時も±１００ｍｓ程度であることも考えても、数百ミリ秒の無音区間は連続音声にも見られるので、単語等の連続として差し支えないという仮定を支持すると考えた。

最後に、補聴器の再調整における最後のステップであるゲイン調整処理を説明する。ゲイン調整処理は、ゲイン調整部９（図１１）によって行われる。具体的には、音素特定部８にて特定された「聞こえにくい」音節が存在する場合には、音素特定部８は、図２１のようなテーブルを参照して、特定の補聴処理などを導入することで、聞こえにくい音のみの改善を行う。

図２１のテーブルは、聞こえにくいとされた音節が含んでいる子音の種類によって、行うべき調整方法が異なることを示した例である。ゲイン調整部９は、この表を内部のメモリまたはバッファ（図示せず）に保持し、この表に基づいて、子音部の伸長または子音部の伸長圧縮を適用する。この表は、聞こえにくい子音と、それに対応した再調整処理について補聴器関連の研究の蓄積結果（例えば、小寺一興、「補聴の進歩と社会的応用」、診断と治療社、２００６年、７８ページなど。）に基づいて予め作成されたものである。

例えば無声子音ｈや有声子音ｄ、ｇなどに対しては子音部伸長という処理が有効であり、無声子音ｔｓなどに対しては子音部伸長圧縮という処理が有効である。この表に示す規則に基づいて再調整を行うことにより、聞こえにくい子音のみの調整が行われる。

以上、説明したように本発明によれば、ユーザの聞こえにくいと感じたタイミングとその音節を脳波解析により特定し、特定された音節に適した再調整が行える。これにより、ユーザは聞こえにくさの状況を記憶して補聴器販売店まで出向いて専門家に説明して再調整を受けるという手間が不要になり、聞こえにくいと思ったその場で再調整がされてユーザの負担が軽減できる。

上述の実施形態の説明では、電極位置は、たとえば国際１０−２０法におけるＰｚ等であるとした。しかしながら、Ｐｚの位置に対応する電極位置を各ユーザにおいて厳密に特定することは困難である。よって、Ｐｚと思われる位置（Ｐｚ周辺位置）であればよい。Ｐｚ周辺位置であっても事象関連電位は正しく計測される。電極位置Ｃｚ等についても同様である。

（変形例）
以下、上述の実施形態にかかる補聴器の再調整システム１００にかかる変形例を説明する。

まず、補聴器の再調整装置１００は、補聴器機能を有しない形で提供されても良い。具体的には図１１における補聴調整部１０２のみが提供されてもよい。このとき、補聴器部１０１は通常の補聴器である。ただし、補聴器部１０１は、ゲイン調整を外部のＰＣ等から行うためのインタフェースを備えている。補聴調整部１０２の音声切出部５は、このインタフェースを介して補聴器部１０１の集音部２から音声の情報（音声信号）を受け取る。そして、補聴調整部１０２から補聴器部１０１の補聴処理部３にゲイン調整の指示が渡される。なお、補聴器部１０１がゲイン調整のみを受け取るタイプであってもよい。このときは、補聴調整部１０２は別途、集音部と同等の機能を備えていればよい。

また、補聴調整部１０２からゲイン調整部９を省略し、評価のために使用することも可能である。さらに、補聴調整部１０２は、評価結果を外部に設けられたゲイン調整器（図示せず）に出力してもよい。ゲイン調整器はゲイン調整部９と同等の機能を有していればよい。

さらに、補聴調整部１０２から脳波計測部６を省略してもよい。脳波計測部６を補聴調整部１０２の外部に設け、補聴調整部１０２と接続してもよい。

図２２は、変形例にかかる補聴評価装置１１２の構成を示す。補聴評価装置１１２と補聴調整部１０２（図１１）との相違点は、補聴評価装置１１２には図１１のゲイン調整部９が設けられていないこと、および、集音部２を備えていることにある。他の構成は共通するため、各構成要素の説明は省略する。

この構成によれば、評価データの収集を行うことが可能である。図１２に示す例との対比では、補聴評価装置１１２には出力部４は必ずしも必須ではなくなり、また補聴評価装置１１２は、補聴調整部１０２のように小型化される必要もない。

また、図２２に示す補聴評価装置１１２の構成から、集音部２および／または脳波計測部６が省略されてもよい。集音部２および／または脳波計測部６を外部に設け、それらと補聴評価装置１１２とを接続することにより、図２２に示す補聴評価装置１１２と同じ動作を実現することも可能である。たとえば、補聴評価装置１１２を、高性能なマイクと、サイズがより大きな、医療用・研究用の脳波計と、ＰＣとで構成することも可能である。小型化のための技術開発は不要であり、かつ、既存のマイク、脳波計、ＰＣおよびコンピュータプログラムを利用して実現できるため、低コストで実現できる。

使用状況のイメージとしては、例えば補聴器店内で補聴器の調整を行うフィッターが、ユーザにこの補聴評価装置１１２を装着し、対話を行っている途中の脳波から聞こえを評価する形式が考えられる。音素特定部８の機能により、対話中のどの部分でユーザは聞こえにくさを感じたかを示す評価結果の情報を内部メモリ（図示せず）に蓄積できる。または、記録された情報は、図示されないモニタに出力され、また別に設けられたゲインを聴視するためのゲイン調整器に出力される。なお、補聴評価装置１１２は評価結果の情報をリアルタイムで出力してもよい。この情報に基づいて、フィッターは適切なゲイン調整を実施できる。この方法によれば、全ての聞こえに対する自動ゲイン調整方法が確立されていない段階においても、ユーザが実際に感じる聞こえにくさに応じて補聴処理の調整が可能になる。

また、補聴評価装置１１２は、補聴器店内で調整を行う以外にも、例えばユーザが普段生活を行う職場や公共の場所や自宅でも利用され得る。たとえば補聴器を購入する前に、補聴器店で補聴評価装置１１２をユーザに貸し出してもよい。そして、ユーザが日常生活を通常通りに送ってもらう中で、補聴評価装置１１２において脳波計測がなされ、どのような状況のどの対話に対してユーザが聞こえにくさを感じたかを記録して蓄積しておく。補聴器店のフィッターは、その蓄積データを参照して最適な形式の補聴器やゲイン調整を推薦できる。

本発明の補聴器の再調整装置は、補聴器ユーザが日常的に遭遇することが想定される聞こえにくさを脳波によって検出することで、その場での再調整を可能にする。このため、補聴器を使用する場面で広く利用可能である。

２ 集音部
３ 補聴処理部
４ 出力部
５ 音声切出部
６ 脳波計測部
７ 聞こえ判定部
８ 音素特定部
９ ゲイン調整部
１０ 蓄積部
１００ 補聴器の再調整システム
１０１ 補聴器部
１０２ 補聴調整部

Claims (11)

1. 周囲の音を集音し、音声信号を出力する集音部と、
   前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力する音声切出部と、
   ユーザの脳波信号を計測する脳波計測部と、
   前記脳波計測部で計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位に所定の特徴成分が含まれているか否かに基づいて、前記音素または音節に対する聞こえにくさを判定する聞こえ判定部と、
   前記聞こえ判定部において複数の連続した音素または音節に対して聞こえにくいと判定された場合に、前記複数の連続した音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定する音素特定部と、
   前記音素特定部で特定された前記音素または音節に対して、前記音素または音節の種類に応じてゲイン調整方法を決定し、決定したゲイン調整方法で前記音素または音節のゲインを調整するゲイン調整部と
   を備えた、補聴器の調整装置。
2. 前記脳波計測部は、前記ユーザの国際１０−２０法におけるＰｚ周辺に設置された電極を利用して、前記脳波信号を計測する、請求項１に記載の調整装置。
3. 前記聞こえ判定部は、前記事象関連電位に陽性成分が含まれているときは前記音素または音節が聞こえにくいと判定する、請求項２に記載の調整装置。
4. 前記脳波計測部は、前記ユーザの国際１０−２０法におけるＣｚ周辺に設置された電極を利用して、前記脳波信号を計測する、請求項１に記載の調整装置。
5. 前記聞こえ判定部は、前記事象関連電位に陰性成分が含まれているときは前記音素または音節が聞こえにくいと判定する、請求項４に記載の調整装置。
6. 前記ゲイン調整部は、前記音素特定部で特定された音素の種類に応じて、複数種類のゲイン調整方法のいずれかから、前記音素の種類に応じたゲイン調整方法を選択する、請求項１に記載の調整装置。
7. 周囲の音を集音する集音部で集音された周囲の音の音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力する音声切出部と、
   ユーザの脳波信号を計測する脳波計測部で計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位に所定の特徴成分が含まれているか否かに基づいて、前記音声に対する聞こえにくさを判定する聞こえ判定部と、
   前記聞こえ判定部において複数の連続した音素または音節に対して聞こえにくいと判定された場合に、前記複数の連続した音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定する音素特定部とを備え、
   前記音素特定部で特定された音素の情報を出力する、補聴器の調整装置。
8. 前記音素特定部で特定された音素の情報を、音素のゲインを調整するゲイン調整部に出力する、請求項７に記載の調整装置。
9. 周囲の音を集音し、音声信号を出力する集音部と、
   前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力する音声切出部と、
   ユーザの脳波信号を計測する脳波計測部と、
   前記脳波計測部で計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位に所定の特徴成分が含まれているか否かに基づいて、前記音素または音節に対する聞こえにくさを判定する聞こえ判定部と、
   前記聞こえ判定部において複数の連続した音素または音節に対して聞こえにくいと判定された場合に、前記複数の連続した音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定し、特定した結果を蓄積する音素特定部と
   を備えた、補聴評価装置。
10. 周囲の音を集音し、音声信号を出力するステップと、
    前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力するステップと、
    ユーザの脳波信号を計測するステップと、
    計測された脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位に所定の特徴成分が含まれているか否かに基づいて、前記音素または音節に対する聞こえにくさを判定するステップと、
    前記判定するステップにおいて複数の連続した音素または音節に対して聞こえにくいと判定された場合に、前記複数の連続した音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定するステップと、
    特定された前記音素または音節に対して、前記音素または音節の種類に応じてゲイン調整方法を決定し、決定したゲイン調整方法で前記音素または音節のゲインを調整するステップと
    を包含する、補聴器の調整方法。
11. コンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    集音された周囲の音の音声信号を受け取るステップと、
    前記音声信号に含まれている音素または音節の情報を利用して、前記音素または音節が発声された時刻を特定する時刻情報を出力するステップと、
    計測されたユーザの脳波信号を受け取るステップと、
    前記脳波信号から取得される、特定した前記音素または音節が発声された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位に所定の特徴成分が含まれているか否かに基づいて、前記音素または音節に対する聞こえにくさを判定するステップと、
    前記判定するステップにおいて複数の連続した音素または音節に対して聞こえにくいと判定された場合に、前記複数の連続した音素または音節のうち時間的に前に現れた音素または音節が聞きにくかったと特定するステップと、
    特定された前記音素または音節に対して、前記音素または音節の種類に応じてゲイン調整方法を決定し、決定したゲイン調整方法で前記音素または音節のゲインを調整するステップと
    を実行させる、補聴器の調整のためのコンピュータプログラム。

Images