JP4690507B2 - 語音明瞭度評価システム、その方法およびそのプログラム - Google Patents

Description

本発明は、語音が聞き取れたか否かを評価するための技術に関する。より具体的には、本発明は、補聴器等において、音の周波数ごとの増幅量を調整して個々のユーザにとって適切な大きさの音を得る「フィッティング」の程度を評価する語音明瞭度の評価システムに関する。

近年、社会の高齢化に伴い、老人性の難聴者が増加している。また、大音量の音楽を長時間聴く機会が増えたなどの影響により、音響性の難聴者が増加している。

また、補聴器の小型化・高性能化に伴い、ユーザが補聴器を装用することに対する抵抗が少なくなっている。よって、日常生活における会話の聞き取り向上を目的に補聴器を利用するユーザが増加している。

補聴器は、ユーザが聞き取りにくい周波数の音を増幅させることにより、ユーザの低下した聴力を補うための装置である。ユーザが補聴器に求める音の増幅量は、ユーザごとの聴力低下の度合いに応じて異なる。そのため、補聴器の利用を開始する前には、まずユーザごとの聴力に合わせて音の増幅量を調整する「フィッティング」が必須である。

フィッティングは、補聴器の周波数ごとの出力音圧をＭＣＬ（ｍｏｓｔ ｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ：ユーザが快適に感じる音圧レベル）にすることを目指して行われる。フィッティングが適切でない場合には、たとえば増幅量不足により音が十分聞こえず、また、増幅しすぎた場合には、ユーザがうるさく感じる、などの問題が発生する。

フィッティングは一般的にはユーザごとのオージオグラムに基づいて行われる。「オージオグラム」とは、純音の「聞こえ」を評価した結果であり、たとえば、複数の周波数（たとえば２５０Ｈｚ、５００Ｈｚ、１０００Ｈｚ、２０００Ｈｚ、４０００Ｈｚ）の音のそれぞれについて、そのユーザが聞き取ることが可能な最も小さい音圧レベル（デシベル値）を周波数に応じてプロットした図である。

フィッティングを行うためには、まずユーザごとのオージオグラムの作成が必要である。そして、作成したオージオグラムから、ユーザごとのＭＣＬを推定するための関数であるフィッティング手法に基づいて行われる。

しかしながら、現状では全てのユーザにおいてオージオグラムのみから、会話の聞き取り明瞭度を向上させる最適な音の増幅量に決めるフィッティングの方法は未だに確立されていない。その理由としては、たとえばオージオグラムと会話の聞き取り能力とが一対一対応しないこと、難聴者は適切な大きさに感じる音圧の範囲が狭いこと、複数のフィッティング方法が混在していること、が挙げられる。

そこで、フィッティングの程度を評価するために、語音明瞭度評価が必要となる。「語音明瞭度評価」とは、実際に語音が聞き取れたか否かの評価で、単音節の語音が聞き取れたか否かの聞き取り能力の評価である。単音節の語音とは、一つの母音または子音と母音との組合せを示す（たとえば「あ」／「だ」／「し」）。補聴器装着の目的が会話の聞き分けであるため、語音明瞭度の評価結果は重要視する必要がある。

従来の語音明瞭度評価は以下のような手順で行われていた。まず、日本聴覚医学会が制定した５７Ｓ式語表（５０単音節）、または６７Ｓ式語表（２０単音節）を用いて単音節の音声をひとつずつ口頭やＣＤ再生によってユーザに聞かせる。次に、呈示された語音をどの語音に聞き取ったかを、ユーザに発話または記述などの方法で回答させる。そして、評価者が語表と回答とを照合し正答率を計算する。

しかし、上記の評価方法では、ユーザは発話または記述による回答が必要であり、評価者は手作業でユーザの回答の正誤判定をする必要がある。そのため、ユーザにとっても評価者にとっても負担が大きく時間がかかる検査であった。

そこで、たとえば、特許文献１には、評価者の負担を減らすためにパーソナルコンピュータ（ＰＣ）を用いて自動的に正誤判定を行う語音明瞭度評価方法が開示されている。具体的には、特許文献１では、ＰＣを用いてユーザに対して単音節の音声を呈示し、ユーザにマウスまたはペンタッチにより回答させ、回答をＰＣの入力として受け付け、呈示した音声と回答入力との正誤判定を自動的に行う方法が提案されている。マウスまたはペンタッチで回答入力を受けることで、ユーザの回答（発話または記述）を評価者が解読・識別する必要がなくなり、評価者の手間の大幅な削減が実現されている。

また、たとえば特許文献２には、ユーザの回答入力の負担を低減するために、音声呈示後に該当する語音の選択候補を文字で呈示する語音明瞭度評価方法が開示されている。特許文献２では、選択候補を数個に絞り、数個の文字の中から該当する語音を選択させることでユーザが文字を探す手間を低減している。なお、特許文献２においても、ＰＣを用いて回答入力を受け付けて、評価者の負担低減が実現されている。

特開平９−０３８０６９号公報 特開平６−１１４０３８号公報

しかしながら、特許文献１および特許文献２に記載の語音明瞭度評価方法では、ユーザの回答入力が必要であった。そのため、回答入力の動作はユーザの負担として依然存在している。特にＰＣ作業に慣れていない難聴者や高齢者にとっては、マウスやタッチペンを用いた回答入力は容易ではないと考えられる。また、操作ミスにより誤って異なる単音節マトリクスを選択し、結果として語音明瞭度が正しく評価されなくなる可能性もあった。

本発明の目的は、ユーザにとって煩わしい回答入力が不要な語音明瞭度評価システムを実現することにある。

本発明による語音明瞭度評価システムは、ユーザの脳波信号を計測する生体信号計測部と、単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定する呈示語音制御部と、前記呈示語音制御部が決定した語音を、音声で呈示する音声出力部と、前記生体信号計測部で計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定する特徴成分検出部と、前記特徴成分検出部の判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定する語音明瞭度評価部とを備えている。

前記事象関連電位が国際１０−２０法における電極位置Ｐｚを利用して取得され、かつ、前記事象関連電位に所定値以上の成分が存在すると、前記特徴成分検出部によって前記事象関連電位に特徴成分が存在すると判定されるときにおいて、前記特徴成分検出部が前記事象関連電位には前記特徴成分が存在しないと判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れたと判定し、前記特徴成分検出部が前記事象関連電位には前記特徴成分が存在すると判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れなかったと判定してもよい。

前記事象関連電位が、国際１０−２０法における電極位置Ｃｚを利用して取得され、かつ、前記事象関連電位に所定値以下の成分が存在すると、前記特徴成分検出部によって前記事象関連電位に特徴成分が存在すると判定されるときにおいて、前記特徴成分検出部が、前記事象関連電位には前記特徴成分が存在しないと判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れたと判定し、前記特徴成分検出部が、前記事象関連電位には前記特徴成分が存在すると判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れなかったと判定してもよい。

前記語音データベースは、複数の語音の各々について、音声、子音情報および異聴発生確率に関するグループを対応付け記憶していてもよい。

前記語音明瞭度評価部は、語音ごと、子音ごと、または、前記異聴発生確率に関するグループごとに語音明瞭度を評価してもよい。

前記語音データベースは、複数のフィッティング手法で周波数ゲインが調整された複数の音声セットを保存しており、前記語音明瞭度評価システムは、前記語音データベースに保存された音声セットを規則的またはランダムに切り換えて選択することにより、前記複数のフィッティング手法のうちの一つを選択するフィッティング手法切替部をさらに備えていてもよい。

前記音声出力部が、前記フィッティング手法切替部によって選択された音声セット内の語音を音声で呈示した場合に、前記語音明瞭度評価部は、前記語音を聞き取れたか否かの判定結果を、前記複数のフィッティング方法ごとに比較し、前記語音を聞き取れたと判定された確率が高い場合に前記ユーザに適したフィッティング方法であると判定してもよい。

本発明の他の語音明瞭度評価システムは、単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定する呈示語音制御部と、前記呈示語音制御部が決定した語音を、音声で呈示する音声出力部と、ユーザの脳波信号を計測する生体信号計測部で計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定する特徴成分検出部と、前記特徴成分検出部の判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定する語音明瞭度評価部とを備えている。

本発明による語音明瞭度評価方法は、ユーザの脳波信号を計測するステップと、単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定するステップと、決定された前記語音を、音声で呈示するステップと、 計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定するステップと、判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定するステップとを包含してもよい。

本発明によるコンピュータプログラムは、コンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、計測されたユーザの脳波信号を受け取るステップと、単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定するステップと、決定された前記語音を、音声で呈示するステップと、計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定するステップと、判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定するステップとを実行させる。

本発明によれば、音声呈示後のユーザの頭部中心部における脳波の特徴成分の有無に応じて、呈示された語音をユーザが聞き取れたか否かを定量的かつ自動的に評価できる。これにより、ユーザにとって煩わしい回答入力が不要となり、評価者にとってもユーザにとっても負担の少ない聞き取り結果の評価を実現できる。

行動実験の実験手順の概要を示す図である。 ３つの条件に対応する周波数ごとのゲイン調整量を示す図である。 １試行分の手順を示すフローチャートである。 ボタン押しの結果により分類した参加者の音声聞き分けの自信度と、ボタン押しの正誤の確率を示した図である。 国際１０−２０法の電極位置を示した図である。 脳波計測実験の実験手順の概要を示す図である。 １試行分の手順を示すフローチャートである。 音声呈示を起点としたＰｚにおける事象関連電位を、聞き分け自信度に基づき総加算平均した波形図である。 電極位置Ｃ３、Ｃｚ、Ｃ４における音声呈示を起点とした事象関連電位の７００ｍｓから９００ｍｓの区間平均電位を聞き分け自信度ごとに示した図である。 本願発明者らによってまとめられた、陽性成分の有無と、聞き分け自信度および聞きやすさの対応関係を示す図である。 実施形態１による語音明瞭度評価システム１００の構成および利用環境を示す図である。 実施形態による語音明瞭度評価装置１のハードウェア構成を示す図である。 実施形態による語音明瞭度評価システム１００の機能ブロックの構成を示す図である。 語音ＤＢ７１の例を示す図である。 語音明瞭度評価結果の例を示す図である。 語音明瞭度評価システム１００において行われる処理の手順を示すフローチャートである。 英語の場合における語音明瞭度評価結果の例を示す図である。 音声出力部１１に対応するヘッドフォンの外観を示す図である。 実施形態２による語音明瞭度評価システム２００の機能ブロックの構成を示す図である。 実施形態２による語音ＤＢ７２の例を示す図である。 フィッティング手法ＡからＣの各々における語音明瞭度評価結果として語音ごとに語音明瞭度を評価した例を示す図である。 フィッティング手法の評価結果の例を示す図である。 実施形態による語音明瞭度システム２００の処理手順を示すフローチャートである。

以下、添付の図面を参照しながら、本発明による語音明瞭度評価システムの実施形態を説明する。

本発明による語音明瞭度評価システムは、脳波を利用した語音明瞭度の評価に用いられる。より具体的には、語音明瞭度評価システムは、単音節の語音を音声で呈示し、ユーザに音声を聞き分けさせる設定で、音声呈示を起点とした、ユーザの脳波信号の事象関連電位を指標に、語音の聞き分けを評価するために用いられる。なお、本明細書において、「音声を呈示する」とは、聴覚刺激を出力すること、たとえば音声をスピーカから出力することをいう。なお、スピーカの種類は任意である。床やスタンド上に設置されているスピーカでもよいし、ヘッドフォンのスピーカでもよい。

本願発明者らは、ユーザの回答入力が不要な語音明瞭度評価を実現するために以下の２種類の実験を実施した。

本願発明者らは、まず音声の聞き分けの自信度と異聴発生確率との関係を調べる行動実験を実施した。具体的には、単音節の語音を音声と文字（平仮名）で順に呈示しユーザに音声と文字が同一であったか否かを確認させ、音声聞き取りの自信度をボタンで回答させた。その結果、本願発明者らは、音声の聞き分け自信度が高い場合には異聴の発生確率が１０％以下と低く、聞き分け自信度が低い場合には異聴の発生確率が高いことを確認した。

つぎに本願発明者らは、単音節の語音を音声で呈示し、音声に対応する語音をユーザに思い浮かべさせる設定で、音声呈示を起点に事象関連電位を計測する実験を実施した。そして、行動実験であらかじめ取得した聞き分け自信度に基づき事象関連電位を加算平均した。その結果、音声刺激を起点とした事象関連電位において、音声聞き分けに対する自信度が低い場合と比べて高い場合には、頭部中心部周辺において潜時７００ｍｓから９００ｍｓに陽性成分が惹起されることを発見した。

「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動である。ここでは、呈示された音声に関連する電位変動を意味する。

また、「潜時」とは、音声刺激が呈示された時刻を起点として陽性成分または陰性成分のピークが出現するまでの時間を示す。

これら確認および発見から、音声呈示を起点とした事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分の有無で判定可能な音声の聞き分け自信度に基づき、語音明瞭度が評価可能であることを見出した。従来、語音明瞭度評価はユーザの回答が正解かどうかのみに基づいて行われたが、本手法により、実際に音声を正しく聞き分けられたか否かではなく、ユーザが音声を聞き分けられたと思ったか否かに基づいた語音明瞭度評価が実現される。

以下で、これらをより詳細に説明する。はじめに、ユーザの回答入力が不要な語音明瞭度評価を実現するために本願発明者らが実施した行動実験および脳波計測実験について説明する。その後、実施形態としての、語音の聞き分けを評価する語音明瞭度評価装置の概要および語音明瞭度評価装置を含む語音明瞭度評価システムの構成および動作を説明する。

１．行動実験
本願発明者らは、音声の聞き分けに関する自信度と異聴発生確率との関係を調べるために、行動実験を実施した。以下、図１から図３を参照しながら、実施した行動実験の実験設定および実験結果を説明する。

実験参加者は、正常な聴力を有する大学・大学院生６名であった。

図１は、行動実験の実験手順の概要を示す。

まず、手順Ａにおいて単音節の音声を呈示した。刺激語音は、「補聴器フィッティングの考え方」（小寺一興、診断と治療社、１９９９年、１７２頁）を参照して、相互に聞き取り間違いが多いとされるナ行／マ行のペア、ラ行／ヤ行のペア、カ行／タ行のペアから選択した。実験参加者には音声を聞いて対応する平仮名を思い浮かべるよう教示した。正常な聴力を有する参加者において音声ごとに聞き分け自信度が分散するように、周波数ゲインを加工した３条件の音声を呈示した。（１）０ｄＢ条件：聞き分けやすい音声として周波数ゲインの加工をしなかった。（２）−２５ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−２５ｄＢまで調整（低減）した。（３）−５０ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−５０ｄＢまで調整（低減）した。図２は、条件（１）〜（３）のそれぞれにおける周波数ごとのゲイン調整量を示す。高周波数の周波数ゲインを低減させた理由は、高齢者の難聴の典型的なパターンを再現するためである。一般的に高齢難聴者は、高周波数の音が聞き取りにくい場合が多い。高周波数の周波数ゲインの低減により、健聴者に高齢難聴者の聞こえ難さと同等の聞こえを模擬させることができる。

次に手順Ｂにおいて実験参加者にキーボードのスペースキーを押させた。手順Ｂは手順Ｃに進むためのボタン押しで、実験では参加者のペースで手順Ｃの文字刺激を呈示するために付加した。このボタンは「次へ」ボタンとも言及する。

手順Ｃにおいてディスプレイに平仮名を一文字呈示した。一致試行として手順Ａで呈示した音声と一致する文字を、不一致試行として音声とは一致しない平仮名をそれぞれ０．５の確率で呈示した。一致しない平仮名は一般的に聞き取り間違いが多いとされるナ行とマ行、ラ行とヤ行、カ行とタ行をペアとして母音は揃えて音声とは異なる行の文字を選んだ。たとえば、手順Ａにおいて平仮名「な」を呈示した場合、一致試行では手順Ｃにおいて「な」を呈示し、不一致試行では手順Ｃにおいて「ま」を呈示した。

手順Ｄは、参加者が手順Ａで呈示された音声と手順Ｃで呈示された文字に対して、どれくらい不一致を感じたかを確認するためのボタン押し（キーボードの数字の１から５）である。絶対一致と感じた場合には５を、多分一致と感じた場合には４を、わからない場合には３を、多分不一致と感じた場合には２を、絶対不一致と感じた場合には１をそれぞれ押させた。このボタン押しにおいて５または１が押された場合、参加者は結果として手順Ｃの段階で正解と不正解（異聴発生）に別れたが、手順Ａの段階で呈示された音声を聞いた時点では聞き分けに自信があったと言える。同様に、２から４が押された場合、参加者は音声の聞き分けに自信がなかったと言える。

上述の手順Ａから手順Ｄを１０８回繰り返す実験を行った（１０８試行）。

図３は、１試行分の手順を示すフローチャートである。このフローチャートでは、説明の便宜のため、装置の動作と実験参加者の動作の両方を記載している。

ステップＳ１１は、単音節の音声を実験参加者に呈示するステップである。音声は０ｄＢ条件、−２５ｄＢ条件、−５０ｄＢ条件の３条件をランダムな順序で呈示した（手順Ａ）。

ステップＳ１２は、参加者が単音節の音声を聞いて対応する平仮名を思い浮かべるステップである。なお、「平仮名」とは、日本語において発音を表す文字（表音文字）である。後述するような英語や中国語の場合には、たとえば単音節の単語の文字列や発音記号が平仮名に相当する。

ステップＳ１３は、参加者が次へボタンとしてスペースキーを押すステップである（手順Ｂ）。

ステップＳ１４は、ステップＳ１３を起点に５０％の確率で音声と一致または不一致な平仮名を文字でディスプレイに呈示するステップである（手順Ｃ）。

ステップＳ１５は、参加者がステップＳ１２で思い浮かべた平仮名とステップＳ１４で呈示された平仮名とが一致したか否かを確認するステップである。

ステップＳ１６は、参加者がステップＳ１５でどれくらい一致／不一致と感じたかを１から５の数字キーで回答するステップである（手順Ｄ）。

以下、行動実験の実験結果を示す。

図４は、ボタン押しの結果により分類した参加者の音声聞き分けの自信度と、ボタン押しの正誤の確率を示した図である。聞き分けの自信度は以下のように分類した。５（絶対一致）または１（絶対不一致）が押された場合を聞き分け自信度「高」とした。自信度が「高」であった確率は全体の試行のうち６０．４％（８６４試行中の５２２試行）であった。４（多分一致）、３（分からない）、２（多分不一致）が押された場合を聞き分け自信度「低」とした。自信度が「低」であった確率は、全体の試行のうち３９．６％（８６４試行中の３４２試行）であった。ボタン押しの正誤は、音声と文字の一致／不一致と、押されたボタンにより判定した。一致試行において５（絶対一致）または４（多分一致）が押された場合、および不一致試行において１（絶対不一致）または２（多分不一致）が押された場合を正とし、それら以外を誤とした。

図４（ａ）は、聞き分け自信度が高い試行におけるボタン押しの正誤結果である。ほぼ全ての試行（９２％）において正しいボタンが選択されたことが分かる。これは、聞き分け自信度が高い場合には、正しく音声を聞き分けられることを示している。この結果により、聞き分け自信度が高い場合は語音明瞭度が高いと評価できると言える。

図４（ｂ）は、聞き分け自信度が低い試行におけるボタン押しの正誤結果である。誤ったボタンが押された確率が高いことが分かる（４２％）。これは、聞き分け自信度が低い場合には、異聴が発生しやすいことを示している。この結果により、聞き分け自信度が低い場合は語音明瞭度が低いと評価できると言える。

なお、参加者ごとの異聴発生確率は、聞き分け自信度が高い場合に有意に高かった（ｐ＜．０１）。

以上、音声に対するユーザの聞き分け自信度に基づく語音明瞭度評価が実現できる可能性が、行動実験によって明らかになった。これにより、ボタン押し以外の方法で聞き分け自信度が測定できれば、その指標に基づき回答入力なしの語音明瞭度評価が実現可能となる。本願発明者らは脳波の事象関連電位に着目し、脳波計測実験を実施して音声に対する聞き分け自信度の違いを反映する成分が存在するか否かを調べた。以下、脳波計測実験について説明する。

２．脳波計測実験
本願発明者らは、音声の聞き分け自信度と音声呈示後の事象関連電位との関係を調べるために、脳波計測実験を実施した。以下、図５から図９を参照しながら、実施した脳波計測実験の実験設定および実験結果を説明する。

実験参加者は、行動実験と同一の大学・大学院生６名であった。

本願発明者らは、右マストイドを基準にして、頭皮上のＦｚ、Ｃｚ、Ｐｚ、Ｃ３、Ｃ４（国際１０−２０法）の位置に設けられた電極を用いて脳波を測定し記録した。「マストイド」とは、頭蓋骨の乳様突起であり、耳の裏の付け根下部の頭蓋骨に位置する。図５は、国際１０−２０法の電極位置を示した図である。サンプリング周波数は２００Ｈｚ、時定数は１秒とした。オフラインで１−６Ｈｚのディジタルバンドパスフィルタをかけた。音声呈示に対する事象関連電位として、音声呈示を起点に−１００ｍｓから１０００ｍｓの波形を切り出した。事象関連電位の加算平均は、上記行動実験の、全ての条件（０ｄＢ・−２５ｄＢ・−５０ｄＢ）における参加者ごと語音ごとの聞き分け自信度に基づいて行った。

図６は、脳波計測実験の実験手順の概要を示す。

手順Ｘにおいて単音節の音声を呈示した。刺激語音は、行動実験と同様に「補聴器フィッティングの考え方」（小寺一興、診断と治療社、１９９９年、１７２頁）を参照して、相互に聞き取り間違いが多いとされるナ行／マ行のペア、ラ行／ヤ行のペア、カ行／タ行のペアから選択した。実験参加者には音声を聞いて対応する平仮名を思い浮かべるよう教示した。また、正常な聴力を有する参加者の、音声ごとの聞き分け自信度が分散するように、行動実験と同様に、周波数ゲインを加工した下記３条件の音声を呈示した。
（１）０ｄＢ条件：聞き分けやすい音声として周波数ゲインの加工をしなかった。
（２）−２５ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−２５ｄＢまで調整（低減）した。
（３）−５０ｄＢ条件：２５０Ｈｚ−１６ｋＨｚの周波数のゲインを段々と−５０ｄＢまで調整（低減）した。

上述の手順Ｘを１０８回繰り返す実験を行った（１０８試行）。

図７は、１試行分の手順を示すフローチャートである。図３と同じブロックについては同一の参照符号を付し、その説明は省略する。図３との差異は、ステップＳ１３からステップＳ１６がなく、実験参加者は明示的な行動を求められない点である。

以下、脳波計測実験の実験結果を示す。

図８は、音声呈示を起点としたＰｚにおける事象関連電位を、聞き分け自信度に基づき総加算平均した波形である。加算平均は、上記行動実験の、全ての条件（０ｄＢ・−２５ｄＢ・−５０ｄＢ）における参加者ごと、語音ごとの聞き分け自信度に基づいて行った。図８の横軸は時間でその単位はｍｓ、縦軸は電位でその単位はμＶである。図８に示されたスケールから明らかなとおり、グラフの下方向が正（陽性）に対応し、上方向が負（陰性）に対応している。−１００ｍｓから０ｍｓの平均電位が０となるようにベースラインをそろえた。

図８に示される実線は行動実験において聞き分け自信度が高かった場合、破線は聞き分け自信度が低かった場合の、電極位置Ｐｚにおける事象関連電位の加算平均波形である。図８によれば、聞き分け自信度が高いことを示す破線に比べて、聞き分け自信度が低い実線には、潜時７００ｍｓから９００ｍｓに陽性成分が出現していることが分かる。

参加者ごとの７００ｍｓから９００ｍｓの区間平均電位は、聞き分け自信度が高い場合には−０．４７μＶ、自信度が低い場合には０．１３μＶであった。区間平均電位をｔ検定した結果、聞き分け自信度が低い場合において区間平均電位が有意に大きかった（ｐ＜．０５）。

これらの結果から、本願発明者らは、音声呈示を起点として潜時７００ｍｓから９００ｍｓの事象関連電位は聞き分け自信度を反映しており、当該電位は聞き分け自信度の指標として利用可能である、という結論を導き出した。０ｍｓから１０００ｍｓにおける全てのサンプリングごとにｔ検定を実施した結果、聞き分け自信度の違いによる有意差が３０ｍｓ以上持続した時間帯は７３０ｍｓから７７０ｍｓおよび８４０ｍｓから９１５ｍｓのみであった。

図９は、電極位置Ｃ３、Ｃｚ、Ｃ４における、音声呈示を起点とした事象関連電位の７００ｍｓから９００ｍｓの区間平均電位を聞き分け自信度ごとに示した図である。図９に示される黒丸線は聞き分け自信度が高かった場合、白丸線は聞き分け自信度が低かった場合の区間平均電位である。電極位置Ｃ３、Ｃｚ、Ｃ４それぞれにおいて自信度が高かった場合と低かった場合の区間平均電位のｔ検定を行った結果、いずれの部位においても有意差があった（ｐ＜．０５）。

図９によれば、電極位置Ｃｚにおいては、聞き分け自信度が高い場合に事象関連電位は陽性となり、低い場合には事象関連電位が陰性であることが分かる。事象関連電位の極性に着目すると、電極位置Ｐｚで計測したとき（図８）と電極位置Ｃｚで計測したとき（図９）とでは、極性が反転していることが分かる。一般的なＰ３００成分では電極位置ＣｚとＰｚにおいて極性が逆転することはほとんどないため、聞き分け自信度が低い場合に電極位置Ｐｚにおいて惹起された陽性成分はＰ３００成分とは異なる成分である可能性が高い。「Ｐ３００成分」とは、「新生理心理学２巻」（宮田様監修、北大路書房、１９９７）１４ページによると、一般的にはオドボール課題において標的刺激に対して惹起される、潜時３００ｍｓ付近の事象関連電位の陽性成分である。

さらに図９によれば、電極位置Ｃ３、Ｃｚ、Ｃ４において、聞き分け自信度が高かった場合の区間平均電位である黒丸線と、聞き分け自信度が低かった場合の区間平均電位である白丸線とでは、電位分布パターン（大小関係）が異なっていることが分かる。多重比較の結果、電位分布パターンは有意に差があった（ｐ＜．０５）。これにより、電極位置Ｃ３、Ｃｚ、Ｃ４における電位分布パターンを用いても聞き分け自信度を判定可能であるといえる。電極位置Ｃ３、Ｃｚ、Ｃ４は、オーバーヘッド型のヘッドフォンのヘッドバンドと頭部とが接触する部位であるため、ヘッドフォンを用いて語音明瞭度評価を行う場合には電極装着が容易になる。

上述の電極位置Ｐｚにおける潜時７００ｍｓから９００ｍｓの陽性成分（図８）および電極位置Ｃ３、Ｃ４、Ｃｚにおける潜時７００ｍｓから９００ｍｓの特徴成分（図９）は、種々の方法によって識別可能である。たとえば潜時約７００ｍｓ付近のピーク振幅の大きさを閾値処理する方法、典型的な上記成分の波形からテンプレートを作成してそのテンプレートとの類似度を算出する方法等を用いることができる。なお、閾値・テンプレートは予め保持した典型的なユーザのものを利用してもよいし、個人ごとに作成してもよい。

また、今回の実験では、音声呈示を起点とした事象関連電位に、聞き分け自信度に特徴的な成分が出現することを確認するために６人の参加者のデータを聞き分け自信度ごとに４０回程度ずつ加算平均した。しかし、特徴量抽出の方法（たとえば波形のウェーブレット変換）や識別方法（たとえばサポートベクターマシンラーニング）の工夫により、非加算または数回程度の少数加算でも陽性成分の識別は可能である。

本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時７００ｍｓから９００ｍｓ」と表現している。これは、７００ｍｓから９００ｍｓという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位（ＥＲＰ）マニュアル−Ｐ３００を中心に」（加我君孝ほか編集、篠原出版新社、１９９５）の３０ページに記載の表１によると、一般的に、事象関連電位の波形には、個人ごとに３０ｍｓから５０ｍｓの差異（ずれ）が生じる。したがって、「約Ｘｍｓ」や「Ｘｍｓ付近」という語は、Ｘｍｓを中心として３０から５０ｍｓの幅がその前後（例えば、３００ｍｓ±３０ｍｓ、７００ｍｓ±５０ｍｓ）に存在し得ることを意味している。

なお、上述の「３０ｍｓから５０ｍｓの幅」はＰ３００成分の一般的な個人差の例であるが、上記潜時７００ｍｓから９００ｍｓの陽性成分はＰ３００と比べて潜時が遅いためユーザの個人差がさらに大きく現れる。よって、より広い幅、たとえば１００ｍｓ程度の幅であるとして取り扱うことが好ましい。

以上、行動実験および脳波計測実験によって、本願発明者らは、（１）音声に対するユーザの聞き分け自信度に基づいて語音明瞭度評価が行えること、（２）音声呈示を起点とした事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分が聞き分け自信度を反映することを発見した。ゆえに、事象関連電位の陽性成分を指標として用い、音声に対する聞き分け自信度を推定する方法により、回答入力なしの語音明瞭度評価が実現可能となる。図１０は、本願発明者らによってまとめられた、陽性成分の有無と、聞き分け自信度および聞きやすさの対応関係を示す。この対応関係は、電極位置Ｐｚの部位の陽性成分を例に作成されている。

以下、本発明の実施形態にかかる語音明瞭度評価システムを説明する。語音明瞭度評価システムは、単音節の語音を音声で順次呈示し、音声呈示を起点とした事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分の有無を用いて、語音の聞き取り評価を実現する。これは本願発明者らの上記２つの発見に基づき初めて実現される、ユーザの回答入力なしの語音明瞭度評価システムである。

３．実施形態１
以下、聞き分け自信度を反映した陽性成分を用いた語音明瞭度評価システムの第１の実施形態を説明する。

まず、音声を順次呈示し音声呈示時刻の各々を起点に事象関連電位を計測して、音声の聞き分け自信度が低い場合に出現する潜時７００ｍｓから９００ｍｓの特徴成分を検出し、語音の聞き取りを評価する語音明瞭度評価システムの概要を説明する。その後、語音明瞭度評価装置を含む語音明瞭度評価システムの構成および動作を説明する。

本実施形態においては、探査電極（計測極と呼ぶ場合もある）を頭頂部の位置Ｐｚに設置し、基準電極を左右どちらかのマストイドに設置して、探査電極と基準電極との電位差である脳波を計測した。上記脳波計測実験の結果で述べたように、Ｐｚに代えて、電極位置Ｃｚ、Ｃ３、Ｃ４に探査電極を装着しても聞き分け自信度の判定は可能である。基準電極は耳周辺であれば耳朶でもよいし、ヘッドフォンやメガネのイヤーパッドが接触する部分でもよい。

なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定の仕方に応じて変わる。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極の設定の仕方に応じて適切な改変を行って事象関連電位の特徴成分を検出し、語音明瞭度の評価を行うことが可能である。そのような改変例は、本発明の範疇である。

なお、上記脳波計測実験の説明においては、実験的に正常な聴力を有する参加者に対して周波数ゲインを低減させた３条件の音声を呈示して、難聴者の聞こえの状況に近い状況を再現させた。しかしながら、難聴者の語音明瞭度評価を実施する場合には聞き分けにくい語音をあえて呈示する必要はない。本実施形態では、あらかじめ測定した難聴者のオージオグラムからフィッティング手法に基づいて、周波数ごとのゲインが最適に調整された語音を呈示することを前提とする。

３．１．語音明瞭度評価システムの構成
図１１は、本実施形態による語音明瞭度評価システム１００の構成および利用環境を示す。この語音明瞭度評価システム１００は後述する実施形態１のシステム構成に対応させて例示している。

語音明瞭度評価システム１００は、語音明瞭度評価装置１と、音声出力部１１と、生体信号計測部５０とを備えている。生体信号計測部５０は少なくとも２つの電極ＡおよびＢと接続されている。電極Ａはユーザ５のマストイドに貼り付けられ、電極Ｂはユーザ５の頭皮上の位置（いわゆるＰｚ）に貼り付けられている。

語音明瞭度評価システム１００は、単音節の語音を音声でユーザ５に呈示し、音声呈示時刻を起点に計測したユーザ５の脳波（事象関連電位）において潜時７００ｍｓから９００ｍｓの陽性成分の有無を判定する。ここで、「潜時７００ｍｓから９００ｍｓ」とは、７００ｍｓ及び９００ｍｓの境界を含む、潜時７００ｍｓ以上９００ｍｓ以下を意味する。そして、呈示音声と陽性成分の有無に基づき、ユーザ５の回答入力なしに自動的に語音明瞭度評価を実現する。

ユーザ５の脳波は、電極Ａと電極Ｂとの電位差に基づいて生体信号計測部５０により取得される。生体信号計測部５０は、電位差に対応する情報を無線または有線で語音明瞭度評価装置１に送信する。図１１では、当該情報を生体信号計測部５０が無線で語音明瞭度評価装置１に送信する例を示している。

語音明瞭度評価装置１は、語音明瞭度評価のための音声の音圧制御や、音声および文字の呈示タイミングの制御を行い、ユーザ５に対して、音声出力部１１（たとえばスピーカ）を介して音声を呈示する。

図１２は、本実施形態による語音明瞭度評価装置１のハードウェア構成を示す。語音明瞭度評価装置１は、ＣＰＵ３０と、メモリ３１と、オーディオコントローラ３２とを有している。これら互いにバス３４で接続され、相互にデータの授受が可能である。

ＣＰＵ３０は、メモリ３１に格納されているコンピュータプログラム３５を実行する。コンピュータプログラム３５には、後述するフローチャートに示される処理手順が記述されている。語音明瞭度評価装置１は、このコンピュータプログラム３５にしたがって、同じメモリ３１に格納されている語音データベース（ＤＢ）７１を利用して、語音明瞭度評価システム１００の全体を制御する処理を行う。この処理は後に詳述する。

オーディオコントローラ３２は、ＣＰＵ３０の命令に従って、それぞれ、呈示すべき音声を生成し、生成した音声信号音声出力部１１に出力する。

なお、語音明瞭度評価装置１は、１つの半導体回路にコンピュータプログラムを組み込んだＤＳＰ等のハードウェアとして実現されてもよい。そのようなＤＳＰは、１つの集積回路で上述のＣＰＵ３０、メモリ３１、オーディオコントローラ３２の機能を全て実現することが可能である。

上述のコンピュータプログラム３５は、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図１２に示すハードウェアを備えた機器（たとえばＰＣ）は、当該コンピュータプログラム３５を読み込むことにより、本実施形態による語音明瞭度評価装置１として機能し得る。なお、語音ＤＢ７１はメモリ３１に保持されていなくてもよく、たとえばバス３４に接続されたハードディスク（図示せず）に格納されていてもよい。

図１３は、本実施形態による語音明瞭度評価システム１００の機能ブロックの構成を示す。語音明瞭度評価システム１００は、音声出力部１１と、生体信号計測部５０と、語音明瞭度評価装置１とを有している。図１３はまた、語音明瞭度評価装置１の詳細な機能ブロックも示している。すなわち、語音明瞭度評価装置１は、陽性成分検出部６０と、呈示語音制御部７０と、語音ＤＢ７１と、語音明瞭度評価部８０とを備えている。なお、ユーザ５のブロックは説明の便宜のために示されている。

語音明瞭度評価装置１の各機能ブロック（語音ＤＢ７１を除く）は、それぞれ、図１２に関連して説明したプログラムが実行されることによって、ＣＰＵ３０、メモリ３１、オーディオコントローラ３２によって全体としてその時々で実現される機能に対応している。

語音ＤＢ７１は、語音明瞭度評価を行うための語音のデータベースである。図１４は、語音ＤＢ７１の例を示す。図１４に示した語音ＤＢ７１では、呈示する音声ファイル、子音ラベル、異聴発生尤度（異聴の発生しやすさ）によってグループ分けされたデータが対応付けられている。保存されている音声に関しては、あらかじめ測定した難聴者のオージオグラムからフィッティング手法に基づいて周波数ごとのゲインが調整されているとする。保存される語音の種類は、５７Ｓ語表、６７Ｓ語表に挙げられている語音でも良い。子音ラベルは、ユーザ５がどの子音において異聴が発生する確率が高いかを評価する際に利用される。グループ分けのデータは、ユーザ５がどのグループにおいて異聴発生する確率が高いかを評価する際に利用される。グループ分けは、たとえば大分類、中分類、小分類とする。

大分類は母音、無声子音、有声子音の分類でそれぞれ０、１、２のように表記している。中分類は無声子音内、有声子音内の分類である。無声子音内はサ行（中分類：１）とタ・カ・ハ行（中分類：２）に、有声子音内はラ・ヤ・ワ行（中分類：１）とナ・マ・ガ・ザ・ダ・バ行（中分類：２）に分類できる。小分類は、ナ・マ行（小分類：１）とザ・ガ・ダ・バ行（小分類：２）のように分類できる。異聴発生尤度については、「補聴器フィッティングの考え方」（小寺一興、診断と治療社、１９９９年、１７２頁）を参照した。

再び図１３を参照する。呈示語音制御部７０は、語音ＤＢ７１を参照し呈示する語音を決定する。呈示語音制御部７０は、語音をたとえばランダムな順序で選択・決定しても良いし、語音明瞭度評価部１００から未評価／再評価の語音の情報を受けて決定しても良い。また、呈示語音制御部７０は、どの子音において、あるいはどの語音グループにおいて異聴の発生確率が高いかということに関する情報を得るため、特定の子音、あるいは語音グループの音声を選択してもよい。

呈示語音制御部７０は、このようにして決定した語音を、音声でユーザ５に呈示するよう音声出力部１１を制御する。また、音声呈示時刻に合わせてトリガおよび呈示音声の内容を陽性成分検出部６０に送信する。

音声出力部１１は、呈示語音制御部７０より指定された単音節の音声を再生し、ユーザ５に呈示する。

生体信号計測部５０は、ユーザ５の生体信号を計測する脳波計であり、生体信号として脳波を計測する。ユーザ５はあらかじめ脳波計を装着しているものとする。脳波計測用の電極はたとえば頭頂部のＰｚに装着される。

陽性成分検出部６０は、生体信号計測部５０で計測されたユーザ５の脳波を受け取る。そして陽性成分検出部６０は、呈示語音制御部７０から受けたトリガを起点に所定区間（たとえば−１００ｍｓから１０００ｍｓの区間）の事象関連電位を、受け取った脳波から切り出す。

その後、陽性成分検出部６０は、呈示語音制御部７０から受けた呈示音声の内容に応じて、切り出した事象関連電位の加算平均を行う。陽性成分検出部６０は、同じ語音のみを選択して加算平均を行ってもよいし、同じ子音を持つ語音を選択して加算平均を行ってもよい。また、グループの大分類・中分類・小分類ごとに行ってもよい。同じ語音のみで加算平均した場合には語音ごとの聞き分け評価が可能となり、同じ子音を持つ語音で加算平均した場合にはどの子音において聞き分けの明瞭度が低いのかの評価が可能となる。また、グループごとに加算平均した場合には、たとえば有声子音と無声子音では無声子音に対して聞き分けの明瞭度が低い、のようにグループにおける聞き分け評価が可能となる。ここでいう大分類、中分類、小分類とは、先に図１４を参照しながら説明した分類を意味している。

このように加算平均を計算することで、語音ごと、子音ごと、グループごとの聞き分け評価が実現される。子音ごと、グループごとの加算平均では、ある程度加算回数が確保された加算波形がそれぞれ得られる。次に、陽性成分検出部６０は、事象関連電位を識別し潜時７００ｍｓから９００ｍｓの陽性成分の有無を判定する。

陽性成分検出部６０は以下の方法によって陽性成分の有無を識別する。たとえば、陽性成分検出部６０は、潜時７００ｍｓから９００ｍｓの最大振幅や潜時７００ｍｓから９００ｍｓの区間平均電位を所定の閾値と比較する。そして、区間平均電位が閾値より大きい場合には「陽性成分あり」と識別し、小さい場合を「陽性成分なし」と識別する。または、陽性成分検出部６０は、潜時７００ｍｓから９００ｍｓの典型的な陽性成分信号の波形から作成した所定のテンプレートと、潜時７００ｍｓから９００ｍｓの事象関連電位の波形との類似度（たとえば相関係数）を判定し、類似していると判定される場合を「陽性成分あり」と識別し、類似していないと判定される場合を「陽性成分なし」と識別しても良い。所定の閾値やテンプレートは、予め保持した一般的なユーザの陽性成分の波形から算出・作成しても良いし、個人ごとの陽性成分の波形から算出・作成しても良い。

なお「陽性成分」とは、一般には０μＶよりも大きい事象関連電位の電圧成分を意味する。しかしながら、本願明細書において「陽性成分」とは、絶対的に陽性である（０μＶよりも大きい）ことを要しない。本願明細書では、聞き分け自信度が高いか低いかを識別するために「陽性成分」の有無を識別しているため、聞き分け自信度の有意な高低を弁別できる限り、区間平均電位等が０μＶ以下であってもよい。たとえば、図８では、約７００ｍｓから約８００ｍｓまでの間に有意差ありの区間が存在している。このときの事象関連電位の電圧値は約０μＶである。８００ｍｓ±１００ｍｓの区間を通して約０μＶであっても、有意差が存在する場合は十分想定される。よって、「陽性成分」は実際に陽性であることが必須ではないことに留意されたい。本願明細書では、聞き分け自信度の高低を識別するために利用可能な事象関連電位の成分を「特徴成分」と呼ぶこともある。またはより広く、事象関連電位の「所定値以上の成分」と呼ぶこともある。

語音明瞭度評価部８０は、陽性成分検出部６０から語音ごとに陽性成分の有無の情報を受けとる。語音明瞭度評価部１００は、受け取った情報に基づいて、語音明瞭度を評価する。

明瞭度の評価は、たとえば図１０に示す規則、および、陽性成分の有無にしたがって行う。図１０に示すように、語音明瞭度評価部８０は、陽性成分がなく、かつ、聞き分け自信度が高い場合を「○」（＝明瞭度が高い）と評価し、陽性成分があり、かつ、聞き分け自信度が低い場合を「△」（＝明瞭度が低い）と評価する。

図１５（ａ）〜（ｃ）は、語音明瞭度評価結果の例を示す。図１５（ａ）、（ｂ）、（ｃ）はそれぞれ語音ごと、子音ごと、グループごとの加算平均により語音ごと、子音ごと、グループごとの明瞭度を評価した例である。図１５（ｃ）におけるグループ分けは、大分類は母音／無声子音／有声子音の分類でそれぞれ０／１／２、中分類は無声子音内／有声子音内のそれぞれ１／２、小分類はナ・マ行／ザ・ガ・ダ・バ行の分類で１／２のように示している。それぞれ、語音ごと、子音ごと、グループごとに○／△で評価することが可能になる。これにより、たとえば図１５の語音「な」のように語音明瞭度が低い場合には、「な」だけの明瞭度が低いのか、「ナ行」の明瞭度が低いのか、「有声子音」全体にわたって明瞭度が低いのかが明らかとなる。また、たとえば「や」のように「や」は明瞭に聞き分けができているが、「ヤ行」の明瞭度が低い場合のように、潜在的な明瞭度の低さも検出可能である。また、たとえば語音明瞭度が高いと評価した○の確率を語音ごとに算出し、算出した高明瞭度確率を最終的な語音明瞭度評価としても良い。

３．２．語音明瞭度評価システムの動作
次に、図１６を参照しながら図１３の語音明瞭度評価システム１００において行われる全体的な処理を説明する。図１６は、語音明瞭度評価システム１００において行われる処理の手順を示すフローチャートである。

ステップＳ１０１において、呈示語音制御部７０は語音ＤＢ７１を参照しながら呈示する単音節の語音を決定し、音声出力部１１を介してその語音をユーザ５に音声で呈示する。そして、呈示語音制御部７０は陽性成分検出部６０に対し、呈示した音声の情報およびトリガを送信する。呈示語音制御部７０は、呈示する語音を語音ＤＢ７１からランダムに選択しても良いし、特定の子音またはグループの語音を集中的に選択してもよい。

ステップＳ１０２において、陽性成分検出部６０は呈示語音制御部７０からトリガを受けて、生体信号計測部５０によって計測した脳波のうち、たとえばトリガを起点とする−１００ｍｓから１０００ｍｓまでの脳波、すなわち事象関連電位を切り出す。そして−１００ｍｓから０ｍｓの平均電位を求め、その平均電位が０μＶになるよう、得られた事象関連電位のベースラインを補正する。

ステップＳ１０３において、呈示語音制御部７０から受けた呈示語音の情報に基づき、陽性成分検出部６０はステップＳ１０２で切り出した事象関連電位を加算平均する。加算平均は、たとえば語音ごと、子音ごと、グループごとに行う。所定の加算回数が得られるまでステップＳ１０１へ戻り、音声の呈示を繰り返す。「ステップＳ１０３からステップＳ１０１に戻る手順」は試行の繰り返しを示している。

ステップＳ１０４において、陽性成分検出部６０はステップＳ１０３で加算平均した事象関連電位の波形を識別し潜時７００ｍｓから９００ｍｓの陽性成分の有無を判定する。陽性成分の識別は、上述のように、閾値との比較によって行ってもよいし、テンプレートとの比較によって行ってもよい。

ステップＳ１０５において、語音明瞭度評価部１００は、陽性成分検出部６０から語音ごと、子音ごと、グループごとにステップＳ１０４によって得られた陽性成分の有無の情報を受けて語音明瞭度評価を行い、評価結果を蓄積する。

語音明瞭度評価の基準は、図１０に示したように陽性成分の有無である。具体的には語音明瞭度評価部１００は、明瞭度が高い場合を「○」（＝明瞭度が高い）と評価し、明瞭度が低い場合を「△」として評価する。

このような処理によって、単音節の語音を音声で呈示する設定で音声呈示を起点とした事象関連電位の潜時７００ｍｓから９００ｍｓの陽性成分を用いて語音明瞭度を評価することが可能となる。

なお、本実施形態における語音明瞭度評価装置１を、持ち運びが可能なサイズおよび重さで実現することにより、ユーザが補聴器を利用する音環境においても語音明瞭度評価が実現できる。

本実施形態では、日本語の語音明瞭度評価を想定して説明した。しかしながら、単音節の語音であれば日本語以外の言語、たとえば英語でも中国語でもよい。たとえば英語の場合には、図１７（ａ）に示したような単音節の単語を呈示し、単語ごとの評価をしてもよいし、図１７（ｂ）に示したように発音記号ごとに評価してもよい。また、図１７（ｂ）に示したように異聴発生確率に基づき単語をグループに分けてグループごとに評価してもよい。

本実施形態の語音明瞭度評価システム１００によれば、回答入力が不要でユーザは音声を聞いて該当する平仮名を思い浮かべるだけで語音明瞭度評価が実現される。これによって、たとえば補聴器販売店における語音明瞭度評価において評価に要する補聴器ユーザの手間が格段に低減される。

なお、図１１では音声出力部１１をスピーカとしたが、音声出力部１１はヘッドフォンでも良い。図１８は、音声出力部１１に対応するヘッドフォンの外観を示す。ヘッドフォンを用いることで、持ち運びが簡易になり、ユーザが利用する環境において語音明瞭度の評価が可能となる。

さらに、図１８に示すヘッドフォンのように、電極とともに、生体信号計測部５０に対応する脳波計を組み込んでもよい。頭頂部周辺を通るように設計されたヘッドバンド部には、位置ＰｚまたはＣｚに接触する電極Ｐｚ／Ｃｚが配置されている。そして、スピーカが配置されているイヤークッションに、リファレンス（基準）電極およびアース電極が配置されている。脳波計（図示せず）は、たとえばイヤークッションやヘッドバンド部等のヘッドフォンの中に設けられる。本実施形態によれば、ヘッドフォンの装着と同時に、電極Ｐｚおよびリファレンス（基準）電極・アース電極が頭部および耳周辺に接触することで、脳波計測を開始できる。

なお、図９によれば、電極Ｃｚを利用する場合には、Ｃｚの極性は電極Ｐｚの極性と反対になる。すなわち、聞き分け自信度が低いと陰性になり、高いと陽性になる。よって、上述した説明における事象関連電位の陽性成分（または所定値以上の成分）は、事象関連電位の陰性成分（または所定値以下の成分）と置き換えればよい。

４．実施形態２
実施形態１による語音明瞭度評価システム１００では、語音ＤＢ７１に保存されたあらかじめ１種類のフィッティング手法に基づいて調整された音声に対する語音明瞭度を、潜時７００ｍｓから９００ｍｓの特徴成分の有無を調べることで評価した。そして、この特徴成分は、音声を呈示し音声呈示に対する聞き分け自信度を反映しているとした。

フィッティング理論に基づく手法は未だ十分確立されているとは言えず、いくつかの手法が混在している。そして、どのフィッティング手法が最適かはユーザごとに異なる。よって、１種類のフィッティング手法に基づいて調整された語音セットに代えて、複数種類のフィッティング手法に基づいて調整された語音セットを利用して語音明瞭度を評価すると、各ユーザによりよく適合した結果を得ることが可能になる。

そこで本実施形態においては、複数のフィッティングパラメータのうちどのフィッティングパラメータが適切であるかを評価し、ユーザごとに最適なフィッティング手法を探索する語音明瞭度評価システムを説明する。

フィッティングは、オージオグラムの形状や主観報告によって求めた閾値、ＵＣＬ（ｕｎｃｏｍｆｏｒｔａｂｌｅ ｌｅｖｅｌ：ユーザが不快に感じるほど大きな音圧レベル）、ＭＣＬの関係から周波数ごとのゲイン調整を行うことによって実現される。「補聴器Ｑ＆Ａ−より良いフィッティングのために」（神崎仁他、金原出版、２００１年）の７９ページによると、フィッティング手法の種類としては、たとえば各周波数の挿入利得をその周波数の最小可聴閾値の半分にするハーフゲイン法、これに会話音声の周波数帯域とレベルを考慮して１０００Ｈｚから４０００Ｈｚの増幅をやや増強したＢｅｒｇｅｒ法、ハーフゲイン法を基礎とし語音情報が少なく騒音成分が多い２５０Ｈｚと５００Ｈｚの利得をそれぞれ１０ｄＢ、５ｄＢ減じたＰＯＧＯ法、言葉の長時間音響分析周波数が快適レベルに入るように増幅するＮＡＬ−Ｒ法がある。

本実施形態による語音明瞭度評価システムでは、語音ＤＢ７２に保存されている音声データを実際の補聴器が行うようにいくつかのフィッティング手法を用いて変換する。そして、変換後の複数種類の音声をユーザに呈示し、音声呈示を起点に聞き分け自信度に関連して惹起される特徴成分を利用して、どのフィッティング手法が最適かの評価を行う。複数種類の音声への変換は、周波数ごとに音レベルを調整することによって実現される。たとえば、フィッティング手法としてハーフゲイン法を用いる場合にはユーザのオージオグラムに基づき最小可聴閾値の半分になるように周波数ごとの利得を調整して行う。

図１９は、本実施形態による語音明瞭度評価システム２００の機能ブロックの構成を示す。語音明瞭度評価システム２００は、音声出力部１１と、生体信号計測部５０と、語音明瞭度評価装置２とを有している。図１３と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、語音明瞭度評価装置２のハードウェア構成は、図１２に示すとおりである。実施形態１で説明したプログラム３５（図１２）と異なる処理を規定するプログラムが実行されることにより、図１９に示す本実施形態による語音明瞭度評価装置２が実現される。本実施形態による音声出力部１１および生体信号計測部５０は、図１８に示すヘッドフォンタイプで実現されるとする。

なお、本実施形態においては、Ｃｚ、Ｃ３、Ｃ４で計測された脳波に基づく聞き分け自信度の識別方法について記述するために、探査電極をたとえばＣｚ、Ｃ３、Ｃ４に配置し、基準電極を左右どちらかのマストイドに配置したとして説明する。しかしながら、実施形態１で説明したように探査電極をＰｚに配置し、基準電極を耳周辺に配置してもよい。

本実施形態による語音明瞭度評価装置２が、実施形態１による語音明瞭度評価装置１との相違する点は、陽性成分検出部６０に代えて聞き分け自信度判定部６１を設けた点、語音ＤＢ７１に代えて語音ＤＢ７２を設けた点、および語音明瞭度評価部８０に代えてフィッティング手法切替部９０およびフィッティング手法評価部９１を設けた点にある。

以下、聞き分け自信度判定部６１、語音ＤＢ７２、フィッティング手法切替部９０およびフィッティング手法評価部９１を説明する。

第１の相違点である聞き分け自信度判定部６１は、ヘッドフォンのヘッドバンド位置に配置した電極から脳波を取得する。そして聞き分け自信度判定部６１は、その脳波から音声呈示を起点に事象関連電位を切り出し加算平均して、聞き分け自信度が低い場合に惹起される特徴成分を検出して聞き分け自信度を判定する。波形の切り出し方法、加算平均の方法については語音明瞭度評価システム１００における陽性成分検出部６０と同様である。

特徴成分は、たとえば以下のように検出する。計測電極がＣｚの場合には、聞き分け自信度判定部６１は、潜時７００ｍｓから９００ｍｓの区間平均電位を所定の閾値と比較する。そして聞き分け自信度判定部６１は、区間平均電位が閾値より大きい場合には「特徴成分なし」と識別し、小さい場合を「特徴成分あり」と識別する。「所定の閾値」は、予め保持した一般的なユーザの聞き分け自信度が低い場合の特徴成分の波形から算出しても良いし、個人ごとの特徴成分の波形から算出しても良い。

ここで、特徴成分の他の検出方法の例を説明する。計測電極がＣ３、Ｃｚ、Ｃ４の場合には、聞き分け自信度判定部６１は、図９で示した結果を用いて各電極Ｃ３、Ｃｚ、Ｃ４それぞれを利用して取得された事象関連電位の潜時７００ｍｓから９００ｍｓの区間平均電位を算出し、区間平均電位の大小関係に基づいて特徴成分を検出してもよい。たとえば、聞き分け自信度判定部６１は、電極Ｃｚよりも電極Ｃ３、Ｃ４の区間平均電位が大きい場合には「特徴成分あり」、逆に小さい場合には「特徴成分なし」と判定してもよい。このように複数電極における区間平均電位の大小関係に基づいて判定を行うことで誤検出が低減される。

実施形態１との第２番目の相違点である語音ＤＢ７２は、最適なフィッティング手法の選定を行うための語音のデータベースである。図２０は、語音ＤＢ７２の例を示す。語音ＤＢ７２と図１４に示した語音ＤＢ７１との違いは、語音ＤＢ７２はユーザのオージオグラムの測定結果を複数のフィッティング手法に基づいて調整した音声セットを複数保持している点にある。音声セット７２ａ、７２ｂおよび７２ｃは、それぞれフィッティング手法Ａ、ＢおよびＣに基づいて調整されている。各音声セットでは、語音の周波数ゲインがフィッティング手法に応じて調整されている。

図２０に示した語音ＤＢ７２のそれぞれのフィッティング手法に対する項目は、図１４に示した語音ＤＢ７１と同様に、呈示する音声ファイル、子音ラベル、異聴発生尤度（異聴の発生しやすさ）によってグループ分けされたデータである。保存される語音の種類は、５７Ｓ語表、６７Ｓ語表に挙げられている語音でも良い。子音ラベルは、ユーザ５がどの子音において異聴が発生する確率が高いかを評価する際に利用される。グループ分けのデータは、ユーザ５がどのグループにおいて異聴発生する確率が高いかを評価する際に利用される。グループ分けは、語音ＤＢ７１と同様にたとえば大分類、中分類、小分類とする。

なお、図２０では日本語についてのみ説明したが、単音節の語音であれば、日本語以外の言語、たとえば英語でも中国語の語音を用いてもよい。たとえば英語の場合には、図１７（ａ）に例示した単音節の単語について複数のフィッティング手法に基づいて調整した音声をデータベースに保持してもよい。

実施形態１との第３番目の相違点であるフィッティング手法切替部９０は、語音ＤＢ７２を参照して規則的あるいはランダムな順序でフィッティング手法を選択し、選択したフィッティング手法で各周波数ゲインが調整された語音の音声を取得する。上述のとおり、フィッティング手法としては、ハーフゲイン法、Ｂｅｒｇｅｒ法、ＰＯＧＯ法、ＮＡＬ−Ｒ法などがある。なお、「フィッティング手法の選択」とは、語音ＤＢ７２に保存されている複数の音声セットを選択することと同じである。取得された音声セット内の語音の音声は、音声出力部１１を介してユーザ５に呈示される。

フィッティング手法評価部９１は、聞き分け自信度判定部６１より音声呈示を起点とした事象関連電位の振幅としてたとえば潜時７００ｍｓから９００ｍｓの区間平均電位の情報を、フィッティング手法切替部９０から呈示した音声のフィッティング手法の情報を受け取る。

そしてフィッティング手法評価部９１は、フィッティング手法ごとに、たとえば語音ごと、子音ごと、語音グループごとに陽性成分の有無を判定する。

図２１は、フィッティング手法ＡからＣの各々における語音明瞭度評価結果としてたとえば語音ごとに語音明瞭度を評価した例を示す。たとえば、フィッティング手法Ａはハーフゲイン法、フィッティング手法ＢはＢｅｒｇｅｒ法、フィッティング手法ＣはＰＯＧＯ法としている。

次にフィッティング手法評価部９１は、フィッティング手法ごとに語音明瞭度評価結果を比較する。「語音明瞭度評価結果」とは、ユーザ５が呈示された語音を聞き取れたか否か、言い換えると語音明瞭度が高いかどうかの判定結果である。たとえば語音明瞭度の評価結果が「○」（＝明瞭度が高い）であった確率を比較することで、フィッティング手法が最適かの順序付けが可能となる。

図２２は、フィッティング手法の評価結果の例を示す。この評価結果は、図２１の例に基づいて算出されている。図２２では語音明瞭度が高い語音の確率に基づき、確率が高いフィッティング手法Ａをユーザ５に最も適したフィッティング手法として「◎」と評価し、確率が低いフィッティング手法Ｂをユーザ５に適さない「×」と評価する例を示している。２番目の評価結果であるフィッティング手法Ｃは「△」で示されている。

なお、上述の処理（図２２）では、語音明瞭度が高い語音の確率に応じて、フィッティング手法の評価を「◎」、「×」または「△」に決定していたが、これは例である。最適なフィッティング手法を選べることが可能であれば、その表示方法は任意である。また、確率の閾値をあらかじめ定めておき、その閾値を超える場合には、どれでも適切なフィッティング手法であるとして補聴器ユーザに通知してもよい。

次に、図２３のフローチャートを参照しながら、語音明瞭度評価システム２００において行われる全体的な処理の手順を説明する。

図２３は、本実施形態による語音明瞭度システム２００の処理手順を示す。図２３では、語音明瞭度評価システム１００の処理（図１６）と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。

本実施形態による語音明瞭度評価システム２００の処理が、実施形態１による語音明瞭度評価システム２００の処理と相違する点は、音声呈示を起点に７００ｍｓから９００ｍｓにおいて陽性成分の有無判定ステップＳ１０４および語音明瞭度評価ステップＳ１０５を省き、フィッティング手法の評価を行うステップＳ２０１からステップＳ２０４を新たに追加した点である。

ステップＳ２０１において、フィッティング手法切替部９０は語音ＤＢ７２およびあらかじめ計測されたユーザ５のオージオグラムを参照し、複数のフィッティング手法によって調整済の複数の音声セットの中から、語音明瞭度評価を実施する音声セットを選択する。

ステップＳ２０２において、聞き分け自信度判定部６１は聞き分け自信度が低い場合に惹起される特徴成分の有無を検出し、検出結果に基づき聞き分け自信度を判定する。

たとえば計測電極が中心部のＣｚのみの場合には、潜時７００ｍｓから９００ｍｓの区間平均電位を所定の閾値と比較し、閾値より大きい場合には「特徴成分なし」、小さい場合を「特徴成分あり」と識別する。また、たとえば計測電極がＣ３、Ｃｚ、Ｃ４の場合には、Ｃ３、Ｃｚ、Ｃ４それぞれに潜時７００ｍｓから９００ｍｓの区間平均電位を算出し、それぞれの部位における区間平均電位の大小関係に基づいて、ＣｚよりもＣ３、Ｃ４の区間平均電位が大きい場合には「特徴成分あり」、逆に小さい場合には「特徴成分なし」と判定する。

ステップＳ２０３において、フィッティング手法評価部９１は聞き分け自信度判定部６１から受け取った聞き分け自信度の情報に基づき、フィッティング手法ごとに自信度が高かった語音の確率を算出する。

ステップＳ２０４において、フィッティング手法評価部９１はステップＳ２０３で算出した明瞭語音の確率に基づき、最も確率が大きいフィッティング手法を補聴器ユーザに最適なフィッティング手法として通知する。

このような処理によって、フィッティング手法の種類ごとに、かつ、各フィッティング手法の語音ごと、子音ごと、語音グループごとに明瞭語音の確率が計測されるため、確率の比較によりユーザに最適なフィッティング手法の発見が可能となる。これにより、フィッティング手法の評価が実現される。

なお、本実施形態における語音明瞭度評価装置２は持ち運びが可能であるため、ユーザが補聴器を利用する音環境においても語音明瞭度評価が実現できる。

本実施形態の語音明瞭度評価システム２００によれば、補聴器が実際に出力する語音に対してユーザごとに最適なフィッティング手法を簡易にかつ自動的に選定できる。これによって探索的なフィッティングが不要となるためフィッティングに要する時間が格段に短縮する。

上述の実施形態の説明では、電極位置は、たとえば国際１０−２０法におけるＣｚ等であるとした。しかしながら、Ｃｚの位置に対応する頭部の電極位置を各ユーザにおいて厳密に特定することは困難である。よって、電極のＣｚと思われる位置（Ｃｚ周辺位置）であればよい。電極位置Ｐｚ等についても同様である。

本発明の語音明瞭度評価装置および語音明瞭度評価装置が組み込まれた語音明瞭度評価システムによれば、語音明瞭度の評価が自動的にできるため、体が不自由なユーザや幼児のように発声やボタン押しによる回答ができないユーザのみならず、全ての人に対する補聴器フィッティングにおいて利用可能である。

５ ユーザ
１、２ 語音明瞭度評価装置
１１ 音声出力部
５０ 生体信号計測部
６０ 陽性成分検出部
６１ 聞き分け自信度判定部
７０ 呈示語音制御部
７１ 語音ＤＢ
７２ 語音ＤＢ
８０ 語音明瞭度評価部
９０ フィッティング手法切替部
９１ フィッティング手法評価部
１００、２００ 語音明瞭度評価システム

Claims (11)

1. ユーザの脳波信号を計測する生体信号計測部と、
   単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定する呈示語音制御部と、
   前記呈示語音制御部が決定した語音を、音声で呈示する音声出力部と、
   前記生体信号計測部で計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定する特徴成分検出部と、
   前記特徴成分検出部の判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定する語音明瞭度評価部と
   を備えた語音明瞭度評価システム。
2. 前記事象関連電位が国際１０−２０法における電極位置Ｐｚを利用して取得され、かつ、前記事象関連電位に所定値以上の成分が存在すると、前記特徴成分検出部によって前記事象関連電位に特徴成分が存在すると判定されるときにおいて、
   前記特徴成分検出部が、前記事象関連電位には前記特徴成分が存在しないと判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れたと判定し、
   前記特徴成分検出部が、前記事象関連電位には前記特徴成分が存在すると判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れなかったと判定する、請求項１に記載の語音明瞭度評価システム。
3. 前記事象関連電位が、国際１０−２０法における電極位置Ｃｚを利用して取得され、かつ、前記事象関連電位に所定値以下の成分が存在すると、前記特徴成分検出部によって前記事象関連電位に特徴成分が存在すると判定されるときにおいて、
   前記特徴成分検出部が、前記事象関連電位には前記特徴成分が存在しないと判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れたと判定し、
   前記特徴成分検出部が、前記事象関連電位には前記特徴成分が存在すると判定したときは、前記語音明瞭度評価部は前記ユーザが前記語音を聞き取れなかったと判定する、請求項１に記載の語音明瞭度評価システム。
4. 前記語音データベースは、複数の語音の各々について、音声、子音情報および異聴発生確率に関するグループを対応付け記憶している、請求項２または３に記載の語音明瞭度評価システム。
5. 前記語音明瞭度評価部は、語音ごと、子音ごと、または、前記異聴発生確率に関するグループごとに語音明瞭度を評価する、請求項４に記載の語音明瞭度評価システム。
6. 前記語音データベースは複数のフィッティング手法で周波数ゲインが調整された複数の音声セットを保存しており、
   前記語音データベースに保存された音声セットを規則的またはランダムに切り換えて選択することにより、前記複数のフィッティング手法のうちの一つを選択するフィッティング手法切替部をさらに備えた、請求項１に記載の語音明瞭度評価システム。
7. 前記音声出力部が、前記フィッティング手法切替部によって選択された音声セット内の語音を音声で呈示した場合に、
   前記語音明瞭度評価部は、前記語音を聞き取れたか否かの判定結果を、前記複数のフィッティング方法ごとに比較し、前記語音を聞き取れたと判定された確率が高い場合に前記ユーザに適したフィッティング方法であると判定する、請求項６に記載の語音明瞭度評価システム。
8. 単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定する呈示語音制御部と、
   前記呈示語音制御部が決定した語音を、音声で呈示する音声出力部と、
   ユーザの脳波信号を計測する生体信号計測部で計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定する特徴成分検出部と、
   前記特徴成分検出部の判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定する語音明瞭度評価部と
   を備えた語音明瞭度評価システム。
9. 脳波計測部が、ユーザの脳波信号を計測するステップと、
   提示語音制御部が、単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定するステップと、
   音声出力部が、決定された前記語音を、音声で呈示するステップと、
   特徴成分検出部が、計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定するステップと、
   語音明瞭度評価部が、前記特徴成分検出部の判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定するステップと
   を包含する、語音明瞭度評価装置の作動方法。
10. ユーザの脳波信号を計測するステップと、
    単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定するステップと、
    決定された前記語音を、音声で呈示するステップと、
    計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定するステップと、
    前記事象関連電位が国際１０−２０法における電極位置Ｐｚを利用して取得され、かつ、前記事象関連電位に所定値以上の成分が存在すると、前記判定するステップによって前記事象関連電位に特徴成分が存在すると判定されるときにおいて、
    前記判定するステップが、前記事象関連電位には前記特徴成分が存在しないと判定したときは、前記ユーザが前記語音を聞き取れたとし、
    前記判定するステップが、前記事象関連電位には前記特徴成分が存在すると判定したときは、前記ユーザが前記語音を聞き取れなかったとし、
    前記事象関連電位が、国際１０−２０法における電極位置Ｃｚを利用して取得され、かつ、前記事象関連電位に所定値以下の成分が存在すると、前記判定するステップによって前記事象関連電位に特徴成分が存在すると判定されるときにおいて、
    前記判定するステップが、前記事象関連電位には前記特徴成分が存在しないと判定したときは、前記ユーザが前記語音を聞き取れたとし、
    前記判定するステップが、前記事象関連電位には前記特徴成分が存在すると判定したときは、前記ユーザが前記語音を聞き取れなかったとする判定ステップと
    を包含する、語音明瞭度の判定方法。
11. コンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    計測されたユーザの脳波信号を受け取るステップと、
    単音節の語音を複数保持している語音データベースを参照して呈示する語音を決定するステップと、
    決定された前記語音を、音声で呈示するステップと、
    計測された前記ユーザの脳波信号から、前記音声が呈示された時刻を起点として８００ｍｓ±１００ｍｓにおける事象関連電位の特徴成分の有無を判定するステップと、
    判定結果に基づき、前記ユーザが前記語音を聞き取れたか否かを判定するステップと
    を実行させる、語音明瞭度を評価するためのコンピュータプログラム。

Images