JP4838401B2 - 語音明瞭度評価システム、その方法およびそのプログラム - Google Patents

語音明瞭度評価システム、その方法およびそのプログラム Download PDF

Info

Publication number
JP4838401B2
JP4838401B2 JP2011532398A JP2011532398A JP4838401B2 JP 4838401 B2 JP4838401 B2 JP 4838401B2 JP 2011532398 A JP2011532398 A JP 2011532398A JP 2011532398 A JP2011532398 A JP 2011532398A JP 4838401 B2 JP4838401 B2 JP 4838401B2
Authority
JP
Japan
Prior art keywords
speech
sound
component
absence
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011532398A
Other languages
English (en)
Other versions
JPWO2011093005A1 (ja
Inventor
信夫 足立
幸治 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2011532398A priority Critical patent/JP4838401B2/ja
Application granted granted Critical
Publication of JP4838401B2 publication Critical patent/JP4838401B2/ja
Publication of JPWO2011093005A1 publication Critical patent/JPWO2011093005A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/12Audiometering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • A61B5/38Acoustic or auditory stimuli
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、語音が聞き取れたか否かを評価するための技術に関する。より具体的には、本発明は、補聴器等において、音の周波数ごとの増幅量を調整して個々のユーザにとって適切な大きさの音を得る「フィッティング」のための、ユーザが語音を聞き取れたか否かの程度を評価する語音明瞭度の評価システムに関する。
近年、社会の高齢化に伴い、老人性の難聴者が増加している。また若年者においても、大音量の音楽を長時間聴く機会が増えたなどの影響により、音響性の難聴者(ヘッドフォン難聴)が増加している。
また、補聴器の小型化・高性能化に伴ってユーザが補聴器を装用することに対する抵抗が少なくなっており、補聴器を利用するユーザが増加している。
補聴器は、ユーザが聞き分けにくい音を構成する種々の周波数の音のうち、特定周波数の音の信号振幅を増幅させることにより、ユーザの低下した聴力を補うための装置である。補聴器を装用する目的は会話の聞き分け能力の向上である。ユーザが補聴器に求める音の増幅量は、ユーザごとの聴力低下の度合いに応じて異なる。そのため、補聴器の利用を開始する前には、まずユーザごとの聴力に合わせて音の増幅量を調整する「フィッティング」が必須である。
「フィッティング」は、補聴器の周波数ごとに、出力される音圧(音として知覚され得る、大気の圧力変動)をユーザが快適に感じる音圧レベル(most comfortable level;以下「MCL」と略記する。)に適合させることを目指して行われる。フィッティングが適切でない場合、たとえば、増幅量が不足する場合には音が十分聞こえない。また、増幅しすぎた場合には、ユーザがうるさく感じる。いずれの場合も、補聴器を長時間使用できないなどの問題が発生する。
フィッティングは一般的にはユーザごとのオージオグラムに基づいて行われる。「オージオグラム」とは、純音の聞こえの最小音圧を評価した結果である。たとえば、複数の周波数の音のそれぞれについて、そのユーザが聞き取ることが可能な最も小さい音圧レベル(デシベル値)を周波数(たとえば250Hz、500Hz、1000Hz、2000Hz、4000Hz)に応じてプロットした図である。
フィッティングを行うためには、まずユーザごとのオージオグラムの作成が必要である。そして、作成したオージオグラムの結果から、ユーザごとのMCLを推定するためのフィッティング理論に基づいて行われる。
しかしながら、現状では全てのユーザにおいてオージオグラムのみから、会話の聞き分け明瞭度を向上させる最適な音の増幅量に決めるフィッティングの方法は未だに確立されていない。その理由としては、たとえばオージオグラムと会話の聞き分け能力とが一対一対応しないこと、難聴者は適切な大きさに感じる音圧の範囲が狭いことなどが挙げられる。
そこで、フィッティングの程度を評価するために、語音明瞭度評価が必要となる。「語音明瞭度評価」(speech discriminability assessment)とは、実際に語音が聞き取れたか否かの評価で、単音節の語音が聞き取れたか否かを評価する聞き分け能力の評価である。単音節の語音とは、一つの母音または子音と母音との組合せを示す(たとえば「あ」/「だ」/「し」)。補聴器装着の目的が会話の聞き分けであるため、語音明瞭度の評価結果の方がより会話時の聞こえを反映していると考えられる。
日本では、従来の語音明瞭度評価は、以下のような手順で行われていた(「補聴器フィッティングの考え方」、小寺一興、診断と治療社、1999年、166頁)。まず、日本聴覚医学会が制定した57S式語表(50単音節)、または67S式語表(20単音節)を用いて単音節の語音をひとつずつ口頭やCDによってユーザに聞かせる。次に、呈示された語音をどの語音として聞き取ったかをユーザに発話または記述などの方法で回答させる。そして、評価者が語表と回答とを照合し全ての単音節のうち正しく聞き取れた単音節の割合である正答率を計算する。
しかし、上記の評価方法では、ユーザは発話または記述による回答が必要であり、評価者は手作業でユーザの回答の正誤判定をする必要がある。そのため、ユーザにとっても評価者にとっても負担が大きく時間がかかる検査であった。
そこで、たとえば、特許文献1には、評価者の負担を減らすためにパーソナルコンピュータ(PC)を用いて自動的に正誤判定を行う語音明瞭度評価方法が開示されている。具体的には、特許文献1では、PCを用いてユーザに対して単音節の語音を音声で呈示し、ユーザにマウスクリックまたはペンタッチ(touch the pen to the display)により回答させ、回答をPCの入力として受け付け、呈示した音声と回答入力との正誤判定を自動的に行う方法が提案されている。マウスクリックまたはペンタッチで回答入力を受けることで、ユーザの回答(発話または記述)を評価者が解読・識別する必要がなくなり、評価者の手間の削減が実現されている。
また、たとえば特許文献2には、ユーザの回答入力の負担を低減するために、音声呈示後に該当する語音の選択候補を文字で呈示する語音明瞭度評価方法が開示されている。特許文献2では、選択候補を数個に絞り、数個の文字の中から該当する語音を選択させることでユーザが文字を探す手間を低減している。なお、特許文献2においても、PCを用いて回答入力を受け付けて評価者の負担低減が実現されている。
特開平9−038069号公報 特開平6−114038号公報
しかしながら、特許文献1および特許文献2に記載の語音明瞭度評価方法では、ユーザの回答入力が必要であり、回答入力の動作はユーザの負担として依然存在している。特にPC作業に慣れていない難聴者や高齢者にとっては、マウスクリックやペンタッチによる回答入力は容易ではないと考えられる。その結果、検査に時間を要したり、操作ミスにより誤って異なる単音節マトリクスを選択し結果として語音明瞭度が正しく評価されなくなる可能性もあった。また、語音ごとの評価結果は、明瞭であったか否かの2値で表されるものの(たとえば明瞭であることを示す「○」または明瞭でないことを示す「△」)、明瞭でなかった場合の要因が特定できなかった。よって、具体的なフィッティングの手順への適用が困難であった。
本発明の目的は、ユーザにとって煩わしい回答入力が不要で、かつ不明瞭の要因を特定する語音明瞭度評価システムを実現することにある。
本発明による語音明瞭度評価システムは、語音を複数保持している語音データベースと、前記語音データベースを参照して、呈示する語音を決定する呈示語音制御部と、決定した前記語音をユーザに呈示する出力部と、前記ユーザの脳波信号を計測する生体信号計測部と、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定する陽性成分判定部と、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして前記起点から100ms以上300ms以下の区間における事象関連電位の陰性成分の有無を判定する陰性成分判定部と、前記陽性成分判定部から取得した前記陽性成分の有無の判定結果と、前記陰性成分判定部から取得した前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価する語音明瞭度評価部とを備えている。
前記語音明瞭度評価部は、前記陽性成分判定部の判定結果が、前記陽性成分は存在しないことを示している場合には、前記ユーザが呈示した語音を明瞭に聞き取れたと評価し、前記陽性成分検判定部の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分判定部の判定結果が、前記陰性成分は存在していないことを示している場合には、全体の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価し、前記陽性成分検判定部の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分判定部の判定結果が、前記陰性成分は存在していることを示している場合には、子音周波数の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価してもよい。
前記陽性成分判定部は、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における事象関連電位の区間平均電位と、所定の閾値とを比較し、前記区間平均電位が前記閾値以上の場合には、陽性成分が存在すると判定し、前記区間平均電位が前記閾値よりも小さい場合、陽性成分が存在しないと判定してもよい。
前記陰性成分判定部は、前記出力部が語音を呈示した時刻を起点にして、前記起点から100ms以上300ms以下の区間における事象関連電位の陰性のピーク値の絶対値と、所定の閾値とを比較して、前記ピーク値の絶対値が前記閾値以上の場合、陰性成分が存在すると判定し、前記ピーク値の絶対値が前記閾値よりも小さい場合、陰性成分が存在しないと判定する、請求項1に記載の語音明瞭度評価システム。
前記語音データベースは、保持している複数の語音の各々について、語音の種類、子音情報の種類および異聴発生確率に関するグループを対応付けして保持していてもよい。
前記語音明瞭度評価システムは、前記語音データベースに記憶された語音の種類、子音情報の種類および異聴発生確率に関するグループの対応付けを参照して、前記語音の種類、前記子音情報の種類および前記異聴発生確率に関するグループ毎に、呈示した前記語音に対応する事象関連電位を加算平均した脳波データを生成する事象関連電位処理部をさらに備えていてもよい。
前記出力部は、複数の語音を呈示し、前記陽性成分判定部および前記陰性成分判定部は、呈示した前記複数の語音に関する語音の種類毎、子音の種類毎、または前記異聴発生確率に関するグループ毎に事象関連電位が加算平均されて得られた脳波データを受け取り、前記陽性成分判定部は、前記脳波データに基づいて、前記語音の種類毎、前記子音の種類毎、または前記異聴発生確率に関するグループ毎に前記事象関連電位の陽性成分の有無を判定し、前記陰性成分判定部は、前記脳波データに基づいて、前記語音の種類毎、前記子音の種類毎、または前記異聴発生確率に関するグループ毎に前記事象関連電位の陰性成分の有無を判定してもよい。
前記語音データベースは、さらに、前記複数の語音に関する周波数帯域ごとのゲインを定めたゲイン情報を保持しており、語音明瞭度評価システムは、前記語音明瞭度評価部によって全体の音圧不足により前記ユーザが明瞭に聞き取れなかったと評価された語音については、周波数帯域全体のゲインを向上させるように、前記語音データベースが保持している語音に関する周波数ごとのゲイン情報を書き換え、また、前記語音明瞭度評価部によって子音周波数の音圧不足により前記ユーザが明瞭に聞き取れなかった評価された語音については、前記語音の子音周波数帯域を算出し、前記子音周波数帯域のゲインを向上させるように、前記語音データベースが保持している語音に関する周波数ごとのゲイン情報を書き換える、刺激語音ゲイン調整部をさらに備えていてもよい。
本発明による語音明瞭度評価方法は、語音を複数保持している語音データベースを用意するステップと、前記語音データベースを参照して、呈示する語音を決定するステップと、決定した前記語音をユーザに呈示するステップと、前記ユーザの脳波信号を計測するステップと、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定するステップと、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100msから300msの区間における前記事象関連電位の陰性成分の有無を判定するステップと、前記陽性成分の有無の判定結果と、前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価するステップとを包含する。
評価する前記ステップは、前記陽性成分の有無の判定結果が、前記陽性成分は存在しないことを示している場合には、前記ユーザが呈示した語音を明瞭に聞き取れたと評価し、前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が、前記陰性成分は存在していないことを示している場合には、全体の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価し、前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が前記陰性成分は存在していることを示している場合には、子音周波数の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価してもよい。
本発明によるコンピュータプログラムは、語音を複数保持している語音データベースを備えた語音明瞭度評価システムのコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記語音明瞭度評価システムに実装されるコンピュータに対し、前記語音データベースを参照して、呈示する語音を決定するステップと、決定した前記語音をユーザに呈示するステップと、前記ユーザの脳波信号を計測するステップと、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における前記事象関連電位の陽性成分の有無を判定するステップと、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100ms以上300ms以下の区間における前記事象関連電位の陰性成分の有無を判定するステップと、前記陽性成分の有無の判定結果と、前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを示す語音明瞭度を評価するステップとを実行させる。
評価する前記ステップは、前記陽性成分の有無の判定結果が、前記陽性成分は存在しないことを示している場合には、前記ユーザが呈示した語音を明瞭に聞き取れたと評価し、前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が、前記陰性成分は存在していないことを示している場合には、全体の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価し、前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が前記陰性成分は存在していることを示している場合には、子音周波数の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価してもよい。
本発明による前記語音明瞭度評価装置は、語音を複数保持している前記語音データベースを参照して、呈示する語音を決定する呈示語音制御部と、生体信号計測部が計測した前記ユーザの前記脳波信号の、前記語音が呈示された時刻を起点にして前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定する陽性成分判定部と、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100ms以上300ms以下の区間における事象関連電位の陰性成分の有無を判定する陰性成分判定部と、前記陽性成分判定部から取得した前記陽性成分の有無の判定結果と、前記陰性成分判定部から取得した前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価する語音明瞭度評価部とを備えている。
本発明による、語音明瞭度評価システムの作動方法は、提示語音制御部が、語音を複数保持している語音データベースを参照して、呈示する語音を決定するステップと、出力部が、決定した前記語音をユーザに呈示するステップと、脳波計測部が、前記ユーザの脳波信号を計測するステップと、陽性成分判定部が、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における前記事象関連電位の陽性成分の有無を判定するステップと、陰性成分判定部が、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100msから300msの区間における前記事象関連電位の陰性成分の有無を判定するステップと、音明瞭度評価部が、前記陽性成分の有無の判定結果と、前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価するステップとを包含している。
本発明によれば、音声呈示後のユーザの潜時約700msの陽性成分および潜時約200msの陰性成分の有無に応じて、語音明瞭度の評価および不明瞭の要因が音圧不足か否かを自動的に特定できる。ユーザにとって煩わしい回答入力が不要となるため、評価者にとってもユーザにとっても、より少ない負担で、呈示された語音をユーザが明瞭に聞き取れたか否かを評価することが可能となる。また、不明瞭の要因が音圧不足か否かを判定することにより、具体的なフィッティング手順に適用することが容易な語音明瞭度評価を実現できる。
行動実験の実験手順の概要を示す図である。 (a)は、4つの条件のそれぞれにおける周波数ごとのゲイン調整量を示す図であり、(b)は、騒音計で測定した条件ごとの音圧レベルを示す図である。 1試行分の手順を示すフローチャートである。 ボタン押しの結果により分類した参加者の音声聞き分けの自信度と、ボタン押しの正誤の確率を示した図である。 国際10−20法(10−20 System)の電極位置を示した図である。 脳波計測実験の実験手順の概要を示す図である。 1試行分の手順を示すフローチャートである。 音声が呈示された時刻を起点としたPzにおける事象関連電位を、聞き分け自信度に基づき総加算平均した波形を示す図である。 音声が呈示された時刻を起点としたPzにおける事象関連電位を、音声刺激の音圧レベルごとに加算平均した波形を示す図である。 (a)は、陽性成分の有無と、聞き分け自信度および聞きやすさの対応関係を示す図であり、(b)は、聞き分け不明瞭の場合に陰性成分の有無と、音圧レベルの判定結果および推定できる不明瞭の要因の対応関係を示す図である。 実施形態1による語音明瞭度評価システム100の構成および利用環境を示す図である。 実施形態1による語音明瞭度評価装置1のハードウェア構成を示す図である。 実施形態1による語音明瞭度評価システム100の機能ブロックの構成を示す図である。 語音DB71の例を示す図である。 (a)および(b)は、実施形態1による手法を用いた語音明瞭度評価結果の例を示す図である。 語音明瞭度評価システム100において行われる処理の手順を示すフローチャートである。 単音節の単語ごとの評価結果の一例を示す図である。 実施形態2による語音明瞭度評価システム200の機能ブロックの構成を示す図である。 刺激語音ゲイン調整部90に保存された周波数―ゲイン特性の初期特性、初期特性に対して全体のゲインを上げた調整方法Aの周波数−ゲイン特性、および、調整方法Aに対して対象語音の子音周波数帯域のゲインを上げた調整方法Bの周波数−ゲイン特性を示す図である。 (a)は、所定の初期特性でゲイン調整された音声刺激を聞いた場合の、ユーザの語音明瞭度評価結果を示す図であり、(b)は、調整方法Aで調整された音声刺激を聞いた場合の、語音明瞭度評価部80におけるユーザの語音明瞭度評価結果の例を示す図であり、(c)は、調整方法Bで調整された語音に対する語音明瞭度評価結果の例を示す図である。 実施形態2による語音明瞭度システム200の処理手順を示すフローチャートである。
以下、添付の図面を参照して、本発明による語音明瞭度評価システムの実施形態を説明する。
本発明による語音明瞭度評価システムは、脳波を利用した語音明瞭度の評価に用いられる。より具体的には、語音明瞭度評価システムは、単音節の語音を音声で呈示し、ユーザに音声を聞き分けさせる設定で、音声が呈示された時刻を起点とした、ユーザの脳波信号の事象関連電位を指標に、語音の聞き分けを評価するために用いられる。なお、本明細書において、「音声を呈示する」とは、聴覚刺激(「音声刺激」ともいう。)を出力すること、たとえば音声をスピーカから出力することをいう。なお、スピーカの種類は任意であり、床やスタンド上に設置されているスピーカでもよいし、ヘッドフォンのスピーカでもよいが、正しく語音明瞭度評価を行うために指定した音圧が正確に呈示できる必要がある。
本願発明者らは、ユーザの回答入力が不要な語音明瞭度評価を実現するための脳波特徴成分を特定するために以下の2種類の実験を実施した。
まず、音声の聞き分けに関する自信度と異聴発生確率との関係を調べる行動実験を実施した。ここで、「異聴」とは、ある音を異なる音として聞き取ることを示す。行動実験では、単音節の語音を音声と文字(平仮名)で順に呈示しユーザに音声と文字が同一であった否かを確認させ、音声聞き分けの自信度をボタンで回答させた。その結果、音声の聞き分け自信度が高い場合には異聴の発生確率が10%以下と低く、聞き分け自信度が低い場合には異聴の発生確率が40%程度と高いことを確認した。
つぎに、本願発明者らは、単音節の語音を音声で呈示し、音声に対応する語音をユーザに思い浮かべさせる設定で、音声が呈示された時刻を起点に事象関連電位を計測する実験を実施した。そして、行動実験であらかじめ取得した聞き分け自信度および刺激音圧の大小に基づき事象関連電位を加算平均した。その結果、音声刺激が呈示された時刻を起点として測定された事象関連電位において、(1)音声聞き分けに対する自信度が低い場合と比べて高い場合には、頭頂部において潜時約700msの陽性成分が惹起されること、(2)上記陽性成分とは独立に刺激音声の音圧レベルの増加に伴い潜時約200msの陰性成分の振幅が増大すること、を発見した。ここでの「潜時約700msの陽性成分」とは、音声刺激が呈示された時刻を起点として600ms以上800ms以下の区間において出現した陽性成分をいい、「潜時約200msの陰性成分」とは、音声刺激が呈示された時刻を起点として100ms以上300ms以下の区間において出現した陰性成分をいう。
これら確認および発見から、(1)音声が呈示された時刻を起点とした事象関連電位の潜時約700msの陽性成分の有無で判定可能な音声の聞き分け自信度に基づき語音明瞭度が評価可能であること、(2)潜時約200msの陰性成分の有無から不明瞭の要因が音圧不足であったか否かを特定できることを見出した。従来、語音明瞭度評価はユーザの回答が正解かどうかのみに基づいて評価されたが、本手法により、ユーザが音声を聞き分けられたと思ったか否かに基づいた詳細な語音明瞭度評価が実現される。
以下で、これらをより詳細に説明する。はじめに、ユーザの回答入力が不要な語音明瞭度評価を実現するために本願発明者らが実施した行動実験および脳波計測実験について説明する。その後、実施形態としての、語音の聞き分けを評価する語音明瞭度評価装置の概要および語音明瞭度評価装置を含む語音明瞭度評価システムの構成および動作を説明する。
1.行動実験
本願発明者らは、音声の聞き分けに関する自信度と異聴発生確率との関係を調べるために、行動実験を実施した。以下、図1から図3を参照しながら、実施した行動実験の実験設定および実験結果を説明する。
実験参加者は、正常な聴力を有する大学・大学院生11名であった。
図1は、行動実験の実験手順の概要を示す。
まず、手順Aにおいて単音節の音声を呈示した。呈示した音声は、「補聴器フィッティングの考え方」(小寺一興、診断と治療社、1999年、172頁)を参照して、相互に聞き分け間違いが多いとされるラ行/ヤ行のペア、カ行/タ行のペアから選択した。
実験参加者には音声を聞いて対応する平仮名を思い浮かべるよう教示した。正常な聴力を有する参加者においても、様々な聞き分け自信度が得られるように、周波数ゲインを加工した4条件の音声を呈示した。「周波数ゲイン」とは、複数の周波数帯域ごとのゲイン(回路の利得、増幅率)を意味する。
(1)LF(Large Flat)条件:音圧が大きく聞き分けやすい音声として周波数ゲインの加工をしなかった。(2)SF(Small Flat)条件:音圧は小さいが聞き分け易い音声として全ての周波数帯域においてゲインを20dB下げた。(3)SD(Small Distorted)条件:音圧が小さく聞き分けが難しい音声として250Hz−16kHzの周波数のゲインを段々と−50dBまで調整(低減)した。(4)LD(Large Distorted)条件:音圧は大きいが聞き分けが難しい音声としてSD条件の周波数ゲインを全体的に15dB向上させた。
図2(a)は、条件(1)〜(4)のそれぞれにおける周波数ごとのゲイン調整量を示す。高周波数の周波数ゲインを低減させたのは、高齢者の難聴の典型的なパターンを再現し、健聴者に対しても高齢難聴者の聞こえ難さと同等の聞こえを模擬するためである。図2(b)は、騒音計で測定した条件ごとの音圧レベルである。図2(b)から、LF条件とLD条件は同程度の大きな音圧、SF条件とSD条件は同程度の小さな音圧であることが分かる。
次に手順Bにおいて実験参加者にキーボードのスペースキーを押させた。手順Bは手順Cに進むためのボタン押しで、実験では参加者のペースで手順Cの文字刺激を呈示するために付加した。このボタンは「次へ」ボタンとも言及する。
手順Cにおいてディスプレイに平仮名を一文字呈示した。一致試行として手順Aで呈示した音声と一致する文字を、不一致試行として音声とは一致しない平仮名をそれぞれ0.5の確率で呈示した。一致しない平仮名は一般的に聞き分け間違いが多いとされるラ行とヤ行、カ行とタ行をペアとして母音は揃えて音声とは異なる行の文字を選んだ。たとえば、手順Aにおいて平仮名「や」を呈示した場合、一致試行では手順Cにおいて「や」を呈示し、不一致試行では手順Cにおいて「ら」を呈示した。
手順Dは、参加者が手順Aで呈示された音声と手順Cで呈示された文字に対して、どれくらい不一致を感じたかを確認するためのボタン押し(キーボードの数字の1から4)である。絶対一致と感じた場合には4を、多分一致と感じた場合には3を、多分不一致と感じた場合には2を、絶対不一致と感じた場合には1をそれぞれ押させた。このボタン押しにおいて4または1が押された場合、参加者は結果として手順Cの段階で正解と不正解(異聴発生)に別れたが、手順Aの段階で呈示された音声を聞いた時点では聞き分けに自信があったと言える。同様に、2または3が押された場合、参加者は音声の聞き分けに自信がなかったと言える。
上述の手順Aから手順Dを96回繰り返す実験を行った(96試行)。
図3は、1試行分の手順を示すフローチャートである。このフローチャートでは、説明の便宜のため、装置の動作と実験参加者の動作の両方を記載している。
ステップS11は、単音節の音声を実験参加者に呈示するステップである。音声はLF条件、SF条件、LD条件、SD条件の4条件をランダムな順序で呈示した(手順A)。
ステップS12は、参加者が単音節の音声を聞いて対応する平仮名を思い浮かべるステップである。
ステップS13は、参加者が「次へ」ボタンとしてスペースキーを押すステップである(手順B)。
ステップS14は、ステップS13の実行を起点に50%の確率で音声と一致または不一致な平仮名を文字でディスプレイに呈示するステップである(手順C)。
ステップS15は、参加者がステップS12で思い浮かべた平仮名とステップS14で呈示された平仮名とが一致したか否かを確認するステップである。
ステップS16は、参加者がステップS15でどれくらい一致/不一致と感じたかを1から5の数字キーで回答するステップである(手順D)。
以下、行動実験の実験結果を示す。
図4は、ボタン押しの結果により分類した参加者の音声聞き分けの自信度と、ボタン押しの正誤の確率を示した図である。聞き分けの自信度は以下のように分類した。4(絶対一致)または1(絶対不一致)が押された場合を聞き分け自信度「高」とした。自信度が「高」であった確率は全体の試行のうち82.3%(1056試行中の869試行)であった。3(多分一致)、2(多分不一致)が押された場合を聞き分け自信度「低」とした。自信度が「低」であった確率は、全体の試行のうち17.7%(1056試行中の187試行)であった。ボタン押しの正誤は音声と文字の一致/不一致と押されたボタンにより判定した。一致試行において4(絶対一致)または3(多分一致)が押された場合、および不一致試行において1(絶対不一致)または2(多分不一致)が押された場合を正とし、それら以外を誤とした。
図4(a)は、聞き分け自信度が高い試行におけるボタン押しの正誤結果である。ほぼ全ての試行(90.2%)において正しいボタンが選択されたことが分かる。これは、聞き分け自信度が高い場合には、正しく音声を聞き分けられることを示している。この結果により、聞き分け自信度が高い場合は語音明瞭度が高いと評価できると言える。
図4(b)は、聞き分け自信度が低い試行におけるボタン押しの正誤結果である。誤ったボタンが押された確率が高いことが分かる(40.1%)。これは、聞き分け自信度が低い場合には、異聴が発生しやすいことを示している。この結果により、聞き分け自信度が低い場合は語音明瞭度が低いと評価できると言える。
なお、参加者ごとの異聴発生確率は、聞き分け自信度が高い場合に有意に高かった(p<.01)。
以上、音声に対するユーザの聞き分け自信度に基づく語音明瞭度評価が実現できる可能性が行動実験によって明らかになった。これにより、ボタン押し以外の方法で聞き分け自信度が測定できれば、その指標に基づき回答入力なしの語音明瞭度評価が実現可能となる。本願発明者らは脳波の事象関連電位に着目し、脳波計測実験を実施して音声に対する聞き分け自信度の違いを反映する成分が存在するか否かを調べた。以下、脳波計測実験について説明する。
2.脳波計測実験
本願発明者らは、音声の聞き分け自信度および音声刺激の音圧レベルと、音声呈示後の事象関連電位との関係を調べるために、脳波計測実験を実施した。以下、図5から図9を参照しながら、実施した脳波計測実験の実験設定および実験結果を説明する。
実験参加者は、行動実験と同一の大学・大学院生11名であった。
脳波は頭皮上のFz、Cz、Pz、C3、C4(国際10−20法)から右マストイドを基準に記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。図5は、国際10−20法(10−20 System)の電極位置を示した図である。サンプリング周波数は200Hz、時定数は1秒とした。オフラインで1−6Hzのディジタルバンドパスフィルタをかけた。音声呈示に対する事象関連電位として、音声が呈示された時刻を起点に−200msから1000msの波形を切り出した。事象関連電位の加算平均は、上記行動実験の全ての条件(LF・SF・LD・SD)において行った。
図6は、脳波計測実験の実験手順の概要を示す。
手順Xにおいて単音節の音声を呈示した。刺激語音は、行動実験と同様にラ行/ヤ行、カ行/タ行から選択した。実験参加者には音声を聞いて対応する平仮名を思い浮かべるよう教示した。また、正常な聴力を有する参加者において、聞き分け自信度と刺激音声の音圧レベルがそれぞれ変化するように、周波数ゲインを加工した4条件の音声を呈示した。
(1)LF(Large Flat)条件:音圧が大きく聞き分けやすい音声として周波数ゲインの加工をしなかった。(2)SF(Small Flat)条件:音圧は小さいが聞き分け易い音声として全ての周波数帯域においてゲインを20dB下げた。(3)SD(Small Distorted)条件:音圧が小さく聞き分けが難しい音声として250Hz−16kHzの周波数のゲインを段々と−50dBまで調整(低減)した。(4)LD(Large Distorted)条件:音圧は大きいが聞き分けが難しい音声としてSD条件をベースに全体的に15dB向上させた。図2(a)に4条件の周波数ゲイン調整量を、図2(b)に騒音計で測定した4条件の音圧レベルを示す。
上述の手順Xを192回繰り返す実験を96回ずつの2ブロックに分けて実施した。
図7は、1試行分の手順を示すフローチャートである。図3と同じブロックについては同一の参照符号を付し、その説明は省略する。図3との差異は、ステップS13からステップS16がなく、実験参加者は明示的な行動を求められない点である。
以下、脳波計測実験の実験結果を示す。
図8は、音声が呈示された時刻を起点としたPzにおける事象関連電位を、聞き分け自信度に基づき総加算平均した波形である。加算平均は、上記行動実験の、全ての条件(LF・SF・LD・SD)における参加者ごと語音ごとの聞き分け自信度に基づいて行った。図8の横軸は時間で単位はms、縦軸は電位で単位はμVである。図8に示されたスケールから明らかなとおり、グラフの下方向が正(陽性)に対応し、上方向が負(陰性)に対応している。ベースラインは−200msから0msの平均電位を0に合わせた。
図8に示される破線は行動実験において聞き分け自信度が高かった場合、実線は聞き分け自信度が低かった場合の、電極位置Pzにおける事象関連電位の加算平均波形である。図8によれば、聞き分け自信度が高いことを示す破線に比べて、聞き分け自信度が低い実線では、潜時約700msに緩やかな陽性成分が出現していることが分かる。0msから1000msにおける全てのサンプリングごとにt検定を実施した結果、上記聞き分け自信度の違いによる有意差が20ms以上持続した時間帯は、608msから668msであった。
陽性電位のピークである潜時700msを中心とした参加者ごとの600ms以上800ms以下の区間の平均電位(区間平均電位)は、聞き分け自信度が高い場合は−0.24μV、自信度が低い場合には0.74μVであった。区間平均電位をt検定した結果、聞き分け自信度が低い場合において区間平均電位が有意に大きかった(p<.05)。
図9は、音声が呈示された時刻を起点としたPzにおける事象関連電位を、音声刺激の音圧レベルごとに加算平均した波形である。より詳しく説明すると、ユーザの聞き分け自信度をプールして、音圧レベルが60−65dBと大きいLF・LD条件を適用して音声刺激を呈示したときの事象関連電位の加算平均と、音圧レベルが40−45dBと小さいSF・SD条件を適用して音声刺激を呈示したときの事象関連電位の加算平均とそれぞれを求めた。図9の横軸は時間で単位はms、縦軸は電位で単位はμVである。図9に示されたスケールから明らかなとおり、グラフの下方向が正(陽性)に対応し、上方向が負(陰性)に対応している。ベースラインは−200msから0msの平均電位に合わせた。
図9に示される実線は音圧が大きいLF条件とLD条件の加算平均波形、破線は音圧が小さいSF条件とSD条件の加算平均波形である。図9によれば、音圧が小さいことを示す破線に比べて、音圧が大きいことを示す実線では潜時約200msの陰性成分の陰性方向の振幅が大きいことが見て取れる。
参加者ごとの100ms以上300ms以下の区間における陰性のピーク値は、音圧が大きい条件(LF・LD)では−2.19μV、音圧が小さい条件(SF・SD)では−1.41μVであった。サンプリングポイントごとの波形をt検定した結果、218msから238msおよび272msから332msの区間において有意差があった(p<.05)。
これらの結果に鑑みて、音声が呈示された時刻を起点とした事象関連電位について本願発明者らは、(1)潜時約700msにピークを持つ陽性電位は聞き分け自信度を反映しており、当該電位は聞き分け自信度の指標として利用可能である、(2)潜時約200msの電位は音圧の大きさを示しており、聞き分け自信度とは別に刺激音声の音圧が十分であったか否かの判定に利用可能である、という結論を導き出した。
陰性成分に関してはこれまでに、純音を刺激として呈示する場合に刺激音の音圧増加に伴ってN1成分(潜時100ms前後の陰性成分)の振幅が増大することは報告されている(たとえば、Naatanen, R., & Picton, T. W.(1987). The N1 wave of the human electric and magnetic response to sound : a review and an analysis of the component structure. Psychophysiology, 24, 375-425.)。
しかしながら、N1成分の振幅は音圧の他に、刺激音の立ち上がりや持続時間によって変化する。したがって、立ち上がりや周波数やパワーが時間変化する「語音」を刺激として用いた場合の音圧レベルと陰性成分の関係性は明らかでなかった。
また、通常は音圧レベルを上げると語音明瞭度は向上するため、聞き分け自信度を示す潜時約700msの陽性成分と潜時約200msの陰性成分とが独立した成分であるか否か、および、それぞれの状態の判定に利用可能かどうかは明らかでなかった。
よって、音声刺激の音圧増大に伴って潜時約200msの陰性成分の振幅が増大すること、潜時約200msの陰性成分は自信度を反映した潜時約700msの陽性成分とは独立であること、は本願発明者らが聞き分けやすさと音圧をそれぞれ操作した4種類の音声刺激を用いて実施した実験によって初めて明らかになった発見といえる。
上述の電極位置Pzにおける潜時約700msの陽性成分(図8)および音圧レベルごとの潜時約200msの陰性成分(図9)は、たとえば該当区間のピーク値の大きさ(振幅)を閾値処理する方法、典型的な上記成分の波形からテンプレートを作成してそのテンプレートとの類似度を算出する方法等によって識別可能である。なお、閾値・テンプレートはあらかじめ保持した典型的なユーザのものを利用してもよいし、個人ごとに作成してもよい。
また、今回の実験では、音声が呈示された時刻を起点とした事象関連電位に聞き分け自信度や音圧レベルを反映した成分が出現することを確認する意味で11人の参加者のデータを加算平均した。しかし、特徴量抽出の方法(たとえば波形のウェーブレット変換)や識別方法(たとえばサポートベクターマシンラーニング)の工夫により、非加算または数回程度の少数加算でも陽性成分の識別は可能である。
本願明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約700ms」と表現している。これは、700msという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる。したがって、「約Xms」や「Xms付近」という語は、Xmsを中心として30から50msの幅がその前後(例えば、300ms±30ms、700ms±50ms)に存在し得ることを意味している。
なお、上述の「30msから50msの幅」はP300成分の一般的な個人差の例であるが、上記潜時約700msの陽性成分はP300と比べて潜時が遅いためユーザの個人差がさらに大きく現れる。よって、より広い幅、たとえば前後に各100ms程度の幅であるとして取り扱うことが好ましい。よって、本実施形態において、「潜時約700ms」は、潜時600ms以上800ms以下であることを示す。
また、「潜時200ms付近」や「潜時約200ms」についても、潜時200msに対して前後に各30から50msの幅を持つとしてもよいし、それよりも若干広い幅、たとえば前後に各50msから100msの幅を持つとしてもよい。すなわち、本実施形態において「潜時約200ms」は、潜時100ms以上300ms以下であるとしてもよい。
以上、本願発明者らは、行動実験によって音声に対するユーザの聞き分け自信度に基づいて語音明瞭度評価が行えることを発見した。また脳波計測実験によって、(1)音声が呈示された時刻を起点とした事象関連電位の潜時約700msの陽性成分が聞き分け自信度を反映すること、(2)聞き分け自信度を示す潜時約700msの陽性成分とは独立に音声が呈示された時刻を起点とした潜時約200msの陰性成分が音圧レベルを反映すること、を発見した。
ゆえに、事象関連電位の陽性成分を指標として音声に対する聞き分け自信度を、陰性成分を指標に刺激音声の音圧が十分であったか否かを推定する方法により、回答入力なしの詳細な語音明瞭度評価が実現可能となる。
図10(a)は、本願発明者らによってまとめられた、陽性成分の有無と、聞き分け自信度および聞きやすさの対応関係を示す。まず、陽性成分の有無に基づいて、陽性成分なしの場合(陽性成分が出現しない場合)には聞き分けは明瞭であったと判定し、陽性成分ありの場合(陽性成分が出現した場合)には不明瞭と判定する。陽性成分ありで聞き分け不明瞭と判定した場合には、陰性成分の有無に基づいて刺激音声の音圧が十分であったか否かを判定する。
なお、一般的には「陽性成分」とは0μVよりも大きい電位を意味する。しかしながら、本願明細書において「陽性成分」とは、絶対的に陽性である(0μVよりも大きい)ことを要しない。本願明細書では、聞き分け自信度が高いか低いかを識別するために「陽性成分」の有無を識別しているため、聞き分け自信度の有意な高低を弁別できる限り、区間平均電位等が0μV以下であってもよい。
図10(b)は、聞き分け不明瞭の場合に陰性成分の有無と、音圧レベルの判定結果および推定できる不明瞭の要因の対応関係を示す。音圧が十分であったか否かは、陰性成分ありの場合には音圧十分、陰性成分なしの場合には音圧不足と判定する。
なお、一般的には「陰性成分」とは0μVよりも小さい電位を意味する。しかしながら本願明細書において「陰性成分」とは、絶対的に陰性である(0μVよりも小さい)ことを要しない。本願明細書では、音圧レベルが不足しているか否かを識別するために「陰性成分」の有無を識別しているため、音圧不足を弁別できる限り、区間平均電位等が0μV以上であってもよい。陰性成分の大小を判定できる場合には、陰性成分の有無として記述している。
音圧十分にも関わらず聞き分けが不明瞭な場合の不明瞭の要因は、母音と比較してパワーが小さく周波数が異なる子音に存在することが多く、たとえば呈示語音の子音周波数のゲイン不足と推定できる。また、音圧不足の場合には全体のゲイン不足として、聞き分け不明瞭の要因をそれぞれ推定できる。これにより、たとえば不明瞭の要因が子音周波数のゲイン不足の場合には子音周波数のゲインを上げる、あるいは、全体のゲイン不足の場合には全体のゲインを上げる、のような具体的なフィッティング手順への落とし込みを実現できる。
以下、本発明の実施形態にかかる語音明瞭度評価システムを説明する。語音明瞭度評価システムは、単音節の語音を音声で順次呈示し、音声が呈示された時刻を起点とした事象関連電位の潜時約700msの陽性成分と潜時約200msの陰性成分の有無に基づいて、語音の聞き分け評価を実現する。これは本願発明者らの上記2つの発見に基づき初めて実現される、ユーザの回答入力が不要な語音明瞭度評価システムである。
3.実施形態1
以下では、まず、語音明瞭度評価システムの概要を説明する。その後、語音明瞭度評価装置を含む語音明瞭度評価システムの構成および動作を説明する。
本実施形態による語音明瞭度評価システムは、音声を順次呈示し音声呈示時刻の各々を起点に事象関連電位を計測する。そして、音声の聞き分け自信度が低い場合に出現する潜時約700msの陽性成分と、刺激音声の音圧に応じて陰性の振幅が増大する潜時200ms前後の陰性成分とを検出し、語音の聞き分けを評価する。上述の事象関連電位の陽性成分は聞き分け自信度を反映しており、また陰性成分は音圧レベルを反映している。
本実施形態においては、探査電極を頭頂部のPzに設け、基準電極を左右どちらかのマストイドに設けて、探査電極と基準電極の電位差である脳波を計測した。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定の仕方に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極の設定の仕方に応じて適切な改変を行って事象関連電位の特徴成分を検出し、語音明瞭度の評価を行うことが可能である。そのような改変例は、本発明の範疇である。
なお、上記脳波計測実験の説明においては、実験的に正常な聴力を有する参加者に対して周波数ゲインの強弱を変化させて、難聴者の聞こえの状況に近い状況を再現した。しかしながら、難聴者の語音明瞭度評価を実施する場合には聞き分けにくい語音をあえて呈示する必要はない。本実施形態では、あらかじめ測定した難聴者のオージオグラムからフィッティング手法に基づいて、周波数ごとのゲインが最適に調整された語音を呈示することを前提とする。
図11は、本実施形態による語音明瞭度評価システム100の構成および利用環境を示す。この語音明瞭度評価システム100は後述する実施形態1のシステム構成に対応させて例示している。
語音明瞭度評価システム100は、語音明瞭度評価装置1と、音声出力部11と、生体信号計測部50とを備えている。生体信号計測部50は少なくとも2つの電極AおよびBと接続されている。電極Aはユーザ5のマストイドに貼り付けられ、電極Bはユーザ5の頭皮上の位置(いわゆるPz)に貼り付けられている。
語音明瞭度評価システム100は、単音節の語音をある音圧の音声でユーザ5に呈示し、音声呈示時刻を起点に計測したユーザ5の脳波(事象関連電位)において潜時約700msの陽性成分の有無と潜時約200msの陰性成分の有無を判定する。そして、呈示音声と陽性成分・陰性成分の有無に基づき、ユーザ5の回答入力なしに自動的に語音明瞭度評価を実現する。
ユーザ5の脳波は、電極Aと電極Bとの電位差に基づいて生体信号計測部50により取得される。生体信号計測部50は、電位差に対応する情報(脳波信号)を無線または有線で語音明瞭度評価装置1に送信する。図11では、当該情報を生体信号計測部50が無線で語音明瞭度評価装置1に送信する例を示している。
語音明瞭度評価装置1は、語音明瞭度評価のための音声の音圧制御や、音声および文字の呈示タイミングの制御を行い、ユーザ5に対して、音声出力部11(たとえばスピーカ)を介して音声を呈示する。
図12は、本実施形態による語音明瞭度評価装置1のハードウェア構成を示す。語音明瞭度評価装置1は、CPU30と、メモリ31と、オーディオコントローラ32とを有している。これら互いにバス34で接続され、相互にデータの授受が可能である。
CPU30は、半導体素子で構成されたコンピュータであり、メモリ31に格納されているコンピュータプログラム35を実行する。コンピュータプログラム35には、後述するフローチャートに示される処理手順が記述されている。語音明瞭度評価装置1は、このコンピュータプログラム35にしたがって、同じメモリ31に格納されている語音DB71を利用して、語音明瞭度評価システム100の全体を制御する処理を行う。この処理は後に詳述する。
オーディオコントローラ32は、CPU30の命令に従って、それぞれ、呈示すべき音声および文字を生成し、生成した音声信号を指定された音圧で音声出力部11に出力する。
なお、語音明瞭度評価装置1は、1つの半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のCPU30、メモリ31、オーディオコントローラ32の機能を全て実現することが可能である。
上述のコンピュータプログラム35は、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図12に示すハードウェアを備えた機器(たとえばPC)は、当該コンピュータプログラム35を読み込むことにより、本実施形態による語音明瞭度評価装置1として機能し得る。なお、語音DB71はメモリ31に保持されていなくてもよく、たとえばバス34に接続されたハードディスク(図示せず)に格納されていてもよい。
図13は、本実施形態による語音明瞭度評価システム100の機能ブロックの構成を示す。語音明瞭度評価システム100は、音声出力部11と、生体信号計測部50と、語音明瞭度評価装置1とを有している。図13はまた、語音明瞭度評価装置1の詳細な機能ブロックも示している。すなわち、語音明瞭度評価装置1は、事象関連電位処理部55と、陽性成分判定部60と、陰性成分判定部65と、呈示語音制御部70と、語音DB71と、語音明瞭度評価部80とを備えている。なお、ユーザ5のブロックは説明の便宜のために示されている。
語音明瞭度評価装置1の各機能ブロック(語音DB71を除く)は、それぞれ、図12に関連して説明したプログラムが実行されることによって、CPU30、メモリ31、オーディオコントローラ32によって全体としてその時々で実現される機能に対応している。
語音DB71は、語音明瞭度評価を行うために用意される語音のデータベースである。図14は、語音DB71の例を示す。図14に示した語音DB71では、呈示する音声ファイル、子音ラベル、異聴発生尤度(異聴の発生しやすさ)によってグループ分けされたデータが対応付けられている。保存されている音声は、あらかじめ測定した難聴者のオージオグラムからフィッティング手法に基づいて周波数ごとのゲイン調整が完了しているものとする。保存される語音の種類は、57S語表、67S語表に挙げられている語音でも良い。子音ラベルは、ユーザ5がどの子音において異聴が発生する確率が高いかを評価する際に利用される。グループ分けのデータは、ユーザ5がどのグループにおいて異聴発生する確率が高いかを評価する際に利用される。グループ分けは、たとえば大分類、中分類、小分類とする。
大分類は母音、無声子音、有声子音の分類でそれぞれ0、1、2のように表記している。中分類は無声子音内、有声子音内の分類である。無声子音内はサ行(中分類:1)とタ・カ・ハ行(中分類:2)に、有声子音内はラ・ヤ・ワ行(中分類:1)とナ・マ・ガ・ザ・ダ・バ行(中分類:2)に分類できる。小分類は、ナ・マ行(小分類:1)とザ・ガ・ダ・バ行(小分類:2)のように分類できる。異聴発生尤度については、「補聴器フィッティングの考え方」(小寺一興、診断と治療社、1999年、172頁)を参照した。
再び図13を参照する。呈示語音制御部70は、語音DB71を参照し呈示する語音を決定する。語音はたとえばランダムな順序で選択・決定しても良いし、語音明瞭度評価部100から未評価/再評価な語音の情報を受けて決定しても良い。また、呈示語音制御部70は、どの子音において、あるいはどの語音グループにおいて、異聴の発生確率が高いかの情報を得るため、特定の子音、あるいは語音グループの音声を選択してもよい。
呈示語音制御部70は、このようにして決定した音声を、音声出力部11を介してユーザ5に呈示する。また、音声呈示時刻に合わせてトリガを生体信号計測部50へ呈示音声の内容を陽性成分判定部60と陰性成分判定部65に送信する。
音声出力部11は、呈示語音制御部70より指定された単音節の音声を再生し、ユーザ5に呈示する。
生体信号計測部50は、ユーザ5の生体信号を計測する脳波計であり、生体信号として脳波を計測する。そして、呈示語音制御部70から受けたトリガを起点に所定区間(たとえば−200msから1000msの区間)の事象関連電位を切り出し、事象関連電位処理部55に送付する。ユーザ5はあらかじめ脳波計を装着しているものとする。脳波計測用の電極はたとえば頭頂部のPzに装着される。
事象関連電位処理部55は、呈示語音制御部70から受けた呈示音声の内容に応じて、生体信号計測部50から受けた事象関連電位の加算平均を行う。事象関連電位処理部55は、たとえば同じ語音の事象関連電位のみを選択して、語音の種類毎に事象関連電位の加算平均を行う。同じ語音のみで事象関連電位を加算平均した場合には語音ごとの聞き分け評価が可能となる。
事象関連電位処理部55は、語音ごとに所定回数の加算平均を実行して得られた脳波データを、陽性成分判定部60と陰性成分判定部65とに送付する。ここで、脳波データの送付先ごとに事象関連電位に別々の処理を行ってもよい。たとえば、送り先に応じて加算平均を実行する回数を変更してもよいし、送り先に応じて遮断周波数の異なる2種類のフィルタ処理を切り替えて事象関連電位の波形にフィルタ処理を施してもよい。図8および図9からも明らかなように、陽性成分に比べて陰性成分は高周波数であり、陽性成分と陰性成分の周波数とは異なっている。そのため、送り先に応じて異なるフィルタ処理を行うことにより、シグナル/ノイズ比が高い脳波データを得ることができる。
陽性成分判定部60および陰性成分判定部65は事象関連電位処理部55から脳波データを受け取って、後述する別々の解析を行う。
なお、加算平均は、同じ子音を持つ語音を選択して行ってもよいし、図14で示したグループの大分類・中分類・小分類ごとに行ってもよい。同じ子音を持つ語音で加算平均した場合には、子音の種類毎に、聞き分けの明瞭度が低いか否かの評価が可能となる。また、グループごとに加算平均した場合には、たとえば有声子音と無声子音では無声子音に対して聞き分けの明瞭度が低い、のようにグループにおける聞き分け評価が可能となる。子音ごと、グループごとの加算平均では、ある程度加算回数が確保された加算波形がそれぞれ得られる。
陽性成分判定部60は、事象関連電位処理部55から受け取った脳波データに基づいて、潜時約700msの陽性成分の有無を判定する。先に説明した脳波計測実験の項において説明した通り、「潜時約700ms」とは、たとえば音声出力部11が語音を呈示した時刻を起点にして、起点から600ms以上800ms以下の区間をいう。
陽性成分判定部60による陽性成分の有無の識別方法は以下のとおりである。たとえば、陽性成分判定部60は、潜時700msの最大振幅、または、潜時700msの区間平均電位を所定の閾値と比較する。そして、区間平均電位が閾値より大きい場合には、陽性成分判定部60は「陽性成分あり」と識別し、小さい場合を「陽性成分なし」と識別する。または、潜時約700msの典型的な陽性成分信号の波形から作成した所定のテンプレートとの類似度(たとえば相関係数)によって類似している場合には、陽性成分判定部60は「陽性成分あり」と識別し、類似していない場合には「陽性成分なし」と識別しても良い。所定の閾値やテンプレートは、予め保持した一般的なユーザの陽性成分の波形から算出・作成しても良いし、個人ごとの陽性成分の波形から算出・作成しても良い。
陰性成分判定部65は、事象関連電位処理部55から受け取った脳波データの潜時約200msにおける、陰性成分の有無を識別する。先に説明した脳波計測実験の項において説明した通り、「潜時約200ms」とは、たとえば音声出力部11が語音を呈示した時刻を起点にして、起点から100ms以上300ms以下の区間をいう。
陰性成分判定部65による陰性成分の有無の識別方法は以下のとおりである。たとえば、陰性成分判定部65は、潜時200msの陰性のピーク値の絶対値(振幅)を所定の閾値と比較する。そして、陰性のピーク値の絶対値(振幅)が閾値以上の場合には「陰性成分あり」と識別し、ピーク値の絶対値が閾値より小さい場合を「陰性成分なし」と識別する。または、陰性成分判定部60は、潜時約200msの典型的な陰性成分信号の波形から作成した所定のテンプレートとの類似度(たとえば相関係数)によって類似している場合を「陰性成分あり」と識別し、類似していない場合を「陰性成分なし」と識別しても良い。所定の閾値やテンプレートは、予め保持した一般的なユーザの陰性成分の波形から算出・作成しても良いし、個人ごとの陰性成分の波形から算出・作成しても良い。
語音明瞭度評価部80は、陽性成分判定部60から語音ごとの陽性成分の有無の情報を受け取り、陰性成分判定部65から語音ごとの陰性成分の有無の情報を受け取る。語音明瞭度評価部100は、受け取った情報に基づいて、語音明瞭度を評価する。
明瞭度の評価は、たとえば図10に示す規則のとおりに、陽性成分の有無および陰性成分の有無にしたがって行う。図10(a)に示すように、まず、脳波データに陽性成分がなく聞き分け自信度が高い場合を「○」(=明瞭度が高い)、陽性成分があり聞き分け自信度が低い場合を「△」(=明瞭度が低い)とする。「明瞭度が高い」とは、ユーザが語音を明瞭に聞き取れたことを示し、「明瞭度が低い」とは、ユーザが語音を明瞭に聞き取れなかったことを示す。
いま、語音明瞭度評価部80が、陽性成分ありで明瞭度が低いと評価したとする。
語音明瞭度評価部80は、脳波データ中の陰性成分の有無を判定する。陰性成分の有無の判定結果および図10(b)に示す基準に基づいて、語音明瞭度評価部80は、陰性成分がある場合には刺激音声の音圧レベルが十分であると判定し、陰性成分がない場合には刺激音声の音圧レベルが不足していると判定する。
図15は、本実施形態による手法を用いた語音明瞭度評価結果の例を示す。図15(a)および(b)は、それぞれユーザAおよびユーザBに対して語音ごとの加算平均により語音ごとの明瞭度を評価した例を示す。まず、脳波データの潜時約700msの陽性成分の有無に応じて陽性成分なしで○、陽性成分ありで△のように明瞭度評価を行う。さらに、陽性成分ありで不明瞭な場合には、脳波データの潜時約200msの陰性成分の有無に基づいて不明瞭の要因を判定する。不明瞭の要因は、陰性成分がある場合を音圧十分、陰性成分がない場合を音圧不足として行う。図15によれば、どちらのユーザも語音明瞭度は同じであるが、不明瞭の要因が異なっていることが理解される。ユーザAは全体のゲイン不足、ユーザBは子音周波数のゲイン不足であることを示している。図15に示した例では、ユーザAに対しては全体ゲインを上げる、ユーザBに対しては「な・ま・ら・だ」の子音周波数のゲインのみを上げる、という具体的なフィッティング手順の提案ができる。
次に、図16を参照しながら図13の語音明瞭度評価システム100において行われる全体的な処理の手順を説明する。図16は、語音明瞭度評価システム100において行われる処理の手順を示すフローチャートである。
ステップS101において、呈示語音制御部70は語音DB71を参照しながら呈示する単音節の語音を決定し、音声出力部11を介してユーザ5に音声を呈示し、陽性成分判定部60に対し、呈示した音声の情報およびトリガを送信する。呈示する語音はDB71からランダムに選択しても良いし、特定の子音またはグループの語音を集中的に選択してもよい。
ステップS102において、生体信号計測部50は呈示語音制御部70からトリガを受けて、計測した脳波のうち、トリガを起点にたとえば−200msから1000msまでの事象関連電位を切り出す。そして−200msから0msの平均電位を求め、その平均電位が0μVになるよう、得られた事象関連電位をベースライン補正する。
ステップS103において、事象関連電位処理部55はステップS102で切り出した事象関連電位を呈示語音制御部70から受けた呈示語音の情報に基づき語音ごとに加算平均する。加算平均は、子音ごとやグループごとに行ってもよいがここでは語音ごとに行うとする。
ステップS104において、事象関連電位処理部55はステップS101で呈示された語音に対する事象関連電位の加算回数が所定の加算回数に到達したか否かを判定する。加算回数が所定回数以下の場合には処理はステップS101へ戻り、音声の呈示を繰り返す。加算回数が所定回数以上の場合には処理はステップS105へ進む。
ステップS105において、事象関連電位処理部55は所定回数の加算平均をした脳波データを陽性成分判定部60および陰性成分判定部65に送付する。
ステップS106において、陽性成分判定部60は、脳波データの潜時約700msに陽性成分が存在するか否かを判定する。陽性成分が存在すると判定されなかった場合には処理はステップS108へ進み、陽性成分が存在すると判定された場合には処理はステップS107へ進む。陽性成分の識別は、上述のように、閾値との比較によって行ってもよいし、テンプレートとの比較によって行ってもよい。
ステップS107において、陰性成分判定部65は、脳波データの潜時約200msに陰性成分が存在するか否かを判定する。陰性成分が存在すると判定されなかった場合には処理はステップS109へ進み、陰性成分が存在すると判定検出された場合には処理はステップS110へ進む。陰性成分の識別は、上述のように、閾値との比較によって行ってもよいし、テンプレートとの比較によって行ってもよい。
ステップS108において、語音明瞭度評価部100は、ステップS101で呈示した語音に対して陽性成分判定部60から潜時約700msの陽性成分が存在しなかったことを受けて明瞭であると評価し、評価結果を蓄積する。
ステップS109において、語音明瞭度評価部100は、ステップS101で呈示した語音に対して陽性成分判定部60から潜時約700msの陽性成分が存在したことと、陰性成分判定部65から潜時約200msの陰性成分が存在しなかったことを受けて、音圧不足による不明瞭と評価し、評価結果を蓄積する。
ステップS110において、語音明瞭度評価部100は、ステップS101で呈示した語音に対して陽性成分判定部60から潜時約700msの陽性成分が存在したことと、陰性成分判定部65から潜時約200msの陰性成分が存在したことを受けて、音圧は十分だが不明瞭と評価し、評価結果を蓄積する。
ステップS111において、語音明瞭度評価部100は、明瞭度評価予定の全ての語音に対して明瞭度評価が完了したか否かを判定する。完了していない場合には処理はステップS101へ戻り、完了している場合には語音明瞭度評価を終了する。
語音明瞭度評価の基準は、まず図10(a)に示したように陽性成分に基づいて行い、次に図10(b)に示したように聞き分け不明瞭の場合には陰性成分の有無に基づいて不明瞭の要因の評価を行う。
このような処理によって、単音節の語音を音声で呈示する設定で音声が呈示された時刻を起点とした事象関連電位の潜時約700msの陽性成分と、潜時約200msの陰性成分を用いて、ユーザの回答入力なしにある音圧レベルにおける語音明瞭度評価が実現できる。また、不明瞭の要因として、全周波数にわたる音圧不足か子音周波数のゲイン不足かの切り分けが可能となるため、評価結果を具体的なフィッティング手順へ容易に適用することができるようになる。
なお、本実施形態における語音明瞭度評価装置1は持ち運びが可能であるため、ユーザが補聴器を利用する音環境においても語音明瞭度評価が実現できる。
本実施形態では日本語の語音明瞭度評価を想定して説明した。しかしながら、単音節の語音であれば英語でも中国語でもよい。たとえば英語の場合には、単音節の単語を呈示し、単語ごとの評価をしてもよい。図17は、単音節の単語ごとの評価結果の一例を示している。
本実施形態の語音明瞭度評価システム100によれば、回答入力が不要でユーザは音声を聞いて該当する平仮名を思い浮かべるだけで語音明瞭度評価が実現される。これによって、たとえば補聴器販売店における語音明瞭度評価において評価に要する補聴器ユーザの手間が低減される。また、不明瞭の要因として、全周波数にわたる音圧不足か子音周波数のゲイン不足かの切り分けが可能となる。よって、語音明瞭度評価結果を具体的なフィッティング手順へ適用することが容易になり、会話を聞き分けやすいフィッティングを実現できる。
なお、図11では音声出力部11をスピーカとしたが、音声出力部11はヘッドフォンでも良い。ヘッドフォンを用いることで、持ち運びが簡易になりユーザが利用する環境において語音明瞭度の評価が可能となる。
4.実施形態2
実施形態1による語音明瞭度評価システム100では、語音DB71に保存されたあらかじめ1種類のフィッティング手法に基づいて調整された所定の音圧レベルの音声に対して、潜時約700msの陽性成分の有無に基づき明瞭度を評価し、不明瞭の場合には潜時約200msの陰性成分の有無に基づき不明瞭の要因を評価した。語音明瞭度評価システム100では、不明瞭の要因が全体的なゲイン不足か、子音周波数のゲイン不足かが特定できるため、たとえば全体のボリュームを上げる、または子音周波数を強調するような具体的なフィッティング手順の切替えを実現できるという特徴があった。
しかしながら、1つの音圧レベルに対する評価結果のみから、たとえば全体のボリュームや子音周波数のゲインの最適な調節量を求めることは困難であるため、最適フィッティングを行うには不十分であった。
そこで本実施形態では、不明瞭の要因に基づいて語音DBの音声を調整し、調整後の語音に対して再度語音明瞭度を評価するというループを設け、フィッティングパラメータを最適化する語音明瞭度評価システムを説明する。
図18は、本実施形態による語音明瞭度評価システム200の機能ブロックの構成を示す。語音明瞭度評価システム200は、音声出力部11と、生体信号計測部50と、語音明瞭度評価装置2とを有している。図13と同じブロックについては同一の参照符号を付し、その説明は省略する。なお、語音明瞭度評価装置2のハードウェア構成は、図12に示すとおりである。実施形態1で説明したプログラム35(図12)と異なる処理を規定するプログラムが実行されることにより、図18に示す本実施形態による語音明瞭度評価装置2が実現される。
本実施形態による語音明瞭度評価装置2が、実施形態1による語音明瞭度評価装置1との相違する点は、新たに刺激語音ゲイン調整部90を設けた点である。
以下、刺激語音ゲイン調整部90を説明する。
刺激語音ゲイン調整部90は、語音明瞭度評価部80に蓄積された明瞭度(たとえば語音ごとの明瞭度)と、図15に示す不明瞭の要因に関する評価結果を受け取る。そして、不明瞭の場合には不明瞭の要因ごとに刺激語音のゲイン調整量を決定し、語音DB71の語音データを更新する。
たとえば不明瞭の要因が「全体のゲイン不足」の場合には、全体の周波数ゲインを5dB向上させる。または、不明瞭の要因が「子音周波数のゲイン不足」の場合には、まず対象の語音の子音周波数帯域を算出し、その周波数帯域のゲインを5dB向上させる。語音明瞭度評価部80で図14に示した子音ラベルごと、グループごとに明瞭度評価を行った場合には、子音ラベルごと、グループごとに子音周波数帯域を算出することもできる。ゲイン調整量は5dBに限らず3dBでもよいし7dBでもよい。また、語音データの更新回数に合わせてゲイン調整量を減らしてもよい。
なお、語音DB71に保存する音声データの初期値がユーザごとのオージオグラムとフィッティング理論に基づき周波数−ゲイン特性を調整済の音声データの場合には、刺激語音ゲイン調整部90に保存する周波数−ゲイン特性の初期値として、その調整方法の周波数―ゲイン特性を保存してもよい。
図19、図20を参照しながら、刺激語音ゲイン調整部90における刺激語音ゲイン調整方法の例を説明する。まず、図19の実線(初期特性)は、刺激語音ゲイン調整部90に保存された周波数―ゲイン特性の初期値として、オージオグラムとフィッティング理論により求められた周波数−ゲイン特性を示している。高音の聞こえが悪いユーザを想定し、高音のゲインをより強調する調整パターンを例示している。
図20(a)は、この初期特性でゲイン調整された音声刺激を聞いた場合の、ユーザの語音明瞭度評価結果を示す。図20(a)に示すように、聞き分けが不明瞭な語音の不明瞭の要因はいずれも「全体のゲイン不足」であったと仮定する。その場合、刺激語音ゲイン調整部90は、調整方法として「全体のゲインを上げる」を選択する。そして、たとえば全周波数のゲインを5dB向上させた語音刺激を作成し語音DB71の語音データを書き換える。図19の一点鎖線は初期特性に対して調整方法Aにより全体のゲインを上げた周波数−ゲイン特性を示している。
次に、図20(b)は、調整方法Aで調整された音声刺激を聞いた場合の、語音明瞭度評価部80におけるユーザの語音明瞭度評価結果の例を示す。図20(b)は、調整方法Aによって大部分の聞き分け不明瞭が解消されたこと、および、残された聞き分け不明瞭の要因は「子音周波数ゲイン不足」であることを示している。
図20(b)の明瞭度評価結果を受けて、刺激語音ゲイン調整部90は、まず対象の語音(図21中では「さ」)の子音周波数帯域を算出し、算出した子音周波数帯域のゲインをたとえば5dB上げる。図19の破線(調整方法B)は、調整方法Aに対して対象語音の子音周波数帯域のゲインを上げた周波数−ゲイン特性を示している。刺激語音ゲイン調整部90は語音DBの語音データを、調整方法Bの周波数−ゲイン特性によって調整された音声に書き換える。
図20(c)は、調整方法Bで調整された語音に対する語音明瞭度評価結果の例を示す。図20(c)は、二段階の調整方法により全ての語音が明瞭に聞き分けられるようになったことを示している。
次に、図21のフローチャートを参照しながら、語音明瞭度評価システム200において行われる全体的な処理の手順を説明する。
図21は、本実施形態による語音明瞭度システム200の処理手順を示す。図21では、語音明瞭度評価システム100の処理(図16)と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
本実施形態による語音明瞭度評価システム200の処理が、実施形態1による語音明瞭度評価システム200の処理と相違する点は、語音明瞭度評価結果に不明瞭があるか否かによる分岐であるステップS201と、不明瞭の要因ごとに調整した刺激音声に語音DBの語音データを書き換えるステップS202からステップS205を追加した点である。追加したステップ以外については、図16に関連して既に説明しているため、説明を省略する。
ステップS201において、刺激語音ゲイン調整部90は語音明瞭度評価部80から受けた語音明瞭度評価結果に不明瞭が含まれるか否かを判定する。語音明瞭度評価結果に不明瞭が含まれる場合には処理はステップS202に、不明瞭が含まれない場合には終了に進む。
ステップS202において、刺激語音ゲイン調整部90は語音明瞭度評価部80から受けた語音明瞭度評価結果の不明瞭の要因が全体ゲイン不足か否かを判定する。全体ゲイン不足の場合には処理はステップS203へ進み、子音周波数ゲイン不足の場合には処理はステップS204へ進む。
ステップS203において、刺激語音ゲイン調整部90は、全体的なゲインをたとえば5dB上げた刺激語音を作成し、語音DB71の音声データを書き換える。
ステップS204において、刺激語音ゲイン調整部90は子音周波数ゲイン不足が要因で不明瞭である語音の子音周波数帯域を算出する。
ステップS205において、刺激語音ゲイン調整部90は、ステップS204で算出した子音周波数帯域のゲインをたとえば5dB上げた刺激音声を作成し、語音DB71の音声データを書き換える。
このような処理によって、語音明瞭度評価、不明瞭の要因ごとの周波数ゲイン調整、調整済の刺激語音に対する語音明瞭度評価、のループにより自動的なフィッティングパラメータの最適化を実現できる。なお、刺激語音ゲイン調整部90において音声データを書き換えた語音のみを対象に再度明瞭度評価を実施することで、明瞭度評価の時間を短縮化することも可能である。
本実施形態における語音明瞭度評価装置2は持ち運びが可能であるため、ユーザが補聴器を利用する音環境においても語音明瞭度評価が実現できる。
本実施形態の語音明瞭度評価システム200によれば、ユーザごとの最適なフィッティングパラメータを簡易にかつ自動的に特定できる。これによって探索的なフィッティングが不要となるためフィッティングに要する時間が格段に短縮する。
なお、上述の実施形態においては、語音DBは語音明瞭度評価装置内に設けられているとして説明した。しかしこれは一例である。語音DBは語音明瞭度評価装置の外部に設けられ、無線または有線で語音明瞭度評価装置から参照されてもよい。たとえば語音DBはメモリカードに格納され、語音明瞭度評価システムの使用時に語音明瞭度評価装置に挿入されてもよい。または、語音DBはインターネット上のサーバに格納され、語音明瞭度評価システムの使用時に語音明瞭度評価装置からインターネットを介して参照されてもよい。このような場合には、語音DBは語音明瞭度評価装置の構成要素とはされない。また語音DBは、語音明瞭度評価システムの構成要素とされなくてもよい。
本発明の語音明瞭度評価装置および語音明瞭度評価装置が組み込まれた語音明瞭度評価システムによれば、語音明瞭度の評価が自動的にできるため、体が不自由なユーザや幼児のように発声やボタン押しによる回答ができないユーザのみならず、全ての人に対する補聴器フィッティングにおいて利用可能である。
5 ユーザ
1 語音明瞭度評価装置
11 音声出力部
50 生体信号計測部
60 陽性成分判定部
65 陰性成分判定部
70 呈示語音制御部
71 語音DB
80 語音明瞭度評価部
90 刺激語音ゲイン調整部
100 語音明瞭度評価システム
200 語音明瞭度評価システム

Claims (15)

  1. 語音を複数保持している語音データベースと、
    前記語音データベースを参照して、呈示する語音を決定する呈示語音制御部と、
    決定した前記語音をユーザに呈示する出力部と、
    前記ユーザの脳波信号を計測する生体信号計測部と、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定する陽性成分判定部と、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして前記起点から100ms以上300ms以下の区間における事象関連電位の陰性成分の有無を判定する陰性成分判定部と、
    前記陽性成分判定部から取得した前記陽性成分の有無の判定結果と、前記陰性成分判定部から取得した前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価する語音明瞭度評価部と
    を備えた、語音明瞭度評価システム。
  2. 前記語音明瞭度評価部は、
    前記陽性成分判定部の判定結果が、前記陽性成分は存在しないことを示している場合には、前記ユーザが呈示した語音を明瞭に聞き取れたと評価し、
    前記陽性成分検判定部の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分判定部の判定結果が、前記陰性成分は存在していないことを示している場合には、全体の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価し、
    前記陽性成分検判定部の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分判定部の判定結果が、前記陰性成分は存在していることを示している場合には、子音周波数の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価する、
    請求項1に記載の語音明瞭度評価システム。
  3. 前記陽性成分判定部は、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における事象関連電位の区間平均電位と、所定の閾値とを比較し、
    前記区間平均電位が前記閾値以上の場合には、陽性成分が存在すると判定し、
    前記区間平均電位が前記閾値よりも小さい場合、陽性成分が存在しないと判定する、 請求項1に記載の語音明瞭度評価システム。
  4. 前記陰性成分判定部は、前記出力部が語音を呈示した時刻を起点にして、前記起点から100ms以上300ms以下の区間における事象関連電位の陰性のピーク値の絶対値と、所定の閾値とを比較して、
    前記ピーク値の絶対値が前記閾値以上の場合、陰性成分が存在すると判定し、
    前記ピーク値の絶対値が前記閾値よりも小さい場合、陰性成分が存在しないと判定する、請求項1に記載の語音明瞭度評価システム。
  5. 前記語音データベースは、保持している複数の語音の各々について、語音の種類、子音情報の種類および異聴発生確率に関するグループを対応付けして保持している、請求項1に記載の語音明瞭度評価システム。
  6. 前記語音データベースに記憶された語音の種類、子音情報の種類および異聴発生確率に関するグループの対応付けを参照して、前記語音の種類、前記子音情報の種類および前記異聴発生確率に関するグループ毎に、呈示した前記語音に対応する事象関連電位を加算平均した脳波データを生成する事象関連電位処理部をさらに備えた、請求項5に記載の語音明瞭度評価システム。
  7. 前記出力部は、複数の語音を呈示し、
    前記陽性成分判定部および前記陰性成分判定部は、呈示した前記複数の語音に関する語音の種類毎、子音の種類毎、または前記異聴発生確率に関するグループ毎に事象関連電位が加算平均されて得られた脳波データを受け取り、
    前記陽性成分判定部は、前記脳波データに基づいて、前記語音の種類毎、前記子音の種類毎、または前記異聴発生確率に関するグループ毎に前記事象関連電位の陽性成分の有無を判定し、
    前記陰性成分判定部は、前記脳波データに基づいて、前記語音の種類毎、前記子音の種類毎、または前記異聴発生確率に関するグループ毎に前記事象関連電位の陰性成分の有無を判定する、請求項6に記載の語音明瞭度評価システム。
  8. 前記語音データベースは、さらに、前記複数の語音に関する周波数帯域ごとのゲインを定めたゲイン情報を保持しており、
    前記語音明瞭度評価部によって全体の音圧不足により前記ユーザが明瞭に聞き取れなかったと評価された語音については、周波数帯域全体のゲインを向上させるように、前記語音データベースが保持している語音に関する周波数ごとのゲイン情報を書き換え、また、前記語音明瞭度評価部によって子音周波数の音圧不足により前記ユーザが明瞭に聞き取れなかった評価された語音については、前記語音の子音周波数帯域を算出し、前記子音周波数帯域のゲインを向上させるように、前記語音データベースが保持している語音に関する周波数ごとのゲイン情報を書き換える、刺激語音ゲイン調整部をさらに備えた、請求項2に記載の語音明瞭度評価システム。
  9. 語音を複数保持している語音データベースを用意するステップと、
    前記語音データベースを参照して、呈示する語音を決定するステップと、
    決定した前記語音をユーザに呈示するステップと、
    前記ユーザの脳波信号を計測するステップと、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定するステップと、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100msから300msの区間における前記事象関連電位の陰性成分の有無を判定するステップと、
    前記陽性成分の有無の判定結果と、前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価するステップと
    を包含する、語音明瞭度評価方法。
  10. 評価する前記ステップは、
    前記陽性成分の有無の判定結果が、前記陽性成分は存在しないことを示している場合には、前記ユーザが呈示した語音を明瞭に聞き取れたと評価し、
    前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が、前記陰性成分は存在していないことを示している場合には、全体の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価し、
    前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が前記陰性成分は存在していることを示している場合には、子音周波数の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価する、
    請求項9に記載の語音明瞭度評価方法。
  11. 語音を複数保持している語音データベースを備えた語音明瞭度評価システムのコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記語音明瞭度評価システムに実装されるコンピュータに対し、
    前記語音データベースを参照して、呈示する語音を決定するステップと、
    決定した前記語音をユーザに呈示するステップと、
    前記ユーザの脳波信号を計測するステップと、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における前記事象関連電位の陽性成分の有無を判定するステップと、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100ms以上300ms以下の区間における前記事象関連電位の陰性成分の有無を判定するステップと、
    前記陽性成分の有無の判定結果と、前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを示す語音明瞭度を評価するステップと
    を実行させる、コンピュータプログラム。
  12. 評価する前記ステップは、
    前記陽性成分の有無の判定結果が、前記陽性成分は存在しないことを示している場合には、前記ユーザが呈示した語音を明瞭に聞き取れたと評価し、
    前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が、前記陰性成分は存在していないことを示している場合には、全体の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価し、
    前記陽性成分の有無の判定結果が、前記陽性成分は存在していることを示しており、かつ、前記陰性成分の有無の判定結果が前記陰性成分は存在していることを示している場合には、子音周波数の音圧不足により前記ユーザが呈示した語音を明瞭に聞き取れなかったと評価する、
    請求項11に記載のコンピュータプログラム。
  13. 語音を複数保持している前記語音データベースを参照して、呈示する語音を決定する呈示語音制御部と、
    生体信号計測部が計測した前記ユーザの前記脳波信号の、前記語音が呈示された時刻を起点にして前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定する陽性成分判定部と、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100ms以上300ms以下の区間における事象関連電位の陰性成分の有無を判定する陰性成分判定部と、
    前記陽性成分判定部から取得した前記陽性成分の有無の判定結果と、前記陰性成分判定部から取得した前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価する語音明瞭度評価部と
    を備えた、語音明瞭度評価装置。
  14. 提示語音制御部が、語音を複数保持している語音データベースを参照して、呈示する語音を決定するステップと、
    出力部が、決定した前記語音をユーザに呈示するステップと、
    脳波計測部が、前記ユーザの脳波信号を計測するステップと、
    陽性成分判定部が、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における前記事象関連電位の陽性成分の有無を判定するステップと、
    陰性成分判定部が、前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から100msから300msの区間における前記事象関連電位の陰性成分の有無を判定するステップと、
    語音明瞭度評価部が、前記陽性成分の有無の判定結果と、前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価するステップと
    を包含する、語音明瞭度評価システムの作動方法。
  15. 語音を複数保持している語音データベースと、
    前記語音データベースを参照して、呈示する語音を決定する呈示語音制御部と、
    決定した前記語音をユーザに呈示する出力部と、
    前記ユーザの脳波信号を計測する生体信号計測部と、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして、前記起点から600ms以上800ms以下の区間における事象関連電位の陽性成分の有無を判定する陽性成分判定部と、
    前記脳波信号の、前記出力部が語音を呈示した時刻を起点にして前記起点から100ms以上300ms以下の区間における事象関連電位の陰性成分の有無を判定する陰性成分判定部と、
    前記陽性成分判定部から取得した前記陽性成分の有無の判定結果と、前記陰性成分判定部から取得した前記陰性成分の有無の判定結果とに基づいて、呈示された前記語音を前記ユーザが明瞭に聞き取れたか否かを評価する語音明瞭度評価部と
    前記陽性成分が存在せず、かつ、前記陰性成分が存在していない場合、周波数帯域全体のゲインを向上させ、前記陽性成分が存在せず、かつ、前記陰性成分が存在する場合、前記語音の子音周波数帯域を算出し、前記子音周波数帯域のゲインを向上させる、刺激語音ゲイン調整部と
    を備えた、語音明瞭度評価システム。
JP2011532398A 2010-01-28 2011-01-05 語音明瞭度評価システム、その方法およびそのプログラム Active JP4838401B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011532398A JP4838401B2 (ja) 2010-01-28 2011-01-05 語音明瞭度評価システム、その方法およびそのプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010017207 2010-01-28
JP2010017207 2010-01-28
JP2011532398A JP4838401B2 (ja) 2010-01-28 2011-01-05 語音明瞭度評価システム、その方法およびそのプログラム
PCT/JP2011/000006 WO2011093005A1 (ja) 2010-01-28 2011-01-05 語音明瞭度評価システム、その方法およびそのプログラム

Publications (2)

Publication Number Publication Date
JP4838401B2 true JP4838401B2 (ja) 2011-12-14
JPWO2011093005A1 JPWO2011093005A1 (ja) 2013-05-30

Family

ID=44319004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011532398A Active JP4838401B2 (ja) 2010-01-28 2011-01-05 語音明瞭度評価システム、その方法およびそのプログラム

Country Status (4)

Country Link
US (1) US8849391B2 (ja)
JP (1) JP4838401B2 (ja)
CN (1) CN102469961B (ja)
WO (1) WO2011093005A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013161235A1 (ja) 2012-04-24 2013-10-31 パナソニック株式会社 語音弁別能力判定装置、語音弁別能力判定システム、補聴器利得決定装置、語音弁別能力判定方法およびそのプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781322B (zh) 2010-06-11 2015-02-25 松下电器产业株式会社 语音听取的评价系统、及方法
CN102781321B (zh) * 2010-06-11 2015-04-08 松下电器产业株式会社 听力判定系统及其方法
JP5406414B2 (ja) 2011-10-18 2014-02-05 パナソニック株式会社 不快音圧推定システム、不快音圧推定装置、不快音圧推定システムの作動方法およびそのコンピュータプログラム
JP5632569B2 (ja) * 2012-10-09 2014-11-26 パナソニック株式会社 不快音圧推定システム、不快音圧推定プロセッサ、不快音圧推定方法およびそのコンピュータプログラム
US10037712B2 (en) * 2015-01-30 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of detecting a classification of an object
JP6337362B1 (ja) * 2017-11-02 2018-06-06 パナソニックIpマネジメント株式会社 認知機能評価装置、及び、認知機能評価システム
US10581625B1 (en) 2018-11-20 2020-03-03 International Business Machines Corporation Automatically altering the audio of an object during video conferences
US20240055013A1 (en) * 2019-10-04 2024-02-15 Katholieke Universiteit Leuven Method and apparatus for determining a measure of speech intelligibility

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114038A (ja) * 1992-10-05 1994-04-26 Mitsui Petrochem Ind Ltd 聴覚検査・訓練装置
JPH0938069A (ja) * 1995-08-02 1997-02-10 Nippon Telegr & Teleph Corp <Ntt> 語音聴力検査方法およびこの方法を実施する装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2042345U (zh) * 1988-10-04 1989-08-09 泰山医学院 听觉诱发电位测试仪
IL99946A (en) * 1991-11-03 1995-12-31 Or Gil Computerized Medical Sy Apparatus for determination of auditory threshold to intelligible speech
EP1444950A1 (de) * 2003-02-07 2004-08-11 Stürzebecher Ekkehard Verfahren zum objektiven Nachweis von Auditory Steady-State Responses (ASSR) im Zeitbereich
CN1606960A (zh) * 2003-10-13 2005-04-20 北京新科永创科技有限公司 脑电心理测试仪
EP2260760B1 (en) * 2004-06-18 2014-08-27 Neuronetrix Solutions, LLC Evoked response testing method for neurological disorders
CN100387192C (zh) * 2004-07-02 2008-05-14 松下电器产业株式会社 生体信号利用机器及其控制方法
DE102005032273B8 (de) * 2005-07-11 2009-08-13 Siemens Audiologische Technik Gmbh Hörgerätesystem, Hörgerät und entsprechendes Verfahren zu dessen Einstellung
US8165687B2 (en) * 2008-02-26 2012-04-24 Universidad Autonoma Metropolitana, Unidad Iztapalapa Systems and methods for detecting and using an electrical cochlear response (“ECR”) in analyzing operation of a cochlear stimulation system
KR20080086055A (ko) * 2007-03-21 2008-09-25 한국과학기술원 뇌파 측정 방법과 장치 및 그 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
EP2170169A4 (en) * 2007-03-23 2013-12-18 Widex As SYSTEM AND METHOD FOR OBJECTIVELY MEASURING THE HEARING EFFECT OF A PERSON
JP4392465B2 (ja) * 2007-10-29 2010-01-06 パナソニック株式会社 脳波インタフェースシステムのための起動装置、方法およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114038A (ja) * 1992-10-05 1994-04-26 Mitsui Petrochem Ind Ltd 聴覚検査・訓練装置
JPH0938069A (ja) * 1995-08-02 1997-02-10 Nippon Telegr & Teleph Corp <Ntt> 語音聴力検査方法およびこの方法を実施する装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013161235A1 (ja) 2012-04-24 2013-10-31 パナソニック株式会社 語音弁別能力判定装置、語音弁別能力判定システム、補聴器利得決定装置、語音弁別能力判定方法およびそのプログラム
US9479880B2 (en) 2012-04-24 2016-10-25 Panasonic Intellectual Property Management Co., Ltd. Speech-sound distinguishing ability determination apparatus, speech-sound distinguishing ability determination system, hearing aid gain determination apparatus, speech-sound distinguishing ability determination method, and program thereof

Also Published As

Publication number Publication date
CN102469961A (zh) 2012-05-23
US8849391B2 (en) 2014-09-30
WO2011093005A1 (ja) 2011-08-04
CN102469961B (zh) 2015-05-13
US20120072213A1 (en) 2012-03-22
JPWO2011093005A1 (ja) 2013-05-30

Similar Documents

Publication Publication Date Title
JP4838401B2 (ja) 語音明瞭度評価システム、その方法およびそのプログラム
JP4690507B2 (ja) 語音明瞭度評価システム、その方法およびそのプログラム
JP5144835B2 (ja) うるささ判定システム、装置、方法およびプログラム
JP4638558B2 (ja) 語音明瞭度評価システム、その方法およびそのコンピュータプログラム
US11043210B2 (en) Sound processing apparatus utilizing an electroencephalography (EEG) signal
JP5144836B2 (ja) 語音聴取の評価システム、その方法およびそのプログラム
JP5002739B2 (ja) 聴力判定システム、その方法およびそのプログラム
JP4769336B2 (ja) 補聴器の調整装置、方法およびプログラム
JP5042398B1 (ja) 脳波記録装置、補聴器、脳波記録方法およびそのプログラム
JP2016511648A (ja) 自己管理音声を強化させるための方法及びシステム
CN107708046A (zh) 用于自我管理的声音增强的方法和系统
Kirby et al. Effects of nonlinear frequency compression on ACC amplitude and listener performance
KR102535005B1 (ko) 소음 환경 하 언어인지 청능훈련방법 및 시스템

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110929

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4838401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150