JPWO2014049979A1 - 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム - Google Patents

不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム Download PDF

Info

Publication number
JPWO2014049979A1
JPWO2014049979A1 JP2014524207A JP2014524207A JPWO2014049979A1 JP WO2014049979 A1 JPWO2014049979 A1 JP WO2014049979A1 JP 2014524207 A JP2014524207 A JP 2014524207A JP 2014524207 A JP2014524207 A JP 2014524207A JP WO2014049979 A1 JPWO2014049979 A1 JP WO2014049979A1
Authority
JP
Japan
Prior art keywords
sound pressure
sound
unpleasant
unpleasant sound
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014524207A
Other languages
English (en)
Other versions
JP5579352B1 (ja
Inventor
信夫 足立
信夫 足立
小澤 順
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2014524207A priority Critical patent/JP5579352B1/ja
Application granted granted Critical
Publication of JP5579352B1 publication Critical patent/JP5579352B1/ja
Publication of JPWO2014049979A1 publication Critical patent/JPWO2014049979A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/12Audiometering
    • A61B5/121Audiometering evaluating hearing capacity
    • A61B5/125Audiometering evaluating hearing capacity objective methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

脳波に基づく不快音圧推定において推定結果を補正し、より安全な補聴器調整を実現する。不快音圧評価システムは、複数の音刺激群の各々を順次ユーザに呈示する。各音刺激群は少なくとも1つの音刺激を含み、かつ、各音刺激群の周波数は互いに異なる。システムは、各音刺激群に関し、少なくとも1つの音刺激の呈示時刻を起点として定められる所定区間のユーザの脳波信号から、事象関連電位に関する情報を抽出する抽出部と、予め定めた基準を参照して、事象関連電位に関する情報から、ユーザの不快音圧を推定する推定部と、推定された不快音圧が予め定められた最大不快音圧より高いか、最大不快音圧以下かを判定し、複数の音刺激群全体の判定結果に占める、不快音圧が最大不快音圧より高いと判定された割合が所定より小さい場合には、最大不快音圧より高いと判定された不快音圧の各々を、最大不快音圧以下の音圧に補正する補正部とを備えている。

Description

本願は、純音が快適に聴取できたか否かを評価するための技術に関する。より具体的には、本願は、補聴器等において、外部音の周波数ごとの増幅量を調整して個々のユーザにとって適切な大きさの音を得る「フィッティング」のための、純音に対する不快音圧を推定する技術に関する。
近年、高齢化により補聴器を必要とする難聴者の数が増加している。その数は国内で約2000万人、グローバルで約5億人といわれている(日本補聴器工業会調べ)。補聴器を使い始める前には、ユーザの聴覚特性に合わせて、周波数ごとの音の増幅量を調整するフィッティングが不可欠である。
フィッティングのために、ユーザは何回か補聴器販売店に足を運び、再調整を行う必要がある。その理由は、一般的には、フィッティングを1度で完了させることは難しいからである。その要因の一つに、不快音圧(uncomfortable loudness level: 以下「UCL」と記述する。)を正しく測定できないことが挙げられる。UCLは、最小可聴閾値から計算で求められる場合が多い。なぜなら、実際に発せられた音を聞いて不快な音圧であるかどうかを被験者自身が申告する主観報告による検査では、大きな音を出す必要があり、被験者に心理的なストレス・疲労を与えるからである。しかしながら、最小可聴閾値から一律的に算出されたUCLには個人差が反映されないという課題があった。
そこで、近年、脳の電気的活動を反映する脳波を用いてUCLを推定する技術が開発されている。非特許文献1は、健聴者を対象に、80dBHL以下のうるさくない3連音によって誘発された脳波(聴覚誘発電位)を用いて、周波数ごとのUCLを推定する技術を開示している。この技術によれば、うるさくない音圧の音刺激を短時間聞かせたときの被験者の脳波を用いるため、個人ごとにUCLを推定することが可能であるとされている。
足立信夫 他、「3連音刺激に対する事象関連電位に基づく許容音圧推定」、第51回日本生体医工学会論文集、O1−10−1、2012年
上述した技術によってUCLを推定すると、推定されたUCLと実測されたUCLとの間に比較的大きい誤差を生じる場合があった。そのような推定UCLを用いて補聴器を調整すると、そのユーザにとって強大な音が補聴器から出力され、ユーザに不快な思いをさせてしまう可能性がある。上述した従来の技術には、より正確にUCLを推定して、極力補聴器から強大な音が出力されないようにすることが求められていた。
本願の、限定的ではない例示的なある実施形態は、補聴器から強大な音が出力されないよう、UCLを推定する不快音圧評価システム等を提供する。
上記課題を解決するために、本発明の一態様にかかる不快音圧評価システムは、ユーザの脳波信号を計測する計測部と、複数の音刺激群の各々を順次前記ユーザに呈示する出力部であって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、出力部と、前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出する抽出部と、予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定する推定部と、予め定められた最大不快音圧を記憶する記憶部と、推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正する補正部とを含む。
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
本発明の一態様にかかる不快音圧評価システムによれば、音刺激に対する脳波を指標に推定したUCLの最大誤差が低減され、推定結果に基づき補聴器調整をしても強大音が呈示されない、より安全な補聴器フィッティングが実現される。
Pascoe(1988)によって報告された、HTLに応じて予測されたUCLを示す図である。 全ての参加者の左右耳をプールした周波数ごとのHTLと主観UCLに関する聴覚特性の分布を示す図である。 3連音刺激の概要を示す図である。 (a)は国際10−20法(10−20 System)の電極位置を示す図であり、(b)は本実験で電極を装着した電極配置を示す図である。 (a)は主観UCLの高低によって求めた、中心部(Cz)で記録した事象関連電位の総加算平均波形を示す図であり、(b)はN1成分の振幅(N1振幅)を示す図であり、(c)はP2成分の振幅(P2振幅)を示す図である。 線形判別によるUCL推定結果と主観UCLの分布を、左右耳・刺激周波数をプールして示す図である。 分析した全ての参加者の左右耳をプールした周波数ごとのHTLと推定UCLの分布を示す図である。 Keller(2006)によって報告された、HTLごとの平均UCLを示す図である。 例示的な実施形態1による不快音圧評価システム100の機能ブロックの構成図である。 例示的な実施形態1による不快音圧評価システム100の構成および利用環境を示す図である。 例示的な実施形態1による不快音圧評価装置1のハードウェア構成の一例を示す図である。 (a)および(b)は、図2に示した全参加者のHTLと主観UCLの分布を示す図である。 DB80におけるデータ蓄積の例を示す図である。 不快音圧評価システム100において行われる処理の手順を示すフローチャートである。 例示的な実施形態2による不快音圧評価システム200の機能ブロックの構成図である。 収束判定部68に記憶される推定UCLの例を示す図である。 収束判定部68に記憶される収束判定結果の例を示す図である。 不快音圧評価システム200において行われる処理の手順を示すフローチャートである。
非特許文献1に開示された技術では、主観報告により実測したUCLと脳波から推定したUCLとの平均誤差が5dB以下であった。しかしながら、あるユーザのある周波数においては最大で25dBの誤差が発生する場合があった。主観UCLよりも25dB高くUCLが推定され、その推定UCLを用いて補聴器を調整すると、補聴器からはそのユーザにとって強大な音が出力され、ユーザに不快な思いをさせるという問題がある。推定によりUCLを求める場合には、上述の推定誤差に起因する問題が発生する可能性がある。
本発明の一態様の概要は以下のとおりである。
本発明の一態様である不快音圧評価システムは、ユーザの脳波信号を計測する計測部と、複数の音刺激群の各々を順次前記ユーザに呈示する出力部であって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、出力部と、前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出する抽出部と、予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定する推定部と、予め定められた最大不快音圧を記憶する記憶部と、推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正する補正部とを備えている。
本発明の他の一態様である不快音圧評価システムは、ユーザの脳波信号を計測する計測部と、第1音、第2音、及び第3音からなる音刺激群を前記ユーザに呈示する出力部であって、前記第1音、第2音、及び第3音は同一の周波数を有する純音であり、かつ、所定の範囲内で順に音圧が減少する、出力部と、前記第1音、前記第2音、及び前記第3音が呈示されたそれぞれの時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位の時間周波数に関する特徴量を抽出する抽出部と、抽出された前記特徴量に基づいて、前記周波数に対応する不快音圧を推定する推定部と、前記ユーザの可聴閾値に基づいて、前記周波数に対応する前記ユーザの最大不快音圧を決定する最大不快音圧決定部と、推定された前記不快音圧が前記最大不快音圧より高い場合には前記不快音圧を前記最大不快音圧に補正して出力し、推定された前記不快音圧が前記最大不快音圧以下の場合には推定された前記不快音圧を出力する補正部とを備えている。
たとえば前記最大不快音圧決定部は、可聴閾値ごとの最大不快音圧に関する所定のテーブルを予め保持しており、前記テーブルを参照して、与えられた前記ユーザの可聴閾値から前記最大不快音圧を決定する。
たとえば、前記出力部は、複数の周波数の各々に関して、前記第1音、前記第2音、及び前記第3音からなる音刺激群をそれぞれ出力し、前記抽出部は、前記音刺激群のそれぞれに関して、前記事象関連電位の時間周波数に関する特徴量を抽出し、前記推定部は、前記音刺激群のそれぞれに関して抽出された前記特徴量に基づいて、各周波数に対応する不快音圧を推定し、前記補正部は、推定された、各周波数に対応する不快音圧のそれぞれについて、前記不快音圧が前記最大不快音圧より高い場合には前記不快音圧を前記最大不快音圧に補正して出力し、前記不快音圧が前記最大不快音圧以下の場合には推定された前記不快音圧を出力する。
たとえば、前記出力部は、複数の周波数の各々に関して、前記第1音、前記第2音、及び前記第3音からなる音刺激群をそれぞれ出力し、前記抽出部は、前記音刺激群のそれぞれに関して、前記事象関連電位の時間周波数に関する特徴量を抽出し、前記推定部は、前記音刺激群のそれぞれに関して抽出された前記特徴量に基づいて、各周波数に対応する不快音圧を推定し、前記補正部は、推定された、各周波数に対応する不快音圧のそれぞれについて、前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定以上の場合には、全ての周波数に関して、推定された前記不快音圧を出力する。
たとえば前記補正部は、前記判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧に補正して出力する。
たとえば、前記不快音圧測定システムは、前記補正部から出力された、前記周波数における不快音圧を蓄積するデータベースをさらに備えている。
たとえば、前記補正部は、推定された前記不快音圧が補正されたか否かを示す補正情報を生成し、前記データベースは、前記周波数における不快音圧に関連付けて、前記補正情報を蓄積する。
たとえば、前記出力部は、前記第1音、前記第2音、及び前記第3音と同じ周波数および音圧を有する音刺激群を、所定の間隔を開けて複数回呈示し、前記抽出部は、前記音刺激群が呈示されるごとに、各音刺激群の前記第1音、前記第2音、及び前記第3音が呈示されたそれぞれの時刻を起点として定められる所定区間の前記脳波信号から事象関連電位を抽出して、既に抽出されている事象関連電位に加算し、前記推定部は、前記音刺激群が呈示されるごとに、加算された前記事象関連電位に基づいて前記不快音圧を推定する。
たとえば、不快音圧評価システムは、前記音刺激群が呈示されるごとに推定された各不快音圧が収束したか否かを判定する収束判定部をさらに備え、前記収束判定部が収束したと判定した音刺激群に関し、前記出力部は以後の呈示を停止する。
たとえば前記抽出部は、前記事象関連電位のウェーブレット係数に関する特徴量を抽出する。
たとえば前記推定部は、予め用意された、他者のウェーブレット特徴量と音圧との関係を教師データとして保持し、前記抽出部によって抽出された前記特徴量と前記教師データとを利用して線形判別を行って、前記不快音圧を推定する。
たとえば前記抽出部は、前記第1音、前記第2音、及び前記第3音が呈示されたそれぞれの時刻を起点として定められる300ms以下の時間区間に計測された前記脳波信号の事象関連電位に基づいて、前記事象関連電位のウェーブレット係数を、前記特徴量として抽出する。
たとえば前記抽出部は、前記事象関連電位のウェーブレット係数を所定の周波数幅および所定の時間幅で平均した値を、前記特徴量として抽出する。
たとえば前記所定の周波数幅は5Hzから15Hzである。
たとえば前記所定の時間幅は50msである。
本発明のさらに他の一態様である不快音圧調整装置は、不快音圧評価システムにおいて利用される不快音圧調整装置であって、前記不快音圧評価システムは、複数の音刺激群の各々を順次前記ユーザに呈示する出力部を備え、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっており、ユーザの脳波信号を計測する計測部から前記脳波信号を受け取り、前記各音刺激群に関し、前記少なくとも1つの音刺激が出力された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出する抽出部と、予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定する推定部と、予め定められた最大不快音圧を記憶する記憶部と、推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正する補正部とを備えている。
本発明のさらに他の一態様である不快音圧評価装置は、前記不快音圧調整装置と、前記少なくとも1つの音刺激を決定する音刺激決定部と、決定された前記少なくとも1つの音刺激を生成する音刺激生成部であって、前記少なくとも1つの音刺激が出力された時刻の情報を前記抽出部に出力する音刺激生成部とを備えている。
本発明のさらに他の一態様である不快音圧評価方法は、ユーザの脳波信号を計測する計測部から前記脳波信号を受け取るステップと、複数の音刺激群の各々を順次前記ユーザに呈示するステップであって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、ステップと、前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出するステップと、予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定するステップと、推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正するステップとを包含する。
本発明のさらに他の一態様であるコンピュータプログラムは、不快音圧評価装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータに対し、ユーザの脳波信号を計測する計測部から前記脳波信号を受け取るステップと、複数の音刺激群の各々を順次前記ユーザに呈示するステップであって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、ステップと、前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出するステップと、予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定するステップと、推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正するステップとを実行させる。
以下、本開示にかかる例示的な実施形態を説明する。
まず、本明細書における用語の定義を説明する。
「事象関連電位(event−related potential:「ERP」とも記述する。)」とは、何らかの刺激(事象)に関連して発生する脳波(electroencephalogram:EEG)の電位の変動である。
「音刺激」とは、ユーザに対して音として呈示される刺激である。
「N1成分」とは、音刺激を呈示した時刻を起点として、約100msにおいて惹起される陰性の電位である。
「P2成分」とは、音刺激を呈示した時刻を起点として、約200msにおいて惹起される陽性の電位である。
N1成分およびP2成分は、事象関連電位に含まれる。
「潜時」とは、音刺激が呈示された時刻を起点として陽性成分または陰性成分のピーク電位が出現するまでの時間である。なお、「陽性成分または陰性成分のピーク電位」とは、典型的には陽性成分の極大値、または陰性成分の極小値である。「ピーク電位」は陽性成分の最大値、または陰性成分の最小値を含む。
「陰性成分」とは、一般的には、0μVよりも小さい電位をいう。
「陽性成分」とは、一般的には、0μVよりも大きい電位をいう。
ただし、電位を比較する対象がある場合には、より負の値を有する電位を陰性成分ともいう。また、電位を比較する対象がある場合には、より正の値を有する電位を陽性成分ともいう。
「不快音圧(UCL)」とは、ユーザが不快に感じるほど大きい音圧である。
「最小可聴閾値(hearing threshold level;「HTL」とも記述する。)」とは、ユーザが聞き取ることのできる最も小さい音の音圧である。「聴覚閾値」や単に「閾値」と呼ばれる場合もある。
「音を呈示する」とは、純音を出力することである。
「純音」とは、単一の周波数で周期振動を繰り返す、正弦波で表される音である。
なお、本明細書においては、事象関連電位の成分を定義するためにある時点から起算した所定時間経過後の時刻を、たとえば「潜時約100ms」と表現している。これは、100msという特定の時刻を中心とした範囲を包含し得ることを意味している。「事象関連電位(ERP)マニュアル−P300を中心に」(加我君孝ほか編集、篠原出版新社、1995)の30頁に記載の表1によると、一般的に、事象関連電位の波形には、個人ごとに30msから50msの差異(ずれ)が生じる。したがって、本明細書において、「約Xms」又は「Xms付近」は、Xmsを中心として30から50msの幅がその前後(例えば、100ms±30ms、200ms±50ms)を含む。
以下、添付の図面を参照しながら、本開示による不快音圧評価システムの各実施形態を説明する。
本開示による不快音圧評価システムは、音刺激に対する脳波を指標に推定したUCLを、測定したUCLの分布に基づき、適切な範囲に調整する。本願発明者らは、本願発明者らが難聴者に対して実施した実験において測定したUCLを用いることで、推定したUCLを適切な範囲に調整することができることを見出した。詳細は後述する。なお、本開示による不快音圧評価システムが、たとえば補聴器を提供する業者によって運用される場合には、その業者またはその業者を含む団体が測定したUCLを用いてもよい。調整したUCLを用いて補聴器フィッティングを行うと、強大音が呈示されることはない。その結果、ユーザが不快な思いをすることもない。このようなUCLを用いることは、たとえば補聴器を使い始めて間もない使用者にとって安全である。
以下では、本開示の説明に先立ち、本願発明者らが実施した実験とその実験結果を詳述する。また、本願発明者らが考案した推定UCLの調整方法を述べる。その後で、実施形態として不快音圧評価システムの概要および、その構成と動作を説明する。
(実験概要の説明)
1.実験概要
本願発明者らは、脳波に基づく不快音圧の推定精度の向上を目指し、補聴器の利用を開始しようとする難聴者に対して以下の2つの実験を実施した。
第一は、主観報告に基づいてUCLを実測する主観報告実験である。主観報告実験は、脳波計測実験の前に実施した。主観報告実験で得られたUCLデータを「主観UCL」と呼ぶ。本願発明者らは、主観UCLを脳波推定の基準データとして使用した。
第二は、音刺激に対する脳波反応を計測する脳波計測実験である。脳波計測実験では、同一周波数の純音を5dB刻みの単調下降の音圧変化で3連発呈示し、第1音から第3音までの音刺激に対する事象関連電位を計測した。そして、事象関連電位に基づいてUCLを推定した。脳波反応を指標に推定したUCLを「推定UCL」と呼ぶ。
それらの結果、本願発明者らは、中等度難聴者に対して一般的にUCLと評価される音圧よりも低い音圧の音刺激を呈示した場合にも、第1音から第3音に対する脳波を線形判別することで、主観報告のUCLを推定できることを見出した。
「一般的にUCLと評価される音圧よりも低い音圧」とは、HTLによって変動し得る。たとえば図1は、HTLに応じて予測されたUCLを示す報告例である。この報告は、Pascoe、D.P. (1988). Clinical measurements of the auditory dynamic range and their relation to formulas for hearing aid gain. In 1ensen. H. 1. (Ed.) Hearing Aid Fitting: Theoretical and Practical Views 13th Danavox Symposium. Copenhagen: Stougaard.に基づく。本明細書の実施形態では、図1に示したHTLごとの予測UCLよりも少なくとも5dB以上低い値を、「一般的にUCLと評価される音圧よりも低い音圧」として設定した。
また、音刺激によって事象関連電位が生起するためには、音刺激の音圧がHTLよりも高いことが必要であると考えられる。脳が音刺激を認識できなければ、その音刺激によって脳波が誘発されることはないからである。
よって、本明細書の実施形態において、「一般的にUCLと評価される音圧よりも低い音圧」とは、HTLよりも高い音圧であって、図1に示したHTLごとの予測UCLよりも少なくとも5dB以上低い範囲の音圧として設定した。本手法により、強大音を呈示しなくても短時間かつ高精度なUCL推定が可能になる。
以下、本願発明者らが実施した実験とその結果、分析により明らかになった脳波の特徴を詳述する。
(実験条件の説明)
2.実験
主観報告により実測した主観UCLと、音刺激に対するERPから推定した推定UCLとを比較し、ERPに基づくUCL推定の可能性を検討する。
対象は、補聴器の利用を開始しようとする難聴者32名(27−83歳、平均71.5歳)であった。インフォームドコンセントを実施し、実験参加の同意を得た。
2−1.主観UCL実験
本願発明者らは、まずHTLを測定し、次いで主観UCLを測定し、その後、脳波計測を実施した。主観UCLの測定は以下の手順で行った。
SPLオージオメータ(D2−36H、DANA JAPAN製)を用いて、500、1k、2k、4kHzの連続音を片耳ずつ上昇法で呈示した。うるさくて聞いていられないと感じた場合に挙手をさせ、左右耳・周波数ごとの主観UCLとして記録した。
以下、主観UCL実験の結果を述べる。図2は、全ての参加者の左右耳をプールした周波数ごとのHTLと主観UCLに関する聴覚特性の分布を示す。横軸はHTL、縦軸は主観UCLで、いずれも単位はdBSPLである。各分布の上部中央に、周波数値(500Hz、1kHz、2kHz、4kHz)をそれぞれ示した。各格子点に該当した度数を丸印の大きさで示した。
図2より、特にHTLが80dBSPL以下の場合には、同じHTLであってもUCLが大きくばらついていることが分かる。同一周波数・同一HTLにおける主観UCLの差の最大値は、50dBであった。これは、「うるさすぎて我慢できない」の解釈は個人ごとに大きく異なり、一律にHTLから主観UCLを推定することが難しいことを示している。
また、図2中に、HTLおよび主観UCLの測定結果と合わせて、上述したPascoeの報告によるHTLごとの平均のUCLを太線で示した。単位はdBSPLに変換した。太線と丸印の位置関係から、ほとんどの参加者の主観UCLは、従来研究により予測されたUCLよりも小さいことが分かる。従来研究で予測されたUCL(太線)を超えた主観UCLは、全体で10.2%のみであった。
2−2.脳波計測実験
脳波実験では、4つの周波数(500Hz、1000Hz、2000Hz、4000Hz)について、一般的にUCLと評価される音圧よりも低い3種類の音圧(80、75、70dBHL)の音刺激を単調下降の音圧変化で連続して呈示した。本明細書では、このように呈示される3種類の音刺激を、「3連音」または「3連音刺激」という。そして、音刺激ごとの事象関連電位の特徴を調べた。以下、図3から図7を参照しながら、脳波計測実験の実験設定および実験結果を説明する。
図3は、3連音刺激の概要を示す。音刺激として、立ち上がり・立ち下がり3msで持続時間44msのトーンバーストを用いた。同じ周波数のトーンバースト(500、1k、2k、4kHzのいずれか)を、80dBHLから5dBずつ音圧を下げて300ms間隔で左右どちらかの耳に3連呈示した(3連音;3周波数×左右の6条件)。3連音の第1音、第2音、第3音をそれぞれ「S1」、「S2」、「S3」と呼ぶことがある。また、同一の周波数である複数の音刺激を、「音刺激群」とも称する。S3終了と次の3連音のS1開始までの間隔は450±50msとした。慣れの影響を低減するため、同じ周波数の3連音が続かないように設定した。3連音は条件ごとに80回、計640回呈示した。参加者には、聞こえてくる音を黙って聞いておくように教示した。行動反応は求めなかった。
音刺激は、PCからヘッドフォン(HDA 200、 SENNHEISER製)を介して出力した。音刺激の音圧は、騒音計(LA−1440、 ONO SOKKI製)とカプラ(IEC318、 Larson Davis製)を用いて校正した。
脳波は、アクティブ電極を用いて頭皮上5部位(Fz、Cz、Pz、C3、C4)と右目上・右目右から、右マストイドを基準に記録した。「マストイド」とは、耳の裏の付け根の下部の頭蓋骨の乳様突起である。
図4(a)は、国際10−20法(10−20 System)の電極位置を示す。図4(b)は本実験で電極を装着した電極配置を示す。図4(b)の丸付き数字1から5は、電極位置のFz、Cz、Pz、C3、C4をそれぞれ示す。
サンプリング周波数は1000Hz、時定数は1秒とした。オフラインで1−20Hzのバンドパスフィルタをかけた。S1の呈示時刻を起点に−100から1000msまでを切り出し、左右耳・周波数ごとに加算平均してERPを求めた。なお、S1の呈示時刻を起点とする1000ms後の時刻は、S3の呈示時刻を起点として400ms後の時刻に等しい。いずれかの電極において±80μVを超える電位が含まれた試行は、加算平均から除外した。また、脳波に含まれる時間−周波数成分を抽出するために、100Hzにダウンサンプリングした脳波に対してウェーブレット変換を行った。マザーウェーブレットにはメキシカンハット(ψ(t)=(1t^2)exp(t^2/2))を用いた。ウェーブレット係数のスケールは1から9の整数とした(2.5−12.5Hzに対応)。ウェーブレット係数を左右耳・周波数ごとに加算平均して、3連音に対する誘発反応を求めた。HTLが70dBHLより大きい周波数のデータおよび、脳波が正しく測定できなかった1例を分析の対象から除外した。
3連音に対する誘発反応は、「ウェーブレット特徴量」として得ることができる。本願発明者らは、ウェーブレット特徴量を線形判別し、UCLを推定した。
ウェーブレット特徴量は、加算平均後のウェーブレット係数の0から900msの範囲を、50msの時間窓でスケールごとに平均して生成される。本願発明者らは、任意の2つのウェーブレット特徴量を組み合わせ、自分以外の参加者の主観UCLとウェーブレット特徴量の組み合わせの対応関係を学習し、教師データとして用いた。教師データは、左右耳をプールして、刺激周波数ごとに作成した。
UCL推定の精度は、平均誤差(分析した全参加者の左右耳・周波数ごとの主観UCLと推定UCLの差の絶対値の平均)で評価した。平均誤差は、全てのウェーブレット特徴量の組み合わせ(計13041通り)に関して求めた。
以下、脳波計測実験の結果を説明する。
まず、非特許文献1の健聴者の結果と同様に、難聴者においても音圧変化に対する事象関連電位に、不快音圧推定の指標が含まれることを確認するために、主観UCLに基づいて加算平均した事象関連電位を比較した。事象関連電位から不快音圧を推定するためには、参加者ごとの主観UCLを反映する事象関連電位の差の存在が必須である。
図5(a)は、主観UCLの高低によって求めた、中心部(Cz)で記録した事象関連電位の総加算平均波形を示す。また図5(b)はN1成分の振幅(N1振幅)を示し、図5(c)はP2成分の振幅(P2振幅)を示す。主観UCLごとの全体的な傾向を明らかにするため、総加算平均は左右耳・周波数をプールし、主観UCLの高低に基づいて別々に実施した。
図5(a)の実線は周波数ごとの主観UCLの平均値よりも主観UCLが高かった参加者(高UCL群)の総加算平均波形であり、破線は主観UCLの平均値よりも主観UCLが低かった参加者(低UCL群)の総加算平均波形である。S1、S2、S3の呈示タイミング(0、300、600ms)は縦の実線で明示されている。主観UCLの高低によらず、それぞれの音刺激呈示後、約100ms後に陰性成分(N1成分)が、約200ms後に陽性成分(P2成分)が生起している。
また、図5(b)および(c)には、音刺激ごとのN1振幅とP2振幅が示されている。t検定の結果、図5(b)のN1振幅には有意な差は認められなかった。一方、図5(c)のP2振幅は主観UCLの高低によって有意な差がある。具体的には、高UCL群と比べて低UCL群においてS1とS2に対するP2振幅が有意に小さかった。
図6は、線形判別によるUCL推定結果と主観UCLの分布を、左右耳・刺激周波数をプールして示す。各格子点に該当した度数を丸印の大きさで示した。丸印の中心が破線上にあれば、ERPの分析により推定したUCLが、実測した主観UCLと一致したことを示している。ばらつきはあるが、多くの丸印が破線に比較的近い位置に存在している。また最も大きい丸印の中心は破線上に存在している。これらは、比較的精度よくUCLが推定できていることを意味する。平均誤差は、7.0dBであった。なお、全体の63.5%において推定誤差が5dB以下であった。最大推定誤差は35dBであった。
以上説明したように、本願発明者らが実施した主観報告実験および脳波実験によって、主観UCLの高低によって事象関連電位が異なり、主観UCLが低い場合にS1およびS2に対するP2振幅が小さいことが明らかになった。また、ウェーブレット特徴量を線形判別した結果、主観UCLとの関係では7.0dBの平均誤差でUCLを推定できた。これらの結果は、3連音に対する事象関連電位にUCLの情報が含まれ、その分析によりUCLが推定できることを示唆している。なお、一般的なオージオメータの最小目盛が5dBであることを考慮すれば、聴覚特性の測定においては、7.0dBの平均誤差は許容できる誤差範囲だと考えられる。
図7は、分析した全ての参加者の左右耳をプールした周波数ごとのHTLと推定UCLの分布を示す。横軸はHTL、縦軸は推定UCLで、いずれも単位はdBSPLである。各分布の上部中央に、周波数値(500Hz、1kHz、2kHz、4kHz)をそれぞれ示した。また、各格子点に該当した度数を丸印の大きさで示した。また、図2と同様に、Pascoe、D.P. (1988)において予測されたHTLごとのUCLを太線で示した。
図7より、推定UCLにおいても、従来研究で予測されたUCL(太線)を超える場合が存在することが分かる。たとえば、図7の500Hzの結果のうち、HTLが60dBSPLの場合に着目すると、図2と比べて従来研究で予測されたUCLを超える推定UCLの度数が増えている。その要因の一つは推定誤差であると考えられる。よって、推定UCLを用いて補聴器を調整すると、まれではあるが補聴器からユーザが不快に感じるほどの強大音が呈示される可能性がある。推定UCLが従来研究で予測されたUCL(太線)を超えることは、ユーザへの負担が増すことを意味する。
以上、本願発明者らが実施した主観報告実験および脳波計測実験により、難聴者を対象とした場合にも、3連音刺激に対する脳波反応から不快音圧が推定可能であることが明らかとなった。主観UCLと推定UCLの平均誤差は7.0dBであったが、最大で35dBの誤差があった。また推定誤差により、従来研究において予測されたUCLよりも高い推定UCLになる場合があった。
音刺激の回数に制限を設け、短時間で負担の少ないUCL推定を実現しようとした場合には、脳波に含まれるノイズの影響で推定誤差をゼロにすることは困難である。そこで本願は、まれに発生する大きな推定誤差の影響を低減するための構成・動作を提供する。その具体的な動作は、推定UCLがHTLごとに定めた所定の値よりも高い場合には、推定UCLを所定の値に補正する。「所定の値」とは、たとえば図1に示す、Pascoe(1988)がHTLごとに予測した値でもよい。
図2に示したように、本願発明者らが補聴器を使い始めるユーザに対して実施した主観UCL実験の結果、約90%のユーザの主観UCLはPascoe(1988)の予測値よりも低かった。つまり、推定値がPascoe(1988)の予測値を超えた場合には大きな推定誤差を含んでいる可能性が高いといえる。そこで一例として、上述の通り、推定UCLがHTLごとに定めたPascoe(1988)の予測値を超えた場合には、そのPascoe(1988)の予測値以下になるよう推定UCLを補正することとした。
また、上述の「所定の値」として、Keller.J.N(2006)Loudness discomfort levels:A retrospective study comparing data from Pascoe(1998) and Washington University School of Medicine.で報告されている値を用いてもよい。
図8は、Keller(2006)によって報告された、HTLごとの平均UCLを示す。HTLが20dBHL以上の場合には、Keller(2006)が報告したUCLの平均値はPascoe(1988)よりも10dB程度低い。このように補正することで、大きな推定誤差が発生した場合にも、より安全な補聴器調整が実現できるようになる。
(実施形態1)
以下、まず、不快音圧評価システムの概要を説明する。その後、不快音圧評価装置を含む不快音圧評価システムの構成および動作を説明する。
本実施形態による不快音圧評価システムは、音刺激に対する脳波の特徴量を抽出し、その特徴量の変化パターンから不快音圧を推定する。そして、推定した不快音圧をHTLごとに設定された所定値と比較し、推定した不快音圧が所定値よりも大きい場合には、不快音圧を所定値に補正する。一方、推定した不快音圧が所定値以下の場合には、補正を行うことなく、推定結果を蓄積する。
本実施形態においては、探査電極を中心部(Cz)に、基準電極を左右どちらかのマストイドに設けて、探査電極と基準電極の電位差である脳波を計測するものとする。なお、事象関連電位の特徴成分のレベルや極性は、脳波計測用の電極を装着する部位や、基準電極および探査電極の設定位置に応じて変わる可能性がある。しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って事象関連電位の特徴を抽出し、不快音圧の推定および補正を行うことが可能である。そのような改変例は、本発明の範疇である。
図9は、本実施形態による不快音圧評価システム100の機能ブロックの構成を示す。不快音圧評価システム100は、不快音圧評価装置1と、音刺激出力部10と、生体信号計測部50(以下「計測部50」と記述することもある。)と、HTL入力部90とを備えている。なお、ユーザ5は、不快音圧評価システム100の構成要素ではなく、説明の便宜のために示されている。
不快音圧評価装置1は、音刺激出力部10、計測部50、HTL入力部90と、有線又は無線で接続されており、主として、不快音圧評価システムの上述した動作を行う。
不快音圧評価装置1は、事象関連電位特徴量抽出部55と、不快音圧推定部60と、最大不快音圧決定部65と、推定結果補正部66と、音刺激決定部70と、音刺激生成部75と、結果蓄積データベース(DB)80とを備えている。各構成要素の詳細および不快音圧評価装置1の動作は、後に詳細に説明する。なお、以下では、事象関連電位特徴量抽出部55を「抽出部55」、不快音圧推定部60を「推定部60」、推定結果補正部66を「補正部66」、結果蓄積DB80を「DB80」と記述することもある。
不快音圧評価装置1は、少なくとも、抽出部55と、推定部60と、最大不快音圧決定部65と、補正部66とを備えていれば良い。これら4つの構成要素は、たとえば1つの半導体チップ回路に組み込むことが可能である。本明細書では、そのような半導体チップ回路を「不快音圧調整装置110」と呼ぶこともある。なお、半導体チップ回路に代えて、PC内に設けられたCPUによって実現されてもよい。CPUは、コンピュータプログラムを実行することにより、後述する個々の構成要素の機能を実現することができる。
<利用環境>
図10は、本実施形態による不快音圧評価システム100の構成および利用環境を示す。この不快音圧評価システム100は、図9に示す実施形態1のシステム構成に対応している。
不快音圧評価システム100は、不快音圧評価装置1と、音刺激出力部10と、計測部50と、HTL入力部90とを備えている。
HTL入力部90は、あらかじめ計測したユーザ5の左右耳ごと周波数ごとのHTLを入力するために利用される。HTLの入力は、たとえばユーザ5が行ってもよいし、不快音圧評価システム100を運用する業者が行ってもよい。単位の指定ができれば、HTLはdBHL単位であっても、dBSPL単位であってもよい。
<音刺激出力部10>
音刺激出力部10は、ユーザ5に、音刺激を出力する。
音刺激出力部10は、不快音圧評価装置1の音刺激生成部75(後述)で生成された音刺激データを音刺激として、ユーザ5に呈示する。音刺激出力部10は、左右それぞれの耳に不快音圧評価装置1(音刺激生成部75)で生成された音刺激を可能な限り正しく出力することが好ましい。たとえば、音刺激出力部10は、周波数特性に歪みが小さいヘッドフォンであってもよいし、スピーカであってもよい。以下、音刺激出力部10は、「出力部」とも表記する。
<生体信号計測部50(計測部50)>
計測部50は、少なくとも2つの電極Aおよび電極Bと接続されている。例えば、電極Aはユーザ5のマストイドに貼り付けられ、電極Bはユーザ5の頭皮上の中心部(いわゆるCz)に貼り付けられている。計測部50は、電極Aと電極Bとの電位差に対応するユーザ5の脳波を計測する。
計測部50は、ユーザ5の生体信号を計測する脳波計である。計測部50は、ユーザ5に装着した探査電極及び基準電極の電位差に対応する脳波を計測する。
探査電極は、例えば、図4に示す国際10−20法(10−20System)の電極位置に配置する。基準電極は、例えば、ユーザ5のマストイドに配置する。
なお、事象関連電位の特徴成分のレベル(振幅の大きさ)又は極性(振幅の正負)は、脳波計測用の電極を装着する部位、又は基準電極および探査電極の設定位置に応じて、変わる可能性がある。
しかしながら、以下の説明に基づけば、当業者は、そのときの基準電極および探査電極に応じて適切な改変を行って、事象関連電位の特徴を抽出し、不快音圧の評価を行うことが可能である。そのような改変は、本発明の範疇である。
得られた脳波データに対して、適切な遮断周波数の周波数フィルタリングを行っても良い。計測部50は、計測した脳波またはフィルタリングした脳波を不快音圧評価装置1の抽出部55に送る。以下、計測した脳波又はフィルタリングした脳波を、脳波データとも表記する。
例えば、脳波データに対して、適切な遮断周波数の周波数フィルタリングを行い、不快音圧評価装置1(音刺激生成部75)から受けたトリガ情報とともに、不快音圧評価装置1の抽出部55に送る。
周波数フィルタとして、バンドパスフィルタを用いる場合は、たとえば1Hzから20Hzまでを通過させるように遮断周波数を設定してもよい。ユーザ5はあらかじめ脳波計を装着しているものとする。脳波計測用の探査電極はたとえば中心部のCzに装着される。
<不快音圧推定装置1>
図10に示す不快音圧評価装置1は、計測部50および音刺激出力部10を、同じ筐体内に備える。ただし計測部50および音刺激出力部10は、不快音圧評価装置1とは別の筐体に備えられてもよい。その場合には、計測部50は、計測した脳波信号を、無線または有線で接続されている不快音圧評価装置1に送信する。なお、図10では、不快音圧評価装置1の筐体とHTL入力部90の筐体とは異なっている。しかしながら、不快音圧評価装置1とHTL入力部90とが同じ筐体内に備えられてもよい。
不快音圧評価装置1は、不快音圧推定のための音刺激の左右耳、周波数、音圧を決定する。そして、決定した音刺激を生成して、音刺激出力部10は、不快音圧評価装置1が決定した音刺激をユーザ5に音刺激を呈示する。
また不快音圧評価装置1は、音刺激を起点に切り出した事象関連電位から、不快音圧を推定するための特徴量を抽出し、音圧変化に対する特徴量変化のパターンに基づいて、左右耳ごと、周波数ごとの不快音圧を判定する。
<不快音圧評価装置1のハードウェア構成>
図11は、本実施形態による不快音圧評価装置1のハードウェア構成の一例を示す。
不快音圧評価装置1は、CPU30と、メモリ31と、オーディオコントローラ32とを備えている。CPU30と、メモリ31と、オーディオコントローラ32とは、互いにバス34で接続されており、相互にデータの授受が可能である。
CPU30は、メモリ31に格納されているコンピュータプログラム35を実行する。コンピュータプログラム35には、後述するフローチャートに示される処理手順が記述されている。不快音圧評価装置1は、このコンピュータプログラム35にしたがって、音刺激の生成、事象関連電位の特徴量抽出、不快音圧判定の判別分析等の、不快音圧評価システム100の全体を制御する処理を行う。この処理は後に詳述する。
オーディオコントローラ32は、CPU30の命令に従って、それぞれ、呈示すべき音刺激を指定された音圧で音刺激出力部10を介して出力する。
なお、不快音圧評価装置1は、1つの半導体回路にコンピュータプログラムを組み込んだDSP等のハードウェアとして実現されてもよい。そのようなDSPは、1つの集積回路で上述のCPU30、メモリ31、オーディオコントローラ32の機能を全て実現することが可能である。
上述のコンピュータプログラム35は、CD−ROM等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送され得る。図11に示すハードウェアを備えた機器(たとえばPC)は、当該コンピュータプログラム35を読み込むことにより、本実施形態による不快音圧評価装置1として機能し得る。
不快音圧評価装置1の各機能ブロックは、それぞれ、図11に関連して説明したプログラムが実行されることによって、CPU30、メモリ31、オーディオコントローラ32によって全体としてその時々で実現される機能に対応している。
以下、不快音圧評価装置1の各構成要素を説明する。
<音刺激決定部70>
音刺激決定部70は、ユーザ5に呈示する音刺激を決定する。音刺激として、連発音を呈示する場合を音刺激群とも表記する。音刺激決定部70は、音刺激の情報を出力する。
音刺激群の情報は、音刺激群の周波数を有することが望ましい。音刺激群が第1音、第2音、及び第3音で構成される場合、第1音、第2音、及び第3音は、少なくとも同じ周波数を有することが望ましい。ただし本明細書においては、人間が聞き取れる精度以下の範囲で異なる周波数は、同一の周波数であるとする。本明細書では、例えば、5Hz以下の範囲に含まれる異なる周波数は、同一の周波数であるとみなす。
音刺激群の情報は、音刺激を呈示する耳(右耳または左耳)、呈示する音刺激の周波数、音刺激群内の音刺激の持続時間、及び複数の音刺激間の間隔を含んでも良い。
音刺激群の呈示耳および周波数は、たとえば次の制約に基づいてランダム決定してもよい。直前の音刺激群と同じ周波数の音刺激は選択しない。左右耳はランダムな順序で選択することが好ましい。ただし、左右どちらか一方の耳のみに、音刺激群の呈示を4回以上連続させないことが好ましい。こうすることで、同一耳、周波数の音刺激群の連続呈示による脳波の慣れ(habituation)の影響が低減され、高精度に不快音圧を推定できる。
音刺激の持続時間は、聴覚誘発電位が安定して惹起されるよう、たとえば25ms以上に設定する。また、刺激間間隔は、音刺激の持続時間以上で1秒以下の時間に設定する。たとえば、300msとしてもよいし、200msとしてもよい。
また、音刺激決定部70は、所定以下の範囲又は所定の閾値以下の音圧を有する音刺激群の音圧を決定する。所定の音圧以下の範囲とは、例えば、一般的なUCLよりも小さい音圧範囲である。音刺激決定部70は、予め所定の範囲又は所定の閾値以下を保持しても良い。例えば、所定の閾値が90dBHLの場合を考える。このとき、第1音の音圧を80dBHL、第2音の音圧を75dBHL、第3音の音圧を70dBHLと決定してもよい。
なお、連発音に限らず、音刺激を単発で呈示し、事象関連電位のN1成分の振幅を指標にUCLを推定することも可能である。ただし、音刺激の音圧を増大させてもN1成分が増大しなくなり始める音圧を推定UCLとみなすため、主観UCLを超える音圧の音刺激を呈示する必要がある。そこで、Pascoe(1988年)で報告されたHTLごとのUCLを基準に所定範囲の音圧で音刺激を呈示する。
また、音刺激を2連発で呈示し、事象関連電位のP2成分の振幅を指標にUCLを推定することも可能である。たとえば各音の呈示時刻を基点としたP2成分を利用してもよい。
音刺激決定部70は、決定した音刺激の情報を音刺激生成部75に送る。
<音刺激生成部75>
音刺激生成部75は、音刺激決定部70から音刺激に関する情報を受け付け、音刺激データを生成する。音刺激生成部75は、音刺激データを音刺激出力部10に出力する。この音刺激データは、音刺激を出力するためのデータである。本明細書においては、各音刺激は、たとえば立ち上がり、立下り3msのトーンバースト音とする。音刺激生成部75が生成した音刺激のデータは、音刺激出力部10を介してユーザ5に音刺激として呈示される。
また、音刺激が出力されたタイミングで、音刺激生成部75は計測部50にトリガ信号を出力し、抽出部に音情報を出力する。音情報とは、生成された音刺激データに関する情報である。音情報は、たとえば音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・刺激間間隔・音圧の情報を含んでも良い。
なお、音刺激生成部75は、音刺激出力部10に生成した音刺激データを送るだけでも良い。
なお音刺激データは、たとえば、一つ音刺激群に対して、所定の時間間隔で音圧変化のある複数の音刺激を含むデータであってもよい。つまり、1つの音刺激ごとに音刺激データが生成される必要はない。その場合、計測部50に送るトリガ信号は、第1音の呈示タイミングだけでもよい。
なお、音刺激生成部75は入力部で構成されても良い。ユーザ5又はユーザ5の聴力検査者が入力部により入力した情報を、聴覚刺激の情報としても良い。
<事象関連電位特徴量抽出部55(抽出部55)>
抽出部55は、計測部50から受けた脳波およびトリガ情報を取得する。本実施形態では、トリガ情報を受けたタイミングとは、音刺激が提示された時刻に相当する。脳波において、トリガ情報に示す時刻から所定時間後の区間の事象関連電位を取得する。所定時間後の区間とは、たとえば第1音呈示前100msから第3音呈示後400msの区間である。
抽出部55は、事象関連電位に関する情報を抽出する。より具体的には、抽出部55は、第1音、第2音、及び第3音の呈示によって誘発された事象関連電位を計測部50から取得し、その事象関連電位に関する情報を抽出する。
また抽出部55は、音刺激生成部75から音情報を取得する。抽出部55は、音刺激生成部75から受けた音情報に基づき、音刺激の内容に応じて、たとえば連発音を音刺激として呈示する場合には、第1音から第3音に対応する事象関連電位の時間周波数情報(特徴量)をそれぞれ算出する。
事象関連電位は、刺激に対して発生する脳波の電位の変動である。事象関連電位は、(1)電位の極性(正又は負)、(2)潜時(刺激発生から電位変動が生じるまでの時間)、(3)電位の振幅の大きさ等に応じて、事象関連電位の種類が異なる。種類が異なる信号は、それぞれユーザ5に関する異なる情報を含む。本実施形態において言及するN1成分およびP2成分は、約100ms異なる時間帯における脳波成分であるが、これらが互いに異なることは事象関連電位の分野においては当然に知られている。また、たとえば、N1成分およびP2成分がいわゆるP3成分と異なることも、事象関連電位の分野においては当然に知られている。
時間周波数情報の一例は、ウェーブレット係数である。また、短時間フーリエ変換によって時間周波数情報を求めてもよい。
抽出部55は、算出した特徴量と、音刺激の情報(左右耳、周波数、音圧等)を、推定部60に送る。ウェーブレット係数に関する特徴量は、たとえば周波数軸および時間軸それぞれに関して所定範囲のウェーブレット係数の平均を計算した値としてもよい。たとえば、周波数軸では5Hzから15Hz、時間軸では50msの時間幅でウェーブレット係数の平均を計算してもよい。
さらに、たとえば、特徴量算出のための事象関連電位のP2成分として、聴覚刺激の呈示時刻から聴覚刺激の後300ms以下の時間範囲の生体信号を用いても良い。特徴量算出のために平均する周波数軸および時間軸の幅は、不快音圧が推定できる範囲において、5Hzから15Hz、50msごとよりも細かくしてもよいし、粗くしてもよい。
または、たとえば、特徴量算出のための事象関連電位のP2成分は、聴覚刺激の呈示後、150ms以上250ms以下の時間範囲の陽性成分の生体信号を用いても良い。たとえば、特徴量算出のための事象関連電位のN1成分は、聴覚刺激の呈示後、50ms以上150ms以下の時間範囲の陰性成分の生体信号としても良い。
<不快音圧推定部60(推定部60)>
推定部60は、抽出部55が抽出した音刺激ごとの特徴量(たとえばウェーブレット係数)と、予め特徴量と不快音圧の値とを対応付けた所定の基準を参照して、ユーザ5の不快音圧を推定する。なお、本願明細書においては「推定する」は、「決定する」、「判定する」と同義である。
具体的には、推定部60は、抽出部55から受けた、音刺激ごとの特徴量(たとえば第1音から第3音それぞれのウェーブレット係数)に対して不快音圧を判定する。推定部60では、あらかじめ用意した特徴量と所定の基準とを利用して、線形判別を実施する。
「所定の基準」とは、予め特徴量と不快音圧の値とを対応付けた情報を意味する。「所定の基準」は、たとえばウェーブレット特徴量と不快音圧の値とを対応付けた表であっても良いし、所定の式であっても良い。推定部60は、予め所定の基準を保持する。また、「所定の基準」とは、たとえば、主観UCLの教師データである。教師データは、少なくとも2人以上の他者に対して、あらかじめ上述の主観報告実験および脳波計測実験を実施し測定した主観UCLとウェーブレット特徴量から生成することができる。
教師データを生成する際の脳波計測実験の音圧および音刺激数に関する音刺激条件は、音刺激として連発音を呈示した場合には、音刺激決定部70で決定した刺激音圧の変化パターンと同一である必要がある。教師データの保持方法は、たとえば図7のように、左右耳ごと、周波数ごととしてもよい。その場合、抽出部55から受けた音情報(たとえば音刺激を呈示する耳の左右や音刺激の周波数の情報)に基づいて、不快音圧推定に用いる教師データを、測定対象の左右耳および周波数と、教師データの左右耳および周波数が一致するように切り替えて用いてもよい。また、教師データは、ユーザの難聴の症状に合わせて切り替えてもよい。たとえば伝音性難聴と感音性難聴のような大きな分類でそれぞれ教師データを用意し、切り替えてもよい。また、低音漸傾型や高音漸傾型などのオージオグラムのパターンごとに教師データを用意し、切り替えてもよい。推定部60は、判定した不快音圧を補正部66に送る。
<最大不快音圧決定部65>
最大不快音圧決定部65は、HTL入力部90から周波数ごとのHTLを受け取り、周波数ごとに最大不快音圧を決定する。「最大不快音圧」とは、そのユーザ5との関係で定まる不快音圧の最大値を意味する。最小の可聴レベルであるHTLによって最大不快音圧を決定できる根拠は、HTLと最大不快音圧との対応付けが可能とされているためである。最大不快音圧決定部65は、ユーザ5の右耳及び左耳毎にHTLを受け取り、右耳又は左耳毎に、最大不快音圧を決定してもよい。
最大不快音圧決定部65は、周波数毎に、HTLと最大不快音圧とが対応付けられた所定の基準を予め保持している。所定の基準は、例えば、脳波以外の主観報告等により、決定したHTL及び最大不快音圧とが対応付けられた情報である。
所定の基準は、HTLに基づいて、たとえば図1に示したPascoe(1988)の予測値、あるいは、図8に示したKeller(2006)で報告された値が最大不快音圧であると決定してもよい。具体的には、たとえばHTLが60dBHLの場合には110dBHLのように決定すればよい。
なお、どちらの値を利用するかは、補聴器の装用経験に基づいて切り替えてもよい。一般的に、補聴器の装用経験がある場合には、大きな音に慣れるため主観UCLは高いと考えられている。そこで、装用経験がある場合にはPascoe(1988)の値を、装用経験がない場合にはKeller(2006)の値を用いてもよい。
上述のように、「所定の基準」には最大不快音圧の情報が含まれる。そのため、最大不快音圧決定部65は予め定められた最大不快音圧を記憶する記憶装置ということもできる。
<推定結果補正部66(補正部66)>
補正部66は、最大不快音圧決定部65から受けた左右耳・周波数ごとの最大不快音圧と、推定部60から受けた推定UCLとを比較し、推定UCLの方が高いかどうかを判定する。そして、最大不快音圧よりも推定UCLの方が高い場合には、推定UCLを最大不快音圧に補正する。補正されたこのUCLを、「補正UCL」と呼ぶ。一方、最大不快音圧よりも推定UCLの方が低い場合には、補正はしない。補正部66は、補正UCLあるいは推定UCLをDB80に送る。
図12(a)および(b)は、図2に示した全参加者のHTLと主観UCLの分布を示す。図12(a)は、主観UCLがPascoe(1988)によるHTLごとのUCLに対して特に大きかった3名の分布を示す。図12(b)は、それ以外の29名の分布を示す。図2と同様に、横軸はHTL、縦軸は主観UCLで、いずれも単位はdBSPLである。左側から、500Hz、1kHz、2kHz、4kHzの結果をそれぞれ示した。また、各格子点に該当した度数を丸印の大きさで示した。
図12(a)によれば、主観UCLが大きいユーザは、周波数によらず全体的に主観UCLが大きい特性があることが分かる。図12(b)に示した29名の結果に関して、太線と丸印の関係から、ほとんどの参加者のUCLは、従来研究により予測されたUCLよりも小さいことが分かる。実際、主観UCLが従来研究により予測されたUCL(太線)を超えたのは、4.0%であった(上述のように全体では10.2%)。
よって、補正部66において、推定部60から受けた左右耳・周波数ごとの推定UCLのうち、たとえば半数以上の周波数において最大不快音圧よりも大きい場合に、そのユーザは不快音圧が高いユーザと判定し、推定結果を補正しなくてもよい。
図2より、特にHTLが80dBSPL以下の場合には、同じHTLであってもUCLが大きくばらついていることが分かる。同一周波数・同一HTLにおける主観UCLの差の最大値は、50dBであった。これは、「うるさすぎて我慢できない」という定義の解釈は個人ごとに大きく異なることを示している。よって、主観報告によるUCL測定は難しいといえる。
<結果蓄積DB80(DB80)>
DB80は、補正部66から受けた不快音圧(補正UCLあるいは推定UCL)を保存する。このときDB80は、音刺激決定部70から受けた音刺激群の情報に基づいて、左右耳、周波数ごとに不快音圧を保存する。図13は、DB80におけるデータ蓄積の例である。図13は、左右耳ごと、周波数ごとの不快音圧を蓄積する場合を例示している。
<不快音圧評価システム100の処理>
次に、図14を参照しながら図9の不快音圧評価システム100において行われる処理手順を説明する。図14は、不快音圧評価システム100において行われる処理の手順を示すフローチャートである。
ステップS101において、HTL入力部90は、あらかじめ計測したユーザ5の左右耳ごと周波数ごとのHTLの入力を受ける。単位の指定ができれば、HTLはdBHL単位であっても、dBSPL単位であってもよい。
ステップS102において、最大不快音圧決定部65は、HTL入力部90からユーザ5の左右耳ごと、周波数ごとのHTLを受取り、左右耳ごと、周波数ごとに最大不快音圧を決定する。一例として、本実施形態においては、最大不快音圧はHTLに基づいて特定される図1に示したPascoe(1988)の予測値、あるいは、図8に示したKeller(2006)で報告された値であると決定する。具体的には、たとえばHTLが60dBHLの場合には110dBHLのように決定する。
ステップS103において、音刺激決定部70は、ユーザ5に呈示する複数の音刺激の情報を決定する。連続して呈示される複数の音刺激を「音刺激群」とも表記する。音刺激群の情報は、音刺激を呈示する耳(右耳または左耳)、呈示する音刺激の周波数、音刺激群内の音刺激の持続時間、複数の音刺激間の間隔を含む。
音刺激群の呈示耳および周波数は、たとえば、直前の音刺激群と同じ周波数の音刺激は選択しない、という制約に基づいてランダム決定してもよい。左右耳はランダムな順序で選択することが好ましい。ただし、左右どちらか一方の耳のみに、音刺激群の呈示を4回以上連続させないことが好ましい。こうすることで、同一耳、周波数の音刺激群の連続呈示による脳波の慣れ(habituation)の影響が低減され、高精度な不快音圧推定が実現できる。
音刺激の持続時間は、聴覚誘発電位が安定して惹起されるよう、たとえば25ms以上に設定する。たとえば、刺激間間隔は、100ms以上1s以下の時間に設定する。
また、音刺激決定部70は、音刺激群内の第1音から第3音の音圧を、一般的にUCLとされるよりも小さい音圧範囲で、たとえば80dBHL、75dBHL、70dBHLのように決定する。そして、音刺激決定部70は、決定した音刺激の情報を音刺激生成部75に送る。
ステップS104において、音刺激生成部75は、音刺激決定部70から受けた、音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・刺激間間隔・音圧の情報音刺激データを生成する。各音刺激は、たとえば立ち上がり、立下り3msのトーンバースト音とする。そして、音刺激出力部10を介してユーザ5に音刺激を出力する。また、音刺激を出力したタイミングで計測部50にトリガ信号を出力する。
音刺激生成部75は、たとえば、一つ音刺激群に対して、所定の時間間隔で音圧変化のある複数の音刺激を含む音刺激データを一つ作成してもよい。その場合、計測部50に送るトリガ信号は、第1音の呈示タイミングだけでもよい。なお、音刺激生成部75は、音刺激決定部70からではなく、入力装置(図示せず)から入力された情報に基づいて、情報音刺激データを生成してもよい。ユーザ5又はユーザ5の聴力検査者が入力装置を介して入力した、音刺激群の呈示耳・周波数、音刺激群内の音刺激の持続時間・刺激間間隔・音圧の情報を、聴覚刺激の情報としても良い。
ステップS105において、計測部50は、生体信号としてユーザ5の脳波を計測し、得られた脳波データを抽出部55に送る。なお、計測部50は脳波をステップS111が終了するまで計測し続け、脳波データを抽出部55に送り続けるものとする。また、計測部50にトリガが入力された場合には、計測部50は抽出部55にはトリガ情報も含めて脳波データを送る。
ステップS106において、抽出部55は、計測部50から受けた脳波データおよびトリガ情報に基づき、脳波データから、トリガ情報を起点に所定区間(たとえば第1音呈示前100msから第3音呈示後400msの区間)の事象関連電位のデータを切り出す。そして、抽出部55は、音刺激生成部75から受けた音刺激の内容に応じて、第1音から第3音に対するウェーブレット係数に関する特徴量をそれぞれ算出する。
ステップS107において、抽出部55は、ステップS106において算出したウェーブレット係数を、音刺激決定部70から受けた音刺激の情報に基づいて、左右耳ごと、周波数ごとに加算平均する。
ステップS108において、抽出部55はステップS104で呈示された音刺激群の音刺激に対する加算平均回数が所定回数に到達したか否かを判定する。加算平均回数が所定回数以下の場合には処理はステップS103へ戻り、音刺激群の呈示を繰り返す。加算平均回数が所定回数以上の場合には、抽出部55は、加算平均したウェーブレット係数に関する特徴量を、推定部60に送り、処理はステップS109へ進む。所定回数とは、たとえば20回である。なお、「20回」は、事象関連電位を計測する分野において多く採用される加算回数であるが、これは一例である。
ステップS109において、推定部60は、抽出部55から受けた、第1音から第3音それぞれのウェーブレット係数に関する特徴量を利用して不快音圧を判定する。不快音圧判定は、あらかじめ用意した他者のウェーブレット特徴量と主観UCLの教師データを利用して線形判別によって実現する。
不快音圧の推定に用いる教師データは、測定対象の左右耳および周波数と、教師データの左右耳および周波数が一致するように切り替えて用いてもよい。また、教師データは、ユーザの難聴の症状に合わせて切り替えてもよい。たとえば伝音性難聴と感音性難聴のような大きな分類でそれぞれ教師データを用意し、切り替えてもよい。また、低音漸傾型や高音漸傾型などのオージオグラムのパターンごとに教師データを用意し、切り替えてもよい。そして、不快音圧判定結果を補正部66に送る。
ステップS110において、補正部66は、最大不快音圧決定部65から受けた左右耳・周波数ごとの最大不快音圧と、推定部60から受けた推定UCLとを比較し、推定UCLの方が高いかどうかを判定する。そして、最大不快音圧よりも推定UCLの方が高い場合には、推定UCLを最大不快音圧に補正し、補正UCLを得る。一方、最大不快音圧よりも推定UCLの方が低い場合には、補正はしない。補正部66は、補正UCLあるいは推定UCLをDB80に送る。
なお、補正部66において、推定部60から受けた左右耳・周波数ごとの推定UCLが、最大不快音圧よりも大きいか最大不快音圧以下かを判定し、その結果、所定の割合(たとえば半数)以上の周波数に関して、推定UCLが最大不快音圧よりも大きい場合に、そのユーザは不快音圧が高いユーザと判定し、推定結果を補正しなくてもよい。換言すれば、補正部66は、推定部60から受けた左右耳・周波数ごとの推定UCLが、最大不快音圧よりも大きいか最大不快音圧以下かを判定し、判定結果に占める、推定UCLが最大不快音圧より高いと判定された割合が所定以上の場合には、推定結果を補正しなくてもよい。一方、判定結果に占める、推定UCLが最大不快音圧より高いと判定された割合が所定値より小さい場合には、補正部66は、最大不快音圧より高いと判定された推定UCLの各々について、当該推定UCLを最大不快音圧に補正して出力すればよい。
ステップS111において、DB80は、ステップS104で呈示した音刺激群の、左右耳、周波数ごとに、補正部66から受け取った補正UCLの情報を蓄積する。
なお、上述のステップのうち、不快音圧調整装置110によって実行されるステップはステップS105からステップS110までである。すなわち、本実施形態にかかる不快音圧評価システム100では、ステップS105からステップS110が最低限行われればよく、他の処理は必須ではない。
本実施形態の不快音圧評価システム100によれば、音刺激に対する脳波を指標に推定したUCLを、ユーザから取得した実測UCLの分布に基づき、適切な範囲に調整する。これにより、推定UCLを用いて補聴器を調整した場合に強大音の呈示によりユーザの耳を傷つける危険性をない安全な補聴器フィッティングが実現できる。
本実施形態の説明では、計測部50は、音刺激生成部75からのトリガを起点にして予め定められた範囲の事象関連電位を切り出し、抽出部55に送信するとした。しかしながら、この処理は一例である。他の処理として、たとえば、計測部50は継続的に脳波を計測し、抽出部55が必要な事象関連電位の切り出しおよびベースライン補正を行ってもよい。当該構成であれば、音刺激生成部75は計測部50にトリガを送信する必要はなくなり、抽出部55にトリガを送信すればよい。
また、本実施形態においては、推定UCLおよび補正された不快音圧の結果が、DB80に蓄積されるとしたが、蓄積されなくてもよい。たとえばDB80を不快音圧評価装置1の外部に設ける場合には、補正部65の各結果を単に出力すればよい。
推定UCLを最大不快音圧以下に補正した場合には、補正されたか否かを示す情報を補聴器調整者等に伝えるための構成を設けてもよい。たとえば、補正部66がDB80に補正された不快音圧の情報を蓄積する際、その不快音圧に関連付けて、補正されたことを示すフラグ、または補正されたか否かを示すデータを記録してもよい。たとえば、補聴器調整者がDB80に蓄積された不快音圧を利用する際、補聴器調整者の補聴器調整システムがそのフラグの有無に応じて、推定UCLと補正された不快音圧とをモニタ上に色分けして表示してもよい。これにより、補聴器調整者は補正の有無を知ることができる。各判定結果は、不快音圧に関する情報として利用され得る。
(実施形態2)
本実施形態による不快音圧評価システムは、不快音圧測定中の左右耳・刺激周波数ごとの不快音圧推定値の変化パターンから、不快音圧推定結果が最大不快音圧を超えそうか否かを判定し、超えそうな場合にはその刺激に対する不快音圧測定を終了する。
図15は、本実施形態による不快音圧評価システム200の機能ブロックの構成を示す。
不快音圧評価システム200は、音刺激出力部10と、計測部50と、HTL入力部90と、不快音圧評価装置2とを備えている。図9と同じブロックについては同一の符号を付し、その説明は省略する。なお、不快音圧評価装置2のハードウェア構成は、図11に示すとおりである。プログラム35(図11)と異なる処理を規定するプログラムが実行されることにより、図15に示す本実施形態による不快音圧評価装置2が実現される。
本実施形態の不快音圧評価装置2が、実施形態1による不快音圧評価装置1との相違する点は、推定部60、補正部66、および音刺激決定部70に代えて、不快音圧推定部67、推定結果補正部69、および音刺激決定部71を設けた点、および推定結果収束判定部68を新たに設けた点にある。各構成要素の詳細および不快音圧評価装置2の動作は、後に詳細に説明する。なお、以下では、不快音圧推定部67を「推定部67」、推定結果補正部69を「補正部69」、推定結果収束判定部68を「収束判定部68」と記述することもある。
不快音圧評価装置2は、少なくとも、抽出部55と、推定部67と、最大不快音圧決定部65と、収束判定部68と、補正部69とを備えていれば良い。本明細書では、これらを、半導体チップ回路として実現される「不快音圧調整装置111」と呼ぶこともある。なお、半導体チップ回路に代えて、PC内に設けられたCPUとして実現されてもよい。CPUは、コンピュータプログラムを実行することにより、後述する個々の構成要素の機能を実現することができればよい。
以下、推定部67、収束判定部68、補正部69、音刺激決定部71を説明する。
<不快音圧推定部67(推定部67)>
推定部67は、実施形態1にかかる推定部60と同様に、抽出部55が抽出した第1音、第2音、及び第3音の特徴量と、予め特徴量と不快音圧の値とを対応付けた所定の基準を参照して、ユーザ5の不快音圧(推定UCL)を決定する。推定部67と推定部60との差異は、推定UCLを判定するタイミングである。実施形態1にかかる推定部60は、事象関連電位の加算回数が所定値以上になった場合に、不快音圧を判定した。それに対して、本実施形態にかかる推定部67は、左右耳・周波数ごとの音刺激群が呈示され、事象関連電位が加算されるたびに、左右耳・周波数ごとのUCLを毎回推定する。これは、音刺激群が呈示されるたびに、推定UCLが生成されることを意味する。推定UCLは収束判定部68に送られる。
事象関連電位が加算されるたびに送られる推定UCLは、抽出部55からそれまでに受けた左右耳・周波数ごとの特徴量を全て加算平均した加算平均特徴量を用いて推定したUCLでなくてもよい。計測部50が計測するユーザ5の脳波は、たとえば電極と頭皮間のインピーダンスの変動や、計測中のユーザの覚醒度・心理状態の変化や、音刺激に対する慣れの影響を受けて変化する。そのため、次の制約で加算平均する特徴量を選択することが好ましい。左右耳・周波数ごとに、これまでに抽出部55から受けた時系列の特徴量を、n個のブロックに分割し、各ブロックでランダムに1つの特徴量を選択し、それらを加算平均する。このような方法によって加算平均した特徴量を利用することで、上述のユーザ5の脳波の変動の影響を受けにくいUCLの推定を実現できる。
<推定結果収束判定部68(収束判定部68)>
収束判定部68は、推定部67から事象関連電位が加算されるたびに受けた左右耳・周波数ごとの推定UCLを利用して、左右耳・周波数ごとに逐次得られてきた推定UCLが収束したか否かを判定する。収束判定部68は、左右耳・周波数ごとの事象関連電位の加算回数ごとの推定UCLを記憶し、その変化パターンから推定UCLの判定結果が収束したことを示しているか否かを判定する。
図16は、収束判定部68に記憶される推定UCLの例を示す。事象関連電位の加算回数は左右耳・周波数ごとに異なるため、推定UCLが記録される数は左右耳・周波数ごとに異なる。また、収束判定部68において、推定UCLが収束したか否かの情報を記憶する。
図17は、収束判定部68に記憶される収束判定結果の例を示す。図17では、収束判定結果は、収束した場合を1、収束していない場合を0として記憶されている。推定UCLの収束判定は、たとえば、左右耳・周波数ごとに、同じ推定UCLが3回連続した場合に収束したと判定してもよいし、直前の所定回数の推定UCLの差の絶対値が5dB以下であることとしてもよい。収束判定部68は、左右耳・周波数ごとの最終的な推定UCLおよび、収束判定結果を補正部69に送る。
また、たとえば、電極と頭皮との接触が安定しないユーザや、瞬きや体動が多いユーザは脳波計測中に全体的に多くのノイズが混入するため、周波数によらず推定UCLは、不安定になることが予想される。周波数によらず推定UCLが収束しない場合、収束判定部68は、脳波が正しく計測できていないことを検査者あるいはユーザに通知してもよい。
なお本願発明者らの実験において分析の対象から除外した1名の参加者の脳波には、計測中のほとんどの時間帯においてノイズが混入していた。
<推定結果補正部69(補正部69)>
補正部69は、実施形態1にかかる補正部66と同様に、左右耳・周波数ごとに推定UCLと最大不快音圧を比較し、推定UCLの方が高いかどうかを判定する。そして、最大不快音圧よりも推定UCLの方が高い場合には、推定UCLを最大不快音圧に補正する。補正されたこのUCLを、「補正UCL」と呼ぶ。補正部69が補正部66と異なる点は、補正のタイミングおよび、音刺激決定部71への収束判定結果を送る点にある。補正は、収束判定部68から受けた左右耳・周波数ごとの収束判定結果が、収束していることを示していると判定されたタイミングで実施する。収束判定結果が収束していない場合には、補正を実施しない。なお、音刺激決定部71への収束判定結果の送信は、事象関連電位が加算されるたびでもよいし、収束判定結果が変化したタイミングのみでもよい。
<音刺激決定部71>
音刺激決定部71は、音刺激決定部70と同様に、ユーザ5に呈示する複数の音刺激の情報を決定する。音刺激決定部71が、実施形態1にかかる音刺激決定部70と異なる点は、補正部69から受けた左右耳・周波数ごとの収束判定結果に基づいて、収束していると判定された場合には、その音刺激を呈示しないように音刺激群を決定する点である。ただし、音刺激群の種類が2つになった時点で、それ以上音刺激群の種類を減らさないように設定する。こうすることで、同じ周波数の音刺激が繰り返し呈示されることで発生する脳波の慣れの影響を低減できる。
<不快音圧評価システム200の処理>
次に、図18を参照しながら図15の不快音圧評価システム200において行われる処理手順を説明する。図18は、不快音圧評価システム200において行われる処理の手順を示すフローチャートである。図14に示した不快音圧評価システム100と同じ処理を行うステップについては同一の参照符号を付し、その説明は省略する。
本実施形態による不快音圧評価システム200の処理が、実施形態1による不快音圧評価システム100と相違する点は、推定UCLの収束判定に関するステップS201からステップS204を追加した点である。
ステップS201において、音刺激決定部71は音刺激群の情報を決定する。ステップS103と同様に、音刺激群の周波数・呈示間隔等を決定するのに加えて。ステップS201では、推定UCLの収束結果に基づいて、収束したと判定された場合には対応する音刺激群を呈示しないように決定する。ただし、音刺激群の種類が2つになった時点で、それ以上音刺激群の種類を減らさないように設定してもよい。こうすることで、同じ周波数の音刺激が繰り返し呈示されることで発生する脳波の慣れの影響を低減できる。
ステップS202において、抽出部55が事象関連電位を加算平均するたびに、推定部67は、UCLを推定する。
ステップS203において、推定結果収束判定結果部68は、左右耳・周波数ごとに推定UCLの収束判定を行う。そして、推定UCLおよび収束判定結果を補正部69に送る。
ステップS204において、補正部69は、左右耳・周波数ごとに推定UCLと最大不快音圧を比較し、推定UCLの方が高いかどうかを判定する。そして、最大不快音圧よりも推定UCLの方が高い場合には、推定UCLを最大不快音圧に補正した補正UCLを求め、収束判定結果を音刺激決定部71に送る。UCLの補正は、収束判定部68から受けたいずれかの左右耳・周波数ごとの収束判定結果が新たに収束していると判定されたタイミングとしてもよい。収束判定結果が収束していないことを示している場合には、補正を実施しない。なお、音刺激決定部71への収束判定結果の送信は、事象関連電位が加算されるたびでもよいし、収束判定結果が変化したタイミングのみでもよい。
本実施形態の不快音圧評価システム200によれば、音刺激に対する脳波を指標に短時間でUCL推定が実現され、その推定UCLを適切な範囲に調整できる。これにより、推定UCLを用いて補聴器を調整した場合に強大音の呈示によりユーザの耳を傷つける危険性をない安全な補聴器フィッティングが実現できる。
なお、収束判定部65において、推定UCLの収束判定は、たとえば、左右耳・周波数ごとに、同じ推定UCLが3回連続した場合に収束したと判定したと判定している。本手法の推定UCLにおいては、平均値を用いて推定しているため、加算回数が多くなるほど、平均値の変化の幅は小さくなる。そのため、所定回数の加算値による、推定UCLの値が、上限値を大きく上回ってしまうときには、加算回数をさらに増加させても、上限値を上回ることとなる場合が多い。
例えば、ある周波数においてUCLの上限値が90dBであるにも関わらず、推定UCLの値が100dBの値が連続した場合には、加算回数を増加させても、90dB以下にならないことがある。そこで、このような場合には、収束判定部65の収束条件に依存せずに、これ以上、検査音を聞かせる必要がないことを判断することも可能である。
本発明の一実施形態にかかる不快音圧評価システムによれば、音刺激に対する脳波を指標に推定したUCLを、ユーザから取得した実測UCLの分布に基づき、適切な範囲に調整できることから、補聴器店や家庭などでの補聴器の調整に有用である。また、健聴者に対してもあらかじめ不快音圧を推定することで、テレビやステレオの音響装置における最大音量設定等にも応用可能である。
1 不快音圧評価装置
5 ユーザ
10 音刺激出力部
50 生体信号計測部
55 事象関連電位特徴量抽出部(抽出部)
60、67 不快音圧推定部(推定部)
65 最大不快音圧決定部
66、69 推定結果補正部(補正部)
68 推定結果収束判定部(収束判定部)
70、71 音刺激決定部
80 結果蓄積DB
100、200 不快音圧評価システム
110、111 不快音圧調整装置

Claims (20)

  1. ユーザの脳波信号を計測する計測部と、
    複数の音刺激群の各々を順次前記ユーザに呈示する出力部であって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、出力部と、
    前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出する抽出部と、
    予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定する推定部と、
    予め定められた最大不快音圧を記憶する記憶部と、
    推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正する補正部と
    を備えた不快音圧評価システム。
  2. ユーザの脳波信号を計測する計測部と、
    第1音、第2音、及び第3音からなる音刺激群を前記ユーザに呈示する出力部であって、前記第1音、第2音、及び第3音は同一の周波数を有する純音であり、かつ、所定の範囲内で順に音圧が減少する、出力部と、
    前記第1音、前記第2音、及び前記第3音が呈示されたそれぞれの時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位の時間周波数に関する特徴量を抽出する抽出部と、
    抽出された前記特徴量に基づいて、前記周波数に対応する不快音圧を推定する推定部と、
    前記ユーザの可聴閾値に基づいて、前記周波数に対応する前記ユーザの最大不快音圧を決定する最大不快音圧決定部と、
    推定された前記不快音圧が前記最大不快音圧より高い場合には前記不快音圧を前記最大不快音圧に補正して出力し、推定された前記不快音圧が前記最大不快音圧以下の場合には推定された前記不快音圧を出力する補正部と
    を備えた不快音圧評価システム。
  3. 前記最大不快音圧決定部は、可聴閾値ごとの最大不快音圧に関する所定のテーブルを予め保持しており、前記テーブルを参照して、与えられた前記ユーザの可聴閾値から前記最大不快音圧を決定する、請求項2に記載の不快音圧評価システム。
  4. 前記出力部は、複数の周波数の各々に関して、前記第1音、前記第2音、及び前記第3音からなる音刺激群をそれぞれ出力し、
    前記抽出部は、前記音刺激群のそれぞれに関して、前記事象関連電位の時間周波数に関する特徴量を抽出し、
    前記推定部は、前記音刺激群のそれぞれに関して抽出された前記特徴量に基づいて、各周波数に対応する不快音圧を推定し、
    前記補正部は、推定された、各周波数に対応する不快音圧のそれぞれについて、前記不快音圧が前記最大不快音圧より高い場合には前記不快音圧を前記最大不快音圧に補正して出力し、前記不快音圧が前記最大不快音圧以下の場合には推定された前記不快音圧を出力する、請求項3に記載の不快音圧評価システム。
  5. 前記出力部は、複数の周波数の各々に関して、前記第1音、前記第2音、及び前記第3音からなる音刺激群をそれぞれ出力し、
    前記抽出部は、前記音刺激群のそれぞれに関して、前記事象関連電位の時間周波数に関する特徴量を抽出し、
    前記推定部は、前記音刺激群のそれぞれに関して抽出された前記特徴量に基づいて、各周波数に対応する不快音圧を推定し、
    前記補正部は、推定された、各周波数に対応する不快音圧のそれぞれについて、前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定以上の場合には、全ての周波数に関して、推定された前記不快音圧を出力する、請求項3に記載の不快音圧評価システム。
  6. 前記補正部は、前記判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧に補正して出力する、請求項5に記載の不快音圧評価システム。
  7. 前記補正部から出力された、前記周波数における不快音圧を蓄積するデータベースをさらに備えた、請求項2に記載の不快音圧評価システム。
  8. 前記補正部は、推定された前記不快音圧が補正されたか否かを示す補正情報を生成し、
    前記データベースは、前記周波数における不快音圧に関連付けて、前記補正情報を蓄積する、請求項7に記載の不快音圧評価システム。
  9. 前記出力部は、前記第1音、前記第2音、及び前記第3音と同じ周波数および音圧を有する音刺激群を、所定の間隔を開けて複数回呈示し、
    前記抽出部は、前記音刺激群が呈示されるごとに、各音刺激群の前記第1音、前記第2音、及び前記第3音が呈示されたそれぞれの時刻を起点として定められる所定区間の前記脳波信号から事象関連電位を抽出して、既に抽出されている事象関連電位に加算し、
    前記推定部は、前記音刺激群が呈示されるごとに、加算された前記事象関連電位に基づいて前記不快音圧を推定する、請求項2に記載の不快音圧評価システム。
  10. 前記音刺激群が呈示されるごとに推定された各不快音圧が収束したか否かを判定する収束判定部をさらに備え、
    前記収束判定部が収束したと判定した音刺激群に関し、前記出力部は以後の呈示を停止する、請求項9に記載の不快音圧評価システム。
  11. 前記抽出部は、前記事象関連電位のウェーブレット係数に関する特徴量を抽出する、請求項2に記載の不快音圧評価システム。
  12. 前記推定部は、予め用意された、他者のウェーブレット特徴量と音圧との関係を教師データとして保持し、前記抽出部によって抽出された前記特徴量と前記教師データとを利用して線形判別を行って、前記不快音圧を推定する、請求項11に記載の不快音圧評価システム。
  13. 前記抽出部は、前記第1音、前記第2音、及び前記第3音が呈示されたそれぞれの時刻を起点として定められる300ms以下の時間区間に計測された前記脳波信号の事象関連電位に基づいて、前記事象関連電位のウェーブレット係数を、前記特徴量として抽出する、請求項11に記載の不快音圧評価システム。
  14. 前記抽出部は、前記事象関連電位のウェーブレット係数を所定の周波数幅および所定の時間幅で平均した値を、前記特徴量として抽出する、請求項10に記載の不快音圧評価システム。
  15. 前記所定の周波数幅は5Hzから15Hzである、請求項14に記載の不快音圧評価システム。
  16. 前記所定の時間幅は50msである、請求項14に記載の不快音圧評価システム。
  17. 不快音圧評価システムにおいて利用される不快音圧調整装置であって、
    前記不快音圧評価システムは、複数の音刺激群の各々を順次前記ユーザに呈示する出力部を備え、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっており、
    ユーザの脳波信号を計測する計測部から前記脳波信号を受け取り、前記各音刺激群に関し、前記少なくとも1つの音刺激が出力された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出する抽出部と、
    予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定する推定部と、
    予め定められた最大不快音圧を記憶する記憶部と、
    推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正する補正部と
    を備えた、不快音圧調整装置。
  18. 請求項17に記載の不快音圧調整装置と、
    前記少なくとも1つの音刺激を決定する音刺激決定部と、
    決定された前記少なくとも1つの音刺激を生成する音刺激生成部であって、前記少なくとも1つの音刺激が出力された時刻の情報を前記抽出部に出力する音刺激生成部と
    を備えた、不快音圧評価装置。
  19. ユーザの脳波信号を計測する計測部から前記脳波信号を受け取るステップと、
    複数の音刺激群の各々を順次前記ユーザに呈示するステップであって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、ステップと、
    前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出するステップと、
    予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定するステップと、
    推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正するステップと
    を包含する、不快音圧評価方法。
  20. 不快音圧評価装置に設けられたコンピュータによって実行されるコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータに対し、
    ユーザの脳波信号を計測する計測部から前記脳波信号を受け取るステップと、
    複数の音刺激群の各々を順次前記ユーザに呈示するステップであって、各音刺激群は少なくとも1つの音刺激を含み、かつ、前記各音刺激群の周波数は互いに異なっている、ステップと、
    前記各音刺激群に関し、前記少なくとも1つの音刺激が呈示された時刻を起点として定められる所定区間の前記脳波信号から、事象関連電位に関する情報を抽出するステップと、
    予め定めた基準を参照して、前記事象関連電位に関する情報から、前記ユーザの不快音圧を推定するステップと、
    推定された前記不快音圧が前記最大不快音圧より高いか、前記最大不快音圧以下かを判定し、前記複数の音刺激群全体の判定結果に占める、前記不快音圧が前記最大不快音圧より高いと判定された割合が所定より小さい場合には、前記最大不快音圧より高いと判定された前記不快音圧の各々について、前記不快音圧を前記最大不快音圧以下の音圧に補正するステップと
    を実行させる、コンピュータプログラム。
JP2014524207A 2012-09-27 2013-09-05 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム Active JP5579352B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014524207A JP5579352B1 (ja) 2012-09-27 2013-09-05 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012214015 2012-09-27
JP2012214015 2012-09-27
PCT/JP2013/005263 WO2014049979A1 (ja) 2012-09-27 2013-09-05 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム
JP2014524207A JP5579352B1 (ja) 2012-09-27 2013-09-05 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP5579352B1 JP5579352B1 (ja) 2014-08-27
JPWO2014049979A1 true JPWO2014049979A1 (ja) 2016-08-22

Family

ID=50387427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524207A Active JP5579352B1 (ja) 2012-09-27 2013-09-05 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム

Country Status (3)

Country Link
US (1) US9439013B2 (ja)
JP (1) JP5579352B1 (ja)
WO (1) WO2014049979A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403627B (zh) * 2017-08-16 2020-11-17 歌尔科技有限公司 声源校准系统及方法
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
EP3731749A4 (en) 2017-12-31 2022-07-27 Neuroenhancement Lab, LLC NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
JP7296618B2 (ja) 2018-05-08 2023-06-23 株式会社Agama-X 情報処理システム、情報処理装置及びプログラム
US11452839B2 (en) 2018-09-14 2022-09-27 Neuroenhancement Lab, LLC System and method of improving sleep
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2843923C2 (de) * 1978-10-09 1985-09-12 Philips Patentverwaltung Gmbh, 2000 Hamburg Verfahren und Anordnung zum Anpassen eines Hörgerätes
JP4707920B2 (ja) 2000-05-19 2011-06-22 ベイクレスト・センター・フォー・ジェリアトリック・ケア 聴覚上の定常状態応答を使用した聴力を客観的に評価するためのシステム及び方法
US7399282B2 (en) 2000-05-19 2008-07-15 Baycrest Center For Geriatric Care System and method for objective evaluation of hearing using auditory steady-state responses
JP3946131B2 (ja) * 2002-11-27 2007-07-18 株式会社中国補聴器センター 補聴器の自動増幅特性調整装置
JP3106663U (ja) 2003-10-15 2005-01-20 株式会社ビジョンメガネ 聴力検査システム及びこれを用いた補聴器選定システム
WO2008038650A1 (fr) * 2006-09-27 2008-04-03 National University Corporation Chiba University Dispositif et système d'inspection du potentiel évoqué
JP4750153B2 (ja) * 2008-05-28 2011-08-17 独立行政法人科学技術振興機構 音響装置及び音響調整方法
CN102781322B (zh) * 2010-06-11 2015-02-25 松下电器产业株式会社 语音听取的评价系统、及方法
JP5042398B1 (ja) 2011-02-10 2012-10-03 パナソニック株式会社 脳波記録装置、補聴器、脳波記録方法およびそのプログラム

Also Published As

Publication number Publication date
WO2014049979A1 (ja) 2014-04-03
US9439013B2 (en) 2016-09-06
JP5579352B1 (ja) 2014-08-27
US20150016618A1 (en) 2015-01-15

Similar Documents

Publication Publication Date Title
JP5579352B1 (ja) 不快音圧評価システム、不快音圧評価装置、不快音圧調整装置、不快音圧評価方法およびそのコンピュータプログラム
JP5215508B1 (ja) 不快閾値推定システム、方法およびそのプログラム、補聴器調整システムおよび不快閾値推定処理回路
JP6041271B2 (ja) 補聴器利得決定システム、補聴器利得決定方法、およびコンピュータプログラム
JP5406414B2 (ja) 不快音圧推定システム、不快音圧推定装置、不快音圧推定システムの作動方法およびそのコンピュータプログラム
JP5915944B2 (ja) 不快音圧推定システム、不快音圧推定装置、不快音圧推定方法およびそのコンピュータプログラム
JP5091366B2 (ja) 音圧評価システム、その方法およびそのプログラム
JP5215507B1 (ja) 不快音圧決定システム、その方法およびそのプログラム、補聴器調整システムおよび不快音圧決定装置
JP5352029B1 (ja) 聴覚事象関連電位計測システム、聴覚事象関連電位計測装置、聴覚事象関連電位計測方法およびそのコンピュータプログラム
JP5632569B2 (ja) 不快音圧推定システム、不快音圧推定プロセッサ、不快音圧推定方法およびそのコンピュータプログラム
KR20120131778A (ko) 청력 검사를 수행하는 방법과 이것을 이용한 청력 보조 장치
Adachi et al. Estimating uncomfortable loudness levels using evoked potentials to auditory stimuli for hearing aid fitting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140519

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140519

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140708

R151 Written notification of patent or utility model registration

Ref document number: 5579352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151