JP6454704B2 - 確率論的な聴力損失補償を備えた補聴器 - Google Patents

確率論的な聴力損失補償を備えた補聴器 Download PDF

Info

Publication number
JP6454704B2
JP6454704B2 JP2016528064A JP2016528064A JP6454704B2 JP 6454704 B2 JP6454704 B2 JP 6454704B2 JP 2016528064 A JP2016528064 A JP 2016528064A JP 2016528064 A JP2016528064 A JP 2016528064A JP 6454704 B2 JP6454704 B2 JP 6454704B2
Authority
JP
Japan
Prior art keywords
hearing loss
hearing
audio signal
stochastic
compensator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016528064A
Other languages
English (en)
Other versions
JP2016537880A (ja
Inventor
フリース アルバート デ
フリース アルバート デ
モジタバ ファルマーニ
モジタバ ファルマーニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GN Hearing AS
Original Assignee
GN Hearing AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP13191993.8A external-priority patent/EP2871858B1/en
Application filed by GN Hearing AS filed Critical GN Hearing AS
Publication of JP2016537880A publication Critical patent/JP2016537880A/ja
Application granted granted Critical
Publication of JP6454704B2 publication Critical patent/JP6454704B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091Details not provided for in groups H04R1/1008 - H04R1/1083
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/70Adaptation of deaf aid to hearing loss, e.g. initial electronic fitting
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/025Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers frequency-dependent volume compression or expansion, e.g. multiple-band systems
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G9/00Combinations of two or more types of control, e.g. gain control and tone control
    • H03G9/02Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers
    • H03G9/12Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers having semiconductor devices
    • H03G9/18Combinations of two or more types of control, e.g. gain control and tone control in untuned amplifiers having semiconductor devices for tone control and volume expansion or compression

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本明細書に記載される実施形態は、所定の聴力損失モデルに従って、確率論的な聴力損失補償を行うように構成された新しい補聴器に関する。
聴力損失には、主な3つのタイプがある。
○伝音性聴力損失:鼓膜への外耳道および中耳の小骨(耳小骨)が、音を効率良く伝達することができず、音が内耳、蝸牛に達しない場合に現出する。
○感音性聴力損失:内耳(蝸牛)が、または蝸牛からのインパルスを脳の聴覚中枢もしくは脳に送る神経が損傷した場合に現出する。感音性聴力損失の対する最も一般的な理由は、蝸牛内の有毛細胞の損傷である。
○混合性聴力損失:上記2つのタイプの聴力損失の組合せである。
通常、感音性聴力損失の症状を呈する聴覚障害者は、1)周波数に依存する、かつ2)耳における音のラウドネスに依存する、聴覚感度の損失を経験する。
したがって、聴覚障害者は、正常な聴力を有する人と同様に、例えば、低周波数など、一定の周波数を聞くことができるが、他の周波数は同じようには聞こえない。通常、聴覚障害者は、高周波数で聴覚感度の損失を経験する。
感度が低下している周波数において、聴覚障害者は、大きな音については、しばしば正常な聴力を有する人と同様に聞くことができるが、小さな音については、正常な聴力を有する人と同じ感度で聞くことができない。したがって、聴覚障害者は、ダイナミックレンジの損失の症状を呈する。
聴覚障害者に残されたダイナミックレンジに適合させるために、聴覚障害者の耳に達する音のダイナミックレンジを圧縮するダイナミックレンジ圧縮器を、補聴器で使用することができる。聴覚障害者の動的な聴力損失の程度は、様々な周波数帯で異なる可能性がある。
入力−出力圧縮器の伝達関数の傾斜は、圧縮比と呼ばれる。対象者にとって必要とされる圧縮比は、入力パワー範囲の全体にわたり一定ではない可能性がある。すなわち、通常、圧縮器の特性は、1つまたは複数のニーポイントを有する。
したがって、ダイナミックレンジ圧縮器は、異なる周波数帯で異なる動作をするように構成され、それにより、対象者の聴力損失の周波数依存性を補償することができる。このようなマルチバンドまたは多重帯域圧縮器は、入力信号を、2つ以上の周波数帯に、または周波数チャネルに分割し、次いで、各周波数帯またはチャネルを別々に圧縮する。圧縮比、ニーポイントの位置、アタック時定数、リリース時定数などの圧縮器パラメータは、各周波数帯に対して異なる可能性がある。
ダイナミックレンジ圧縮器は、一般に容認されたフィッティングルールに従って、かつ対象者に対して求められた聴力閾値に基づき、圧縮器パラメータを調整することにより、対象者の聴力損失にフィットされる。
フィッティングルールは、ダイナミックレンジ圧縮器が補償することを意図している聴力損失の数学的もしくはアルゴリズム的記述では駆動されない場合があり、したがって、例えば、時定数は、経験則により設定される必要がある。
実際の聴力損失の適正な記述がないと、圧縮器の聴力損失補償の性能評価は困難になるおそれがある。実際に、聴力損失補償のためのダイナミックレンジ圧縮器アルゴリズムの比較評価は、ほとんど完全に主観的検査に基づいている。
聴力損失の適正な数学的記述に基づく聴力損失補償の新しい方法が求められている。このような方法は、聴力損失補償法における進行を容易にする客観的な尺度に基づいて、互いに、かつ聴力損失補償の他の方法と比較することができる。
選択された聴力損失モデルに従って確率論的な聴力損失補償を実施することが、聴力損失補償の新しい方法の目的である。
新しい方法によれば、聴覚障害者の外耳道に達した音響信号は、聴力損失モデルによる人の聴覚系が、正常な聴力を有する人の聴覚系と同じ聴取結果を得るように処理される。
したがって、聴力損失補償の新しい方法が提供され、その方法は、
音に応じて音声信号を提供するステップと、
音声信号の信号レベルの関数として聴力損失の計算を行うための聴力損失モデルを提供するステップと、
聴力損失が聴力損失モデルに従って正常な聴力に復元されるように、音声信号を、聴力損失が補償された音声信号へと確率論的に処理するステップと
を含む。
さらに新しい補聴器が提供され、その補聴器は、
音に応じて音声信号を提供するための入力変換器と、
音声信号の信号レベルの関数として聴力損失を計算するための聴力損失モデルと、
聴力損失が聴力損失モデルに従って正常な聴力に復元されるように、音声信号を、聴力損失が補償された音声信号へと処理するように構成された確率論的な聴力損失補償器と、
好ましくは、聴力損失が補償された音声信号を、対象者の聴覚系により受け取ることのできる聴覚出力信号、例えば、音響出力信号、インプラント変換器信号などへと変換するための出力変換器と
を備える。
例えば、補聴器は、正常な聴取者により知覚される聴取信号のラウドネスが、聴覚障害者に知覚される処理信号のラウドネスと一致するように、ラウドネスを復元することを目標とすることができる。
同様に聴力損失モデルは、スペクトル・パワー・パターン、聴覚障害者の音声明瞭度、もしくは聴覚障害者の音感(music)の質、または問題にしている聴覚障害者の聴力損失の特徴の任意の組合せをモデル化することができる。
聴力損失モデルは、Patrick M.ZurekおよびJoseph G.Desloge:「Hearing loss and prosthesis simulation in audiology」、The Hearing Journal、60(7)、2007、Brian MooreおよびBrian Glasberg:「Simulation of the effects of loudness recruitment and threshold elevation of the intelligibility of speech in quiet and in background of speech」、J.Acoust.Soc.Am、94(4)、2050−2062、J.ChalupperおよびH.Fastl:「Simulation of hearing impairment based on the Fourier time transformation」、Acoustics、Speech、and Signal Processing、ICASSP ’00 Proceedings、2000などに開示されたZurekモデルとすることができる。
「確率論的な(probabilistic)」という用語は、「確率論」と称する明確に定義された数学的枠組みを指しており、例えば、E.T.Jaynes、Probability Theory:The Logic of Science.Cambridge、UK;New York、NY:Cambridge University Press、2003を参照のこと。またR.T.Cox、Algebra of Probable Inference.Baltimore:Johns Hopkins University Press、2001も参照のこと。
聴力損失補償アルゴリズムの設計への確率論的手法は、よく知られた非確率論的手法、すなわち、決定論的手法とは異なる。
確率論的手法はまた、ベイズ手法とも称される。
本開示による聴力損失補償アルゴリズムまたは補償器の設計に対する確率論的手法は、聴力損失補償アルゴリズムまたは補償器により補償される聴力損失のモデルを組み込む逆設計(inverse design)法である。ベイズ技法、すなわち、確率論のルールを使用することにより、望ましい聴力損失補償の自動計算が可能になる。したがって、自動的な数学的手続きであるベイズ逆解析(inversion)は、聴力損失補償アルゴリズムまたは補償器を構成する逆の聴力損失モデルを生成する。逆アルゴリズムまたは回路を推論するプロセスは、確率論に含まれる「確率論的推定」または短く「推定」と呼ばれる。
本開示によれば、ベイズ推定は初めて補聴器で使用され、実時間で聴力損失補償を実施する。
したがって、確率論的補償器は、ベイズ推定に基づくアルゴリズムを含むことができる。
確率論的補償器は、カルマンフィルタ、拡張カルマンフィルタ、オンライン変分ベイズ・カルマンフィルタ、粒子フィルタ、または無香料カルマンフィルタなどとすることができる。非線形カルマンフィルタは、例えば、J.V.Candy、Bayesian Signal Processing:Classical、Modern and Particle Filtering Methods.New York、NY、USA:Wiley−lnterscience、2009で開示される。
確率論的手法またはベイズ手法は、システム雑音および観測雑音により生ずる不確定性を考慮に入れるのに有利である。確率論的手法に従って、変数またはパラメータは、例えば、システム雑音および/または観測雑音により生ずる確率分布により定義することができる。
音声信号の信号レベルは、rms値、平均振幅値、ピーク値、包絡線(envelope)値など、音声信号の平均値として計算することができる。
対象者の聴力損失は、周波数に応じて変化することが多い。したがって、例えば、新規の補聴器など、新しい方法による信号処理は、異なる周波数に対して異なるように行ってもよく、それにより、対象者の聴力損失の周波数依存性を補償することができる。
新しい補聴器では、音声信号は、2以上の周波数帯もしくは周波数チャネルへと(例えば、回路を用いて)分割してもよく、また各周波数帯もしくは周波数チャネルは、個々に処理してもよい。
新しい補聴器は、2つの補聴器を備える新しい両耳補聴器システムの一部を形成してもよく、その一方は、対象者の左耳の聴力損失を補償するように意図され、他方は、対象者の右耳の聴力損失を補償するように意図されている。両方の補聴器は、新しい方法に従って動作してもよい。
聴力損失補償の新しい確率論的方法は、以下の利点を有する:
○所定の聴力損失モデルは、信号処理アルゴリズムの一部を形成する。
○任意の所与の聴力損失モデルに対する聴力損失補償ゲインの自動推論。
○確率分布の逆分散としての、時定数の適正な記述。
○聴力損失モデルの確率論的記述を可能にする。原理的には、個々のモデルを「平均グループ」モデルに関連付ける階層的な聴力損失モデルが容易になる。
○聴力損失補償を学習することが容易になる。
○適正な評価フレームワークが、聴力損失補償アルゴリズムに提供される。
変換器は、ある形態のエネルギーである信号を、他の形態のエネルギーの対応する信号に変換するデバイスである。
入力変換器は、マイクロフォンを備えていてもよく、マイクロフォンは、マイクロフォンに達した音響信号を、対応するアナログ音声信号に変換し、音声信号の瞬時電圧は、音響信号の音圧と共に連続的に変化する。入力変換器は、マイクロフォンを備えることが好ましい。
入力変換器はまた、テレコイルを備えていてもよく、テレコイルは、テレコイルにおける磁界を、対応するアナログの音声信号に変換し、音声信号の瞬時電圧は、テレコイルにおける磁界強度と共に連続的に変化する。テレコイルは、例えば、教会、講堂、劇場、映画館などの公共の場で何人かの人に話しかける話者からの、または鉄道駅、空港、ショッピングモールなどの公共のアナウンス・システムによる話者からの、音声の信号対ノイズ比を高めるために使用することができる。話者からの音声は、誘導ループ・システム(「聴取ループ(hearing loop)」とも呼ばれる)を用いて磁界に変換され、また磁気的に送信された音声信号を磁気的に受信するためにテレコイルが使用される。
入力変換器は、少なくとも2つの離間されたマイクロフォンと、少なくとも2つの離間されたマイクロフォンのマイクロフォン出力信号を、指向性のマイクロフォン信号へと合成するように構成されたビームフォーマとをさらに備えていてもよい。
入力変換器は、1つまたは複数のマイクロフォンと、テレコイルと、例えば、無指向性のマイクロフォン信号、もしくは指向性のマイクロフォン信号、またはテレコイル信号を、音声信号として、単独で、または任意の組合せで選択するためのスイッチとを備えることができる。
通常、アナログ音声信号は、アナログ/デジタル変換器で対応するデジタル音声信号に変換することにより、デジタル信号処理に適したものにされ、それにより、アナログ音声信号の振幅は、2進数により表される。このように、一連のデジタル値の形式の離散的な時間および離散的な振幅のデジタル音声信号は、連続する時間および連続する振幅のアナログ音声信号を表す。
本開示の全体を通して、「音声信号」は、入力変換器の出力からプロセッサの入力までの信号経路の一部を形成する任意のアナログもしくはデジタル信号を識別するために使用され得る。
本開示の全体を通して、「聴力損失が補償された音声信号」は、信号プロセッサの出力から出力変換器の入力までの信号経路の一部を形成する任意のアナログもしくはデジタル信号を識別するために使用され得る。
新しい補聴器における信号処理は、専用のハードウェアにより実施されてもよく、あるいは1つまたは複数の信号プロセッサで実施されてもよく、または専用のハードウェアと1つまたは複数の信号プロセッサの組合せで実施されてもよい。
本明細書で使用される場合、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」などの用語は、CPUに関連するエンティティを指し、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または実行中のソフトウェアを指すように意図される。
例えば、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」などの用語は、これだけに限らないが、プロセッサ上で動作するプロセス、プロセッサ、オブジェクト、実行可能なファイル、実行のスレッド、および/またはプログラムであってもよい。
例として、「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」などの用語は、プロセッサ上で動作するアプリケーションとハードウェア・プロセッサの両方を示す。1つまたは複数の「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」、および同様のもの、またはそれらの任意の組合せは、プロセスおよび/または実行のスレッド内に常駐することができ、かつ1つまたは複数の「プロセッサ」、「信号プロセッサ」、「コントローラ」、「システム」など、またはそれらの任意の組合せは、おそらく他のハードウェア回路と組み合わせたハードウェア・プロセッサで局所化される、かつ/またはおそらく他のハードウェア回路と組み合わせた2つ以上のハードウェア・プロセッサ間で分散され得る。
さらに、プロセッサ(または同様の用語)は、信号処理を実行可能な任意の構成要素、または構成要素の任意の組合せとすることができる。例えば、信号プロセッサは、ASICプロセッサ、FPGAプロセッサ、汎用プロセッサ、マイクロプロセッサ、回路構成要素、または集積回路とすることができる。
補聴器は、音に応じて音声信号を提供するための入力変換器と、音声信号の信号レベルの関数として聴力損失を計算するための聴力損失モデルと、聴力損失が聴力損失モデルに従って正常な聴力に復元されるように、音声信号を、聴力損失が補償された音声信号へと処理するように構成された確率論的な聴力損失補償器とを含む。
任意選択で、聴力損失は、スペクトル・パワー、ラウドネス、語音聴取閾値、および音感の質のうちの少なくとも1つに関する。
任意選択で、確率論的な聴力損失補償器は、ベイズ推定に基づいて動作するように構成される。
任意選択で、確率論的な聴力損失補償器は、カルマンフィルタ、拡張カルマンフィルタ、オンライン変分ベイズ・カルマンフィルタ、無香料カルマンフィルタ、または粒子フィルタを備える。
任意選択で、聴力損失モデルは、Zurekモデルに基づく。
任意選択で、音声信号の信号レベルは、音声信号の平均値、音声信号のrms値、音声信号の平均振幅値、音声信号のピーク値、または音声信号の包絡線値を含む。
任意選択で、確率論的な聴力損失補償器は、再帰的技法を用いてゲインを求めるように構成される。
任意選択で、確率論的な聴力損失補償器は、聴力損失モデルに基づいてゲインを求めるように構成される。
任意選択で、確率論的な聴力損失補償器は、再帰的技法を含むカルマン・フィルタリング原理を用いてゲインを求めるように構成される。
聴力損失補償の方法は、音に応じて音声信号を提供するステップと、音声信号の信号レベルの関数として聴力損失を計算するための聴力損失モデルを提供するステップと、聴力損失が聴力損失モデルに従って正常な聴力に復元されるように、音声信号を、聴力損失が補償された音声信号へと確率論的に処理するステップとを含む。
任意選択で、聴力損失は、スペクトル・パワー、ラウドネス、語音聴取閾値、および音感の質のうちの少なくとも1つに関する。
任意選択で、確率論的に処理するステップは、ベイズ推定に基づいて実施される。
任意選択で、確率論的に処理するステップは、確率論的な補償器を用いて行われ、確率論的な補償器は、カルマンフィルタ、拡張カルマンフィルタ、オンライン変分ベイズ・カルマンフィルタ、無香料カルマンフィルタ、または粒子フィルタである。
任意選択で、確率論的に処理するステップは、再帰的技法を用いてゲインを求めるステップを含む。
任意選択で、確率論的に処理するステップは、再帰的技法を含むカルマン・フィルタリング原理を用いてゲインを求めるステップを含む。
他のおよびさらなる諸態様ならびに特徴は、以下の詳細な説明を読めば明らかになろう。
図面は、諸実施形態の設計および有用性を示しており、図中、同様の要素は、共通の参照数字により参照される。これらの図面は、縮尺を合わせて描かれている場合と、描かれていない場合があり得る。上記で述べた、かつ他の利点および目的がどのようにして得られるかをよく理解するために、添付の図面で示された諸実施形態のさらに具体的な説明を示すものとする。これらの図面は、例示的な実施形態を示しているに過ぎず、したがって、特許請求の範囲に対する限定と見なされるべきではない。
以下では、新しい方法および補聴器が、図面を参照してより詳細に説明される。
周波数の関数として人間の正常な聴力の聴力閾値レベルのプロットを示す図である。 周波数の関数として、人間の聴力損失閾値およびリクルートメント(recruitment)閾値の例示的なプロットを示す図である。 Zurek聴力損失モデルの入力−出力伝達関数のプロットを示す図である。 確率論的な予測モデルのブロック図を示す。 Zurek聴力損失モデルに基づいたゲイン計算のプロットを示す図である。 修正されたZurek聴力損失モデルに基づいたゲイン計算のプロットを示す図である。 確率論的な聴力損失補償器のブロック図である。 新しい方法に従って動作する補聴器のブロック図である。 確率論的な聴力損失補償器を備える補聴器のブロック図である。
以下で、様々な実施形態が図面を参照して述べられる。図面は、実施形態の説明を容易にするように意図されているに過ぎないことにも留意されたい。それらは、本発明の網羅的な記述として、または本発明の範囲に対する限定として意図されているものではない。さらに例示された実施形態は、示された態様もしくは利点のすべてを有する必要はない。特定の実施形態と共に述べられた態様または利点は、必ずしもその実施形態に限定されるものではなく、かつそのように示されていない場合であっても、任意の他の実施形態で実施することができる。
以下では、新しい方法および補聴器の様々な例が示される。しかし、添付の特許請求の範囲による新しい方法および補聴器は、別の形態で実施することができ、本明細書で述べられる諸例に限定されるものと解釈されるべきではない。
(聴力損失モデル)
図1は、周波数の関数としての人間の正常な聴力の聴力閾値レベルのプロット10を示す。人間は、約20Hzから約20kHzの周波数範囲の音を聞くことができる。
下側の曲線20は、聴力閾値、すなわち、人間の聴覚系が検出できる最低の音圧レベルを示している。下側の曲線に満たない音圧レベルは、正常な聴力を有する人が聞くことはできない。
上側の曲線30は、上側の快適レベル、または痛覚閾値、すなわち、痛みもしくは不快さを感じることなく、その人が聞き取ることのできる音圧レベルの上限を示している。
聴力閾値20と痛覚閾値30の間の範囲は、周波数の関数として変化する正常な聴力40のダイナミックレンジである。
聴力損失の各タイプに対して、異なる聴力損失モデルを提供することができる。
理解を容易にするために、以下では、聴力損失補償の新しい方法が、特定の聴力損失モデルに関連して開示される、すなわち、以下でZurekモデルとして示される、Patrick M ZurekおよびJoseph G Desloge:「Hearing loss and prosthesis simulation in audiology」、The Hearing Journal、60(7)、2007により提案される聴力損失モデルである。しかし、本願の新しい方法においては、聴力損失の他のモデルをZurekモデルの代わりに使えることは明らかである。
図2は、Zurekモデルによりモデル化された聴力損失を示す。図2は、周波数の関数としての聴力の4つの聴覚閾値レベルのプロット50を示す。図1で示された正常な聴力の閾値は、図2で、破線の曲線20、30としてプロットされている。下から2番目の曲線60は、聴覚障害者の聴力閾値である。聴覚障害者は、下から2番目の曲線60未満の音を聞くことができない。最も下側の曲線20と下から2番目の曲線60の間の範囲は、聴覚障害者の喪失したダイナミックレンジ70を表す。
上から2番目の曲線80は、リクルートメント閾値である。聴覚障害者は、正常な聴力を備えている人と同様に、リクルートメント閾値80より上の音が聞こえる。
図3は、L=70dB HLの聴力閾値110、およびR=90dB HLのリクルートメント閾値120を有する特定の周波数帯における、対応するZurek聴力損失モデルの入力−出力伝達関数のプロット100を示している。
この聴力損失モデルによれば、聴覚感覚レベルf、すなわち、聴力閾値に対するdB表示の音レベルは、次式により与えられる。
Figure 0006454704
ここで、xはdB HL表示の入力音レベルである。
(確率論的な聴力損失法)
以下では、聴力損失補償の新しい方法が、ラウドネスの復元に関して開示される。しかし、聴力損失は、正常な聴力へと復元されて、それによって選択された聴力損失モデルに従う人の聴覚系が、正常な聴力を備えた人の聴覚系と同じ聴取結果を得ることができるような、例えば、語音聴取閾値、ラウドネスと語音聴取閾値の組合せなどであってもよいことは明らかである。
聴力損失の任意のモデルを用いるラウドネスの復元に関して、周波数帯ωにおいて、聴覚障害者により知覚されるラウドネスが、正常な聴力者により知覚されるラウドネスへと復元されるように、入力信号にゲインgωを適用することが望ましい。
Figure 0006454704
ここで、
ωは、周波数帯ωにおけるdB表示の音声信号レベルであり、
ωは、周波数帯ωにおけるdB表示の推定されたゲインであり、かつ
HL(.)は、聴力損失モデルである。
簡単化のために、周波数帯の添え字ωは、以下の数式では省略される。
図4は、新しい方法に従って形成された予測モデル400のブロック図を示す。示された予測モデル400は、状態遷移部分410および観測部分420を有し、またそれは、音声信号レベルy430および対象者の聴力モデルfHL440に基づいてゲインを計算する。
図4は、単一の周波数帯もしくはチャネルにおける処理を示している。示された単一の周波数帯は、単一帯域の確率論的な聴力損失補償器の全体の周波数帯を構成していてもよい。あるいは、示された単一の周波数帯は、多重帯域の確率論的な聴力損失補償器の複数の周波数帯のうちの1つの個々の周波数帯を構成していてもよい。
急速に変化するゲインは、音質に対して好ましくない影響があり、したがって、望ましくない。
従って、予測モデルは、次のように定義される:
Figure 0006454704
ここで、tは離散時間インデックスであり、gはdB表示の提供されるゲインであり、wは白色ガウス雑音によりモデル化されたプロセス雑音、すなわち、w〜N(0、S)であり、ここで、Sはプロセス雑音の(経時的に変化し得る)分散である。
推定されたゲインgは、観測モデルに基づいて更新される。式(1)に関連して上記で述べたように、聴覚障害者は、正常な聴力者と同様のラウドネスを知覚することが望ましい。
したがって、fHL(y+g)とyの間の差は、ゼロ平均雑音プロセスとして観測される。
Figure 0006454704
ここで、vは白色ガウス雑音によりモデル化された観測雑音、すなわち、v〜N(0、Q)であり、ここで、Qは聴力損失モデルに関する不確実さをモデル化する観測雑音の(経時的に変化し得る)分散である。
例として、Zurekの聴力損失モデルに対する入力パワーの関数として定常状態ゲインを計算する。式(2)を、Zurek聴力損失モデルに適用する。
Figure 0006454704
図3を参照すると、Zurekモデルでは、正常な聴力のものにラウドネスを復元するために、正常聴力閾値とリクルートメント閾値との間の音レベルを有する音は、障害聴力閾値とリクルートメント閾値の間の音レベルへと圧縮される必要がある。
x≧Lであるとき、ZurekモデルfZurek(x)は、1対1の関数であり、またfZurek(x)≧0である。
したがって、x≧Lに対して、
Figure 0006454704
および
Figure 0006454704
ここで、xはdB HL表示による音レベルであり、Lは対象者の聴力閾値であり、かつRは対象者のdB HL表示によるリクルートメント閾値である。
図5は、Zurekの聴力損失モデルに基づく定常状態ゲインのゲイン対入力曲線のプロット450である。正常なラウドネスの知覚を復元するために必要なゲイン460が、0dBの聴力レベルでLdBから、リクルートメント閾値Rにおける0dBへと、聴力レベル(dB HL)の関数として直線的に減少することが示されている。圧縮閾値は、0dB HLであり、圧縮比はR/(R−L)である。
Zurekの聴力損失モデルによれば、入力音の聴力レベルがリクルートメント閾値Rよりも大きい場合、対象者は、ほとんど正常聴力者と同様に聞くことができ、したがって、リクルートメント閾値を超えて提供されるゲインは0dBにすべきである。
図5で示すゲイン−入力曲線460は、Zurekの聴力損失モデルに従ってラウドネスを正常に復元するが、実際には、低い信号における大きなゲインは、フィードバックを生ずる可能性が高く、さらに対象者が聞きたくないノイズを増幅する。さらに信号波形を不必要に歪ませる大きなゲイン変動が、低い信号レベルで経験される可能性がある。
したがって、図5のゲイン−入力曲線460を図6で示すゲイン−入力曲線200へと修正することが好ましく、この場合、ゲインは、選択された圧縮閾値C未満においてαLdBで一定に保たれる。
圧縮閾値Cは、補聴器の対象者への装着中に決めることができる。
図6で示されるゲイン−入力曲線470は次式で与えられる。
Figure 0006454704
ここで、xはdB HL表示の入力信号レベルである。
式(9)を式(2)に挿入することで、次式が得られる。
Figure 0006454704
ここで、xは、dB HL表示の入力音レベルである。LおよびRはそれぞれ、対象者のdB HL表示の聴力閾値とリクルートメント閾値とを表す。α∈[0、1]であって、Cは、dB HL表示の圧縮閾値であり、(R−C)/(R−(C+αL))は、モデルの圧縮比である。
(確率論的な聴力損失補償器)
図7は、新しい方法に従って動作する確率論的な聴力損失補償器500のブロック図を示す。
図7は、単一の周波数帯またはチャネルωにおける処理を示している。示された単一の周波数帯ωは、単一帯域の確率論的な聴力損失補償器の全体の周波数帯を構成していてもよい。あるいは、示された単一の周波数帯ωは、多重帯域の確率論的な聴力損失補償器の複数の周波数帯のうちの1つの個々の周波数帯を構成していてもよい。
多重帯域の確率論的な聴力損失補償器では、周波数帯ωは、同じ帯域幅を有していてもよいし、周波数帯のいくつか、もしくはすべては、異なる帯域幅を有していてもよい。帯域幅の変化は、例えば、周波数ワープの結果として得られる。
示された確率論的な聴力損失補償器は、各周波数帯ωにおいて適用されるゲインを求めるために、聴力損失モデルfhl510および拡張カルマンフィルタK520を有する。
以下では、システムは、ガウス雑音により外乱を受ける動的システムを構成するものと想定されるが、カルマンフィルタ、拡張カルマンフィルタ、オンライン変分ベイズ・カルマンフィルタ、無香料カルマンフィルタ、または粒子フィルタなど、任意のタイプのカルマンフィルタを、図7のK520として使用できることに留意されたい。カルマンフィルタに関する広範囲な文献を参照のこと。
同様に、Zurekモデルが、示された例で使用されるが、図7の聴力損失モデルfhl510として、任意の聴力損失モデルを使用できることに留意されたい。
選択された周波数帯ωにおいて、経時的に変化するゲインgを推定するために、まず、生成確率論的モデルにより問題を記述する。
Figure 0006454704
ここで、gは聴力損失モデルfhl510に従って聴力損失を補償するゲインであり、yはdB SPLで表した入力信号レベルであり、wはシステム雑音であり、vは観測雑音である。
生成モデルは、ベイズ推定により反転させることができる。モデルfhlが非線形モデルである場合、拡張カルマンフィルタによるベイズ推定は、以下の式を導く。
Figure 0006454704
他の例において、システムが、ガウス雑音で外乱を受ける線形の動的システムであると想定した場合、通常のカルマンフィルタで、ゲインを更新することができる。その場合、Fは、聴力損失モデルの線形な伝達関数を指すことになる。
図8は、聴力損失補償の新しい方法に従って動作する新しいデジタル補聴器800の簡単化したブロック図である。補聴器800は、入力変換器810であって、入力変換器810で受信された音信号に応じて、デジタル音声信号840を提供するためのアナログ/デジタル(A/D)変換器830に入力される音声信号820を提供するための、好ましくはマイクロフォンである入力変換器810と、信号プロセッサ850であって、聴力損失補償の新しい方法に従ってデジタル音声信号840を聴力損失が補償された出力信号860に処理するように構成された、例えば、デジタル信号プロセッサ、すなわちDSPなどの信号プロセッサ850と、デジタル/アナログ(D/A)変換器870であって、デジタル信号860を、対応するアナログ出力信号880に変換するためのデジタル/アナログ(D/A)変換器870と、出力変換器890であって、アナログ出力信号880を音響出力信号へと変換して、対象者の鼓膜に向けて送るための、好ましくはレシーバ890である出力変換器890とを備える。
図9は、信号プロセッサ850、すなわち、例示的な多重帯域の確率論的な聴力損失補償器850の部分をより詳細に示す。示された例では、多重帯域の確率論的な聴力損失補償器850は、K+1個の周波数帯を有しており、Kは1以上の任意の整数とすることができる。
示された多重帯域の確率論的な聴力損失補償器850は、A/D変換器830からのデジタル入力信号910を受け取るためのデジタル入力と、周波数に依存する聴力損失に対して補償を行う多重帯域増幅器920とを有する。多重帯域増幅器920は、周波数に依存する聴力損失を補償するために、その周波数帯0、1、・・・、Kのそれぞれにおける各信号X、X、・・・、Xに対して適切なゲインG、G、・・・、Gを適用する。各周波数帯の増幅された信号G、G、・・・、Gは、加算器930で加算されて、出力信号940を形成する。
一般に、確率論的な聴力損失補償は、様々な周波数帯で個々に行われてもよい。様々な確率論的な聴力損失補償器は、様々な数の周波数帯を有していてもよく、かつ/または様々な帯域幅および/またはクロスオーバ周波数を備えた周波数帯を有していてもよい。
図9で示された多重帯域の確率論的な聴力損失補償器850は、デジタル入力信号を、ワープされた周波数帯0、1、2、・・・、Kへと分割する、ワープされた多重帯域の確率論的な聴力損失補償器850である。
非ワープFFT950は、1次の全通過フィルタを備えたタップ付き遅延線960に対して動作し、周波数ワーピングを提供してクロスオーバ周波数の調整を可能にし、クロスオーバ周波数は、対象者の聴力障害に従って望ましい応答を提供するように調整される。
多重帯域の確率論的な聴力損失補償器850は、各周波数帯信号X、X、・・・、Xの信号レベルS、S、・・・Sを個々に求めるための多重帯域信号レベル検出器970をさらに備える。信号レベル検出器970の出力S、S、・・・Sは、多重帯域増幅器920により、各周波数帯の信号X、X、・・・、Xに適用される確率論的な聴力損失を補償する帯域ゲインG、G、・・・、Gを求めるために、図6および図8でより詳細に示すように、確率論的な聴力損失補償器850の各カルマンフィルタ580に提供される。
多重帯域信号レベル検出器970は、例えば、ピーク検出器などにより求められる、rms値、平均振幅値、ピーク値、包絡線値など、各ワープされた周波数帯における音声信号の平均値を計算する。
多重帯域信号レベル検出器970は、音声信号の移動平均値を計算する、またはサンプルのブロックに対して動作することができる。好ましくは、多重帯域信号レベル検出器は、サンプルのブロックに対して動作し、それにより、必要とされるプロセッサの能力が低減される。
確率論的な聴力損失補償器のゲイン出力G、G、・・・、Gは、サンプルのブロックに対してバッチごとに計算され、かつ適用され、それにより、必要とされるプロセッサの能力が低減する。確率論的な聴力損失補償器が信号サンプルのブロックに対して動作するとき、確率論的な聴力損失補償器ゲイン制御ユニット980が、システムの他の部分より低いサンプル周波数で動作する。これは、確率論的な聴力損失補償器ゲインは、Nがブロック中のサンプル数である場合、N番目のサンプルごとに変化するに過ぎないことを意味する。急速に変化するゲイン値により生ずる可能性のあるアーチファクトは、ブロック境界におけるゲイン変化を平滑化するために、確率論的な聴力損失補償器ゲイン制御ユニット980のゲイン出力において、低域通過フィルタ990により抑圧される。
特定の実施形態が示され、かつ述べられてきたが、それらは、特許請求の範囲に記載された発明を限定するようには意図されていないことが理解されよう。また特許請求の範囲に記載された発明の趣旨および範囲から逸脱することなく、様々な変更および修正を加えることが可能であることは当業者には自明であろう。したがって、本明細書および図面は、限定的ではなく、例示的な意味のものであると見なされるべきである。特許請求の範囲に記載された発明は、代替形態、変更形態、および均等形態を含めるように意図されている。

Claims (15)

  1. 音に応じて音声信号を提供するための入力変換器と、
    前記音声信号の信号レベルの関数として聴力損失を計算するための聴力損失モデルと、
    前記聴力損失が前記聴力損失モデルに従って正常な聴力に復元されるように、前記音声信号を、聴力損失が補償された音声信号へと処理するように構成された確率論的な聴力損失補償器と
    を備える補聴器。
  2. 前記聴力損失は、スペクトル・パワー、ラウドネス、語音聴取閾値、および音感の質のうちの少なくとも1つに関係する、請求項1に記載の補聴器。
  3. 前記確率論的な聴力損失補償器は、ベイズ推定に基づいて動作するように構成される、請求項1に記載の補聴器。
  4. 前記確率論的な聴力損失補償器は、カルマンフィルタ、拡張カルマンフィルタ、オンライン変分ベイズ・カルマンフィルタ、無香料カルマンフィルタ、または粒子フィルタを備える、請求項1に記載の補聴器。
  5. 前記聴力損失モデルが、Zurekモデルに基づいている、請求項1に記載の補聴器。
  6. 前記音声信号の前記信号レベルは、前記音声信号の平均値、前記音声信号のrms値、前記音声信号の平均振幅値、前記音声信号のピーク値、または前記音声信号の包絡線値を含む、請求項1に記載の補聴器。
  7. 前記確率論的な聴力損失補償器は、再帰的技法を用いてゲインを求めるように構成される、請求項1に記載の補聴器。
  8. 前記確率論的な聴力損失補償器は、前記聴力損失モデルに基づいて前記ゲインを求めるように構成される、請求項7に記載の補聴器。
  9. 前記確率論的な聴力損失補償器は、再帰的技法を含むカルマン・フィルタリング原理を用いて、前記ゲインを求めるように構成される、請求項7に記載の補聴器。
  10. 聴力損失補償の方法であって、
    音に応じて音声信号を提供するステップと、
    前記音声信号の信号レベルの関数として聴力損失を計算するための聴力損失モデルを提供するステップと、
    前記聴力損失が前記聴力損失モデルに従って正常な聴力に復元されるように、前記音声信号を、聴力損失が補償された音声信号へと確率論的に処理するステップと
    を含む方法。
  11. 前記聴力損失は、スペクトル・パワー、ラウドネス、語音聴取閾値、および音感の質のうちの少なくとも1つに関係する、請求項10に記載の方法。
  12. 前記確率論的に処理する前記ステップは、ベイズ推定に基づいて実施される、請求項10に記載の方法。
  13. 前記確率論的に処理する前記ステップは、確率論的な補償器を用いて実施され、前記確率論的な補償器が、カルマンフィルタ、拡張カルマンフィルタ、オンライン変分ベイズ・カルマンフィルタ、無香料カルマンフィルタ、または粒子フィルタである、請求項10に記載の方法。
  14. 前記確率論的に処理する前記ステップは、再帰的技法を用いてゲインを求めるステップを含む、請求項10に記載の方法。
  15. 前記確率論的に処理する前記ステップは、再帰的技法を含むカルマン・フィルタリング原理を用いて、前記ゲインを求めるステップを含む、請求項14に記載の方法。
JP2016528064A 2013-11-07 2014-11-05 確率論的な聴力損失補償を備えた補聴器 Expired - Fee Related JP6454704B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13191993.8A EP2871858B1 (en) 2013-11-07 2013-11-07 A hearing aid with probabilistic hearing loss compensation
DKPA201370656 2013-11-07
EP13191993.8 2013-11-07
DKPA201370656 2013-11-07
PCT/EP2014/073788 WO2015067641A1 (en) 2013-11-07 2014-11-05 A hearing aid with probabilistic hearing loss compensation

Publications (2)

Publication Number Publication Date
JP2016537880A JP2016537880A (ja) 2016-12-01
JP6454704B2 true JP6454704B2 (ja) 2019-01-16

Family

ID=51871013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016528064A Expired - Fee Related JP6454704B2 (ja) 2013-11-07 2014-11-05 確率論的な聴力損失補償を備えた補聴器

Country Status (4)

Country Link
US (1) US9832562B2 (ja)
JP (1) JP6454704B2 (ja)
CN (1) CN105706466B (ja)
WO (1) WO2015067641A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10687155B1 (en) * 2019-08-14 2020-06-16 Mimi Hearing Technologies GmbH Systems and methods for providing personalized audio replay on a plurality of consumer devices
US9590580B1 (en) 2015-09-13 2017-03-07 Guoguang Electric Company Limited Loudness-based audio-signal compensation
DK3267695T3 (en) * 2016-07-04 2019-02-25 Gn Hearing As AUTOMATED SCANNING OF HEARING PARAMETERS
EP3883265A1 (en) * 2016-12-27 2021-09-22 GN Hearing A/S Sound signal modelling based on recorded object sound
EP3389183A1 (en) * 2017-04-13 2018-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for processing an input audio signal and corresponding method
US11412333B2 (en) * 2017-11-15 2022-08-09 Starkey Laboratories, Inc. Interactive system for hearing devices
CN110719558B (zh) * 2018-07-12 2021-07-09 深圳市智听科技有限公司 助听器验配方法、装置、计算机设备及存储介质
US11330377B2 (en) 2019-08-14 2022-05-10 Mimi Hearing Technologies GmbH Systems and methods for fitting a sound processing algorithm in a 2D space using interlinked parameters
CN110942781B (zh) * 2019-11-18 2021-03-23 新疆爱华盈通信息技术有限公司 声音处理方法及声音处理设备
CN111050261A (zh) * 2019-12-20 2020-04-21 深圳市易优斯科技有限公司 听力补偿方法、装置及计算机可读存储介质
CN111818436B (zh) * 2020-07-14 2021-09-28 无锡清耳话声科技有限公司 基于机器学习的真耳分析测试系统
CN112995879B (zh) * 2021-03-02 2022-04-26 佛山博智医疗科技有限公司 一种输出声音可变频的助听装置及其应用方法
CN113630706B (zh) * 2021-09-15 2024-01-02 深圳市博音科技有限公司 骨传导助听装置的自主校正方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027410A (en) 1988-11-10 1991-06-25 Wisconsin Alumni Research Foundation Adaptive, programmable signal processing and filtering for hearing aids
DK176190B1 (da) 1993-06-11 2006-12-27 Oticon As Programmerbar digital kompressor, især for et digitalt höreapparat
JP2953397B2 (ja) 1996-09-13 1999-09-27 日本電気株式会社 ディジタル補聴器の聴覚補償処理方法及びディジタル補聴器
JP3731179B2 (ja) 1999-11-26 2006-01-05 昭栄株式会社 補聴器
EP1522206B1 (en) * 2002-07-12 2007-10-03 Widex A/S Hearing aid and a method for enhancing speech intelligibility
EP1351550B1 (de) 2002-09-10 2010-11-10 Phonak Ag Verfahren zur Anpassung einer Signalverstärkung in einem Hörgerät sowie ein Hörgerät
BRPI0410740A (pt) * 2003-05-28 2006-06-27 Dolby Lab Licensing Corp método, aparelho e programa de computador para calcular e ajustar o volume percebido de um sinal de áudio
EP1658754B1 (en) 2003-06-24 2011-10-05 GN ReSound A/S A binaural hearing aid system with coordinated sound processing
DE602006014572D1 (de) * 2005-10-14 2010-07-08 Gn Resound As Optimierung für hörgeräteparameter
EP2238899B1 (en) * 2009-04-06 2016-10-05 GN Resound A/S Efficient evaluation of hearing ability
CN101593522B (zh) * 2009-07-08 2011-09-14 清华大学 一种全频域数字助听方法和设备
WO2013091703A1 (en) 2011-12-22 2013-06-27 Widex A/S Method of operating a hearing aid and a hearing aid
CN102625220B (zh) 2012-03-22 2014-05-07 清华大学 一种确定助听设备听力补偿增益的方法
DK2658120T3 (en) 2012-04-25 2016-05-30 Gn Resound As A hearing aid with improved compression
DK201270210A (en) 2012-04-25 2013-10-26 Gn Resound As A hearing aid with improved compression

Also Published As

Publication number Publication date
CN105706466B (zh) 2019-05-14
US20150125016A1 (en) 2015-05-07
WO2015067641A1 (en) 2015-05-14
JP2016537880A (ja) 2016-12-01
CN105706466A (zh) 2016-06-22
US9832562B2 (en) 2017-11-28

Similar Documents

Publication Publication Date Title
JP6454704B2 (ja) 確率論的な聴力損失補償を備えた補聴器
US8290190B2 (en) Method for sound processing in a hearing aid and a hearing aid
JP5496271B2 (ja) 無線バイノーラルコンプレッサ
Wittkop et al. Strategy-selective noise reduction for binaural digital hearing aids
US9392378B2 (en) Control of output modulation in a hearing instrument
US9313583B2 (en) Method of fitting a binaural hearing aid system
JP2013017175A (ja) 方向についての手掛かりを保存するバイノーラルコンプレッサ
DK2172062T3 (da) Fremgangsmåde til tilpasning af et høreapparat ved hjælp af en perceptuel model
DK2595414T3 (en) Hearing device with a device for reducing a noise microphone and method for reducing noise of a microphone
Lai et al. Measuring the long-term SNRs of static and adaptive compression amplification techniques for speech in noise
EP2871858B1 (en) A hearing aid with probabilistic hearing loss compensation
Ewert et al. A model-based hearing aid: Psychoacoustics, models and algorithms
Ewert et al. Model-based hearing aid gain prescription rule
US11070922B2 (en) Method of operating a hearing aid system and a hearing aid system
Lunner et al. A digital filterbank hearing aid: Predicting user preference and performance for two signal processing algorithms
AU2011226820B2 (en) Method for frequency compression with harmonic correction and device
Kąkol et al. A study on signal processing methods applied to hearing aids
Dalal et al. Software simulation of dsp algorithms implemented in binaural hearing aids
WeSTermann From Analog to Digital Hearing Aids
Bruce Hearing Aids
Dean 1. McDermott Ph. D. I, Michelle R. Dean B. Sc. Aud.• Dillon Ph. D. 3

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6454704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees