JP5196698B2

JP5196698B2 - 蝸牛インプラント用音声処理方法

Info

Publication number: JP5196698B2
Application number: JP2002521409A
Authority: JP
Inventors: マクダーモット，ヒュー; マッケイ，コレット; ブレイミー，ピーター
Original assignee: ザユニバーシティオブメルボルン
Priority date: 2000-08-21
Filing date: 2001-08-20
Publication date: 2013-05-15
Anticipated expiration: 2021-08-20
Also published as: US20070043403A1; AU2001281585B2; US7171272B2; CA2419319A1; AU8158501A; US20030167077A1; AUPQ952700A0; WO2002017678A1; JP2004506398A; EP1329131A4; EP1329131A1; EP1784047A2; EP1784047A3

Description

【０００１】
〔技術分野〕
本発明は、聴覚人工器官システムで使用され、特に蝸牛インプラント・システムに適用される音声処理方法に関する。
【０００２】
〔背景技術〕
個人が感音難聴を経験した場合、その個人の聴覚の回復は補聴器と蝸牛インプラントの使用によって達成されてきた。特に、蝸牛インプラントは長年にわたって臨床使用されてきた。音声信号を処理して移植された電極アレイを介する電気刺激の基礎とするために広い範囲の様々な音声処理方法が利用されてきた。ユーザの音声理解にとって重要な検出された音声信号の個々の音響成分、例えばフェルマントの周波数及び振幅、を抽出し、刺激を生成する基礎としてそれを使用することに注目したシステムもあった。また、別のアプローチでは、蝸牛の一般的な周波数部位局在的（ｔｏｎｏｔｏｐｉｃ）な配置を利用して、各電極が一般に個々の周波数帯に対応するようにした試みがあった。
【０００３】
コクレア社（ＣｏｃｈｌｅａｒＬｉｍｉｔｅｄ）によって販売される音声処理装置で商業使用されているこうしたアプローチの１つは、ＳＰＥＡＫとして周知である。ＳＰＥＡＫシステムでは、入力音声信号を処理して所定の組み合わせの周波数チャネル各々の周囲音声信号の振幅の表示を提供し、最大の振幅を有するチャネルを刺激の基礎として選択する。別のアプローチでは、全てのチャネルの出力を使用して、最高短期振幅を有する、チャネル自体ではなく刺激パターンを特定する。チャネルは一列の帯域通過フィルタの部分的に重なり合う周波数応答によって画定される。フィルタは、高速フーリエ変換（ＦＦＴ）を含む多様なアナログまたはディジタル技術を使用して実現される。臨床的なマッピング処置によって決定される、こうしたチャネルに対応する電極を各刺激周期で作動するよう選択し、蝸牛の周波数部位局在機構（ｔｏｎｏｔｏｐｉｃｏｒｇａｎｉｚａｔｉｏｎ）に従ってチャネルに割り当てる。刺激レートはできる限り高いことが好適であるが、外部処理装置及び移植受信機／刺激器ユニットの処理及び電源能力によって課される制限の影響下にある。
【０００４】
電気刺激レベルの範囲は普通、音声処理装置出力の刺激サイクルレートと同じレートの固定電流パルス列を使用する、個々の電極のしきい値と快適な音量レベルとの心理物理学的測定によって決定される。これは電極音量マッピングによって記述してもよい。この音量マッピング法に伴う問題は、音声処理装置出力の場合一般にそうであるように、多数の電極を立て続けに作動させる場合、音量加算の影響を考慮していないことである。
【０００５】
処理方法の大部分は、刺激サイクル毎に一定の定格数の電極を作動させるが、個々のサイクルで刺激される電極の実際の数は、各時点での音響刺激のレベルと帯域幅とに応じて変化するこの数の一部であることを認識するのは重要である。このことの例示として、低レベル音響純音の場合は単一の電極が作動し、この電極の電気的レベルは、その電極が可聴となる、個々の電極について測定される心理物理学的しきい値に少なくとも等しくなければならない。それと対照的に、低レベル広帯域雑音によって、１つの刺激サイクルで（例えば）８つの電極が作動することもある。既存のシステムで起こりうるように、これらの８つの電極が各々それら個々の心理物理学的しきい値の近くで作動するならば、結果として得られる音量は、意図した通りにしきい値音量に近づくのではなく、最大快適音量に近づく。
【０００６】
この音量加算は、各電極個々のレベルは快適音量を超えていないのに、処理装置出力の音量が大きすぎる、という状況につながる。この問題を克服しようとして、各電極の上限レベルを全体的に下げる、または電極間にわたって個別レベルの範囲を設定する複合入力信号を使用する、といったことを含む様々な実際的方法が利用されてきた。こうした方法は、大音量に対するインプラント・ユーザの不快感を緩和するものではあるが、音声知覚に対する音量加算の強い影響、という第２の重要な問題に対処していない。
【０００７】
音声信号の振幅包絡線変動は、特に信号中のスペクトル・キューをあまり利用できない人（例えば、活性電極の少ない人や電極弁別能力の劣った人）にとって、音声知覚のために不可欠なキューを提供する。従って、音声信号中の時々刻々の音響強度の変化が、適正な知覚音量変化として装用者に正確に伝えられることが重要である。フィルタの音響出力を対応する電極の一定の電気的レベル（但し限定されている）にマップするこの音量コード化法は、各刺激サイクルで作動する電極の数、及び他の電極からの相対的音量寄与といった重要な側面の時々刻々の変化を考慮していないため、必然的に振幅包絡線形状の知覚的歪みを生じる。要約すると、このアプローチを使用して電気的に刺激された聴覚の相対音量は、聴覚正常者が同じ音響入力から聞き取る相対音量を正確に伝えていない。音響信号の振幅包絡線の知覚を歪めることと共に、この効果によって、狭帯域信号が低レベル広帯域雑音によってマスクされるので、装用者がバックグラウンド騒音の中の話し声を聞き取る能力が阻害されることになる。
【０００８】
ＳＰＥＡＫアプローチは臨床的に成功したものと証明されているが、蝸牛インプラントのユーザの、話し声及び他の音声の了解度を向上させるように音声処理方法を改善することが本発明の目的である。蝸牛インプラントのユーザに提供される音量の知覚を改善することが本発明のさらなる目的である。
【０００９】
〔発明の概要〕
広範には、本発明は、インプラント・ユーザが適正な音量で確実に信号を知覚できるようにしつつ、音量の制御を改善し、音声信号に関する追加情報を提供するため、音声処理スキームに正常聴覚の音声知覚モデルを適用することに関する。１つの態様では、本発明は、各チャネルでの振幅のさらなる処理を可能にするため、初期分析後に、整形アルゴリズムをチャネルの振幅に適用することに関する。整形アルゴリズムは、聴覚正常聴取者による音声知覚に対する各チャネルの相対的重要度を考慮する。その目的は、単に最大振幅を有するチャネルを強調するのではなく、音声知覚にとって最も重要なものに選択的な重み付けを適用することである。
【００１０】
別の態様によれば、入力音声信号を処理して、正常聴覚を有する仮定聴取者の推定総合音量を決定する。利用される刺激スキームに応じて電気刺激のパラメータを決定した後、以前に印加された刺激と、前もって臨床的に決定された電気的刺激による患者の聴覚知覚の関連特性とを含むパラメータに基づいて、提供される刺激によってインプラント・ユーザが知覚する音量を推定する。提供される刺激の音量が所定の範囲を超えて聴覚正常者と異なる場合、その範囲が満たされるまで刺激を調整し再度音量を推定する。これを、電気聴覚を使用する聴取者が知覚する総合音量の正規化と呼んでもよい。好適には、電気刺激の入力値は、上記で説明したＳＰＥＡＫスキームのような蝸牛インプラント用の既定の音声処理スキームを使用して最初に決定される。しかし、時間的に重なり合わない一連の矩形パルスを使用した刺激ではなく、同時の、またはアナログ的な刺激のパターンを生成するスキームを含む、別のスキームを利用してもよい。このアプローチの意図は、個々のユーザの特性を考慮することを含め、ユーザの知覚の総合音量が、同じ入力音声信号に対する聴覚正常聴取者の場合と同等になるように電気刺激を調整することである。このアプローチは、仮定聴覚正常聴取者によって知覚されるものと同一ではないが、正常な音量に対して所定の関係を有する総合音量を生じることが望ましい場合特に適切である。例えば、バックグラウンド騒音の影響を低減し、また音声の了解度を向上させるように、正常な範囲と比較して、インプラントを使用して知覚される音量レベルの範囲を圧縮することが望ましいこともある。また、このアプローチは聴覚正常者の音声知覚にとってもっとも重要であるとわかっている信号をさらに強調する信号を提供する。
【００１１】
また、本発明は、蝸牛インプラント・ユーザが知覚する信号の総合音量の制御を改善するだけでなく、インプラント・ユーザに提示される信号の相対音量、特に、音素のような音声信号の様々な成分の相対音量の制御をも改善するスキームを提供しようとする。これは、総合音量を制御するのではなく、周波数または蝸牛位置全体にわたる音量寄与の分配を制御するこのスキームの１つのバージョンを使用してなされる。この態様は以下さらに詳細に説明される。
【００１２】
上記のアプローチは、既存のインプラント及び処理装置と共に使用する場合も改善が可能である。しかし、ありうる刺激のためさらに多くの電極を提供し、さらに高い刺激レートを可能にし、多数の同時またはほぼ同時の刺激を提供し、時間的に連続した波形を使用する刺激（すなわちアナログ刺激）を提供する傾向が増大する中で、上記のアプローチは次第に重要になりつつある。刺激環境が次第に複雑になるに連れて、蝸牛インプラントによる刺激の完全な利益が確実に得られるように、ユーザが知覚する音量のような刺激の総合的な知覚効果を制御することはますます重要になっている。本発明は、さらに複雑なスキームが実現されるにつれて用途を増やすだろう。
【００１３】
〔詳細な説明〕
ここで、本発明の例示実施形態が添付の図面を参照して説明される。
本発明は、音声処理の個々のアプローチを参照して説明される。しかし、認識されるように、本発明は、特に多くの刺激が短い時間間隔に、かつ／または多数の電極位置に印加される場合、ユーザに提供される知覚が最適となる結果を提供する助けとなる付加物として、多くの異なった音声処理方法に適用できる。これに加えて、本発明の各態様は、既存の音声処理スキームの動作特性を向上させるため、単独または組み合わせて既存の処理スキームにも適用できる。
【００１４】
以下説明されるスキームは、上記で論じられた本発明の様々な態様を組み込んでいる。このスキームは多くの点で、コクレア社によって商業使用されるＳＰＥＡＫシステムと同様であるので、ＳＰＥＡＫの動作を理解することは本発明を理解する助けになる。また、このシステムの原理は、引用によって本出願の記載に援用する、米国特許第５，５９７，３８０号でも説明されている。
【００１５】
図１は、蝸牛インプラント用の通常の既存音声処理装置の主要構成要素を示す機能構成図である。便宜のため、ディジタル実現例を論じるが、認識されるように、音声処理装置のアナログ（またはアナログ／ディジタル結合）実現例も実行可能であって、本発明の領域から除外されるものではない。
【００１６】
図１では、マイクロホン１１からの入力は、前置増幅器段１２を介してアナログ・ディジタル変換器（ＡＤＣ）１３に伝えられる。スペクトル分析ブロック１４は一般に、高速フーリエ変換（その前にサンプル時間領域入力信号の適当なウィンドウ処理が置かれる）または帯域通過フィルタ列によって実現される。スペクトル分析ブロックの出力は、いくつかの離散的または部分的に重なり合う周波数帯中のレベルの一組の短期推定値である。ＳＰＥＡＫまたはＡＣＥ（ＡｄｖａｎｃｅｄＣｏｍｂｉｎａｔｉｏｎＥｎｃｏｄｅｒ（高度複合符号器）−一般にさらに高い刺激レートを使用するＳＰＥＡＫの派生物）といった既存の処理アルゴリズムの中には、分析帯域の一部だけからの振幅情報が次の処理段に伝えられるものもある。この一部の帯域には最高振幅を有する帯域が含まれる。ＣＩＳ（ＣｏｎｔｉｎｕｏｕｓＩｎｔｅｒｌｅａｖｅｄＳａｍｐｌｉｎｇ、連続インタリーブ・サンプリング）のような他のスキームでは、全ての帯域の振幅が使用される。しかし、ＣＩＳ処理装置が有する分析帯域は、通常ＳＰＥＡＫまたはＡＣＥ処理装置より少ない。次の処理ブロック１５は、入力スペクトルを表す振幅データを蝸牛インプラント・ユーザに適したレベルの電気パルスに変換する。いくつかのユーザ固有パラメータ１６が要求される。これには、分析帯域周波数を利用可能な蝸牛内電極位置に「マップ」するデータ、ユーザが検出可能なぎりぎりのレベルで各電極を刺激する電流レベル及び／またはパルス幅（「Ｔレベル」）、及びユーザにとって大きいが不快でないレベルで各電極を刺激する電流レベル及び／またはパルス幅（「Ｃレベル」）が含まれる。
【００１７】
振幅データは、各々非線形関数を含む一組の個別の参照テーブルによって、各電極に対する電流レベルに変換される（１５）。例えば、各電極について、最低振幅はＴレベルに近いレベルに変換され、最高振幅はＣレベルに近いレベルに変換される。次に、電極の選択と電流レベルのデータはディジタル符号化１７されて最終的に蝸牛インプラントに伝送１８され、聴覚ニューロンの望ましい刺激が生じる。
【００１８】
以下説明される本発明の実施例は、図１で説明されたシステムと同様のいくつかの処理を利用するが、新しい、より複雑な処理を含んでいる。また、想定されるように、本発明の態様は、個別または図１に示された実現例と組み合わせて適用できる。理解されるように、本発明は何らかの特定のハードウェア実現専用のものではなく、かつこの態様は、当業技術分野で周知の様々な適切な装置としては説明されない。
【００１９】
本発明では、先行技術の場合と同様、入力信号を分析して短期スペクトルを推定する。次にこのスペクトルを、周波数全体にわたる励振の分布を推定するか、または、正常聴覚を有する聴取者の耳で起こるように、蝸牛の場所全体にわたって同様の推定を行うリアルタイムのモデルによって処理する。こうした推定処理とモデルの一例を以下さらに詳細に説明する。正常聴覚における励振の公表されたモデルの中には、蝸牛を部分的に重なり合う帯域通過フィルタ列に基づく周波数分析器としてモデル化し、励振パターンをこうしたフィルタの出力から導出するものがある。本発明の実施例によれば、この推定励振パターンは個別音量関数（すなわち、各周波数帯域、または各蝸牛位置での励振が寄与する音量の大きさ）に変換される。次に個別音量関数を周波数または蝸牛位置全体にわたって積分し、正常聴覚によって知覚される信号の総合音量を推定する。
【００２０】
次に、聴覚正常者による音声知覚にとっての各周波数領域（例えば、各重要帯域）の相対的重要度に応じて、個別音量（または励振）関数を整形する。適正な整形は、音声了解度指数（ＳＩＩ）（明瞭度指数（ＡＩ）としても知られ、これは当業者に周知である）の根底をなす理論から導出される。次に重要帯域を最大−最小ＳＩＩ重み付き個別音量（または励振）の順序に並べ替える。このステップの目的は、電気刺激が生成される時、音声に関する多くの情報を含むと思われる入力信号の部分に優先順位が与えられるようにすることである。
【００２１】
別言すれば、音響チャネルは、単に絶対振幅によって重み付けされるのではなく、音声知覚における聴覚正常者にとっての重要度に応じて重み付けされる。従って、このアプローチは、電気的手段によって聴取するユーザにより良好な音声知覚を提供する一組の出力を提供する。刺激のために選択される電極が重み付け後の最大振幅を有するものとなるように、ＳＩＩ重要度関数に基づいて、チャネル選択処理で重み付き振幅が使用される。さらに、非重み付き音量関数を積分し、分析周期について（仮定の）聴覚正常者が知覚する音量の総合値を提供する。電気聴取ユーザに適用される刺激の組み合わせは、この値に近い音量を提供すべきであり、それによって聴覚正常者の知覚にできる限り近づき、ひいては電気聴取ユーザが知覚する話し声及び他の音声の知覚を改善する。
【００２２】
電気刺激に関するパラメータを計算するため、各重要帯域は個別に、かつ最大−最小の順序で処理される。
【００２３】
最大ＳＩＩ重み付き個別音量を有する第１の重要帯域が識別され、対応する個別音量（または励振）は、分析のより早い段階で（すなわち、ＳＩＩ重み付けが適用される前に）得られる。次に、電気刺激が構成されるが、これはインプラント・ユーザに同様の個別音量（または励振）を提供するはずのものである。処理スキーム全体が短期スペクトル「フレーム」に対して作用する場合、こうした刺激は各々、電極番号と刺激レベルという２つのパラメータだけで指定される。刺激レートは、ＳＰＥＡＫまたはＣＩＳの場合と同様に、処理のレートによって決定される。活性電極は、正常聴覚重要帯域周波数から電極位置への通常の「マップ」によって選択される。
【００２４】
しかし、刺激レベルの決定は、以前のスキームより複雑である。活性電極を選択し、電極が寄与すべき個別音量を決定した後、その個別音量をインプラント・ユーザに提供する適正な刺激レベルを決定する。次に、ユーザ固有のパラメータを含む、電気聴取ユーザに対する予想応答を決定するモデルを適用する。また、このモデルは、活性電極周囲の励振の広がりを推定する。これは、他の電極が現在動作していなくても、第１の活性電極の周囲の電極位置である程度の個別音量が存在しうるからである。さらに、刺激の総合音量を、個別音量関数の積分によって推定する。
【００２５】
フレーム内で起動される第２の電極を、最大から２番目のＳＩＩ重み付き個別音量を使用して決定し、次に、上記で説明されたように、正常聴覚の場合の対応する個別音量を得る。電極位置全体にわたる個別音量の分布を推定する関数を検査する。選択された電極に関連する個別音量が現在、その電極位置での寄与に必要な個別音量より小さい場合、適切な刺激レベルを生成し必要な個別音量を提供する。その電極位置ですでに十分な個別音量があるならば、第２の電極は起動しない。例えば、第１の活性電極からの励振の広がりによって、第２の電極を適正なレベルで起動すべき場合に第２の電極の寄与が完全にマスクされてしまうことがある。第２の電極を起動する場合、全ての電極位置にわたる励振の広がりと個別音量の分布を推定する関数を更新する。また、合計音量の推定値も更新する。
【００２６】
装用者にとっての総合音量が正常聴取の場合のモデルによる予測値に近づくか、活性電極の数がある限度に達するか、または何らかの他の条件が満たされるかの何れかの場合まで、前の３つの段落で概説した処理を繰り返す。ゼロ以外のＳＩＩ重み付き個別音量を有する全ての重要帯域を使用し終える前に終了の条件が満たされない場合、個別音量関数自体、または物理スペクトル中のレベルに基づいて電極選択を継続することができる。
音声了解度指数（ＳＩＩ）の根底をなす理論は、聴覚正常聴取者について十分に確立されている。上記で説明した目的のため、ＳＩＩ理論を適用して、入力スペクトル中の各周波数帯域の音声了解度に対する相対的重要度を予測する必要がある。重要度は、各帯域のレベルと周波数に依存する。短期スペクトル中に一定のレベル以下の周波数帯域があれば重要度関数をゼロに設定する。これは、電気刺激を生成するチャネルを選択する処理で優先順位を割り当てる際話し声を話し声以外の音声から区別する助けとなる。ある期間にわたって各スペクトル帯域で実際に得られるレベルの範囲に基づいて、その最小レベルを適応可能にするさらなる拡張がなされることもある。例えば、直前数秒間の短期スペクトル中に見られる最大レベルの３０ｄＢ下に最小レベルを設定してもよい。また、ＳＩＩ重要度を音声処理装置に適用するやり方に影響を与える話し声と話し声以外の分類器を利用してもよい。
【００２７】
蝸牛インプラントによる電気刺激用に、個別音量、総合音量、及び励振の同様のモデルが開発されている。この処理スキームは、以下記載の３つの主目的のどれを考慮するかに応じて１つかそれ以上のモデル出力を利用する。すなわち、この処理スキームの好適な実現は以下の３つの態様のうち１つかそれ以上を含んでいる。
【００２８】
（ａ）電気刺激用と正常聴覚用の音量のモデルを適用し、ユーザに印加される刺激の総合音量を制御し最適化する。この制御と最適化はリアルタイムで刺激のパラメータを調整することによってなされ、インプラント・ユーザの音量の知覚が正常聴覚の場合と同様であるか、または適正な所定の関係をもって正常聴覚の場合に対応することを保証する。
（ｂ）音量知覚のモデルを適用し、推定総合音量と共に、そこから得られる個別音量（または励振）の推定値を使用して、リアルタイムで刺激のパターンを調整し、インプラント・ユーザにおいて発生すると推定される個別音量（または励振）パターンを生じる。これは適正な所定の関係にある正常聴覚のパターンに対応する。
（ｃ）音響的に刺激された、正常聴覚の耳での末梢神経活動のモデルを適用し、蝸牛インプラントが生成すべき電気刺激の関連パターンを考案し適切に制御する。
【００２９】
〔モデル〕
正常聴覚用のいくつかの音量モデルが発表されている。そうしたモデルの１つが最近Ｍｏｏｒｅ及びＧｌａｓｂｅｒｇによって開発された（「聴神経科学（ＡｕｄｉｔｏｒｙＮｅｕｒｏｓｃｉｅｎｃｅ）」、第３巻、２８９−３１１１ページ、１９９７年、「オーディオ技術学会雑誌（ＪｏｕｒｎａｌｏｆｔｈｅＡｕｄｉｏＥｎｇｉｎｅｅｒｉｎｇＳｏｃｉｅｔｙ）」、第４５巻、第４号、２２４−２４０ページ、１９９７年）である。同様のモデルはそれより前にＺｗｉｃｋｅｒらによって開発されている。また、単純化されたバージョンがＩＳＯ推薦規格案５３２「音量レベルの計算方法（Ｍｅｔｈｏｄｆｏｒｃａｌｃｕｌａｔｉｎｇｌｏｕｄｎｅｓｓｌｅｖｅｌ）」で説明されている。これらの開示は、引用によって本出願の記載に援用する。
【００３０】
ここでは、拍動し、定電流で、非同時の刺激のある範囲の刺激パターンについての電気刺激の個別音量と、ひいては総音量とを予測するモデルを説明する。
【００３１】
このモデルは電極アレイに供給される各パルスのパラメータといった入力を受信する。一般に、こうしたパラメータには、パルス供給部位の位置（活性電極数）、電極構成（単極、双極、等）、パルス立ち上がり時間、パルス幅、パルスの位相間隔時間（パルスが２相の場合）、及び電流レベル（またはパルス中に含まれる総電荷）が含まれる。また、このモデルは、各分析フレーム内で生成される全てのパルスの組み合わせについて結合された上記のパラメータを受け取ることもある。例えば、ＳＰＥＡＫ及びＡＣＥのような音声処理スキームでは、帯域通過フィルタの出力を走査する毎に、または短期スペクトル分析毎に、一組のパラメータが得られる。前に概説したように、各走査結果によって、作動させる電極が選択される。
【００３２】
生成すべき刺激の物理パラメータを指定する上記の値を使用して、このモデルは総音量に対する各パルスの寄与を推定する。利用可能な蝸牛部位全体にわたる寄与のパターンを、（上記で概説したような）正常聴覚による知覚のモデルで導出される個別音量関数との類推から、個別音量関数と呼ぶ。
【００３３】
このモデルのこの態様は、電気聴覚の周知の心理物理学的特性に基づいている。例えば、以下の通りである。
【００３４】
刺激の蝸牛位置（すなわち、電流パルスが供給される電極）と刺激レートが一定に保持されている場合、電流またはパルス幅を増大すると音量が増大する。音量と電流（及び／またはパルス幅）との関係はほぼ、べき関数または指数関数であると考えられる（電流とパルス幅の積がパルス毎の電荷であり、パルスの立ち上がり時間は刺激レートが一定の場合周期的であることに注意されたい。このため、このモデルでは、電流レベル及び／またはパルス幅の代わりに総電荷を使用してもよく、パルス立ち上がり時間の代わりにレートを使用してもよい）。
【００３５】
刺激レートを増大すると（すなわち、パルス立ち上がり時間の時間間隔を短縮すると）、音量が増大するが、これは一般に音量レベルが低いほど効果が大きい。
【００３６】
活性電極間の空間間隔を増大すると音量が変わることがある。
【００３７】
上記の作用（及び他の作用）は互いに大幅な相互作用を有することが知られているので、各パルスの音量寄与を正確に推定するためには、このモデルはある有限の範囲の時間にわたるパルスの全ての物理パラメータを必要とするかもしれない。
【００３８】
また、このモデルは、全ての利用可能な電極での様々なレート及び（１つまたはいくつかの分析周期内、通常合計約２〜２０ｍｓ以内といった）短時間内に活性化され空間的に間隔が置かれた電極の様々の数について、しきい値レベル（Ｔレベル）及び最大快適レベル（Ｃレベル）及び／またはしきい値を超える推定音量といったユーザ固有パラメータをも考慮する。測定されたパラメータ値を、動作のために必要な値の全範囲に拡張する内挿及び外挿を使用するモデルの場合、各インプラント・ユーザについて測定する必要があるのはこうしたパラメータの一部だけということもありうる。また、このモデルのパラメータの中には個々のインプラント・ユーザ間であまり変わらないものもあり、こうしたパラメータの場合、個別に測定した値でなく平均値を、モデルにおいて使用してもよい場合もありえる。こうした条件によって、このモデルは各インプラント・ユーザにとってさらに容易に適用可能なものとなる。
【００３９】
動作中、このモデルは、適当な時間間隔（例えば、１０ｍｓ、または分析周期）にわたって供給されるパルスの個別音量寄与を積分（または平均）する。この積分は好適には時間的に重ねられる（例えば、５ｍｓ毎に１０ｍｓの平均を計算する、等）。全ての活性電極にわたる個別音量寄与を積分することによって、このモデルはインプラント・ユーザが知覚する推定総合音量を頻繁に更新する。この推定値には、電極アレイに供給される最近のパルスの効果だけでなく、そのパルスを中心とする短期ウィンドウ内に供給される他のパルスの（減衰する）効果も含まれる。
【００４０】
要約すると、ある範囲の刺激パターンに関する電気刺激について、個別音量と、ひいては総音量とを予測するこのモデルは、本質的に、（１）心理物理学的な電気マスキングの研究の結果から導出される、電気刺激から得られる励振の空間的広がりの推定、（２）（刺激レートの効果を含む）時間的相互作用の効果の推定、これは心理物理学的研究からも得られる、及び（３）多数の電極に供給される多数のパルスによる刺激に対する音量加算の推定、という３つの側面を有する。現在の処理スキームにおけるこうした効果の推定を提供することによって、音量加算は、提示される刺激パターンに基づいて自動的に考慮される。それと対照的に、先行技術の典型的な音声処理スキームは、他の電極に供給されるパルスまたはパルスの前後の短い時間内に発生するパルスの効果を考慮することなく、いくつかの周波数帯域各々の音声強度の推定を選択された電極での刺激の対応するレベルに変換する。本発明では、電極によって供給される電気刺激の実際のパターンについて時間的及び／または空間的な音量加算効果を明示的に考慮するので、インプラント・ユーザにとって、話し声及び他の音声のより良好な了解度が得られ聴取時の快適さが改善される。
【００４１】
何人かのインプラント・ユーザから得られる測定から得られる平均心理物理学的データに基づく規則を使用して音量加算の補償を適用してもよいし、また、個々のインプラント・ユーザに合わせて標準規則を修正してもよい。高音量レベルについて加算の量のユーザ固有の推定を得る簡単な方法は、各個別電極について従来の方法でＣレベルを得た後、１以上の選択された複合的な（すなわち多数電極の）刺激についてＣレベルを得ることである。様々な刺激レートについて、聴取しきい値（Ｔレベル）及び／または（Ｃレベルのような）しきい値を超える音量を生じるレベルを測定することによって音量加算の時間効果を推定してもよい。同様に、異なった蝸牛位置で作動する電極の選択された組み合わせについてしきい値レベル及び／またはしきい値を超える音量を生じるレベルを測定することによって、音量加算の空間効果を推定してもよい。
【００４２】
図２は、図１の通常の先行技術音声処理装置を修正して本発明の処理スキームの簡単なバージョンを実現したものを示す機能構成図である。新しい処理ブロックには正常聴覚用の音量推定器１９と電気聴覚用の音量推定器２０とが含まれる。正常聴覚用の音量推定器は、Ｍｏｏｒｅ及びＧｌａｓｂｅｒｇによって以前に言及されたような周知の数値モデルに基づいている。これを使用して、正常聴覚を有する仮定聴取者についての各短期入力スペクトルの音量の推定値を生成する。同様に、電気聴覚用の音量推定器は、上記で論じられたように、蝸牛インプラントのユーザにとっての音量を推定する新しいモデルに基づいており、個々のインプラント装用聴取者についての各短期出力パルス・パターンの音量の推定値を生成する。
【００４３】
周知のように、電気刺激の物理パラメータと、インプラント・ユーザが知覚する音量との間の関係は、インプラント・ユーザ間で大きく異なっているので、このモデルではユーザ固有パラメータ２２が必要になる。２つの音量推定器１９、２０は、周期的または連続的に更新される出力を生じる。これらの推定音量を比較し（２１）、電気刺激の音量を、対応する音響入力信号の音量に等化することを目的とした訂正信号が生成される（２３）。電気刺激を指定する一組の初期パラメータを、先行技術の場合と同様の、前に概説した処理を使用して計算する。本発明の方法はこうしたパラメータを絶えず修正して、インプラント・ユーザの総合音量の知覚が、同じ入力信号を聴取する正常聴覚を有する仮定聴取者のものに近づくようにする。例えば、一定の比率によってかまたは、各刺激が供給される電極のダイナミックレンジ（Ｃ及びＴレベルの差）に比例して刺激の電流及び／またはパルス幅を変更することによって、総合音量を調整してもよい。
【００４４】
図３は、本発明の処理スキームのさらに複雑なバージョンを例示する構成図である。このバージョンでは、既存の音声処理装置の、音響振幅を電流レベルに変換する従来の処理が、モデルに基づく処理に置き換えられている。従って、音量モデルは上記で説明されたものより複雑なものになりうる。正常聴取の場合のＭｏｏｒｅ及びＧｌａｓｂｅｒｇの音量モデル２９は、いくつかの周波数帯域各々の信号によってなされる総合音量への寄与を表す出力を生じる。上記で言及したように、これを個別音量関数と呼ぶ。また、このモデルは、周知の音響心理学的特性によって活動量（ａｃｔｉｖｉｔｙ）を蝸牛全体に分配する仕方を表す励振パターンと呼ばれる出力を生じる。本発明の音声処理スキームでは、個別音量関数か、励振パターンか、または正常聴取の場合のモデルの他の適当な出力を使用すればよい。電気聴取の場合の音量モデル３０は、所与のパターンの電気刺激の結果生じる個別音量または励振を表す出力を生じるよう同様に拡張される。より簡単なスキーム（図２）と同様、このモデルではユーザ固有パラメータ３２が必要である。本発明のスキームでは、蝸牛インプラントによって生成される電気刺激のパラメータをリアルタイムで計算し、電気刺激された蝸牛における個別音量または励振が、同じ入力信号を聴取する時、正常聴覚を有する仮定ユーザで発生する個別音量または励振と同様になるようにする。上記で説明されたより簡単なスキームと同じく、総合音量も同様となる。しかし、図３のより複雑なスキームは、正常聴取のモデルによって、各音響周波数領域について推定される対応する寄与に応じて、各パルスが適正な量の音量または励振に寄与するように、インプラント２５によって生成される各電気パルスのパラメータを指定するという利点を有する。図２のより簡単なスキームでは、各パルスのパラメータを独立して調整することなく、総合音量レベルのみが制御されていた。
【００４５】
蝸牛インプラント用リアルタイム音声処理装置で使用するのに適した、電気刺激の個別推定音量を生じるモデルの単純化したバージョンを以下説明する。この単純化は、多くの既存インプラント・ユーザにおけるパルス刺激の現実的なパターンに適用可能なことが示された２つの仮定に依存する。その仮定とは、（１）パルスの供給部位間の空間的分離の音量の加算に対する影響は無視できるほど小さい、及び（２）ある刺激周期に関連する総音量を推定する場合、その刺激周期内に提示される各パルスの音量寄与は個別に処理できる、というものである。こうした仮定は、例えば、ある電極のパルス・レートを２倍にすると、２倍のレートの刺激の総合音量を第１の刺激の音量に等化する場合、（第１の刺激におけるパルス毎の音量寄与に対して）音量への各パルスの寄与は約半分になるということを意味する。その上、同様の関係はパルスが空間的に離れた電極に分配される時にも保持される。すなわち、心理物理学的手順を使用して、パルス・レート及び／または電極位置の異なるいくつかの刺激の音量を均衡させることによって、音量と（例えば）電流レベルとの間の近似的な数学的関係を構成することができる。例えば、この関係の周知の形式は、
ｌｏｇ（Ｌ）＝（Ｋ₁×Ｃ）＋（Ｋ₂×ｅｘｐ（（Ｃ−Ｋ₃）／Ｋ₄））＋Ｋ₅
であるが、ここでＬは音量であり、Ｃは（対数関数に近似する一定の非線形関数を介して電極電流に関連する、コクレア社が製造する先行技術インプラント装置で使用される段階的単位で指定される）電流レベルであり、Ｋは実験的に決定される定数である。
【００４６】
図３の本発明の音声処理スキームでは、電気刺激を生成するブロック２５は上記の関数に基づいて参照テーブルを利用し、正常聴覚用のモデル２９から得た個別推定音量を、装用された刺激装置に供給するのに適した電流レベル・データ１７、１８に変換する。先行技術で利用されるのと同様の方法で、蝸牛の周波数部位局在機構に応じて利用可能な電極を周波数帯域に割り当てる。一定レートのパルス刺激を使用して、各周波数帯域についての正常個別推定音量を各対応する電極位置で要求される個別音量寄与に変換し、次にそれらの電極に供給されるパルスの電流レベルをそれらの電極に割り当てられた参照テーブルから決定する。インプラント・ユーザが知覚する総音量を、全ての利用可能な電極位置にわたる個別音量寄与を加算することによって推定する。
【００４７】
電気刺激の総音量は、個々のインプラント・ユーザにとって安全で許容できるレベルに制限すればよい。この制限は、推定総音量をインプラント・ユーザが快適だと判断する最大音量と比較することによって行えばよい。推定総音量が常に最大許容音量を超える場合、総音量が許容可能になるまで（刺激の電流レベルを低下させることによって）各活性電極に割り当てられた個別音量寄与を同じ比率で低下させればよい。知覚効果を改善するため、この制限関数に時定数を適用してもよい。例えば、限度を超える場合音量を急速に低下させるため短い動作開始時間（例えば５ｍｓ）を適用し、音量がすでに限度を超えていない場合はその元のレベルまで比較的ゆっくりと増大するように長い復旧時間（例えば５０ms）を適用してもよい。こうした制限技術は従来の補聴器で利用されるものと同様であり、当業者に周知である。
【００４８】
本発明の音声処理スキームで利用されうる代替モデルは、個別音量パターンの代わり、またはその追加として、汎用電気励振関数を推定する。このモデルでは、電気励振関数、Ｅ（ｐ，ｔ，ａ）は、蝸牛内の位置（ｐ）、時間（ｔ）、及び刺激振幅（ａ、これはパルス毎の電荷、電流レベル、及び／または位相持続時間によって表してもよい）の非線形関数として電気刺激の物理パラメータから計算される。Ｅはある時間と場所における神経活動の総量に関連すると仮定される。単一電極のパルス列によって生成される局所的な電気刺激の場合、刺激の知覚される音量、Ｌ（ｐ，ａ）は、一定の時間間隔Ｔにわたって積分される、刺激によって生成される電気励振の次式のような非線形単調関数Ｆである。
【数１】

【００４９】
局所的な蝸牛位置では、２以上の（非同時）成分を有する電気刺激によって生成される総電気励振は、個別成分によって生成される励振の合計に等しい。同時、ほぼ同時、または重なり合う電流の場合、非線形変換を励振に適用する前に電流の重み付き加算の計算が必要なことがある。パルスが電極に順次供給される従来のパルス電気刺激の場合、非線形変換の１つの適切な形態は、経時的な指数的減衰である。音声処理装置では、既存の電気励振パターンを連続的に変換し各追加電気パルスが寄与する励振パターンを追加することによって、電気励振パターンを反復的に推定すればよい。個々のパルスが寄与する励振は、そのパルスが電極によって供給された位置から空間的に離れた蝸牛位置での電気励振パターンに影響することもあることに注意されたい。（入力音声信号の実行時分析から計算される）音声処理スキームが要求する瞬間パターンから既存の電気励振パターンを減算することによって、本発明のスキームは、インプラントが供給する電気刺激の最適なパラメータを決定することができる。例えば、望ましい電気励振パターンと推定される既存の電気励振パターンとの間の差を最小化するように、位置（すなわち、選択される電極）と電流レベルを計算してもよい。電気刺激のパラメータを決定するこのアプローチの１つの利点は、電極が供給するパルスが増大し、時間及び空間両方の次元で望ましい励振パターンの精度が改善されることである。例えば、入力信号の急速な変化に関する、より詳細な情報を提供するため、１つの電極位置への短い時間間隔内の多数パルスを提示することが有益なことがある。すなわち、先行技術と比較して、本発明のスキームは、比較的微細なスケールで、刺激の空間的・時間的パラメータを制御することにより、音響信号の詳細な側面について、提供する追加情報をインプラント・ユーザに供給する可能性を有する。
【００５０】
本発明の音声処理スキーム及びその変形の上記の説明では、インプラント・ユーザが知覚する総音量（及び／または個別音量または励振パターン）が、正常聴覚を有する仮定聴取者が知覚する総音量（及び／または個別音量または励振パターン）と同様になるようにすることが１つの目的であると一般に仮定したことに注意されたい。しかし、認識されるように、インプラント・ユーザが知覚する音量と、正常聴覚によって知覚される音量との間の代替的関係が可能であり、それは本発明から除外されない。例えば、話し声の了解度を最大化しまたバックグラウンド騒音の音量を最小化するように、平均によるかまたはリアルタイムで適応的に、インプラント・ユーザの個別音量パターンを調整するのが望ましいこともある。こうした調整では、インプラント・ユーザの場合の推定総音量を正常聴取推定音量から導出された範囲内に保持し、または２つのモデルの推定総音量の間の関係が、圧縮または拡張関係のような所定の関数に従うことかが必要とされうる。
【００５１】
認識されるように、開示される本発明の一般的な概念の範囲内で変形や追加が可能である。
【図面の簡単な説明】
【図１】先行技術の装置の構成図である。
【図２】第１の実施例の構成図である。
【図３】第２の実施例の構成図である。

Claims

聴覚人工器官のための電気刺激を生成するため音声信号を処理する方法であって、
入力信号を受信するステップと、
所定のサンプル周期内の音声信号の様々な周波数成分内の振幅を決定するステップと、
前記人工器官で印加される一組の刺激を決定する際、使用される一組の振幅値を出力するステップと、
前記人工器官によって印加される一組の刺激を決定するステップと、を含み、
前記一組の振幅値をさらに処理して、聴覚正常聴取者が知覚する音響総合音量の値を決定し、前記一組の刺激を処理して、前記一組の刺激が印加された場合に電気聴覚ユーザが知覚する知覚総合音量を決定し、前記音響総合音量と前記知覚総合音量とが所定の関係を満たさない場合には、前記一組の刺激を修正することを特徴とし、かつ、
前記人工器官は、離散的刺激周期で供給される前記刺激を供給する多数の電極を有する電極アレイを含み、
電気聴覚聴取者によって知覚される知覚総合音量は、前記刺激を供給するために選択される電極間の空間的分離が知覚総合音量に対する大きな影響を有さないことを仮定するモデルによって決定され、
知覚総合音量を推定する時各パルスの音量寄与は個別に処理可能である、
方法。
正常聴取者の音声知覚における前記各振幅値の重要度に基づいて、前記モデルを反映した前記振幅値に対する重み付けを行う、
請求項１に記載の方法。
蝸牛内インプラントのための電気刺激を生成するため音声信号を処理する方法であって、
前記インプラントは、蝸牛内に刺激を供給する多数の電極を有する電極アレイを含み、
前記方法は、
（ａ）入力信号を受信するステップと、
（ｂ）所定のサンプル周期内の信号の様々な周波数成分内の振幅値を決定するステップと、
（ｃ）前記人工器官で適用される一組の刺激を決定する際使用される一組の振幅値を出力するステップと、
（ｄ）前記人工器官によって印加される一組の刺激を決定するステップと、
（ｅ）聴覚正常者の蝸牛内の推定理想電気励振パターンを電極位置または周波数成分と時間との関数として計算するモデルに基づいて、周波数成分内の前記振幅値を処理するステップと、
（ｆ）前記理想電気励振パターンを、各電極位置または周波数成分の音量についての値を含む個別音量関数に変換するステップと、
（ｇ）前記個別音量関数に基づき、刺激周期内のどの電極を刺激するかを決定するステップと、を含み、
さらに、
（ｈ）聴覚正常聴取者によって知覚される前記入力信号の推定総合音量を決定するため、全ての電極位置または周波数成分にわたって前記個別音量関数を積分するステップと、
（ｉ）最大個別音量を有する周波数成分に対応する第１の電極位置から始めてステップ（ｇ）を反復的に実行し、電気聴覚応答のモデルに応じて前記第１の電極によって供給される刺激の振幅を決定するステップであって、前記刺激は、第１の電極について決定された個別音量値に最良近似することを目的とするステップと、
（ｊ）前記第１の電極位置について決定された刺激を使用して前記モデルを更新するステップと、
（ｋ）電気聴覚応答の前記モデルによって決定される前記刺激の前記総合電気音量を、前記推定総合音量と固有の関係を有する最大値と比較して、前記総合音量が前記固有の関係のための所要量より小さい場合には、電気聴覚応答の前記モデルに応じて、第２の電極によって供給される刺激の振幅を決定することによって、第２の最大個別音量を有する周波数成分について説明された処理を繰り返すステップであって、前記刺激が前記第２の電極について決定された個別音量値に最良近似することを目的とするステップと、
（ｌ）前記第１及び第２の電極位置について決定された刺激を使用して前記モデルを更新するステップと、
（ｍ）電気聴覚応答の前記モデルによって決定された前記刺激の総合電気音量を決定して、前記総合電気音量値が前記最大値より大きい場合には、前記総合電気音量値が前記最大値より小さいかまたはそれに等しくなるように、前記第２の電極によって供給される刺激の振幅を低減するか、または、
前記総合電気音量値が前記最大値より小さい場合には、前記最大値が満たされるかまたは他の基準によって処理が終了されるかの何れかの時点まで、各連続刺激について更新されるモデルを使用してステップ（ｋ）〜（ｍ）を繰り返すステップと、
を含む方法。
ステップ（ｆ）の後、重み付き個別音量関数を提供するように、個別音量関数の値が音声知覚に対する相対的重要度によって重み付けされ、どの電極位置が最大個別音量を有するかを決定するため、周波数成分における個別音量関数の相対値がステップ（ｉ）で使用される請求項３に記載の方法。
最小しきい値以下の振幅が重み付けされないように、最小しきい値が各周波数成分内の振幅に適用される請求項４に記載の方法。
前記しきい値が前の周期の振幅に関連して動的に設定される請求項５に記載の方法。
聴覚人工器官により続いて提供される電気刺激を生成するために音声信号を処理するのに適合した音声処理装置であって、
所定のサンプル周期内のスペクトル分析ブロックに入力される信号の様々な周波数成分内の振幅値を決定し、前記人工器官で印加される一組の刺激を決定する際、使用される一組の振幅値を出力するのに適合したスペクトル分析ブロックと、
前記一組の振幅値をさらに処理して、聴覚正常聴取者によって知覚される音響総合音量の値を決定する音量処理装置と、
総合音響音量と、決定された一組の刺激を処理することにより得られた知覚総合音量とを比較する比較器と、
前記総合音響音量と知覚総合音量とが所定の関係を満たさない場合に印加される前記一組の刺激を修正する修正器と、
前記聴覚人工器官に提供すべき一組の刺激を決定する振幅処理装置と、
を有し
前記聴覚人工器官は、前記刺激を提供するための複数の電極を有する電極アレイを備え、
前記刺激は離散的刺激周期で供給され、
前記振幅処理装置は、さらに、前記刺激を供給するために選択される電極間の空間的分離が知覚総合音量に対する大きな影響を有さないこと、及び、知覚総合音量を推定する時各パルスの音量寄与は個別に処理可能であること、を仮定するモデルに基づいて、電気聴覚聴取者によって知覚される知覚総合音量を決定するよう構成されている、
音声処理装置。
請求項１〜請求項６の何れか１つに記載の方法を行うのに適合した、請求項７に記載の音声処理装置。
聴覚人工器官により続いて提供される電気刺激を生成するために音声信号を処理するのに適合した聴覚人工器官であって、
所定のサンプル周期内のスペクトル分析ブロックに入力される信号の様々な周波数成分内の振幅値を決定し、前記人工器官で印加される一組の刺激を決定する際、使用される一組の振幅値を出力するのに適合したスペクトル分析ブロックと、
前記一組の振幅値をさらに処理して、聴覚正常聴取者によって知覚される音響総合音量の値を決定する音量処理装置と、
総合音響音量と、決定された一組の刺激を処理することにより得られた知覚総合音量とを比較する比較器と、
前記総合音響音量と知覚総合音量とが所定の関係を満たさない場合に印加される前記一組の刺激を修正する修正器と、
前記聴覚人工器官に提供すべき一組の刺激を決定する振幅処理装置と、
を有し、
前記聴覚人工器官は、前記刺激を提供するための複数の電極を有する電極アレイを備え、
前記刺激は離散的刺激周期で供給され、
前記振幅処理装置は、さらに、前記刺激を供給するために選択される電極間の空間的分離が知覚総合音量に対する大きな影響を有さないこと、及び、知覚総合音量を推定する時各パルスの音量寄与は個別に処理可能であること、を仮定するモデルに基づいて、電気聴覚聴取者によって知覚される知覚総合音量を決定するよう構成されている、
聴覚人工器官。
請求項１〜請求項６の何れか１つに記載の方法を行うのに適合した、請求項９に記
載の聴覚人工器官。