JP4767316B2 - 音声信号を分析する装置、方法、およびコンピュータ・プログラム - Google Patents

Description

本発明は、一般的に音声信号の分析表示をするために音声信号を分析する装置、方法、およびコンピュータ・プログラムに関し、特に並行ハフ変換を用いて蝸牛における進行波を検波する装置、方法、およびコンピュータ・プログラムに関する。

人間の音声器官の分析およびモデリングは、長い間、音声信号の認識・分類および医療技術の主要分野を形成してきた。それに関して、特に人間の耳の構成については長い間研究されてきている。本発明の理解を促すために、聴覚の原理について基本的な成果を下記に何点か示す。

生理学：聴覚末梢および中枢聴覚
人間の聴覚末梢の生理学的環境は、一方ではこれまで十分に研究されてきており、複数の科学文書で調べることができる。したがって、ここでは後述の説明をさらに理解するために主要な基本的事実のみを示す。

人間の音声処理末梢器官（図２０参照）は、外耳、中耳、内耳で構成されている。耳道を通して、音は鼓膜に到達し、耳小骨を経由し中耳内に伝えられる。内耳において次の段階では機械的振動から神経系の神経活動電位への周波数依存性変換が行われ、これが連結した聴覚神経線維に伝えられる。

外耳
外耳は到来音波を鼓膜に伝える漏斗状器官を形成する。耳介、耳管、および頭蓋骨と肩の形状が音声信号を変更する。

耳管（耳介を含む）は一方端で開放し、他方端で閉鎖しているので、身体的にはほぼ半開の管と考えられる。したがって、共鳴の場合、つまり、音の４分の１波長が有効な耳管の長さと一致する場合、音圧レベルのゲインが認められる。

最大約２，５００Hzの共鳴において、増幅は最大で２０dＢである。第２共鳴（「耳甲介腔共鳴」）は耳介のみによって２０００Hzから２５００Hzの間で起きる。

音の到来する方向により、いわゆる「方向を決定する周波数帯」による外耳の形状のために、各狭周波数範囲はそれぞれ増幅されるか、または低減される。これにより、ある程度までは、両耳の時間および強度差が無くても特に垂直面（正中矢状面）で、到来する音の定位も可能である。

前記現象は、図２１に図示されているように、外耳の伝達関数（あるいは「頭部伝達関数」HRTF）により要約できる。

中耳
中耳（MO）の主な役割は、内耳内にある空気および液体の音響特性インピーダンスを適合させることにある。もし、音響伝達の場合のように、この機能が欠けている場合、到来する音響エネルギーの最大９８％の聴覚障害が引き起こされる。健全な中耳の場合、信号強度の約６０％を内耳に伝えることができる。これに必要な音圧の増幅は、鼓膜、３点の小骨（槌骨、砧骨、鐙骨）、および内耳への接触位置である前庭窓が結合して揃うことにより、可能となる。（図２２参照）

異なる３つのメカニズムが、このインピーダンス変換を担当する。
１． 鼓膜Ａ_Tと鐙骨敷板Ａ_Sの面積比：

２． 槌骨１_Hと砧骨１_Aのレバーアーム比率

３． 鼓膜の曲率と槌骨の非対称吊り下げによるレバーアーム

全体の増幅は以下のように計算される。

ここで、p_T：鼓膜における音圧である。

中耳の伝達関数の重要性は注目すべきであり、広域の通過帯域を有する帯域通過フィルタのような働きをする。低周波数域では、これは鼓膜と前庭窓の機械特性によって限定される。高周波領域では、慣性モーメントと摩擦、そして小骨の曲げ損失が伝送を限定する。中耳伝達関数の経過を聴覚閾値の経過と比較した場合（図２３参照）、聴覚感度曲線は、主に中耳と外耳の機械特性によって決定されるということがわかる。

更なる役割は中耳の筋肉によって実行される（鼓膜張筋および鐙骨筋、図２０参照）。反射収縮により、中耳剛性を増加することができ、したがって、低周波の減衰を達成できる。その結果は、高水準に関する限定保護と自ら発生する音の知覚減少である。

内耳
内耳は二部構成である。前庭器官は平衡システムの構成要素を代表する一方、蝸牛の構成は聴覚末梢の最終部分を形成する（図２２参照）。解剖学的には、蝸牛は２回半巻いているカタツムリの殻と同じであり、蝸牛仕切構造により、外リンパ液を含む「前庭階」（SV）と「鼓室階」（ST）の２室に分けられる（図２２参照）。

渦巻管の動作もまた、２つのセクションで説明される。流体力学部は、巻きの内部のマクロおよび、マイクロ機械特性で決定される。入力信号を神経表現に変換するための実際の機能ユニットは、蝸牛仕切構造内に位置する。前庭階は、前庭窓（ＯＷ）を介して、中耳に接続している。前庭階は、鐙骨の動きと共に振動するため、非圧縮性リンパ液を強制的に回避させる。そして、回避運動は、蝸牛仕切構造に伝えられ、進行波を蝸牛孔（ＨＣ）、蝸牛スパイクの方向に形成する。その拡張部に沿って継続的に変化する機械特性（マス・カバー、剛性、幅など）のため、仕切構造は、特定の場所で周波数依存共鳴を形成する。この局所音の周波数選択性は、立地理論とも呼ばれる。

最大波振幅の位置は、仕切上の固有振動数と関係していてもよく、前庭窓（基底膜の基端）における高周波から蝸牛孔（それぞれ、基底膜の端または頂点）における低周波まで連続的に到達する。この分散特性を経て、入って来る音声信号の周波数内容は、ある程度まで分割することができる。

この機能は、蝸牛分割壁（図２４参照）の特性で支持されている。これは、ライスナー膜（ＲＭ）によって、前庭階に向いて閉じている。鼓室階に対する接触面は、長手方向の上部に３列の外有毛細胞および１列の内有毛細胞が位置する搭載コルチ器官（ＣＯ）を含む基底膜（ＢＭ）から成る。これらの有毛細胞は、再び被蓋膜（ＴＭ）によって覆われている。

中間の領域に、中央階の内リンパ液が位置している。蝸牛仕切構造が移動する場合、被蓋膜およびコルチ器官は有毛細胞上に位置する感覚毛の偏位につながる相対的な運動を始める。しかし、これは直接接触によっても部分的に起こり、流体力学的結合によっても部分的に起きる。外有毛細胞は、現在、仕切構造振動に応じて非常に急速に、短くなるか、または長くなる能力を有する。これは、進行波振幅のうちの最高１０００までの増幅につながり、急激で明瞭な振動最大を提供する。

外有毛細胞の感覚毛のように、内有毛細胞の感覚毛も、被蓋膜およびコルチ器官の相対的な動きによって偏位する。測定された蝸牛の三次元運動は、複雑であり、例えばＺｅｎｎｅｒおよびＧｕｍｍｅｒｔによりウルム大学で究明された。この動向の結果、生化学プロセスが始まり、機械的運動の神経系活動電位（図２５参照）への変換の動機となった。

静止状態において、内有毛細胞は、約−４０ｍＶの静止膜電位および低いカリウム濃度を有する。しかし、中央階の周囲の液体は、極めて高い割合のカリウム・イオンを含み、プラスに帯電している。一方向への感覚毛の偏位があると、いわゆる変換イオンチャネルが開く。そして、それによって、有毛細胞への正帯電カリウム・イオンの流入が等電位化のため起こる。反対方向への感覚毛の偏位はそれらのチャンネルを閉じ、そして、基底横方向の細胞膜へのイオン化合物によって、本来の電位を回復することができる。チャンネルが開いている場合、交換センサ電位によって求心性伝達物質の放出がさらに生じる。

同じことは、聴神経の方向に、シナプス間隙を通じて広まる。シナプス間隙の伝達物質濃度に応じて、神経活動電位（ＮＡＰ）を起こす確率は高くなる。

ちょうど約５０００Ｈｚの周波数まで、伝達物質の放出は、感覚毛の偏位後に、同時に起こる。したがって、線形周波数伝達は時間符号化を経て発生することができ、「位相固定」という用語で文献にまとめられている。

更に、図２６も参照する。同図では再び聴覚末梢系の構造が示されている。ここで図２６は、鼓膜および中耳から蝸牛までを経たノイズの、転換または伝達を示している。ここで蝸牛は、入って来るノイズのスペクトル分析および神経インパルスへの振動の転換を可能にする。蝸牛は神経インパルス（活動電位）を生成している神経細胞を更に備え、神経インパルスは脳に聴神経を経て伝えられる。

図２７は、人間の耳における信号伝達の仕組みを図式的な形式で再び示している。蝸牛３２１０が異なる場所で異なる周波数を認識することが、図２７からわかる（立地論）。例えば、高周波（例えば２０ｋＨｚの周波数）は、蝸牛の入り口で神経信号に変換され、一方、低周波（例えば２０Ｈｚの周波数）は蝸牛の出口で神経信号に変換される。これによって、蝸牛で、ノイズまたは音声信号の両方のスペクトル分析を生じさせることができ、所定周波数に対して、それぞれの周波数の認知に最も適するようにそれらの神経細胞は最も刺激される。

図２８は、聴覚器官の機構を示しており、基底膜の形状について参照している。ここで図解図３３１０は、基底膜３３２０の幅が蝸牛の基端から蝸牛の終端（頂点）に向かって１０倍に増加することを示す。

更に、図解図３３２０は、前庭窓３３３０を介した蝸牛への音響波の結合を示す。前庭窓３３３０を介した結合は、蝸牛の基端３３４０から蝸牛の頂点３３５０まで進行する進行波を蝸牛内に発生させ、蝸牛の基底膜３３６０を偏位させる。蝸牛の基端３３４０により近く位置する神経細胞が、蝸牛の基端３３４０からより遠くに位置する神経細胞より早く刺激されていることに、ここで注意されたい。言い換えると、時間を関数とした進行波の位置は、進行波のトラジェクトリと考えてよい。もちろんトラジェクトリを別々の神経細胞に図示することもでき、そのため、トラジェクトリはまたいくつかの空間的に分離された神経細胞がどの時間系列において進行波に刺激されるかについて説明している。

図２９は、典型的な電気交替モデルを示し、このモデルにより、内有毛細胞の刺激までの蝸牛を通じた音波の伝達をモデル化することができる。図示されたモデルは、「拡張ツウィッカーモデル」として公知である。そのモデルは、例えば内耳の流体力学および外有毛細胞の非線形フィードバックについて説明している。しかし、図示されたモデルは内有毛細胞の刺激を評価する多くの考えられるモデルのうちの１つにすぎないことを注記しておく。

図３０は、概略的な図でコルチ器官を説明し、図３１は２種類の異なる有毛細胞の機能を説明している。

図３２は、２つの有毛細胞の詳細な概略図を示す。図３２の概略図は、全体として３７００により表わされる。図解図３７００を参照して、ここでは、理解しやすくするために、内有毛細胞内での化学プロセスについて簡潔に概説する。

有毛細胞３７１０は、微細毛の形状を有する複数の不動毛３７２０を備えている。不動毛の刺激または偏位はそれぞれ、細胞膜へ透過率または伝導率を変化させ、その結果、正帯電したカリウム・イオン３７３０は有毛細胞に入ることができる。このことにより、有毛細胞の細胞内電位は変化し、しばしばＶ（ｔ）によって表わされる。細胞内有毛細胞電位Ｖ（ｔ）に応じて、カルシウムイオン３７４０の濃度が増加するように、正帯電したカルシウムイオン３７４０は細胞に入ることができる。それから、カルシウムイオンが作用して、有毛細胞３７１０と神経線維３７７０との間のシナプス間隙３７６０へ神経伝達物質分子３７５０が放出される。神経伝達物質分子３７５０の放出は、一般的に、数千もの分子の小胞において量子化されて行われる。

次に、シナプス間隙３７６０内の神経伝達物質の濃度は、シナプス間隙３７６０の電位を変える。シナプス間隙３７６０の電位が特定の閾値を越える場合、最終的に、神経線維３７７０の活動電位が発生する。

最後に明確な説明をするために、図３３は、人間の蝸牛の感覚点における複数の有毛細胞の配置を示す。図３３の図から、１つの独立した有毛細胞が一般的に複数の不動毛（毛髪）から成り、複数の神経線維に連結しているということがわかる。

人間の聴覚の処理に関して、音声信号を処理、あるいは確認するために、方法が既に幾つか存在する。例えば、Ｔｈｏｒｓｔｅｎ ＨｅｉｚおよびＡｎｄｒｅａｓ Ｂｒｕｅｃｋｍａｎｎは、オランダ、アムステルダムでの１１４回オーディオ技術学会で２００３年３月に発表された「自動メロディ転写および音源認識のための生理学的耳モデルを用いて」において、認知指向の従来の信号処理アルゴリズムの音声信号分析および変更という記事に記載した。

上述の論文は、内有毛細胞の隙間にある伝達物質の濃度に関する情報への機械的な振動の転換を含む内耳の機能のシミュレーションを記載している。基底膜は、ここでは同一の幅の２５１領域に分けられ、各部分は内有毛細胞に接続しており、内有毛細胞は、基底膜の対応する部分の振動に刺激されている。音程認識のために、２５１の記載されている有毛細胞の隙間において、伝達物質の濃度が分析される。

この目的で、音程トラジェクトリは、形成され、分割される。更に、前述の論文は、音質および旋律認識の再認識を簡潔に記載している。

更に、Ｔｏｓｈｉｏ ＩｒｉｎｏおよびＲｏｙ Ｄ．Ｐａｔｔｅｒｓｏｎが論文「時間領域聴覚器官モデルを用いた声道の大きさおよび形状に関する情報の分離：安定化ウェーブレット−メラン変換」（Ｅｌｓｅｖｉｅｒ Ｊｏｕｒｎａｌ，２００２年 音声通信３６、１８１−２０３ページ）において、２次元メリン変換の聴覚像への応用について記載している。上記の論文によると、メリン変換は、聴覚イメージがその音声信号に基づく話者の声道の規模に関して不変である聴覚イメージから、メリンイメージを生成する。

上述の論文は、サイズ―形状―イメージから空間フーリエ変換によって得られるいわゆるメリンイメージを用いた音声認識を提案する。しかし、サイズ―形状―イメージは、Ｔ．ＩｒｉｎｏおよびＲ．Ｄ．Ｐａｔｔｅｒｓｏｎによれば、複数の転換方法によって安定化聴覚イメージから得られる。

更に、Ａ．Ｂｒｕｃｋｍａｎｎ、Ｆ．ＫｌｅｆｅｎｚおよびＡ．Ｗｕｅｎｓｃｈｅが論文「２次元―傾斜および正弦波形状検出のための神経網」（ＣＩＳＴ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｃｉｅｎｔｉｆｉｃ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ＩＳＳＮ １７２７―６２０９）において、パターン認識のための神経網について記載している。前記神経網は、異なる傾斜の直線または異なる周波数の一組の正弦波曲線を学習することができて、学習フェーズの後、対応するパターンを認識することができる。対応する神経網は、このようにハフ変換を実現して、二次元のパターンの認識を可能にする。

「自動メロディ転写および音源認識のための生理学的耳モデルを用いて」：Ｔｈｏｒｓｔｅｎ Ｈｅｉｚ，Ａｎｄｒｅａｓ Ｂｒｕｅｃｋｍａｎｎ、オランダ、アムステルダム、１１４回オーディオ技術学会、２００３年３月 「時間領域聴覚器官モデルを用いた声道の大きさおよび形状に関する情報の分離：安定化ウェーブレット−メラン変換」：Ｔｏｓｈｉｏ Ｉｒｉｎｏ，Ｒｏｙ Ｄ．Ｐａｔｔｅｒｓｏｎ（Ｅｌｓｅｖｉｅｒ Ｊｏｕｒｎａｌ，２００２年 音声通信３６、１８１−２０３ページ） 「２次元―傾斜および正弦波形状検出のための神経網」：Ａ．Ｂｒｕｃｋｍａｎｎ、Ｆ．Ｋｌｅｆｅｎｚ，Ａ．Ｗｕｅｎｓｃｈｅ（ＣＩＳＴ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｃｉｅｎｔｉｆｉｃ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ＩＳＳＮ １７２７―６２０９）

本発明の目的は、音声信号の分析表示の効果的な生成のための概念を提供することであり、分析表示は少ないデータ量からなり、その上同時に音声認識に適している。

本発明の目的は、請求項１に記載の装置、請求項３０に記載の方法、および請求項３１に記載のコンピュータ・プログラムによって達成される。

この発明は、音声信号の分析表示を得るために、音声信号を分析するための装置であって、音声信号に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出する手段と、連続したトラジェクトリの時間的な位置を示す分析表示として一連の時間情報を得るために神経活動パターンを処理する手段とを含み、トラジェクトリは、音声信号における同一の事象に基づく異なる神経線維上の活動インパルスを含む、装置である。

神経活動パターンの続いて起きるトラジェクトリの時間的位置を示す時間情報は音声信号の分析に適しているというのが、本発明の中心的な考え方である。トラジェクトリは、音声信号内の事象の発生を正確に示し、人間の耳の基底膜上の音波の伝播を正確に示している。事後のトラジェクトリの時間的位置は、異なる音（母音または子音）またはノイズによって変化する。したがって、時間情報は、音声信号の音声信号成分の分析または音声認識に特に適している。

神経活動パターンにおけるトラジェクトリの測定は特に効率的な方法で行われ、それに対応して、事後のトラジェクトリの時間的位置を示す時間情報は処理費用を低減させることができることがわかる。

最後に、本発明は、神経活動パターンがトラジェクトリの抽出によく適した（時間的に）明確な活動インパルス（活動電位）を含むため、神経活動パターンはトラジェクトリの抽出に特に適しているという知見に基づくものである。

本発明は、音声信号の分析に対する従来のコンセプトに関して、最小限の利点がある。神経活動パターンを用いることにより、高精度を得ることができる。これとは別に、音声信号の分析は、人間の聴覚と相対的な方法で行うことができる。聴覚神経の神経線維における活動電位の発生による人間の聴覚システムに発生する現象は神経活動パターンにあると考えることができ、神経活動パターンは、音声信号によって人間の脳が受けることができる情報の一部を有している。

トラジェクトリはいくつかのパラメータで示され、トラジェクトリは多数の活動インパルスを神経線維に結合するため、トラジェクトリの抽出は特に有利である。これらのパラメータの中で、時間的位置が最も重要なパラメータである。特に、直後のトラジェクトリの評価において、トラジェクトリの時間的位置についての関連のある情報が得られ、音声信号に特徴のあるものである。トラジェクトリの時間的位置を示す時間情報により、音の時間の始点および音中の神経活動パターンの構成の両方が、少ないパラメータで示すことができる。

直後のトラジェクトリの時間定位置を示す時間情報の形での本発明の分析表示は、音声信号に含まれる母音の分析に特に信頼できるものであることが示された。さらに、トラジェクトリは、パターン認識の方法により、計算的に効果的な方法で抽出することができ、ハフ変換によって曲線状のトラジェクトリを容易に認識できるため、ハフ変換の適用などが特に有利であることが示された。

また、神経活動パターンは、聴覚モデルの一群の神経線維の活性または活性インパルスを示すことに注意されたい。時間情報は、好ましくは、トラジェクトリの発生の時点を特徴付けるものである。音声信号内の同じ事象によって測定される活性インパルスが、所定の最小値より大きい数の神経線維に与えられるとき、この発明の装置のトラジェクトリが認識されることに注意されたい。言い換えれば、神経線維の所定の数以上発生したとき、「十分に長い」トラジェクトリのみが認識される。これにより、拡張トラジェクトリを形成しないスプリアスパルスが誤ってトラジェクトリであるとみなすことを効果的に避けることができる。

音響事象は、たとえば、母音、子音、音の開始である。それとは別に、たとえば従来の蝸牛電気図に見られるように、それぞれのトラジェクトリは音響事象と関係があることに注意されたい。

さらに、神経活動パターンにおけるトラジェクトリは、典型的には、聴覚モデルの基底膜上に進行波を示すことに注意されたい。言い換えれば、トラジェクトリは、聴覚モデルの基底膜上の進行波と関係のある隣接する一群の神経細胞上の神経活動パターンを示す。言い換えれば、トラジェクトリは、一群の隣接する神経線維上の活性インパルスの発生を示し、隣接する神経線維上の活性インパルスは、時間的にわずかにずれる進行波によって刺激される。個々の神経線維は（たとえば、妨害により）刺激されず、トラジェクトリは、その全長の２５％より長くない妨害を含むことは明らかである。トラジェクトリを測定する本発明の方法は妨害許容値を有し、たとえば短い妨害を含む望ましくないトラジェクトリが認識され特徴付けられることがわかった。

時間情報は、好ましくはトラジェクトリの時間の始点を含み、デフォルトのトラジェクトリの時間の始点は、デフォルトのトラジェクトリに属する第１の活性インパルスが神経線維から発生する時点である。しかしながら、時間情報は、トラジェクトリの中間時点や終時点などのように、トラジェクトリについての他の情報を持っていてもよい。

神経活動パターンを処理する方法は、時間とともに神経活動パターンを示す二次元表示において、トラジェクトリとして直線状または曲線状のパターンを認識し、トラジェクトリの時間的位置を認識し、音声信号の分析表示としてトラジェクトリに属する時間情報を提供するために実施されるパターン認識手段を含む。神経活動パターンの二次元表示の分析がトラジェクトリの特に効果的な認識を可能にすることがわかった。さらに、二次元分析方法は、直線状または曲線状の構成を効果的な方法で認識し、特徴付けることが可能である。トラジェクトリ、すなわち直線状または曲線状の構造は、正確に認識され、トラジェクトリの空間的な拡充により、（神経活動パターンで示される）複数の神経線維にわたる平均化が認識において行われる。

さらに、パターン認識手段は、トラジェクトリの形状に関する情報を提供するために実施されることが好ましい。トラジェクトリの形状は、音声信号の分析表示の処理をさらに促進させ、または音声信号の分析表示の処理をさらに表現することを可能にする情報を提供する。トラジェクトリの形状に関する情報は、好ましくは、トラジェクトリの湾曲に関する情報を含む。

神経活動パターンにおけるトラジェクトリは、典型的には双曲線状に湾曲していることが見出されたため、パターン認識手段は、直線状または双曲線状に湾曲したトラジェクトリの認識を最適化することが好ましい。

パターン認識手段がトラジェクトリの長さに関する情報を提供するように実施されるとき、さらに有利である。また、トラジェクトリの長さが、正確さを増やすために、分析表示の処理において用いられる。それとは別に、（たとえば、トラジェクトリと関連して活性電位が与えられる複数の神経線維によって表現される）頻度の範囲にわたってトラジェクトリが拡充する事実についてのステイトメントを含むパターン認識手段から情報が与えられる場合に有利である。したがって、トラジェクトリの存在だけでなく、たとえば刺激の頻度の範囲も測定される。

神経活動パターンを処理する手段は、トラジェクトリを認識し、トラジェクトリの時間的位置を示す時間情報を得るために、神経活動パターンを示す二次元表示と、少なくとも１つの比較パターンとを時間とともに比較するように実施されるパターン比較手段を含むことが好ましい。パターン比較は、たとえばトラジェクトリのように、二次元表示のパターンを認識する効果的な可能性がある。比較パターンとして、ここでは、好ましくは、直線または双曲線などが用いられる。

直線状または曲線状のトラジェクトリは、二次元の神経活動パターンの変形された表示を得るために、少しずつ神経活動パターンの二次元表示を変形させ、神経活動パターンの変形された二次元表示にほぼ直線状のラインが含まれるときを認識するように実施される神経細胞パターンを処理する手段により、特に有利な方法で実現されることがわかった。直線状のラインはトラジェクトリとして認識され、トラジェクトリの時間的位置は測定され、付随する時間情報は認識されたトラジェクトリに関係がある。直線状のラインの存在は容易に確認できるため、このような神経活動パターンを処理する手段は特に有利である。トラジェクトリの「直線状のライン」は、神経活動パターンを処理する手段の１つの処理段階において、複数の活性インパルスが同時に到着し、または少なくとも時間的に重なるという事実によって明確にされる。活性インパルスの同時または時間的に重なった到着は、１つの段階に到着した信号の和によって認識され、１つの段階における活性インパルスの同時の到着は、和の結果の明確なピークを引き起こす。

少しずつ行われる神経活動パターンの二次元表示の変形は、たとえば複数の湾曲手段によって行われ、神経活動パターンを示す信号または神経信号は、神経活動パターンを処理する手段の段階において、強い方法ではなく、変形される。

言い換えれば、神経活動パターンの二次元表示の変形は、徐々に変形されることによって、徐々に直線状にされ、曲線状のトラジェクトリを直線状にするのに必要な複数の変形ステップは、曲線状のトラジェクトリの湾曲に関する情報を含む。

神経活動パターンを処理する手段は、並行する複数の信号の形で時間とともに神経活動パターンを受け、信号を異なる速さで（または、互いに異なる遅延時間で）並行して信号を直列に接続された複数の段階に送るように実施される曲線認識手段を含み、所定の数の信号が選択された段階において同時に活性化されるときに、選択された段階は認識されるように実施される。

異なる速さで神経活動パターンを形成するいくつかの信号の通過は、元の神経活動パターンに存在するトラジェクトリの変形を可能にする。１つの段階において複数の信号が活性化されると、トラジェクトリが直線化され、またはほぼ直線化されることを示している。言い換えると、活性インパルスが同時に段階に入るか、少なくとも重なる状態になると、後の閾値決定を伴う合計に基づいて、段階が、たとえば（ほぼ）直線化されたトラジェクトリがその段階に与えられることを認識する。言い換えると、段階は、好ましくは、信号をその段階を通過させるとき、異なる程度にそれぞれの信号を遅らせるように実施される。

さらに、神経網として曲線認識手段を実施することが好ましい。そのような神経網は、複数のトラジェクトリ（または、トラジェクトリの形状）を確認し、実行オペレーションにおいて認識する。神経網は、理想の確認パターンによく似た非理想のトラジェクトリを認識することができることが、神経網の利点である。したがって、変動や妨害の影響を受けやすい非理想のパターンが認識されるため、神経網は、神経活動パターンにおけるトラジェクトリを認識するのによい実施となる。

最後に、曲線認識手段は、好ましくは、ハフ変換の評価に基づいてトラジェクトリを認識するように実施される。ハフ変換は、二次元表示において、どのような曲線であっても、曲線を分析的に示すのに効果的な方法である。ハフ変換の実施は、好ましくは並行して行われ、早い計算を行うことができる。

以下において、本発明の好ましい実施形態は、添付の図面を参照して更に詳細に記載されている。

図１は、本発明の第１実施形態に係る、音声信号に基づく音声信号の分析表示を算出する本発明の方法のフローチャートを示す。図１のフローチャートは、全体として１００によって示される。

ここで、第一段階１２０の音声信号１１０について、神経伝達物質小胞の発生が、聴細胞と関連する神経線維との間のコラムにおいて測定される。一般的に１００から数千もの神経伝達物質の分子を含む神経伝達物質小胞の発生は、ここでは複数の聴細胞について測定され、聴細胞が聴覚モデル全体に空間的に分布していると仮定される。例えば、神経伝達物質小胞発生の対応するシミュレーションにおいて考慮される聴細胞が聴覚モデルの蝸牛全体に等距離で、または、ほぼ等距離で、分布していると仮定することができる。音声信号による聴細胞の刺激により、関係する各聴細胞について、神経伝達物質小胞の発生を測定することができる。

神経伝達物質小胞の発生１２２に基づいて、関係する聴細胞の第２段階１３０において、神経線維上の活動電位ＡＰ１がそれぞれの聴細胞に連結して測定される。そして、示された処理がすべての聴細胞について繰り返され、それは神経伝達物質小胞の発生（ステップ１３２および１３４）の測定に関するものである。このように、神経伝達物質小胞発生の測定に貢献しているすべての聴細胞について、それぞれの聴細胞に関連した神経線維上の活動電位ＡＰ１、ＡＰ２、ＡＰ３は、それぞれの聴細胞に関連したそれぞれの神経伝達物質小胞発生１２２、１２４、１２６に基づいて算出される。

言い換えると、ｉ聴細胞を考慮した場合、すべてのｉ聴細胞について、関連する神経伝達物質小胞発生１２２、１２４、１２６が算出される。神経伝達物質小胞発生に基づいて（各神経線維を別々に）、関連する活動電位ＡＰ１、ＡＰ２、ＡＰ３が算出される。したがって、算出を終えた後に、ｉ活動電位は、共に神経活動パターンを形成する神経線維上に存在している。

したがって、神経活動パターンＡＰ１、ＡＰ２、ＡＰ３は、更なる処理（例えば音声信号認識）に使用できる音声信号の分析表示を表している。

したがって、本発明の方法は、音声信号の特に正確かつ表現力豊かな分析表示を構成できるという効果をもたらす。神経線維上の活動電位ＡＰ１、ＡＰ２、ＡＰ３（共に神経活動パターンを形成する）は、音響現象の認識に人間の脳が用いる信号に非常に類似している。

神経線維上の活動電位ＡＰ１、ＡＰ２、Ｐ３が、伝達物質小胞発生１２２、１２４、１２６から得られる発明の方法において、次の音声信号分析を特に高精度に達成できる。
活動電位ＡＰ１、ＡＰ２、ＡＰ３が量子化されて発生すると、神経線維上の活動電位は、正確な時間的情報をもたらす。さらに、活動電位ＡＰ１、ＡＰ２、ＡＰ３の測定において、音声信号の分析表示を測定する従来の方法で考慮されない無駄時間（不応時間）が発生する。

さらに、活動電位ＡＰ１、ＡＰ２、ＡＰ３をその量子化により容易に表すことができ、活動電位の高さでなく活動電位の発生時点または連続的に発生している活動電位の割合が、情報を伝えるということに注意されたい。また、この点で、発明の方法は、例えば神経伝達物質の濃度がシナプス間隙において測定される周知の方法と実質的に異なり、濃度は、時間的に大幅に明確な変化がない連続曲線を示す。

それとは別に、複数の神経線維上のシミュレーションされた活動電位ＡＰ１、ＡＰ２、ＡＰ３を含む神経活動パターンは、例えば聴覚障害がある患者の聴神経の神経線維を刺激するために用いられることを指摘しておく。

図２は、本発明の第１実施形態に係る音声信号に基づく神経伝達物質小胞発生を算出する発明の方法のフローチャートを示す。図２のフローチャートは全体として２００とみなされる。第１段階２２０での音声信号２１０について、関連する基底膜運動２３０が、算出される。言い換えると、音声信号２１０に基づいて、基底膜運動は、聴覚モデルを使用して算出される。例えば、この運動を基底膜の異なる点の速度および／または偏位によって説明することができる。それとは別に、図３を参照して基底膜運動の算出を更に詳細に説明できる点に注意されたい。

次に、基底膜運動２３０に基づき、第２段階２４０で、基底膜に連結する不動毛の偏位２５０が算出される。不動毛の偏位の算出は、図４を参照して更に詳細に説明される。

周知の不動毛偏位２５０に基づいて、第３のステップ２６０では、神経伝達物質小胞の発生が算出または決定される。それとは別に、神経伝達物質小胞の発生の算出は、図５を参照して更に詳細に説明される。したがって、図２に示される方法は、1個または数個の聴細胞の音声信号についての神経伝達物質小胞発生を提供する。好ましくは、関係する聴細胞が位置する場所において基底膜運動２３０が算出されることにここで注意されたい。しかし、（例えば、解析解を用いて）算出を有利にする場合に限り、基底膜の全体運動を算出することも可能である。

図３は、本発明の第１実施形態に係る音声信号に基づいて、基底膜運動を算出する本発明の方法のフローチャートを示す。図３の図解図は全体として３００によって示される。

ここで、第１段階３２０における音声信号３１０について、内耳における機械的な音の変換が、聴覚モデルに基づいて算出される。聴覚モデルにおける鼓膜の刺激３２４が測定される。したがって、例えば、音声信号３１０は、鼓膜に影響を与える基となる。機械的または流体的な算出に基づいて、鼓膜の刺激を測定することができ、その際、鼓膜の振動が分かる。

そして、第２段階３３０において、聴覚モデルにおける中耳の小骨を経た音の伝達も算出される。ここでは、中耳の詳細な機械的分析が行われる。しかし、小骨の力または振幅の伝達比のみを考慮することも可能であり、結果として非常に単純な算出になる。さらに、小骨の慣性および／または減衰のような流体の影響について更に考慮することが可能である。さらに、最後に、小骨を経た音の伝達の算出について、中耳の転送特性が音響強度に応じて変化することができるとも考えられる。第２段階３３０における小骨を経て音の伝達を算出するために用いられるモデルの複雑さから独立して、前述の算出の結果、中耳および蝸牛の間の前庭窓の刺激３３４が測定される。

そして第３段階３４０で、中耳および蝸牛の間にある前庭窓の刺激３３４についての知識に基づいて、蝸牛の流体力学的な振動刺激が算出される。これは、適切な流体力学的シミュレーションにより、または簡易分析モデルの使用によって行うことができる。したがって、蝸牛分析の結果、蝸牛における流体の流れが分かるか、または測定することができる。

最後に、第４段階３５０で、蝸牛の振動刺激３４４についての知識に基づいて、基底膜の運動３５４が算出される。ここで、再度、線形または非線形の力学モデルを用いることができる。考慮された神経細胞が配置される選択位置における基底膜運動を算出するために、複数の可能性が存在することに注意されたい。

示された中間変数（すなわち鼓膜の刺激３２４、前庭窓の刺激３３４または蝸牛の振動刺激３４４）を明確に算出することは必要でない点に更に注意されたい。むしろ、音声信号３１０からおおよその基底膜運動３５４を直接に推定する方法も存在する。例えば、ここでは、線形または非線形フィルタが、基底膜の所定の点（好ましくは聴細胞が位置するところ）の運動を測定するために用いられる。次に、数箇所に位置する基底膜運動３５４の算出用に、様々に導入された複数のフィルタが使用される。ここで、フィルタは、蝸牛の位置の反応を音響信号に対する反応として表現される。

それとは別に、Ｆ．Ｂａｕｍｇａｒｔｅが蝸牛のモデリング用に特に有利な聴覚モデルを提案したことに注意されたい（Ｆ．Ｂａｕｍｇａｒｔｅ：「Ｅｉｎ ｐｓｙｃｈｏｐｈｙｓｉｏｌｏｇｉｓｃｈｅｓ Ｇｅｈｏｅｒｍｏｄｅｌｌ ｚｕｒ Ｎａｃｈｂｉｌｄｕｎｇ ｖｏｎ Ｗａｈｒｎｅｈｍｕｎｇｓｓｃｈｗｅｌｌｅｎ ｆｕｅｒ ｄｉｅ Ａｕｄｉｏｃｏｄｉｅｒｕｎｇ」（「音声符号化についての感覚の閾値を再生するための生理的聴覚モデル」）論文、ハノーファー大学、２０００年）。Ｂａｕｍｇａｒｔｅのモデルは、特に有利な聴覚モデルの蝸牛のモデリングを可能にし、基本的な効果（例えば、蝸牛終端の信号反射）も考慮することができる。

図４は、基底膜運動に基づいて不動毛の偏差を算出する本発明の方法のフローチャートを示す。図４のフローチャートは、全体として４００によって示される。

ここで、基底膜の運動が上述の１つの方法（または他のいかなる方法でも）に従って算出され、その結果、考慮されている神経細胞がある場所についての基底膜の運動速度が知られているものと仮定される。不動毛の偏位ｘ（ｔ）（時には、ｕ（ｔ）とも呼ばれる）は、基底膜運動に応じた運動方程式を解くことにより測定される。もちろんここでは、基底膜運動は、好ましくは相対速度ｖ（ｔ）によって説明されている相対運動と考えられる。
さらに、原子の衝撃運動によって生じる不動毛に関する確率論的な力ｆｓｔｏｃｈ（ｔ）をさらに考慮することが好ましい。言い換えると、不動毛の刺激におけるブラウン運動も考慮することが好ましい。したがって、不動毛の運動方程式は、以下の形式の調和振動子の非同次運動方程式となる。

ここで、ｍは考慮されている不動毛の有効質量であり、Ｄは不動毛の有効バネ剛性定数であり、そして、Ｋは不動毛の流体的減衰を示す不動毛の層流抵抗の定数である。外力Ｆｅｘｔによって発現する不動毛の刺激は、基底膜運動の相対速度ｖ（ｔ）と比例しており、その結果、以下の数式が成り立つ。

ここで、Ｃ_Basは、基底膜運動に基づく不動毛の刺激に関する定数である。
前述のとおり、図示された運動方程式の評価は、時にはｕ（ｔ）として参照される不動毛の偏位ｘ（ｔ）となる。

それとは別に、不動毛の偏位を算出する他の方法を用いることもできるいうことに注意されたい。たとえば、不動毛の低域通過動作をモデル化している一次運動方程式を使用することが可能である。言い換えると、別の定義では、不動毛が下記の形式の運動方程式によって説明できる低域通過システムを表すと仮定することができる。

それとは別に、ブラウン運動によって生じる力Ｆｓｔｏｃｈ（ｔ）の考察が選択できる点に注意されたい。

図５は、本発明の第１実施形態に係る不動毛の偏位に基づいて神経伝達物質小胞の発生を算出する本発明の方法のフローチャートを示す。図５において説明されるフローチャートは、全体として５００によって示される。

たとえば、第１段階５１０において、不動毛の偏位ｕ（ｔ）に基づき、頂端伝導率Ｇ（ｕ）が算出される。不動毛の偏位は、多くの開口イオンチャンネルを変え、それにより聴細胞の膜の伝導率が変わる。

したがって、第２段階５２０において、第１段階５１０から分かった頂端伝導率Ｇ（ｕ）に基づいて、細胞内の有毛細胞電位Ｖ（ｔ）が算出される。たとえば、細胞体のこの膜電位の算出において、受動電気回路のモデルを用いることができ、細胞容量の考察が可能となる。さらに、聴細胞の異なる膜の伝導率および異なるイオンを条件とした電位が考察される。

第２段階５２０での細胞内の有毛細胞電位Ｖ（ｔ）の算出後、第３段階５３０において、カルシウム電流Ｉ_Ca（ｔ）が算出される。シナプス間隙への神経伝達物質の放出は、カルシウムイオンによってもたらされる。たとえば、ここで細胞内有毛細胞電位Ｖ（ｔ）に基づいて、開口カルシウムチャンネルの一部が測定される。カルシウム電流自体は、さらに開口カルシウムチャンネルの数、および細胞内の有毛細胞電位Ｖ（ｔ）とカルシウムの対向電位との間の電位差に依存している。それとは別に、開口カルシウムチャンネルの数は、考慮される慣性に左右されることに注意されたい。

そして、カルシウム電流Ｉ_Ca（ｔ）に基づいて、第４段階５４０で、カルシウム濃度［Ｃａ²⁺］（ｔ）が測定される。ここでさらに、たとえば低域通過特性を考慮し、カルシウム濃度が平衡の状態で一定値を取ると推測できる。

カルシウム濃度［Ｃａ²⁺］（ｔ）に基づいて、第５段階５５０で、伝達物質放出速度ｋ（ｔ）が測定される。ここで、好ましくは、貯蔵部、シナプス間隙、および処理メモリにおける伝達物質の貯蔵を考慮できる。伝達物質放出速度ｋ（ｔ）に基づいて、第５段階に連絡された第６段階５６０において、神経伝達物質小胞の発生または放出が測定される。ここで、好ましくは、量子化された、確率論的な神経伝達物質小胞の放出を仮定し、確率論的な伝達を関数Ｎ（ｎ，ｐ）によって説明することができる。ここで、たとえば、各ｎ神経伝達物質の総量は、シミュレーション間隔において均等放出確率と等しいと仮定することができる。それとは別に、貯蔵部における神経伝達物質または神経伝達物質小胞のフィードバックがモデリングに含まれることに注意されたい。

有利に使用可能な内有毛細胞のモデルがＣ．Ｊ．Ｓｕｍｍｅｒ，Ｅ．Ａ．Ｌｏｐｅｚ−Ｐｏｖｅｄａ，Ｌ．Ｐ．Ｏ’ＭａｒｄおよびＲ．Ｍｅｄｄｉｓの論文「内有毛細胞および聴神経複合体の修正モデル」に記載されている点に更に注意されたい。（Ｊ．Ａｃｏｕｓｔ．Soc. Am., 第１１１巻、５番、パート１、２００２年５月）。

しかし、不動毛の偏位ｕ（ｔ）に基づいた神経伝達物質小胞の発生の算出に他のモデルを用いることもできる点にさらに注意されたい。しかし、神経伝達物質小胞の確率論的な放出を考慮しているモデルを使用することが特に推奨されることが分かった。というのは、このような確率論的な放出は、算出される神経活動パターンは神経伝達物質小胞の連続的なまたは非量子化された放出に基づくモデルよりもかなり良いと説明されているからである。それとは別に、すでに前記で述べた様に、神経伝達物質小胞放出の評価によって、明確な時間的変化が起こらない連続放出モデルを用いる場合と比較して、音声信号に関するより正確な情報が得られる。

図６は、本発明の第１実施形態に係る神経伝達物質小胞の発生に基づく神経線維の活動電位を算出する本発明の方法のブロック図を示す。図６のフローチャートは、全体として６００により示される。

神経伝達物質小胞の発生に基づいて活動電位を算出する図示された方法において、第１段階６１０において、神経細胞の電圧が神経伝達物質小胞の発生に基づいて算出される。たとえば、この電圧は、シナプス後電位またはシナプス後神経細胞の減極である。たとえば、神経細胞の電圧の算出について、神経伝達物質の拡散が考慮される。言い換えると、平均神経伝達物質濃度を畳み込み積分の評価によって測定し、畳み込み積分において、拡散型核を評価することができる。たとえば、このような拡散成果の考察は、Ｅｒｗｉｎ ＮｅｈｅｒおよびＴａｋｅｓｈｉ Ｓａｋａｂａによる論文「シナプス後電流の変動からの伝達物質放出の評価」に説明されている（Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｎｅｕｒｏｓｃｉｅｎｃｅ ２００１年１２月１５日、２１（２４）：９６３８−９６５４）。さらに、シナプス後電位の算出において、細胞膜の容量および膜イオン・チャンネルの膜電位依存伝導率が考慮される。したがって、神経細胞における電圧の算出に対応するモデルにおいて、細胞膜を通じたイオン交換および神経伝達物質による刺激は統合される。

次に、第１段階６１０において算出されるシナプス後電位に基づき、第２段階６２０では、活動電位の開放について決定ことができる。ここで、神経伝達物質の放出によって、シナプス後電位が高くなると仮定される。

要約すると、次のように言える。内有毛細胞は、基底膜と聴覚神経線維（ＡＮＦ）間の接続であり、インパルスを脳の方向に送る。しかし、シナプス後端部にあるＡＮＦが、脳へ活動電位を送る前に、電圧は十分高くならなければならず、かつ閾値を越えなければならない。このため、シナプス前内有毛細胞の事象連鎖が必要であり、機械的振動を電気信号に変換する。

内有毛細胞の頂端において、毛束、つまり３列の不動毛が位置し、いわゆるチップリンクによって接続される。毛束は基底膜の振動運動に従い、その内部に毛束が存在する液体よって減衰され、その剛性によって元の位置に戻る。不動毛運動は、結合調和振動子のシステムとみなすことができる。簡潔に言うと、以下の方程式によって説明される。

ここで、ｘ（ｔ）は不動毛の偏位を表し、ｖ（ｔ）は基底膜の速度を表す。τｃは時定数であり、Ｃ_ciliaは利得係数である。不動毛は、低周波において、基底膜速度に対して同相となるように動き、高周波において、位相シフトが起こるように動く。

内有毛細胞膜の内部においては、外部よりかなり低い電位が存在する。これは、基本的に（正帯電した）カリウムイオンの現在の濃度によって影響され、内側と外側との間にイオンが連続して流れている。静止状態において、［Ｋ+］＝１３０ｍｍｏｌ／ｌ（内側）および［Ｋ+］＝１５５ｍｍｏｌ／ｌ（外側）の平衡濃度が成立する。また、静止状態において、不動毛端にあるイオンチャンネルの約１５％が開いていると推測される。今、不動毛が中間方向に入ってくる場合、追加のチャンネルを開くことになる。内有毛細胞の内部と外部との間の伝導率は上昇する。これにより、さらに正帯電したカリウムイオンが外側から内側へと流れ、内有毛細胞の内部の電圧は上昇する。反対に、逆（横）方向の不動毛偏位は、イオン流を阻止し、したがって膜電位の低下につながる。

不動毛は運動に極めて敏感に反応する。＋／−０．００３度の正弦関数偏位が、可聴信号としてすでに認識されている。しかし、基底膜を発振することによる外部刺激がなくても、不動毛は動く。不動毛はブラウン運動の基礎となり、到来する音波が全くなくても、神経線維の種類に応じて、１秒につき１００を超えるまでの活動電位が発生する。

有毛細胞の減極は、いわゆる活動領域の付近に位置している細胞膜にある電圧依存カルシウムチャンネルを開く。これは、シナプス間隙の求心性神経端にある領域であり、そこに神経伝達物質が位置する。このように、外側から、より多くのＣａ＋＋イオンが、内有毛細胞に入ることができる。このカルシウムイオン流入は、神経伝達物質の放出につながる。メッセンジャーは数千もの神経伝達物質分子とほぼ同数のいわゆる小胞に既に「詰め込まれ」、待機しているという事実によって、信号伝送での高速が保証される。これは、いわゆる利用可能な小胞のプールによってモデル化することができる。

シナプス間隙への伝達物質分子の放出は、小胞がこのために提供されたシナプス前膜の位置、つまり活動領域で拡散し、膜と組み合わさり、その中身である神経伝達物質へと放出するという事実によって起こる。利用可能な小胞のプールが空になれば、再び序々に補充される。更に、再処理プールの使用が推奨され、そこでは間隙からの伝達物質は一定の割合で再び詰め込まれて、小胞になり、そこから再びフリー・プールに直接到達する。伝達物質の一部は、シナプス間隙において失われる。

小胞のプールからの神経伝達物質の放出は、通常、二項分布として説明される。ここで放出確率は、活動領域付近の内有毛細胞膜内部でのカルシウム濃度に依存する。

神経細胞における電圧推移の最初のモデル化は、１９５２年のＨｏｄｇｋｉｎおよびＨｕｘｌｅｙにさかのぼる。ここで、基本的に、カリウム［Ｋ］およびナトリウムイオン［Ｎａ］の交換、および（基本的にＣＬ^-イオンの）特定の「リーク」［Ｌ］は重要であり、これらを異なる最大伝導率（ｇＮａ、ｇＫ、ｇＬ）および（ｕ（ｔ）に依存している変数ｍ、ｈ、ｎによってモデル化される）現在の電位に応じた膜透過性の経時変化とで区別する。膜電圧ｕ（ｔ）は次の式に従って機能する。

ここで、ｕ´は、時間による微分を示す。ＶＮａ、ＶＫおよびＶＬは、イオン交換の方向を決定するネルンスト平衡電位である。Ｉｋ（ｔ）は細胞膜を通じたイオン交換を表すが、Ｉ（ｔ）は、ここでは例えば、内有毛細胞によって放出される神経伝達物質を通じた外部電流であり、Ｃは細胞膜によって形成されるコンデンサである。外部電流が細胞内に流入する時に、コンデンサは充電され、膜イオンチャンネルを通じたリークが起こる。
膜電位に応じた伝導率の時間パフォーマンスは、３つの微分方程式の手順によって説明される。

電圧ｕに応じた関数αｉ（ｕ）およびβｉ（ｕ）は、ｉ＝｛ｍ、ｎ、ｈ｝に関してＨｏｄｇｋｉｎおよびＨｕｘｌｅｙによって調整される。異なるイオン流の異なる高速反応は、膜における電圧推移を特徴づけている外部電圧の変化を引き起こす。今、小胞がシナプス前内有毛細胞から間隙に拡散する場合、小胞はシナプス後膜の受容体蛋白質に結合して放電する。小胞の分子によって、シナプス後電位は、このように指定された約０．５−１ｍＶ のｍＥＰＰ（微小終板電位）によって増加する。

シナプス後電位によって説明されるシナプス後神経細胞の減極が特定の閾値νを越える場合、例えば、活動電位の放出が起こる。

活動電位が、例えば、常にほぼ同一の経時変化であることによって特徴付けられている。膜電圧は、まず、１ミリ秒未満の極めて短い間に非常に強力に減極し、それから過分極化し、活動電位がさらに発生しないしばらくの間は遮断される。

言い換えると、シナプス後電位が所定の閾値を越える時、活動電位を引き起こす。この閾値は、時間的に変化することができる。それとは別に、活動電位の発生において、好ましくは絶対不応時間、すなわち活動電位がさらに起きるのがもはや不可能な無駄時間と、活動電位を引き起こす閾値が静止状態より高い相対不応時間について考慮できることに注意されたい。ここで、絶対不応時間を例えば非常に高い閾値νによってモデル化することができるが、他の方法で統合することもできる。相対不応時間は、活動電位を引き起こす時間変化の閾値νによって説明されるのが好ましい。

したがって、神経線維の無駄時間を活動電位の生成または神経活動パターンの生成において考慮し、複数の神経線維上の活動電位を説明することが保証される。これによって、神経活動パターンの情報量を減らすことができ、それにより神経活動パターンをさらに処理して神経活動パターンを蓄積することが可能になる。それとは別に、説明された処置によって、神経線維の自発的な活動を考慮することができる。

絶対不応時間の間に、時間的に重なり合う複数の神経伝達物質小胞の発生が、活動電位の誘発につながらないことに更に注意されたい。しかし、相対不応時間において、単一の神経伝達物質小胞の発生が活動電位を引き起こさないが、相対不応時間においていくつかの神経伝達物質小胞の発生が重なり合うと、結果として活動電位の誘発を引き起こす。

図１〜６を参照して説明される方法によれば、神経活動パターンを含み、特に表現に富む音声信号分析表示を生成することができる。本発明の方法において、神経活動パターンは、神経伝達物質小胞の発生に基づいて算出され、神経伝達物質小胞の発生の確率的性質が考慮される。さらに、神経線維上の活動電位の測定において、関連する全ての効果（例えば、神経線維上の活動電位の誘発におけるポテンシャル依存および神経伝達物質の拡散）を考慮することができる。この理由で、本発明の方法で算出される神経活動パターンは、表現に富む分析に必要な特に高い時間精度を有する。本発明によって測定される神経活動パターンを用いて、例えば、隣接する神経細胞の活動電位間の位相関係を評価できるが、モデル化が非常に不正確であるため、従来はほとんど表現にできない。

神経伝達物質小胞を1対1で１ｍＶの規模の電気インパルスに変換することが有利である点に更に注意されたい。算出された神経伝達物質小胞の放出を、例えば蝸牛移植物制御装置において方形インパルスを発生させ、蝸牛移植物へ電気インパルスを供給するために使用することができる。そして、インパルスによって、聴覚神経線維を起動させることができる。ここで、例えば、２５１個の聴覚神経用の２５１個の神経信号は、蝸牛移植物において一般的に利用可能な２２のチャンネルに調整される。

また、さらに有利な音声信号分析表示を得るために、更に神経活動パターンを処理することが好ましい。ここで、神経活動パターンの算出は、上記の方法に従って有利に行われ、神経活動パターンを提供する他の方法も、改良された分析表示を得るために用いることができる。

図７は、本発明の更なる実施形態に係る、音声信号の改良された分析表示を算出する発明の方法のフローチャートを示す。図７のフローチャートは、全体として７００によって示される。ここで、第１段階７２０で、音声信号７１０に基づいて、神経活動パターン７３０が算出される。既に上記で詳細に説明されたように、第１段階７２０では神経活動パターン７３０の測定において、例えば聴覚モデルを用いることができる。したがって、神経活動パターン７３０の算出結果は、複数の神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５上の活動電位の経時変化である。

ここで、音声信号７１０に対する応答としての神経活動パターン７３０が、特性トラジェクトリ７４０、７５０を構成する点に注意されたい。言い換えれば、音響事象が音声信号７１０で起こる場合、この音響事象は結果として複数の神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５上に時間的にわずかにずれて、一連の活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５を引き起こす。このように、トラジェクトリ７４０、７５０は、いくつかの異なる神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５（「パルス・スパイキング列」）上にそれぞれ、複数の活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５またはスパイクを含む。

トラジェクトリ７４０、７５０は、時間とともに神経活動パターン７３０の二次元表示における線と認識することができるという事実をとりわけ特徴としている。トラジェクトリ７４０、７５０は、直線またはカーブのどちらであってもよく、異なる種類の湾曲（例えば放物線状または双曲線状）が起こることがある。それとは別に、正弦波関数からの部分によってトラジェクトリ７４０、７５０にアプローチすることも場合によっては可能である点に注意されたい。トラジェクトリ７４０、７５０が、定義により、最小限の長さを有することに更に注意されたい。したがって、活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５が最小数の神経線維上で発生する場合のみ、トラジェクトリ７４０、７５０が存在する。そして、ここで、活動電位は、時間の関数として神経活動パターンの二次元表示における線分を形成する。

さらに、ここで時間の関数としての神経活動パターン７３０の二次元表示は、活動電位が時間の関数としての数個の神経線維上に平行に示された図解図を示し、時間は横座標方向に示され、活動電位の経過は基本的に横座標と平行な連続線によって数個の神経線維上に示されることに注意されたい（図８も参照）。神経活動パターン７３０の２次元表示における最大または最小活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５の合致を直線または曲線で接続できる（滑らかである、または湾曲がないことが好ましい）場合、トラジェクトリ７４０、７５０が存在する。したがって、トラジェクトリは、隣接する神経線維の最小または最大活動電位を合致させる接続線と考えることができる。

フローチャート７００で示される本発明の方法は、第２段階７５４で、第１段階７２０において形成される神経活動パターンの処理を含む。しかも、神経活動パターン７３０を、時間の関数として、かつ神経線維の位置の関数として、二次元の図解図において考慮することが好ましい。したがって、第２段階７５４において、神経活動パターン７３０は、分析表示として一連の時間情報ｔ１、ｔ２を得るために処理され、その後のトラジェクトリ７４０、７５０の時間的位置を示す。しかも、トラジェクトリ７４０、７５０は、音声信号における同じ事象に基づいた各神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５上の各活動インパルスＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５を含むか、または接続するものと仮定する。ここで、測定された時間情報ｔ１、ｔ２は、トラジェクトリ７４０、７５０の発生時点を示す。最小数の神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５が活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５を有する場合のみ、トラジェクトリ７４０、７５０が認識され、それによって神経活動パターンにおける個々の活動電位が、誤ってトラジェクトリとして識別される、または認定されることを防ぐ点に更に注意されたい。

それと共にトラジェクトリをもたらす音響事象は、例えば音の始まりでもよい。また、母音は、本発明の方法で認識することができ、続いて時間情報と結びついた少なくとも１つの特徴的なトラジェクトリを生成する。しかし、従来、音は、いくつかのトラジェクトリを含み、好ましくは連続したトラジェクトリの各々に関して、関連する時間情報を生成することができる。ここで、時間情報は、例えばトラジェクトリの開始時点、すなわちトラジェクトリ７４０、７５０に属する第１神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５が活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５を有する時点を示す。

例えば、神経活動パターンのこのようなパターンは、聴覚モデルの基底膜上の進行波と関連しているトラジェクトリとして認識されるように、神経活動パターン７３０の処理が実行される。言い換えれば、刺激パターンが進行波の伝播に基づく個々の神経線維に適用される時、トラジェクトリを認識することができる。ここで、進行波は、一般的に連続して、また極小でないが少し時間をずらして複数の神経線維上に活動電位を引き起こす。

更に、高周波を好ましく検波する神経線維と比較して、聴覚モデルに応じた低周波に好ましく反応する神経線維は、通常、後に活性化されるか、または活動電位を有すると上記のアプローチで考えられる。この理由は、高周波に応答する聴神経が蝸牛または基底膜の入口に配置されるが、低周波を認識する聴神経は蝸牛の出口に配置されるからである。

蝸牛、または基底膜にわたる音響事象の伝播があると、ここでは、周波数依存の遅延が起こり、その結果、高周波部分は低周波部分より早く関連する神経線維上に活動電位を生成する。

したがって、図７の図解図は、複数の神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５上の活動電位ＡＰ１、ＡＰ２、ＡＰ３、ＡＰ４、ＡＰ５を示す。ここで、第１神経線維ＮＦ１は高周波（例えば、２０ｋＨｚ）と関係しているが、第５神経線維（ＮＦ５）は低周波（例えば、２０Ｈｚ）と関係していると仮定する。中間第２神経線維ＮＦ２、第３神経線維ＮＦ３および第４神経線維ＮＦ４は、中間周波数と関係している。

ここで理解を深めるために、時間軸ｔに注目する。第１神経線維ＮＦ１上の活動電位ＡＰ１が残りの神経線維ＮＦ２、ＮＦ３、ＮＦ４およびＮＦ５上の活動電位より早く発生することが分かる。したがって、５つの神経線維上で合致している活動電位は、時間の考慮において、時間ｔ１の始点に関連させることができる第１トラジェクトリ７４０を形成する。後続の第２音響事象は、神経線維ＮＦ１、ＮＦ２、ＮＦ３、ＮＦ４、ＮＦ５上に活動電位ＡＰ６、ＡＰ７、ＡＰ８、ＡＰ９、ＡＰ１０を生成し、第２トラジェクトリ７５０を形成する。そして、第２トラジェクトリ７１５に関しては、時間ｔ２の第２ポイントを関連させることができる。

今、第２段階７３０の神経活動パターンの処理作業は、第１トラジェクトリ７４０および第２トラジェクトリ７５０を認識し、トラジェクトリ７４０、７５０に関連した対応する時間情報（ｔ１）（ｔ２）を提供することである。したがって、時間情報（ｔ１）および（ｔ２）は、音声信号７１０の改良された分析表示を作成し、神経活動パターン自体より更に有利な処理を可能としている。改良された分析表示７６０は、とりわけ速度認識の目的にも使用することができる。それとは別に、改良された分析表示７６０は、信号のリズム認識にも、非常に適している。

より理解を深めるために、図８は、典型的な神経活動パターンの図を示す。第１図解図８１０は、基底膜８２０がどのように音波衝撃８２４（クリック音）により刺激されるかについて示す。音波衝撃８２４は、蝸牛の前庭窓を介して連結され、したがって、最初に基底膜８２０の基端８３０に達する。そして、音波衝撃は、基底膜８２０を越えてその頂端８３４まで伝わる。例えば、基底膜に沿って、５つの（聴）神経が配置され、そこでは図解図８４０は、基底膜の異なる場所での音波衝撃８２４による刺激を伴う基底膜８２０のパルス応答を示す。ここで、基底膜８２０の基端８３０付近では、短いインパルス応答が基本的に高周波部分を含んで発生し、しかし、その一方で、基底膜８２０の頂端８３４付近では、長いインパルス応答が基本的に低周波を含んで発生するということがわかる。

更に、図解図８５０は、基底膜に沿った複数の位置に関するインパルス応答を示す。ここで、横座標８６０は時間を表し、縦座標８６２が基底膜８２０に沿った位置を示す。図解図８５０から、基底膜８２０に沿った異なる位置におけるインパルス応答が、音波衝撃８２４による刺激において、複数のトラジェクトリを有するということがわかる。そのうち、２つのトラジェクトリ８７０、８７２が例として図解図８５０に示される。それとは別に、基底膜のインパルス応答の図解図８５０において示されるトラジェクトリを、同様の方法で、神経活動パターンでも識別することができるが、ここでは明示されない。

それとは別に、ここで、図解図８５０に示されるトラジェクトリ８７０、８７２が異なる湾曲機能を有する点に注意されたい。基底膜８２０の異なる位置で、異なる周波数が占める（例えば、基底膜の基端では高周波、および基底膜の頂端では低周波）ことから、湾曲機能が異なる。

更なる図解図８８０は、図解図８１０に似ており、８８４で示した一連の音波衝撃（クリック音）による基底膜８８２の刺激を示す。したがって、図解図８９０は、別の音波衝撃上へのインパルス応答の重ね合わせを示す。図解図８９２は、再び基底膜８８１上の多数の位置ｘに対応するインパルス応答を示す。

更なる説明として、図９は、基底膜上の異なる周波数の信号伝播における遅延の図解図を示す。ここで、第１図解図９１０は、固有振動数の関数として、聴覚神経線維の待ち時間を表す。

ここで、振動数は、０．１ｋＨｚから１６ｋＨｚの範囲で横座標９１２に示される。９１４の縦座標は、０から１２ミリ秒の範囲の聴覚神経線維の待ち時間を表す。曲線９２０は、振動数に関する、正弦波信号によるネコの聴覚神経の待ち時間の推移を表す。測定点９２４は、チンチラについての同様の推移を表す。各神経線維について固有振動数ｆ_iの関数としての聴覚神経線維上の待ち時間を、以下の方程式によって説明できることが判明した。

関連背景技術が、例えば、グランサムでの聴覚に関する第１１回国際シンポジウムで発表されたＳ．Ｇｒｅｅｎｂｅｒｇ、Ｄ．ＰｏｅｐｐｅｌおよびＴ．Ｒｏｂｅｒｔｓによる論文「蝸牛進行波遅延の皮質拡張に基づく音程と音色の空間−時間理論」の中で、詳細に説明されている。したがって、詳細については、該当する論文を参照されたい。

ここで、さらに、第２の図解図９３０が固有振動数に適した、ヒト蝸牛の基端からの聴覚細胞の距離を示すことに注意されたい。このことから、高振動数に属する聴覚細胞はヒト蝸牛の基端の近くに配置されるが、低振動数に属する聴覚細胞はヒト蝸牛の基端から遠く離れて配置されることがわかる。

しかし、第１図解図９１０および第２図解図９３０からなる図は、聴覚神経の待ち時間が低周波（約０．５ｋＨｚ未満）について堅調に増加することを示す。このことから、基底膜の終端に近く（すなわち、蝸牛の基端から遠く）では伝播時間がかなり減少すると結論を下すことができる。

既に図８を参照して説明されているように、前述の聴覚神経線維の待ち時間は、聴細胞に連結する複数の神経線維上の活動電位を説明している神経活動パターンにおけるトラジェクトリの湾曲をもたらす。

更なる説明として、図１０は、母音「ｉ」と７００Ｈｚ、９００Ｈｚ、１１００Ｈｚの混合非和声音に関する蝸牛電気図の図解図を示す。ここで、横座標１０１０は時間を表し、縦座標１０２０は周波数を表す。該当する母音「ｉ」の蝸牛電気図において、トラジェクトリを再び明らかに認識することができ、そのうち、いくつか選択したトラジェクトリを１０５０によって表示する。同様に、混合非和声音の蝸牛電気図は、１０６０によって示されるトラジェクトリを示す。

図１１は、母音「Ａ」に関する蝸牛電気図、伝達物質放出確率および伝達物質小胞放出の更なる図解図を示す。ここで、蝸牛電気図を第１図解図１１１０に示す。第２図解図１１２０は、蝸牛電気図に基づく伝達物質放出確率を示す。ここで、蝸牛電気図は時間と周波数に関して、基底膜の刺激を示すことに注意されたい。これに基づき、上記で説明されているように、神経伝達物質小胞の放出確率を、聴細胞の機械、化学、電気プロセスの分析によって算出することができる。放出確率を、例えばｋ（ｔ）として示す。そして、放出確率ｋ（ｔ）に基づき、神経伝達物質小胞放出を、確率論的評価によって算出することができる。結果として生じる神経伝達物質小胞放出の例を、第３グラフ１１３０に示す。ここでまた、時間および周波数に関する小胞放出が特性トラジェクトリを有するということがわかる。そして、これらトラジェクトリは、シナプス間隙のモデル化により活動電位のトラジェクトリ（すなわち、神経活動パターン内のトラジェクトリ）上へと図表化する。

最後にここで、縦座標１１４０で示される周波数を関連聴細胞または神経線維（ｎ）とそれぞれ関連させることができることに注意されたい。したがって、示したトラジェクトリは、神経活動パターンでも非常に類似した形で発生する。

図１２は、本発明の第２実施形態に係る、音声信号の分析の処理チェーンの図解図を示す。図１２の図解図を、全体として１２００によって示す。

図１２によれば、音声信号１２１０に基づいて、基底膜１２２０の運動が、複数の場所（または位置あるいは領域）で算出される。基底膜に沿った位置に応じた基底膜の刺激パターンが、トラジェクトリを認識する手段に直接供給されるか、または基底膜の刺激パターンに基づいて、今後の処理に使用される神経活動パターンが生成される。基底膜の刺激パターンは、同基底膜から生じる神経活動パターンと同じように、長時間にわたる観察において、音声信号に特徴的な複数のトラジェクトリを有する。ここで、図８および図９を参照して説明した高周波と低周波との実行時間差に基づいて、トラジェクトリは一般的に湾曲している。それとは別に、例えばトラジェクトリを中断することもできることに注意されたい。さらに、個々の周波数帯域または基底膜空間領域で、異なる刺激パターンおよびトラジェクトリが発生可能である。中断されたトラジェクトリまたは一部のトラジェクトリは、特定の周波数帯域において刺激されるだけであるが、例えば音声信号について特徴的である。

示された神経活動パターン１２３０または神経活動パターンに類似している基底膜刺激パターンは、音響コア１２４０に供給される。音響コアは、２つのピーク間の時間を検出するように実施される。それとは別に、音響コアの作業は神経活動パターン（または基底膜刺激パターン）におけるトラジェクトリを識別することであることに注意されたい。音響コアは、全周波数帯域、すなわち神経活動パターンを形成する全ての神経線維、または選択された部分範囲を分析するために実行できる。更に、様々な組み合わせの部分範囲および全周波数帯域両方を並行して分析することが可能である。

関係する最小数の神経線維が活動パターン１２３０を有する場合、トラジェクトリを認識するために音響コア１２４０は実行され、活動パターン１２３０は時間に関する神経線維数の表示において、一般的に曲線形の過程に相当する。そして、音響コア１２４０は、出力信号として、トラジェクトリの時間的位置を表す一連の時間情報を提供する。例えば、これは、トラジェクトリの開始時点であっても、トラジェクトリ内の中間時点であってもよい。それとは別に、今後の処理（例えば音声認識）用に複数の周波数帯について部分的な情報を利用できるように、複数の周波数帯または複数の神経線維群に関し、評価を並行して実行することが好ましい点に注意されたい。音響コア１２４０の典型的な出力信号を、図解図１２５０に示す。ここで、音響コア１２４０の出力信号は、神経活動パターン１２３０に関するデータ量がかなり減少する、向上した分析信号を表している。音響コアの出力信号１２５０は、トラジェクトリと関連した１または幾つかの周波数帯についての離散時点のみを表す。ここで、離散時点を１２６０によって示す。それとは別に、トラジェクトリの時間的位置を表す周波数帯に従って分離した情報は、特に音声認識に適している。

図１３は、神経活動パターンの発明プロセスの装置のブロック図を示す。図１３に示される装置を、全体として１３００によって示す。示されている装置１３００は、複数の段階１３１０、１３１２、１３１４を有し、第１段階１３１０は、神経細胞から信号１３２０、１３２２、１３２４を並行して受信する。信号１３２０、１３２２、１３２４は、好ましくは対応する神経細胞に連結した神経線維上の活動電位を表し、したがって、神経活動パターンを表す。

そして、例えば、第１段階１３１０において、第１遅延手段１３３０における第１神経信号１３２０は遅延を受け、遅延神経信号１３３２として第２段階１３１２まで進められる。同様の方法にて、第２神経信号１３２２は、第１段階１３１０において遅延し、遅延神経信号として第２段階１３１２まで進められる。同様の方法で、残りの神経信号（すなわち例えば、第ｎ番目の神経信号１３２４）も、第１段階１３１０において処理される。

第２段階１３１２が第１段階１３１０と並行して実行され、したがってさらに遅延神経信号１３３２、１３３４、１３３６の遅延進行を可能にし、２回遅延された神経信号が生じる。ここで、神経活動パターンの本発明の処理装置は、第１段階１３１０または第２段階１３１２というように組み合わされた、直列接続された複数の段階を含む。したがって、神経信号１３２０、１３２２、１３２４は複数の段階１３１０、１３１２、１３１４を通じて並行に前進し、各段階は、設定可能な遅延を神経信号に付加する。

更に、各段階１３１０、１３１２、１３１４を実行して、同時に入力または出力神経信号の和（または、それぞれ、ｍ回遅延神経信号）を生み出す。更に、段階１３１０、１３１２、１３１４を実行して、ある決められた時点で少なくとも所定数の神経信号または遅延神経信号それぞれ（すなわち、入力または出力神経信号）が活動的かどうか（または活動電位を有するかどうか）を決定する目的で、この和を設定可能な閾値と比較することが好ましい。

段階１３１０、１３１２、１３１４に存在する遅延手段の遅延を異なって設定し、例えば、第１神経信号１３２０は、段階１３１０、１３１２、１３１４を通過する際、第２神経信号１３２２とは異なる遅延を受けることが更に好ましい。例えば、神経信号１３２０、１３２２、１３２４に関し、段階１３１０、１３１２、１３１４を通過する際、異なる全遅延が起きるように遅延を設定することができる（例えば、２つの神経信号が同様に遅れることは、もちろん認められる）。言い換えれば、手段１３００は、全ての神経信号について同じ遅延が起こらないように実行されることが好ましい。それとは別に、１段階に含まれる遅延手段が複数の神経信号について同じ遅延を有さないように、ｊ段階１３１０、１３１２、１３１４の存在下では、少なくとも（ｊ−１）段階１３１０、１３１２を実行することが有利である。このことにより、本発明の手段１３００に入って来る神経活動パターンは、上述の手段を通過する際、時間的にゆがめられること、すなわち個々の神経信号が他の神経信号に対して時間的にずれることを達成することができる。そして、このゆがみにより、時間図解図において、曲線状のパターン、すなわちトラジェクトリを神経活動パターンにおいて直線にすることができる。

ある段階内の和の生成により、元々曲がっていたトラジェクトリが、神経活動パターンにおいていつ直線に曲げられたかが分かることに更に注意されたい（このことは、一定数の遅延神経信号が、略同時にまたは時間的に重なって活動電位を有するという事実によって説明される）。

手段１３００の機能を、図１４を参照して説明する。図１４は、神経活動パターンの本発明の処理装置１３００における信号の典型となる図解図を示す。図１４の図解図を、全体として１４００によって示す。

ここで、第１図解図１４１０は、装置１３００の入力における典型的な神経活動パターンを表す。ここで、例として、４つの神経細胞（またはそれぞれ４つの神経線維上）の信号を、時間的経過において示す。それとは別に、活動電位１４１２がトラジェクトリ１３１４を形成することに注意されたい。図示の通り、時間的図解図におけるトラジェクトリ１４１４は強い湾曲を有しており、これは第１段階１３１０の入力において異なる神経線維の活動電位１４１２が時間的にかなりずれているからである。したがって、第１段階１３１０において、決まった各時点では活動電位が１つだけ存在し、第１段階に付加される活動電位の和の閾値（例えば２に設定）を超えない。従って、第１段階は、閾値出力において出力信号を提供しない。

第２の図解図１４２０は、第１段階１３１０の出力での状態を表す。ここで、第１段階１３１０において、第１神経細胞ＮＺ１から提供される神経信号は、他の段階によって提供される神経信号より大きく遅れることを仮定する。それとは別に、ある例では、第４神経細胞ＮＺ４から提供される神経信号の遅れは最も小さいが、第３神経細胞ＮＺ３からの神経信号はそれより多少遅れ、神経細胞ＮＺ２およびＮＺ１からの神経信号の遅延は更に大きい。一般に、低周波に応答する神経細胞に属する信号は、高周波を検出する神経細胞からの神経信号と比較して、遅れは小さい。

したがって、更に第２の図解図は、時間の関数としての活動電位１４２４を示し、活動電位１４２２は、トラジェクトリ１４２４を形成する。第２図解図１４２０から分かるように、第１段階の出力でのトラジェクトリ１４２４の湾曲は、第１段階の入力でのトラジセェクトリ１４１４の（それぞれ、時間―場所または時間―周波数）湾曲より小さい。これは、第１段階の遅延手段（例：１３３０）における異なる神経細胞と関連した神経信号の異なる遅延から生じている。これにより、曲がったトラジェクトリは、いわばまっすぐになる。第２図解図１４２０から分かるように、第２トラジェクトリ１４２４には、依然として湾曲が残っているが、その結果、異なる神経細胞または神経線維から発生する活動電位１４２２が、第１段階１３１０の出力、または第２段階の入力に全て付加されるわけではない。

また、第２段階１３１２は更に遅延を引き起こし、ここでもやはり低周波に関して敏感な神経細胞の信号は、高周波に関して敏感な神経細胞の信号より遅れが小さい。第３図解図１４３０は、第２段階出力で第２段階１３１２において再び遅れる神経信号を示す。第３の図解図１４３０から、この例において、数個の神経細胞の活動電位１４３２が同時に第２段階の出力に付加されるように、第２段階出力における神経信号がそれぞれ遅れるということが分かる。言い換えれば、活動電位１４３２によって表されるトラジェクトリ１４３４は、少なくとも略まっすぐになる。したがって、活動電位１４３２は同時、または略同時に（但し、少なくとも時間的に重複して）発生し、その結果、第２段階の出力（または、第３段階の入力）に付加される信号の加算による同時発生には、所定の閾値（例えば、２または３）を超すほど高く目立ったピークがある。

言い換えれば、適切な加算手段（あるいは、別の適切な手段）によって、曲がったトラジェクトリがいつまっすぐになったかを認識することができる。関連した情報によって、トラジェクトリの開始時点およびトラジェクトリの形状にさかのぼった結論が可能となる。トラジェクトリがまっすぐになるまでにどれだけ多くの段階を通過したかを、正確に決定することができる。これにより、手段１３００の段階における個々の神経信号に関する遅延が分かる場合、トラジェクトリの原形を判断することもできる。更に、段階の通過時間を知ることが好ましく、その結果、トラジェクトリが手段１３００に入り始める時点を決定できる。したがって、分析表示には、トラジェクトリの特性時間情報およびトラジェクトリの形状または湾曲に関する情報を含めることができる。

そして、トラジェクトリの形状についてのさらなる情報は、分析表示のさらなる処理において、例えば、音声認識を容易にするために、または、音声認識の認識品質を改善するために、有利に用いることができる。

それとは別に、理解を改善するための第４の図解図１４４０は、第３段階の出力での出力信号を示すことにも注意されたい。しかしながら、活動電位１４４２は、トラジェクトリのさらなる変形によって再び曲げられるトラジェクトリ１４４４を示している。

段階１３１０、１３１２、１３１４における遅延は、異なる方法で達成できることに注意されたい。遅延手段（例えば１３３０）は、例えば計時されてもよく、および／または、連続的にまたは別々に設定可能な遅延手段であってもよい。それとは別に、１つまたはいくつかの遅延手段は、１つまたはいくつかの神経信号に対して所定の段階で非活性化されることも可能であり、その結果、いくつかの神経信号は、できるだけ低い遅延を有する１つの段階を通して送られる。それとは別に、手段１３００は、全体がアナログまたはデジタル回路として実施できることに注意されたい。

図１５は、本発明の第２実施形態による音声信号の分析表示の本発明の算出のための典型的なヒューベル・ウィーゼル・ネットワークの回路図を示す。図１５の回路図は、その全体が１５００によって示される。第１の回路ブロック１５１０は、入力信号１５２０、１５２２、１５２４を受信し、それらは、例えば基底膜の神経活動パターンまたは刺激パターンを表すことができる。そして、入力信号１５２０、１５２２、１５２４は、複数の段階１５３０、１５３２、１５３４を通して送られる。このように、入力信号１５２０は、複数の段階１５３０、１５３２、１５３４を通過し、１つの段階１５３０、１５３２、１５３４における入力信号１５２０は、遅延手段を通過するか、または、後段に直接送られる。言い換えれば、遅延手段は、架橋することもできる。

言い換えれば、各段階は、信号ごとに、切換可能な遅延手段を含み、遅延手段は、切り換えることができ、または、入力信号が通り抜ける信号路において架橋することができる。各段階の入力部における信号は、合算器１５４０、１５４２、１５４４に分岐されまたは入力され、段階の入力部に入力されるそれぞれの信号は、合計される。このように、第１の回路ブロック１５１０は、遅延素子のグリッドと示された方法で接続される加算器とを形成する。

ヒューベル・ウィーゼル・ネットワーク１５００は、閾値手段１５５０をさらに含み、閾値レジスタ１５６０、１５６２、１５６４からの各１つの値と合算器１５４０、１５４３、１５４４の出力とは、比較器１５７０、１５７２、１５７４に供給される。ここで、比較器１５７０、１５７２、１５７４の出力信号１５８０、１５８２、１５８４は、所定の段階１５３０、１５３２、１５３４の入力で多数の信号が同時に活性化されているかどうかについての表示を提供し、活性化されている出力信号１５８０、１５８２、１５８４が出力される最小数は、閾値レジスタ１５６０、１５６２、１５６４によって決定される。言い換えれば、それは、第１のブロック１５１０の入力１５２０、１５２２、１５２４を介して読み込まれたトラジェクトリが直線状にされた場合（またはいくつかの段階１５３０、１５３２、１５３４を通過した後）に、合算器１５４０、１５４２、１５４４と閾値レジスタ１５６０、１５６２、１５６４とに接続される比較器１５７０、１５７２、１５７４によって決定できる。

ここで、個々の段階１５３０、１５３２、１５３４の遅延は、多数のトラジェクトリ（またはトラジェクトリ形状のそれぞれ）の認識を可能にするために適切に与えられる。

図１６は、本発明の第２実施形態による音声信号の分析表示の本発明の算出のためのヒューベル・ウィーゼル・ネットワークのブロック図を示す。示されたヒューベル・ウィーゼル・ネットワークは、その全体が１６００によって示される。

入力ニューロン１６１０は、聴覚モデルの基底膜の神経活動パターンまたは刺激パターンを受信するために、並行して提供される時間信号の形式で配置される。神経活動パターン（または基底膜の刺激パターンのそれぞれ）は、神経網のいくつかの段階を通して遅延ニューロンの最適統合によって送られる。遅延ニューロン１６２０は、段階において入力ニューロン１６１０から提供される信号が遅延しないように、架橋できることにも注意されたい。神経網は、出力ニューロン１６３０をさらに含む。ここで、神経網１６００の接続は、図１６から取ることができる。示された神経網は、それぞれ、神経活動パターン（または基底膜刺激パターンのそれぞれ）において、神経網１６００の入力ニューロン１６１０を介して入力される、曲げられた曲線またはトラジェクトリを認識することが可能であることに注意されたい。ここで、神経網は、入力ニューロン１６１０を介して入力される神経活動パターンにおいてトラジェクトリの時点および形状の双方を決定することが（トレーニング後に）可能であり、活性化されている出力ニューロンは、この情報を示す。この結果、トラジェクトリの形状および時間についてのその情報は、出力ニューロンが活性化されている場合にその事実によって符号化される。

図１７は、最終的に、神経網１６００をトレーニングするために用いられる例示的なトレーニングパターンの図解図を示す。その結果、トレーニング後、神経網１６００は、対応して直線状にされまたは曲げられたコースを、トラジェクトリとみなすことが可能である。

このように、ヒューベル・ウィーゼル・ネットワーク１６００が神経活動パターンにおいてトラジェクトリを認識するために非常に適切であることに注意されたい。このために、神経活動パターンは、ヒューベル・ウィーゼル・ネットワークの入力部１５２０、１５２２、１５２４に入力されるだけである。それから、比較器１５７０、１５７２、１５７４の出力部１５８０、１５８２、１５８４において、信号は、トラジェクトリの形状および時間的位置についての表示を含んで利用可能である。出力信号１５８０、１５８２、１５８４は、もちろん、必要に応じて、それから例えばトラジェクトリについての時間情報を直接見ることができるように、解釈しやすい形式でもたらすことができる。そして、時間情報は、有利な分析表示を形成する。

それとは別に、神経活動パターンにおけるトラジェクトリの認識に非常によく適している図１７に示される神経網１７００は、Ａ．Ｂｒｕｅｃｋｍａｎｎ、Ｓ．ＫｌｅｆｅｎｚおよびＡ．Ｗｕｅｎｓｃｈｅの論文「２次元−傾斜および正弦波形状検出のための神経網」（ＣＩＳＴ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｃｉｅｎｔｉｆｉｃ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ＩＳＳＮ １７２７―６２０９）に、詳細に記載されている。

神経活動パターンの処理がいわゆるハフ変換（米国特許第３，０６９，６５４号参照）の適用によって好ましくは実行されることにさらに注意されたい。ハフ変換は、スペース／時間パターンにおいて連続したトラジェクトリを効果的な方法で認識することができる。このように、ハフ変換は、本発明の範囲内のように、音声信号から分析表示を抽出するために特に適しており、聴覚モデルの神経活動パターンにおけるトラジェクトリは、さらなる分析のために有利に用いることができる音声信号の特性情報を表すことが見出されている。

また、他の周知の方法が、神経活動パターンにおけるトラジェクトリを認識するためにパターン認識に用いることができることにさらに注意されたい。ここで、特に有利なそのような方法は、それが見出されているように、曲線の認識を可能にするように用いることができ、神経活動パターンのトラジェクトリが典型的に双曲線形状を含む。ここで、複数の神経のための神経活動パターンが時間とともに結果として二次元パターンになることが考慮され、いくつかの神経線維上の第１の方向に沿って、信号は、例えば強度分布または数値によって、それぞれ表されるが、第２の方向において、時間的展開が示される。このように、神経活動パターンの時間経過のための説明の典型的な方法は、例えば、示された蝸牛図（蝸牛電気図）に類似させることができる。

このように、曲線を認識することができるどのようなパターン認識アルゴリズムも使用することができる。しかしながら、ハフ変換の適用は、ハフ変換が曲線の認識に特に適しているので、特に有利であることが見出されている。それとは別に、出力ニューロン（または比較器それぞれ）の閾値または応答感度が、それぞれ、最適に設定されてさえいれば、配列１６００または１７００におけるハフ変換を実行する場合、さらに、いくつかの密接に隣接されたトラジェクトリが存在する場合に、良好な認識結果を達成できることに注意されたい。

ハフ変換（または他のパターン認識オペレーション）に従って、トラジェクトリの長さを認識することがさらに可能であり、トラジェクトリの時点および形状についての情報とは別にさらに次の分析のための情報が利用できる。

それとは別に、神経活動パターンの時間説明上の二次元パターン比較は、連続したトラジェクトリの時間的位置を表す一連の時間情報を得るために実行できることに注意されたい。

音声信号の分析表示に基づいてパターン認識を実行することが有利であることにさらに注意されたい。本発明によれば、２つの特に有利な分析表示が存在する。正確には、神経活動パターンが音声信号の分析に特に有利に用いることができることが見出されている。さらに、神経活動パターンに含まれるトラジェクトリについての時間情報を含んでいる表示も、音声信号の分析に特に適している。神経活動パターンと神経活動パターンに含まれるトラジェクトリについての情報を含んでいる時間表示との双方は、以下において音声信号表現と呼ばれる。

図１８は、音声信号を識別する手段の概略図を示す。図１８に示される手段は、全体が１８００によって示される。この手段は、音声信号データベース１８２０に結合される比較手段１８１０を含む。さらに、比較手段１８１０には、音声信号表現１８３０が供給される。音声信号表現１８３０と音声信号データベースに含まれる比較音声信号表現とに基づいて、比較手段１８１０は、音声信号表現１８３０が音声信号データベースに記憶される少なくとも１つの比較音声信号表現１８４０に対する類似性を含むかどうかについてのステートメントを含んでいる比較結果１８５０を生成する。比較結果１８５０は、もちろん、比較音声信号表現１８４０に対して音声信号表現１８３０が最も大きな類似性を有するという事実についてのステートメントを含むことができる。

比較手段１８１０は、２つの音声信号表現を比較するためのどのような装置も含むことができる。例えば、数理的方法に基づいて音声信号表現および比較音声信号表現の間の数理的距離を決定できる手段を用いることが可能である。さらに、神経網は、音声信号表現１８３０と比較音声信号表現１８４０とを比較するために用いることができる。神経網は、例えば、複数の音声信号表現によりトレーニングできる。

音声信号データベース１８２０が例えば音楽を示す複数の比較音声信号表現を含むことができることに注意されたい。音声信号データベースが、個々の音、例えば母音または子音を示すだけの比較音声信号表現を含むことも、さらに同様に可能である。このように、音声信号を識別する示された手段１８００は、音声認識のために効果的に用いることもでき、選択された音声信号表現は、そのような応用に特に適している。

図１９は、音声信号表現から音声信号フィンガープリントを抽出する手段の概略図を示す。音声信号フィンガープリントを抽出する図１９に示される手段は、全体が１９００によって示される。ここで、音声信号表現１９１０は、特徴抽出のための手段１９２０に供給される。特徴抽出のための手段１９２０は、音声信号表現１９１０に基づいて、音声信号フィンガープリント１９３０を生成する。そして、音声信号フィンガープリント１９３０は、音声信号データベース１９４０に好ましくは供給される。

特徴抽出のための手段１９２０は、例えば、音声信号表現１９１０から音程および／またはリズムを抽出するために実施することができる。音声信号表現が神経活動パターンである場合、例えば、音程は、神経活動パターンに最大活動を含んでいるそれらの神経線維を識別することによって抽出できる。神経活動パターンにおいて最も高い活動を含んでいる神経線維は、神経線維が典型的に好ましい周波数を含むように、実際に音程のための正しい尺度である。さらに、変化（または対応する変化時点それぞれ）は、音声信号のリズムを決定するために、神経活動パターンに用いることができる。神経活動パターンにおける変化の認識は、神経活動パターンの連続した瞬時値の間で、距離尺度、例えば数学的ノルムを形成することによって、比較的に簡単に可能である。このように、重要な変化は、距離尺度が所定値を超える場合に認識できる。

また、パターン認識のための方法は、音声信号フィンガープリントを生成するために、音声信号表現１９１０に適用することができる。このように、音声信号フィンガープリントは、例えば、音声信号の音程および／またはリズムについての混合情報を含むことができる。

このように、音声信号表現１９１０が、さらに、神経活動パターンに含まれるトラジェクトリに関する時間情報を含んでいる表現である場合、特徴抽出は、特に簡単な方法で可能である。例えば、連続したトラジェクトリの間の時間距離が算出され、そして、それは音声信号のための特性である。

さらに、トラジェクトリの形状が特に重要な特徴であることが見出されている。このように、音声信号フィンガープリントにおいて特別な形状のトラジェクトリに関する情報を記憶することが可能であり、それによって、音声信号フィンガープリント１９３０のデータ量は、低減できる。これは、再び、データベースに音声信号フィンガープリントの効率的な記憶を可能にする。

いくつかのトラジェクトリが特徴形状および特徴距離を含む音声事象に典型的に関連していることが発見されている。このように、例えば、特徴抽出１９２０において、一群の複数のトラジェクトリが評価され、そこで、１つのシンボルが一群のトラジェクトリにそれぞれ関連付けられる。それから、連続した群のトラジェクトリに属する一連のシンボルは、音声信号フィンガープリントを形成し、データベースに記憶されることができる。一群のトラジェクトリの分析に基づいて、さらに、音声認識は、母音および子音がそれぞれ（トラジェクトリの距離および形状に関して）特性トラジェクトリパターンを含み認識できるように実現できる。

結果として、本発明は聴覚系の第１段階の神経生理学的初期化モデルを提供すると言うことができる。このモデルは、蝸牛モデリング、不動毛運動方程式の調和振動モデルおよび内有毛細胞の神経伝達物質小胞放出（ＩＨＣ ｎｅｕｒｏｔｒａｎｓｍｉｔｔｅｒ ｖｅｓｉｃｌｅ ｒｅｌｅａｓｅ）のためのモデルからなる。さらに、本発明のモデルは、シナプス後活動電位の生成のためのスペシフィケーションを含む。好ましくは、バネ剛性定数値がラスターフォース電子顕微鏡を用いて決定される不動毛の説明のために用いられることに注意されたい。本発明のモデルは、例えば、蝸牛移植が聴覚神経を刺激するように、蝸牛移植のシミュレーションを最適化するために役立つ。

装置が神経生理学方法で適合されることは、本発明の主な利点である。さらに、有利な方法において、神経伝達物質小胞の確率論的な放出が考慮される。基底膜速度を不動毛運動に結合するために、本発明の振動子モデルが用いられ、不動毛運動のための運動方程式が最適化される。不動毛振動のための力の方程式または運動の方程式は、それぞれ、次式で示される。

活動電位のシナプス後生成は、同様にモデル化される（Ｅ．ＮｅｈｅｒおよびＴ．Ｓａｋａｂａの「ノイズから推定される量子的放出パラメータ」、Ｊ．Ｎｅｕｒｏｓｃｉｅｎｃｅ、２００１年１２月１５日、２１（２４）：９６３８−９６５４参照）。

言い換えれば、本発明は、音声信号の分析のための装置を示し、内耳における音の機械的な転換から、小骨を通しての伝達、蝸牛の流体力学的な振動刺激、内有毛細胞における機械・電気変換、聴覚神経の螺旋神経節細胞のパルススパイクの生成までの、聴覚系の第１段階が、モデル化される。

本発明の特別な効果は、基底膜刺激のために採用されるモデルの使用である。更に、本発明において、内有毛細胞の特に有利なモデリングが使用される。本発明によるシナプス間隙の神経伝達物質の放出は、小胞において詰め込まれて行われる。本発明は、基底膜および不動毛の動きの間の結合の特に有利なモデルを更に含み、調和振動子のモデルが使用された。本発明の更なる効果は、神経生理学的なイニシャライズにもある。バネ剛性定数のために、ＩＨＣテーブル値は、マウスに対して仮定された。シナプス後スパイク生成は、拡散／不応モデルを用いている本発明によって生じる。したがって、本発明は、極めて現実的に聴覚処理を再生して、すなわち、これを生成して、分析することが可能である。

これとは別に、本発明は蝸牛進行波の拡大のための装置を提供する点に留意する必要がある。対応する装置は、基底膜に沿って遅延トラジェクトリのための周波数依存性算定式に基づく。同式は、グリーンバーグの研究に基づく。トラジェクトリの遅延は、結果として、聴覚モデルの基底膜上のインパルスの伝達の波群の速さになる。低周波が、基底膜の終端で記録されるため、低周波は、結果として、基底膜上の時間―遅延応答になる。したがって、低周波に対して、基底膜のランタイム遅れは、効果的である。

曲線状の足跡またはトラジェクトリは、それぞれ、ハフ変換を用いて、有利に決定される。したがって、ハフ変換は、円、楕円または線を認識するために、非常に適しており、さらに、他の線形の曲線は、ハフ変換を用いて認識される。これとは別に、ヒューベル・ウィーゼル理論によるタイミング・フィード・フォワード・ネットワークが、異なる周波数の棒状の、または正弦曲線の音声信号のようなパターンを学習することに注意されたい。言い換えると、ヒューベル・ウィーゼル・ネットワークは、記載されている遅延線方法により、自動構造化および自己編成型方法のハフ変換を学習することができる。

本発明の特別な発見は、ハフ変換が、並行パルス・スパイク列から情報を得るための聴覚モデルの聴覚神経と直接結合されるということである。言い換えれば、ハフ変換は、並行パルス・スパイク列を処理するために、聴覚神経に直接的に接続される。ここで、ハフ変換は、遅延トラジェクトリを直線化し、信号形状（湾曲）更にはトラジェクトリの発生時点を検出する。ハフ変換において、データは、いくつかの段階を通して連続的に伝えられる。他の分析法とは対照的に、時間ウィンドウ機能は、ここでは必要ではない。

言い換えると、本発明は、内耳における機械的な音の変換、小骨を通じての伝送、蝸牛の流体力学的な振動刺激、聴覚神経の螺旋神経節細胞におけるパルス・スパイクの生成までの内有毛細胞の機械・電気変換から、聴覚系の第一段階をモデル化する。あらゆる音声信号は、時間とともに示される二次元の基底膜速度プロファイルを生成し、基底膜は、好ましくは、ｎ個のセクションに分けられる。ここで、クリック・インパルスは、基底膜上の進行波運動を生成する。正弦波刺激信号の聴覚神経線維の時間遅れ（ＡＮ線維時間遅れ）の遅延トラジェクトリは、周波数依存性であって、グリーンバーグの同式（ｄａ＝１０００／ｆｉ＋２ｍｓ）に従って算出される。例えば、母音を含んでいる音声信号は、遅延トラジェクトリの束によって与えられ、遅延トラジェクトリは、それぞれ周波数性依存の形状を含む。

この結果、本発明は、遅延トラジェクトリを検出することを可能にする。ここで、好ましくは、正弦波パターン、または直線の検出をそれ自身で学習することができる独創的なヒューベル・ウィーゼル神経シミュレータが用いられる。対応するヒューベル・ウィーゼル神経シミュレータは、好ましくは、音声信号に基づいて分析信号を生成するための発明の装置において有利に使用できる並行ハフ変換を学習することができる。

発明の方法において、遅延トラジェクトリは、並行ハフ変換によって決定され、トラジェクトリが、これによって、現在の信号形状を確認するために認識されるのがどの時かを指し示される。直接神経活動パターンからのハフ変換の発明の使用において、サイズ―形状―イメージは、一段階において生成される。発明の方法において、音声信号のさらなる分析は、ハフ―スペースにおいて生じさせることができる。

発明の装置は、発明の方法を明確にする点にも更に注意されたい。該方法は、いかなる形であれ実行され、電子算出手段は、特に発明の方法を実行することに適している。

換言すれば、本発明の方法および本発明の装置は、ハードウェアまたはソフトウエアで実施することができる。この実施は、対応する方法が実行されるように、プログラム可能なコンピュータシステムと協働する、電子的に読み取り可能な制御信号を有する、例えばフロッピー（登録商標）ディスク、ＣＤ、ＤＶＤまたはフラシュメモリーなどのデジタル記憶媒体上で実行することができる。一般に、本発明は、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み取り可能なキャリアに記憶された本発明の方法を実行するためのプログラムコードを有するコンピュータプログラム製品にも存在する。したがって、換言すると、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現することができる。

このように、本発明は、ハフ変換を用いて基底膜振動パターンの処理を示す。

本発明の第１実施形態に従い、音声信号に基づいて音声信号の分析表示を評価するための本発明の方法のフローチャートを示す。 本発明の第１実施形態に従い、音声信号に基づいて神経伝達物質小胞発生を評価する発明の本方法のフローチャートを示す。 本発明の第１実施形態に従い、音声信号に基づいて基底膜運動を評価する本発明の方法のフローチャートを示す。 本発明の第１実施形態に従い、基底膜運動に基づいて不動毛の偏位を評価するための本発明の方法のフローチャートを示す。 本発明の第１実施形態に従い、不動毛の偏位に基づいて神経伝達物質小胞発生を評価するための本発明の方法のフローチャートを示す。 本発明の第１実施形態に従い、神経伝達物質小胞発生に基づいて神経線維の活動電位を評価する本発明の方法のブロック図を示す。 本発明の第２実施形態に従い、音声信号の分析表示を評価する本発明の方法のフローチャートを示す。 典型的な神経活性パターンの図解図を示す。 基底膜上にある差周波数の音声信号の伝播遅延の図解図を示す。 母音「ｉ」の蝸牛電気図の図解図を示す。 母音「Ａ」の蝸牛電気図、伝達物質の放出確率および伝達物質の小胞放出の図解図を示す。 本発明の第２実施形態に従い、音声信号の本発明の分析のための処理チェーンのグラフを示す。 本発明の第２実施形態に従い、神経活動パターンの本発明の処理装置のブロック図を示す。 本発明の第２の実施形態に従い、神経活動パターンの本発明の処理装置の信号の図解図を示す。 本発明の第２実施形態に従い、音声信号の分析表示の本発明の評価のためのヒューベル−ウィーゼル・ネットワークのブロック図を示す。 本発明の第２実施形態に従い、音声信号の分析表示の本発明の評価のためのヒューベル−ウィーゼル・ネットワークの概略図を示す。 ヒューベル−ウィーゼル・ネットワークをトレーニングするトレーニングパターンのグラフ表示を示す。 音声信号を識別する手段の概略図である。 音声信号成分を抽出する手段の概略図である。 聴覚末梢系の図解図である。 外耳の透過関数の図解図である。 中耳および展開された蝸牛の図解図である。 聴覚野の図解図である。 蝸牛断面の図解図である。 有毛細胞の概略図である。 聴覚末梢系の組織の図解図である。 人間の耳における信号伝達のメカニズムの図解図である。 人間の耳の基底膜の形状および刺激に対する基底膜の反応の図解図である。 内耳を説明するための拡張ツビッカーモデルの図解図である。 コルチ器官の図解図である。 有毛細胞の組織の図解図である。 有毛細胞における化学プロセスの図解図である。 間隔ピットの図解図である。

Claims (33)

1. 音声信号の分析表示（７６０）を得るために、前記音声信号を分析するための装置（７００）であって、
   前記音声信号（７１０）に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出する手段（７２０）と、
   連続したトラジェクトリ（７４０，７５０）の時間的な位置を示す分析表示（７６０）として一連の時間情報（ｔ１，ｔ２）を得るために神経活動パターンを処理する手段（７３０）とを含み、
   トラジェクトリ（７４０，７５０）は、音声信号（７１０）における同一の事象に基づく異なる神経線維（ＮＦ１，ＮＦ２，ＮＦ３，ＮＦ４，ＮＦ５）上の活動インパルスを含み、
   前記神経活動パターンを処理する手段（７３０）は、時間とともに前記神経活動パターンの変形された二次元表示を得るために時間とともに前記神経活動パターンの二次元表示を徐々に変形させ、前記神経活動パターンを処理する手段（７３０）が、時間とともに前記神経活動パターンの二次元表示を徐々に変形させるように実施されることにより、前記神経活動パターンにおける曲線状のトラジェクトリが徐々の変形により徐々に直線状にされ、ほぼ直線状のラインが時間とともに前記神経活動パターンの変形された二次元表示に含まれるときを認識し、ほぼ直線状のラインを前記トラジェクトリと認識し、トラジェクトリの時間的な位置を測定し、音声信号の分析表示として前記トラジェクトリに属する時間情報を提供するように実施され、
   前記神経活動パターンを処理する手段（７３０）は、前記神経活動パターンを複数の信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）の形で並行して受信し、前記信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）を直列に接続された複数の段階（１３１０，１３１２，１３１４；１５３０，１５３２，１５３４）を通って異なる速さで並行して送るために実施される曲線認識手段（１３００，１５００，１６００）を含み、少なくとも１つの所定の段階（１３１０，１３１２，１３１４；１５３０，１５３２，１５３４）は、直線状またはほぼ直線状のラインの存在を示す、少なくとも所定の数の信号が所定の段階において同時に活性化されるときを認識するために実施される閾値認識手段（１５６０，１５７０，１５６２，１５７２，１５６４，１５７５）を含む、装置。
2. 神経活動パターン（７３０）は、聴覚モデルの一群の神経線維の活動を示す、請求項１に記載の装置。
3. 時間情報（ｔ１，ｔ２）は、トラジェクトリ（７４０，７５０）の発生時点を示す、請求項１または請求項２に記載の装置。
4. 前記音声信号における同様の事象により条件付けられた活動インパルスが所定の最低数より大きい数の神経線維に与えられたときに、トラジェクトリ（７４０，７５０）を認識するように実行される、請求項１ないし請求項３のいずれかに記載の装置。
5. 音響事象として音声信号の中の母音、子音または音の始点を認識するために実施される、請求項１ないし請求項４のいずれかに記載の装置。
6. 前記聴覚モデルの基底膜上の進行波を示す神経活動パターンにおけるトラジェクトリを認識するために行われる、請求項１ないし請求項５のいずれかに記載の装置。
7. トラジェクトリは、前記聴覚モデルの前記基底膜上の進行波に関連した一群の隣接する神経線維における神経活動パターンと定義される、請求項１ないし請求項６のいずれかに記載の装置。
8. トラジェクトリは、一群の隣接する神経線維上の活動インパルスの発生によって定義され、前記活動インパルスは、進行波による隣接する神経線維の刺激を示す、請求項１ないし請求項７のいずれかに記載の装置。
9. 前記時間情報は、前記トラジェクトリの時間的な始点を示す、請求項１ないし請求項８のいずれかに記載の装置。
10. 所定のトラジェクトリの時間的な始点は、所定のトラジェクトリに関連する最初の活動インパルスが神経線維に影響を与える時点である、請求項９に記載の装置。
11. 神経活動パターンを処理するための手段（７３０）は、トラジェクトリ（７４０，７５０）の時間的な位置を定義し、前記音声信号の分析表示としてトラジェクトリ（７４０，７５０）に属する時間情報（ｔ１，ｔ２）を提供するために、時間とともに神経活動パターンによって形成される二次元表示において、トラジェクトリ（７４０，７５０）として直線状または曲線状のパターンを認識するように実施されるパターン認識手段を含む、請求項１ないし請求項１０のいずれかに記載の装置。
12. パターン認識手段は、前記分析表示の部分として前記トラジェクトリの形状に関する情報を提供するように実施される、請求項１１に記載の装置。
13. 前記トラジェクトリの形状に関する情報は、前記トラジェクトリの湾曲についての情報を含む、請求項１２に記載の装置。
14. パターン認識手段は、直線状または双曲線状のトラジェクトリを認識するように定義される、請求項１１ないし請求項１３のいずれかに記載の装置。
15. パターン認識手段は、前記分析表示の部分として前記トラジェクトリの長さに関する情報を提供するように実施される、請求項１１ないし請求項１４のいずれかに記載の装置。
16. 前記神経活動パターンを処理する手段（７３０）は、トラジェクトリを認識し、トラジェクトリの時間的な位置を示す時間情報を得るために、時間とともに神経活動パターンを示す二次元表示と、少なくとも１つの比較パターンとを比較するように実施されるパターン比較手段を含む、請求項１ないし請求項１５のいずれかに記載の装置。
17. 前記比較パターンは、直線または双曲線状の曲線である、請求項１６に記載の装置。
18. 前記曲線状のトラジェクトリを直線状にするために必要な複数の湾曲工程は、前記曲線状のトラジェクトリの湾曲に依存し、前記曲線状のトラジェクトリを直線状にするために必要な複数の工程は、前記トラジェクトリのオリジナルの形状のステイトメントを含む、請求項１ないし請求項１７のいずれかに記載の装置。
19. 少なくとも１つの段階（１３１０，１３１２，１３１４；１５３０，１５３２，１５３４）は、段階を通して信号を進めるときにそれぞれの信号を異なる程度に遅延させるように実施される、請求項１ないし請求項１８のいずれかに記載の装置。
20. 前記曲線認識手段（１３００；１５００；１６００）は、神経網である、請求項１ないし請求項１９のいずれかに記載の装置。
21. 前記神経活動パターンを処理する手段は、ハフ変換の評価に基づいてトラジェクトリを認識するために実施される、請求項１ないし請求項２０のいずれかに記載の装置。
22. 前記神経活動パターンを処理する手段は、並列ハフ変換を行う手段を含む、請求項１ないし請求項２１のいずれかに記載の装置。
23. さらに、時間情報（ｔ１，ｔ２）に基づいて、音声信号成分を分析する手段（１８００）を含む、請求項１ないし請求項２２のいずれかに記載の装置。
24. 前記音声信号成分を分析する手段は、比較結果としての音声信号成分に関する情報（１８５０）を提供するために、時間情報（ｔ１，ｔ２）とデータベース（１８２０）に存在する参照時間情報（１８４０）とを比較するように実施される比較手段（１８１０）を含む、請求項２３に記載の装置。
25. 音声信号成分を分析する手段は、それぞれの連続的なトラジェクトリに属する時間情報に基づいて、母音または子音を認識するために実施される、請求項２３または請求項２４に記載の装置。
26. 音声信号成分を分析する手段は、さらに、前記トラジェクトリの形状および／または湾曲に関する情報を用いるように実施される、請求項２３ないし請求項２５のいずれかに記載の装置。
27. 音声信号成分を分析する手段は、前記時間情報に基づいて、前記音声信号のリズムに関する情報を測定するように実施され、前記音声信号のリズムに関する情報は、前記音声信号の成分についての表示を示す、請求項２３ないし請求項２６のいずれかに記載の装置。
28. 音声信号の分析表示（７６０）を得るために、前記音声信号を分析するための装置（７００）であって、
    前記音声信号（７１０）に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出する手段（７２０）と、
    連続したトラジェクトリ（７４０，７５０）の時間的な位置を示す分析表示（７６０）として一連の時間情報（ｔ１，ｔ２）を得るために神経活動パターンを処理する手段（７３０）とを含み、
    トラジェクトリ（７４０，７５０）は、音声信号（７１０）における同一の事象に基づく異なる神経線維（ＮＦ１，ＮＦ２，ＮＦ３，ＮＦ４，ＮＦ５）上の活動インパルスを含み、
    前記神経活動パターンを処理する手段（７３０）は、前記神経活動パターンを複数の信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）の形で並行して受信し、前記信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）を直列に接続された複数の段階（１３１０，１３１２，１３１４；１５３０，１５３２，１５３４）を通って異なる速さで並行して送るために実施される曲線認識手段（１３００，１５００，１６００）を含み、少なくとも１つの所定の段階（１３１０，１３１２，１３１４；１５３０，１５３２，１５３４）は、少なくとも所定の数の信号が所定の段階において同時に活性化されるときを認識するために実施される閾値認識手段（１５６０，１５７０，１５６２，１５７２，１５６４，１５７５）を含む、装置。
29. 音声信号の分析表示を得るために、前記音声信号を分析するための方法であって、
    前記音声信号に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出するステップと、
    連続したトラジェクトリの時間的な位置を示す分析表示として一連の時間情報を得るために神経活動パターンを処理するステップとを含み、
    トラジェクトリは、音声信号における同一の事象に基づく異なる神経線維上の活動インパルスを含み、
    前記神経活動パターンを処理するステップは、
    時間とともに前記神経活動パターンの変形された二次元表示を得るために時間とともに前記神経活動パターンの二次元表示を徐々に変形させるステップであって、時間とともに前記神経活動パターンの二次元表示が徐々に変形して、前記神経活動パターンにおける曲線状のトラジェクトリが徐々の変形により徐々に直線状にされるステップと、
    ほぼ直線状のラインが時間とともに前記神経活動パターンの変形された二次元表示に含まれるときを認識するステップとを含み、
    前記神経活動パターンは複数の信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）の形で並行して受信され、
    前記信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）は直列に接続された複数の段階（１３１０，１３１２，１３１４；１５３０，１５３２，１５３４）を通って異なる速さで並行して送られ、
    直線状またはほぼ直線状のラインの存在を示す、少なくとも所定の数の信号が所定の段階において同時に活性化されるときが認識され、さらに
    ほぼ直線状のラインをトラジェクトリと認識するステップと、
    前記トラジェクトリの時間的な位置を測定するステップと、
    音声信号の分析表示として前記トラジェクトリに属する時間情報を供給するステップとを含む、方法。
30. 音声信号の分析表示を得るために、前記音声信号を分析するための方法であって、
    前記音声信号に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出するステップと、
    連続したトラジェクトリの時間的な位置を示す分析表示として一連の時間情報を得るために神経活動パターンを処理するステップとを含み、
    トラジェクトリは、音声信号における同一の事象に基づく異なる神経線維上の活動インパルスを含み、
    前記神経活動パターンを処理するステップは、
    前記神経活動パターンを複数の信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）の形で並行して受信するステップと、
    直列に接続された複数の段階（１３１０，１３１２，１３１４；１５３０，１５３３２，１５３４）を通して前記信号（１３２０，１３２２，１３２４；１５２０，１５２２，１５２４）を異なる速さで送るステップと、
    少なくとも所定の数の信号が所定の段階で同時に活性化されるときを認識するステップとを含む、方法。
31. 音声信号成分上の情報を得るために、前記音声信号を分析するための装置（７００）であって、
    前記音声信号（７１０）に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出する手段（７２０）と、
    連続したトラジェクトリ（７４０，７５０）の時間的な位置を示す分析表示（７６０）として一連の時間情報（ｔ１，ｔ２）を得るために神経活動パターンを処理する手段（７３０）とを含み、
    トラジェクトリ（７４０，７５０）は、音声信号（７１０）における同一の事象に基づく異なる神経線維（ＮＦ１，ＮＦ２，ＮＦ３，ＮＦ４，ＮＦ５）上の活動インパルスを含み、
    装置（７００）は、時間情報（ｔ１，ｔ２）に基づいて、音声信号成分を分析する手段（１８００）を含み、
    前記音声信号成分を分析する手段は、比較結果としての音声信号成分に関する情報（１８５０）を提供するために、時間情報（ｔ１，ｔ２）とデータベース（１８２０）に存在する参照時間情報（１８４０）とを比較するように実施される比較手段（１８１０）を含み、
    前記神経活動パターンを処理する手段（７３０）は、前記分析表示の部分として前記トラジェクトリの形状に関する情報を提供するように実施され、
    前記トラジェクトリの形状に関する情報は、前記トラジェクトリの湾曲についての情報を含み、
    音声信号成分を分析する手段は、前記トラジェクトリの湾曲に関する情報を用いるように実施される、装置。
32. 音声信号成分上の情報を得るために、音声信号を分析する方法であって、
    前記音声信号に基づいて聴覚モデルの神経線維に現われた神経活動パターンを時間とともに算出するステップと、
    連続したトラジェクトリの時間的な位置を示す分析表示として一連の時間情報を得るために神経活動パターンを処理するステップとを含み、
    トラジェクトリは、音声信号における同一の事象に基づく異なる神経線維上の活動インパルスを含み、
    さらに、時間情報に基づいて、音声信号成分を分析するステップを含み、
    前記音声信号成分を分析するステップは、比較結果としての音声信号成分に関する情報（１８５０）を提供するために、時間情報（ｔ１，ｔ２）とデータベース（１８２０）に存在する参照時間情報（１８４０）とを比較するステップを含み、
    前記トラジェクトリの形状に関する情報は、前記分析表示の部分として提供され、
    前記トラジェクトリの形状に関する情報は、前記トラジェクトリの湾曲に関する情報を含み、
    前記トラジェクトリの湾曲に関する情報は、音声信号成分を分析するときに用いられる、方法。
33. コンピュータ上で実行される際に、請求項２９、請求項３０または請求項３２の方法を実行するためのプログラムコードを有する、コンピュータプログラム。

Images