JP5129954B2 - 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム - Google Patents

遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム Download PDF

Info

Publication number
JP5129954B2
JP5129954B2 JP2006507068A JP2006507068A JP5129954B2 JP 5129954 B2 JP5129954 B2 JP 5129954B2 JP 2006507068 A JP2006507068 A JP 2006507068A JP 2006507068 A JP2006507068 A JP 2006507068A JP 5129954 B2 JP5129954 B2 JP 5129954B2
Authority
JP
Japan
Prior art keywords
generation
maps
values
parameter
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006507068A
Other languages
English (en)
Other versions
JP2006523117A (ja
Inventor
ウェイクフィールド,グレゴリー,ハワード
デン オナート,クリストファー バン
リニアウィーバー,ショーン,ケニース,リッジウェイ
パーキンソン,ウェンディー,スーザン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cochlear Ltd
Original Assignee
Cochlear Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cochlear Ltd filed Critical Cochlear Ltd
Publication of JP2006523117A publication Critical patent/JP2006523117A/ja
Application granted granted Critical
Publication of JP5129954B2 publication Critical patent/JP5129954B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36036Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the outer, middle or inner ear
    • A61N1/36038Cochlear stimulation
    • A61N1/36039Cochlear stimulation fitting procedures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • A61N1/05Electrodes for implantation or insertion into the body, e.g. heart electrode
    • A61N1/0526Head electrodes
    • A61N1/0541Cochlear electrodes

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Prostheses (AREA)
  • Electrotherapy Devices (AREA)

Description

発明の技術分野
本発明は蝸牛インプラントに関し、特に、蝸牛インプラントの適合における遺伝的アルゴリズムの使用に関する。
発明の背景
A. 蝸牛インプラント
現在の蝸牛インプラントプロテーゼは、個々の受容者にあつらえることができる様々な適合オプションを提供する。最も高レベルなものでは、いくつかの刺激「方法」の一つを選択することができる。各方法は、音響サウンド入力を蝸牛内の電極に与えられる一連の電気的刺激に変換するアルゴリズムを規定している。現在臨床的に使用されている方法の例は、SPEAK、ACE、CIS およびSAS方法である。
いずれの方法においても、個々の患者のために符号化と刺激を調整するように多大なパラメータとパラメータ値を設定できる。一つの方法用に選択できるパラメータとパラメータ値の例は、代表的な周波数帯(チャネル)の数、各チャネルに関連する蝸牛内及び/又は蝸牛外電極、各チャネルについてのパルス反復率、各チャネルについてのパルス幅、表示用に定期的に選択されるスペクトル最大値の数、各チャネルについての刺激電流への音圧マッピング(スレッシュホールド、コンフォートレベルおよび圧縮カーブ)、マイクロフォンからの可聴周波数のフロントエンドフィルタリング(プリエンファシス)、及び自動ゲインコントロールスレッシュホールド、圧縮率、およびアタック及びリリースの回数である。(ここで使用されている、「パラメータ値」なる用語はパラメータの値、選択可能なオプションがオン又はオフにプログラムされているか、および一般的に適合化手順の間になされるすべての選択をまとめたものをさす。)
会話を理解したりその他の音を認識したりする蝸牛インプラントユーザの能力は、この方法の選定およびパラメータの調整に強く依存している。全てのユーザに対して最適な効果を提供する単一のパラメータセットは存在しないことが知られている。一般に最適パフォーマンスを実現するには各ユーザが異なるパラメータセットを必要とするほどにユーザは雑多である。会話の聴取あるいはユーザの満足度を最大にするためには個人にあわせてパラメータ値を調整する必要がある。
臨床的専門家、通常は聴覚学者、の課題は、個々のユーザに最適な成果を提供するであろう「MAP」とよばれるパラメータセットを選択することである。数百、数千ものMAPがありうるので、すべての選択対象を余すところなく試して、個々のユーザへのそれぞれの性能を評価することは実用的でない。また、例えば、めがねや補聴器を合わせる場合のように限定された測定値セットに基づいた処方で最適MAPを同定することも不可能である。規範的テストによる蝸牛インプラントの最適な適合は、一貫して成功しているとは証明されていない。また、次々とそれぞれを最適な値に調整して、パラメータをひとつずつ最適化することも不可能である。なぜなら、パラメータは相互に強く作用し合っており、しばしば単調ではないからである。例えば、刺激率が上がると、電極一セットに対する成果は改善されるかもしれないが、別の電極セットに対して悪くなることがある。
この結果、臨床医たちは患者に装置のパラメータを適合させるために様々なアプローチを採用してきた。ある者は、全てのユーザに対して、単純にデフォルトパラメータを適合させている。ある者は、最適ではないにしても、多くのあるいはほとんどの人に彼らが良いと考える好ましいMAPsを採用している。これらは、個人的な経験、公開された性能データ、あるいは直感に基づくものであろう。何人かの臨床医は限定された選択対象のセットを評価している。ある者は、測定した知覚的限定事項と、適合パラメータとの推論された関係に基づいて個人パラメータを調整しようとしている。このようなアプローチは、時間がかかり、コストが高く、信頼できない。
個々の患者に対して最良の成果を実現する特定のMAPをシステマティックに同定する公知の方法はないという基本的な問題が残っている。この問題は、製造者が入手可能なパラメータレンジを広げたり、新規の符号化方法を取り入れたりするたびに悪化する。
規定の手順がない場合、適応手順がときに最適化の問題を解決するためにもちいられうる。適応手順は、一連の解決策を経過して、徐々に最良の結果に向かって集束ことを目的とする。従来の解析的最適化手順は、現在と過去の性能測定値を使用して各繰り返しにおいて、成果を増加的に改善するパラメータ調整を予測する。しかしながら、蝸牛インプラント適合の場合と同様に、パラメータ間に非リニアで非モノトニックな強い相互作用がある場合、これらの方法は通常失敗する。これは、絶対最大値ではなくむしろ局部最大値に集束するか、まったく集束しないこともある。又、人間の聴覚反応を測定する場合にしばしばあるように、測定値にノイズがある場合に失敗することがある。
参照すべき問題は、図1Aと1Bに明らかである。これらの図は、単純なケースを表しており、X軸およびY軸上の2つのパラメータの値を決定しなければならないだけである。垂直(Z)軸は、「適合関数」、すなわち、各X−Yのペアの値によっていかにすばらしい結果が出るかを示す。図1Aでは、いずれかの可変値は、他の可変値の最適化に根本的に影響することなく最適化することができる。ここには、「こぶ」が一つだけあり、結局、適応手順によって、そのこぶの頂点で適合関数が最大であるXおよびYの値が生じる。しかしながら、図1Bでは、それぞれの可変値の変化が、他方の可変値の最適値に影響している。一旦可変値がこぶの上に位置したら、適応手順によって、適合関数が(こぶの頂点で)局部的に最大であるX及びYの値が生じるだろう。しかし、可変値がけっして届かないより高いピークの別のこぶがある可能性がある。蝸牛インプラントの適合における適応手順は、グローバル最大値ではなくむしろ局部最大値に向けて集束するものである、もしくは、適応手順は全く集束しないこともあると考えられてきた。
B.遺伝的アルゴリズム
遺伝的アルゴリズムは生化学の進展の単純なモデルに基づいた適応手順であり、問題の最適な解決策を見出すのに使用することができる。この手順は、「自然淘汰」(natural selection)(最も適合度の高いものが生き残る)、「遺伝を伴う生殖」、およびランダムな「突然変異」を取り入れている。遺伝的アルゴリズムは、一般的に、局部的最大値への収束を阻止する。進化のプロセスが、複数世代を超えて、十中八九生き延びて生殖するという意味で最適な「生体」を産出するというのが根本的な前提である。
遺伝的アルゴリズムの手順の各反復は、生体の一の世代で始まり、継続的な世代を作る。このことは、二つのステップを含んでいる。(1)淘汰−生体のサブセットを、継続する世代の生体(「子供」)の潜在的な「親」として選択する;及び、(2)生殖 − 潜在的な「親」セット(たいていはペアである)から「子供」を生む。
遺伝的アルゴリズムでは、淘汰がコンピュータメモリに保存されているバイナリ数ストリングを操作し、長い時間がたつと、これらのストリングの機能性は自然の個体群の進化とほとんど同じように進化する。遺伝的アルゴリズムは、非常に複雑で興味深い構造に進化することができる。これらの構造は、問題の解決のみならず、ゲームや、視覚的イメージ、あるいは単純なコンピュータプログラムの方法も表す。ダーウィンの進化論は、自然淘汰の進行中の手順の産物として生物システムを表している。同様に、遺伝的アルゴリズムによって、長い時間をかけて解決策を進化させるために、エンジニアは手で設計する代わりにコンピュータを用いることができる。ほとんど全ての方法、理論、あるいは技術をコンピュータにプログラムすることができるので、このことは、少なくとも部分的にコンピュータで自動化できる問題解決へのアプローチを意味する。
遺伝的アルゴリズムの基本的な観念は、生体の一つの母集団がコンピュータで生成され(典型的には、コンピュータのメモリ内のバイナリストリングとして保存された遺伝子によって)、次いで、この母集団が変化、選択、および遺伝の原則を用いて進化する。この観念を取り入れる方法はいくつもあり、最も基本的なものは、J.H. Hollandによって、Natural and Artificial Systems, Univ. of Michigan Press, Ann Arbor, MI, 1975, reprinted by MIT Press, Cambridge, MA, 1992、に提言されている。一つの「世代」における各生体群は、適合度機能によって適合値が割り当てられている。これらの適合値に基づいて、選択段階が生体にランク付けを行う。選択が行われた後、遺伝的オペレータが蓋然論的に適用され;いくつかの生体は、1から0、または0から1へ変異した遺伝子ビットを有することがあり、次いで異なった生体の遺伝子の部分同士が結合して新しい遺伝子になる。結果として生じる母集団は、次世代を含み、そのプロセス自体を繰り返す。
適合関数は、伝統的な遺伝子アルゴリズムが特定の問題に対して調整される主たる場である。特定の世代の母集団中の全生体が評価されると、これらの適合度は選択の基準として使用される。母集団から適合性の低い個体を除去することによって選択が行われ、しばしば適合性の高い個体のコピーを多数作ることによって遺伝が行われる。突然変異(フリップする個々のビット)などの遺伝的オペレータと、交叉あるいは遺伝(二つの子孫を得るために二つの生体のサブストリングを交換する)を新しい生体を作るために選択された個体に蓋然論的に適用する。旧世代のメンバをこのような新しい生体に置き換えることによって、新世代が同時に作られて、旧世代が完全に入れ替わるか、あるいは非同時に作られて、世代の新メンバと旧メンバがオーバーラップする。遺伝的オペレータが、平均して親の平均適合度より優れた新しい生体を作るのが証明されている。したがって、この評価、選択および遺伝的オペレーションのサイクルが長い世代で反復されると、母集団中の全適合度が通常平均して改善され、適合関数にもたらされた問題がどのようなものであれ、母集団中の生体は改善された「解」を示す。
選択は、いくつかの方法のいずれによっても実行することができる。選択は、個体群の適合性の低いもの50%を任意に除去し、残りの生物体全てについてコピーをひとつ作り、その適合度に正比例した生体のレプリカを作るか、あるいはいくつかの方法のいずれかで適合度をスケールし、そのスケールした値に正比例した生体のレプリカを作ることができる(より典型的な方法)。同様に、交叉オペレータは、新しい世代へ両方の子孫を伝えることができ、あるいは、伝えるべき一方を任意に選択することができる。基本的なアルゴリズムのこれら及びその他の変形は当業者には公知である。
C.遺伝的アルゴリズムと蝸牛インプラント
遺伝的アルゴリズムは、蝸牛インプラント技術に最も近い技術である補聴器に適用されている。この種のケースの適合関数は、公式の適用に基づくものではない。むしろ、ユーザが、母集団における生体を受け入れる、あるいは拒否するといった形でフィードバックを行う。ここで、各生体は一セットのパラメータ値である。若しくは、ユーザが生体をランク付けをし、従ってユーザがどの生体が次世代を占めるかに影響を及ぼす。フィードバックまたは相互作用を含む遺伝的アルゴリズムのこうした変形は、H. Takagiによる Interactive Evolutionary Computation: Fusion of the Capabilities of EC Optimization and Human Evaluation, Proceedings of the IEEE, Vol. 89, No. 9, September 2002., pp. 1275-1296の文献で議論されている。
しかしながら、遺伝的アルゴリズムは蝸牛インプラントには適用されてこなかった。人間のオブザーバを含むアプリケーションや特に補聴器に適合するアプリケーションを含む、遺伝的アルゴリズムに関する幅広い文献があるにもかかわらず、蝸牛インプラントの適合に関する課題は非常に人をひるませるものがあり、ほとんどの研究者が遺伝的アルゴリズムを蝸牛インプラントに適用できると信じていなかった。補聴器の従来技術は、母集団の各メンバをスケールする(数値を割り当てる)ことを聴者に強いる。経験のある蝸牛インプラントユーザでも、高い信頼性を持って、知覚対象をスケールすることはできない。音声の知覚は適合全体において非常に多様であり、様々な形で比較不可能であるため、数値にスケールすることは本質的に不可能である。つまり評価関数にスケーリングを用いているすべての従来技術は、蝸牛インプラントの課題には実用的でない。このことは、全ての知覚表象になじみのない経験の少ない(新たにインプラントした)ユーザにはむしろ問題である。スケーリングを行わないランク付けであっても、新規ユーザには難しいであろう。
更に、適合の複雑さ(調整しなければならないパラメータの数)により各母集団のメンバ中にあまりに多くのビットを必要とするであろう。数多くのビットによって、母集団ごとのメンバ数が高くなくてはならず、これによってユーザは評価するための選択で手も足も出なくなってしまう。これは、時間を消費するという点でも実用的でなく、多くの同時オプションをよく比較することができない聴者にとっては不可能である。
発明の概要
本発明では、蝸牛インプラントは、遺伝的アルゴリズムを実行することによって少なくとも部分的に患者に適合され、インプラントを適合させるために値を選択しなくてはならない全パラメータのサブセットの値を選択する。遺伝的アルゴリズムはこのパラメータサブセット値の複数群の次世代の発生を操作し、遺伝子アルゴリズムを実行する間の患者のフィードバックが次世代におけるサブセット値の複数群を決定する。従って選択は、遺伝的アルゴリズムを実行する間の患者の主観的な聞き取り判断に基づく。各世代において、パラメータサブセット値の群の実質的に全数未満の群(たとえば、半分)が選択され、より多数の次の世代の値の群を決定するのに使用される(例えば、すべての世代が同じサイズであることが望まれる場合は、2倍)。このサブセットの外のパラメータ値は、遺伝的アルゴリズムを使用しないあらゆる従来の方法で選択される。実際、蝸牛アプリケーションにおいて遺伝的アルゴリズムの使用を実用的にするためには、ほとんどのパラメータは遺伝的アルゴリズムを使用せずに選択される。本発明の一実施例においては、遺伝的アルゴリズムによって選択されたサブセットのパラメータは、レートに関するパラメータ、チャネル数、フィルタリング特性の3つだけである。これらは、多くの臨床医が適合プロセスにおいて最も重要であると感じている特性である。
患者のフィードバックは、そこから次の世代のパラメータサブセット値の群を決定する一の世代(生き残り)の好ましいパラメータサブセット値の群を選択することを含んでいるが、サブセット値の群がランク付けされていないことが好ましい。サブセット値の群は、次世代を取り出すために選択されるか、または選択されないが、患者がサブセット値の群を最良から最悪までランク付けしていない。たとえば、一世代につき8群の場合、患者は単に患者が最も好む4つの群を選択する。
上述したとおり、パラメータサブセット値が、例えば6−12ビットのバイナリストリングでなるMAPで表されることが好ましい。更に、各世代について6−12MAPsがあり、本発明の実施例で使用されている8つのMAPsあるいは群があることが最良である。
詳細を下記に述べるが、実施例中には、1セットのパラメータがMAPsに割り当てられている。MAPsのビットストリングは、各々が各パラメータの値を表す別のサブストリングに分けることができる。代替的に、値の異なる各ストリングが、特定のパラメータに関連しているストリング内の特定ビット位置を伴うことなく各パラメータ値のサブセットを単純に同定することができる。後者の場合は特定のMAPsにパラメータ値を関係付けるために、ルックアップテーブルが用いられる。代替的に、各々がそれぞれのパラメータ値を表す別のサブストリングに分割されたストリング内のいくつかのビットと、より小さいルックアップテーブルによって相当する予め選択されたパラメータサブセット値を同定する、ストリング内のその他のビットを組み合わせたアプローチも使用できる。
子孫を形成するために組み合わされたビットストリングの部分は、パラメータ値を分ける位置で親ストリングから切り離すことができる(別々のサブストリングがそれぞれパラメータ値を表す場合)。このストリングは世代から世代へ変化しない位置で切り離すようにしても良く、あるいは、世代から世代に変化する位置で、むしろランダムに、切り離すこともできる。本発明の実施例では、遺伝的アルゴリズムを例えば15回といった決まった回数実行して、パラメータサブセット値の複数群の決まった数の次世代を生み、パラメータサブセット値の最終群が最終世代の群から選択される。しかしながら、代替の停止基準を使用することもできる。代替の基準の例は、世代中の同質性の尺度、あるいは聴者の判断の一貫性の尺度に基づく基準である。更に、全ての世代での患者が満足度を同定したパラメータサブセット値の全ての群を記録しておいて、パラメータサブセット値の最終群を、最終世代の群及びそれ以前に患者が同定した群から選択してもよい。
遺伝的アルゴリズムの従来のアプリケーションにあるように、パラメータサブセット値の複数群の次世代は、突然変異によって部分的に決定することができる。好ましくは、各世代において、変異しているビットストリングにおける各ビットの蓋然性が、全てのビットについて、例えば、1%ないし10%、好ましくは3%に固定されている。(臨床医、あるいは患者が、アルゴリズムが実行されているときに突然変異率を変化させることは可能である。同様に、アルゴリズムの進行に応じて、アルゴリズム自身がその変異率を変えることができる。
遺伝的アルゴリズムの実行の第1世代において使用されるパラメータサブセット値の複数群は、臨床医の予め決められた判断に基づくものであっても良い。代替的に、遺伝的アルゴリズムの実行の第1世代に使用されるパラメータサブセット値の複数群はランダムなものであってもよい。
広く言えば、本発明は蝸牛インプラントを患者に適合させる方法に関し、数字シーケンスセットを形成するステップを具え、各シーケンスはインプラント用のパラメータ値のそれぞれのセットを表している。このインプラントは、前記シーケンスに表されているパラメータ値を用いて患者にテストされ、優れた性能を提供するシーケンスが選択される。選択されたシーケンスの部分が組合されて新しいシーケンスを形成する。テスト、選択、および組み合わせが、反復して繰り返され、インプラントの適合用の最終シーケンスを取り出す。
好適な実施例の詳細な説明
まず、遺伝的アルゴリズムに関して用いられるいくつかの用語について説明し、いくつかのケースでは、これらの用語が本発明の蝸牛インプラント適合用に遺伝的アルゴリズムにどのように適用されるかについて説明する。
遺伝的アルゴリズムでは、「生体」はN「遺伝子」(ビット)で完全に規定される。ありうる唯一の生体数は2Nb個である。本発明では、最適化すべき生体は、蝸牛MAP(パラメータセットに関する値)である。図3Aに示す例では、Nが8であり、従ってMAPは、遺伝子セットあるいは256の可能なMAPsを作っている8ビットのストリングによって規定される。8ビットの各々は蝸牛インプラント用の数個のパラメータを指定するのに使用することができる。図3Aに示す例では、このような3つのパラメータが指定されている。3つのビットは、刺激率(Hzで表される率であり、この率で高エネルギィチャネルが選択され、刺激パルスがN個の電極群に送られる)の選択に使用される。3つのビットがスペクトルの最大カウントを選択し(刺激される定期的に選択された電極数Nであって、その時点における最も高いエネルギィをもつN周波数帯を表す)、残りの二つのビットは4つのチャネルカウントのうちの一つを選択する(音スペクトルを表すのに用いられるチャネル数M、あるいは周波数帯、定期的に、対応するチャネルが最も高いエネルギィを有する電極が選択されて刺激を与える)。その他のパラメータは一定であるか、あるいは3つの表示されたパラメータのうちの一つから取り出されると考えられる。このパラメータは、従来の方法で適合される。以下により詳細に述べるように、各MAPについてのビット数とMAPsで規定されるパラメータ数は異なることもある。
遺伝的アルゴリズムでは、「世代」は、一セットの生体と考えることができる。一般に、生体数Nは、世代間で一定である。本発明の第1実施例では、最初の世代で図3Aに示すように、複数のパラメータ範囲にわたり8つの異なるMAPsの選択を行う。これらのMAPsは完全にランダムであっても良い。代替として、最初の世代のいくつかの、あるいは全てのMAPsが臨床医の好みのものであるか、あるいは以下により詳細に説明する方法を予め実行した結果から選択されたものであっても良い。
「適合関数」は、各世代の各生体を評価するのに使用される。適合関数は、生き残って親になり、子供を生む生体と、死んでしまう生体を同定する。一般的に、生き残る生体の数は世代間で一定である。本発明の一実施例では、適合関数は生体の半分を生き残らせるのに使用される。好ましくは、適合関数はユーザが実行する主観的聞き取りテストである。彼または彼女は、一の世代の各MAPsを通じて与えられるスピーチを聞いて、最良の明瞭度を出すMAPsの半分を選択する。代替的に、MAPの適合は、客観的測定、すなわち、聴者から測定した皮膚あるいは脳幹などの誘発電位、スピーチトークンを反復する聴者の能力、MAPを用いて聴者自身がスピーチを聞きながら行う聴者のスピーチの質、客観的スピーチ聴取テストの結果、あるいは公知の有利なパラメータの組み合わせについての当業者の知識、のような聴取者の判定を含まない測定から、全体的にあるいは部分的に決定することができる。
「再生」は、親のペアリング、遺伝、および突然変異の3つの異なる操作を含む。例えば、図2Aは、8つの生体あるいは個体を含むように進化したシーケンス全体のうちのある任意の世代(本例では、世代5)を示す。「適合関数」は、図2Bに示すように、これらのうちの4つを拒否する(丸で囲んだ生体が拒絶された生体である)。図2Cは生き残った生体を示す。次に、生き残った生体は、図2Dに示すように、各生き残り生体が他の生き残り生体の内の二つと組むように、ペアを作る。各ペアは二つの子供を生む。図2Eに示すように、この8つの子供が世代6を作る。
本発明の図に示す実施例では、各世代で親のペアを同定するのにラウンドロビンアルゴリズムを用いている。各ペアはいくつかの子供を作る。好ましい実施例では、各ペアが二つの子供を作る。例えば8つのMAPsは、4組の親にすることができ、その結果8の子供の新しい世代ができる。各子供は、各親から何らかの「遺伝子」を受け継いでいる。例えば、各MAPのビットストリングは、境界線によって分割し、「遺伝子」を構成するサブストリングをつくることができる。最後に、再生の後、各遺伝子は選択的にランダムな反転(突然変異)を受ける。各突然変異の可能性は少ないことが好ましい。通常、この可能性は1ないし10%の範囲である。好ましい実施例では、突然変異の可能性は3%である。
遺伝子アルゴリズムは、最初の世代で何度か再生を行うステップと、次いで、最後または最終世代を用いてで蝸牛インプラントをプログラムするステップからなる。このプロセスを、図を参照して詳細に説明する。
図3Aは、図3Aの最も左側の円で表され、図2Aないし2Eの円に対応する生体がどのようなものであるかを示す。この実施例の生体は、8つのバイナリ遺伝子セットで規定されるMAPである。この場合、8ビットのストリングが3つのサブストリングに分けられ、各サブストリングが一のパラメータに対応する。最初の3つのビットセットは、8つの刺激率のうちの一つを表し、2番目の3つのビットセットは、8つの最大カウントのうちの一つを表し、二つのビットセットは、4チャネルカウントの一つを表す。8つの刺激率の各々について、各電極に対して一セットのスレッシュホールド(T)レベルとコンフォート(C)レベルの対応するセットも選択される。TsとCsは、相応の率で臨床医の測定によって、あるいは、単一の標準レートで測定したTsとCsから数学的なラウドネスモデルを用いた推論で決定される。各MAPに対して、適宜のTおよびCレベルが各刺激率について使用される。
初期的に(図3Dのステップ300)、8つのMAPsを有する一の世代が選択される。初期化にあたり第1世代の設計の選択が必要である。この選択は起こりうるMAPsセットからランダムに選択することによって行ってよい。好ましくは、この初期のMAPセットが確実に十分な不均一度を有するように、その多様性をコンピュータ計算する。多様性は、様々なMAPs間の平均ハミング距離として規定され、0から1のレンジにある。1は最大の多様性を示し、0は最小の多様性を示す。この多様性がスレッシュホールド未満、例えば0.53であれば、最初の世代の多様性が不十分であり、新しいMAPsセットが選択される。
更に、予め選択されたMAPsを第1世代のMAPsの中に含めることもできる。これらの予め選択されたMAPsは、適応手順の従前の実行、インプラント患者のギャラリィからのMAPs、あるいは臨床医の経験、他人からの提言および推奨、その他に基づいて選ばれたMAPsから選ばれる。
次いで、ステップ302において、適合関数が最初の世代に適用される。すなわち、8つのMAPsに対応するパラメータが蝸牛システムエミュレータに順次プログラムされ、その世代のどのサブセットがより好適な結果を提供するかを決定するためのテストが実行される。上述したとおり、これらのテストは患者の認知に基づいた主観テスト、心理学的手法を取る客観テスト、あるいはこれらのタイプのテストの組み合わせであってもよい。
例えば、適合関数の一部として、患者は8つのMAPsのそれぞれについてスピーチトークンを聞くように言われる。患者は各トークンを好きなだけ何度でも聞くことができる。このトークンは、比較的長いオーディオファイル(例えば2分)ライブラリから選択される。このライブリの各ファイルは、新聞を一人のスピーカが音読するもの、あるいはオーディオブックからの一節から成るものでよい。本発明の一実施例では、患者はファイル全体を聞くようになっている。他の実施例では、このファイルがランダムな長さのより短いセグメントに分かれており、各セグメントをスピーチトークンとして使用する。
代替として、トークンライブラリが与えられており、各トークンが比較的短いオーディオファイルに対応する。タイプの異なる多くのオーディオファイルが提供されている。ファイル間の多様性は、異なるMAPsが共通の条件の下どのようにファイルを処理するかを調査するのに使用される。各ファイルは全体的に再生され、所定の長さ(例えば4秒)をもつ。ライブラリは、異なる男女のTIMITセンテンスオーディオファイルを含んでいても良い。例えば、ライブラリが64の異なるスピーカによる192のセンテンスを含み(各スピーカにつき3つのファイル)、スピーカは男性又は女性で、様々なアクセントまたは方言を有するものであっても良い。好ましくは、各オーディオファイルは、幅広い雰囲気と文脈上のキューイングを含んでいる。
更に、ノイズのある環境内における、あるいは聞き取りづらい文(BKB)のスピーチによる長いあるいは短いオーディオファイルをトークンとして使用することができる。
図3Cの右側は、世代Nの8つのMAPsを示す。ステップ302の間、患者は8つMAPsのうち、患者がより好むという意味でどの4つが最も明確であるかを決定する。このように、4つのMAPsが図3Cに大きなXで示すように消去される。残りのMAPsを、MAPsA、B、C、Dとする。これらのMAPsは、上述したように再生に使用される。
次いで、ステップ304において、アルゴリズムを止めるべきか否かを決定するためのテストが行われる。一の実施例では、このアルゴリズムは所定数の世代の後に止められる。別の実施例では、生き残っているMAPsの多様性をスレッシュホールドと比較する。この多様性が限界(例えば、0.1)未満である場合は、生き残りのMAPsは以下に述べるような処理をされる最終MAPsである。さもなければ、アルゴリズムは再生を続ける。
再生は、ペアリング、遺伝および突然変異の3つのステップで成る。
ペアリングはステップ306で生じる。このステップの一部として、生き残っているMAPの各々がその他の生き残っているMAPsのいくつかとペアを作る。図3Cでは、各MAPが他の二つのMAPsとペアになり、AB、BC、CDおよびADの4つのペアを形成する。もちろん、他のペアであることも可能である。
ステップ306のペアは、ステップ308で二つの子供あるいは子孫を生むのに使用される。図3Bは、一の子孫が各親から遺伝子をどのように受け継ぐかを示す図である。この目的のために、各MAPのビットストリングの例えば中央に、境界線あるいは切点が作られている。図3Bでは、子供MAPは、母MAP(例えばMAP A)の最初の4つのビットと、父マップ(MAP B)の最後の4つのビットを含む。
従って、ステップ308では、予め決められている基準を用いてステップ306のペアリングを行った結果、世代N+1ができる。このプロセスは、図3Cの右側に更に記載されている。切点は、各親からの遺伝子の受け取りを管理するものであり、右側の各子供を通る縦方向の破線によって示されている。一方の親から切点の左側へ遺伝子が来て、他方の親から遺伝子が右側へ来る。図に示す例では、切点がペアリング間でランダムに変化できる。代替として、切点はすべてのペアリングについて同じ位置に作ることができる。
上述したとおり、本発明の好ましい実施例では、各ペアリングの結果二つの子供ができる。各子供の遺伝子は、別の方法で親の遺伝子から選択するようにしても良い。一の実施例では、一の子供の遺伝子は、一の親の切点の左側からの遺伝子と、他方の親の切点の右側の遺伝子を含む。(図2Bおよび2Cに示す)。もう一方の子供の遺伝子は、第1の親から右側の遺伝子をまた第2の親から左側の遺伝子を転写することによって選択される。両方の親に共通のビットは、繰り返される。
更に具体的には、図2Cでは、各子供がCD5などの標記によって特定されている。最初の文字は、世代N+1における子供に対して最も左側のビットに寄与する世代Nの生体を表し、2番目の文字は最も右側のビットに寄与する生体を表す。また、数字は、切点位置を示す。
最後に、再生の一部としてステップ310で突然変異が実行される。突然変異は、任意かつランダムに、少なくともいくつかの子供のビットのいくつかに反転によって導入される。例えば、図3Cでは、新しい世代N+1の6番目の子供の最終ビットあるいは最下位ビットが反転している。
一旦新しい世代N+1が形成されると、ステップ302で再び適合関数が適応され、手順が続く。
ステップ304に見られる4つの最終MAPsは、ステップ312でさらにチェックされて、これらのパラメータを確実に受け入れ可能とする。言い換えれば、MAPが有効であり、許され、受け入れられ、または現実的であるかどうかを決めるための、チェックを行うことができる。これらの最終MAPsがステップ312で受け入れられない場合は、遺伝的アルゴリズムに戻る。代替的に、別の最初の世代がステップ300で選択され、遺伝的アルゴリズムが繰り返される。代替的に、ステップ312を除去しても良い。
最終MAPsがステップ314で受け入れ可能であれば、その一つが選択され蝸牛インプラントシステムをプログラムするのに使用される。何回かの反復の後、MAPsが非常に良く似たものになるのが判っている。従って実用的観点からは、いずれのMAPを使用してもよい。代替的に、全てのMAPsを患者に提示し、患者に一番機能が良さそうに見えるMAPを選ばせることもできる。
一のユニークなMAPを表す8ビットは、256のユニークなMAPsを表す256の可能な異なるビットストリングを生じる。各MAPを対応するパラメータセット関係付けるのにいくつかの方法を使用することができる。3つのそのような方法について以下に述べる。
MAPのルックアップテーブル(LUT)
この方法では、図4に示すように256の予め決められたMAPsが選択される。各MAPは、任意で許容可能なあらゆるパラメータの組み合わせを現す。例えば、専門の臨床医が有益であると考える256の異なる組み合わせを選択することができる。唯一の制約は、各組み合わせが受け入れ可能であり、ユニークであること、すなわち、二つのMAPsが同じパラメータの組み合わせを表すものではないことである。ルックアップテーブルは、256の可能なビットストリングのそれぞれを、256の利用できるMAPsのうちの一つと関連付ける。従って、一のビットストリングが特定される場合は、これは唯一の単一のMAPを表している。この方法によれば、各パラメータは各MAPにおいてあらゆる合法的価値を有することができる。例えば、256の可能なMAPsは各々異なるレートを有する。図4に示す実施例では、256のMAPsセット内で5つのパラメータが変化している。全部ではないが以下のパラメータの様々な組み合わせが、256の可能なMAPsセット内に構築されている(この可能な組み合わせのいくつかは臨床的に有益ではなく、拒絶されている):(1)刺激率(250、720、1200、1800、あるいは2400Hzのうちの一つ);(2)使用する電極数(10か22);(3)刺激フレームあたりの最大数(4、6、8、10、12、16、あるいは20のうちの一つ);(4)出力圧縮の急峻度(ACEあるいはSPEAK MAP用の「Q」ファクタとして知られている、20あるいは30);および(5)入力音響フィルタリングオプションの組み合わせ(フラット、高音カット、低音カット、あるいは高音および低音カット)。これらのパラメータのいずれも、8ビット内の特定のサブセットあるいはサブストリングによって個別に表される必要はない。
パラメータ特定分野
図5(及び図3A)に示すこの方法によれば、ビットストリングはサブストリングあるいはフィールドに分けられる。各フィールドのサブストリングを使用して、このMAP用の特定のパラメータを選択する。図5に示す実施例では、一の3−ビットサブストリングが、このMAP用の8つの可能なレートの一つを選択する。第2の3−ビットサブストリングは、8つの可能なチャネルカウントの一つを選択する。第3の2ビットサブストリングは、4つの可能なフィルタリングオプションの一つを選択する。この例では、各サブストリングは隣接している。しかしながら、このビットストリング内のビットの順序に意味はないので、これは不要である。
この方法によれば、全ての与えられたパラメータに対する可能なオプションが、対応するサブストリングのビット数によって固定される。図5に示す例では、8つのレートが可能であるだけである。例えば792Hzの刺激率ではMAPは規定することができない。なぜなら、このレートは8つの可能な選択肢の一つではないからである。
パラメータフィールドとルックアップの組み合わせ
図6に示す方法は、上述の二つの方法を組み合わせたものである。一又はそれ以上のサブストリングは、図5にあるように対応するパラメータを選択するために規定される。残りのビットは、残りのパラメータの任意の組合せのテーブルから選択するのに使用される。図6に示す例では、一の3ビットのサブストリングが8つの可能なレートの一つを選択する。残りの5つのビットは、ルックアップテーブルから、チャネルカウントとフィルタリングの32の任意の組み合わせの一つを選択するのに使用される。第1の方法と同様に、32の任意の組み合わせの夫々は、合法かつ唯一のものである。
10ビットMAPsのルックアップテーブル(LUT)
上述したとおり、MAPごとのビット数は8に限定されない。8以上のビットが使用される場合は、この手順をより多くのパラメータを最適化するのに使用することができる。本発明の代替の実施例では、10ビットのMAPsを使用して7つのパラメータを最適化している:8ビットMAPsについて上述した5つのもとのパラメータと、FATシフトおよびT−レベルバンプの2つの新しいパラメータである。これらの二つのパラメータについて以下により詳細に述べる。7つのパラメータとその許容値を図7に示す。
図8に、図7に示す7つのパラメータを決定するのに使用される第1の3つのバイナリMAPsのリストと、各パラメータ値を示す。これらの値のいくつかは任意の数値である。例えば、FATシフトやT−レベルバンプの「1」は、デフォルト値である。フィルタについての「1」、「2」、「3」は、Low B、ローカット、およびハイカットのフィルタのセッティングをさす。もちろん、各パラメータ値のセットをどの10ビットMAPへ割り振るかは任意である。
蝸牛インプラントが複数の電極を用いて患者の聴覚神経に刺激信号を与えることは、当業者には良く知られている。これらの電極はチャネルを規定するためにペアになっており、各チャネルは、所定の可聴周波数帯に対応する信号を与えるのに用いられる。典型的には、蝸牛システムは、23チャネルまで使用することができ、蝸牛インプラントの適合を行う間、使用すべきチャネル数及び各チャネルに割り振る周波数帯を決定するテーブルがシステムに対して指定される。
伝統的には、27のテーブルを用いて22のチャネルに対応する最大22の周波数帯を規定する。図9は、標準化された周波数割り当てテーブル(FATs)6、7、8、14、15および16のリストの一部である。各テーブルは、各周波数帯の上側周波数境界のリストである。図9の左欄は、リストの行を特定する周波数帯インデックスである。テーブル6の列は、帯域0に対して188Hzで始まり、帯域22に対して7938Hzで終わる全ての周波数境界についての一の可能な周波数割り当てを示す。実際、テーブル6で始まり、第1のチャネルの一番高い周波数には常に周波数188Hzが割り振られており、最後のチャネルに対しては、一番高い周波数には常に7938Hzが割り当てられている。テーブル1−5は削除されており、23のチャネルに対する若干異なる周波数の割り当てを示す。テーブル8は、21のチャネルが使用されるときの周波数割り当てを示す。テーブル15は、14のチャネルに対する周波数割り当てを示す。図9に見られるように、使用するチャネル数が少なくなるにつれて、最高チャネルに割り振られる周波数が圧縮される。この圧縮の結果、よりチャネル数が少ないテーブルは、高い周波数レンジにおける可聴信号のより低い解像度を提供することになる。
本発明では、FATシフトパラメータがそのデフォルト値に設定されている場合、図9に示すFATテーブルが使用される。FATシフトが可能である場合は、テーブルが所定のコラム数だけ左側にシフトする。好ましい実施例では、FATテーブルは1コラム分又は2コラム分シフトする。例えば、テーブル8が21のチャネルで指定され、FATシフトがデフォルト値にセットされる場合、図9に示すテーブル8の為の周波数割り当てが使用される。FATシフトパラメータがシフト値である場合は、テーブル6の最初の21チャネルの周波数の値が使用される。従って、シフトがない場合は、チャネル20は7938Hzを指す。シフトパラメータが1であれば、チャネル20は6063Hzを指す。テーブル16では、FATシフトがないので、チャネル12が7938Hzの周波数を指している。シフトがある場合、テーブル15は、6313Hzに割り振られているチャネル12を指す。トレードオフは、チャネル20(テーブル8用)あるいはチャネル12(テーブル16用)に割り当てられた周波数以上の可聴信号が失われることである。
蝸牛システムのその他の良く知られた二つのプログラミングパラメータは,TおよびC(スレッシュホールドとコンフォート)レベルである。T−レベルバンプは、本発明の特徴に関係しており、ここではTレベルが予め決められた率(例えば、もとのTおよびCレベル間のレンジの10〜20%)だけ上がる。この特徴は、ソフトな音へのこのシステムの感度を改善する。
更に、好ましい実施例では、フィルタパラメータが、低B(低周波数ブースト)、低Cおよび高Cレベルを含むために増大している。これらのパラメータの選択は、低周波および高周波でCのレベルを夫々低減する。
パラメータ値のすべてを組み合わせることはできないので、図7及び8に示すパラメータには1032のMAPsのみが必要である。10ビットで1024のMAPsを規定することができるので、パラメータ値の8つの組み合わせは任意に排除される。
遺伝的アルゴリズムは、蝸牛インプラントの適合を最適化するためにこのアルゴリズムを魅力的にするいくつかの特徴を有している。アルゴリズムは局部的な最大値へ集中しないようにしており、強く、ノイズのある非一貫性で非直線的な適合関数(例えば、ユーザによる主観的判定)を許容することができ、「専門家の知識」を組み入れることができ、容易に自動化することができる。以下の全てより少ないものが、本発明の実際のアプリケーションで特定されているが、MAP最適化の完全な実施には以下のものを含んでいても良い。
1) Nの選択;
2) Nビットのセット(より一般的には、遺伝子セット)からMAPを規定する方法
3) 世代NごとのMAPsの数
4) 初期化 − 最初の世代でMAPsを規定する方法;
5) 適合関数 − 生き残りを選択するメカニズム
6) ペアリング操作 − 世代ごとの親ペアの数、その選択方法、および各ペアについての子供数(子供が二以上の親からの遺伝子を伝えるシステムを実施することができる)を規定する。
7) 遺伝操作 − 各親から来た子供の遺伝子がどちらのものか決定する方法(切点)
8) 突然変異操作 − 子供のどの遺伝子を受け継いだ状態から反転させるかをランダムに決定する方法
9) 停止基準
一般的に、これらの仕様のすべては、世代にわたって一定であるが、必ずしもそうである必要はない。単一の進化シーケンス内でこれらの仕様のいくつかを多様化させることに特別な利点があるかもしれない。
この実施の詳細は、アルゴリズムの行動および効果、特にその収束速度に大幅に影響する。適合関数は、純粋に主観的である必要はなく、例えば、主観の入力なしであるいは主観の入力を伴って、皮膚の誘発電位に基づくことができる。しかし、使用した適合関数がユーザによる主観の比較を含むのであれば、人間の聴者は同時に生じる何ダースもの代替をよく比較することができないので、Nを制限することが重要である。主観的適合関数は、時間という意味で「高価」であり、迅速な集束が重要である。一般的に、集束に要求される世代数は、生体ごとの遺伝子数(N)と共に増える。つまり、Nが性能へ最も影響をもつと思われるMAPパラメータを表すと同時に、Nをなるべく少なく抑えることが望まれる。
各反復において、将来の考察ために保存するため、MAPsにフラッグをたてる機会をユーザに与えるのが好ましい。この方法では、その処理が特別に良好なMAPに「出会った」場合、ステップ302において、あるいはステップ318において、保存しておき、進化の最終的な結果と比較することができる。このことは、ユーザにフラストレーションをもたらすリスクをなくす。複数ランが使用されている場合、保存されたデザイン、或いは第一のランで得たデザインを次のランの為の初期母集団に含めることができる。
専門家の知識を様々な方法で手順に組み込むことができる。上述したとおり、最初の世代のMAPsは、臨床医の判断に基づいて作ることができる。又、有害であるとして知られている特定のパラメータの組み合わせは、可能なMAPsの領域から排除することができる。逆に言えば、利益があるとして知られている特定のパラメータの組み合わせを単一の「パラメータ」に集中させることができるし、あるいは一のパラメータの特定の値の発生を用いて、別のパラメータの値に優先させたり、又、影響させたりすることができる。(例えば、レートが2400Hzより大きいときは常にチャネル数が10に限定される)。最終的に、母集団が進化するにつれて、専門家は特定の方向における進化を案内するための補助的な入力として働くであろう。例えば、パラメータの進化の視覚的な表現に基づいて臨床医は最適領域へのより有効な道を予想することができる。この専門家の知識は、正しい方向にこのメカニズムをアップデートするための舵取りを手助けするのに使用することができる。
本発明の方法は、聴覚学者による監修を必要とすることなく自動化できるという利点がある。受容者がより経験をつむと定期的に繰り返すことができる。別々の最適化を、特定のクラスの入力信号(静かなスピーチ、ノイズのあるスピーチ、音楽など)に対して実行することができる。
いくつかの例では、何回かの反復の後、反復の結果としての中間MAPsの値を用いて、一又はそれ以上のパラメータの値を「凍結」させることが望まれることがある。例えば、ステップ302においてMAPsの現世代を分析する一方で、一の世代のすべての生き残りが同一のパラメータのサブセットに対応する場合(例えば、全ての生き残りが同じレート、同じ最大数、および同じ電極数を有する)、これらのパラメータが凍結する。このことは、いろいろな方法で行うことができる。最も単純なアプローチは、別のメモリにパラメータ値を保存しておき、アルゴリズムはそのまま進め、最後に、最終世代が得られたときに、「最終」パラメータのいくつか、すなわち最終MAPsに対応するパラメータを、反復の間に得られた「凍結」パラメータに置き換えることである。
別のアプローチは、低ビットシリーズの別のMAPsセットを使用することである。例えば、もともと10ビットのMAPsが8つのパラメータに使用されており、何回かの反復の後パラメータ値のうちの3つが凍結されている場合、新しい8ビットのMAPsセットをアルゴリズムに用いる。アルゴリズムを継続するのに使用されるより短いMAPsは、上述した初期MAPsセットであっても良く、あるいは、中間MAPsから導いたものでも良い。
最後に、アルゴリズム自体を変形させて、いくつかのパラメータを凍結させた後、MAPsの一部がこれ以上変化しないようにする、すなわち、この部分が遺伝子選択にさらされないようにすることができる。もちろん、このアプローチは、MAPsビットのすべて、あるいはいくつかが特定のパラメータに対応するあるいは特定のパラメータを表すMAP構造に実施する場合に最も容易である。
原理的には、受容者は彼または彼女の選択する(例えば、配偶者の声)信号を用いて、家で最適化を実行することができる。
本発明は、特定の実施例を参照して述べたが、これらの実施例は単に本発明の原理を適用した例示に過ぎないと解するべきである。様々な変形を行うことができ、そのほかのアレンジを本発明の精神および範囲からはずれることなく考案することができる。
本発明の更なる目的、特徴、利点を、図面を参照して以下の詳細な説明を考慮することによって明らかにする。
図1Aは、上述したとおり、一般的な適応手順と、特に遺伝的アルゴリズムが蝸牛インプラントを適合するのに使用できないと考えられていたのかを説明するものである。 図1Bは、上述したとおり、一般的な適応手順と、特に遺伝的アルゴリズムが蝸牛インプラントを適合するのに使用できないと考えられていたのかを説明するものである。 図2Aは、本発明の原理に基づいて特定の世代(実施例では世代5)に対する遺伝的アルゴリズムを実行する連続するステップを示す図である。 図2Bは、本発明の原理に基づいて特定の世代(実施例では世代5)に対する遺伝的アルゴリズムを実行する連続するステップを示す図である。 図2Cは、本発明の原理に基づいて特定の世代(実施例では世代5)に対する遺伝的アルゴリズムを実行する連続するステップを示す図である。 図2Dは、本発明の原理に基づいて特定の世代(実施例では世代5)に対する遺伝的アルゴリズムを実行する連続するステップを示す図である。 図2Eは、本発明の原理に基づいて特定の世代(実施例では世代5)に対する遺伝的アルゴリズムを実行する連続するステップを示す図である。 図3Aは、本発明の第1実施例において、いずれかのビットストリングの特定のビットがどのようにして各パラメータの値を表すかを示す図である。 図3Bは、二つの「親」がどのように再生するかを示す図である。 図3Cは、世代Nの8つの生体のうちの4つだけがどのようにして生き残り、これらの生体がどのようにして再生し、世代N+1で8つの生体にするかを示す。 図3Dは、遺伝的アルゴリズムを用いてMAPを確定するフローチャートを示す。 図4は、ビットストリングでできたMAPがパラメータ値を表す3つの異なる方法の一つを示す図である。 図5は、ビットストリングでできたMAPがパラメータ値を表す3つの異なる方法の一つを示す図である。 図6は、ビットストリングでできたMAPがパラメータ値を表す3つの異なる方法の一つを示す図である。 図7は、主題のアルゴリズムを用いて決定することができる7つのパラメータと、各パラメータに起こりうる値の表である。 図8は、図7に示すパラメータの決定に用いる10ビットマップの部分的リストである。 図9は、FATシフトを示すための様々なチャネルへの周波数割り当ての部分的リストである。

Claims (35)

  1. 蝸牛インプラントのパラメータを設定するシステムにおいて:
    (a)インプラントを適合させるため、値を選択すべき複数の前記パラメータのうちから一つ又は複数の前記パラメータを選択して構成されるパラメータサブセットの値を選択する遺伝的アルゴリズムを実行する手段であって、当該遺伝的アルゴリズムが前記パラメータのサブセット値の複数群の次世代を生むように動作する手段と;
    (b)前記遺伝的アルゴリズムを実行する間の患者からのフィードバックに基づいて、一つ又は複数の連続する世代毎に前記パラメータサブセットの前記値を決定する手段であって、前記患者からのフィードバックには、前記連続する世代における親セットとして使用するための、前記パラメータサブセットの二組以上の値のセットについての、ランク付けを伴わない患者の選択結果が含まれる手段と;
    を具え
    前記患者の選択は、前記二組以上の値のセットの中における相対的なランク付けを行わないものである、
    ステム。
  2. 請求項1に記載のシステムが更に:
    (c)前記サブセットに含まれていないパラメータ値を遺伝的アルゴリズムを使用しない方法で選択する手段;
    を具えることを特徴とするシステム。
  3. 請求項に記載のシステムにおいて、前記パラメータの値が、6−12ビットのバイナリストリングで表されることを特徴とするシステム。
  4. 請求項に記載のシステムにおいて、各世代において6−12のパラメータ値の群があることを特徴とするシステム。
  5. 請求項に記載のシステムにおいて、前記パラメータ値がビットのストリングで表され、前記ストリング中の異なるサブストリングが対応するパラメータ値を表していることを特徴とするシステム。
  6. 請求項に記載のシステムにおいて、前記サブセットのパラメータが、レート、最大値の数およびチャネル数に関するものであることを特徴とするシステム。
  7. 請求項に記載のシステムにおいて、前記パラメータ値がビットストリングで表され、前記ストリング中のいくつかのビットが、各々が各パラメータの値を表す別のサブストリングに分割されており、前記ストリング中のその他のビットがパラメータ値の予め決められた群を同定することを特徴とするシステム。
  8. 蝸牛インプラントのパラメータを設定するシステムにおいて:
    (a)遺伝的アルゴリズムを実行して、インプラントを適合させるため、値を選択すべき全パラメータのサブセットの値を選択する手段であって、当該遺伝的アルゴリズムが前記パラメータのサブセット値の複数の群から成る次世代を生むように動作する手段と;
    (b)前記遺伝的アルゴリズムを実行している間の患者からのフィードバックに基づいて、各世代において前記パラメータサブセット値の群の総数より実質的に少ない数の群を選択し、当該選択された値の群から、次世代に用いるため、より数の多いサブセット値の群を決定する手段であって、前記患者からのフィードバックには、各世代における前記パラメータの二組以上の値のセットについての、ランク付けを伴わない患者の選択結果が含まれる手段と;
    を具え
    前記患者の選択は、前記二組以上の値のセットの中における相対的なランク付けを行わないものである、
    ステム。
  9. 請求項に記載のシステムにおいて、前記パラメータサブセット値のN個の群が各世代用に決定され、予め決められた数の前記群が、次世代のN個の群を決定するために各世代で選択されることを特徴とするシステム。
  10. 請求項に記載のシステムにおいて、前記予め決められた数が約N/2個であることを特徴とするシステム。
  11. 請求項に記載のシステムにおいて、各世代に6−12のパラメータサブセット値の群があることを特徴とするシステム。
  12. 請求項に記載のシステムにおいて、前記パラメータのサブセット値がビットのストリングで表され、当該ビットのストリングが、各々が各パラメータの値を表す別々のサブストリングに分割されていることを特徴とするシステム。
  13. 請求項12に記載のシステムにおいて、次世代の値の各群を表すビットストリングが、現世代の値の群を表す二つの異なるビットストリングの部分を組み合わせることによって決定されることを特徴とするシステム。
  14. 請求項に記載のシステムにおいて、前記遺伝的アルゴリズムが決まった回数実行されて前記パラメータサブセットの値の複数群の個定数の次世代を生み、前記パラメータサブセットの値の最終群が最終世代の群から選択されることを特徴とするシステム。
  15. 請求項に記載のシステムにおいて、患者がいずれかの世代で満足したと同定する値のいずれかの群が記録されており、値の最終群が前記最終世代の群と、患者が以前に同定した群から選択されることを特徴とするシステム。
  16. 請求項に記載のシステムにおいて、パラメータ値のサブセットの各世代が、複数のバイナリストリングで表され、各ストリングが各パラメータの特定の値を規定し、ルックアップテーブルを用いて各バイナリストリングをパラメータ値の対応するセットに関連付けることを特徴とするシステム。
  17. 蝸牛インプラントのパラメータを設定するシステムにおいて:
    (a)MAPのセットを複数のパラメータに割り当てる手段であって、各MAPは、バイナリビットのストリングを形成し、かつ、前記パラメータの値を表わすものである、手段と;
    (b)MAPの後続の世代を操作することによってMAPの前記セットに遺伝的アルゴリズムを実行する手段と;
    (c)前記遺伝的アルゴリズムを実行する間の患者からのフィードバックに基づいて、最終世代が得られるまで、各世代で生き残らせる特定数のMAPを選択する手段であって、前記患者からのフィードバックには、生き残らせるものとする2つ以上のMAPについての、ランク付けを伴わない患者の選択結果が含まれる手段と;
    を具え
    前記患者の選択は、前記2つ以上のMAPの中における相対的なランク付けを行わないものである、
    ステム。
  18. 請求項17に記載のシステムにおいて、前記最終世代が、前記アルゴリズムを所定回数繰り返すことによって得られることを特徴とするシステム。
  19. 請求項17に記載のシステムが更に、所定の基準に関してMAPsの後続世代をテストする手段と、前記所定の基準に合致したときに停止する手段と、を具えることを特徴とするシステム。
  20. 請求項19に記載のシステムにおいて、前記テストが前記MAPsの後続世代の多様性の表示を生成する手段と、前記多様性が最小値に達したときに停止する手段と、を具えることを特徴とするシステム。
  21. 請求項17に記載のシステムが更に、前記アルゴリズムを開始する最初の世代を指定する手段を具えることを特徴とするシステム。
  22. 請求項21に記載のシステムが更に、前記最初の世代を任意に指定する手段を具えることを特徴とするシステム。
  23. 請求項22に記載のシステムが更に、任意に指定した最初の世代をテストして、当該アルゴリズムを開始する前にそれが所定の基準を満たすものか否かを決定する手段を具えることを特徴とするシステム。
  24. 請求項17に記載のシステムにおいて、前記ストリングが6から12の間のビットを具えることを特徴とするシステム。
  25. 請求項17に記載のシステムにおいて、前記ストリングが8ビットを具えることを特徴とするシステム。
  26. 請求項17に記載のシステムにおいて、前記ストリングが10ビットを具えることを特徴とするシステム。
  27. 請求項17に記載のシステムにおいて、前記パラメータが、複数の刺激チャネル、刺激率、複数の刺激最大値、Q−値、FATシフト、T−レベルバンプ、およびフィルタセッティングでなる群から選択されることを特徴とするシステム。
  28. 請求項17に記載のシステムにおいて、前記遺伝的アルゴリズムの最初の反復を何度か行った後、いくつかのパラメータ値が決定され、残りの反復の間変わらないことを特徴とするシステム。
  29. 請求項17に記載のシステムにおいて、前記遺伝的アルゴリズムが:
    (a)現世代からいくつかのMAPsを除去する手段と;
    (b)残りのMAPsをペアリングする手段と;
    (c)ペアにしたMAPsからビットを選択して新しいMAPsを形成する手段と;
    を具えることを特徴とするシステム。
  30. 請求項29に記載のシステムにおいて、それぞれの世代が同じ数のMAPsを有することを特徴とするシステム。
  31. 請求項29に記載のシステムにおいて、新しい世代のMAPs内でいくつかのビットが任意に反転されることを特徴とするシステム。
  32. 請求項29に記載のシステムにおいて、現世代のMAPsの半分が除去されることを特徴とするシステム。
  33. 請求項29に記載のシステムにおいて、MAPsを前記患者からの入力を用いて除去することを特徴とするシステム。
  34. 請求項33に記載のシステムにおいて、各MAPに対応するパラメータを順次用いてプロセッサを介してスピーチを患者に聞かせ、当該患者が最も明瞭な音響信号を出すMAPsを選択することによってMAPsを除去すること、を特徴とするシステム。
  35. 請求項29に記載のシステムにおいて、前記MAPsで規定されるパラメータを用いたプロセッサを通じた既知の刺激に対する患者のヒアリングシステムの反応を決定することによってMAPsを削除することを特徴とするシステム。
JP2006507068A 2003-03-11 2004-03-11 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム Expired - Fee Related JP5129954B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/385,880 US6879860B2 (en) 2003-03-11 2003-03-11 Cochlear implant MAP optimization with use of a genetic algorithm
US10/385,880 2003-03-11
PCT/US2004/007400 WO2004080532A1 (en) 2003-03-11 2004-03-11 Cochlear implant system with map optimization using a genetic algorithm

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012032915A Division JP2012130722A (ja) 2003-03-11 2012-02-17 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム

Publications (2)

Publication Number Publication Date
JP2006523117A JP2006523117A (ja) 2006-10-12
JP5129954B2 true JP5129954B2 (ja) 2013-01-30

Family

ID=32961583

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006507068A Expired - Fee Related JP5129954B2 (ja) 2003-03-11 2004-03-11 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム
JP2012032915A Pending JP2012130722A (ja) 2003-03-11 2012-02-17 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012032915A Pending JP2012130722A (ja) 2003-03-11 2012-02-17 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム

Country Status (6)

Country Link
US (2) US6879860B2 (ja)
EP (1) EP1608431A4 (ja)
JP (2) JP5129954B2 (ja)
AU (1) AU2004220516A1 (ja)
CA (1) CA2518997A1 (ja)
WO (1) WO2004080532A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8260430B2 (en) 2010-07-01 2012-09-04 Cochlear Limited Stimulation channel selection for a stimulating medical device
US7650004B2 (en) 2001-11-15 2010-01-19 Starkey Laboratories, Inc. Hearing aids and methods and apparatus for audio fitting thereof
AUPS318202A0 (en) 2002-06-26 2002-07-18 Cochlear Limited Parametric fitting of a cochlear implant
US8355794B2 (en) * 2003-03-11 2013-01-15 Cochlear Limited Using a genetic algorithm in mixed mode device
US8255059B2 (en) * 2003-03-11 2012-08-28 Cochlear Limited Using a genetic algorithm to fit a medical implant system to a patient
US9553984B2 (en) 2003-08-01 2017-01-24 University Of Florida Research Foundation, Inc. Systems and methods for remotely tuning hearing devices
US9319812B2 (en) 2008-08-29 2016-04-19 University Of Florida Research Foundation, Inc. System and methods of subject classification based on assessed hearing capabilities
US9844326B2 (en) 2008-08-29 2017-12-19 University Of Florida Research Foundation, Inc. System and methods for creating reduced test sets used in assessing subject response to stimuli
US7239926B2 (en) * 2003-09-15 2007-07-03 Medtronic, Inc. Selection of neurostimulator parameter configurations using genetic algorithms
US8190268B2 (en) 2004-06-15 2012-05-29 Cochlear Limited Automatic measurement of an evoked neural response concurrent with an indication of a psychophysics reaction
US7801617B2 (en) 2005-10-31 2010-09-21 Cochlear Limited Automatic measurement of neural response concurrent with psychophysics measurement of stimulating device recipient
WO2005122887A2 (en) 2004-06-15 2005-12-29 Cochlear Americas Automatic determination of the threshold of an evoked neural response
US20060212279A1 (en) * 2005-01-31 2006-09-21 The Board of Trustees of the University of Illinois and Methods for efficient solution set optimization
US20080262467A1 (en) * 2005-02-16 2008-10-23 Humphrey Joseph A C Blood Flow Bypass Catheters and Methods for the Delivery of Medium to the Vasculature and Body Ducts
US7625824B2 (en) * 2005-06-16 2009-12-01 Oerlikon Usa, Inc. Process change detection through the use of evolutionary algorithms
US8131656B2 (en) * 2006-01-31 2012-03-06 The Board Of Trustees Of The University Of Illinois Adaptive optimization methods
US7979365B2 (en) * 2006-01-31 2011-07-12 The Board Of Trustees Of The University Of Illinois Methods and systems for interactive computing
US8571675B2 (en) 2006-04-21 2013-10-29 Cochlear Limited Determining operating parameters for a stimulating medical device
US7925355B2 (en) * 2006-07-17 2011-04-12 Advanced Bionics, Llc Systems and methods for determining a threshold current level required to evoke a stapedial muscle reflex
US8103354B2 (en) * 2006-07-17 2012-01-24 Advanced Bionics, Llc Systems and methods for determining a threshold current level required to evoke a stapedial muscle reflex
US20100106218A1 (en) * 2006-09-14 2010-04-29 Cochlear Limited Configuration of a stimulation medical implant
US9011508B2 (en) * 2007-11-30 2015-04-21 Lockheed Martin Corporation Broad wavelength profile to homogenize the absorption profile in optical stimulation of nerves
US8718288B2 (en) * 2007-12-14 2014-05-06 Starkey Laboratories, Inc. System for customizing hearing assistance devices
EP2082779A3 (en) * 2008-01-22 2014-02-19 Cochlear Limited Recipient-controlled fitting of a hearing prosthesis
US8559662B2 (en) * 2008-05-06 2013-10-15 Starkey Laboratories, Inc. Genetic algorithms with subjective input for hearing assistance devices
US8055337B2 (en) * 2008-07-24 2011-11-08 Boston Scientific Neuromodulation Corporation System and method for maintaining a distribution of currents in an electrode array using independent voltage sources
US8923981B2 (en) 2008-10-03 2014-12-30 Duke University Non-regular electrical stimulation patterns designed with a cost function for treating neurological disorders
US8447405B2 (en) 2008-10-03 2013-05-21 Duke University Non-regular electrical stimulation patterns for treating neurological disorders
US9802046B2 (en) 2008-10-03 2017-10-31 Duke University Non-regular electrical stimulation patterns for improved efficiency in treating Parkinson's Disease
US11013924B2 (en) 2008-10-03 2021-05-25 Duke University Non-regular electrical stimulation patterns for treating neurological disorders
US8798755B2 (en) 2008-10-03 2014-08-05 Duke University Non-regular electrical stimulation patterns for treating neurological disorders
US8359283B2 (en) * 2009-08-31 2013-01-22 Starkey Laboratories, Inc. Genetic algorithms with robust rank estimation for hearing assistance devices
US20110060384A1 (en) * 2009-09-10 2011-03-10 Cochlear Limited Determining stimulation level parameters in implant fitting
US8401978B2 (en) * 2009-09-10 2013-03-19 Cochlear Limited Using a genetic algorithm employing an expedited convergence mechanism to at least partially fit a medical implant to a patient using patient feedback
US20110060385A1 (en) * 2009-09-10 2011-03-10 Lineaweaver Sean K Determining stimulation level parameters in implant fitting
US8825168B2 (en) * 2009-09-10 2014-09-02 Cochlear Limited Using a genetic algorithm employing dynamic mutation
US8625828B2 (en) * 2010-04-30 2014-01-07 Cochlear Limited Hearing prosthesis having an on-board fitting system
JP5847167B2 (ja) 2010-05-27 2016-01-20 エヌディーアイ メディカル, エルエルシー エネルギー効率について最適化された神経学的障害治療用の波形形状
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8657759B2 (en) * 2010-11-08 2014-02-25 Cochlear Limited Compartmentalized implant fitting software
AU2012312293B2 (en) * 2011-09-23 2015-02-19 Med-El Elektromedizinische Geraete Gmbh Accelerated fitting of ear implants
US20140303450A1 (en) * 2013-04-03 2014-10-09 Dylan Caponi System and method for stimulus optimization through closed loop iterative biological sensor feedback
US20130345775A1 (en) * 2012-06-21 2013-12-26 Cochlear Limited Determining Control Settings for a Hearing Prosthesis
US9031663B2 (en) 2013-02-22 2015-05-12 Cochlear Limited Genetic algorithm based auditory training
AU2014268445B2 (en) 2013-05-22 2019-03-07 Deep Brain Innovations LLC Deep brain stimulator and method of use
US9775998B2 (en) 2013-07-23 2017-10-03 Advanced Bionics Ag Systems and methods for detecting degradation of a microphone included in an auditory prosthesis system
EP3086839B1 (en) 2013-12-23 2021-05-05 Deep Brain Innovations LLC Programming systems for deep brain stimulator system
CN105816166B (zh) * 2016-05-24 2018-07-27 周博 生物电信号调节融合方法、装置及系统
CN118648306A (zh) * 2022-02-07 2024-09-13 科利耳有限公司 平衡的听力装置响度控制

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4532930A (en) * 1983-04-11 1985-08-06 Commonwealth Of Australia, Dept. Of Science & Technology Cochlear implant system for an auditory prosthesis
US4953112A (en) * 1988-05-10 1990-08-28 Minnesota Mining And Manufacturing Company Method and apparatus for determining acoustic parameters of an auditory prosthesis using software model
US5095904A (en) 1989-09-08 1992-03-17 Cochlear Pty. Ltd. Multi-peak speech procession
DE4104358A1 (de) * 1991-02-13 1992-08-20 Implex Gmbh Implantierbares hoergeraet zur anregung des innenohres
JP3327936B2 (ja) * 1991-09-25 2002-09-24 日本放送協会 話速制御型補聴装置
US5626629A (en) 1995-05-31 1997-05-06 Advanced Bionics Corporation Programming of a speech processor for an implantable cochlear stimulator
AUPN533195A0 (en) 1995-09-07 1995-10-05 Cochlear Pty. Limited Derived threshold and comfort level for auditory prostheses
JPH09325773A (ja) * 1996-05-31 1997-12-16 Yamaha Corp 音色選択装置及び音色調整装置
ES2214627T3 (es) * 1996-06-20 2004-09-16 Advanced Bionics Corporation Sistema de implante coclear autoajustable.
US7058182B2 (en) 1999-10-06 2006-06-06 Gn Resound A/S Apparatus and methods for hearing aid performance measurement, fitting, and initialization
JP2001175637A (ja) * 1999-12-15 2001-06-29 Rion Co Ltd システム最適化方法及びその装置
US7343021B2 (en) 1999-12-15 2008-03-11 Rion Co., Ltd. Optimum solution method, hearing aid fitting apparatus utilizing the optimum solution method, and system optimization adjusting method and apparatus
DE10018334C1 (de) * 2000-04-13 2002-02-28 Implex Hear Tech Ag Mindestens teilimplantierbares System zur Rehabilitation einer Hörstörung
CA2411782A1 (en) * 2000-06-30 2002-01-17 Cochlear Limited Cochlear implant
EP1352543B1 (fr) * 2001-01-18 2010-08-11 Centre National De La Recherche Scientifique (Cnrs) Generateur de signaux auditifs destines a des personnes atteintes d'acouphenes
JP2003013794A (ja) * 2001-04-24 2003-01-15 Denso Corp 車両用制御パラメータの適合方法及び適合装置
JP3865600B2 (ja) * 2001-06-04 2007-01-10 リオン株式会社 適応特性補聴器および最適補聴処理特性決定装置
JP3966375B2 (ja) * 2001-06-21 2007-08-29 独立行政法人農業・食品産業技術総合研究機構 インターネットを介する並列処理計算委託システム
US7650004B2 (en) * 2001-11-15 2010-01-19 Starkey Laboratories, Inc. Hearing aids and methods and apparatus for audio fitting thereof
US7889879B2 (en) 2002-05-21 2011-02-15 Cochlear Limited Programmable auditory prosthesis with trainable automatic adaptation to acoustic conditions
US8355794B2 (en) 2003-03-11 2013-01-15 Cochlear Limited Using a genetic algorithm in mixed mode device
US8255059B2 (en) 2003-03-11 2012-08-28 Cochlear Limited Using a genetic algorithm to fit a medical implant system to a patient
EP1767058A4 (en) 2004-06-14 2009-11-25 Johnson & Johnson Consumer HEARING DEVICE SOUND SIMULATION SYSTEM AND METHOD OF USE OF THE SYSTEM
WO2007090243A1 (en) 2006-02-10 2007-08-16 Cochlear Limited Implant id recognition
US8825168B2 (en) 2009-09-10 2014-09-02 Cochlear Limited Using a genetic algorithm employing dynamic mutation
US8401978B2 (en) 2009-09-10 2013-03-19 Cochlear Limited Using a genetic algorithm employing an expedited convergence mechanism to at least partially fit a medical implant to a patient using patient feedback

Also Published As

Publication number Publication date
WO2004080532A1 (en) 2004-09-23
AU2004220516A1 (en) 2004-09-23
US6879860B2 (en) 2005-04-12
CA2518997A1 (en) 2004-09-23
US20050107845A1 (en) 2005-05-19
JP2006523117A (ja) 2006-10-12
US8301259B2 (en) 2012-10-30
US20040181266A1 (en) 2004-09-16
EP1608431A4 (en) 2007-04-18
EP1608431A1 (en) 2005-12-28
JP2012130722A (ja) 2012-07-12

Similar Documents

Publication Publication Date Title
JP5129954B2 (ja) 遺伝的アルゴリズムを用いてmap適化を行った蝸牛インプラントシステム
US8812122B2 (en) Using a genetic algorithm to fit a medical implant system to a patient
US7206416B2 (en) Speech-based optimization of digital hearing devices
US8355794B2 (en) Using a genetic algorithm in mixed mode device
US8630964B2 (en) Using a genetic algorithm employing an expedited convergence mechanism to at least partially fit a medical implant to a patient using patient feedback
US9049529B2 (en) Hearing aids and methods and apparatus for audio fitting thereof
US9031663B2 (en) Genetic algorithm based auditory training
CN102612354B (zh) 确定植入物调配中的刺激电平参数
US8825168B2 (en) Using a genetic algorithm employing dynamic mutation
CN107615651A (zh) 用于改善的音频感知的系统和方法
AU2010298142B2 (en) Hearing implant fitting
CN114339564B (zh) 一种基于神经网络的用户自适应助听器自验配方法
Dawson et al. Clinical evaluation of expanded input dynamic range in Nucleus cochlear implants
US9844326B2 (en) System and methods for creating reduced test sets used in assessing subject response to stimuli
USRE48462E1 (en) Systems, methods, and apparatus for equalization preference learning
Legrand et al. Interactive evolution for cochlear implants fitting
Vyas Common configurations and personalization systems for over-the-counter hearing aids
CN116269360A (zh) 听觉精细能力的远程测试方法、系统、终端及存储介质
WO2010025356A2 (en) System and methods for reducing perceptual device optimization time

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100830

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110308

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110406

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110414

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110607

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees