JP6068446B2

JP6068446B2 - 視覚を補助する装置を制御するための方法および装置

Info

Publication number: JP6068446B2
Application number: JP2014509802A
Authority: JP
Inventors: アンリ・ロラッチ; リャド・ベノスマン; ジョゼ・サヘル; セルジュ・ピコー
Original assignee: ユニヴェルシテ・ピエール・エ・マリ・キュリ・（パリ・６）; サントル・ナショナル・ドゥ・ラ・レシェルシュ・サイエンティフィーク−セ・エン・エール・エス−
Priority date: 2011-05-12
Filing date: 2012-05-11
Publication date: 2017-01-25
Anticipated expiration: 2032-05-11
Also published as: FR2975251A1; CN103732287A; CA2835024A1; EP2707093B1; CA2835024C; EP2707093A1; US20140085447A1; US9987167B2; BR112013028742A2; AU2012252200B2; AU2012252200A1; ES2718103T3; KR101905053B1; JP2014516665A; WO2012153073A1; KR20140038446A; FR2975251B1; CN103732287B

Description

本発明は、視覚を補助するための装置の分野に関し、具体的には、それを装着する人に視覚情報を提供するために人工器官（prostheses）または整形器具（orthoses）を制御することに関する。

視覚人工器官を用いる視覚リハビリテーションは、視覚障害において知覚を呼び起こすために網膜と脳との間の視経路に沿って神経を刺激することを目的とする。視覚人工器官は、神経細胞の近くに移植され、そこで空間的および時間的に変調される電場を加える。電場は、行列配置されるピクセル区域で局所的に加えられる。それは、その影響を受けるニューロン膜に電位を引起す。網膜または視覚野の依然として機能している細胞は、光受容体および他の網膜細胞がもはや機能的ではない場合でも、刺激されることができる。

既存の手法は、視覚系の異なる領域を対象にする。網膜下移植は、網膜の双極細胞を刺激し、一方で網膜上移植は、視神経を介して脳へ接続される神経節細胞を刺激する。両方の戦略は、光受容細胞の変性後に残る網膜細胞を使用することを試みる。別の手法は、視覚野を直接刺激し、視神経が損傷している場所でも使用可能な皮質移植を使用する。これら３つの戦略は、臨床試験で検証され、それらは、眼内閃光を呼び起こすことができ、形状認識を可能にし、いくつかの場合では文字認識を可能にすることを示した。

整形器具は、喪失した視覚情報を提供するために、依然として機能している網膜領域に対し、前処理により簡易化した視覚情報を提供するように設計される。この情報は、対応する暗点のために喪失することがあり、またはその複雑性、大きさ或いはコントラスト（向上した視力）により通常アクセスできないことがある。

視覚を補助するための装置（視覚補助装置として供する人工器官または整形器具）は、光受容系からの信号を処理することにより得られた信号が供給される。従来の戦略は、時間と共に規則的に間隔が空いた画像またはビデオフレームとして光を受容することを含む。このサンプリング方法は例えば、ＵＳ２０１０／００６７８２５Ａ１で使用され、いくつかの問題を呈する。

顕著性抽出または輪郭線抽出のような集中的計算を含みうる画像処理は、視覚補助装置に対する活性化方式を定義するために画像に適用される。採用された各種刺激戦略は、今までに満足のいく結果をもたらしていない。この方法の制約は、センサの低いダイナミックレンジにより、せいぜい３３ｍｓ毎の画像しかもたらさないことである。他方、より高速なＣＣＤ（電荷結合素子）カメラの使用は、画像処理アルゴリズムの複雑性に不適合であって、携帯用システムに適切ではない。

視覚系の動的特性を再生成することは、かなり短い応答時間を要求する。哺乳類の脳は、２０〜３０ミリ秒内で視野の一定の特徴を抽出しようとすることが分かっている。網膜に起因しうる処理遅延は、約５０ｍｓである。画像毎にサンプリングする時、情報収取目的で時間勾配を観察するためにいくつかの画像を収集する必要がある。網膜がモデリングのために要求する５０ｍｓは、２つの画像が４０Ｈｚで受容された場合、既に超過している。従って、網膜による特徴の正確なリアルタイムでの抽出は理論的に、秒単位時間の導関数を計算し、信号を処理し、特徴を抽出するために６０Ｈｚより高いサンプリング周波数を要求する。

また、基礎刺激は、視覚情報の処理のかなり早いダイナミクスにより、２〜３ミリ秒の精度で時間的に置かれなければならない（２００８年２月 Gollisch TらによるScience,Vol.319, p.1108-1111, “Rapid Neural Coding in the Retina with Relative Spike Latencies”を参照）。この要件は、現実的なサンプリング周波数を有するフレーム毎の受容システムによって満たすことができない。

従って、視覚補助装置を適切に制御できる技術に対する必要性が存在する。

視覚補助装置を制御するための方法であって：
−観察すべき光景を示す入力信号を受けるステップであって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、受けるステップと；
−視覚補助装置のピクセル区域に対する各制御信号を生成するために、ピクセルの行列内で空間的に、および信号配列に沿って時間的に、入力信号を変換するステップと；
−視覚補助装置に制御信号を適用するステップと；
を具備する方法が提供される。

視覚補助装置に対する制御信号を構成するために非同期信号を使用することは、多数の利点がある。これら信号は、従来のビデオ信号におけるフレームに対するクロックとは異なり、所定のクロックレートで時間と共にサンプリングされない。それらは、観察すべき光景のアドレスイベント表示（address-event representation“AER”）として言及されるものを提供する。各ピクセルに対応して、イベントベースの信号配列、即ちこのピクセルに対応する光強度の変動に依存する信号がある。例示的な実施形態では、ピクセルに関するイベントベースの非同期信号配列は、このピクセルに関する光変動の関数として時間的に置かれた正または負のパルスの配列を含む。このタイプの捕捉は、網膜光受容体の連続的な光捕捉を再生成する。それは、視覚の分野において高度の時間冗長性を活用する。

従って：
−従来のビデオカメラが所定のフレームレートで行う、ピクセルの大部分によって見られる実質的に一定の光レベルを時間と共に反復する必要がない。
−光の局所的変動を迅速に、かつフレーム間周期によって限定されることなく正確な時間的位置で認識することができる。

非同期信号配列は、視覚整形器具または人工器官に有益な情報を提供するために空間的および時間的に変換される。いくつかの手法は、この情報に採用することができる。一般に、装着者の要件に対して、信号変換の制御とそれによるパラメータとを調節する必要があろう。

１つの手法は、異なるタイプの網膜細胞の挙動のモデルに基づく。

制御信号を生成するための入力信号の変換は：
−異なる大きさのフィルタ核を備えた２つの空間フィルタ処理動作、２つの空間フィルタ処理動作の結果間の差の計算、および差に対する時間フィルタ処理動作：から第１の信号を得る。
−第１の信号が特異的な兆候の値を有する場合、ゼロ値の第２の信号を得て、そうでない場合、第１の信号と同じ絶対値の第２の信号を得る。

異なる大きさのフィルタ核の使用は、網膜光受容体および水平細胞の挙動を考慮する場合に考慮することができ、水平細胞は通常、光受容体より大きい相互作用の半径を有する。第１の信号の正または負の部分を再生成する第２の信号は、双極細胞によって生成された信号として観察されうる。計算された差の極性は、‘ＯＮ’双極細胞と‘ＯＦＦ’双極細胞とを区別する。空間および／または時間フィルタ処理のためのパラメータの異なるセットはまた、少なくとも１０個の異なるタイプの双極細胞がある場合、異なるタイプの双極細胞の挙動間を区別することができる。

このタイプの変換は、視覚人工器官に加えられた制御信号が後で第２の信号から生成される場合、網膜下視覚人工器官に適切である。それはまた、発光素子のアレイを含む整形器具に適切である。

これら第２の信号を取得することを越えて、変換を継続することが可能である。１つの実施形態では、少なくとも第１の興奮性信号および第１の抑制信号は、差に対する時間フィルタ処理動作の各時定数で取得され、次いで少なくとも第２の興奮性信号および第２の抑制信号は、第１の興奮性および抑制信号から各々取得される。この方法でシミュレートされた興奮性および抑制チャネルは、アマクリン細胞を介して神経節細胞へ興奮性入力および抑制入力を提供することができる双極細胞に対応する。制御信号を生成するための入力信号の変換は次いで、これら第２の信号が取得された後：
−第２の抑制信号から導出された第２の興奮性信号と抑制要素との間の差に対する空間フィルタ処理動作からもたらされる第３の信号を取得するステップと；
−視覚補助装置の所定のピクセル区域に対する第３の信号が所定の閾値を越える時、前記ピクセル区域に向けられた制御信号へパルスを挿入し、前記ピクセル区域に対する第３の信号をゼロに再設定するステップと；
を含む。

モデルでは、第２の抑制信号からの抑制要素の導出は、アマクリン細胞に起因し、所定の遅延および空間フィルタ処理動作を適用することを含んでもよい。

この方法で得られた第３の信号から生成された制御信号は、何人かの患者に関して、網膜上或いは皮質部に、または外側膝状核に移植された視覚人工器官に適切なことがある。

方向選択性神経節細胞の挙動を再生成できる興味深い可能性は、抑制要素の導出に含まれる空間フィルタ処理動作の偏心フィルタ核を使用することである。アマクリン細胞によって誘発された遅延と結合した、フィルタ核のこの空間オフセットは、複数の刺激の運動方向に敏感な応答をもたらす。

いくつかの神経節細胞は、異なるタイプの双極細胞から組み合わせた方法で励起されうる。これを考慮するために、第１のチャネルおよび第２のチャネルのための第２の興奮性および抑制信号は、各時定数で時間フィルタ処理動作により取得されうる。制御信号を生成するための入力信号の変換は次いで、これら第２の信号が取得された後：
−第１および第２のチャネルのための第２の興奮性信号の線形結合と、第１および第２のチャネルのための第２の抑制信号から導出された抑制要素との間の差に対する空間フィルタ処理動作からもたらされる第３の信号を取得するステップと；
−視覚人工器官の所定のピクセル区域に対する第３の信号が所定の閾値を越える時、このピクセル区域に対する制御信号へパルスを挿入し、ピクセル区域に対する第３の信号をゼロに再設定するステップと；
を含む。

モデルでは、第２の抑制信号からの抑制要素の導出は、上記説明したものとは異なるタイプのアマクリン細胞に起因し、第１および第２のチャネルのための第２の抑制信号への各遅延の適用、遅延した第２の抑制信号に対する空間フィルタ処理動作、および遅延されフィルタ処理された第２の抑制信号の線形結合の計算を含んでもよい。

この方法で得られた第３の信号から生成された制御信号は、何人かの患者に関して、網膜上或いは皮質部に、または外側膝状核に移植された視覚人工器官に適切なことがある。それはまた、発光素子のアレイを含む整形器具に適切なことがある。

異なるモデルは、おおむね神経細胞の既知の挙動に基づき、所定の患者の人工器官に対する制御信号に適用されるべき特定の変換を開発する時、参照として供することができる。精神物理学の実験は、所定の個人に対して最適な変換を選択するために使用されうる。

現象論的モデルを参照せずに、例えば人工の神経ネットワークを使用して、この変換を開発することができる。

本発明のもう１つの局面は、視覚補助装置を制御する処理信号のための装置に関し：観察すべき光景を示す入力信号を受けるための入力であって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、入力と；視覚補助装置に対する制御信号を供給するための出力と；上記定義した方法に従って制御信号を生成するための処理回路と；を含む。

本発明の他の特徴および利点は、添付図面を参照して、いくつかの非限定的で例示的な実施形態の以下の説明から明らかとなる。

図１は、視覚障害を持つ患者の視覚系を刺激するための例示的機器のブロック図である。図２Ａは、非同期センサのピクセルに関する光強度特性の一例を示す図である。図２Ｂは、図２Ａの強度特性に応じて非同期センサによって伝えられる信号の一例を示す。図２Ｃは、図２Ｂの信号からの強度特性の再構成を示す。図３Ａは、方法のもう１つの実施形態で使用可能な光捕捉モードを示す、図２Ａのものと類似の図である。図３Ｂは、方法のもう１つの実施形態で使用可能な光捕捉モードを示す、図２Ｂのものと類似の図である。図４は、網膜神経細胞の異なるカテゴリの概略表示である。図５は、モデルに対する網膜細胞のいくつかのタイプの応答を示す図である。図６は、方法のいくつかの例示的な実施形態で適用可能な処理を示す図である。図７は、方法のいくつかの例示的な実施形態で適用可能な処理を示す図である。図８は、方法のいくつかの例示的な実施形態で適用可能な処理を示す図である。図９は、方法のいくつかの例示的な実施形態で適用可能な処理を示す図である。

網膜の役割は、網膜が受けた光束を、視神経を介して脳に伝達される活動電位の配列へエンコードすることである。光情報伝達カスケードと網膜内の異なる細胞タイプ間の相互作用とは、神経節細胞の活動の複合系をもたらす。推定では、何十ものタイプの神経節細胞が形態学および生理学に依存して応答することを予測する。

観察される応答のタイプにおける多様性に関係なく、活動電位の配列における２〜３ミリ秒の時間精度は、脳によるこの情報の適切な解析に不可欠であることが分かっている。盲目に対する人工装具の処置を考慮する時、網膜細胞の力学の忠実な再現を試みることが必要である。この処置の基本原理は、光受容体の変性疾患の場合における網膜細胞に対する電気刺激である。

この用途では、使用される機器（図１）は、ピクセルの行列で配置された一群の受光素子を有する光受容装置１０と、例えば網膜の上に設置される人工器官２０とを含む。人工器官２０の皮質移植も可能である。処理ユニット３０は、光受容ユニット１０からの入力信号ｆを、人工器官２０の各ピクセル区域のために一組の制御信号Ｓに変換する。人工器官２０にこれら制御信号Ｓを加えるために、それらは、ドライバユニット４０によってアナログ電位に変換され、これらの電位を人工器官の電極に送る。

例えば、人工器官２０は、２０１０年４月３０日に出願された特許出願ＦＲ１０５３３８１に記載されたタイプでもよい。そのピクセル区域は各々、これが誘発する電場を受ける神経細胞を刺激する電位差を局所的に加える一対の電極を含む。２つの電極のうち１つは、少なくともいくつかのピクセル区域に共通な一部の接地板でもよい。人工器官２０のピクセル区域は、光受容ユニット１０のピクセル行列の空間分解能を満たす必要のない空間密度を有する。

制御信号Ｓを供給する処理ユニット３０は、デジタル信号で動作する。それは、適切なプロセッサをプログラミングすることによって実装されうる。実際に、専用論理回路を用いる信号処理ユニット３０のハードウェア実装は、機器の産業化に好ましいことがある。

行列のピクセル毎に、ユニット１０は、装置の観察領域に現れる光景のピクセルが受けた光の変動（light variation）からイベントベースの非同期信号配列を生成する。このタイプの非同期光受容装置は、網膜の生理的応答に取り組み、それにより適切な制御スキームを提示することができる。それは以下、ＤＶＳ（ダイナミックビジョンセンサ）として略称される。

この非同期センサによる捕捉の原理は、図２Ａ〜２Ｃに示される。情報は、活動閾値Ｑに達する一連の時間ｔ_ｋ（ｋ＝０、１、２、．．．）からなる。図２Ａは、ＤＶＳ行列のピクセルが受けた光強度特性Ｐ１の一例を示す。時間ｔ_ｋで活動閾値Ｑに等しい量だけ強度が増加する時はいつでも、新たな時間ｔ_ｋ＋１が特定され、正の直線（図２Ｂのレベル＋１）がこの時間ｔ_ｋ＋１で出される。対称的に、時間ｔ_ｋ’で量Ｑだけピクセルの強度が減少する時はいつでも、新たな時間ｔ_ｋ’＋１が特定され、負の直線（図２Ｂのレベル−１）がこの時間ｔ_ｋ’＋１で出される。ピクセルに対する非同期信号の配列は次いで、ピクセルに関する光特性に従って時間ｔ_ｋで時間的に置かれる一連の正および負の直線またはパルスからなる。これら直線は、放出時間ｔ_ｋおよび符号ビット（sign bit）で各々特徴付けられた正または負のディラックスパイクによって数学的に表現することができる。ＤＶＳ１０からの出力は次いで、アドレスイベント表示（ＡＥＲ）の形式である。図２Ｃは、時間と共に図２Ｂからの非同期信号を積分（integrate）することによって特性Ｐ１の近似として再構成可能な強度特性Ｐ２を示す。

活動閾値Ｑは、図２Ａ〜Ｃの場合のように固定され、または図３Ａ〜Ｂの場合のように光強度に適合されてもよい。例えば、閾値±Ｑは、±１イベントを生成するために光強度の対数の変動で比較されてもよい。

例えば、ＤＶＳ１０は、２００８年２月のP.LichtsteinerらによるIEEE Journal of Solid-State Circuits, Vol.43, No.2のp.566-576または特許出願ＵＳ２００８／０１３５７３１の「A 128X128 120db 15μs Latency Asynchronous Temporal Contrast Vision Sensor」で説明されたタイプでもいい。

網膜の力学（活動電位間の２〜３ミリ秒の最小時間）は、このタイプのＤＶＳで十分に再生成されうる。性能は、現実的なサンプリング周波数を持つ従来のビデオカメラで達成可能な性能よりもかなり高い。

ＤＶＳ１０によるピクセルに対して送られた非同期信号の形式は、処理ユニット３０に対する入力信号を構成し、一連のディラックスパイク、即ちイベントベースの非同期信号における任意の時間幅、振幅、または波形を有して表されるイベントによって異なってもよいことが分かる。

他方で、入力信号は、光検出装置から得られる必要がない。それはまた、合成されたＡＥＲ信号でもよい。

効率的に網膜細胞を刺激するために、十分な捕捉力学が必要なだけでなく、捕捉した信号を有意義な方法で処理する能力も必要である。視覚系における細胞の各タイプは、その独自の活動スキームを有する。例えば、いくつかの神経節細胞は、所定の方向、運動、またはコントラストに対して選択的に応答する。これら特性は、網膜ネットワークの接続性から生じる。網膜上人工器官の場合、この接続性は、適切な刺激タイミングを得るために再生成されるべきである。

１つの手法は、神経節細胞の各タイプの活動とＤＶＳからの信号とをリンクするために、生理学的データで人工の神経ネットワークを訓練することである。ＤＶＳの異なるピクセルからの信号は、神経節細胞の活動を予測するために、入力を積分する神経ネットワークに導入される。周知のアルゴリズムを用いて、人工のネットワーク接続に含まれたウエイトは、実際に測定された活動で予測を収束するまでに調節される。そのような捕捉およびフィルタ処理を介して達成された時間精度は、生理学的観点から関連する網膜の非同期刺激を生成することができる。

もう１つの手法は、ユニット３０によって実行される信号処理を設計する時、網膜神経細胞の挙動に対するモデルに言及することである。

モデルは、図４に概略的に示すもののように、網膜の一般的な構造に基づくことができる。このモデルでは、空間および／または時間の畳み込みは、各細胞レベルで実行される。双極細胞（ＢＣ”）は、水平細胞（ＨＣ）による遅延抑制後、光受容体（ＰＲ）から信号の正または負の部分の何れかに対する非線形変換を実行する。いくつかの双極細胞は、正の刺激に応じて‘ＯＮ’チャネルを活性化し、他の双極細胞は、負の刺激に応じて‘ＯＦＦ’チャネルを活性化する。アマクリン細胞（ＡＣ）は、遅延抑制と共に‘ＯＮ’および／または‘ＯＦＦ’チャネル間の相互作用を導入することができる。この抑制はまた、時間シフトされた抑制の場合に空間的勾配を導入してもよい。神経節細胞（ＧＣ）は、‘ＯＮ’および／または‘ＯＦＦ’チャネルの双極細胞から生ずる励起と、アマクリン細胞から生ずる抑制とを受け、リーク積分（leaky integration）を実行し、視神経Ｎに活動電位（“spike”）を放出するニューロンのように挙動する。

この処理は、図５で要約される。細胞タイプは、空間要素、例えば細胞の相互作用の半径ｒを示す標準偏差を持つガウス分布と、時定数τを持つ時間要素とを有する畳み込み核（convolution kernel）ｈ＝ｈ（ｘ、ｙ、ｔ）を用いて入力信号Ｖ＝Ｖ（ｘ、ｙ、ｔ）の畳み込みを実行すると考えられる。畳み込み核の考えられる形式は、以下のようになる。

ここで、ｘ、ｙは、２つの空間方向における位置を示し、
ｔは、時間を示し、
Ｄ（Ｄ≠０）は、いくつかのタイプの細胞、特にアマクリン細胞に対して干渉しうる遅延パラメータを示し、
ｘ_０、ｙ_０（ｘ_０≠０および／またはｙ_０≠０）は、いくつかのタイプの細胞、特にアマクリン細胞に対して干渉しうる空間オフセットパラメータを示す。

図５では、第１の行は、入力行列の位置（ｘ、ｙ）のピクセルに対するＤＶＳ１０から出る信号ｆ＝ｆ（ｘ、ｙ、ｔ）を形成する正および負のパルスの配列を示す。光受容体による処理は、入力信号ｆに畳み込み核ｈ^ＰＲを適用することからなる。水平細胞による処理は、信号Ｖ^ＨＣを形成するために、光受容体から出る信号Ｖ^ＰＲに畳み込み核ｈ^ＨＣを適用することからなる。双極細胞は、正の部分のみが‘ＯＮ’チャネルの場合に維持され（Ｖ^ＯＮ＝ｍａｘ｛０、Ｖ^ＢＣ｝）、負の部分のみが‘ＯＦＦ’チャネルの場合に維持される（Ｖ^ＯＦＦ＝ｍａｘ｛０、−Ｖ^ＢＣ｝）信号Ｖ^ＢＣを形成するために、差（Ｖ^ＰＲ−Ｖ^ＨＣ）に畳み込み核ｈ^ＢＣを適用する。パラメータτ、ｒは、核ｈ^ＰＲ、ｈ^ＨＣ、ｈ^ＢＣに関して区別される。モデル化すべき異なるタイプの双極細胞に関して、異なる一組のパラメータτ、ｒは、それらの値が別々に決定できるように提供される。

双極細胞のモデル化までに実行される動作の線形性に起因して、図６に示す例では、光受容体および水平細胞に関する空間畳み込み５０、５１（相互作用の半径ｒ^ＰＲ、ｒ^ＨＣを有する核ｈ^ＰＲ、ｈ^ＨＣ）と、双極細胞のタイプに関する単純な時間畳み込み５４または５５（興奮性細胞に対する時定数τ^ｅｘｃと抑制細胞に対するτ^ｉｎｈとを有する核ｈ^ＢＣ）とのみを実行することが可能である。このモデルでは、半径ｒ^ＰＲ、ｒ^ＨＣは、３つの細胞タイプを含む全ての鎖にわたって実際に分配される空間的積分を考慮することができる。同様に、時定数τ^ｅｘｃ、τ^ｉｎｈは、アマクリン細胞および神経節細胞を含むであろう３つの細胞タイプを含む鎖に全体的にわたって実際に分配される時間積分を考慮することができる。図６では、減算器５３は、信号Ｖ^ＰＲおよびＶ^ＨＣ間の差を計算し、それにより差が時間的にフィルタ処理され、素子５６、５７は、‘ＯＮ’の双極細胞の、シミュレートされた興奮性または抑制出力Ｖ^ＯＮ＝Ｖ^ｅｘｃ _ＯＮまたはＶ^ｉｎｈ _ＯＮを供給するために、信号Ｖ_ＢＣの正の部分を維持する。

図６はまた、アマクリン細胞および神経節細胞の挙動をモデリングする一例を示す。この例では、アマクリン細胞の層は、‘ＯＮ’の双極細胞から抑制信号Ｖ^ｉｎｈ _ＯＮを受けて、期間Ｄだけそれを遅延し（遅延ユニット５９）、半径ｒ^ＡＣの畳み込み核６０により空間的にそれをフィルタ処理する（例えば、ｘ_０＝ｙ_０＝０の時、核が中心にある）。結果としての信号は、例えば図６の‘ＯＮ’細胞でもある双極細胞からの興奮性信号Ｖ^ｅｘｃ _ＯＮと共に神経節細胞の層へ送られる抑制要素Ｖ^ＡＣである。所定のタイプの神経節細胞の層は、係数αにより抑制要素Ｖ^ＡＣを重み付けする乗算器６２と、重み付けした抑制要素αＶ^ＡＣを興奮性信号Ｖ^ｅｘｃ _ＯＮから減算する減算器６３と、ここでは半径ｒ^ＧＣの空間的核（spatial kernel）に限定される畳み込み核ｈ^ＧＣを適用するフィルタ６４と、畳み込まれた信号Ｖ^ＧＣ＝ｈ^ＧＣ＊（Ｖ^ｅｘｃ _ＯＮ−αＶ^ＡＣ）を受ける活動電位の放射体（emitter）６５とによってモデル化される。電圧信号Ｖ^ＧＣが正の閾値θに達する度に、放射体６５は、その出力信号において活動電位（“spike”）を生成し、電圧信号Ｖ^ＧＣをゼロに再設定するので、フィルタ６４で生ずる積分過程を再開する。

図６に示したようなモデルは、特定の‘ＯＮ’の神経節細胞の応答を再生成可能にする。所定の刺激に応答して視神経で観察される活動電位および／または興奮性および抑制電流の測定値（２００６年B.Roskaらによる“Parallel Processing in Retinal Ganglion Cells: How Integration of Space-Time Patterns of Excitation and Inhibition Form the Spiking Output”, Journal of Neurophysiology, Vol.95, No.6, p.3810-3822を参照）から、最適な過程は、観測値をうまく再生成するのに最適なモデルパラメータを選択するために使用される。図６の場合、パラメータ値は、ｒ^ＰＲ、ｒ^ＨＣ、τ^ｅｘｃ、τ^ｉｎｈ、Ｄ、ｒ^ＡＣ、α、ｒ^ＧＣおよびθである。

図６の場合は、‘ＯＮ’の神経節細胞に関し、それらが入力信号の正のライン（positive line）として刺激に応答することを意味する。モデルは、‘ＯＦＦ’の神経節細胞の場合に容易に適用され、それらが入力信号の負のライン（negative line）として刺激に応答することを意味する。概略は、図７のように示すことができ、双極細胞の層で生ずる信号Ｖ^ＰＲおよびＶ^ＨＣ間の減算器５２が図６に示した５３に対して逆極性を有することを除き、図６と同じである。

もう１つの考えられる状況は、神経節細胞が‘ＯＮ’（または‘ＯＦＦ’）の双極細胞からその興奮性信号Ｖ^ｅｘｃ _ＯＮ（またはＶ^ｅｘｃ _ＯＦＦ）を受けて、その一方で抑制要素Ｖ^ＡＣは、‘ＯＦＦ’（または‘ＯＮ’）の双極細胞から得られる。この状況は、‘ＯＮ’の双極細胞による励起および‘ＯＦＦ’の双極細胞による抑制の場合において図８により示される。

図９に示すさらにもう１つの考えられる状況は、神経節細胞は、（正の係数α^ｅｘｃ _{ＯＦＦ／ＯＮ}により調節される相対的な重み付けで）両方の‘ＯＮ’および‘ＯＦＦ’の双極細胞によって励起され、‘ＯＮ’および‘ＯＦＦ’の双極細胞により放出された抑制信号Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦの組合せから生ずる要素Ｖ^ＡＣによって抑制される。アマクリン細胞の２つのファミリーは次いで、遅延ユニット５９の異なる時間Ｄ_ＯＮ、Ｄ_ＯＦＦと、フィルタ６０における相互作用の考えられる異なる半径ｒ^ＡＣ _ＯＮ、ｒ^ＡＣ _ＯＦＦとを持つようなチャネルでモデル化される。２つのフィルタ６０からの出力は、抑制要素Ｖ^ＡＣを形成するために線形的に結合される。図９の例では、結合は、乗算器６８および加算器６９を用いて行われ、乗算器６８は、‘ＯＮ’チャネル経路および‘ＯＦＦ’経路のフィルタ処理された信号に対して各重み付け係数α^ｉｎｈ _ＯＮ、α^ｉｎｈ _ＯＦＦを適用し、加算器６９は、フィルタ処理および重み付けされた信号の合計として抑制要素Ｖ^ＡＣを生成する。

図９の神経節細胞の層のモデルでは、乗算器７０は、‘ＯＦＦ’の双極細胞から生ずる興奮性信号Ｖ^ｅｘｃ _ＯＦＦに重み付け係数α^ｅｘｃ _{ＯＦＦ／ＯＮ}を適用する。興奮性および抑制要素は、空間フィルタ６４への入力Ｖ^ｅｘｃ _ＯＮ＋α^ｅｘｃ _{ＯＦＦ／ＯＮ}．Ｖ^ｅｘｃ _ＯＦＦ−Ｖ^ＡＣを供給するために、７１で結合される。重み付け係数α^ｅｘｃ _{ＯＦＦ／ＯＮ}、α^ｉｎｈ _ＯＮ、α^ｉｎｈ _ＯＦＦの値は、関連する各種双極細胞から相対的な興奮性および抑制レベルを調節可能にする。

図９の概略の変形では、空間フィルタ６４への入力は、Ｖ^ｅｘｃ _ＯＮ＋α^ｅｘｃ _{ＯＦＦ／ＯＮ}．Ｖ^ｅｘｃ _ＯＦＦ−Ｖ^ＡＣではなく、α^ｅｘｃ _{ＯＮ／ＯＦＦ}．Ｖ^ｅｘｃ _ＯＮ＋Ｖ^ｅｘｃ _ＯＦＦ−Ｖ^ＡＣである。係数α^ｅｘｃ _{ＯＦＦ／ＯＮ}またはα^ｅｘｃ _{ＯＮ／ＯＦＦ}は、正またはゼロである。それは、神経節細胞が双極細胞の１つのタイプのみにより励起されてアマクリン細胞を介して双極細胞の２つのタイプにより抑制される場合、ゼロに制約されうる。

他の情報経路の一部である神経節細胞に関して、異なるパラメータを含む他の興奮性スキームを、モデルに加えることができる。

ＤＶＳセンサ１０からのＡＥＲ信号から、図５〜９に示すようなモデルは、Ｂ．Ｒｏｓｋａらによる上記文献で説明したネズミ（rodent）での１０個のタイプの応答を、モデルパラメータを最適化することにより適切に再生成可能にする。これは、網膜神経細胞の適切な刺激を提供するための方法が可能であることを明らかにする。

方向選択制神経節細胞に関して、モデルは、アマクリン細胞によって実行される処理を示す層で適用される空間フィルタ核６０のオフセットｘ_０、ｙ_０を含むように強化されうる。これらアマクリン細胞によって適用される遅延Ｄと組み合わせたこの偏心核は、シフトｘ_０、ｙ_０の方位に沿って刺激の方向性を反映する。

人工器官が網膜上に移植される時、それは、神経節細胞の電位に影響する。図１の信号処理ユニット３０によって伝えられる制御信号Ｓは次いで、図６〜９のうち１つで示す活動電位放射体６５によって生成された信号でもよい。刺激すべき神経節細胞のタイプおよび対応するモデリングスキームは、最適な知覚結果を提供する制御モードを見出だすために、精神物理学実験を行うことで所定の患者に対して選択されうる。そのような実験の間にいくつかのモデルパラメータに対する調節を行うことも可能である。人工器官の代替の移植は、皮質および外側膝状核（網膜および皮質間にある）に対して行われる。後者の場合、網膜上刺激に関して上記説明したのと同様の信号が、例えば人工器官に加えられてもよい。

人工器官が実質的に移植される場合、それは、双極細胞の電位に影響する。この場合、図１の処理ユニット３０によって伝えられる制御信号Ｓは、双極細胞のモデリングに含まれる素子５６、５７によって生成される信号Ｖ^ｅｘｃ _ＯＮ、Ｖ^ｅｘｃ _ＯＦＦ、Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦでもよい。再び、刺激すべき双極細胞のタイプおよび対応するモデリングスキームは、精神物理学実験を行うことで所定の患者に対して選択されうる。

人工器官２０のピクセル区域の空間分解能は、ＤＶＳセンサ１０のピクセルの空間分解能と同じである必要がない。信号の空間再サンプリング（spatial resampling）は故に、入力信号ｆから制御信号Ｓへの変換で発生しうる。分解能がセンサ１０よりも人工器官２０で低い一般的な場合、空間サブサンプリングは、変換で実行される最後の空間フィルタ処理動作の間に発生しうる。

視覚補助装置２０は、視覚系の細胞を電気的に励起する人工器官とは違う別の装置でもよい。視覚整形器具の場合、変換器は、視覚表示を提供するために、異なる信号積分レベル（signal integration level）から信号を取る発光素子（例えば、ＬＥＤ、マイクロＬＥＤ、ＬＣＤ）の行列に対応してもよい。

このように制御される整形器具は、光受容体の変性疾患に対する１つの処置戦略である遺伝子治療と併せて使用することができる。遺伝子治療の１つの形式は、網膜（感光性、双極性、アマクリン、および神経節細胞を失った光受容体）の残りの細胞において光受容イオンチャネルまたは光受容キャリアを発現することからなる。この遺伝子組み換えは、光によって励起可能な新たな光受容体を‘生成’する。しかし、その感光性は、杆体錐体と比較して低い。他方で、対象となる細胞のタイプに依存して、視覚情報は、電気刺激を使用する人工器官と同様に処理されうる。これにより、もはや電気ではなくむしろ光ベースであって、同じタイプの処理を要求する刺激を生成する視覚補助装置を使用するような場合に有益である。

上記実施形態は、本発明を説明する。各種修正は、以下の特許請求の範囲に記載される本発明の範囲から逸脱することなくそれらに適用可能である。特に、方法は、数式に限定されるものではなく、むしろ一般に、視覚補助装置に対する制御信号Ｓを開発するために上記言及したモデリングに関する。

３０信号処理
４０ドライバ

Claims

視覚補助装置（２０）を制御するための機器の動作方法であって：
−観察すべき光景を示す入力信号（ｆ）を受けるステップであって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、受けるステップと；
−視覚補助装置のピクセル区域に対する各制御信号（Ｓ）を生成するために、ピクセルの行列内で空間的に、およびイベントベースの非同期信号配列に沿って時間的に、入力信号を変換するステップと；
−視覚補助装置に制御信号を適用するステップと；
を具備する方法。
ピクセルに対するイベントベースの非同期信号配列は、ピクセルに関する光変動の関数として時間的に置かれる正または負のパルスの配列を具備することを特徴とする請求項１に記載の方法。
制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは：
−異なる大きさのフィルタ核（５０、５１）を備えた２つの空間フィルタ処理動作、２つの空間フィルタ処理動作の結果間の差の計算、および差に対する時間フィルタ処理動作（５４、５５）：から第１の信号（Ｖ^ＢＣ）を得るステップと；
−第１の信号が特異的な兆候の値を有する場合、ゼロ値の第２の信号（Ｖ^ｅｘｃ _ＯＮ、Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｅｘｃ _ＯＦＦ、Ｖ^ｉｎｈ _ＯＦＦ）を得て、そうでない場合、第１の信号と同じ絶対値の第２の信号を得るステップと；
を具備することを特徴とする請求項１または２に記載の方法。
視覚補助装置は、網膜下視覚人工器官（２０）を具備し、視覚人工器官に加えられる制御信号（Ｓ）は、前記第２の信号から生成されることを特徴とする請求項３に記載の方法。
視覚補助装置は、発光素子の行列を具備し、前記行列に加えられる制御信号（Ｓ）は、前記第２の信号から生成されることを特徴とする請求項３に記載の方法。
少なくとも第１の興奮性信号および第１の抑制信号は、差に対する時間フィルタ処理動作（５４、５５）に関する各時定数（τ^ｅｘｃ、τ^ｉｎｈ）により取得され、少なくとも第２の興奮性信号（Ｖ^ｅｘｃ _ＯＮ、Ｖ^ｅｘｃ _ＯＦＦ）および第２の抑制信号（Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦ）は、第１の興奮性および抑制信号から各々得られることを特徴とする請求項３に記載の方法。
制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは：
−第２の抑制信号（Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦ）から導出された第２の興奮性信号（Ｖ^ｅｘｃ _ＯＮ、Ｖ^ｅｘｃ _ＯＦＦ）と抑制要素（Ｖ^ＡＣ）との間の差に対する空間フィルタ処理動作（６４）からもたらされる第３の信号（Ｖ^ＧＣ）を取得するステップと；
−視覚補助装置（２０）の所定のピクセル区域に対する第３の信号が所定の閾値（θ）を越える時、前記ピクセル区域に向けられた制御信号（Ｓ）へパルスを挿入し、前記ピクセル区域に対する第３の信号をゼロに再設定するステップと；
をさらに具備することを特徴とする請求項６に記載の方法。
第２の抑制信号（Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦ）からの抑制要素（Ｖ^ＡＣ）の導出は、所定の遅延（Ｄ）の適用（５９）および空間フィルタ処理動作（６０）を具備することを特徴とする請求項７に記載の方法。
抑制要素（Ｖ^ＡＣ）の導出における空間フィルタ処理動作（６０）は、偏心フィルタ核を使用することを特徴とする請求項８に記載の方法。
第２の興奮性および抑制信号（Ｖ^ｅｘｃ _ＯＮ、Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｅｘｃ _ＯＦＦ、Ｖ^ｉｎｈ _ＯＦＦ）は、各時定数の時間フィルタ処理動作（５４、５５）を持つ第１のチャネルおよび第２のチャネルに対して得られ、制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは：
−第１および第２のチャネルに関する第２の興奮性信号（Ｖ^ｅｘｃ _ＯＮ、Ｖ^ｅｘｃ _ＯＦＦ）の線形結合と、第１および第２のチャネルに関する第２の抑制信号（Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦ）から導出される抑制要素（Ｖ^ＡＣ）との間の差に対する空間フィルタ処理動作（６４）からもたらされる第３の信号を取得するステップと；
−視覚補助装置（２０）の所定のピクセル区域に関する第３の信号が所定の閾値（θ）を越える時、前記ピクセル区域に対する制御信号（Ｓ）へパルスを挿入し、前記ピクセル区域に関する第３の信号をゼロに再設定するステップと；
をさらに具備することを特徴とする請求項６に記載の方法。
第２の抑制信号（Ｖ^ｉｎｈ _ＯＮ、Ｖ^ｉｎｈ _ＯＦＦ）からの抑制要素（Ｖ^ＡＣ）の導出は、第１および第２のチャネルに関する第２の抑制信号への各遅延（Ｄ_ＯＮ、Ｄ_ＯＦＦ）の適用と、遅延した第２の抑制信号に対する空間フィルタ処理動作（６０）と、遅延およびフィルタ処理した第２の抑制信号の線形結合の計算（６８、６９）とを具備することを特徴とする請求項１０に記載の方法。
視覚補助装置は、網膜上或いは皮質部分または外側膝状体に視覚人工器官（２０）を具備し、視覚人工器官に適用される制御信号（Ｓ）は、前記第３の信号から生成されることを特徴とする請求項７〜１１のうち何れか１項に記載の方法。
視覚補助装置は、発光素子の行列（２０）を含み、この行列に適用される制御信号（Ｓ）は、前記第３の信号から生成されることを特徴とする請求項７〜１１のうち何れか１項に記載の方法。
制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは、人工神経ネットワークを使用して実行されることを特徴とする請求項１または２に記載の方法。
視覚補助装置（２０）を制御するための機器に対する信号を処理するための装置であって：観察すべき光景を示す入力信号（ｆ）を受けるための入力であって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、入力と；視覚補助装置に対する制御信号（Ｓ）を供給するための出力と；請求項１〜１４のうち何れか１項に記載の方法に従って、制御信号を生成するための処理回路（３０）と；を具備する装置。