JP6068446B2 - 視覚を補助する装置を制御するための方法および装置 - Google Patents
視覚を補助する装置を制御するための方法および装置 Download PDFInfo
- Publication number
- JP6068446B2 JP6068446B2 JP2014509802A JP2014509802A JP6068446B2 JP 6068446 B2 JP6068446 B2 JP 6068446B2 JP 2014509802 A JP2014509802 A JP 2014509802A JP 2014509802 A JP2014509802 A JP 2014509802A JP 6068446 B2 JP6068446 B2 JP 6068446B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- inh
- suppression
- exc
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims description 50
- 238000000034 method Methods 0.000 title claims description 40
- 230000001629 suppression Effects 0.000 claims description 40
- 238000001914 filtration Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 20
- 210000001525 retina Anatomy 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000002964 excitative effect Effects 0.000 claims description 13
- 206010001497 Agitation Diseases 0.000 claims description 10
- 230000003111 delayed effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 6
- 238000009795 derivation Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 230000001054 cortical effect Effects 0.000 claims description 3
- 230000001934 delay Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 79
- 108091008695 photoreceptors Proteins 0.000 description 28
- 208000003098 Ganglion Cysts Diseases 0.000 description 26
- 208000005400 Synovial Cyst Diseases 0.000 description 26
- 210000002287 horizontal cell Anatomy 0.000 description 14
- 210000000411 amacrine cell Anatomy 0.000 description 13
- 230000002207 retinal effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 9
- 230000036982 action potential Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000002401 inhibitory effect Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000004438 eyesight Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 210000001328 optic nerve Anatomy 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000000638 stimulation Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000000399 orthopedic effect Effects 0.000 description 4
- 230000005684 electric field Effects 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 210000001116 retinal neuron Anatomy 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 238000002054 transplantation Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000003986 cell retinal photoreceptor Anatomy 0.000 description 2
- 238000001415 gene therapy Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 208000015122 neurodegenerative disease Diseases 0.000 description 2
- 230000004936 stimulating effect Effects 0.000 description 2
- 208000029257 vision disease Diseases 0.000 description 2
- 210000000857 visual cortex Anatomy 0.000 description 2
- 230000004393 visual impairment Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 102000004310 Ion Channels Human genes 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008614 cellular interaction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000005171 mammalian brain Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000000608 photoreceptor cell Anatomy 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 230000006461 physiological response Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 210000003569 retinal bipolar cell Anatomy 0.000 description 1
- 210000003994 retinal ganglion cell Anatomy 0.000 description 1
- 210000003432 retinal horizontal cell Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000019491 signal transduction Effects 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000004400 visual pathway Effects 0.000 description 1
- 210000000239 visual pathway Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0526—Head electrodes
- A61N1/0543—Retinal electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
- A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/36046—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Cardiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biodiversity & Conservation Biology (AREA)
- Vascular Medicine (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Neurology (AREA)
- Signal Processing (AREA)
- Prostheses (AREA)
- Image Processing (AREA)
Description
本発明は、視覚を補助するための装置の分野に関し、具体的には、それを装着する人に視覚情報を提供するために人工器官（prostheses）または整形器具（orthoses）を制御することに関する。
視覚人工器官を用いる視覚リハビリテーションは、視覚障害において知覚を呼び起こすために網膜と脳との間の視経路に沿って神経を刺激することを目的とする。視覚人工器官は、神経細胞の近くに移植され、そこで空間的および時間的に変調される電場を加える。電場は、行列配置されるピクセル区域で局所的に加えられる。それは、その影響を受けるニューロン膜に電位を引起す。網膜または視覚野の依然として機能している細胞は、光受容体および他の網膜細胞がもはや機能的ではない場合でも、刺激されることができる。
既存の手法は、視覚系の異なる領域を対象にする。網膜下移植は、網膜の双極細胞を刺激し、一方で網膜上移植は、視神経を介して脳へ接続される神経節細胞を刺激する。両方の戦略は、光受容細胞の変性後に残る網膜細胞を使用することを試みる。別の手法は、視覚野を直接刺激し、視神経が損傷している場所でも使用可能な皮質移植を使用する。これら３つの戦略は、臨床試験で検証され、それらは、眼内閃光を呼び起こすことができ、形状認識を可能にし、いくつかの場合では文字認識を可能にすることを示した。
整形器具は、喪失した視覚情報を提供するために、依然として機能している網膜領域に対し、前処理により簡易化した視覚情報を提供するように設計される。この情報は、対応する暗点のために喪失することがあり、またはその複雑性、大きさ或いはコントラスト（向上した視力）により通常アクセスできないことがある。
視覚を補助するための装置（視覚補助装置として供する人工器官または整形器具）は、光受容系からの信号を処理することにより得られた信号が供給される。従来の戦略は、時間と共に規則的に間隔が空いた画像またはビデオフレームとして光を受容することを含む。このサンプリング方法は例えば、ＵＳ２０１０／００６７８２５Ａ１で使用され、いくつかの問題を呈する。
顕著性抽出または輪郭線抽出のような集中的計算を含みうる画像処理は、視覚補助装置に対する活性化方式を定義するために画像に適用される。採用された各種刺激戦略は、今までに満足のいく結果をもたらしていない。この方法の制約は、センサの低いダイナミックレンジにより、せいぜい３３ｍｓ毎の画像しかもたらさないことである。他方、より高速なＣＣＤ（電荷結合素子）カメラの使用は、画像処理アルゴリズムの複雑性に不適合であって、携帯用システムに適切ではない。
視覚系の動的特性を再生成することは、かなり短い応答時間を要求する。哺乳類の脳は、２０〜３０ミリ秒内で視野の一定の特徴を抽出しようとすることが分かっている。網膜に起因しうる処理遅延は、約５０ｍｓである。画像毎にサンプリングする時、情報収取目的で時間勾配を観察するためにいくつかの画像を収集する必要がある。網膜がモデリングのために要求する５０ｍｓは、２つの画像が４０Ｈｚで受容された場合、既に超過している。従って、網膜による特徴の正確なリアルタイムでの抽出は理論的に、秒単位時間の導関数を計算し、信号を処理し、特徴を抽出するために６０Ｈｚより高いサンプリング周波数を要求する。
また、基礎刺激は、視覚情報の処理のかなり早いダイナミクスにより、２〜３ミリ秒の精度で時間的に置かれなければならない（２００８年２月 Gollisch TらによるScience,Vol.319, p.1108-1111, “Rapid Neural Coding in the Retina with Relative Spike Latencies”を参照）。この要件は、現実的なサンプリング周波数を有するフレーム毎の受容システムによって満たすことができない。
従って、視覚補助装置を適切に制御できる技術に対する必要性が存在する。
視覚補助装置を制御するための方法であって：
−観察すべき光景を示す入力信号を受けるステップであって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、受けるステップと；
−視覚補助装置のピクセル区域に対する各制御信号を生成するために、ピクセルの行列内で空間的に、および信号配列に沿って時間的に、入力信号を変換するステップと；
−視覚補助装置に制御信号を適用するステップと；
を具備する方法が提供される。
−観察すべき光景を示す入力信号を受けるステップであって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、受けるステップと；
−視覚補助装置のピクセル区域に対する各制御信号を生成するために、ピクセルの行列内で空間的に、および信号配列に沿って時間的に、入力信号を変換するステップと；
−視覚補助装置に制御信号を適用するステップと；
を具備する方法が提供される。
視覚補助装置に対する制御信号を構成するために非同期信号を使用することは、多数の利点がある。これら信号は、従来のビデオ信号におけるフレームに対するクロックとは異なり、所定のクロックレートで時間と共にサンプリングされない。それらは、観察すべき光景のアドレスイベント表示（address-event representation“AER”）として言及されるものを提供する。各ピクセルに対応して、イベントベースの信号配列、即ちこのピクセルに対応する光強度の変動に依存する信号がある。例示的な実施形態では、ピクセルに関するイベントベースの非同期信号配列は、このピクセルに関する光変動の関数として時間的に置かれた正または負のパルスの配列を含む。このタイプの捕捉は、網膜光受容体の連続的な光捕捉を再生成する。それは、視覚の分野において高度の時間冗長性を活用する。
従って：
−従来のビデオカメラが所定のフレームレートで行う、ピクセルの大部分によって見られる実質的に一定の光レベルを時間と共に反復する必要がない。
−光の局所的変動を迅速に、かつフレーム間周期によって限定されることなく正確な時間的位置で認識することができる。
−従来のビデオカメラが所定のフレームレートで行う、ピクセルの大部分によって見られる実質的に一定の光レベルを時間と共に反復する必要がない。
−光の局所的変動を迅速に、かつフレーム間周期によって限定されることなく正確な時間的位置で認識することができる。
非同期信号配列は、視覚整形器具または人工器官に有益な情報を提供するために空間的および時間的に変換される。いくつかの手法は、この情報に採用することができる。一般に、装着者の要件に対して、信号変換の制御とそれによるパラメータとを調節する必要があろう。
１つの手法は、異なるタイプの網膜細胞の挙動のモデルに基づく。
制御信号を生成するための入力信号の変換は：
−異なる大きさのフィルタ核を備えた２つの空間フィルタ処理動作、２つの空間フィルタ処理動作の結果間の差の計算、および差に対する時間フィルタ処理動作：から第１の信号を得る。
−第１の信号が特異的な兆候の値を有する場合、ゼロ値の第２の信号を得て、そうでない場合、第１の信号と同じ絶対値の第２の信号を得る。
−異なる大きさのフィルタ核を備えた２つの空間フィルタ処理動作、２つの空間フィルタ処理動作の結果間の差の計算、および差に対する時間フィルタ処理動作：から第１の信号を得る。
−第１の信号が特異的な兆候の値を有する場合、ゼロ値の第２の信号を得て、そうでない場合、第１の信号と同じ絶対値の第２の信号を得る。
異なる大きさのフィルタ核の使用は、網膜光受容体および水平細胞の挙動を考慮する場合に考慮することができ、水平細胞は通常、光受容体より大きい相互作用の半径を有する。第１の信号の正または負の部分を再生成する第２の信号は、双極細胞によって生成された信号として観察されうる。計算された差の極性は、‘ＯＮ’双極細胞と‘ＯＦＦ’双極細胞とを区別する。空間および／または時間フィルタ処理のためのパラメータの異なるセットはまた、少なくとも１０個の異なるタイプの双極細胞がある場合、異なるタイプの双極細胞の挙動間を区別することができる。
このタイプの変換は、視覚人工器官に加えられた制御信号が後で第２の信号から生成される場合、網膜下視覚人工器官に適切である。それはまた、発光素子のアレイを含む整形器具に適切である。
これら第２の信号を取得することを越えて、変換を継続することが可能である。１つの実施形態では、少なくとも第１の興奮性信号および第１の抑制信号は、差に対する時間フィルタ処理動作の各時定数で取得され、次いで少なくとも第２の興奮性信号および第２の抑制信号は、第１の興奮性および抑制信号から各々取得される。この方法でシミュレートされた興奮性および抑制チャネルは、アマクリン細胞を介して神経節細胞へ興奮性入力および抑制入力を提供することができる双極細胞に対応する。制御信号を生成するための入力信号の変換は次いで、これら第２の信号が取得された後：
−第２の抑制信号から導出された第２の興奮性信号と抑制要素との間の差に対する空間フィルタ処理動作からもたらされる第３の信号を取得するステップと；
−視覚補助装置の所定のピクセル区域に対する第３の信号が所定の閾値を越える時、前記ピクセル区域に向けられた制御信号へパルスを挿入し、前記ピクセル区域に対する第３の信号をゼロに再設定するステップと；
を含む。
−第２の抑制信号から導出された第２の興奮性信号と抑制要素との間の差に対する空間フィルタ処理動作からもたらされる第３の信号を取得するステップと；
−視覚補助装置の所定のピクセル区域に対する第３の信号が所定の閾値を越える時、前記ピクセル区域に向けられた制御信号へパルスを挿入し、前記ピクセル区域に対する第３の信号をゼロに再設定するステップと；
を含む。
モデルでは、第２の抑制信号からの抑制要素の導出は、アマクリン細胞に起因し、所定の遅延および空間フィルタ処理動作を適用することを含んでもよい。
この方法で得られた第３の信号から生成された制御信号は、何人かの患者に関して、網膜上或いは皮質部に、または外側膝状核に移植された視覚人工器官に適切なことがある。
方向選択性神経節細胞の挙動を再生成できる興味深い可能性は、抑制要素の導出に含まれる空間フィルタ処理動作の偏心フィルタ核を使用することである。アマクリン細胞によって誘発された遅延と結合した、フィルタ核のこの空間オフセットは、複数の刺激の運動方向に敏感な応答をもたらす。
いくつかの神経節細胞は、異なるタイプの双極細胞から組み合わせた方法で励起されうる。これを考慮するために、第１のチャネルおよび第２のチャネルのための第２の興奮性および抑制信号は、各時定数で時間フィルタ処理動作により取得されうる。制御信号を生成するための入力信号の変換は次いで、これら第２の信号が取得された後：
−第１および第２のチャネルのための第２の興奮性信号の線形結合と、第１および第２のチャネルのための第２の抑制信号から導出された抑制要素との間の差に対する空間フィルタ処理動作からもたらされる第３の信号を取得するステップと；
−視覚人工器官の所定のピクセル区域に対する第３の信号が所定の閾値を越える時、このピクセル区域に対する制御信号へパルスを挿入し、ピクセル区域に対する第３の信号をゼロに再設定するステップと；
を含む。
−第１および第２のチャネルのための第２の興奮性信号の線形結合と、第１および第２のチャネルのための第２の抑制信号から導出された抑制要素との間の差に対する空間フィルタ処理動作からもたらされる第３の信号を取得するステップと；
−視覚人工器官の所定のピクセル区域に対する第３の信号が所定の閾値を越える時、このピクセル区域に対する制御信号へパルスを挿入し、ピクセル区域に対する第３の信号をゼロに再設定するステップと；
を含む。
モデルでは、第２の抑制信号からの抑制要素の導出は、上記説明したものとは異なるタイプのアマクリン細胞に起因し、第１および第２のチャネルのための第２の抑制信号への各遅延の適用、遅延した第２の抑制信号に対する空間フィルタ処理動作、および遅延されフィルタ処理された第２の抑制信号の線形結合の計算を含んでもよい。
この方法で得られた第３の信号から生成された制御信号は、何人かの患者に関して、網膜上或いは皮質部に、または外側膝状核に移植された視覚人工器官に適切なことがある。それはまた、発光素子のアレイを含む整形器具に適切なことがある。
異なるモデルは、おおむね神経細胞の既知の挙動に基づき、所定の患者の人工器官に対する制御信号に適用されるべき特定の変換を開発する時、参照として供することができる。精神物理学の実験は、所定の個人に対して最適な変換を選択するために使用されうる。
現象論的モデルを参照せずに、例えば人工の神経ネットワークを使用して、この変換を開発することができる。
本発明のもう１つの局面は、視覚補助装置を制御する処理信号のための装置に関し：観察すべき光景を示す入力信号を受けるための入力であって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、入力と；視覚補助装置に対する制御信号を供給するための出力と；上記定義した方法に従って制御信号を生成するための処理回路と；を含む。
本発明の他の特徴および利点は、添付図面を参照して、いくつかの非限定的で例示的な実施形態の以下の説明から明らかとなる。
網膜の役割は、網膜が受けた光束を、視神経を介して脳に伝達される活動電位の配列へエンコードすることである。光情報伝達カスケードと網膜内の異なる細胞タイプ間の相互作用とは、神経節細胞の活動の複合系をもたらす。推定では、何十ものタイプの神経節細胞が形態学および生理学に依存して応答することを予測する。
観察される応答のタイプにおける多様性に関係なく、活動電位の配列における２〜３ミリ秒の時間精度は、脳によるこの情報の適切な解析に不可欠であることが分かっている。盲目に対する人工装具の処置を考慮する時、網膜細胞の力学の忠実な再現を試みることが必要である。この処置の基本原理は、光受容体の変性疾患の場合における網膜細胞に対する電気刺激である。
この用途では、使用される機器（図１）は、ピクセルの行列で配置された一群の受光素子を有する光受容装置１０と、例えば網膜の上に設置される人工器官２０とを含む。人工器官２０の皮質移植も可能である。処理ユニット３０は、光受容ユニット１０からの入力信号ｆを、人工器官２０の各ピクセル区域のために一組の制御信号Ｓに変換する。人工器官２０にこれら制御信号Ｓを加えるために、それらは、ドライバユニット４０によってアナログ電位に変換され、これらの電位を人工器官の電極に送る。
例えば、人工器官２０は、２０１０年４月３０日に出願された特許出願ＦＲ１０ ５３３８１に記載されたタイプでもよい。そのピクセル区域は各々、これが誘発する電場を受ける神経細胞を刺激する電位差を局所的に加える一対の電極を含む。２つの電極のうち１つは、少なくともいくつかのピクセル区域に共通な一部の接地板でもよい。人工器官２０のピクセル区域は、光受容ユニット１０のピクセル行列の空間分解能を満たす必要のない空間密度を有する。
制御信号Ｓを供給する処理ユニット３０は、デジタル信号で動作する。それは、適切なプロセッサをプログラミングすることによって実装されうる。実際に、専用論理回路を用いる信号処理ユニット３０のハードウェア実装は、機器の産業化に好ましいことがある。
行列のピクセル毎に、ユニット１０は、装置の観察領域に現れる光景のピクセルが受けた光の変動（light variation）からイベントベースの非同期信号配列を生成する。このタイプの非同期光受容装置は、網膜の生理的応答に取り組み、それにより適切な制御スキームを提示することができる。それは以下、ＤＶＳ（ダイナミックビジョンセンサ）として略称される。
この非同期センサによる捕捉の原理は、図２Ａ〜２Ｃに示される。情報は、活動閾値Ｑに達する一連の時間ｔｋ（ｋ＝０、１、２、．．．）からなる。図２Ａは、ＤＶＳ行列のピクセルが受けた光強度特性Ｐ１の一例を示す。時間ｔｋで活動閾値Ｑに等しい量だけ強度が増加する時はいつでも、新たな時間ｔｋ＋１が特定され、正の直線（図２Ｂのレベル＋１）がこの時間ｔｋ＋１で出される。対称的に、時間ｔｋ’で量Ｑだけピクセルの強度が減少する時はいつでも、新たな時間ｔｋ’＋１が特定され、負の直線（図２Ｂのレベル−１）がこの時間ｔｋ’＋１で出される。ピクセルに対する非同期信号の配列は次いで、ピクセルに関する光特性に従って時間ｔｋで時間的に置かれる一連の正および負の直線またはパルスからなる。これら直線は、放出時間ｔｋおよび符号ビット（sign bit）で各々特徴付けられた正または負のディラックスパイクによって数学的に表現することができる。ＤＶＳ１０からの出力は次いで、アドレスイベント表示（ＡＥＲ）の形式である。図２Ｃは、時間と共に図２Ｂからの非同期信号を積分（integrate）することによって特性Ｐ１の近似として再構成可能な強度特性Ｐ２を示す。
活動閾値Ｑは、図２Ａ〜Ｃの場合のように固定され、または図３Ａ〜Ｂの場合のように光強度に適合されてもよい。例えば、閾値±Ｑは、±１イベントを生成するために光強度の対数の変動で比較されてもよい。
例えば、ＤＶＳ１０は、２００８年２月のP.LichtsteinerらによるIEEE Journal of Solid-State Circuits, Vol.43, No.2のp.566-576または特許出願ＵＳ２００８／０１３５７３１の「A 128X128 120db 15μs Latency Asynchronous Temporal Contrast Vision Sensor」で説明されたタイプでもいい。
網膜の力学（活動電位間の２〜３ミリ秒の最小時間）は、このタイプのＤＶＳで十分に再生成されうる。性能は、現実的なサンプリング周波数を持つ従来のビデオカメラで達成可能な性能よりもかなり高い。
ＤＶＳ１０によるピクセルに対して送られた非同期信号の形式は、処理ユニット３０に対する入力信号を構成し、一連のディラックスパイク、即ちイベントベースの非同期信号における任意の時間幅、振幅、または波形を有して表されるイベントによって異なってもよいことが分かる。
他方で、入力信号は、光検出装置から得られる必要がない。それはまた、合成されたＡＥＲ信号でもよい。
効率的に網膜細胞を刺激するために、十分な捕捉力学が必要なだけでなく、捕捉した信号を有意義な方法で処理する能力も必要である。視覚系における細胞の各タイプは、その独自の活動スキームを有する。例えば、いくつかの神経節細胞は、所定の方向、運動、またはコントラストに対して選択的に応答する。これら特性は、網膜ネットワークの接続性から生じる。網膜上人工器官の場合、この接続性は、適切な刺激タイミングを得るために再生成されるべきである。
１つの手法は、神経節細胞の各タイプの活動とＤＶＳからの信号とをリンクするために、生理学的データで人工の神経ネットワークを訓練することである。ＤＶＳの異なるピクセルからの信号は、神経節細胞の活動を予測するために、入力を積分する神経ネットワークに導入される。周知のアルゴリズムを用いて、人工のネットワーク接続に含まれたウエイトは、実際に測定された活動で予測を収束するまでに調節される。そのような捕捉およびフィルタ処理を介して達成された時間精度は、生理学的観点から関連する網膜の非同期刺激を生成することができる。
もう１つの手法は、ユニット３０によって実行される信号処理を設計する時、網膜神経細胞の挙動に対するモデルに言及することである。
モデルは、図４に概略的に示すもののように、網膜の一般的な構造に基づくことができる。このモデルでは、空間および／または時間の畳み込みは、各細胞レベルで実行される。双極細胞（ＢＣ”）は、水平細胞（ＨＣ）による遅延抑制後、光受容体（ＰＲ）から信号の正または負の部分の何れかに対する非線形変換を実行する。いくつかの双極細胞は、正の刺激に応じて‘ＯＮ’チャネルを活性化し、他の双極細胞は、負の刺激に応じて‘ＯＦＦ’チャネルを活性化する。アマクリン細胞（ＡＣ）は、遅延抑制と共に‘ＯＮ’および／または‘ＯＦＦ’チャネル間の相互作用を導入することができる。この抑制はまた、時間シフトされた抑制の場合に空間的勾配を導入してもよい。神経節細胞（ＧＣ）は、‘ＯＮ’および／または‘ＯＦＦ’チャネルの双極細胞から生ずる励起と、アマクリン細胞から生ずる抑制とを受け、リーク積分（leaky integration）を実行し、視神経Ｎに活動電位（“spike”）を放出するニューロンのように挙動する。
この処理は、図５で要約される。細胞タイプは、空間要素、例えば細胞の相互作用の半径ｒを示す標準偏差を持つガウス分布と、時定数τを持つ時間要素とを有する畳み込み核（convolution kernel）ｈ＝ｈ（ｘ、ｙ、ｔ）を用いて入力信号Ｖ＝Ｖ（ｘ、ｙ、ｔ）の畳み込みを実行すると考えられる。畳み込み核の考えられる形式は、以下のようになる。
ｔは、時間を示し、
Ｄ（Ｄ≠０）は、いくつかのタイプの細胞、特にアマクリン細胞に対して干渉しうる遅延パラメータを示し、
ｘ０、ｙ０（ｘ０≠０および／またはｙ０≠０）は、いくつかのタイプの細胞、特にアマクリン細胞に対して干渉しうる空間オフセットパラメータを示す。
図５では、第１の行は、入力行列の位置（ｘ、ｙ）のピクセルに対するＤＶＳ１０から出る信号ｆ＝ｆ（ｘ、ｙ、ｔ）を形成する正および負のパルスの配列を示す。光受容体による処理は、入力信号ｆに畳み込み核ｈＰＲを適用することからなる。水平細胞による処理は、信号ＶＨＣを形成するために、光受容体から出る信号ＶＰＲに畳み込み核ｈＨＣを適用することからなる。双極細胞は、正の部分のみが‘ＯＮ’チャネルの場合に維持され（ＶＯＮ＝ｍａｘ｛０、ＶＢＣ｝）、負の部分のみが‘ＯＦＦ’チャネルの場合に維持される（ＶＯＦＦ＝ｍａｘ｛０、−ＶＢＣ｝）信号ＶＢＣを形成するために、差（ＶＰＲ−ＶＨＣ）に畳み込み核ｈＢＣを適用する。パラメータτ、ｒは、核ｈＰＲ、ｈＨＣ、ｈＢＣに関して区別される。モデル化すべき異なるタイプの双極細胞に関して、異なる一組のパラメータτ、ｒは、それらの値が別々に決定できるように提供される。
双極細胞のモデル化までに実行される動作の線形性に起因して、図６に示す例では、光受容体および水平細胞に関する空間畳み込み５０、５１（相互作用の半径ｒＰＲ、ｒＨＣを有する核ｈＰＲ、ｈＨＣ）と、双極細胞のタイプに関する単純な時間畳み込み５４または５５（興奮性細胞に対する時定数τｅｘｃと抑制細胞に対するτｉｎｈとを有する核ｈＢＣ）とのみを実行することが可能である。このモデルでは、半径ｒＰＲ、ｒＨＣは、３つの細胞タイプを含む全ての鎖にわたって実際に分配される空間的積分を考慮することができる。同様に、時定数τｅｘｃ、τｉｎｈは、アマクリン細胞および神経節細胞を含むであろう３つの細胞タイプを含む鎖に全体的にわたって実際に分配される時間積分を考慮することができる。図６では、減算器５３は、信号ＶＰＲおよびＶＨＣ間の差を計算し、それにより差が時間的にフィルタ処理され、素子５６、５７は、‘ＯＮ’の双極細胞の、シミュレートされた興奮性または抑制出力ＶＯＮ＝Ｖｅｘｃ ＯＮまたはＶｉｎｈ ＯＮを供給するために、信号ＶＢＣの正の部分を維持する。
図６はまた、アマクリン細胞および神経節細胞の挙動をモデリングする一例を示す。この例では、アマクリン細胞の層は、‘ＯＮ’の双極細胞から抑制信号Ｖｉｎｈ ＯＮを受けて、期間Ｄだけそれを遅延し（遅延ユニット５９）、半径ｒＡＣの畳み込み核６０により空間的にそれをフィルタ処理する（例えば、ｘ０＝ｙ０＝０の時、核が中心にある）。結果としての信号は、例えば図６の‘ＯＮ’細胞でもある双極細胞からの興奮性信号Ｖｅｘｃ ＯＮと共に神経節細胞の層へ送られる抑制要素ＶＡＣである。所定のタイプの神経節細胞の層は、係数αにより抑制要素ＶＡＣを重み付けする乗算器６２と、重み付けした抑制要素αＶＡＣを興奮性信号Ｖｅｘｃ ＯＮから減算する減算器６３と、ここでは半径ｒＧＣの空間的核（spatial kernel）に限定される畳み込み核ｈＧＣを適用するフィルタ６４と、畳み込まれた信号ＶＧＣ＝ｈＧＣ＊（Ｖｅｘｃ ＯＮ−αＶＡＣ）を受ける活動電位の放射体（emitter）６５とによってモデル化される。電圧信号ＶＧＣが正の閾値θに達する度に、放射体６５は、その出力信号において活動電位（“spike”）を生成し、電圧信号ＶＧＣをゼロに再設定するので、フィルタ６４で生ずる積分過程を再開する。
図６に示したようなモデルは、特定の‘ＯＮ’の神経節細胞の応答を再生成可能にする。所定の刺激に応答して視神経で観察される活動電位および／または興奮性および抑制電流の測定値（２００６年B.Roskaらによる“Parallel Processing in Retinal Ganglion Cells: How Integration of Space-Time Patterns of Excitation and Inhibition Form the Spiking Output”, Journal of Neurophysiology, Vol.95, No.6, p.3810-3822を参照）から、最適な過程は、観測値をうまく再生成するのに最適なモデルパラメータを選択するために使用される。図６の場合、パラメータ値は、ｒＰＲ、ｒＨＣ、τｅｘｃ、τｉｎｈ、Ｄ、ｒＡＣ、α、ｒＧＣおよびθである。
図６の場合は、‘ＯＮ’の神経節細胞に関し、それらが入力信号の正のライン（positive line）として刺激に応答することを意味する。モデルは、‘ＯＦＦ’の神経節細胞の場合に容易に適用され、それらが入力信号の負のライン（negative line）として刺激に応答することを意味する。概略は、図７のように示すことができ、双極細胞の層で生ずる信号ＶＰＲおよびＶＨＣ間の減算器５２が図６に示した５３に対して逆極性を有することを除き、図６と同じである。
もう１つの考えられる状況は、神経節細胞が‘ＯＮ’（または‘ＯＦＦ’）の双極細胞からその興奮性信号Ｖｅｘｃ ＯＮ（またはＶｅｘｃ ＯＦＦ）を受けて、その一方で抑制要素ＶＡＣは、‘ＯＦＦ’（または‘ＯＮ’）の双極細胞から得られる。この状況は、‘ＯＮ’の双極細胞による励起および‘ＯＦＦ’の双極細胞による抑制の場合において図８により示される。
図９に示すさらにもう１つの考えられる状況は、神経節細胞は、（正の係数αｅｘｃ ＯＦＦ／ＯＮにより調節される相対的な重み付けで）両方の‘ＯＮ’および‘ＯＦＦ’の双極細胞によって励起され、‘ＯＮ’および‘ＯＦＦ’の双極細胞により放出された抑制信号Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦの組合せから生ずる要素ＶＡＣによって抑制される。アマクリン細胞の２つのファミリーは次いで、遅延ユニット５９の異なる時間ＤＯＮ、ＤＯＦＦと、フィルタ６０における相互作用の考えられる異なる半径ｒＡＣ ＯＮ、ｒＡＣ ＯＦＦとを持つようなチャネルでモデル化される。２つのフィルタ６０からの出力は、抑制要素ＶＡＣを形成するために線形的に結合される。図９の例では、結合は、乗算器６８および加算器６９を用いて行われ、乗算器６８は、‘ＯＮ’チャネル経路および‘ＯＦＦ’経路のフィルタ処理された信号に対して各重み付け係数αｉｎｈ ＯＮ、αｉｎｈ ＯＦＦを適用し、加算器６９は、フィルタ処理および重み付けされた信号の合計として抑制要素ＶＡＣを生成する。
図９の神経節細胞の層のモデルでは、乗算器７０は、‘ＯＦＦ’の双極細胞から生ずる興奮性信号Ｖｅｘｃ ＯＦＦに重み付け係数αｅｘｃ ＯＦＦ／ＯＮを適用する。興奮性および抑制要素は、空間フィルタ６４への入力Ｖｅｘｃ ＯＮ＋αｅｘｃ ＯＦＦ／ＯＮ．Ｖｅｘｃ ＯＦＦ−ＶＡＣを供給するために、７１で結合される。重み付け係数αｅｘｃ ＯＦＦ／ＯＮ、αｉｎｈ ＯＮ、αｉｎｈ ＯＦＦの値は、関連する各種双極細胞から相対的な興奮性および抑制レベルを調節可能にする。
図９の概略の変形では、空間フィルタ６４への入力は、Ｖｅｘｃ ＯＮ＋αｅｘｃ ＯＦＦ／ＯＮ．Ｖｅｘｃ ＯＦＦ−ＶＡＣではなく、αｅｘｃ ＯＮ／ＯＦＦ．Ｖｅｘｃ ＯＮ＋Ｖｅｘｃ ＯＦＦ−ＶＡＣである。係数αｅｘｃ ＯＦＦ／ＯＮまたはαｅｘｃ ＯＮ／ＯＦＦは、正またはゼロである。それは、神経節細胞が双極細胞の１つのタイプのみにより励起されてアマクリン細胞を介して双極細胞の２つのタイプにより抑制される場合、ゼロに制約されうる。
他の情報経路の一部である神経節細胞に関して、異なるパラメータを含む他の興奮性スキームを、モデルに加えることができる。
ＤＶＳセンサ１０からのＡＥＲ信号から、図５〜９に示すようなモデルは、Ｂ．Ｒｏｓｋａらによる上記文献で説明したネズミ（rodent）での１０個のタイプの応答を、モデルパラメータを最適化することにより適切に再生成可能にする。これは、網膜神経細胞の適切な刺激を提供するための方法が可能であることを明らかにする。
方向選択制神経節細胞に関して、モデルは、アマクリン細胞によって実行される処理を示す層で適用される空間フィルタ核６０のオフセットｘ０、ｙ０を含むように強化されうる。これらアマクリン細胞によって適用される遅延Ｄと組み合わせたこの偏心核は、シフトｘ０、ｙ０の方位に沿って刺激の方向性を反映する。
人工器官が網膜上に移植される時、それは、神経節細胞の電位に影響する。図１の信号処理ユニット３０によって伝えられる制御信号Ｓは次いで、図６〜９のうち１つで示す活動電位放射体６５によって生成された信号でもよい。刺激すべき神経節細胞のタイプおよび対応するモデリングスキームは、最適な知覚結果を提供する制御モードを見出だすために、精神物理学実験を行うことで所定の患者に対して選択されうる。そのような実験の間にいくつかのモデルパラメータに対する調節を行うことも可能である。人工器官の代替の移植は、皮質および外側膝状核（網膜および皮質間にある）に対して行われる。後者の場合、網膜上刺激に関して上記説明したのと同様の信号が、例えば人工器官に加えられてもよい。
人工器官が実質的に移植される場合、それは、双極細胞の電位に影響する。この場合、図１の処理ユニット３０によって伝えられる制御信号Ｓは、双極細胞のモデリングに含まれる素子５６、５７によって生成される信号Ｖｅｘｃ ＯＮ、Ｖｅｘｃ ＯＦＦ、Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦでもよい。再び、刺激すべき双極細胞のタイプおよび対応するモデリングスキームは、精神物理学実験を行うことで所定の患者に対して選択されうる。
人工器官２０のピクセル区域の空間分解能は、ＤＶＳセンサ１０のピクセルの空間分解能と同じである必要がない。信号の空間再サンプリング（spatial resampling）は故に、入力信号ｆから制御信号Ｓへの変換で発生しうる。分解能がセンサ１０よりも人工器官２０で低い一般的な場合、空間サブサンプリングは、変換で実行される最後の空間フィルタ処理動作の間に発生しうる。
視覚補助装置２０は、視覚系の細胞を電気的に励起する人工器官とは違う別の装置でもよい。視覚整形器具の場合、変換器は、視覚表示を提供するために、異なる信号積分レベル（signal integration level）から信号を取る発光素子（例えば、ＬＥＤ、マイクロＬＥＤ、ＬＣＤ）の行列に対応してもよい。
このように制御される整形器具は、光受容体の変性疾患に対する１つの処置戦略である遺伝子治療と併せて使用することができる。遺伝子治療の１つの形式は、網膜（感光性、双極性、アマクリン、および神経節細胞を失った光受容体）の残りの細胞において光受容イオンチャネルまたは光受容キャリアを発現することからなる。この遺伝子組み換えは、光によって励起可能な新たな光受容体を‘生成’する。しかし、その感光性は、杆体錐体と比較して低い。他方で、対象となる細胞のタイプに依存して、視覚情報は、電気刺激を使用する人工器官と同様に処理されうる。これにより、もはや電気ではなくむしろ光ベースであって、同じタイプの処理を要求する刺激を生成する視覚補助装置を使用するような場合に有益である。
上記実施形態は、本発明を説明する。各種修正は、以下の特許請求の範囲に記載される本発明の範囲から逸脱することなくそれらに適用可能である。特に、方法は、数式に限定されるものではなく、むしろ一般に、視覚補助装置に対する制御信号Ｓを開発するために上記言及したモデリングに関する。
３０ 信号処理
４０ ドライバ
４０ ドライバ
Claims (15)
- 視覚補助装置（２０）を制御するための機器の動作方法であって：
−観察すべき光景を示す入力信号（ｆ）を受けるステップであって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、受けるステップと；
−視覚補助装置のピクセル区域に対する各制御信号（Ｓ）を生成するために、ピクセルの行列内で空間的に、およびイベントベースの非同期信号配列に沿って時間的に、入力信号を変換するステップと；
−視覚補助装置に制御信号を適用するステップと；
を具備する方法。 - ピクセルに対するイベントベースの非同期信号配列は、ピクセルに関する光変動の関数として時間的に置かれる正または負のパルスの配列を具備することを特徴とする請求項１に記載の方法。
- 制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは：
−異なる大きさのフィルタ核（５０、５１）を備えた２つの空間フィルタ処理動作、２つの空間フィルタ処理動作の結果間の差の計算、および差に対する時間フィルタ処理動作（５４、５５）：から第１の信号（ＶＢＣ）を得るステップと；
−第１の信号が特異的な兆候の値を有する場合、ゼロ値の第２の信号（Ｖｅｘｃ ＯＮ、Ｖｉｎｈ ＯＮ、Ｖｅｘｃ ＯＦＦ、Ｖｉｎｈ ＯＦＦ）を得て、そうでない場合、第１の信号と同じ絶対値の第２の信号を得るステップと；
を具備することを特徴とする請求項１または２に記載の方法。 - 視覚補助装置は、網膜下視覚人工器官（２０）を具備し、視覚人工器官に加えられる制御信号（Ｓ）は、前記第２の信号から生成されることを特徴とする請求項３に記載の方法。
- 視覚補助装置は、発光素子の行列を具備し、前記行列に加えられる制御信号（Ｓ）は、前記第２の信号から生成されることを特徴とする請求項３に記載の方法。
- 少なくとも第１の興奮性信号および第１の抑制信号は、差に対する時間フィルタ処理動作（５４、５５）に関する各時定数（τｅｘｃ、τｉｎｈ）により取得され、少なくとも第２の興奮性信号（Ｖｅｘｃ ＯＮ、Ｖｅｘｃ ＯＦＦ）および第２の抑制信号（Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦ）は、第１の興奮性および抑制信号から各々得られることを特徴とする請求項３に記載の方法。
- 制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは：
−第２の抑制信号（Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦ）から導出された第２の興奮性信号（Ｖｅｘｃ ＯＮ、Ｖｅｘｃ ＯＦＦ）と抑制要素（ＶＡＣ）との間の差に対する空間フィルタ処理動作（６４）からもたらされる第３の信号（ＶＧＣ）を取得するステップと；
−視覚補助装置（２０）の所定のピクセル区域に対する第３の信号が所定の閾値（θ）を越える時、前記ピクセル区域に向けられた制御信号（Ｓ）へパルスを挿入し、前記ピクセル区域に対する第３の信号をゼロに再設定するステップと；
をさらに具備することを特徴とする請求項６に記載の方法。 - 第２の抑制信号（Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦ）からの抑制要素（ＶＡＣ）の導出は、所定の遅延（Ｄ）の適用（５９）および空間フィルタ処理動作（６０）を具備することを特徴とする請求項７に記載の方法。
- 抑制要素（ＶＡＣ）の導出における空間フィルタ処理動作（６０）は、偏心フィルタ核を使用することを特徴とする請求項８に記載の方法。
- 第２の興奮性および抑制信号（Ｖｅｘｃ ＯＮ、Ｖｉｎｈ ＯＮ、Ｖｅｘｃ ＯＦＦ、Ｖｉｎｈ ＯＦＦ）は、各時定数の時間フィルタ処理動作（５４、５５）を持つ第１のチャネルおよび第２のチャネルに対して得られ、制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは：
−第１および第２のチャネルに関する第２の興奮性信号（Ｖｅｘｃ ＯＮ、Ｖｅｘｃ ＯＦＦ）の線形結合と、第１および第２のチャネルに関する第２の抑制信号（Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦ）から導出される抑制要素（ＶＡＣ）との間の差に対する空間フィルタ処理動作（６４）からもたらされる第３の信号を取得するステップと；
−視覚補助装置（２０）の所定のピクセル区域に関する第３の信号が所定の閾値（θ）を越える時、前記ピクセル区域に対する制御信号（Ｓ）へパルスを挿入し、前記ピクセル区域に関する第３の信号をゼロに再設定するステップと；
をさらに具備することを特徴とする請求項６に記載の方法。 - 第２の抑制信号（Ｖｉｎｈ ＯＮ、Ｖｉｎｈ ＯＦＦ）からの抑制要素（ＶＡＣ）の導出は、第１および第２のチャネルに関する第２の抑制信号への各遅延（ＤＯＮ、ＤＯＦＦ）の適用と、遅延した第２の抑制信号に対する空間フィルタ処理動作（６０）と、遅延およびフィルタ処理した第２の抑制信号の線形結合の計算（６８、６９）とを具備することを特徴とする請求項１０に記載の方法。
- 視覚補助装置は、網膜上或いは皮質部分または外側膝状体に視覚人工器官（２０）を具備し、視覚人工器官に適用される制御信号（Ｓ）は、前記第３の信号から生成されることを特徴とする請求項７〜１１のうち何れか１項に記載の方法。
- 視覚補助装置は、発光素子の行列（２０）を含み、この行列に適用される制御信号（Ｓ）は、前記第３の信号から生成されることを特徴とする請求項７〜１１のうち何れか１項に記載の方法。
- 制御信号（Ｓ）を生成するために入力信号（ｆ）を変換するステップは、人工神経ネットワークを使用して実行されることを特徴とする請求項１または２に記載の方法。
- 視覚補助装置（２０）を制御するための機器に対する信号を処理するための装置であって：観察すべき光景を示す入力信号（ｆ）を受けるための入力であって、入力信号は、光景のピクセルに関する光の変動の関数として得たイベントベースの非同期信号配列を、ピクセルの行列におけるピクセル毎に含む、入力と；視覚補助装置に対する制御信号（Ｓ）を供給するための出力と；請求項１〜１４のうち何れか１項に記載の方法に従って、制御信号を生成するための処理回路（３０）と；を具備する装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1154116 | 2011-05-12 | ||
| FR1154116A FR2975251B1 (fr) | 2011-05-12 | 2011-05-12 | Procede et dispositif de commande d'un dispositif d'aide a la vision |
| PCT/FR2012/051052 WO2012153073A1 (fr) | 2011-05-12 | 2012-05-11 | Procede et dispositif de commande d'un dispositif d'aide a la vision |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014516665A JP2014516665A (ja) | 2014-07-17 |
| JP6068446B2 true JP6068446B2 (ja) | 2017-01-25 |
Family
ID=46321088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014509802A Active JP6068446B2 (ja) | 2011-05-12 | 2012-05-11 | 視覚を補助する装置を制御するための方法および装置 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US9987167B2 (ja) |
| EP (1) | EP2707093B1 (ja) |
| JP (1) | JP6068446B2 (ja) |
| KR (1) | KR101905053B1 (ja) |
| CN (1) | CN103732287B (ja) |
| AU (1) | AU2012252200B2 (ja) |
| BR (1) | BR112013028742A2 (ja) |
| CA (1) | CA2835024C (ja) |
| ES (1) | ES2718103T3 (ja) |
| FR (1) | FR2975251B1 (ja) |
| WO (1) | WO2012153073A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3019317B1 (fr) | 2014-03-26 | 2016-05-27 | Univ Pierre Et Marie Curie (Paris 6) | Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene |
| US10583290B2 (en) * | 2014-09-10 | 2020-03-10 | National Ict Australia Limited | Enhancing vision for a vision impaired user |
| US9846677B2 (en) | 2014-09-16 | 2017-12-19 | Qualcomm Incorporated | Event-based spatial transformation |
| US9883122B2 (en) | 2014-09-16 | 2018-01-30 | Qualcomm Incorporated | Event-based down sampling |
| US10147024B2 (en) * | 2014-09-16 | 2018-12-04 | Qualcomm Incorporated | Interfacing an event based system with a frame based processing system |
| CN105844659B (zh) * | 2015-01-14 | 2019-04-26 | 北京三星通信技术研究有限公司 | 运动部件的跟踪方法和装置 |
| KR102402678B1 (ko) | 2015-03-18 | 2022-05-26 | 삼성전자주식회사 | 이벤트 기반 센서 및 프로세서의 동작 방법 |
| WO2017012031A1 (zh) * | 2015-07-21 | 2017-01-26 | 林伯刚 | 具备抑制交互干扰的神经感测装置 |
| EP3120897A1 (en) * | 2015-07-22 | 2017-01-25 | Université Pierre et Marie Curie (Paris 6) | Method for downsampling a signal outputted by an asynchronous sensor |
| FR3060297B1 (fr) * | 2016-12-20 | 2019-05-10 | Universite Pierre Et Marie Curie (Paris 6) | Systeme de substitution sensorielle par stimulation tactile asynchrone |
| CN106597463B (zh) * | 2016-12-29 | 2019-03-29 | 天津师范大学 | 基于动态视觉传感器芯片的光电式接近传感器及探测方法 |
| US20220212011A1 (en) * | 2017-12-22 | 2022-07-07 | Iridium Medical Technology Co., Ltd. | Artificial retinal prosthesis |
| EP3506622A1 (en) * | 2017-12-26 | 2019-07-03 | Prophesee | Method for outputting a signal from an event based sensor, and event-based sensor using such method |
| WO2019137973A1 (en) | 2018-01-11 | 2019-07-18 | Gensight Biologics | Method and device for processing asynchronous signals generated by an event-based light sensor |
| KR102178561B1 (ko) * | 2018-12-04 | 2020-11-13 | 서울대학교산학협력단 | 시각 적응을 모사한 다이나믹 비전 센서 |
| CN111083402B (zh) * | 2019-12-24 | 2020-12-01 | 清华大学 | 双模态仿生视觉传感器 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR1053381A (fr) | 1952-04-03 | 1954-02-02 | Bank Of America Nat Trust & Sa | Perfectionnements relatifs aux rasoirs |
| US6507758B1 (en) * | 1999-03-24 | 2003-01-14 | Second Sight, Llc | Logarithmic light intensifier for use with photoreceptor-based implanted retinal prosthetics and those prosthetics |
| US8019428B2 (en) * | 2000-05-26 | 2011-09-13 | Second Sight Medical Products, Inc. | Video processing methods for improving visual acuity and/or perceived image resolution |
| KR101331982B1 (ko) | 2005-06-03 | 2013-11-25 | 우니페르지타에트 취리히 | 시간 의존적 이미지 데이터를 검출하기 위한 광 어레이 |
| AT504582B1 (de) | 2006-11-23 | 2008-12-15 | Arc Austrian Res Centers Gmbh | Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor |
| WO2008109771A2 (en) * | 2007-03-08 | 2008-09-12 | Second Sight Medical Products, Inc. | Saliency-based apparatus and methods for visual prostheses |
| US8798756B2 (en) | 2007-11-07 | 2014-08-05 | Second Sight Medical Products, Inc. | Video processing unit for a visual prosthetic apparatus |
| CN101084851A (zh) * | 2007-07-17 | 2007-12-12 | 李响 | 便携式电子助视器 |
| EP2320830A4 (en) * | 2008-08-07 | 2012-02-01 | Massachusetts Inst Technology | CODING FOR SEA PROSTHESES |
| US8428739B2 (en) | 2008-08-26 | 2013-04-23 | Second Sight Medical Products, Inc. | System and method for measuring and fitting spatio-temporal vision |
| US10055827B2 (en) | 2008-09-16 | 2018-08-21 | Second Sight Medical Products, Inc. | Digital image filters and related methods for image contrast enhancement |
| FR2959420B1 (fr) | 2010-04-30 | 2012-08-03 | Univ Paris Curie | Implant a geometrie tridimensionnelle pour la stimulation electrique d'une structure nerveuse |
-
2011
- 2011-05-12 FR FR1154116A patent/FR2975251B1/fr not_active Expired - Fee Related
-
2012
- 2012-05-11 ES ES12728663T patent/ES2718103T3/es active Active
- 2012-05-11 US US14/115,983 patent/US9987167B2/en active Active
- 2012-05-11 JP JP2014509802A patent/JP6068446B2/ja active Active
- 2012-05-11 WO PCT/FR2012/051052 patent/WO2012153073A1/fr active Application Filing
- 2012-05-11 BR BR112013028742A patent/BR112013028742A2/pt not_active IP Right Cessation
- 2012-05-11 AU AU2012252200A patent/AU2012252200B2/en active Active
- 2012-05-11 CA CA2835024A patent/CA2835024C/en active Active
- 2012-05-11 EP EP12728663.1A patent/EP2707093B1/fr active Active
- 2012-05-11 CN CN201280023879.0A patent/CN103732287B/zh active Active
- 2012-05-11 KR KR1020137032351A patent/KR101905053B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| US9987167B2 (en) | 2018-06-05 |
| AU2012252200B2 (en) | 2016-03-03 |
| EP2707093B1 (fr) | 2019-03-06 |
| FR2975251B1 (fr) | 2015-12-04 |
| AU2012252200A1 (en) | 2013-11-28 |
| KR101905053B1 (ko) | 2018-10-05 |
| CN103732287A (zh) | 2014-04-16 |
| JP2014516665A (ja) | 2014-07-17 |
| CA2835024A1 (en) | 2012-11-15 |
| BR112013028742A2 (pt) | 2017-01-24 |
| EP2707093A1 (fr) | 2014-03-19 |
| CA2835024C (en) | 2020-07-14 |
| ES2718103T3 (es) | 2019-06-27 |
| CN103732287B (zh) | 2016-10-12 |
| US20140085447A1 (en) | 2014-03-27 |
| KR20140038446A (ko) | 2014-03-28 |
| WO2012153073A1 (fr) | 2012-11-15 |
| FR2975251A1 (fr) | 2012-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6068446B2 (ja) | 視覚を補助する装置を制御するための方法および装置 | |
| CN106137532B (zh) | 一种图像处理方法 | |
| US9517345B2 (en) | Neuroprosthetic stimulation | |
| Asher et al. | Image processing for a high-resolution optoelectronic retinal prosthesis | |
| Palanker et al. | Restoring sight with retinal prostheses | |
| EP2839858B1 (en) | Field focusing and mapping in an electrode array | |
| Xu et al. | Real-time cerebellar neuroprosthetic system based on a spiking neural network model of motor learning | |
| Jawwad et al. | Modulating lateral geniculate nucleus neuronal firing for visual prostheses: A Kalman filter-based strategy | |
| Morillas et al. | A neuroengineering suite of computational tools for visual prostheses | |
| CN116502681A (zh) | 模型训练方法、视觉感知方法、电子设备和存储介质 | |
| CN111771210B (zh) | 用于处理由基于事件的光传感器生成的异步信号的方法和装置 | |
| US20220168571A1 (en) | Systems and Methods for Artificial Sight Prosthetics | |
| EP4368238A1 (en) | A computer-implemented method of mapping electrodes of a brain prosthesis | |
| Jawwad et al. | Tuning electrical stimulation for thalamic visual prosthesis: an autoencoder-based approach | |
| Morillas et al. | A computational tool to test neuromorphic encoding schemes for visual neuroprostheses | |
| Abolfotuh et al. | Moving object detection and background enhancement for thalamic visual prostheses | |
| US20220080195A1 (en) | Electrical stimulation system for facial expressions and a method of use thereof | |
| Jawwad et al. | A Kalman-based encoder for electrical stimulation modulation in a thalamic network model | |
| Romero et al. | Reconfigurable retina-like preprocessing platform for cortical visual neuroprostheses | |
| Pelayo et al. | Retina-like processing and coding platform for cortical neuro-stimulation | |
| Alotaibi | Artificial Vision-Visual Prosthesis | |
| CN113926083A (zh) | 功能性康复设备及其控制系统和方法 | |
| Alfaro et al. | Wireless trans-corneal stimulus for the optical nerve based on adaptive modeling using continuous neural networks | |
| Holguín | HARDWARE IMPLEMENTATION OF A RETINAL MODEL | |
| Yang et al. | An adaptive visual neuronal model implementing competitive, temporally asymmetric hebbian learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161222 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6068446 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |