JP6896862B2 - 非同期式触覚刺激を使用する感覚代用システム - Google Patents

非同期式触覚刺激を使用する感覚代用システム Download PDF

Info

Publication number
JP6896862B2
JP6896862B2 JP2019533209A JP2019533209A JP6896862B2 JP 6896862 B2 JP6896862 B2 JP 6896862B2 JP 2019533209 A JP2019533209 A JP 2019533209A JP 2019533209 A JP2019533209 A JP 2019533209A JP 6896862 B2 JP6896862 B2 JP 6896862B2
Authority
JP
Japan
Prior art keywords
asynchronous
matrix
asynchronous signal
user
stimulus generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019533209A
Other languages
English (en)
Other versions
JP2020501747A (ja
Inventor
ギヨーム・シュネグロ
リャド・ベノスマン
ケヴィン・アルト
シオ−ホイ・エン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sorbonne Universite
Original Assignee
Sorbonne Universite
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sorbonne Universite filed Critical Sorbonne Universite
Publication of JP2020501747A publication Critical patent/JP2020501747A/ja
Application granted granted Critical
Publication of JP6896862B2 publication Critical patent/JP6896862B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/002—Garments adapted to accommodate electronic equipment
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D1/00—Garments
    • A41D1/04—Vests, jerseys, sweaters or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Textile Engineering (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Vascular Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Professional, Industrial, Or Sporting Protective Garments (AREA)

Description

本発明は、感覚代用システムに関し、詳細には、ユーザ、特に視覚障害のあるユーザに視覚情報を提示するため触覚刺激を提供するものに関する。
網膜神経用人工器官は、失明を患う個人に、視覚情報の欠如を埋め合わせるために、脳を刺激するシステムである。
これらの神経用人工器官は、侵襲的に埋め込まれ、視神経の上流の網膜細胞を電気的に刺激する。それらを埋め込み、次いでそれらを使用するための手術は、高価であり、異質な物体の存在が必要であることに起因して、ユーザの健康を危うくする可能性がある。
網膜細胞を感光性にするための遺伝子変異解決策は、一度変異が生じると元に戻すのが不可能であるため、やはり侵襲的である。
その上、そのようなデバイスは、ユーザの視神経が損傷を受けていない場合にだけ機能する。したがって、そのようなデバイスは、緑内障を患う患者にも、生まれつき目が見えない人にも役に立たない。最終的に、現在は、皮質刺激の単なる初期段階にあり、このタイプの応用例を完全にするには、研究する時間がまだ必要であり、いずれの場合も、侵襲的となる。これらの問題は、感覚を失った個人および/または切断患者のための、人口内耳または触覚センサーなどの様々な埋込可能神経用人工器官にも影響を及ぼす。
この問題を緩和するため、Bach-y-Ritaは、皮膚の天然の受容体を刺激するデバイスを考案した(P. Bach-y-Rita、「Tactile sensory substitution studies」、Annals of the New York Academy of Sciences、no.1013、83〜91頁)。
このタイプの感覚代用デバイスは、患者が、彼らの自立の一部を取り戻すことを可能にする点で、成功であると証明した。D. Moraru、C.A. Boiangiu、「About Visual Sensory Substitution」、Proceedings of the 3rd International Conference on Acoustics, Speech and Audio Processing (ASAP' 15)、Salerno、Italy、2015年6月、115〜124頁、またはC.C. Pack, S.J. Bensmaia、「Seeing and Feeling Motion: Canonical Computations in Vision and Touch」、PLoS Biology、Vol. 13、No. 9: e1002271、2015年9月を参照せよ。
しかし、知られている感覚代用デバイスは、目の見えない個人のニーズに十分に一致していない。それらは、一般的に嵩があり、電力を多く使って、それらを使用することから得られる利益を減少させる。P. Galambos、「Vibrotactile Feedback for Haptics and Telemanipulation: Survey, Concept and Experiment」、Acta Polytechnica Hungarica、Vol. 9、No. 1 (2012)、41〜65頁、またはS. Maidenbaum, S. Abboud, A. Amedi、「Sensory substitution: Closing the gap between basic research and widespread practical visual rehabilitation」、Neuroscience & Biobehavioral Reviews、Vol. 41 (2014)、3〜15頁を参照せよ。加えて、それらは、長い訓練期間を必要とし、それらの有効性は、大きく個人に依存する。
米国特許出願第2008/0135731A1号
P. Bach-y-Rita、「Tactile sensory substitution studies」、Annals of the New York Academy of Sciences、no.1013、83〜91頁 D. Moraru、C.A. Boiangiu、「About Visual Sensory Substitution」、Proceedings of the 3rd International Conference on Acoustics, Speech and Audio Processing (ASAP' 15)、Salerno、Italy、2015年6月、115〜124頁 C.C. Pack, S.J. Bensmaia、「Seeing and Feeling Motion: Canonical Computations in Vision and Touch」、PLoS Biology、Vol. 13、No. 9: e1002271、2015年9月 P. Galambos、「Vibrotactile Feedback for Haptics and Telemanipulation: Survey, Concept and Experiment」、Acta Polytechnica Hungarica、Vol. 9、No. 1 (2012)、41〜65頁 S. Maidenbaum, S. Abboud, A. Amedi、「Sensory substitution: Closing the gap between basic research and widespread practical visual rehabilitation」、Neuroscience & Biobehavioral Reviews、Vol. 41 (2014)、3〜15頁 M. J. Berry, D.K. Warland, M. Meister、「The structure and precision of retinal spike trains」、Proceedings of the National Academy of Sciences、Vol. 94、No. 10 (1997)、5411〜5416頁 P. Reinagel, R.C. Reid、「Temporal Coding of Visual Information in the Thalamus」、The Journal of Neuroscience、Vol. 20、No. 14 (2000)、5392〜5400頁 C. Posch、「Bio-inspired vision」、Journal of lnstrumentation, Vol. 7, No. 1 (2012), C01054 「A 128x128 120dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁 「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259〜275頁
本発明の目的は、上の難点を、少なくとも部分的に克服することが可能な別の技法を提案することである。
本発明は、刺激発生器が局所的に皮膚と相互作用するようにユーザが装着できる刺激発生器の行列と、行列の刺激発生器のための制御回路と、画素の行列にしたがって組織化された視覚情報を表す非同期信号を制御回路に提供するための非同期信号源とを備える、感覚代用システムを提案する。非同期信号は、各画素のために、前記画素と非同期の様態で関連する連続的なイベントを含む。
そのような感覚代用システムは、人間の脳および皮膚の細胞の働きを有利に考慮する。人体は、ミリ秒のスケールで非同期の情報を受け取ることができる。このことによって、M. J. Berry, D.K. Warland, M. Meister、「The structure and precision of retinal spike trains」、Proceedings of the National Academy of Sciences、Vol. 94、No. 10 (1997)、5411〜5416頁、およびP. Reinagel, R.C. Reid、「Temporal Coding of Visual Information in the Thalamus」、The Journal of Neuroscience、Vol. 20、No. 14 (2000)、5392〜5400頁に説明されたように、人体が情報を最適に処理することが可能になる。
神経形態学的カメラなどの非同期信号源のおかげで、目の働きを模倣する一方で、必要な情報の処理を大きく減らすことが可能である。
このことによって、触覚手段および実施される視覚処理の生体模倣による感覚代用システムの消費を減らすことが可能となる。
提案されるシステムは、感覚代用システムの主な欠点、すなわち、人間工学におけるエネルギー効率および細胞の働きとの適合性に対処することを可能にする。
一実施形態では、非同期信号源が、光景に向いた画素の行列にしたがって配置された感光要素を含む、神経形態学的カメラを備え、非同期信号が、各画素のための、前記画素と非同期の様態で生じる連続的なイベントを含む。
神経形態学的カメラは、特に、DVS(ダイナミックビジョンセンサー、Dynamic Vision Sensor)またはATIS(非同期式時間ベース画像センサー、Asynchronous Time-based Image Sensor)タイプのものであってよい。
別の実施形態では、非同期信号源は、アドレス-イベント表現(AER、address-event representation)を有する信号を生成する合成器を備える。
非同期信号源は、制御回路に供給される非同期信号が読み取られるメモリも含むことができる。
一実施形態によれば、刺激発生器の行列が、ユーザが装着できる衣類に取り付けられる。この衣類としては、たとえば、チョッキが挙げられる。衣類は、たとえば、ネオプレンといった、弾力性を有する材料から作ることができる。
感覚代用システムの一実施形態では、行列の刺激発生器は、機械的なアクチュエータを備える。
あるいは、行列の刺激発生器の少なくとも一部が、電気刺激、熱変動、物質の噴出、および空気流の印可を含む刺激を通して、ユーザの皮膚と局所的に相互作用するように配置されることも可能である。
本発明の他の特徴および利点は、添付図面を参照して、実施形態の網羅的でない例の以下の記載で明らかとなろう。
本発明の実施形態にしたがった、感覚代用システムのブロック図である。 非同期式カメラの画素における、光強度プロファイルの例を示す図である。 図2Aにおける強度プロファイルに応答して非同期式カメラが生成する信号の例を示す図である。 図2Bの信号からの、強度プロファイルの再構築を図示する図である。 別の例示的な方法の実施形態で使用できる光取得モードを図示する図2Aのものと同様の図である。 別の例示的な方法の実施形態で使用できる光取得モードを図示する図2Bのものと同様の図である。 ATISタイプ非同期式カメラのブロック図である。 本発明のある実施形態で使用できる刺激発生器の行列の概略図である。 そのような刺激発生器の行列を装備した衣類を示す図である。
図1を参照して、感覚代用システムは、ユーザの皮膚2に対して配置されることが意図される刺激発生器の行列1を備える。
行列1の各刺激発生器5は、制御回路8によってアクティブにされると、ユーザの皮膚と局所的に相互作用するように配置される。
示される例では、制御回路8は、FPGA (フィールドプログラム可能ゲートアレイ、Field-Programmable Gate Array)技術を使用して作られる。たとえば、ASIC(特定用途向け集積回路、Application-Specific Integrated Circuit)技術といった、他の技術を、制御回路8を作るために使用することができる。回路8は、発生源10から受け取った非同期信号ev(p, t)にしたがって、刺激発生器5のためのそれぞれの制御信号を生成する。
発生源10によって制御回路8に供給される非同期信号ev(p, t)は、画素の行列にしたがって組織化された視覚情報を表す。非同期信号ev(p, t)は、イベントのストリームからなり、各々は、行列の画素pに対応するアドレスおよびイベントの発生時間tを有する。
例として、非同期信号源10は、C. Posch、「Bio-inspired vision」、Journal of lnstrumentation, Vol. 7, No. 1 (2012), C01054により記事に記載されるタイプの神経形態学的カメラであってよい。
図1は、光景に向いて、1つまたは複数のレンズを備える取得用光学系15を通して光景からの光束を受け取るように配置されるイベントベースの非同期式視覚センサーを構成する、そのような神経形態学的カメラ10を示す。カメラ10は、取得用光学系の像平面に配置される。カメラ10は、画素の行列に組織化された感光性要素の配列を備える。感光性要素に対応する各画素は、光景における光の変動に依存する連続的なイベントを生成する。
カメラ10からの非同期視覚情報は、カメラの視野に現れる光景における画素によって検知される光の変動にしたがった、異なる画素pから非同期で受け取られるイベントev(p, t)のシーケンスからなる。
非同期式カメラ10は、たとえば、図2A〜図2Cに図示される原理にしたがって、取得を実施する。生成される情報は、アクティベーション閾値Qに到達するときの、瞬間の連続tk(k=0, 1, 2など)を含む。図2Aは、行列の画素によって見られた、光の強度プロファイルP1の例を示す。この強度が、時間tkにおける強度からアクティベーション閾値Qに等しい量だけ増加するごとに、新しい瞬間tk+1が識別され、正の線(図2B中のレベル+1)がこの瞬間tk+1に送信される。対称的に、画素の強度が、時間tkにおける強度から量Qだけ減少するごとに、新しい瞬間tk+1が識別され、負の線(図2B中のレベル-1)がこの瞬間tk+1に送信される。したがって、画素についての非同期信号シーケンスは、画素についての光のプロファイルにしたがった、瞬間tkにおける時間に配置される正または負のパルスまたは線(スパイク)の連続からなる。これらの線は、正または負のディラックスパイクによって数学的に表すことができ、各々は、伝達の瞬間tkおよび正負ビットによって特徴づけられる。したがって、カメラ10からの出力は、アドレス-イベント表現(AER、address-event representation)の形式をとる。図2Cは、プロファイルP1の近似として、図2Bにおける非同期信号の時間積分によって再構築することができる強度プロファイルP2を示す
アクティベーション閾値Qは、図2A〜図2Cの場合のように、固定であってよく、または図3A〜図3Bの場合のように、光の強度にしたがう適応型であってよい。たとえば、イベント±1を生成するために、閾値±Qを、光の強度の対数における変動と比較することができる。
例として、非同期式カメラ10は、「A 128x128 120 dB 15μs Latency Asynchronous Temporal Contrast Vision Sensor」、P. Lichtsteinerら、IEEE Journal of Solid-State Circuits、Vol. 43、No. 2、2008年2月、566〜576頁、または米国特許出願第2008/0135731A1号に記載されるタイプのダイナミックビジョンセンサー(DVS)であってよい。このタイプのDVSで、ほぼ数ミリ秒の網膜のダイナミクス(行為のポテンシャル間の最小時間)に近づけることが可能である。いずれのイベントでも、ダイナミック性能は、現実的なサンプルレートを有する従来型ビデオカメラが達成できるものより、大きく優れている。制御回路8のための入力信号を構成する、DVS10によって画素について生成される非同期信号の形式は、ディラックスパイクの連続と異なる場合があり、イベントは、このイベントベースの非同期信号の時間幅または振幅または任意の種類の波形を有するように表すことが可能であることに留意するべきである。
本発明のフレームワーク内で有利に使用できる、非同期式カメラの別の例としては、その記載が「A QVGA 143 dB Dynamic Range Frame-Free PWM Image Sensor With Lossless Pixel-Level Video Compression and Time-Domain CDS」、C. Poschら、IEEE Journal of Solid-State Circuits、Vol. 46、No. 1、2011年1月、259〜275頁の記事に提供される、非同期式時間ベース画像センサー(ATIS)である。
図4は、ATISの原理を図示する。カメラを構成する行列の画素16は、電子検出回路18a、18bとそれぞれ関連するフォトダイオードなどの、2つの感光性要素17a、17bを備える。センサー17aおよびその回路18aは、上述のDVSと同様の形で機能する。センサー17aおよびその回路18aは、フォトダイオード17aによって受け取られた光の強度が所定の量だけ変動すると、パルスP0を生成する。強度のこの変化をマークしたパルスP0が、他のフォトダイオード17bに関連する電子回路18bをトリガする。この回路18bは、次いで、フォトダイオード17bが所与の量の光(光子の数)を受け取ったらすぐに、第1のパルスP1に続けて第2のパルスP2を生成する。パルスP1とP2の間の時間間隔δtは、パルスP0の発生直後に、画素16が受け取った光の強度に反比例する。ATISからの非同期情報は、AER表現の別の形式であって、各画素について2つのパルス列を含み、第1のパルス列P0は、光の強度が検出閾値を超えて変化したときの瞬間を示し、一方第2の列は、パルスP1およびP2を含み、その時間間隔δtは、対応する光の強度、またはグレースケールを示す。したがって、ATISの行列中の位置pで画素16から発信されるイベントev(p, t)は、2つのタイプの情報、すなわち、パルスP0の位置によって提供され、イベントの瞬間tを提供する時間情報、およびパルスP1とP2の間の時間間隔δtによって提供されるグレースケール情報を含む。
別の実施形態では、制御回路8に供給する非同期信号源10は、実際の光景を観察しているカメラではなく、アドレス-イベント表現(AER)での信号合成器である。非同期信号v(p, t)は、多少現実的、または抽象的でさえあってよい、ユーザに提示される画像をエミュレートするように、そのような発生源によって合成される。
たとえば、感覚代用システムによってこの形で提示される画像は、スマートフォン、タブレット、コンピュータ、テレビジョンなどの様々なデバイスで一般的に使用されるタイプのグラフィカルユーザインターフェース(GUI)の要素に対応することができる。合成器によって生成される非同期信号は、標準形式のグラフィック要素の変換から生じてよく、または、感覚代用システムの要件を満足するために直接生成されてよい。
非同期信号源10は、以前に、神経形態学的カメラまたは合成器のいずれかを使用して取得された後に記録された、イベントベースの非同期信号を制御回路8に供給するため、電気、磁気、または光学タイプのメモリから読み取ることによっても機能することができる。
制御回路8は、発生源10から受け取った非同期信号から、行列1の刺激発生器5に供給する。各刺激発生器5は、イベントがアドレス-イベント表現(AER)で対応する位置を有する画素に受け取られたとき、選択的に提供される供給電圧の形式で個別のコマンドを受け取る。
行列1の各刺激発生器5は、制御回路8から発信されるそれぞれの信号によってアクティブにされると、皮膚2に振動および/または圧力を生じる、たとえば、圧電タイプの機械的なアクチュエータからなってよい。
他のタイプの刺激を、行列1の刺激発生器5によって局所的に適用することもできる。
・制御回路8によって電圧を選択的に供給される電極を使用する電気刺激
・熱デバイスを使用する熱変動
・物質の噴出
・空気流の印可、など
行列1内での異なるタイプの刺激発生器5の組合せも考えられる。肝心なのは、行列1の各要素5により印可される興奮の局所的な性質である。この行列は、このようにして、ユーザの皮膚上に、ある種類の興奮のマップを提供することを可能にし、マップは、感覚代用を容易にする空間知覚図を生成する。
行列1の刺激発生器5の空間密度が、非同期信号を取得するために使用される画素の空間密度より低いことが可能である。この場合、制御回路8は、刺激発生器5のための制御信号を生成するために空間的積分を実施することができる。
非視覚システムを含む、非同期の様態で情報を生成する任意の種類のシステムをインターフェース接続することも可能である。たとえば、切断患者のための非同期式低圧センサー、または非同期式音響デバイスの用意を行うことができる。したがって、感覚代用デバイスの使用とは、情報がイベントストリームの形式で提供されることを可能にする任意の種類のセンサーを包含することができる。
刺激発生器5の接続を簡単にするため、行列1が、刺激発生器の全部または一部のために共通のグランド面を提示するように、行列1を配置することが可能である。この場合、各刺激発生器5に、ワイヤまたは導電性トラックを介して制御電圧を供給するので十分である。グランド面は、具体的には、制御回路8に関連する電源端子に接続される導電繊維シート20の形をとることができ、そこに刺激発生器5が取り付けられる。
図5は、この例では機械的なアクチュエータ5で作られる刺激発生器5が設置される、そのような繊維シート20を示す。この例では、シート20は、アクチュエータ5によって生成される圧力または振動をユーザの皮膚2に伝達するため、ユーザの皮膚2と接触することが意図される別の繊維裏地21に縫い付けられる、または糊付けされる。
図6に示されるように、アクチュエータの行列1および裏地21を備える組立体は、アクチュエータ5との所望の機械的な結合を生じさせるため、裏地21がユーザの皮膚にあたるように、ユーザが装着できる衣類22の内側に取り付けることができる。
衣類22は、好ましくは、アクチュエータの行列1をユーザの皮膚2に対して適切に印可するため、弾力性を有する材料から作られる。例として、衣類22は、ネオプレンから作ることができる。典型的には、アクチュエータの行列1が、ユーザの背中、または場合によっては彼/彼女の側部、および場合によっては彼/彼女の腹部に対して配置されるように、衣類22はチョッキであってよい。図6に示されるように、アクチュエータ5は、身につける衣類の全体的なこわばりを減らすため、いくつかの下位組立体にわたって広げることができる。
もちろん、行列1は、ユーザの体の他の部分、特に手足にわたって分布される刺激発生器5を備えることができる。行列1が取り付けられる衣類は、ユーザの胴よりも広くカバーするスーツであってよい。
上述の感覚代用システムは、脳によって実施される時空間解釈の観点から、皮膚の受容体細胞の働きを考慮している。こうして、感覚代用システムは、体の異なる区域において、非同期で、触覚、電気、物理、または他の刺激を生成することができる。
刺激発生器5は、刺激発生器5が刺激する区域中の受容体細胞の密度と一致するように分布される。
感覚代用で通信される視覚情報は、数マイクロ秒間隔をあけてよい。刺激発生器5のための供給電圧は、所望の強度で受容体細胞を刺激するのに必要な時間の間継続するパルスを有する。送信される情報の性質に依存して、幅広い刺激方策を実装することができる。特に、画像の異なるグレースケールをシミュレーションすること、または言葉の認識のため、テキストで書くことをシミュレーションすることが可能である。
そのような刺激に対する健康な被験者の応答を研究するため、健康な被験者にテストが実施されている。これらのテストは、行列1の中の機械的なアクチュエータ5で実施され、非常に期待の持てる結果が得られた。数分のトレーニングの後、文字および数字、ならびに様々な幾何学的形状の認識では、既に申し分がなかった。これらのテストでは、上に記載したように、識別するべき神経形態学的カメラ10の視野中の対象物が高速で動くことも可能であった。これは、他のダイナミックな移動度実験の観点から、極めて有望な結果である。システムを各々の被験者とインターフェース接続することを可能にするため、個人の独自性を考慮に入れることもできる。
上述の実施形態は、本発明の簡単な説明である。上述の実施形態は、本発明の範囲から逸脱することなく、添付される請求項から明らかな様々な形で修正することができる。
1 行列
2 皮膚
5 刺激発生器、要素、アクチュエータ
8 制御回路
10 発生源、非同期信号源、神経形態学的カメラ、非同期式カメラ、カメラ
15 取得用光学系
16 画素
17a 感光性要素、センサー、フォトダイオード
17b 感光性要素、フォトダイオード
18a 電子検出回路
18b 電子検出回路
20 導電繊維シート
21 裏地
22 衣類

Claims (11)

  1. 刺激発生器(5)が局所的にユーザの皮膚(2)と相互作用するように前記ユーザが装着できる前記刺激発生器の行列(1)と、
    前記行列の前記刺激発生器のための制御回路(8)と、
    画素の行列にしたがって組織化された視覚情報を表す非同期信号を前記制御回路に提供するための非同期信号源(10)であって、非同期信号が、各画素のための、前記画素と非同期の様態で関連する連続的なイベントを含む、非同期信号源(10)と
    を備える、感覚代用システム。
  2. 前記非同期信号源(10)が、光景に向いた画素の前記行列にしたがって配置された感光要素を含む、神経形態学的カメラを備え、前記非同期信号が、各画素のための、前記画素からの非同期の様態で生じる連続的なイベントを含む、請求項1に記載のシステム。
  3. 前記神経形態学的カメラが、DVS(ダイナミックビジョンセンサー、Dynamic Vision Sensor)またはATIS(非同期式時間ベース画像センサー、Asynchronous Time-based Image Sensor)タイプのものである、請求項2に記載のシステム。
  4. 前記非同期信号源が、アドレス-イベント表現(AER、address-event representation)を有する信号を生成する合成器を備える、請求項1に記載のシステム。
  5. 前記非同期信号源が、前記制御回路(8)に供給される前記非同期信号が読み取られるメモリを備える、請求項1に記載のシステム。
  6. 刺激発生器の前記行列(1)が、前記ユーザが装着できる衣類(22)に取り付けられる、請求項1から5のいずれか一項に記載のシステム。
  7. 前記衣類(22)がチョッキを含む、請求項6に記載のシステム。
  8. 前記衣類(22)が弾力性を有する材料から作られる、請求項6または7に記載のシステム。
  9. 弾力性を有する前記材料がネオプレンを含む、請求項8に記載のシステム。
  10. 前記行列(1)の前記刺激発生器(5)が機械的なアクチュエータを備える、請求項1から9のいずれか一項に記載のシステム。
  11. 前記行列(1)の前記刺激発生器(5)の少なくとも一部が、電気刺激、熱変動、物質の噴出、および空気流の印可を含む刺激を通して、前記ユーザの皮膚(2)と局所的に相互作用するように配置される、請求項1から10のいずれか一項に記載のシステム。
JP2019533209A 2016-12-20 2017-12-07 非同期式触覚刺激を使用する感覚代用システム Active JP6896862B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1662851 2016-12-20
FR1662851A FR3060297B1 (fr) 2016-12-20 2016-12-20 Systeme de substitution sensorielle par stimulation tactile asynchrone
PCT/FR2017/053454 WO2018115627A1 (fr) 2016-12-20 2017-12-07 Systeme de substitution sensorielle par stimulation tactile asynchrone

Publications (2)

Publication Number Publication Date
JP2020501747A JP2020501747A (ja) 2020-01-23
JP6896862B2 true JP6896862B2 (ja) 2021-06-30

Family

ID=58347603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019533209A Active JP6896862B2 (ja) 2016-12-20 2017-12-07 非同期式触覚刺激を使用する感覚代用システム

Country Status (8)

Country Link
US (1) US11654055B2 (ja)
EP (1) EP3558180B1 (ja)
JP (1) JP6896862B2 (ja)
KR (1) KR102516570B1 (ja)
CN (1) CN110300562A (ja)
CA (1) CA3047364A1 (ja)
FR (1) FR3060297B1 (ja)
WO (1) WO2018115627A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102523510B1 (ko) * 2017-09-28 2023-04-18 애플 인크. 이벤트 카메라를 이용한 정적 이미지들의 생성
US11928981B2 (en) 2022-06-22 2024-03-12 Kevin Fan Tactile vision

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2609623C (en) 2005-06-03 2015-12-29 Universitaet Zuerich Photoarray for detecting time-dependent image data
US20070041600A1 (en) * 2005-08-22 2007-02-22 Zachman James M Electro-mechanical systems for enabling the hearing impaired and the visually impaired
CN100578568C (zh) * 2005-09-21 2010-01-06 东南大学 基于射流技术的触觉图文显示装置及显示方法
JP4911738B2 (ja) * 2006-11-22 2012-04-04 学校法人早稲田大学 歩行リハビリ支援装置
CN101021745A (zh) * 2006-12-14 2007-08-22 东南大学 基于多维刺激的彩色射流触觉图文显示装置及显示方法
DE102008039153A1 (de) * 2008-08-21 2010-02-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sehhilfe, Wahrnehmungshilfe und Sehhilfeverfahren
CN101390789B (zh) * 2008-09-25 2010-09-29 上海交通大学 基于电刺激的触觉-视觉替代系统
CN101518482B (zh) * 2009-03-18 2011-04-27 东南大学 一种触觉图文显示装置及显示方法
CN101972149B (zh) * 2010-11-02 2012-03-07 浙江理工大学 视触觉测试仪及视触觉敏感性测试方法
FR2975251B1 (fr) * 2011-05-12 2015-12-04 Univ Pierre Et Marie Curie Paris 6 Procede et dispositif de commande d'un dispositif d'aide a la vision
WO2013018090A1 (en) * 2011-08-01 2013-02-07 Abir Eliahu System and method for non-visual sensory enhancement
CN202270109U (zh) * 2011-10-08 2012-06-13 范迪 一种光信号转非视觉感受器
US20150366504A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Electromyographic Clothing
US9293015B2 (en) * 2013-09-09 2016-03-22 Immersion Corporation Electrical stimulation haptic feedback interface
BR112016015426B1 (pt) * 2013-12-31 2022-07-12 Iftech Inventing Future Technology Inc Dispositivos vestíveis, sistemas, métodos e arquiteturas para estimulação e manipulação sensorial e aquisição de dados fisiológicos
FR3019317B1 (fr) * 2014-03-26 2016-05-27 Univ Pierre Et Marie Curie (Paris 6) Dispositif de visualisation d'une sequence d'images et systeme de visualisation d'une scene
EP3195164B1 (en) * 2014-07-28 2022-11-16 National ICT Australia Limited Determination of parameter values for sensory substitution devices
CN104352303B (zh) * 2014-10-30 2017-11-07 北京大学 电刺激形成人工视觉的设备
CN204709329U (zh) * 2015-06-08 2015-10-21 深圳市中科微光医疗器械技术有限公司 基于触觉的为视觉障碍人士传达周围环境信息的装置
CN105959572A (zh) * 2016-07-04 2016-09-21 张恩洋 一种用于人体佩戴的具有红外全景深感知功能的导盲帽

Also Published As

Publication number Publication date
WO2018115627A1 (fr) 2018-06-28
CA3047364A1 (fr) 2018-06-28
KR102516570B1 (ko) 2023-04-03
CN110300562A (zh) 2019-10-01
FR3060297A1 (fr) 2018-06-22
US20190332167A1 (en) 2019-10-31
EP3558180A1 (fr) 2019-10-30
EP3558180B1 (fr) 2024-04-03
JP2020501747A (ja) 2020-01-23
KR20190104153A (ko) 2019-09-06
FR3060297B1 (fr) 2019-05-10
US11654055B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
Normann et al. Cortical implants for the blind
JP5057068B2 (ja) 電気触覚ディスプレイ
Normann et al. Toward the development of a cortically based visual neuroprosthesis
EP2012873B1 (en) Active sub-retina implant
Dowling Current and future prospects for optoelectronic retinal prostheses
AU2012252200B2 (en) Method and device for controlling a device for aiding vision
US9199081B2 (en) Blind sight
WO2008052166A9 (en) Systems and methods for altering brain and body functions an treating conditions and diseases
Teodorescu et al. Intelligent systems and technologies in rehabilitation engineering
US20210308448A1 (en) A neuroprosthetic system and method for substituting a sensory modality of a mammal by high-density electrical stimulation of a region of the cerebral cortex
JP6896862B2 (ja) 非同期式触覚刺激を使用する感覚代用システム
Palanker et al. Restoring sight with retinal prostheses
US8311635B2 (en) Field focusing and mapping in a visual prosthesis
EP2839858B1 (en) Field focusing and mapping in an electrode array
US20080161915A1 (en) System for creating visual images
Chebat et al. The implications of brain plasticity and task selectivity for visual rehabilitation of blind and visually impaired individuals
Fale et al. Brainport vision technology
CN111902185A (zh) 具有图像抖动功能的人工视网膜刺激器和装置
Gandhi et al. Sensory Vision Substitution using Tactile Stimulation
Moraru et al. About visual sensory substitution
Moraru et al. On how to achieve visual sensory substitution
Merkel et al. Central neural prostheses
EP4368238A1 (en) A computer-implemented method of mapping electrodes of a brain prosthesis
Srivastava et al. FPGA based visual prosthesis device for testing visual perception on non human primates
Fernández et al. Development of a cortical visual neuroprosthesis for the blind: Replacing the role of the retina

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210609

R150 Certificate of patent or registration of utility model

Ref document number: 6896862

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250