JPWO2007066717A1 - 電気触覚ディスプレイ - Google Patents

電気触覚ディスプレイ Download PDF

Info

Publication number
JPWO2007066717A1
JPWO2007066717A1 JP2007549171A JP2007549171A JPWO2007066717A1 JP WO2007066717 A1 JPWO2007066717 A1 JP WO2007066717A1 JP 2007549171 A JP2007549171 A JP 2007549171A JP 2007549171 A JP2007549171 A JP 2007549171A JP WO2007066717 A1 JPWO2007066717 A1 JP WO2007066717A1
Authority
JP
Japan
Prior art keywords
stimulation
electrode
electrotactile
display according
electrotactile display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007549171A
Other languages
English (en)
Other versions
JP5057068B2 (ja
Inventor
▲すすむ▼ 舘
▲すすむ▼ 舘
裕之 梶本
裕之 梶本
米藏 菅野
米藏 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Publication of JPWO2007066717A1 publication Critical patent/JPWO2007066717A1/ja
Application granted granted Critical
Publication of JP5057068B2 publication Critical patent/JP5057068B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/006Teaching or communicating with blind persons using audible presentation of the information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/007Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165Wearable interfaces
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Electrotherapy Devices (AREA)

Abstract

電気触覚ディスプレイは、複数の刺激電極5を備えた電極基板4と、刺激電極5と装着者の皮膚との間に位置して設けた導電性ゲル層7と、刺激電極5に電気的に接続されたスイッチング回路部6Aと、スイッチング回路部6Aに電気的に接続された刺激パターン生成部2Aと、装着者において生起される生起感覚の緩和手段と、を備えている。生起感覚の緩和手段は、導電性ゲル層7から構成されており、導電性ゲル層7は、皮膚角質と同等の抵抗値を有する。生起感覚の緩和手段は、刺激判定関数の閾値に基づいて電気刺激を行う電気刺激判定手段及び閾値の調整手段から構成されている。

Description

本発明は、電気触覚ディスプレイに関するものである。
関連出願
本発明は2005年12月8日出願の米国プロヴィジョナル出願No.60/748,811に基づく出願であり、その利益を優先権主張するものである。当該出願内容は参照により本明細書に組み込まれる。
額用電気触覚ディスプレイの構成を図1に示す。システムは頭部に搭載され環境情報を取得するセンサ(カメラ)1、その情報を処理し触覚提示用信号を生成する演算部2、および、額に装着され、触覚刺激を生成する電極マトリクスを備えた電気刺激提示部3と、から構成される。例えばサングラスに付けられた小型カメラが装着者の眼前の視界を取り込む。小型カメラにより取り込まれた視界の画像は演算部により電気刺激による触覚情報に変換される。本システムの装着者は、額に受ける触覚刺激によって環境情報を取得することが出来るため、例えば装着者が視覚障害者であり、センサが画像センサである場合には視覚の触覚による代行システムとして機能する。すなわち、額用電気触覚ディスプレイはFRS(額網膜システム)を構成することができる。適切な訓練プログラムを経ることで、FRSは目の不自由な方にとって、外科手術の必要のない人工的な網膜として機能する。
電気刺激の基本原理に関しては「電気刺激に用いる複合電極」特許公開2002-65866、および「触覚呈示方法及び触覚呈示装置」特許公開2002-328596、「電気刺激を用いた触覚呈示方法及び装置」国際公開番号 WO01/038958に記述されている。また額への電気刺激は「盲人用画像認識装具」特許公開2001-285679に記述されている。また、類似の技術(舌に配置される触覚出力装置)として、US6,430,450B1が挙げられる。これらの文献は引用により本明細書に組み込まれる。
しかし、上記出願に記載された従来技術は電気刺激、および額への触覚提示による感覚代行という基本アイデアを述べているに留まり、実用化に際しての実際的な課題を解決してはいなかった。
本発明は、額電気刺激システムを実際に構築し、運用テストをする中で見出された幾つかの課題を解決するものである。本発明が解決しようとする課題の多くは「額装着」に起因するものである。その課題の一つは、電気刺激を与えた時に、装着者が痛覚や不快感を感じることである。電気触覚提示ディスプレイは典型的には指先の皮膚を電気刺激することにより行われるが、額の皮膚は指先の皮膚に比べて薄く、指先と同様に電気刺激を行うとするならば装着者が痛覚を感じてしまい情報を提示することができない。この課題は、額以外の指先の皮膚に比べて薄い皮膚からなる身体部位(前胸部、背部、腹部等)を電気刺激する場合にも当てはまる。
さらに、額装着用電気触覚ディスプレイでは、指先用の電気触覚ディスプレイに比べて、多数の電極が高密度で配置される。刺激点数が増えるにつれ、走査にかかる時間は膨大になり、全体の刺激周波数が下がる。刺激周波数がある値(例えば30Hz)より低くなると刺激に特徴的な「粗さ感」が生じ、装着者において、極めて強い不快感を生じることが知られている。この課題は、額以外の指先の面積よりも広域の身体部位(前胸部、背部、腹部等)に高密度で配置した多数の電極を用いて電気刺激する場合にも当てはまる。したがって、心地よい電気刺激を如何にして生成するかが課題となる。
本発明の他の目的は、額の湾曲に適応した額装着電気刺激提示部を提供することにある。この課題は、額のようにガウス曲率が0でない他の身体部位に装着される電気刺激提示部にも当てはまる。本発明が解決しようとするさらに他の目的は、後述する本明細書の記載から明らかになる。
本発明は、複数の刺激電極を備えた電極基板と、前記刺激電極と装着者の皮膚との間に位置して設けた導電性ゲル層と、前記刺激電極に電気的に接続されたスイッチング回路部と、前記スイッチング回路部に電気的に接続された刺激パターン生成部と、前記刺激電極により装着者において生起される生起感覚の緩和手段と、を備えた、電気触覚ディスプレイ、を提供するものである。
複数の刺激電極は、典型的には、複数の電極を経緯方向(xy方向)に連続状に設けてなるマトリクス状の電極、すなわち、アレイ電極である。導電性ゲル層は、一つの態様では、電極基板の表面(刺激電極が形成されている面)を覆うように当該表面に直接設けられる。他の態様では、電極基板の表面と導電性ゲル層との間に他の導電性層を介在させてもよい。あるいは、導電性ゲル層と皮膚との間に他の導電性層を設けてもよい。一つの好ましい態様では、電気触覚ディスプレイは、額装着用電気触覚ディスプレイである。しかしながら、本発明が額装着用電気触覚ディスプレイ以外の電気触覚ディスプレイにも有用であることは、本明細書の記載から明らかである。
一つの好ましい態様では、前記生起感覚の緩和手段は、前記導電性ゲル層から構成されており、前記導電性ゲル層は、皮膚角質と同等の抵抗値を有する。好ましくは、前記導電性ゲル層の厚みは、0.3〜2.0mmである。導電性ゲル層の厚みが0.3mmよりも薄い場合には装着者において非常に強い痛覚を生じる。導電性ゲル層の厚みが2.0mmよりも厚い場合には装着者において感覚が生じなくなる。さらに好ましくは、前記導電性ゲル層の厚みは、0.5〜1.0mmである。この範囲では、特に、心地よい電気刺激が装着者に提供される。
一つの好ましい態様では、前記電気触覚ディスプレイは、刺激判定関数の閾値に基づいて電気刺激を行うか否かを判定する刺激判定手段と、刺激判定手段における閾値を調整する閾値調整手段とを含んでおり、前記生起感覚の緩和手段は、前記刺激判定手段及び前記閾値調整手段から構成されている。前記閾値調整手段は、所定の一定時間間隔における刺激回数が、所定の最大刺激数を超えないように、閾値を変化させる。閾値を制御することで、ターゲットとする刺激周波数を提供することができる。好ましくは、所定の一定時間間隔における刺激総回数を抑えることで、少なくとも30Hz以上の刺激周波数を確保する。また、一つの好ましい態様では、所定の一定時間間隔における1点の刺激回数を増やすことで、中間諧調表現を実現する。
一つの好ましい態様では、電気触覚ディスプレイの電気刺激提示部は、表面に複数の刺激電極を備えた電極基板と、電極基板の表面側に設けた導電性ゲル層と、電極基板の裏面側に設けたスイッチング回路部と、から構成されている。電気刺激提示部は、電気触覚ディスプレイの制御部(刺激パターン生成部を備えている)および電源に電気的に接続されている。導電性ゲル層は、電極基板の表面側に直接あるいは間接的(他の部材を介在して)に設けられる。スイッチング回路部は、電極基板の裏面側に直接あるいは間接的(他の部材を介して)設けられる。ここで、電極基板の裏面側とは、電極基板の電極が設けられた側と反対側という意味である。
一つの好ましい態様では、前記電極基板はフレキシブル基板である。好ましくは、前記フレキシブル基板には、少なくとも1つの切り込みが形成してある。フレキシブル基板、望ましくは1つ以上の切り込みを備えている、を採用することで、額等の湾曲面に沿った電気刺激提示部を構成することができる。より具体的な一つの態様では、前記フレキシブル基板には、端縁を残すようにして経緯方向に複数の切り込みを形成することで複数の領域に区画し、各領域には所定数の電極が設けてある。さらに好ましくは、各領域に対して一組のスイッチング回路及び通信回路を設け、前記端縁に各通信回路同士の通信配線を設ける。より具体的な他の態様では、前記フレキシブル基板は、電気刺激提示部の長手方向に延出する複数の帯状領域を有しており、各帯状領域には所定数の電極が設けてある。
一つの好ましい態様では、前記電気刺激提示部は、前記電極基板の表面側あるいは/および裏面側に位置して1つ以上の弾性体層を備えている。電気刺激提示部に弾性体層を設けることで、当該弾性体層の変形により額等の湾曲面へ良好に適応することができる。好ましくは、前記弾性体層は、前記電極基板の表面側に設けられた異方性導電性弾性層が例示される。この場合、電気刺激提示部は、刺激用電極基板と、刺激電極基板の表面を被覆するように設けた異方性導電性弾性層と、異方性導電性弾性層の上に設けた導電性ゲル層とからなり、刺激用電極は、異方性導電性弾性層、導電性ゲル層を介して電気刺激を皮膚に提供する。また、電気刺激提示部は、刺激用電極基板と、刺激電極基板の表面を被覆するように設けた導電性ゲル層と、導電性ゲル層の上に設けた異方性導電性弾性層とからなり、刺激用電極は、導電性ゲル層、異方性導電性弾性層を介して電気刺激を皮膚に提供する。電極基板の裏面側に設ける弾性体層は、導電性を有しなくてよい。また、電極基板の裏面側に弾性体層を設ける場合には、好ましくは、当該電極基板はフレキシブル基板である。
一つの態様では、前記スイッチング回路部は、前記フレキシブル基板に設けてある。具体的な態様例では、前記電気刺激提示部は、刺激電極を備えたフレキシブル基板と、フレキシブル基板の裏面側に設けた弾性体層と、を有し、前記フレキシブル基板の部分(刺激電極を有しない部位)は前記弾性体層の裏面側にまで折り返し延出しており、フレキシブル基板の折り返し延出部にスイッチング回路部が設けてある。他の態様では、前記電気刺激提示部は、前記フレキシブル基板とは独立した回路基板を備えており、前記スイッチング回路部は、当該回路基板に設けてある。具体的な態様例では、前記電気刺激提示部は、刺激電極を備えたフレキシブル基板と、フレキシブル基板の裏面側に設けた弾性体層と、弾性体層の裏面側に設けられ、フレキシブル基板とは独立した回路基板と、を有し、前記回路基板の裏面にスイッチング回路部が設けてある。
一つの好ましい態様では、前記電気触覚ディスプレイは、刺激電圧を測定する手段と、電源電圧調整手段と、を有し、電源電圧調整手段により、電源電圧を、測定された刺激電圧よりも所定V高めの電圧に設定する。
一つの好ましい態様では、前記電気触覚ディスプレイは額装着用電気触覚ディスプレイであり、前記ディスプレイは時間的な変化があった場所を強調して刺激する手段を有し、前記手段は、装着者の運動に起因する画像変化をキャンセルし、外部環境で動く物体を強調する。
一つの好ましい態様では、前記電気触覚ディスプレイは、奥行き検出手段を有し、距離に依存した感覚提示を提供する。
[A]電気触覚提示装置(電気触覚ディスプレイ)
[A−1]電気触覚提示装置
本発明の基本となる電気触覚提示装置の一つの態様例について説明する。電気触覚提示装置は、刺激電極、スイッチング回路、制御部(コンピュータを主体として構成される)、電流源を備えている。刺激電極は、複数の電極を経緯方向(xy方向)に配列して構成されるアレイ電極ないしマトリクス状の電極であり、アレイ電極を構成する各電極と電流源とがスイッチング回路を介して電気的に接続されており、制御部(刺激パターン生成部)からの制御信号によって刺激電極における電流源電極を選択して電流を供給し、電流が供給された電極から刺激を行う。電極サイズは好ましい態様では、直径0.5mmから2.0mmで、典型的には1.0mmである。電気触覚提示装置は、各電極と電流源、各電極とグランドとの接続を時間的に切替えて、刺激したい位置の電極及びグランド電極の選択を変化させることでアレイ電極により情報提示を行う。電流源とグランドとの接続の切り替えはスイッチング回路(例えば、ハーフブリッジ回路)により行う。刺激したい位置の電極及びグランド電極の選択は制御部によって行う。刺激したい場所の電極を電流源に接続し、その他の電極をグランドに接続することにより、皮膚下に電流経路を形成して、神経を刺激する。さらに、この刺激点(刺激したい位置の電極)を時間的に切替えることでアレイ電極によって面的な情報を提示する。
電気触覚提示装置は、さらに、環境情報取得部を有する。環境情報は典型的には情景であって、画像センサ(例えば、カメラ)によって画像情報が取得されて入力され、入力された画像情報に基づいて触覚提示用信号が生成される。1つの好ましい態様では、画像センサは、頭部(頭部に装着された眼鏡やサングラスに搭載されるものを含む)に搭載される。また、画像センサが画像情報を取得するために用いる光は可視光に限定されるものではなく、例えば赤外線を用いた赤外線カメラであってもよい。取得された環境情報は、制御部によって処理され、制御部は所定の刺激パターン情報を提示するような触覚提示信号(制御信号)をスイッチング回路に出力し、スイッチング回路によりアレイ電極から触覚刺激が生成される。1つの好ましい態様では、電気触覚提示装置は額装着用電気触覚提示装置であり、FRSシステムを構成する。額装着用電気触覚提示装置は、額の湾曲に適応する額装着電気刺激提示部を備えている。
[A−2]FRSシステム
FRS(額網膜システム)は、額における触覚を網膜の代替とする技術を用いている。1960年代から電気刺激による感覚代行は提案されてきたが、額を刺激部位とする本方式は比較的新しい手法である。額を刺激部位として使用することは合理的である。着け外しが容易であり、脳内での座標系の変換が体の他の部位に装着する場合に比べて簡単になる。例えばサングラスにつけられた小型カメラが装着者の眼前の視界を取り込む。FRSシステムでは、小型カメラにより取り込まれた視界の画像は電気刺激による触覚情報に変換され、触覚情報は装着者に提供される。カメラで取得された画像情報は2つの処理を経て触覚情報に変換される。第一の処理では、輪郭情報を強調するために空間的な輪郭抽出が行われる。第二の処理では、時間変化する情報を強調するため、時間的なバンドバスフィルタリングが行われる。FRSは実際の視覚系の前処理を模倣することで、画像理解を容易にする。適切な訓練プログラムを経ることで、FRSは目の不自由な方にとって、外科手術の必要のない人工的な網膜として機能する。
[B]額の湾曲に適応した装着電気刺激提示部の構成
[B−1]従来の額装着電気刺激提示板の問題点
従来の額装着電気刺激提示部は、額に電極マトリクスを配置する具体的な手法については言及していなかった。しかし電極基板をただ額に並べるだけでは、まず額の湾曲に適応できず、また電極数が増えると各電極にのびるケーブルの重量が問題となった。
我々は、以下のような提案を行っている。まず刺激電極基板を次のような構成とする。基板4Aの表面には電気刺激用の電極5を露出させ、裏面には刺激する電極を選択するスイッチング回路および通信回路を備えた回路要素6を搭載する(図2)。電極とスイッチング回路を近傍に置くことで基板上の配線が激減し、またスイッチング回路への指令信号を通信(代表的には有線シリアル通信、あるいは無線通信)によって行うことで、額の刺激電極基板と、体の他の部位に装着した本体の刺激電流生成回路との間の配線数を一定以下に保つことができる。
[B−2]フレキシブル基板および導電性ゲルを用いた額装着電気刺激提示板の構成
さらに軽量化、および額形状への適応のために基板をフレキシブル基板4とする(図3)。フレキシブル基板の材質としては現在最も一般的に用いられているポリイミドフィルムが考えられるが、シリコンゴム等の収縮性を持つ材料を用いた伸縮性フィルム、また熱可塑性樹脂を用いたもので基板配線後に熱を加えて成形できるタイプのフィルムを用いても良い。特に人の額はある程度決まった曲率を有しているので、それに沿うように成形し得るものが望ましく、熱可塑性樹脂を用いたものはその候補である。電極ピン5は基板4のランド(ハンダ付け用にむき出しになった部分)への金メッキ処理5Aによって形成する。
フレキシブル基板4によって形成した電極ピン5の上に導電性ゲル層7を設ける。導電性ゲルとしては現在電気刺激で最もよく使われているハイドロゲル(親水性の樹脂中に水と電解質を保持させたもの)が考えられる。本導電性ゲル層は、電極と皮膚との電気的接触を保つ為ばかりではなく、皮膚内部における電流の集中、およびそれによって引き起こされる痛覚を防止する役割を果たす。
導電性ゲル層の機能について、以下に詳述する。まず皮膚下には痛覚を生成する痛覚神経、および振動感覚や圧覚を生成する触覚神経が存在する。神経軸索の太さはそれぞれ1マイクロメートル、5マイクロメートル程度である。皮膚上からの電気刺激では、神経軸索周囲に電位分布を生じることにより膜間電位差を変動させ、神経活動を引き起こす。もし皮膚表面から神経軸索までの距離が一定であれば、神経活動を引き起こす電流閾値は神経軸索の太さに反比例、ないし太さの平方根に反比例することが知られている。このため、前述の触覚神経は痛覚神経よりも刺激しやすく、痛覚を生じることなく触覚を生じることが出来る。しかし実際には皮膚表面から神経軸索までの距離は一定ではなく、また皮膚の電気的抵抗分布も一定ではないことから、たびたび電流が局所に集中し、痛覚神経を刺激してしまう状況が生じる。この問題を緩和するため、電気伝導性ゲルを電極と皮膚の間に挟み、ゲル層で電流を拡散させることによって電流の集中を防ぐ手法を取り得る。
ここで導電性ゲルの厚み、陽極(Anode)と陰極(Cathode)の間の間隔、ゲルの抵抗値、皮膚の抵抗値という4者間には次の4つの関係がある(図2A参照)。
(1)ゲルの抵抗値が皮膚の抵抗値より相対的に低い場合、電流経路はゲル層内部に形成され、皮膚に到達しにくくなる。これは消費電力の大半をゲル層でのジュール熱発生に費やしてしまうことを意味し、携帯型の触覚提示装置としては極めて重大な問題となる。
(2)ゲルの厚みが電極間隔に対して相対的に大きい場合も同様に電流経路はゲル層内部に形成され、皮膚に到達しにくくなる。
(3)ゲルの厚みが薄い場合は電流の拡散効果が減少するため痛覚を生じやすくなる。
(4)ゲルの抵抗値が大きい場合、やはり消費電力の大半をゲル層でのジュール熱発生に費やしてしまう。
従来の経皮電気刺激では、陽極と陰極の間は十分な距離(電極間隔5mm以上)があったためゲル層内部に形成される電流経路は大きな問題とはならず、上記(3)の目的を果たすために低抵抗(10〜50kΩ・cm、代表的には20 kΩ・cm)の導電性ゲルが用いられた。しかし多数の電極を高密度(電極間隔1mm〜5mm)に並べる今回のような場合、導電性ゲル層内部の電流経路形成を最小限に抑えつつ電流の拡散によって痛覚を生じさせない最適な抵抗設定が新たに必要となる。
我々はこの役割を果たすためには、導電性ゲルは0.3mm〜2.0mm内の厚みを持っていなければならず、最適な厚みは約0.5mm〜1.0mmであること、ゲルの抵抗値は皮膚と同程度の高抵抗値(100〜1000kΩ・cm、代表的には400 kΩ・cm)である時に、消費電力を最小に押さえつつ痛覚を生じさせない最適な刺激を行いうることを見いだした。
なお、本ゲルは指先への電気刺激の場合には不要であった。なぜなら指先皮膚は分厚い(0.5mm〜1.0mm)高抵抗の角質層が存在し、上述のような電流の拡散効果を持っていたためである。我々は額への電気刺激において、このゲル層を設けない場合には痛覚によって全く使用不可能となること、また一般に電気刺激で用いられる低抵抗のゲル層を用いた場合には感覚を生じにくいことを確認している。
まとめると、刺激用電極基板には、刺激用電極基板を被覆するように導電性ゲル層が着脱可能に設けられる。したがって、電気刺激部は、刺激用電極基板と、刺激用電極基板の電極が設けられた側に着脱自在に設けられる導電性ゲル層と、を含む。刺激電極は、導電性ゲル層を介して皮膚(額)に電気刺激を提供する。好ましくは、導電性ゲルは、皮膚角質と同等の抵抗値を有する。好ましくは、導電性ゲル層の厚みは、0.3〜2.0mmである。さらに好ましくは、導電性ゲル層の厚みは、0.5〜1.0mmである。
次に、額の湾曲に適応した電気刺激提示部について説明する。現在用いられているフレキシブル基板は、屈曲は容易であるものの伸縮できないため、額のようにガウス曲率が0でない面にそのままでは適応することが出来ない。また最近開発された熱可塑性樹脂を用いた基板は熱を加えることによって伸縮を含めた変形が可能であるが、使用者個人に特有の額形状に完全にあわせることは難しい。さらに前述の導電性ゲル層は弾性体であるためある程度皮膚の凹凸を吸収するが、前述のように最適な厚みは別の要件によって決定されるため額形状への適応の役割を果たすには限界がある。このため基板中に切れ込みを入れることにより額の湾曲に適応させる。切れ込みによって基板上の配線は大きく制限される。第一の候補は図4のように、全体を大きなフレキシブル基板4で形成し、その内部に切れ込み(inner cut)40Aを入れる手法である。この例の場合、全体512点を4×2の8領域40に分け、一つの領域40には64点の電極が存在する。図5に示すように、一組のスイッチング回路6A、および通信回路6Bがこの64点の電気刺激を担当することによって、フレキシブル基板4の切れ込み40Aが最も煩雑な「スイッチング回路6Aから各電極5への配線」に影響を及ぼさないようにする。なおここで言う通信回路6Bとは刺激パターン生成部2Aと64点の刺激生成部、および64点の刺激生成部同士を繋ぐものである(図5)。
第2の候補は細い帯状のフレキシブル基板41に刺激電極5を一列に並べる方法である(図6)。電気回路素子を搭載する基板(以下回路基板)8とフレキシブル基板4、すなわち、帯状のフレキシブル基板(以下電極基板)41がコネクタ8Aによって接続され、電極基板上には刺激電極5が形成されている。電極基板41の帯一本一本が湾曲、および左右ずれを生じることにより、球面に近い、すなわちガウス曲率が0でない額形状に適応することが出来る。電極基板4と回路基板8との間には弾性体の層9がある事が望ましい。弾性体の層9としてはシリコンゴムや発泡ウレタンなどが考えられる。特に発泡ウレタンは人の頭部形状に適応する枕等への適用事例があり、現時点での最有力候補である。またこの弾性体の層9と電極基板4の界面は摩擦が低いことが望ましく、潤滑剤の塗布、または潤滑製のコーティングをフレキシブル基板表面または弾性体表面、またはその両方に施すことが望ましい。図6ではフレキシブル基板の帯一本あたり電極は一列配置しているが、これは複数列有ってもかまわない。
以上で説明した方式は回路基板8と電極基板4は別で、コネクタ8Aによって接続されているが、回路基板と電極基板を一体化することも考えられる。このための手法を図7に列挙する。電極部分は帯状のフレキシブル基板41であるが、電気回路素子の搭載されている部分は同じフレキシブル基板でも、あるいは堅い板で裏打ちされていてもよい。最近の基板生成技術ではフレキシブル基板と通常の堅い基板を連結した形で作成可能となっているから、その技術を用いてもよい。
まとめると、電気刺激提示部においては、刺激電極基板とスイッチング回路、通信回路の一体化による軽量化が図られている。具体的な例では、電気刺激提示部は、刺激電極が設けられた刺激電極基板を有し、刺激電極基板の表面には刺激電極が設けてあり、刺激電極基板の裏面には刺激する刺激電極を選択するスイッチング回路及び通信回路が設けてある。一つの態様では、スイッチング回路及び通信回路はICから構成される。スイッチング回路は刺激電極基板の各電極に電気的に接続されており、スイッチング回路は通信回路を介して制御部に電気的に接続されている。1つの態様では、スイッチング回路を含む回路基板はコネクタを介して刺激電極基板に電気的に接続されているが、回路基板と刺激電極基板を一体化させてもよい。電気刺激提示板は、1つの態様では、裏面側を、弾性体10を介してヘッドバンド11に連結することで、額に装着可能となっている(図6(C))。
刺激電極基板は全体として、額形状に沿った湾曲形状に形成されるか、あるいは、湾曲可能に形成される。1つの態様では、電極基板を複数の小面積基板から構成し、各小面積基板の配向を調整して連結することで、湾曲形状に形成する。他の態様では、刺激電極基板は複数の小面積部から構成されており(複数部位に区画されている)、各小面積部の配向が可変となっており、各省面積部の配向を変化させることで額の湾曲に沿った湾曲形状を備えた刺激電極基板を形成する。小面積部は互いに独立しており、これを配向が可変なように連結して構成してもよいが、1つの好ましい態様では、一枚のフレキシブル基板に1つ以上の切り込みを形成することで、複数の小面積部を構成する。小面積部の形状は限定されないが、好ましい態様としては、方形状、帯状のものが例示される。
刺激電極基板は、好ましくは、複数の電極を備えたフレキシブル基板から構成される。さらなる態様では、フレキシブル基板には、少なくとも1つの切れ込みが形成してある。切り込みは交差状に形成してもよいが、複数の切れ込みを交わらないように設けてもよい(例えば、複数の切れ込みを一方向にのみ平行状に形成してもよい)。
具体的な態様例では、横長方形状のフレキシブル基板に、端縁を残すようにして経緯方向に複数の切り込みを形成し、一枚のフレキシブル基板を複数の方形の領域に区画する。各区画領域には所定数の電極が設けてある。各区画に対して一組のスイッチング回路及び通信回路を設けることで、切り込みが、スイッチング回路から各電極への配線に影響を与えることがないようにしている。また、端縁を残すようにして切り込みを形成することによって、当該端縁を利用して、通信配線(Inter-unit communication channelの配線)6Cを行うことができる(図5)。
具体的な態様例では、長手方向と短手方向とを規定する横長方形状のフレキシブル基板4からなる刺激電極基板に、一側の短辺から長手方向に複数の所定長の切り込みを形成することで(好ましくは平行状に)、複数の帯状領域41を形成し、各帯状領域には所定数の電極5が設けてある(図7(A))。他の態様例では、両側の短辺から長手方向に複数の所定長の切り込みを形成することで(好ましくは平行状に)、複数の帯状領域41を形成し、各帯状領域には所定数の電極5が設けてある(図7(B))。他の態様例では、長手方向中央部位に、複数の所定長の切り込みを長手方向に形成することで(好ましくは平行状に)、複数の帯状領域41を形成し、各帯状領域には所定数の電極5が設けてある(図7(C))。長手方向の切れ込みが形成されたフレキシブル基板4を、切り込みが形成された部位(電極を有する部位)を表側にして、弾性体9に対して装着することで、電気刺激提示部を構成する。1つの態様では、弾性体の裏面側には基板(フレキシブルでない)が設けてあり、当該基板の裏面側には、回路素子が配置されている。刺激電極基板を構成するフレキシブル基板の切り込みが形成されていない部位は、基板に設けたコネクタを介して、回路素子に電気的に接続されている。他の態様では、刺激電極基板を構成するフレキシブル基板の切り込みが形成されていない部位は、回路素子あるいは回路基板に一体的に接続されている。
[B−3]異方導電性層を用いた構成手法
前述のように、導電性ゲル層は弾性体であるためある程度皮膚の凹凸を吸収するが、最適な厚みは別の要件によって決定され、0.5mm〜1.0mm程度となるため額形状への適応の役割を果たすには限界がある。ここで、もし厚み方向にのみ電流を通す弾性体層が有れば、その層を電極とゲルの間に挟むことにより、弾性体全体の厚みを増す事が可能となる。
異方導電性とは、電気抵抗に異方性を持つことであり、代表的な製品例としてはゴム板の厚み方向に金属線を密に埋め込んだ異方導電ゴムがある。この場合、ゴム板の厚み方向には電流は通過するが、厚みと直交する方向には通電しない。異方導電性を持つ弾性体層12を電極基板4とゲル層7、あるいはゲル層と皮膚の間に挟む。額に電極を押しつける圧力によって異方導電性層12が変形し、額形状に適応する。これにより、電極基板の変形を最小限に抑えることが出来、電極基板の疲労による破壊や設計上の制約を緩和することが出来る。
まとめると、電気刺激提示部の構成要素として異方性導電性弾性層(例えば、異方導電ゴム)を採用することもできる。このものにおいて、刺激用電極基板は、好ましくはフレキシブル基板であるが、フレキシブル基板に限定されない。1つの態様では、電気刺激提示部は、刺激用電極基板と、刺激電極基板を被覆するように設けた異方性導電性弾性層(例えば、異方導電ゴム)と、異方性導電性弾性層の上に設けた導電性ゲル層とからなり、刺激用電極は、異方性導電性弾性層、導電性ゲル層を介して電気刺激を皮膚(額)に提供する。他の態様では、電気刺激提示部は、刺激用電極基板と、刺激電極基板を被覆するように設けた導電性ゲル層と、導電性ゲル層の上に設けた異方性導電性弾性層(例えば、異方導電ゴム)とからなり、刺激用電極は、導電性ゲル層、異方性導電性弾性層を介して電気刺激を皮膚(額)に提供する。
[C]消費電力の削減手法
[C−1]従来の電気刺激回路における問題点
ゲルの厚みおよび抵抗値の最適設計でも述べたように、消費電力の削減は携帯型電気刺激装置にとって極めて大きな課題である。論理演算部の消費電力は大して問題にならないが、電気刺激のためには100V〜400V程度の高電圧が必要であり、この電圧を生成し、電流制御を行うアナログ回路部での消費電力が最も大きい。
[C−2]刺激電極において測定した電圧情報を用いた電源電圧の制御
電気刺激において、触覚を生じるために重要なパラメータは電圧ではなく電流であるため、刺激回路は電流制御を行っている。これは電圧による指令値を電圧-電流変換する回路部と、変換された電流を電極に出力する電流ミラー回路から構成される。この構成は電気刺激において一般的なものである。
電流ミラー回路部を図9に示す。この例は正電源、およびNPN型トランジスタを用いた構成であるが、負電源、およびPNPトランジスタを用いた構成でも以下の議論は全く同様である。制御電流Icが、抵抗RcおよびRmによって決定される比率Rc/Rmで増幅されて電極、またはスイッチング回路に出力される。高電圧発生装置(DCDCコンバータ)の電圧をVh、電流ミラー回路の出力部での電圧をVsとすると、電圧降下Vh-Vsが生じている。この電圧降下は電流ミラー用トランジスタで生じており、この時Im*(Vh-Vs)だけのジュール熱がトランジスタで消費される。この熱は刺激には寄与せず、完全に無駄となる。皮膚の抵抗が高ければ、同量の刺激電流を流すために必要な電圧Vsは高くなり、電圧降下Vh-Vsは少なくなるため無駄な電力消費は減る。しかし皮膚の抵抗が低ければ逆に無駄な電力消費は多くなる。現在のシステムでの代表的な値としては、電源Vhが350V、刺激電流値Imが5mA、刺激電圧値Vsが皮膚の状態によって200V〜330V程度変化する。つまり最悪値としては、(350-200)*0.005=0.75Wが常時無駄に消耗されることになる。
この問題を解決するため、刺激電圧Vsを測定し、電源電圧Vhを、測定された刺激電圧より少し(10〜30V程度)高く設定するよう常時調整する。皮膚の抵抗値の変動の緩慢さから、調整の周期は1秒程度で良い。電源電圧は典型的なDCDCコンバータによって出力されており、この電圧調整は容易であることが良く知られている。またこの調整は高速スイッチング駆動によって行われているため、上述の電流ミラー回路部のような無駄な電力消費は原理上無い。刺激電圧測定回路自体は、皮膚のインピーダンス測定による刺激波形の最適化という目的で過去多く導入されてきたものであるが、この情報を電圧源の調整に用いて消費電力を削減する試みは無い。
まとめると、電気刺激回路において、刺激電圧を測定する手段(刺激電圧測定回路)と、電源電圧調整手段と、を有し、電源電圧調整手段により、電源電圧を、測定された刺激電圧よりも所定V(例えば、10〜30V)高めの電圧に設定する。電源電圧調整手段による電源電圧の設定は所定周期(例えば1秒)で行えばよい。
[D]環境情報から電気刺激パルスへの変換手法
[D−1]現行の直列システムにおける問題点
本刺激システムは、大量の電気刺激点に対して、ある瞬間は一点ないし全体の一部の電極だけを刺激し、テレビの走査線と同様に時間的に刺激する電極を変更する走査によって面パターンを提示している。しかし視覚-触覚変換の場合、刺激点数は従来より格段に多く(例えば従来の指先型電気刺激装置で64点であったものが、現在の額電気刺激システムは512点である)、刺激点数が増えるにつれ、走査にかかる時間は膨大になり、全体の刺激周波数が下がる。一点の刺激にかかる時間は現在100μs程度であり、512点刺激するには51.2msかかることになる。つまり刺激周波数は約20Hzとなる。
刺激パルス自体を短くすることが考えられるが、より短い時間で同量のエネルギーを与えるためにより高い電圧が必要となり、現実的ではない。刺激周波数が30Hzより低くなると刺激に特徴的な「粗さ感」が生じ、極めて強い不快感を生じることが知られている。このため、刺激周波数を一定以上に保つ工夫が必要である。また刺激周波数が低いことにより、刺激周波数を変化させることによって感覚強度の変化を表現することが難しい。現状ではこのため1(刺激する)か0(刺激しない)の2値情報しか提示できていない。これは例えば、画像情報を提示する際、白黒の2値でしか表現できないことを意味する。
[D−2]従来の解決手法:刺激回路の並列化
従来、刺激回路を並列化し、同時に刺激する点数を増やすことによる解決手段がとられてきた。例えば刺激点が512点ある場合、これを64点のモジュール8つに分割し、同時に8箇所の刺激を行うことにより走査周波数を8倍に向上させることが出来る。しかし8chを並列に駆動するため電流容量が8倍必要となる。高電圧電源は電流容量の増加に比例してサイズが大きくなるが、現状の1chを駆動するための電源が既に携帯型装具として許容できる限界のサイズであるため、並列化による解決は現実的ではない。
[D−3]閾値自動調整の実装による周波数の向上と中間階調の実現
電気刺激を行うかどうかの判定関数をリアルタイムに変化させることにより、刺激回数が、ある最大刺激数を超えないように調整する。最大刺激数は、全体の刺激にかかる時間がある値を超えないように設定される。特に刺激周波数が30Hz未満の(すなわち一周期が33msより大きい)場合前述のように生起感覚に強い不快感を生じるため、刺激周波数を30Hz以上に保つよう、最大刺激数の代表的な値としては33ms/100μs = 330点、通信等のオーバーヘッドを考慮して200点以下が妥当な値である。
刺激判定関数をリアルタイムに変化させる機能を閾値自動調整機能と呼ぶ事にする。閾値自動調整機能を実装することにより、次の二つの効果をねらう。まず刺激総数を抑えることで、最低でも30Hzの刺激周波数を確保する。これによって第一の問題であった「30Hz以下の刺激による不快感」は低減される。次に、1点の刺激回数を増やすことで、従来の0/1表現だけでない、中間階調表現を実装する。
代表的な実装例としては、まず刺激点全体の走査周波数を30Hz(一周期33ms)に固定し、その間に各刺激点を0回〜7回刺激することにより、30Hz〜210Hzの刺激強度変化を表現する。このとき閾値自動調整機能で調整する機能は拡張され、刺激「点数」ではなく、刺激の総「回数」が最大刺激数を超えないよう調整される。
またこの場合、0〜7の8段階の階調表現となるが、さらにその中間の表現も可能である。これは次のようなアルゴリズムで実現する。あるサイクルtに出したい階調がXt(0.0〜7. 0の非整数)であるとする。Xtを整数部iXtと小数部dXtに分ける。このサイクルではiXt回だけ刺激し、小数部dXtを保存する。次のサイクルでは、出したい階調がXt+1とすると、これに前回の余りを加える。こののち同様に整数部と小数部に分け、整数部の回数だけ刺激し、小数部を保存する。この繰り返しにより、中間階調を時間平均の形で出すことができる。以上のアルゴリズムにより、白黒2値ではなく、グレースケールでの2次元パターン提示が可能となる。
閾値自動調整機能について詳述する。閾値自動調整機能と、それ以外の画像処理機能の関係を図15に示す。まずカメラ1からの画像データは画像処理部2Bにより処理画像に変換される。画像処理としては、エッジ抽出、輪郭抽出、「角」抽出、色抽出、運動検出、パターン認識等が例示される。この変換されたデータに基づいて電極マトリクス3Aから電気刺激を行う。電気刺激を行う時に、閾値自動調整部2Cにおける閾値制御が行われる。
閾値自動調整部2Cにおける閾値制御について説明する。以下は、刺激を行う/行わない、の2値でのみ表現する場合を考える。この場合、刺激を行うかどうかを判定する「刺激判定関数」が必要となる。例えば次のようなものである。
「あるデータが、閾値以上の大きさを持つ場合刺激する。そうでない場合刺激しない」
ここでN(i)はI番目の点の刺激回数を示し、d(i)はデータ、thresholdは閾値を表す。
この時、一点ずつ走査によって刺激しているため、次の式で規定される「刺激の総回数」が多すぎると刺激の周波数が遅くなってしまう。
ただし、N(i)は一周期におけるI番目の電極の刺激回数であり、Mは電極の総数である。ここではN(i)は0か1の値しか取らないため、刺激の総回数は刺激点数と同じ意味になる。このため、刺激点数を抑えるために、「刺激判定関数」内の閾値を変動させる必要がある。図15のようなシステムでは、カメラのリフレッシュレートは一定のため、一定時間間隔で新規画像が入力される。例えば30fpsのカメラでは、画像は33msごとに更新される。電気刺激はこの33msの間に走査を終えなければならないため、例えば1回の刺激に100μsかかる場合、330回しか刺激できない。これが許容される「最大刺激回数」である。実際には通信等のオーバーヘッドにより、もっと少ない値になる。
刺激判定関数内での閾値調整には例えば次のようなアルゴリズムが考えられる。まずボリューム等、ユーザの入力によって閾値の初期値が設定される。もしこの初期値を用いた刺激判定関数で刺激点数が最大刺激回数を超えないときには閾値の変化はない。しかしもし刺激点数が最大刺激回数を超えたときには、刺激点数が最大刺激回数以下となるまで閾値を増加させていく。よく知られた2分岐法(Binary Tree Method)等によって、刺激点数が最大刺激回数以下となるための最小の閾値を高速に求めることが出来る。
一点に対して多数回の刺激を許し、白黒表現ではなくグレースケール表現を実現する場合、カメラから刺激電極に至るシステム構成は変わらず、カメラのリフレッシュレートも変わらない。例えば画像は33msごとに更新される。ある刺激点における刺激の強度は、この一周期33msの間にその点を何回刺激したかによって定義される。刺激判定関数はある1個以上のパラメータからなる元データの関数であり、各点の一周期中での刺激回数を規定する。最も簡単な例としては、例えば次のような物である。
前述のように許容される最大刺激回数は決まっているので、一周期中の「刺激の総回数」はこの最大刺激回数を超えないように刺激判定関数中のパラメータ(上の例では”threshold”を調整する。
まとめると、電気触覚提示装置は、画像を取得して取り込む画像取得部と、取得した画像を処理する画像処理部と、画像処理部によって得られた情報に基づいて触覚提示信号を生成する制御部と、触覚刺激を生成するアレイ電極と、各電極を電源、グランドに切替えるスイッチング回路を備えている。制御部は、さらに、電気刺激を行うかどうかの刺激判定手段(刺激判定関数により構成される)と、刺激判定手段における閾値を調整(制御)する閾値調整手段(閾値制御手段)を含んでいる。
閾値調整手段は、所定の一定時間間隔(一周期)における刺激回数が、所定の最大刺激数を超えないように、刺激判定関数(電気刺激を行うかどうかの判定関数)における閾値を変化させる。刺激総数を抑えることで、望ましい刺激周波数(例えば、少なくとも30Hz以上)を確保することができる。
1点の刺激回数を増やすことで、中間諧調表現を実現する。刺激点全体の走査周波数を所定周波数以上の値(例えば、30Hz以上)に固定し、その間に各刺激点を0回〜7回刺激することにより、(走査周波数×0)Hz〜(走査周波数×7)Hzの刺激強度変化を表現する。刺激の総回数が最大刺激数を超えないように刺激判定手段(刺激判定関数)の閾値を調整する。
[D−4]空間的な特徴抽出の高品位化
現在2次元パターンを提示する際、単純なラプラシアン演算子によるエッジ抽出により、パターンの空間的なエッジを強調する処理を行っている。これによって例えば3角形を提示したとき、3つの「辺」が抽出、刺激される。しかしこれでは不十分であり、より知覚を容易にするためには、さらにこの三角形の3つの「頂点」が強調されて刺激される必要がある(図10)。特に人工物の多い環境では、画像処理の代表的な手法である「ハフ変換」により直線、円、楕円を自動認識し、さらに認識された線の交点を計算することによって頂点位置を求めることが出来る。これを利用して頂点を認識、強く刺激することで高品位な感覚提示を行う。
また、特に2次元パターンが画像であった場合、特定色、特定輝度、特定時間変化の抽出は本システムで本質的に重要である。例えば視覚障害者用の視覚代行システムとして利用する場合、特定色、特定輝度、特定時間変動の抽出により、例えば信号機の色、および点滅を認識し、装着者に警告的に提示することが出来る。
さらに、特定パターンを認識、記憶し、刺激の種類変化で表現することにより、視覚に比べて空間的な解像度の低い触覚刺激で、視覚に匹敵する情報を提示する。特に重要なのは人間の顔認識モジュールの組み込みであり、これにより装着者は、自分の周囲に既知、あるいは未知の人物が居ることを認識する。
[D−5]時間変動に対する応答
時間的な変化(時間微分)のあった場所を強調して刺激する手法は、触覚受容器の一種であるMeissner小体の活動を模擬することにもなるため、一般的に提示される感覚の高品位化に繋がる(図11)。これ自体は従来研究でも実装されている。
頭部にセンサを搭載し、額に電気刺激を行う今回のシステムで特徴的なのは、画像「全体」の動きに対しては反応しない事が重要である点である。つまり画像全体の動きはオフセットとして除去し、画像中の一部の動きのみ抽出する。これは観察者自身の頭部回転運動によって頭部搭載カメラに必然的に生じる画像変化を無視し、あくまで外部環境で動く物体を強調することを意味する(図12)。
以上の頭部回転運動キャンセルを組み込んだとき、頭部を「並進運動」させたら何が生じるだろうか?この時、同様に画像全体の動きは補償されるので、結局のところ運動視差(視点の移動による立体物の「見え」の違い)によって、近い距離にあるものだけが抽出されるようになる。つまり、これをうまく利用することにより、頭部並進移動による奥行き検出を体得する可能性が極めて高い。
以上のように時間差分は有用である。しかし各画素がどれだけ移動したか、という計算は画像処理の中で最も計算量の多い「相関計算」に当たる。この相関計算の負荷を抑えるためには、頭部回転による画像「全体」の流れベクトルを別手段で計測し、あらかじめその情報によって全体の動きを差し引いておき、相関計算に用いる積分窓のサイズ(=想定される移動速度に比例)を極端に小さくする必要がある。これにより計算量を極端に減らすことができる。単純に差分だけを用いて「移動した/しない」の2値で出力すれば相関計算そのものが不要となる(図14)。頭部運動を計測する回転加速度センサを内蔵し、この情報を用いて補償する方法が考えられる。また、移動量抽出機能の付いた人工網膜素子を利用することが考えられる。
好ましい態様では、画像処理部によって、以下のような画像処理を行う。画像処理部によって行う画像処理は以下のものに限定されず、一般に画像処理分野で行われているいかなる画像処理が含まれ得る。
(1)空間的なエッジ抽出、特に辺、頂点を検出することによる刺激の高品位化を図る。
(2)特定色抽出を行うことによる刺激の高品位化を図る。
(3)特定輝度抽出による刺激の高品位化を図る。
(4)特定時間変化パターン抽出による刺激の高品位化を図る。
(5)特定画像、特に人の顔の認識、抽出による刺激の高品位化を図る。
(6)時間的な動きを検出することによる刺激の高品位化を図る。
(7)画像全体の動きをオフセットとして除去することによる、頭部回転運動による画像変動の効果を除去する。1つの態様では、頭部回転運動による画像変動の効果を除去するため、回転角速度センサを用いる。他の態様では、運動検出機能を持つ人工網膜チップを用いる。
(8)さらなる態様では、画像全体の動きをオフセットとして除去した後に残った時間的な変動を強調表示することにより、頭部並進運動による運動視差を強調し、奥行き手がかりとする。
[E]センサとして画像センサを用いる際の画像情報取得手法
[E−1]画像取得に広角レンズを用いた際の提示手法
視野が狭い。このため装着者は自分の全周囲の環境情報を得るために頭部を頻繁に動かす必要がある。さらにカメラの視野が狭いことにより、頭部の移動に対して提示される刺激パターンの変動が激しく、不快感を生じていた。さらに本システムを装着した視覚障害者と健常者の対面コミュニケーションの場面を想定した場合、対面コミュニケーションでは互いが同程度の視野を持っていることを無意識のうちに仮定するため、健常者側が視覚障害者側と上手くコミュニケーションを取りづらいという問題がある。
広角レンズ、例えば魚眼レンズを使う事により、健常者の視野(眼球を動かさない場合に約180度)に近い視野を確保する。カメラの視野が広がれば、刺激の空間解像度は下がるが、その問題に対しては、画面の端を圧縮し、中央付近を高解像度で提示することで対処する。
[E−2]焦点調整・複眼カメラ・光到達時間計測による奥行き検出と提示
画像取得の際、奥行き情報を検出することにより装着者に提示する情報を絞り込むことが出来る。例えば装着者から数mまでの物体だけを提示の対象とすることで、遠くにある物体、例えば建造物等による刺激を防止することができる。装着者にとっての安全性という面からもこの手法は望ましく、これまでに提案された多くの視覚-触覚変換装置も奥行きのセンシングができることを前提としてきた。しかし従来の提案で奥行き情報取得を現実の使用に耐えるレベルで実装できたものはない。
ここで我々の用途の特殊性を確認する必要がある。計測精度は重要ではない。数m程度の範囲内の物体を、0.5m程度の精度で計測できれば良いと思われる。このことから次の二つの簡便な手法が候補となる。
第一にレンズのフォーカスを用いるもので、一般的にはレンズ焦点法と呼ばれる。レンズによってある奥行き以外をぼかすことができる。我々のシステムは最終的に画像からエッジ抽出をして刺激に変換するのだから、取得画像の段階で不要な距離の画像がぼけるというのは、システムにとって大変相性の良い手法といえる。
第二にカメラから照明光を投射し、反射光の明るさそのものを奥行き情報とするという単純な手法である。照明対象表面の光学的特性に左右される問題はあるものの、極めて簡便に大まかな奥行きが得られるメリットは大きい。
これ以外にも既に多く用いられている奥行き検出手法のいずれも、距離に依存した感覚提示の為に用いることが出来る。代表的な例としては第一に2つ以上のカメラを用いた立体視計測であり、もう一つは光到達時間(TOF:Time Of Flight)を用いた計測である。特に多眼カメラを用いた場合、視野の拡大という前述の目的も同時に達成されることになる。この場合、立体視による奥行き検出が出来るのは各カメラの視野が重なっている領域のみであるが、人間も2つの目で全く同じ事を行っており、2眼の視野の重畳する中心視野付近のみの立体視で支障なく生活できているため、問題ないものと思われる。
以上は光学的な画像取得に基づいた奥行き検出であるが、超音波を用いた奥行き検出を用いることも出来る。特に現在、単一または多数の音源と多数の小型マイクロフォンマトリクスを用い、対象からの反射波を解析することで空間を三次元的に把握する奥行き検出装置の小型化が著しく、携帯可能となりつつある。超音波に基づく奥行き検出は光に基づく奥行き検出に比べ空間的な解像度は低くなる。現在のところ光学的な画像ベースでは数百×数百点の奥行きデータが得られるが、超音波では数十×数十程度の奥行きデータしか得られない。しかし我々のシステムでは最終的な触覚提示点数が少ないため、超音波に基づく奥行き検出でも十分である。また超音波を用いた場合、暗闇でも使えるという利点がある。
最終的に距離に依存した感覚提示を行う。例えば距離が近いほど強い刺激を提示する。あるいは距離に応じて刺激による生起感覚の質を変化させる。
まとめると、画像取得部のレンズに広角レンズを用いることで、健常者と同等の視野を確保することができる。カメラの視野が広がることによる刺激の空間解像度の低下については、画面の端を圧縮し、中央付近を高解像度で提示することで対処する。カメラのピント調整による奥行き計測とそれに基づいた奥行き依存提示を行っても良い。装着者から数m程度の近距離まで焦点の合う固定焦点レンズを用い、装着者近傍の物体のみ感覚提示対象とすることによりシステムの簡便化を図っても良い。複数のカメラを用いた奥行き計測の組込みとそれに基づいた奥行き依存提示を行っても良い。複数のカメラを用いて視野を広げてもよい。光到達速度計測の原理を用いた奥行き計測の組み込みとそれに基づいた奥行き依存提示を行っても良い。
本発明は、額装着用電気触覚ディスプレイ、より具体的には、携帯型視覚代行装具に適用することができる。
額電気刺激システム図である。 電極基板とスイッチング回路、シリアル通信回路の一体化を示す図である。 電極と皮膚との間に導電性ゲルを設けた場合の電気刺激を説明する図である。 フレキシブル基板を用いた電極基板を示す図である。 切れ込みを備えたフレキシブル基板を示す図である。 図4において区画された各領域の回路要素を示す図である。一つの領域ごとにスイッチング回路および通信回路が存在し、領域間の通信によりデータをやりとりする。 帯状フレキシブル基板に刺激電極を並べる構成を示す図である。(A)電気刺激提示部の要部の平面図、(B)は同断面図、(C)は電気刺激提示部全体を示す断面図である。 電極基板と回路基板を一体化する構成を示す図である。 異方導電性を持つ弾性層を電極基板とゲル層の間に挟んだ状態を示す図である。 電流ミラー回路部を示す図である。 エッジ抽出を示す図である。単純なエッジ抽出演算による「辺」の抽出、よりよく認識を補助するための「角」の抽出を示す。 画像の時間差分抽出による時間的な変化の検出を示す図である。動いているものを強調して刺激する。 頭部回転運動による画像全体の動きを示す図である。これはオフセットとして除去する対象である。 運動視差による「見え」の変化を示す図である。左図では左から、中央図では右から観察している。頭部並進運動時の画像差分は対象との距離が近いほど大きくなる。 画像の時間差分抽出を説明する図である。頭部回転運動計測による画像補整を用い、回転運動による画像変化を補償し、それ以外の要因による画像変化のみを抽出する。 閾値自動調整機能と画像処理機能との関係を示す図である。

Claims (21)

  1. 複数の刺激電極を備えた電極基板と、
    前記刺激電極と装着者の皮膚との間に位置して設けた導電性ゲル層と、
    前記刺激電極に電気的に接続されたスイッチング回路部と、
    前記スイッチング回路部に電気的に接続された刺激パターン生成部と、
    前記刺激電極により装着者において生起される生起感覚の緩和手段と、
    を備えた、電気触覚ディスプレイ。
  2. 前記電気触覚ディスプレイは、額装着用電気触覚ディスプレイである、請求項1に記載の電気触覚ディスプレイ。
  3. 前記生起感覚の緩和手段は、前記導電性ゲル層から構成されており、
    前記導電性ゲル層は、皮膚角質と同等の抵抗値を有する、請求項1,2いずれかに記載の電気触覚ディスプレイ。
  4. 前記導電性ゲル層の厚みは、0.3〜2.0mmである、請求項3に記載の電気触覚ディスプレイ。
  5. 前記導電性ゲル層の厚みは、0.5〜1.0mmである、請求項4に記載の電気触覚ディスプレイ。
  6. 前記電気触覚ディスプレイは、刺激判定関数の閾値に基づいて電気刺激を行うか否かを判定する刺激判定手段と、刺激判定手段における閾値を調整する閾値調整手段とを含んでおり、
    前記生起感覚の緩和手段は、前記刺激判定手段及び前記閾値調整手段から構成されており、前記閾値調整手段は、所定の一定時間間隔における刺激回数が、所定の最大刺激数を超えないように、閾値を変化させる、請求項1乃至5いずれかに記載の電気触覚ディスプレイ。
  7. 所定の一定時間間隔における刺激総回数を抑えることで、少なくとも30Hz以上の刺激周波数を確保する、請求項6に記載の電気触覚ディスプレイ。
  8. 所定の一定時間間隔における1点の刺激回数を増やすことで、中間諧調表現を実現する、請求項6,7いずれかに記載の電気触覚ディスプレイ。
  9. 前記電極基板と、前記導電性ゲル層と、前記スイッチング回路部と、から電気刺激提示部が構成されている、請求項1乃至8いずれかに記載の電気触覚ディスプレイ。
  10. 前記電極基板はフレキシブル基板である、請求項9に記載の電気触覚ディスプレイ。
  11. 前記フレキシブル基板には、少なくとも1つの切れ込みが形成してある、請求項10に記載の電気触覚ディスプレイ。
  12. 前記フレキシブル基板には、端縁を残すようにして経緯方向に複数の切り込みを形成することで複数の領域に区画し、各領域には所定数の電極が設けてある、請求項11に記載の電気触覚ディスプレイ。
  13. 前記各領域に対して一組のスイッチング回路及び通信回路を設け、前記端縁に各通信回路同士の通信配線を設けた、請求項12に記載の電気触覚ディスプレイ。
  14. 前記フレキシブル基板は、電気刺激提示部の長手方向に延出する複数の帯状領域を有しており、各帯状領域には所定数の電極が設けてある、請求項11に記載の電気触覚ディスプレイ。
  15. 前記電気刺激提示部は、前記電極基板の表面側あるいは/および裏面側に位置して1つ以上の弾性体層を備えている、請求項9乃至13いずれかに記載の電気触覚ディスプレイ。
  16. 前記弾性体層は、前記電極基板の表面側に設けられた異方性導電性弾性層である、請求項15に記載の電気触覚ディスプレイ。
  17. 前記スイッチング回路部は、前記フレキシブル基板に設けてある、請求項10乃至14いずれかに記載の電気触覚ディスプレイ。
  18. 前記電気刺激提示部は、前記フレキシブル基板とは独立した回路基板を備えており、前記スイッチング回路部は、当該回路基板に設けてある、請求項10乃至14いずれかに記載の電気触覚ディスプレイ。
  19. 前記電気触覚ディスプレイは、刺激電圧を測定する手段と、電源電圧調整手段と、を有し、電源電圧調整手段により、電源電圧を、測定された刺激電圧よりも所定V高めの電圧に設定する、請求項1乃至18いずれかに記載の電気触覚ディスプレイ。
  20. 前記電気触覚ディスプレイは額装着用電気触覚ディスプレイであり、
    前記ディスプレイは時間的な変化があった場所を強調して刺激する手段を有し、
    前記手段は、装着者の運動に起因する画像変化をキャンセルし、外部環境で動く物体を強調する、請求項1乃至19いずれかに記載の電気触覚ディスプレイ。
  21. 前記電気触覚ディスプレイは、奥行き検出手段を有し、距離に依存した感覚提示を提供する、請求項1乃至20いずれかに記載の電気触覚ディスプレイ。
JP2007549171A 2005-12-08 2006-12-07 電気触覚ディスプレイ Expired - Fee Related JP5057068B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US74881105P 2005-12-08 2005-12-08
US60/748,811 2005-12-08
PCT/JP2006/324439 WO2007066717A1 (ja) 2005-12-08 2006-12-07 電気触覚ディスプレイ

Publications (2)

Publication Number Publication Date
JPWO2007066717A1 true JPWO2007066717A1 (ja) 2009-05-21
JP5057068B2 JP5057068B2 (ja) 2012-10-24

Family

ID=38122862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007549171A Expired - Fee Related JP5057068B2 (ja) 2005-12-08 2006-12-07 電気触覚ディスプレイ

Country Status (4)

Country Link
US (1) US8920174B2 (ja)
EP (1) EP1970877B1 (ja)
JP (1) JP5057068B2 (ja)
WO (1) WO2007066717A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239032B2 (en) * 2006-08-29 2012-08-07 David Charles Dewhurst Audiotactile vision substitution system
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
WO2010145013A1 (en) * 2009-06-19 2010-12-23 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
US9662183B2 (en) * 2012-07-18 2017-05-30 Orthoaccel Technologies, Inc. Electro-orthodontic device
US9568999B2 (en) * 2012-09-12 2017-02-14 Samsung Display Co., Ltd. Method for representing a tactile image and touch screen apparatus for performing the method
US9122330B2 (en) 2012-11-19 2015-09-01 Disney Enterprises, Inc. Controlling a user's tactile perception in a dynamic physical environment
WO2014081808A1 (en) 2012-11-20 2014-05-30 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizon State University Responsive dynamic three-dimensional tactile display using hydrogel
JP6125812B2 (ja) * 2012-11-27 2017-05-10 国立大学法人電気通信大学 電気触覚提示装置、電気触覚提示装置の制御方法及びプログラム、並びに電気触覚ディスプレイを有する携帯機器
KR102006151B1 (ko) 2012-11-27 2019-10-10 삼성디스플레이 주식회사 터치를 인식하고 전기 촉각 자극을 제공하는 표시 장치 및 그 구동 방법
JP6112544B2 (ja) * 2012-11-27 2017-04-12 国立大学法人電気通信大学 触覚提示装置の電極基板、触覚提示装置及び表示装置
CN104352303B (zh) * 2014-10-30 2017-11-07 北京大学 电刺激形成人工视觉的设备
WO2016086306A1 (en) * 2014-12-03 2016-06-09 University Of British Columbia Flexible transparent sensor with ionically-conductive material
JP6662302B2 (ja) * 2015-01-15 2020-03-11 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2016205881A1 (en) * 2015-06-23 2016-12-29 Ti2 Medical Pty Ltd Anisotropically conductive material for use with a biological surface
CN109074157B (zh) 2016-04-07 2021-05-11 国立研究开发法人科学技术振兴机构 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序、以及元件配置结构体
CN106236086B (zh) * 2016-08-19 2020-02-28 京东方科技集团股份有限公司 生物电波检测设备、识别传感器、其干性电极及制作方法
IT201600087785A1 (it) * 2016-08-29 2018-03-01 Claudio Falconi Dispositivo indossabile per la conversione di dati di tipo visivo e/o uditivo in una stimolazione pressoria
US20180161569A1 (en) * 2016-12-09 2018-06-14 Liv Maria Kelley Scalp-Mounted Sensory Prosthesis and Method of Use
US10831319B2 (en) 2017-02-09 2020-11-10 The University Of British Columbia Cluster sensor
US10670429B2 (en) 2017-02-09 2020-06-02 The University Of British Columbia Capacitive bending sensors
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达(南京)科技有限公司 单边咀嚼监测设备及其方法
WO2018230790A1 (ko) 2017-06-13 2018-12-20 주식회사 비햅틱스 헤드 마운티드 디스플레이
US11439567B2 (en) 2019-03-15 2022-09-13 The Aerospace Corporation Wearable thermoelectric array as a graphical user interface
WO2020222252A1 (en) * 2019-05-02 2020-11-05 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Method of constructing hybrid tactile display
CN110264834B (zh) * 2019-06-20 2021-08-03 北京科技大学 自驱动智能盲文系统及盲文书籍制备方法
CN112237682A (zh) * 2019-07-17 2021-01-19 杭州暖芯迦电子科技有限公司 一种微型高密度阵列自由曲面电极及其制造方法
CN111158474B (zh) * 2019-12-19 2021-10-22 维沃移动通信有限公司 交互方法和电子设备
CN114642579B (zh) * 2022-03-22 2024-03-29 池浩 穿戴式助盲器

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3349489A (en) * 1963-02-07 1967-10-31 Shackelford John Hinton Multiple celled pressure sensitive dental device for measuring relative occlusal pressures
US3752929A (en) * 1971-11-03 1973-08-14 S Fletcher Process and apparatus for determining the degree of nasality of human speech
US3766311A (en) * 1972-04-26 1973-10-16 H Boll Sensory substitution system
US4112596A (en) * 1977-01-03 1978-09-12 Fletcher Samuel G Pseudo palate useful for diagnosis and treatment of speech impairment
US4287895A (en) * 1979-03-15 1981-09-08 Rion Co., Ltd. Electropalatograph
US4520501A (en) * 1982-10-19 1985-05-28 Ear Three Systems Manufacturing Company Speech presentation system and method
US4697601A (en) * 1986-12-12 1987-10-06 Durkee Darryl L Tongue force measuring device
US4980917A (en) * 1987-11-18 1990-12-25 Emerson & Stern Associates, Inc. Method and apparatus for determining articulatory parameters from speech data
US5212476A (en) * 1990-09-28 1993-05-18 Maloney Sean R Wireless intraoral controller disposed in oral cavity with electrodes to sense E.M.G. signals produced by contraction of the tongue
DE4339237C2 (de) * 1993-11-12 1996-09-19 Winfried Dr In Schimmelpfennig Vorrichtung zur Bilderkennung für Blinde und hochgradig Sehbehinderte
US5794203A (en) * 1994-03-22 1998-08-11 Kehoe; Thomas David Biofeedback system for speech disorders
EP0734704B1 (en) * 1995-03-31 2001-11-07 International Business Machines Corporation Intraoral communication system
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
US5853005A (en) * 1996-05-02 1998-12-29 The United States Of America As Represented By The Secretary Of The Army Acoustic monitoring system
US6430450B1 (en) * 1998-02-06 2002-08-06 Wisconsin Alumni Research Foundation Tongue placed tactile output device
JP3893763B2 (ja) * 1998-08-17 2007-03-14 富士ゼロックス株式会社 音声検出装置
JP4340936B2 (ja) * 1999-07-15 2009-10-07 ソニー株式会社 電気刺激装置及び電気刺激を用いた力触覚呈示装置
AU1417301A (en) 1999-11-24 2001-06-04 Center For Advanced Science And Technology Incubation, Ltd. Method and device for stimulating tactile sensation by electricity
JP3487804B2 (ja) * 2000-03-30 2004-01-19 メディアグリップ株式会社 盲人用画像認識装具
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
US6712613B2 (en) * 2000-08-31 2004-03-30 Fujitsu Siemens Computers Gmbh Display device suited for a blind person
JP2002065866A (ja) * 2000-08-31 2002-03-05 Susumu Tate 電気刺激に用いる複合電極
JP4704599B2 (ja) 2001-05-01 2011-06-15 株式会社東京大学Tlo 触覚提示方法及び触覚提示装置
US6707236B2 (en) * 2002-01-29 2004-03-16 Sri International Non-contact electroactive polymer electrodes
ATE412369T1 (de) * 2004-09-03 2008-11-15 Canadian Space Agency System und verfahren zur messung der geistigen arbeitsbelastung auf grundlage rascher augenbewegungen
JP3928053B2 (ja) * 2004-09-13 2007-06-13 国立大学法人名古屋大学 センシング装置
US7333020B2 (en) * 2005-06-24 2008-02-19 Kimberly - Clark Worldwide, Inc. Disposable absorbent article system employing sensor for detecting non-nutritive sucking events
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
US7629897B2 (en) * 2005-10-21 2009-12-08 Reino Koljonen Orally Mounted wireless transcriber device
WO2007053562A2 (en) * 2005-10-31 2007-05-10 North Carolina State University Tongue operated magnetic sensor based wireless assistive technology
US8068644B2 (en) * 2006-03-07 2011-11-29 Peter Thomas Tkacik System for seeing using auditory feedback
JP2009151684A (ja) * 2007-12-21 2009-07-09 Sony Corp 触覚シート部材、入力装置及び電子機器
US8140143B2 (en) * 2009-04-16 2012-03-20 Massachusetts Institute Of Technology Washable wearable biosensor
US9368046B2 (en) * 2010-07-14 2016-06-14 Macronix International Co., Ltd. Color tactile vision system

Also Published As

Publication number Publication date
US8920174B2 (en) 2014-12-30
EP1970877B1 (en) 2017-10-18
JP5057068B2 (ja) 2012-10-24
WO2007066717A1 (ja) 2007-06-14
US20100151426A1 (en) 2010-06-17
EP1970877A4 (en) 2014-05-21
EP1970877A1 (en) 2008-09-17

Similar Documents

Publication Publication Date Title
JP5057068B2 (ja) 電気触覚ディスプレイ
Bach-y-Rita et al. Seeing with the brain
Kajimoto et al. Forehead electro-tactile display for vision substitution
Chen et al. Simulating prosthetic vision: I. Visual models of phosphenes
US9199081B2 (en) Blind sight
Meers et al. A vision system for providing 3D perception of the environment via transcutaneous electro-neural stimulation
Li Wearable computer vision systems for a cortical visual prosthesis
US9368046B2 (en) Color tactile vision system
Weiland et al. Smart image processing system for retinal prosthesis
US11684517B2 (en) Medical device for improving environmental perception for blind or visually-impaired users
US11654055B2 (en) Sensory substitution system using asynchronous tactile stimulation
Barnes An overview of vision processing in implantable prosthetic vision
CN113081718B (zh) 基于生物机制刺激配合的综合视觉训练系统
Fale et al. Brainport vision technology
US20160030764A1 (en) Non-tactile sensory substitution device
Bach-y-Rita et al. A tongue-based tactile display for portrayal of environmental characteristics
Boyle et al. Challenges in digital imaging for artificial human vision
Gandhi et al. Sensory Vision Substitution using Tactile Stimulation
JP6804078B2 (ja) 眼内閃光発生装置
Tatur Scene representation for mobility of the visually impaired
Moraru et al. About visual sensory substitution
Kajimoto et al. SmartTouch: A new skin layer to touch the non-touchable
EP4368238A1 (en) A computer-implemented method of mapping electrodes of a brain prosthesis
US20230158300A1 (en) Precision phosphene control through cutaneous facial electrical stimulation
US11928981B2 (en) Tactile vision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120717

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5057068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees