JP5188621B2 - ビデオ画像及びテキストデータを表示するための視覚補綴システム - Google Patents

ビデオ画像及びテキストデータを表示するための視覚補綴システム Download PDF

Info

Publication number
JP5188621B2
JP5188621B2 JP2011500046A JP2011500046A JP5188621B2 JP 5188621 B2 JP5188621 B2 JP 5188621B2 JP 2011500046 A JP2011500046 A JP 2011500046A JP 2011500046 A JP2011500046 A JP 2011500046A JP 5188621 B2 JP5188621 B2 JP 5188621B2
Authority
JP
Japan
Prior art keywords
character
data
visual prosthesis
patient
retinal implant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011500046A
Other languages
English (en)
Other versions
JP2011515130A (ja
Inventor
ダッペル マルクス
マルティン コプカ クリスティアン
Original Assignee
アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト filed Critical アイエムアイ インテリジェント メディカル インプランツ アクチエンゲゼルシャフト
Publication of JP2011515130A publication Critical patent/JP2011515130A/ja
Application granted granted Critical
Publication of JP5188621B2 publication Critical patent/JP5188621B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36046Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of the eye
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/025Digital circuitry features of electrotherapy devices, e.g. memory, clocks, processors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/372Arrangements in connection with the implantation of stimulators
    • A61N1/37211Means for communicating with stimulators
    • A61N1/37217Means for communicating with stimulators characterised by the communication link, e.g. acoustic or tactile

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Prostheses (AREA)

Description

本発明は、視覚補綴システム、外部信号を視覚補綴システムにて表示するための方法、および、テキストデータを視覚補綴システムにて表示するための方法に関する。
網膜の光受容細胞の変性により生じる様々な網膜疾患が存在する。変性疾患の例は、網膜色素変性、黄斑変性、又はアッシャー症候群である。これらの変性疾患の結果、人々は徐々に視力が低下し、最終的に全盲になる。網膜インプラントを備えた視覚補綴システムは、盲目のユーザ又は視覚障害を有するユーザの適度な視覚及び方向感覚を少なくとも部分的に回復するための有用な道具である。しかし、テキスト、画像及びビデオ信号を患者に快適であるように網膜インプラント上に表示することはまだ困難である。
本発明の目的は、テキスト、画像及びビデオデータの、網膜インプラント上での表示を改善することである。
本発明の目的は、患者の網膜組織の神経節と接触するように適合されたマイクロ接触部のアレイを含む、前記患者の眼の内部に少なくともその一部が配置される網膜インプラントを備えた視覚補綴システムにより達成される。前記視覚補綴システムは、さらに、外部信号源からの外部信号を受信するための追加のインタフェースを有し、前記外部信号を前記網膜インプラントのための対応する刺激データに変換するように適合されたデータ処理ユニットと、前記刺激データを前記網膜インプラントに無線伝送により伝送するように適合された無線伝送ユニットとを備える。前記網膜インプラントは、前記刺激データを受信するように、且つ前記マイクロ接触部を前記刺激データに従って刺激するように適合されている。
本発明の実施形態によれば、前記視覚補綴システムの前記データ処理ユニットは、外部信号源(例えば、テレビ受像機、DVDプレーヤ、又はラップトップ)から入力信号を直接受信するように適合されている。前記外部信号は、前記網膜インプラントのための対応する刺激データに変換される。前記刺激データは前記網膜インプラントに伝送され、網膜組織が前記外部信号に従って刺激される。前記外部信号源を前記視覚補綴システムの前記データ処理ユニットに直接接続することにより、高品質の入力信号が、前記網膜インプラントのための刺激データを発生するための開始点として用いられる。例えば、テキスト、画像及びビデオ信号を、前記外部信号源から前記データ処理ユニットに直接提供することができ、これらの信号は、信号の品質を全く低下させずに刺激データに変換され得る。外部信号の各々のタイプに関して、前記網膜インプラントのための刺激データへの最も適切な変換が選択され得る。さらに、前記外部信号源の前記信号のそれぞれを表示するために、前記網膜インプラントにより提供される全画面表示(full display size)が用いられることができる。
好ましい実施形態によれば、前記視覚補綴システムは、さらに、前記患者の視野に対応するビデオ信号を得るように適合されたシステム内ビデオカメラを備える。前記データ処理ユニットは、前記ビデオ信号を前記システム内ビデオカメラから受信するように、且つ、前記ビデオ信号を、前記網膜インプラントのための対応する刺激データに変換するように適合されている。
本出願に関し、用語「外部信号源」は、外部信号(例えば、ビデオ信号、画像信号、テキストデータ、又は任意の他の種類の信号など)を前記データ処理ユニットに提供することができる任意のネットワーク又は装置を含むものとする。前記視覚補綴システムの前記システム内ビデオカメラは、前記用語「外部信号源」に含まれない。
好ましい実施形態によれば、前記視覚補綴システムは、前記システム内ビデオカメラの前記ビデオ信号又は前記外部信号源の前記外部信号のいずれかを、前記網膜インプラント上で前記患者に表示されるように選択するための入力手段を含む。前記患者は、前記システム内ビデオカメラにより得られた前記ビデオ信号、又は、前記外部信号源により提供された外部信号のいずれかを見ることが可能である。詳細には、前記患者は、前記ビデオ信号と前記外部信号とを切り替え得る。
例えば、前記外部信号源は、テレビ受像機、ビデオ装置、パーソナルコンピュータ、ラップトップ、衛星放送受信機、DVB受信機、DVDプレーヤのうちの1つであり得る。
好ましい実施形態によれば、前記外部信号は、ビデオ信号、画像信号及びテキストデータのうちの1つである。例えば、前記患者は、前記外部信号源により供給されるTV、映画、ビデオクリップ、写真を見ることが可能である。さらに、前記患者は、インターネットのページにアクセスし、テキスト処理システムにより提供されるテキスト文書を読み、また、電子メールを読むなどすることが可能である。
本発明の実施形態によれば、視覚補綴システムが、患者の眼の内部に少なくともその一部が配置される網膜インプラントを含み、前記網膜インプラントは、前記患者の網膜組織の神経節に接触するように適合されたマイクロ接触部のアレイを含む。前記視覚補綴システムは、さらに、ビデオ信号を得るように適合されたシステム内ビデオカメラと、前記システム内ビデオカメラからの前記ビデオ信号を受信するように、且つ、前記ビデオ信号を、前記網膜インプラントのための対応する刺激データに変換するように適合されたデータ処理ユニットと、前記刺激データを前記網膜インプラントに無線伝送により伝送するように適合された無線伝送ユニットとを含む。前記網膜インプラントは、前記刺激データを受信するように、且つ、前記マイクロ接触部を前記刺激データに従って刺激するように適合されている。前記データ処理ユニットは、受信された信号がテキストを含むかどうかを決定するように、且つ、前記テキストを、前記網膜インプラントのための対応する刺激データに、専用のテキスト表示モードに従って変換するように適合されており、前記刺激データは、前記患者によるテキストの最適な読み易さをもたらすように適合される。
盲目者又は視覚障害者にとって、読むことができることは非常に重要な事柄である。専用のテキスト表示モードを提供することにより、患者は、本、新聞、電子メール、インターネットのページなどを読むことが可能である。さらに、専用のテキスト表示モードは、患者がコンピュータ作業をすることを可能にし得る。
特定の文書を読むために、前記視覚補綴システムのシステム内ビデオカメラが前記文書のビデオ画像を得ることが可能であり、このビデオ画像は前記網膜インプラント上に表示される。しかし、表示されるテキストはあまりに小さくなり、前記患者がテキストを読めない可能性がある。従って、専用のテキスト表示モードを提供することが提案される。このテキスト表示モードにおいて、受信されたどのような種類のテキストも拡大されて表示され、それにより読み易さが向上する。例えば、前記網膜インプラントにより提供される解像度に適合するフォントが、前記テキストを前記網膜インプラント上に表示するために用いられ得る。さらに、実質的には、前記網膜インプラントにより提供される全画面表示領域(full display area)が、例えば前記テキストの文字を表示するために用いられ得る。また、好ましくは、前記テキストの文字は、例えば、前記網膜インプラントのディスプレイ領域を横切るようにスクロールされ得る。
好ましい実施形態によれば、前記データ処理ユニットは、外部信号を受信するための追加のインタフェースを含み、前記データ処理ユニットは、前記外部信号がテキストを含むかどうかを決定するように、且つ、前記テキストを、前記網膜インプラントのための対応する刺激データに、前記専用のテキスト表示モードに従って変換するように適合されている。従って、前記専用のテキスト表示モードは、前記データ処理ユニットの追加のインタフェースを介して受信される外部信号にも適用され得る。
さらなる好ましい実施形態において、前記テキストは、前記追加のインタフェースを介して、文字コードのシーケンスを含むテキストデータとして受信される。例えば、テキストデータは、パーソナルコンピュータ又はラップトップから、詳細には、テキスト処理プログラムから、インターネットブラウザから、又は電子メールリーダから受信され得る。外部ソース(信号源)から受信されたテキストデータを専用のテキスト表示モードで表示することが、前記患者が自分のパーソナルコンピュータと交信することを可能にし得る。
さらなる好ましい実施形態によれば、前記データ処理ユニットは文字認識ユニットを含み、前記文字認識ユニットは、前記ビットマップ画像中の文字を認識するように、且つ前記ビットマップ画像をテキストデータに変換するように適合されている。前記ビットマップ画像は、前記システム内ビデオカメラ又は外部信号源のいずれかにより提供され得る。例えば、前記ビットマップ画像はハンドスキャナにより生成され得る。前記文字認識ユニットは、前記ビットマップデータに含まれている前記文字を決定するためにパターン認識を実行する。次いで、前記文字認識ユニットにより決定された前記テキストデータが、前記専用のテキスト表示モードに従って患者に表示され得る。
本発明のさらなる理解のために、また、本発明がどのように実行されるかを示すために、ここで、添付図面を例として参照する。
視覚補綴システムの概略図である。 網膜インプラントを含む眼球の断面図である。 視覚補綴システムに接続され得る様々な外部信号源を示す。 専用のテキスト表示モードで表示された文字を示す。 テキストがどのようにディスプレイ領域を横切ってスクロールされ得るかを示す。 網膜インプラントのディスプレイ領域が異なる部分にどのように分割され得るかを示す。 ビットマップファイルにおける文字がディスプレイ領域の行及び列とどのように位置合わせされ得るかを示す。 ビットマップファイルにおける文字がディスプレイ領域の行及び列とどのように位置合わせされ得るかを示す。 本発明のシステムのシステム内ビデオカメラにより得られたビットマップ画像に文字認識がどのように適用され得るかを示す。 本発明システムのシステム内ビデオカメラにより得られたビットマップ画像に文字認識がどのように適用され得るかを示す。
図1は、盲目の及び視覚障害を有するユーザの適度な視覚及び方向感覚を少なくとも部分的に回復するための視覚補綴システムを示す。網膜の光受容細胞の変性により生じる様々な異なる網膜疾患が存在する。変性疾患の例は、網膜色素変性、黄斑変性、又はアッシャー症候群である。これらの再生疾患(regenerative disease)の結果、人々は徐々に視力が低下し、最終的に全盲になる。
図1に示されている視覚補綴システムは網膜インプラント1を備え、網膜インプラント1は、例えば、眼球2の内部に配置された眼球内部分と、眼球2の外面に配置された眼球外部分とを含み得る。網膜インプラント1の眼球内部分は、患者の網膜と直接接触するマイクロ接触部のアレイ3を含み、マイクロ接触部は網膜組織と電気的に接触するように適合されている。
視覚補綴システムは、さらに、視覚インタフェース4(例えば眼鏡フレームとして実現され得る)を備える。視覚インタフェース4はビデオカメラ5を含み、ビデオカメラ5は眼鏡フレームのテンプル(つる)6の一方に一体化され得る。視覚補綴システムは、さらに、視覚インタフェース4に有線又は無線の接続部8を介して接続されたポケットコンピュータ7を備える。ビデオカメラ5により得られたビデオ信号がポケットコンピュータ7に送信される。ビデオ信号は、ポケットコンピュータ7にて、マイクロ接触部のアレイ3のための対応する刺激データに変換される。ポケットコンピュータ7により決定された刺激データは接続部8を介して視覚インタフェース4に提供される。刺激データは、視覚インタフェース4にて、網膜インプラント1に無線伝送により伝送される。例えば、刺激データを伝送する変調RF(無線周波)信号が、伝送コイル9から、網膜インプラント1の対応するレシーバコイルに伝送され得る。伝送コイル9は、例えば、眼鏡フレームのテンプル6の一方に一体化され得る。或いは、変調光のビーム、好ましくは、刺激データを伝送する変調赤外光が、視覚インタフェース4から網膜インプラント1に伝送され得る。
網膜インプラント1にて、変調IR(赤外線)信号又は変調RF(無線周波)信号が受信され、デコードされる。刺激データに従って、刺激パルスがアレイ3のマイクロ接触部に与えられる。網膜インプラントの動作のために必要な電力は、RFエネルギーをトランスミッタコイル9からインプラントのレシーバコイルに伝送することにより供給され得る。網膜組織の刺激が視覚的印象(visual impression)を生じさせる。
図2は、網膜インプラントを含む患者の眼の断面図である。外光が角膜10及び水晶体11を通って網膜12に到達している。網膜12は眼球の内部の大部分を覆っている。眼球の外面は強膜13により形成されている。網膜12と強膜13との間に脈絡膜14が位置する。虹彩15が、眼の内部に入り得る光の量を決定する。水晶体11は毛様体筋16により固定されている。
網膜インプラントは、眼球内部分17及び眼球外部分18を含む。眼球内部分17は眼の内部に配置され、一方、眼球外部分18は強膜13の外面に固定される。眼球内部分17と眼球外部分18とは、毛様体筋16のすぐ後ろの位置にて強膜13を通過するワイヤ接続部19により電気的に接続されている。
患者は、眼鏡21を有する眼鏡フレーム20を着用し、眼鏡フレーム20に小型ビデオカメラ22が一体化されている。ビデオカメラ22により得られたビデオ信号が、図1に示されているポケットコンピュータ7に送信される。ポケットコンピュータ7にて、ビデオ信号は、網膜12上に直接配置されたマイクロ接触部のアレイ23のための対応する刺激データに変換される。
図2に示されている実施形態において、刺激データを網膜インプラントに伝送するために変調赤外線ビーム24が用いられる。赤外線ビーム24は、例えば、眼鏡21近傍に位置する赤外線トランスミッタLEDにより生成され得る。変調赤外線ビーム24は水晶体11を通過して、網膜インプラントの眼球内部分17上に配置された受光素子25(例えばフォトダイオード)に到達する。受光素子25により受信された刺激データは、ワイヤ接続部19を介して、網膜インプラントの眼球外部分18に配置された網膜刺激チップ26に送信される。好ましくは、網膜刺激チップ26はデジタル信号処理チップとして実現される。網膜刺激チップ26は、刺激データを、マイクロ接触部のアレイ23のための対応する刺激パルスに変換するように動作する。刺激パルスはマイクロ接触部のアレイ23に、ワイヤ接続部19を介して供給される。マイクロ接触部は、網膜12の神経節を刺激するように適合されている。
網膜インプラントの眼球外部分18は、高周波トランスミッタコイル28に誘導結合された高周波レシーバコイル27を含む。こうして、網膜インプラントの動作のために必要な電力が、RFトランスミッタコイル28(例えば、眼鏡フレームテンプルの一方に一体化され得る)により提供されることができる。
患者がテレビを、視覚インタフェースに一体化されたビデオカメラを介して観ようとする場合に、ビデオカメラの画像捕捉速度がテレビ受像機のリフレッシュ速度と一致しないことがある。この不一致の結果、テレビ画像のちらつきが生じ、それにより、患者がテレビを観ることが困難になるであろう。
本発明の実施形態によれば、テレビ信号又は任意の他の外部信号源の信号を、ポケットコンピュータに直接供給することが提示される。ポケットコンピュータは、それぞれの外部信号源の信号を、患者の網膜インプラントのための対応する刺激データに変換する機能を果たす。
図3は本発明の一実施形態を示す。視覚インタフェース29が、有線又は無線の接続部30を介してポケットコンピュータ31に接続されている。ポケットコンピュータ31は、1以上の異なる外部信号源に接続され得る。例えば、ポケットコンピュータ31は、有線又は無線の接続部33を介してテレビ受像機32に接続され得る。さらに、又は、或いは、ポケットコンピュータ31は、有線又は無線の接続部35を介してビデオ装置34に接続され得る。ビデオ装置34は、例えば、衛星放送受信機、DVB−T(Digital Video Broadcasting Terrestrial)(地上デジタルテレビジョン放送規格)レシーバ、又は、DVDプレーヤであり得る。接続部33,35のうちの少なくとも一方が、例えばケーブル接続として(詳細には、SCARTケーブル、HDMI(High Definition Multimedia Interface)(ハイ・デフィニション・マルチメディア・インタフェース)ケーブル、VGA(Video Graphics Array)(ビデオ・グラフィック・アレイ)ケーブル、USB(Universal Serial Bus)(ユニバーサル・シリアル・バス)ケーブル、同軸ケーブル、2線ケーブル、ツイストペア接続部、ガラスファイバなどのうちの1つとして)実現され得る。接続部33,35の少なくとも一方が、例えば、ワイヤレス接続として(詳細には、WLAN(Wireless Local Area Network)(ワイヤレス・ローカル・エリア・ネットワーク)接続、ブルートゥース(Blue tooth)接続、UMTS(Universal Mobile Telecommunications System)(ユニバーサル・モバイル・テレコミュニケーションズ・システム)接続、又は任意の他の種類の無線接続若しくは光無線接続のうちの1つとして)実現され得る。
ポケットコンピュータ31にて、テレビ受像機32又はビデオ装置34により供給されたビデオ信号が、患者の網膜インプラントのための対応する刺激データに変換される。刺激データは、接続部30を介して視覚インタフェース29に送られ、そして、刺激データは視覚インタフェース29から網膜インプラントに伝送される。刺激データは、それぞれのビデオ信号に対応する視覚的印象を生じさせる。
或いは、又は、さらに、パーソナルコンピュータ36又はラップトップが、有線又は無線の接続部37を介してポケットコンピュータ31に接続され得る。パーソナルコンピュータ36は、ビデオデータストリームを患者のポケットコンピュータ31に提供するように動作し得る。好ましくは、ビデオの標準規格、例えばMPEG(Moving Picture Expert Group)(動画圧縮規格)又はAVI(Audio Video Interleaved)(ウィンドウズ用動画ファイル形式)などが用いられ得る。ビデオデータストリームは、非圧縮データストリーム又は圧縮データストリームのいずれとしても伝送され得る。ポケットコンピュータ31にて、ビデオデータストリームは、視覚インタフェース29のための対応する刺激データに変換される。刺激データは視覚インタフェース29に伝送され、そして網膜インプラントに伝送される。
パーソナルコンピュータ36は、画像、テキストファイル及びインターネットサイトを患者に表示するためにも用いられ得る。それぞれのデータがポケットコンピュータ31に供給され、ポケットコンピュータ31は、データを網膜インプラントのための対応する刺激データに変換するように適合されている。テキストファイル(例えば、電子メール、インターネットサイト、又は、ワープロ文書など)の表示は患者にとって重要な問題である。
しかし、現在用いられている網膜インプラントは7×7マイクロ接触部のアレイを含む。網膜インプラントにより提供される解像度が時が経つにつれて向上していくことが期待されても、テキストを読み取り可能であるように表示することは今後も課題となるであろう。
本発明の態様によれば、網膜インプラント上にテキストを、患者が前記表示されたテキストを容易に読み得るように表示するための専用のテキスト表示モードを提供することが提示される。
テキストがテキストファイルとして、例えば、コード(ASCII(アスキー)コードなど)のシーケンスとして、又は類似の表記などで示される場合、文字コードにより識別される文字が連続的に患者に表示され得る。文字の表示に関し、マイクロ接触部のアレイにより提供される解像度は、マイクロ接触部のアレイの解像度に適合する文字フォントを決定することにより考慮され得る。例えば、図4に、テキストファイルの文字38が網膜インプラント上にてどのように患者に表示されるかが示されている。文字の各々が、最適な読み易さ(legibility)が達成されるように表示される。網膜インプラントのマイクロ接触部が特定の文字フォントに従って刺激され、それにより、最適な読み易さが達成される。好ましくは、フォントは、M行及びN列から成るマイクロ接触部のアレイ全体が文字表示のために利用されるように選択される。
好ましい実施形態によれば、その後、異なるテキスト文字が表示され、それにより、文字の各々が所定の時間表示され、次いで、テキストファイルの次の文字が示される。本発明の補綴システムは、例えば、表示の速度を選択するための入力手段を含み得る。また、患者は、複数の異なるフォントの中から最も適切なフォントを選択し得る。
さらに好ましくは、テキスト表示モードは、表示された文字のフォントサイズを変更するためのズーム機能を含み得る。
テキストデータの表示のためにさらに可能なことは、文字を網膜インプラントのディスプレイ領域を横切るようにスクロールすることである。この実施形態が図5に示されている。ディスプレイ領域の右側40に入ってきた文字39が、ディスプレイ領域の右側から左側に横切るようにスクロールされて、ディスプレイ領域の左側41にて消える。こうしてこのテキストは、ユーザにティッカーとして表示される。本発明の補綴システムは、ディスプレイを横切ってスクロールされるテキストの進行速度を制御するための入力手段を含み得る。患者は表示速度を自分の読出しの好みに合わせることが可能である。詳細には、患者は、テキスト表示の速度を速め、又は遅くし得る。テキストの特定の一節を繰り返し読むために幾つかの文字数だけ前に戻すことも可能である。好ましい実施形態において、表示速度を調節するためにリモコンが用いられる。
図6は、テキストデータを網膜インプラント上に表示するための別の好ましい表示モードを示す。ディスプレイ領域42は上部43と下部44とに分割されている。下部44において、文字45は、右側から左側にディスプレイを横切ってスクロールされる。上部43に画像又はビデオストリームが表示され得る。好ましくは、上部43に、患者により現在読まれている文書の全体図が示され得る。或いは、上部43に、視覚インタフェースに一体化されたビデオカメラにより得られたビデオストリームが表示され得る。
ここまで、テキストファイルの文字を専用のテキスト表示モードで表示するための技術を説明してきた。これらの技術は、ASCIIコード又は類似の表記を含むテキストデータを表示しようとする場合にはいつでも用いられ得る。しかし、テキストは、ビットマップデータにおいても、例えば画像ファイルはビデオストリームにおいても存在し得る。
盲目者又は視覚障害者が紙文書を読むことを可能にするために、視覚補綴システムに接続されたハンドスキャナが、紙文書を読むための有用な道具であり得る。図3にハンドスキャナ46が示されている。ハンドスキャナ46は、有線又は無線の接続部47を介してポケットコンピュータ31に接続され得る。ハンドスキャナ46、又は、パーソナルコンピュータ36に取り付けられる任意のスキャナは、紙文書のビットマップ画像を生成するように適合されている。スキャナにより生成されたビットマップ画像は患者の網膜インプラントに直接表示され得る。或いは、スキャナにより提供されたビットマップデータを、ASCIIコードのシーケンス又は類似の表記を含む対応するテキストファイルに変換するために文字認識技術が用いられ得る。
図7A及び図7B図に、テキストを含むビットマップデータの表示をどのように改善することができるかが示されている。図7Aにて、文字48のビットマップが網膜インプラントのディスプレイ領域49に示されている。文字48はマイクロ接触部のアレイの列及び行に位置合わせされておらず、従って文字48は読み難い。図7Bに示されているように、文字50をインプラントのディスプレイ領域51の列及び行に位置合わせすることにより改善を達成することができる。
或いは、文字認識技術は、外部の信号源(例えばスキャナなど)により提供されたビットマップデータを、ASCIIコードのシーケンス又は類似の表記を含む対応するテキストファイルに変換するために用いられ得る。例えば、図3に示されているポケットコンピュータ31は、ビットマップデータをテキストファイルに変換するように適合された文字認識ユニット52を含み得る。例えば、患者は、紙文書を走査するためにハンドスキャナ46を用いることができ、文字認識ユニット52は、走査されたビットマップデータをテキストに変換する機能を果たす。次いで、テキストは、網膜インプラント上に、先に記載したような専用のテキスト表示モードを用いて表示され得る。例えば、図4に示されているように、インプラントの解像度に適合した文字フォントが用いられ得る。また、図5及び図6に示されているように、テキストは、ディスプレイを右側から左側に横切るようにスクロールされ得る。
図3に示されている視覚インタフェース29は、眼鏡フレームに一体化されたシステム内ビデオカメラ53を含み得る。ビデオカメラ53は、患者の推測可能な視野(presumable field of view)に対応するビデオデータを得る。得られたビデオデータはポケットコンピュータ31に送られる。システム内ビデオカメラ53に加えて、以下の外部信号源(すなわち、テレビ受像機32、ビデオ装置34、パーソナルコンピュータ36、若しくはハンドスキャナ46、又は他の任意の外部信号源54)の1以上がポケットコンピュータ31に接続され得る。
外部信号源がポケットコンピュータ31に接続されている場合、ポケットコンピュータ31は、システム内ビデオカメラ53により提供されたビデオ画像、又は、それぞれの外部信号源により提供された外部信号のいずかを、網膜インプラントのための対応する刺激データに変換し得る。従って、視覚インタフェース29がビデオカメラ53を含む場合、患者は、ビデオカメラにより提供される画像、或いは、各外部信号により提供される画像のいずれかを選択することが可能である。
或いは、テレビを観る、テキストファイルを読む、又はインターネットサーフィンをするためだけには、これらの、一体化されたビデオカメラを全く含まない用途専用の視覚インタフェース29が用いられ得る。それゆえ、図3にてシステム内カメラ53は点線で示されている。
本出願に関して、用語「外部信号源」は、外部信号(例えば、ビデオデータ、画像データ又はテキストデータなど)をポケットコンピュータ31に提供することができる任意のネットワーク又は装置を含むものとする。用語「外部信号源」はシステム内ビデオカメラ53を含まない。システム内ビデオカメラ53は、視覚補綴システムのシステム内カメラとみなされるものとする。
図8A及び図8Bに、本発明の別の実施形態が示されている。図8に示されている視覚補綴システムは、システム内ビデオカメラ56を有する視覚インタフェース55、及び、有線又は無線の接続部58を介して視覚インタフェース55に接続されたポケットコンピュータ57を備えている。ポケットコンピュータ57は、システム内ビデオカメラ56により得られたビットマップ画像を対応するテキストファイルに変換することができる文字認識ユニット59を含む。そしてテキストファイルは網膜インプラント上に表示されることができ、それにより、先に記載した専用のテキスト表示モードが利用され得る。
例えば、カメラ56は、5つのテキスト領域61A〜61Eを含む紙文書60のスナップショットを得ることが可能である。得られた文書60の画像は網膜インプラント上に表示され、患者はテキスト領域61A〜61Eのうちの1つを選択し得る。このために、補綴システムは、テキスト領域の1つを選択するための適切な入力手段を含み得る。選択が行われたならば、ビットマップ画像の、前記選択された領域に対応する部分が文字認識ユニット59により分析され、ビットマップデータは文字コードストリームに変換される。次いで、文字のシーケンスが、専用のテキスト表示モードを用いて患者に表示され得る。好ましくは、テキストは、図4〜図6に示された方法の1つに従って表示される。
さらなる実施形態によれば、患者は、患者の周囲の環境を示す標準的な表示と専用のテキスト表示モードとを切り替え得る。患者がテキスト表示モードに切り替える場合、患者の視界の中央に位置するテキスト領域が、文字認識ユニット59によりテキストファイルに自動的に変換されることができ、得られたテキストファイルは専用のテキスト表示モードを用いて表示され得る。

Claims (18)

  1. 患者の網膜組織の神経節と接触するように適合されたマイクロ接触部のアレイ(3,23)を備え、前記患者の眼の内部に少なくともその一部が配置される網膜インプラント(1)と、
    外部信号源(32,34,36,46,54)からの外部信号を受信するための追加のインタフェースを有し、且つ、前記外部信号を網膜インプラント(1)のための対応する刺激データに変換するように適合されているデータ処理ユニット(7,31)と、
    前記刺激データを網膜インプラント(1)に無線伝送により伝送するように適合されている無線伝送ユニットとを含み、
    前記網膜インプラント(1)が、前記刺激データを受信するように、且つ前記マイクロ接触部を前記刺激データに従って刺激するように適合されている視覚補綴システムであって、
    前記データ処理ユニットが文字認識ユニットを含み、前記文字認識ユニットが、前記外部信号源により提供されたビットマップ画像中の文字画像部分を認識し、認識された文字画像部分を文字情報の形式に変換するように適合されている視覚補綴システム
  2. 前記患者の視野に対応するビデオ信号を得るように適合されたシステム内ビデオカメラを含み、前記データ処理ユニットが、前記システム内ビデオカメラからの前記ビデオ信号を受信するように、且つ、前記ビデオ信号を前記網膜インプラントのための対応する刺激データに変換するように更に適合されている請求項1に記載の視覚補綴システム。
  3. 前記システム内ビデオカメラの前記ビデオ信号又は前記外部信号源の前記外部信号のいずれかから抽出されたイメージ情報を、前記網膜インプラント上で前記患者に提供するように選択するための入力手段を更に含む請求項2に記載の視覚補綴システム。
  4. 前記外部信号源が、テレビ受像機、ビデオ装置、パーソナルコンピュータ、ラップトップ、衛生放送受信機、DVB受信機、DVDプレーヤのうちの1つである請求項1から3のいずれか一項に記載の視覚補綴システム。
  5. 前記データ処理ユニットと前記外部信号源との接続がケーブル接続であり、詳細には、SCARTケーブル、ハイ・デフィニション・マルチメディア・インタフェースケーブル、ビデオ・グラフィック・アレイケーブル、ユニバーサル・シリアル・バスケーブル、同軸ケーブル、2線ケーブル、ツイストペア接続部、ガラスファイバなどのうちの1つである請求項1から4のいずれか一項に記載の視覚補綴システム。
  6. 前記データ処理ユニットと前記外部信号源との接続がワイヤレス接続であり、詳細には、ワイヤレス・ローカル・エリア・ネットワーク接続、ブルートゥース接続、ユニバーサル・モバイル・テレコミュニケーションズ・システム接続、無線接続、光無線接続のうちの1つである請求項1からのいずれか一項に記載の視覚補綴システム。
  7. 前記外部信号が、ビデオ信号、画像信号及びテキストデータのうちの1つである請求項1から6のいずれか一項に記載の視覚補綴システム。
  8. 前記外部信号源が、ビットマップ画像をデータ処理ユニットに提供するように適合されたハンドスキャナである請求項1から7のいずれか一項に記載の視覚補綴システム。
  9. 前記データ処理ユニットが、前記テキストデータを前記網膜インプラントのための対応する刺激データに変換するように適合されている請求項1から8のいずれか一項に記載の視覚補綴システム。
  10. 患者の網膜組織の神経節と接触するように適合されたマイクロ接触部のアレイ(3,23)を備え、前記患者の眼の内部に少なくともその一部が配置される網膜インプラント(1)と、
    ビデオ信号を得るように適合されたシステム内ビデオカメラ(53,56)と、
    前記システム内ビデオカメラ(53,56)からの前記ビデオ信号を受信するように、且つ、前記ビデオ信号を、前記網膜インプラント(1)のための対応する刺激データに変換するように適合されたデータ処理ユニット(7,31,57)と、
    前記刺激データを前記網膜インプラント(1)に無線伝送により伝送するように適合されている無線伝送ユニットとを含み、
    前記網膜インプラント(1)が、前記刺激データを受信するように、且つ前記マイクロ接触部を前記刺激データに従って刺激するように適合されており、
    前記データ処理ユニット(7,31,57)が、受信された映像信号が文字を含むかどうかを決定するように、且つ、前記文字を、前記網膜インプラント(1)のための対応する刺激データに、文字認識処理を経て変換するように適合されており、前記刺激データが、前記患者が前記文字を読み取ることが可能となるように適合される視覚補綴システムであって、
    前記データ処理ユニットが文字認識ユニットを含み、前記文字認識ユニットが、ビットマップ画像中の文字画像部分を認識し、認識された文字画像部分を文字情報の形式に変換するように適合されている視覚補綴システム
  11. 前記データ処理ユニットが、外部信号を受信するための追加のインタフェースを含み、前記データ処理ユニットが、受信された映像信号文字を含むかどうかを決定するように、且つ、前記文字を、前記網膜インプラントのための対応する刺激データに、文字認識処理を経て変換するように適合されている請求項10に記載の視覚補綴システム。
  12. 前記ビットマップ画像が前記システム内ビデオカメラにより得られる請求項10または11に記載の視覚補綴システム。
  13. 前記ビットマップ画像が、追加のインタフェースを介して外部信号源から受信される請求項10または11に記載の視覚補綴システム。
  14. さらに、前記ビットマップ画像の、文字認識されるべき文字部分を選択するための入力手段を含む請求項10から13のいずれか一項に記載の視覚補綴システム。
  15. 以下の特徴のうちの少なくとも1つを更に含む請求項10から14のいずれか一項に記載の視覚補綴システム。
    前記データ処理ユニットが、前記文字を前記網膜インプラント上に、前記網膜インプラントにより提供される解像度に適合するフォントで表示するように適合されていること、
    前記視覚補綴システムが、前記患者が読み取ることが可能な前記文字のフォントを複数の異なるフォントから選択するための入力手段を備えること、
    前記網膜インプラントのディスプレイ領域の実質的に全画面が、前記文字を前記患者に対して表示するために用いられること、
    前記視覚補綴システムが、前記文字の前記フォントサイズを変えるための入力手段を備えること、
    前記データ処理ユニットが、前記文字を前記網膜インプラントのディスプレイ領域を横切るようにスクロールするように適合されていること、
    前記データ処理ユニットが、前記文字をティッカーとして表示するように適合されていること、
    前記データ処理ユニットが、前記網膜インプラントの前記ディスプレイ領域を異なる部分に分割するように適合されており、少なくとも1つの部分が前記文字をティッカーとして表示するために用いられること、及び、
    前記データ処理ユニットが、前記文字を次々に表示するように適合されており、各文字が、次の文字が表示される前に予め決められた時間にわたり表示されること。
  16. 外部信号を視覚補綴システムにて表示するための方法であって、前記視覚補綴システムが、患者の網膜組織の神経節と接触するように適合されたマイクロ接触部のアレイ(3,23)を含む、前記患者の眼の内部に少なくともその一部が配置される網膜インプラント(1)と、外部信号源(32,34,36,46,54)からの外部信号を受信するための追加のインタフェースを含むデータ処理ユニット(7,31)とを備え、前記方法が、
    ビットマップ画像を提供する前記外部信号を、前記追加のインタフェースを介して受信するステップと、
    前記ビットマップ画像中の文字画像部分を認識するステップと、
    認識された文字画像部分を文字情報の形式に変換するステップと、
    前記文字情報を前記網膜インプラントのための刺激データに変換するステップと、
    前記刺激データを前記網膜インプラントに無線伝送により伝送するステップと、
    前記マイクロ接触部を前記刺激データに従って刺激するステップとを含む方法。
  17. 前記患者の視野に対応するビデオ信号をシステム内ビデオカメラを用いて得るステップと、
    前記ビデオ信号を、前記網膜インプラントのための対応する刺激データに変換するステップとをさらに含む請求項16に記載の方法。
  18. 前記システム内ビデオカメラの前記ビデオ信号又は前記外部信号源の外部信号のいずれかから抽出されたイメージ情報を、前記網膜インプラント上にて前記患者に提供するように選択するステップをさらに含む請求項17に記載の方法。
JP2011500046A 2008-03-18 2008-03-18 ビデオ画像及びテキストデータを表示するための視覚補綴システム Expired - Fee Related JP5188621B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/002161 WO2009115097A1 (en) 2008-03-18 2008-03-18 Visual prosthesis system for displaying video image and text data

Publications (2)

Publication Number Publication Date
JP2011515130A JP2011515130A (ja) 2011-05-19
JP5188621B2 true JP5188621B2 (ja) 2013-04-24

Family

ID=39855216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011500046A Expired - Fee Related JP5188621B2 (ja) 2008-03-18 2008-03-18 ビデオ画像及びテキストデータを表示するための視覚補綴システム

Country Status (7)

Country Link
US (1) US8437858B2 (ja)
EP (1) EP2252366B1 (ja)
JP (1) JP5188621B2 (ja)
AU (1) AU2008353074B2 (ja)
CA (1) CA2715602C (ja)
ES (1) ES2424159T3 (ja)
WO (1) WO2009115097A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8945197B1 (en) * 2005-10-24 2015-02-03 Lockheed Martin Corporation Sight-restoring visual prosthetic and method using infrared nerve-stimulation light
US8956396B1 (en) * 2005-10-24 2015-02-17 Lockheed Martin Corporation Eye-tracking visual prosthetic and method
CN101887172B (zh) * 2010-06-01 2012-12-19 广东东邦科技有限公司 一种辅助阅读电子书的装置
US20120117198A1 (en) * 2010-11-08 2012-05-10 Delphi Technologies, Inc. System and method to recast information communicated between a host system and a remote interface
CN104270588A (zh) * 2014-09-18 2015-01-07 华东师范大学 一种色盲色觉辅助装置
US10265218B2 (en) 2016-08-08 2019-04-23 The Johns Hopkins University Object recognition and presentation for the visually impaired
US10843299B2 (en) 2016-08-08 2020-11-24 The Johns Hopkins University Object recognition and presentation for the visually impaired
WO2018102988A1 (zh) * 2016-12-06 2018-06-14 深圳先进技术研究院 基于人造视网膜的图像识别方法及装置
DE102019202666B4 (de) * 2019-02-27 2021-04-29 CereGate GmbH Neuronales Kommunikationssystem
DE102019214752B4 (de) 2019-09-26 2022-12-15 CereGate GmbH Neuronales signalsystem, verfahren und computerprogramm zumsignalisieren eines gerätezustands
DE102019209096B4 (de) 2019-06-24 2022-12-15 CereGate GmbH Neuronales signalsystem zur verhaltensmodifikation
KR102387763B1 (ko) * 2020-02-18 2022-04-18 서울대학교산학협력단 완전 이식형 시각 보철 시스템 및 그 동작 방법
US20230269013A1 (en) * 2020-08-18 2023-08-24 Cochlear Limited Broadcast selection
DE102020210676A1 (de) 2020-08-21 2022-02-24 CereGate GmbH Closed-loop computer-gehirn-schnittstellenvorrichtung

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19707046A1 (de) 1997-02-21 1998-08-27 Rolf Prof Dr Ing Eckmiller Lernfähiger "Active Vision" Implant Encoder
US20020050518A1 (en) 1997-12-08 2002-05-02 Roustaei Alexander R. Sensor array
US6920358B2 (en) 2000-05-26 2005-07-19 Second Sight Medical Products, Inc. Video processing methods for improving visual acuity and/or perceived image resolution
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US7003355B1 (en) * 2001-11-20 2006-02-21 Suaning Gregg J Vision prosthesis for the blind and method for implementing same
DE10228103A1 (de) 2002-06-24 2004-01-15 Bayer Cropscience Ag Fungizide Wirkstoffkombinationen
US7001427B2 (en) 2002-12-17 2006-02-21 Visioncare Ophthalmic Technologies, Inc. Intraocular implants
US7574263B2 (en) * 2003-01-31 2009-08-11 Second Sight Medical Products, Inc. Pixel re-mapping for visual prosthesis
US20060081714A1 (en) * 2004-08-23 2006-04-20 King Martin T Portable scanning device
NZ563639A (en) 2005-06-29 2009-12-24 Compumedics Ltd Sensor assembly with conductive bridge
DE102005032989A1 (de) 2005-07-14 2007-01-25 Imi Intelligent Medical Implants Ag Extraokulares Epiretinal-Implantat
DE102005056771A1 (de) 2005-11-28 2007-08-02 Gerding, Heinrich, Prof. Dr. Retina Implantat zur elektrischen Stimulation der Netzhaut
JP2007190064A (ja) 2006-01-17 2007-08-02 Matsushita Electric Ind Co Ltd 人工視覚装置
TW200801513A (en) 2006-06-29 2008-01-01 Fermiscan Australia Pty Ltd Improved process
DE102006060045A1 (de) 2006-12-19 2008-06-26 Imi Intelligent Medical Implants Ag Sehhilfe mit dreidimensionaler Bilderfassung

Also Published As

Publication number Publication date
JP2011515130A (ja) 2011-05-19
ES2424159T3 (es) 2013-09-27
US20110004271A1 (en) 2011-01-06
CA2715602C (en) 2014-04-29
EP2252366A1 (en) 2010-11-24
US8437858B2 (en) 2013-05-07
WO2009115097A1 (en) 2009-09-24
AU2008353074A1 (en) 2009-09-24
AU2008353074B2 (en) 2012-03-22
EP2252366B1 (en) 2013-05-29
CA2715602A1 (en) 2009-09-24

Similar Documents

Publication Publication Date Title
JP5188621B2 (ja) ビデオ画像及びテキストデータを表示するための視覚補綴システム
US11195315B2 (en) Language element vision augmentation methods and devices
US9213911B2 (en) Apparatus, method, and computer readable medium for recognizing text on a curved surface
CN111202663B (zh) 一种基于vr技术的视觉训练学习系统
CA2820241C (en) An apparatus and method for enhancing human visual performance in a head worn video system
JP6412110B2 (ja) 電子画像ディスプレイデバイスをカスタマイズする方法
CN105684074A (zh) 图像显示装置和图像显示方法、图像输出装置和图像输出方法与图像显示系统
CN110652431A (zh) 一种基于分视控制的弱视训练阅读器及其调设方法
CN108986770B (zh) 一种信息终端
KR101619468B1 (ko) 3d 가상현실 영상 디스플레이 장치 및 그 제어방법
KR102360557B1 (ko) 실세계 영상 왜곡 기능을 가지는 씨스루 헤드 마운트 디스플레이
WO2020157979A1 (ja) ヘッドマウントディスプレイおよび画像表示方法
JP2018202054A (ja) 人工視覚装置
JP2013192086A (ja) 通信機器、通信方法およびプログラム
JP5330217B2 (ja) 表示装置、テレビジョン受像機、表示方法、プログラム及び記録媒体
CN107665695A (zh) 用于显示装置的动态亮度控制方法
JP2007190064A (ja) 人工視覚装置
CN117636418A (zh) 一种基于Android摄像头的脸部检测配准方法及系统
JP2021060828A (ja) 画像中継装置、及び、画像投影装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees