JP6030582B2 - 視覚障害を有する個人のための光学装置 - Google Patents

Description

発明の詳細な説明

本発明は、視覚障害を補助するための装置及び方法に関し、具体的には、視覚障害を有する個人のための光学装置及び該光学装置の動作方法に関する。
英国では、全盲又は弱視者として登録されている人が約３７０，０００人おり、モビリティを妨げる或いはそうでなくても生活の質を低下させるような何らかの視覚障害又は視力障害を抱える人はさらに多い。しかしながら、視覚障害を有する個人の大半は、たとえ全盲として登録されている人であっても、少なくともいくらかの残存視機能を有する。この「残存視機能」は、単に明暗を区別する能力に限られることが多いが、異なる色をそれぞれ見分けることができることもまれにある。従って、例えば、視覚障害を有する個人の多くは、動いている手を「見る」ことはできるが、その個々の指等を数えることができない。

視覚が喪失すると、自身の周囲環境にてナビゲートし（ｎａｖｉｇａｔｅ）問題なく通行する（ｎｅｇｏｔｉａｔｅ）という個人の能力が明らかに大きな影響を受けるので、自身の視覚障害の結果としてモビリティの低下に苦しむ人も多い。英国の王立盲人擁護協会（Ｒｏｙａｌ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｂｌｉｎｄ Ｐｅｏｐｌｅ：ＲＮＩＢ）によってまとめられた統計によれば、約４８パーセントの全盲又は弱視者が「どちらかといえば」又は「完全に」社会から切り離されていると感じていることが示されている。典型的には、（盲導犬による補助もあるが）視覚障害を有する個人が利用可能な唯一のモビリティ補助具は、手動プローブ、すなわち杖（つまり白杖）、又は、（エコー検出装置と同様な）聴覚装置である。しかしながら、視覚は、それによって個人が自身の空間的な周囲環境を認識する最も自然な感覚であるがゆえに、従来から利用可能な補助具を用いたとしても、自身のすぐ近くにある障害物を安全に回避し（ｎａｖｉｇａｔｅ）うまく切り抜ける（ｎｅｇｏｔｉａｔｅ）能力をおとしめる、低下した環境認識力に悩まされている人もいるであろう。

ある程度は、先行技術によって、様々なヘッドマウント型拡張現実装置を提供することで、視覚障害を有する個人のモビリティ低下の問題に対処する試みが行われてきた。しかしながら、これらの装置の多くが採用している技術は、カメラで個人の周囲環境の画像を撮像し、その画像の明暗度及びコントラストが向上するように該画像を処理して、「画質が向上した」画像を個人に提供する技術である。さらに、境界描画及び／又は鮮明化アルゴリズムも適用され、該アルゴリズムは、個人のための画像中の境界を描画して、異なる種類の対象物を区別する能力を潜在的に高める。これらの装置によって個人の生活の質を向上させることは可能であるが、該装置が視覚障害に苦しむすべての人に対して例外なく有効であるということではない。なぜなら、その画像を見るのに十分な実際の視力がやはり必要であり、それには、個人が、表示された画像に対して実際に焦点を合わせて、該画像に含まれる情報を解読することが必然的に求められるからである。それゆえ、重度の視覚障害者に関しては、画像に焦点を合わせる能力を持ち得ないため、どれほど画質が向上したとしても、自身の周囲環境内におけるモビリティの支援にはなり得ない。

加えて、周知のヘッドマウント型装置の多くはかなり大きくかつ相当重いので、拡張現実ヘッドセットを長期にわたって使用すると、装着者の頭部や頸部に不快感を生ずるかもしれず、これは、高齢の装着者等にとってはとりわけ問題となろう。さらに、そのようなヘッドセットでは美的に満足が得られないかもしれず、ヘッドセットによって過度に注目を浴びてしまうことで、個人を自身の状況について「自意識過剰」にさせてしまうこともある。

それゆえ、本発明の目的は、自身の少なくともいくらかの残存視機能を利用して個人が自身の空間的な周囲環境の認識を得ることを可能とする、視覚障害を有する個人を補助するための装置及び方法を提供することによって、従来技術における上述の課題のうちの全てではないがいくつかに対処することである。

本発明のさらなる目的は、視覚障害を有する個人の快適性及び装着性を向上するための、比較的軽量の視覚補助具を提供することである。
本発明の第１の局面によれば、視覚障害を有する個人のための光学装置が提供され、該光学装置は、
離散光源の間隔アレイと、
該個人の少なくとも一方の目に対して近接して該アレイを保持するように配置された支持部と、
該個人の身近な周囲環境の少なくとも一部の画像を撮像するように構成された画像撮像デバイスと、を備え、
該アレイは、撮像画像の内容に基づいて該離散光源の１つ以上を選択的に点灯することによって、該個人へ情報を伝達するように構成されている。

「視覚障害を有する個人」とは、個人の視力を、平均的な視力を有する人の視力以下に低下させる、減退させる、或いは支障を生じさせるような視覚障害を自身の視覚に有する、あらゆる年齢又は性別の個人をさす。具体的には、このフレーズは、全盲又は弱視者として登録されている個人であるが、いずれにしても、明暗を、可能であれば色をも、ある程度区別することができるような少なくともいくらかの残存視機能を保持する個人を含むがそれらに限定されないことを意図している。また、視覚障害の原因に関してはなんら限定されないことが暗示されていると理解されるべきであり、ゆえに、視力は、遺伝的或いは先天的疾患、加齢、又は、負傷等によって阻害されている可能性がある。

個人の身近な周囲環境の撮像画像の内容に基づいて、離散光源の１つ以上を選択的に点灯することによって視覚障害を有する個人へ情報を伝達するために、離散光源の間隔アレイを備える光学装置を提供することは、とりわけ有利であることがわかっている。なぜなら、自身の周囲についての少なくとも空間的な認識を得るために、該個人が自身の残存視機能を利用できるからである。

このように、光源を選択的に点灯することによって、該個人の周囲環境における対象物に関する情報及び該対象物までの距離を該個人に伝達することができるので、個人は自身の周囲環境にてナビゲートし問題なく通行することが可能となる。ゆえに、個人の安全性がその結果として著しく改善されることとなるが、これはなぜなら、自身の周囲環境内における自身のモビリティを大幅に改善し事故又は怪我のリスクを低減するような、自身の周囲についてのより詳しい空間的な知識を個人が有するからである。

離散光源の間隔アレイは、互いに所定の距離で離間されている個別の光源の規則的なマトリックスの形態であることが好ましい。好適な実施形態では、間隔アレイは、発光ダイオード（ＬＥＤ）のマトリックスを備え、各ダイオードがそれぞれ個別に制御され得るように、各ダイオードは好ましくは個別に指定可能である。ＬＥＤを使用する利点は、ＬＥＤが必要とする電力は他の形態の光源よりも比較的低い電力レベルであること、また、ＬＥＤは、一般的に比較的軽量で強固な構成要素であることである。

ＬＥＤのマトリックスは、純白色のＬＥＤ、又は、代替としてマルチカラーＬＥＤで構成され得る。マルチカラーＬＥＤは、例えば、シングルダイオードとしての赤緑２色発光ＬＥＤ、或いはセパレートの赤色ＬＥＤ及び緑色ＬＥＤなどである。当然のことながら、特定の用途や個人の視覚障害に応じて、白色、有色、又はマルチカラー（単色、或いは二色／マルチカラー）ＬＥＤの任意の数又は任意の組み合わせが、本発明のアレイにおいて用いられ得ることが理解されよう。

異なる色のＬＥＤを用いる利点は、色を区別する能力をある程度有する個人に対して、追加の及び／又はより具体的な情報を伝達できることである。従って、単に明暗を区別することとは異なり、ある特定の色又は色の組み合わせに対して特定の意味を指定することが可能であり、それを用いて、異なる種類の情報又は指示を光学装置の装着者へ伝達することも可能である。

しかし、色覚が全く残っていない個人の場合について、空間的認識又は情報を失わずに、白色光を用いて必要な情報を装着者へ伝達してもよい。そのような構成においては、後述されるように、（例えば、空間的及び／又は時間的なパターンを用いて）ＬＥＤを動作させるための他の技術が用いられ得る。確かに、いくつかの好適な実施形態では、間隔アレイは純白色光ＬＥＤのマトリックスを備えている。

支持部は、光学装置の装着者の少なくとも一方の目に対して近接してアレイを保持するように配置されている。好ましくは、支持部は、目からの距離が目の最小焦点距離よりも実質的に近い距離（つまり、理論上焦点が合う最小距離）にアレイを保持することが可能なように構成されている。換言すれば、装着者がアレイの光源に焦点を合わせる必要がないような、装着者の目からの距離にて、アレイを位置させ得る。ゆえに、ほとんどの場合、アレイは装着者の目から約３ｃｍから５ｃｍにあることが好ましい。しかしながら、正確な距離は、特定の個人及び該個人の視覚障害によって左右されるであろうから、ある適用では、アレイを目からさらに離す或いは目にさらに近づける必要があることもあろう。

目の近くにアレイを配置する利点は、装着者の目で受ける光の強度を強くすることができることであって、それによって、明暗の知覚が向上する可能性がある。さらには、アレイに焦点を合わせる必要がないので、画質が向上した画像に焦点を合わせることを装着者に求める従来技術の拡張現実ヘッドセットとは異なり、光学装置は、焦点を合わせる能力がほとんど又は全くない、視覚障害を有する個人によっても使用可能である。

特に好適な実施形態では、各アレイが装着者のそれぞれの目に対して情報を伝達するように構成されるように、光学装置は、離散光源の第２の間隔アレイをさらに備える。第２アレイは、第１アレイと構造的にも機能的にも同じであることが好ましい。しかしながら、いくつかの実施形態では、具体的な適用及び／又は視覚障害を有する個人（例えば、装着者は一方の目だけに色覚があるなど）に応じて、これらのアレイは互いに異なり得る。

支持部は、最も好ましくは眼鏡フレームである。該フレームは、折畳み式アームを有してもよく、又は代替として、アームは、該フレームのその他の部分（すなわち、レンズホルダ）に固定して取り付けられ得る。加えて又は代替として、眼鏡フレームは、周辺視野を有効に利用するために、及び／又は、その個人の快適性又は利便性を改善するために、「ラップアラウンド（ｗｒａｐ ａｒｏｕｎｄ）」型であってもよい。支持部に眼鏡フレームを用いる利点は、比較的重いヘッドマウントの構成要素を必要としないことであって、それによって、光学装置全体の重量が低減されて、装着者の快適性が向上される。さらには、眼鏡フレームの使用によって、間違いなく光学装置の美的外観が向上され、それによって、かさばるヘッドセットと比べてより分離可能となることから、該装置を公の場で使用する場合に、装着者はより「快適に」感じることができる。

当然のことながら、いかなる他の形態による好適な軽量の支持部も、本発明の光学装置と共に用いられ得ることが理解されるべきであり、ゆえに、眼鏡フレームは限定的なものとして意図されない。具体的には、一例として、ヘッドバンド又は帽子もしくはキャップ帽等のつばにクリップで留められる、「フリップダウン（ｆｌｉｐ−ｄｏｗｎ）」式バイザーの構成を代替として用いてもよい。

支持部が眼鏡フレームの形態である場合には、各間隔アレイが、フレームのレンズソケット部に嵌挿される眼鏡レンズの形状又は形態にてそれぞれの「ディスプレイ」と一体化されていることが好ましい。レンズ自体は、好ましくは、ＬＥＤのマトリックスの単なるサポート、ホルダ、又は、基板であり、ゆえに、レンズは装着者の視力を光学的に補正しないものであることが好ましい。それゆえ、好適な実施形態では、レンズはプラスチック材料で作成されており、該プラスチック材料は、具体的な適用及び／又は装着者に応じて、透明又は不透明のいずれであってもよい。

いくつかの実施形態では、ＬＥＤは、レンズの前面もしくは後面に、又はその両面に、接着剤等を用いて取り付けられ得るし、或いは、代替として、レンズの材料と（ＬＥＤ自身の電気接続部と共に）一体的に成形され得る。別の実施形態では、ＬＥＤを透明な導電フィルムに取り付けて、この透明な導電フィルムをレンズ表面に貼り付けてもよい。

当然のことながら、アレイをレンズに一体化する、連結する、又は、取り付けるための任意の好適な技術又は工程を、具体的な適用に応じて本発明と共に用いてもよいことが理解されるべきである。

アレイの寸法は、好ましくは典型的な眼鏡レンズと同等であって、レンズの上部から底部にかつ左右にわたって延在することが好ましい。従って、とりわけ好適な実施形態では、アレイは、約３５ｍｍｘ３０ｍｍであり、最も好ましくは、好適な横長の六角形状の構成にて、（例えば、それぞれが約２ｍｍｘ１ｍｍであるような種類の）少なくとも４８個の個別に指定可能なＬＥＤを有する。

しかしながら、任意の数のＬＥＤ及び任意の適切な構成が、本発明とともに用いられ得ることが理解されるべきである。確かに、前述したように、彼らの特定の視覚障害又は個々の視機能に応じて異なる種類の情報が装着者へ伝達可能となるように、アレイの構成はそれぞれの目によって異なり得る。

その一方で、アレイの構成はあらゆる種類の視覚喪失に関して同様である可能性があり、１つの普遍的な装置がすべてに使用可能であることが想定される。しかしながら、アレイは、特定の装着者に関して、及び／又は、ある特定の種類の視覚障害及び／又は状態等に関して、それぞれ異なって動作される。従って、例えば、装着者が異なる光源を区別することが困難な場合（例えば、光／色のぼやけが問題となる場合）は、分散されたＬＥＤ（例えば、レンズの縁のように、間隔が広くあけられている）を少ない数（すなわち、サブセット）で動作させることも可能であり、その一方で、色覚が全く残っていない個人については色を無効にすることも可能である。

画像撮像デバイスは、支持部自体に取り付けられていることが最も好ましく、眼鏡フレームの例では、画像撮像デバイスはフレームと一体化されてもよく、又はフレームに適宜取り付けられてもよい。

好ましくは、画像撮像デバイスは、少なくとも１つの広角カメラを備える。広角カメラは、例えば、ＣＭＯＳ型又はＣＣＤ型の小型ビデオカメラであることが最も好ましい。「広角カメラ」とは、約６０度〜１２０度、或いはそれ以上の大きな角度を好ましくは範囲として含む場面（ｓｃｅｎｅ）を撮像可能な撮像レンズを備える、カメラをさす。このカメラは、最も好ましくはカラービデオカメラである。

特に好適な実施形態では、画像撮像デバイスは２つの広角カメラを備え、各広角カメラは、好ましくは、各ディスプレイのレンズ／アレイの実質的には上方にて、眼鏡フレームの上端角部にそれぞれに位置する。互いに比較的離間している２つの画像撮像デバイスを用いる利点は、装着者の身近な周囲環境の立体的な画像を撮像することが可能であることであり、それによって、（後述されるように）装着者を囲んでいる対象物及び障害物等についての距離情報を決定することが可能となる。

カメラをレンズの上方にて眼鏡フレームに取り付ける別の利点は、撮像画像は装着者の視線を辿るかもしくは追っているので、装着者が自身の頭の向きを変えると、カメラは、その特定の方向に沿って位置するものすべてを撮像することである。このように、装着者は、ＬＥＤアレイによって装着者に伝達される情報のおかげで、自身の身近な周囲環境についての心象を描くことができる。

また一方で、クリップ又はベルクロ接着具等によって装着者の頭部又は身体に１つ以上のカメラを装着できるように、画像撮像デバイスは、支持部とは別体として取り付けられてもよいことが理解されるべきである。確かに、眼鏡フレームに取り付けられたカメラとともに、さらなるカメラを用いることも可能である。例えば、装着者は、前方向きのカメラからの情報を補完する後方向きのカメラを有していてもよく、それによって、後方から接近する対象物を装着者に気付かせることが可能となる。

光学装置は、アレイ及び／又は画像撮像デバイスを制御するためのコンピューティングデバイスをさらに備えることが好ましい。コンピューティングデバイスは、少なくともプロセッサとメモリとを有するポータブルコンピュータであることが好ましい。「ポータブル」とは、コンピュータが、好ましくは内蔵ユニットであって、内蔵ユニットは、装着者が自身の周囲環境にてナビゲートし問題なく通行する時に、装着者の体に装着されて装着者に携帯され得ることを意味する。

好適な実施形態では、コンピュータは眼鏡フレームに別体として装着可能であって、ある１つの実施形態では、装着者のベルトにクリップ留めされるか、或いは、該個人の体につりひも状のハーネス（ｓｌｉｎｇ−ｌｉｋｅ ｈａｒｎｅｓｓ）によって装着されてもよい。当然のことながら、コンピュータを装着者に取り付けるための任意の好適な機構を、本発明とともに用いてもよい。

コンピュータは、有線の電気接続によってアレイ及びカメラに連結されることが好ましい。しかしながら、他の実施形態では、装置の構成要素間を無線で接続することも可能である。そうではあるが、電力保存及び／又は長期にわたる動作使用の観点から、ほとんどの適用で有線接続が用いられることが想定される。

好ましくは、コンピュータは内蔵電池によって電力が供給され、内蔵電池は充電式であってもよい。好適な実施形態では、ＬＥＤアレイ及びカメラもまた、コンピュータの電池によって電力が供給される。しかしながら、眼鏡フレーム自体にも、例えばセル又は電池のような眼鏡フレーム用の電源が設けられてもよいが、当然、これによって装置全体の重量が増加してしまうこととなり、これは特に望ましいものではない。他の実施形態では、別体として装着可能な「バッテリパック」を個人に装着して、眼鏡の構成要素に電力を供給してもよい。

好適な実施形態では、画像処理手段がコンピューティングデバイスに実装されている。画像処理手段は、プロセッサで実行されるソフトウエアモジュールであってもよく、又は、代替としては、ポータブルコンピュータのハードウエアコンポーネントとして構成されてもよい。画像処理手段がハードウエアコンポーネントである場合、該画像処理手段は、自身のプロセッサを備えても、又は、ポータブルコンピュータのメインプロセッサを利用してもよい。当然のことながら、任意の好適な構成を採用してもよく、確かに、具体的な適用に応じて、ソフトウエアコンポーネントとハードウエアコンポーネントとを混在して用いてもよい。

画像処理手段は、画像撮像デバイスによる撮像画像にある対象物を識別し特定するように動作可能であることが好ましい。「対象物」とは、物理的な又は自然の構造（例えば、壁、床、出入り口、木など）、障害物（例えば、机、椅子、街灯柱、車）、物品（例えば、電話機、マグカップ、食料品など）、人間（例えば、人の顔）、語、句、及び文字列（ｔｅｘｔ）（例えば、標識、店及び小売店の名前、新聞の見出し、情報板など）に対応するが、これらに限定されない、画像内のあらゆる区別可能な実在物又は形状を指す。

好適な実施形態では、対象物の識別は、撮像画像に１つ以上のアルゴリズムを適用し、好ましくは、既知の対象物又は対象物の種類に対応する可能性がある所定の形又は形状が該画像に存在するか、探すことによって実現される。従って、識別アルゴリズムは、既知の対象物が撮像画像に存在するか否かを判断することが好ましく、既知の対象物が該画像に存在する場合は、その対象物の種類、空間的な寸法、個人に対するその対象物の位置、及び、その対象物までの距離、のうちの１つ以上について、好ましくは識別を行うように構成されていることが好ましい。

対象物が存在するか否かの判断は、好ましくは、形及び形状が記憶されているデータベース又はライブラリを参照して行われることが好ましい。データベース又はライブラリは、コンピューティングデバイスの一部であることが好ましく、メモリに格納されていてもよい。形状が記憶されているデータベースは、例えば、形、特徴的な輪郭、色などの、対象物の特性及び特徴によって区別して分類されていることが好ましい。従って、識別アルゴリズムが、例えば、ある形と関連付けられた輪郭又は連続的な縁を描画することによって、撮像画像中において該形を検出した場合に、その形は、記憶されている対象物認識ファイルと比較され、マッチングが見つかるかどうか試みられる。

従って、例えば、装着者が、ティーポットが置かれているテーブルの隣にいる場合に、画像処理手段は、該場面の撮像画像においてその対象物を特定することが可能であり、形状が記憶されているデータベースを参照して該対象物をティーポットとして識別することが可能である。データベースは、日常生活においてよく遭遇する多くの対象物を含むことが想定されるが、しかし、不可避的に、画像処理手段にとって未知の対象物もあるであろうし、或いは（例えば、前景／背景にある他の対象物によって干渉される又は不明瞭とされることで）適切に識別することが不可能な対象物もあるであろう。それゆえ、そのような状況下では、マッチングが不可能であろう。そういった場合には、未確認の対象物が近くに存在することが装着者に通知され、（例えば、装着者の相対的な位置を変えることによって）別の角度からその対象物を再撮影するよう装着者に指示されてもよい。好適な実施形態では、本装置は、（以下に説明されるような）内蔵の学習機能を用いて新しい対象物を学習することが可能である。

ほぼ同様にして、人間の顔も画像処理手段によって識別されてもよい。好ましくは、撮像画像に顔認識アルゴリズムを適用し、他者が該装着者のすぐ近くにいる（かつ、その他者の顔が不明瞭でない）場合には、該アルゴリズムによって、人が近くにいることが該装着者に通知され得る。好適な実施形態では、顔の認識は、２段階のプロセスを用いて行われる。第１段階では、予め記憶されている肌色の標本（ｓｗａｔｃｈ）のセットを用いて、撮像画像から色のマッチングが行われることが好ましい。このようにして、（例えば、白人又はその他の民族等の）記録された肌の色合いと一致する色の識別が行われる。一方、第２段階では、すべての検出結果が、典型的な顔の形状に対応する十分な球形度によって限定されることが好ましい。顔認識の信頼性をさらに高めるために、目、鼻、口などを示す球状の対象物を検索する、顔特徴アルゴリズムも該画像に適用されてもよい。

対象物を識別すること、顔を認識することなどに加えて、画像処理手段は、識別された対象物までの距離を推定すること、また、該距離を装置の装着者へ伝達することが可能であることが好ましい。好適な実施形態では、対象物の距離は、視差を用いて算出され得るものであって、視差は、一対の広角カメラによって撮像された各画像にある背景特徴に対する、対象物の見かけ上の角度シフトを分析することによって決定される。従って、その２つのカメラの距離間隔がわかっている（かつ、固定である）ので、視差の角度を決定することによって、プロセッサで実行され得る簡単な三角法の計算を用いて、対象物の距離についての信頼性の高い推定が行われる。他の実施形態で用いられ得る又は視差シフトの技術と併用され得る別のアプローチは、例えば、オックスフォード大学のＧ．ＫｌｅｉｎとＤ．Ｍｕｒｒａｙとによって開発された、ＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ）のような、距離推定アルゴリズムを用いて、識別された表面の簡易地図を作成することである。該アルゴリズムは、画像中の表面及び境界を識別し、２つの広角カメラのそれぞれ異なる視野角に基づき、立体視技法を用いて該表面までの距離を推定することが可能である。装着者及び該装着者の頭の動きによって、眼鏡フレームを移動する（ｔｒａｎｓｌａｔｉｎｇ）ことで、該アルゴリズムを初期化することができる。また、推定深度分布の地図が作成され得る。このようにして、この地図を、より近い表面を明るく点灯したＬＥＤで表し、より遠い表面を比較的薄暗く点灯したＬＥＤで表すという、ＬＥＤアレイ上の距離−明度スケールとして表すことが可能である。距離の判断は、多くの実施形態において重要な側面であるため、距離情報を伝達するために特定の色、例えば白色光、が用いられることが想定される。

当然のことながら、距離を判断するための任意の好適な技術が、本発明の光学装置とともに用いられ得ることが理解されるべきである。ゆえに、他の実施形態では、赤外線（ＩＲ）の又は超音波の距離測定装置を代替として又は追加的に用いてもよい。このような距離測定装置は、支持部自体と一体化されていてもよいし、或いは、別体として個人に装着可能であってもよい。

好ましい実施形態では、コンピュータは、撮像画像から集められた情報（例えば、対象物、距離など）のすべてを照合すること、また、これらの情報をいかにして装置の装着者へ伝達すべきかを決定することが可能である。先に述べたように、すべての実施形態において、画像にある識別された個別の対象物又は対象物の種類に対して、特定の点灯パターンが指定され得る。いくつかの実施形態では、対象物の全種類が、１つのパターンとして、及び／又は、１つの単独の色又はテクスチャによって表され得る。従って、表面、文字列、及び距離は、点灯及び／又は色の異なるパターンを用いて装着者に対して示される、個々の分類を形成し得る。

従って、装着者の身近な周囲環境で顔が識別された例をみると、コンピュータは、人間の顔を表すために、少なくとも１つのアレイにＬＥＤの円を又は色の標本を点灯させる信号を、ＬＥＤアレイに対して送信可能である。さらには、その円又は色標本のサイズに応じて、人のおおよその距離に関する目安を示し得る。従って、ＬＥＤを小さな円として点灯してその人が装着者から少し離れていることを示唆し、一方で、大きな円でその人が装着者の比較的近くにいることを示唆し得る。従って、円が大きくなるとその人が装着者に近づいてくることを示し、その一方で円が小さくなるとその人が装着者から遠ざかっていることを示すことになる。

また、装着者に対するある人の相対的な位置は、左側の又は右側のディスプレイレンズ／アレイのいずれかにある円を点灯することによっておおよそ表示されてもよく、その結果、装着者は、点灯されている円の位置によって、その人が装着者自身の左側又は右側にいることがわかる。

点灯された円を判別できない視覚障害を有する個人については、任意の他の好適な点灯パターンを代わりに用いてもよい。従って、光の１つの標本のみが装着者に検知されるように、隣接するＬＥＤ群を代わりに点灯させてもよい。このＬＥＤ群は、顔が識別されたことを示すために、所定の率（例えば１Ｈｚ）、及び／又は色で該光が点滅するように調節され得る。そして、変調の頻度は、人が装着者に向かって移動する場合は、頻度が多くなり、或いは、人が装着者から離れる方向に移動する場合は、頻度が少なくなるように調整される、などである。

それゆえ、点灯及び／又は色の任意の適切なパターンが、それが空間的であれ（例えば、アレイの全域に分散されている、或いは、ＬＥＤのサブセットとして一部に集中されている）、又は、時間的であれ（例えば、単独の或いは複数のＬＥＤの「点滅」変調）、装着者の周囲環境にある対象物及び／又は距離に関する情報を光学装置の該装着者に伝達するために用いられ得ることが理解されよう。確かに、いくつかの実施形態では、対象物の分類を区別するために使用する、実質的には「チェッカーボード」パターンを生成するために、アレイにおける点滅率と垂直及び水平な点滅の組み合わせとの両方を操作することが可能であった。それゆえ、装着者用の適切な訓練がなされるととともに、一般的な又は特定の対象物の種類に対して点灯パターンを適切に指定することで、本発明の光学装置は、視覚障害を有する個人に対して、自身の身近な周囲環境にてナビゲートし問題なく通行することについて、重要な支援を提供することができる。

また、いくつかの好適な実施形態では、画像処理手段は、さらに、画像撮像デバイスによって撮像画像中のテキストコンテンツに基づいて文字認識を行うように動作可能である。従って、画像処理手段は、装着者の身近な周囲環境の画像にある識別された語、句、又は標識に対して光学式文字認識（ＯＣＲ）を行うためのアルゴリズムを備えることが好ましい。

コンピューティングデバイスには、ＯＣＲアルゴリズム用のライブラリとして機能する、カスタマイズされた文字セットが記憶されていることが好ましい。好適な実施形態では、文字認識は、文字セットのライブラリにある文字を検出することを最初に含む、多段階プロセスとして実行される。好ましくは、文字の向きが推定されて、連続する文字がその向きのラインに沿って並べられる。連続して撮像された画像それぞれについて、好ましくは簡易的なモードフィルタによってエラー及び忠実度チェックが行われるとともに、既知の文字があるか否かについて分析されることが好ましい。あらゆる隙間が推定され、予測される単語を分離するために用いられ、そして、その予測される単語は記憶された用語集と対照されることが好ましい。完成された単語はモードフィルタが施され、好ましくは何回かの繰り返しを経て、最も可能性の高い句又は文章等が生成される。

いくつかの実施形態では、文字セットは、公共交通機関（地方のバスの路線番号及び経路、地下鉄の駅、等）、スーパーマーケットの値札、新聞の見出しなどに関するデータを有していてもよい。いずれの文字セットも、モビリティ及びナビゲーションをより容易にするために、装着者がいる地域の周囲環境に合わせてカスタマイズされ得る。

警告（例えば、一時停止の標識、危険の標識、等）に関するような、特定の語又は句に対して、アレイにおける固有の点灯パターンが指定され得る。従って、ＯＣＲアルゴリズムによって、装着者の身近な周囲環境の画像中に単語「ＤＡＮＧＥＲ（危険）」が検知された場合は、両方のアレイは、装着者がその潜在的な危険をナビゲートして該危険から離れるまで、好ましくは赤色で、繰り返し点滅されてもよい。

好ましくは、コンピューティングデバイスは、ＯＣＲアルゴリズムによって認識された文字に対応する音声アウトプットを提供するように動作可能な、音声合成器も備える。
音声アウトプットは、本装置の装着者にリアルタイムで提供されることが好ましく、それによって、指示、警告、又はその他の情報が装着者に通知されて、装着者のナビゲーションを補助すること、また、装着者の身近な周囲環境についてのフィードバックを提供することが可能となる。それゆえ、光学装置は、例えば眼鏡フレームのアームである支持部と一体化された、さもなければ支持部に取り付けられた一対のヘッドホンのような、音声出力デバイスを備えることが好ましい。代替として、ヘッドホンは、コンピューティングデバイスのオーディオ出力ジャックと接続する、別体の構成要素であってもよい。

光学装置は、本装置の動作を制御するための制御インターフェースも備えることが好ましい。装着者が、ある特定の機能を起動又は抑制するために、装置に対して音声又は発話によるコマンドを発行することができるように、制御インターフェースは音声起動されることが最も好ましい。好ましくは、制御インターフェースは、音声コマンドを受領するように動作可能なマイクロホンを備える。マイクロホンは小型のマイクロホンであって、該マイクロホンは、支持部に取り付けられることが好ましく、支持部が眼鏡フレームの場合は、ディスプレイレンズ／アレイのうちの１つの後方にてフレームの内部に取り付けられることが好ましい。当然のことながら、マイクロホンは、任意の他の好適な位置に設置されてもよいし、代替として、支持部の構成要素とは別体の構成要素であってもよい。従って、マイクロホンは、装着者の衣服等にクリップ留めされ得るし、又は、取り付けられ得る。

制御インターフェースを用いて光学装置のいかなる動作も制御し得る。該動作には、本装置のＯＮ又はＯＦＦを切替えること；対象物識別アルゴリズムに指示を与えて、ある特定の対象物又は対象物の種類を無視すること；音声合成器のＯＮ又はＯＦＦを切替えること（画像中の認識された音声による言葉のアウトプットを開始又は抑制すること）；（内蔵の学習機能に関連して以下に説明されるように−後の処理のために）一連の画像の記録を開始又は終了すること、を含むがこれらに限らない。

音声起動される制御インターフェースを利用することについての明らかな利点は、視覚障害を有する装着者が、支持部又はコンピューティングデバイスにあるいかなるスイッチ又は制御部をも操作する必要がなく、それゆえ、装置の動作及び使用がさらに容易となることである。

好ましい実施形態では、コンピューティングデバイスは、異なる対象物の種類を区別するために異なる対象物を学習するように動作可能な適応学習手段をさらに備える。さらに、適応学習手段は、撮像画像中のテキストコンテンツに基づいて、新しい文字列（例えば、語、句等）の認識を学習するように構成されている。

適応学習手段は、ソフトウエアに実装されることが好ましく、好ましい実施形態では、対象物のデータベース又はライブラリに、新たな対象物を保存できるようにする２つの学習モードを備え、それは、画像中の対象物を識別するために、識別アルゴリズムによって用いられる。第１のモードは、好ましくは、対象物が光学装置に表示されて、装着者は本装置に対して新たな対象物を「学習」するよう指示するように、装着者によって起動される。従って、例えば、装着者が、ソフトドリンクの缶を持ち上げて音声コマンド「ＬＥＡＲＮ（学習）」を発行し、好ましくは、これがきっかけとなって、適応学習手段は、画像撮像デバイスを用いてビデオシーケンスを記録する。記録されたビデオシーケンスは、その新たな対象物用の対象物認識ファイルを構築するために分析され、そして、いくつかの実施形態では、記録されたビデオシーケンスは、例えば「ＤＲＩＮＫ（飲む）」のようなカテゴリーを、該対象物に指定することができる追加の機能性を有し得る。

記録されたビデオシーケンスの分析は、（例えば、光学装置が装着者によって積極的に使用されていない間は）「ＯＦＦＬＩＮＥ（オフライン）」で、また、好ましくは光学装置から遠隔で実行されてもよい。記録されたビデオシーケンスは、機器製造業者又は開発者等によってメンテナンスされるような、遠隔のセキュアサーバにアップロードされてもよいし、或いは、装着者の（例えば、デスクトップ或いはラップトップなどの）パーソナルコンピュータにアップロードされてもよいことが想定される。「安全な（ｓｅｃｕｒｅ）」サーバを必要とするのは、自身の個人的なビデオシーケンスをアップロードすることについての装着者の懸念を和らげるためである。ゆえに、シーケンスが無許可で閲覧されないように、ビデオファイルを暗号化することも可能であるし、ビデオファイルは、分析が完了した後、該サーバから自動的に削除されることが好ましい。

装置から遠隔で分析を実行する利点は、それによって、コンピューティングデバイスのプロセッサにおける処理のオーバーヘッドが減少することである。処理のオーバーヘッドは、使用中の光学装置の性能を低下させる、或いは、バッテリの寿命を縮めるなどの可能性がある。いずれにしても、ソフトウエアによって、対象物の認識が行われ、光学装置のデータベース又はライブラリに後続のダウンロード用の対象物認識ファイルが生成されることが好ましい。このようにして、新たな対象物がデータベース又はライブラリに継続的に又は定期的に追加されることによって、その装着者用にカスタマイズされた対象物認識ファイルのコレクションを構築することが可能である。

他の実施形態では、本装置及び／又はソフトウエアが現在動作等を実行していない場合には、内蔵プロセッサの空き処理サイクルを利用して、もしくは、「アイドルタイム」を活用して、装置の使用中においてビデオシーケンスの処理を少しずつ実行することも可能である。或いは、装置が使用されておらず再充電されている場合において、該ビデオシーケンスの処理を実行することも可能である。

第２の学習モードは、好ましくは対象物認識データベース又はライブラリを更新するために、装着者の行動を監視及び推定できるような、行動主導型の学習であることが好ましい。好ましい実施形態では、支持部は、個人の身近な周囲環境に対する支持部の向きを判定する、向き判定手段をさらに備える。好ましくは、向き判定手段はジャイロスコープの形態であり、最も好ましくは、ビデオ画像の安定化を補助することが主として意図される、３軸ジャイロスコープである。また一方で、ジャイロスコープの出力は、装着者の進行中の行動についてのおおよその推定を行うために用いられてもよい。例えば、装置が機能しており、かつ、ジャイロスコープが装着者は静止していると示している場合、装着者は意味のある作業に従事していると推定することが妥当である。対象物認識アルゴリズムによって、撮像画像におけるいかなる対象物又は文字列も認識されない場合は、適応学習手段は、（オフライン及び／又は遠隔的等であっても）次の対象物認識用ビデオシーケンスの記録を自動的に開始するように設定され得ることが好ましい。それゆえ、データベース又はライブラリにまだ保存されていない意味のある作業に関連付けられた対象物はすべて分析され得るし、今後の対象物認識で使用するために、適切な対象物認識ファイルが生成され、保存され得る。

別の実施形態では、向き判定手段は、加速度計であってもよい。
本発明の第２の局面によれば、視覚障害を有する個人のための光学装置が提供され、該光学装置は、
複数の指定可能な光源の第１及び第２アレイを有する、複合ディスプレイと、
該第２アレイが該第１アレイに対して角度を有するように、該個人の少なくとも一方の目に対して近接して該アレイを保持するように配置された支持部と、
該個人の身近な周囲環境の少なくとも一部の画像を撮像するように構成された画像撮像デバイスと、を備え、
該第１及び第２アレイは、撮像画像の内容に基づいて該指定可能な光源の１つ以上を選択的に点灯することによって、該個人の中心視野及び／又は周辺視野に光学的な刺激を与え、それによって該個人へ情報を伝達するように構成されている。

本発明のこの局面では、光学装置は、複数の指定可能な光源である第１及び第２アレイによって装着者の中心視野及び／又は周辺視野に光学的な刺激を与えるように配置されている、複合ディスプレイを備えるように構成されている。「中心視野」は、（一般的には前方又は先方を見ている）装着者の視線に実質的に沿った装着者の視野を意味する。一方、「周辺視野」は、目の視覚機能の横方向の又は側方のいずれも含むことが意図され、典型的には、装着者の直接の視線に対して角度を有する、装着者の視野に関する。

第１アレイは、第２アレイとは異なるものであることが好ましく、具体的には、第１アレイは、第２アレイよりも多い数の指定可能な光源を備えることが好ましい。また、試験をする中で、視覚障害を有する装着者のなかには、本発明の第１の局面の実施形態における光源間の間隙を識別できるほどの十分な視覚解像力を有する人もいることが判明した。従って、このような個人にとっては、より高い解像度を有するディスプレイがさらに有益であろう。ゆえに、本発明の第２の局面による複合ディスプレイにおいては、第１アレイが、第２アレイと比べてより高い解像度を有するアレイに相当することが好ましく、先に述べた実施形態の間隔ＬＥＤアレイと形態が類似であってもよい。

特に好適な実施形態では、第１アレイは、個別に指定可能なＬＥＤを備えるＯＬＥＤ（有機発光ダイオード）２Ｄディスプレイであってもよい。ＯＬＥＤディスプレイの技術は、小型、軽量、低コスト、及び、低所要電力であることから、携帯電話に用いられることが多い。特に、本発明とともに使用することがとりわけ好適である透明なＯＬＥＤディスプレイの開発を目的として、多くの研究開発がなされてきた。従って、ＯＬＥＤディスプレイの技術を用いたとしても、本発明のいかなる利点をも犠牲にすることなく、先の実施形態に関して述べたように、眼鏡支持部用レンズ型挿入部を製造することが可能である。

本発明の第１の局面の実施形態について上述されたように、第２アレイは、間隔ＬＥＤアレイと同じであってもよい。しかしながら、多くの場合において、第２アレイは、大きさが小さく（つまり、該アレイの小型版）、ゆえに本発明の本局面にて用いられることがより好適であると想定される。それゆえ、好適な構成では、間隔ＬＥＤアレイは、眼鏡フレームの支持部のアームのうちの対応する一方のアームに近接して配置されており、離間ＬＥＤの１つ以上を選択的に動作させることによって装着者の周辺視野が光学的に刺激されることを許容するように、該第２アレイがＯＬＥＤアレイに対して角度を有している。

ゆえに、この構成では、装着者の中心視野は、高解像度の（透明）ＯＬＥＤディスプレイによって刺激され得る一方で、装着者の周辺視野は、低解像度の離間ＬＥＤアレイによって刺激され得る。この構成によって、目ごとにそれぞれ別の２つのディスプレイを併用することで、特に、装着者に伝達可能な情報内容が増えることに関して、大きな利点がもたらされる。

第１の局面における発明の実施形態に関して上述されたように、本発明と既知の視覚補助具との根本的な相違は、本装置によって装着者に示される情報が、対象物自体の特徴ではなく、装着者の周囲環境内における対象物までの距離を示すことである。従って、対象物自体を識別する必要がないので、視覚障害を有する装着者が焦点を合わせる能力を有すること又は該能力が残されていることは必要ではない。換言すれば、装着者の目前にある場面（ｓｃｅｎｅ）を拡大する又は解像度を上げるのではなく、本装置は、近くにある対象物が光の明るい領域で表される一方で、より遠くにある対象物が光のより暗い領域として次第に黒で表されるように、一対のカメラを活用して２Ｄの「奥行きイメージ」又は「奥行きマップ」を立体的に生成することが好ましい。

透明なＯＬＥＤ型ディスプレイを使用することに加えて、本発明の第１の局面或いは第２の局面のいずれかに関連して述べられたいずれの実施形態についても、さらなる変形及び／又は改良が可能である。

それゆえ、前に示唆したように、本装置は、また、支持フレームのブリッジの上方、上、又は、近位に好ましくは取り付けられる、超音波距離計も備えてもよい。該距離計の機能は、装着者から約１メートル未満の離れたところにある対象物を検出すること、及び、例えばガラス製のドア等の「フェールセーフ」機構を提供することである。超音波距離計から収集された情報は、上述のようにディスプレイを用いて装着者に伝達される、つまり、好ましくは奥行きイメージ又はマップの使用と整合して、空間的及び／又は時間的に、選択的な点灯パターンを提供することによって装着者に伝達される。よって、例示的な実施形態では、対象物が装着者に近づくにつれて或いは装着者が対象物に近づくにつれて、ディスプレイの中央部分が明るくなる。

上述したように、ジャイロスコープを備える支持フレームに加えて、フレームは、加速度計、電子コンパス、及び、ＧＰＳ受信機のいずれか又はすべてを有し得る。ジャイロスコープ及び加速度計からのデータは、例えばカルマンフィルタのような、フレームの向きを算出可能な統計アルゴリズムの使用と組み合わせられ得る。フレームの向きを知ることは有益であって、とりわけ、以下の目的に用いることが可能である。

１．画像処理を支援すること−頭部を素早く動かす間に収集されたフレームは、ブレが非常に多いため画像処理から除外されるが、それによって、処理時間を短縮させ、また、バッテリ電源の消費を抑え得る。さらに、カメラの動きがわかっている場合は、画像の背景を取り除くことも可能であって、これは、該画像内の人を検知することにおいて非常に有用である。

２．カメラの向きに基づいて視覚的な表示を変更することが可能である。例えば、装着者が階段又は通路階段等とともに地面にある対象物を識別することを助けるために、該装着者に対して表示された画像から「床面」を取り除くことが可能である。カメラの向きがわかることで、処理用ソフトウエアが地面の平面を識別することの助けとなる。

３．視覚的な表示を向上すること−カメラの動きに基づいて、表示中にある対象物の位置を補完することによって、表示の更新速度を向上させることが可能である。
ＧＰＳ及びコンパスを用いて、デジタルマップ上に装着者の位置を特定して、いわゆる「ウェイファインディング（ｗａｙｆｉｎｄｉｎｇ）」の助けとしてもよい。ウェイファインディングには、遠く離れた目標位置に向かってナビゲートするために、視覚的に行き方を提供することが含まれる。ＧＰＳによって装着者の位置が特定されると、コンピュータは、該装着者の目的地までの経路を算出し、その経路に沿って案内するために、表示によって該装着者へ指示を伝達する。それゆえ、本装置では、再配向信号を有する、追跡用の視覚的な「ライン」を提供することが可能であって、該再配向信号は、例えば、装着者が視覚的なラインから逸れ又は外れた場合に、例えば、ディスプレイの左側又は右側で光を放つインジケータなどである。

別の適用では、ＧＰＳ及びコンパスを用いて、公共交通機関用の支援を提供し得る。例えば、装着者がバスに乗る意図があることを装置に通知した場合に、ソフトウエアは、装着者に最も近いバス停を特定しながら、装着者の位置を決定しようと試みる。さらに、ソフトウエアは、バスの路線及び時刻表についての情報を入手可能であり、また、装置のヘッドホンを用いて次のバスの時刻及び路線番号等を音声によって装着者へ通知することが可能である。このリアルタイムのバス到着情報は、近づいてくるバスの路線番号を検出しようとする対象物及び特徴認識アルゴリズムを補助するために用いられ得る。類似の構成が、インターネットにリアルタイムで掲載されるような情報である鉄道サービスや列車の時刻などに用いられ得る。そのため、本装置に、Ｗｉ−Ｆｉ又は携帯電話のネットワーク（例えば、３Ｇ）などを経由してインターネットに接続するための、ハードウエア及び／又はソフトウエアを組み込んでもよい。

公共交通機関に関する情報の伝達をさらに向上するために、装置は、装着者に対して、空間に関する（例えば、方向性の）オーディオ（ａｕｄｉｏ）を提供するように構成されてもよく、それによって、バス又は電車が近づいてくる方向等を装着者が理解するような、方向性の感覚を装着者に伝えることが可能である。オーディオは、２Ｄオーディオであることが好ましいが、任意の好適な混合チャネルのオーディオを用いて方向感覚を伝えてもよい。ゆえに、例えば、使用中に装置が近づいてくるバスを検出して、ＯＣＲアルゴリズムを適用することで、バス（又は、路線等）の番号を判別することが可能である。本装置は、音声合成器を経由して、この情報を装着者へ聴覚的に伝達することが可能であって、そのオーディオは、近づいてくるバスの方向から音声が聞こえてくるように、装着者の頭部の位置及び／又は方向を範囲に含むようになされている。このようにして、音声の方向性によって、装着者はバスが近づいてくる方向が分かるので、安全性を潜在的に改善しながら、装着者に対してより一貫性のあるかつ現実的な空間感覚をもたらすことが可能である。

装着者が、特に公共交通機関でのウェイファインディング又は移動中に、自身の周囲環境から音声的に或いは聴覚的に孤立していると感じないように、少なくともある程度の周囲の音が装着者に伝達されるように、小型のマイクロホン又はトランスデューサを装置のヘッドホン（例えば、ヘッドホンのイヤホン）に組み込んでもよい。この構成は、本発明のいずれの実施形態とも併用され得る。また、この構成は、その送信された周囲の音を所望に応じてオン又はオフできるように、装着者によって選択的に制御される。

本装置の手動の及び／又は音声による（例えば、音声認識）制御に加えて、上述したように、さらなる改良が、装着者の顔のジェスチャーを検知することに基づいてなされ得る。それゆえ、いくつかの実施形態では、皮膚上／皮膚内の電位を測定するために、目のくぼみの周辺（例えば、眼窩の周囲）に１組の電極を装着してもよい。この電極は、例えばウインクをする及び眉を上げる／下げるなどの単純な目の動きを検知することが可能であって、これらの動作は、ズームイン又はズームアウトのようなディスプレイの特性を制御するために用いられる。

装置及び／又はディスプレイの特性を制御するためのさらなる別の方法は、装着者の頭の動き（例えば、頭を上げる又は下げる、頭を比較的早く左右に動かす等）が視覚的及び／又は聴覚的な機能のオン又はオフの切り替えに用いられ得るように、「頭のジェスチャー」によって実現され得る。そのため、加速度計は、ソフトウエアに情報を提供することが可能であって、それによって、例えばズームイン又はズームアウトすることで、ソフトウエアはディスプレイの特性を変更できる。頭のジェスチャーは、あらゆる課題を遂行するため及び装置の動作を制御するために、顔のジェスチャーと共に用いられてもよい。当然のことながら、任意の好適な、頭の動き及び／又は顔のジェスチャーを用いて、本発明の装置を制御し動作させてもよいことが理解されるべきである。

好ましい実施形態においては、装着者の周囲環境における周辺光のレベルを監視するために、本装置は、例えば光依存性抵抗（ＬＤＲ）などの光センサを備えてもよい。このように、センサを用いて点灯条件に合うようにディスプレイの輝度を自動的に制御及び調整してもよい。

一対のカメラが微光下でも対象物を検知可能であることを確実とするために、本装置は、一組の赤外線（ＩＲ）ＬＥＤを備えてもよく、光のレベルが所定の閾値を下回ったことを光センサが示した場合に、赤外線ＬＥＤはオンにされる。

フレームに取り付けられた一対のカメラによって提供される、立体的な奥行きの画像化機能を補足及び補完するために、構造を有する発光体を本装置の支持フレームに組み込んでもよい。構造を有する発光体は、ダイオードの出口開口部にて２次元の回析格子によってホログラフィック回析パターンを投影する低出力赤外線レーザであってもよく、レーザーダイオードであることが最も好ましい。レーザとグレーティングとの組み合わせによって、ドットが密集している広い領域が生成されるが、これは、画像に十分な特徴をもたせ、奥行き測定を行うために用いられ得る。この特徴は、例えば装飾の無い白壁等のような、大きくて平坦な特徴の無い対象物に関して、特によい効果を発揮することがわかっている。

レーザーダイオードは、支持フレームのブリッジの上方に取り付けられることが好ましく、装置のバッテリによって駆動されてもよい。
例えば加齢性黄斑変性症のような目の状態に関しては、画像を視野の最適な部分に向けることができるようにするために、装着者の目の位置を追跡可能であると一般的には有益である。そのため、例えば、装着者が視野の左端及び右端に残存視覚を有する場合は、これら２つの領域に情報が提供されることが確実となるように、ソフトウエアは、ディスプレイを再配列するように構成されている。しかしながら、装着者が自身の目を動かすと、ディスプレイの領域は、装着者の残存視野から外れてしまう。このため、装着者の目の位置を継続的に追跡して、それに従ってディスプレイを動的に調整することが必要である。好ましい実施形態では、目の追跡は、マクロレンズが装着され、かつ、赤外線（ＩＲ）光のみを検知するように調整された、単一の小型カメラを用いて実現され得る。該カメラは、赤外線（ＩＲ）ＬＥＤと組み合わされることが好ましく、この赤外線ＬＥＤは、装着者の目に光を当てることで目の動きを追跡可能である。虹彩検出アルゴリズムが、カメラからのビデオストリームに適用されることが好ましく、それによって、装着者が見つめている現在の方向が判別可能となる。

本発明の装置は、視覚障害を有する個人が自身の周囲環境にてナビゲートし問題なく通行することを助けるのに理想的に適しているが、本装置は、テレビを見るといった娯楽的な経験を豊かにするためにも用いられ得る。上述のように、本装置は、装着者の眺める場面そのものを向上することを目的としているのではなく、その場面内にある対象物の位置に関する情報を提供することを目的としている。そのため、テレビの画像又はイメージ内にある人及び対象物について、また、可能性としてはサッカーの試合等のスポーツ競技におけるスポーツ選手までをも含み、それらのおおよその位置を示すために、本装置を使用することが可能である。好適な実施形態では、人物検出アルゴリズム及び顔検出アルゴリズムをテレビ番組の録画映像に適用してもよい。このアルゴリズムは、それによって、該番組に現れる人物（ｆａｃｅ）の位置と、可能であれば（事前の学習を受けて）該人物の情報とを記録し、その後、この情報を「クローズド キャプション サブタイトル」タイプのデータストリーム等として提供することが可能である。その結果、装着者は、該テレビ番組の音声を聴きながら、色分けされたパターン又は光の点滅領域などによってそのテレビシーン中の主要人物の位置を示す文字のデータストリームを受けとることができる。それゆえ、このようにして、装着者は該テレビシーンをより理解することができ、その結果、装着者は、該シーンにおける文字とそれに続く動きとの空間的な相互作用を「見る」ことができるので、その番組をより楽しめる。

同様の技術がサッカーの試合の映像に適用され得るものであり、適切なイメージアルゴリズムによって生成された、競技場のシュミレーションされた（上から眺める）図が装着者に示されると想定される。従って、その試合の解説を聞きながら、有名ではない選手の位置がそのチーム及び試合に適した標準的なフォーメーション（例えば、４−３−３又は４−４−２等）として示されるとともに、ボール及び主要な選手（例えば、現在「プレイ中」の選手）の位置がシュミレーションされた競技場上に示され得る。

前述の実施形態のいずれもが相互排他的であることが意図されておらず、それゆえ、特定の実施形態に関連して説明された特徴は、限定されることなく、他の実施形態に関連して説明された特徴とともに、付加的に及び／又は代替可能に用いられ得ることが、理解されるべきである。

本発明の好適な実施形態による光学装置の概略図である。 本発明の特に好適な実施形態による光学装置の一部を示す正面／側面斜視図である。 図２の光学装置の該一部を示す上方側／裏側斜視図である。 図２の光学装置の該一部を示す側面側／裏側斜視図である。 それぞれ、本発明の別の好適な実施形態による光学装置を示す裏側斜視図及び前側斜視図である。

［詳細な説明］
本発明の実施形態を、一例として、添付の図面を参照して詳細に説明する。
図１を参照すると、本発明による光学装置１００の特に好適な実施形態が示されている。光学装置１００は、離散光源（ｄｉｓｃｒｅｔｅ ｌｉｇｈｔ ｓｏｕｒｃｅ）の離間アレイ（ｓｐａｃｅｄ ａｒｒａｙ）１０２と、視覚障害者（図示されない）の少なくとも一方の目に対して近接してアレイ１０２を保持するように配置された支持部１０４とを備える。

図１の実施例において、支持部１０４は、硬質プラスチック材料で作成された眼鏡フレームの形態である。眼鏡フレーム１０４は、２つの折畳み式アーム１０６（図２〜図４により明らかに示されている）と、２つのレンズソケット１１０を有するブリッジ部１０８とを備える。離間アレイ１０２は、２つの別の「ディスプレイ」として実装されており、各「ディスプレイ」は、フレーム１０４のそれぞれのレンズソケット１１０に嵌挿される眼鏡レンズの形状を有している。このように、光学装置１００の装着者の目それぞれに対して１つのディスプレイが提示される。

図１〜図４に示されるように、離散光源は、レンズの表面に分散配置されて約３５ｍｍ×３０ｍｍの大きさを有するディスプレイを形成する、個別に指定可能な発光ダイオード（ＬＥＤ）のマトリックスで構成されている。図１〜図４の実施例では、各アレイ１０２には、約５０個の個別のＬＥＤ（それぞれが約２ｍｍ×１ｍｍの寸法である）が設けられており、該約５０個のＬＥＤは、おおよそ８個×６個で横長の六角形状を呈するように互いに離間されている。

ＬＥＤは、純白色若しくは有色（例えば、赤及び／又は緑）であっても、両者の組み合わせであってもよい。また、単色の、二色の、及び／又は複数色のダイオードのいずれを用いてもよい。

レンズ自体は、ＬＥＤのアレイ１０２用の単なる支持部材として機能するのみであって、ゆえに、装着者の視力を光学的に補正するものではない。レンズは、（図１〜図４の実施例では透明な）プラスチック材料から作成されるが、代替として、不透明なレンズを使用してもよい。透明なレンズの使用は、モビリティ及びナビゲーションの助けを「背景光」の検出に頼るであろう特定の視覚障害者の場合に、有益となる可能性がある。そのため、状況によっては、本光学装置を使用する場合に背景光を遮断する又は減じることは望ましくないであろう。

いずれの図面にも示されていないが、ＬＥＤは、それぞれの電気的接続部（明確にするため、図示しない）とともに、レンズの成形プラスチック材料と一体化されている。しかしながら、ＬＥＤは、接着剤等を用いてレンズの内側又は外側表面に直接貼り付けてもよいし、或いは、ＬＥＤを透明な導電フィルムに取り付けて、この透明な導電フィルムをレンズ表面に重ね合わせることも可能である。

再び図１を参照すると、光学装置１００は、２つの広角ビデオカメラ１１２の形態で画像撮像デバイスをさらに備える。この２つのビデオカメラ１１２は、それぞれのレンズソケット１１０の上方にて、フレーム１０４の上方角部に、それぞれ取り付けられている。このように、撮像画像は装着者の視線を辿るかもしくは追っているので、装着者が自身の頭の向きを変えると、カメラ１１２は、その特定の方向に沿って位置するものすべてを撮像する。ビデオカメラ１１２は、１２０度の見かけ視野を有する広角レンズを備えたＣＭＯＳ型の小型カラービデオカメラであるが、代替として、任意の小型で軽量なカメラを用いてもよい。

２つの離間されたカメラを使用する利点は、該２つのカメラがそれぞれ異なる視野角を有していることによって、立体視技法を用いて距離情報を決定することが可能なことである。従って、カメラ１１２の機能は、装着者自身の周囲についての情報を装着者に提供するために対象物の位置確認及び識別が実施できるように、装着者の身近な周囲環境のビデオシーケンスを撮像することである。このようにして、点灯及び／又は色の所定のパターンに従ってアレイ１０２における１つ以上のＬＥＤを選択的に点灯させることによって、対象物、障害物、及び距離に関する情報が、装着者へ伝達され得る。

フレーム１０４は、アレイ１０２が装着者の目から約３ｃｍ〜約５ｃｍの距離に保たれるような大きさである。多くの場合、これは、通常、目の最小焦点距離（つまり、理論上焦点が合う最小距離）よりも短い。この点は本発明において重要ではないが、確かに、この特徴は大きな利点をもたらすものであって、その利点とは、画質が向上した画像の一部を解像することが個人に求められる従来の拡張現実装置とは異なり、装着者はアレイのＬＥＤに焦点をあてる必要がないことである。それゆえ、本発明の光学装置によれば、視覚障害を有する装着者が画像に焦点を合わせることができるか否かにかかわらず、該装着者の残存視機能を活用することによってその装着者に情報を伝達することが可能である。

また一方で、アレイ１０２を目の近くに配置する別の利点は、装着者の目が受ける光の強さを強くすることが可能なことであって、それによって、明暗の知覚が増進する可能性がある。

再び図１を参照すると、光学装置１００は、（破線で示される）コンピュータ１１４をさらに備える。コンピュータ１１４は、該装置の、具体的にはアレイ１０２及びカメラ１１２の、機能及び動作を制御するために配置されている。図１には明確には示されていないが、コンピュータ１１４は、眼鏡フレーム１０４に別体にて装着可能であることが意図されており、装着者のベルトにクリップ留めされるか、或いは、該個人の体につりひも状のハーネス（ｓｌｉｎｇ−ｌｉｋｅ ｈａｒｎｅｓｓ）によって装着されてもよい。当然のことながら、コンピュータ１１４を装着者に取り付けるための任意の好適な機構を、本発明とともに用いてもよい。

コンピュータ１１４は、少なくともプロセッサ１１６とメモリ１１８とを備え、ドライバ１２０を介してアレイ１０２に、また、ビデオバッファ１２２を介してカメラ１１２に連結されている（明確にするために、図１では、１つのアレイ１０２及び１つのカメラ１１２に対してそれぞれ１つの接続しか示されていないが、実際には、両方のアレイ及び両方のカメラがコンピュータ１１４に連結されていることが理解されよう）。ドライバ１２０は、例えば、アレイ１０２における個別に指定可能なＬＥＤそれぞれに対してバッファリングを提供する、ＰＩＣ制御器でもよい。ビデオバッファ１２２は、任意の好適なビデオバッファ装置でもよい。

コンピュータ１１４には、また、画像処理手段１２４も実装されている。画像処理手段１２４は、カメラ１１２によって撮像されたビデオ画像にある対象物を識別するように動作可能である。画像処理手段１２４は、プロセッサ１１６で実行されるソフトウエアモジュールであってもよく、又は、プロセッサ１１６及び／又はメモリ１１８を使用するハードウエアコンポーネントであってもよい。或いは、画像処理手段１２４は、ソフトウエア及びハードウエアの両方に実装されてもよい。いずれにしても、画像処理手段１２４の機能は、カメラ１１２によって撮像画像にある対象物を識別し特定することである。

「対象物」とは、物理的な又は自然の構造（例えば、壁、床、出入り口、木など）、障害物（例えば、机、椅子、街灯柱、車）、物品（例えば、電話機、マグカップ、食料品など）、人間（例えば、人の顔）、語、句、及び文字列（ｔｅｘｔ）（例えば、標識、店及び小売店の名前、新聞の見出し、情報板など）に対応するが、これらに限定されない、画像内のあらゆる区別可能な実在物又は形状を指す。

対象物の識別は、撮像されたビデオ画像に１つ以上のアルゴリズムを適用し、既知の対象物又は対象物の種類に対応する可能性がある所定の形又は形状が該画像に存在するか、探すことによって実現される。従って、識別アルゴリズムは、既知の対象物が撮像画像に存在するか否かを判断し、既知の対象物が該画像に存在する場合は、その対象物の種類、空間的な寸法、個人に対するその対象物の位置、及び、その対象物までの距離、のうちの１つ以上について、識別を行うように構成されている。

対象物が存在するか否かの判断は、コンピュータ１１４内に実装されている、形及び形状が記憶されているデータベース１２６を参照して行われる。データベース１２６は、例えば、形、特徴的な輪郭、色などの、対象物の特性及び特徴によって区別して分類されている。従って、識別アルゴリズムが、例えば、ある形と関連付けられた輪郭又は連続的な縁を描画することによって、撮像画像中において該形を検出した場合に、その形は、記憶されている対象物認識ファイルと比較され、マッチングが見つかるかどうか試みられる。

データベース１２６は、日常生活においてよく遭遇する多くの対象物用の対象物認識ファイルを備える。しかしながら、不可避的に、画像処理手段１２４に未知の対象物もあるであろうし、或いは（例えば、前景／背景にある他の対象物によって干渉される又は不明瞭とされることで）適切に識別することが不可能な対象物もあるであろう。それゆえ、そのような状況下では、マッチングが可能でないかもしれない。そういった場合には、未確認の対象物が近くに存在することが装着者に通知され、（例えば、装着者の相対的な位置を変えることによって）別の角度からその対象物を再撮影するよう装着者に指示される可能性もある。しかしながら、光学装置１００は、適応学習モジュール１２８を用いて新しい対象物を学習することが可能であり、それゆえ、対象物認識ファイルのデータベースは、（以下に説明されるように）経時的に更新可能である。

ほぼ同様にして、人間の顔も画像処理手段１２４によって識別される。そのため、撮像画像に顔認識アルゴリズムを適用し、他者が該装着者のすぐ近くにいる（かつ、その他者の顔が不明瞭でない）場合には、該アルゴリズムによって、人が近くにいることが該装着者に通知される。顔の認識は、２段階のプロセスを用いて行われる。第１段階は、予め記憶されている肌色の標本（ｓｗａｔｃｈ）のセットを用いて、撮像画像から色のマッチングが行われる。このようにして、（例えば、白人又はその他の民族等の）記録された肌の色合いと一致する色の識別が行われる。一方、第２段階では、すべての検出結果が、典型的な顔の形状に対応する十分な球形度によって限定される。別の実施例では、目、鼻、口などを示す球状の対象物を検索する、顔特徴アルゴリズムも該画像に適用される。

対象物を識別すること、顔を認識することなどに加えて、画像処理手段１２４は、識別された対象物までの距離を推定すること、また、該距離を装置１００の装着者へ伝達することが可能である。対象物の距離は、視差を用いて算出され、視差は、一対の広角カメラ１１２によって撮像された各画像にある背景特徴に対する、対象物の見かけ上の角度シフトを分析することによって決定される。従って、その２つのカメラ１１２の距離間隔がわかっている（かつ、固定である）ので、視差の角度を決定することによって、プロセッサ１１６で実行される簡単な三角法の計算を用いて、対象物の距離についての信頼性の高い推定が行われる。

別のアプローチでは、代替として、識別された表面の簡易地図が作成されるが、この地図の作成は、オックスフォード大学のＧ．ＫｌｅｉｎとＤ．Ｍｕｒｒａｙとによって開発された、ＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ）（ｈｔｔｐ：／／ｗｗｗ．ｒｏｂｏｔｓ．ｏｘ．ａｃ．ｕｋ／〜ｇｋ／ＰＴＡＭ／）と呼ばれる距離推定アルゴリズムを用いてなされる。該アルゴリズムは、画像中の表面及び境界を識別し、２つの広角カメラ１１２のそれぞれ異なる視野角に基づき、立体視技法を用いて該表面までの距離を推定する。このアルゴリズムは、眼鏡フレーム１０４を変換することで初期化されるが、それは、装着者が自身の頭及び自身の位置を移動させることによってなされ得る。このようにして、ＬＥＤアレイ１０２上の距離−明度スケールとして表される、推定深度分布の地図が作成される。距離の判断は、装着者に伝達される情報の重要な側面であるため、アレイ１０２の白色光によって、装着者により近い表面がより遠い表面よりも明るく表される。

また、画像処理手段１２４は、さらに、カメラ１１２によって撮像画像中の任意のテキストコンテンツに基づいて文字認識を行うように動作可能である。ゆえに、図１の実施例では、画像処理手段１２４は、装着者の身近な周囲環境の画像にある識別された語、句、又は標識に対して光学式文字認識（ＯＣＲ）を行うためのアルゴリズムをさらに備える。

データベース１２６には、ＯＣＲアルゴリズム用のライブラリとして機能する、カスタマイズされた文字セットが記憶されている。文字認識は、文字セットのライブラリにある文字を検出することを最初に含む、多段階プロセスとして実行される。すなわち、まず文字の向きが推定されて、連続する文字がその向きのラインに沿って並べられる。連続して撮像された画像それぞれについて、簡易的なモードフィルタによってエラー及び忠実度チェックが行われるとともに、既知の文字があるか否かについて分析される。あらゆる隙間が推定され、予測される単語を分離するために用いられ、そして、その予測される単語は記憶された用語集と対照される。完成された単語はモードフィルタが行われ、何回かの繰り返しを経て、最も可能性の高い句又は文章等が生成される。

コンピュータ１１４は、撮像画像から集められた情報（例えば、対象物、距離など）のすべてを照合すること、また、これらの情報をいかにして装置１００の装着者へ伝達すべきかを決定することが可能である。先に述べたように、画像中の識別された個別の対象物又は対象物の種類に対して、点灯及び／又は色の特定のパターンが指定される。それゆえ、対象物の全種類が、１つのパターンとして、及び／又は、色又はテクスチャの１つの標本によって表される。その結果、点灯及び／又は色の異なるパターンを用いて装着者に示される個々の分類を形成するために、表面、文字列、及び距離が選択されてきた。

それゆえ、点灯及び／又は色の任意の適切なパターンが、それが空間的であれ（例えば、アレイ１０２の全域に分散されている、或いは、ＬＥＤのサブセットとして一部に集中されている）、又は、時間的であれ（例えば、単独の或いは複数のＬＥＤの「点滅」変調）、装着者の周囲環境にある対象物及び／又は距離に関する情報を光学装置の該装着者に伝達するために用いられ得ることが理解されよう。

図１に示されるように、コンピュータ１１４は、ＯＣＲアルゴリズムによって認識された文字列に対応する音声アウトプットを提供するように動作可能な、音声合成器１３０も備える。音声アウトプットは、光学装置１００の装着者にリアルタイムで提供され、それによって、指示、警告、又はその他の情報が装着者に通知されて、該装着者の身近な周囲環境を通過する装着者のナビゲーションを補助する。それゆえ、光学装置１００は、図２に示されるように、フレーム１０４のアーム１０６と一体化された、さもなければそれに取り付けられた、一対のヘッドホン１３２の形態で、音声出力デバイスを備える（明確にするために、図１では、該一対のヘッドホン１３２の一方のスピーカに対する１つの接続部のみが示されている。しかしながら、実際には、両方のスピーカが音声合成器１３０に連結されていることが理解されよう）。

別の実施例では、ヘッドホン１３２は、図４に示すように、フレーム１０４とは別体の構成要素とすることも可能であり、また、装着者の耳に挿入可能な「インイヤ」式ヘッドホンであってもよい。当然のことながら、いかなる好適な種類のヘッドホンも、本発明と併用され得る。

再び図１を参照すると、コンピュータ１１４は、また、装置１００の動作を音声起動で制御するための制御インターフェース１３４も備える。それゆえ、装着者は、ある特定の機能を起動又は抑制するために、装置１００に対して音声コマンドを発行することができる。制御インターフェース１３４は、音声コマンドを受領するように動作可能な、小型マイクロホン１３６を備える。マイクロホン１３６は、図３及び図４に最もよく示されるように、フレーム１０４の左側アーム１０６にある。当然のことながら、マイクロホン１３６は、同様の機能を達成するために、フレーム１０４上のいずれの位置に配置されても、或いは、装着者の体に配置されてもよい。

装着者は、制御インターフェース１３４を用いて光学装置のいかなる動作も制御することができる。該動作には、本装置のＯＮ又はＯＦＦを切替えること；対象物識別アルゴリズムに指示を与えて、ある特定の対象物又は対象物の種類を無視すること；音声合成器のＯＮ又はＯＦＦを切替えること（画像中の認識された単語の音声によるアウトプットを開始又は抑制すること）；（後の処理のために）一連の画像の記録を開始又は終了すること、が含まれる。

前述したように、コンピュータ１１４は、また、異なる対象物の種類を区別するために異なる対象物を学習するように動作可能な適応学習手段１２８を備える。さらに、適応学習手段１２８は、撮像されたビデオ画像中のテキストコンテンツに基づいて、新しい文字列（例えば、語、句等）を学習するように構成されている。

適応学習手段１２８は、ソフトウエアに実装されており、データベース１２６に新たな対象物を保存できるようにする異なる学習モードを備えることが可能である。１つのモードは、対象物が光学装置１００に表示されて、装着者は本装置に対して新たな対象物を「学習」するよう指示するように、装着者によって起動される。装着者は、（マイクロホン１３６を介して）制御インターフェース１３４に対して音声コマンド「ＬＥＡＲＮ」を発行して、その学習を開始させる。これがきっかけとなって、適応学習手段１２８は、カメラ１１２を用いてビデオシーケンスを記録する。記録されたビデオシーケンスは、その新たな対象物用の対象物認識ファイルを構築するために分析され、そして、個々の実装に応じて、該対象物にカテゴリーを指定し得る。

記録されたビデオシーケンスの分析は、（例えば、光学装置１００が装着者によって積極的に使用されていない間は）「ＯＦＦＬＩＮＥ」でかつ光学装置１００から遠隔で実行される。いくつかの実施例では、記録されたビデオシーケンスは、機器製造業者又は開発者等によってメンテナンスされるような、遠隔のセキュアサーバ（ｓｅｃｕｒｅ ｓｅｒｖｅｒ）にアップロードされているが、代替として、装着者の（例えば、デスクトップ或いはラップトップなどの）パーソナルコンピュータによって、ローカル接続で分析されてもよい。「安全な（ｓｅｃｕｒｅ）」サーバを必要とするのは、自身の個人的なビデオシーケンスをアップロードすることについての装着者の懸念を和らげるためである。ゆえに、いくつかの実施例では、シーケンスが無許可で閲覧されないように、ビデオファイルを暗号化することが可能である。いずれにしても、ビデオファイルは、分析が完了した後、該サーバから自動的に削除されることになろう。

装置から遠隔で分析を実行することによって、コンピュータ１１４のプロセッサ１１６における処理のオーバーヘッドが減少するが、さもなくば、処理のオーバーヘッドは、使用中の光学装置１００の性能を低下させる、或いは、バッテリの寿命を縮める等の可能性がある。いずれにしても、注文ソフトウエアによって、対象物の認識が行われ、コンピュータ１１４のデータベース１２６に後続のダウンロード用の対象物認識ファイルが生成される。このようにして、新たな対象物が時間の経過とともにデータベース１２６に追加され、それによって、その装着者用にカスタマイズされた対象物認識ファイルのコレクションを構築することが可能である。

また、本装置及び／又はソフトウエアが現在動作等を実行していない場合には、プロセッサ１１６の空き処理サイクルを利用して、もしくは、「アイドルタイム」を活用して、装置１００の使用中においてビデオシーケンスの処理を少しずつ実行することも可能である。或いは、装置１００が使用されておらず再充電されている場合等において、該ビデオシーケンスの処理を実行することも可能である。

いくつかの実施例で想起される或いはされないかもしれないが、別の学習モードとしては、データベース１２６を更新するために装着者の行動が監視及び推定されるような、行動主導型の学習である。３軸ジャイロスコープ１３８（図１及び図２参照）の形態である向き判定手段を用いて、装着者の進行中の行動がおおよそ推定される。例えば、装置１００が機能しており、かつ、ジャイロスコープ１３８が装着者は静止していると示している場合、装着者は意味のある作業に従事していると推定することが妥当である。対象物認識アルゴリズムによって、撮像画像におけるいかなる対象物又は文字列も認識されない場合は、適応学習手段１２８は、次の対象物認識用ビデオシーケンスの記録を（オフライン及び／又は遠隔的等のいずれでも）自動的に開始するように設定されてもよい。それゆえ、データベース１２６にまだ保存されていない意味のある作業に関連付けられた対象物はすべて分析され得るし、今後の対象物認識で使用するために、適切な対象物認識ファイルが生成され、保存される。

３軸ジャイロスコープは、マイクロチップがパッケージ化されたＭＥＭＳジャイロスコープであってもよいが、代替として、３軸加速度計を用いてもよい。
再び図１を参照すると、光学装置１００は充電式の内部電池１４０で動作する。電池１４０は、（明確にするために図示されない）有線の電機接続を経由して、ＬＥＤアレイ１０２及びカメラ１１２とともに、コンピュータ１１４に対して電力を供給する。当然のことながら、装置の携帯性及び／又は装着性を著しく妨げない限り、本発明の光学装置１００に電力を供給するために任意の好適な電池又はバッテリパックが用いられ得る。

イメージ処理、対象物の識別、顔認識、光学式文字認識、音声変換及び音声起動の制御等のためのいかなるアルゴリズミックルーチンの実装をも、任意のプログラミング言語によって達成され得ること、また、任意の標準的な又は特注のライブラリ、及び、ソースコード等を利用してもよいことが理解されよう。従って、ナショナル インスツルメンツ社のＬａｂＶＩＥＷ開発環境（ｈｔｔｐ：／／ｗｗｗ．ｎｉ．ｃｏｍ／ｌａｂｖｉｅｗ／）を用いてソフトウエアを実装可能な実施例もあれば、すべてのＡＰＩｓ及びアルゴリズムをＣ／Ｃ＋＋で書くことが可能な実施例もある。

コンピュータ１１４のプロセッサ１１６は、理想的には、モバイルコンピューティングへの応用のために設計されたＣＰＵであり、そのようなＣＰＵは、他のチップ設計と比べて、比較的小さなフォームファクタを有しており、また、より効率的に電力を消費する。従って、コンピュータ１１４は、ＲＩＳＣアーキテクチャを用いるＡＲＭプラットフォーム、例えば、デュアルコア ＡＲＭ Ｃｏｒｔｅｘ−Ａ９プロセッサ、に実装されてもよい。ＡＲＭプラットフォームへの実装については、アルゴリズミックルーチンをＣ／Ｃ＋＋でプログラム化してもよく、オープンソースコード ＯｐｅｎＣＶ（ｈｔｔｐ：／／ｏｐｅｎｃｖ．ｗｉｌｌｏｗｇａｒａｇｅ．ｃｏｍ／ｗｉｋｉ／）を画像処理のために用いてもよい。

必要な音声及び発話認識機能を提供するために、カーネギーメロン大学によって提供されるオープンソースのライブラリを用いてもよい。従って、本発明の光学装置に使用される好適な音声合成ライブラリは、Ｆｌｉｔｅ（ｈｔｔｐ：／／ｗｗｗ．ｓｐｅｅｃｈ．ｃｓ．ｃｍｕ．ｅｄｕ／ｆｌｉｔｅ／）である。一方で、音声認識は、ライブラリＣＭＵ Ｓｐｈｉｎｘ（ｈｔｔｐ：／／ｃｍｕｓｐｈｉｎｘ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ／）を用いて達成可能である。文字認識は、オープンソースコード Ｔｅｓｓｅｒａｃｔ（ｈｔｔｐ：／／ｃｏｄｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｐ／ｔｅｓｓｅｒａｃｔ−ｏｃｒ／）又はＯＣＲｏｐｕｓ（ｈｔｔｐ：／／ｃｏｄｅ．ｇｏｏｇｌｅ．ｃｏｍ／ｐ／ｏｃｒｏｐｕｓ／）を用いて達成され得る。

ＬＥＤアレイは、例えばＩ^２Ｃ又はＵＡＲＴ等の、ＳＰＩ通信プロトコル又は任意のその他のシリアルプロトコルを用いて制御され得る。
図５Ａ及び図５Ｂを参照すると、本発明の別の好適な実施形態による光学装置が示されている。本実施形態では、光学装置２００は、複数の指定可能な光源である第１及び第２アレイ２０２ａ、２０２ｂを有する、複合ディスプレイを備える。複合ディスプレイは、支持フレームに取り付けられているか、さもなければ支持フレームと一体化されている。支持フレームは、図５Ａ及び図５Ｂの実施例では、上述した先の実施形態のフレーム１０４と類似の、サイドアーム２０６を有する眼鏡フレーム２０４である。

複合ディスプレイは、第１及び第２アレイ（２０２ａ、２０２ｂ）によって装着者の中心視野及び／又は周辺視野に光学的な刺激を与えるように配置されている。「中心視野」は、（一般的には前方又は先方を見ている）装着者の視線に実質的に沿った装着者の視野を意味する。一方、「周辺視野」は、目の視覚機能の横方向の又は側方のいずれも含むことが意図され、典型的には、装着者の直接の視線に対して角度を有する、装着者の視野に関する。

図５Ａに示されるように、第１アレイ２０２ａは、第２アレイ２０２ｂとは異なるものであって、第２アレイよりも多い数の指定可能な光源を備える。第１アレイ２０２ａは、個別に指定可能なＬＥＤを備える透明なＯＬＥＤ（有機発光ダイオード）２Ｄディスプレイである。第２アレイ２０２ｂは、先の実施形態に関連して説明されたような離間ＬＥＤアレイの小型版である。また、第２アレイ２０２ｂは、眼鏡フレーム２０４のアーム２０６のうちの対応する一方のアーム２０６に近接して配置されており、離間ＬＥＤの１つ以上を選択的に動作させることによって装着者の周辺視野が光学的に刺激されることを許容するように、該第２アレイがＯＬＥＤアレイに対して角度を有している。第２アレイ２０２ｂもまた透明である。

従って、本実施例では、装着者の中心視野は、高解像度のＯＬＥＤディスプレイ２０２ａによって刺激され得る一方で、装着者の周辺視野は、低解像度の離間ＬＥＤアレイ２０２ｂによって刺激され得る。この構成によって、目ごとにそれぞれ別の２つのディスプレイを併用することで、特に、装着者に伝達可能な情報内容が増えることに関して、大きな利点がもたらされる。

また、試験をする中で、視覚障害を有する装着者のなかには、図１〜図４の実施形態における光源間の間隙を識別できるほどの十分な視覚解像力を有する人もいることが判明した。このような個人にとっては、自身が、より重度の視覚障害を有する装着者と比べてより詳細を識別できるので、より高い解像度を有するディスプレイがさらに有益であろう。

先の実施形態に関連して説明したように、フレーム２０４もまた、一対のステレオカメラ２１２を支持する。カメラ２１２及びソフトウエアは、先に説明したように、装着者の身近な周囲環境の奥行きマップを生成するように動作可能である。それゆえ、ソフトウエアは、固定されかつ既知の距離で隔てられている２つのカメラ２１２から、ビデオデータを取得し、そして、該場面（ｓｃｅｎｅ）内にある対象物までの距離を算出するために、両方のカメラに共通する多数の特徴点の位置を比較する。そして、そのイメージは、より近い位置にある対象物がより明るく表示される一方で、より遠くにある対象物が次第に黒となるような、奥行きマップに変換される。その結果、本装置によって、装着者の身近な周囲環境内にある対象物についての相対的な大きさ及び距離を表す、直感的なリアルタイムのディスプレイが提供される。

再び図５Ｂを参照すると、装置２００は、また、フレーム２０４のブリッジに取り付けられた超音波距離計２５０を備える。該距離計の主たる機能は、装着者から約１メートル未満の離れたところにある対象物を検出すること、及び、例えばガラス製のドア等のような、一対のカメラ２１２では検出不可能な対象物との衝突を回避するための、実質的な「フェールセーフ」機構を提供することである。超音波距離計２５０から収集された情報は、生成された奥行きイメージ又はマップに従って、アレイ２０２ａ、２０２ｂを用いて装着者に伝達される。よって、例えば、対象物が装着者に近づくにつれて（或いは、装着者が対象物に近づくにつれて）アレイの中央部分が明るくなり、またその逆も同様である。

本発明による光学装置及び方法は、少なくともいくらかの光及び／又は色を区別する能力が残っている視覚障害を有する個人に好適であることが理想的である。しかしながら、本発明の１つ以上の原理が他の視覚支援又は拡張現実への応用に拡大し得るものであり、それによって、視覚障害がとりわけ重大又は重要なものとはならないであろうが、移動が困難な人のための、或いは、学習障害等がある個人の場合に、教育又は訓練支援として視界が補助されることは望ましいと認識されよう。特に、顔や位置等を認識する能力を改善する装置からの恩恵を受けるであろう認知症患者にとっても、本発明は有用となり得ることが想定される。

上述の実施形態は、例示としてのみ説明されたものである。本発明を逸脱することなく、多くの変形例が可能である。

Claims (18)

1. 視覚障害を有する個人のための光学装置であって、
   互いに所定の距離で離間されている個別の光源の、規則的なマトリックスと、
   前記個人の少なくとも一方の目に対して近接して前記規則的なマトリックスを保持するように配置された支持部と、
   光学レンズを有する、カメラベースの画像撮像デバイスであって、前記光学レンズを介して前記個人の身近な周囲環境の少なくとも一部の画像を撮像するように構成された画像撮像デバイスと、を備え、
   前記規則的なマトリックスは、前記撮像画像の内容に基づいて前記個別の光源の１つ以上を選択的に点灯することによって、前記個人の少なくとも一方の目へ情報を直接伝達するように構成されていることを特徴とする、光学装置。
2. 前記支持部は、前記目からの距離が前記目の最小焦点距離よりも実質的に近い距離に、前記マトリックスを保持するように配置されていることを特徴とする、請求項１に記載の光学装置。
3. 前記マトリックスは、発光ダイオードのマトリックスを備え、任意で、
   前記発光ダイオードは個別に指定可能である、
   ことを特徴とする、請求項１又は請求項２に記載の光学装置。
4. 互いに所定の距離で離間されている個別の光源の、第２の規則的なマトリックスをさらに備え、各マトリックスは、前記個人のそれぞれの目に対して情報を伝達するように構成されており、又は、
   前記支持部は、眼鏡フレームを含み、任意で、各マトリックスが、前記フレームに嵌挿される眼鏡レンズの形状にてそれぞれのディスプレイと一体化されている、
   ことを特徴とする、請求項１から請求項３のいずれか１つに記載の光学装置。
5. 前記画像撮像デバイスは、前記支持部に取り付けられており、任意で、
   前記画像撮像デバイスは、少なくとも１つの広角カメラを備え、任意で、
   前記広角カメラはビデオカメラである、
   ことを特徴とする、請求項１から請求項４のいずれか１つに記載の光学装置。
6. 前記マトリックス及び／又は前記画像撮像デバイスを制御するコンピューティングデバイスをさらに備え、任意で、
   前記コンピューティングデバイスは、別体にて前記個人に装着可能であるように構成され、任意で、
   前記コンピューティングデバイスは、前記撮像画像における対象物を識別するように動作可能な画像処理手段を備え、任意で、
   前記識別には、対象物の種類、空間的な寸法、前記個人に対する位置、及び、対象物までの距離、の１つ以上を決定することが含まれる
   ことを特徴とする、請求項１から請求項５のいずれか１つに記載の光学装置。
7. 前記画像処理手段は、さらに、前記撮像画像におけるテキストコンテンツに基づいて文字認識を行うように動作可能であり、任意で、
   認識された文字に対応する音声アウトプットを提供するように動作可能な音声合成器をさらに備える
   ことを特徴とする、請求項６に記載の光学装置。
8. 音声出力デバイスをさらに備え、任意で、
   前記音声出力デバイスは一対のヘッドホンであり、又は、当該装置の動作を制御するための制御インターフェースをさらに備え、任意で、
   前記制御インターフェースは音声起動され、任意で、
   前記制御インターフェースは、音声コマンドを受領するように動作可能な少なくとも１つのマイクロホンを備える
   ことを特徴とする、請求項１から請求項７のいずれか１つに記載の光学装置。
9. 前記コンピューティングデバイスは、前記撮像画像の内容に基づいて新たな対象物及び／又は文字列を学習するように動作可能な、適応学習手段をさらに備え、任意で、
   前記適応学習手段は、当該装置が動作していない間に学習を行うように構成され、任意で、
   前記適応学習手段は、音声コマンドに応答して自身の学習モードを起動するように構成されている
   ことを特徴とする、請求項６に記載の光学装置。
10. 前記個人の身近な周囲環境に対する前記支持部の向きを判定する、向き判定手段をさらに備え、任意で、前記向き判定手段は、ジャイロスコープ又は加速度計のいずれか一方を含み、又は
    電源をさらに備える
    ことを特徴とする、請求項１から請求項９のいずれか１つに記載の光学装置。
11. 視覚障害を有する個人のための光学装置であって、
    互いに所定の距離で離間されている個別の光源の、第１及び第２マトリックスを有する、複合ディスプレイと、
    前記第２マトリックスが前記第１マトリックスに対して角度を有するように、前記個人の少なくとも一方の目に対して近接して前記マトリックスを保持するように配置された支持部と、
    光学レンズを有する、カメラベースの画像撮像デバイスであって、前記光学レンズを介して前記個人の身近な周囲環境の少なくとも一部の画像を撮像するように構成された画像
    撮像デバイスと、を備え、
    前記第１及び第２マトリックスは、前記撮像画像の内容に基づいて前記個別の光源の１つ以上を選択的に点灯することによって、前記個人の中心視野及び／又は周辺視野に光学的な刺激を直接与え、それによって前記個人へ情報を伝達するように構成されていることを特徴とする、光学装置。
12. 前記第１マトリックスは、前記第２マトリックスとは異なり、任意で、前記第１マトリックスは、前記第２マトリックスよりも多い数の指定可能な光源を備え、又は、
    前記第１マトリックスは、前記第２マトリックスよりも解像度が高く、又は
    前記第１マトリックスはＯＬＥＤディスプレイである
    ことを特徴とする、請求項１１に記載の光学装置。
13. 前記第２マトリックスは、前記個人の周辺視野のみに対して光学的な刺激を直接もたらすように構成されており、又は、
    前記複合ディスプレイは、複数の個別の光源の第３及び第４マトリックスをさらに備え、前記第１及び第２マトリックス並びに前記第３及び第４マトリックスは、前記個人のそれぞれの目に情報を直接伝達するように構成されている
    ことを特徴とする、請求項１１又は請求項１２に記載の光学装置。
14. 視覚障害を有する個人のための光学装置の動作方法であって、該光学装置は請求項１から請求項１３のいずれか１つに定義されるような種類の光学装置であり、該方法は、
    カメラベースの画像撮像デバイスの光学レンズを介して、前記個人の身近な周囲環境の少なくとも一部の画像を撮像するステップと、
    前記撮像画像の内容を識別するために前記画像を処理するステップと、
    前記撮像画像の内容に基づいて１つ又は複数の前記マトリックスを動作させることによって、前記個人の少なくとも一方の目に情報を直接伝達するステップと、
    を含む、方法。
15. 前記画像を処理するステップは、前記撮像画像における対象物を識別するステップを含み、任意で、対象物を識別するステップは、対象物の種類、空間的な寸法、前記個人に対する位置、及び、該対象物までの距離、の１つ以上を決定するステップを含む、請求項１４に記載の方法。
16. 個人に情報を伝達するステップは、具体的な対象物の種類及び／又は該対象物の種類の特徴と関連付けられた１つ以上の所定のパターンに従って、前記光源を点灯するステップを含む、請求項１４又は１５に記載の方法、又は
    前記画像を処理するステップは、前記撮像画像中のテキストコンテンツに基づいて文字列を認識するステップをさらに含む、請求項１４又は１５に記載の方法。
17. 請求項１４から請求項１６のいずれか１つに記載の方法であって、
    前記撮像画像中の認識された文字列に基づいて、合成された音声を出力するステップをさらに含み、又は
    前記装置の前記動作を制御するための音声コマンドを受領するステップをさらに含み、又は
    前記撮像画像において識別されるように、異なる対象物の種類及び／又は認識された文字列を区別するために適応的に学習するステップをさらに含む、方法。
18. コンピュータプログラムプロダクトであって、
    プログラムコード部を備え、
    プログラムコードがコンピューティングデバイスで実行されている場合に、前記プログ
    ラムコード部が、請求項１４から請求項１７のいずれか１つに記載の方法を実行するように構成されており、又は
    コンピュータで読み取り可能な記録媒体であって、請求項１４に沿って、コンピュータプログラムプロダクトを含むデータ構造が格納されている、コンピュータプログラムプロダクト。

Images