JP6544901B2

JP6544901B2 - 視覚補助システムおよび視覚補助装置

Info

Publication number: JP6544901B2
Application number: JP2014190160A
Authority: JP
Inventors: 前田　利久; 利久前田; 田中　雅英; 雅英田中
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2014-09-18
Filing date: 2014-09-18
Publication date: 2019-07-17
Anticipated expiration: 2034-09-18
Also published as: JP2016059607A

Description

本発明は、視覚補助システムおよび視覚補助装置に関する。

視覚障害者のための視覚補助システムが種々検討されている。視覚障害の主な原因には、緑内症例、白内障、夜盲症、加齢黄斑変性などの目の疾患、または幼児期の視力障害などによる発達障害があり、その対策として種々の補助カメラや補助表示装置が提案されている。一例として、メガネ型の視覚拡張装置において、ＣＣＤカメラで撮像した映像のうち使用者の視野に相当する領域の画像に対して画像処理を行い、これを虚像表示装置により使用者に視認させることが提案されている。（特許文献１）また他の例として、撮像部から得られた画像情報を処理して表示部の表示エリアに表示するとともに、この表示部において外界の映像と表示エリアの処理画像が同時に観察者から見ることができるようにしたものが提案されている。（特許文献２）

特開２００３−２８７７０８号公報特許４６００２９０号公報

しかしながら、視覚補助システムおよび視覚補助装置に関してはさらに検討すべき課題が多い。

本発明の課題は、上記に鑑み、より有用な視覚補助システムおよび視覚補助装置を提案することにある。

上記課題を達成するため、本発明は、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、前記表示部外の使用者が見ようとする対象を直接見るための光透過部と、前記光透過部を前記画像処理部の画像処理に対応して制御する制御部とを有することを特徴とする視覚補助システムを提供する。これによって表示部の画像と光透過部から直接見る対象を調和させることが可能となる。

具体的な特徴によれば、前記表示部の明るさに応じて前記光透過部が制御される。他の具体的な特徴によれば、前記表示部の明るさ応じた前記光透過部の制御と前記表示部の明るさにかかわらない前記光透過部の制御が可能である。他の具体的な特徴によれば、前記表示部を白黒反転させる場合に前記光透過部が遮光される。

他の具体的な特徴によれば、前記画像処理部は、瞳孔反応への補正を行う。他の具体的な特徴によれば、前記光透過部を制御する制御部は、瞳孔反応への補正を行う。これらの特徴により瞳孔反応を考慮した制御が可能となる。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表する表示部と、前記画像処理部における補正のプリセット情報を記憶する記憶部とを有し、前記プリセット情報は複数の最適判断値を平均することにより確定されることを特徴とする視覚補助システムが提供される。これによって適切なプリセット値の確定が可能となる。具体的な特徴によれば、前記プリセット情報は両目用別々に記憶される。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表する表示部とを有し、前記画像処理部は前記表示部に画像を拡大表示することが可能であるとともに、所定以上の拡大が行われたときには表示画像の動きに遅延をかけることを特徴とする視覚補助システムが提供される。これによって拡大画像を見る際の違和感が軽減される。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者が見えるよう表示する表示部とを有し、前記撮像部の光軸と前記表示部の光軸が一致していることを特徴とする視覚補助装置が提供される。これによって見やすい視覚補助装置が実現する。具体的な特徴によれば、前記撮像部の光軸と前記表示部の光軸をずらせる制御部が設けられる。これにより多様な視覚障害に対応することができる。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する両目用の一対の撮像部と、前記一対の撮像部により得られた画像をそれぞれ使用者が見えるよう表示する一対の表示部とを有し、前記一対の撮像部および前記一対の表示部は両目の視野外側を遮らないよう配置されることを特徴とする視覚補助装置が提供される。これによって視野外の情報を有効に得ることができる。具体的な特徴によれば、前記一対の撮像部はそれぞれ両目の内側に向けて屈曲している。他の具体的な特徴によれば、前記一対の撮像部は前方に突出しないよう配置される。

上記のように、より有用な視覚補助システムおよび視覚補助装置が提供される。

本発明の視覚補助システムの実施例における全体構成を示すブロック図である。（実施例）実施例１における中央制御部の動作を説明する基本フローチャートである。図２のステップＳ２２およびステップＳ２４の詳細を示すフローチャートである。図２のステップＳ２６およびステップＳ２８の詳細を示すフローチャートである。図２のステップＳ３４の詳細を示すフローチャートである。図２のステップＳ１４の詳細を示すフローチャートである。

図１は、本発明の実施の形態に係る視覚補助システムの実施例における全体構成を示すブロック図である。実施例の視覚補助システムは、ゴーグル型ヘッドマウントディスプレイ（以下「ＨＭＤ」）２および、これとケーブルで接続されるコントローラ４を有する。上記ケーブルは、ＨＭＤ２とコントローラ４のパラレルデータ通信ラインおよび電源供給ラインとなる。

ＨＭＤ２は、使用者の右目６および左目８の前にかけられている通常の眼鏡１０のさらに前にかけられる。このように、ＨＭＤ２は、眼鏡１０により使用者の右目６および左目８の屈折上の問題が解決されているという前提で使用される。この目的のため、ＨＭＤ２は、本体部２aおよびツル部２ｂよりなり、ツル部２ｂを眼鏡１０の上から耳にかけたとき、本体部２ａが眼鏡１０のレンズの前に来るよう構成されている。

本体部２ａ内のＨＭＤの右目用ディスプレイ１２および左目用ディスプレイ１４はいずれも有機ＥＬ現象を利用したＯＬＥＤ（有機発光ダイオード）ディスプレイパネルにより構成されている。駆動部１６は、後述のようにコントローラ４から送られる画像信号に基づいて右目用ディスプレイ１２および左目用ディスプレイ１４をそれぞれ駆動し、右目用画像および左目用画像を表示する。表示された画像の虚像は、破線矢印で示すように、視線６ａおよび８ａに沿って右目用接眼光学系１８および左目用接眼光学系２０によりそれぞれ右目６および左目８に導かれる。駆動部１６は、また、コントローラ４の制御に基づいて右目用接眼光学系１８および左目用接眼光学系２０のフォーカス調節を行うとともに、その光軸を並行移動させて視線６ａまたは８ａからずらせる視線シフト調節も行う。

本体部２ａ内の右目画像用撮像素子２２には、破線矢印で示すように右目の視線６ａに沿って入射する光を９０度内側（紙面で右側）に屈曲させる右目用屈曲ズームレンズ光学系２４によって被写界の実像が結像させられる。同様に、左目画像用撮像素子２６には、破線矢印で示すように左目の視線８ａに沿って入射する光を９０度内側（紙面で左側）に屈曲させる左目用屈曲ズームレンズ光学系２８によって被写界の実像が結像させられる。右目画像用撮像素子２２および左目画像用撮像素子２６で撮像された被写界像は、後述のように駆動部１６を介してコントローラ４に送られる。右目用屈曲ズームレンズ光学系２４および左目用屈曲ズームレンズ光学系２８によるズーミング機能により、右目画像用撮像素子２２および左目画像用撮像素子２６には、等倍の画像だけでなく、実際の被写界を拡大した画像や実際の被写界のワイド領域を集約した画像を結像させることができる。前者は拡大観察に、後者は、視野狭窄の使用者のために実際に見えるよりもワイドな被写界像を視野内に提供するのに適する。

上記の右目用屈曲ズームレンズ光学系２４および左目用屈曲ズームレンズ光学系２８を用いた撮像系は入射光軸方向の厚みを薄くし、本体部２ａが前方に過度に飛び出さないようにする。また、右目用屈曲ズームレンズ光学系２４および左目用屈曲ズームレンズ光学系２８は屈曲後の光学系がそれぞれ視線６ａ、８ａに垂直な方向のスペースを占めるとともに、屈曲方向の更に内側に右目画像用撮像素子２２および左目画像用撮像素子２６が配置される。この配置により、視線６ａおよび８ａの外側を遮る部品配置を避け、視線６ａおよび８ａの外側の実際の被写界が直接見えるようにしている。人間の目は、２００度程度の広角の被写界の情報が認識できるといわれているが、実施例において右目用ディスプレイ１２および左目用ディスプレイ１４に表示される被写界の情報は約４０度である。このため、実施例では、右目用ディスプレイ１２および左目用ディスプレイ１４に表示される画像情報の外側の被写界についても直接これを見ることにより視覚情報が得られるようにしている。

以上の構成により、実施例の視覚補助システムは、右目画像用撮像素子２２および左目画像用撮像素子２６で撮像された被写界像をコントローラ４に送って使用者の症状に合わせて処理し、コントローラ４から戻される処理画像を右目用ディスプレイ１２および左目用ディスプレイ１４に観察可能に表示することにより、被写界を直接目で見るよりも良好な視覚情報が得られるようにする。例えば、夜盲症（暗順応障害）の使用者にはゲインアップを行うとともにガンマ補正により暗部を持ち上げた処理画像を提供する。一方、羞明（明順応障害）の使用者にはガンマ補正により高輝度部分を圧縮した処理画像を提供する。また、文字等の判読性を高めるため、白黒反転画像を提供することも可能である。さらに、上記のように右目用ディスプレイ１２および左目用ディスプレイ１４に表示される画像情報の周りの被写界についても直接これを見ることにより視覚情報が得ることができる。なお、直接画像については、後述のように、その透過率を制御することにより、表示画像との調和が図られる。

上記でも触れたように、本発明の実施例においては、通常状態では、右目用ディスプレイ１２の虚像を右目６に導く右目用接眼光学系１８の光軸は右目用屈曲スームレンズ光学系２４の入射光軸と一致している。同様に、左目用ディスプレイ１４の虚像を左目８に導く左目用接眼光学系２０の光軸は左目用屈曲スームレンズ光学系２８の入射光軸と一致している。そして、必要に応じ、駆動部１６の制御により右目用接眼光学系１８または左目用接眼光学系２０の光軸を並行移動させて視線６ａまたは８ａからずらせることが可能である。これは、例えば加齢黄斑変性等により中心視覚に障害がある場合、右目画像用撮像素子２２または左目画像用撮像素子２６で撮像された被写界中心の像が障害のない網膜の中心部以外に見えるよう視線をシフトするためである。

また、上述のように本発明の実施例では、視線６ａおよび８ａの外側の実際の被写界が背景として直接見えるように構成している。そして、矢印３０で示す右目外側からの光路中には、右目用可変透過率ＮＤフィルタ３３が設けられている。右目用可変透過率ＮＤフィルタ３３は例えば液晶シャッタにより構成され、駆動部１６の制御により、最大透過率と遮光状態との間で透過率が可変となっている。同様に、矢印３４で示す左目外側からの光路中には、左目用可変透過率ＮＤフィルタ３６が設けられており、駆動部１６の制御により、最大透過率と遮光状態との間で透過率が可変となっている。このように、右目用可変透過率ＮＤフィルタ３２と左目用可変透過率ＮＤフィルタ３６は互いに独立に透過率が変更可能である。透過率の変更は、周囲の明るさ変化に対する瞳孔の順応能力の補助に用いられる他、表示部の明るさの変化に合わせた透過率変更により表示部を見やすくするとともに、表示部の画像と背景としての直接観察画像との調和を図るために活用される。さらに表示部に白黒反転表示を行なったときは右目用可変透過率ＮＤフィルタ３２および左目用可変透過率ＮＤフィルタ３６を遮光状態として、白黒反転画像観察の妨げとならないようにする。

図１からも明らかなように、上記で説明した実施例における各構成は、すべて本体部２ａ内に収納されており、本体部２ａ前面から突出する部分がない。従って、ＨＭＤ２を装着した使用者に向かい合う人から見たとき、ＨＭＤ２は通常のサングラスに近似したものに感じられ、特別な機器で観察されているという違和感が軽減される。

ＨＭＤ２の本体部２ａにおける駆動部１６は、パラレルデータ通信および電源供給ライン３８でコントローラ４と接続され、相互の通信およびコントローラ４からＨＭＤ２への電源供給をおこなっている。また、環境の明るさに応じて右目用ディスプレイ１２および左目用ディスプレイ１４に提供される画像処理を変更するためＨＭＤ２のツル部２ｂには環境光センサ４０が設けられており、通信ライン４２により環境光の情報をコントローラ４に送っている。さらに、顔の向きを変えた場合等における特に拡大時の画像急変を緩和するため加速度センサ４４がツル部２ｂに設けられており、通信ライン４６により顔の動き等の情報をコントローラ４に送っている。パラレルデータ通信および電源供給ライン３８、通信ライン４２、４６は実際には一本の接続ケーブルにまとめられている。また、図１では、環境光センサ４０および加速度センサ４４が直接コントローラと通信する構成を図示しているが、駆動部１６を介してパラレルデータ通信および電源供給ライン３８で通信するよう構成してもよい。

コントローラ４は、上記のようなＨＭＤ２との通信およびＨＭＤ２への電源供給のための入出力部４８を有する。コントローラ４の画像処理部５０は、パラレルデータ通信および電源供ＨＭＤ２の右目画像用撮像素子２２および左目画像用撮像素子２６から駆動部１６を介して給ライン３８により受信した画像を処理し、使用者の補助に適した画像データとして表示制御部５２に送る。表示制御部５２からの画像データはパラレルデータ通信および電源供給ライン３８により送信され、駆動部１６は受信した画像データに基づいて右目用ディスプレイ１２および左目用ディスプレイ１４を駆動し、画像表示する。また、背景制御部５４は、パラレルデータ通信および電源供給ライン３８を通じて目用可変透過率ＮＤフィルタ３２と左目用可変透過率ＮＤフィルタ３６を制御する。

プリセット記憶部５６は、使用者の個別症状および環境光に応じた画像処理情報および可変透過率ＮＤフィルタにおける透過率情報のプリセット値を記憶している。操作部５８はコントローラ表示部６０の表示との連携で上記のプリセット値の入力操作および白黒反転などの画像処理選択操作を行なう。中央制御部６２は、プリセット記憶部５６の画像処理情報に操作部５８の操作、環境光センサ４０および加速度センサ４４からの情報も加味して画像処理部５０を制御する。また、中央制御部５８は、プリセット記憶部５６の透過率情報に環境光センサ４０からの情報も加味して背景制御部５０を制御する。背景制御部５０の制御データはパラレルデータ通信および電源供給ライン３８により送信され、駆動部１６受信したデータに基づき、右目用可変透過率ＮＤフィルタ３２および左目用可変透過率ＮＤフィルタ３６の透過率を変化させて、直接観察される背景の明るさを制御する。中央制御部６２はさらに、以上のような機能に関連して、表示制御部５２、コントローラ表示部６０を制御する。電源部６４は、コントローラ全体に給電するとともに、入出力部４８を介してＨＭＤ２にも給電する。

図２は、実施例１における中央制御部６２の動作を説明する基本フローチャートである。フローは、システムへの給電が開始されるとスタートし、ステップＳ２でプリセット値が記憶されているか否かチェックする。そして記憶があればプリセット値をプリセット記憶部５６から読み出し、ステップＳ６に移行する。一方、ステップＳ２プリセット値の記憶がなければステップＳ８に移行し、画像処理において補正を行わない旨のデフォルト値を読み出してステップＳ６に移行する。

ステップＳ６では、右目画像用撮像素子２２および左目画像用撮像素子２６による撮像を開始し、ステップＳ１０に進んで、所定の明るさを基準とした標準状態の表示制御およびこれに見合う標準状態の背景となるよう右目用可変透過率ＮＤフィルタ３２および左目用可変透過率ＮＤフィルタ３６の透過率制御を開始する。

次いでステップＳ１２では、プリセット値を設定する操作が行われたか否かチェックし、設定操作が行われたことが確認されるとステップＳ１４に移行してプリセット値設定処理を行い、ステップＳ１６に移行する。一方、ステップＳ１２でプリセット値設定操作が確認されないときは直接ステップＳ１６に移行する。ステップＳ１４のプリセット値設定処理の詳細については後述する。

ステップＳ１６では、使用者に中心視野障害があることがプリセット値として記憶されているか否かチェックし、該当すればステップＳ１６に進んで視線シフト処理を行いステップＳ２０に移行する。一方、ステップＳ１６で使用者が中心視野障害に該当しないことが確認されたときは、直接ステップＳ２０に移行する。このときは、通常状態となり、上述のように右目用接眼光学系１８および右目用接眼光学系２０の光軸はそれぞれ右目用屈曲スームレンズ光学系２４および左目用屈曲スームレンズ光学系２６の入射光軸と一致することになる。

ステップＳ１６では、環境光の明るさが変化したか否かチェックし、変化があれば、ステップＳ２２の右目用表示変更処理、およびステップＳ２４の右目用表示変更処理を順次実行してステップＳ２６に至る。このように、右目用と左目用の表示変更処理はそれぞれ独立して行われる。ステップＳ２６では、右目用背景変更処理が行われ、次いでステップＳ２８の左目用背景変更処理が実行されてステップＳ３０に至る。このように、右目用と左目用の背景変更処理についてもそれぞれ独立した処理が行われる。一方、ステップＳ２０で環境光の変化がなかったときは直接ステップＳ３０に移行する。

ステップＳ３０では、白黒反転操作があったか否かチェックし、操作があればステップＳ３２に移行して白黒反転表示を行うとともに背景については白黒反転表示の観察を妨げないよう遮光状態としてステップＳ３４に移行する。一方、ステップＳ３０で白黒反転操作がかくにんできないときには直接ステップＳ３４に移行する。ステップＳ３４では電源供給中か否かがチェックされ、供給中であればステップＳ１２に戻って、以下、ステップＳ３６で電源供給中であること確認される限りステップＳ１２からステップＳ３６を繰り返す。一方、ステップＳ３６で電源供給中であることが確認されなければ直ちにフローを終了する。

図３は、図２のステップＳ２２の右目用表示変更処理およびステップＳ２４の左目用表示変更処理の詳細を示すフローチャートであり、両ステップに共通の内容であるが、図２に示すように右目用および左目用にそれぞれ実行される。フローがスタートすると、ステップＳ４２に進み、図１のステップＳ２０において検知された環境光の変化が表示変更処理用にあらかじめ定められた所定値以上か否かチェックする。そして変化が表示変更処理を必要としない所定値以下であれば直ちにフローを終了し、ステップＳ２６に移行する。

一方、ステップＳ４２で所定以上の変化が検知されるとステップＳ４４に移行し、その変化により環境光が所定値よりも増加したか否かチェックする。ステップＳ４４において環境光が所定値よりも増加したことが検知されるとステップＳ４６で撮像素子のゲインをダウンしてステップＳ４８に移行する。ステップＳ４８では、使用者に明順応障害があるか否かチェックし、該当すればステップＳ５０に進んで高輝度部分を圧縮するガンマ補正を行ってステップＳ５２に進む。ステップＳ５２ではさらに輪郭強調処理を行ってステップＳ５４に移行する。一方ステップＳ４４において環境光が所定値より増加したことが検知されない場合、またはステップＳ４８において使用者が明順応障害であることが確認されない場合は、直接ステップＳ５４に移行する。

ステップＳ５４では、環境光が所定値よりも減少したか否かがチェックする。そして、環境光が所定値よりも減少したことが検知されるとステップＳ５６で撮像素子のゲインをアップしてステップＳ５８に移行する。ステップＳ５８では、使用者に暗順応障害があるか否かチェックし、該当すれば６０に進んで低輝度部分を持ち上げるガンマ補正を行ってステップＳ６２に進む。ステップＳ６２ではさらに輪郭強調処理を行ってステップＳ６４に移行する。一方ステップＳ５４において環境光が所定値より減少したことが検知されない場合、またはステップＳ５８において使用者が暗順応障害であることが確認されない場合は、直接ステップＳ６４に移行する。

ステップＳ５４では、明るさの変化に瞳孔が反応する時間に応じた表示変更補正を行うためのカウンタをリセットしてスタートさせ、ステップＳ６６に進む。ステップＳ６６では、前回の明るさ変化に基づく瞳孔反応の補正中であるか否かチェックし、該当すればステップＳ６８に進んで前回の瞳孔反応補正をキャンセルしてステップＳ７０に進む。一方、ステップＳ６６で前回瞳孔反応補正中であることが検知されなければ直接ステップＳ７０に進む。ステップＳ７０では瞳孔反応補正を開始させるとともにカウンタに基づき瞳孔反応が終了した時点で瞳孔反応補正を自動終了させる処理をスタートさせてフローを終了する。

図４は、図２のステップＳ２６の右目用背景変更処理およびステップＳ２８の左目用背景変更処理の詳細を示すフローチャートであり、両ステップに共通の内容であるが、図２に示すように右目用および左目用にそれぞれ実行される。フローがスタートすると、ステップＳ８２に進み、図１のステップＳ２０において検知された環境光の変化により環境光が所定値よりも増加したか否かチェックする。通常、図４のステップＳ８２における所定値は、図３のステップＳ４４における所定値よりもレベルが低い。

ステップＳ８２において環境光が所定値よりも増加したことが検知されるとステップＳ８４に進み、環境光の増加に対応して可変透過率ＮＤフィルタの透過率を減少させてステップＳ８６に移行する。ステップＳ８６では、今回の環境光変化に基づいて表示部変更処理が行われたか否かチェックし、該当すればステップＳ８８に進んで表示部変更に対応して可変透過率ＮＤフィルタの透過率を変更してステップＳ９０に至る。一方ステップＳ８２において環境光が所定値より増加したことが検知されない場合、またはステップＳ８６において表示部変更処理があったことが確認されない場合は、直接ステップＳ９０に移行する。

ステップＳ９０では、図１のステップＳ２０において検知された環境光の変化により環境光が所定値よりも減少したか否かチェックする。通常、図４のステップＳ９０における所定値は、図３のステップＳ５４における所定値よりもレベルが高い。ステップＳ９０において環境光が所定値よりも減少したことが検知されるとステップＳ９２に進み、可変透過率ＮＤフィルタの透過率が既に最大になっているか否かチェックする。そして最大値でなければステップＳ９４に進み、環境光の増加に対応して可変透過率ＮＤフィルタの透過率を増加させてステップＳ９６に移行する。但し、この増加は最大透過率が限度である。一方、ステップＳ９２で可変透過率ＮＤフィルタの透過率が既に最大になっていることが検知された場合は直接ステップＳ９６に移行する。

ステップＳ９６では、今回の環境光変化に基づいて表示部変更処理が行われたか否かチェックし、該当すればステップＳ９８に進んで表示部変更に対応して可変透過率ＮＤフィルタの透過率を変更してステップＳ１００に移行する。但し、この増加は最大透過率が限度である。一方ステップＳ９０において環境光が所定値より減少したことが検知されない場合、またはステップＳ９６において表示部変更処理があったことが確認されない場合は、直接ステップＳ９０に移行する。

ステップＳ１００では、図３において表示変更のためにスタートされた瞳孔反応補正処理があるか否かチェックし、該当すればステップＳ１０２に進んで対応する可変透過率ＮＤフィルタの透過率補正を開始させるとともに表示変更のための動向反応補正に対応して補正を自動終了させる処理をスタートさせてフローを終了する。

図５は、図２のステップＳ３４における画像急変緩和処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１１２で表示倍率が等倍以上か否かチェックする。そしてこれに該当しない場合、すなわち、表示倍率が背景の倍率と等倍かまたはより低倍率であって顔の向きを変えた場合等における画像急変の緩和を必要としない場合は、直ちにフローを終了し、ステップＳ３６に移行する。

これに対し、ステップＳ１１２で表示倍率が等倍以上であることが検知されるとステップＳ１１４に進み、顔の向きを変えたことに基づく加速度が検知されるか否か検知する。そして加速度が検知されるとステップＳ１１６に進み、右目用ディスプレイ１２および左目用ディスプレイ１４における前フレームの表示を維持し、ステップＳ１１８に進む。ステップＳ１１８では表示倍率に対応して予め決められている時間（例えば表示倍率２倍で３フレーム分の時間）が経過したか否かチェックする。そして時間経過がなければステップＳ１１６に戻り、以下、ステップＳ１１８で時間経過が検知されるまでステップＳ１１６およびステップＳ１１８を繰り返し、前フレームを維持する。一方、ステップＳ１１８で時間経過が検知されるとステップＳ１２０に進む。

ステップＳ１２０では、再度加速度検知を行い、顔の動きが止まることにより加速度が検知されなくなった場合はステップＳ１２２に進み、ステップＳ１１６で維持されたフレームの次のフレームを表示してステップＳ１２６に移行する。ステップＳ１２２の次フレーム表示は通常よりも早いフレームレートで行われる。ステップＳ１２６では現フレームの表示に追いついたかどうかチェックが行われ、まだ追いつかない場合はステップＳ１２０に戻る。以下ステップＳ１２０で新たな加速度が検知されずステップＳ１２６で現フレームに追いつかない限りステップＳ１２０からステップＳ１２６が繰り返され、通常フレームレートよりも早いフレームレートで現フレームへの復帰が行われる。そしてステップＳ１２６で現フレームが表示され鵜状態となったことが検知されるとフローを終了する。これにより、倍率が大きい状態で顔の向きを変えた場合の画像の急変が緩和され、画像の動きに遅延がかけられる。なおこの遅延は顔の動きが止まったときに速やかに取り戻される。一方、ステップＳ１２０で加速度が検知され、顔の動きが継続しているときは、ステップＳ１２４に進み、現フレームを表示してフローを終了する。従って顔の動きが継続しているときはフレームの間引かれる形で画像の急変が健和される。

図６は、図２のステップＳ１４におけるプリセット値設定処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１３２で医師による設定か否かのチェックが行われる。該当すればステップＳ１３４に進み、医師設定処理を実行してステップＳ１３６に移行する。一方、ステップＳ１３２で医師による設定であることが検知されない場合は直接ステップＳ１３６に移行する。ステップＳ１３６では、視能訓練士による設定か否かのチェックが行われる。該当すればステップＳ１３８に進み、視能訓練士設定処理を実行してステップＳ１４０に移行する。一方、ステップＳ１３６で視能訓練士による設定であることが検知されない場合は直接ステップＳ１４０に移行する。

ステップＳ１４０では、使用者本人による設定か否かがチェックされる。そして該当すればステップＳ１４２で右目設定をスタートしステップＳ１４４では環境光初期設定が行われる。本人設定は、実際に本人がＨＭＤ２を装着し、右目用ディスプレイ１２を観察することで設定の適否を判断する。具体的には、ステップＳ１４６において本人による表示補正パラメータの変更が行われる。そしてステップＳ１４８において右目用ディスプレイ１２により観察される画像が最適であるか否かについて本人の判断を求める。そして最適との判断ができなければステップＳ１４６に戻り、以下ステップＳ１４６とステップＳ１４８を繰り返すことでパラメータ変更と本人の判断が繰り返される。そしてステップＳ１４８において本人による最適判断なされて操作部５８が操作されるとステップＳ１５０に進み、その状態におけるパラメータを記憶してステップＳ１５２に移行する。

ステップＳ１５２では、上記のようにして記憶されるパラメータ蓄積記憶が所定回数に達したか否かチェックする。ステップＳ１５２において蓄積記憶が所定数に達していなければステップＳ１４６に戻り、以下蓄積記憶が所定数に達するまでステップＳ１４６からステップＳ１５２が繰り返される。一方、ステップＳ１５２において蓄積記憶が所定数に達するとステップＳ１５４に進み、記憶されたパラメータの平均による設定パラメータの確定を行う。

次いで、ステップＳ１５６では、設定の目的で環境光を自動変更してステップＳ１５８に進む。ステップＳ１５８では、環境光の変更処理が終了したか否かチェックする。変更処理が終了していなければステップＳ１４６に戻り、以下環境光変更が終了しない限りステップＳ１４６からステップＳ１５８を繰り返し、右目用設定が継続される。一方、ステップＳ１５８で環境光変更処理が終了するとステップＳ１６０の左目設定処理に移行する。ステップＳ１６０の左目設定処理の詳細は、ステップＳ１４６からステップＳ１５８における右目用設定処理と同じであるが、煩雑を避けるためステップＳ１６０にまとめて図示している。ステップＳ１６０の左目用設定処理が終了するとフローを終了し、図２のステップＳ１６に移行する。一方ステップＳ１４０で本人による設定であることが検知されなければ、直ちにフローを終了する。

以上の実施例に示した種々の特徴の実施は、上記の実施例に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。例えば、図３のフローでは、使用者に明順応障害がある場合に輪郭強調を行うとともに、使用者に暗順応障害がある場合にコントラスト強調を行うようにしているが、このような使い分けは任意であり、明順応障害がある場合でも暗順応障害がある場合でも、輪郭強調およびコントラスト強調を採用することが可能である。

本発明は、視覚補助システムおよび視覚補助装置に適用することができる。

２２、２４、２６、２８撮像部
５０画像処理部
１２、１８、１４、２０表示部
３２、３６光透過部
５４光透過部を制御する制御部
１６光軸をずらせる制御部
５６記憶部

Claims

使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を前記使用者の視覚障害に合わせて補正する画像処理部と、前記画像処理部の画像を前記使用者が見えるよう表示する表示部と、前記表示部外の前記使用者が見ようとする対象を直接見るための光透過部と、前記光透過部を前記画像処理部の画像処理に対応して制御する制御部とを有し、前記制御部は、前記表示部を白黒反転させる場合に前記光透過部を遮光することを特徴とする視覚補助システム。
前記制御部は、前記表示部の明るさに応じて前記光透過部を制御することを特徴とする請求項１記載の視覚補助システム。
前記制御部は、前記表示部の明るさに応じた前記光透過部の制御と前記表示部の明るさにかかわらない前記光透過部の制御が可能であることを特徴とする請求項２記載の視覚補助システム。
前記撮像部の光軸と前記表示部の光軸が一致していることを特徴とする請求項１から３のいずれかに記載の視覚補助システム。
前記撮像部の光軸と前記表示部の光軸をずらせる光軸制御部を有することを特徴とする請求項１から４のいずれかに記載の視覚補助システム。
前記撮像部と前記表示部は両目用にそれぞれ一対設けられるとともに、前記一対の撮像部および前記一対の表示部は前記光透過部における両目の視野外側を遮らないよう配置されることを特徴とする請求項１から５のいずれかに記載の視覚補助システム。
前記一対の撮像部はそれぞれ両目の内側に向けて屈曲していることを特徴とする請求項６記載の視覚補助システム。
前記一対の撮像部は前記光透過部よりも前方に突出しないことを特徴とする請求項６または７記載の視覚補助システム。
前記画像処理部における補正のプリセット情報を記憶する記憶部を有することを特徴とする請求項１から８のいずれかに記載の視覚補助システム。
使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を前記使用者の視覚障害に合わせて補正する画像処理部と、前記画像処理部の画像を前記使用者が見えるよう表示する表示部と、前記表示部外の前記使用者が見ようとする対象を直接見るための光透過部と、前記光透過部を前記画像処理部の画像処理に対応して制御する制御部と、前記画像処理部における補正のプリセット情報を記憶する記憶部とを有し、前記プリセット情報は複数の最適判断値を平均することにより確定されることを特徴とする視覚補助システム。
前記プリセット情報は両目用別々に記憶されることを特徴とする請求項９または１０記載の視覚補助システム。
使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を前記使用者の視覚障害に合わせて補正する画像処理部と、前記画像処理部の画像を前記使用者が見えるよう表示する表示部と、前記表示部外の前記使用者が見ようとする対象を直接見るための光透過部と、前記光透過部を前記画像処理部の画像処理に対応して制御する制御部とを有し、前記画像処理部は前記表示部に画像を拡大表示することが可能であるとともに、所定以上の拡大が行われたときには表示画像の動きに遅延をかけることを特徴とする視覚補助システム。
使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を前記使用者の視覚障害に合わせて補正する画像処理部と、前記画像処理部の画像を前記使用者が見えるよう表示する表示部と、前記表示部外の前記使用者が見ようとする対象を直接見るための光透過部と、前記光透過部を前記画像処理部の画像処理に対応して制御する制御部とを有し、前記画像処理部は、瞳孔反応への補正を行うことを特徴とする視覚補助システム。
使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を前記使用者の視覚障害に合わせて補正する画像処理部と、前記画像処理部の画像を前記使用者が見えるよう表示する表示部と、前記表示部外の前記使用者が見ようとする対象を直接見るための光透過部と、前記光透過部を前記画像処理部の画像処理に対応して制御する制御部とを有し、前記光透過部を制御する制御部は、瞳孔反応への補正を行うことを特徴とする視覚補助システム。