JP6633269B2

JP6633269B2 - 視覚補助システム

Info

Publication number: JP6633269B2
Application number: JP2014214474A
Authority: JP
Inventors: 前田　利久; 利久前田; 田中　雅英; 雅英田中
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2014-10-21
Filing date: 2014-10-21
Publication date: 2020-01-22
Anticipated expiration: 2034-10-21
Also published as: JP2016080971A

Description

本発明は、視覚補助システムに関する。

視覚障害者のための視覚補助システムが種々検討されている。視覚障害の主な原因には、緑内症例、白内障、夜盲症、加齢黄斑変性などの目の疾患、または幼児期の視力障害などによる発達障害があり、その対策として種々の補助カメラや補助表示装置が提案されている。一例として、メガネ型の視覚拡張装置において、ＣＣＤカメラで撮像した映像のうち使用者の視野に相当する領域の画像に対して画像処理を行い、これを虚像表示装置により使用者に視認させることが提案されている。（特許文献１）また他の例として、撮像部から得られた画像情報を処理して表示部の表示エリアに表示するとともに、この表示部において外界の映像と表示エリアの処理画像が同時に観察者から見ることができるようにしたものが提案されている。（特許文献２）

特開２００３−２８７７０８号公報特許４６００２９０号公報

しかしながら、視覚補助システムに関してはさらに検討すべき課題が多い。

本発明の課題は、上記に鑑み、より有用な視覚補助システムを提案することにある。

上記課題を達成するため、本発明は、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、前記画像処理部による複数の処理モードを記憶する記憶部と、前記複数の処理モードからの選択を行う選択部とを有することを特徴とする視覚補助システムを提供する。これによって使用状況に適した処理モードの選択が可能となる。

本発明の具体的な特徴によれば、使用時の状況を検知する状況センサの検知に基づいて選択に不適な手動操作を制限する。例えば、状況センサが加速度を検知するとき画像拡大モードを選択する操作に制限を加える。これにより、事故等を防止することができる。上記において、不適な手動操作であることを使用者に報知することもできる。他の特徴によれば、前記状況センサの検知に基づき前記記憶部の処理モードを自動選択する。これによって使用状況に適した処理モードの自動選択が可能となる。

本発明の具体的な特徴によれば、前記記憶部は手動操作が行われるときの前記状況センサの検知に基づいて状況に適した処理モードを学習記憶する。これによって、学習記憶とこれに対応する前記状況センサの検知に基づき前記記憶部の処理モードを自動選択することができる。また、状況センサの検知に基づき前記記憶部の処理モードを自動選択する際、学習記憶に基づいて自動選択の適否を判断することができる。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、前記画像処理部が画像の拡大を行うとき前記表示部における画像表示のフレームレートを低下させる制御部とを有することを特徴とする視覚補助システムが提供される。これにより、画像の拡大時における映像酔い等を緩和できる。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、使用時の状況を検知する状況センサと、前記状況センサが微小振動を検知するとき前記表示部における表示の変更を停止する制御部とを有することを特徴とする視覚補助システムが提供される。これにより、画像の微小振動による映像酔い等を緩和できる。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、使用時の状況を検知する状況センサと、前記状況センサの検知に基づいて前記画像処理部の処理を変更する制御部とを有することを特徴とする視覚補助システムが提供される。これにより状況に応じた自動表示変更が可能となる。

本発明の他の特徴によれば、使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、使用時の状況を検知する状況センサと、画像処理部の処理を変更する変更部と、前記状況センサの検知に基づいて前記画像処理部の処理を標準状態に復帰させる制御部とを有することを特徴とする視覚補助システムが提供される。これにより例えば状況センサが歩行開始等による加速度を検知したときに読書目的の画像拡大状態から等倍状態または視野狭窄者のためのワイド状態への自動復帰を行い、事故の可能性を低減することができる。

上記のように、より有用な視覚補助システムが提供される。

本発明の視覚補助システムの実施例１における全体構成を示すブロック図である。（実施例１）実施例１における中央制御部の動作を説明する基本フローチャートである。図２のステップＳ２２およびステップＳ２４の詳細を示すフローチャートである。図２のステップＳ２６およびステップＳ２８の詳細を示すフローチャートである。図２のステップＳ３４の詳細を示すフローチャートである。図２のステップＳ１４の詳細を示すフローチャートである。本発明の視覚補助システムの実施例２における画像急変緩和処理の詳細を示すフローチャートである。（実施例２）本発明の視覚補助システムの実施例３における全体構成を示すブロック図である。（実施例３）実施例３における中央制御部の動作を説明する基本フローチャートである。図９のステップＳ２１４の詳細を示すフローチャートである。

図１は、本発明の実施の形態に係る視覚補助システムの実施例１における全体構成を示すブロック図である。実施例１の視覚補助システムは、ゴーグル型ヘッドマウントディスプレイ（以下「ＨＭＤ」）２および、これとケーブルで接続されるコントローラ４を有する。上記ケーブルは、ＨＭＤ２とコントローラ４のパラレルデータ通信ラインおよび電源供給ラインとなる。

ＨＭＤ２は、使用者の右目６および左目８の前にかけられている通常の眼鏡１０のさらに前にかけられる。このように、ＨＭＤ２は、眼鏡１０により使用者の右目６および左目８の屈折上の問題が解決されているという前提で使用される。この目的のため、ＨＭＤ２は、本体部２aおよびツル部２ｂよりなり、ツル部２ｂを眼鏡１０の上から耳にかけたとき、本体部２ａが眼鏡１０のレンズの前に来るよう構成されている。

本体部２ａ内のＨＭＤの右目用ディスプレイ１２および左目用ディスプレイ１４はいずれも有機ＥＬ現象を利用したＯＬＥＤ（有機発光ダイオード）ディスプレイパネルにより構成されている。駆動部１６は、後述のようにコントローラ４から送られる画像信号に基づいて右目用ディスプレイ１２および左目用ディスプレイ１４をそれぞれ駆動し、右目用画像および左目用画像を表示する。表示された画像の虚像は、破線矢印で示すように、視線６ａおよび８ａに沿って右目用接眼光学系１８および左目用接眼光学系２０によりそれぞれ右目６および左目８に導かれる。駆動部１６は、また、コントローラ４の制御に基づいて右目用接眼光学系１８および左目用接眼光学系２０のフォーカス調節を行うとともに、その光軸を並行移動させて視線６ａまたは８ａからずらせる視線シフト調節も行う。

本体部２ａ内の右目画像用撮像素子２２には、破線矢印で示すように右目の視線６ａに沿って入射する光を９０度内側（紙面で右側）に屈曲させる右目用屈曲ズームレンズ光学系２４によって被写界の実像が結像させられる。同様に、左目画像用撮像素子２６には、破線矢印で示すように左目の視線８ａに沿って入射する光を９０度内側（紙面で左側）に屈曲させる左目用屈曲ズームレンズ光学系２８によって被写界の実像が結像させられる。右目画像用撮像素子２２および左目画像用撮像素子２６で撮像された被写界像は、後述のように駆動部１６を介してコントローラ４に送られる。右目用屈曲ズームレンズ光学系２４および左目用屈曲ズームレンズ光学系２８によるズーミング機能により、右目画像用撮像素子２２および左目画像用撮像素子２６には、等倍の画像だけでなく、実際の被写界を拡大した画像や実際の被写界のワイド領域を集約した画像を結像させることができる。前者は拡大観察に、後者は、視野狭窄の使用者のために実際に見えるよりもワイドな被写界像を視野内に提供するのに適する。

上記の右目用屈曲ズームレンズ光学系２４および左目用屈曲ズームレンズ光学系２８を用いた撮像系は入射光軸方向の厚みを薄くし、本体部２ａが前方に過度に飛び出さないようにする。また、右目用屈曲ズームレンズ光学系２４および左目用屈曲ズームレンズ光学系２８は屈曲後の光学系がそれぞれ視線６ａ、８ａに垂直な方向のスペースを占めるとともに、屈曲方向の更に内側に右目画像用撮像素子２２および左目画像用撮像素子２６が配置される。この配置により、視線６ａおよび８ａの外側を遮る部品配置を避け、視線６ａおよび８ａの外側の実際の被写界が直接見えるようにしている。人間の目は、２００度程度の広角の被写界の情報が認識できるといわれているが、実施例１において右目用ディスプレイ１２および左目用ディスプレイ１４に表示される被写界の情報は約４０度である。このため、実施例１では、右目用ディスプレイ１２および左目用ディスプレイ１４に表示される画像情報の外側の被写界についても直接これを見ることにより視覚情報が得られるようにしている。

以上の構成により、実施例１の視覚補助システムは、右目画像用撮像素子２２および左目画像用撮像素子２６で撮像された被写界像をコントローラ４に送って使用者の症状に合わせて処理し、コントローラ４から戻される処理画像を右目用ディスプレイ１２および左目用ディスプレイ１４に観察可能に表示することにより、被写界を直接目で見るよりも良好な視覚情報が得られるようにする。例えば、夜盲症（暗順応障害）の使用者にはゲインアップを行うとともにガンマ補正により暗部を持ち上げた処理画像を提供する。一方、羞明（明順応障害）の使用者にはガンマ補正により高輝度部分を圧縮した処理画像を提供する。また、文字等の判読性を高めるため、白黒反転画像を提供することも可能である。さらに、上記のように右目用ディスプレイ１２および左目用ディスプレイ１４に表示される画像情報の周りの被写界についても直接これを見ることにより視覚情報が得ることができる。なお、直接画像については、後述のように、その透過率を制御することにより、表示画像との調和が図られる。

上記でも触れたように、本発明の実施例１においては、通常状態では、右目用ディスプレイ１２の虚像を右目６に導く右目用接眼光学系１８の光軸は右目用屈曲スームレンズ光学系２４の入射光軸と一致している。同様に、左目用ディスプレイ１４の虚像を左目８に導く左目用接眼光学系２０の光軸は左目用屈曲スームレンズ光学系２８の入射光軸と一致している。そして、必要に応じ、駆動部１６の制御により右目用接眼光学系１８または左目用接眼光学系２０の光軸を並行移動させて視線６ａまたは８ａからずらせることが可能である。これは、例えば加齢黄斑変性等により中心視覚に障害がある場合、右目画像用撮像素子２２または左目画像用撮像素子２６で撮像された被写界中心の像が障害のない網膜の中心部以外に見えるよう視線をシフトするためである。

また、上述のように本発明の実施例１では、視線６ａおよび８ａの外側の実際の被写界が背景として直接見えるように構成している。そして、矢印３０で示す右目外側からの光路中には、右目用可変透過率ＮＤフィルタ３３が設けられている。右目用可変透過率ＮＤフィルタ３３は例えば液晶シャッタにより構成され、駆動部１６の制御により、最大透過率と遮光状態との間で透過率が可変となっている。同様に、矢印３４で示す左目外側からの光路中には、左目用可変透過率ＮＤフィルタ３６が設けられており、駆動部１６の制御により、最大透過率と遮光状態との間で透過率が可変となっている。このように、右目用可変透過率ＮＤフィルタ３２と左目用可変透過率ＮＤフィルタ３６は互いに独立に透過率が変更可能である。透過率の変更は、周囲の明るさ変化に対する瞳孔の順応能力の補助に用いられる他、表示部の明るさの変化に合わせた透過率変更により表示部を見やすくするとともに、表示部の画像と背景としての直接観察画像との調和を図るために活用される。さらに表示部に白黒反転表示を行なったときは右目用可変透過率ＮＤフィルタ３２および左目用可変透過率ＮＤフィルタ３６を遮光状態として、白黒反転画像観察の妨げとならないようにする。

図１からも明らかなように、上記で説明した実施例１における各構成は、すべて本体部２ａ内に収納されており、本体部２ａ前面から突出する部分がない。従って、ＨＭＤ２を装着した使用者に向かい合う人から見たとき、ＨＭＤ２は通常のサングラスに近似したものに感じられ、特別な機器で観察されているという違和感が軽減される。

ＨＭＤ２の本体部２ａにおける駆動部１６は、パラレルデータ通信および電源供給ライン３８でコントローラ４と接続され、相互の通信およびコントローラ４からＨＭＤ２への電源供給をおこなっている。また、環境の明るさに応じて右目用ディスプレイ１２および左目用ディスプレイ１４に提供される画像処理を変更するためＨＭＤ２のツル部２ｂには環境光センサ４０が設けられており、通信ライン４２により環境光の情報をコントローラ４に送っている。さらに、顔の向きを変えた場合等における特に拡大時の画像急変を緩和するため加速度センサ４４がツル部２ｂに設けられており、通信ライン４６により顔の動き等の情報をコントローラ４に送っている。パラレルデータ通信および電源供給ライン３８、通信ライン４２、４６は実際には一本の接続ケーブルにまとめられている。また、図１では、環境光センサ４０、加速度センサ４４および生体センサ４５が直接コントローラと通信する構成を図示しているが、駆動部１６を介してパラレルデータ通信および電源供給ライン３８で通信するよう構成してもよい。

コントローラ４は、上記のようなＨＭＤ２との通信およびＨＭＤ２への電源供給のための入出力部４８を有する。コントローラ４の画像処理部５０は、パラレルデータ通信および電源供ＨＭＤ２の右目画像用撮像素子２２および左目画像用撮像素子２６から駆動部１６を介して給ライン３８により受信した画像を処理し、使用者の補助に適した画像データとして表示制御部５２に送る。表示制御部５２からの画像データはパラレルデータ通信および電源供給ライン３８により送信され、駆動部１６は受信した画像データに基づいて右目用ディスプレイ１２および左目用ディスプレイ１４を駆動し、画像表示する。また、背景制御部５４は、パラレルデータ通信および電源供給ライン３８を通じて目用可変透過率ＮＤフィルタ３２と左目用可変透過率ＮＤフィルタ３６を制御する。

プリセット記憶部５６は、使用者の個別症状および環境光に応じた画像処理情報および可変透過率ＮＤフィルタにおける透過率情報のプリセット値を記憶している。操作部５８はコントローラ表示部６０の表示との連携で上記のプリセット値の入力操作および白黒反転などの画像処理選択操作を行なう。中央制御部６２は、プリセット記憶部５６の画像処理情報に操作部５８の操作、環境光センサ４０および加速度センサ４４からの情報も加味して画像処理部５０を制御する。また、中央制御部５８は、プリセット記憶部５６の透過率情報に環境光センサ４０からの情報も加味して背景制御部５０を制御する。背景制御部５０の制御データはパラレルデータ通信および電源供給ライン３８により送信され、駆動部１６受信したデータに基づき、右目用可変透過率ＮＤフィルタ３２および左目用可変透過率ＮＤフィルタ３６の透過率を変化させて、直接観察される背景の明るさを制御する。中央制御部６２はさらに、以上のような機能に関連して、表示制御部５２、コントローラ表示部６０を制御する。電源部６４は、コントローラ全体に給電するとともに、入出力部４８を介してＨＭＤ２にも給電する。

図２は、実施例１における中央制御部６２の動作を説明する基本フローチャートである。フローは、システムへの給電が開始されるとスタートし、ステップＳ２でプリセット値が記憶されているか否かチェックする。そして記憶があればプリセット値をプリセット記憶部５６から読み出し、ステップＳ６に移行する。一方、ステップＳ２プリセット値の記憶がなければステップＳ８に移行し、画像処理において補正を行わない旨のデフォルト値を読み出してステップＳ６に移行する。

ステップＳ６では、右目画像用撮像素子２２および左目画像用撮像素子２６による撮像を開始し、ステップＳ１０に進んで、所定の明るさを基準とした標準状態の表示制御およびこれに見合う標準状態の背景となるよう右目用可変透過率ＮＤフィルタ３２および左目用可変透過率ＮＤフィルタ３６の透過率制御を開始する。

次いでステップＳ１２では、プリセット値を設定する操作が行われたか否かチェックし、設定操作が行われたことが確認されるとステップＳ１４に移行してプリセット値設定処理を行い、ステップＳ１６に移行する。一方、ステップＳ１２でプリセット値設定操作が確認されないときは直接ステップＳ１６に移行する。ステップＳ１４のプリセット値設定処理の詳細については後述する。

ステップＳ１６では、使用者に中心視野障害があることがプリセット値として記憶されているか否かチェックし、該当すればステップＳ１６に進んで視線シフト処理を行いステップＳ２０に移行する。一方、ステップＳ１６で使用者が中心視野障害に該当しないことが確認されたときは、直接ステップＳ２０に移行する。このときは、通常状態となり、上述のように右目用接眼光学系１８および右目用接眼光学系２０の光軸はそれぞれ右目用屈曲スームレンズ光学系２４および左目用屈曲スームレンズ光学系２６の入射光軸と一致することになる。

ステップＳ１６では、環境光の明るさが変化したか否かチェックし、変化があれば、ステップＳ２２の右目用表示変更処理、およびステップＳ２４の右目用表示変更処理を順次実行してステップＳ２６に至る。このように、右目用と左目用の表示変更処理はそれぞれ独立して行われる。ステップＳ２６では、右目用背景変更処理が行われ、次いでステップＳ２８の左目用背景変更処理が実行されてステップＳ３０に至る。このように、右目用と左目用の背景変更処理についてもそれぞれ独立した処理が行われる。一方、ステップＳ２０で環境光の変化がなかったときは直接ステップＳ３０に移行する。

ステップＳ３０では、白黒反転操作があったか否かチェックし、操作があればステップＳ３２に移行して白黒反転表示を行うとともに背景については白黒反転表示の観察を妨げないよう遮光状態としてステップＳ３４に移行する。一方、ステップＳ３０で白黒反転操作がかくにんできないときには直接ステップＳ３４に移行する。ステップＳ３４では電源供給中か否かがチェックされ、供給中であればステップＳ１２に戻って、以下、ステップＳ３６で電源供給中であること確認される限りステップＳ１２からステップＳ３６を繰り返す。一方、ステップＳ３６で電源供給中であることが確認されなければ直ちにフローを終了する。

図３は、図２のステップＳ２２の右目用表示変更処理およびステップＳ２４の左目用表示変更処理の詳細を示すフローチャートであり、両ステップに共通の内容であるが、図２に示すように右目用および左目用にそれぞれ実行される。フローがスタートすると、ステップＳ４２に進み、図１のステップＳ２０において検知された環境光の変化が表示変更処理用にあらかじめ定められた所定値以上か否かチェックする。そして変化が表示変更処理を必要としない所定値以下であれば直ちにフローを終了し、ステップＳ２６に移行する。

一方、ステップＳ４２で所定以上の変化が検知されるとステップＳ４４に移行し、その変化により環境光が所定値よりも増加したか否かチェックする。ステップＳ４４において環境光が所定値よりも増加したことが検知されるとステップＳ４６で撮像素子のゲインをダウンしてステップＳ４８に移行する。ステップＳ４８では、使用者に明順応障害があるか否かチェックし、該当すればステップＳ５０に進んで高輝度部分を圧縮するガンマ補正を行ってステップＳ５２に進む。ステップＳ５２ではさらに輪郭強調処理を行ってステップＳ５４に移行する。一方ステップＳ４４において環境光が所定値より増加したことが検知されない場合、またはステップＳ４８において使用者が明順応障害であることが確認されない場合は、直接ステップＳ５４に移行する。

ステップＳ５４では、環境光が所定値よりも減少したか否かがチェックする。そして、環境光が所定値よりも減少したことが検知されるとステップＳ５６で撮像素子のゲインをアップしてステップＳ５８に移行する。ステップＳ５８では、使用者に暗順応障害があるか否かチェックし、該当すれば６０に進んで低輝度部分を持ち上げるガンマ補正を行ってステップＳ６２に進む。ステップＳ６２ではさらに輪郭強調処理を行ってステップＳ６４に移行する。一方ステップＳ５４において環境光が所定値より減少したことが検知されない場合、またはステップＳ５８において使用者が暗順応障害であることが確認されない場合は、直接ステップＳ６４に移行する。

ステップＳ５４では、明るさの変化に瞳孔が反応する時間に応じた表示変更補正を行うためのカウンタをリセットしてスタートさせ、ステップＳ６６に進む。ステップＳ６６では、前回の明るさ変化に基づく瞳孔反応の補正中であるか否かチェックし、該当すればステップＳ６８に進んで前回の瞳孔反応補正をキャンセルしてステップＳ７０に進む。一方、ステップＳ６６で前回瞳孔反応補正中であることが検知されなければ直接ステップＳ７０に進む。ステップＳ７０では瞳孔反応補正を開始させるとともにカウンタに基づき瞳孔反応が終了した時点で瞳孔反応補正を自動終了させる処理をスタートさせてフローを終了する。

図４は、図２のステップＳ２６の右目用背景変更処理およびステップＳ２８の左目用背景変更処理の詳細を示すフローチャートであり、両ステップに共通の内容であるが、図２に示すように右目用および左目用にそれぞれ実行される。フローがスタートすると、ステップＳ８２に進み、図１のステップＳ２０において検知された環境光の変化により環境光が所定値よりも増加したか否かチェックする。通常、図４のステップＳ８２における所定値は、図３のステップＳ４４における所定値よりもレベルが低い。

ステップＳ８２において環境光が所定値よりも増加したことが検知されるとステップＳ８４に進み、環境光の増加に対応して可変透過率ＮＤフィルタの透過率を減少させてステップＳ８６に移行する。ステップＳ８６では、今回の環境光変化に基づいて表示部変更処理が行われたか否かチェックし、該当すればステップＳ８８に進んで表示部変更に対応して可変透過率ＮＤフィルタの透過率を変更してステップＳ９０に至る。一方ステップＳ８２において環境光が所定値より増加したことが検知されない場合、またはステップＳ８６において表示部変更処理があったことが確認されない場合は、直接ステップＳ９０に移行する。

ステップＳ９０では、図１のステップＳ２０において検知された環境光の変化により環境光が所定値よりも減少したか否かチェックする。通常、図４のステップＳ９０における所定値は、図３のステップＳ５４における所定値よりもレベルが高い。ステップＳ９０において環境光が所定値よりも減少したことが検知されるとステップＳ９２に進み、可変透過率ＮＤフィルタの透過率が既に最大になっているか否かチェックする。そして最大値でなければステップＳ９４に進み、環境光の増加に対応して可変透過率ＮＤフィルタの透過率を増加させてステップＳ９６に移行する。但し、この増加は最大透過率が限度である。一方、ステップＳ９２で可変透過率ＮＤフィルタの透過率が既に最大になっていることが検知された場合は直接ステップＳ９６に移行する。

ステップＳ９６では、今回の環境光変化に基づいて表示部変更処理が行われたか否かチェックし、該当すればステップＳ９８に進んで表示部変更に対応して可変透過率ＮＤフィルタの透過率を変更してステップＳ１００に移行する。但し、この増加は最大透過率が限度である。一方ステップＳ９０において環境光が所定値より減少したことが検知されない場合、またはステップＳ９６において表示部変更処理があったことが確認されない場合は、直接ステップＳ９０に移行する。

ステップＳ１００では、図３において表示変更のためにスタートされた瞳孔反応補正処理があるか否かチェックし、該当すればステップＳ１０２に進んで対応する可変透過率ＮＤフィルタの透過率補正を開始させるとともに表示変更のための動向反応補正に対応して補正を自動終了させる処理をスタートさせてフローを終了する。

図５は、図２のステップＳ３４における画像急変緩和処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１１２で表示倍率が等倍以上か否かチェックする。そしてこれに該当しない場合、すなわち、表示倍率が背景の倍率と等倍かまたはより低倍率であって顔の向きを変えた場合等における画像急変の緩和を必要としない場合は、直ちにフローを終了し、ステップＳ３６に移行する。

これに対し、ステップＳ１１２で表示倍率が等倍以上であることが検知されるとステップＳ１１４に進み、顔の向きを変えたことに基づく加速度が検知されるか否か検知する。そして加速度が検知されるとステップＳ１１６に進み、右目用ディスプレイ１２および左目用ディスプレイ１４における前フレームの表示を維持し、ステップＳ１１８に進む。ステップＳ１１８では表示倍率に対応して予め決められている時間（例えば表示倍率２倍で３フレーム分の時間）が経過したか否かチェックする。そして時間経過がなければステップＳ１１６に戻り、以下、ステップＳ１１８で時間経過が検知されるまでステップＳ１１６およびステップＳ１１８を繰り返し、前フレームを維持する。一方、ステップＳ１１８で時間経過が検知されるとステップＳ１２０に進む。

ステップＳ１２０では、再度加速度検知を行い、顔の動きが止まることにより加速度が検知されなくなった場合はステップＳ１２２に進み、ステップＳ１１６で維持されたフレームの次のフレームを表示してステップＳ１２６に移行する。ステップＳ１２２の次フレーム表示は通常よりも早いフレームレートで行われる。ステップＳ１２６では現フレームの表示に追いついたかどうかチェックが行われ、まだ追いつかない場合はステップＳ１２０に戻る。以下ステップＳ１２０で新たな加速度が検知されずステップＳ１２６で現フレームに追いつかない限りステップＳ１２０からステップＳ１２６が繰り返され、通常フレームレートよりも早いフレームレートで現フレームへの復帰が行われる。そしてステップＳ１２６で現フレームが表示され鵜状態となったことが検知されるとフローを終了する。これにより、倍率が大きい状態で顔の向きを変えた場合の画像の急変が緩和され、画像の動きに遅延がかけられる。なおこの遅延は顔の動きが止まったときに速やかに取り戻される。一方、ステップＳ１２０で加速度が検知され、顔の動きが継続しているときは、ステップＳ１２４に進み、現フレームを表示してフローを終了する。従って顔の動きが継続しているときはフレームの間引かれる形で画像の急変が健和される。

図６は、図２のステップＳ１４におけるプリセット値設定処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ１３２で医師による設定か否かのチェックが行われる。該当すればステップＳ１３４に進み、医師設定処理を実行してステップＳ１３６に移行する。一方、ステップＳ１３２で医師による設定であることが検知されない場合は直接ステップＳ１３６に移行する。ステップＳ１３６では、視能訓練士による設定か否かのチェックが行われる。該当すればステップＳ１３８に進み、視能訓練士設定処理を実行してステップＳ１４０に移行する。一方、ステップＳ１３６で視能訓練士による設定であることが検知されない場合は直接ステップＳ１４０に移行する。

ステップＳ１４０では、使用者本人による設定か否かがチェックされる。そして該当すればステップＳ１４２で右目設定をスタートしステップＳ１４４では環境光初期設定が行われる。本人設定は、実際に本人がＨＭＤ２を装着し、右目用ディスプレイ１２を観察することで設定の適否を判断する。具体的には、ステップＳ１４６において本人による表示補正パラメータの変更が行われる。そしてステップＳ１４８において右目用ディスプレイ１２により観察される画像が最適であるか否かについて本人の判断を求める。そして最適との判断ができなければステップＳ１４６に戻り、以下ステップＳ１４６とステップＳ１４８を繰り返すことでパラメータ変更と本人の判断が繰り返される。そしてステップＳ１４８において本人による最適判断なされて操作部５８が操作されるとステップＳ１５０に進み、その状態におけるパラメータを記憶してステップＳ１５２に移行する。

ステップＳ１５２では、上記のようにして記憶されるパラメータ蓄積記憶が所定回数に達したか否かチェックする。ステップＳ１５２において蓄積記憶が所定数に達していなければステップＳ１４６に戻り、以下蓄積記憶が所定数に達するまでステップＳ１４６からステップＳ１５２が繰り返される。一方、ステップＳ１５２において蓄積記憶が所定数に達するとステップＳ１５４に進み、記憶されたパラメータの平均による設定パラメータの確定を行う。

次いで、ステップＳ１５６では、設定の目的で環境光を自動変更してステップＳ１５８に進む。ステップＳ１５８では、環境光の変更処理が終了したか否かチェックする。変更処理が終了していなければステップＳ１４６に戻り、以下環境光変更が終了しない限りステップＳ１４６からステップＳ１５８を繰り返し、右目用設定が継続される。一方、ステップＳ１５８で環境光変更処理が終了するとステップＳ１６０の左目設定処理に移行する。ステップＳ１６０の左目設定処理の詳細は、ステップＳ１４６からステップＳ１５８における右目用設定処理と同じであるが、煩雑を避けるためステップＳ１６０にまとめて図示している。ステップＳ１６０の左目用設定処理が終了するとフローを終了し、図２のステップＳ１６に移行する。一方ステップＳ１４０で本人による設定であることが検知されなければ、直ちにフローを終了する。

以上の実施例１に示した種々の特徴の実施は、上記の実施例１に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。例えば、図３のフローでは、使用者に明順応障害がある場合に輪郭強調を行うとともに、使用者に暗順応障害がある場合にコントラスト強調を行うようにしているが、このような使い分けは任意であり、明順応障害がある場合でも暗順応障害がある場合でも、輪郭強調およびコントラスト強調を採用することが可能である。

図７は、本発明の実施の形態に係る視覚補助システムの実施例２における画像急変緩和処理の詳細を示すフローチャートである。実施例２の全体構成は図１における実施例１のブロック図と共通である。また、その基本動作は、図における実施例１の基本フローチャートと共通である。従って、共通の部分については、実施例１を援用し、説明を省略する。実施例２が実施例１と異なるのは、図２のステップＳ３４における画像急変緩和処理の具体的構成である。図７のフローチャートはこのような実施例２において援用される図２のステップＳ３４の詳細を示すものである。

図７のフローがスタートすると、ステップＳ１６２で所定量以上の加速度が検知されるか否かチャックされる。加速度の検知があればステップＳ１６４に進み、一連の加速度検知において加速度を最初に検知してから所定時間（例えば２秒）経過したか否かがチェックされる。所定時間が経過していなければステップＳ１６６に進み、一連の加速度検知の履歴分析を行いステップＳ１６８に移行する。ステップＳ１６８では、分析を開始してから所定の時間（例えば０.５秒）が経過したか否化チェックする。所定の時間が経過していなければステップＳ１６６に戻り、以下所定時間が経過するまでステップＳ１６６とステップＳ１６８を繰り返して分析を継続する。

一方、ステップＳ１６８で分析を開始してから所定の時間が経過したことが確認されたときはステップＳ１７０に進み、履歴分析の結果、検知された一連の加速度変化が微小振動に該当するか否かがチェックされる。そして微小振動が検知されたときは、ステップＳ１７２に進んで前フレームの表示を維持し、表示の変更を停止する。これは意図しない体の震えなどによる微小振動による画像のブレを防止するためである。そしてステップＳ１７４において同方向の加速度が検知されたか否かをチェックする。

ステップＳ１７４で同方向の加速度が検知されない場合は、ステップＳ１６４に戻り、加速度を最初に検知してから所定時間が経過したことがステップＳ１６４で検知されない限り、ステップＳ１６４からステップＳ１７４を繰り返す。一方、ステップＳ１７４で同方向の加速度が検知されたときは、顔の向きを変えた等の意図的な動作が行われたものと判断し、表示を変更停止の状態から現フレームに変更しステップＳ１７８に移行する。なお、ステップＳ１７０で履歴分析の結果微小振動でないと判断された場合は、直ちにステップＳ１７８に移行する。

ステップＳ１７８では、現在の表示倍率の確認を行い、ステップＳ１８０に進んで表示倍率が当倍以上か否かチェックする。そして等倍以上であれば、ステップＳ１８２で倍率依存コマ落としを指示してステップＳ１８４に移行する。ステップＳ１８２の倍率依存コマ落としでは、例えば倍率が１．５倍のときフレームレートを半分に落とし、倍率が２倍の時はフレームレートを３分の１に落とすなど、倍率に依存したコマ落としを行い、倍率が高い程フレームレートを落として画像が短時間に細かく動かないようにし、拡大画像による映像酔い等を防止する。一方、ステップＳ１８０で画像が等倍以上でないときはステップＳ１８６に進み、通常フレームレートでの表示を指示してステップＳ１８４に移行する。

ステップＳ１８４では、加速度検知の有無を再度検知し、引き続き加速度が検知されるときはステップＳ１６４に戻り、加速度を最初に検知してから所定時間が経過したことがステップＳ１６４で検知されない限り、ステップＳ１６４からステップＳ１８８を繰り返す。一方、ステップＳ１８４で加速度検知がないことが確認されるとステップＳ１８８に進み、現フレームの表示を指示してフローを終了する。

また、ステップＳ１６４で加速度を最初に検知してから所定時間が経過したことが検知されたときは、たとえ加速度検知が継続していたとしても直ちにフローを終了する。これは図７のフローに長時間留まることによって図２における他のタスクを実行できなくなるのを防止するためである、図２に明らかなように他にタスクなければステップＳ１２からステップＳ３２の繰り返しの中でステップＳ３４に至るので、図７のフローが繰り返され、加速度検知があればこれに対応する図７の機能を継続することができる。なお、ステップＳ１６２で加速度が検知されない場合はステップＳ１９０に移行し、通常フレームレートでの表示を指示してフローを終了する。この場合、図７のフローには実質的に動作は行われないことになるが、通常表示状態以外でステップＳ１６２に至り加速度検知がされない場合のためにステップＳ１９０を置いている。

図８は、本発明の実施の形態に係る視覚補助システムの実施例３における全体構成を示すブロック図である。図８における実施例３の構成は、図１における実施例１と共通するところが多いので、同一部分には同一の番号を付し、説明を省略する。実施例３が実施例１と異なる第一点目は、ツル部２ｂに脈拍を検知する脈拍センサ６６が設けられており使用者が安静状態にあるか歩行中等の活動状態にあるか等の情報を通信ライン６８によりコントローラ４に送っている点である。実施例１と同様にして、パラレルデータ通信および電源供給ライン３８、通信ライン４２、４６、６８は実際には一本の接続ケーブルにまとめられている。また、図３においても、環境光センサ４０、加速度センサ４４および生体センサ６６が直接コントローラ４と通信する構成を図示しているが、各センサとコントローラ４は、駆動部１６を介してパラレルデータ通信および電源供給ライン３８で通信するよう構成してもよい。

図８に示す実施例３が図１の実施例１と異なる第二点目は、ＨＭＤ２に視線センサが設けられており、使用者の視線の動きを検知する点である。視線センサ７０によって検知された使用者の視線の動き等の情報は駆動部１６を介してパラレルデータ通信によりコントローラ４に送られる。脈拍センサ６６および視線センサ７０の詳細については後述する。実施例３における環境光センサ４０、加速度センサ４４、脈拍センサ６６、視線センサ７０等は、ＨＭＤ２が使用される際の状況を検知するものなので、状況センサと総称する。

図８に示す実施例３が図１の実施例１と異なる第三点目は、コントローラ４がモード記憶部７２を有し、拡大モード、ワイドモード、白黒反転モードなどの各モードがそれぞれ使用される状況を検知する状況センサおよび操作部５８の操作の関係の学習情報とともに登録される点である。そして、中央制御部７４との連携によって操作部５８によるモード選択に制限を加えたり、登録されたモードの自動選択を行ったりする。これらの詳細についても後述する。

図９は、実施例３における中央制御部７４の動作を説明する基本フローチャートである。図９のフローは、実施例３における図のフローと共通するところが多いので、共通するステップには同一ステップ番号を付して説明を省略するとともに、共通するステップ郡についてもこれらをまとめて図示し、説明を省略する。つまり、ステップＳ１９２の立上げ処理は図２のステップＳ２、ステップＳ４およびステップＳ８をまとめたもの、ステップＳ１９４は図２のステップＳ1２からステップＳ１８をまとめたもの、ステップＳ１９４は図２のステップＳ２２からステップＳ２８をまとめたものである。

ステップＳ１９６の表示・拝見変更処理を経てステップＳ１９８に至ると、通常モード以外の拡大モード、ワイドモード、白黒反転モードなどを選択可能なように登録するための手動の
モード登録操作があったか否かをチェックする。モード登録操作があったときはステップＳ２００に進み、操作に従ったモード手動登録処理を実行してステップＳ２０２に移行する。一方ステップＳ１９８でモード登録操作が検知されないときは直接ステップＳ２０２に移行する。

ステップＳ２０２では、モードを選択する手動操作があったか否かチェックする。モード選択操作があったときは、ステップＳ２０４以下に進み、で操作があったときの状況を各センサにて検知する。具体的には、ステップＳ２０４で環境光を環境光センサ４０にて検知するとともに、ステップＳ２０６で加速度を加速度センサ４４にて検知し、さらにステップＳ２０８で脈拍を脈拍センサ６６で検知する。また、ステップＳ２１０で視線の移動状態を視線センサ７０で検知する。

次いでステップＳ２１２では、そのモードが手動選択されたときに各センサの検知状態がどうであったかを学習してそのモードに自動登録するモード自動学習登録処理を行う。この処理では、例えば、拡大モードおよび白黒モードが選択されたときに、加速度検知のない静止状態でかつ脈拍から見て安静状態にあり、視線の移動が限定的であるであれば、このような状態のとき拡大モードかつ白黒モードが選択されるものであることを学習し、拡大モードと白黒モードにこれらの検知状態を登録する。つまり、このような状態の時は、使用者が読書または書類を見るために拡大モードと白黒モードを選択したものと解釈して登録する。

上記ステップＳ２１２のモード自動学習処理による登録情報は、後述のように一般的なモードを自動選択する際の妥当性のクロスチェックに用いられるとともに、使用者に特有の特定の学習結果条件の成立に基づく自動カスタムモード設定に利用される。ステップＳ２１２のモード自動学習処理が終了するとステップＳ２１４に進む。一方、ステップＳ２０２でモード選択操作が検知されない場合は直接ステップＳ２１４に移行する。ステップＳ２１４ではモード変更処理が実行されるがその詳細は後述する。ステップＳ３４以下は図２と共通である。

図１０は、図９のステップＳ２１４におけるモード変更処理の詳細を示すフローチャートである。フローがスタートすると、ステップＳ２２２でワイドモードに変更する旨の手動操作が行われたか否かのチェックが行われる。この操作が検知されなければステップＳ２２４に進み、拡大モードに変更する旨の手動操作が行われたか否かのチェックが行われる。拡大モードに変更する旨の手動操作が検知されるとステップＳ２２６に進み、使用者が移動中であることに対応する加速度が検知されているか否かのチェックが行われる。そして加速度検知がなければステップＳ２２８に進み、操作通りの倍率変更（この場合「拡大モード」の倍率）を実行してステップＳ２３０に移行する。

一方、ステップＳ２２６で、使用者が移動中であることに対応する加速度が検知されるとステップＳ２３２に移行し、拡大が不可である旨の報知表示をコントローラ表示部６０に表示して倍率変更を実行することなくステップＳ２３０に移行する。なお、拡大が不可である旨のメッセージ表示は右目画像用撮像素子２２および左目画像用撮像素子２６のいずれかの画像に重畳表示してもよい。

また、ステップＳ２２２で、ワイドモードに変更する旨の手動操作が行われたことが検知されると直接ステップＳ２２８に進み、操作通りの倍率変更（この場合「ワイドモード」の倍率）を実行してステップＳ２３０に移行する。このように、倍率を小さくするための操作であれば、仮に使用者が移動中であっても危険の可能性は少ないので加速度の検知は行わず、直ちに操作を実行する。なお、ステップＳ２２４で拡大モード操作が検知されなければ倍率変更の手動操作はないことを意味するので直ちにステップＳ２３０に移行する。

ステップＳ２３０では、使用者が視野狭窄者であるか否かを確認する。そして視野狭窄者でなければステップＳ２３６に移行して等倍表示を標準モードに設定してステップＳ２３６に移行する。一方、ステップＳ２３０で使用者が視野狭窄者であることが確認されると、ステップＳ２３８に移行し、ワイド表示を標準モードに設定してステップＳ２３６に移行する。

ステップ２３６以下は自動モード変更に関する。まず、ステップＳ２３６では、加速度センサ４４に基づき、使用者が静止状態にあるか否かチェックする。静止状態であればステップＳ２４０に進み、脈拍センサ６６に基づき、使用者が安静状態にあるか否かチェックする。そして静止状態にあればステップＳ２４２に進み、このような状態において自動的に拡大モードに設定することがこれまでの使用者の手動設定行動に矛盾しないかチェックする。この結果矛盾がなければステップＳ２４４で拡大モードを自動設定し、ステップＳ２４６に移行する。一方、ステップＳ２３６で静止状態が検知できないか、ステップＳ２４０で安静状態が検知できないか、またはステップＳ２４２で学習情報との矛盾が検知されるかしたときは拡大モードの自動設定をせず、ステップＳ２４６に移行する。なお、学習情報との矛盾とは、図９のステップＳ２０２からステップＳ２１２の自動登録処理において、静止状態かつ安静状態であるにも関わらず、拡大モードを手動選択した履歴が稀である場合、または、静止状態かつ安静状態であることに基づき自動設定された拡大モードが手動によりキャンセルされた履歴が認められる場合等である。このような場合、静止状態および安静状態であることが検知されても拡大モードを自動設定することは使用者の意向に反する可能性が高いので、拡大モードの自動設定を控えてステップＳ２４６に移行することになる。

ステップＳ２４６では、視線センサ７０の出力に基づく使用者の視線の動と読書パターンの視線移動を示す参照データとを比較し、使用者の視線移動が読書パターンの視線移動に該当するか否かチェックする。読書バターン視線移動であると判断されたときはステップＳ２４０に進み、読書パターンの視線移動がある状態において自動的に白黒反転モードに設定することがこれまでの使用者の手動設定行動に矛盾しないかチェックする。この結果矛盾がなければステップＳ２５０で白黒反転モードを自動設定し、ステップＳ２５２に移行する。一方、ステップＳ２４６で読書バターン視線移動が検知できないときは白黒反転モードの自動設定をせず、ステップＳ２５２に移行する。なお、この場合の学習情報との矛盾とは、ステップＳ２４２の説明と同様にして、図９のステップＳ２０２からステップＳ２１２の自動登録処理において、読書パターン視線移動があるにも関わらず、白黒反転モードを手動選択した履歴が稀である場合、または、読書パターン視線移動に基づき自動設定された白黒反転モードが手動によりキャンセルされた履歴が認められる合等である。このような場合、読書パターン視線移動が検知されても白黒反転モードを自動設定することは使用者の意向に反する可能性が高いので、白黒反転モードの自動設定を控えてステップＳ２５４に移行することになる。

以上のステップＳ２３６からステップＳ２５０の自動設定において、ステップＳ２４４での拡大モード自動設定を経てステップＳ２５０の白黒反転モード自動設定が行われた場合は、拡大された表示が白黒反転される。一方、ステップＳ２４４での拡大モード自動設定が行われてもステップＳ２４６で読書パターンの視線移動が検知されない場合は、例えば椅子に座って組立作業等を行っている可能性があり、文字判読に適した白黒反転を行うことは不適当な場合が多いので、拡大モードの自動設定のみでステップＳ２５２に至ることになる。

また、以上のステップＳ２３６からステップＳ２５０における自動設定は拡大モードや白黒反転モード等の比較的一般的なモードの自動設定に関するものである。これに対し、ステップＳ２５２およびステップＳ２５４は、明暗への順応障害、視野の異常等、使用者の症状に合わせて特定の使用者についてカスタム設定された複数のモード（少なくとも特定条件下での特定モードとその使用者について個別設定された標準モードとを含む）から一つを状況に応じて選択し、自動設定するために設けられているものである。具体的には、ステップＳ２５２においてカスタム設定された所定の条件に該当するか否かがチェクされ、該当すればステップＳ２５４の自動カスタムモード設定処理に入ってモード設定の変更を自動的に行い、ステップＳ２５６に移行する。一方、ステップＳ２５２でカスタム設定条件に該当することが検知されない場合は直接ステップＳ２５６に移行し、現設定モードを維持する。

ステップＳ２５６では、移動加速度が検知されたか否かのチェックを行う。そして移動加速度が検知されたときはステップＳ２５８に移行し、標準モードへの自動復帰を行ってフローを終了する。一方、ステップＳ２５６において移動加速度が検知されない場合は、現設定モードを維持してフローを終了する。ステップＳ２５６において移動加速度が検知された場合は、例えば椅子に座って読書や作業などをしていた人が立ち上がって歩き出した可能性があり、このような場合に拡大モードや白黒反転モードが維持されると危険であるためステップＳ２５８で標準モードへの自動復帰を行う。この標準モードは、ステップＳ２３４またはステップＳ２３８で設定された等倍モードまたはワイドモードである。また、標準モードは、特定の使用者についてカスタム設定しておくことも可能である。

以上の各実施例に示した種々の特徴の実施は、それぞれの実施例に限るものではなく、その利点を享受できる限り、他の実施例でも実施可能である。また、本明細書では、簡単のため、各実施例における説明や図示を他の実施例と異なる部分に集中しているが、各実施例において説明したそれぞれの特徴を兼ね備えた実施、これらを置き換えた実施、または複数の特徴を組み合わせた実施等も可能であることは言うまでもない。

本発明は、視覚補助システムに適用することができる。

２２、２４、２６、２８撮像部
５０画像処理部
１２、１８、１４、２０表示部
７２、処理モードを記憶する記憶部
５８，７４選択部
４０、４４、６６、７０状況センサ
７４画像表示のフレームレートを低下させる制御部
７４表示の変更を停止する制御部
７４画像処理部の処理を変更する制御部
７４画像処理部の処理を標準状態に復帰させる制御部

Claims

使用者が見ようとする対象を撮像する撮像部と、前記撮像部により得られた画像を使用者の視覚障害に合わせて補正する画像処理部と、画像処理部の画像を使用者が見えるよう表示する表示部と、前記画像処理部による複数の処理モードを記憶する記憶部と、前記複数の処理モードからの選択を行う選択部と、使用時の状況を検知する状況センサとを有し、前記複数の処理モードは使用者の移動に適した画像倍率の標準モードと前記標準モードよりも画像倍率が高い画像拡大モードを含み、前記状況センサは前記複数の処理モードからの選択を行うための手動操作が行われる際の状況を検知するとともに、前記記憶部は前記検知された状況とこれに対応して前記手動操作によって選択された処理モードを学習記憶し、前記選択部は、前記記憶部の前記学習記憶と前記状況センサの検知に基づきその状況において過去の手動操作により選択された前記記憶部の処理モードを同じ手動操作を要さず自動選択するとともに前記状況センサの検知が前記学習記憶に矛盾するときは前記自動選択が使用者の意向に反する可能性が高いと判断して前記状況センサに基づく前記自動選択を控え、前記状況センサによる移動加速度の検知に基づき前記自動選択による前記画像拡大モードの選択から前記標準モードの選択に自動復帰することで危険を防止することを特徴とする視覚補助システム。
前記選択部は、前記状況センサが移動加速度を検知するとき前記画像拡大モードを選択する手動操作に制限を加えることで危険を防止することを特徴とする請求項１記載の視覚補助システム。
前記選択部が前記画象拡大モードを選択するとき前記表示部における画像表示のフレームレートを低下させることで画像が細かく動かないようにし映像酔いを防止することを特徴とする請求項１または２記載の視覚補助システム。
前記状況センサが微小振動を検知するとき前記表示部における表示の変更を停止することを特徴とする請求項１から３のいずれかに記載の視覚補助システム。