JP6036291B2 - 表示装置、表示システム、および、表示装置の制御方法 - Google Patents

表示装置、表示システム、および、表示装置の制御方法 Download PDF

Info

Publication number
JP6036291B2
JP6036291B2 JP2012287264A JP2012287264A JP6036291B2 JP 6036291 B2 JP6036291 B2 JP 6036291B2 JP 2012287264 A JP2012287264 A JP 2012287264A JP 2012287264 A JP2012287264 A JP 2012287264A JP 6036291 B2 JP6036291 B2 JP 6036291B2
Authority
JP
Japan
Prior art keywords
image
display
display device
training
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012287264A
Other languages
English (en)
Other versions
JP2014130204A (ja
Inventor
薫 千代
薫 千代
敏一 内山
敏一 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2012287264A priority Critical patent/JP6036291B2/ja
Publication of JP2014130204A publication Critical patent/JP2014130204A/ja
Application granted granted Critical
Publication of JP6036291B2 publication Critical patent/JP6036291B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示装置、表示システム、および、表示装置の制御方法に関する。
従来、視機能の改善や視機能の疲労回復を目的として、ユーザーの視機能に刺激を与える装置が知られている(例えば、特許文献1、2参照)。特許文献1記載の装置は、ユーザーが接眼部に顔を当てて筐体内を覗き込む構成を有し、筐体内に設けられた表示部を接眼部に接近および離隔するよう移動させることで、結像機能に刺激を与える。また、特許文献2記載の視力トレーニング器は、ランドルト環が付されたプレートを移動させることにより、眼球の開散運動と輻輳運動を促す。
特開2007−014417号公報 特開2011−224310号公報
この種の装置により効果を得るためには継続的に使用することが望ましいが、上記従来の装置は視機能に刺激を与えるために移動する機構部を備える必要があり、小型化が難しく、設置場所の確保や手軽さといった面で問題があった。また、固定的に設けられた画像や模様を視認させる方法では、与えられる刺激の種類が限定されてしまうという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、手軽に利用することが可能な装置により、ユーザーの視機能に対してより効果的な刺激を与えられるようにすることを目的とする。
上記目的を達成するために、本発明は、頭部装着型の表示装置であって、画像光を出力して画像を視認させ、装着者の左目に視認される画像と右目に視認される画像とを独立して表示可能な表示手段と、前記表示手段によって、前記装着者の左目に視認される左画像と右目に視認される右画像とを有する視機能刺激画像を表示させる表示制御手段と、を備え、前記視機能刺激画像は、前記左画像と前記右画像とを異なる画像とすることにより、装着者の注視点の遠近方向への移動を促す画像であること、を特徴とする。
本発明によれば、頭部装着型の表示装置により装着者に画像を視認させることにより、装着者の注視点の遠近方向への移動を促すので、設置場所の確保が容易で手軽に利用可能な表示装置を利用して、装着者の視機能に効果的な刺激を与えて、視機能の改善や疲労回復を図ることができる。また、表示する画像を変更することも容易であるため、装着者を飽きさせず、より効果的な刺激を与えることができる。
また、本発明は、上記表示装置であって、前記表示手段は、外景と前記画像を重ねて視認させるシースルー型の表示手段であり、前記外景の視認性を調整可能であることを特徴とする。
本発明によれば、装着者が表示画像と外景とを重ねて視認することが可能であり、外景の視認性を調整可能であるため、装着者は外景を見ながら視機能の改善や疲労回復を図ることができる。装着者が外景を視認できることから装着者の心理的抵抗をより一層低減することができ、より手軽に本発明の装置を利用することができる。さらに、外景の見え方を利用することで装着者に不自然な印象を与えることなく視機能に刺激を与えることができる。
また、本発明は、上記表示装置であって、前記表示制御手段は、前記装着者の左目と右目の輻輳角を所定の輻輳角に導く前記視機能刺激画像を、前記表示手段によって表示させることを特徴とする。
本発明によれば、装着者の左右の輻輳角を所定の輻輳角に導くことにより、装着者の輻輳角調整機能に刺激を与えることができ、視機能の改善や疲労回復を図ることができる。
また、本発明は、上記表示装置であって、前記表示制御手段は、前記装着者の左目と右目の輻輳角を経時的に変化させる前記視機能刺激画像を、前記表示手段によって表示させることを特徴とする。
本発明によれば、装着者の左右の輻輳角の変化を促すことにより、装着者の輻輳角調整機能に対し、より効果的に刺激を与えることができ、視機能の改善や疲労回復を図ることができる。
また、本発明は、上記表示装置であって、前記表示制御手段は、前記視機能刺激画像として、視差を有する前記左画像と前記右画像とにより構成される立体画像と、同一の前記左画像と前記右画像とにより構成される平面画像とを前記表示手段により表示させることを特徴とする。
本発明によれば、立体画像と平面画像とを視認させることにより、多彩な表示を行うことが可能となり、より効果的に刺激を与えることができる。
また、本発明は、上記表示装置であって、前記表示制御手段は、前記視機能刺激画像として、注視対象の表示要素が時間の経過とともに移動する画像を表示可能であることを特徴とする。
本発明によれば、注視対象の表示要素の変化により、装着者の視機能に対し様々な刺激を与えることができる。
また、本発明は、上記表示装置であって、前記装着者の視線方向を検出する視線検出手段と、前記表示手段により前記視機能刺激画像を表示した際に前記視線検出手段により検出された前記装着者の視線方向を記憶する履歴記憶手段と、を備えたことを特徴とする。
本発明によれば、装着者の視線方向を記憶することにより、装着者に対する効果に関する情報を記憶し、解析することができる。これにより、例えば継続して装置を使用する場合に装着者の視線方向の記録に基づいて画像の内容を変更する等、より効果的に刺激を与えることができる。
また、上記目的を達成するため、本発明は、頭部装着型の表示装置と、前記表示装置に画像を供給する画像供給装置とを有する表示システムであって、前記表示装置は、画像光を出力して画像を視認させる表示手段と、前記画像供給装置から供給される、装着者の注視点の遠近方向への移動を促す視機能刺激画像を前記表示手段により表示させる表示制御手段と、を備えたことを特徴とする。
本発明によれば、頭部装着型の表示装置により装着者に画像を視認させることにより、装着者の注視点の遠近方向への移動を促すので、設置場所の確保が容易で手軽に利用可能な表示装置を利用して、装着者の視機能に効果的な刺激を与えて、視機能の改善や疲労回復を図ることができる。また、表示する画像を変更することも容易であるため、装着者を飽きさせず、より効果的な刺激を与えることができる。
また、上記目的を達成するため、本発明は、頭部装着型の表示装置の制御方法であって、装着者の左目に視認される画像と右目に視認される画像とを独立して表示可能な表示手段により、前記装着者の左目に視認される左画像と右目に視認される右画像とを有し、前記左画像と前記右画像とを異なる画像とすることにより、装着者の注視点の遠近方向への移動を促す視機能刺激画像を表示させ、前記表示手段により前記視機能刺激画像を表示した際に前記装着者の視線方向を検出し、検出した前記装着者の視線方向を記憶すること、を特徴とする。
本発明によれば、装着者が表示画像と外景とを重ねて視認することが可能であり、この外景の視認性が調整されているために注視点の移動が促されるので、装着者は外景を見ながら視機能の改善や疲労回復を図ることができる。装着者が外景を視認できることから装着者の心理的抵抗をより一層低減することができ、より手軽に本発明の装置を利用することができる。さらに、外景の見え方を利用することで装着者に不自然な印象を与えることなく視機能に刺激を与えることができる。さらにまた、装着者の視線方向を記憶することにより、装着者に対する実際の効果に近い情報を得ることができる。これにより、例えば継続して装置を使用する場合に装着者の視線方向の記録に基づいて画像の内容を変更する等、より効果的に刺激を与えることができる。
本発明によれば、設置場所の確保が容易で手軽に利用可能な表示装置を利用して、装着者の視機能に効果的な刺激を与えて、視機能の改善や疲労回復を図ることができる。
本発明の実施形態に係る頭部装着型表示装置の外観図である。 頭部装着型表示装置の光学系の概略構成を示す図である。 頭部装着型表示装置の制御系の機能ブロック図である。 頭部装着型表示装置を用いた視覚訓練の例を示す説明図であり、(A)はユーザーの視線方向を示す模式図であり、(B)〜(D)は視覚訓練用の画像の例を示す。 頭部装着型表示装置を用いた視覚訓練の別の例を示す説明図であり、(A)はユーザーの視線方向を示す模式図であり、(B)〜(C)は視覚訓練用の画像の例を示す。 頭部装着型表示装置により外景の視認性を調整する動作の説明図であり、(A)は外景の視認性を高める例を示し、(B)は外景の視認性を低くした例を示す。 頭部装着型表示装置により視機能の測定を行う動作の説明図であり、(A)〜(D)は測定用の画像の例を示し、(E)は制御装置の操作態様の説明図である。 記憶部に記憶されるデータの構成例を模式的に示す図であり、(A)は訓練設定データの構成例を示し、(B)は訓練履歴データの構成例を示す。 頭部装着型表示装置の動作を示すフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。
図1は、本発明の実施形態に係る頭部装着型表示装置の外観図である。
頭部装着型表示装置HMは、ユーザー(装着者)の頭部に装着される頭部装着型表示装置であり、ヘッドマウントディスプレイ(HMD:Head Mounted Display)と呼ばれる。本実施形態の頭部装着型表示装置HMは、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
図1に示すように、頭部装着型表示装置HMは、ユーザーの頭部に装着される画像表示部20と、画像表示部20を制御する制御装置10とを備えている。画像表示部20は、右保持部21、右表示駆動部22、左保持部23、左表示駆動部24および右光学像表示部26を備えている。
右光学像表示部26および左光学像表示部28は、それぞれユーザーの右眼および左眼の眼前に位置し、ユーザーの眉間に対応する位置で相互に接続されて一体となっている。右光学像表示部26の端部ERからは右保持部21が延伸し、左光学像表示部28の端部ELからは左保持部23が延伸している。
右保持部21は、ユーザーの右側頭部の側方に位置し、その先端はユーザーの右耳に係合する。また、左保持部23はユーザー左側頭部の側方に位置し、その先端はユーザーの左耳に係合する。これら右保持部21および左保持部23の先端と、右光学像表示部26および左光学像表示部28の接合部の下端に設けられた鼻当て部とによって頭部装着型表示装置HMが支持される。
右保持部21の基端部には右表示駆動部22が内蔵され、左保持部23の基端部には左表示駆動部24が内蔵される。これら右表示駆動部22および左表示駆動部24により、頭部装着型表示装置HMはユーザーの右眼と左眼の各々に画像を視認させる。
右光学像表示部26および左光学像表示部28の前面側すなわち表面側には、調光板20Aが設けられている。調光板20Aは右光学像表示部26および左光学像表示部28に対し着脱可能であり、複数種類の調光板20Aを交換して装着できる。調光板20Aは薄板状の光学素子であり、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができ、調光板20Aの光学特性を適宜選択することにより、外部から右光学像表示部26および左光学像表示部28に入射する外光の光量を調整できる。本実施形態では、少なくとも、頭部装着型表示装置HMを装着したユーザーが外の景色を視認できる程度の光透過性を有する調光板20Aを用いる場合について説明する。調光板20Aは、後述する右導光板261、左導光板262を損傷や、汚れの付着等から保護する機能も有する。
また、頭部装着型表示装置HMの前面において右光学像表示部26と左光学像表示部28の境目部分には、カメラ61が配置されている。カメラ61の位置は頭部装着型表示装置HMの前面のほぼ中央であり、ユーザーの左右の眼の中間位置となっている。
カメラ61の撮影方向すなわち画角は、頭部装着型表示装置HMの表側方向、換言すれば、頭部装着型表示装置HMを装着した状態におけるユーザーの視界方向の少なくとも一部の外景を撮影する方向となっている。好ましくは面262Aを通してユーザーが視認する範囲の外景を撮影する方向である。また、カメラ61の撮像範囲は、面262Aを通してユーザーに視認される範囲を含む範囲であり、調光板20Aを通したユーザーの視界の全体を撮影できることが好ましい。
カメラ61は、静止画像の間欠撮影または動画像を撮影して撮影画像データを出力する。なお、本実施形態においてカメラ61は、1つのデジタルカメラとして例示するが、複数のデジタルカメラからなるステレオビデオカメラを採用してもよい。
図2は、画像表示部20における光学系の概略構成を示す図である。この図2には、ユーザーの左眼LEに虚像を視認させる左表示駆動部24および左導光板262の構成を平面図により示す。ユーザーの左眼と右眼に虚像を視認させる各構成は左右対称であるため、ここでは左表示駆動部24および左導光板262についてのみ説明する。
画像表示部20の左表示駆動部24は、LED等の光源と拡散板とを有する左バックライト222、左バックライト222の拡散板から発せられる光の光路上に配置される透過型の左LCD(Liquid Crystal Display:液晶ディスプレイ)242、および、左LCD242を透過した画像光Lを導くレンズ群等を備えた左投写光学系252を備えている。
左投写光学系252は、左LCD242から射出された画像光Lを並行状態の光束にするコリメートレンズによって構成される。左投写光学系252を経た画像光Lは左導光板262に入射する。左導光板262は画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。そして、左眼LEの眼前に位置する面262Aで反射した画像光Lは左眼LEに向けて右光学像表示部26から射出され、この画像光Lが左眼LEの網膜に像を結び、ユーザーに画像を視認させる。
なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。この導光部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
面262Aはハーフミラーで構成される。このため、ユーザーの左眼LEには、面262Aで反射した画像光Lだけでなく、調光板20Aを透過した外光OLが入射する。つまり、頭部装着型表示装置HMは、内部で処理した画像の画像光Lと外光OLとを重ねてユーザーの眼に入射させ、ユーザーにとっては、頭部装着型表示装置HMの調光板20Aを透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。つまり、頭部装着型表示装置HMは、シースルー型の表示装置といえる。
頭部装着型表示装置HMのユーザーの両眼に導かれた画像光Lがユーザーの網膜に結像することにより、ユーザーは虚像を視認する。ここで、ユーザーにとっての外景と虚像の視認性は外光OLと画像光Lの光量のバランスに影響され、外光OLの光量が画像光Lよりも大きい場合には外景がよく見える一方で頭部装着型表示装置HMが処理(表示)する虚像の視認性は低い。反対に、画像光Lの光量が外光OLに比べて大きい場合は、頭部装着型表示装置HMが処理(表示)する虚像の視認性が高いのに対し、外景の視認性は低い。
このため、頭部装着型表示装置HMは、画像光Lの光量を変化させることにより、外景の視認性を変化させることができる。画像光Lの光量を変化させる方法としては、例えば、光源である右バックライト221および左バックライト222が発する光量を変化させる方法と、右LCD241および左LCD242における光の透過性を変化させる方法とがあり、どちらの方法を採用してもよいし、いずれか一方のみであってもよい。
右バックライト221および左バックライト222の光量を変化させる方法は、詳細には、各バックライトの光源の輝度を変化させる方法、および、各バックライトに減光板等により光量を減衰させる光量調整機構を設け、この光量調整機構の動作により光量を変化させる方法があり、どちらの方法を採用してもよい。
右LCD241および左LCD242における光の透過性は、右LCD241および左LCD242の各画素の表示色の明度により決定される。従って、右LCD241および左LCD242に表示する画像の色調(明暗)を全体的に変化させることにより、各画素における光透過性を調整できる。この調整は、画像の色調を変化させる画像処理技術により実現可能である。
図1に戻り、頭部装着型表示装置HMは、画像表示部20を制御装置10に接続する接続部40を有している。接続部40は、制御装置10に接続される本体コード48と、本体コード48から連結部材46を介して分岐する2本の右コード42および左コード44とを有する。右コード42は、右保持部21の筐体内に挿入され、右表示駆動部22に接続される。左コード44は、左保持部23の筐体内に挿入され、左表示駆動部24に接続される。
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行う。右コード42、左コード44、および本体コード48には、例えば、金属ケーブルや、光ファイバーを採用することができる。
制御装置10は、頭部装着型表示装置HMを操作するための装置である。制御装置10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。
点灯部12は、LED等からなるインジケーターを備え、頭部装着型表示装置HMの動作状態(例えば、電源のON/OFF等)を、その発光状態によって通知する。タッチパッド14は、ユーザーの指による接触操作を検出して、検出内容に応じた信号を出力する。十字キー16は、上下左右方向に対応するキーであり、押下操作に応じた信号を出力する。電源スイッチ18は、頭部装着型表示装置HMの電源状態を切り替えるスイッチである。
図3は、頭部装着型表示装置HMの制御系の構成を示す機能ブロック図である。
制御装置10は、入力情報取得部110と、記憶部120と、電源130と、制御部140と、通信インターフェイス185と、送信部(Tx)51、52と、を備える。前述の各部はバス(図示省略)により相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14、十字キー16、電源スイッチ18等による入力に応じた信号を取得する。記憶部120は、半導体メモリー素子や磁気的記憶装置等によりプログラムやデータを記憶する。電源130は、例えば2次電池を備え、頭部装着型表示装置HMの各部に電力を供給する。
制御部140は、CPU、ROM、RAM等を備え、ROMまたは記憶部120に記憶されたプログラムを実行することにより、頭部装着型表示装置HMの各部を制御する。制御部140は、上記プログラムを実行することにより、画像処理部160、訓練画像表示制御部191(表示制御手段)、視線方向検出部192、画像調整部193、音声処理部170、及び表示制御部190としても機能する。
画像処理部160は、通信インターフェイス185を介して入力されるコンテンツ等に基づいて画像表示部20に供給する信号を生成し、画像表示部20へ送信する。画像処理部160は、通信インターフェイス185を介してアナログ信号が入力された場合には、A/D変換処理を行ってデジタル画像データ(Data)を生成し、クロック信号(PCLK)と、垂直同期信号(VSync)と、水平同期信号(HSync)とともに出力する。また、画像処理部160は、デジタル画像データが通信インターフェイス185に入力された場合、フレームレートの変換や解像度変換等の各種処理を行って、処理後のデジタル画像データをクロック信号、垂直同期信号および水平同期信号を出力する。
画像処理部160が出力する信号は送信部51を介して画像表示部20の右表示駆動部22に入力され、送信部52を介して左表示駆動部24に入力される。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部20の右イヤホン32および左イヤホン34に対し、接続部40を介して供給する。
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス180は、頭部装着型表示装置HMの外部の機器OAに有線接続される各種コネクターおよびインターフェイス回路、および/又は、外部の機器OAと無線信号を送受信する無線通信部およびインターフェイス回路を備えている。インターフェイス180は、例えば、USB規格に準拠したインターフェイス、メモリーカード用インターフェイス、無線LANやBluetooth(登録商標)規格に準拠した無線通信インターフェイス、その他の近距離無線通信インターフェイス等を備えることができる。機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。また、インターフェイス180にアナログ信号を入力するコネクター等を設けてもよい。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、右イヤホン32と、左イヤホン34とを備えている。
右表示駆動部22は、受信部(Rx)53と、右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを備える。
受信部53は、送信部51から入力される信号を受信する。右バックライト制御部201は、受信部53に入力された制御信号に基づいて、右バックライト221を駆動する。右LCD制御部211は、受信部53に入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用の画像データとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、右LCD制御部211により駆動されて各種画像を描画する。
同様に、左表示駆動部24は、受信部(Rx)54と、左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD242および左LCD242と、左投写光学系252とを備える。
なお、右バックライト制御部201、右LCD制御部211、右バックライト221、および右LCD241を総称して右側の「画像光生成部」と呼び、左バックライト制御部202、左LCD制御部212、左バックライト222、および左LCD242を総称して、左側の「画像光生成部」と呼ぶ。また、右保持部21および左保持部23を総称して単に「保持部」と、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」と、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
そして、これら表示駆動部と、画像光生成部とによって本発明の表示手段が構成される。表示手段には、光学像表示部を含んでもよいし、導光部を含んでもよい。
受信部54は、送信部52から入力される信号を受信する。左バックライト制御部202は、受信部54に入力された制御信号に基づいて、左バックライト222を駆動する。左LCD制御部212は、受信部54に入力されたクロック信号と、垂直同期信号と、水平同期信号と、左眼用の画像データとに基づいて、左LCD242を駆動する。左LCD242は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、左LCD制御部212により駆動されて各種画像を描画する。
以下の説明では、頭部装着型表示装置HMによりユーザーが視認する虚像を「画像」と呼ぶ。この画像は、右LCD241、左LCD242に形成される画像がユーザーの網膜に結像して認識されるものである。また、頭部装着型表示装置HMがユーザーに虚像を視認させることを「表示」と呼ぶ。
制御部140は、通信インターフェイス185から入力される各種コンテンツの画像を画像表示部20によって表示し、音声を含むコンテンツの画像を表示する場合は画像の表示とともに右イヤホン32、34から音声を出力する。これにより、ユーザーは各種映像コンテンツを視聴できる。
本実施形態の頭部装着型表示装置HMでは、ユーザーに視覚刺激用の画像(視機能刺激画像)を視認させて、視機能に刺激を与えることができる。
制御部140は、訓練画像表示制御部191を備えている。訓練画像表示制御部191は、記憶部120に記憶された訓練画像データ123を取得して、表示制御部190に出力することにより、右LCD241および左LCD242によって視機能刺激画像を表示させる。視機能刺激画像としては、後述するように、静止画像および動画像があり、視差を有する左眼用の画像(左画像)と右眼用の画像(右画像)との組み合わせからなる立体画像を表示できる。訓練画像表示制御部191は、ユーザーに視認させる画像を選択し、画像を適宜切り替えて右LCD241および左LCD242によって表示させる。
視機能刺激画像は、詳細については後述するが、左画像と右画像とを異なる画像とすることにより、装着者の注視点の遠近方向への移動を促す画像である。視機能刺激画像を構成する一つの画像をユーザーが注視する状態から、視機能刺激画像の他の画像に表示を切り替えた場合に、ユーザーの眼が遠近方向の調整をするような画像である。つまり、視機能刺激画像は経時的に変化する画像または切り替えて表示される複数の画像により構成されるものとしてもよい。ユーザーは、右LCD241および左LCD242によって表示される画像が切り替わるたび、その画像を注視するだけでよい。画像の切り替わりによって、ユーザーの眼が遠近方向の調整を行うことで、ユーザーの視機能に刺激を与え、視機能の改善や疲労回復を図ることができる。
視線方向検出部192は、制御部140に接続された視線検出部189を制御することにより、ユーザーの視線方向を検出する。
視線検出部189は、頭部装着型表示装置HMを装着したユーザーの視線方向を検出するためのハードウェアであり、例えば、ユーザーの眼に赤外線を照射して眼球を赤外線により撮影する赤外線カメラ、或いは、眼球運動に関連する角膜−網膜電位等の電気的測定を行う測定器が挙げられる。視線検出部189は、画像表示部20の内側、すなわち右眼RE、左眼LE側に設けられ、右眼REと左眼LEの各々について、視線方向を検出するための撮影または測定を実行する。視線方向検出部192は、視線検出部189を用いて、ユーザーの視線方向を検出する。具体的には、視線検出部189が赤外線カメラで構成される場合、視線方向検出部192は、視線検出部189の撮影画像データを解析して瞳孔と角膜反射とを検出することにより、視線方向を算出する。また、視線検出部189が角膜−網膜電位等の電気的測定を行う測定器で構成される場合、視線方向検出部192は、測定値から視線移動以外の成分を除く処理等を行って、視線方向を算出する。
なお、画像表示部20に、視線検出部189を構成する赤外線カメラまたは測定器を、右眼REと左眼LEのいずれか一方側に対応する位置にのみ設けてもよく、この場合、視線方向検出部192は、右眼REと左眼LEのいずれか一眼の視線方向を算出する。また、視線方向検出部192は、ユーザーの右眼REと左眼LEの各々の視線方向を算出して、これら各眼の視線方向を出力してもよいし、右眼REと左眼LEについて算出した視線方向に基づき、例えば各眼の視線方向の中間方向を求める等の処理を行って、両眼の視線方向として一つの視線方向を求め、出力してもよい。本実施形態では、視線方向検出部192が右眼REと左眼LEの各々の視線方向を出力する場合について説明する。
画像調整部193は、訓練画像表示制御部191が訓練用の画像(視機能刺激画像)を表示する際に、画像光L(画像光Lの光量、画像の色調等)を調整し、外景の視認性を調整する。例えば、画像調整部193は、画像光Lの光量を調整し、画像光Lの光量を大きくして画像光Lの視認性を高めるとともに外景の視認性を低下させる制御、或いは、画像光Lの光量を小さくして外景の視認性を高める制御を行う。画像調整部193が画像光Lの光量を調整する方法は、右バックライト221および左バックライト222の光量を変化させる方法、および、右LCD241および左LCD242に描画される画像の色調を変化させる方法のいずれであってもよい。
また、訓練画像表示制御部191は、訓練画像データ123に基づいて複数の画像を選択して表示させることができ、ユーザーの過去の履歴に基づいて画像を選択することで、より効果的にユーザーの視覚に刺激を与えることができる。
訓練画像表示制御部191は、記憶部120に記憶された訓練設定データ125に基づいて、訓練画像データ123により表示可能な画像の中から、表示させる画像を選択する。訓練設定データ125は、頭部装着型表示装置HMがユーザーに対し提供可能な訓練の種類と、訓練のレベルと、各訓練で表示する画像とを対応づけたデータである。この訓練設定データ125に基づき、訓練画像表示制御部191は、実行する訓練の種類およびレベルに対応した画像を選択できる。ここで、訓練のレベルとは、刺激の強度または難易度に相当する指標であり、画像の変化に対し、ユーザーの視機能が追従しやすいかどうかを表す。
訓練画像表示制御部191は、訓練用の画像を表示している間に視線方向検出部192により検出された視線方向を取得し、この視線方向をもとに、記憶部120に記憶された成績判定データ127に基づいて、ユーザーの成績を判定する。具体的には、訓練画像表示制御部191はユーザーの視線を動かすことを目的とした画像を表示させ、この画像で企図された視線の動きと、視線方向検出部192が検出したユーザーの視線方向の動きとを比較することで、ユーザーの視線の動きが画像に追従できているか否かを判定し、視線追従成績を判定する。訓練設定データ125には、訓練の内容(訓練の種類、訓練のレベル、表示させた画像等)に対応づけて、視線追従成績を判定する判定基準値等が含まれており、訓練画像表示制御部191は、訓練設定データ125の基準値等に基づいて視線追従成績を判定する。
そして、訓練画像表示制御部191は、実行した訓練の内容(訓練の種類、訓練のレベル、表示させた画像等)に関する情報と視線追従成績とを対応づけて、訓練履歴データ129として記憶部120に記憶させる。すなわち、訓練履歴データ129は、ユーザーが頭部装着型表示装置HMにより過去に受けた訓練の内容と、その際の視線追従成績とを示すデータである。訓練履歴データ129は、複数のユーザーに対応して、ユーザー毎に実行した訓練に関する情報と視線追従成績とを含んでいてもよい。
訓練画像表示制御部191は、ユーザーに対する訓練画像の表示を開始する際に、訓練履歴データ129を参照して、当該ユーザーに対して過去に行った訓練の内容と視線追従成績とを取得する。訓練設定データ125には、訓練の内容と視線追従成績に基づき画像を選択するための情報が含まれている。このように、訓練画像表示制御部191は、ユーザーの過去の成績に対応した訓練を実行できる。これにより、ユーザーの視機能の状態に合わせたレベルの訓練を実行できるので、視力の向上や視機能の疲労回復に関して効果の高い訓練を実行できる。また、適切な難易度の訓練を行うので、ユーザーに負担感を抱かせたり、飽きさせたりする心配がなく、ユーザーに対して継続的な訓練を促し、結果として高い訓練効果が期待できる。
以下、頭部装着型表示装置HMにおいて表示される訓練用の画像の例を挙げて説明する。
図4および図5は、頭部装着型表示装置HMを用いた訓練の例を示す説明図であり、図4(A)および図5(A)はユーザーの視線方向を示す模式図であり、図4(B)〜(D)および図5(B)〜(C)は視覚訓練用の画像、すなわち視機能刺激画像の例を示す。なお、図5(B)および(C)には画像の上下方向の中心と左右方向の中心とを示す補助線(一点鎖線)を付しているが、この補助線は実際の画像に含まれない。
図4(A)〜(C)に示す例では、ユーザーの注視点を無限遠方向に誘導する画像を表示する例を示す。この場合、図4(A)に示すように、ユーザーの視線は無限遠方向を向くため、右眼REの視線方向R1、および、左眼LEの視線方向L1はほぼ平行に、真正面に近い方向となる。また、右眼REが右導光板261により視認する画像と、左眼LEが左導光板262により視認する画像とは同一であり、別の説明をすれば、左右の視差が無く輻輳角は0度である。
ユーザーに対して表示する画像は、例えば図4(B)〜(D)に示す画像351のように、ランドルト環を用いてもよい。また、他の図形、記号、文字、写真等を用いることも可能である。画像351を表示した場合、ユーザーの視線方向R1、L1はランドルト環を注視する方向となる。訓練画像表示制御部191は、視線方向検出部192が検出した視線方向に基づき、視線方向R1、L1が同じ方向を向いているか否か、すなわちユーザーが無限遠のランドルト環を注視しているか否かを判定し、視線追従成績として記憶させる。
画像351の表示中にユーザーがランドルト環を注視していないと判定された場合、ユーザーの視機能の低下または疲労により、ランドルト環がはっきりと見えていないことが考えられる。このような場合、訓練画像表示制御部191は、訓練設定データ125に従って、より大きいランドルト環を含む画像352(図4(C))を表示してもよい。また、画像351、352の2つだけでなく、ランドルト環等のサイズが異なる複数の画像を用いることができる。そして、視線を無限遠方向に誘導する訓練では、表示される画像中の注視対象(ランドルト環等)のサイズを変えることで、難易度すなわちレベルを段階的に変えることができる。
また、頭部装着型表示装置HMは、ユーザーの視線を水平方向および垂直方向に移動させる画像を表示することもできる。すなわち、訓練画像表示制御部191は、図4(D)に模式的に示すように、ランドルト環が移動する動画像354を表示することができる。画像354は、ランドルト環が画像内で移動することでユーザーの視線の移動を促す画像であり、複数の静止画像からなるアニメーション、または動画像で構成される。訓練画像表示制御部191は、画像354の表示中に視線方向検出部192が検出する視線方向R1、L1が画像354におけるランドルト環の移動に追従しているか否かを判定する。訓練画像表示制御部191は、画像354のほか、ランドルト環の移動速度および/または移動方向が異なる複数の画像を用いることができる。図4(D)で説明した、視線を移動させる訓練では、表示される画像中の注視対象(ランドルト環等)の移動速度および/または移動方向を変えることで、難易度すなわちレベルを段階的に変えることができる。さらに、レベルによって注視対象のサイズを変えてもよい。
画像354に矢印で示すように、ランドルト環が周回移動する場合、ユーザーの眼球は、ランドルト環の移動に伴って回転する。画像354の内容により、ユーザーの眼の運動について、速度や方向を変化させることができる。画像354で、ランドルト環の移動形態は回転に限定されず、上下、左右、斜め方向の往復移動やランダムな移動など、様々な移動態様とすることができる。また、ランドルト環の移動の速度を適宜変更することも可能である。ユーザーは、画像354のランドルト環を眼で追うことで、眼球をゆっくり動かしたり、速く動かしたり、周回するように或いは一方向に往復するように動かしたりする。これにより、ユーザーの外眼筋(上斜筋、上直筋、下斜筋、下直筋、内直筋、外直筋)に緊張と弛緩の刺激を与えることにより、眼球運動機能の向上や、眼筋のストレッチ効果による疲労の回復を図ることができる。
また、頭部装着型表示装置HMは、ユーザーの注視点を遠近方向に移動させる画像を表示することもできる。この場合、訓練画像表示制御部191は、図5(A)に示すように、ユーザーに近くを注視させる近接視と、ユーザーに遠方を注視させる遠方視とを交互に実行させる。ユーザーの視線方向R1、L1は、近接視と遠方視とを繰り返すことで移動し、これにより視機能に刺激を与えることができる。
この訓練では、ユーザーの右眼REと左眼LEに異なる画像を視認させる。例えば図5(B)に示す画像355は、右眼RE用の画像355A(右画像)と左眼LE用の画像355B(左画像)とにより構成される立体画像であり、左右の画像355A、355Bの間には、近接方向の視差がある。画像355を表示した場合、ユーザーには、注視対象(この例ではランドルト環)が遠側の位置C1にあるように見える。この注視対象までの距離(注視点までの距離)は、ユーザーが知覚する見かけ上の距離である。
また、図5(C)に示す画像356は、右眼RE用の画像356A(右画像)と左眼LE用の画像356B(左画像)とにより構成され、左右の画像356A、356Bの間の視差は、画像355A、355B間の視差より大きい。これらの画像355、356を表示した場合、ユーザーには注視対象のランドルト環が近接側の位置C2にあるように見え、視線方向R1、L1が近位置側に誘導される。また、画像の視差が大きいほど、より近い側に視線方向R1、L1が誘導される。
画像355を注視する場合のユーザーの左眼LEの輻輳角をθ1、右眼REの輻輳角をθ3で示す。また、画像356を注視する場合のユーザーの左眼LEの輻輳角をθ2、右眼REの輻輳角をθ4で示す。画像355と画像356とを切り替えて表示する場合、注視点が遠近方向に変化し、左眼LEの輻輳角はθ1からθ2に変化し、右眼REの輻輳角はθ3からθ4に変化する。このように、表示する視機能刺激画像を変化させることで、視機能刺激画像を注視するユーザーの眼の輻輳角を変化させることができ、視機能に刺激を与えることができる。また、輻輳角は注視対象の位置によっても変化する。例えば、左右の画像の視差を変化させずに、注視対象のランドルト環の表示位置を左側に移動させれば、左眼LEの輻輳角は小さくなり、右眼REの輻輳角は大きくなる。このため、視差を変化させる場合の輻輳角の変化(例えば、θ1からθ2、θ3からθ4への変化)と組み合わせることで、輻輳角を様々な態様で変化させることができ、変化の大きさも任意に調整できる。従って、ユーザーの視機能に効果的に刺激を与えることができる。
また、図5(A)〜(C)に示したように、注視点までの距離が変化する場合に、訓練画像表示制御部191の制御により、注視点までの距離を視機能刺激画像中に表示してもよい。表示される注視点までの距離は、表示中の視機能刺激画像を見た場合の標準的な距離とすることができる。また、視線方向検出部192により左眼LEと右眼REの輻輳角を検出し、検出した輻輳角からユーザーが知覚している注視点までの距離を推定し、推定した距離を表示してもよい。さらに、推定した距離と、表示中の視機能刺激画像を見た場合の標準的な距離との差を表示してもよい。この差に基づいて、ユーザーの視機能が視機能刺激画像の内容や視機能刺激画像の変化に対応できているか否かを判定してもよいし、判定結果を表示してもよい。この場合、ユーザーの視機能の状態をユーザーに提示できる。さらに、これらの距離や判定結果を、後述する訓練履歴データ129に含めて履歴として記憶してもよい。
また、ここでは図示しないが、左右の視差が反対方向に存在する画像を用いることも勿論可能である。すなわち、右眼RE用の画像と左眼LE用の画像の間に、注視対象が互いに離れる方向の視差が設けられている場合、ユーザーには注視対象(この例ではランドルト環)が遠くに見えるので、視線方向R1、L1が遠方に誘導される。
このように、訓練画像表示制御部191は、立体画像を表示することにより、ユーザーの視線を遠近方向に誘導する訓練を行うことができる。また、注視点を移動させる位置を、近位置と遠位置との間で段階的に変化させることもでき、所定の範囲で往復するように注視点を移動させれば、より高い効果が期待できる。
この訓練では、表示する立体画像を切り替えて、ユーザーの注視点を誘導する注視対象の大きさを段階的に変化させて、難易度を調整することもできる。さらに、ユーザーの視線を移動させる範囲の大きさ、すなわち近位置と遠位置との間の距離を変えることで、レベルを変えてもよい。言い換えれば、表示する画像の視差の大きさによりレベルを変えてもよい。また、ユーザーの視線を移動させる速度により、レベルを変えてもよい。
図4(B)〜(D)及び図5(B)〜(C)に示した各画像は、表示位置を移動する場合の移動速度、及び、明瞭性が、視機能に過度の刺激を与えないように調整されていてもよい。すなわち、移動速度を比較的低速に抑えることにより、ユーザーの眼を疲労させないようにしてもよい。また、ユーザーが明瞭に見えるランドルト環などを長時間注視した場合に疲労を生じやすいことから、視機能刺激画像に含まれるランドルト環などの注視対象が明瞭に見えなくなるようにしてもよい。例えば、注視対象の全体または輪郭をぼやけさせて表示してもよい。これらの調整は、予め視機能刺激画像が上記のように構成されていてもよいし、訓練画像表示制御部191の制御により、画像処理部160が画像処理を行って、上記の調整を実現してもよい。
訓練画像表示制御部191は、視機能刺激画像を表示する前、または表示中に、ユーザーに対して訓練の内容や目的を案内する表示を行ってもよい。例えば、表示される視機能刺激画像の内容を説明する画像やテキストを、視機能刺激画像に代えて、または視機能刺激画像とともに表示してもよい。また、複数の視機能刺激画像を用いた一連の訓練の前に、訓練全体の案内や各視機能刺激画像の内容をまとめて、或いは順次説明する表示を行ってもよい。また、頭部装着型表示装置HMの使用方法そのものの説明を含む表示を行ってもよい。また、視機能刺激画像による効果や、より効果を高めるためにユーザーが注意すべき事柄や知っておくべき事項を案内する表示を行ってもよい。
訓練画像表示制御部191が表示させる画像に合わせて、画像調整部193により外景の視認性を調整してもよい。
図6は、外景の視認性を調整する動作の説明図であり、(A)は外景の視認性を高める例を示し、(B)は外景の視認性を低くした例を示す。図中の符号VAは、頭部装着型表示装置HMを装着したユーザーの視野(視界)を示し、DAは画像表示部20による表示可能領域を示す。表示可能領域DAは、画像光Lにより画像が視認される範囲を指し、右LCD241および左LCD242の表示可能範囲、右バックライト221および左バックライト222のサイズ、右投写光学系251、左投写光学系252、右導光板261、および左導光板262の光学特性等により決定される。本実施形態では視野VAのほぼ中央に矩形の表示可能領域DAが存在する。頭部装着型表示装置HMは、表示可能領域DAの中において画像を表示できる。
図5(A)〜(C)を参照して説明したように、注視点を遠近方向に誘導する場合、注視点の遠近により表示可能領域DAに表示される画像の視認性が変化する。すなわち、遠方を注視する場合には、上述のように表示可能領域DAが大きく見えるため、画像光Lの光量が少なく感じられ、外景に比べて視認性が低下する。一方、近くを注視する場合には表示可能領域DAが小さく見えるため、表示可能領域DAに表示される画像の視認性が高くなる。
そこで、表示可能領域DAに表示される画像の視認性を一定に保持するため、訓練画像表示制御部191は、表示する画像の視差に応じて画像調整部193を制御し、画像光Lを増減させる。具体的には、近位置側の視差を有する画像を表示する場合、訓練画像表示制御部191は、画像調整部193により画像光Lを低下させて、図6(A)に示すように外景の視認性を高める。この図6(A)の例では、表示可能領域DAの全体における画像光Lを低下させ、ランドルト環の他に外景が見える。また、遠位置側の視差を有する画像を表示する場合、訓練画像表示制御部191は、画像調整部193により画像光Lを高めさせて、図6(B)に示すように外景の視認性を低下させる。また、訓練画像表示制御部191は、表示する画像の視差の大きさに応じて、画像光Lの調整量を変化させてもよい。
また、視機能刺激画像を利用して、斜視の訓練を行うことも可能である。この場合、訓練画像表示制御部191は、斜視訓練用の視機能刺激画像を表示する。この斜視訓練用の視機能刺激画像とは、例えば、左眼LE及び右眼REの輻輳角を大きくし、ユーザーの眼を、いわゆる寄り目の状態等に誘導する画像である。また、輻輳角が大きくなる画像と、輻輳角が小さくなる画像とを交互に表示する構成や、アニメーションや動画像により輻輳角を変化させる構成としてもよい。訓練画像表示制御部191は、視機能刺激画像の表示中における左眼LEと右眼REの視線方向を、視線方向検出部192により検出させる。そして、検出された視線方向から輻輳角を求め、この輻輳角に基づいて、表示中の視機能刺激画像にユーザーの眼が追従しているかを、左眼LEと右眼REの各々について判定してもよい。また、追従の度合いを数値化して、訓練達成度の評価や訓練の有効性の評価として表示してもよいし、訓練履歴データ129に含めて履歴として記憶してもよい。
さらに、訓練画像表示制御部191は、視線方向検出部192により検出される視線方向に基づき、ユーザーが明らかに注視対象を注視していないと判定した場合に、音声処理部170を制御して右イヤホン32、左イヤホン34から注意を促す音声を出力させる処理や、表示制御部190を制御して画像に重ねてメッセージを表示させる処理を行ってもよい。
また、訓練画像表示制御部191は、上述した各訓練の実行中に、視線方向検出部192の機能によりユーザーの瞬きを検出し、瞬きの頻度が所定の水準より低下した場合に、注意を促す音声の出力やメッセージの表示を行ってもよい。
また、訓練画像表示制御部191は、ユーザーの視機能の測定を行うことも可能である。図7は、視機能の測定を行う動作の説明図であり、(A)〜(D)は測定用の画像の例を示し、(E)は制御装置の操作態様の説明図である。
図7(A)〜(D)に示す画像361〜364は、注視対象としてランドルト環を有する画像であり、ランドルト環が視認されるサイズが異なっている。画像361〜364のうち、どの画像を明瞭に視認できたかによって、ユーザーの視機能を簡易的に測定できる。明瞭に視認できたか否かの判定は、ユーザーの入力操作に基づいて行う。例えば図7(E)に示すように、制御装置10が備える十字キー16に、図中矢印で示すように上下左右の入力を割り当てる。この場合、訓練画像表示制御部191は、十字キー16の画像を表示して入力方法を案内してもよい。訓練画像表示制御部191は、画像361〜361を表示する際に、十字キー16の操作により入力された方向を検出し、入力された方向と表示中のランドルト環の開口方向とが一致するか否かを判定する。一致した場合には、ユーザーが明瞭に画像を視認していると判定し、ランドルト環がより小さく視認される画像に切り替えて表示する。
図8は、記憶部120に記憶されるデータの構成例を模式的に示す図であり、(A)は訓練設定データ125の構成例を示し、(B)は訓練履歴データ129の構成例を示す。
図8(A)に例示するように、訓練設定データ125には、頭部装着型表示装置HMが実行する訓練の種別と、各訓練におけるレベルと、各レベルで表示する画像とが対応づけられている。例えば、ユーザーの視線を上下左右に誘導する種別Cの訓練のレベルは1〜5の5段階であり、レベル1では、注視対象を5秒間で表示可能領域DA内を1周させる動画像が表示され、レベル2では注視対象を3秒間で1周させる動画像が表示されるよう設定されている。また、無限遠視をさせる種別Aの訓練、および、注視点を遠近方向に誘導する訓練についてはレベル毎のランドルト環の大きさが設定されている。
また、図8(B)に例示するように、訓練履歴データ129は、訓練を実施した日付と、実施した訓練の種別毎のレベルおよび視線追従成績とを含む。この訓練履歴データ129により、訓練の実施状態、訓練の難易度、および視線追従成績が明らかになる。なお、訓練履歴データ129に、図7(A)〜(E)を参照して説明した測定の結果を含めてもよい。
図9は、頭部装着型表示装置HMの動作を示すフローチャートである。
頭部装着型表示装置HMの電源がオンの状態で、制御装置10のタッチパッド14や十字キー16に対する操作により、訓練開始が指示されると(ステップS11)、訓練画像表示制御部191は、訓練履歴データ129および訓練設定データ125を参照して、今回の訓練で実行する内容を決定する(ステップS12)。
訓練画像表示制御部191は、記憶部120から訓練画像データ123を読み出し、ステップS12で決定した内容に対応する画像のデータを取得し(ステップS13)、表示制御部190により表示を開始させる(ステップS14)。また、視線方向検出部192は、訓練画像表示制御部191の制御による表示開始に合わせて、ユーザーの視線方向の検出を開始し、訓練画像表示制御部191は視線方向検出部192が検出した結果の記録を開始する(ステップS15)。
制御部140の各部は、訓練が終了するまで画像の表示と視線方向の検出を実行し(ステップS16)、全ての種別の訓練が終了した場合(ステップS16;Yes)、訓練画像表示制御部191は、視線方向検出部192の検出結果と訓練設定データ125に基づいて視線追従成績を判定する(ステップS18)。
続いて、訓練画像表示制御部191は、ステップS14〜S16で実行した訓練の結果により、次回から実行する訓練のレベルを変更する必要があるか否かを判定する(ステップS18)。すなわち、レベルを変更する条件が達成されたか否かを判定する。図8(B)の例では、各種別の訓練について、一つのレベルで2日間連続して視線追従成績が○であった場合には、難易度が一段階高いレベルに移行する。このように、訓練画像表示制御部191は、過去に実行していた訓練のレベルおよび視線追従成績を加味して、レベル変更の有無を判定する。判定基準やレベル変更の規則に関する情報は、訓練設定データ125に含まれている。
レベルを変更する場合(ステップS18;Yes)、訓練画像表示制御部191は、次回に実行する訓練の内容を決定し(ステップS19)、決定した内容と、ステップS17で判定した各種別の視線追従成績とを訓練履歴データ129に含めるべく、訓練履歴データ129を更新する(ステップS20)。また、レベルを変更しない場合(ステップS18;No)、訓練画像表示制御部191は、ステップS17で判定した各種別の視線追従成績に基づいて訓練履歴データ129を更新する(ステップS20)。
以上説明したように、本発明を適用した実施形態に係る頭部装着型表示装置HMは、画像光を出力して画像を視認させ、装着者の左目に視認される画像と右目に視認される画像とを独立して表示可能な表示手段と、表示手段によって、装着者の左目に視認される左画像と右目に視認される右画像とを有する視機能刺激画像を表示させる訓練画像表示制御部191と、を備え、視機能刺激画像は、左画像と右画像とを異なる画像とすることにより、装着者の注視点の遠近方向への移動を促す画像であるので、設置場所の確保が容易で手軽に利用可能な頭部装着型頭部装着型表示装置HMHMを利用して、装着者の視機能に効果的な刺激を与えて、視機能の改善や疲労回復を図ることができる。また、表示する画像を変更することも容易であるため、装着者を飽きさせず、より効果的な刺激を与えることができる。
また、頭部装着型表示装置HMは、外景と画像を重ねて視認させるシースルー型の表示手段を備え、画像調整部193により、外景の視認性を調整可能であるため、装着者は外景を見ながら視機能の改善や疲労回復を図ることができる。装着者が外景を視認できることから装着者の心理的抵抗をより一層低減することができ、より手軽に本発明の装置を利用することができる。さらに、外景の見え方を利用することで装着者に不自然な印象を与えることなく視機能に刺激を与えることができる。
また、訓練画像表示制御部191は、視機能刺激画像として、視差を有する左画像と右画像とにより構成される立体画像と、同一の左画像と右画像とにより構成される平面画像とを表示させることができ、多彩な表示を行って、より効果的に刺激を与えることができる。
また、訓練画像表示制御部191は、ランドルト環等の注視対象の表示要素が時間の経過とともに移動する画像を表示可能であるため、装着者の視機能に対し様々な刺激を与えることができる。
また、装着者の視線方向を検出する視線方向検出部192と、視機能刺激画像を表示した際に検出された装着者の視線方向を訓練履歴データ129として記憶する記憶部120とを備えるので、装着者に対する効果に関する情報を得て、解析できる。これにより、例えば継続して装置を使用する場合に装着者の視線方向の記録に基づいて画像の内容を変更する等、より効果的に刺激を与えることができる。
なお、上述した実施形態は本発明を適用した一例を示すものであって、本発明の構成および本発明の適用範囲は上記実施形態の構成に限定されない。例えば、画像光Lを調整する具体的な態様は、図4(B)および図5(A)、(B)に示した例に限定されず、その他の方法により画像光Lを調整してもよい。また、図4〜図5に示した画像340のように通常の画像を表示する場合に限定されず、例えば、仮想キーボード等の入力操作を補助するために頭部装着型表示装置HMが生成して表示する入力補助用の画像を表示する場合に、本発明を適用することも可能である。さらに、視線方向検出部192および視線検出部189がユーザーの視線方向を検出する具体的な方法、距離検出部182がユーザーの視線方向に位置する対象物までの距離を検出する具体的な方法、画像調整部193が外光OLの光量を検出する方法等についても、上記の例に限定されず任意の方法を採用できる。
また、上記実施形態では、頭部装着型表示装置の一例として、ユーザーが眼鏡のように装着する画像表示部20を備えた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、画像表示部20に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等に組み込まれた画像表示部を備えた構成としてもよい。また、イヤホン32、34は耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。
さらに、上記実施形態では、画像表示部20と制御装置10とが分離され、接続部40を介して接続された構成を例に挙げて説明したが、制御装置10と画像表示部20とが一体に構成され、ユーザーの頭部に装着される構成とすることも可能である。さらに、制御装置10と画像表示部20とが、より長いケーブルまたは無線通信回線により接続され、制御装置10として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューターのディスプレイ、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器が有するディスプレイ等を用いてもよい。
また、上記実施形態では、例えば、画像光生成部が左右のバックライト221、222と、左右のバックライト制御部201、202と、左右のLCD241、242と、左右のLCD制御部211、212とを備えた構成として説明した。この実施形態の態様はあくまで一例であり、画像光生成部は、上記の構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)パネル等の自発光型のディスプレイと、その発光を制御する制御部とを備える構成としても良い。また、例えば、画像生成部は、LCDに代えて、LCOS(登録商標)(Liquid crystal on silicon)や、デジタル・マイクロミラー・デバイス(DMD)等を用いることもできる。この場合、画像生成部はLED等の光源を備え、この光源が発する光をLCOSやDMDにより変調して画像光を生成する。
また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源をユーザーの眼に導く光学系とを備え、レーザー光をユーザーの眼に入射させて網膜上を走査し、網膜に結像させることにより、ユーザーに画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。
ヘッドマウントディスプレイにおいて画像生成部が生成した画像光をユーザーの眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともにユーザーの眼に入射させる構成を採用できる。また、ユーザーの眼の前方に位置してユーザーの視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、ユーザーの眼に向けて画像光を屈折及び/または反射させて導く機能のみを有するものであってもよい。
また、本発明を、MEMSディスプレイ技術を利用した表示装置に適用することも可能である。
上記実施形態の頭部装着型表示装置HMは、左右のバックライト221、222と、左右のバックライト制御部201、202と、左右のLCD241、242と、左右のLCD制御部211、212とを備える画像光生成部を用い、画像光生成部が生成した光を右導光板261及び左導光板262によりユーザーの眼に導く構成とした。
これに対し、MEMSミラーを用いた走査光学系を採用してもよい。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像をユーザーが眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、虚像形成面は、面262Aのようにハーフミラー面となっていてもよい。
さらに、制御部140が実行するプログラムを記憶部120に記憶する構成に限定されず、例えば上記プログラムを、コンピューター読み取り可能な可搬型の記録媒体や制御装置10に外部接続される記憶装置、或いは、制御装置10に有線または無線通信回線を介して接続される装置に記憶させ、必要に応じて制御装置10がプログラムを読み込んで実行するようにしてもよい。その他の頭部装着型表示装置HMの細部構成についても任意に変更可能であることは勿論である。
10…制御装置、14…タッチパッド、16…十字キー、20…画像表示部、20A…調光板、22…右表示駆動部、24…左表示駆動部、26…右光学像表示部、28…左光学像表示部、61…カメラ、120…記憶部、140…制御部、160…画像処理部、180…インターフェイス、189…視線検出部、190…表示制御部、191…訓練画像表示制御部(表示制御部)、192…視線方向検出部(視線検出手段)、193…画像調整部、221…右バックライト、222…左バックライト、241…右LCD、242…左LCD、251…右投写光学系、252…左投写光学系、261…右導光板、262…左導光板、262A…面、HM…頭部装着型表示装置(表示装置)、L…画像光、OL…外光。

Claims (14)

  1. 頭部装着型の表示装置であって、
    画像光を出力して画像を視認させ、装着者の左目に視認される画像と右目に視認される画像とを独立して表示可能な表示手段と、
    前記表示手段によって、前記装着者の左目に視認される左画像と右目に視認される右画像とを有する視機能刺激画像を表示させることにより、前記装着者の注視点を遠近方向に移動させる訓練を実行する表示制御手段と、を備え、
    前記視機能刺激画像は、前記左画像と前記右画像とを異なる画像とすることにより、装着者の注視点の遠近方向への移動を促す画像であり、
    前記表示制御手段は、前記視機能刺激画像により誘導される前記注視点までの距離を表示すること、
    を特徴とする表示装置。
  2. 請求項1記載の表示装置であって、
    前記表示制御手段は、前記視機能刺激画像を表示する前、または表示中に、前記訓練の内容や目的を案内する表示を行うこと、を特徴とする表示装置。
  3. 請求項1または2記載の表示装置であって、
    前記装着者に対して実行した訓練の内容に関する情報を含む履歴データを記憶する記憶部を備え、
    前記表示制御手段は、前記記憶部に記憶された前記履歴データに基づいて、実行する訓練の内容を決定すること、を特徴とする表示装置。
  4. 請求項3記載の表示装置であって、
    前記表示制御手段は、前記訓練を実行した後に、次回に実行する訓練の内容を決定し、決定した内容を含むように前記履歴データを更新すること、を特徴とする表示装置。
  5. 請求項3または4記載の表示装置であって、
    前記装着者の視線方向を検出する視線検出手段と、
    前記表示手段により前記視機能刺激画像を表示した際に前記視線検出手段により検出された前記装着者の視線方向に基づいて前記装着者の成績を判定する判定手段と、を備え
    前記判定手段により判定された成績を含む前記履歴データを前記記憶部に記憶すること、を特徴とする表示装置。
  6. 請求項5記載の表示装置であって、
    前記履歴データは、複数の前記装着者について、前記装着者毎に、前記訓練の内容を示す情報と前記成績とを含むデータであること、を特徴とする表示装置。
  7. 請求項5または6記載の表示装置であって、
    前記表示制御手段は、前記視線検出手段により検出される視線方向に基づき注視点までの距離を推定し、推定した距離と、前記表示手段により表示中の前記視機能刺激画像が視認される場合の標準的な距離との差を表示すること、を特徴とする表示装置。
  8. 請求項1から7のいずれか一項記載の表示装置であって、
    前記表示手段は、外景と前記画像を重ねて視認させるシースルー型の表示手段であり、前記外景の視認性を調整可能であることを特徴とする表示装置。
  9. 請求項1から8のいずれか一項記載の表示装置であって、
    前記表示制御手段は、前記装着者の左目と右目の輻輳角を所定の輻輳角とする前記視機能刺激画像を、前記表示手段によって表示させることを特徴とする表示装置。
  10. 請求項9記載の表示装置であって、
    前記表示制御手段は、前記装着者の左目と右目の輻輳角を経時的に変化させる前記視機能刺激画像を、前記表示手段によって表示させることを特徴とする表示装置。
  11. 請求項1から10のいずれか一項記載の表示装置であって、
    前記表示制御手段は、前記視機能刺激画像として、視差を有する前記左画像と前記右画像とにより構成される立体画像と、同一の前記左画像と前記右画像とにより構成される平面画像とを前記表示手段により表示させることを特徴とする表示装置。
  12. 請求項1から11のいずれか一項記載の表示装置であって、
    前記表示制御手段は、前記視機能刺激画像として、注視対象の表示要素が時間の経過とともに移動する画像を表示可能であることを特徴とする表示装置。
  13. 頭部装着型の表示装置と、前記表示装置に画像を供給する画像供給装置とを有する表示システムであって、
    前記表示装置は、
    画像光を出力して画像を視認させる表示手段と、
    前記画像供給装置から供給される、装着者の注視点の遠近方向への移動を促す視機能刺激画像を前記表示手段により表示させることにより、前記装着者の注視点を遠近方向に移動させる訓練を実行する表示制御手段と、備え
    前記表示制御手段は、前記視機能刺激画像により誘導される前記注視点までの距離を表示することを特徴とする表示システム。
  14. 頭部装着型の表示装置の制御方法であって、
    装着者の左目に視認される画像と右目に視認される画像とを独立して表示可能な表示手段により、
    前記装着者の左目に視認される左画像と右目に視認される右画像とを有し、前記左画像と前記右画像とを異なる画像とすることにより、装着者の注視点の遠近方向への移動を促す視機能刺激画像を表示させ前記装着者の注視点を遠近方向に移動させる訓練を実行し、
    前記視機能刺激画像により誘導される前記注視点までの距離を表示し、
    前記表示手段により前記視機能刺激画像を表示した際に前記装着者の視線方向を検出し、
    検出した前記装着者の視線方向を記憶すること、
    を特徴とする表示装置の制御方法。
JP2012287264A 2012-12-28 2012-12-28 表示装置、表示システム、および、表示装置の制御方法 Active JP6036291B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012287264A JP6036291B2 (ja) 2012-12-28 2012-12-28 表示装置、表示システム、および、表示装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012287264A JP6036291B2 (ja) 2012-12-28 2012-12-28 表示装置、表示システム、および、表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2014130204A JP2014130204A (ja) 2014-07-10
JP6036291B2 true JP6036291B2 (ja) 2016-11-30

Family

ID=51408658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012287264A Active JP6036291B2 (ja) 2012-12-28 2012-12-28 表示装置、表示システム、および、表示装置の制御方法

Country Status (1)

Country Link
JP (1) JP6036291B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6550734B2 (ja) * 2014-12-02 2019-07-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP7055751B2 (ja) * 2016-04-07 2022-04-18 マジック リープ, インコーポレイテッド 拡張現実のためのシステムおよび方法
JP7200637B2 (ja) 2017-12-25 2023-01-10 株式会社リコー 頭部装着型表示装置および表示システム
WO2021130986A1 (ja) * 2019-12-26 2021-07-01 マクセル株式会社 映像表示装置及び映像表示方法
JP7245563B2 (ja) * 2021-07-16 2023-03-24 株式会社レーベン 視力訓練具
JP2023050904A (ja) * 2021-09-30 2023-04-11 スズキ株式会社 視認性情報取得装置の制御方法および視認性情報取得装置
JP7486223B2 (ja) 2022-04-20 2024-05-17 株式会社レーベン 視力訓練具

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3148791B2 (ja) * 1994-04-13 2001-03-26 シャープ株式会社 頭部搭載型ディスプレイ装置を利用した視力回復装置
JPH09211376A (ja) * 1996-01-31 1997-08-15 Nissan Motor Co Ltd ヘッドマウントディスプレー装置
JP4207459B2 (ja) * 2002-05-20 2009-01-14 株式会社ニコン 画像表示装置および眼疲労解消装置
JP2005270451A (ja) * 2004-03-25 2005-10-06 Konica Minolta Photo Imaging Inc 斜視訓練用虚像表示装置
JP5272813B2 (ja) * 2009-03-09 2013-08-28 ブラザー工業株式会社 ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JP2014130204A (ja) 2014-07-10

Similar Documents

Publication Publication Date Title
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
JP6036291B2 (ja) 表示装置、表示システム、および、表示装置の制御方法
CN106199963B (zh) 显示装置及其控制方法以及计算机程序
US10725300B2 (en) Display device, control method for display device, and program
US10162412B2 (en) Display, control method of display, and program
CN112130329B (zh) 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
KR101988110B1 (ko) 생체신호연동 가상현실 교육 시스템 및 방법
EP2751609B1 (en) Head mounted display with iris scan profiling
US9690371B2 (en) Head mounted display apparatus
JP6160020B2 (ja) 透過型表示装置、表示方法および表示プログラム
JP6111659B2 (ja) 表示装置、および、表示装置の制御方法
JP6492531B2 (ja) 表示装置、及び、表示装置の制御方法
JP6459380B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6707809B2 (ja) 表示装置、表示装置の制御方法、及び、プログラム
KR101203921B1 (ko) 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치
CN107260506B (zh) 基于眼动的3d视觉训练系统、智能终端及头戴设备
CN107307981B (zh) 头戴显示设备的控制方法
CN105319716A (zh) 显示装置、显示装置的控制方法及程序
JP2018513656A (ja) 画像強調可能な眼鏡構造
JP6620417B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6428024B2 (ja) 表示装置、表示装置の制御方法、および、プログラム
CN107291233B (zh) 头戴3d显示设备的视觉优化系统、智能终端及头戴设备
JP6394108B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2017079389A (ja) 表示装置、表示装置の制御方法、及び、プログラム
CN114791673A (zh) 显示方法、显示装置以及记录介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161017

R150 Certificate of patent or registration of utility model

Ref document number: 6036291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150