JP5655674B2 - ヘッドマウントディスプレイ及びこれに用いられるプログラム - Google Patents

Description

本発明は、視線入力可能なヘッドマウントディスプレイの改良に関する。

特許文献１には、視線入力により操作を行うことができるヘッドマウントディスプレイが提案されている。このようなヘッドマウントディスプレイは、操作内容に対応するマーカーが表示され、マーカーに対するユーザの一定時間以上の注視が検出された場合に、マーカーに対応する操作が実行されるようになっている。

特開２００４−１８０２０８号公報

ところが、ユーザがマーカーを注視しても、眼球は固定されているわけでなく、自律的な動き等により眼球が移動してしまうことから、誤検出されてしまうという問題があった。また、多くの場合、このようなヘッドマウントディスプレイでは、マーカーが表示される表示領域上におけるユーザの視線の座標を検出し、ユーザの視線の座標とマーカーの座標とが一致した場合に、ユーザの視線入力が検出されるようになっていた。このため、ユーザの視線座標とマーカー座標を一致させる必要があり、個人ごとにユーザの視線の座標の原点を定義するためのキャリブレーションが必要であった。
本発明は、上記問題を解決し、視線入力可能なヘッドマウントディスプレイにおいて、誤検出の発生を防止する技術を提供することを目的とする。

上記課題を解決するためになされた請求項１に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
ユーザの視線の向きを検出する視線検出部と、
前記画像表示部に、動くマーカーを表示させるマーカー表示手段と、
前記視線検出部によって検出された視線の座標の時間微分により、視線の相対的な運動特徴を算出する算出手段と、
前記算出手段によって算出された前記視線の相対的な運動特徴と前記マーカーの運動特徴との関連があるか否かを判断することにより、ユーザの視線入力を検出する視線動解析手段と、
前記視線動解析手段が検出した前記視線入力に対応する操作を実行させる操作実行手段を有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、
前記算出手段は、前記視線検出部によって検出された視線の座標の時間微分により、視線の相対的な運動特徴として、視線速度、及び視線加速度を算出することを特徴とする。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
前記マーカー表示手段は、前記画像表示部に、一方向に動くマーカーを表示させることを特徴とする。
これにより、ユーザに負担を与えず、視線入力を検出することが可能となる。

請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
前記マーカー表示手段は、前記画像表示部に、異なる方向に動く複数のマーカーを表示させることを特徴とする。
これにより、複数の操作を選択的に実行させることが可能となる。

請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
前記マーカー表示手段は、前記画像表示部に、移動方向が途中で変化するマーカーを表示させることを特徴とする。
これにより、ユーザが、移動方向が途中で変化する前後のマーカーを目で追い続けなければ、ユーザの視線入力が検出されないので、視線入力の誤検出がより確実に防止される。

請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
前記視線動解析手段は、マーカーの動きと相似的な視線の動きを検出することにより、ユーザの視線入力を検出することを特徴とする。
これにより、視線の動きがマーカーの動きに対して相似的であれば、その移動量に関らずユーザの視線入力が検出される。これによって、同一のマーカーの動きに対して、視線の移動量に個人差がある場合であっても、ユーザの視線入力が検出されないという誤検出を防止することが可能となる。

請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
アプリケーションへの視線入力を受け付けないロック状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記ロック状態から、前記アプリケーションソフトへの視線入力を受け付けるロック解除状態に変更し、
ロック解除状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記アプリケーションソフトの操作を実行させることを特徴とする。
これにより、ロック状態に有る場合には、アプリケーションソフトへの不用意な操作が防止される一方で、ユーザの視線入力により、ロック解除状態に変更することができ、ユーザの意図に沿った操作を視線入力により実現することが可能となる。

請求項８に記載の発明は、
ユーザの頭部に装着される頭部装着部と、
前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
ユーザの視線の向きを検出する視線検出部を有するヘッドマウントディスプレイで実行されるプログラムであって、
前記画像表示部に、動くマーカーを表示させるマーカー表示ステップと、
前記視線検出部によって検出された視線の座標の時間微分により、視線の相対的な運動特徴を算出する算出ステップと、
前記算出ステップで算出された前記視線の相対的な運動特徴と前記マーカーの運動特徴との関連があるか否かを判断することにより、ユーザの視線入力を検出する視線動解析ステップと、
前記視線解析ステップで検出された前記視線入力に対応する操作を実行させる操作実行ステップを有することを特徴とする。

本発明によれば、マーカー表示手段が画像表示部に動くマーカーを表示させ、視線動解析手段が、マーカーの動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出する。このため、ユーザが一方向に動くマーカーを目で追うと、ユーザの視線入力が検出されるので、眼球の自律的な動きに起因する誤検出を防止することが可能となる。

本発明の実施の形態を示すヘッドマウントディスプレイの斜視図である。 図１の上面図である。 第１の実施形態の視線入力画面の説明図である。 ヘッドマウントディスプレイのブロック図である。 第１の実施形態の視線入力検出処理のフロー図である。 視線の運動特徴を表した説明図である。 第２の実施形態の視線入力検出処理のフロー図である。 第２の実施形態の視線入力画面の説明図である。 移動方向が途中で変化するマーカーが表示される視線入力画面の説明図である。 パターンデータの説明図である。 マーカーに対する視線の相似的な動きを上方から見た説明図である。

（本発明の概要）
図３を用いて、本発明の概要について説明する。図３の（Ａ）に示されるように、本発明のヘッドマウントディスプレイ１００の画像表示部３０（図１、図２に示す）は、一方向に動くマーカー８０１を繰り返し表示する。なお、図３の（Ｂ）〜（Ｆ）は、マーカー８０１の移動の遷移状態を表した図である。ユーザが動くマーカー８０１を目で追うと、視線検出部６０（図１、図２に示す）でユーザの視線の動きが検出される。そして、マーカー８０１の動きと、視線検出部６０で検出された視線の動きとが関連していると判断された場合に、ユーザの視線による入力操作（視線入力）が検出される。このように、本発明では、ユーザが一方向に動くマーカー８０１を目で追うと、ユーザの視線入力が検出されるように構成されているので、眼球９９９の自律的な動きに起因する誤検出を防止することが可能となる。従来では、表示領域８００上のユーザの視線の絶対位置によりユーザの視線入力が検出されていたため、使用前に、マーカー８０１の座標とユーザの視線の座標を一致させる必要があり、個人ごとに視線座標の原点を定義するためのキャリブレーションが必要であった。本発明では、ユーザの視線の視線座標上の絶対位置で無く、ユーザの視線の相対的な動きにより、ユーザの視線入力が検出されるように構成したので、前記キャリブレーションが不要となる。以下に、本発明の視線入力を可能とする具体的な構成について説明する。

（本発明のヘッドマウントディスプレイの構造）
本発明のヘッドマウントディスプレイ１００は、図１や図２に示されるように、頭部装着部１０、取付部材２０、画像表示部３０とから構成されている。図１や図２に示される実施形態では、頭部装着部１０は、横長の前フレーム１２と、前フレーム１２の両端から後方に延出するテンプル１３とから構成された眼鏡のフレーム形状であり、ユーザの頭部に装着される。前フレーム１２の中央には、ノーズパッド１１が設けられている。なお、頭部装着部１０は、眼鏡のフレーム形状に限定されず、例えば、ヘルメット形状等であっても差し支え無い。なお、図１、図２において、９９９はユーザの眼球位置を仮想的に表したものである。

画像表示部３０は、頭部装着部１０に、取付部材２０を介して取り付けられている。画像表示部３０は、画像をユーザに視認させるものである。図１や図２に示されるように、画像表示部３０は、内部に表示部３３（図４に示す）と接眼レンズを有している。また、画像表示部３０の先端部には、ハーフミラー３５が取り付けられている。なお、ハーフミラー３５は、接眼レンズと対面する位置に配設され、ハーフミラー３５の反射面は、接眼レンズの光軸に対して傾斜している。また、ヘッドマウントディスプレイ１００がユーザの頭部に装着された状態では、ハーフミラー３５はユーザの眼球９９９の直前に位置している。

表示部３３が画像光を照射すると、画像光が接眼レンズで集光又は平行化され、この画像光がハーフミラー３５で反射されてユーザの眼球９９９に到達する。ユーザには、所定の距離先に、所定サイズの虚像が提示されているように見える。ユーザは、ハーフミラー３５を通して外界も視認することができる。

図１や図２に示されるように、頭部装着部１０の両側部（本実施形態では、両テンプル１３の前端）には、視線検出部６０が取り付けられている。図２に示されるように、ヘッドマウントディスプレイ１００がユーザの頭部に装着された状態では、ユーザの眼球９９９の外側に、一対の視線検出部６０が位置している。図２に示されるように、眼球９９９は網膜９９９ａと角膜９９９ｂを有しているが、網膜９９９ａはマイナスに帯電している一方で、角膜９９９ｂはプラスに帯電している。そして、角膜９９９ｂから網膜９９９ａに向かって電場が生じている。眼球９９９の動きに伴って、電場の向きも変わる。視線検出部６０は、眼球９９９の電場の向き（つまり、眼球９９９の向き）を検出する電極を有している。眼球９９９の向きが視線検出部６０で検出されることにより、ユーザの視線方向が検出されるようになっている。

（ヘッドマウントディスプレイのブロック図の説明）
図４を用いて、ヘッドマウントディスプレイ１００のブロック図について説明する。ヘッドマウントディスプレイ１００は、制御部５０を有している。制御部５０は、画像表示部３０内、或いは、画像表示部３０とは別体に設けられている。
制御部５０は、ＣＰＵ５１、ＲＡＭ５２、記憶装置５３、インターフェース５４、画像処理部５５を有していて、これらの構成要素は相互にバス５９で接続されている。インターフェース５４には、視線検出部６０が接続されている。また、画像処理部５５には、表示部３３が接続されている。

ＣＰＵ５１は、ＲＡＭ５２、記憶装置５３と協動して、各種演算、処理を行う。
ＲＡＭ５２は、ＣＰＵ５１で処理されるプログラムや、ＣＰＵ５１が処理するデータを、そのアドレス空間に一時的に記憶する。
ＲＡＭ５２は、視線座標ログ記憶領域５２ａと運動特徴記憶領域５２ｂを有している。
視線座標ログ記憶領域５２ａには、視線座標算出プログラム５３ａにより算出された視線座標のログが記憶される。
運動特徴記憶領域５２ｂには、視線動解析プログラム５３ｃにより算出された視線の運動特徴が記憶される。

記憶装置５３には、不揮発性メモリー、ハードディスク等の補助記憶装置が含まれる。記憶装置５３には、本体部５０を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ５１で処理されることにより、各種機能が実現される。
記憶装置５３には、視線座標算出プログラム５３ａ、マーカー表示プログラム５３ｂ、視線動解析プログラム５３ｃ、操作実行プログラム５３ｄ、各種アプリケーションソフト５３ｅが記憶されている。
視線座標算出プログラム５３ａは、視線検出部６０からインターフェース５４を介してバス５９に入力された視線情報に基づき、視線座標を算出するプログラムである。マーカー表示プログラム５３ｂは、画像処理部５５に描画命令を出力し、表示領域８００（図３に示す）に、動くマーカー８０１を表示させるプログラムである。
視線動解析プログラム５３ｃは、マーカー８０１の動きと関連している視線の動きを検出することにより、ユーザの視線入力を検出するプログラムである。
操作実行プログラム５３ｄは、視線動解析プログラム５３ｃが検出した視線入力に対応する操作を実行させるプログラムである。
アプリケーションソフト５３ｅは、制御部５０で実行され、画像表示部３０で表示される。アプリケーションソフト５３ｅには、作業の確認項目についてハンズフリーでチェック入力する作業確認入力ソフトや、状況に応じてユーザが必要とすると推測される情報を、キャラクターを通して提供したり、ユーザが質問を行ったりすることができるコンシェルジュソフトが含まれる。なお、後述する第２の形態の視線入力検出処理において、ユーザは視線入力によりアプリケーションソフト５３ｅを操作することができる。

インターフェース５４は、視線検出部６０が検出した信号の物理的・論理的な形式を変換し、視線情報として、バス５９に出力するものである
画像処理部５５は、画像処理回路及びビデオメモリを有し、表示部３３に出力する画像信号を生成するものである。
表示部３３は、画像処理部５５から出力された画像信号に基づいて、画像光を生成するものである。表示部３３には、液晶ディスプレイ、有機ＥＬディスプレイ、デジタルミラーデバイス(Digital Mirror Device)などの空間光変調素子や、網膜走査ディスプレイなどが含まれる。

（第１の実施形態の視線入力検出処理の説明）
以下に、図５及び図６を用いて、第１の実施形態の視線入力検出処理について説明する。
なお、第１の実施形態の視線入力検出処理は、初期状態では視線入力を受け付けないロック状態にあるアプリケーションソフトを、視線入力を受け付けるロック解除状態にする実施形態である。
第１の実施形態の視線入力検出処理が開始すると、Ｓ１１の処理に進む。

Ｓ１１「マーカー更新表示」の処理において、マーカー表示プログラム５３ｂは、描画命令を画像処理部５５に出力し、表示領域８００（図３に示す）に、マーカー８０１を更新表示させる。最初にＳ１１の処理が実行される場合には、図３の（Ｂ）に示されるように、表示領域８００の一端（始点）にマーカー８０１が表示される。次に、Ｓ１１の処理が実行される場合には、図３の（Ｃ）に示されるように、表示領域８００の他端側に僅かに移動した位置に、マーカー８０１が更新表示される。このように、Ｓ１１の処理が実行される度に、表示領域８００の他端側に僅かに移動した位置にマーカー８０１が更新表示される。そして、表示領域８００の他端（終点）にマーカー８０１が到達した場合には（図３の（Ｅ））、再び、始点にマーカー８０１が表示される（図３の（Ｆ））。本実施形態では、マーカー８０１は、表示領域８００を、等速度直線運動する。なお、このＳ１１の処理は、所定時間（例えば、数十ミリ秒）毎に実行される。
Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。

Ｓ１２「視線検出」の処理において、視線座標算出プログラム５３ａは、バス５９に入力された、視線情報に基づき、視線座標を算出する。このＳ１２の処理もまた、所定時間（例えば、数十ミリ秒）毎に実行される。Ｓ１２の処理が終了すると、Ｓ１３の処理に進む。

Ｓ１３「視線座標をログに追加」の処理において、視線座標算出プログラム５３ａは、Ｓ１２の処理で算出された視線座標を、視線座標ログ記憶領域５２ａに追加記憶させる。Ｓ１３の処理が終了すると、Ｓ１４の判断処理に進む。

Ｓ１４「マーカーが終点で表示」の判断処理において、ＣＰＵ５１は、マーカー８０１が終点に表示されたか否かを判断する。ＣＰＵ５１が、マーカー８０１が終点に表示されたと判断した場合には（Ｓ１４の判断処理がＹＥＳ）、Ｓ１５の処理に進む。一方で、ＣＰＵ５１が、マーカー８０１が終点に表示されたと判断しない場合には（Ｓ１４の判断処理がＮＯ）、Ｓ１１の処理に戻る。

Ｓ１５「視線の運動特徴を算出」の処理において、視線動解析プログラム５３ｃは、視線座標ログ記憶領域５２ａに記憶されている視線座標のログから、ユーザの視線の運動特徴を算出する。
具体的には、図６に示されるように、視線動解析プログラム５３ｃは、視線座標のＸ座標とＹ座標のそれぞれについて、時間微分をして視線速度ｖを算出する。なお、視線座標のＸ座標とは、ユーザから見て水平方向の座標をいう。また、視線座標のＹ座標とは、ユーザから見て垂直方向の座標をいう。
更に、視線運動解析プログラム５３ｃは、視線座標のＸ座標とＹ座標のそれぞれについて、時間微分を２回して視線加速度ａを算出する。
算出された運動特徴は、ＲＡＭ１２の運動特徴記憶領域５２ｂに記憶される。
Ｓ１５の処理が終了すると、Ｓ１６の判断処理に進む。

Ｓ１６「視線の運動特徴とマーカーの運動特徴と関連有り」の判断処理において、視線動解析プログラム５３ｃは、運動特徴記憶領域５２ｂに記憶されている視線の運動特徴とマーカー８０１の運動特徴とが関連があるか否かを判断する。
具体的には、視線動解析プログラム５３ｃは、以下の（１）〜（５）の条件に合致しているか否かを判断することにより、視線の運動特徴とマーカー８０１の運動特徴とが関連があるか否かを判断する。
（１）マーカー８０１が動き出してから所定時間Ａ以内に、視線速度ｖや視線加速度ａが所定値以上に達したか。
（２）マーカー８０１が動き出してから所定時間Ｂ経過後のＸ座標方向の視線速度ｖが、マーカー８０１の速度に対して、所定の誤差Ｃの範囲内にある時間が、所定時間Ｌｔ１以上か。
（３）マーカー８０１が動き出してから所定時間Ｂ経過後のＸ座標方向の視線加速度ａが、０から所定値Ｄの誤差の範囲内にあるか。
（４）Ｙ座標方向の視線速度ｖが、０から所定の誤差Ｅの範囲内にある時間が、時間が、所定時間Ｌｔ２以上か。
（５）Ｙ座標方向の視線加速度ａが、０から所定の誤差Ｆの範囲内にあるか。
なお、視線速度が安定するまでの時間である前記所定時間Ｂが、視線加速度ａの値から動的に算出される実施形態であっても差し支え無い。具体的には、視線加速度ａが所定の誤差の範囲内で0となった時点で、視線速度が安定したと判断され、前記所定時間Ｂが経過したと判断される。
視線動解析プログラム５３ｃは、上記（１）〜（５）の条件に全て合致する場合に、視線の運動特徴とマーカー８０１の運動特徴とが関連があると判断する。
視線動解析プログラム５３ｃが、視線の運動特徴とマーカー８０１の運動特徴とが関連があると判断した場合には（Ｓ１６の判断処理がＹＥＳ）、Ｓ１７の処理に進む。一方で、視線動解析プログラム５３ｃが、視線の運動特徴とマーカー８０１の運動特徴とが関連が無いと判断した場合には（Ｓ１６の判断処理がＮＯ）、Ｓ１１の処理に戻る。

Ｓ１７「ロックを解除」の処理において、操作実行プログラム５３ｄは、ロック状態にあるアプリケーションソフトを、視線入力可能なロック解除状態にする。
Ｓ１７の処理が終了すると。視線入力処理が終了する。

このように本発明では、S１５の処理において、視線の座標から時間微分により運動特徴が算出され、S１６の判断処理において、算出された運動特徴とマーカー８０１の運動特徴とが関連があるか否かが判断されることにより、ユーザの視線入力が検出されるようになっている。つまり、ユーザの視線の絶対的な位置で無く、ユーザの視線の相対的な動きにより、ユーザの視線入力が検出されるので、キャリブレーションが不要となる。
このように、第１の実施形態の視線入力検出処理では、ユーザの視線入力が検出されない限り、ロック状態が維持されるので、アプリケーションソフトへの不用意な操作が防止される一方で、ユーザは視線入力により、アプリケーションソフトへの視線入力を受け付けるロック解除状態に変更することができ、ユーザの意図に沿った操作を視線入力により実現することが可能となる。

（第２の実施形態の視線入力検出処理の説明）
以下に、図７及び図８を用いて、第２の実施形態の視線入力検出処理について説明する。
なお、第２の実施形態の視線入力検出処理は、前記した第１の実施形態において、アプリケ−ションソフトが視線入力可能なロック解除状態になった場合（Ｓ１７の処理）に、視線入力によりアプリケ−ションを操作する実施形態であり、図８に示されるように、複数の動くマーカー８０２〜８０５が表示画面８００に表示される。そして、ユーザが、ある特定のマーカー８０２〜８０５を目で追った場合に、ユーザの視線の動きが検出され、特定のマーカー８０２〜８０５に対応する操作（図８に示されるＡ〜Ｄのいずれか）が実行される実施形態である。
第２の実施形態の視線入力検出処理が開始すると、Ｓ２１の処理に進む。

Ｓ２１「マーカー更新表示」の処理において、マーカー表示プログラム５３ｂは、描画命令を画像処理部５５に出力し、表示領域８００に、複数のマーカー８０２〜８０５を更新表示させる。
本実施形態では、表示領域８００の４辺の内側に、この４辺に沿って、それぞれのマーカー８０２〜８０５が移動する。それぞれのマーカー８０２〜８０５は、表示領域８００の４辺の一端（始点）から他端（終点）に向けて移動する。そして、それぞれのマーカー８０２〜８０５がそれぞれの終点に到達した場合には、それぞれのマーカー８０２〜８０５はそれぞれの始点に戻り、再びそれぞれの終点に向けて移動するという動作を繰り返す。
最初にＳ２１の処理が実行される場合には、図８に示されるように、それぞれの始点にマーカー８０２〜８０５がそれぞれ表示される。次に、Ｓ２１の処理が実行される場合には、それぞれの終点側に僅かに移動した位置に、マーカー８０２〜８０５が更新表示される。このように、Ｓ２１の処理が実行される度に、それぞれの終点側に僅かに移動した位置にマーカー８０２〜８０５が更新表示される。本実施形態では、それぞれのマーカー８０２〜８０５は、表示領域８００を、等速度直線運動する。なお、このＳ２１の処理は、所定時間（例えば、数十ミリ秒）毎に実行される。
Ｓ２１の処理が終了すると、Ｓ２２の処理に進む。

Ｓ２２〜Ｓ２５の処理は、それぞれ、第１の実施形態のＳ１２〜Ｓ１５の処理と同一である。

Ｓ２６の判断処理も、第１の実施形態のＳ１６の判断処理と同様である。第２の実施形態では、視線動解析プログラム５３ｃは、運動特徴記憶領域５２ｂに記憶されている視線の運動特徴と関連がある運動特徴のマーカー８０２〜８０５が有るか否かを判断する。視線動解析プログラム５３ｃが、視線の運動特徴と関連がある運動特徴のマーカー８０２〜８０５が有ると判断した場合には（Ｓ２６の判断処理がＹＥＳ）、Ｓ２７の処理に進む。一方で、視線動解析プログラム５３ｃが、視線の運動特徴と関連がある運動特徴のマーカー８０２〜８０５が無いと判断した場合には（Ｓ２６の判断処理がＮＯ）、Ｓ２１の処理に戻る。

Ｓ２７「操作実行」の処理において、操作実行プログラム５３ｄは、Ｓ２６の判断処理で、視線の運動特徴と関連があると判断された運動特徴のマーカー８０２〜８０５に対応するアプリケーションの操作（図８に示されるＡ〜Ｄのいずれか）を実行する。Ｓ２７の処理が終了すると、Ｓ２１の処理に戻る。

（総括）
なお、Ｓ１１やＳ２１の処理において、図９に示されるように、マーカー表示プログラム５３ｂが、移動方向が途中で変化するマーカー８０６を表示領域８００に表示させる実施形態であっても差し支え無い。図９で示される実施形態では、マーカー８０６は水平方向に移動した後に、垂直方向に向きを変えて移動する。このような実施形態であっても、Ｓ１６やＳ２６の判断処理において、視線動解析プログラム５３ｃは、視線の運動特徴とマーカー８０６の運動特徴とが関連があるか否かを判断し、関連があると判断された場合には、Ｓ１７やＳ２７の処理において、関連があると判断されたマーカーに対応する視線入力が実行される。この実施形態の場合には、ユーザが、移動方向が途中で変化する前後のマーカー８０６を目で追い続けなければ、視線の運動特徴とマーカー８０６の運動特徴とが関連があると判断されず、ユーザの視線入力が検出されないので、視線入力の誤検出がより確実に防止される。

以上説明した実施形態では、マーカー８０１〜８０６は、直線運動で表示領域８００内を移動しているが、マーカーが曲線運動や円運動をする実施形態であっても差し支え無い。また、マーカーが、表示領域８００内を、等速運動でなく、等加速運動や、不規則な速度変化をする実施形態であっても差し支え無い。これらの実施であっても、視線動解析プログラム５３ｃは、視線の運動特徴とマーカーの運動特徴とが関連があるか否かを判断し、関連があると判断された場合には、Ｓ１７やＳ２７の処理において、関連があると判断されたマーカーに対応する視線入力が実行される。

なお、Ｓ１６の判断処理において、視線動解析プログラム５３ｃは、上記（１）〜（５）の条件のいずれかを選択して、視線の運動特徴とマーカー８０１の運動特徴とが関連があるか否かを判断することにしても差し支え無い。
或いは、視線動解析プログラム５３ｃは、視線速度ｖ及び視線加速度ａの経時変化が、図１０の（Ａ）や（Ｂ）に示されるような所定の範囲をもったパターン（図１０に示される一点鎖線）の範囲内であるか否かを判断することにより、視線の運動特徴とマーカー８０１（８０２〜８０５）の運動特徴とが関連があるか否かを判断することにしても差し支え無い。この実施形態の場合には、記憶装置５３には、図１０に示されるようなパターンデータが記憶されている。

なお、図１１に示されるように、マーカーの動きはじめに対して、視線の動きはじめが遅れ、視線の移動開始位置がマーカーの移動開始位置に対してずれてしまう場合がある。或いは、マーカーが終点に達する前に、視線の動きが停止してしまう場合がある。このような場合であっても、ユーザの視線入力が検出されるように、Ｓ１６やＳ２６の判断処理において、視線動解析プログラム５３ｃは、マーカーの動きと視線の動きが相似的か否かを判断することにより、視線の運動特徴とマーカーの運動特徴とが関連があるか否かを判断することにしても差し支え無い。具体的には、視線動解析プログラム５３ｃは、図１０の（Ｃ）や（Ｄ）に示されるように、前記したパターンを時間座標方向（ｔ）にシフトさせた場合に、視線速度ｖ及び視線加速度ａの経時変化が、前記シフトさせたパターンの範囲内であるか否かを判断する。この実施形態であれば、視線の動きがマーカーの動きに対して相似的であれば、ユーザの視線入力が検出され、ユーザの視線入力が検出されないという誤検出を防止することが可能となる。
また、図１１に示されるような、ユーザの視線の動きの場合には、ユーザの視線の速度もまた、マーカーの速度に比べて小さくなってしまう場合がある。この場合であっても、ユーザの視線入力が検出されるように、視線動解析プログラム５３ｃは、図１０の（Ａ）や（Ｃ）に示されるパターンを速度座標方向（ｖ）方向にシフトさせ、視線速度ｖの経時変化が、シフトされた前記パターンの範囲内にあると判断した場合に、ユーザの視線入力を検出することにしても差し支え無い。

以上説明した実施形態の視線検出部６０は、眼球９９９の電場の向きを検出して、ユーザの視線の向きを検出する構造のものであるが、視線検出部はこれに限定されず、例えば、ユーザの眼球を正面から撮像し、撮像された画像から、ユーザの視線の向きが検出される視線検出部であっても差し支え無い。

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。

１０ 頭部装着部
２０ 取付部材
３０ 画像表示部
５０ 制御部
６０ 視線検出部
１００ ヘッドマウントディスプレイ
８００ 表示領域
８０１ マーカー
９００ ユーザ
９９９ 眼球

Claims (8)

1. ユーザの頭部に装着される頭部装着部と、
   前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
   ユーザの視線の向きを検出する視線検出部と、
   前記画像表示部に、動くマーカーを表示させるマーカー表示手段と、
   前記視線検出部によって検出された視線の座標の時間微分により、視線の相対的な運動特徴を算出する算出手段と、
   前記算出手段によって算出された前記視線の相対的な運動特徴と前記マーカーの運動特徴との関連があるか否かを判断することにより、ユーザの視線入力を検出する視線動解析手段と、
   前記視線動解析手段が検出した前記視線入力に対応する操作を実行させる操作実行手段を有することを特徴とするヘッドマウントディスプレイ。
2. 前記算出手段は、前記視線検出部によって検出された視線の座標の時間微分により、視線の相対的な運動特徴として、視線速度、及び視線加速度を算出することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記マーカー表示手段は、前記画像表示部に、一方向に動くマーカーを表示させることを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
4. 前記マーカー表示手段は、前記画像表示部に、異なる方向に動く複数のマーカーを表示させることを特徴とする請求項１〜請求項３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記マーカー表示手段は、前記画像表示部に、移動方向が途中で変化するマーカーを表示させることを特徴とする請求項１〜請求項４のいずれかに記載のヘッドマウントディスプレイ。
6. 前記視線動解析手段は、マーカーの動きと相似的な視線の動きを検出することにより、ユーザの視線入力を検出することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
7. アプリケーションへの視線入力を受け付けないロック状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記ロック状態から、前記アプリケーションソフトへの視線入力を受け付けるロック解除状態に変更し、
   ロック解除状態にある場合において、前記視線動解析手段が、マーカーの動きと関連している視線の動きを検出した場合に、前記操作実行手段は、前記アプリケーションソフトの操作を実行させることを特徴とする請求項１〜請求項６のいずれかに記載のヘッドマウントディスプレイ。
8. ユーザの頭部に装着される頭部装着部と、
   前記頭部装着部に取り付けられ、ユーザに画像を視認させる画像表示部と、
   ユーザの視線の向きを検出する視線検出部を有するヘッドマウントディスプレイで実行されるプログラムであって、
   前記画像表示部に、動くマーカーを表示させるマーカー表示ステップと、
   前記視線検出部によって検出された視線の座標の時間微分により、視線の相対的な運動特徴を算出する算出ステップと、
   前記算出ステップで算出された前記視線の相対的な運動特徴と前記マーカーの運動特徴との関連があるか否かを判断することにより、ユーザの視線入力を検出する視線動解析ステップと、
   前記視線解析ステップで検出された前記視線入力に対応する操作を実行させる操作実行ステップを有することを特徴とするプログラム。

Images