JP5207145B2 - ヘッドマウントディスプレイ - Google Patents

Description

本発明は、ユーザーの記入操作を表示することができるヘッドマウントディスプレイに関する。

従来から、特許文献１に示されるように、ユーザーの記入操作の軌跡を電子的に生成し、保存することができる電子ペンが提案されている。
一方で、特許文献２に示されるように、ヘッドマウントディスプレイが表示する虚像に対して、ユーザーがペンを用いて入力を行うことができるヘッドマウントディスプレイが提案されている。

特開２００６−９２４１０号公報 特開２００５−３３９２６７号公報

特許文献１に示される電子ペンは、２次元の入力面に記入するため、ハンズフリーとならず、モバイル性に優れないという問題がある。一方で、特許文献２に示されるヘッドマウントディスプレイでは、ユーザーが虚像に対してペンを用いて入力する構成であることから、ハンズフリーとなり、モバイル性に優れる。しかしながら、ユーザーが、虚像に対する距離感を把握し難いことから、ユーザーにとって虚像に対する入力が難しいという問題があった。
この問題の解決方法として、ユーザーの記入操作を検出する入力面をユーザーの腰等の身体に装着し、更に、ユーザーの記入操作をヘッドマウントディスプレイに表示するような構成にすることが考えられる。このような構成であれば、ユーザーは前記入力面を直接視認することができなくても、自己の記入操作をヘッドマウントディスプレイで確認することができ、なおかつ、電子ペンのモバイル性が損なわれることがない。
しかしながら、ユーザーが入力面に記入を行う際に、ユーザーは体勢的に入力面を視認することが難しく、ユーザーが望む入力面の書き込み開始位置を探すことが困難であり、ユーザーの所望どおりに、記入操作の軌跡を電子的に生成することができないという問題があった。
本発明は、上記問題を解決し、ユーザーの所望する記入操作の軌跡を電子的に生成することができるヘッドマウントディスプレイを提供する。

上記課題を解決するためになされた請求項１に記載の発明は、
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
ユーザーの身体に装着され、２次元である検出領域上のユーザーの記入操作の座標である記入操作座標を検出する記入操作検出手段と、
前記記入操作座標に基づいて、記入操作の軌跡画像を生成し、前記画像生成部に出力する記入軌跡画像生成手段と、
前記記入操作座標に基づき、ユーザーによる記入操作の前記検出領域上の開始位置座標を検出するとともに、当該開始位置座標を前記画像生成部の表示領域上の初期位置座標に変換し、更に、前記初期位置座標と、前記記入操作座標と前記開始位置座標との位置関係を用いて、前記表示領域上の記入軌跡座標を決定する座標変換手段と、
前記記入軌跡画像生成手段は、前記記入軌跡座標に基づいて記入操作の軌跡画像を生成することを特徴とする。

請求項２に記載の発明は、ユーザーの記入操作の検出領域外への近接又は離脱を検出する記入操作エラー検出手段を更に有するとともに、
前記記入操作エラー検出手段が、ユーザーの記入操作の検出領域外への近接又は離脱を検出した場合において、記入操作検出手段がユーザーの記入操作を再び検出した場合に、
座標変換手段は、前記記入操作エラー検出手段がユーザーの記入操作の検出領域外への近接又は離脱を検出した時点の記入軌跡座標に、記入操作検出手段が再び検出した記入操作座標と開始位置座標との位置関係を用いて記入軌跡座標を決定することを特徴とする。
これにより、途切れることなく、記入軌跡座標が算出される。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、ユーザーの記入操作の検出領域外への近接を検出する検出領域外近接検出手段を更に有するとともに、
前記検出領域外近接検出手段が、ユーザーの記入操作の検出領域外への近接を検出した場合に、ユーザーに警告を報知する警告報知手段を更に有することを特徴とする。
これにより、ユーザーが記入操作の検出領域外への近接を知ることが可能となる。このため、ユーザーの記入操作が検出領域外へ離脱する前に、ユーザーが記入操作を検出領域内に戻すことが可能となる。

請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
ユーザーの記入操作が文字入力か否かを判断するモード選択手段と、
モード選択手段は、ユーザーの記入操作が文字入力であると判断した場合には、座標変換手段を起動させ、前記モード選択手段がユーザーの記入操作が文字入力でないと判断した場合には、座標変換手段を起動させない制御を行い、
記入軌跡画像生成手段は、前記モード選択手段がユーザーの記入操作が文字入力でないと判断した場合には、記入操作検出手段が検出した記入操作座標に基づいて、記入操作の軌跡画像を生成することを特徴とする。
これにより、ユーザーの希望により、文字入力か描画入力かを選択することができる。このため、文字入力の場合には、座標変換手段が起動して、ユーザーが所望の書き込み開始位置から記入したとしても、表示領域上の初期位置座標から記入が開始されたように表示される、一方で、描画入力の場合には、ユーザーが検知領域上に記入した内容がそのまま画像生成部の表示領域に表示される。

請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
記入操作検出手段が、所定時間以上ユーザーの記入操作を検出しない場合には、モード選択手段は、ユーザーの記入操作が文字入力であるか否かの判断を再び行うことを特徴とする。
これにより、文字入力と描画入力を切り替える際に、わざわざ操作ボタンを押して変更する必要がなく、モバイル性を維持したまま自由に文字・描画の入力ができる。また、手袋などを装着してボタンが押せない状況でも文字・描画の変更を行うことが出来る。

本発明によれば、座標変換手段が、ユーザーによる記入操作の検出領域上の開始位置座標を検出するとともに、当該開始位置座標を画像生成部の表示領域上の初期位置座標に変換し、前記初期位置座標と、前記記入操作座標と前記開始位置座標との位置関係を用いて、前記表示領域上の記入軌跡座標を決定するので、ユーザーが所望の書き込み開始位置から記入したとしても、表示領域上の初期位置座標から記入が開始されたように表示され、また、ユーザーの所望する記入操作の軌跡を電子的に生成することができるヘッドマウントディスプレイを提供することが可能となる。

本発明の実施の形態を示すヘッドマウントディスプレイの全体図である。 本発明の概要を示す説明図である。 ヘッドマウントディスプレイのブロック図である。 ヘッドマウントディスプレイのフロー図である。 入力モード選択時の説明図である。 初期位置座標決定時の説明図である。 記入開始状態の説明図である。 座標変換処理の説明図である。 ユーザーの記入操作が検知領域外に近接した状態の説明図である。 警告報知状態の説明図である。 再び座標変換処理が行われている状態の説明図である。

（ヘッドマウントディスプレイの概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１に示されるように、ヘッドマウントディスプレイ１００は、ユーザーの頭部に装着されるヘッドマウントディスプレイ部５０とユーザーの腰等の身体に装着される制御部３０とから構成されている。ヘッドマウントディスプレイ部５０は、頭部装着部５１、画像生成部５２とから構成されている。頭部装着部５１は、図１に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザーの頭部に装着される構造のものであれはすべて含まれる。

画像生成部５２は、頭部装着部５１の側前部に取り付けられている。画像生成部５２は、画像を生成し、当該画像をユーザーに視認させるものである。本実施形態では、画像生成部５２は、レーザ光を直接ユーザーの眼球に走査することにより、ユーザーに画像を視認させる網膜走査型ディスプレイを用いて構成される。このように、網膜走査型ディスプレイを用いて画像生成部５２を構成すると、ユーザーは画像生成部５２が生成する画像を視認することができると同時に、外界もまた視認することができる。なお、画像生成部５２は、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなど、その他の装置を用いた構成であっても差し支えない。

制御部３０は、ユーザーの記入操作を検出する装置である。制御部３０は、画像生成部５２と接続している。制御部３０には、ヘッドマウントディスプレイ１００を操作するための操作部３５が設けられている。また、図２に示されるように、制御部３０には、記入操作検出部３１が設けられている。記入操作検出部３１は、２次元である検出領域３１ａ上の、ユーザーの記入操作の座標を検出する装置である。本実施形態では、ユーザーが入力ペン８０で検出領域３１ａ上に記入操作を行うと、この記入操作による検出領域３１ａ上の座標が「記入操作座標」として、記入操作検出部３１で検出されるようになっている。

検出領域３１ａの絶対座標と、画像生成部５２の表示領域９０の絶対座標は一致している。ところが、本発明では、ユーザーが検出領域３１ａ上で文字を記入する場合には、制御部３０が記入操作検出部３１で検知された開始位置座標９１を、画像生成部５２の表示領域９０上の所望の初期位置座標９９に変換する。従って、図２に示されるように、ユーザーが、検出領域３１ａ上の任意の開始位置座標９１からペン入力を始めた場合であっても、表示領域９０の所望の初期位置から、ユーザーの記入による軌跡が表示される。
以下、このような機能を実現するヘッドマウントディスプレイ１００について詳細に説明する。

（ヘッドマウントディスプレイのブロック図）
図３を用いて、ヘッドマウントディスプレイ１００のブロック図を説明する。制御部３０には、ヘッドマウントディスプレイ１００の各種制御を行う制御基板２０を有している。制御基板２０は、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、補助記憶装置１３、画像生成コントローラ１６、ＶＲＡＭ１７、インターフェース１９を有している。これらの構成は、相互にバス９で接続されている。画像生成コントローラ１６とＶＲＡＭ１７も相互に接続している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略）１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略）１２と協動して、各種演算、処理を行うものである。

ＲＡＭ１１は、ＣＰＵ１０で処理されるプログラムや、ＣＰＵ１０が処理するデータを、そのアドレス空間に一時的に記憶するものである。ＲＡＭ１１は、記入操作座標記憶領域１１ａ、初期位置座標記憶領域１１ｂ、開始位置座標記憶領域１１ｃ、記入軌跡座標記憶領域１１ｄを有している。
記入操作座標記憶領域１１ａには、バス９に入力された「記入操作座標」が記憶される。
初期位置座標記憶領域１１ｂには、後述する初期位置座標決定プログラム１２ｃが決定した画像生成部５２の表示領域９０上の「初期位置座標」が記憶される。
開始位置座標記憶領域１１ｃには、ユーザーの入力ペン８０による検出領域３１ａへの記入操作の開始位置の座標である「開始位置座標」が記憶される。
記入軌跡座標記憶領域１１ｄには、座標変換プログラム１２ｅにより生成された「記入軌跡座標」が記憶される。

ＲＯＭ１２には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１０で処理されることにより、各種機能を実現している。ＲＯＭ１２には、モード選択画面表示プログラム１２ａ、モード選択プログラム１２ｂ、初期位置座標決定プログラム１２ｃ、開始位置座標検出プログラム１２ｄ、座標変換プログラム１２ｅ、記入軌跡画像生成プログラム１２ｆ、記入操作エラー検出プログラム１２ｇ、警告報知プログラム１２ｈが記憶されている。なお、補助記憶装置１３に、これらプログラムやデータを記憶することにしても差し支えない。

モード選択画面表示プログラム１２ａは、「文字入力モード」であるか「描画入力モード」であるかを選択させる「入力モード選択画面」（図５に示す）を、画像生成部５２の表示領域９０上に表示させる命令を、画像生成コントローラ１６に出力する。
モード選択プログラム１２ｂは、ユーザーの選択操作により、「文字入力モード」又は「描画入力モード」のいずれかが選択されたかを判断するプログラムである。
初期位置座標決定プログラム１２ｃは、画像生成部５２の表示領域９０上の初期位置座標９９（図７〜図１１に示す）を決定するプログラムである。
開始位置座標検出プログラム１２ｄは、「記入操作座標」から、ユーザーによる書き始め位置である開始位置座標９１（図７〜図１１に示す）を検出するプログラムである。
座標変換プログラム１２ｅは、ユーザーによる記入操作の開始位置座標９１を、画像生成部５２の表示領域９０上の初期位置座標９９に変換し、初期位置座標９９と、「記入操作座標」と開始位置座標９１との位置関係を用いて、順次「記入軌跡座標」を算出するプログラムである。
記入軌跡画像生成プログラム１２ｆは、前記算出された「記入軌跡座標」に基づいて、画像生成部５２に出力する「記入軌跡画像」を生成するプログラムである。
記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作の検出領域３１ａ外への近接又は離脱を検出するプログラムである。
警告報知プログラム１２ｈは、ユーザーの記入操作の検出領域３１ａ外への近接又は離脱を検出した場合に、画像生成部５２に警告画像を表示させ、ユーザーに警告を報知するプログラムである。
なお、モード選択画面表示プログラム１２ａ、モード選択プログラム１２ｂ、初期位置座標決定プログラム１２ｃ、開始位置座標検出プログラム１２ｄ、座標変換プログラム１２ｅ、記入軌跡画像生成プログラム１２ｆ、記入操作エラー検出プログラム１２ｇ、警告報知プログラム１２ｈを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）として構成することとしても差し支えない。

補助記憶装置１３は、例えば、不揮発性メモリーやハードディスクである。補助記憶装置１３には、記入軌跡座標保存領域１３ａ、記入操作座標保存領域１３ｂを有している。記入軌跡座標保存領域１３ａには、「文字入力モード」の場合に、ユーザーの検出領域３１ａ上の記入操作により生成された「記入軌跡座標」が記憶される。記入操作座標保存領域１３ｂには、「描画入力モード」の場合に、ユーザーの検出領域３１ａ上の記入操作により生成された「記入操作座標」が記憶される。

画像生成コントローラ１６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有している。画像生成コントローラ１６は、記入軌跡画像生成プログラム１２ｃからの描画命令により、「記入操作軌跡画像」を生成し、ＶＲＡＭ１７に記憶させる。ＶＲＡＭ１７に記憶された「記入操作軌跡画像」は、「画像信号」として画像生成部５２に出力される。

インターフェース１９は、信号の物理的、論理的な形式を変換するものである。インターフェース１９は、記入操作検出部３１や操作部３５と接続している。操作部３５は、ボタンやタッチパネルで構成されている。操作部３５は、ユーザーの操作により、ヘッドマウントディスプレイ１００をＯＮ状態（電源が投入された状態）やＯＦＦ状態（電源が遮断された状態）にし、ヘッドマウントディスプレイ１００の各種操作を行うためのものである。

本実施形態では、入力ペン８０の先端は交番磁界を発し、記入操作検出部３１には前記交番磁界を検知する検知コイルがマトリックス状に配設されている。このような構成により、記入操作検出部３１で、２次元である検出領域３１ａ上の、ユーザーの記入操作の座標である「記入操作座標」が生成される。この「記入操作座標」は、所定時間（数ミリ秒）をおいて生成される。但し、ユーザーが入力ペン８０を、記入操作検出部３１の検出領域３１ａから離した場合には、「記入操作座標」は生成されない。生成された「記入操作座標」は、インターフェース１９を介して、バス９に出力される。

（ヘッドマウントディスプレイのフローの説明）
図４を用いて、ヘッドマウントディスプレイ１００の処理フローについて説明する。ユーザーが操作部３５を操作することにより、ヘッドマウントディスプレイ１００に電源が投入されると、ヘッドマウントディスプレイ１００の処理フローが開始し、Ｓ１１の処理に進む。
Ｓ１１「起動処理」において、ヘッドマウントディスプレイ１００の各種プログラムが起動する。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。

Ｓ１２「入力モード選択画面を表示」の処理において、モード選択画面表示プログラム１２ａは、「文字入力モード」であるか「描画入力モード」であるかを選択させる「入力モード選択画面」を、画像生成部５２に表示させる命令を、画像生成コントローラ１６に出力する。すると、図５に示されるように、「文字入力モード」及び「描画入力モード」のボタンからなる「入力モード選択画面」が画像生成部５２に表示される。更に、モード選択プログラム１２ｂは、画像生成部５２の表示領域９０上に、ポインター９７を表示される命令を、画像生成コントローラ１６に出力する。すると、図５に示されるように、ポインター９７が画像生成部５２の表示領域９０上に表示される。なお、ポインター９７が、画像生成部５２の表示領域９０上に、表示されている状態で、ユーザーが入力ペン８０の先端を、記入操作検出部３１の検出領域３１ａに押し当てたまま所定の位置まで移動させる「ドラッグ操作」を行うと、ポインター９７が前記「ドラッグ操作」に伴って移動する。Ｓ１２の処理が終了すると、Ｓ１３の判断処理に進む。

Ｓ１３「文字入力モードか？」の判断処理において、モード選択プログラム１２ｂは、ユーザーの入力ペン８０の操作により、「文字入力モード」が選択されたか否かを判断する。ユーザーが、入力ペン８０の操作することによりポインター９７を「文字入力モード」のボタン上まで移動した後に、「選択操作」を行った場合には、モード選択プログラム１２ｂは、「文字入力モード」が選択されたと判断し（Ｓ１３の判断処理がＹＥＳ）、Ｓ１４の判断処理に進む。
一方で、ユーザーが、入力ペン８０の操作することによりポインター９７を「描画入力モード」のボタン上まで移動した後に、「選択操作」を行った場合には、モード選択プログラム１２ｂは、「描画入力モード」が選択されたと判断し（Ｓ１３の判断処理がＮＯ）、Ｓ５１の処理に進む。なお、「選択操作」としては、例えばユーザーが選択ペン８０の先端を検出領域３１ａ上で離しては着ける動作を２回繰り返すダブルクリック操作などが含まれる。

Ｓ１４「初期位置入力あり？」の判断処理において、初期位置座標決定プログラム１２ｃは、初期位置入力があったか否かを判断する。具体的には、ユーザーが入力ペン８０の先端を、記入操作検出部３１の検出領域３１ａに接触させると、初期位置座標決定プログラム１２ｃは、初期位置入力があったと判断し（Ｓ１４の判断処理がＹＥＳ）、Ｓ１５の処理に進む。一方で、初期位置座標決定プログラム１２ｃが、初期位置入力があったと判断しない場合には（Ｓ１４の判断処理がＮＯ）、Ｓ１５の処理に進まない。

Ｓ１５「絶対座標で初期位置マークを表示」の処理において、初期位置座標決定プログラム１２ｃは、Ｓ１４の処理で検出された検出領域３１ａ上の操作ペン８０先端の絶対座標に対応する、表示領域９０上の位置に初期位置マーク９８を表示する描画命令を、画像生成コントローラ１６に出力する。すると、図６に示されるように、画像生成部５２の表示領域９０上に初期位置マーク９８が表示される。Ｓ１５の処理が終了すると、Ｓ１６の処理に進む。

Ｓ１６「初期位置決定入力あり？」の判断処理において、初期位置座標決定プログラム１２ｃは、初期位置決定入力があったか否かを判断する。具体的には、ユーザーが操作部３５を操作することにより、初期位置座標決定プログラム１２ｃが、初期位置決定入力があったと判断した場合には（Ｓ１６の判断処理がＹＥＳ）、初期位置座標決定プログラム１２ｃは、画像生成部５２の表示領域９０の初期位置マーク９８が表示されている座標を「初期位置座標」として、ＲＡＭ１１の初期位置座標記憶領域１１ｂに記憶させて、Ｓ１７の判断処理に進む。一方で、初期位置座標決定プログラム１２ｃが、初期位置決定入力があったと判断しない場合には（Ｓ１６の判断処理がＮＯ）、Ｓ１７の判断処理に進まない。このように、本発明では、ユーザーが「初期位置座標」として画像生成部５２の表示領域９０上の任意の位置を選択することができる。

Ｓ１７「記入操作有り？」の判断処理において、ＣＰＵ１０は、ユーザーによる記入操作があったか否かを判断する。具体的には、ユーザーが入力ペン８０で、記入操作検出部３１の検出領域３１ａ上に記入操作を行うことにより、「記入操作座標」がインターフェース１９を介してバス９に入力されたと、ＣＰＵ１０が判断した場合には（Ｓ１７の判断処理がＹＥＳ）、Ｓ１８の処理に進む。この際に、開始位置座標検出プログラム１２ｄは、時系列的に最も古い「記入操作座標」を「開始位置座標」としてＲＡＭ１１の開始位置座標記憶領域１１ｃに記憶させる。一方で、ＣＰＵ１０が、「記入操作座標」がインターフェース１９を介してバス９に入力されたと判断しない場合には（Ｓ１７の判断処理がＮＯ）、Ｓ１８の処理に進まない。

Ｓ１８「記入操作座標の記憶開始」の処理において、ＣＰＵ１０は、バスに入力された「記入操作座標」を、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶させる処理を開始させる。Ｓ１８の処理が終了すると、Ｓ１９の処理に進む。

Ｓ１９「記入軌跡座標算出開始」の処理において、座標変換プログラム１２ｅは、画像生成部５２の表示領域９０に表示される、ユーザー記入操作の軌跡座標である「記入軌跡座標」の算出を開始させる。座標変換プログラム１２ｅが、「記入軌跡座標」を算出する処理について次に説明する。
座標変換プログラム１２ｅは、ＲＡＭ１２の初期位置座標記憶領域１１ｂと開始位置座標記憶領域１１ｃを参照することにより、「初期位置座標」及び「開始位置座標」を認識する。そして、図７に示されるように、座標変換プログラム１２ｅは、ユーザーによる記入操作の開始位置座標９１を、画像生成部５２の表示領域９０上の初期位置座標９９に変換する。
次に、座標変換プログラム１２ｅは、ＲＡＭ１１の記入操作座標記憶領域１１ａを参照することにより、「記入操作座標」を認識する。そして、座標変換プログラム１２ｅは、初期位置座標９９と、「記入操作座標」と開始位置座標９１との位置関係を用いて、順次「記入軌跡座標」を算出する。本実施形態では、座標変換プログラム１２ｅは、初期位置座標９９に、「記入操作座標」と開始位置座標９１との差分値（図８に示されるＸ’、Ｙ’）を加算することにより、順次「記入軌跡座標」を算出する。算出された「記入軌跡座標」は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶される。
Ｓ１９の処理が終了すると、Ｓ２０の処理に進む。

Ｓ２０「画像表示部への表示開始」の処理において、記入軌跡画像生成プログラム１２ｆは、記入軌跡座標記憶領域１１ｄに記憶されている「記入軌跡座標」に基づいて、「表示領域軌跡画像」を生成する。具体的には、記入軌跡画像生成プログラム１２ｆは、時系列的に隣接する「記入軌跡座標」同士を結ぶ線を生成する描画命令を、画像生成コントローラ１６に出力する。但し、時系列的に隣接する「記入軌跡座標」が所定距離以上離れている場合には、ユーザーが入力ペン８０を、記入操作検出部３１の検出領域３１ａから離しているので、時系列的に隣接する「記入軌跡座標」は結ばない。
時系列的に隣接する「記入軌跡座標」同士を結ぶ線を生成する描画命令が、画像生成コントローラ１６に入力されると、図８に示されるように、画像生成部５２の表示領域９０上に文字である「表示領域軌跡画像」が表示される。Ｓ２０の処理が終了すると、Ｓ２１の判断処理に進む。

Ｓ２１「検出領域外に近接？」の判断処理において、記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作（入力ペン８０の先端）の、検出領域３１ａ外へ近接又は離脱を検出したか否かを判断する。なお、図９に示されるように、記入操作検出部３１は、検出領域３１ａの外縁から当該外縁からやや内側位置まで近接警告領域３１ｂを有している。そして、ユーザーの記入操作が、近接警告領域３１ｂに侵入した場合には、記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作が検出領域３１ａ外へ近接したと判断する。また、ユーザーの記入操作が、近接警告領域３１ｂに侵入した後に、検出領域３１ａからユーザーの記入操作が検出されなくなった場合には、記入操作エラー検出プログラム１２ｇは、ユーザーの記入操作が検出領域３１ａ外へ離脱したと判断する。
記入操作エラー検出プログラム１２ｇが、ユーザーの記入操作の検出領域３１ａ外へ近接又は離脱を検出した場合には（Ｓ２１の判断処理ＹＥＳ）、Ｓ３１の処理に進む。
一方で、記入操作エラー検出プログラム１２ｇが、ユーザーの記入操作の検出領域３１ａ外へ近接又は離脱を検出しない場合には（Ｓ２１の判断処理ＮＯ）、Ｓ４１の処理に進む

Ｓ３１「警告を報知」の処理において、警告報知プログラム１２ｈは、画像生成部５２で警告を表示する描画命令を画像生成コントローラ１６に出力する。すると、図１０に示されるように、画像生成部５２に警告が表示される。
或いは、ヘッドマウントディスプレイ１００にスピーカを設け、当該スピーカで警告音を再生して、ユーザーに警告を報知する実施形態であっても差し支えない。
Ｓ３１の処理が終了すると、Ｓ３２の判断処理に進む。

Ｓ３２「記入操作座標が所定以上変化？」の判断処理において、記入操作エラー検出プログラム１２ｇは、ＲＡＭ１１の記入操作座標記憶領域１１ａを参照することにより、「記入操作座標」が所定以上変化したか否かを判断する。つまり、ユーザーがＳ３１の処理で報知される警告を知覚することにより、入力ペン８０を検出領域３１ａの内側に移動させた場合には、「記入操作座標」が所定以上変化する。記入操作エラー検出プログラム１２ｇが、「記入操作座標」が所定以上変化したと判断した場合には（Ｓ３２の判断処理がＹＥＳ）、Ｓ３３の処理に進む。一方で、記入操作エラー検出プログラム１２ｇが、「記入操作座標」が所定以上変化したと判断しない場合には（Ｓ３２の判断処理がＮＯ）、Ｓ３３の処理に進まない。

Ｓ３３「記入軌跡座標再算出」の処理において、座標変換プログラム１２ｅは、Ｓ２１の判断処理において記入操作エラー検出プログラム１２ｇがユーザーの記入操作の検出領域外への近接又は離脱を検出した時点の記入軌跡座標９２（図１０や図１１に示す）と、記入操作検出部３１が再び検出した後の、開始位置座標９３と記入操作座標９４（図１１に示す）との位置関係を用いて記入軌跡座標９５（図１１に示す）を算出する。本実施形態では、座標変換プログラム１２ｅは、前記記入軌跡座標９２に、前記記入操作座標９４と開始位置座標９３との差分値（図１１に示されるＸ’’、Ｙ’’）を加算して、記入軌跡座標９５を算出している。算出された「記入軌跡座標」は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶される。更に、図１１に示されるように、再算出された「記入軌跡座標」に基づいて、画像生成部５２の表示領域９０に「表示領域軌跡画像」が表示される。
このように、ユーザーが検出領域３１ａの外側に離脱しそうになった入力ペン８０を、検出領域３１ａの内側に移動させた場合には、Ｓ３３の処理において、「記入軌跡座標」が再算出されるので、途切れなく「記入軌跡座標」が算出され、画像生成部５２の表示領域９０に「表示領域軌跡画像」が表示される。Ｓ３３の処理が終了すると、Ｓ４１の判断処理に進む。

Ｓ４１「文字入力モード解除？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「文字入力モード」を解除する信号がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「文字入力モード」を解除する信号がバス９に入力されたと判断した場合には（Ｓ４１の判断処理がＹＥＳ）、Ｓ４４の処理に進む。一方で、ＣＰＵ１０が、「文字入力モード」を解除する信号がバス９に入力されていないと判断した場合には（Ｓ４１の判断処理がＮＯ）、Ｓ４２の判断処理に進む。

Ｓ４２「所定時間記入操作無し？」の判断処理において、ＣＰＵ１０は、所定時間（例えば数分）以上、ユーザーによる記入操作検出部３１の検出領域３１ａへの記入操作が無かったか否かを判断する。具体的には、ＣＰＵ１０が、所定時間以上、バス９に「記入操作座標」が入力されなかったと判断した場合には（Ｓ４２の判断処理がＹＥＳ）、Ｓ４４の処理に進む。一方で、ＣＰＵ１０が、所定時間内に、バス９に「記入操作座標」が入力された判断した場合には（Ｓ４２の判断処理がＮＯ）、Ｓ４６の処理に進む。

Ｓ４４「記入軌跡座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶されている「記入軌跡座標」を、補助記憶装置１３の記入軌跡座標保存領域１３ａに保存させる。このように、記入軌跡座標保存領域１３ａに「記入軌跡座標」を保存させることにより、事後的に、ユーザーの記入内容を利用することができる。Ｓ４４の処理が終了すると、Ｓ１２の処理に戻る。

Ｓ４６「終了？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「終了信号」がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「終了信号」がバス９に入力されたと判断した場合には（Ｓ４６の判断処理がＹＥＳ）、Ｓ４７の処理に進む。ＣＰＵ１０が、「終了信号」がバス９に入力されていないと判断した場合には（Ｓ４６の判断処理がＮＯ）、Ｓ２１の判断処理に戻る。

Ｓ４７「記入軌跡座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入軌跡座標記憶領域１１ｄに記憶されている「記入軌跡座標」を、補助記憶装置１３の記入軌跡座標保存領域１３ａに保存させる。Ｓ４７の処理が終了すると、ヘッドマウントディスプレイ１００がＯＦＦ状態となり、一連のフローが終了する。

Ｓ５１「記入操作座標の記憶開始」の処理において、ＣＰＵ１０は、バスに入力された「記入操作座標」を、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶させる処理を開始させる。Ｓ５１の処理が終了すると、Ｓ５２の処理に進む。

Ｓ５２「記入操作軌跡の表示開始」の処理において、記入軌跡画像生成プログラム１２ｆは、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶されている「記入操作座標」に基づいて、「表示領域軌跡画像」を生成する。具体的には、記入軌跡画像生成プログラム１２ｆは、時系列的に隣接する「記入操作座標」同士を結ぶ線を生成する描画命令を、画像生成コントローラ１６に出力する。但し、時系列的に隣接する「記入操作座標」が所定距離以上離れている場合には、ユーザーが入力ペン８０を、記入操作検出部３１の検出領域３１ａから離していると考えられるので、時系列的に隣接する「記入操作座標」は結ばない。時系列的に隣接する「記入操作座標」同士を結ぶ線を生成する描画命令が、画像生成コントローラ１６に入力されると、画像生成部５２の表示領域９０上に「表示領域軌跡画像」が表示される。つまり、入力モードが「描画入力モード」である場合には、ユーザーが入力ペン８０で検出領域３１ａに記入した内容がそのまま画像生成部５２の表示領域９０に表示される。Ｓ５２の処理が終了すると、Ｓ５３の判断処理に進む。

Ｓ５３「描画入力モード解除？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「描画入力モード」を解除する信号がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「描画入力モード」を解除する信号がバス９に入力されたと判断した場合には（Ｓ５３の判断処理がＹＥＳ）、Ｓ５５の処理に進む。一方で、ＣＰＵ１０が、「描画入力モード」を解除する信号がバス９に入力されていないと判断した場合には（Ｓ５３の判断処理がＮＯ）、Ｓ５４の判断処理に進む。

Ｓ５４「所定時間記入操作無し？」の判断処理において、ＣＰＵ１０は、所定時間（例えば数分）以上、ユーザーによる記入操作検出部３１の検出領域３１ａへの記入操作が無かったか否かを判断する。具体的には、ＣＰＵ１０が、所定時間以上、バス９に「記入操作座標」が入力されなかったと判断した場合には（Ｓ５４の判断処理がＹＥＳ）、Ｓ５５の処理に進む。一方で、ＣＰＵ１０が、所定時間内に、バス９に「記入操作座標」が入力された判断した場合には（Ｓ５４の判断処理がＮＯ）、Ｓ５６の判断処理に進む。

Ｓ５５「記入操作座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶されている「記入操作座標」を、補助記憶装置１３の記入操作座標保存領域１３ｂに記憶させる。Ｓ５５の処理が終了すると、Ｓ１２の処理に戻る。

Ｓ５６「終了？」の判断処理において、ＣＰＵ１０は、ユーザーが操作部３５を操作することにより、「終了信号」がバス９に入力されたか否かを判断する。ＣＰＵ１０が、「終了信号」がバス９に入力されたと判断した場合には（Ｓ５６の判断処理がＹＥＳ）、Ｓ４７の処理に進む。ＣＰＵ１０が、「終了信号」がバス９に入力されていないと判断した場合には（Ｓ５６の判断処理がＮＯ）、Ｓ５３の判断処理に戻る。

Ｓ５７「記入操作座標を保存」の処理において、ＣＰＵ１０は、ＲＡＭ１１の記入操作座標記憶領域１１ａに記憶されている「記入操作座標」を、補助記憶装置１３の記入操作座標保存領域１３ｂに記憶させる。Ｓ５７の処理が終了すると、ヘッドマウントディスプレイ１００がＯＦＦ状態となり、一連のフローが終了する。

入力ペン８０を、赤外線や超音波を発生する構成とし、入力検出部３１は前記赤外線や超音波を受信する構成とし、入力検出部３１でユーザーの記入操作を検出することにしても差し支えない。
或いは、検出領域３１ａを撮像して、ユーザーの記入操作を検出する構成にしても差し支えない。
また、入力検出部３１を感圧式や静電容量式のタッチパネルで構成しても差し支えない。
以上説明した実施形態では、ユーザーが入力ペン８０を用いて、入力検出部３１の検出領域３１ａに記入操作を行っているが、入力検出部３１をタッチパネルで構成するか、もしくは、入力検出部３１を撮像する構成とすることにより、ユーザーが指で検出領域３１ａに記入操作を行い、入力検出部３１が前記記入操作を検出する実施形態であっても差し支えない。

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。

９ バス
１０ ＣＰＵ
１１ ＲＡＭ
１１ａ 記入操作座標記憶領域
１１ｂ 初期位置座標記憶領域
１１ｃ 開始位置座標記憶領域
１１ｄ 記入軌跡座標記憶領域
１２ ＲＯＭ
１２ａ モード選択画面表示プログラム
１２ｂ モード選択プログラム
１２ｃ 初期位置座標決定プログラム
１２ｄ 開始位置座標検出プログラム
１２ｅ 座標変換プログラム
１２ｆ 記入軌跡画像生成プログラム
１２ｇ 記入操作エラー検出プログラム
１２ｈ 警告報知プログラム
１３ 補助記憶装置
１３ａ 記入軌跡座標保存領域
１３ｂ 記入操作座標保存領域
１６ 画像生成コントローラ
１７ ＶＲＡＭ
１９ インターフェース
３０ 制御部
３１ 記入操作検出部
３１ａ 検出領域
３１ｂ 近接警告領域
３５ 操作部
５０ ヘッドマウントディスプレイ部
５１ 頭部装着部
５２ 画像生成部
８０ 入力ペン
９０ 表示領域
９１ 開始位置座標
９２ 記入軌跡座標
９３ 開始位置座標
９４ 記入操作座標
９５ 記入軌跡座標
９６ 警告
９７ ポインター
９８ 初期位置マーク
９９ 初期位置座標
１００ ヘッドマウントディスプレイ

Claims (5)

1. ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
   ユーザーの身体に装着され、２次元である検出領域上のユーザーの記入操作の座標である記入操作座標を検出する記入操作検出手段と、
   前記記入操作座標に基づいて、記入操作の軌跡画像を生成し、前記画像生成部に出力する記入軌跡画像生成手段と、
   前記記入操作座標に基づき、ユーザーによる記入操作の前記検出領域上の開始位置座標を検出するとともに、当該開始位置座標を前記画像生成部の表示領域上の初期位置座標に変換し、更に、前記初期位置座標と、前記記入操作座標と前記開始位置座標との位置関係を用いて、前記表示領域上の記入軌跡座標を決定する座標変換手段とを有し、
   前記記入軌跡画像生成手段は、前記記入軌跡座標に基づいて記入操作の軌跡画像を生成することを特徴とするヘッドマウントディスプレイ。
2. ユーザーの記入操作の検出領域外への近接又は離脱を検出する記入操作エラー検出手段を更に有するとともに、
   前記記入操作エラー検出手段が、ユーザーの記入操作の検出領域外への近接又は離脱を検出した場合において、記入操作検出手段がユーザーの記入操作を再び検出した場合に、
   座標変換手段は、前記記入操作エラー検出手段がユーザーの記入操作の検出領域外への近接又は離脱を検出した時点の記入軌跡座標に、記入操作検出手段が再び検出した記入操作座標と開始位置座標との位置関係を用いて記入軌跡座標を決定することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. ユーザーの記入操作の検出領域外への近接を検出する検出領域外近接検出手段を更に有するとともに、
   前記検出領域外近接検出手段が、ユーザーの記入操作の検出領域外への近接を検出した場合に、ユーザーに警告を報知する警告報知手段を更に有することを特徴とする請求項１又は請求項２に記載のヘッドマウントディスプレイ。
4. ユーザーの記入操作が文字入力か否かを判断するモード選択手段と、
   モード選択手段は、ユーザーの記入操作が文字入力であると判断した場合には、座標変換手段を起動させ、前記モード選択手段がユーザーの記入操作が文字入力でないと判断した場合には、座標変換手段を起動させない制御を行い、
   記入軌跡画像生成手段は、前記モード選択手段がユーザーの記入操作が文字入力でないと判断した場合には、記入操作検出手段が検出した記入操作座標に基づいて、記入操作の軌跡画像を生成することを特徴とする請求項１〜請求項３のいずれかに記載のヘッドマウントディスプレイ。
5. 記入操作検出手段が、所定時間以上ユーザーの記入操作を検出しない場合には、モード選択手段は、ユーザーの記入操作が文字入力であるか否かの判断を再び行うことを特徴とする請求項４に記載のヘッドマウントディスプレイ。

Images