JP3446044B2 - 入力処理装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【産業上の利用分野】この発明は、オペレータに装着さ
れた状態で当該オペレータの眼の前方に表示像を形成し
て表示するディスプレイ手段を備えた入力処理装置に関
する。 【０００２】 【従来の技術】従来、処理装置としては、例えば、エン
ジニアリングワークステーション（以下、ＥＷＳ：Engi
neering Work Stationという），パーソナルコンピュー
タ（Personal Computer；以下、パソコンと略す），ワ
ードプロセッサ（Word P-rocessor；以下、ワープロと
略す）等がある。 【０００３】これらの処理装置には、通常、入力装置と
してキーボードが、また、出力装置としてディスプレイ
装置が備えられ、キーボードから入力されるキーコマン
ドに対応する処理が処理装置内で行われるとともに、処
理結果がディスプレイ装置に出力されるものである。 【０００４】処理装置におけるディスプレイ装置として
代表的なものには、ＣＲＴ（Cathode Ray Tube）表示装
置や、液晶表示装置（以下、ＬＣＤ：Liquid CrystalDi
splay という）がある。 【０００５】ＣＲＴ表示装置は、例えば、デスクトップ
型のＥＷＳ、パソコン、ワープロ等における表示装置と
して一般的なものであり、比較的安価に大画面の表示装
置を得ることができるが、ＣＲＴ表示装置では、大画面
の表示装置を得る場合、ＣＲＴ表示装置自体のサイズも
大きくなり、設置場所が限定される。 【０００６】一方、ＬＣＤは、低消費電力でかつ軽量・
薄型である点から、ラップトップ型やノート型のパソコ
ン・ワープロ等の表示装置として多用されており、近時
においては、大画面・高精細化が図られ、ＥＷＳ等の表
示装置としても利用されている。 【０００７】しかし、ＬＣＤは、一般に大画面化が難し
く、かつ、画面サイズが大きくなるとそのサイズに比し
てコストがかかる。 【０００８】そこで、設置場所を選ばずに、大画面化が
可能な表示装置として、ＨＭＤが注目されている。 【０００９】ＨＭＤとは、目の前に配置した２枚の液晶
ディスプレイに映像を表示し、輻輳角と焦点距離とを所
定の値に設定することにより、目鏡や双目鏡のように両
目に対してそれぞれ別々の映像を与え、小さな機器で大
画面表示装置を見ているかのように表示を行うものであ
る。 【００１０】ＨＭＤは、前述したような利点を備えるこ
とから、映画鑑賞、擬似３Ｄ表示（立体表示）による医
療，ＣＡＤ，建築の分野での利用が検討されている。 【００１１】 【００１２】 【００１３】 【００１４】 【発明が解決しようとする課題】このようなＨＭＤ等に
あっては、仮想表示される各種画像を見ることはできる
が、その画像は仮想画像に限定されており、その仮想画
像をオペレータの手等の実画像を透過表示できるもので
はなかった。その結果、その仮想画像の中の対象物をオ
ペレータ自身の自分の手で実際に仮想的に操作しようと
したりすることはできなかった。 【００１５】 【００１６】 【００１７】本発明の課題は、オペレータの眼の前方に
表示される表示像の中で仮想の指示対象を、オペレータ
自らの手に自由に指示操作できるようにすることであ
る。 【００１８】 【課題を解決するための手段】本発明の手段は次の通り
である。 【００１９】本発明は、オペレータに装着された状態で
当該オペレータの眼の前方に表示像を形成して表示する
と共に、その前方の実画像を透過表示するディスプレイ
手段と、前記ディスプレイ手段がオペレータに装着され
た状態において、所定の画像を前記ディスプレイ手段に
おける第１表示像として表示制御する第１の表示制御手
段と、複数の仮想指示対象を含む指示対象画像を、前記
第１表示像を表示するディスプレイ手段における第２表
示像として、表示あるいは非表示状態として表示制御す
る第２表示制御手段と、前記ディスプレイ手段の前方よ
り透過表示されるオペレータの手による指示位置を検出
する検出手段と、前記検出された指示位置が、前記第２
表示像として表示される指示対象画像内の何れかの仮想
指示対象の表示位置を指示しているか否かを判別する判
別手段と、前記判別手段で何れかの仮想指示対象の表示
位置を指示していることが判別された際に、その指示さ
れた仮想指示対象に対する指示入力処理を実行する入力
手段と、を具備したことを特徴とする。 【００２０】 【００２１】 【００２２】 【００２３】 【００２４】 【００２５】 【００２６】 【００２７】 【実施例】以下、図１〜図１５を参照して実施例を説明
する。 【００２８】図１〜図１５は本発明に係るデータ処理装
置の一実施例を示す図である。 【００２９】まず、構成を説明する。図１，図２は、本
発明のデータ処理装置の外観図であり、図１は、本実施
例のデータ処理装置を斜め前方から見た図であり、図２
は、本実施例のデータ処理装置を斜め後方から見た図で
ある。 【００３０】本実施例におけるデータ処理装置１は、Ｈ
ＭＤによる単体ディスプレイ装置内に内蔵されたもので
あり、キーボード等によるキー入力手段を備えていない
ため、ＨＭＤに仮想的なキーボードを表示することで、
仮想的なキー入力を可能とするものである。 【００３１】図１，図２において、データ処理装置１
は、データ処理において処理された種々のデータを表示
画像として生成する光学系表示ユニット２と、光学系表
示ユニット２により生成された画像と外の景色とを合成
して表示する各種ユニットを内蔵する機器ケース３と、
光学系表示ユニット２及び機器ケース３を支持し、頭部
に装着する伸縮自在のヘッドバンド４とから構成されて
いる。 【００３２】なお、図１に示すように、機器ケース３に
は、ロッドアンテナ５、電源オン・オフスイッチ６、指
定キー７、メニュー切換ダウン指示キー８、メニュー切
換アップ指示キー９が設けられるとともに、図２に示す
ように、ファインダ１０Ｒ，１０Ｌが形成されている。
また、ヘッドバンド４には、図１に示すように、支持部
１１、イヤホン１２Ｒ，１２Ｌが形成されるとともに、
図２に示すように、装着検出センサ１３が設けられてい
る。 【００３３】ロッドアンテナ５は、データ処理装置１内
で処理された各種データを電波に変換して送信するため
の伸縮自在のアンテナであり、電源オン・オフスイッチ
６は、電源部（図示せず）から供給される電源電圧をデ
ータ処理装置１内に通電するか否かを選択するためのス
イッチであり、指定キー７は、データ処理装置１を使用
する時点で、使用するオペレータの確認処理を開始する
ためのスイッチである。なお、使用するアンテナとして
は、本実施例のような伸縮自在のロッドアンテナ５に限
らず、例えば、ヘリカルアンテナでも良く、使用する電
波の波長帯域に適切なアンテナの利用が可能である。 【００３４】メニュー切換ダウン指示キー８及びメニュ
ー切換アップ指示キー９は、光学系表示ユニット２によ
り表示されるメニュー画面のメニュー内容を切り換える
ためのキースイッチであり、メニュー切換ダウン指示キ
ー８は、順方向（メニュー画面中の枠カーソルを下方向
に移動させる方向）にメニュー内容を切り換え、メニュ
ー切換アップ指示キー９は、メニュー切換ダウン指示キ
ー８と逆方向（メニュー画面中の枠カーソルを上方向に
移動させる方向）にメニュー内容を切り換えるものであ
る。 【００３５】ファインダ１０Ｒ，１０Ｌは、透明フィル
タが形成された覗き窓であり、支持部１１は、機器ケー
ス３とヘッドバンド４とを支持固定するものである。 【００３６】イヤホン１２Ｒ，１２Ｌは、エラー音やガ
イダンス情報を聞くためのものであり、装着検出センサ
１３は、ヘッドバンド４がオペレータの頭部に装着され
たか否かを検出するためのセンサである。 【００３７】図３は、本実施例におけるデータ処理装置
１の横方向から見た断面図であり、図４は、本実施例に
おけるデータ処理装置１の上方向から見た断面図であ
る。 【００３８】光学系表示ユニット２は、図３に示すよう
に、サイドライト方式の冷陰極管（蛍光ランプ）からな
るバックライト２１と、約１インチサイズのアクティブ
マトリクス型カラー液晶表示部であるＬＣＤ２２Ｒ，２
２Ｌと、ガラスまたはプラスチックの光学レンズからな
る凹レンズ２３Ｒ，２３Ｌとから構成され、バックライ
ト２１により照射されてＬＣＤ２２Ｒ，２２Ｌを透過し
た画像（光）は凹レンズ２３Ｒ，２３Ｌによって広げら
れ、効率良く機器ケース３に送られる。 【００３９】機器ケース３は、図３及び図４に示すよう
に、光学系表示ユニット２からの画像（光）を受光する
ための受光部となる上部ガラス３１と、ガラスまたはプ
ラスチックの光学レンズからなる凸レンズ３２Ｒ，３２
Ｌと、外の景色（外光）を受光するための受光部となる
前面ガラス３３と、前面ガラス３３から受光した外光を
機器ケース３内に導くか否かの透過状態と遮光状態とを
切り換える液晶シャッタとなるシャッタ用ＬＣＤ３４
と、シャッタ用ＬＣＤ３４の機器ケース３内側に形成さ
れたハーフミラーからなる反射マジックミラー３５と、
機器ケース３内の左右の側壁に設けられる２個のＣＣＤ
（Charge Coupled Device ：撮像素子）３６Ｒ，３６Ｌ
とから構成され、光学系表示ユニット２から得られた画
像（光）は、ガラス３１及び凸レンズ３２Ｒ，３２Ｌを
介して反射マジックミラー３５により反射され、ファイ
ンダ１０Ｒ，１０Ｌを介してオペレータの目ＥＲ，ＥＬ
に届く。さらに、前面ガラス３３を介して前方に見える
周囲状況の画像は、シャッタ用ＬＣＤ３４が透過状態の
時、反射マジックミラー３５を介して光学系表示ユニッ
ト２からの画像と合成されてファインダ１０Ｒ，１０Ｌ
に出力され、一方、シャッタ用ＬＣＤ３４が遮光状態の
時、前面ガラス３３を介して前方に見える周囲状況の画
像は、オペレータの目ＥＲ，ＥＬには届かず、光学系表
示ユニット２からの画像のみがオペレータに出力され
る。 【００４０】ここで、機器ケース３内の左右の側壁に設
けられた２個のＣＣＤ３６Ｒ，３６Ｌは、前方、または
後方のファインダ１０Ｒ，１０Ｌのいずれの方向の画像
も撮像するため、その向きを前方と後方とに１８０度回
転するように、回動自在に設けられている。そして、シ
ャッタ用ＬＣＤ３４が透過状態にあるときは、２個のＣ
ＣＤ３６Ｒ，３６Ｌによって前方の風景を撮像し、例え
ば、前方視界中に“手”があるか否かが検出され、
“手”がある場合には、２個のＣＣＤ３６Ｒ，３６Ｌの
視差に基づいて“手”の位置及びＨＭＤから“手”まで
の距離を求める処理が行われる。また、シャッタ用ＬＣ
Ｄ３４が遮光状態にあるときは、２個のＣＣＤ３６Ｒ，
３６Ｌはファインダ１０Ｒ，１０Ｌ側に１８０度回転
し、ファインダ１０Ｒ，１０Ｌを介してオペレータの目
ＥＲ，ＥＬの画像を撮像する。撮像された目の画像は、
後述するデータメモリ中に格納されたオペレータ別の目
の画像データと比較される。ちなみに、比較処理の際の
目のデータとしては、例えば、角膜（黒目）部分と結膜
（白目）部分との色素分布による比率や、目の周辺部の
形状（眉毛の形状、まぶたの形状、目全体の形状等）、
あるいは、血管の場所が特定できて、かつ、充血しにく
い場合には、目の血管模様等を利用することが考えられ
る。 【００４１】図５は、本実施例のデータ処理装置１の全
体構成を示すブロック図である。 【００４２】本実施例のデータ処理装置１は、ＣＰＵ４
１、ＲＯＭ４２、データメモリ４３、角度センサ４４、
方位センサ４５、赤外線センサ４６、入力部４７、表示
部４８、表示駆動部４９、無線伝送制御部５０を備え、
さらに、装着検出センサ１３、ＣＣＤ３６Ｒ，３６Ｌを
備えている。なお、図４中、Ｂは、ＣＰＵ４１、ＲＯＭ
４２、データメモリ４３、角度センサ４４、方位センサ
４５、赤外線センサ４６、入力部４７、表示駆動部４
９、無線伝送制御部５０、装着検出センサ１３、ＣＣＤ
３６Ｒ，３６Ｌをそれぞれ接続する信号伝送路となるバ
スであり、１０１はプリンタ、１０２は外部記憶装置で
ある。 【００４３】ＣＰＵ４１は、データ処理装置１内の各部
を制御する各種制御信号を、バスＢを介して各回路に出
力するものであり、また、ＣＰＵ４１は、入力部４７か
らの入力情報に基づいて表示駆動部４９を制御して表示
部４８に所定の表示を行うとともに、無線伝送制御部５
０を制御してデータ処理装置１内で処理された各種デー
タを電波に変換してプリンタ１０１や外部記憶装置１０
２に必要なデータを送信するものである。 【００４４】ＲＯＭ４２は、データ処理装置１内で利用
されるプログラムやデータ等を格納する半導体メモリで
ある。 【００４５】データメモリ４３は、ＣＰＵ４１により実
行される処理において利用される各種データ、すなわ
ち、表示データ、“手”のイメージデータ、オペレータ
別の目のデータ等を格納するととも、データ処理におけ
る作業領域となるワークエリアを有する半導体メモリで
ある。なお、表示データは、光学系表示ユニット２によ
り表示される各種メニュー画面等の表示データであり、
“手”のイメージデータは、ＨＭＤの前方視界中に検出
する“手”の画像に基づいて光学系表示ユニット２によ
り表示される仮想的な“手”のデータ、また、オペレー
タ別の目のデータは、正規のオペレータの目ＥＲ，ＥＬ
の画像、すなわち、オペレータの認識を行うための比較
基準となる画像データである。 【００４６】角度センサ４４は、例えば、ナビゲーショ
ンシステムやジャイロシステム等に用いられるように、
“ゆれ”の検出を行うことにより、データ処理装置１で
あるＨＭＤが水平状態から何度傾いているかを検出する
センサである。本実施例では、図６に示すように、鉛直
方向から図６中、右回りに所定の角度だけ回転した位置
を基準点位置（０度位置）に設定し、９０度位置におい
ては、わずかに上向きとなるように設定されている。 【００４７】方位センサ４５は、データ処理装置である
ＨＭＤが基準位置から左または右方向に何度回転してい
るかを検出するセンサである。本実施例では、図７に示
すように、「北」の方位を基準点位置（図７中、Ｎ）に
設定し、図７中、右回りに何度回転しているかを検出す
るようになっている。 【００４８】赤外線センサ４６は、ＣＣＤ３６Ｒ，３６
Ｌによって検出される“手”の画像が、例えば、おもち
ゃの“手”であった場合等のように、誤認識を防止する
ため、ＣＣＤ３６Ｒ，３６Ｌによって前方視界中の
“手”を検出し、かつ、“手”の位置及びＨＭＤから
“手”までの距離が求められた後、ＣＣＤ画像と“手”
のイメージデータとが一致したら、“手”の位置及び距
離に基づいて“手”のイメージデータが位置する場所に
熱反応があるか否かをチェックするものであり、熱反応
が検出された場合、ＣＰＵ４１によって“手”があると
判断し、熱反応が検出されない場合、ＣＰＵ４１によっ
てＣＣＤ３６Ｒ，３６Ｌが誤認識したものと判断する。 【００４９】入力部４７は、データ処理装置１でキー入
力を可能とするために設けられた仮想的な入力部であ
る。これは、本実施例のデータ処理装置１はディスプレ
イ部だけで構成され、特別にキーボード等の入力部を持
っていないため、データメモリ４３中の表示データとし
て、表示部４８にキーボードを表示するとともに、
“手”のイメージデータを重ね合わせて表示することに
より、キー入力を可能とするものである。 【００５０】表示部４８は、図３に示すように、オペレ
ータの左右の目にそれぞれ対応する２つの画像を表示す
る光学系表示ユニット２内の光学ユニット（バックライ
ト２１，ＬＣＤ２２Ｒ，２２Ｌ，凹レンズ２３Ｒ，２３
Ｌ等）及び機器ケース３内の光学ユニット（凸レンズ３
２Ｒ，３２Ｌ，反射マジックミラー３５等）から構成さ
れ、２つの画像が合成される点に固定することで、左右
のファインダ１０Ｒ，１０Ｌから覗き見た画像は自然な
状態で合成されて表示される。 【００５１】表示駆動部４９は、ＬＣＤ２２Ｒ，２２Ｌ
によって画像表示を行うためにＬＣＤ２２Ｒ，２２Ｌを
駆動するディスプレイ駆動部であり、具体的には、ＣＰ
Ｕ４１の処理に基づいて生成される画像データをＬＣＤ
２２Ｒ，２２Ｌの画素数に対応する所定ビットのアナロ
グ映像信号（アナログＲＧＢ信号）に変換し、このアナ
ログ映像信号をＬＣＤ２２Ｒ，２２Ｌに出力するもので
ある。 【００５２】無線伝送制御部５０は、データ処理装置１
内で処理された各種データを電波に変換して送信するも
のである。これは、本実施例のデータ処理装置１はディ
スプレイ部だけで構成されており、データ処理装置１単
体では処理データの出力ができないため、例えば、プリ
ントアウトを行う場合は、プリントアウトしたい所望の
データを無線伝送制御部４９によって周波数変調または
振幅変調等により変調し、このデータを電波として外部
のプリンタ１０１に出力したり、また同様に、重要なデ
ータを保管する場合は、保管したい所望のデータを電波
に変換して外部記憶装置１０２に出力したりするもので
ある。この場合、本実施例と同一のデータ処理装置１と
の間でデータの送受も可能となり、さらに、１つのホス
トステーションからの送信電波を、本実施例と同一構成
の複数のデータ処理装置１で受信することで、共通の画
像を見ることもでき、例えば、会議等にも利用すること
ができる。 【００５３】次に、本実施例の動作を説明する。 【００５４】図８は、本実施例のデータ処理装置の起動
時におけるオペレータの認識処理のフローチャートであ
る。 【００５５】以下、図８に基づいてデータ処理装置１に
よるオペレータ認識処理について説明する。なお、図８
に示すＣＰＵ４１の処理動作に対応するプログラムは、
ＲＯＭ４２に格納されている。 【００５６】まず、本実施例におけるデータ処理装置１
がオペレータに装着され、電源オン・オフスイッチ６が
オンされると、ＨＭＤの表示部４８にはメニュー画面が
表示され（ステップＳ１）、この状態で、メニュー切換
ダウン指示キー８またはメニュー切換アップ指示キー９
の押下状態がチェックされ（ステップＳ２）、メニュー
切換ダウン指示キー８またはメニュー切換アップ指示キ
ー９が押された場合、切換指示に基づいてメニュー内容
が切り換えられる（ステップＳ３）。 【００５７】一方、上記ステップＳ２の処理において、
メニュー切換ダウン指示キー８またはメニュー切換アッ
プ指示キー９が押されていない場合、続いて指定キー７
の押下状態がチェックされ（ステップＳ４）、指定キー
が押されていない場合、上記ステップＳ２からの処理が
繰り返される。 【００５８】ステップＳ４の処理において、指定キー７
が押下された場合、装着検出センサ１３によりＨＭＤが
装着されているか否かがチェックされ（ステップＳ
５）、装着されていない場合、後述するステップＳ１２
のエラー処理に進む。 【００５９】ステップＳ５の処理において、ＨＭＤの装
着が確認されると、ＣＣＤ３６Ｒ，３６Ｌが反転され、
ファインダ１０Ｒ，１０Ｌ方向に向きが変えられる（ス
テップＳ６）。 【００６０】そして、各ＣＣＤ３６Ｒ，３６Ｌによって
オペレータの目ＥＲ，ＥＬの画像が撮像されるとともに
（ステップＳ７）、目の画像が解析され、左右の目の画
像データが生成される（ステップＳ８）。 【００６１】次いで、ステップＳ８で目の画像データが
ちゃんと生成されたか否かがチェックされ（ステップＳ
９）、生成されていなかった場合、後述するステップＳ
１２のエラー処理に進み、生成された場合、生成された
目の画像データとデータメモリ４３中のオペレータ別の
目のデータとがＣＰＵ４１によって比較され、登録され
たオペレータの目ＥＲ，ＥＬのデータ（例えば、前述の
黒目部分と白目部分と色素比率等）と一致するか否かが
チェックされる（ステップＳ１０）。 【００６２】ステップＳ１０のチェックの結果、登録さ
れた目のデータとＨＭＤを装着するオペレータの目Ｅ
Ｒ，ＥＬのデータとが一致する場合、ＣＰＵ４１は正規
のオペレータによる使用と判断し、指定メニューに応じ
て各機能処理が行われる初期メニュー画面に切り換えら
れ（ステップＳ１１）、一方、ステップＳ１０のチェッ
クの結果、登録された目のデータとＨＭＤを装着するオ
ペレータの目ＥＲ，ＥＬのデータとが不一致の場合、Ｃ
ＰＵ４１は現在ＨＭＤを装着しているオペレータは、登
録者以外のオペレータによる不正使用と判断し、所定の
エラー処理が実行される（ステップＳ１２）。 【００６３】ステップＳ１１またはステップＳ１２の処
理が終了すると、ＣＣＤ３６Ｒ，３６Ｌが反転されてＣ
ＣＤ３６Ｒ，３６Ｌは再びＨＭＤの前方方向に向きが変
えられ（ステップＳ１３）、オペレータの認識処理が終
了する。 【００６４】以上ステップＳ１からステップＳ１３の処
理により、オペレータの認識処理において、正規のオペ
レータによる使用であると判断されると、図９（ａ）に
示すような初期メニュー画面が表示される。ちなみに、
図９（ａ）に示す例では、選択項目して“データ入力・
編集”、“データ認識入力”、“録画”、“再生”の項
目が表示されており、“データ入力・編集”の項目に枠
カーソルがある状態を示している。この状態において、
メニュー切換ダウン指示キー８を押すと枠カーソルは図
中下方向に移動し、また、メニュー切換アップ指示キー
９を押すと枠カーソルは図中上方向に移動して目的の項
目を反転表示する。 【００６５】ここで、図９（ａ）に示すように、“デー
タ入力・編集”の項目に枠カーソルがある状態で指定キ
ー７が押されると、“データ入力・編集”の機能が選択
され、図９（ｂ）に示すようなデータメニュー画面が表
示される。なお、図９（ｂ）中、Ａは、表示すべきデー
タのレイアウトを示したり、指定するためのレイアウト
ウィンドウ、Ｂは、図９（ａ）の初期メニュー画面で選
択された項目を表示する動作項目表示ウィンドウであ
り、これによって現在の動作内容が確認できる。Ｃは、
編集する文書または表データのファイル名を示したり、
編集する文書または表データのファイル名を指定するた
めのファイル名ウィンドウであり、Ｄは、仮想キーボー
ドを指定するためのキーボード指定ウィンドウである。 【００６６】次いで、図１０〜図１２に示すフローチャ
ートに基づいてデータ入力・編集処理を説明する。な
お、図１０は、データ入力・編集処理を示すフローチャ
ートである。 【００６７】図９（ｂ）に示すデータメニュー画面にお
いて、データ入力・編集処理時には、仮想キーボードの
データがデータメモリ４３から読み出されて次の処理に
は進めない。このため、まず、仮想キーボードが指定に
より表示されているか否かがチェックされ（ステップＳ
２１）、仮想キーボードが表示されている場合は次ステ
ップに進み、一方、仮想キーボード表示されていない場
合は、後述するキーボード指定処理が実行され（ステッ
プＳ２２）、仮想キーボードが表示される。 【００６８】この仮想キーボード上には、「読出キー」
という特別なキーが用意されており、「読出キー」が選
択されたか否かがチェックされる（ステップＳ２３）。 【００６９】ステップＳ２３の処理において、「読出キ
ー」が選択された場合、記憶ファイル名の一覧がウィン
ドウ表示され（ステップＳ２４）、この状態で仮想キー
ボード上の「カーソルキー」が操作されると（ステップ
Ｓ２５）、カーソル位置が変更され、変更されたカーソ
ル位置にあるファイル名に表示内容が更新される（ステ
ップＳ２６）。 【００７０】次いで、ウィンドウの入力指定の有無がチ
ェックされ（ステップＳ２７）、入力指定がある場合、
指定位置と対応するファイルデータの読み出しが行われ
（ステップＳ２８）、先の表示を消してレイアウトウィ
ンドウが再表示される（ステップＳ２９）。 【００７１】ここで、再度ウィンドウの入力指定の有無
がチェックされ（ステップＳ３０）、入力指定がある場
合、ファイルデータの配置処理が行われ（ステップＳ３
１）、配置されたファイルデータが表示されるととも
に、ファイル名ウィンドウが消去され（ステップＳ３
２）、データ入力・編集処理が終了する。 【００７２】一方、上記ステップＳ２７の処理及びステ
ップＳ３０の処理において、ウィンドウの入力指定がな
かった場合、仮想キーボード上の「クリアキー」の押下
の有無がチェックされ（ステップＳ３３）、「クリアキ
ー」が押されていれなければ、上記ステップＳ２４から
の処理が繰り返し実行され、「クリアキー」が押されて
いれば、データ入力・編集処理を終了する。 【００７３】また、上記ステップＳ２３の処理におい
て、「読出キー」が選択されなかった場合、「読出キ
ー」と同様に仮想キーボード上に用意された「書込キ
ー」が選択されたか否かがチェックされる（ステップＳ
３４）。 【００７４】ステップＳ３４の処理において、「書込キ
ー」が選択されなかった場合は、別処理へと進み、「書
込キー」が選択された場合、記憶ファイル名の一覧がウ
ィンドウ表示されるとともに（ステップＳ３５）、入力
指定の有無がチェックされる（ステップＳ３６）。 【００７５】そして、入力指定がある場合、表示データ
が指定されたか否かがチェックされ（ステップＳ３
７）、表示データの指定が確認されると、指定された表
示データの内容を対応するファイルに書き込み（ステッ
プＳ３８）、データ入力・編集処理が終了する。 【００７６】なお、上記ステップＳ３６の処理で入力指
定がない場合、新規にファイルファイルを作成するか否
かが問われ（ステップＳ３９）、新規作成ファイルの入
力であれば、新規にファイルが作成され（ステップＳ４
０）、上記ステップＳ３７からの処理が実行される。 【００７７】また、新規作成ファイルの入力ではない場
合、ファイル名の更新と判断し、「カーソルキー」が操
作されると（ステップＳ４１）、カーソル位置が変更さ
れ、変更されたカーソル位置にあるファイル名に表示内
容が更新されるとともに（ステップＳ４２）、上記ステ
ップＳ３５からの処理が実行される。 【００７８】ステップＳ４１の処理において、「カーソ
ルキー」の操作がない場合は、仮想キーボード上の「ク
リアキー」の押下の有無がチェックされ（ステップＳ４
３）、「クリアキー」が押されていなければ、上記ステ
ップＳ３５からの処理が繰り返し実行され、「クリアキ
ー」が押されていれば、データ入力・編集処理を終了す
る。 【００７９】図１１は、図１０中におけるキーボード指
定処理を示すフローチャートである。 【００８０】図１１に示すように、前述してキーボード
指定処理では、まず始めに後述する入力指定処理が実行
され（ステップＳ５１）、入力指定処理において、キー
ボードウィンドウが指定されたか否かがチェックされる
（ステップＳ５２）。 【００８１】ステップＳ５２の処理において、キーボー
ド指定ウィンドウが指定されない場合、仮想キーボード
上の「クリアキー」の指定の有無がチェックされ（ステ
ップＳ５３）、「クリアキー」が指定されていた場合は
記憶されたキーボードデータをクリアし、初期状態とし
た後に（ステップＳ５４）、上記ステップＳ５１からの
処理が繰り返し実行される。ここで、「クリアキー」が
指定されていなかった場合は、図９（ｂ）に示すデータ
メニュー画面が指定されたか否かがチェックされ（ステ
ップＳ５５）、データメニュー画面の指定が行われた場
合、キーボード指定処理が終了する。 【００８２】そして、上記ステップＳ５５の処理におい
て、データメニュー画面の指定が行われなかった場合、
固定フラグをオンであるか否かがチェックされる（ステ
ップＳ５６）。ここで、固定フラグがオンである場合
は、ＨＭＤの移動に伴う視野の変化に関りなく、仮想キ
ーボードを表示部４８の中央位置に固定して表示するも
のであり、固定フラグがオフである場合は、実キーボー
ドと同様に、所定の位置に仮想キーボードが配置され、
ＨＭＤの移動によりキーボードが視野に入ったり入らな
かったりする表示モードとなる。 【００８３】すなわち、固定フラグがオンである場合、
仮想キーボードが固定表示されるモードであると判断さ
れて上記ステップＳ５１からの処理が繰り返し実行さ
れ、また、固定フラグがオフである場合、角度センサ４
４により現在のＨＭＤの角度が検出されるとともに、方
位センサ４５により現在のＨＭＤの方向が検出され、そ
れぞれの値（角度及び方位）が表示部４８に表示される
（ステップＳ５７）。そして、ＨＭＤの移動によりキー
ボードを表示すべきエリアに入った場合（ステップＳ５
８）、キーボードエリア分の仮想キーボードが表示部４
８に表示され（ステップＳ５９）、キーボードエリアに
入っていない場合には、上記上記ステップＳ５１からの
処理が繰り返し実行される。 【００８４】一方、上記ステップＳ５２の処理におい
て、キーボード指定ウィンドウが指定された場合、レイ
アウトウィンドウの指定の有無がチェックされる（ステ
ップＳ６０）。 【００８５】レイアウトウィンドウは、キーボード指定
ウィンドウによる指定に先立って指定されるものであ
り、レイアウトウィンドウが指定されていない場合、Ｈ
ＭＤ位置がどこに向いていようとも仮想キーボードを正
面中央位置に表示するために、現在のＨＭＤの角度及び
方位に対応する記憶位置にキーボードデータが記憶され
（ステップＳ６２）、仮想キーボードの表示が固定的に
実行されるモードとなる（ステップＳ６３）。このと
き、固定フラグがオンとなり（ステップＳ６３）、仮想
キーボードのレイアウト位置が表示されるとともに（ス
テップＳ６４）、上記ステップＳ５１からの処理が繰り
返し実行される。 【００８６】また、レイアウトウィンドウが指定されて
いる場合、レイアウト位置に対応するデータメモリ４３
にキーボードデータが記憶され（ステップＳ６５）、Ｈ
ＭＤがその位置に向いた場合にのみ仮想キーボードが表
示されるモードとなり、上記ステップＳ６４の処理に進
む。 【００８７】図１２は、図１１中における入力指定処理
を示すフローチャートである。 【００８８】図１２に示すように、入力指定処理では、
まず、以前のキーボート指定ウィンドウの内容がクリア
（初期化）され（ステップＳ７１）、次いで、ＣＣＤ３
６Ｒ，３６ＬによりＨＭＤ前方の画像が撮像されて取り
込まれる（ステップＳ７２）。 【００８９】そして、取り込まれた画像データ中に、オ
ペレータの“手”のイメージデータが存在するか否かが
チェックされ（ステップＳ７３）、“手”のイメージデ
ータが存在しない場合は入力指定処理を終了する。 【００９０】また、“手”のイメージデータが存在する
場合、キー表示位置に対するオペレータの“手”の位置
が求められ（ステップＳ７４）、“手”のイメージ位置
に赤外線センサ４６による熱反応があるか否かがチェッ
クされ（ステップＳ７５）、熱反応が検出されない場合
は、誤認識と判断して入力指定処理を終了する。 【００９１】次いで、最初の立ち上げ時には入力指定を
指定キー７の押下により指定しているが、この状態にお
いては、仮想キーボードからの入力状態となっているた
め、入力指定は指定表示位置にあるか否かがチェックさ
れ（ステップＳ７６）、指定表示位置外である場合、入
力指定処理を終了する。 【００９２】上記ステップＳ７６の処理において、仮想
キーボードと“手”のイメージデータとが重なってお
り、ＣＰＵ４１により指定表示位置における入力指定で
ある判断されると、仮想キーボード上の“手”のイメー
ジデータと重なっているキーの輝度が変更（例えば、輝
度のアップ）され（ステップＳ７７）、“手”のイメー
ジデータがどのキーに触れているかがわかるようになっ
ている。 【００９３】ここで、“手”の先端がＨＭＤから一定距
離以上にあるか否か、例えば、ＨＭＤよりも６０ｃｍ以
上離れたところにあるか否かが２つのＣＣＤ３６Ｒ，３
６Ｌによって検出され（ステップＳ７８）、“手”の先
端位置が一定距離に達していない場合、入力指定処理を
終了する。 【００９４】上記ステップＳ７８の処理において、
“手”の先端位置が一定距離に達していると判断される
場合、仮想キーボードに対してキー入力が可能な状態と
なり、仮想キーボート上のキーを一定以上押し込むと、
対応するキーが一定時間ブリンクするようになってい
る。 【００９５】そして、入力指定処理の終了後に、この入
力指定処理を呼び出す処理中において入力指定処理での
各種処理データを利用するために、“手”の位置に相当
するキーまたはウィンドウ内容等がデータメモリ４３に
記憶される（ステップＳ７９）。 【００９６】図１３は、本実施例のＨＭＤにおける実際
の表示例を示す図である。 【００９７】なお、図１３中、Ｅは、方位センサ４５に
よって検出されるＨＭＤの方位を示す表示、Ｆは、角度
センサ４４によって検出されるＨＭＤの角度を示す表
示、Ｇは、所定の領域に指定された文書や表データ等が
どのように配置されているかを示すレイアウトウィンド
ウ、Ｈは、透過して映し出された“手”、Ｉは、仮想キ
ーボード、Ｊは、ファイル名ウィンドウ、Ｋは、現在オ
ープンされている文書データ、Ｌは、ＨＭＤが透過状態
にあるため見える周囲の状態であり、本例では、電気ス
タンドが見えている状態を示している。 【００９８】このように、本実施例のデータ処理装置１
（ＨＭＤ）では、ハーフミラーとなる反射マジックミラ
ー３５によって透過してきた周囲の状態も重複して表示
部４８に映し出される。 【００９９】図１４は、一定時間毎に実行される表示処
理を示すフローチャートである。 【０１００】この表示処理では、まず、角度センサ４４
及び方位センサ４５によってＨＭＤの角度及び方位が検
出され（ステップＰ１）、現在のＨＭＤの位置に対応す
るデータメモリ４３中の表示データの対応エリアが検索
されてポインタが移動される（ステップＰ２）。 【０１０１】そして、この対応エリアに表示すべきデー
タがあるか否かがチェックされ（ステップＰ３）、対応
エリア中に表示データがある場合は、次処理に移り、対
応エリア中に表示データがない場合は、表示処理を終了
する。 【０１０２】対応エリアに表示データがある場合、現在
の表示モードを示す固定フラグがチェックされる（ステ
ップＰ３）。 【０１０３】ここで、固定フラグがオンである場合、現
在の表示モードはキーボード固定表示であると判断さ
れ、仮想キーボードが表示部４８の中央位置に表示され
る（ステップＰ５）。 【０１０４】そして、対応エリア中の表示すべき表示デ
ータが仮想キーボードの表示に重なるか否かがチェック
され（ステップＰ６）、重なる場合は、仮想キーボード
を表示する分の表示エリアだけ対応エリア中の表示デー
タを移動して表示する。 【０１０５】具体的には、例えば、図１５（ａ）に示す
ように、対応エリアを示す表示エリアポインタ左位置と
表示エリアポインタ右位置との間にＲ０，Ｒ１，Ｒ２と
いう表示データがある場合、図１５（ｂ）に示すよう
に、仮想キーボードを表示する分だけ表示データを、図
１５中上方向に移動させて仮想キーボードを固定表示す
る（ステップＰ７）。 【０１０６】一方、上記ステップＰ４の処理において固
定フラグがオフであった場合、また、上記ステップＰ６
の処理において表示エリア中に仮想キーボードと重なる
表示データがなかった場合は、対応エリアのデータをそ
のまま表示する（ステップＰ８）。この場合、ステップ
Ｐ４の処理において固定フラグがオンとなって、かつ、
仮想キーボードと重ならない場合には仮想キーボートと
対応エリアのデータとを合成して表示する必要がある。 【０１０７】以上説明したように、本実施例では、位置
検出手段によって検出される筐体の基準点位置に対する
相対位置を検出し、検出した位置情報に基づいて画像デ
ータ格納手段に格納された画像データを読み出すととも
に、読み出した画像データをディスプレイ手段に表示す
る。 【０１０８】これによって、筐体位置、すなわち、ＨＭ
Ｄの向きを変えるだけで画像データをスクロールさせる
ことができる。 【０１０９】したがって、ＨＭＤ使用時においても、キ
ー入力に頼ることなく表示画面のスクロール処理を実行
することができる。 【０１１０】なお、上記実施例は、目のデータとして、
例えば、黒目部分と白目部分との色素分布の比率や、目
の周辺部の形状（眉毛の形状、まぶたの形状、目全体の
形状等）、あるいは、血管の場所が特定でき、充血しに
くい場合には、目の血管模様等が考えられたが、これだ
けに限らず、さらに、シャッタ用ＬＣＤ３４を遮光状態
とし、機器ケース３内を暗くした後、一定照度の光（例
えば、蛍光ランプ等）を照射することにより、オペレー
タの瞳孔内の瞳孔括約筋、瞳孔散大筋、レンズ体のそれ
ぞれの割合を検出することによってオペレータの認識を
行うものであっても構わない。 【０１１１】 【発明の効果】本発明によれば、ディスプレイの前方よ
り透過表示されるオペレータの手による指示が、第２表
示像として表示される指示対象画像内の何れかの仮想指
示対象の表示位置を指示していれば、その指示された仮
想指示対象に対する指示入力処理を実行するようにした
ので、ディスプレイ上において仮想表示される各種仮想
指示対象に対する指示を、オペレータ自身の手による実
際の指示操作感覚で行うことができる。 【０１１２】

【図面の簡単な説明】 【図１】本実施例におけるデータ処理装置を斜め前方か
ら見た図である。 【図２】本実施例におけるデータ処理装置を斜め後方か
ら見た図である。 【図３】本実施例におけるデータ処理装置を横から見た
断面図である。 【図４】本実施例におけるデータ処理装置を上から見た
断面図である。 【図５】本実施例のデータ処理装置の全体構成を示すブ
ロック図である。 【図６】本実施例のデータ処理装置の角度検出を説明す
るための図である。 【図７】本実施例のデータ処理装置の方位検出を説明す
るための図である。 【図８】本実施例のデータ処理装置の起動時におけるオ
ペレータの認識処理のフローチャートである。 【図９】初期メニュー画面及びデータメニュー画面を示
す図である。 【図１０】データ入力・編集処理を示すフローチャート
である。 【図１１】図１０中におけるキーボード指定処理を示す
フローチャートである。 【図１２】図１１中における入力指定処理を示すフロー
チャートである。 【図１３】本実施例のＨＭＤにおける実際の表示例を示
す図である。 【図１４】一定時間毎に実行される表示処理を示すフロ
ーチャートである。 【図１５】仮想キーボードと表示データとの表示例を示
す図である。 【符号の説明】 １ データ処理装置 ２ 光学系表示ユニット ３ 機器ケース ４ ヘッドバンド ５ ロッドアンテナ ６ 電源オン・オフスイッチ ７ 指定キー ８ メニュー切換ダウン指示キー ９ メニュー切換アップ指示キー １０Ｒ ファインダ １０Ｌ ファインダ １１ 支持部 １２Ｒ イヤホン １２Ｌ イヤホン １３ 装着検出センサ ２１ バックライト ２２Ｒ ＬＣＤ ２２Ｌ ＬＣＤ ２３Ｒ 凹レンズ ２３Ｌ 凹レンズ ３１ 上部ガラス ３２Ｒ 凸レンズ ３２Ｌ 凸レンズ ３３ 前面ガラス ３４ シャッタ用ＬＣＤ ３５ 反射マジックミラー ３６Ｒ ＣＣＤ ３６Ｌ ＣＣＤ ４１ ＣＰＵ ４２ ＲＯＭ ４３ データメモリ ４４ 角度センサ ４５ 方位センサ ４６ 赤外線センサ ４７ 入力部 ４８ 表示部 ４９ 表示駆動部 ５０ 無線伝送制御部 １０１ プリンタ １０２ 外部記憶装置

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 17/40 G06F 3/00 680 G06F 3/033

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】オペレータに装着された状態で当該オペレ
   ータの眼の前方に表示像を形成して表示すると共に、そ
   の前方の実画像を透過表示するディスプレイ手段と、 前記ディスプレイ手段がオペレータに装着された状態に
   おいて、所定の画像を前記ディスプレイ手段における第
   １表示像として表示制御する第１の表示制御手段と、 複数の仮想指示対象を含む指示対象画像を、前記第１表
   示像を表示するディスプレイ手段における第２表示像と
   して、表示あるいは非表示状態として表示制御する第２
   表示制御手段と、 前記ディスプレイ手段の前方より透過表示されるオペレ
   ータの手による指示位置を検出する検出手段と、 前記検出された指示位置が、前記第２表示像として表示
   される指示対象画像内の何れかの仮想指示対象の表示位
   置を指示しているか否かを判別する判別手段と、 前記判別手段で何れかの仮想指示対象の表示位置を指示
   していることが判別された際に、その指示された仮想指
   示対象に対する指示入力処理を実行する入力手段と、 を具備したことを特徴とする入力処理装置。