JPH08254667A - Ｈｍｄを用いた操作位置確認装置 - Google Patents

Abstract

(57)【要約】 【目的】 特別な部材を付加することなく、ＨＭＤの使
用時におけるキーボードの操作性を向上させることがで
きるようにする。 【構成】 実際のキーボードを表したキーボード画面の
画像情報をあらかじめ記憶したビデオＲＡＭ６と、この
ビデオＲＡＭ６から上記キーボード画面の画像情報を読
み出し、ＨＭＤ７の表示画面内にキーボード画像を通常
のモニタ画像と共に表示するように制御する表示制御部
１１とを設け、必要に応じて上記キーボード画像とモニ
タ画像とをＨＭＤ７の表示画面に同時に表示するように
することにより、視界が外界と遮断されたＨＭＤ７内部
の表示画像を見るだけでキーの位置を容易に確認するこ
とができるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＨＭＤ（ヘッド・マウン
テッド・ディスプレイ＝頭部搭載型ディスプレイ）を用
いた操作位置確認装置に関し、例えば、ＨＭＤの使用時
にキーボード上のキーの位置を確認するための装置に用
いて好適なものである。

【０００２】

【従来の技術】近年、液晶表示素子の小型化、高密度
化、多画素化に伴って、小型で高精細かつ大画面のＨＭ
Ｄが実現されるようになってきている。そして、このＨ
ＭＤやキーボード等の入出力機器を用いた情報処理装置
も提案されるようになってきている。

【０００３】

【発明が解決しようとする課題】このような情報処理装
置において、キーボードを使用してキー入力を行おうと
する場合に、ブラインドタッチができれば問題はない
が、そうでない場合は次のような問題が生じる。すなわ
ち、ＨＭＤを使用すると視界がＨＭＤ外部と遮断され、
その表示画面以外には何も見えなくなるので、キーの位
置を確認することができなくなってしまうのである。

【０００４】この問題を解決するために、従来、幾つか
の方法が考えだされている。１番目の方法は、両眼表示
タイプのＨＭＤではなく、単眼表示タイプのＨＭＤを用
い、一方の目でＨＭＤのモニタ画面を見るとともに、他
方の目でキーボードを見ることによってキーの位置を確
認するという方法である。しかしながら、この方法で
は、片方ずつの目でＨＭＤの表示画面と実物のキーボー
ドとを見なくてはならないため、非常に見づらくなり、
キーの確認がしにくいという問題があった。

【０００５】２番目の方法は、両眼表示タイプのＨＭＤ
を用いた場合において、液晶表示素子の観察光学系の一
部にハーフミラーを設けることにより、ＨＭＤをいわゆ
るシースルー構成とし、ＨＭＤの表示画面とＨＭＤ外部
にあるキーボードとを同時に見えるようにした方法であ
る。しかしながら、この方法では、表示画面と外界にあ
る実物のキーボードとがオーバーラップしてしまうた
め、非常に煩わしくなり、キーの確認がしにくいという
問題があった。

【０００６】３番目の方法は、上述のようなシースルー
構成のＨＭＤにおいて、液晶シャッターを設け、ＨＭＤ
の表示画面のみを見せる状態と、表示画面と外界のキー
ボードとを同時に見せるシースルー状態と、表示オフの
状態、すなわち外界のみを見せる状態との３モードを切
り替えられるようにした方法である。しかしながら、こ
の方法では、液晶シャッター等の高価な部材が必要とな
り、好ましくない。

【０００７】４番目の方法は、ＨＭＤに小型ビデオカメ
ラを内蔵させ、通常の映像と上記小型ビデオカメラで映
したキーボードの映像とを切り替えられるようにした方
法である。しかしながら、この方法も、小型ビデオカメ
ラという更に高価な部材が必要なるため、好ましくな
い。

【０００８】また、５番目の方法して、指の近接状態を
検知することが可能な静電センサを備えた特殊なキーボ
ードを使用する方法も考えられるが、この方法もコスト
アップを招くことになるので、好ましくない。

【０００９】本発明は、このような問題を解決するため
に成されたものであり、特別な部材を付加することな
く、ＨＭＤの使用時におけるキーボードの操作性を向上
させることができるようにすることを目的とする。

【００１０】

【課題を解決するための手段】本発明のＨＭＤを用いた
操作位置確認装置は、頭部搭載型ディスプレイの使用時
に操作部材の操作位置を確認するための操作位置確認装
置であって、上記操作部材を表した画像情報を記憶する
記憶手段と、上記記憶手段から上記操作部材の画像情報
を読み出し、上記頭部搭載型ディスプレイの表示画面に
上記操作部材画像を通常のモニタ画像と共に表示するよ
うに制御する表示制御手段とを設けたものである。

【００１１】また、本発明の他の特徴とするところは、
上記表示制御手段が、上記頭部搭載型ディスプレイの表
示画面に上記モニタ画像のみを表示する第１のモード
と、上記モニタ画像および上記操作部材画像の両方を表
示する第２のモードとを切り替える手段を具備するもの
である。

【００１２】また、本発明のその他の特徴とするところ
は、上記表示制御手段が、上記操作部材画像の表示中
に、上記操作部材上で操作されたキーに対応する上記操
作部材画像上のキーを他のキーと表示態様を異ならせて
表示するように制御する手段を具備するものである。

【００１３】また、本発明のその他の特徴とするところ
は、上記表示制御手段が、上記操作部材画像において使
用頻度の高いキーを他のキーと表示態様を異ならせて表
示するように制御する手段を具備するものである。

【００１４】また、本発明のその他の特徴とするところ
は、上記操作部材上の各キーの実際の使用頻度を計算す
る統計処理手段が更に設けられ、上記表示制御手段が、
上記統計処理手段によって計算された使用頻度の高いキ
ーを他のキーと表示態様を異ならせるようにして上記操
作部材画像を表示するように制御する手段を具備するも
のである。

【００１５】また、本発明のその他の特徴とするところ
は、上記操作部材がキーボードであることを特徴とする
ものである。

【００１６】

【作用】本発明は上記技術手段より成るので、ＨＭＤ
（頭部搭載型ディスプレイ）における通常のモニタ画像
と同じ表示画面上に表示される実際の操作部材に対応し
た画像を見て操作位置を確認することができるようにな
り、視界が外界と遮断されたＨＭＤ内部の表示画像を見
るだけで操作位置を確認することができるようになる。
しかも、操作部材の画像は、記憶手段に記憶されている
上記操作部材の画像情報を読み出してそれを表示するだ
けで得られるので、新たな部材を付加しなくても上述の
ことが実現される。

【００１７】また、ＨＭＤの表示画面にモニタ画像のみ
を表示する第１のモードと、モニタ画像および操作部材
画像の両方を表示する第２のモードとを切り替えられる
ようにした場合には、ユーザの必要に応じて、例えば操
作部材の操作位置の確認をしたいときにだけ上記操作部
材画像を表示させるようにすることが可能となる。

【００１８】また、操作部材画像において使用頻度の高
いキーを他のキーと表示態様を異ならせて表示するよう
にした場合には、一般的によく使われるキーの位置を容
易に確認することが可能となる。また、各キーの実際の
使用頻度を計算してよく使われるキーの表示態様を異な
らせて表示するようにした場合には、ユーザ独自の使用
頻度に合わせた操作部材画像を得ることが可能となる。

【００１９】

【実施例】以下、本発明によるＨＭＤを用いた操作位置
確認装置の一実施例を図面に基づいて説明する。図１
は、本発明の要素的特徴を表す機能ブロック図であり、
図２は、上記機能ブロックを実現するハードウェア構成
を概略的に示すブロック図である。

【００２０】図２において、１はＣＰＵ（中央演算処理
装置）であり、ＲＡＭ３を例えばワークメモリとして使
いながら、ＲＯＭ２に格納されているプログラムを実行
したり、各種データの演算処理を実行したりする。４は
システムバスであり、本装置内の各デバイス間を結ぶデ
ータ線、アドレス線およびコントロール線からなってい
る。

【００２１】５はビデオグラフィックスコントローラで
あり、これにＨＭＤ（頭部搭載型ディスプレイ）７が接
続されている。このビデオグラフィックスコントローラ
５は、ＣＰＵ１の制御に従って、ビデオＲＡＭ６に書き
込まれた情報を読み出してそれを上記ＨＭＤ７に表示す
る処理を行う。８はキーボードコントローラであり、こ
れに接続されているキーボード９等の外部操作部材から
入力される操作信号をＣＰＵ１に送出する。

【００２２】また、図１において、１２は表示モード切
替部であり、キーボード９やマウス（図示せず）等の操
作信号に従って、ＨＭＤ７の表示モードを切り替える。
すなわち、表示モードには、通常のモニタ画面の画像の
みを表示するモード（以下、第１のモードという）と、
上記モニタ画面に加えてキーボード画面の画像も一緒に
表示するモード（以下、第２のモードという）との２つ
のモードがあり、表示モード切替部１２は、この２つの
モードを切り替える。

【００２３】ここで、上記第２のモードにおけるＨＭＤ
７の表示画面の一例を図３に示す。図３において、１６
はＨＭＤ７の表示画面、１７は上記表示画面１６中のモ
ニタ画面、１８は上記表示画面１６中のキーボード画面
である。キーボード画面１８中の各キー（図３中の小さ
い四角の個々）は、実際のキーボード９の各キーに対応
している。

【００２４】上記キーボード画面１８の画像情報は、ビ
デオＲＡＭ６にあらかじめ書き込まれている。したがっ
て、表示モード切替部１２によって第２のモードに切り
替えられたときは、表示制御部１１（図２のビデオグラ
フィックスコントローラ５に対応）は、ビデオＲＡＭ６
から上記キーボード画面１８の画像情報を読み出し、こ
れをＨＭＤ７に表示するようにする。

【００２５】１３は操作情報表示指示部であり、第２の
モードにおいてキーボード９が実際に操作されたとき
に、その操作されたキーに対応するキーボード画面１８
上のキーを反転表示（白黒あるいはネガポジを反転して
表示）あるいは点滅表示させるとともに、上記操作され
たキーに対応する文字をモニタ画面１７に表示させるよ
うに表示制御部１１に指示を与える。図３（ａ）は、こ
のときの様子を示したものである。

【００２６】例えば、キーボード９に備えられている英
文字“Ｇ”のキーを操作すると、それに対応するキーボ
ード画面１８上のキー１８ａが反転表示あるいは点滅表
示されるとともに、モニタ画面１７上に“Ｇ”の文字が
表示されるようになる。ユーザは、キーボード画面１８
上において反転表示あるいは点滅表示された位置とモニ
タ画面１７上に表示された文字とを見ることによって、
どの位置にどのキーがあるかの学習効果を高めることが
できる。

【００２７】このように、本実施例では、実際のキーボ
ード９と１対１に対応するキーボード画面１８をモニタ
画面１７と一緒に表示画面１６内に表示する。そして、
キーボード９において実際に操作されたキーに対応する
キーボード画面１８上のキーを反転表示あるいは点滅表
示させるとともに、そのキーに対応する文字をモニタ画
面１７に表示させるようにしているので、外界と遮断さ
れた視覚系の中でＨＭＤ７内部の表示画面１６だけを見
てキーの位置を確認することができる。

【００２８】このため、従来のようにＨＭＤ７の表示画
面と外界にある実物のキーボード９とを片方ずつの目を
使って見たり、表示画面越しに実物のキーボード９を見
たりすることによる煩わしさをなくし、キーの位置を確
認しやすくすることができるようになり、これにより、
ＨＭＤ７の使用時におけるキーボード９の操作性を向上
させることができる。

【００２９】しかも、本実施例では、ビデオＲＡＭ６内
にあらかじめ書いておいたキーボード画面１８の画像情
報を必要に応じて読み出し、これをモニタ画面１７と共
に表示しているだけなので、液晶シャッターや小型ビデ
オカメラ等の特別な部材を新たに付加する必要がない。
このため、コストアップさせることなく本装置を構成す
ることができる。このように新たな部材を付加しなくて
済むので、当然、回路規模を増大させることもない。

【００３０】また、図１中の１４は重み付け指示部であ
り、キーボード９やマウス（図示せず）等の操作信号に
従って、使用頻度の高いキーが目立つようにキーボード
画面１８を表示させるように表示制御部１１に指示を与
える。重み付け指示部１４はまた、統計処理部１５に後
述するような統計処理を行うように指示を与える。

【００３１】ここで、上記使用頻度に関する情報、例え
ば一般的によく使われているキーを表した情報は、ＲＡ
Ｍ３に書き込まれる。したがって、重み付けの指示がな
されたときは、表示制御部１１は、ビデオＲＡＭ６から
キーボード画面１８の画像情報を読み出すとともに、Ｒ
ＡＭ３から上記使用頻度に関する情報を読み出し、これ
らの情報を用いて使用頻度の高いキーが目立つようにキ
ーボード画面１８をＨＭＤ７に表示するようにする。

【００３２】図３（ｂ）は、このときの様子を示したも
のである。すなわち、斜線で示した複数のキー１８ｂが
使用頻度の高いキーであり、重み付け表示が指示された
ときは、これらの使用頻度の高いキー１８ｂを例えば反
転表示するようにする。これにより、ユーザは、一般的
によく使われるキーを容易に確認することができるの
で、キーボード９の操作性が一層向上する。

【００３３】また、上述の統計処理部１５は、重み付け
指示部１４からの指示に従って、ユーザのキー使用頻度
に関する情報を集める。すなわち、ユーザによってキー
ボード９が実際に操作されると、統計処理部１５は、そ
の操作されたキーの情報を用いて使用頻度の情報を生成
する。こうして生成された使用頻度の情報は、ＲＡＭ３
に書き込まれ、表示制御部１１による重み付け表示に利
用される。これにより、標準的な重み付け表示からその
ユーザ独自の重み付け表示へと徐々に移行させていくこ
とができる。

【００３４】上述のように、表示制御部１１では、一般
的によく使われているとキーに対してあらかじめ標準的
な重み付けを行った情報、および統計処理部１５を用い
てユーザ独自の重み付けを行った情報を上記使用頻度に
関する情報として利用することができるが、何れかを任
意に選択できるようにすることも可能である。

【００３５】なお、以上に説明した図２中の表示モード
切替部１２、操作情報表示指示部１３、重み付け指示部
１４および統計処理部１５は、図１のＣＰＵ１で構成さ
れている。

【００３６】次に、図１に示した操作位置確認装置の動
作を、図４のフローチャートに基づいて説明する。まず
ステップＰ１で、ユーザがキーボード９やマウス（図示
せず）を操作して図示しない「表示モード切替アイコ
ン」を選択すると、その操作信号が表示モード切替部１
２に与えられ、ＨＭＤ７の表示モードが、第１のモード
あるいは第２のモードに切り替えられる。

【００３７】ここで、第１のモードが選択されたとき
は、ステップＰ２に進んで、ＨＭＤ７の表示画面１６内
にモニタ画面１７のみを表示する。一方、第２のモード
が選択されたときは、ステップＰ３に進み、重み付け表
示の指示があるかどうかを判断する。すなわち、図示し
ない「重み付けアイコン」がキーボード９やマウス（図
示せず）の操作により選択され、その操作信号が重み付
け指示部１４に与えられることによって重み付け表示の
指示がなされているかどうかを判断する。

【００３８】そして、重み付け表示の指示がない場合
は、ステップＰ６に進み、図３（ａ）のようにキーボー
ド画面１８をモニタ画面１７と共に表示する。また、重
み付け表示の指示がある場合は、ステップＰ４に進み、
使用頻度の情報を生成する統計処理を行うとともに、ス
テップＰ５で、図３（ｂ）のように使用頻度を表したキ
ーボード画面１８をモニタ画面１７と共に表示する。

【００３９】次に、図３（ａ）または（ｂ）のように画
面表示を行った後は、ステップＰ７でキーボード９のキ
ー入力があったかどうかを判断する。そして、キー入力
があったときは、ステップＰ８で、その入力されたキー
に対応するキーボード画面１８上のキーを反転表示ある
いは点滅表示させる。なお、図３（ｂ）のように使用頻
度の高いキーを反転表示しているときは、操作キーに対
応する位置のキーを点滅表示させれば容易に区別するこ
とができる。

【００４０】なお、本発明においては、上述のような反
転表示や点滅表示に限られず、操作されたキーが他のキ
ーと区別できれば、どのような態様で表示しても構わな
い。例えば、ＨＭＤ７がカラー対応のものであれば、操
作されたキーに対応するキーボード画面１８上のキーを
他のキーの表示色と異ならせて表示するようにしてもよ
い。

【００４１】また、以上の実施例では、操作部材として
キーボード９を例に挙げたが、本発明はこれに限られな
い。すなわち、操作部材にキーやボタン等がたくさん備
えられていて、それらの位置を目で確認しながらでなけ
れば誤操作をしてしまうおそれがある場合には、そのよ
うな操作部材にも本発明を適用することができる。

【００４２】

【発明の効果】本発明は上述したように、操作部材を表
した画像情報を記憶手段にあらかじめ記憶しておき、こ
れを読み出すことにより操作部材の画像を通常のモニタ
画像と共にＨＭＤの表示画面に表示するようにしたの
で、視界が外界と遮断されたＨＭＤ内部の表示画像を見
るだけで操作部材の操作位置を確認することができるよ
うになり、操作位置を確認し易くすることができ、これ
により、ＨＭＤの使用時における操作部材の操作性を向
上させることができる。しかも、液晶シャッターや小型
ビデオカメラ等の特別な部材を新たに付加する必要がな
いので、上述のような効果を、回路規模やコストを増大
させることなく実現することができる。

【００４３】また、ＨＭＤの表示画面にモニタ画像のみ
を表示する第１のモードと、モニタ画像および操作部材
画像の両方を表示する第２のモードとを切り替えられる
ようにしたので、ユーザは、例えば操作部材の操作位置
を確認したいときにだけ上記操作部材画像を表示させる
ようにすることができ、ユーザの要求に合わせて表示を
切り替えるようにすることができる。

【００４４】また、操作部材画像において使用頻度の高
いキーを他のキーと表示態様を異ならせて表示するよう
にしたので、よく使われるキーの位置を容易に確認する
ことができ、操作部材の操作性を一層向上させることが
できる。特に、各キーの実際の使用頻度に基づいてよく
使われるキーの表示態様を異ならせて表示するようにし
た場合には、ユーザ独自の使用頻度に合わせた操作部材
画像を得ることができるので、キーの位置を更に容易に
確認することができるようになる。

【図面の簡単な説明】

【図１】本発明によるＨＭＤを用いた操作位置確認装置
の要素的特徴を表す機能ブロック図である。

【図２】図１に示した機能ブロックを実現するハードウ
ェア構成を概略的に示すブロック図である。

【図３】ＨＭＤの表示画面の表示例を示す図であり、
（ａ）はキーボード上で“Ｇ”のキーが押されたときの
表示例を示し、（ｂ）は重み付け表示を行った場合の表
示例を示す図である。

【図４】本実施例による操作位置確認装置の動作を示す
フローチャートである。

【符号の説明】

１ ＣＰＵ ３ ＲＡＭ ５ ビデオグラフィックスコントローラ ６ ビデオＲＡＭ ７ ＨＭＤ（頭部搭載型ディスプレイ） ９ キーボード １１ 表示制御部 １２ 表示モード切替部 １３ 操作情報表示指示部 １４ 重み付け指示部 １５ 統計処理部 １６ 表示画面 １７ モニタ画面 １８ キーボード画面

Claims (6)

【特許請求の範囲】
1. 【請求項１】 頭部搭載型ディスプレイ（ＨＭＤ）の使
   用時に操作部材の操作位置を確認するための操作位置確
   認装置であって、 上記操作部材を表した画像情報を記憶する記憶手段と、 上記記憶手段から上記操作部材の画像情報を読み出し、
   上記頭部搭載型ディスプレイの表示画面に上記操作部材
   画像を通常のモニタ画像と共に表示するように制御する
   表示制御手段とを設けたことを特徴とするＨＭＤを用い
   た操作位置確認装置。
2. 【請求項２】 上記表示制御手段は、上記頭部搭載型デ
   ィスプレイの表示画面に上記モニタ画像のみを表示する
   第１のモードと、上記モニタ画像および上記操作部材画
   像の両方を表示する第２のモードとを切り替える手段を
   具備することを特徴とする請求項１に記載のＨＭＤを用
   いた操作位置確認装置。
3. 【請求項３】 上記表示制御手段は、上記操作部材画像
   の表示中に、上記操作部材上で操作されたキーに対応す
   る上記操作部材画像上のキーを他のキーと表示態様を異
   ならせて表示するように制御する手段を具備することを
   特徴とする請求項１または２に記載のＨＭＤを用いた操
   作位置確認装置。
4. 【請求項４】 上記表示制御手段は、上記操作部材画像
   において使用頻度の高いキーを他のキーと表示態様を異
   ならせて表示するように制御する手段を具備することを
   特徴とする請求項１〜３の何れか１項に記載のＨＭＤを
   用いた操作位置確認装置。
5. 【請求項５】 上記操作部材上の各キーの実際の使用頻
   度を計算する統計処理手段が更に設けられ、 上記表示制御手段は、上記統計処理手段によって計算さ
   れた使用頻度の高いキーを他のキーと表示態様を異なら
   せるようにして上記操作部材画像を表示するように制御
   する手段を具備することを特徴とする請求項１〜３の何
   れか１項に記載のＨＭＤを用いた操作位置確認装置。
6. 【請求項６】 上記操作部材は、キーボードであること
   を特徴とする請求項１〜５の何れか１項に記載のＨＭＤ
   を用いた操作位置確認装置。