JPH09179062A

JPH09179062A - コンピュータシステム

Info

Publication number: JPH09179062A
Application number: JP7337337A
Authority: JP
Inventors: Masamichi Toyama; 正道当山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-12-25
Filing date: 1995-12-25
Publication date: 1997-07-11

Abstract

(57)【要約】【課題】小型のパーソナルコンピュータにおいて表示
画面を見やすくするとともに、操作を行いやすくする。【解決手段】従来の小型表示パネルに代えて、コンピ
ュータ１に一体化された小型のＨＭＤ（頭部搭載型ディ
スプレイ）を用い、広視野光学系により上記ＨＭＤで大
画面表示を行うようにすることにより、コンピュータシ
ステムの小型化に伴って表示画面が小さくなり、表示画
面の内容が見づらくなるという従来の不都合を防止し
て、文字やアイコン等を常に十分なサイズで表示できる
ようにする。また、現実のキーボードに代えて、グロー
ブ型入力装置２や上記ＨＭＤに備えられた視線入力手段
を用い、情報入力を仮想的に行うようにすることによ
り、コンピュータシステムの小型化に伴って入力デバイ
スが小さくなり、情報入力の操作が行いにくくなるとい
う従来の不都合を防止できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はコンピュータシステ
ムに関し、特に、ＨＭＤ（ヘッド・マウンテッド・ディ
スプレイ＝頭部搭載型ディスプレイ）およびグローブ型
入力装置を用いたコンピュータシステムに用いて好適な
ものである。

【０００２】

【従来の技術】近年、コンピュータのダウンサイジング
化により、パーソナルコンピュータの能力が著しく向上
し、従来はワークステーションあるいはメインフレーム
などの大型コンピュータが扱っていた分野にまでパーソ
ナルコンピュータが進出してきている。また、パーソナ
ルコンピュータ自体も、従来のデスクトップ型からラッ
プトップ型、ノート型、サブノート型へと小型化が目ざ
ましい。

【０００３】一方、マッキントッシュ（アップル社の登
録商標）やウィンドウズ（マイクロソフト社の登録商
標）に代表される、グラフィックスとマルチ画面とを利
用したＯＳ（オペレーティングシステム）がその使い易
さから広く受け入れられつつある。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
ようなＯＳを利用する場合、サブノート型といった小型
パーソナルコンピュータでは、その表示画面が小さいた
めにアイコンや文字の表示サイズが小さくなってしま
い、見づらいという問題があった。また、キーボード自
体も小型になるため、操作しづらいという問題もあっ
た。

【０００５】本発明は、上述のようなパーソナルコンピ
ュータの小型化に伴う問題を解決するために成されたも
のであり、小型パーソナルコンピュータにおいて表示画
面を見やすくするとともに、操作を行いやすくすること
を目的とする。

【０００６】

【課題を解決するための手段】本発明のコンピュータシ
ステムは、ＣＰＵが小型のＨＭＤ（頭部搭載型ディスプ
レイ）に一体化して構成されたコンピュータシステムで
あって、広視野光学系を用いて上記ＨＭＤに大画面表示
を行うようにしたことを特徴とする。

【０００７】本発明の他の特徴とするところは、上記広
視野光学系が、小型多画素の液晶表示素子と、第１、第
２、第３の光学作用面を有し上記液晶表示素子から出力
される光に対して全体として正の屈折力を有するプリズ
ム型光学素子とにより構成されることを特徴とする。

【０００８】本発明のその他の特徴とするところは、Ｃ
ＰＵが一体化して構成された小型のＨＭＤ（頭部搭載型
ディスプレイ）と、上記ＣＰＵに接続されるグローブ型
入力装置とを備え、上記ＨＭＤの表示画面を見ながら上
記グローブ型入力装置を操作することにより、上記グロ
ーブ型入力装置の動きに応じて情報入力を仮想的に行う
ようにしたことを特徴とする。

【０００９】本発明のその他の特徴とするところは、上
記ＨＭＤの表示画面が仮想的なキーボード表示画面であ
ることを特徴とする。

【００１０】本発明のその他の特徴とするところは、上
記ＨＭＤの表示画面が仮想的なタッチパネル表示画面で
あることを特徴とする。

【００１１】本発明のその他の特徴とするところは、Ｃ
ＰＵが一体化して構成された小型のＨＭＤ（頭部搭載型
ディスプレイ）と、上記ＣＰＵに接続されるグローブ型
入力装置とを備えたコンピュータシステムであって、上
記ＣＰＵは、上記グローブ型入力装置を用いて行われる
手話を認識する手話認識手段を備えており、上記グロー
ブ型入力装置を用いて情報入力を手話で行うようにした
ことを特徴とする。

【００１２】本発明のその他の特徴とするところは、視
線入力手段を有する小型のＨＭＤ（頭部搭載型ディスプ
レイ）を備えたコンピュータシステムであって、上記Ｈ
ＭＤの表示画面内の位置を上記視線入力手段を用いて指
定することにより情報入力を行うようにしたことを特徴
とする。

【００１３】本発明のその他の特徴とするところは、上
記ＨＭＤの表示画面が仮想的なキーボード表示画面であ
ることを特徴とする。

【００１４】本発明のその他の特徴とするところは、上
記ＨＭＤの表示画面が仮想的なタッチパネル表示画面で
あることを特徴とする。

【００１５】本発明のその他の特徴とするところは、Ｃ
ＰＵが一体化して構成された小型のＨＭＤ（頭部搭載型
ディスプレイ）と、上記ＣＰＵに接続されるグローブ型
入力装置とを備えたコンピュータシステムであって、上
記ＨＭＤは、小型多画素の液晶表示素子と、第１、第
２、第３の光学作用面を有し上記液晶表示素子から出力
される光に対して全体として正の屈折力を有するプリズ
ム型光学素子とにより構成される広視野光学系と、上記
広視野光学系を利用した視線入力手段とを備え、上記Ｃ
ＰＵは、上記グローブ型入力装置を用いて行われる手話
を認識する手話認識手段と、上記ＨＭＤの表示画面を見
ながら上記グローブ型入力装置を操作することにより情
報入力を仮想的に行う第１のモードと、上記グローブ型
入力装置を用いて情報入力を手話で行う第２のモード
と、上記ＨＭＤの表示画面内の位置を上記視線入力手段
を用いて指定することにより情報入力を行う第３のモー
ドとを切り替えるモード切替手段とを備えることを特徴
とする。

【００１６】本発明のその他の特徴とするところは、少
なくとも視線入力手段を有するＨＭＤ（頭部搭載型ディ
スプレイ）を備えたコンピュータシステムであって、上
記ＨＭＤにモニタ画面を表示しているときは、上記視線
入力手段により上記モニタ画面内の位置指定を行い、上
記ＨＭＤに仮想キーボードを表示しているときは、上記
視線入力手段により上記仮想キーボードを操作するよう
にしたことを特徴とする。

【００１７】本発明のその他の特徴とするところは、上
記ＨＭＤは操作者の頭の位置を検出する頭部位置検出手
段を備え、上記モニタ画面の表示と上記仮想キーボード
の表示との切り替えを上記頭部位置検出手段の検出結果
に応じて行うようにしたことを特徴とする。

【００１８】本発明のその他の特徴とするところは、少
なくともＨＭＤ（頭部搭載型ディスプレイ）とグローブ
型入力装置とを備えたコンピュータシステムであって、
上記グローブ型入力装置により操作者の手指の位置およ
び曲がりを検出し、その検出結果に応じて、上記ＨＭＤ
に表示されている仮想キーボードまたは仮想タッチパネ
ルから情報入力を行うとともに、仮想マウスによりモニ
タ画面内の位置指定を行うようにしたことを特徴とす
る。

【００１９】本発明のその他の特徴とするところは、上
記グローブ型入力装置による操作者の手指の位置および
曲がりの検出結果に応じて、上記ＨＭＤに表示されてい
る仮想キーボードを操作する場合に、上記操作者の手指
が近接するキーのみを上記ＨＭＤに表示するようにした
ことを特徴とする。

【００２０】本発明のその他の特徴とするところは、少
なくともグローブ型入力装置を備えたコンピュータシス
テムであって、上記グローブ型入力装置を用いて操作者
とコンピュータとのインタフェースを手話により図るよ
うにしたことを特徴とする。

【００２１】本発明は上記技術手段より成るので、従来
の小型コンピュータシステムで用いられていた小型表示
パネルに代えて小型のＨＭＤが用いられ、しかもそのＨ
ＭＤにＣＰＵが一体化して構成されることにより、コン
ピュータシステム全体が小型に構成されるにもかかわら
ず、ＨＭＤでは大画面の表示が行われることとなり、コ
ンピュータシステムの小型化に伴って表示画面が小さく
なり、表示される文字やアイコン等が小さくなってしま
うという不都合が防止される。

【００２２】また、本発明の他の特徴によれば、現実の
キーボードやマウス等の入力デバイスに代えて、例えば
グローブ型入力装置や視線入力手段が用いられ、情報入
力が仮想的に行われることとなるので、コンピュータシ
ステムの小型化に伴って入力デバイスが小さくなり、情
報入力の操作が行いにくくなってしまうという不都合が
防止される。

【００２３】

【発明の実施の形態】以下、本発明の一実施形態を図面
を用いて説明する。図１は、本発明の一実施形態である
パーソナルコンピュータシステムの使用状況を示す図で
ある。図１において、１はＨＭＤと一体化されたパーソ
ナルコンピュータ、２は上記パーソナルコンピュータ１
に接続された左右両手のグローブ型入力装置である。な
お、上記ＨＭＤは、単眼表示のものでも両眼表示のもの
でもよい。

【００２４】図２は、本実施形態によるパーソナルコン
ピュータシステムの構成を示すブロック図である。図２
において、１２は小型多画素の表示素子と光学系とから
成るＬＣＤ（液晶表示装置）等の超小型大画面ディスプ
レイ、１３は視線検出装置、１４は頭部位置検出装置で
ある。これらのディスプレイ１２、視線検出装置１３お
よび頭部位置検出装置１４によりＨＭＤ１１が構成され
る。

【００２５】１５はコンピュータのＣＰＵ（中央処理装
置）であり、システム全体の制御を行う制御部や、プロ
グラムあるいは種々のデータを記憶する主メモリ等を含
んでいる。このＣＰＵ１５は、後述する種々のモードを
切り替えるモード切替手段や、上記グローブ型入力装置
２を用いて行われる手話を認識する手話認識手段等を備
えている。

【００２６】１６は上記ディスプレイ１２を制御するビ
デオグラフィックスコントローラ、１７は各種入力デバ
イスを制御する入力デバイスコントローラである。図１
の例では、上記ＣＰＵ１５、ビデオグラフィックスコン
トローラ１６および入力デバイスコントローラ１７が上
記ＨＭＤ１１と一体化され、パーソナルコンピュータ１
で示されている。

【００２７】２１はグローブ型の手指形状検出装置、２
２はグローブに固定された手位置検出装置であり、これ
らの手指形状検出装置２１および手位置検出装置２２が
左右１ペアでグローブ型入力装置２を構成している。

【００２８】図３は、上記ＨＭＤ１１の光学系の構成を
示す図である。図３において、１２１は第１の光学作用
面１２１ａ、第２の光学作用面１２１ｂおよび第３の光
学作用面１２１ｃを有し、全体として正の屈折力を有す
る観察光学素子、１２２は液晶表示素子などの画像表示
手段である。

【００２９】また、１２３は眼球を赤外光で照明する赤
外光源、１２４は観察者の眼およびその角膜反射像を縮
小結像させるための結像レンズ系であり、第１のレンズ
１２４ａと第２のレンズ１２４ｂとで構成されている。
１２５は上記結像レンズ系１２４により形成された像を
光電変換する受光素子である。

【００３０】上記観察光学素子１２１の第２の光学作用
面１２１ｂは、観察者の眼の上下方向に傾斜している。
図示はしていないが、第２の光学作用面１２１ｂには、
光を反射するための反射層が設けられており、その中央
には開口部が開いている。また、画像表示手段１２２
は、観察者の上方（または下方）に配置される。

【００３１】赤外光源１２３は、光軸Ｌを含み紙面に平
行な平面に対して対称に２個備えられ、照明光が観察者
の眼をその下方から照明するように少なくとも一対の光
源が配置される。

【００３２】上記画像表示手段１２２から出力された光
は、第３の光学作用面１２１ｃで屈折透過し、第１の光
学作用面１２１ａで全反射する。そして、第２の光学作
用面１２１ｂの反射層で反射し、第１の光学作用面１２
１ａを屈折透過することによって観察者の視度に適合し
た広がり角を持った光束となり、眼側に出射する。

【００３３】なお、図３では、観察者の眼と画像表示手
段１２２の中心とを結ぶ線を基本光軸Ｌとして図示して
いる。また、観察者の視度に対する調整は、画像表示手
段１２２を観察光学素子１２１の光軸に沿って平行移動
することによって行うことが可能である。

【００３４】次に、この図３に基づいて視線検出系の光
学作用について説明する。赤外光源１２３から発した赤
外光は、視線検出系の光学軸とは異なる方向から観察者
の眼を照明する。照明光は、観察者の角膜、瞳孔で反射
散乱され、角膜で反射した光はプルキンエ像を形成し、
瞳孔で反射した光は瞳孔像を形成する。

【００３５】これらの像を形成する光は、第２の光学作
用面１２１ｂに設けられた図示しない開口部を通して結
像レンズ系１２４に入射され、受光素子１２５上に結像
される。そして、受光素子１２５によって得られるプル
キンエ像と瞳孔像との画像をもとに、図示しない視線検
出回路において観察者の視線方向が検出される。

【００３６】上記観察光学素子１２１は、像性能と歪み
の補正を行い、テレセントリックな系とするために、３
つの作用面１２１ａ，１２１ｂ，１２１ｃを、それぞれ
回転対称軸を有しない３次元曲面で構成するのが望まし
い。本実施形態では、基本光軸Ｌを含み紙面に平行な平
面にのみ対称な曲面構造をしている。

【００３７】また、結像レンズ系１２４の第１のレンズ
１２４ａは、くさび形状をしたレンズである。このレン
ズを用いることにより、結像レンズ系１２４を少ないレ
ンズで構成することができ、小型化に適している。この
第１のレンズ１２４ａの斜めの面に曲率を付けることに
より、第２の光学作用面１２１ｂで発生する偏心収差を
有効に補正することができる。さらに、結像レンズ系１
２４に非球面を少なくとも１面設けると、軸外の結像性
能を補正する上で有効である。

【００３８】また、上記結像レンズ系１２４の絞りが第
２の光学作用面１２１ｂに設けられた開口部の近くにあ
る方が上記開口部を小さくすることができ、観察系に対
する中抜けを防ぐのに有効である。できれば開口部と絞
りとが一致しているのが望ましい。開口部は、２ｍｍよ
り小さく設定した方が、眼の瞳径よりも小さくなり、観
察系に対する中抜けを防ぐのに更に有効である。

【００３９】観察者の眼を照明する光は、視感度が低い
波長の光がよく、赤外光が適している。このとき可視光
をカットする部材のレンズを結像レンズ系１２４に少な
くとも１個設けると、視線の検出精度を向上させること
ができる。

【００４０】また、赤外光源１２３を観察光学素子１２
１の眼とは反対の側に配置すると、観察光学素子１２１
の屈折力を強くして広視野化した場合でも、眼を適切に
照明することができるので望ましい。この場合は、第２
の光学作用面１２１ｂの反射層の光源の部分に開口部を
設ける。これにより、赤外光源１２３から発した光は、
第２の光学作用面１２１ｂの開口部を透過し、第１の光
学作用面１２１ａを透過し、視線検出系の光学軸とは異
なる方向から観察者の眼を照明する。

【００４１】次に、視線検出の原理を、図４および図５
を用いて詳しく説明する。ここで、図４（ａ）は視線検
出手段の一部および眼球の上面図であり、図４（ｂ）は
上記視線検出手段の一部および眼球の側面図である。

【００４２】図４（ａ）および（ｂ）において、１２３
ａ，１２３ｂは発光ダイオード（ＩＲＥＤ）等の光源で
あり、観察者が感じることのない赤外光を放射する。図
４（ａ）に示すように、各光源１２３ａ，１２３ｂは、
結像レンズ系１２４の光軸に対してｘ軸方向（水平方
向）に略対象に配置されている。また、図４（ｂ）に示
すように、各光源１２３ａ，１２３ｂは、ｙ軸方向（垂
直方向）には光軸のやや下側に配置されている。

【００４３】各光源１２３ａ，１２３ｂは、このような
配置の下で、観察者の眼球１０８を発散して照明してい
る。そして、各光源１２３ａ，１２３ｂから放射され、
眼球１０８で反射した照明光の一部は、結像レンズ系１
２４によって集光されて受光素子（イメージセンサ）１
２５に結像する。

【００４４】また、図５（ａ）は、イメージセンサ１２
５に投影される眼球１０８の像を概略的に表す図であ
り、図５（ｂ）は、上記イメージセンサ１２５の出力強
度の分布を表す図である。

【００４５】以下、図４および図５を用いて視線の検出
方法を詳しく説明する。まず、図４（ａ）に示す水平面
について考える。光源１２３ｂより放射された赤外光
は、観察者の眼球１０８の角膜１１０を照明する。この
とき、角膜１１０の表面で反射した赤外光により形成さ
れる角膜反射像（虚像）ｄは、結像レンズ系１２４によ
り集光され、イメージセンサ１２５上の位置ｄ’に結像
する。

【００４６】同様に、光源１２３ａより放射された赤外
光は、眼球１０８の角膜１１０を照明する。このとき、
角膜１１０の表面で反射した赤外光により形成された角
膜反射像（虚像）ｅは、結像レンズ系１２４により集光
され、イメージセンサ１２５上の位置ｅ’に結像する。

【００４７】また、虹彩１０４の端部ａ，ｂからの光束
は、結像レンズ系１２４を介してイメージセンサ１２５
上の位置ａ’，ｂ’に投影され、この位置に上記虹彩１
０４の端部ａ，ｂの像が結像する。以下、説明のため、
虹彩１０４の端部ａ，ｂのｘ座標をそれぞれｘ_a，ｘ_b
とし、角膜反射像ｄ，ｅのｘ座標をそれぞれｘ_d，ｘ _e
とする。

【００４８】このようにして、虹彩１０４の端部ａ，ｂ
の像や、角膜反射像ｄ，ｅがイメージセンサ１２５に結
像すると、イメージセンサ１２５により、図５（ｂ）に
示すような出力が得られる。なお、図５（ｂ）中に示さ
れるｘ_a’，ｘ_b’は、図５（ａ）で示される虹彩１０
４の端部ａ，ｂの像がイメージセンサ１２５上に結像さ
れる位置ａ’，ｂ’のｘ座標を示している。また、
ｘ_d’，ｘ_e’は、上記角膜反射像ｄ，ｅのイメージセ
ンサ１２５上における結像位置ｄ’，ｅ’のｘ座標を示
している。

【００４９】ところで、結像レンズ系１２４の光軸に対
する眼球１０８の回転角θ_xが小さい場合、図５（ａ）
の×印で示すように、虹彩１０４の端部ａ，ｂのｘ座標
ｘ_a，ｘ_bはイメージセンサ１２５上で多数点求めるこ
とができる。そこで、まず、これら多数のｘ座標ｘ_a，
ｘ_bを用いて、円の最小自乗法により瞳孔中心ｃのｘ座
標ｘ_cを算出する。

【００５０】一方、角膜１１０の曲率中心ｏのｘ座標を
ｘ_oとすると、眼球１０８の光軸に対する水平方向の回
転角θ_xを用いて、ｏｃ×ｓｉｎθ_x＝ｘ_c−ｘ_o （式１）と表すことができる。なお、ｏｃは上記曲率中心ｏと瞳
孔中心ｃとの間の距離を示している。

【００５１】また、角膜反射像ｄと角膜反射像ｅとの間
の中点ｋのｘ座標ｘ_kに対して所定のｘ軸方向の補正値
δ_xを考慮して座標ｘ_oを求めると、ｘ_k＝（ｘ_d＋ｘ_e）／２ｘ_o＝（ｘ_d＋ｘ_e）／２＋δ_x （式２）となる。なお、補正値δ_xは、装置の設置方法や装置と
眼球との距離等から幾何学的に求められる数値である
が、ここではその算出方法の説明は省略する。

【００５２】次に、（式１）を（式２）へ代入して眼球
１０８の光軸に対する回転角θ_xを求めると、 θ_x＝ｓｉｎ^-1［［ｘ_c−｛（ｘ_d＋ｘ_e）／２＋δ_x｝］／ｏｃ］（式３）となる。

【００５３】さらに、イメージセンサ１２５上に投影さ
れた各々の特徴点の座標を求めるために、（式３）の中
の各特徴点のｘ座標に '（ダッシュ）を付加して書き換
えると、 θ_x＝ｓｉｎ^-1［［ｘ_c’−｛（ｘ_d’＋ｘ_e’）／２＋δ_x’｝］／（ｏｃ／β）］（式４）となる。

【００５４】ここで、βは結像レンズ系１２４から眼球
１０８までの距離ｓｚｅにより決まる倍率を表す数値で
あり、実際は角膜反射像ｄ，ｅの間隔｜ｘ_d’−ｘ_e’
｜の関数として求められる。

【００５５】次に、図４（ｂ）に示す垂直面について考
える。この場合、２個の光源１２３ａ，１２３ｂにより
生じる角膜反射像はともに同じ位置に発生する。ここで
は、この角膜反射像をｉの符号を付して示し、そのｙ座
標をｙ_iとする。また、眼球１０８の光軸に対する垂直
方向の回転角θ_yの算出方法は、水平面の場合とほぼ同
一であるが、（式２）のみが異なっている。

【００５６】すなわち、角膜１１０の曲率中心ｏのｙ座
標をｙ_oとすると、ｙ_o＝ｙ_i＋δ_y （式５）となる。なお、ｙ軸方向の補正値δ_yは、装置の配置方
法や眼球距離等から幾何学に求められる数値であるが、
ここではその算出方法の説明は省略する。

【００５７】よって、（式１）をｙ座標に置き換えた式
および（式５）を用いて眼球１０８の光軸に対する垂直
方向の回転角θ_yを求めると、 θ_y＝ｓｉｎ^-1［｛ｙ_c’−（ｙ_i’＋δ_y’）｝／（ｏｃ／β）］（式６）となる。

【００５８】さらに、ディスプレイ１２の画面上の位置
座標（ｘ_n，ｙ_n）は、光学系で決まる定数ｍを用いる
と、水平面上、垂直面上でそれぞれｘ_n＝ｍ×ｓｉｎ^-1［｛ｘ_c’−（ｘ_d’＋ｘ_e’）／２＋δ_x’｝／（ｏｃ／β）］（式７）ｙ_n＝ｍ×ｓｉｎ^-1［｛ｙ_c’−（ｙ_i’＋δ_y’）｝／（ｏｃ／β）］（式８）となる。

【００５９】また、図５に示すように、瞳孔エッジの検
出は、イメージセンサ１２５の位置ｘ_b’における出力
波形の立ち上がり、および位置ｘ_a’における立ち下が
りを利用して行う。また、角膜反射像の座標は、位置ｘ
_e’および位置ｘ_d’における鋭い立ち上がり部を利用
して行う。つまり、視線検出の方法を要約すると、視線
の移動に伴って移動する瞳孔像とプルキンエ像との移動
量の差から、視線を検出していることになる。

【００６０】図６は、上記グローブ型入力装置２の一例
を示す図であり、ここでは右手のユニットを示してい
る。図６において、２０１は手袋（グローブ）であり、
その五指の部分の表面に各指の屈曲を検出するためのフ
ァイバーケーブルセンサ２１１〜２１５が固着され、こ
れにより手指形状検出装置２１が構成されている。ま
た、グローブ２０１の甲の部分の表面には手位置検出装
置２２が固着されている。

【００６１】上記ファイバーケーブルセンサ２１１〜２
１５は、例えば、米国特許第４５４２２９１号明細書や
米国特許第４９８８９８１号明細書に示されているもの
である。すなわち、曲がる光量をロスするように作られ
たファイバーをグローブ２０１の各指に配するととも
に、光源と受光素子とを各ファイバーの両端に設け、こ
れにより指の屈曲を検出するものである。

【００６２】また、２０２はケーブルであり、図１に示
したパーソナルコンピュータ１に接続されれる。

【００６３】図７は、上記頭部位置検出装置１４および
手位置検出装置２２に用いられる位置検出装置の構成を
示すブロック図である。図７において、３０１は振動ジ
ャイロであり、軸３０２まわりの角速度ωを検出する。
３０３は上記振動ジャイロ３０１の出力からオフセット
電圧を除去するハイパスフィルタ（ＨＰＦ）である。

【００６４】また、３０４は上記ＨＰＦ３０３の出力信
号を増幅する増幅回路（アンプ）、３０５は角速度情報
を角度情報に変換するための積分回路、３０６は上記積
分回路３０５をリセットするためのリセット信号、３０
７は角度変位に対応した出力信号である。

【００６５】上記頭部位置検出装置１４の内部には、図
７に示した位置検出装置が１セット配置され、頭の上げ
下げが検出される。また、手位置検出装置２２の内部に
は、図７に示した位置検出装置が２セット配置され、手
の上下回転と手首まわりの回転とが検出される。

【００６６】次に、上記のように構成した本実施形態の
パーソナルコンピュータシステムの動作を説明する。図
８は、第１の実施形態であり、図２に示したＨＭＤ１１
とグローブ型入力装置２とを利用することにより仮想コ
ンピュータモード（第１のモード）となった時の動作を
示すフローチャートである。まず、この図８に基づいて
仮想コンピュータモードの動作について説明する。

【００６７】図８において、システムが起動すると、ま
ずステップＰ１で、ＨＭＤ１１内の頭部位置検出装置１
４により、コンピュータ操作者が水平方向を向いている
か、あるいは斜め下方向を向いているかを判定する。な
お、図７の振動ジャイロ３０１をセンサとして用いる場
合は、積分回路３０５をあらかじめリセットしておく必
要がある。好ましくは、操作者が水平方向を向いた状態
でリセットを行う。

【００６８】上記ステップＰ１で操作者の頭の向きが水
平方向を向いていると判定したときは、ステップＰ２に
進み、コンピュータのモニタ画面をＨＭＤ１１のディス
プレイ１２に表示する。次いで、ステップＰ３におい
て、グローブ型入力装置２内の手位置検出装置２２によ
り、操作者の手がＨＭＤ１１に表示されているモニタ画
面の下にあるか、あるいは上（画面の近傍）にあるかを
判定する。

【００６９】この場合も、上記振動ジャイロ３０１をセ
ンサとして用いる場合は、積分回路３０５をリセットす
る必要があり、好ましくは、操作者の手を下にした状態
（すなわち、仮想的なキーボードの上に操作者の手を置
いた状態）で積分回路３０５をリセットする。

【００７０】上記ステップＰ３で操作者の少なくとも一
方の手が上にあると判定したときには、操作者が仮想的
なタッチパネルを操作しようとしていると見なし、ステ
ップＰ５に進んで仮想タッチパネルの入力モードに入
る。このとき、例えば図１１（ｃ）のような画像をＨＭ
Ｄ１１の表示画面に表示する。この例では、「手」の形
のアイコンにより「書類」のアイコンを選択している状
態を表示している。

【００７１】また、操作者の右手のみが下にあり、かつ
右方向にあると判定した場合には、操作者が仮想的なマ
ウスを操作しようとしていると見なす。このとき、コン
ピュータ（図２のＣＰＵ１５）は、マウス入力モードと
なり、操作者の右手の動きに合わせて「手」のアイコン
を画面上で移動させる。

【００７２】一方、上記ステップＰ３で操作者の手が両
方とも下にあると判定したときは、操作者が仮想的なキ
ーボードを操作しようしていると見なし、ステップＰ６
に進んで仮想キーボード入力モードに入る。このとき、
操作者の頭が水平方向に向いたままの場合は、いわゆる
ブラインドタッチ操作となるが、頭の向きを下にする
と、ステップＰ１を介してステップＰ４に進み、ＨＭＤ
１１の表示画面は、仮想キーボードを表示する画面に変
わる。

【００７３】図１１（ａ）は、そのときの仮想キーボー
ド表示の一例を示す図である。この図１１（ａ）に示す
画面では、仮想キーボードを全て表示することはしない
で、左右の合計１０本の指が近接している仮想キーのみ
を表示している。この図１１（ａ）の例では、左手の人
指し指が１つの仮想キーに触れることによりその仮想キ
ーが点灯し、その仮想キーを押すことにより反転表示さ
れる様子が示されている。

【００７４】図１１（ｂ）は、仮想キーボード表示のも
う１つの例を示す図である。この例では、両手１０本の
指が近接している１０個の仮想キーをＨＭＤ１１の表示
画面の下方に横一列に表示するとともに、左手人指し指
が「Ｇ」の仮想キーをヒットしたことを示している。す
なわち、画面内に「Ｇ」の文字を表示することにより、
「Ｇ」の仮想キーが押されたことを表している。

【００７５】もちろん、上述した仮想タッチパネルへの
指のタッチや仮想キーボードへの指のヒットは、グロー
ブ型入力装置２内の手指形状検出装置２１によって検出
される。なお、図８の応用例として、画面表示をＨＭＤ
１１に行うのではなく、通常のディスプレイに行うよう
にしてもよい。この場合は、画面の切り換えは手動で行
うこととなる。

【００７６】図９は、第２の実施形態であり、視線検出
手段を利用した視線マウスおよび視線キーボードの視線
入力コンピュータモード（視線入力によりマウス操作や
キーボード操作を行うモード：第３のモード）となった
時の動作を示すフローチャートである。以下、この図９
に基づいて視線入力コンピュータモードの動作について
説明する。

【００７７】図９において、まずステップＰ１１で、図
示しない表示画面上における視線入力アイコンを所定時
間見続けることにより、視線入力コンピュータモードに
切り替える。次いで、ステップＰ１２で、ＨＭＤ１１内
の頭部位置検出装置１４により、操作者が水平方向を向
いているか、あるいは斜め下方向を向いているかを判定
する。

【００７８】そして、上記ステップＰ１２で操作者の頭
が水平方向を向いていると判定したときは、ステップＰ
１３に進み、コンピュータのモニタ画面をＨＭＤ１１に
表示する。そして、ステップＰ１４において、視線マウ
スの入力モードに入る。この場合の表示画面は、例えば
図１１（ｃ）のようになり、「書類」のアイコンを視線
で選択する。

【００７９】一方、上記ステップＰ１２で操作者の頭の
向きが下方向であると判定したときは、操作者が仮想的
なキーボードを操作しようとしていると見なし、ステッ
プＰ１５に進んで仮想のキーボードをＨＭＤ１１に表示
し、ステップＰ１６で視線キーボードの入力モードに入
る。

【００８０】この場合の表示画面は、例えば図１１
（ｄ）のようになる。操作者は、特定の仮想キーを所定
時間見続けることによって、所望の仮想キーを選択す
る。このとき、コンピュータは、選択された仮想キー
を、例えばネガポジを反転して表示し、その仮想キーに
ヒットしたこと操作者に知らせる。

【００８１】図１１（ｄ）の画面において、表示の倍率
は、図示しないズーミングアイコンを視線で選択するこ
とにより任意に設定することができる。例えば、図１１
（ｄ）に示した画面よりも更に“ワイド”を選択する
と、キーボード、モニタ画面共に小さく表示される。そ
の結果、モニタ画面全体を表示することができる。

【００８２】図８および図９において、頭の動きを上下
方向の他に左右方向にも検出可能にすることで、更に新
しい応用が可能となる。例えば、操作者が右または左を
向くということは、コンピュータのモニタ画面またはキ
ーボード等の入力装置から離れて気分転換をしたい場合
であることが多い。

【００８３】そこで、操作者の頭が右または左に向いた
ことを検出したときは、仮想の室内風景や仮想の屋外風
景をパンニングしてＨＭＤ１１に表示させる。このと
き、ＨＭＤ１１に表示される虚像は、１０ｍ〜２０ｍと
いった遠方に設定できることが目の疲れをとる上から好
ましい。このことは、不図示のモータを用いて図３の画
像表示手段１２２を観察光学素子１２１から光軸に沿っ
て所定量遠ざけることで実現することが可能となる。

【００８４】図１０は、第３の実施形態であり、視線検
出手段とグローブ型入力装置２とを利用して手話入力コ
ンピュータモード（第２のモード）となった時の動作を
示すフローチャートである。以下、この図１０に基づい
て手話入力コンピュータモードの動作について説明す
る。

【００８５】手話入力とは、音声やキーボードを使用し
ない情報入力方法であり、手話によって種々の情報を入
力する方法である。手話は、通常の言語（話し言葉や書
き言葉）に比べて習得が容易である。これは、ＧＵＩ
（グラフィカル・ユーザ・インタフェース）のアイコン
の意味が容易に理解できることに通ずるものがある。

【００８６】したがって、本実施形態の手話入力コンピ
ュータモードを用いれば、日本語、英語、フランス語と
いった言語別のソフトウェアを作る必要がなくなる可能
性があり、今後有望視されている。

【００８７】図１０において、まずステップＰ２１で、
コンピュータを手話入力モードに切り替える。例えば、
図１１（ｅ）の画面左上にある「手」のアイコン（手話
アイコン）を注視し続けることにより、手話入力モード
に入る。次に、グローブ型入力装置２を用いて手話を実
行する前に、ステップＰ２２で、これから手話の単語を
実行する合図をコンピュータに送る。具体的には、頭を
１回うなづくことでもよいし、手話アイコンを見てまば
たきを２回行うことでもよい。

【００８８】操作者は、コンピュータがこの合図に応じ
て手話アイコンを１回点滅させたのを確認してから、ス
テップＰ２３で実際に手話を行う。例えば、右手を頭の
横まで上げて親指を除く４本の指を軽く２回曲げる。
“さようなら”の合図である。コンピュータは、ステッ
プＰ２４でこれを認識して、ＨＭＤ１１（通常のパネル
型ディスプレイでも構わない）のモニタ画面に“ＬＯＧ
ＯＦＦ？”と表示し、操作者に確認を求める。

【００８９】操作者は、次のステップＰ２５で、コンピ
ュータの認識が正しいかどうかを判断し、正しい場合は
ステップＰ２６に進み、例えば図１１（ｅ）に示したモ
ニタ画面内の“ＹＥＳ”の部分を注視することによりエ
ンター入力する。また、コンピュータの認識が正しくな
い場合は、ステップＰ２７に進み、“ＮＯ”の部分を注
視することにより合図を取り消し、ステップＰ２２に戻
って手話入力を再度行う。

【００９０】なお、手話の内容によっては、グローブ型
入力装置２は、肘や肩の曲がりや動きを検出する必要が
ある。この場合には、グローブ２０１は、肘や肩までカ
バーするものでなければならない。

【００９１】以上説明したように、本実施形態によれ
ば、視線入力手段付きのＨＭＤ１１とグローブ型入力装
置２とを利用することにより、様々な動作モードを有す
る優れたマンマシン・インタフェースを備え、かつ、小
型で大画面表示の形態型パーソナルコンピュータを実現
することができる。

【００９２】上記マンマシン・インタフェースとして
は、例えば、ＨＭＤ１１とグローブ型入力装置２とによ
り、仮想キーボード、仮想タッチパネル、仮想マウスと
いった仮想コンピュータのインタフェースを実現するこ
とができる。また、ＨＭＤ１１と視線入力手段とによ
り、視線入力キーボード、視線入力タッチパネル、視線
入力マウスを実現することができる。さらに、グローブ
型入力装置２により手話によってコンピュータとのイン
タフェースを図ることもできる。

【００９３】

【発明の効果】本発明は上述したように、従来の小型表
示パネルに代えて、小型のＨＭＤを用い、広視野光学系
により大画面表示を行うようにしたので、コンピュータ
システムの小型化に伴って表示画面が小さくなり、表示
画面の内容が見づらくなるという従来の不都合を防止し
て、文字やアイコン等を常に十分なサイズで表示するこ
とができ、これにより、表示画面を常に見やすくするこ
とができる。

【００９４】また、本発明の他の特徴によれば、現実の
キーボードに代えて、グローブ型入力装置や視線入力手
段を用い、情報入力を仮想的に行うようにしたので、コ
ンピュータシステムの小型化に伴って入力デバイスが小
さくなり、情報入力の操作が行いにくくなるという従来
の不都合を防止して、情報入力操作を常に行いやすくす
ることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態であるパーソナルコンピュ
ータシステムの使用状況を示す図である。

【図２】本実施形態によるパーソナルコンピュータシス
テムの構成を示すブロック図である。

【図３】ＨＭＤ（頭部搭載型ディスプレイ）の光学系の
構成を示す図である。

【図４】視線検出の原理を説明するための図である。

【図５】視線検出の原理を説明するための図である。

【図６】グローブ型入力装置の一構成例を示す図であ
る。

【図７】頭部位置検出装置および手位置検出装置に用い
られる位置検出装置の構成を示すブロック図である。

【図８】第１の実施形態であり、ＨＭＤとグローブ型入
力装置とを利用することにより仮想コンピュータモード
となった時の動作を示すフローチャートである。

【図９】第２の実施形態であり、視線検出手段を利用す
ることにより視線入力コンピュータモードとなった時の
動作を示すフローチャートである。

【図１０】第３の実施形態であり、視線検出手段とグロ
ーブ型入力装置とを利用して手話入力コンピュータモー
ドとなった時の動作を示すフローチャートである。

【図１１】種々のモード時における表示画面の例を示す
図である。

【符号の説明】

１ＨＭＤと一体化されたパーソナルコンピュータ２グローブ型入力装置１１ＨＭＤ１２超小型大画面ディスプレイ１３視線検出装置１４頭部位置検出装置１５ＣＰＵ１６ビデオグラフィックスコントローラ１７入力デバイスコントローラ２１手指形状検出装置２２手位置検出装置１２１観察光学素子１２２画像表示手段１２３赤外光源１２４結像レンズ系１２５受光素子（イメージセンサ）

Claims

【特許請求の範囲】

【請求項１】ＣＰＵが小型のＨＭＤ（頭部搭載型ディ
スプレイ）に一体化して構成されたコンピュータシステ
ムであって、広視野光学系を用いて上記ＨＭＤに大画面表示を行うよ
うにしたことを特徴とするコンピュータシステム。
【請求項２】上記広視野光学系は、小型多画素の液晶
表示素子と、第１、第２、第３の光学作用面を有し上記
液晶表示素子から出力される光に対して全体として正の
屈折力を有するプリズム型光学素子とにより構成される
ことを特徴とする請求項１に記載のコンピュータシステ
ム。
【請求項３】ＣＰＵが一体化して構成された小型のＨ
ＭＤ（頭部搭載型ディスプレイ）と、上記ＣＰＵに接続されるグローブ型入力装置とを備え、上記ＨＭＤの表示画面を見ながら上記グローブ型入力装
置を操作することにより、上記グローブ型入力装置の動
きに応じて情報入力を仮想的に行うようにしたことを特
徴とするコンピュータシステム。
【請求項４】上記ＨＭＤの表示画面は、仮想的なキー
ボード表示画面であることを特徴とする請求項３に記載
のコンピュータシステム。
【請求項５】上記ＨＭＤの表示画面は、仮想的なタッ
チパネル表示画面であることを特徴とする請求項３に記
載のコンピュータシステム。
【請求項６】ＣＰＵが一体化して構成された小型のＨ
ＭＤ（頭部搭載型ディスプレイ）と、上記ＣＰＵに接続
されるグローブ型入力装置とを備えたコンピュータシス
テムであって、上記ＣＰＵは、上記グローブ型入力装置を用いて行われ
る手話を認識する手話認識手段を備えており、上記グローブ型入力装置を用いて情報入力を手話で行う
ようにしたことを特徴とするコンピュータシステム。
【請求項７】視線入力手段を有する小型のＨＭＤ（頭
部搭載型ディスプレイ）を備えたコンピュータシステム
であって、上記ＨＭＤの表示画面内の位置を上記視線入力手段を用
いて指定することにより情報入力を行うようにしたこと
を特徴とするコンピュータシステム。
【請求項８】上記ＨＭＤの表示画面は、仮想的なキー
ボード表示画面であることを特徴とする請求項７に記載
のコンピュータシステム。
【請求項９】上記ＨＭＤの表示画面は、仮想的なタッ
チパネル表示画面であることを特徴とする請求項７に記
載のコンピュータシステム。
【請求項１０】ＣＰＵが一体化して構成された小型の
ＨＭＤ（頭部搭載型ディスプレイ）と、上記ＣＰＵに接
続されるグローブ型入力装置とを備えたコンピュータシ
ステムであって、上記ＨＭＤは、小型多画素の液晶表示素子と、第１、第
２、第３の光学作用面を有し上記液晶表示素子から出力
される光に対して全体として正の屈折力を有するプリズ
ム型光学素子とにより構成される広視野光学系と、上記広視野光学系を利用した視線入力手段とを備え、上記ＣＰＵは、上記グローブ型入力装置を用いて行われ
る手話を認識する手話認識手段と、上記ＨＭＤの表示画面を見ながら上記グローブ型入力装
置を操作することにより情報入力を仮想的に行う第１の
モードと、上記グローブ型入力装置を用いて情報入力を
手話で行う第２のモードと、上記ＨＭＤの表示画面内の
位置を上記視線入力手段を用いて指定することにより情
報入力を行う第３のモードとを切り替えるモード切替手
段とを備えることを特徴とするコンピュータシステム。
【請求項１１】少なくとも視線入力手段を有するＨＭ
Ｄ（頭部搭載型ディスプレイ）を備えたコンピュータシ
ステムであって、上記ＨＭＤにモニタ画面を表示しているときは、上記視
線入力手段により上記モニタ画面内の位置指定を行い、
上記ＨＭＤに仮想キーボードを表示しているときは、上
記視線入力手段により上記仮想キーボードを操作するよ
うにしたことを特徴とするコンピュータシステム。
【請求項１２】上記ＨＭＤは操作者の頭の位置を検出
する頭部位置検出手段を備え、上記モニタ画面の表示と上記仮想キーボードの表示との
切り替えを上記頭部位置検出手段の検出結果に応じて行
うようにしたことを特徴とする請求項１１に記載のコン
ピュータシステム。
【請求項１３】少なくともＨＭＤ（頭部搭載型ディス
プレイ）とグローブ型入力装置とを備えたコンピュータ
システムであって、上記グローブ型入力装置により操作者の手指の位置およ
び曲がりを検出し、その検出結果に応じて、上記ＨＭＤ
に表示されている仮想キーボードまたは仮想タッチパネ
ルから情報入力を行うとともに、仮想マウスによりモニ
タ画面内の位置指定を行うようにしたことを特徴とする
コンピュータシステム。
【請求項１４】上記グローブ型入力装置による操作者
の手指の位置および曲がりの検出結果に応じて、上記Ｈ
ＭＤに表示されている仮想キーボードを操作する場合
に、上記操作者の手指が近接するキーのみを上記ＨＭＤ
に表示するようにしたことを特徴とする請求項１３に記
載のコンピュータシステム。
【請求項１５】少なくともグローブ型入力装置を備え
たコンピュータシステムであって、上記グローブ型入力装置を用いて操作者とコンピュータ
とのインタフェースを手話により図るようにしたことを
特徴とするコンピュータシステム。