JP3872100B2 - 頭部搭載型の画像表示装置 - Google Patents

Description

技術分野
本発明は、仮想空間のスクリーン上に画像を表示する頭部搭載型の画像表示装置及びそれを備えた情報処理装置に関する。
発明の背景
電子回路の設計や実験などでは、使用する部品の仕様を確認しながら作業を行うために、データシートなどの資料が必要となるが、設計者の机上や机の周りはそれらの資料で満たされ雑然としがちであった。その結果作業場所が狭くなったり、また必要な資料が探しにくいなど、作業効率が低下しがちであった。
一方、設計の効率化の一つの手段として、コンピュータを道具として設計するＣＡＥ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）化が進められている。例えば、データシートなどの資料はコンピュータに登録しておき、必要に応じてディスプレイの画面上に読み出して参照する、いわゆるペーパーレスの設計環境が構築されており、前述のような不都合は解消されつつある。
しかしながら、部品点数が多くなって資料も同時に多数のものを参照したい場合には、画面上にウィンドウをいくつか開いて、それぞれに別の資料を表示することはできるが、情報を表示するＣＲＴディスプレイなどには物理的に限られた大きさと限られた解像度があるため、ウィンドウが多くなると重ねて表示せざるをえなくなり、その結果同時に参照できる情報には限界が生じてしまい、前述のような実際の資料を雑然と置いた場合の方が、必要な情報に早くたどりつけることも少なくはなく、ＣＡＥ化による効率化にも限界があった。
また、別の状況として、据え付けられた機械装置の保守や修理などの場合には、作業をしながらマニュアル類を参照しなければならない場合が多いが、周囲の環境が雑然としていて、それらを見やすい場所に置くことが困難な場合が多く、作業効率が低下してしまっていた。しかしＣＲＴディスプレイなどを置くことはさらに困難なことからＣＡＥ化ができず、他に適当な解決策はなかった。
そこで、一つの方法として頭部に表示装置を装着し、そこへ資料の情報を表示することが考えられ、いくつかの提案がなされている。
特開平５−１００１９２号公報にはワープロ等の電子機器の画面をメガネ型のディスプレイに表示することが記載されているが、これは従来のディスプレイをメガネ型にしたものにすぎず、多くの資料を提示するのには適していなかった。また、特開平４−２６３２８３号公報には可搬型の仮想現実装置が提案されているが、人工現実装置を提供するものであって、表示した内容を操作するのには適していなかった。
また、従来の頭部搭載型の画像表示装置においては、虚像である液晶表示画像と外界のキーボードとの画質の差が大きく、それらを交互に視認することが原因となっていくつかの問題が提起されていた。そのような問題を解決するために表示画像と外界像とをオーバラップさせて表示させたものがある。
ただし、そのようなタイプの頭部搭載型の画像表示装置にも問題がある。たとえば、表示画像と、外界像が単にオーバーラップされるだけなので、表示画像内に外界像が重なって見え、非常に視認性が悪い、左右の目で、異なる画像を見るので非常に疲れ易い、といったことがあげられる。
また、頭部搭載型の画像表示装置において、例えば、ワープロ入力する際に、表示画像を見ながらタイプしたいキーを確認するため、キーボードを見る等表示画像を見ながら外部を見る必要が生じていた。
その解決方法としては、例えば、外界風景と演算装置からの画像とを切り替える手段を設けるか、或いは特開平５−１００１９２号公報に提示されるように視野の一部でディスプレイを視認し、他の一部に外界を見るように構成している。
しかしながら、上記の場合には入力装置を視野の特定部分で見ながら入力を行うことになり、画像表示装置を頭部に装着することにより入力姿勢の自由度等が失われ、長時間の作業をすると疲労の程度が著しいという問題があった。また、入力装置をキーボードにした場合には、キーの大きさが指先より大きくなると非常に入力が難しく、キーボードの大きさが実用的な携帯端末の大きさの限界を決定している。
さらに、従来のキーボードではキーの配置が固定されているため、様々なアプリケーションの最適なキー配置が難しい。
また、マルチメディアと呼ばれる情報化社会においては、動画表示や、静止画の表示などが混在して表示されたものを扱う場合が多い。そのような社会的状況の中で、動画像メディアの作成作業が複雑化し、専門的な知識や技術の無い一般的な人々にはメディアを有効に使った適切な表現を行なうことが困難になってきている。
また、ハイパーメディア化に関しては、アップル社のＨｙｐｅｒＣａｒｄが有名であるが、これらに関してもマウスによりクリックする場所の数が多く、場所によってはクリックする場所を間違えるなどの問題があった。
さらには、映像製作における映像素材の加工、合成、編集するポストプロダクションの工程では、事前の計算にしたがった複雑な手順を正確に実行することを要求されるために手間の問題の他、実際に映像を組み合わせながら想いを練るといった柔軟な製作が難しい問題があった。
また、頭部搭載型の画像表示装置を利用した場合には、情報処理装置から出力される画像表示情報を見ることができるのは、頭部搭載型の画像表示装置を装着している人のみである。複数の人が情報処理装置から出力される画像表示情報を見る必要が生じた場合は、
（１）１つの頭部搭載型の画像表示装置を順番に着け換えながら利用するか、
（２）場合によっては、別のＣＲＴディスプレイを持つ情報処理装置を用意する必要が生じる
など目的あるいは用途に応じて複数の装置を用意しなければならない。
また、コンピューターやワードプロセッサーのダウンサイジングが進み携帯型の情報処理装置が普及傾向にあるが、これらの携帯型情報処理装置はオープンタイプのディスプレイを備えており、それを開いて使用するのが通常である。しかし、携帯型情報処理装置のさらなる小型化と、使用場所の拡大化につれ、さらには公然と機密文書を作成したいという要求に応えて、これらの携帯型情報処理装置のディスプレイとして、頭部搭載型の画像表示装置の利用が提案されている。これは、例えば特開平５−１００１９２公報に掲載されるように、キーボード及び本体から構成される演算処理装置と頭部搭載型の画像表示装置からなり、演算処理装置から出力される画面情報を、頭部搭載型の画像表示装置を通じて拡大虚像として視認するものである。しかし、これら従来の構成においては、演算処理装置と頭部搭載型の画像表示装置とが常時別体になっているため、携帯時には演算処理装置とは別に頭部搭載型表示装置を携帯する必要があり、小型化されている割りには携帯性が良くなかった。また、頭部搭載型の画像表示装置を専用ケースに収納して携帯するにしても、取扱いが煩雑になるばかりか故障等のトラブルも発生し易い。
発明の開示
本発明の目的は、効率のよい設計、実験や保守、修理などに適した頭部搭載型の画像表示装置を提供することにある。
本発明の他の目的は、携帯性及び視認性が高く、かつ使用者の健康に支障のない頭部搭載型の画素表示装置を提供することにある。
（Ａ）本発明の一つの態様による頭部搭載型の画像表示装置は、液晶表示パネルと拡大光学系とがフレームに収納され、前記フレームの前面の視野に前記拡大光学系を通して前記液晶表示パネルに生成された画像の拡大虚像が視認される頭部搭載型の画像表示装置において、
前記画像表示装置の装着者の頭部の向きを検出する第１の方向検出手段と、
前記装着者の視線を検出する注視点検出手段と、
複数の仮想画面を表示する１つの表示枠を前記フレーム前面の視野に形成するとともに、前記表示枠内の表示を前記第１の方向検出手段の出力に基づいてスクロールし、前記注視点検出手段の出力に基づいて前記表示枠内の複数の仮想画面から一つの仮想画面を選択し、選択された前記仮想画面を、前記注視点検出手段の出力に基づいて表示枠内で移動させ、又は別記第１の方向検出手段の出力に基づい表示枠外に移動させる画像生成手段と、
前記画像生成手段における前記一つの仮想画面の選択を確定し、又は前記選択された仮想画面の移動を停止させるトリガ入力手段と
を備えたものである。
また、本発明の他の態様による頭部搭載型の画像表示装置は、上記の装置において、前記画像生成手段は、前記トリガ手段の入力によって確定された選択仮想画面を拡大又は縮小する機能を更に備えたものである。
本発明の他の態様による頭部搭載型の画像表示装置は、前記画像表示装置の装着者の上体の向きを検出する第２の方向検出手段を備え、前記第２の方向検出手段の出力に応じて前記表示枠内の表示のスクロールを禁止させるものである。
上述の構成からなる本発明によれば、回路設計や実験などを行う場合、使おうとする部品の仕様を確認するためのデータシートなどの資料を表示枠に表示することができるため、部品点数が多くなっても資料によって作業の場所が狭くなることもなく、作業効率の低下を避けることができる。
また、据え付けられた機械装置の保守や修理などの場合において、マニュアルを置く適当な場所が確保できなくとも、作業者との位置関係が一定の表示枠内に表示させることができるため、効率の良い作業を行うことができる。
さらに、表示枠内の任意の仮想画面を自由に動かすことができるため、必要な画面を最も見やすい位置に移動して見ることができ、作業者に無理な姿勢などの負担をかけることがない。
また、仮想画面の移動は、手を使わなくても可能なため、両手は作業に専念させることができる。
（Ｂ）また、本発明の他の態様による頭部搭載型の画像表示装置は、前記拡大光学系を通して視認される拡大虚像の形成方向に実スクリーンを配置し、前記画像表示装置の装着者の外界像を前記実スクリーンとするものである。
本発明の他の態様による頭部搭載型の画像表示装置は、前記画像表示装置の装着者の外界像と前記光学系を通して視認される前記表示枠とを合成する合成光学手段を備えたものである。
本発明の他の態様による頭部搭載型の画像表示装置は、携帯型コンピュータ外装ケースの一部が前記実スクリーンとして利用される。
上述の構成からなる本発明によれば、頭部搭載型の画像表示装置の光学系に液晶表示画像と外界像を合成する光学系を設け、さらに液晶表示画像の虚像形成方向に実スクリーンを設ける、もしくは単眼タイプの頭部搭載型の画像液晶表示装置を使用し、その液晶表示画像の虚像形成方向に実スクリーンを設けることにより、携帯性、視認性が高く、かつ作業者の健康への悪影響が小さい画像表示装置を実現できる。また、携帯型コンピュータの外装ケースの一部を実スクリーンとする事により、携帯性、視認性が高く、かつ作業者の健康への悪影響が小さい携帯型コンピューターを実現できる。
【図面の簡単な説明】
図１は本発明の一実施例の頭部搭載型の画像表示装置を示す図である。
図２は図１の表示装置の詳細を示す構成図である。
図３は図１の実施例において作業者から見た光景を示す図である。
図４は図２の制御系の詳細を示すブロック図である。
図５は図４の制御系の動作を示すフローチャートである。
図６は図１の実施例における画像の指定方法を示すフローチャートである。
図７は図１の実施例における画像の移動方法を示すフローチャートである。
図８は本発明の他の実施例の頭部搭載型の画像表示装置を示す図である。
図９は図８の実施例において作業者から見た光景を示す図である。
図１０は本発明の他の実施例の頭部搭載型の画像表示装置の詳細を示す構成図である。
図１１は図１０の実施例に適用されるスクリーンの説明図である。
図１２は図１０の実施例の使用例の説明図である。
図１３は本発明の他の実施例の頭部搭載型の画像表示装置の使用例において側面からみた説明図である。
図１４は図１３の実施例の使用例の正面からみた説明図である。
図１５は本発明の他の実施例の頭部搭載型の画像表示装置（入力情報と演算結果とを表示する）を装着して入力作業を行っている状態を示した説明図である。
図１６は図１５の画像表示装置の表示画面の説明図である。
図１７は図１５の実施例の演算装置の構成を示すブロック図である。
図１８は図１５の実施例の信号の流れを示すフローチャートである。
図１９は図１７の割り付け手段における処理過程を示すフローチャートである。
図２０は図１５の実施例の画像表示装置の構成を示す説明図である。
図２１は本発明の一実施例の情報処理装置をパーソナルコンピュータに採用し、表示手段として頭部搭載型の画像表示装置の一例としてメガネ型ディスプレイを利用している場合を示す斜視図である。
図２２は図２１の情報処理装置の頭部搭載型の画像表示装置の詳細を示す側面図である。
図２３は従来用いられている本体と表示部が分離可能な情報処理装置を示す斜視図である。
図２４及び図２５は液晶表示パネルの上下動と像の位置との関係を示した図である。
図２６及び図２７は液晶表示パネルの前後動と像の大きさとの関係を示した図である。
図２８は液晶表示パネルの支持機構を示した斜視図である。
図２９は図２８の分解斜視図である。
図３０は従来用いられている、本体と表示部が分離可能な情報処理装置を示す斜視図である。
図３１は本発明の他の実施例の画像表示装置が接続可能な情報処理装置を示す斜視図である。
図３２は本発明の他の実施例の情報処理装置を示す説明図である。
図３３は図３２の実施例の制御系のブロック図である。
図３４は図３２の実施例の制御系の動作を説明するフローチャートである。
図３５は本発明の他の実施例の頭部搭載型の画像表示装置を示す図である。
図３６及び図３７は図３５の実施例の光学系の正面図及び側面図である。
図３８及び図３９は本発明の頭部搭載型の画像表示装置を用いて静止画像の編集を行ったときの表示方法を示すものであり、図３８は、第１の表示エリアと第２の表示エリアを左右に映像とその属性を２箇所に並べ表示した本発明の表示方法の模式図である。
図４０は図３５の実施例の処理過程を示すフローチャートである。
図４１は図３５の実施例の音声入力による手順を説明したフローチャート図である。
図４２は本発明の頭部搭載型表示装置を用いて、動画像のシミュレーションを行ったときの表示方法で、第１の表示エリアと第２の表示エリアを左右に映像とその属性を２箇所に並べ表示した本発明の表示方法の実施例の模式図であり、
（ａ）はシュレーションした映像結果を示す図、
（ｂ）は飛行機の軌跡を示す図、
（ｃ）は飛行機のスピードを示す図、
（ｄ）は各映像セグメントの階層的なセグメンテーションを示す図である。
図４３は本発明の他の実施例の情報処理装置を表す模式図である。
図４４は図４３の情報処理装置の制御系を示すブロック図である。
図４５は本発明の他の実施例の情報処理装置を表す模式図である。
図４６は本発明の更に他の実施例の情報処理装置を表す模式図である。
図４７は図４６の情報処理装置の制御系を示すブロック図である。
発明を実施するための最良の形態
実施例１．
図１に示される実施例においては、作業者１が椅子８に座り、机７上で作業を行っている状態が図示されている。作業者１の頭部には、頭部搭載型の画像表示装置（以下表示装置という）２が装着されている。机７の下にはコンピュータ３が配置されており、コンピュータ３からの画面表示情報は接続コード（図２参照）により表示装置２に伝えられる。さらに、コンピュータ３には、トリガ入力手段であるフットスイッチ４が接続されている。
表示装置２は、図２に示されるように、眼鏡型のフレーム１０１を有し、その中には接続コード１０６の一端が接続された駆動回路１０５が収納されている。この駆動回路１０５はコンピュータ３と共に本発明の画像生成手段を構成している。また、フレーム１０１の前面には、左右一対の液晶表示装置である液晶パネル１０２と、この液晶パネル１０２を背面から照明するバックライト１０４とが装着されており、液晶パネル１０２と作業者の眼１２０との間のフレーム１０１の内面には拡大レンズ１０３が設けられている。そして、接続コード１０６を介してコンピュータ３から送られてきた画面表示情報は、駆動回路１０５によりデコードされ、液晶パネル１０２によって表示が行われる。
液晶パネル１０２は画面サイズが０．７インチから１．３インチ程度の超小型のフルカラー又はモノクロの液晶パネルであり、拡大レンズ１０３により視距離約０．５ｍから１ｍの位置において１４インチ程度に拡大されて、作業者１に虚像として見えるようになっている。また、液晶パネル１０２、バックライト１０４及び拡大レンズ１０３は左右の眼球１２０用にそれぞれ１組ずつ組み込まれており、通常は同一画面を表示して両眼視により自然な１つの表示画面が見えるように配置されている。
表示画面は図２に矢印Ａで示す正面やや上の方向を見たときに見えるように配置されており、矢印Ｂで示す下向きの方向を見たときは、フレーム１０１の前面の下部１２２を透過して手元が見えるように、下部１２２の光透過率は７０％から９５％程度に高くなっている。また、フレーム１０１の前面の上部１２３は、外側の光が入射しないように、光透過率は０％から１０％程度に低くなっている。
さらに、フレーム１０１には角度センサー１０７が取り付けられており、角度センサー１０７は作業者１が頭を上下左右に動かしたときに動いた方向と角度を検出し、接続コード１０６を介して検出されたデータがコンピュータ３に伝えられる。また、拡大レンズ１０３の上部には赤外線ＬＥＤ１０８が取付けられ、下部にはフォトセンサー１０９が取り付けられており、眼１２０の視線方向及びまばたきが検出される。
ここで再び図１に戻って説明する。作業者１は、やや上の方向を見たときには液晶パネル１０２の表示画面を約０．５ｍから１ｍ離れた仮想表示スクリーン６上の仮想画面５として見ることができ、やや下の方向を見たときには机７上で行っている作業を見ることができる。
図３には作業者１から見た光景が示されており、視界のやや上側には、液晶パネル１０２の最大表示範囲に相当する表示枠５１で示した範囲内の仮想画面５ｂの全体と、仮想画面５ｃの下側が見える。また、視界のやや下側には、作業を行っている机７と作業者の手１３１が見える。ここで、作業者１が頭を右に回すと、表示装置２も右に動くので表示枠５１も右に動くが、角度センサー１０７によって作業者１の頭の動いた方向と角度が検出され、この検出された角度等に対応して、コンピュータ３からの仮想画面５は左にスクロールし、表示枠５１内の仮想画面が５ｃ、５ｄというように変わっていく。また、上下方向についても同様である。ここで、あらかじめ角度センサー１０７の出力と仮想画面５のスクロールする距離とを調整しておけば、机７と仮想画面５の相対的な位置関係は常に一定にしておくことができ、作業者１は、頭を動かすことで、あたかも空間に固定された仮想表示スクリーン６に貼付けられた多数の仮想画面５の一部を見ることができる。
表示装置２の駆動回路１０５は、図４に示されるようにＣＰＵ１３２、記憶装置１３３及び画像メモリ１３４から構成されている。画像記憶装置１３３にはコンピュータ３からの画像データが格納されており、また、画像メモリ１３４には液晶パネル１０２の１画面分（表示枠５１に相当）を表示するための画像データが格納される。なお、この画像記憶装置１３３（及びＣＰＵ１３２）はコンピュータ３に内蔵させるようにしてもよい。
図５のフローチャートは図４の制御系の動作を示すものであり、画像記憶装置１３３には定常的にコンピュータ３からの画像データが取り込まれ、例えば図３の仮想画面５ａ〜５ｅの画像データが格納されているものとする。一方、ＣＰＵ１３２は角度センサー１０７の出力が変化したかどうかをチェックし、作業者１が頭を動かしその出力が変化した場合には、その角度変化に応じて表示枠５１に表示するためのアドレスを演算し、画像記憶装置１３３に出力する。画像記憶装置１３３はそのアドレスに対応した画像データを切出して画像メモリ１３４に出力し、液晶パネル１０２はその画像データを表示する。以上のようにして作業者１が頭を動かすだけで多数の仮想画面５を見ることができる。
次に、仮想表示スクリーン６上の多数の仮想画面５の内の任意のものを移動する方法について説明する。
まず、図６のフローチャートに基づいて多数の仮想画面５の内の任意のものを指定する方法を説明する。
表示枠５１の位置は上述のように角度センサー１０７の出力によって決められる。すなわち、仮想表示スクリーン６に対応した、画像メモリ１３４のアドレスが決まる。また、フォトセンサー１０９により表示枠５１内のどこを見ているかが検出できる。従って、仮想表示スクリーン６のどこの部分を見ているか、すなわち画像メモリ１３４のどのアドレスに対応する部分を見ているかが特定できる。そこで、トリガ入力手段のフットスイッチ４を踏むと、上記にて特定されたアドレスが決定され、そのアドレスを含む仮想画面５が指定できるので、移動等の処理ができる。（これはウインドウズ（windows）の画面で、マウスを使って各ウィンドウが移動できるのと同じようなイメージである。視線を動かすのがマウスを動かすのに相当し、フットスイッチがマウスのクリックボタンに相当する。）従って、作業者１が移動したい任意の仮想画面５を見ながらフットスイッチ４を踏むと、仮想画面５の内の見ているものを指定することができる。
次に、図７のフローチャートに基づいて指定された仮想画面５の移動方法を説明する。
上記のようにして指定した仮想画面５について、フォトセンサー１０９と角度センサー１０７の最新の出力から移動方向と距離を求めて移動する。つまり、フォトセンサー１０９の出力により視線の方向を求めて表示枠５１内の移動先を求め、角度センサー１０７の出力により頭の向きを検出して仮想スクリーン６上の移動先を求めて移動し、トリガ信号が入力されるまで、常に移動先を更新する。次に、フットスイッチ４を踏むと、指定した仮想画面５の移動を停止してそのときの注視点に指定した仮想画面５を固定する。このようにして、任意の仮想画面５を、仮想スクリーン６上の好みの位置に自由に動かすことができる。
ここで、実際に作業者１が机７上で電子回路の実験を行っている場合を想定して説明する。
実験に使用する部品の仕様書や、資料などはあらかじめコンピュータ３に登録しておき、仮想スクリーン６上に複数の仮想画面５として表示しておく。必要な資料があれば、頭を動かして表示枠５１内に所望の仮想画面５を表示させて見ることができる。さらに、所望の仮想画面５を見ながらフットスイッチ４を踏むとその仮想画面５が指定され、頭と視線を動かすことで見やすい位置に移動させ、フットスイッチ４を再び踏めば、仮想スクリーン６上に固定させることができる。
さらに、仮想画面５の数が多くなって仮想スクリーン６上での表示が煩雑になる場合には、図６で説明した方法で仮想画面５を指定した後、フットスイッチ４を踏む回数や間隔の組合せなどによって、コンピュータ３に命令を送り、指定の仮想画面５をアイコン化して縮小し、表示をすっきりさせることができる。
また、さらに仮想画面５の表示が細かくて見にくい場合には、フットスイッチ４を踏む回数や間隔の組合せなどによって、コンピュータ３に命令を送り拡大表示させることができる。
以上説明したように、本実施例においては、周囲の場所を雑然とさせることなく多くの資料などを参照することができるため、作業効率が低下するのを避けることができる。また、頭と視線の動き、及び足の動きだけで操作することができるため、両手は常に作業に使うことができ、複雑な作業を行う場合にも作業対象品を落としたり傷付けたりするような不都合をさけることができる。さらには、必要な資料を最も見やすい位置に移動することができるため、作業対象品と資料の間の視線の動きを短くすることができ、作業者の疲労を低減させることができる。
また、多数の仮想画面を表示する場合でも、仮想スクリーン上に分散して貼付けておき、頭の動きでスクロールできるので、従来のように、画面上に多数のウインドウが重なって表示が煩雑になるのを避けることができる。
さらには、実験等で使用する計測器類をコンピュータ３にあらかじめ接続しておけば、測定結果を仮想画面５として作業している近くに表示することもできるので、作業の効率化をはかることができる。
実施例２．
図８に示された実施例においては、作業者１は機械装置２２の修理を行っているところの状態が図示されている。頭部には表示装置２を装着し、胸部には角度センサー２１、腰部には携帯型のコンピュータ１３と、トリガ入力手段であるところのプッシュスイッチ１４が装着されている。表示装置２は、上記の実施例１で説明したものと同じであるため、説明は省略する。表示装置２は、コンピュータ１３と接続コードで接続されている。
作業者１は、やや上の方向を見たときには、液晶パネル１０２の表示画面を、約０．５ｍから１ｍ離れた仮想表示スクリーン６上の仮想画面５として見ることができ、やや下の方向を見たときには修理を行っている機械装置２２を見ることができる。
図９には作業者１から見た光景が示されており、視界のやや上側には、液晶パネル１０２の最大表示範囲に相当する表示枠５１で示した範囲内の仮想画面５ｂの全体と、仮想画面５ｃの下側が見える。また、視界のやや下側には、修理を行っている機械装置２２が見える。ここで、作業者１が頭を右に回すと、表示装置２も右に動くので表示枠５１も右に動くが、表示装置２に設けられた角度センサー１０７が検出した角度に対応して、コンピュータ１３からの仮想画面５を左にスクロールし、仮想画面が５ｃ、５ｄというように変わっていく。また、上下方向についても同様である。ここでも、あらかじめ角度センサー１０７の出力と仮想画面５のスクロールする距離を調整しておけば、周囲の空間と仮想画面５の位置関係は常に一定にしておくことができ、作業者１は、あたかも空間に固定された仮想スクリーン６に貼付けられた多数の仮想画面５を見ることができる。
ここで、作業者１がかがみこんだり、機械装置２２の他の部分を修理しようとして移動した場合には、作業者１の胸部に取り付けられた角度センサー２１が作業者の動きを検出し、コンピュータ１３に伝える。コンピュータ１３では、角度センサー２１の出力と、表示装置２に設けられた角度センサー１０７からの出力とを演算処理し、角度センサー２１と１０７の出力が同等として伝えられた場合は、体全体の動きとして処理し、仮想スクリーン６上の表示は変化させない。つまり、作業者１の体と仮想スクリーン６の相対位置関係は常に一定として、体を動かした場合には、仮想スクリーン６も一緒に追従させることになる。このようにして、作業者１の周辺には常に仮想スクリーン６が備えられ、体がどのような姿勢であっても、必要な場合にはやや上部を向けば、仮想画面５を見ることができる。
さらに、任意の仮想画面５を見ながらプッシュスイッチ１４を押せば、上記の実施例１で説明したのと同様に、フォトセンサー１０９で検出した視線方向と角度センサー１０７の出力とにより、見ている仮想画面５を指定することができ、次に指定した仮想画面５をフォトセンサー１０９と角度センサー１０７の出力に対応させて動かし、次に再度プッシュスイッチ１４を押せば、その時の注視点に指定した仮想画面５を固定することができる。このようにして、任意の仮想画面５を、仮想スクリーン６上の好みの位置に移動することができる。
ここで、作業者１が据え付けられた機械装置２２の修理を実際に行っている場合を想定して再度説明する。修理に必要なマニュアルや仕様書などはあらかじめコンピュータ１３に登録しておき、仮想スクリーン６上に複数の仮想画面５として表示しておく。すなわち画像記憶装置１３３に格納しておく。必要なマニュアルがあれば、頭を動かして表示枠５１内に所望の仮想画面５を表示させて見ることができる。さらに、所望の仮想画面５を見ながらプッシュスイッチ１４を押し、見やすい位置に頭と視線を動かすことで移動させ、プッシュスイッチ１４を再度押せば、仮想スクリーン６上に固定させることができる。また、同じ機械装置の他の部分を修理するために移動した場合でも、仮想スクリーン６は常に作業者１の周辺に、体に対して同じ位置に存在するため、どのような作業姿勢でも、必要なマニュアル等を参照することができる。
以上説明した実施例１及び実施例２ともに、トリガ手段としては他の方法として、例えば、速い２回連続のまばたきをしたときのフォトセンサー１０９の出力を使うことができる。このようにすれば、実施例２の場合でも常に両手で修理することができる。また、別のトリガ方法として、音声や呼気などを使うことができるのも明らかである。
実施例３．
図１０の実施例の表示装置２は、透明素材でできている眼鏡型のフレーム１０１に、液晶パネル１０２、拡大レンズ１０３、バックライト１０４及びハーフミラー１３５が配置されている。作業者１は光路１３６を通して液晶パネル１０２の拡大表示画像を見ることができ、また、光路１３８を通して外界像（キーボード）を見ることができる。そして、それらはハーフミラー１３５により合成されて作業者１に視認される。従って、作業者１は、あたかも外界（キーボード近傍）に液晶表示画像が存在するように感じ、作業性が高まる。
ただしこれだけでは、使用上のいくつかの問題が残される。一つは、液晶表示画像と外界像がただ単にオーバーラップされるだけなので、表示画像内に外界像が重なり、それ故、表示画像の視認性が悪くなるという問題である。もう一つは、作業者から液晶表示画像の虚像までの距離とキーボードまでの距離を容易に一致させることができないため、合成画像中の液晶表示画像とキーボードとを見る際にいちいち眼球のピント調節を変化させなければならず、作業者がたいへん疲れるという問題である。
これに対しては、情報処理装置本体及びキーボードの外装ケースの一部をスクリーンとする事により対処できる。すなわち図１１に示されるように、コンピュータ３のキーボード１４０を覆う蓋の裏面１４１をスクリーンにすることにより対処できる。このスクリーンは、白、黒、青など単色、不透明な素材からなり、このスクリーン像と液晶表示画像をオーバーラップさせたときに、表示画像の視認性を高める効果がある。この効果の度合いに応じて、スクリーンの色、反射率などが決められる。
図１２に示される使用例のように、作業者１は、図１０の方向１３９（光路１３６に沿う方向）に液晶パネル１０２を前後させることにより、図１２における液晶表示画像の仮想画面５の形成位置を、作業者１に対して前後させることができる。そこで、この仮想画面５の形成位置をスクリーン１４１に一致させると、前述した問題を一挙に解決することができる。
すなわち、液晶表示画像とオーバーラップする外界像が、単色のスクリーンであるために、それが表示画像の視認性に与える外乱はきわめて小さい。すなわち、表示画像の視認性が高く、作業性が高まる。かつ、液晶表示画像の仮想画面５が、キーボード１４０のすぐそばにあるスクリーン１４１上に形成されているために、表示画像（仮想画面５）を見るときと、キーボード１４０を見るときとで眼球のピント調節をほとんど変える必要がなく、従って、作業者１の疲労が小さい。
従って、上述の実施例により、携帯性、視認性が高く、かつ作業者の健康に対する悪影響が無い携帯型コンピュータ、ワードプロッサ等が実現できるのである。
なお、スクリーンの特性は、本発明の目的に合致したものであれば、当実施例に限定されるものではない。例えば、スクリーンに偏光板を張り付けることにより、液晶表示画像の輝度は維持したまま、外界像の輝度を下げ、コントラストの高い表示を実現することも可能である。
実施例４．
図１３及び図１４の表示装置には単眼タイプのものが採用されている。なお、これらの図においては、図の簡略化のために、駆動回路及び本体との接続ケーブルは省略してある。
液晶パネル１０２に表示される画像は、拡大ミラー１４５により拡大され、作業者１の右目には、前方に大きな表示画像があるように見える。また、左目は透明な眼鏡型のフレーム１０１を通して外界を見ている。ここで、液晶パネル１０２と拡大ミラー１４５との距離を調整することにより、表示画像の仮想画面５をスクリーン１４１上に形成し、左目でスクリーン１４１を見ることにより、単眼タイプの表示装置の問題点（表示画像上に外界像が重なるため、表示画像の視認性が悪くなる。左右の目のピント調節が異なるため疲労が大きい）を解決することができる。すなわち、液晶表示画面の仮想画面（虚像）は単色一様なスクリーン１４１上に形成されるので、液晶表示画面の視認性は高まり、左右の目のピント調節が一致するので、通常のディスプレイを見ている場合と疲労度はほとんどかわり無くなる。
従って、上述の実施例によれば、携帯性、視認性が高く、かつ作業者の健康に対する悪影響が無い携帯型コンピュータ、ワードプロセッサ等が実現できる。
実施例５．
図１５の実施例においては、入力装置１５０からの信号は接続コード１５１を介してコンピュータ（演算装置）３に入り、コンピュータ３から出力される画像表示情報は接続コード１０６を介して頭部に装着する表示装置２に伝えられる。頭部に装着された表示装置２はコンピュータ３から出力されるキーボード、データグローブ等の入力装置１５０の状態等の入力情報とコンピュータ３からの演算結果とを同時に見ることができ、現在どのキーが入力可能で、どのキーに触れているか等の入力状況が分かるようになっている。
頭部に装着される表示装置２の表示画面は縦長画面であり、たとえば、図１６に示すように、仮想画面５内に演算結果を表示する演算結果表示画面１５２と、入力装置の状態を表示する仮想キーボード表示画面１５３とから構成されている。入力装置１５０に、たとえば、光ファイバー内の光の透過率を測定することにより指の屈折状況を検出し、磁気センサー等によって手の相対的位置を検出する手段を有するデータグローブ、或いは、抵抗膜方式のタブレット等のように位置検出手段を有するセンサー付きキーボード等を用いることにより、入力位置を検出し、コンピュータ３内のキー割り付け手段１５６及び画像合成手段１５９によりどのキーがタイプされたかを仮想キーボード表示画面７で確認しながら、演算結果を見ることができる。
次に、図１７のブロック図に基づいて演算結果を演算結果表示画面１５２に出力し、入力装置１５０の状況を仮想キーボード表示画面１５３に表示する方法を説明する。入力装置１５０は手と指先の位置情報１５４及び指先がキーを押しているか、いないかのオン／オフ情報１５５を検出し、コンピュータ３に伝送する。コンピュータ３ではキー割り付け手段１５６によって予め入力装置１５０の入力範囲にアプリケーションごとのキー割り付けを行い、入力された位置情報１５４に対してどのキーが対応しているかを判断し、また、オン／オフ情報１５５によりそのキーのオン／オフを判断し、その結果を入力情報１５７として演算部１５８と画像合成手段１５９に送る。また、演算部１５８は入力情報１５７に基づいて演算を行い、演算結果１６０を画像合成手段１５９に送る。画像合成手段１５９は入力情報１５７に基づいて手がどのキーに触れているか、そのキーのオン／オフ等の入力装置１５０の状態を常時仮想キーボード表示画面１５３に、演算部１５８からの演算結果１６０を演算処理が行われる都度画像表示部１５２に一枚の画像として合成するように生成された信号を画像信号１６１として頭部に装着された表示装置２に出力する。入力装置１５０は位置情報１５４及びその位置でのオン／オフ情報１５５をコンピュータ３に伝送するだけなので、入力装置１５０のキーの数等に左右されず、キー割り付け手段１５６により、様々なキーの割り付けが行え、仮想キーボード表示部１５３に様々なインターフェースを表示することができる。
図１８のフローチャートに基づいて図１７の制御系の信号の流れを説明する。入力装置１５０において入力位置とオン／オフ情報を検出する（Ｓ１０）。キー割り付け手段１５６により入力位置がどのキーに対応しているかを判断し、対応キーの内容を演算部１５８に伝達する（Ｓ１１）。次に、キーが押されたか、押されていないかの判断をし、押された場合は演算部１５８にオンであることを伝達する（Ｓ１２）。次に、画像合成手段１５９は入力位置とオン／オフ情報に基づいて仮想キーボード表示画面１５３の画像を生成する（Ｓ１３）。演算部１５８は伝達された情報に基づいて演算を行い、演算結果表示画面１５２を生成する（Ｓ１４）。画像合成手段１５９は仮想キーボード表示画面１５３と演算部１１で生成された演算結果表示画面１５２の２つの画面を１つの画面に合成し、仮想画面５を生成する（Ｓ１５）。
ところで、入力装置１５０は抵抗膜方式、小さなスイッチング素子の集合体からなるものなど各種のものがある。ここでは抵抗膜方式の入力装置によりキー入力及びポインティング入力する場合の割り付け手段１５６の処理過程を更に詳細に説明する。
まず、割り付け手段１５６は、入力装置１５０の入力方式を判断する（Ｓ２０）。キー入力方式の場合には入力平面内を各キー領域に分割する（Ｓ２１）。そして、その後、入力方式が切り換えられたかどうかを判断し（Ｓ２２）、切換えられていない場合には入力信号（Ｘ，Ｙ）を受け取る（Ｓ２３）。そして、入力信号（Ｘ，Ｙ）がどの領域にあるかを調べ（Ｓ２４）、該当するキーのコードを出力する（Ｓ２５）。
入力方式を判断した際（Ｓ２０）に、ポインティング方式であると判断された場合には、次に、入力方式が切換えられたかどうかについて判断し（Ｓ２６）、入力方式が切換えられていない場合には、入力信号を受取り、それをバッファ（Ｘ_０，Ｙ_０）に格納する（Ｓ２７）。そして、次の入力信号（Ｘ_１，Ｙ_１）を受取り、先の入力信号、（Ｘ_０，Ｙ_０）との差を求める（Ｓ２８）。その差が例えば２ｃｍ以上であるか否について判断し（Ｓ２９）、その差が２ｃｍ以上であった場合には、（Ｘ_０，Ｙ_０）でクリックした信号として処理する（Ｓ３０）。その差が２ｃｍ未満であった場合には移動量分だけ移動させる。以上のステップＳ２６〜Ｓ３１の処理をポインティングの移動とクリックとの違いを判断するために、０．０１秒以下で行なう。
ところで、図１５の表示装置２は図２０に示されるように、表示装置２を頭部に装着するための眼鏡型フレーム１０１に接続コード１０６の一端が接続されており、これは、眼鏡型フレーム１０１の前面上部内に配置された駆動回路１０５及びバックライト１０４に画像信号と電力を供給している。駆動回路１０５に入った画像信号はデコードされ液晶パネル１０２によって表示される。表示された画像情報は液晶パネル１０２の背面に配置されたバックライト１０４によって照射され、眼鏡型フレーム１０１の前面、使用者の左右いずれか一方の眼前に配置された反射ミラー１７０及び拡大レンズ１０３を介して使用者の目に届く。或いは液晶パネル１０２と反射ミラー１３５との間にビームスプリッタを配置することにより画像を２方向に投射すると、使用者の左右両眼の前に配置された反射ミラー及び拡大レンズを介して使用者の両眼に届く。
液晶パネル１０２は画面サイズが縦長の１から２インチ程度の小型のフルカラーまたはモノクロのＬＣＤであり、図２０に示すように拡大レンズ１０３を介して使用者の眼から５００ｍｍから１０００ｍｍの位置に１４インチ程度の仮想画面５が見えるようになっている。
上記実施例ではコンピュータと表示装置とが分離されているが、頭部に装着する表示装置内にコンピュータを組込んでもよく、その場合は入力装置の信号は直接頭部に装着された表示装置及びコンピュータに伝送される。なお、このコンピュータは表示装置用に設計された演算装置によって実現しても良い。
また、上記実施例における演算装置内のキー割り付け手段によって割り付けられるインターフェースはキーボードに限定されず、マウス、ジョイスティック、ペン等様々なインターフェースを提供できる。
さらに、入力装置に関しても上記実施例のタブレット、データグローブに限定されることなく、位置情報、オン／オフ情報等が検出可能であればよく、様々な入力装置を接続することが可能である。
また図１６に示された実施例の他の実施例として、頭部に装着される表示装置の表示部に関し、演算結果表示画面と仮想キーボード表示画面とを別々に駆動表示することにより、コンピュータ（演算装置）内の画像合成手段を省略することも可能である。
実施例６．
図２１〜図２９の実施例には本発明の情報処理装置をパーソナルコンピュータに適用した場合の状態が示されている。図２１は表示手段として上述の実施例の表示装置２を採用した場合の斜視図である。コンピュータ３から出力される画像表示情報の信号は、接続ケーブル１０６を介して表示装置２に伝達される。さらに、表示手段を後で述べる方法と切り替えて利用する目的のため、ケーブル１０６はコンピュータ３から簡単に取り外しが可能なように、コネクタ２３を介して接続されている。
図２１の表示装置２は図２０に示されたものと基本的には同一の構成からなっているが、液晶パネル１０２がフレーム１０１から簡単に着脱可能な構造となっている。また、反射ミラー１７０は作業者の見やすい位置に調節できる上下、前後あるいは角度を動かせる構造になっている。さらに、フレーム１０１は、液晶パネル１０２に映し出された映像を見やすくするため、外界からの光を遮断する役目をもっている。しかしその一方、フレーム１０１を通して外界との視野を確保する必要が生じるので、このフレーム１０１の光透過率は７０〜８０％程度であることが望ましい。
また、図２１の実施例においては、表示装置２を駆動するための電源と本体から出力された画像情報とは、コンピュータ３の本体側に設けられたコネクタ凹部６０、表示装置２側に設けられたコネクタ凸部２３、及びコンピュータ３の本体と表示装置２とを接続するための接続ケーブル１０６を介して表示装置２に伝達されている。
図２２には表示手段としてスクリーンを利用している場合が示され、図２３にはその断面図が示されている。
ソケット２４には、表示装置２から取り外された液晶パネル１０２が組み込まれる。この液晶パネル１０２に映し出された映像は、バックライト２５から出力される光を受けてレンズ２６で拡大されスクリーン２７に投射される。その結果、作業者は像２８を視認することができる。なお、液晶パネル１０２をソケット２４の内部で上下に又は前後に移動させることにより像２８の上下位置又はその大きさを調節することができる。スクリーンとしては、必ずしも白いパネルを準備する必要はなく、壁などの模様がなく平らな面を利用してもよい。
図２４及び図２５は液晶パネルの上下方向の位置と像２８の上下位置との相関関係を示した図である。同図により液晶パネル１０２を上下することにより像２８の上下位置を調整することができることが分る。
図２６及び図２７は液晶パネルの前後方向の位置と像２８の大きさとの相対関係を示した図である。同図により液晶パネル１０２を前後に動かすことにより像２８の大きさを調整することができることが分る。ここで、液晶パネル１０２と拡大レンズ２６との距離をＳ_１とし、拡大レンズ２６とスクリーン２７との距離をＳ_２とすると、式（１）が得られる。なお、ｆは焦点距離である。また、像の大きさをβとすると式（２）が得られる。

ここで式（１）においてＳ_１が小さくなるとＳ_２が大きくなり、Ｓ_１が大きくなるとＳ_２が小さくなる。その結果として、像の大きさβは、式（２）から分かるように、Ｓ_１が小さくなると大きくなり、Ｓ_１が大きくなると小さくなる。
図２８にはソケット２４の構造を示す斜視図が示されており、図２９はその分解斜視図が示されている。
液晶パネル１０２はピン５４によりその上下方向の位置が調整され、偏心ピン５５によりその前後方向の位置が調整される。液晶パネル１０２は図２９のＡの向きに差し込まれる。ソケット４１は液晶パネル１０２を固定する。そして、ピン５４が穴４２を介してねじ穴５１に挿入され、ソケット４１はソケット４４に固定される。これによりピン５４の回動によりソケット４１が上下動し、それに伴って液晶パネル１０２も上下動することになる。ソケット４４の片４６，４７はソケット４１と係合し、両者は前後方向に固定された状態になる。偏心ピン５５を長穴５０内で回転させることにより前後の動作ができる。長穴４８，４９にピン５２，５３を通して左右のぶれを防いでいる。窓４５，４３は光源の光を通す。
ところで、上述の実施例では、液晶パネルは脱着可能な構造である場合の例を示したが、表示装置２の液晶パネルと、コンピュータ本体側の液晶パネルとは、必ずしも脱着可能である必要はなく、液晶パネルはそれぞれの装置に固定し、表示切り替えスイッチを設けて、コンピュータの表示手段を切り替えて利用してもよい。
また、前記各実施例ではパーソナルコンピュータを利用した例を示したが、この発明は上述実施例に限るものでなくワードプロセッサなど情報処理装置に適用してもよい。また、表示装置は頭部搭載型の片眼タイプのものを説明したが、両眼タイプの頭部搭載型のものに適用してもよい。さらに、前記各実施実施例では頭部搭載型の画像表示装置として眼鏡型のものを示したが、ゴーグル型、ヘルメット型等他の頭部搭載型の画像表示装置に適用してもよい。
以上の構成からなる情報処理装置を用いて、表示手段として頭部搭載型の画像表示装置を利用した場合には、表示内容を直接見ることができるのは作業者のみなので、秘密情報を他人の目を気にすることなく処理することができる。また、飛行機或るいは電車等の限られた空間の中でも無理な姿勢をすることなく情報処理装置を利用することができ、携帯性に優れたものになっている。また、表示装置を通して視認できる虚像とキーボード等の外界との間の視点の移動が簡単なので、情報処理装置の操作性を高めることができる。
また、複数の人が同時に情報処理装置から出力される画像表示情報を見たい場合には、情報処理装置本体の液晶パネルを用いて画像表示情報をスターン等に投写すればよく、この表示手段の切り替えは簡単に行うことができる。
実施例７．
図３０に示されているコンピュータは従来利用されている本体と表示部とが分離可能なコンピュータの例である。コンピュータ本体３ａはコネクタ凹部６１とコネクタ凸部６２ａを介してディスプレイ６３と係合されている。
図３１の実施例においては図３０のコンピュータ３に上述の実施例の表示装置２を取付けた場合の状態が図示されている。本実施例において、コンピュータ本体３ａはコネクタ凹部６１、コネクタ凸部６２、接続ケーブル１０６を介して表示装置２に接続されている。
ここで、図３０のディスプレイ６３のコネクタ凸部６２ａと図３１の接続ケーブル１０６のコネクタ凸部６２の仕様を同一の規格にすれば、同一の本体に、従来利用されているディスプレイ６３と本実施例の表示装置２とを接続することができる。すなわち従来型のディスプレイ６３と本実施例の表示装置２とが簡単に交換可能な情報処理装置が実現できる。
なお、前記各実施例では情報処理装置としてコンピュータを利用した例を示したが、本発明は上述実施例に限るものでなくワードプロセッサなど情報処理装置に適用してもよい。また、画像表示装置として頭部装着型の片眼タイプのものを説明したが、両眼タイプのものに適用してもよい。さらに、前記各実施例では眼鏡型のものを利用した例を示したが、ゴーグル型、ヘルメット型など他の頭部搭載型のものにも適用することができる。
上述の説明から明らかなように、本実施例においては、情報処理装置本体に対する表示装置の取り外しが簡単にできるという利点がある。また、コネクタを共通仕様にすることにより従来のディスプレイと本実施例の表示装置とを交換して利用することができる。更に、従来の携帯型の情報処理装置に用いられるディスプレイに比べて、本実施例の表示装置のバックライトは消費電力が少なくて済む。その結果、バッテリーの寿命を延ばすことができるので、本実施例の情報処理装置は特に携帯性が優れたものになっている。
実施例８．
図３２の画像表示システムにおいて、コンピュータ３からの出力結果はディスプレイ６３と頭部に装着された表示装置２に表示される。使用者１はディスプレイ６３に表示された画像と頭部に装着した表示装置２によって作り出される仮想画面５を僅かな視線の移動で見ながら処理を行うことができる。この仮想画面５は、液晶パネル１０２に映し出される映像を拡大反射ミラー部６４を介して使用者の眼に入れることにより生成される。
図３３の表示装置の制御系において、演算装置７０からの出力画像は出力情報割り付け手段７２によってそれぞれの画像出力装置に出力するように割振られた後、画像出力制御部７１内のグラフィック用ＲＡＭ７３に書き込まれる。グラフィック用ＲＡＭ７３に書き込まれた情報はアドレスで管理され、演算装置７０から出力される任意の情報が表示装置２及びディスプイ６３に出力される。例えば同じ情報を表示装置２及びディプレイ６３に表示したり、別々の情報を表示装置２及びディスプレイ６３にそれぞれ出力し、且つそれぞれの画像情報を任意の画像表示装置に移すことが可能である。
図３４のフローチャートには演算装置から出力される画像情報を複数の画像表示装置に出力する処理過程が示されている。演算装置に対して表示容量が非常に大きい画像表示装置が接続されたように見せかけ、演算装置からの出力情報を読み込む（Ｓ５１）。読み込まれた情報は画像情報であるか、表示領域を制御する情報かが判断される（Ｓ５２）。表示領域を制御する情報の場合にはそれに基づいて各表示装置を表示する為にグラフィック用ＲＡＭ７３内に確保されるメモリアドレス領域を決定する（Ｓ５３）。画像情報の場合にはメモリアドレス領域に基づいて表示領域（アドレス）等のパラメータを決める処理がなされる（Ｓ５４）。次に、画像情報はステップ（Ｓ５４）で決定された表示領域（アドレス）内の情報であるかの判断を行い（Ｓ５５）、表示領域外の画像情報は処理（Ｓ５６）において無視され、表示領域内の情報のみがアドレス変換されて（Ｓ５７）、グラフィック用ＲＡＭに書き込まれる（Ｓ５８）。各画像表示装置は割振られたアドレス領域の情報を随時表示する。
使用者は視野の一部に仮想画面５を見て、その他の視野部分に他の画像表示装置を入れることで、僅かな視線の移動だけで複数の画像表示装置を見ることできる。
上記実施例ではポータブルコンピュータに２つの画像表示装置を接続したが、演算装置と画像表示装置の数は限定されず、複数の演算装置で大量の情報を処理するシステムにおいて、複数の画像表示装置にその結果を表示し、且つ常に監視していたい情報だけを頭部に装着した表示装置に表示させることもできる。
実施例９．
図３５の表示装置においては、左目用の液晶パネル表示部１７２と、右目用の液晶パネル表示部１７３が、眼鏡型フレーム１０１に取り付けられている。この液晶パネル表示部１７２，１７３は図３６及び図３７に示すように、外光もしくは小型のバックライト１０４により液晶パネル１０２の後方から照射されることにより、各々の画像の強度に比例して人間の目の網膜上に凸レンズ１０３とミラー１７０を介して虚像を結像させる。これら液晶パネル１０２をコントロールするための駆動回路に関しては、眼鏡型フレームに一体、もしくは別体で構成し液晶パネルに画像を生成する。
マイク１７４は、眼鏡型フレーム１０１の装着者の耳の位置に固定された自在継ぎ手１７５により装着者の口元に自在に折り曲げ可能な継ぎ手により継合されている。位置検出手段であるトラッキングセンサ１７６は装着者の左右の耳の位置を結ぶ様に配置されたフレーム１７７内の中心部に設けられて、頭を回転する慣性モーメントを利用して左右の眼の視線位置を検出するように構成されている。また、本実施例の表示装置においてはマウス１８０及びキーボード１８１も装着されている。
図３８及び図３９は、図３５に示した表示装置を用いて得られる静止画像の画像編集における実施例を示したものであり、第１の表示エリアと第２の表示エリアを左右に２箇所に表示したときの表示方法を示した表示画面図が図示されている。
第１の表示エリアは、通常、静止画像を映し出すエリアであり、これらの画像には、監視者の正面に像が形成されるようになっている。第２の表示エリアに関しては、監視者が右側を向くことにより、トラッキングセンサー１７６が、その動きを検出し、その動き量に合わせ右方向に表示をしており、第１の表示エリアで示された画像データの属性が表示されている。この場合においては、監視者は右側を向くことにより、トラッキングセンサー１７６が右の方向を見たことを検出し、２枚の液晶パネル１０２に図３９に示したような映像を表現する。この実施例は静止画像合成のための実施例を示したものであり、映像のセグメント部分（木や家や車など形状モデル）を第２の表示エリア上で検索及びサイズの加工などの処理を施す。この場合、例えば車などは、キーボード１８１上から「ｃａｒ」と入力し、そのデザインファイルをサーチしながらこれはと思う素材を見つける。同様に家や、木などの画像素材に関してもサーチし、像のサイズに関しても第２の表示エリアで加工する。加工された画像素材は、第１の映像エリアに写し、第１の表示エリアに示された山などの背景に画像合成を行う。
次に、上述の編集処理の過程を図４０のフローチャートに基いて説明する。まずトラッキングセンサ１７６の出力を入力して、その入力信号に基づいて作業者１の左右の眼の視線位置を検出し（Ｓ２０）、それが左であると判断された場合には第１の表示エリアに背景画像を入力し（Ｓ２１）、背景画像を選択する（Ｓ２２）。次に、トラッキングセンサ１７６の出力に基づいて作業者１が右側を見たかどうかを判断し（Ｓ２３）、右側を見ていなければ、次に背景画像の加工に移る（Ｓ２４）。加工が終了するまで（Ｓ２５）上記の背景画像の選択及び背景画像の加工についての処理が繰り返される（Ｓ２２〜Ｓ２４）。
背景画像の加工が終了すると（Ｓ２５）、次にデータを加算するかどうかにつての判断がなされ（Ｓ２６）、加算すると判断された場合には第１表示エリアに属性データを加算する（Ｓ２７）。
次に音声入力によりレイアウトの詳細を編集する（Ｓ２８）。なお、この音声入力による編集は後述する。編集が終了すると（Ｓ２９）、一連の処理は終了する。
一方、作業者１の左右の眼の視線位置を検出した際に（Ｓ２０）、それが右であると判断された場合には、第２の表示エリアに属性データを入力する（Ｓ３０）。そして、基準座標位置を決定し（Ｓ３１）、属性データをサーチする（Ｓ３２）。サーチが終了すると（Ｓ３３）、属性データを加工する（Ｓ３４）。加工が終了すると次に編集をするかどうかについて判断され（Ｓ３６）。編集する場合にはセグメント部分を選択する（Ｓ３７）。次に、ここで作業者１が左側を見ているかどうかにつての判断がなされ、左側を見ていると判断された場合には基準座標を計算した（Ｓ３９）後に、上記のステップＳ２７の処理に移行する。また、左側を見ていないと判断された場合、すなわち右側を見たままであると判断された場合にはステップＳ３４の処理に戻り、属性データの加工及びセグメント部分の選択についての処理を繰り返す。
音声による編集の処理過程を図４１のフローチャートに基いて説明する。音声入力は、単なるコマンドの単語のみを判断するものでなく、不特定話者の「ＷｏｒｄＳｐｏｔｉｎｇ」と呼ばれている文節入力可能な音声入力手段を用いている。
つまり、あらかじめ、木、右側、移動、左、高さなどの名詞を登録しておき、その発生確率から文章全体をとらえることのできるニューロコンピュータの処理により文章の意味を理解する音声入力方式を用いている。
この場合、第１の表示エリア内に示された画像は、広角レンズを介して虚像を見ているためこれらの画像は、拡大されて表現されており、あたかもその場所に自分がいるように感ずることが可能であり、従って編集の際における映像の移動距離などは、あらかじめコンピュータ上にて第１の表示エリアのサイズを設定しておき視点から物体までの距離を計算しておき、編集の際は、監視者の思ったイメージを音声入力し、微妙な位置関係の編集を視点を変えることなく第１の表示エリア内の画像を見ながら行うことが可能である。
また、これらの画像を表示している視点位置を変化させ、あたかもカメラワークによる視点の移動などのデータも第２の表示エリア内に示すことが可能である。
図４２には図３５に示された表示装置を用いて動画像の映像データをシミュレーションの用途に用いた例が示されており、第１の表示エリアにおいては、シミュレーションした映像結果（ａ）を表示させ、第２の表示エリアには、その映像の属性を表示する。第２の属性の表示においては、時間とともに変化する空間的な領域データを表示するものであり、例えば、空を飛行している飛行機の軌跡（ｂ）や、そのときのスピード（ｃ）、更に各映像セグメントの階層的なセグメンテーション（ｄ）などの時間的に変化する表示をグラフ化したものなどを表示する。
この実施例においては、飛行機の軌跡などは、時間的に変化する軌跡を第２の表示エリア上でプロット入力することで軌跡は得られる。更に、各々のプロットした軌跡における飛行機のスピードなどの設定も、時間とスピードのグラフにより入力することが可能となる。例えば、スピードを変化させる場合には、各ステップ毎の点をクリックし上下させることによりスピードの増減が可能となる。さらには、これらの映像データにある時間軸で出現する各々の映像セグメントを階層的に表現したグラフなどにより時間的に出現するセグメントの切り貼り編集なども実現可能となる。
また、このような映像データの属性の時間的に変化する映像加工においては、いわゆるポストプロダクションの工程の映像データのセグメンテーションの編集の際において、非常に効果的であり、さらには各々の映像素材の奥行き感を、頭部搭載型の画像表示装置の左右の眼に対応し映像に視差を設け、あたかも実際の映像の出現するごとく立体表示を行い、奥行きに合わせた階層的な表示を行うことにより、さらに編集が効率的となる。
実施例１０．
図４３の情報処理装置において、演算処理装置８１は、従来のノートパソコンやブックパソコンのような携帯型の演算処理装置であるが、従来のようなオープンタイプのディスプレイはなく、演算処理部、メモリー部、キーパッド等からなる演算処理装置本体８２と、保存時及び携帯時に上面のキーパッド等を保護するためのカバー８３から構成される。カバー８３は、従来のこれらの情報処理装置と同様にヒンジ状の接続部８４を介して演算処理装置本体８２と接続し、これによって開閉自在に保持される。カバー８３の内面は、弾性体等で形成された緩衝構造を有し、その一部分に表示装置２を収納するための収納部８６を有する。表示装置２は、眼鏡型のフレーム１０１内に上述のような光学系と駆動回路を収納し、使用者の顔前で頭部に保持される。フレーム１０１の両側端には、ヒンジ８９を介して使用者の耳位置まで延伸するつる８８が形成され、つる８８は折り畳み収納することができる。また、つる８８の一端より駆動回路からの通信ケーブル１０６が突出し、収納部８６の一端を通って演算処理装置本体８２と接続される。
この情報処理装置を使用するときは、頭部装着型の画像表示装置２をフレーム１０１によって頭部に固定し演算処理装置８１を駆動すると、表示装置２内の駆動回路と光学系により、演算処理装置８１の画面情報が使用者の顔前の有限距離に虚像拡大されて視認できる。また、保存時及び携帯時は、表示装置２の両側のつる８８を折り畳み演算処理装置８２の収納部８６に収納するとともに、通信ケーブル１０６も折り畳んで収納部８６に収納した上でカバー８３を閉じると、従来の携帯型情報処理装置と同様に一体構造となる。したがって、機密文書の作成を可能にしたり、ディスプレイを完全に開けなければ使用不可能等の場所的制限を受けないという従来の効果を維持しつつ、情報処理装置の携帯性と取扱い易さを向上することができる。
次に、図４４のブロック図を用いて上記実施例の動作を説明する。外部電源ＡＣ入力から供給された電流は演算処理装置８１内の電源回路９６で分岐され、一方は演算処理部９７に供給される。また、他方と演算処理部９７からの出力は、前述の通信ケーブル１０６を通じて表示装置２内の駆動回路１０５に供給され、液晶駆動用の信号に変換されて液晶パネル１０２を駆動する。なお、本ブロック図では、説明に不要な構成要素は省略し説明を割愛した。また、本実施例では表示装置２内に収納した駆動回路１０５を、ノイズの問題の発生しない範囲で分割し、演算処理装置８１内に振り分けることによって、表示装置２の一層の小型軽量化も可能になっている。
実施例１１．
図４５の情報処理装置はその基本構成が前述の実施例と同様である。本実施例においては、演算処理装置本体８２の内部に表示装置２を収納するための収納部９０を形成し、収納部９０内を介して通信ケーブル１０６が演算処理装置８１の電源及び演算処理部と接続する構成になっている。このような構成にしたことにより、演算処理装置本体８２の容積は若干増大するものの、大規模なカバーの必然性がなくなるため、総合的には小型軽量となり携帯性が向上するばかりか、オープンタイプのカバーが不要になるため、使用場所の制限が減少して使い勝手がより一層向上する。
実施例１２．
図４６及び図４７の情報処理装置もやはり基本構成は前述の２実施例と同様であり、同様要素には同一番号を付して説明は省略する。
本実施例においては、演算処理装置８１内に充電器を、表示装置２内に充電式のバッテリーを設けるとともに、演算処理部９７と駆動回路１０５の間を無線化して、使用形態をよりスリム化している、演算処理装置８１は内部に充電器９８と送信回路９９を有し、充電器９８は電源９６から電流を供給され、送信回路９９は演算処理部９７から信号を供給される。送信回路９９に供給された信号は、送信回路９９内で変調された後にアンテナ２０１，２０２を介して送受信され、受信回路２０３で復調された後に駆動回路１０５に入力される。また、表示装置２内には充電式のバッテリー２０４を内蔵し、駆動回路１０５に駆動電流を供給する。
収納部９０の端面には充電器９８と接続された電極接点２０５が露出し、また、例えば頭部装着型の画像表示装置２をアンテナ２０２側から収納部９０に収納する場合には、フレーム１０１のアンテナ２０２側側端部であって、収納時における電極接点２０５との対応位置に電極接点２０６を設けてバッテリー２０４と接続する。このような構成にしたことにより頭部装着型の画像表示装置２の収納と同時に、充電器９８の電極接点２０５とバッテリー２０４の電極接点２０６が接続し、表示装置２の収納中、すなわち表示装置２の未使用中にバッテリー２０４が充電される。
上記の構成によれば、演算処理装置８１と表示装置２が完全に分離状態になるため、この情報処理装置８１の使用時はもとより、表示装置２の収納部９０への脱着作業も極めて簡便化される。また、表示装置２の収納形態を図４３の実施例と同様にしても、上記各構成要素を付加することにより同様の効果を達成することができる。
なお、上記各実施例における表示装置は、必ずしも片眼のみに光学系を配置し片眼で映像を視認する単眼式である必要はなく、両眼に光学系を配置して両眼視する２眼式でもいい。その場合には、各眼がそれぞれの映像を視認する視線方向が映像視認距離（虚像を知覚する位置）で交差するように、それぞれの光学系の光軸を内向させると、人間の自然視に近づき望ましい。また、上記各構成要件も上記内容に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変更可能である。

Claims (6)

1. 液晶表示パネルとと拡大光学系とがフレームに収納され、前記フレームの前面の視野に前記拡大光学系を通して前記液晶表示パネルに生成された画像の拡大虚像が視認される頭部搭載型の画像表示装置において、
   前記画像表示装置の装着者の頭部の向きを検出する第１の方向検出手段と、
   前記装着者の視線を検出する注視点検出手段と、
   複数の仮想画面を表示する１つの表示枠を前記フレーム前面の視野に形成するとともに、前記表示枠内の表示を前記第１の方向検出手段の出力に基づいてスクロールし、前記注視点検出手段の出力に基づいて前記表示枠内の複数の仮想画面から一つの仮想画面を選択し、選択された前記仮想画面を、前記注視点検出手段の出力に基づいて表示枠内で移動させ、又は前記第１の方向検出手段の出力に基づいて表示枠外に移動させる画像生成手段と、
   前記画像生成手段における前記一つの仮想画面の選択を確定し、又は前記選択された仮想画面の移動を停止させるトリガ入力手段と
   を備えたことを特徴とする頭部搭載型の画像表示装置。
2. 前記画像生成手段は、前記トリガ手段の入力によって確定された選択仮想画面を拡大又は縮小する機能を更に備えたことを特徴とする請求項１記載の頭部搭載型の画像表示装置。
3. 前記画像表示装置の装着者の上体の向きを検出する第２の方向検出手段を備え、前記第２の方向検出手段の出力に応じて前記表示枠内の表示のスクロールを禁止させることを特徴とする請求項１記載の頭部搭載型の画像表示装置。
4. 前記拡大光学系を通して視認される拡大虚像の形成方向に実スクリーンを配置し、前記画像表示装置の装着者の外界像を前記実スクリーンとすることを特徴とする請求項１記載の頭部搭載型の画像表示装置。
5. 前記画像表示装置の装着者の外界像と前記光学系を通して視認される前記表示枠とを合成する合成光学手段を備えたことを特徴とする請求項１記載の頭部搭載型の画像表示装置。
6. 携帯型コンピュータ外装ケースの一部が前記実スクリーンであることを特徴とする請求項４記載の頭部搭載型の画像表示装置。

Images