JPH05303053A

JPH05303053A - ヘッドマウントディスプレイ装置

Info

Publication number: JPH05303053A
Application number: JP4110316A
Authority: JP
Inventors: Seiichiro Tabata; 誠一郎田端
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-04-28
Filing date: 1992-04-28
Publication date: 1993-11-16
Anticipated expiration: 2017-08-05
Also published as: JP3310325B2

Abstract

(57)【要約】【目的】使用者が見ている外界像、或いは外界像と電
子像とを重ね合わせた像が撮影可能なシースルー型ＨＭ
Ｄ装置を提供する。【構成】外界からの光を観察光路から分離する光路分
離手段を観察光路中に配置し、分離された光を撮像手段
に導く。光路分離手段は、画像表示手段からの光を観察
光路から分離し、この光を外界からの光と共に撮像手段
に導くように配置してもよい。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ヘッドマウントディス
プレイ（以下、「ＨＭＤ」と云う。）装置に関するもの
である。

【０００２】

【従来の技術】画像表示手段を使用者の頭部に固定し、
当該使用者がその視野全域で表示画像を見れるようにし
たＨＭＤ装置が既に提案されているが、その一つとし
て、使用者の外界の視野像（以下、「外界像」と云
う。）に画像表示手段の表示画像（以下、「電子像」と
云う。）を重ね合わせ、これらの像を同時に見ることが
できるようにした、所謂シースルー型ＨＭＤ装置があ
る。

【０００３】

【発明が解決しようとする課題】従来のシースルー型Ｈ
ＭＤ装置にあっては、使用者が見ている外界像を撮影す
ることはできなかった。また、使用者が見ている、外界
像と電子像とを重ね合わせた像を撮影することができな
かった。そのため、外界像に対応させて電子像の画像情
報を変えることができないという不都合があった。

【０００４】本発明は、従来の技術の有するこのような
問題点に鑑みてなされたものであり、その目的とすると
ころは、シースルー型ＨＭＤ装置において、使用者が見
ている外界像を撮影できるようにした装置を提供するこ
とにある。また、本発明の他の目的は、使用者が見てい
る像と同じ像，即ち外界像と電子像とを重ね合わせた像
を撮影できるようにした装置を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明におけるＨＭＤ装置は、所望の画像を表示す
る画像表示手段と、画像表示手段からの光を使用者の眼
に導く観察光学系と、外界の像を画像表示手段に表示さ
れた像と重ねて観察するために、外界からの光を観察光
学系の光路中に導入する光路合成手段と、外界からの光
を観察光路から分離する光路分離手段と、光路分離手段
により分離された光を受ける撮像手段と、各手段を収納
し使用者の頭部に固定するためのハウジングと、を備え
ていることを特徴として成るものである。また、本発明
のＨＭＤ装置は、光路分離手段が、画像表示手段からの
光を観察光路から分離して外界からの光と共に撮像手段
に導く位置に配置され、更に、画像表示手段からの光の
光軸と撮像手段で受ける光の光軸とが一致するように、
各々の手段が配置されたことを特徴として成るものであ
る。

【０００６】

【作用】観察光路中に配置された光路分離手段により、
外界からの光のみを撮像手段に導いて、或いは画像表示
手段からの光を分離して外界からの光と共に撮像手段に
導くことにより、使用者が見ている外界像を撮影するこ
とができる。従って、外界像と電子像を同時に記録する
ことができると共に、外界像に対応して電子像の画像情
報を生成し、使用者に提供することができる。

【０００７】

【実施例】実施例について図面を参照して説明する。図
１は本発明のＨＭＤ装置の外観を示している。図１にお
いて、１はＨＭＤ装置、２は後述する光学系の光学要素
及び電気要素が収納されるハウジング、３はハウジング
２の外周面と内周面に夫々配置された保護用透過膜、４
は使用者に音情報を提供するためのスピーカ、５はハウ
ジング２を使用者の頭部に固定するためのバンド、６は
画像情報と音情報を図示されない画像・音声生成装置か
ら信号入力するためのケーブル、７は撮影された画像を
図示されない画像処理装置へ信号出力するためのケーブ
ルである。尚、これら外部装置との信号の送受は無線で
行うようにしてもよい。

【０００８】図２はハウジング２に収納される第１実施
例の光学系を示している。図中、１１は使用者の頭、１
２は眼、１３は耳、１４Ｒ，１４Ｌは両眼に対応して左
右に配置された２次元液晶表示素子、１５は液晶表示素
子１４Ｒ，１４Ｌのバックライト用光源、１６は集光レ
ンズ、１７はフィールドレンズ、１８は凹面ハーフミラ
ー、１９は撮像用ハーフミラー、２０，２１は夫々眼１
２の水晶体と網膜、２２は撮像用ハーフミラー１９で反
射された光で液晶表示素子１４Ｒ，１４Ｌの像を形成す
る結像レンズ、２３Ｒ，２３Ｌは両眼に対応して左右に
配置された像撮影用のＣＣＤイメージセンサ、３７はバ
ックライト用光源１５の光を平行光束にするコリメータ
レンズである。ハウジング２内に信号入力される画像情
報は液晶表示装置１４Ｒ，１４Ｌに夫々表示され、音情
報はスピーカ４を介して出力される。また、イメージセ
ンサ２３Ｒ，２３Ｌにより撮影された画像は、上記ケー
ブル７を介して外部装置に信号出力されるようになって
いる。

【０００９】図２において、バックライト用光源１５を
射出した光は、コリメータレンズ３７でほぼ平行な光束
となって液晶表示素子１４Ｒ，１４Ｌを後方から照明す
る。液晶表示素子１４Ｒ，１４Ｌを透過した光は、偏心
して配置されたフィールドレンズ１７の近傍に集光レン
ズ１６により集光され、光源１５の像を形成する。更
に、この光はフィールドレンズ１７で偏向され、凹面ハ
ーフミラー１８で反射された後、その一部が撮像用ハー
フミラー１９を透過して眼１２の瞳孔近傍に光源１５の
２次像を形成し、また、撮像用ハーフミラー１９で反射
された光は結像レンズ２２を介してイメージセンサ２３
Ｒ，２３Ｌに入射する。図中、光源１５から射出した光
の光路を実線で示している。

【００１０】液晶表示素子１４Ｒ，１４Ｌに表示された
画像情報からの光は、集光レンズ１６，フィールドレン
ズ１７及び凹面ハーフミラー１８を介してほぼ平行な光
束に変換され、この光束の一部が撮像用ハーフミラー１
９を透過して眼１２の水晶体２０により網膜２１上に結
像し、電子像を形成する。また、撮像用ハーフミラー１
９で反射された光は、結像レンズ１２を介してイメージ
センサ２３Ｒ，２３Ｌ上に像を形成する。一方、凹面ハ
ーフミラー１８に入射する外界からの光は、その一部が
ハーフミラー１８を透過し、液晶表示素子１４Ｒ，１４
Ｌからの光と重なって眼１２及びイメージセンサ２３
Ｒ，２３Ｌに夫々入射し、外界像を形成する。図中、外
界からの光の光路を破線で示している。

【００１１】従って、使用者は、電子像と外界像とを重
ね合わせた画像を見ることができると共に、使用者が見
ている像と同じものをイメージセンサ２３Ｒ，２３Ｌで
撮影することができる。また、光源１５の像が眼１２の
瞳孔近傍に形成されるので、光源１５からの光が無駄な
く利用され得、明るい像を得ることができる。

【００１２】また、この場合、撮像用ハーフミラー１９
を一眼レフカメラの跳ね上げミラーの如き回動可能に設
置し、光路に対して挿脱自在な態様としてもよい。例え
ば、図３に示すように、撮影をしないときは支点４０を
中心に撮像用ハーフミラー１９を回動して光路の外側へ
配置し、凹面ハーフミラー１８を反射した全ての光を眼
１２へ導き（同図（ａ））、撮影をするときは光路中に
挿入して凹面ハーフミラー１８を反射した光の一部をイ
メージセンサ２３Ｒへ導くようにすれば（同図
（ｂ））、撮影をしないときの眼１２に入射する光量を
大きくすることができ、使用者はより明るい像を得るこ
とができる。

【００１３】図４は第２実施例の光学系を示している。
本実施例はイメージセンサ２３Ｒを液晶表示素子１４Ｒ
の外側に配置する態様である。図４において、液晶表示
素子１４Ｒからの光は集光レンズ１６及びフィールドレ
ンズ１７を介し、一部が凹面ハーフミラー１８を反射し
て眼１２の網膜２１上に像を形成し、一部が凹面ハーフ
ミラー１８を透過する。凹面ハーフミラー１８を透過し
た光は、凹型に湾曲して形成された撮像用ハーフミラー
１９の鼻側の湾曲部Ｒで反射した後、偏心して配置され
たフィールドレンズ１７で偏向され、結像レンズ２２を
介してイメージセンサ２３Ｒに入射する。一方、外界か
らの光は撮像用ハーフミラー１９を透過した後、一部が
凹面ハーフミラー１８を透過して、また一部が凹面ハー
フミラー１８で反射されて、夫々液晶表示素子１４Ｒか
らの光と重なって眼１２及びイメージセンサ２３Ｒに入
射し、外界像を形成する。

【００１４】図５は第３実施例の光学系を示している。
本実施例は外界像のみを撮影する態様であり、図５にお
いて、外界からの光は一部が撮像用ハーフミラー１９で
反射してイメージセンサ２３Ｒに導かれ、一部が撮像用
ハーフミラー１９を透過して液晶表示素子１４Ｒからの
光と重なり、眼１２に入射して網膜２１上に像を形成す
る。

【００１５】図６は第４実施例の光学系を示している。
本実施例は外界像と電子像とを選択し、どちらか一方の
みの像をイメージセンサ２３Ｒで撮像できるようにした
態様である。図中、４１，４２及び４３は偏光板である
が、偏光板４１はその振動方向が偏光板４３の振動方向
と９０°異なるように配置され、また、偏光板４２は光
軸を中心に回転自在に配置されている。

【００１６】図６において、液晶表示素子１４Ｒからの
光は偏光板４１に入射し、該偏光板４１を通過した光は
集光レンズ１６，フィールドレンズ１７及び凹面ハーフ
ミラー１８を介して撮像用ハーフミラー１９に入射す
る。そして、撮像用ハーフミラー１９を透過した光は眼
１２の網膜２１上に結像して電子像を形成し、また、撮
像用ハーフミラー１９で反射された光は結像レンズ２２
を介して偏光板４２へ導かれる。一方、外界からの光
は、偏光板４２に入射して上記偏光板４１と９０°振動
方向が異なる偏光となって凹面ハーフミラー１８に入射
し、凹面ハーフミラー１８を透過した光の一部が撮像用
ハーフミラー１９を透過して液晶表示素子１４Ｒからの
光と重なって眼１２に入射し、一部が撮像用ハーフミラ
ー１９で反射されて偏光板４２へ導かれる。

【００１７】ここで、例えば電子像のみを撮影したい場
合は、使用者は偏光板４２の振動方向が偏光板４１と一
致するように偏光板４２を回転させる。すると、偏光板
４２へ導かれた光のうち、外界からの光は偏光板４２と
振動方向が異なるので該偏光板４２を通過せず、一方液
晶表示素子１４Ｒからの光は全て偏光板４２を通過する
ので、この光がイメージセンサ２３Ｒに入射して該イメ
ージセンサ２３Ｒ上に電子像のみが形成される。また、
外界像のみを撮影したい場合には、偏光板４２を回転し
てその振動方向を偏光板４３と一致させればよく、更
に、両画像を重ね合わせた像を撮影したい場合には、偏
光板４２の振動方向を偏光板４１及び偏光板４３の振動
方向に対して４５°傾く位置に配置するようにすればよ
い。尚、上記第２乃至第４実施例は、図示されない使用
者の左眼の光学系についても同様の態様となる。

【００１８】次に上記ＨＭＤ装置と外部装置とのシステ
ム構成について説明する。図７は本発明の第５実施例で
あって、第１乃至第４実施例の光学系よりなるＨＭＤ装
置を用いたシステム構成を示している。図７において、
画像生成装置２９は使用者に提供する情報を画像信号に
変換し、ＨＭＤ装置１に送信する。送信された画像情報
は、液晶表示素子１４Ｒ，１４Ｌで可視光に変換され、
外界の光と重なって使用者の眼及びイメージセンサ２３
Ｒ，２３Ｌに入射する。イメージセンサ２３Ｒ，２３Ｌ
で撮像された外界像及び電子像は電気信号に変換された
後、記憶装置３０へ送信されて磁気テープ等の記録媒体
やハードコピー等のフィルム又は印字出力として記録・
保存される。

【００１９】図８は本発明の第６実施例を示している。
図８において、解析用コンピュータ３１は、イメージセ
ンサ２３Ｒ，２３Ｌより送信される画像信号を基に、こ
の信号から得られる情報を解析して外界像の状態に応じ
た情報信号を生成し、画像生成装置２９へ送信するよう
になっている。例えば、外界像の平均輝度を算出して表
示すべき電子像の輝度を決定し、該輝度情報に基づき画
像生成装置２９において電子像を生成して表示すれば、
使用者は外界像に応じた見やすい輝度の電子像を得るこ
とができる。又、イメージセンサ２３Ｒ，２３Ｌで撮像
された夫々の外界像から、ある対象物の３次元的な大き
さや対象物までの距離を算出し、この情報を電子像とし
て表示して使用者に提供することができる。又、画像入
力装置３６は、使用者又は第三者がペン等を用いて文字
を入力するための装置であるが、入力された手書き文字
情報は、キャラクタ信号に変換されて解析用コンピュー
タ３１送信され、画像生成装置１９を介して使用者に提
供されるようになっている。

【００２０】図９は本発明の第７実施例を示している。
本実施例はＨＭＤ装置１の使用者ＡとＨＭＤ装置１′の
使用者Ｂとが、互いに相手の見ている外界像を確認でき
るようにした態様である。この場合、相手の見ている外
界像は、各自の電子像内に，例えば縮小画像として形成
され、提供される情報の一部として見ることができるよ
うになっている。図９において、使用者Ａの見ている外
界像はイメージセンサ２３Ｒ，２３Ｌで撮像され、ＨＭ
Ｄ装置１から送信装置３３へ送信される。この画像信号
は、送信装置３３で所定の信号処理を受けた後、受信装
置３４′へ送信される。受信装置３４′へ送信された画
像信号は、画像生成装置２９′へ送られ、使用者Ｂに提
供される情報の一部として電子像内に縮小した画像で取
り込まれる。そして、生成された電子像はＨＭＤ装置
１′へ送信され、液晶表示素子１４Ｒ′，１４Ｌ′を介
し、使用者Ｂに提供される。又、使用者Ｂの見ている外
界像は、イメージセンサ２３Ｒ′，２３Ｌ′，送信装置
３３′，受信装置３４及び画像生成装置２９を介して使
用者Ａの見ている電子像内に取り込まれるようになって
いる。尚、２人以上の複数のＨＭＤ装置の使用者に対し
ても本実施例の態様が適用され得るが、その場合、例え
ば受信装置３４，３４′に受信信号選択機能を設けるこ
とにより所望の相手の外界像を確認することが可能とな
る。

【００２１】図１０は本発明の第８実施例を示してい
る。本実施例はＨＭＤ装置を装着していない第三者が、
使用者が見ている外界像を確認し、それに応じた情報を
使用者に随時提供できるようにした態様である。図１０
において、イメージセンサ２３Ｒ，２３Ｌで撮像された
外界像はコンピュータ３９へ送信され、該コンピュータ
３９でビデオ信号に変換されて画像表示装置３５へ出力
される。第三者は、使用者が外界像を見ることで得られ
る情報と同じ情報を画像表示装置３５から得ることがで
き、使用者が置かれている環境を知ることができる。そ
して、第三者がキーボード等の外部入力装置３６から使
用者に提供すべき情報を適宜入力し、使用者が見る電子
像内にこれを表示することで、使用者は第三者の判断に
よる情報を得ることができる。尚、上記第５乃至第８実
施例において、信号の送受は有線又は無線で行われ、ま
た、図示されないが音情報も画像情報と共にＨＭＤ装置
１へ送信され、使用者に提供されるようになっている。

【００２２】

【発明の効果】以上のように本発明によれば、外界から
の光のみを撮像手段に導いて、或いは外界からの光を画
像表示手段からの光と共に撮像手段に導くことにより、
使用者が見ている外界像を撮影することができる。従っ
て、外界像と電子像を同時に記録することができると共
に、外界像に対応して電子像の画像情報を生成し、使用
者に提供することができる。

【図面の簡単な説明】

【図１】本発明のＨＭＤ装置の外観を示す図である。

【図２】本発明のＨＭＤ装置の第１実施例の光学系を示
す図である。

【図３】第１実施例の撮像用ハーフミラーを回動可能に
設置した場合であって、（ａ）は撮像用ハーフミラーを
光路外に配置したとき、（ｂ）は光路中に配置したとき
の夫々要部光学系を夫々示している。

【図４】本発明のＨＭＤ装置の第２実施例の光学系を示
す図である。

【図５】本発明のＨＭＤ装置の第３実施例の光学系を示
す図である。

【図６】本発明のＨＭＤ装置の第４実施例の光学系を示
す図である。

【図７】本発明のＨＭＤ装置の第５実施例のシステム構
成を示す図である。

【図８】本発明のＨＭＤ装置の第６実施例のシステム構
成を示す図である。

【図９】本発明のＨＭＤ装置の第７実施例のシステム構
成を示す図である。

【図１０】本発明のＨＭＤ装置の第８実施例のシステム
構成を示す図である。

【符号の説明】

１・・・ＨＭＤ装置２・・・ハウジング１４Ｒ，１４Ｌ・・・２次元液晶表示素子１８・・・
凹面ハーフミラー１９・・・撮像用ハーフミラー２３Ｒ，２３Ｌ・・・
ＣＣＤイメージセンサ２９・・・画像生成装置３０・・・記録装置３１・・・解析用コンピュータ３３・・・送信装置３４・・・受信装置３５・・・画像表示
装置３６・・・画像入力装置３９・・・コンピュ
ータ４１，４２，４３・・・偏光板

Claims

【特許請求の範囲】

【請求項１】所望の画像を表示する画像表示手段と、
該画像表示手段からの光を使用者の眼に導く観察光学系
と、外界の像を前記画像表示手段に表示された像と重ね
て観察するために、外界からの光を前記観察光学系の光
路中に導入する光路合成手段と、前記外界からの光を観
察光路から分離する光路分離手段と、該光路分離手段に
より分離された光を受ける撮像手段と、前記各手段を収
納し使用者の頭部に固定するためのハウジングと、を備
えたヘッドマウントディスプレイ装置。
【請求項２】光路分離手段が、画像表示手段からの光
を観察光路から分離して外界からの光と共に撮像手段に
導く位置に配置された、請求項１に記載の装置。
【請求項３】画像表示手段からの光の光軸と撮像手段
で受ける光の光軸とが一致するように、各々の手段が配
置された、請求項１に記載の装置。