JPH08322064A

JPH08322064A - ヘッドマウントディスプレイ装置

Info

Publication number: JPH08322064A
Application number: JP7128006A
Authority: JP
Inventors: Keiichi Kimura; 圭一木村
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-05-26
Filing date: 1995-05-26
Publication date: 1996-12-03

Abstract

(57)【要約】【目的】観察者の視点からみた映像と他の映像とを合
成して観察者の眼前に同時に表示すること。【構成】カメラ３ａ、３ｂから操作卓Ｑを介してスク
リーン６を撮影した観察者Ｈの周囲の映像と、カメラ４
ａ、４ｂで撮影された遠隔地の映像である作業機械Ｇの
映像を映像系制御装置５で合成するときに、カメラ３
ａ、３ｂの映像のうち、スクリーン６が映し出された部
分にカメラ４ａ、４ｂの映像を合成し、合成した映像を
液晶ディスプレイ２ａ、２ｂに表示する。【効果】観察者の周囲の映像と他の映像とを同一の映
像空間に混在させて観察者に提示することができ、観察
者に臨場感を与えることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ヘッドマウントディス
プレイ装置に係り、特に、ディスプレイを頭部に装着し
た観察者の周囲の映像と遠隔地の映像あるいは、仮想的
な映像を合成して表示するに好適なヘッドマウントディ
スプレイ装置に関する。

【０００２】

【従来の技術】従来、ヘッドマウントディスプレイ装置
として、例えば特開平５−２２８８５５号公報に記載さ
れているように、ディスプレイを装着した観察者の両眼
前に液晶ディスプレイもしくはモニタを配置し、液晶デ
ィスプレイやモニタに、遠隔地て撮影した映像あるいは
コンピュータの生成による仮想的な映像を表示し、遠隔
地の映像空間あるいは仮想的な映像空間の中にあたかも
観察者自身が没入しているような感覚を観察者に与える
ことができるものが提案されている。しかし、上記従来
の装置では、ヘッドマウントディスプレイ装置を装着し
た観察者は液晶ディスプレイもしくはモニタの映像しか
見ることができず、観察者自身の実際の周囲の状況を見
ることができない。このため、遠隔地にある機械や観察
者の周囲にある操作スイッチなどを操作する必要がある
ときには、観察者はヘッドマウントディスプレイ装置を
操作するたびに外さなければならないという問題点があ
る。

【０００３】そこで、例えば、特開平６−６２４３８号
公報に記載されているように、ヘッドマウントディスプ
レイ装置にカメラを搭載して観察者の視野領域を撮影
し、このカメラで撮影された映像と遠隔地で撮影された
カメラの映像とを切り換えてディスプレイに表示するも
のが提案されている。また観察者の眼前にハーフミラー
を配置し、遠隔地の映像を表示するモニタにハーフミラ
ーで反射した光を導き、ハーフミラーを通過してきた光
により、観察者が周囲の様子を視認できるようにしたも
のが提案されている。さらにハーフミラーを用いるに際
して、モニタの輝度を明るくしたり、部屋の照明を暗く
したりすることでモニタをよく見えるようにし、逆に、
モニタの輝度を暗くしたり、部屋の照明を明るくしたり
することで周囲の状況を視認しやすくした装置も提案さ
れている。

【０００４】

【発明が解決しようとする課題】しかし、従来技術で
は、観察者の視野領域の映像と遠隔地のカメラの映像と
を切り換えなければならず、観察者の周囲の映像と遠隔
地の映像とを同時に見ることはできない。このため、遠
隔地にある機械の操作など、遠隔地の映像を見ながら観
察者の周囲にある操作スイッチなどを視認しながら操作
することはできない。さらに、コンピュータグラフィッ
クスによる仮想的な映像空間をヘッドマウントディスプ
レイ装置のモニタ上に表示しても、例えば、観察者自身
の手を眼前にかざしても観察者には見えず、また観察者
の足元の方向を見ても自分の足を見ることはできない。
このため従来のものでは、観察者自身が仮想的な映像空
間の中に没入している感覚が十分に得られないという問
題点がある。さらに、複数の観察者によって同一の映像
情報を観察しながら共同で作業を行なう場合、従来のヘ
ッドマウントディスプレイ装置では、映像と同時には互
いの観察者を見ることはできないので、効率のよいコミ
ュニケーションが取れないという問題点がある。

【０００５】一方、ハーフミラーを用いたものでは、モ
ニタの輝度を調整することによって周囲の状況を容易に
視認することはできるが、観察者の周囲の映像と遠隔地
の映像を同時に見ることはできない。また、モニタの輝
度を調整してモニタの映像と周囲から入射された光が同
等に見えるようにした場合でも、モニタの映像と直視し
ている周囲の様子が重なって見えてしまい、観察者に混
乱を生じさせるという問題点がある。

【０００６】また、ヘッドマウントディスプレイ装置で
はなく、通常のモニタ、もしくは大画面のディスプレイ
により遠隔地の映像を表示するものがあるが、モニタや
大画面ディスプレイに遠隔地の映像を表示しても、モニ
タや大画面ディスプレイを見ているものは、テレビもし
くは映画を見ているような感覚となり、あたかも遠隔地
にいるような臨場感は感じられない。モニタや大画面デ
ィスプレイを用いて臨場感を出すためには、観察者の周
囲を複数のディスプレイで囲んだり、あるいは観察者の
周囲にスクリーンを設置し、スクリーン上に複数のプロ
ジェクタで映像を投射する必要がある。しかし、このよ
うな構成では装置が大型化することになる。

【０００７】本発明の目的は、観察者の視点から見た映
像と他の映像とを合成して観察者の眼前に同時に表示す
ることができるヘッドマウントディスプレイ装置を提供
することにある。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、第１の装置として、観察者に装着されて
観察者の左右両眼の視野内に映像を表示する表示手段
と、観察者の周囲に配置された少なくとも１つのスクリ
ーンと、観察者の左右両眼の視点と略同一の視点から前
記スクリーンを見た視野領域を撮影する少なくとも１つ
の第１撮影手段と、第１撮影手段とは異なる映像を生成
する少なくとも１つの映像生成手段と、前記第１撮影手
段により撮影された映像のうち前記スクリーンが映し出
された部分に、前記映像生成手段により生成された映像
を合成して合成映像を前記表示手段に表示させる少なく
とも１つの映像合成手段とを備えているヘッドマウント
ディスプレイ装置を構成したものである。

【０００９】第２の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置された少なくとも１
つのスクリーンと、観察者の左右両眼の視点と略同一の
視点から前記スクリーンを見た視野領域を撮影する少な
くとも１つの第１撮影手段と、第１撮影手段とは異なる
映像を生成する少なくとも１つの映像生成手段と、前記
第１撮影手段により撮影された映像のうち前記スクリー
ンが映し出された部分に、前記映像生成手段により生成
された映像を合成して合成映像を前記各表示手段に表示
させる少なくとも１つの映像合成手段とを備えているヘ
ッドマウントディスプレイ装置を構成したものである。

【００１０】第３の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置された少なくとも１
つのスクリーンと、少なくとも前記一方の表示手段の位
置を視点としてこの視点から前記スクリーンを見た視野
領域を撮影する少なくとも１つの第１撮影手段と、第１
撮影手段とは異なる映像を生成する少なくとも１つの映
像生成手段と、前記第１撮影手段により撮影された映像
のうち前記スクリーンが映し出された部分に、前記映像
生成手段により生成された映像を合成して合成映像を前
記各表示手段に表示させる少なくとも１つの映像合成手
段とを備えているヘッドマウントディスプレイ装置を構
成したものである。

【００１１】第４の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置されたスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する第１撮影手段と、前
記第１撮影手段により撮影された映像のうち前記スクリ
ーンが映し出された部分に、他の映像を合成して合成映
像を前記各表示手段に表示させる映像合成手段とをそれ
ぞれ複数組備えていると共に、前記第１撮影手段とは異
なる映像を生成する映像生成手段と、映像生成手段の生
成により映像を複数系統に分けて各映像合成手段へ出力
する映像分配手段を備えているヘッドマウントディスプ
レイ装置を構成したものである。

【００１２】第５の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の周囲に配置されたスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する第１撮影手段と、入
力情報に従って第１撮影手段とは異なる映像を生成する
映像生成手段と、前記第１撮影手段により撮影された映
像のうち前記スクリーンが映し出された部分に、前記映
像生成手段により生成された映像を合成して合成映像を
前記各表示手段に表示させる映像合成手段とをそれぞれ
複数組備えていると共に、仮想の環境の映像を生成する
ための情報として各組共通の環境モデル情報を前記各映
像生成手段へ与える環境モデル管理手段を備えているヘ
ッドマウントディスプレイ装置を構成したものである。

【００１３】第６の装置として、観察者に装着されて観
察者の左右両眼の前方近傍に独立に映像を表示する複数
の表示手段と、観察者の左右両眼の視点と略同一の視点
から見た視野領域を撮影する第１撮影手段と、第１撮影
手段とは異なる映像を生成する映像生成手段と、前記第
１撮影手段により撮影された映像から指定の被写体部分
を抽出する映像抽出手段と、前記第１撮影手段により撮
影された映像のうち前記映像抽出手段により抽出された
被写体映像の背景の部分に、前記映像生成手段により生
成された映像を合成して合成映像を前記各表示手段に表
示させる少なくとも１つの映像合成手段とを備えている
ヘッドマウントディスプレイ装置を構成したものであ
る。

【００１４】前記各ヘッドマウントディスプレイ装置を
構成するに際しては、以下の要素を付加することが望ま
しい。

【００１５】（１）第１撮影手段は、撮影対象を相異な
る位置から撮影して立体映像を生成する複数の撮影装置
で構成されている。

【００１６】（２）映像生成手段は、立体映像を生成す
る立体映像生成手段で構成されている。

【００１７】（３）映像生成手段は、撮影対象を相異な
る位置から撮影して立体映像を生成する複数の第２撮影
手段で構成されている。

【００１８】（４）映像生成手段は、仮想の映像を生成
する仮想映像生成手段で構成されている。

【００１９】（５）映像生成手段は、予め撮影された立
体映像を再生する立体映像再生手段で構成されている。

【００２０】（６）観察者の頭部の位置と姿勢角を検出
する位置姿勢角検出手段と、位置姿勢角検出手段の検出
出力に応じて映像生成手段の生成による映像の視点を制
御する視点制御手段とを備えている。

【００２１】（７）少なくとも１つのスクリーンは、第
１撮影手段の撮影対象の一部または全部に装着されてい
る。

【００２２】また、本発明は、前記いずれか１つのヘッ
ドマウントディスプレイ装置を備えていると共に、第１
撮影手段の撮影領域内でかつ観察者の操作範囲内に配置
されて作業機械を遠隔操作する遠隔操作手段を備え、さ
らに、映像生成手段として、前記作業機械と前記作業機
械の作業環境のうち少なくとも一方を撮影対象とする第
２撮影手段を備えている遠隔操作装置を構成したもので
ある。

【００２３】さらに、本発明は、前記いずれか１つのヘ
ッドマウントディスプレイ装置を備えていると共に、第
１撮影手段の撮影領域内でかつ観察者の操作範囲内に配
置されて機械を操作する操作手段を備え、さらに、映像
生成手段として、前記機械に関する仮想映像と前記機械
の作業環境の仮想映像のうち少なくとも一方を生成する
仮想映像生成手段を備えている機械の操作シミュレーシ
ョン装置を構成したものである。

【００２４】

【作用】前記した手段によれば、観察者に装着された表
示手段には、第１撮影手段により撮影された映像、すな
わち観察者の視点から見た映像と映像生成手段により生
成さ映像とが合成されて表示されるため、観察者には、
あたかも観察者自身の周囲の映像と他の映像で構成され
た映像空間にいるような臨場感を与えることができる。
この場合、第１撮影手段が複数の撮影装置で構成され、
映像生成手段によって立体映像が生成されたときには、
表示手段には立体映像を表示させることができ、臨場感
をより高めることができる。またスクリーンは、第１撮
影手段により撮影された映像に他の映像を合成するに際
して、映像生成手段により生成された映像、例えば遠隔
地の映像、コンピュータによる仮想的な映像を合成する
ための場所を指定する手段として構成されているので、
例えば、青色に塗られた布や紙を利用したり、壁面を青
色に塗るだけでも十分である。このためスクリーンの他
にプロジェクタなどは不必要なので、構成の簡素化に寄
与することができる。

【００２５】また１姿勢角検出手段と視点制御手段とを
備えたときには、観察者の周囲の映像とスクリーンに合
成される映像が一体となって変化するので、周囲の映像
とスクリーンに合成される映像が違和感なく同一の空間
に存在するかのように観察者に知覚させることができ
る。

【００２６】また第５の装置によれば、複数の観察者が
同一の環境モデルによる仮想の映像を観察し、且つ同時
に相手の様子を見ることが可能になるので、相手の表情
や身振りを見ながら共通の仮想環境の映像を知覚するこ
とができる。この場合環境モデル管理手段に、外界の情
報に基づいた環境モデルの情報を変更する環境モデル変
更手段を備えることによって、例えば、観察者が環境モ
デルを変更する操作を行なうと、同一の環境モデルによ
る仮想の映像を見ている他の観察者は、変更された環境
を同時に知覚することができる。また、仮想映像を生成
する手段に立体映像を撮影する装置を用い、且つ位置姿
勢角検出手段と視点制御装置を備えることで、複数の観
察者に共通の仮想映像を立体的に提示することができる
とともに、複数の観察者に各観察者自身と他の観察者が
存在する共通の３次元空間に仮想の映像が同時に存在し
ているかのように知覚させることが可能となる。

【００２７】また第６の装置によれば、第１撮影手段に
より撮影された映像から指定の被写体部分を抽出し、抽
出された被写体映像の背景の部分に映像生成手段により
生成された映像を合成して表示するようにしているた
め、観察者の周囲の映像のうち、あらかじめ抽出するこ
とを指定した被写体以外の領域には映像生成手段により
生成された映像を合成して提示することができ、スクリ
ーンが不要となり、スクリーンの設置場所に制約される
ことなく使用することができる。

【００２８】遠隔操作装置によれば、観察者の周囲の映
像が作業機械あるいは作業機械の作業環境に関する映像
と合成されて表示されるため、遠隔地の作業環境があた
かも観察者と作業機械の操作手段の周囲にあるかのよう
に観察者に知覚させた状態で、観察者が遠隔作業を行な
うことができる。

【００２９】機械の操作シュミレーション装置によれ
ば、観察者の周囲の映像が機械に関する仮想映像あるい
は機械の作業環境の仮想映像と合成されて表示されるた
め、仮想的な作業空間の中にあたかも観察者と作業機械
の操作手段が存在するかのように観察者に知覚させた状
態で、観察者が機械の操作シュミレーションを行なうこ
とができる。

【００３０】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。

【００３１】図１は本発明の第１実施例を示すヘッドマ
ウントディスプレイ装置の全体構成図である。図１にお
いて、ヘッドマウントディスプレイ装置は、ヘッドマウ
ントディスプレイ１、液晶ディスプレイ２ａ、２ｂ、カ
メラ３ａ、３ｂ、４ａ、４ｂ、映像系制御装置５、スク
リーン６を備えて構成されており、カメラ４ａ、４ｂ
が、遠隔地に配置された作業機械Ｇの前面側に配置さ
れ、スクリーン６が操作卓Ｑの前方に配置されている。

【００３２】ヘッドマウントディスプレイ１は、操作卓
Ｑを操作する観察者Ｈの頭部に装着可能に構成されてお
り、ヘッドマウントディスプレイ１の前面側には観察者
Ｈの左右両眼の前方近傍に独立に映像を表示する複数の
表示手段として液晶ディスプレイ２ａ、２ｂが装着され
ている。さらにヘッドマウントディスプレイ１の背面側
には観察者Ｈの周囲の映像を撮影するためのカメラ３
ａ、３ｂが固定されている。カメラ３ａ、３ｂは、観察
者Ｈの左右両眼の視点とほぼ同一の視点からスクリーン
６を見た視野領域を撮影する第１撮影手段（撮影装置）
として、観察者Ｈの視点とほぼ同一の位置に配置されて
いる。カメラ３ａ、３ｂにより撮影された映像は立体映
像として映像系制御装置５に入力されている。カメラ４
ａ、４ｂは、作業機械Ｇに関する映像を生成する映像生
成手段（第２撮影手段）として設けられており、カメラ
４ａ、４ｂにより撮影された映像は立体映像として映像
系制御装置５に入力されている。映像系制御装置５は、
カメラ３ａ、３ｂからの映像と、カメラ４ａ、４ｂから
の映像とを合成し、合成した映像を液晶ディスプレイ２
ａ、２ｂに表示させる映像合成手段として構成されてい
る。この場合、映像系制御装置５は、カメラ３ａ、３ｂ
により撮影された映像のうちスクリーン６が映し出され
た部分に、カメラ４ａ、４ｂで撮影された映像を合成す
るようになっている。

【００３３】スクリーン６は、操作卓Ｑの後方に配置さ
れて、作業機械Ｇの映像を映し出す範囲を指定するもの
として、例えば青色の幕で構成されている。スクリーン
６に青色の幕を用いると、カメラ３ａ、３ｂの映像をブ
ルーバックにさせ、映像系制御措置５において、このブ
ルーバックに遠隔地の映像、作業機械Ｇの映像を合成さ
せることができる。なお、スクリーン６の色としては、
映像系制御装置５において、映像を合成する範囲を指定
できる色であれば他の色を用いることもできる。また、
スクリーン６としては、観察者Ｈの四方のいずれか一部
または全部に配置することもでき、さらに観察者Ｈの周
囲の壁、天井および床などをスクリーンとして利用する
こともできる。

【００３４】またカメラ３ａ、３ｂにより撮影され映像
のうちスクリーン６が映し出された部分に、カメラ４
ａ、４ｂにより撮影された映像を合成するに際しては、
文献「カラーテレビジョン」（日本放送協会編、昭和３
３年６月発行）の第５３９頁から５４４頁に記載されて
いるように、クロマキーによる技術を用いることができ
る。すなわち青色を検知してその部分に他の映像を合成
する手法を用いることができる。

【００３５】次に、映像系制御装置５の具体的構成を図
２に従って説明する。

【００３６】映像系制御装置５は、コントローラ７ａ、
７ｂ、８ａ、８ｂ、映像合成部９ａ、９ｂ、表示用映像
信号出力部１０ａ、１０ｂ、同期信号発生部１１を備え
て構成されており、コントローラ７ａ、７ｂがカメラ３
ａ、３ｂに、コントローラ８ａ、８ｂがカメラ４ａ、４
ｂに表示用映像信号出力部１０ａ、１０ｂが液晶ディス
プレイ２ａ、２ｂにそれぞれ接続されている。そしてカ
メラ３ａ、３ｂで撮影された映像がコントローラ７ａ、
７ｂを介して映像合成部９ａ、９ｂに入力されるととも
に、カメラ４ａ、４ｂで撮影された映像がコントローラ
８ａ、８ｂを介して映像合成部９ａ、９ｂに入力される
ようになっている。さらに、各カメラ３ａ、３ｂ、４
ａ、４ｂからの映像が映像合成部９ａ、９ｂで合成さ
れ、合成された映像が表示用映像信号出力部１０ａ、１
０ｂを介して液晶ディスプレイ２ａ、２ｂに出力される
ようになっている。このとき、コントローラ７ａ、７ｂ
８ａ、８ｂ、映像合成部９ａ、９ｂは同期信号発生部１
１から出力される同期信号に従って動作するようになっ
ている。

【００３７】なお、図２では、説明の便宜上、ヘッドマ
ウントディスプレイ１は図示せず、カメラ３ａ、３ｂは
観察者Ｈから離した位置に図示してある。また、映像系
制御装置５内の各構成要素はそれぞれ独立の要素として
構成するとこもできる。

【００３８】上記構成において、観察者Ｈの頭部にヘッ
ドマウントディスプレイ１が装着されると、カメラ３
ａ、３ｂにより観察者Ｈの周囲の映像が立体映像として
撮影される。すなわち観察者Ｈの左右両眼の視点とほぼ
同一の視点から操作卓Ｑを介してスクリーン６を見た視
野領域内の映像がカメラ３ａ、３ｂによって撮影され、
撮影された映像が映像系制御装置５に入力される。

【００３９】一方、遠隔地に配置されている作業機械Ｇ
の状態がカメラ４ａ、４ｂにより撮影され、撮影された
映像が映像系制御装置５に入力される。映像系制御装置
５にカメラ３ａ、３ｂ、４ａ、４ｂからの映像が入力さ
れると、カメラ３ａ、３ｂで撮影された映像のうちスク
リーン６が映し出された部分に、カメラ４ａ、４ｂによ
り撮影された映像が合成され、合成された映像が液晶デ
ィスプレイ２ａ、２ｂに表示される。すなわち液晶ディ
スプレイ２ａ、２ｂには観察者Ｈの周囲の映像と遠隔地
の映像、すなわち作業機械Ｇの映像が合成された状態で
同時に表示される。このため観察者Ｈは観察者Ｈの周囲
の映像とともに遠隔地の映像、作業機械Ｇの映像を同時
に見ることができ、観察者Ｈは、液晶ディスプレイ２
ａ、２ｂの映像を見ながら、操作卓Ｑにより作業機械Ｇ
を操作することができる。

【００４０】このように、本実施例によれば、観察者Ｈ
は、観察者Ｈの周囲にある操作卓Ｑや観察者の手などの
映像と遠隔地の映像とを同時に見ることができ、観察者
Ｈに、観察者自身を含めた周囲の空間に遠隔地の環境が
存在しているような感覚を与えることができる。

【００４１】次に、本発明の第２実施例を図３に従って
説明する。

【００４２】本実施例は、ヘッドマウントディスプレイ
１の代わりに、ヘッドマウントディスプレイ１ｂを構成
したものであり、ヘッドマウントディスプレイ１ｂ内に
収納するものがヘッドマウントディスプレイ１と異なる
他は図１と同様であるので、ヘッドマウントディスプレ
イ１ｂについてのみ説明する。

【００４３】ヘッドマウントディスプレイ１ｂはほぼ箱
型に構成されており、観察者Ｈの頭部の側面側にカメラ
３ａ、３ｂが収納されているとともに、表示手段として
のＣＲＴモニタ１２ａ、１２ｂが収納されている。さら
にヘッドマウントディスプレイ１ｂのうち観察者Ｈの眼
前には、複数の表示用ミラー１３ａ、１３ｂミラー１４
ａ、１４ｂがそれぞれ相対向して収納されている。各表
示モニタ用ミラー１３ａ、１３ｂはＣＲＴモニタ１２
ａ、１２ｂからの映像を観察者Ｈの左右両眼にそれぞれ
導く位置に配置されている。各ミラー１４ａ、１４ｂ
は、観察者Ｈの左右両眼の視点とほぼ同一の視点から見
た映像をカメラ３ａ、３ｂにそれぞれ導く位置に配置さ
れている。

【００４４】本実施例においては、ミラー１４ａ、１４
ｂを介してカメラ３ａ、３ｂで撮影された映像とカメラ
４ａ、４ｂで撮影された遠隔地の映像とを合成し、合成
した映像をＣＲＴモニタ１２ａ、１２ｂ上に表示し、各
ＣＲＴモニタ１２ａ、１２ｂ上の映像を表示モニタ用ミ
ラー１３ａ、１３ｂを介して観察者Ｈに提示することが
できる。

【００４５】また本実施例によれば、カメラ３ａ、３
ｂ、ＣＲＴモニタ１２ａ、１２ｂを観察者Ｈの側面側に
配置することができるので、ヘッドマウントディスプレ
イ１ｂを小さくすることができるとともに、観察者Ｈが
ヘッドマウントディスプレイ１を装着しているときより
も不快感を低減することができる。

【００４６】なお、カメラ３ａ、３ｂ、ＣＲＴモニタ１
２ａ、１２ｂを配置する場所は、観察者Ｈの側面側に限
らず、観察者Ｈの両眼上部側とすることもできる。

【００４７】次に、本発明の第３実施例を図４と図５に
従って説明する。

【００４８】本実施例は、図１に示すカメラ４ａ、４ｂ
の代わりに、仮想映像生成装置１５を設け、仮想映像生
成装置１５で生成された映像とカメラ３ａ、３ｂで撮影
された映像とを映像系制御装置５ｂで合成するようにし
てものであり、他の構成は図１のものと同様であるの
で、図１のものと同一のものには同一符号を付してそれ
らの説明は省略する。

【００４９】仮想映像生成装置１５は、例えば、建築物
のコンピュータグラフィックスや、遠隔地の作業状況を
模擬するコンピュータグラフィックスを生成する映像生
成手段として、左眼用仮想映像生成部１６、右眼用仮想
映像生成部１７、映像信号出力部１８ａ、１８ｂを備え
て構成されている。左眼用仮想映像生成部１６、右眼用
仮想映像生成部１７は、両眼の視差に相当する分の映像
のずれを持った仮想映像を生成し、生成した映像を映像
信号に変換し、この映像信号を、映像信号出力部１８
ａ、１８ｂを介して映像系制御装置５ｂへ出力するよう
になっている。

【００５０】映像系制御装置５ｂは、コントローラ７
ａ、７ｂ、映像信号入力部１９ａ、１９ｂ、映像合成部
９ａ、９ｂ、表示用映像信号出力部１０ａ、１０ｂ、同
期信号発生部１１を備えて構成されている。映像合成部
９ａ、９ｂは、カメラ３ａ、３ｂで撮影された映像を同
期信号に従ってコントローラ７ａ、７ｂから入力すると
ともに、仮想映像生成装置１５で生成された映像を同期
信号に従って映像信号入力部１９ａ、１９ｂから入力
し、カメラ３ａ、３ｂで撮影された映像のうちスクリー
ン６が映し出される範囲に仮想映像を合成し、合成した
映像に関する映像信号を表示用映像信号出力部１０ａ、
１０ｂから液晶ディスプレイ２ａ、２ｂに出力させるよ
うになっている。

【００５１】本実施例によれば、観察者Ｈは、仮想映像
生成装置１５により生成された仮想的な立体映像を知覚
しながら、例えば、観察者Ｈの前にある操作卓Ｑや観察
者Ｈの目の前へ差し出した手などの映像を仮想的な立体
映像と同一の映像の中に見ることができる。従って、観
察者Ｈに、観察者Ｈ自身を含めた周囲の現実のものが仮
想的な映像空間の中に没入しているような感覚を与える
ことができる。

【００５２】次に、本発明の第４実施例を図６に従って
説明する。

【００５３】本実施例は、ヘッドマウントディスプレイ
１に位置姿勢角検出手段として位置および姿勢角検出装
置２０を設けるとともに、視点制御手段として、位置お
よび姿勢角検出装置２０の検出信号に従って制御信号を
生成するコントローラ２１と、コントローラ２１からの
制御信号に従ってカメラ４ａ、４ｂの位置を制御する駆
動装置２２を設け、観察者Ｈの姿勢に合わせてカメラ４
ａ、４ｂの撮影位置を制御するようにしたものであり、
他の構成は図１のものと同様であるので、図１のものと
同一のものには同一符号を付してそれらの説明は省略す
る。

【００５４】位置および姿勢角検出装置２０は、例え
ば、磁気センサ、超音波センサ、ジャイロセンサ、ある
いはレーザーセンサで構成されており、観察者Ｈの頭部
の位置および姿勢角を検出し、検出信号をコントローラ
２１へ出力するようになっている。コントローラ２１は
センサ信号処理部２３、カメラ駆動指令出力部２４から
構成されている。センサ信号処理部２３は、位置および
姿勢角検出装置２０からの信号を処理するようになって
いる。カメラ駆動指令出力部２４は、センサ信号処理部
２４で処理された信号に従って観察者Ｈの頭部の位置お
よび姿勢角に応じたカメラ駆動指令を生成するようにな
っている。駆動装置２２は、カメラ駆動指令出力部２４
から出力されたカメラ駆動指令に従ってカメラ４ａ、４
ｂの位置および姿勢角を制御するように構成されてい
る。

【００５５】本実施例においては、観察者Ｈの頭部の位
置および姿勢角が変化すると、観察者Ｈの頭部の位置お
よび姿勢角に応じたカメラ駆動指令がコントローラ２１
で生成され、カメラ駆動指令に従って駆動装置２２が駆
動され、カメラ４ａ、４ｂの位置および姿勢角が制御さ
れる。このため、例えば、観察者Ｈが右側を向けば、遠
隔地の映像として右側の映像が液晶ディスプレイ２ａ、
２ｂに表示される。さらに、観察者Ｈがいる部屋の壁、
天井および床全体をスクリーン６として用いれば、観察
者Ｈが、足元を向いたときには、遠隔地を撮影した映像
空間の中に観察者Ｈ自身の足が存在するように観察者Ｈ
には知覚される。

【００５６】本実施例によれば、観察者Ｈの周囲の映像
と遠隔地の映像を同時にディスプレイ２ａ、２ｂに表示
することができるとともに、観察者Ｈの位置および姿勢
角に合わせて遠隔地の映像の位置および姿勢角を変化さ
せることができ、観察者Ｈに、遠隔地を撮影した映像空
間の中に自分自身の体ごと没入しているような感覚を与
えることができる。

【００５７】本実施例においては、遠隔地撮影用のカメ
ラ４ａ、４ｂの代わりに、仮想映像生成装置１５を用い
ることもできる。この場合、位置および姿勢角検出装置
の検出信号により仮想映像の視点を変化させることもで
きる。

【００５８】次に、本発明の第５実施例を図７に従って
説明する。

【００５９】本実施例は、図６に示す位置および姿勢角
検出装置２０の代わりに、操作卓Ｑに、例えば、ジョイ
スティックのような遠隔地撮影用カメラ駆動指令入力装
置２５を設け、操作卓Ｑの操作に応じてカメラ４ａ、４
ｂの位置および姿勢角を制御するようにしたものであ
り、他の構成は図６のものと同様であり、図６と同一の
ものには同一符号具してそれらの説明は省略する。

【００６０】本実施例においては、観察者Ｈが操作卓Ｑ
を操作すると、その操作量に応じた信号がカメラ４ａ、
４ｂの位置および姿勢角を制御するための信号として入
力装置２５に入力され、この信号に従ってカメラ駆動指
令がコントローラ２１で生成され、このカメラ駆動指令
に従って駆動装置２２が駆動される。

【００６１】本実施例によれば、操作卓Ｑの操作によ
り、観察者Ｈが見たい方向にカメラ４ａ、４ｂを向ける
ことができ、観察者Ｈの正面に、常に見たい映像を表示
することができる。

【００６２】次に、本発明の第６実施例を図８と図９従
って説明する。

【００６３】本実施例は、情報映像生成装置２６を設け
るとともに、情報映像生成装置２６で生成された映像と
カメラ３ａ、３ｂ、４ａ、４ｂで撮影された映像とを合
成する装置として映像系制御装置５ｃを設けたものであ
り、他の構成は図１ものと同様であるので、図１のもの
と同一のものには同一符号を付してそれらの説明は省略
する。

【００６４】本実施例においては、３種類の映像を多重
合成するために、情報映像生成装置２６で生成された情
報映像が映像系制御装置５ｃの情報入力部２７に入力さ
れている。情報入力部２７に入力された情報映像は、同
期信号発生部１１からの同期信号に従って第２の映像合
成部２８に入力される。第２の映像合成部２８では、同
期信号発生部１１からの同期信号に従って、情報入力部
２７から入力された情報映像とカメラ４ｂで撮影された
作業機械Ｇの映像が合成され、合成された映像が映像合
成部９ｂに入力されている。映像合成部９ｂでは、第２
の映像合成部２８からの映像とカメラ３ｂからの映像と
が合成され、合成された映像に関する映像信号が映像信
号出力部１０ｂから液晶ディスプレイ２ｂに出力され
る。また映像合成部９ａでは、カメラ３ａ、４ａで撮影
された映像が合成され、合成された映像に関する映像信
号が映像信号出力部１０ａから液晶ディスプレイ２ａに
出力されている。

【００６５】本実施例によれば、観察者Ｈが必要な映像
を情報映像生成装置２６から入力することで、必要な情
報に関する映像と、観察者Ｈの周囲の映像および遠隔地
の映像を合成して同時にディスプレイ２ａ、２ｂに表示
することができる。

【００６６】なお、情報映像生成装置２６から出力され
る映像をカメラ３ａ、３ｂで撮影された映像のうち少な
くとも一方の映像と合成することもできる。

【００６７】次に、本発明の第７実施例を図１０に従っ
て説明する。

【００６８】本実施例は、観察者Ｈ、Ｈ’に合わせて、
カメラ４ａ、４ｂを除いた構成要素を２系統設けるとと
もに、カメラ４ａ、４ｂで撮影された映像を２系統に分
配するために、映像分配手段として映像信号分配器２９
を設け、さらに映像系制御装置５’で合成された映像を
監視用モニタ３１ａ、３１ｂと液晶ディスプレイ２
ａ’、２ｂ’に分配するために映像信号分配器３０を設
けて構成されている。

【００６９】本実施例においては、観察者Ｈは、ディス
プレイ２ａ、２ｂを見ることで、カメラ３ａ、３ｂで撮
影された周囲の映像と、カメラ４ａ、４ｂで撮影された
遠隔地の作業機械Ｇ、Ｇ’に関する映像とを同時に知覚
することができる。また観察者Ｈ’は、ディスプレイ２
ａ’、２ｂ’を見ることでで、カメラ３ａ’、３ｂ’で
撮影された周囲の映像とカメラ４ａ、４ｂで撮影された
遠隔地の映像、作業機械Ｇ、Ｇ’の映像を同時に知覚す
ることができる。

【００７０】本実施例によれば、複数の観察者Ｈ、Ｈ’
が、それぞれの周囲のものとともに、同一の遠隔地を撮
影した映像空間に没入できる。従って、観察者Ｈが操作
卓Ｑを用いて遠隔地の作業機械Ｇを操作したり、また観
察者Ｈ’が操作卓Ｑ’を用いて遠隔地の作業機械Ｇを操
作したりすることができ、観察者Ｈ、Ｈ’が同一の遠隔
地に関する作業を共同で行なうことが可能となる。

【００７１】また、本実施例においては、観察者Ｈ、
Ｈ’が知覚する映像と同一の映像を監視用モニタ３１
ａ、３１ｂに表示することで、ヘッドマウントディスプ
レイ１、１’を装着しないものも、合成された映像をみ
ることができる。

【００７２】なお、前記実施例においては、カメラ４
ａ、４ｂの代わりに、仮想映像生成装置１５を用いるこ
ともできる。

【００７３】次に、本発明の第８実施例を図１１に従っ
て説明する。

【００７４】本実施例は、図６に示す操作卓Ｑとスクリ
ーン６を具体的に示したものである。

【００７５】本実施例においては、観察者Ｈが操作卓Ｑ
を操作する際に、カメラ４ａ、４ｂで撮影された遠隔地
の作業機械Ｇおよび作業環境の映像が映像系制御装置５
に入力され、ヘッドマウントディスプレイ１に搭載され
たカメラ３ａ、３ｂで撮影された映像と合成される。こ
のときカメラ３ａ、３ｂで撮影された映像のうちスクリ
ーン６が表示されている部分に、遠隔地の映像である作
業機械Ｇの映像が合成され、合成された映像が液晶ディ
スプレイ２ａ、２ｂに表示される。さらに、位置および
姿勢角検出装置２０により観察者Ｈの頭部の向きが検出
され、この検出出力に従って駆動装置２２が駆動される
と、観察者Ｈの向いた方向と同じ方向にカメラ４ａ、４
ｂを向けることができる。従って観察者Ｈは頭の向きと
同じ方向の遠隔地の映像を知覚することができる。

【００７６】このように、本実施例によれば、遠隔地の
立体映像と、観察者Ｈの周囲の立体映像とが同一の映像
として提示できるので、観察者Ｈには、作業機械Ｇの操
作卓と、遠隔地の作業機械Ｇが同一空間に存在するよう
に知覚される。すなわち、観察者Ｈは、遠隔地の作業機
械Ｇがあたかも操作卓Ｑの近くに存在するような臨場感
を持って作業機械Ｇを操作することができる。

【００７７】なお、遠隔地の撮影対象物および観察者の
周囲にある撮影対象物としては、作業機械Ｇおよび操作
卓Ｑに限らずその他のものを用いることもできる。

【００７８】次に、本発明の第９実施例を図１２に従っ
て説明する。

【００７９】本実施例は、ヘッドマウントディスプレイ
装置を自動車の操縦シミュレーション装置に適用したも
のであり、観察者Ｈがヘッドマウントディスプレイ１を
装着して、操作卓Ｑに設けられたハンドル３２操作した
ときに、このハンドル３２の操作に合わせて自動車の周
囲の仮想映像を変化させるようにしたものである。

【００８０】すなわち、自動車の周囲の仮想映像を表示
するために、運転席の周囲には第１のスクリーン６ａが
設けられているとともに、操作卓Ｑ上でスピードメータ
などの計器類を配置する部分には第２のスクリーン６ｂ
が設けられている。そして観察者Ｈがヘッドマウントデ
ィスプレイ１を装着すると、ヘッドマウントディスプレ
イ１に搭載された周囲撮影用のカメラ（図示省略）によ
り撮影された映像のうち、第１のスクリーン６ａが写し
だされている部分に自動車の周囲の仮想的な立体映像が
合成され、第２のスクリーン６ｂが映し出されている部
分にはスピードメータなどの計器類の仮想映像が合成さ
れ、各合成された映像がヘッドマウントディスプレイ１
の液晶ディスプレイ（図示省略）に表示される。

【００８１】また、ヘッドマウントディスプレイ１に設
けられた姿勢角検出装置２０により検出された検出信号
を基に、観察者Ｈの視点と仮想映像の視点とが一致する
ようになっている。さらに、ハンドル３２の操作によ
り、操縦される仮想的な自動車の運動に合わせて、自動
車の周囲の仮想映像も変化するようになっている。

【００８２】本実施例によれば、観察者Ｈは、実際にハ
ンドル３２などの操作装置などを視認し且つ操作しなが
ら、同時に仮想的な自動車の周囲の映像および仮想的な
スピードメータなどの映像を視認することが可能とな
り、同一映像の中に、現実に存在するハンドル３２と仮
想的な映像がともに立体映像として混在し、臨場感のあ
る操縦シミュレーションが可能となる。

【００８３】次に、本発明の第１０実施例を図１３に従
って説明する。

【００８４】本実施例は、観察対象物Ｋにスクリーン６
を貼付たものであり、他の構成は図４に示す第３実施例
と同様であるので、図４と同一のものには同一符号を付
してそれらの説明は省略する。

【００８５】本実施例においては、観察者Ｈが装着する
ヘッドマウントディスプレイ１に搭載されたカメラ３
ａ、３ｂの映像のうち、スクリーン６が映し出されてい
る範囲に、仮想映像生成装置１５により生成された仮想
映像が合成され、合成映像が液晶ディスプレイ２ａ、２
ｂに表示される。

【００８６】このため、本実施例によれば、例えばシス
テムキッチンや冷蔵庫などの製品の色や柄を評価する際
に、観察対象物Ｋに実際の製品を用い、そこにスクリー
ン６を貼付ることで、仮想映像生成装置１５で生成され
た製品の色や柄を変更することができ、実際の製品を実
際に扱いながら色や柄が製品に適合するか否かを評価す
ることが可能となる。

【００８７】次に、本発明の第１１実施例を図１４に従
って説明する。

【００８８】本実施例は、スクリーン６を共通として、
観察者Ｈ、Ｈ’に合わせて、図４に示すヘッドマウント
ディスプレイ装置を２系統設けるとともに、各ヘッドマ
ウントディスプレイ１、１’に位置および姿勢角検出装
置２０、２０’を設け、さらに環境モデル管理手段３３
を設けたものである。

【００８９】環境モデル管理手段３３は、観察者Ｈ、
Ｈ’に、映像として提示する環境内にある物体の大きさ
や物体の置かれた位置などの幾何情報を管理するように
構成されている。仮想映像生成装置１５、１５’は、環
境モデル管理手段３３により得られた環境モデル情報を
基に、コンピュータグラフィックスによる仮想的な立体
映像を生成し、生成した映像を映像系制御装置５、５’
へ出力するようになっている。仮想映像生成装置１５、
１５７は、ヘッドマウントディスプレイ１、１’に搭載
された位置および姿勢角検出装置２０、２０’の検出出
力を基に、観察者Ｈ、Ｈ’の視点とほぼ同一の視点から
見た環境モデルの仮想映像を生成するように構成されて
いる。

【００９０】映像系制御装置５は、カメラ３ａ、３ｂで
撮影された観察者Ｈの周囲の映像と仮想映像生成装置１
５から出力される仮想映像とを合成し、合成画像を液晶
ディスプレイ２ａ、２ｂに出力するようになっている。
映像系制御装置５’は、カメラ３ａ’、３ｂ’で撮影さ
れた観察者Ｈ’の周囲の映像と仮想映像生成装置１５’
から出力される仮想映像とを合成し、合成映像を液晶デ
ィスプレイ２ａ’、２ｂ’に出力するようになってい
る。そして映像系制御装置５、５’で映像が合成される
際に、カメラ３ａ、３ｂ、３ａ’、３ｂ’で撮影された
映像のうちスクリーン６が映し出された部分に、仮想映
像生成装置１５、１５’で生成された映像が合成され
る。

【００９１】本実施例によれば、複数の観察者Ｈ、Ｈ’
が、同一の環境モデルをそれぞれの視点から見ることが
でき、同時に他の観察者を含めた周囲の環境も見ること
もできる。例えば、観察者Ｈは、仮想立体映像による仮
想物体Ｒと、仮想物体Ｒを見ている観察者Ｈ’を同時に
知覚することができる。また観察者Ｈ’は、仮想物体Ｒ
と、仮想物体Ｒを見ている観察者Ｈを知覚することがで
きる。従って、複数の観察者Ｈ、Ｈ’に、仮想立体映像
による仮想映像があたかも観察者自身の周囲に存在して
いるかのように知覚させることができる。

【００９２】次に、本発明の第１２実施例を図１５に従
って説明する。

【００９３】本実施例は、図１に示すスクリーン６の代
わりに、映像抽出手段として、カメラ３ａ、３ｂと映像
系制御装置５との間に画像抽出装置３４ａ、３４ｂを設
けたものであり、他の構成は図１のものと同様であるの
で、図１と同一のものには同一符号付してそれらの説明
は省略する。

【００９４】画像抽出装置３４ａ、３４ｂは、カメラ３
ａ、３ｂで撮影された映像のうち指定の被写体、例え
ば、操作卓Ｑの映像のみを抽出し、それ以外の映像部分
は、例えば青色の映像信号を重ねて映像系制御装置５へ
出力するようになっている。そして画像抽出装置３４
ａ、３４ｂから出力された信号とカメラ４ａ、４ｂで撮
影された映像とが映像系制御装置５で合成されると、カ
メラ３ａ、３ｂで撮影された映像のうち画像抽出装置３
４ａ、３４ｂで抽出された被写体、例えば操作卓Ｑの映
像の背景の部分に、カメラ４ａ、４ｂで撮影された映像
が合成され、合成された映像が液晶ディスプレイ２ａ、
２ｂに表示される。

【００９５】本実施例によれば、観察者Ｈの周囲にスク
リーンを備える必要がないので、観察者Ｈ自身の周囲の
空間に遠隔地の環境が存在しているような感覚を観察者
Ｈに与えることができるとともに、スクリーンの配置場
所に制約を受けることなく観察者Ｈの周囲の映像と遠隔
地の映像を同時に観察者Ｈが知覚することができる。

【００９６】

【発明の効果】以上説明したように、本発明によれば、
観察者の視点から見た映像と他の映像とを合成して観察
者の眼前に同時に表示することができ、観察者の周囲の
映像と他の映像とを同一の映像空間に混在させて観察者
に提示することができ、観察者に臨場感を与えることが
できる。

【００９７】また映像生成手段により生成された映像と
して遠隔地の映像あるいは仮想的な映像を用いたときに
は、遠隔地の映像もしくは仮想的な映像と、観察者の周
囲の映像とを同時に観察者に知覚させることができ、観
察者に、遠隔地また仮想的な映像空間内にいるような臨
場感を与えることができる。

【００９８】ヘッドマウントディスプレイ装置を作業機
械の遠隔操作に適応したときには、作業現場がまじかに
存在するように観察することができるので、遠隔作業を
効率よく行なうことができる。

【００９９】またヘッドマウントディスプレイ装置を機
械の操作シュミレーション装置に適応したときには、仮
想の映像と、機械を操作する者の周囲の現実の物体に関
する映像とを一つの映像空間として操作者に知覚させる
ことができ、現実に近い操作シュミレーションが可能と
なる。

【０１００】またスクリーンの代わりに映像抽出手段を
設けたときには、スクリーンを設置するための場所に制
約を受けることなく装置を使用することができる。

【０１０１】また観察者の数に合わせてヘッドマウント
ディスプレイ装置を複数系統設けたときには、複数の観
察者を同一の映像空間または同一の仮想空間に没入させ
ることができる。さらにこの場合、映像として仮想映像
を用いたときには、一方の観察者が仮想映像の任意の場
所を指定することで、他の観察者は一方の観察者の指と
指示している仮想映像とを同時に見ることができ、仮想
映像の物体について討議する際、観察者同士が互いを見
ながら効果的に討論することが可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施例を示す全体構成図である。

【図２】図１に示す映像系制御装置の具体的構成図であ
る。

【図３】本発明の第２実施例を示す要部構成図である。

【図４】本発明の第３実施例を示す全体構成図である。

【図５】図４に示す映像系制御装置の具体的構成図であ
る。

【図６】本発明の第４実施例を示す全体構成図である。

【図７】本発明の第５実施例を示す全体構成図である。

【図８】本発明の第６実施例を示す全体構成図である。

【図９】図８に示す映像系制御装置の具体的構成図であ
る。

【図１０】本発明の第７実施例を示す全体構成図であ
る。

【図１１】本発明の第８実施例を示す全体構成図であ
る。

【図１２】本発明の第９実施例を示す全体構成図であ
る。

【図１３】本発明の第１０実施例を示す全体構成図であ
る。

【図１４】本発明の第１１実施例を示す全構成図であ
る。

【図１５】本発明の第１２実施例を示す全体構成図であ
る。

【符号の説明】

１ヘッドマウントディスプレイ２ａ、２ｂ液晶ディスプレイ３ａ、３ｂ、４ａ、４ｂカメラ５、５’ 映像系制御装置６スクリーン

Claims

【特許請求の範囲】

【請求項１】観察者に装着されて観察者の左右両眼の
視野内に映像を表示する表示手段と、観察者の周囲に配
置された少なくとも１つのスクリーンと、観察者の左右
両眼の視点と略同一の視点から前記スクリーンを見た視
野領域を撮影する少なくとも１つの第１撮影手段と、第
１撮影手段とは異なる映像を生成する少なくとも１つの
映像生成手段と、前記第１撮影手段により撮影された映
像のうち前記スクリーンが映し出された部分に、前記映
像生成手段により生成された映像を合成して合成映像を
前記表示手段に表示させる少なくとも１つの映像合成手
段とを備えているヘッドマウントディスプレイ装置。
【請求項２】観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置された少なくとも１つのスクリーン
と、観察者の左右両眼の視点と略同一の視点から前記ス
クリーンを見た視野領域を撮影する少なくとも１つの第
１撮影手段と、第１撮影手段とは異なる映像を生成する
少なくとも１つの映像生成手段と、前記第１撮影手段に
より撮影された映像のうち前記スクリーンが映し出され
た部分に、前記映像生成手段により生成された映像を合
成して合成映像を前記各表示手段に表示させる少なくと
も１つの映像合成手段とを備えているヘッドマウントデ
ィスプレイ装置。
【請求項３】観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置された少なくとも１つのスクリーン
と、少なくとも前記一方の表示手段の位置を視点として
この視点から前記スクリーンを見た視野領域を撮影する
少なくとも１つの第１撮影手段と、第１撮影手段とは異
なる映像を生成する少なくとも１つの映像生成手段と、
前記第１撮影手段により撮影された映像のうち前記スク
リーンが映し出された部分に、前記映像生成手段により
生成された映像を合成して合成映像を前記各表示手段に
表示させる少なくとも１つの映像合成手段とを備えてい
るヘッドマウントディスプレイ装置。
【請求項４】観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置されたスクリーンと、観察者の左右両
眼の視点と略同一の視点から前記スクリーンを見た視野
領域を撮影する第１撮影手段と、前記第１撮影手段によ
り撮影された映像のうち前記スクリーンが映し出された
部分に、他の映像を合成して合成映像を前記各表示手段
に表示させる映像合成手段とをそれぞれ複数組備えてい
ると共に、前記第１撮影手段とは異なる映像を生成する
映像生成手段と、映像生成手段の生成により映像を複数
系統に分けて各映像合成手段へ出力する映像分配手段を
備えているヘッドマウントディスプレイ装置。
【請求項５】観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の周囲に配置されたスクリーンと、観察者の左右両
眼の視点と略同一の視点から前記スクリーンを見た視野
領域を撮影する第１撮影手段と、入力情報に従って第１
撮影手段とは異なる映像を生成する映像生成手段と、前
記第１撮影手段により撮影された映像のうち前記スクリ
ーンが映し出された部分に、前記映像生成手段により生
成された映像を合成して合成映像を前記各表示手段に表
示させる映像合成手段とをそれぞれ複数組備えていると
共に、仮想の環境の映像を生成するための情報として各
組共通の環境モデル情報を前記各映像生成手段へ与える
環境モデル管理手段を備えているヘッドマウントディス
プレイ装置。
【請求項６】観察者に装着されて観察者の左右両眼の
前方近傍に独立に映像を表示する複数の表示手段と、観
察者の左右両眼の視点と略同一の視点から見た視野領域
を撮影する第１撮影手段と、第１撮影手段とは異なる映
像を生成する映像生成手段と、前記第１撮影手段により
撮影された映像から指定の被写体部分を抽出する映像抽
出手段と、前記第１撮影手段により撮影された映像のう
ち前記映像抽出手段により抽出された被写体映像の背景
の部分に、前記映像生成手段により生成された映像を合
成して合成映像を前記各表示手段に表示させる少なくと
も１つの映像合成手段とを備えているヘッドマウントデ
ィスプレイ装置。
【請求項７】第１撮影手段は、撮影対象を相異なる位
置から撮影して立体映像を生成する複数の撮影装置で構
成されている請求項１、２、３、４、５または６記載の
ヘッドマウントディスプレイ装置。
【請求項８】映像生成手段は、立体映像を生成する立
体映像生成手段で構成されている請求項１、２、３、
４、５、６または７記載のヘッドマウントディスプレイ
装置。
【請求項９】映像生成手段は、撮影対象を相異なる位
置から撮影して立体映像を生成する複数の第２撮影手段
で構成されている請求項１、２、３、４、５、６または
７記載のヘッドマウントディスプレイ装置。
【請求項１０】映像生成手段は、仮想の映像を生成す
る仮想映像生成手段で構成されている請求項１、２、
３、４、５、６または７記載のヘッドマウントディスプ
レイ装置。
【請求項１１】映像生成手段は、予め撮影された立体
映像を再生する立体映像再生手段で構成されている請求
項１、２、３、４、５、６または７記載のヘッドマウン
トディスプレイ装置。
【請求項１２】観察者の頭部の位置と姿勢角を検出す
る位置姿勢角検出手段と、位置姿勢角検出手段の検出出
力に応じて映像生成手段の生成による映像の視点を制御
する視点制御手段とを備えている請求項１乃至１１のう
ちいずれか１項記載のヘッドマウントディスプレイ装
置。
【請求項１３】少なくとも１つのスクリーンは、第１
撮影手段の撮影対象の一部または全部に装着されている
請求項１、２、３、４、５、７、８、９、１０、１１ま
たは１２記載のヘッドマウントディスプレイ装置。
【請求項１４】請求項１乃至１３のうちいずれか１項
記載のヘッドマウントディスプレイ装置を備えていると
共に、第１撮影手段の撮影領域内でかつ観察者の操作範
囲内に配置されて作業機械を遠隔操作する遠隔操作手段
を備え、さらに、映像生成手段として、前記作業機械と
前記作業機械の作業環境のうち少なくとも一方を撮影対
象とする第２撮影手段を備えている遠隔操作装置。
【請求項１５】請求項１乃至１３のうちいずれか１項
記載のヘッドマウントディスプレイ装置を備えていると
共に、第１撮影手段の撮影領域内でかつ観察者の操作範
囲内に配置されて機械を操作する操作手段を備え、さら
に、映像生成手段として、前記機械に関する仮想映像と
前記機械の作業環境の仮想映像のうち少なくとも一方を
生成する仮想映像生成手段を備えている機械の操作シミ
ュレーション装置。