JPH06268943A - 視点映像用ビデオカメラを有する頭部搭載型ディスプレイ - Google Patents

Abstract

(57)【要約】 【目的】 頭部搭載型ディスプレイ装着時における実際
の周囲状況の把握し、実画像中の映像を情報として分解
し、コンピュータグラフィクス等と合成することによる
コンピュータグラフィクス描画負荷を減少させ、現実
感、実視点実画像の解像度、鮮明度を向上させる等を目
的とする。 【構成】 使用者の視点から見た映像を取得するための
左右両眼用の実視点実画像取得用ビデオカメラ（０
６）、左右両眼用の視野映像提供用ディスプレイ（０１
１）、光学系（０２，０３，０４，０５，０１２）及び
画像合成装置（０８）よりなるものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、使用者の視点から見た
映像である実視点実画像をビデオカメラにより取得でき
るように改良した頭部搭載型ディスプレイに関する。

【０００２】

【従来の技術】従来の頭部搭載型ディスプレイ（Head M
ounted Display：ＨＭＤ）を大別すると、以下の二種類
に分類される。

【０００３】（１）図６（ａ）（ｂ）に示すように、人
体頭部０１５の眼前にディスプレイ０２６及びその光学
系を配置し、このディスプレイ０２６にコンピュータグ
ラフィクス又は他の地点のビデオカメラからの画像であ
る他視点実画像を表示することにより、使用者に空間情
報を視覚的に認識させるものである。

【０００４】即ち、図６（ａ）に示すように、人体頭部
０１５には頭部位置及び方向センサ０１８を設けると共
にその為の発振源０１７を配置し、頭部位置及び方向セ
ンサ０１８及びその為の発振源０１７からの信号を頭部
位置演算装置へ出力し、この出力に基づいてコンピュー
タグラフィクス描画装置がディスプレイ０２６へ画像を
出力するのである。

【０００５】また、図６（ｂ）に示すように、人体頭部
０１５には頭部位置及び方向センサ０１８を設けると共
にその為の発振源０１７を配置し、頭部位置及び方向セ
ンサ０１８及びその為の発振源０１７からの信号を頭部
位置演算装置へ出力し、頭部位置演算装置の出力を座標
変換してカメラ位置制御装置へ出力し、そして、カメラ
位置制御装置がビデオカメラ０２０の位置制御を行うこ
とにより、ビデオカメラ０２０の画像をディスプレイ０
２６へ出力するのである。

【０００６】（２）更に、図７に示すように、人体頭部
０１５の眼前に、ハーフミラーを配置すると共にこのハ
ーフミラーの側方にディスプレイ０２６を配置し、実際
の視界上にハーフミラーを介した三次元情報を表示する
ものである。

【０００７】即ち、図７に示すように、人体頭部０１５
には頭部位置及び方向センサ０１８を設けると共にその
為の発振源０１７を配置し、頭部位置及び方向センサ０
１８及びその為の発振源０１７からの信号を頭部位置演
算装置へ出力し、この出力に基づいてコンピュータグラ
フィクス描画装置がディスプレイ０２６へ画像を出力す
るのである。

【０００８】

【発明が解決しようとする課題】上述した従来の頭部搭
載型ディスプレイにおいては、それぞれ次の問題点があ
る。

【０００９】（１）使用者が実際の周囲状況を確認する
ためには、頭部搭載型ディスプレイを外して直接肉眼で
確認するしか方法がないため、頭部搭載型ディスプレイ
を装着したままでは実際に周囲環境に対して作業を行う
ことは不可能であった。中でも、コンピュータグラフィ
クスのみにより空間情報を提供するものは、常時画像を
生成しなければならないため、コンピュータグラフィク
ス用コンピュータの負荷が大きかった。

【００１０】また、視野内の空間情報を全てコンピュー
タグラフィクスで描くため、コンピュータ処理時間の長
大化による動画数の減少が生じ、使用者の動きに対する
画像変化の遅延等の違和感が発生する。

【００１１】加えて、周囲の人物や物体を使用者に認識
させる場合には、コンピュータグラフィクスで表現する
しか手段がないため、現実感の低下を招いていた。

【００１２】（２）ハーフミラーを介して実視界とコン
ピュータグラフィクスを重ね合わせているため、実視界
とコンピュータグラフィクスともに解像度、鮮明度が低
下する。また、実際の物体から、使用者の目に直接入る
映像を操作することが不可能であった。更に、コンピュ
ータグラフィクスと実視界との合成精度が低かった。

【００１３】本発明は、上記従来技術に鑑みてなされた
ものであり、使用者の実際の視点から見た映像である実
視点実画像をビデオカメラにより取得することにより、
頭部搭載型ディスプレイ装着時における実際の周囲状況
の把握し、実画像中の映像を情報として分解し、コンピ
ュータグラフィクス等と合成することによるコンピュー
タグラフィクス描画負荷を減少させ、現実感、実視点実
画像の解像度、鮮明度を向上させ、コンピュータグラフ
ィクス又は他視点実画像との合成精度を確保し、並びに
実視点実画像の情報処理を可能とする頭部搭載型ディス
プレイを提供することを目的とする。

【００１４】

【課題を解決するための手段】斯かる目的を達成する本
発明の頭部搭載型ディスプレイは、視野映像提供用ディ
スプレイ２器（左右両眼用）、実視点実画像取得用ビデ
オカメラ２器（左右両眼用）、光学系（ミラー、レンズ
等）及び画像合成装置よりなるものである。

【００１５】視野映像提供用ディスプレイとは、使用者
の眼に映像を提供するためのディスプレイであり、使用
者の視野方向の空間を確保できるようにミラー、レンズ
を用いて映像が使用者の眼に到達するように頭部に配置
する。また、実視点実画像取得用ビデオカメラは、使用
者の実際の視点に入る映像をミラー、レンズを介して取
得でき、且つ、上記のディスプレイ用光学系を干渉しな
いように配置する。

【００１６】尚、ビデオカメラに入る映像を、使用者の
視点に入るはずの映像と一致させるために、ビデオカメ
ラ用光学系入口に入る映像中の角度情報と、ディスプレ
イから使用者の目に入る映像の角度情報が一致するよう
にビデオカメラ及びディスプレイを配置する。

【００１７】画像合成装置は、実視点実画像と外部画像
をそれぞれ、画面上の指定した領域に割り付けて合成
し、ディスプレイに対してこの合成画像を出力する装置
である。

【００１８】

【作用】本装置を使用者の頭部に装着し、使用者の眼に
対する配置を調整することにより、ディスプレイの位置
でビデオカメラの位置の調整を同時に完了することがで
きる。

【００１９】このディスプレイに、実視点実画像、他視
点実画像、コンピュータグラフィクスを合成又は選択し
て表示することにより、使用者は任意の三次元空間情報
を資格的に認識することができる。

【００２０】また、実視点実画像に必要な領域だけコン
ピュータグラフィクスを合成することにより、コンピュ
ータグラフィクス描画における計算機負荷の減少、現実
感の向上及びコンピュータグラフィクスと周囲状況の同
時確認が可能となる。

【００２１】更に、コンピュータグラフィクス描画にお
ける座標系と実視点実画像の描画領域を比較し、整合す
ることにより、コンピュータグラフィクス合成精度を向
上させることができる。

【００２２】加えて、特別に空間情報を提供する必要の
ない場合には、実視点実画像のみを表示することによ
り、頭部搭載型ディスプレイ非装着時のように実際の周
囲状況を把握し、実際の周囲環境に対して作業すること
が可能となる。

【００２３】

【実施例】以下、本発明について、図面に示す実施例を
参照して詳細に説明する。 〔第一実施例〕本発明の第一実施例を図１（ａ）（ｂ）
に示す。本実施例では、実視点実画像の取得を容易とす
る目的で、使用者の視野方向の空間を確保できるように
配置したものである。

【００２４】即ち、人体頭部０１５の左右の両眼前に
は、ミラー０１３がそれぞれ配置されると共にこのミラ
ー０１３の前方にはそれぞれ、ミラー０３、レンズ０２
が配置されている。ミラー０１３の上方、つまり、額前
面にはディスプレイ０１１及びレンズ０１２が配置さ
れ、ディスプレイ０１１に表示される画像が使用者の眼
に到達するように反射させるため、ミラー０１３は、上
部になるほど前方に傾斜している。

【００２５】ミラー０３の側方にはミラー０４が配置さ
れると共に使用者の耳の側前方にビデオカメラ０６が配
置され、使用者の視点から見た映像である実視点実画像
０１を折り曲げてビデオカメラ０６で取得できるよう
に、ミラー０３，０４はそれぞれ左右方向に傾けて配置
されている。

【００２６】このようにディスプレイ用光学系であるレ
ンズ０１２、ミラー０１３と、ビデオカメラ用光学系で
あるレンズ０２、ミラー０３，０４、レンズ０５との干
渉を防ぎ、且つ、ビデオカメラ０６が使用者の眼の位置
から見たものと等価な実視点実画像を取得することがで
きる。

【００２７】ここで、ビデオカメラ０６に入る映像が、
頭部搭載型ディスプレイ非装着時に使用者の視点０１４
に入る映像と一致するように、レンズ０２とビデオカメ
ラ０６との間の光路距離を、レンズ０２とディスプレイ
０１１において想定される使用者の視点０１４までの距
離に応じてビデオカメラ０６の配置を調整する。

【００２８】更に、ビデオカメラ０６からの実視点実画
像信号０７ａ，０７ｂは、それぞれ左右両眼用の画像合
成装置０８へ出力され、画像合成装置０８において、コ
ンピュータグラフィクス又は他視点実画像等の外部画像
信号９ａ，９ｂと合成され、出力画像信号０１０ａ，０
１０ｂとしてディスプレイ０１１へ出力される。図２中
に示すように、破線内で囲まれた領域は人体頭部０１５
に搭載される機器０１６を示し、画像合成装置０８も含
まれる。

【００２９】本実施例で外部画像としてコンピュータグ
ラフィクスを用いる場合には、人体頭部０１５の位置及
びその方向が必要であり、その情報を得るため、人体頭
部０１５に磁界センサ又は超音波センサ等のセンサ０１
８を設ける一方、そのセンサ用発振源０１７を配置して
いる。センサ０１８及びその発振源０１７からの信号
は、図２（ａ）に示すように頭部位置演算装置へ入力さ
れて人体頭部０１５の位置及び方向が演算されることに
なる。この結果は、コンピュータグラフィクス描画装置
に利用される。

【００３０】コンピュータグラフィクス描画装置は、コ
ンピュータグラフィクスデータベースのデータを、人体
頭部０１５の位置及び方向により、使用者の視野内の三
次元的な視覚的情報を表すコンピュータグラフィクス画
像信号１９ａ，０１９ｂとして画像合成装置０８へ出力
する。

【００３１】本実施例においては、ディスプレイ０１１
に表示する画像の背景は、実視点実画像情報を用いるこ
とができ、また、実視点実画像中に存在する任意の物体
の映像、例えば、使用者の体、手等も利用できるので、
コンピュータグラフィクスで描画する必要のあるもの
は、実際には存在しない物体のみに限定することがで
き、コンピュータグラフィクス描画装置の描画負担を大
幅に減少させることができる。

【００３２】画像合成装置０８は、図２（ｂ）に示すア
ルゴリズムにより、実画像実画像信号０７ａ，０７ｂと
外部画像信号０９ａ，９ｂを画像合成信号０１０ａ，０
１０ｂを得るものである。

【００３３】即ち、実画像実画像をエッジ検出及び特徴
点を検出して画像合成領域を決定し、外部画像をこの画
像合成領域に当てはめてウィンドウ化した後に実視点実
画像を重ね合わせることにより、実視点実画像と外部画
像の合成を行う。エッジ及び特徴点を指定しておくこと
により、実視点実画像中の任意の場所にコンピュータグ
ラフィクスによる三次元情報を視覚的に提供することが
でき、且つ、視野内のコンピュータグラフィクス表示領
域以外の部分では、実際の周囲状況の情報も実画像で提
供することができる。この結果、本発明の使用者は、コ
ンピュータグラフィクスによる三次元情報と実際の周囲
環境の三次元情報を視覚的に認識することが可能とな
る。

【００３４】このように本実施例では、ビデオカメラ０
６により得られた実視点実画像信号０７ａ，０７ｂに外
部画像信号０９ａ，０９ｂを画像合成装置０８により画
像合成して出力画像０１０ａ，０１０ｂをディスプレイ
０１１に表示することにより、使用者に三次元空間情報
を視覚的に認識させることができる。尚、本実施例で
は、外部画像としてコンピュータグラフィクス、画像合
成方法としてエッジ検出及び特徴点抽出による領域指定
を用いているが、本発明は、これらに限るものではな
い。

【００３５】〔第二実施例〕本発明の第二実施例を図３
に示す。本実施例においては、画像合成方式は、第一実
施例と同じ方式を用いる。また、人体頭部０１５に搭載
される機器０１６も実施例１と共通である。但し、外部
画像としては、使用者の位置とは異なる位置に設置され
た、使用者の頭部の動きに連動する２台のビデオカメラ
０２０により得られる実画像（他視点実画像）を用い
る。このビデオカメラ０２０を駆動するためには、使用
者の頭部の位置及び方向の情報が必要であり、この情報
の検出は、第一実施例と同様に磁気センサ、超音波セン
サ等のセンサ０１８を使用者頭部に装着することにより
行う。

【００３６】本実施例の外部描画も、第一実施例のコン
ピュータグラフィクスと同様に、使用者の頭部の運動に
応じて変化するので、この外部描画を画像合成装置０８
により、ウィンドウ化及び実視点実画像との重ね合わせ
を行うことで、実視点実画像中の任意の場所に他視点実
画像による三次元情報を視覚的に提供することができ、
且つ、視野中の他視点実画像表示領域以外の部分では、
実際の周囲状況の情報も実画像で提供することができ
る。この結果、本発明の使用者は、他視点実画像による
三次元情報と実際の周囲環境の三次元情報を視覚的に認
識することが可能となる。

【００３７】〔第三実施例〕本発明の第三実施例を図４
（ａ）（ｂ）に示す。本実施例においては、画像合成方
式は、第一、第二実施例と同様な方法を用いる。外部画
像としては、コンピュータグラフィクス、他視点実画像
の何れでも良い。人体頭部０１５に搭載される機器０１
６は、第一実施例と共通であるので省略した。

【００３８】本実施例では、更に、画像合成を容易とす
るため、エッジ検出及び特徴的検出の容易な図４（ａ）
に示す画像領域指定装置０２４装置を追加する。図４
（ａ）に示すように画像領域指定装置０２４は、エッジ
０２２及び特徴点０２１により構成される。特徴点０２
１は、数個が隠されていても、本装置の検出が行われる
ように冗長性をもたせて多数設置することが望ましい。
図４（ｂ）に示すように、画像領域指定装置０２４を本
発明使用者の視野内に設置し、画像合成装置０８のエッ
ジ検出及び特徴点検出特性を本装置を検出するように調
整することで画像合成領域０２３の指定が容易となる。

【００３９】この結果、本発明使用者は、視野内の画像
領域指定装置０２４により指定される画像合成領域０２
３内に、コンピュータグラフィクス又は他視点実画像に
よる三次元情報を視覚的に認識することができ、同時
に、画像合成領域０２３以外の部分について、実際の周
囲環境に関する三次元情報も視覚的に把握することがで
きる。

【００４０】〔第四実施例〕本発明の第四の実施例を図
５（ａ）（ｂ）に示す。本実施例に用いる外部画像とし
ては、コンピュータグラフィクス、他視点画像の何れを
も用いることができる。人体頭部０１５に搭載される機
器０１６は、第一実施例と共通であるので省略した。本
実施例における画像合成方式として、以下の方式を用い
る。

【００４１】先ず、使用者の周囲に青色に塗装した面
（以下、「ブルーバック」という）０２５を配置する。
更に、画像合成方式にクロマキー合成方式を用いる。ク
ロマキー合成方式の作動方式を図５（ｂ）に示す。図５
（ｂ）に示すように入力画像０７ａ又は０７ｂ中の青色
の部分に、入力画像０９ａ又は０９ｂをリアルタイムで
回路的に合成するものである。本実施例の場合、入力画
像０７ａ又は０７ｂとして実視点実画像を、入力画像０
９ａ又は０９ｂとして外部画像を用いるので、実視点実
画像中のブルーバックで指定された領域に外部画像をリ
アルタイムで合成することができる。

【００４２】この結果、使用者は、視野内のブルーバッ
クで指定した領域内においては、外部画像による三次元
情報を視覚的に認識することができ、同時にブルーバッ
ク領域以外の部分について、実際の周囲環境に関する三
次元情報を視覚的に把握することが可能となる。

【００４３】

【発明の効果】以上、実施例に基づいて具体的に説明し
たように、本発明の頭部搭載型ディスプレイは、実視点
実画像取得用ビデオカメラを左右両眼について配置する
ことにより、頭部搭載型ディスプレイ装着時の実際の周
囲状況の把握、実視点実画像中の映像を情報として分割
し、コンピュータグラフィクス等と合成することによる
コンピュータグラフィクス描画負担の減少及び現実感の
向上並びにコンピュータグラフィクスと周囲状況の同時
認識、実視点実画像の解像度、鮮明度、コンピュータグ
ラフィクスとの合成精度の確保を可能とする。

【図面の簡単な説明】

【図１】同図（ａ）、（ｂ）は本発明の一実施例に係る
頭部搭載型ディスプレイの平面図、側面図である。

【図２】同図（ａ）は本発明の一実施例に係る頭部搭載
型ディスプレイのブロック図、同図（ｂ）は画像合成装
置のアルゴリズムを示すブロック図である。

【図３】本発明の第二の実施例に係る頭部搭載型ディス
プレイの構成図である。

【図４】同図（ａ）は本発明の第三の実施例に係る頭部
搭載型ディスプレイの画像合成領域の説明図、同図
（ｂ）は、本発明の第三の実施例に係る頭部搭載型ディ
スプレイの構成図である。

【図５】同図（ａ）、（ｂ）は本発明の第四の実施例に
係る頭部搭載型ディスプレイの構成図、ブロック図であ
る。

【図６】同図（ａ）、（ｂ）は従来の頭部搭載型ディス
プレイの構成図である。

【図７】従来の頭部搭載型ディスプレイの構成図であ
る。

【符号の説明】

０１ 実視点実映像 ０２ レンズ ０３ ミラー ０４ ミラー ０５ レンズ ０６ ビデオカメラ ０７ 実視点実画像 ０８ 画像合成装置 ０９ 外部画像 ０１０ 出力画像 ０１１ ディスプレイ ０１２ レンズ ０１３ ミラー ０１４ 使用者の視点 ０１５ 人体頭部 ０１６ 人体頭部に搭載される機器 ０１７ 頭部位置及び方向センサ用発振源 ０１８ 頭部位置及び方向センサ ０１９ コンピュータグラフィクス画像 ０２０ ビデオカメラ ０２１ 特徴点 ０２２ エッジ ０２３ 画像合成領域 ０２４ 合成領域指定装置 ０２５ ブルーバック ０２６ ディスプレイ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 使用者の視点から見た映像を取得するた
   めのビデオカメラを左右両眼用に二つ備え、このビデオ
   カメラの出力部に画像合成装置を接続したことを特徴と
   する頭部搭載型ディスプレイ。