JP4900277B2 - 頭部装着式映像表示装置 - Google Patents

Description

本発明は、頭部装着式映像表示装置に関し、特に外界をシースルー可能な表示ユニットと電子カメラを備えた頭部装着式映像表示装置に関する。

従来、観察者の頭部や顔面に着脱自在に装着され、小型のＣＲＴや液晶表示素子等の映像表示素子から得られる映像（以下、画像とも称する。）を、接眼光学系によって観察者の眼球に直接投影させることで、恰も該映像が空中に拡大投影されているかの様な虚像の観察を可能にした頭部装着式映像表示装置、すなわちＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）が知られている。

ＨＭＤは、ＤＶＤやビデオ等のコンテンツ映像の観賞用や、産業機器若しくは医療機器等の遠隔操作用としての表示装置として利用され、その用途は多岐に渡っている。

遠隔操作用としては、通常、作業者の作業に必要な各種情報をＨＭＤの表示ユニットを通して入射する外界光による自然画像（以下、シースルー画像とも称する。）に重ね合わせて表示する所謂シースルー型のＨＭＤが用いられている。

例えば、作業者が電子カメラを備えたシースルー型のＨＭＤを装着し、作業対象物のシースルー画像を観察しながら作業を行い、指示者が電子カメラで撮影された作業対象物の画像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に音声や映像による適切な情報を提供し作業指示を行う、といった遠隔作業支援システムが知られている。（例えば、特許文献１参照）。
特開２００２−１３２４８７号公報

ところで、このような遠隔作業支援システムにおいて、指示者が作業者に適切な情報を提供するには、作業者が観察している作業対象物のシースルー画像と、指示者が観察している電子カメラで撮影された作業対象物の画像が略同じ情景の画像であることが必要とされる。すなわち、作業者の視線方向と電子カメラの撮影方向（光軸）が同じ方向を指向していることが必要である。

しかしながら、特許文献１に開示されている様な電子カメラを備えたＨＭＤにおいて、電子カメラは、その光軸が、通常、接眼光学系の光軸に対し一定の方向を指向する様に、ＨＭＤのフレーム等に固定して取り付けられている。この為、作業者のＨＭＤの装着状態や作業対象物の位置、例えば、机上や頭上等によっては、作業者の視線方向と電子カメラの光軸が異なる方向を指向する場合がある。この為、作業者と指示者のそれぞれが観察している画像（情景）が異なり、指示者は作業者に適切な情報を提供することができないといった問題がある。

本発明は、上記課題を鑑みてなされたもので、装置の装着状態や作業対象物の態様に係わらず、いつも所望の画像を捕らえることが可能な頭部装着式映像表示装置を提供することを目的とする。

上記目的は、下記の１乃至３のいずれか１項に記載の発明によって達成される。

１．画像を表示し、外界をシースルー可能な表示ユニットと、
前記外界を撮影し、撮影方向が可変に取り付けられた電子カメラと、を備えた頭部装着式映像表示装置であって、
前記電子カメラで撮影された画像の情報に基づき、前記電子カメラの位置・姿勢を算出するカメラ位置姿勢算出部と、
所定の指標が前記表示ユニットの画面を通して観察できるシースルー画面の所定の位置に位置する状態にした時に、前記電子カメラで撮影された画像の情報に基づき前記カメラ位置姿勢算出部で算出された前記電子カメラの第１の位置・姿勢と、
前記電子カメラで撮影され前記表示ユニットの画面に表示される前記指標が前記所定の位置に位置する状態にした時に、前記電子カメラで撮影された画像の情報に基づき前記カメラ位置姿勢算出部で算出された前記電子カメラの第２の位置・姿勢と、の２つの位置・姿勢に基づき、該２つの位置・姿勢の差を算出するカメラ位置姿勢差算出部と、
前記カメラ位置姿勢差算出部の算出結果に基づき前記電子カメラの向きを制御するカメラ向き制御部と、を有することを特徴とする頭部装着式映像表示装置。

２．前記カメラ向き制御部は、前記カメラ位置姿勢差算出部で算出された前記２つの位置・姿勢の差と予め設定しておいた該２つの位置・姿勢の差に係わる基準値とを比較し、比較結果に基づいて前記電子カメラの向きを制御することを特徴とする前記１に記載の頭部装着式映像表示装置。

３．前記２つの位置・姿勢の差をＸ₁とした時、前記カメラ位置姿勢差算出部は、以下（１）式に基づいて前記Ｘ₁を算出することを特徴とする前記１または２に記載の頭部装着式映像表示装置。

（１）
但し、Ｍ₀は同時座標系における前記第１の位置・姿勢を示す行列、Ｍ₁は同時座標系における前記第２の位置・姿勢を示す行列である。

本発明によれば、カメラ向き制御部は、電子カメラの第１の位置・姿勢と第２の位置・姿勢との２つの位置・姿勢の差を算出するカメラ位置姿勢差算出部の算出結果に基づいて、電子カメラの向きを制御する構成とした。これにより、視線を指標に向けた時に撮影される画像（情景）と電子カメラの向きを指標に向けた時に撮影される画像（情景）とが略同じ画像（情景）になるように電子カメラの向きを制御することができる。すなわち、ＨＭＤの装着状態や指標（作業対象物）の位置に係わらず視線方向に電子カメラの撮影方向（光軸）を略一致させることができる。その結果、本発明に係わるＨＭＤを、例えば、前述の遠隔作業支援システムに用いた場合、ＨＭＤを装着した作業者が観察している作業対象物のシースルー画像に、指示者が観察しているＨＭＤの電子カメラで撮影された作業対象物の画像を略一致させることができるので、指示者は作業者に適切な情報を提供することが可能となる。

以下図面に基づいて、本発明に係る頭部装着式映像表示装置（以下、ＨＭＤとも称する。）の実施の形態を説明する。尚、本発明を図示の実施の形態に基づいて説明するが、本発明は該実施の形態に限られない。

最初に、ＨＭＤの外観を図１を用いて説明する。図１は、本発明の一実施形態に係るＨＭＤ１の外観を示す斜視図である。

ＨＭＤ１は、図１に示すように、テンプル２１Ｒ，２１Ｌ、ブリッジ２２、鼻当て２３Ｒ，２３Ｌ、透明基板２４Ｒ，２４Ｌ、表示ユニット２５（ＬＣＤ表示部２６、接眼光学系２７）、カメラユニット２８、イヤホン２９Ｒ，２９Ｌ、マイク３０、及び制御ユニット３１等を有している。

このような構成のＨＭＤ１は、作業者がＨＭＤ１を頭部に装着し、表示ユニット２５を通して作業対象物のシースルー画像を観察しながら作業を行い、指示者がカメラユニット２８で撮影された作業対象物の画像を、遠隔地に設けられた例えばホストコンピュータ等のモニタで観察しながら、作業者に無線ＬＡＮ等を介して音声や映像による適切な情報を提供し作業指示を行うものである。

テンプル２１Ｒ，２１Ｌは、可撓性を有する弾性材等により構成された長尺状の部材であり、装着者の耳や側頭部に掛止され、ＨＭＤ１の装着者に対する頭部への保持及び装着位置の調整を行う為のものである。尚、テンプル２１Ｒ，２１Ｌは、回動部２１Ｒａ，２１Ｌａにおいて矢印Ｐ，Ｑ方向に回動可能に構成されており、ＨＭＤ１を使用しない場合には、テンプル２１Ｒ，２１Ｌを矢印Ｐ，Ｑ方向に回動させて透明基板２４Ｒ，２４Ｌに沿わせることにより、コンパクト化することができる。

ブリッジ２２は、ＨＭＤ１の装着者に対する顔面への保持を行う鼻当て２３Ｒ，２３Ｌを備え、透明基板２４Ｒ，２４Ｌの互いに対向する所定位置に架け渡された短尺の棒状部材であり、透明基板２４Ｒと透明基板２４Ｌとを一定の間隙を介した相対位置関係に保持するものである。

透明基板２４Ｒ，２４Ｌは、一方の眼球に対応した位置にＵ字型のスペース２４Ｒｓを形成する略平板状の透明体である。また、透明基板２４Ｒに囲まれて形成されるＵ字型のスペース２４Ｒｓには、接眼光学系２７が嵌め込まれている。

表示ユニット２５は、ＬＣＤ表示部２６、及び接眼光学系２７等を有し、カメラユニット２８で撮影された画像や、制御ユニット３１に設けられた後述の通信部３６を介して、遠隔地に設けられた例えば図示しないホストコンピュータから提供された映像等を表示する。また、表示ユニット２５は、接眼光学系２７を通して外界（前方の被写体）をシースルー可能に構成されている。尚、表示ユニット２５の詳細は後述する。

カメラユニット２８は、本発明における電子カメラに該当し、図示しない後述のズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、及び画像処理部２８３等を有する。カメラユニット２８は、装着者の周囲の外界（前方の被写体）を撮影するものであり、ズームレンズ２８１によって結像された被写体光学像を、ＣＣＤ２８２によって光電変換して画像信号（以下、映像信号とも称する。）を生成し、画像処理部２８３等により画像信号に所定の画像処理を施す。

また、カメラユニット２８は、図１に示すように、その光軸Ｌが水平方向、垂直方向に回転可能、すなわち、パン、チルト可能に表示ユニット２５に取り付けられている。また、カメラユニット２８の向きは、後述のパンモータ２８８、チルトモータ２８９を介して制御ユニット３１によって制御される。

イヤホン２９Ｒ，２９Ｌは、装着者の耳に挿入され、装着者に音声を提供する。

マイク３０は、装着者の音声を音声信号に変換する。

制御ユニット３１は、マイクロコンピュータからなり、電源スイッチ３５１、操作スイッチ３５２等を有し、これら各種操作スイッチからの信号、及び遠隔地に設けられた例えば図示しないホストコンピュータからの制御信号等を受けて、ＨＭＤ１で行われる表示動作や画像信号処理動作を統括的に制御するものである。

ここで、表示ユニット２５の構成を、図２を用いて説明する。図２は、表示ユニット２５の左側面からの側断面図であり、主に表示ユニット２５の内部構成を示している。

図２に示すように、表示ユニット２５は、筐体２６１、ＬＥＤ２６２、コリメータレンズ２６３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）２６４からなるＬＣＤ表示部２６、及びプリズム２７１、ＨＯＥ（Ｈｏｌｏｇｒａｐｈｉｃ Ｏｐｔｉｃａｌ Ｅｌｅｍｅｎｔ）２７２からなる接眼光学系２７等から構成される。

ＬＣＤ表示部２６の筐体２６１の内部には、ＬＥＤ２６２、コリメータレンズ２６３、及びＬＣＤ２６４が内蔵された状態で、該筐体２６１が接眼光学系２７のプリズム２７１の上端部において上斜め前方（図２では右斜め上方向）に突出する態様で取り付けられている。

ＬＥＤ２６２は、所定波長色を含む白色発光ダイオード（ＬＥＤ）からなる点光源である。

コリメータレンズ２６３は、ＬＥＤ２６２の光をほぼ平行光にしてＬＣＤ２６４に投光するものである。

ＬＣＤ２６４は、カメラユニット２８で撮影され生成された映像信号や、制御ユニット３１に設けられた後述の通信部３６を介して、遠隔地に設けられた例えば図示しないホストコンピュータから提供された映像等を表示するものであり、例えば透過型の液晶表示パネルである。

プリズム２７１は、ガラスや透明樹脂等からなる略板状の透明部材であり、ＬＣＤ２６４からの光を内部で複数回の反射を行わせるものである。プリズム２７１の上端部は、ＬＣＤ２６４からの光の大部分を内部に採光できるように、上方に向かってより肉厚となるように前面側（接眼面と反対側）が突き出るように楔形状に形成された肉厚部２７１ｂが形成されている。

また、プリズム２７１の下端部には、傾斜面２７１ａが形成されており、プリズム２７１は、透明基板２４Ｒに形成された傾斜面２４Ｒａに対しＨＯＥ２７２を介して接合（例えば接着）されている。また、プリズム２７１の表裏面は、透明基板２４Ｒの表裏面に対して面一とされている。これにより、プリズム２７１は、透明基板２４Ｒと一枚の板状に一体化されている。

ＨＯＥ２７２は、光学的に軸非対称な所謂自由曲面で構成されて正のパワーを有する体積位相型のホログラム光学素子であり、プリズム２７１の下端部において所定の傾斜角を有して支持されている。ＨＯＥ２７２は、プリズム２７１により導光された光が照射されることにより、光の干渉現象を用いてホログラム映像を眼球Ｅに提供する。

以上のような構成を有する表示ユニット２５において、ＬＥＤ２６２から射出された光は、コリメータレンズ２６３を通してＬＣＤ２６４を照明し、この照明によりＬＣＤ２６４で生成された像光は、プリズム２７１内で複数回の全反射を行った後、ＨＯＥ２７２により回折し虚像として装着者の眼球Ｅに導かれる。

さらに、プリズム２７１は、前方から入射する光を装着者の眼球Ｅに導くようになっている。これにより、装着者は、外界（前方の被写体）をシースルー可能となり、カメラユニット２８で撮影され生成された画像や、制御ユニット３１に設けられた後述の通信部３６を介して、遠隔地に設けられた例えば図示しないホストコンピュータから提供された映像等を外界（前方の被写体）と重畳して視認することとなる。

次に、ＨＭＤ１の概略構成を図３を用いて説明する。図３は、ＨＭＤ１の概略構成を示すブロック図である。尚、図３では、図１、図２に示した部材と同じ部材には同一の番号を付与した。

ＨＭＤ１の要部は、表示ユニット２５、カメラユニット２８、及び制御ユニット３１等から構成される。

表示ユニット２５は、ＬＣＤ表示部２６、接眼光学系２７から構成され、各部位で行われる動作については前述したので説明は省略する。

カメラユニット２８は、ズームレンズ２８１、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２８２、画像処理部２８３、及びパンモータ２８８、チルトモータ２８９等を有する。

ＣＣＤ２８２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色透過フィルタをピクセル単位（画素単位）で市松模様状に配置させたカラーエリア撮像センサで、ズームレンズ２８１により結像された被写体光像を、Ｒ、Ｇ、Ｂの各色成分の画像信号（各画素単位で受光された画素信号の信号列からなる信号）に光電変換するものである。

画像処理部２８３は、図示しない例えば、黒レベル補正部、画素補間部、ホワイトバランス制御部、ガンマ補正部、マトリックス演算部、シェーディング補正部、及び画像圧縮部等を有し、ＣＣＤ２８２より読み出された画像信号に周知の画像信号処理を施すものである。そして、これらの部位で所定の処理を施された画像信号は、後述の制御ユニット３１の画像メモリ３３に格納される。

制御ユニット３１は、制御部３２、画像メモリ３３、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４、操作部３５、通信部３６、及びパン・チルトモータ駆動回路３７等から構成される。

制御部３２は、図示しない各制御プログラム等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算処理や制御処理等のデータを一時的に格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び制御プログラム等をＲＯＭから読み出して実行するＣＰＵ（中央演算処理装置）等から構成される。制御部３２は、電源スイッチ３５１及び操作スイッチ３５２を有する操作部３５からの信号、及び遠隔地に設けられた例えば図示しないホストコンピュータからの制御信号等を受けて、ＨＭＤ１で行われる表示動作や画像信号処理動作を統括的に制御するものである。また、制御部３２は、カメラユニット２８で撮影された画像の情報に基づき、カメラユニット２８の向き（撮影方向）を制御する。尚、制御部３２によるカメラユニット２８の向きの制御の詳細は後述する。

画像メモリ３３は、制御部３２により画像信号に対する各種処理を行う為の作業領域として用いられる一時メモリである。

ＶＲＡＭ３４は、ＬＣＤ表示部２６中のＬＣＤ２６４の画素数に対応した画像信号の記録容量を有し、ＬＣＤ２６４に再生表示される映像を構成する画像信号のバッファメモリである。

通信部３６は、例えば、無線ＬＡＮの無線通信デバイスで構成され、図示しない通信ネットワークを介して遠隔地に設けられた例えば図示しないホストコンピュータとの間で映像、音声、及び制御信号等の送受信を行う。尚、無線通信手段としては、他にＢｌｕｅｔｏｏｔｈやワイヤレスＵＳＢ、また、低消費電力型のデバイスを用いてもよい。

パン・チルトモータ駆動回路３７１は、制御部３２の制御に基づいて、パンモータ２８８、チルトモータ２８９を駆動する駆動信号を生成する。

ここで制御部３２の詳細を説明する。制御部３２は、カメラ位置姿勢算出部３２１、カメラ位置姿勢差算出部３２２、及びカメラ向き制御部３２３等を有する。

カメラ位置姿勢算出部３２１は、カメラユニット２８で撮影された画像の情報に基づき、カメラユニット２８の位置・姿勢を算出する。算出方法は、例えば、特開２０００−４１１７３号公報に開示されている、同一平面上の３点のランドマークを用いてカメラの位置・姿勢を検出する方法を用いることができる。

カメラ位置姿勢差算出部３２２は、カメラユニット２８で撮影された第１の画像Ｉ₀の情報に基づいてカメラ位置姿勢算出部３２１で算出されたカメラユニット２８の第１の位置・姿勢Ｍ₀と、カメラユニット２８で撮影された第２の画像Ｉ₁の情報に基づいてカメラ位置姿勢算出部３２１で算出されたカメラユニット２８の第２の位置・姿勢Ｍ₁と、の２つの位置・姿勢に基づき、該２つの位置・姿勢の差Ｘ₁を以下（２）式を用いて算出する。

ここで、第１の画像Ｉ₀は、所定の指標が表示ユニット２５の画面を通して観察できるシースルー画面の所定の位置（例えば、中心）に位置する状態にした時に、カメラユニット２８撮影された画像である。また、第２の画像Ｉ₁は、カメラユニット２８で撮影され表示ユニット２５の画面に表示される指標が前述の所定の位置（例えば、中心）に位置する状態にした時に、カメラユニット２８撮影された画像である。

（２）
但し、Ｍ₀；同時座標系における第１の位置・姿勢を示す行列
Ｍ₁；同時座標系における第２の位置・姿勢を示す行列
Ｒ₁；３×３の回転行列
Ｔ₁；３×１の平行移動成分である。

また、カメラ位置姿勢差算出部３２２は、算出した２つの位置・姿勢の差Ｘ₁の３×３の回転行列Ｒ₁からカメラ座標系における回転角度θ₁を算出する。尚、３×３の回転行列Ｒ₁の回転角度θ₁は、Ｒｏｄｒｉｇｕｅｓの公式を用いて算出することができる。

カメラ向き制御部３２３は、カメラ位置姿勢差算出部３２２で算出された回転角度θ₁に基づいて、パン・チルトモータ駆動回路３７を介して、回転角度θ₁が小さくなる方向にパンモータ２８８、チルトモータ２８９の駆動を制御し、カメラユニット２８の向き（撮影方向）を変更する。すなわち、視線方向に略一致させるようにカメラユニット２８の向き（撮影方向）を変更する。

ここで、ＨＭＤ１で行われるカメラ向き制御動作の流れを図４を用いて説明する。図４は、カメラ向き制御動作の流れを示すフローチャートである。

最初に、所定の指標が表示ユニット２５の画面を通して観察できるシースルー画面の所定の位置（例えば、中心）に位置するように、頭部を回転させる（ステップＳ１）。この状態でカメラユニット２８により第１の画像Ｉ₀を取得する（ステップＳ２）。そして、カメラ位置姿勢算出部３２１は、取得された第１の画像Ｉ₀の情報に基づき、カメラユニット２８の第１の位置・姿勢Ｍ₀を算出する（ステップＳ３）。

ここで、指標の一例を図５に示す。図５は、一例による指標が設けられたチャートＳを示す模式図である。図５に示すように、チャートＳの４隅には、それぞれ黄色、青色、緑色、赤色の輪環状の指標Ｍ１〜Ｍ４が設けれている。このようなチャートＳを用いることにより、カメラユニット２８の位置・姿勢を精度よく算出することができる。

図４に戻って、次に、カメラユニット２８で撮影され表示ユニット２５の画面に表示される（ステップＳ４）指標が前述の所定の位置（例えば、中心）に位置するように、頭部を回転させる（ステップＳ５）。この状態でカメラユニット２８により第２の画像Ｉ₁を取得する（ステップＳ６）。そして、カメラ位置姿勢算出部３２１は、取得された第２の画像Ｉ₁の情報に基づき、カメラユニット２８の第２の位置・姿勢Ｍ₁を算出する（ステップＳ７）。

次に、カメラ位置姿勢差算出部３２２は、カメラ位置姿勢算出部３２１で算出されたカメラユニット２８の第１の位置・姿勢Ｍ₀と第２の位置・姿勢Ｍ₁と、の２つの位置・姿勢に基づき、該２つの位置・姿勢の差Ｘ₁を前述の（２）式を用いて算出する。続いて、カメラ位置姿勢差算出部３２２は、算出した２つの位置・姿勢の差Ｘ₁の３×３の回転行列Ｒ₁（ステップＳ８）からカメラ座標系における回転角度θ₁を算出する（ステップＳ９）。

次に、カメラ向き制御部３２３は、カメラ位置姿勢差算出部３２２で算出された回転角度θ₁と予め設定しておいた回転角度に係わる基準値θ_kとを比較する。比較した結果θ₁≧θ_kの場合（ステップＳ１０；Ｙｅｓ）、続いて、カメラ向き制御部３２３は、実行したカメラ向き変更回数ｉと予め設定しておいたカメラ向き変更回数に係わる基準値ｉ_kとを比較する。比較した結果ｉ≦ｉ_kの場合（ステップＳ１１；Ｙｅｓ）、カメラ向き制御部３２３は、カメラ位置姿勢差算出部３２２で算出された回転角度θ₁に基づいて、パン・チルトモータ駆動回路３７を介して、回転角度θ₁が小さくなる方向にパンモータ２８８、チルトモータ２８９の駆動を制御し、カメラユニット２８の向き（撮影方向）を変更する（ステップＳ１２）。すなわち、視線方向に略一致させるようにカメラユニット２８の向き（撮影方向）を変更する。このようなステップＳ５〜ステップＳ１２の動作を繰り返し実行することにより視線方向にカメラユニット２８の向き（撮影方向）を略一致させることができる。

この様に、本発明に係るＨＭＤ１においては、カメラ向き制御部３２３は、カメラユニット２８の第１の位置・姿勢Ｍ₀と第２の位置・姿勢Ｍ₁との２つの位置・姿勢の差Ｘ₁を算出するカメラ位置姿勢差算出部３２２の算出結果に基づいて、カメラユニット２８の向きを制御する構成とした。これにより、視線を指標に向けた時に撮影される画像（情景）Ｉ₀とカメラユニット２８の向きを指標に向けた時に撮影される画像（情景）Ｉ₁とが略同じ画像（情景）になるようにカメラユニット２８の向きを制御することができる。すなわち、ＨＭＤ１の装着状態や指標（作業対象物）の位置に係わらず視線方向にカメラユニット２８の撮影方向（光軸）を略一致させることができる。その結果、本発明に係わるＨＭＤ１を、例えば、前述の遠隔作業支援システムに用いた場合、ＨＭＤ１を装着した作業者が観察している作業対象物のシースルー画像に、指示者が観察しているＨＭＤ１のカメラユニット２８で撮影された作業対象物の画像を略一致させることができるので、指示者は作業者に適切な情報を提供することが可能となる。

以上、本発明を実施の形態を参照して説明してきたが、本発明は前述の実施の形態に限定して解釈されるべきでなく、適宜変更、改良が可能であることは勿論である。例えば、前述の実施の形態においては、パン・チルト方向の２次元にカメラユニット２８の向きを変化させる構成としたが、さらにカメラユニット２８をその光軸周りに回動させる構成としてもよい。すなわち、カメラユニット２８で撮影される画像を回転させるようにしてもよい。これにより、シースルー画像にカメラ画像をより近づけることができる。

本発明の一実施形態に係るＨＭＤの外観を示す斜視図である。 ＨＭＤの表示ユニットの側断面図である。 ＨＭＤの概略構成を示すブロック図である。 カメラ向き制御動作の流れを示すフローチャートである。 一例による指標が設けられたチャートを示す模式図である。

符号の説明

１ 頭部装着式映像表示装置（ＨＭＤ）
２１Ｒ，２１Ｌ テンプル
２２ ブリッジ
２３Ｒ，２３Ｌ 鼻当て
２４Ｒ，２４Ｌ 透明基板
２５ 表示ユニット
２６ ＬＣＤ表示部
２６１ 筐体
２６２ ＬＥＤ
２６３ コリメータレンズ
２６４ ＬＣＤ
２７ 接眼光学系
２７１ プリズム
２７２ ＨＯＥ
２８ カメラユニット
２８１ ズームレンズ
２８２ ＣＣＤ
２８３ 画像処理部
２８８ パンモータ
２８９ チルトモータ
２９Ｒ，２９Ｌ イヤホン
３０ マイク
３１ 制御ユニット
３２ 制御部
３２１ カメラ位置姿勢算出部
３２２ カメラ位置姿勢差算出部
３２３ カメラ向き制御部
３３ 画像メモリ
３４ ＶＲＡＭ
３５ 操作部
３５１ 電源スイッチ
３５２ 操作スイッチ
３６ 通信部
３７ パン・チルトモータ駆動回路
Ｅ 目

Claims (3)

1. 画像を表示し、外界をシースルー可能な表示ユニットと、
   前記外界を撮影し、撮影方向が可変に取り付けられた電子カメラと、を備えた頭部装着式映像表示装置であって、
   前記電子カメラで撮影された画像の情報に基づき、前記電子カメラの位置・姿勢を算出するカメラ位置姿勢算出部と、
   所定の指標が前記表示ユニットの画面を通して観察できるシースルー画面の所定の位置に位置する状態にした時に、前記電子カメラで撮影された画像の情報に基づき前記カメラ位置姿勢算出部で算出された前記電子カメラの第１の位置・姿勢と、
   前記電子カメラで撮影され前記表示ユニットの画面に表示される前記指標が前記所定の位置に位置する状態にした時に、前記電子カメラで撮影された画像の情報に基づき前記カメラ位置姿勢算出部で算出された前記電子カメラの第２の位置・姿勢と、の２つの位置・姿勢に基づき、該２つの位置・姿勢の差を算出するカメラ位置姿勢差算出部と、
   前記カメラ位置姿勢差算出部の算出結果に基づき前記電子カメラの向きを制御するカメラ向き制御部と、を有することを特徴とする頭部装着式映像表示装置。
2. 前記カメラ向き制御部は、前記カメラ位置姿勢差算出部で算出された前記２つの位置・姿勢の差と予め設定しておいた該２つの位置・姿勢の差に係わる基準値とを比較し、比較結果に基づいて前記電子カメラの向きを制御することを特徴とする請求項１に記載の頭部装着式映像表示装置。
3. 前記２つの位置・姿勢の差をＸ₁とした時、前記カメラ位置姿勢差算出部は、以下（１）式に基づいて前記Ｘ₁を算出することを特徴とする請求項１または２に記載の頭部装着式映像表示装置。
   

   

   （１）
   但し、Ｍ₀は同時座標系における前記第１の位置・姿勢を示す行列、Ｍ₁は同時座標系における前記第２の位置・姿勢を示す行列である。

Images