JP5507797B2 - 頭部装着型撮像表示装置及び画像生成装置 - Google Patents

Description

本発明は、頭部装着型撮像表示装置に関し、特に、視差画像を左右両眼に提示することにより、三次元表示を行うことの可能な頭部装着型撮像表示装置に関する。
また、本発明はこのような頭部装着型撮影表示装置に表示するための画像を生成する画像生成装置に関する。

近年、現実空間中に仮想物体が存在するような複合現実感（ＭＲ）を体験させるＭＲシステムが知られている。ＭＲシステムでは、観察者視点で撮像した現実空間の実写画像と、仮想物体を表すコンピュータグラフィックス（ＣＧ）画像とを位置合わせして合成した合成画像を生成し、観察者に提示する。

この際、観察者に合成画像を提示する表示装置として、頭部装着型表示装置（ＨＭＤ）が一般に利用されている。そして、通常、ＭＲシステムで用いるＨＭＤには、観察者視点の現実空間画像を撮像するための撮像装置が設けられている。ＨＭＤが左右の目に独立した映像を提示可能に構成されている場合、撮像装置もまた右眼用、左眼用に独立した構成を有することが多い。以下、撮像装置が設けられたＨＭＤを頭部装着型撮像表示装置と呼ぶ。

このような頭部装着型撮像表示装置において、一対の撮像装置の撮像方向と、撮像装置が撮像した左右の画像に合成する一対のＣＧ画像の視差が一致していない場合、観察されるＣＧ画像は不自然なものとなり、現実空間との一体感が得られない。さらに、不自然な画像を観察しつづけることによる疲労感を観察者に与える恐れがある。

この問題を解決するため、観察者の眼幅にあわせて表示部ユニットを調整し、その調整量に応じた視差を含むＣＧ画像を生成するとともに、左右両眼に対応する撮像光学系の光軸と、表示光学系の光軸とを略一致させようとする技術が提案されている。

特開２００６−１０８８６８号公報

上述の従来技術によれば、眼幅調整を行い、その視差を考慮した画像を生成させ、さらに撮像光軸と表示光軸を一致させることにより、現実画像と仮想画像の視差を一致させる効果は期待できそうである。しかしながら、この効果が期待されるのは、頭部装着型撮像表示装置において、撮像装置の撮像方向や基線長といった値が設計値通りに組み立てられている場合に限定される。

これらが設計値と異なった値で組み立てられている場合には、結局のところ、実写画像とＣＧ画像の視差の不一致は解消されない。そのため、依然として頭部装着型撮像表示装置を装着した観察者に対して違和感を与えたり、疲労感を与えたりしてしまう恐れがあった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、現実空間の撮像画像と仮想物体の画像との視差の違いを低減した合成画像を生成可能とする頭部装着型撮像表示装置を提供することを目的とする。

上述の目的は、観察者の頭部に装着して用いるための頭部装着型撮像表示装置であって、現実空間を撮像し、撮像画像を出力する撮像手段と、予め測定した撮像手段の撮像パラメータを記憶する記憶手段と、撮像パラメータと三次元形状モデルとに基づいて仮想画像を生成する生成手段と、撮像画像と仮想画像とを合成して合成画像を生成する合成手段と、を有し、撮像パラメータは、較正用のパターンを撮像手段で撮像することにより取得したパラメータであって、撮像手段の設計値からのずれにより生じる仮想画像のずれを防ぐためのパラメータであることを特徴とする頭部装着型撮像表示装置によって達成される。

また、上述の目的は、観察者の頭部に装着して用いるための頭部装着型撮像表示装置であって、現実空間を撮像し、撮像画像を出力する撮像手段と、予め測定した撮像手段の撮像パラメータを記憶する記憶手段と、撮像パラメータと撮像画像とを外部装置へ出力する出力手段と、撮像パラメータと三次元形状モデルとに基づいて生成される仮想画像と撮像画像とが合成された合成画像を取得する取得手段と、を有し、撮像パラメータは、較正用のパターンを撮像手段で撮像することにより取得したパラメータであって、撮像手段の設計値からのずれにより生じる仮想画像のずれを防ぐためのパラメータであることを特徴とする頭部装着型撮像表示装置によっても達成される。

このような構成により、本発明の頭部装着型撮像表示装置を用いることにより、現実空間の撮像画像と仮想物体の画像との視差の違いを低減した合成画像の生成を実現できる。

以下、図面を参照して本発明の好適な実施形態について説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る頭部装着型撮像表示装置を用いたＭＲシステムの構成例を示す図である。
なお、本実施形態においては、頭部装着型撮像表示装置がＣＧ画像の生成や実写画像との合成といった合成画像生成処理を行なう構成を備える場合を例として説明する。しかし、合成画像の生成に係る構成は頭部装着型撮像表示装置において必須ではなく、同様の処理を外部装置において実施してもよい。

頭部装着型撮像表示装置１０は、観察者の右眼１００Ｒおよび左眼１００Ｌに対応した一対の右眼光学ユニット１１０Ｒおよび左眼光学ユニット１１０Ｌと、一対の右眼用映像信号生成部２０Ｒおよび左眼用映像信号生成部２０Ｌを有する。光学ユニット１１０Ｒ、１１０Ｌは、表示ユニット１３Ｒ、１３Ｌと、映像入力部１４Ｒ、１４Ｌと撮像ユニット１８Ｒ、１８Ｌと、撮像画像出力部１ＣＲ、１ＣＬと撮像パラメータ記憶部２６Ｒ、２６Ｌと、を有している。表示ユニット１３Ｒ、１３Ｌはそれぞれ右眼用の画像を表示する右眼用表示装置、左眼用の画像を表示する左眼用表示装置として機能する。表示ユニット１３Ｒ、１３Ｌは、表示デバイスとしての液晶モジュール１１Ｒ、１１Ｌと、液晶モジュール１１Ｒ、１１Ｌでの表示画像を拡大させる拡大光学系１２Ｒ、１２Ｌと、を有している。

液晶モジュール１１Ｒ、１１Ｌは、ｐ−ＳｉＴＦＴやＬＣＯＳ(Liquid Crystal On Silicon)などの液晶パネルと、液晶パネルを駆動する駆動回路等の周辺回路と、バックライト又はフロントライト等の光源を有する（何れも図示せず）。この液晶モジュール１１Ｒ、１１Ｌは拡大光学系１２Ｒ、１２Ｌの結像面上に配置されている。そのため、液晶モジュール１１Ｒ、１１Ｌ上に描画された画像は拡大光学系１２Ｒ、１２Ｌ中の光学素子を通過したのち、頭部装着型撮像表示装置１０を装着する観察者の右眼１００Ｒ、左眼１００Ｌに向けて射出される。これにより、頭部装着型撮像表示装置１０の観察者は、液晶モジュール１１Ｒ、１１Ｌでの表示画像を、拡大された状態で観察することができる。

ステレオ撮像装置である一対の撮像ユニット１８Ｒ、１８ＬはＣＭＯＳセンサやＣＣＤセンサ等の撮像素子１９Ｒ、１９Ｌと、撮像素子１９Ｒ、１９Ｌを駆動する駆動回路（不図示）と、撮像レンズ１ＡＲ、１ＡＬとを有している。撮像素子１９Ｒ、１９Ｌの撮像面には、撮像レンズ１ＡＲ、１ＡＬによって被写体の光学像が形成され、この光学像は撮像素子１９Ｒ、１９Ｌの光電変換作用によって画素単位の電気信号に変換される。撮像ユニット１８Ｒ、１８Ｌは、現実空間のステレオ撮像画像を撮像し、出力する。本実施形態において、撮像ユニット１８Ｒ、１８Ｌ及び表示ユニット１３Ｒ、１３Ｌは、撮像ユニット１８Ｒ、１８Ｌの撮像光軸と表示ユニット１３Ｒ、１３Ｌの射出側の光軸とが略一致するように配置されている。

撮像パラメータ記憶部２６Ｒ、２６Ｌは撮像光軸方向や基線長、主点位置、焦点距離、x,y,z各軸のアオリ値、レンズ歪補正データなど、撮像ユニット１８Ｒ、１８Ｌの撮像光学系の撮像範囲や光軸を定義するパラメータを記憶する。撮像パラメータ記憶部２６Ｒ、２６Ｌは、例えばEEPROMなどのように電源が切断されてもその内容が消去されない不揮発性記憶素子で構成されている。

映像信号生成装置２０Ｒ、２０Ｌはそれぞれ撮像パラメータ入力部２３Ｒ、２３Ｌと、視差画像生成部２２Ｒ、２２Ｌと、映像出力部２１Ｒ、２１Ｌと、撮像画像入力部２５Ｒ、２５Ｌと、画像演算部２７Ｒ、２７Ｌを有する。映像信号生成装置２０Ｒ、２０Ｌは、右眼光学ユニット１１０Ｒおよび左眼光学ユニット１１０Ｌからの撮像画像と撮像パラメータとを用い、右眼、左眼用の映像信号を生成して出力する。

撮像素子１９Ｒ、１９Ｌが出力する、被写体光学像に対応する電気信号に対し、撮像画像出力部１ＣＲ、１ＣＬは、Ａ／Ｄ変換や増幅などの電気的な処理を施し、映像信号生成装置２０Ｒ、２０Ｌの撮像画像入力部２５Ｒ、２５Ｌに供給する。

撮像パラメータ入力部２３Ｒ、２３Ｌは、撮像パラメータ記憶部２６Ｒ、２６Ｌの記録内容を読み出し、読み出した撮像パラメータを視差画像生成部２２Ｒ、２２Ｌに出力する。
視差画像生成部２２Ｒ，２２Ｌは、入力された撮像パラメータと、仮想物体の三次元モデル情報に基づいて、右眼用および左眼用の仮想物体の画像（視差画像）を生成する。

画像合成手段としての画像演算部２７Ｒ、２７Ｌは、画像取得手段としての撮像画像入力部２５Ｒ、２５Ｌからのステレオ撮像画像と、視差画像生成部２２Ｒ，２２Ｌからの視差画像とを合成し、右眼用及び左眼用の合成画像を生成する。この合成画像は、映像出力部２１Ｒ、２１Ｌを通じて映像入力部１４Ｒ、１４Ｌへ供給される。

（動作）
このような構成を有する頭部装着型撮像表示装置１０における、ＣＧ画像と実写画像との位置合わせ動作について説明する。
なお、上述の通り、本実施形態においては、撮像ユニット１８Ｒ、１８Ｌの撮像光軸と表示ユニット１３Ｒ、１３Ｌの射出側の光軸とが略一致するように配置されているため、以下の説明においては、単に光学ユニットの光軸と表現する。

図２は、頭部装着型撮像表示装置１０の組立が正しく行われた場合の右眼光学ユニット１１０Ｒ、左眼光学ユニット１１０Ｌの光軸１０１Ｒ、１０１Ｌと、現実空間中の物体との位置関係の例を示す上面図である。

このような位置関係において、図４に示すように、現実空間中の現実物体１２０上の平坦部１２０ａに仮想物体１３０を積載する画像を合成する場合を考える。図２に示すように、左右両光学ユニット１１０Ｒ、１１０Ｌは互いに輻輳角度θで設計され、結像面から距離Ｄの点で右眼光学ユニット１１０Ｒと左眼光学ユニット１１０Ｌの両光軸１０１Ｒ、１０１Ｌが交差するものとする。

また、右眼光学ユニット１１０Ｒが正しい輻輳角θで取り付けられた場合、撮像ユニット１８Ｒによって図５に示される撮像領域１５０で囲まれる部分が撮像されるものとする。しかしながら、製造過程においてしばしば輻輳角がずれて取り付けられることがある。

例えば、右眼光学ユニット１１０Ｒが図３で示されるように、輻輳角度θ'で取り付けられたとすると、撮像ユニット１８Ｒによって撮像される範囲は、図６における撮像領域１５０’で囲まれる部分となり、本来の撮像領域１５０と異なる。

右眼光学ユニット１１０Ｒが実際に取り付けられた輻輳角θ’についての情報が得られない場合、撮像ユニット１８Ｒが撮像した現実空間画像に正しく位置合わせされて表示されるような仮想物体１３０のＣＧ画像（視差画像）を生成することができない。

このように、実際の輻輳角θ’が設計値θとずれているにも関わらず、設計値θに従って視差画像を生成して現実画像と合成すると、図８に示すように、本来配置したい場所とずれた位置に仮想物体が表示される。

ここでは光学ユニット１１０の取り付け角が左右方向にずれた場合を説明したが、上下方向の取り付け角にもズレが生じることもある。その場合、図７に示すような、仮想物体１３０が現実物体１２０に埋没した合成画像や、図８に示すような、仮想物体１３０が空中に浮遊した合成画像が生成されてしまう。

それに対し、本実施形態では、個々の頭部装着型撮像表示装置１０に固有の視差情報を、撮像パラメータとして撮像パラメータ記憶部２６Ｒ、２６Ｌに記憶している。ここで、本実施形態における視差情報としては、以下のようなものが例示できる。
・撮像ユニット１８Ｒ、１８Ｌと表示ユニット１３Ｒ，１３Ｌの正確な基線長、
・実際の輻輳角度θ、
・撮像ユニット１８Ｒ、１８Ｌの撮像光学系の焦点距離、撮像画角、Ｆナンバー、主点位置、
・光学ユニット１１０の光軸方向
等である。なお、撮像ユニット１８Ｒ、１８Ｌが撮像する画像と同じ視差を有する視差画像を生成可能であれば、撮像パラメータはこれら例示したパラメータより少なくてもよいし、逆により多くのパラメータを記憶しておいても良い。

これらの撮像パラメータを予め測定若しくは算出しておき、頭部装着型撮像表示装置１０の光学ユニット１１０固有のパラメータとして撮像パラメータ記憶部２６Ｒに保存しておく。

そして、撮像ユニット１８Ｒ、１８Ｌが撮像した現実画像に重畳する仮想物体１３０の視差画像を視差画像生成部２２Ｒ，２２Ｌで生成する際に、撮像パラメータ記憶部２６Ｒ、２６Ｌから光学ユニット１１０特有の撮像パラメータを読み出して使用する。

このように、光学ユニット１１０に固有の撮像パラメータを用いて視差画像を生成することにより、現実画像と正しく位置合わせされた仮想物体１３０の画像が生成される。そのため、例えば図３に示したように光学ユニット１１０Ｒの輻輳角度θ’が設計値θと異なる場合でも、視差画像生成部２２Ｒは仮想物体１３０の視差画像を、実際の輻輳角度θ'を始め、光学ユニット１１０Ｒに固有な撮像パラメータに応じて生成する。なお、仮想物体１３０の三次元モデル情報（形状や色、テクスチャ、三次元位置などに関する情報）は予め視差画像生成部２２Ｒ，２２Ｌに記憶されているものとする。

同様に、視差画像生成部２２Ｌにおいても、光学ユニット１１０Ｌに固有な撮像パラメータを撮像パラメータ記憶部２６Ｌから読み出し、読み出した撮像パラメータと仮想物体の三次元モデル情報を用いて左眼用の視差画像を生成する。

視差画像生成部２２Ｒ，２２Ｌが生成した視差画像は、画像演算部２７Ｒ，２７Ｌに転送され、撮像ユニット１８Ｒ，１８Ｌが撮像した現実空間の撮像画像と加算、乗算、あるいは減算や除算などの演算処理が施され、右眼用、左眼用の合成画像が生成される。

右眼用合成画像及び左眼用合成画像は映像出力部２１Ｒ、２１Ｌに転送され、映像入力部１４Ｒ，１４Ｌを介して表示ユニット１３Ｒ，１３Ｌの液晶モジュール１１Ｒ，１１Ｌに表示される。上述のように、液晶モジュール１１Ｒ，１１Ｌの表示内容は拡大光学系１２Ｒ，１２Ｌにより拡大された後、頭部装着型撮像表示装置１０を装着する観察者の右眼１００Ｒ及び左眼１００Ｌへ投影される。

このように、本実施形態によれば、撮像ユニット１８Ｒ、１８Ｌが撮像する現実空間の画像に、正しく位置合わせされた仮想物体１３０の視差画像を合成することができる。従って、画像演算部２７Ｒ、２７Ｌの生成する合成画像を観察する観察者は、現実空間中の現実物体１２０上に仮想物体１３０が正しく配置されているように知覚することができる。

なお、撮像パラメータ記憶部２６Ｒ、２６Ｌに記憶する各撮像パラメータ（カメラパラメータ）は、許容できる精度でパラメータ値が得られさえすれば、任意の方法により測定することが可能である。例えば特開2003-244521号公報に開示されているようにして測定することもできる。これは、較正用のパターンを撮像ユニット１８Ｒ、１８Ｌで撮像し、撮像画像を解析することによって撮像ユニット１８Ｒ、１８Ｌが撮像のカメラパラメータを算出あるいは推定する方法である。

なお、上述の通り、本実施形態においては頭部装着型撮像表示装置１０に映像信号生成装置２０Ｒ、２０Ｌが組み込まれた構成について説明したが、視差画像や合成画像の生成処理は外部機器で行っても良い。

このとき、映像信号生成装置２０Ｒ，２０Ｌにおける視差画像生成部２２Ｒ，２２Ｌ及び画像演算部２７Ｒ、２７Ｌは、例えばソフトウェアプログラムをコンピュータで実行することによってソフトウェア的に実現することができる。また、撮像画像出力部１ＣＲ、１ＣＬ及び撮像画像入力部２５Ｒ、２５Ｌは、ＵＳＢやＩＥＥＥ１３９４などの規格に準じた有線通信インタフェース、あるいは、ＩＥＥＥ８０２．１１ｘ等の規格に準じた無線通信インタフェースによって実現することができる。映像入力部１４Ｒ、１４Ｌや映像出力部２１Ｒ，２１Ｌについても同様のインタフェースによって実現することができる。

以上説明したように、本実施形態によれば、撮像装置と表示装置とを備えた頭部装着型撮像表示装置において、撮像装置が有する撮像光学系に固有な撮像パラメータを記憶しておく。これにより、撮像装置が撮像した画像がどのような条件で撮像されたものかを知ることが可能になる。そのため、例えば撮像装置が撮像した画像に位置合わせして仮想物体の画像を合成する場合には、位置合わせ精度の高い合成画像を生成することが可能となるという効果が得られる。特に、複合現実感（Mixed Reality）や仮想現実感（Virtual Reality）を観察者に与えるための合成画像を生成する場合に有効である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図９は、本発明の第２の実施形態に係る頭部装着型撮像表示装置を用いたＭＲシステムの構成例を示す図である。図９において、第１の実施形態１で説明した部材と同じ部材については同一符号を用い、詳細な説明は省略する。

本実施形態の画像表示システムは、第１の実施形態と同様ＭＲシステムであるため、頭部装着型撮像表示装置４０も基本的な構成は頭部装着型撮像表示装置１０と共通している。異なる点は、左右それぞれの撮像光学系および表示光学系が一体になってその基線長を変更可能に構成されている点である。具体的には、本実施形態の頭部装着型撮像表示装置４０は、頭部装着型撮像表示装置１０の構成に加えて、眼幅調整器１７、制御部１６および眼幅信号出力部１５を有している。

このような構成により、観察者毎の眼幅に基線長を調整することが可能となる。従って、調整後の基線長を考慮した合成画像を生成することにより、観察者の負担を一層軽減することが可能になる。

その一方で、基線長が可変であるため、第１の実施形態のように予め測定した固定値を撮像パラメータとして記憶しておき、その値を利用するという方法では、調整された眼幅を反映した視差画像を生成することができない。
そのため、本実施形態においては、左右毎に一体化されている撮像光学系、表示光学系の基線長を、眼幅データとして以下のようにして取得、算出する。

制御部１６は眼幅調整器１７で調整した眼幅設定値を電気的な信号として読み取り、眼幅信号出力部１５にデータを渡す。眼幅信号出力部１５は、眼幅設定値に対応する信号を撮像パラメータ入力部２３Ｒ、２３Ｌへ出力する。

パラメータ取得手段としての撮像パラメータ入力部２３Ｒ、２３Ｌは、眼幅信号出力部１５から受け取った信号に応じた撮像パラメータを撮像パラメータ記憶部２６Ｒ、２６Ｌから読み出す。本実施形態における撮像パラメータ記憶部２６Ｒ、２６Ｌには、複数の基線長の各々に対応付けられた各種撮像パラメータが予め測定、記憶されており、基線長に応じた撮像パラメータが読み出される。

図１０は、眼幅調整器１７の具体的な構成例を示す図である。
図１０において、眼幅調整器１７は、一対のラック３３Ｒ，３３Ｌと、歯車３２と、調整用ツマミ３１及びロータリーエンコーダ３０とを有する。

調整用ツマミ３１と歯車３２は同じ軸に固定されており、ロータリーエンコーダ３０はこの軸の回転量、即ち調整用ツマミ３１の回転角度を検出する。一対のラック３３Ｒ，３３Ｌは、それぞれ一端を右眼光学ユニット１１０Ｒと左眼光学ユニット１１０Ｌに固定され、他端部分が歯車３２とかみ合うように構成されている。

このような構成の眼幅調整器１７によれば、観察者が調整用ツマミ３１を回転させることで、左右の光学ユニット１１０Ｌ，１１０Ｒが相反する方向に同時に同じ量だけ平行移動し、基線長が変化する。具体的には、図１０において時計回りに調整用ツマミ３１が回転すると、ラック３３Ｒ，３３Ｌは光学ユニット１１０Ｒ、１１０Ｌが離間する方向に移動する。

調整用ツマミ３１の回転角度（若しくは歯車３２の回転角度）をロータリーエンコーダ３０により検知する。このロータリーエンコーダ３０は内部に不図示のクリック機構を具備しており、所定の回転角度毎に停止可能に構成されている。

本実施形態の頭部装着型撮像表示装置４０の製造組み立て段階の調整時において、ロータリーエンコーダ３０のクリック機構に対応した所定の角度毎に、対応する撮像パラメータを計測する。そして、計測結果を、ＥＥＰＲＯＭ等の不揮発性記憶素子で構成される撮像パラメータ記憶部２６Ｒ、２６Ｌに保存しておく。

本実施形態においても、撮像パラメータは第１の実施形態と同様、
・撮像ユニット１８Ｒ、１８Ｌと表示ユニット１３Ｒ，１３Ｌの基線長、
・実際の輻輳角度θ、
・撮像ユニット１８Ｒ、１８Ｌの撮像光学系の焦点距離、撮像画角、Ｆナンバー、主点位置、
・光学ユニット１１０の光軸方向
等である。

これら複数のパラメータを１セットとして、調整用ツマミ３１の回転角度、換言すれば調整された眼幅に対応した複数セットの撮像パラメータが撮像パラメータ記憶部２６Ｒ、２６Ｌに記憶されている。

そして、マイコン等を使用した回路で構成される制御部１６にて、ロータリーエンコーダ３０が軸の回転に応じて出力するパルスから、現在の軸の回転角度に対応した値、詰まりは眼幅に対応した値を求める。基線長取得手段としての制御部１６は、回転角度に対応した値を眼幅信号出力部１５へ出力する。なお、ロータリーエンコーダ３０が回転軸の絶対的な回転量を検出可能な方式であれば、直接ロータリーエンコーダ３０の出力を眼幅信号出力部１５へ供給することも可能である。

そして、パラメータ取得手段としての撮像パラメータ入力部２３Ｒ、２３Ｌは、眼幅信号出力部１５からの値に対応する撮像パラメータを撮像パラメータ記憶部２６Ｒ、２６Ｌから読み出す。

なお、前出のクリック機構はロータリーエンコーダ３０が内蔵している必要はない。例えば図１１に示すように、ラック３３Ｌに複数の溝３３１と、ラック３３Ｌを図の上方に付勢するとともに、溝３３１と略対応する部分３４ａを有するばね３４を設けることでも同様の構成が得られる。つまり、図１１の構成によっても、光学ユニット１１０の停止する位置は、溝３３１の間隔によって段階的とすることができる。

また、ロータリーエンコーダ３０以外を用いて、光学ユニット１１０の位置を検出してもよい。例えば、可変抵抗器によるリニアポテンショメータや、光学ユニットに磁石を付与し、磁気勾配を検出する手段を利用してもいい。

また、クリック機能のような、光学ユニット１１０の停止位置を規制する機構を持たない場合は、製造組み立て段階の調整時において測定した回転角度（若しくは眼幅）以外の回転角度（若しくは眼幅）に対応する撮像パラメータが存在しない。しかし、前後の回転角度に対応する撮像パラメータを補間することにより、実際の回転角度（若しくは眼幅）に対応する撮像パラメータを決定することができる。

撮像パラメータ入力部２３Ｒ、２３Ｌによる撮像パラメータの読み出し方法は任意であるが、例えば撮像パラメータ入力部２３Ｒ、２３Ｌから読み出しリクエストを撮像パラメータ記憶部２６Ｒ、２６Ｌに送信する。ここで撮像パラメータ記憶部２６Ｒ、２６Ｌは複数の回転角度／眼幅と撮像パラメータとを対応付けて記憶している。そのため、リクエスト信号中に回転角度／眼幅を含ませることでその回転角度に対応した撮像パラメータを撮像パラメータ記憶部２６Ｒ、２６Ｌ中から読み出すことができる。

そして、視差画像生成部２２Ｒ、２２Ｌにおいて、撮像パラメータ入力部２３Ｒ、２３Ｌが読み出した撮像パラメータに応じた、仮想物体の視差画像を生成する。画像演算部２７Ｒ、２７Ｌは、視差画像生成部２２Ｒ、２２Ｌからの視差画像と、撮像画像入力部２５Ｒ、２５Ｌからのステレオ撮像画像とを合成し、合成画像を生成する。そして、画像演算部２７Ｒ、２７Ｌは、合成画像を映像出力部２１Ｒ、２１Ｌを介して頭部装着型撮像表示装置４０の映像入力部１４Ｒ、１４Ｌに出力する。

この結果、液晶モジュール１１Ｒ、１１Ｌには、撮像画像および視差画像が重畳された合成画像が表示される。本実施形態においては、眼幅調整器１７を有することにより、観察者の視線と、撮像ユニット１８Ｒ、１８Ｌ及び表示ユニット１３Ｒ、１３Ｌの光軸１０１Ｒ、１０１Ｌとの視差を概ね無くすことができる。

そのため、頭部装着型撮像表示装置４０を装着したときと、装着していないときとで、概ね同じ状態で視認することができる。そのため、観察者の疲労感を抑制することが可能となる。

なお、図１２に示すように、観察者の左眼の光軸（左表示ユニット１３Ｌの光軸）１０２Ｌを含む面に対して直交し、かつ左眼の光軸１０２Ｌを含む面の中に撮像ユニット１８Ｌの光軸１０１Ｌが位置するように撮像ユニット１８Ｌを配置してもよい。同様に、観察者の右眼の光軸（右表示ユニット１３Ｒの光軸）１０２Ｒを含む面に対して直交し、かつ右眼の光軸１０２Ｒを含む面の中に撮像ユニット１８Ｒの光軸１０１Ｒが位置するように撮像ユニット１８Ｒを配置してもよい。

なお、本実施形態においては、眼幅を手動で調整する構成についてのみ説明した。しかし、例えば視線検出技術を用いて、観察者の視線が光学ユニットの光軸と合致するように自動的に眼幅を調整するような頭部装着型撮像表示装置であっても、本発明を適用可能である。この場合、眼幅の調整機構が異なるだけであって、調整後の眼幅（基線長）の値に対応した値さえ取得できれば、第２の実施形態をそのまま適用できる。

本実施形態においては、第１の実施形態の効果に加え、眼幅調整器１７を操作して調整された眼幅に応じた撮像パラメータを用いて視差画像を生成するので、観察者の負担を一層軽減できるという効果を達成できる。

なお、本実施形態においても、第１の実施形態と同様、頭部装着型撮像表示装置４０に映像信号生成装置２０Ｒ、２０Ｌが組み込まれた構成について説明したが、視差画像や合成画像の生成処理は外部機器で行っても良い。

（第３の実施形態）
上述の実施形態においては、頭部装着型撮像表示装置に固有な撮像パラメータを、頭部装着型撮像表示装置自体に記憶しておく構成を説明した。しかし、個々の頭部装着型撮像表示装置と対応する固有撮像パラメータを取得可能であれば、撮像パラメータの保存場所は対応する頭部装着型撮像表示装置内である必要はない。

例えば、複数の頭部装着型撮像表示装置を利用するＭＲシステムを構築する場合、頭部装着型撮像表示装置を識別可能な識別情報と、対応する固有撮像パラメータとを対応付けて頭部装着型撮像表示装置とは別の管理装置に保存しておくことができる。

そして、ＭＲシステムに接続された頭部装着型撮像表示装置から識別情報を取得し、対応する撮像パラメータを管理装置から取得し、当該頭部装着型撮像表示装置用の合成画像を生成することができる。

このように、撮像パラメータを使用する装置が、頭部装着型撮像表示装置に対応した撮像パラメータを取得できさえすれば、撮像パラメータはどのような場所に保管してあってもよい。

本発明の第１の実施形態に係る頭部装着型撮像表示装置を用いたＭＲシステムの構成例を示す図である。 頭部装着型撮像表示装置１０の組立が正しく行われた場合の右眼光学ユニット１１０Ｒ、左眼光学ユニット１１０Ｌの光軸１０１Ｒ、１０１Ｌと、現実空間中の物体との位置関係の例を示す上面図である。 頭部装着型撮像表示装置１０の組立が正しく行われなかった場合の右眼光学ユニット１１０Ｒ、左眼光学ユニット１１０Ｌの光軸１０１Ｒ、１０１Ｌと、現実空間中の物体との位置関係の例を示す上面図である。 本発明の第１の実施形態におけるＭＲシステムにおいて提示される現実空間の画像と仮想物体の画像との融合例を示した図である。 図２における右眼光学ユニットで撮像される現実空間の領域の例を示す図である。 図３における右眼光学ユニットで撮像される現実空間の領域の例を示す図である。 、 光学ユニットの輻輳角度が設計値とずれたにも関わらず、設計値を用いて視差画像を生成した場合の合成画像の例を示す図である。 本発明の第２の実施形態に係る頭部装着型撮像表示装置を用いたＭＲシステムの構成例を示す図である。 本発明の第２の実施形態に係る頭部装着型撮像表示装置における眼幅調整器の構成例を示す図である。 本発明の第２の実施形態に係る頭部装着型撮像表示装置における眼幅調整のクリック機構の別の例を示す図である。 本発明の第２の実施形態に係る頭部装着型撮像表示装置における撮像ユニットの他の配置例について説明する図である。

Claims (19)

1. 観察者の頭部に装着して用いるための頭部装着型撮像表示装置であって、
   現実空間を撮像し、撮像画像を出力する撮像手段と、
   予め測定した前記撮像手段の撮像パラメータを記憶する記憶手段と、
   前記撮像パラメータと三次元形状モデルとに基づいて仮想画像を生成する生成手段と、
   前記撮像画像と前記仮想画像とを合成して合成画像を生成する合成手段と、を有し、
   前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とする頭部装着型撮像表示装置。
2. 前記合成画像を表示する表示手段を更に有することを特徴とする請求項１に記載の頭部装着型撮像表示装置。
3. 前記撮像手段は、左眼用撮像手段と右眼用撮像手段とを有し、
   前記表示手段は、左眼用表示手段と右眼用表示手段とを有し、
   前記左眼用表示手段と前記左眼用撮像手段とが一体化され、前記右眼用表示手段と前記右眼用撮像手段とが一体化されていることを特徴とする請求項２記載の頭部装着型撮像表示装置。
4. 前記左眼用表示手段と前記左眼用撮像手段の光軸が一致するように配置され、前記右眼用表示手段と前記右眼用撮像手段の光軸が一致するように配置されることを特徴とする請求項３記載の頭部装着型撮像表示装置。
5. 一体化された前記左眼用表示手段および前記左眼用撮像手段と、一体化された前記右眼用表示手段および前記左眼用撮像手段とを、前記左眼用撮像手段と前記右眼用撮像手段との基線長が変化するように移動させる調整機構をさらに有することを特徴とする請求項３又は請求項４記載の頭部装着型撮像表示装置。
6. 前記記憶手段が、複数の前記基線長の各々に対して前記撮像パラメータを記憶することを特徴とする請求項５記載の頭部装着型撮像表示装置。
7. 前記基線長を前記調整機構から取得する基線長取得手段と、
   前記記憶手段から前記取得した基線長に対する前記撮像パラメータを取得するパラメータ取得手段と、
   前記取得した撮像パラメータと前記三次元モデル情報とを用いて、前記右眼用の画像と前記左眼用の画像とを生成するための仮想物体の画像を生成する生成手段と、
   をさらに有することを特徴とする請求項５または請求項６記載の頭部装着型撮像表示装置。
8. 現実空間の撮像画像と仮想物体の画像とを合成した合成画像を生成する画像生成装置であって、
   前記撮像画像を取得する画像取得手段と、
   予め測定された、前記撮像画像を撮影した装置の撮像パラメータを取得するパラメータ取得手段と、
   前記撮像パラメータと前記仮想物体の三次元モデル情報とを用いて、前記仮想物体の画像を生成する画像生成手段と、
   前記撮像画像と前記仮想物体の画像とを合成して前記合成画像を生成する合成手段と、を有し、
   前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とする画像生成装置。
9. 前記撮像パラメータは、輻輳角または基線長の少なくとも一方を含むことを特徴とする請求項８に記載の画像生成装置。
10. 観察者の頭部に装着して用いるための頭部装着型撮像表示装置であって、
    現実空間を撮像し、撮像画像を出力する撮像手段と、
    予め測定した前記撮像手段の撮像パラメータを記憶する記憶手段と、
    前記撮像パラメータと前記撮像画像とを外部装置へ出力する出力手段と、
    前記撮像パラメータと三次元形状モデルとに基づいて生成される仮想画像と前記撮像画像とが合成された合成画像を取得する取得手段と、を有し、
    前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とする頭部装着型撮像表示装置。
11. 前記合成画像を表示する表示手段を更に備えることを特徴とする請求項１０に記載の頭部装着型撮像表示装置。
12. 前記撮像パラメータは、輻輳角または基線長の少なくとも一方を含むことを特徴とする請求項１乃至７、１０、１１のいずれか１項に記載の頭部装着型撮像表示装置。
13. 前記撮像手段は、左眼用撮像手段と右眼用撮像手段とを有し、
    前記表示手段は、左眼用表示手段と右眼用表示手段とを有し、
    前記左眼用表示手段と前記左眼用撮像手段とが一体化され、前記右眼用表示手段と前記右眼用撮像手段とが一体化されていることを特徴とする請求項１０乃至１２のいずれか１項に記載の頭部装着型撮像表示装置。
14. 前記左眼用表示手段と前記左眼用撮像手段の光軸が一致するように配置され、前記右眼用表示手段と前記右眼用撮像手段の光軸が一致するように配置されることを特徴とする請求項１３記載の頭部装着型撮像表示装置。
15. 観察者の頭部に装着して用いるための頭部装着型撮像表示装置と、現実空間の撮像画像と仮想物体の画像とを合成した合成画像を生成する画像生成装置とを有するシステムであって、
    前記頭部装着型撮像表示装置が、
    現実空間を撮像し、撮像画像を出力する撮像手段と、
    予め測定した前記撮像手段の撮像パラメータを記憶する記憶手段と、
    前記撮像パラメータと前記撮像画像とを前記画像生成装置へ出力する出力手段と、
    前記撮像パラメータと三次元形状モデルとに基づいて生成される仮想画像と前記撮像画像とが合成された合成画像を前記画像生成装置から取得する取得手段と、を有し、
    前記画像生成装置が、
    前記撮像画像と、前記予め測定された、前記撮像手段の撮像パラメータとを前記頭部装着型撮像表示装置から取得するパラメータ取得手段と、
    前記撮像パラメータと前記仮想物体の三次元モデル情報とを用いて、前記仮想物体の画像を生成する画像生成手段と、
    前記撮像画像と前記仮想物体の画像とを合成した前記合成画像を、前記頭部装着型撮像表示装置に出力する合成手段と、を有し、
    前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とするシステム。
16. 観察者の頭部に装着して用いるための頭部装着型撮像表示装置の制御方法であって、
    撮像手段が、現実空間を撮像し、撮像画像を出力する撮像工程と、
    生成手段が、予め測定した前記撮像手段の撮像パラメータと三次元形状モデルとに基づいて仮想画像を生成する生成工程と、
    合成手段が、前記撮像画像と前記仮想画像とを合成して合成画像を生成する合成工程と、を有し、
    前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とする頭部装着型撮像表示装置の制御方法。
17. 現実空間の撮像画像と仮想物体の画像とを合成した合成画像を生成する画像生成装置の制御方法であって、
    画像取得手段が、前記撮像画像を取得する画像取得工程と、
    パラメータ取得手段が、予め測定された、前記撮像画像を撮影した装置の撮像パラメータを取得するパラメータ取得工程と、
    画像生成手段が、前記撮像パラメータと前記仮想物体の三次元モデル情報とを用いて、前記仮想物体の画像を生成する画像生成工程と、
    合成手段が、前記撮像画像と前記仮想物体の画像とを合成して前記合成画像を生成する合成工程と、を有し、
    前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とする画像生成装置の制御方法。
18. 観察者の頭部に装着して用いるための頭部装着型撮像表示装置の制御方法であって、
    撮像手段が、現実空間を撮像し、撮像画像を出力する撮像工程と、
    出力手段が、予め測定した前記撮像手段の撮像パラメータと前記撮像画像とを外部装置へ出力する出力工程と、
    取得手段が、前記撮像パラメータと三次元形状モデルとに基づいて生成される仮想画像と前記撮像画像とが合成された合成画像を取得する取得工程と、を有し、
    前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とする頭部装着型撮像表示装置の制御方法。
19. 観察者の頭部に装着して用いるための頭部装着型撮像表示装置と、現実空間の撮像画像と仮想物体の画像とを合成した合成画像を生成する画像生成装置とを有するシステムの制御方法であって、
    前記頭部装着型撮像表示装置において、
    撮像手段が、現実空間を撮像し、撮像画像を出力する撮像工程と、
    出力手段が、予め測定した前記撮像手段の撮像パラメータと前記撮像画像とを前記画像生成装置へ出力する出力工程と、
    取得手段が、前記撮像パラメータと三次元形状モデルとに基づいて生成される仮想画像と前記撮像画像とが合成された合成画像を前記画像生成装置から取得する取得工程と、
    前記画像生成装置において、
    パラメータ取得手段が、前記撮像画像と、前記予め測定された、前記撮像手段の撮像パラメータとを前記頭部装着型撮像表示装置から取得するパラメータ取得工程と、
    画像生成手段が、前記撮像パラメータと前記仮想物体の三次元モデル情報とを用いて、前記仮想物体の画像を生成する画像生成工程と、
    合成手段が、前記撮像画像と前記仮想物体の画像とを合成した前記合成画像を、前記頭部装着型撮像表示装置に出力する合成工程と、を有し、
    前記撮像パラメータは、較正用のパターンを前記撮像手段で撮像することにより取得したパラメータであって、前記撮像手段の設計値からのずれにより生じる前記仮想画像のずれを防ぐためのパラメータであることを特徴とするシステムの制御方法。