JP4366165B2

JP4366165B2 - 画像表示装置及び方法並びに記憶媒体

Info

Publication number: JP4366165B2
Application number: JP2003341626A
Authority: JP
Inventors: 英生野呂; 弘幸角田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-09-30
Filing date: 2003-09-30
Publication date: 2009-11-18
Anticipated expiration: 2023-09-30
Also published as: JP2005107968A

Description

本発明は、任意視点における現実空間の映像情報に、仮想空間の映像情報を重畳し、観察者に提示する複合現実感システムにおける画像表示装置及び方法、並びに情報処理方法に関する。

複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる合成映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である（特許文献１参照）。

一方、従来、設計・製造分野において３次元ＣＡＤ（Computer Aided Design、３Ｄ−ＣＡＤと記す場合もある）を使った設計（形状、デザイン）が主流になってきている。３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３次元ＣＧ（computer graphics、以下、３ＤＣＧ）として計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成し、視覚に加えて触覚的に評価する方法などが主流である。
特開平１１−０８８９１３号公報

しかし、３次元ＣＡＤデータを３ＤＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成する方法は、加工精度、素材などの制約により、おおまかな形状を把握するのには有効であるが、デザインや形状の詳細、色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報が再現されるものではない。したがって、より完成品に近い状況で、設計データを評価する方法が求められている。

そこで、現実空間中に３次元ＣＡＤデータに基づくＣＧ画像を現実空間の映像中に合成することが考えられる。しかしながら、一般に３次元ＣＡＤデータは光源情報を有しており、これをそのまま用いると、現実空間との間に違和感を生じる可能性がある。

本発明は上記の課題に鑑みてなされたものであり、ＣＧの光源を現実空間の光源と一致、あるいは近いものとすることにより、観察者にとってよりリアリティのある複合現実感映像を生成可能とすることを目的とする。
また本発明の他の目的は、ＣＧの陰影を現実空間の陰影を元に生成可能とし、観察者にとってよりリアリティのある複合現実感映像を生成可能とすることにある。
さらに、本発明の他の目的は、観察者にとってよりリアリティのある複合現実感映像を生成することにより、簡易的に試作された模型を用いながら完成品に近い形で設計評価を可能とすることにある。

上記の目的は、以下の方法によって達成される。
すなわち、３次元ＣＡＤデータに対応する形状を有する現実物体が含まれる現実空間の映像に、前記３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示装置の画像表示方法であって、生成手段が、前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成工程と、取得手段が、前記現実空間の映像から、前記現実物体の部分の各画素の位置における明度を取得する取得工程と、描画手段が、前記現実空間の映像における、前記現実物体の画像部分の各画素の位置に、前記生成工程で生成された３次元コンピュータグラフィックスデータから得られる当該位置に重畳すべき３次元コンピュータグラフィックスの彩度及び色相と、前記取得工程で取得した前記現実空間の映像の当該位置における明度とを用いて、３次元コンピュータグラフィックスを重畳描画する描画工程とを有することを特徴とする画像表示方法。

また、上記の目的は以下の画像表示装置によって達成される。
すなわち、３次元ＣＡＤデータに対応する形状を有する現実物体が含まれる現実空間の映像に、前記３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示装置であって、前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成手段と、前記現実空間の映像から、前記現実物体の部分の各画素の位置における明度を取得する取得手段と、前記現実空間の映像における、前記現実物体の画像部分の各画素の位置に、前記生成工程で生成された３次元コンピュータグラフィックスデータから得られる当該位置に重畳すべき３次元コンピュータグラフィックスの彩度及び色相と、前記取得工程で取得した前記現実空間の映像の当該位置における明度とを用いて、３次元コンピュータグラフィックスを重畳描画する描画手段とを備えることを特徴とする画像表示装置。

上記の構成によれば、ＣＧの光源が現実空間の光源と一致、あるいは近いものとなり、観察者にとってよりリアリティのある複合現実感映像を生成できる。
また、本発明によれば、ＣＧの陰影を現実空間の陰影を元に生成でき、観察者にとってよりリアリティのある複合現実感映像を生成できる。

以下、添付の図面を参照して本発明の好適な実施形態について説明する。

＜第１実施形態＞
第１実施形態では、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置で作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３ＤＣＧデータを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示する。この手法により、視覚的な評価と触覚的な評価を同時に実現することができ、より完成品に近い状態での評価を可能とする。

また、一般にＣＡＤデータは光源データを有し、ＣＡＤデータからＣＧを描画する際にはこの光源データが用いられる。しかしながら、ＣＡＤデータの光源データを用いて仮想空間に描画してしまうと、それが現実空間の光源と大きく異なる場合、ＣＧのリアリティが著しく損なわれてしまうという問題がある。本実施形態では、この点も解消する。

本発明が適用される一般的なシステムの代表的構成を図１に示す。

図１において、１００は観察者が頭部に装着して現実空間と仮想空間を合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ（Head Mounted Display）などと呼ばれる。以下、ＨＭＤと称する）である。また、２００は磁場を発生させる磁気トランスミッタ、２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測するための磁気センサである。２０５は位置・姿勢計測装置であり、磁気センサ２０１、２０２の計測結果より、各磁気センサの位置・姿勢を計測する。磁気センサ２０１はＨＭＤ１００に取り付けられており、観察者の視点位置、視線方向を算出するのに用いられる。３００は観察者が手で保持、操作する操作手段としての簡易試作物（簡易モックアップ）である。簡易試作物３００には、ＨＭＤ１００と同様に磁気センサ２０２が組み込まれている。位置・姿勢計測装置２０５は、磁気センサ２０２の計測結果に基づいて、簡易試作物３００の位置・姿勢を算出する。３０１は簡易試作物を観察するための台である。

１０１はＨＭＤ１００に組み込まれている映像入力装置、１０２はＨＭＤ１００に組み込まれている映像表示装置であり、それぞれ右目、左目用に２セットずつ組み込まれている。４００は情報処理装置であって、位置・姿勢計測装置２０５により算出した位置・姿勢情報に合わせたＣＧ映像を生成し、ＨＭＤ１００の映像入力装置１０２より入力した映像に重畳し、得られた合成映像をＨＭＤ１００の映像表示装置１０１に向けて出力するものである。

次に、ＨＭＤ１００の具体的な構成について図２を参照して説明する。図２において１０１は図１でも示されている映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成される。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。これらの構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は図１にも示されている映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、両プリズムにおける光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することを可能としている。

次に、図１における情報処理装置４００の具体的な構成について、図３を使って説明する。

４０１Ｌ、Ｒは映像キャプチャ部であり、映像入力装置１０２より入力した映像データを取り込み、デジタル信号として情報処理装置４００内に提供する。４０４は位置・姿勢情報入力部であり、位置・姿勢計測装置２０５より送られるＨＭＤ１００と簡易試作物３００の位置・姿勢データを情報処理装置４００内に取り込む。４０５は位置・姿勢算出部であり、位置・姿勢入力部４０４からの入力データをもとに、ＨＭＤ１００と簡易試作物３００の相対的な位置関係を算出する。

４０６は簡易試作物３００に重畳させるための３ＤＣＧ描画データである。４０７はＣＧレンダリング部であり、位置・姿勢算出部４０５で算出したＨＭＤ１００と簡易試作物３００の相対的な位置関係に基づいて、ＣＧデータを描画させるべき位置、大きさ、角度（パース）などを計算し、その計算結果に基づいて３ＤＣＧ描画用データ４０６をレンダリングする。

４０８は、予め用意された一つあるいは複数のＣＧ光源データである。一般に３ＤＣＡＤの出力するＣＧデータには光源情報が含まれている。しかしながら、この光源情報は、複合現実空間でＣＧを描画する際の、その現実空間における光源とは異なったものであり、そのような光源情報を用いるて現実空間映像との合成を行なうとＣＧの陰影が違和感のあるものとなってしまう。そこで３ＤＣＧ描画データ４０６には光源を含まないようにしておき、別途現実空間と一致あるいは似通った光源をＣＧ光源データ４０８として予め用意しておく。

ＣＧレンダリング部４０７は、３ＤＣＧ描画データ４０６をＣＧ光源データ４０８のもとで描画する。これにより、複合現実空間内におけるＣＧの陰影が違和感の少ないものとなる。なお、ＣＧ光源データ４０８を複数用意し、様々な要因により切り替えて使用することも可能である。

例えば現実空間において物体の左側から照明があたっている場合、当然右側に影ができて然るべきであるが、ＣＧ空間で光源が右側にあると左側に影ができてしまう。ＣＧだけであれば違和感はないが、現実空間と一緒に見ると違和感を感じる。特に、第２実施形態で説明するようなハンドオーバーレイをおこなった場合は、手の上に陰影ができるのでより違和感が生じる。

このような違和感はＣＧの描画方法により解消できる。陰影は基本的に光源と物体との相互作用で生じる明度変化であり、適切な種類の光源を適切位置に適切な数だけ配置することにより、光源の問題は解消される。そして、その上でどれだけリアルに陰影（明度）を再現できるかは、物体の材質（光に対する反応）と、レンダリングアルゴリズムによることになる。また、ＣＡＤシステムによっては、より部品を見やすくするために、白色光ではなく色の付いた光源を使うこともあり、そのような光源情報を用いてＣＧを描画すれば、現実空間の光源との差が大きく、違和感を生じやすい。すなわち、ＣＧにおける陰影は光源情報（光源の種類や位置を含む）の影響を大きく受ける。従って、本実施形態では、複数のＣＧ光源データを用意しておき、現実空間に適した光源データを用いてＣＧ描画を行なうようにして、陰影の違和感の解消を図る。

なお、光源の種類によってＣＧの描画負荷は変わる。例えば、ディレクショナルライト（平行光）は描画負荷が最も少なく、ポイントライト（点光源）やスポットライトでは描画負荷が大きくなってくる。また、光源の数によっても描画負荷は変わり、当然、光源の数が増えれば増えるほど描画負荷が大きくなる。描画負荷が大きくなるということは、描画レートが下がることになるが、現実空間の照明環境により近づけることができ（現実空間との陰影の違和感をより解消できる）、描画品質は向上する。すなわち、両者はトレードオフの関係にある。従って、例えば、光源の数を１，２，３，４のＣＧ光源データを用意しておき、３ＤＣＧ描画データの複雑さに応じてＣＧ光源データを切り替えて（描画品質と描画レートが最適となるように光源を選択して）使用することにより、描画レートと描画品質のバランスを取ることが可能となる。なお、光源データの切り替えはユーザが画像を観察しながらマニュアルで行うようにすればよい。あるいは、描画レートを計測し、その計測結果に従って自動的に光源を切り替えるようにしてもよいであろう。

４０２Ｌ、Ｒは映像合成部であり、映像キャプチャ部４０１で取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳する。４０３Ｌ、Ｒは映像生成部であり、合成した映像をアナログデータに変換し、映像表示装置１０１に出力する。

上記構成による本実施形態の処理の流れを、図４を使って説明する。まず、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順を図４左側の処理手順で説明する。

通常３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合、設計データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。

なお、３ＤＣＧ描画データ変換処理１２１０は３ＤＣＡＤデータを３ＤＣＧ描画データに変換する際に、３ＤＣＡＤデータに含まれている光源データを削除する。すなわち、光源データを含まない３ＤＣＧデータを生成する。第１実施形態の複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。

次に、本実施形態における複合現実感システムの処理手順について、図４右側の処理手順で説明する。

磁気トランスミッタ２００と磁気センサ２０２のデータを使って、位置・姿勢計測装置２０５は簡易試作物３００の現実空間中における位置・姿勢を計測する（２０１０）。同様に、磁気トランスミッタ２００と磁気センサ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する（２０２０）。位置・姿勢計測装置２０５によって得られた計測データは、位置・姿勢情報入力部４０４を通して情報処理装置４００に取り込まれる。そして、位置・姿勢算出部４０５においてＨＭＤ１００と簡易試作物３００との相対的な位置関係が計算される（２０３０）。

一方、上記の処理２０１０、２０２０、２０３０と並行して、ＨＭＤ装置１００の映像入力装置１０１からの現実空間の映像を、映像キャプチャ部４０１を通して情報処理装置４００に取り込む（３０１０）。ＣＧレンダリング部４０７では、処理２０３０で算出した相対的な位置関係と３ＤＣＧ描画用データ４０６を用いてＣＧを描画し、ビデオバッファなどのメモリ（不図示）に展開する（２０４０）。すなわち、簡易試作物３００の位置姿勢に合わせて３ＤＣＧを描画する。なお、このＣＧ描画処理２０４０において、ＣＧレンダリング部４０７は光源データを削除された３ＤＣＧ描画データ４０６と、ＣＧ光源データ４０８を用いてＣＧを描画する。

一方、処理３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開する（３０２０）。映像合成部４０２Ｌ、Ｒは、上記の処理２０４０で生成したＣＧ映像を、処理３０２０で展開した映像データに重畳する（４０１０）。合成された映像は、映像生成部４０３にてアナログ等のビデオ信号に変換され、ＨＭＤ１００の映像表示装置１０１に表示される（４０２０）。

上記２０１０から４０２０までの処理を映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４０における更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。このシステムによる処理結果の一例を図５に示す。

図５において、（ａ）では、ＨＭＤ１００に搭載された映像入力装置１０２より入力した現実空間の映像（簡易試作物３００）が示されている。（ｂ）では、現実空間の簡易試作物３００に、ＣＧデータを重畳し、ＨＭＤ１００に搭載された映像表示装置１０１に表示される映像が示されている。このように、簡易試作物３００の位置姿勢に合わせて３ＤＣＧを描画することにより、簡易試作物３００をより完成品に近い形態として評価することができる。

なお、上記では複数種類のＣＧ光源データを用意しておき、所望の光源データを選択的に用いたが、第２実施形態で後述するように、実写画像中の明度情報を用いるようにしてもよい。また、第２実施形態で説明するように、手領域を抽出して、その部分のＣＧ描画を禁止する、ハンドオーバーレイ技術を適用してもよいことは当業者には明らかであろう。

＜第２実施形態＞
まず、一般的なハンドオーバーレイ技術について説明する。

映像合成部４０２Ｌ、Ｒでは、現実空間の映像データに、仮想空間の映像（ＣＧ映像）を重畳（上書き）することで合成映像を生成している。この場合には、本来ＣＧ映像より手前にあるべきはずのものもＣＧ映像で上書きされてしまうため、ＣＧ映像と現実物体との奥行き感に矛盾が生じる場合がある。図６を使って詳しく説明する。

（ａ）は映像入力装置１０２より入力された現実空間の映像データの一例であり、簡易試作物３００を観察者の手で保持している映像である。手の一部（親指あたり）が簡易試作物３００の手前に存在している。このような映像に、簡易試作物３００に対応するＣＧ映像を重畳すると、（ｂ）のような合成映像となる。すなわち簡易試作物３００よりも手前にあるはずの手の一部が、ＣＧ映像により隠れてしまい、奥行き感に矛盾が発生し、観察者にとって違和感のある映像となる。第２実施形態のシステムでは、現実空間の映像データを用いた画像処理により奥行き感の矛盾を解消する。

すなわち、映像入力装置１０２から得られた、（ａ）に示す映像データより画像処理にて手の領域のみを抽出する。抽出された手の領域からマスク画像（ｃ）を生成し、このマスク画像で指定された手以外の領域に関してＣＧ映像を生成し、現実空間の映像に重畳する。このようにすることで、（ｄ）に示されるように、手の領域が簡易試作物よりも手前に表示されて、奥行き感の違和感が解消される。

ハンドオーバーレイ技術を用いた第２実施形態によるシステムの構成と処理の流れを図７乃至図９を使って説明する。

図７は第２実施形態による情報処理装置４００の具体的な構成を示すブロック図である。第１実施形態で説明した構成（図３）に、手領域抽出部４２０及び手色情報登録データ４２１が加えられている。また、第２実施形態では自然な陰影でＣＧを描画するために、簡易試作物３００の実写画像中の明度を利用するため、ＣＧ光源データ４０８は用いていない。手色情報登録データ４２１には手の色に相当する色情報が登録されており、手領域抽出部４２０では、映像データ中の手色情報登録データ４２１に登録されている色を有する領域を手領域として抽出する。抽出された手領域の情報はＣＧレンダリング部４０７に提供され、図６を用いて上述した処理により奥行き感の違和感を解消する。

上記構成による第２実施形態の処理の流れを、図８を使って説明する。なお、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順（図８の左側に示される手順）は図４の左側の処理手順と同様である。

第２実施形態における複合現実感システムの処理手順（図８右側の処理手順）について説明する。

まず、情報処理装置４００の映像キャプチャ部４０１Ｌ、Ｒより、現実空間の映像データを取り込む（１０１０）。この映像データは、手領域抽出部４２０に供給される。手領域抽出部４２０では、各画素の色情報を、手色情報登録データにあらかじめ登録してある手領域の色情報と比較し、各画素が人間の肌の色であるか否かを判定する。肌の色であると判定された画素は手領域であると判断する（５０１０）。すべての画素について手の領域であるかどうかの判断を行い、手の領域と判断された画素のみを抽出し、ビデオバッファなどのメモリに手領域のデータのみを記録することにより、図６の（ｃ）に示したようなマスク画像を生成する（５０２０）。ＣＧレンダリング部４０７では、処理５０２０で生成したマスク画像でマスクされた領域のＣＧ映像を生成し（２０４０）、映像合成部４０３において、現実空間の映像データに、２０４０で生成したＣＧ映像を重畳する（４０１０）。

このように合成映像を生成することで、本来ＣＧデータよりも手前にあるべき現実空間の映像を、ＣＧデータよりも手前に表示することが可能となり、奥行き感における違和感が解消される。

ところで、描画されるＣＧの陰影は仮想空間内の光源によるものなので、必ずしも現実空間内で発生するであろう陰影とは一致しない。この不一致が観察者にＣＧデータの違和感を与えることがある。そこで、第２実施形態では、現実空間内の陰影を用いて陰影を表現する。一般に簡易試作物３００は単一部材からなり、単色であり、更にＣＧと同形状である。従って、第２実施形態では、簡易試作物３００における明度変化をそのままＣＧデータに適用させることにより、より自然な陰影を伴ったＣＧデータを得る。すなわち、ＣＧ描画処理２０４０では、現実空間映像の明度情報が利用される。

明度情報生成５０１５は、映像中の簡易試作物３００の部分の明度を抽出し、明度情報を生成する。この部分の処理例の詳細を図９に示す。まず、ＣＧを描画する範囲を示すマスク画像（図９の（ｄ））を得る。これは、例えば、通常の描画処理でＣＧを生成する際にＺバッファの値が変化した部分を二値化するといった簡単な処理で得ることができる。なお、ＣＧ画像はマスク画像生成処理５０２０で生成されたマスク画像（図６の（ｃ））により、手領域を除くＣＧ画像となっている。

明度情報生成５０１５は、図９の（ａ）のように得られている実写画像より、明度のみの情報を持った画像（図９（ｂ））を生成する。そして、ＣＧ描画処理２０４０は、図９（ｄ）のマスクの範囲に、ＣＧ描画による色（色成分のうち明度を除いたもの（明度、彩度、色相であれば、彩度と色相）と、実写の明度を用いて描画を行う。具体的には実写画像から明度画像（図９（ｂ））を生成し、マスク画像のマスクのある範囲の全ての画素に対して、明度は実写画像から（図９（ｆ））、色はＣＧ画像（図９（ｅ))から得て、その点の画素値を求め、実写背景の上に描画する（図９（ｇ））。

以上説明したように、上記各実施形態によれば、ＣＧの光源を現実空間の光源と一致、あるいは近いものとすることができ、観察者にとってよりリアリティのある複合現実感映像を生成することができる。特に第２実施形態によれば、ＣＧの陰影を現実空間の陰影を元に生成するので、観察者にとってよりリアリティのある複合現実感映像を生成することができる。

なお、上記各実施形態では、ＣＡＤデータから３ＤＣＧ描画データを作成する際に光源情報を削除していたが、光源情報を削除しなくてもＣＧ描画時にＣＧ光源データ４０８を使用するように制御する仕組みを入れることにより対応することもできる。

また、上記各実施形態において、位置・姿勢計測装置の計測誤差を補償するために、簡易試作物３００に添付したマーカあるいは特徴点の位置を検出するようにしてもよい。以下、特徴点を用いた位置・姿勢の補正方法について説明する。ここでは、一般的な補正方法として、映像入力部（カメラ）の外部パラメータを特徴点１点から補正する方法について説明する。なお、ここで特徴点とは、人工的に特定の色や形の情報をもったシール状のものなどを現実空間中の簡易試作物に貼り付けたマーカを用いても良いし、簡易試作物の形状の特徴的な部分を特徴点としても良い。

図１０は映像入力装置（カメラ）の外部パラメータ（位置・姿勢をあらわすパラメータ）の一般的な補正方法を説明する模式図である。図１０において、点Ａは映像入力装置（カメラ）及び簡易試作装置３００の位置・姿勢に基づいて予測される特徴点の位置、点Ｂはこの特徴点の実際の位置、点Ｃは映像入力装置（カメラ）視点の位置を表す。なおここでは、点Ａ、点Ｂが示す位置はカメラ座標系における位置であって、点Ｃは映像入力装置（カメラ）座標系の原点である。また、点Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上における点Ｂの位置を示す。ここで、図１０に示すように、点Ｐ、Ｑの座標を各々（ｘ_p，ｙ_p）、（ｘ_q，ｙ_q）、撮像面の幅、高さを各々ｗ、ｈ、カメラの焦点距離（撮像面から映像入力装置までの距離）をｄとし、ｖ₁を点Ｃから点Ｑへのベクトル、ｖ₂を点Ｃから点Ｐへのベクトル、θをｖ₁とｖ₂のなす角度とする。

まず、特徴点１点を用いて姿勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（映像入力装置の回転による補正方法）について説明する。

上記の設定から、ｖ₁、ｖ₂を求めると、各々の成分は以下の（１）式のようになる。

次に、各々のベクトルを、以下の（２）式により大きさ１のベクトルに正規化する。なお、|ｖ|は、ベクトルｖの大きさをあらわす。

ここで、映像入力装置（カメラ）を回転させる場合、その回転軸はベクトルｖ₁、ｖ₂がなす平面と直行し、カメラ視点位置（点Ｃ）を通る直線となる。この回転軸の方向ベクトルは、（３）式に示すように、ベクトルｖ₁、ｖ₂の外積により求めることができる（実際には正規化したもの（ｖ₁’、ｖ₂’）を用いる）。

ここで、ｖ_xは回転軸の方向ベクトルであって、その成分を（ｌ,ｍ,ｎ）とする。また、回転角θはベクトルｖ₁、ｖ₂がなす角度なので、以下の（４）式のように求めることができる。

よって、映像入力装置の回転による補正に用いる補正行列ΔＭｃは、以下の（５）式のように計算される。

この補正行例を映像入力装置の位置・姿勢を示す行列にかけることで、映像入力装置の位置・姿勢が補正される。つまり、点Ｐが点Ｑの位置に表示され、撮像面上におけるランドマークの位置姿勢パラメータから予測される位置と実際の位置とが一致する。なお、上述の説明では、映像入力装置（カメラ）の回転を使った補正方法について説明したが、映像入力装置の平行移動により誤差を補正する方法なども使用可能である。また、複数の特徴点を使った補正方法でも同様の効果が得られるが、説明は省略する。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施形態によるシステムの構成を示す図である。頭部装着型映像入出力装置構成図第１実施形態による情報処理装置４００の構成を示すブロック図である。第１実施形態の情報処理装置４００による処理の流れを示すフローチャートである。処理結果を示す図である。ハンドオーバーレイの処理について説明する図である。第２実施形態による情報処理装置４００の構成を示すブロック図である。第１実施形態の情報処理装置４００による処理の流れを示すフローチャートである。第２実施形態の情報処理装置４００によるＣＧ描画処理を具体的に説明する図である。特徴点による位置・姿勢計測の補正を説明する図である。

Claims

３次元ＣＡＤデータに対応する形状を有する現実物体が含まれる現実空間の映像に、前記３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示装置の画像表示方法であって、
生成手段が、前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成工程と、
取得手段が、前記現実空間の映像から、前記現実物体の部分の各画素の位置における明度を取得する取得工程と、
描画手段が、前記現実空間の映像における、前記現実物体の画像部分の各画素の位置に、前記生成工程で生成された３次元コンピュータグラフィックスデータから得られる当該位置に重畳すべき３次元コンピュータグラフィックスの彩度及び色相と、前記取得工程で取得した前記現実空間の映像の当該位置における明度とを用いて、３次元コンピュータグラフィックスを重畳描画する描画工程とを有することを特徴とする画像表示方法。
前記現実物体は、前記３次元ＣＡＤデータに基づいて作成されたモックアップであることを特徴とする請求項１に記載の画像表示方法。
手領域抽出手段が、前記現実空間の映像中より、手領域を抽出する手領域抽出工程を更に備え、
前記描画工程では、前記描画手段が、前記手領域抽出工程で抽出された手領域には前記３次元コンピュータグラフィックスの重畳描画を禁止することを特徴とする請求項１または２に記載の画像表示方法。
３次元ＣＡＤデータに対応する形状を有する現実物体が含まれる現実空間の映像に、前記３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示装置であって、
前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成手段と、
前記現実空間の映像から、前記現実物体の部分の各画素の位置における明度を取得する取得手段と、
前記現実空間の映像における、前記現実物体の画像部分の各画素の位置に、前記生成手段で生成された３次元コンピュータグラフィックスデータから得られる当該位置に重畳すべき３次元コンピュータグラフィックスの彩度及び色相と、前記取得手段で取得した前記現実空間の映像の当該位置における明度とを用いて、３次元コンピュータグラフィックスを重畳描画する描画手段とを備えることを特徴とする画像表示装置。
請求項１乃至３のいずれか１項に記載の画像表示方法の各工程をコンピュータに実行させるための制御プログラム。
請求項１乃至３のいずれか１項に記載の画像表示方法の各工程をコンピュータに実行させるための制御プログラムを格納するコンピュータ読み取り可能な記憶媒体。