JP4739002B2 - 画像処理方法、画像処理装置 - Google Patents

Description

本発明は、現実空間に仮想物体を重畳させた映像を生成する為の技術に関するものである。

複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である。

一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。この場合、３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３Ｄ−ＣＧとして計算機の画面上に表示して視覚的に評価する方法等がある。

ここで、以上の複合現実感システムと３次元ＣＡＤ技術の両方の技術を組み合わせ、物体操作デバイスで３ＤＣＧのデータを観察する方法がある。操作機能を設定するには、ユーザが観察している複合現実空間内に操作パネルを表示し、そのパネルに表示されたアイコンをスタイラスなどの操作手段で選択する方法等がある。

また、複合現実空間内を観察するには、ユーザの視点位置、視線方向等をリアルタイムで計測し、その視点位置、視線方向から現実空間内を観察した映像をビデオカメラ等で取得し、さらにその映像に対して、ユーザの視点位置、視線方向等から観測した仮想物体（ＣＧ物体）を重畳表示することにより実現される。

ここで、ユーザの視点位置、視線方向をリアルタイムに計測するには、位置及び姿勢の６自由度を計測あるいは推定するシステム（ここでは６自由度センサーと呼ぶ）を用いる。例えばＰｏｌｈｅｍｕｓ（登録商標）社のＦａｓｔｒａｋシステムを用いると、数センチ角ほどの大きさのレシーバの位置及び姿勢の６自由度が計測できる。

この計測した６自由度を、仮想空間内での仮想カメラの位置および方向（カメラ座標系）と結びつけることにより複合現実空間内を観察できる。

また、複合現実空間内のＣＧ物体を操作するには、ユーザの視点・視線を検出するものとは別に用意した６自由度センサーを用いて、この６自由度センサーの位置及び姿勢をＣＧ物体の物体座標系に対応付ける方法がある。この計測値をＣＧ物体の物体座標系に対応付けることにより、レシーバを移動・回転するとそれにつれてＣＧ物体が移動・回転することになる。

以上の手法により、現実空間中に仮想物体が存在するという、複合現実空間を観察することができる。しかしながら、現実物体と仮想物体との見え隠れが考慮されていないため、不都合が起こる。例えば現実物体を仮想物体の手前に置いたとき、現実物体の映像の上に仮想物体のＣＧが重畳描画されてしまうために、本来現実物体に隠されて見えないはずの仮想物体によって、逆に現実物体が隠されてしまう、という問題が起こる。

これを解決するには、例えば現実物体のＣＧモデルを用意し、現実映像に対しては透明であるが、ＣＧ映像に対しては不透明である物体を用いる方法がある。この方法によれば現実物体と仮想物体の見え隠れに関する問題は解消される。しかし、そのためには、現実物体のＣＧモデルを用意しなければならない。現実世界に予め配置されている机、椅子といったものには極めて有効な手法ではあるが、しかし、ユーザの手のようなものには不向きである。なぜなら、自由に変形する「ユーザの手」の位置および形状をリアルタイムで計測し、モデルを生成しなければならないからである。複雑に変形する物体の形状をリアルタイムで計測し、モデルを生成することは、非常に困難、若しくは不可能である。

ユーザの手の見え隠れに対応するために、ハンドオーバーレイという手法がある。これはカメラで撮影された映像中のユーザの手の部分にはＣＧを描画しない、あるいは従来の手法によって作成された映像の上に、さらにユーザの手の部分の現実映像を重畳する手法である。手の部分の抽出にはいくつかの手法があるが、例えばクロマキー処理によって手の色（肌色）の部分だけを抽出することができる。
特開平１１−１３６７０６号公報

しかし、複合現実感システムでは仮想環境のＣＧアイコンを実ポインティングデバイスで選択しようとするときに、奥行き関係などの相対的な位置関係が分かりづらく、アイコンを選択するには困難であるという問題があった。

更に、複合現実空間においてこのような操作を行う際に、手の見え隠れという上記問題が生ずるのであるが、これを解消するために従来のハンドオーバーレイ手法を用いても、なお、手のような現実物体が落とす影は表現できない。

本発明は以上の問題に鑑みてなされたものであり、仮想物体を現実空間に重畳させる場合に、仮想物体と現実物体との相対的な位置関係を明瞭に表示するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

即ち、画像処理装置の第１の設定手段が、仮想空間中に光を照射する為の第１の光源を設定する第１の設定工程と、
前記画像処理装置の配置手段が、仮想物体を前記仮想空間中に配置する配置工程と、
前記画像処理装置の第１の取得手段が、観察者の視点の位置姿勢を取得する第１の取得工程と、
前記画像処理装置の生成手段が、前記第１の光源によって光が照射された前記仮想空間を、前記第１の取得工程で取得した位置姿勢を有する視点から見た場合に見える映像を生成する生成工程とを有する、前記画像処理装置が行う画像処理方法であって、
前記画像処理装置の第２の設定手段が、仮想空間中に光を照射する為の第２の光源を設定する第２の設定工程と、
前記画像処理装置の第２の取得手段が、現実空間中における現実物体の位置姿勢を取得する第２の取得工程と、
前記画像処理装置の計算手段が、前記第２の光源の位置から前記現実物体の輪郭部分に延長する複数の直線で規定される領域を求める計算工程と、
前記画像処理装置の第１の判断手段が、前記仮想物体において前記領域内に含まれる部分が存在するか否かを判断する第１の判断工程と、
前記画像処理装置の第２の判断手段が、前記第２の光源の位置から見て、前記仮想物体の位置が前記現実物体よりも遠い位置であるか否かを判断する第２の判断工程と、
前記画像処理装置の影配置手段が、前記仮想物体において前記領域内に含まれる部分が存在し、且つ前記第２の光源の位置から見て、前記仮想物体の位置が前記現実物体よりも遠い位置である場合には、前記含まれている部分に対して影を示す映像を配置する影配置工程と
を有することを特徴とする。

本発明の構成により、仮想物体を現実空間に重畳させる場合に、仮想物体と現実物体との相対的な位置関係を明瞭に表示することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、現実空間に仮想空間を重畳させた複合現実空間を観察者に提供すると共に、仮想空間中の仮想物体の閲覧、及び操作を可能にさせるための本発明の第１の実施形態に係るシステムの外観を示す図である。

同図において２００はトランスミッタで、磁場を発生させる。１００は観察者の頭部に装着し、現実空間と仮想空間とを合成した画像を観察者の眼前に提供する為の頭部装着型表示装置（以下、ＨＭＤ：Head Mounted Displayと呼称する）で、カメラ１０２ａ、１０２ｂ、表示装置１０１ａ、１０１ｂ、磁気レシーバ２０１により構成されている。

カメラ１０２ａ、１０２ｂはそれぞれＨＭＤ１００を頭部に装着した観察者の右目、左目の位置から見える現実空間を連続して撮像するものであり、撮像した各フレームの画像は後段のコンピュータ４００に出力される。以下では、カメラ１０２ａ、１０２ｂを総称して「観察者の視点」と呼称する場合がある。

表示装置１０１ａ、１０１ｂはそれぞれ、観察者がＨＭＤ１００を頭部に装着したときに右目、左目の眼前に位置するようにＨＭＤ１００に装着されたものであり、後段のコンピュータ４００から出力された画像信号に基づいた画像を表示する。従って観察者の右目、左目の眼前にはコンピュータ４００が生成した画像が提供されることになる。

磁気レシーバ２０１は、上記トランスミッタ２００が発する磁場の変化を検知し、検知した結果の信号を後段の位置姿勢計測装置２０５に出力するものである。検知した結果の信号は、トランスミッタ２００の位置を原点とし、この原点の位置で互いに直交する３軸をｘ、ｙ、ｚ軸とする座標系（以下、センサ座標系と呼称する）において、磁気レシーバ２０１の位置姿勢に応じて検知される磁場の変化を示す信号である。位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢を求め、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。

図２は、ＨＭＤ１００の具体的な構成を示す図である。

１０１は映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。このような構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。

図１に戻って、３００は３Ｄポインティングデバイスで、その内部に磁気レシーバ２０２が備わっており、観察者が３Ｄポインティングデバイス３００を手に持ってその位置や姿勢を変化させると、この磁気レシーバ２０２は磁気レシーバ２０１と同様に、センサ座標系における自身の位置姿勢に応じて検知される磁場の変化を示す信号（換言すれば、センサ座標系における磁気レシーバ２０２自身の位置姿勢を示す信号）を位置姿勢計測装置２０５に出力する。従って位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０２の位置姿勢を求めることができ、求めた位置姿勢を示すデータは後段のコンピュータ４００に出力される。この３Ｄポインティングデバイス３００は、３Ｄポインティングデバイス３００に予め関連付けた仮想物体（観察対象の仮想物体）の位置や姿勢を変化させるために観察者が手に持って操作するものである。

３０１は３Ｄポインティングデバイス３００とは異なる使用目的で使用される３Ｄポインティングデバイスで、３Ｄポインティングデバイス３００と同様の磁気レシーバ２０３が備わっており、これにより磁気レシーバ２０２と同様に、自身のセンサ座標系における位置姿勢が求まる。３Ｄポインティングデバイス３０１は、仮想空間中に配置する仮想物体としての操作パネルを操作するための指示具として用いられるものである。よって、ポインティングデバイス３０１が指示している部分の位置姿勢を得るために、磁気レシーバ２０３はポインティングデバイス３０１において指示する部分に装着する（例えばポインティングデバイス３０１の一端を観察者が手に持つ場合、他端でもって操作パネルを指示するので、この他端に磁気レシーバ２０３を装着する）。また、この３Ｄポインティングデバイス３０１には操作ボタン３０３も設けられている。この操作ボタン３０３の使用については後述する。

４００はコンピュータで、ＨＭＤ１００の表示装置１０１ａ、１０１ｂに出力すべき画像信号を生成したり、位置姿勢計測装置２０５からのデータを受け、これを管理したり等の処理を行う。

図３は、このコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はハードウェアでもって構成されたものとする。

４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれカメラ１０２ａ、１０２ｂより入力した画像をディジタル信号として取り込む。

４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。このデータには、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータ、３Ｄポインティングデバイス３００が備える磁気センサ２０２のセンサ座標系における位置姿勢を示すデータ、３Ｄポインティングデバイス３０１が備える磁気レシーバ２０３のセンサ座標系における位置姿勢を示すデータが含まれる。

４０８はボタン情報入力部であり、３Ｄポインティングデバイス３０１に備わっている操作ボタン３０３が押下された場合には、押下された旨を示す信号を受け、後段の操作情報処理部４０９に送出する。なお、操作ボタン３０３は３Ｄポインティングデバイス３０１以外に設けるようにしても良く、例えばコンピュータ４００に接続されている不図示のキーボードやマウスに備わっているボタンであっても良い。

４１１は、操作パネル描画データＤＢ（データベース）で、操作パネルの映像を生成するためのデータ（操作パネル描画データ）のＤＢである。操作パネル描画データには、操作パネルの幾何学形状や色を示すデータ、テクスチャデータ、位置、姿勢を示すデータなどが含まれる。

なお、操作パネルは仮想空間内に配置するのであるが、常に表示装置１０１ａ、１０１ｂ内の固定された位置に、操作面が見えるように表示するのが好適である。即ち、操作パネルの位置姿勢と観察者の頭部の位置姿勢との相対的な位置姿勢関係は固定されていることが好適である。従って、操作パネル描画データに含まれている「操作パネルの位置姿勢を示すデータ」とは、表示装置１０１ａ、１０１ｂの位置姿勢に対するバイアスのデータとなる。即ち、表示装置１０１ａ、１０１ｂの位置姿勢にこのバイアスを加えることで、表示装置１０１ａと操作パネルとの位置姿勢関係、表示装置１０１ｂと操作パネルとの位置姿勢関係は固定されたものとなるので、操作パネルは表示装置１０１ａ、１０１ｂ内の固定された位置に表示されることになる。詳しくは後述する。

４０６は、３ＤＣＧ描画データＤＢで、仮想空間を構成する操作パネル以外の仮想物体（観察対象の仮想物体を含む）の映像を生成するためのデータ（３ＤＣＧ描画データ）のＤＢである。３ＤＣＧ描画データには、仮想物体の幾何学形状や色を示すデータ、テクスチャデータ、位置、姿勢を示すデータなどが含まれる。また、この３ＤＣＧ描画データには、上記操作パネル以外の仮想物体に対して光を照射する光源のデータ（光源の種類、光源の位置、照射方向などのデータ）が含まれている。

４０５は位置姿勢算出部であり、位置姿勢情報入力部４０４から３Ｄポインティングデバイス３００が備える磁気レシーバ２０２のセンサ座標系における位置姿勢を示すデータが入力された場合には、このデータと、センサ座標系と仮想空間との変換データ（仮想空間における位置姿勢とセンサ座標系における位置姿勢との間の関係を示すもので、この変換データにより、一方の座標系における位置姿勢を他方の座標系における位置姿勢に変換することができる）とを用いて、３Ｄポインティングデバイス３００が備える磁気レシーバ２０２の仮想空間における位置姿勢を周知の計算により求める。なお、この３Ｄポインティングデバイス３００に予め関連付けられた仮想物体の位置姿勢は、求めた位置姿勢に更新される。

また、位置姿勢情報入力部４０４から３Ｄポインティングデバイス３０１が備える磁気レシーバ２０３のセンサ座標系における位置姿勢を示すデータが入力された場合には、このデータと上記変換データとを用いて、３Ｄポインティングデバイス３０１が備える磁気レシーバ２０３の仮想空間における位置姿勢を周知の計算により求める。

また、位置姿勢情報入力部４０４から磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータが入力された場合には、このデータと上記変換データとを用いて、レシーバ２０１の仮想空間における位置姿勢を周知の計算により求める。なお、磁気レシーバ２０１とカメラ１０２ａ、１０２ｂそれぞれとの位置姿勢関係を示すデータを用いれば、周知の計算により、仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢を求めることができる。本実施形態では磁気レシーバ２０１のセンサ座標系における位置姿勢から、仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢を求めるためのデータは予め既知のデータとして与えられているものとする。

４０９は操作情報処理部であり、磁気センサ２０３（ポインティングデバイス３０１）と操作パネルとの相対的な位置関係により、ポインティングデバイス３０１によって操作パネルのどの部分を指示しているのかを判断する処理を行う。

４１０は操作パネル用仮想照明設定部４１０であって、仮想空間中に配置する操作パネルに対して光を照射する為の光源を設定する。周知の通り、仮想空間の映像を生成する際には、この仮想空間中に１以上の光源を設定する必要がある。操作パネル以外の仮想物体については、上述の通り、３ＤＣＧ描画データに操作パネル以外の仮想物体に光を照射するための光源に係るデータが含まれているので、このデータが示す照射条件に従った光が仮想物体に対して照射されることになる。

４０７はＣＧレンダリング部で、位置姿勢算出部４０５が算出したカメラ１０２ａ、１０２ｂの位置姿勢に応じて見える仮想物体の映像を生成する。上述の通り、３Ｄポインティングデバイス３００に関連付けられた仮想物体の画像は、３Ｄポインティングデバイス３００の位置姿勢でもって仮想空間内に配置され、操作パネルは、カメラ１０２ａ、１０２ｂの位置姿勢に操作パネル描画データに従った位置姿勢を加算したことで得られる位置姿勢でもって仮想空間中に配置されるので、ＣＧレンダリング部４０７は、これを位置姿勢算出部４０５が算出したカメラ１０２ａ、１０２ｂの位置姿勢でもって見た場合に、見える映像を生成することになる。なお、映像生成の際には、操作パネルには操作パネル用仮想照明設定部４１０によって設定された光源からの光が照射され、操作パネル以外の仮想物体には、３ＤＣＧ描画データに含まれている照射条件に従って光が照射されている。

なお、所定の位置姿勢を有する視点から見える仮想物体の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。

４０２Ｒ、４０２Ｌはそれぞれ、映像キャプチャ部４０１Ｒ、４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２ａの位置姿勢に応じて見える仮想物体の画像、カメラ１０２ｂの位置姿勢に応じて見える仮想物体の画像を重畳させ、それぞれ、映像生成部４０３Ｒ、４０３Ｌに出力する。これにより、カメラ１０２ａの位置姿勢に応じて見える複合現実空間の画像、カメラ１０２ｂの位置姿勢に応じて見える複合現実空間の画像を生成することができる。

映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログデータに変換し、それぞれ表示装置１０１ａ、１０１ｂに映像信号として出力する。これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置に対応した複合現実空間の画像が表示される。

次に、複合現実空間の映像の生成処理について図４を用いて説明する。図４は、この処理のフローを示す図である。

先ず、３ＤＣＡＤデータから、３ＤＣＧ描画データを生成するための処理手順について、同図の左側を参照して説明する。

通常、３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合には、３ＤＣＡＤのデータは、それぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。上記観察対象の仮想物体は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する。

一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１１１０）。本複合現実感システムでは、このように変換された３ＤＣＧ描画用データを使って仮想空間を生成する。生成された３ＤＣＧ描画データは、３ＤＣＧ描画データＤＢ４０６に保持される。

図５は、操作パネル描画データに従って作成される仮想物体としての操作パネル５００の表示例を示す図である。同図に示す如く、操作パネル５００には、複数のボタン画像（アイコン）が配置されており、それぞれのアイコンは指示することでそれに応じた機能を実現させるためのものである。５００ａはこのようなアイコンの一例である。なお、操作パネルの構成については同図に示したものに限定するものではなく、より立体的なものであっても良いし、より複雑な操作を可能にするために、配するアイコンの数を増やしても良い。

次に、上記３ＤＣＧ描画データ、操作パネル描画データを用いて仮想空間の画像（仮想物体の画像）を生成し、現実空間の画像に重畳させて観察者に提示する処理について、同図右側を参照して説明する。

ポインティングデバイス３００に備わっている磁気レシーバ２０２は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０１０）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０２の位置姿勢を示すデータをコンピュータ４００に出力する（２０３０）。

同様に、磁気レシーバ２０１は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０２０）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢（上述の通り、バイアスを加算すれば、カメラ１０２ａ、１０２ｂの位置姿勢が求まる）を示すデータをコンピュータ４００に出力する（２０３０）。

同様に、磁気レシーバ２０３は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し（２０２０）、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気レシーバ２０３の位置姿勢を示すデータをコンピュータ４００に出力する（２０３０）。

そして位置姿勢算出部４０５、ＣＧレンダリング部４０７、操作パネル用仮想照明設定部４１０により、カメラ１０２ａ、１０２ｂのそれぞれから見える、「観察対象の仮想物体」、「操作パネル」の画像を生成する（２０４０）。

「観察対象の仮想物体」の画像の生成について説明すると、先ず、位置姿勢算出部４０５は、処理２０３０で「磁気レシーバ２０１の位置姿勢を示すデータ」に上記バイアスを加算して、センサ座標系におけるカメラ１０２ａ、１０２ｂの位置姿勢を求め、更に、上記変換データにより、仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢を求める。

そして更に位置姿勢算出部４０５は、センサ座標系における「磁気レシーバ２０２の位置姿勢」と上記変換データにより、仮想空間における磁気レシーバ２０２の位置姿勢を求め、求めた位置姿勢に観察対象の仮想物体を配置する。なお、観察対象の仮想物体と磁気レシーバ２０２との相対的な位置姿勢関係が規定されているのであれば、観察対象の仮想物体の位置姿勢を磁気レシーバ２０２の位置姿勢に一致させなくても良い。

そしてＣＧレンダリング部４０７は、位置姿勢算出部４０５が求めた「カメラ１０２ａ、１０２ｂの位置姿勢を示すデータ」、及び「磁気レシーバ２０２の位置姿勢を示すデータ」を用いて、カメラ１０２ａ、１０２ｂの位置姿勢から見える観察対象の仮想物体の画像を生成する。このとき、観察対象の仮想物体を含む仮想物体（操作パネルを除く）の画像を生成する際には、３ＤＣＧ描画データに含まれている光源に係るデータに従った光源でもって光が照射された状態での仮想物体の画像を生成する。

このように、所定の位置姿勢を有する視点から見える仮想物体の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。

一方、「操作パネル」の画像の生成について説明すると、先ず位置姿勢算出部４０５は操作パネル描画データに含まれている、操作パネルの配置位置、姿勢のデータを参照し、このデータが示す位置姿勢を、先に求めた「仮想空間におけるカメラ１０２ａ、１０２ｂの位置姿勢」に加算して、仮想空間における操作パネルの位置姿勢を求める。これにより、上述の通り、カメラ１０２ａ、１０２ｂと操作パネルとの位置姿勢関係は固定される。よって、求めた位置姿勢でもって操作パネルを仮想空間中に配置する。そしてＣＧレンダリング部４０７は、位置姿勢算出部４０５が求めた「カメラ１０２ａ、１０２ｂの位置姿勢を示すデータ」、及び求めた「操作パネルの配置位置、姿勢のデータ」を用いて、ＣＧレンダリング部４０７がカメラ１０２ａ、１０２ｂの位置姿勢から見える「操作パネル」の画像を生成する。また、一方では、ポインティングデバイス３０１に備わっている操作ボタン３０３が指示されると、ボタン情報入力部４０８は指示されたことを示す信号を受ける（２０１５）。

一方、操作情報処理部４０９は、「磁気センサ２０３の位置姿勢のデータ」を参照し、ポインティングデバイス３０１において指示する部分（以下、指示部分と呼称する）の位置が操作パネルのどの位置にあるのか、即ち、ポインティングデバイス３０１によって操作パネルのどの部分が指示されているのかをチェックする。

操作パネル描画データには、操作パネル上に配される各アイコンが操作パネル上に占める領域を示すデータが含まれているので、磁気レシーバ２０３の位置がどのアイコンの領域内にあるのかをチェックすることで、現在どのアイコンを指示しているのかをチェックすることができる。一方、操作情報処理部４０９がボタン情報入力部４０８から操作ボタン３０３が押下されたことを示す信号を受けている場合、現在指示しているアイコンを操作したと判断する。

以上の処理により、操作情報処理部４０９は、現在どのアイコンが操作されたのかを取得することができ、操作されたアイコンをＣＧレンダリング部４０７に通知する。よってＣＧレンダリング部４０７は、通知されたアイコンの表示色（例えばテクスチャ）を変化させ、現在選択されているアイコンを明示的にするようにする。操作パネルの画像を生成する際には、操作パネル用仮想照明設定部４１０によって設定された光源でもって光が照射された状態での操作パネルの画像を生成する。

このようにして、カメラ１０２ａ、１０２ｂの位置姿勢に応じて見える「観察対象の仮想物体」、「操作パネル」の画像（カメラ１０２ａの位置姿勢に応じて見える画像は右目用の画像、カメラ１０２ｂの位置姿勢に応じて見える画像は左目用の画像である）を生成することができる。

以上のようにして、観察対象の仮想物体、操作パネルを含む、仮想空間を構成する仮想物体の画像を生成する。

一方、上記２０１０，２０１５，２０２０，２０３０，２０４０における処理と並行して、カメラ１０２ａ、１０２ｂより撮像された現実空間の画像は映像キャプチャ部４０１Ｒ、４１０Ｌによりそれぞれ映像合成部４０２Ｒ、４０２Ｌに入力され（３０１０）、映像合成部４０２Ｒ、４０２Ｌは、入力した画像をメモリ上に描画する（３０２０）。

そして、映像合成部４０２Ｒは、映像キャプチャ部４０１Ｒにより入力された右目用の現実空間の画像上に、ＣＧレンダリング部４０７によりレンダリングされた右目用の画像（仮想物体の画像）を重畳させ、重畳後の画像（複合現実空間の画像）を後段の映像生成部４０３Ｒに出力する（４０１０）。

一方、映像合成部４０２Ｌは、映像キャプチャ部４０１Ｌにより入力された左目用の現実空間の画像上に、ＣＧレンダリング部４０７によりレンダリングされた左目用の画像（仮想物体の画像）を重畳させ、重畳後の画像（複合現実空間の画像）を後段の映像生成部４０３Ｌに出力する（４０１０）。

即ち、現実空間の画像上への仮想物体の画像の重畳では、カメラ１０２ａからの現実空間の画像上に、カメラ１０２ａの位置姿勢から見える仮想物体の画像を重畳すると共に、カメラ１０２ｂからの現実空間の画像上に、カメラ１０２ｂの位置姿勢から見える仮想物体の画像を重畳する処理を行う。その結果、観察者の右目から見える複合現実空間の画像、左目から見える複合現実空間の画像を生成する。

映像生成部４０３Ｒ、４０３Ｌはそれぞれ、受けた複合現実空間の画像をアナログ信号としてのビデオ信号に変換し、表示装置１０１ａ、１０１ｂに出力する（４０２０）。

そして上記処理２０１０〜処理４０２０までの各処理を、例えば表示装置（１０１ａ、１０１ｂ）における映像更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。

ここで、以上の処理を行えば、仮想物体としての操作パネル上に配されたアイコンを、ポインティングデバイス３０１を用いて指示、選択することができるのであるが、操作パネルは仮想物体であり、ポインティングデバイス３０１は現実物体であるので、ポインティングデバイス３０１を操作パネルに近づけても、観察者にはポインティングデバイス３０１と操作パネルとの距離感がつかみにくい。

そこで本実施形態では、操作パネル用仮想照明設定部４１０が設定した光源と操作パネルとの間にポインティングデバイス３０１の一部もしくは全部が位置する場合には、この一部もしくは全部の影の映像を操作パネル上に生成することで、ポインティングデバイス３０１と操作パネルとの距離間を通知する。

このような影の映像の生成方法については様々なものが考えられるが、以下ではその一例について説明する。

先ず、３ＤＣＧ描画データＤＢ４０６には、ポインティングデバイス３０１の位置姿勢に配置する（表示するとは限らない）仮想物体としての指示具のモデル（以下、指示具モデル）のデータを保持させておく。指示具モデルのデータとは、指示具モデルの形状データを含んでいれば良く、特に指示具モデルは描画しなくても良いものであるので、その他のデータ（例えばテクスチャデータなど）は必ずしも含んでいなくても良い。

そしてＣＧレンダリング部４０７は、操作パネル用仮想照明設定部４１０が設定した光源（以下、操作パネル用光源）からの光の照射方向に指示具モデルを操作パネル上に投影した映像を、ポインティングデバイス３０１の影の映像として操作パネル上に生成する。このような影の映像は、操作パネル用光源と操作パネルとの間にポインティングデバイス３０１の一部もしくは全部が位置していない場合には、どこにも投影されることがないので、生成されないし、表示されない。

このようにして、ポインティングデバイス３０１の影の映像を操作パネル上に生成することができる。なお、この指示具モデルの形状についてはポインティングデバイス３０１の形状を忠実に再現したものであっても良いし、適当な形状であっても良い。また、ポインティングデバイス３０１の指示部分のみについて影の映像を生成するようにしても良い。なお、一方の仮想物体の影の映像を他方の仮想物体上に生成するための技術については周知のものであるので、これ以上の説明は省略する。

以下の説明では、指示具モデルが常にポインティングデバイス３０１の位置姿勢に配置されている（表示するとは限らない）場合について説明するが表示されていても以下の説明は別段変わるところはない。

次に、操作パネル用光源について説明する。以下の説明では例として指示具モデルを図６に示すように、四角柱の形状を有するものであるとするが、以下の説明の本質はこのような形状に限定するものではない。

本実施形態では操作パネル用光源のタイプをディレクショナル・ライト（一定方向の光線を放射する照明）とするが、このタイプに限定することなく、ポイント・ライト（特定の位置から光線を全方向に放射する照明）や、スポット・ライト（光源の位置から円錐状に発散する照明）などその他のライトタイプでも良い。さらに、それらの組み合わせでも良い。さらに、本実施形態では、パネル用光源の数を３つとして説明するが、この数に限定するものではなく、１以上であればよい。

図７は、図５に示した操作パネル上にポインティングデバイス３０１を近づけた場合に、操作パネル上に生成される影の映像の表示例を示す図である。同図では説明を簡単にするために、操作パネル用光源の数が１である場合について示しており、影は同図に示す如く、７００ａが生成されている。影の映像は、ポインティングデバイス３０１の位置姿勢に配置した指示具モデルに基づいて上述のようにして作成されたものである。

次に、ディレクショナル・ライト光線方向について説明する。本実施形態では、操作パネル用光源を仮想空間中に設定する場合に、「操作パネル用光源からの照射方向を操作パネルに対して固定する」場合と、「操作パネル用光源からの照射方向をポインティングデバイス３０１（指示具モデル）に対して固定する」場合とがある。以下ではこの２つのケースについて説明する。

まず、操作パネル用光源からの照射方向を操作パネルに対して固定する場合について説明する。操作パネルにポインティングデバイス３０１（指示具モデル）の影を見やすく落とすために、照射方向は操作パネルの平面の法線ベクトルに対してある範囲の角度を持たなければならない。例えば、法線ベクトルに対して９０度の角度から光線が来るとすると、操作パネルに影を映すことが出来ない。

図８は、操作パネルの面に、この面の法線に対して９０度の角度でもって光を照射した場合の、操作パネルの面と照射される光との関係を示した図である。同図において５００は操作パネルの面を示し、８０１はこの面の法線ベクトル、８００は操作パネル用光源から照射される光の方向（ディレクショナル・ライト光線方向）を示す。

図９は、操作パネルの面に、この面の法線に対してある角度でもって光を照射した場合の、操作パネルの面と照射される光との関係を示した図である。同図において図８と同じ部分については同じ番号を付けており、その説明は省略する。同図ではディレクショナル・ライト光線方向８００は、操作パネル５００の面の法線ベクトル８０１と角度８０２（≠９０度）を有する。本実施形態では、角度８０２は９０度以上とするが、本実施形態のように複数の操作パネル用光源を設定し、かつそれらの操作パネル用光源の角度８０２が１８０度に近づかせると、複数のパネル用光源が一つのパネル用光源に省略される。そこで、角度８０２は、９０度と１８０度の真中の１３５度を中心にある程度の幅をもたせることにする。

次に、操作パネル用光源からの照射方向を固定する場合について説明する。

図１０は、ポインティングデバイス３０１（指示具モデル６００）に対してある角度でもって光を照射した場合の、ポインティングデバイス３０１（指示具モデル６００）と照射される光との関係を示した図である。同図において図８と同じ部分については同じ番号を付けており、その説明を省略する。同図において６００ａはポインティングデバイス３０１の指示部分に相当する部分である。６００ｂは、ポインティングデバイス３０１とディレクショナル・ライト光線方向８００との角度を示す。

角度６００ｂが０度に近づくと、ポインティングデバイス３０１の影は点になったりする上に、操作パネル用光源を複数設定した場合には、一つの操作パネル用光源に省略することがなる。また、角度６００ｂが９０度以上になると、かえって操作パネル用光源からの光が操作パネルに当たらないことが多くなる。ここで、角度６００ｂは、０度と９０度の真中の４５度を中心にある程度の幅をもたせることにする。

さらに、指示具モデル６００の長手方向を軸にし、その周りに複数の操作パネル用光源を均等に配置したい場合は、図１２に示すように３つの操作パネル用光源のディレクショナル・ライト光線８００ｄ、８００ｅ、８００ｆのそれぞれの光線方向間の角度を
９００ｄ＝９００ｅ＝９００ｆ＝３６０度／ｍ
にする。ただし、ｍはパネル用光源の数である。

なお、影が見やすく映すことができれば、それぞれの操作パネル用光源は異なるタイプ、位置、方向にしても良い。

以上のように、第１の実施形態によれば、操作パネルの為の光源を設け、操作パネル上に影のモデルを配置すると、ポインティングデバイスと操作パネルとの間の相対位置関係が視覚的に分りやすくなり、操作パネルでのポインティングデバイスの操作を容易にすることができる。

なお、本実施形態では、ＨＭＤはビデオシースルータイプのものを用いたが、光学シースルー型のものを用いてもよいことはいうまでもない。

［第２の実施形態］
第１実施形態では、操作パネル用光源を仮想空間中に設定する場合に、「操作パネル用光源からの照射方向を操作パネルに対して固定する」場合と、「操作パネル用光源からの照射方向をポインティングデバイス３０１（指示具モデル）に対して固定する」場合とがあった。しかし、「操作パネル用光源からの照射方向を操作パネルに対して固定する」場合、ポインティングデバイス３０１の影が点になったり、観察者からみると影はポインティングデバイス３０１の後ろに隠れたりする場合がある。また、「操作パネル用光源からの照射方向をポインティングデバイス３０１（指示具モデル）に対して固定する」場合、ポインティングデバイス３０１の傾きによってその影が操作パネルに映らなかったりする場合がある。

そこで本実施形態では、ポインティングデバイスの位置姿勢、操作パネルの位置姿勢、観察者の頭部の位置姿勢（表示装置１０１ａ、１０１ｂの位置姿勢）に基づいて、操作パネル用光源の位置姿勢を決定する。なお以下の説明では操作パネル用光源のタイプをディレクショナル・ライト光線にし、さらに操作パネル用光源の数を３つとするが、以下の説明の本質はこれに限定するものではない。

図１１は、複合現実空間の映像の生成処理のフローを示す図である。なお、同図において図４と同じ部分には同じ番号を付けており、その説明を省略する。

処理２０３１では、ポインティングデバイスの位置姿勢、操作パネルの位置姿勢、観察者の頭部の位置姿勢のそれぞれに基づいて、操作パネル用光源を設定する処理を行う。そして処理２０４０で操作パネルの映像を生成する際には、処理２０３１で設定した操作パネル用光源から光を照射された操作パネルの映像を生成する。

以下、本実施形態に係る操作パネル用光源の設定方法について図１２を参照して説明する。図１２は、ポインティングデバイス３０１（指示具モデル６００）、操作パネル５００に対してある角度でもって光を照射した場合の、ポインティングデバイス３０１（指示具モデル６００）、操作パネル５００と照射される光との関係を示した図である。同図において図８と同じ部分については同じ番号を付けており、その説明を省略する。

同図に示すように、照射方向８００とポインティングデバイス３０１との角度６００ｂが０度以上且つ９０度以下（できるだけ４５度に近い角度）となるように、且つ照射方向８００と操作パネル５００の法線ベクトル８０１との角度８０２が９０度以上且つ１８０度以下（できるだけ１３５度に近い角度）となるように、操作パネル用光源を設定する。この二つの条件を満たすために、例えば一つの式として、
角度８０２＝角度６００ｄ／２．０＋９０度
がある。ただし、角度６００ｄは、ポインティングデバイス３０１の長手方向の軸６００ｃと操作パネル５００の面とが成す角度である。

また、ポインティングデバイス３０１の影が、観察者から見てポインティングデバイス３０１の後ろに隠れないように、操作パネル用光源からの光の照射方向を、観察者の頭部位置とポインティングデバイス３０１とを結ぶ一直線と平行にならないように調整する。例えば、複数の操作パネル用光源があって、これらを均等に配置する場合、観察者の頭部がこの２つの操作パネル用光源の真中に来るように設定する。これは設定の一例である。

このような操作パネル用光源の設定処理は、操作パネル用仮想照明設定部４１０が行う。

以上のように、第２の実施形態によれば、操作パネル用の光源を決定する際には、ポインティングデバイスの位置姿勢、操作パネルの位置姿勢と観察者の頭部位置姿勢の相対的位置を考量すると、ポインティングデバイスの見やすい影を投影するにポインティングデバイスの姿勢の影響が軽減されるし、さらにポインティングデバイスの影はポインティングデバイスの後ろに隠れることが少なくなるので、ポインティングデバイスと操作パネルの相対的位置が視覚的にもっと分りやすくなり、操作パネルでのポインティングデバイスの操作をさらに容易にすることができる。

［第３の実施形態］
第１，２の実施形態では、操作パネル用仮想照明決定方法を使ってもっと分かりやすいポインティングデバイスの影を描画することが可能と説明したが、操作パネルとポインティングデバイスとの観察者の頭部の相対的な位置姿勢によって、ポインティングデバイスが操作パネルに落とす影を見づらい場合もありえる。

本実施形態では、ポインティングデバイスのさらに認識しやすい影を操作パネル上に配置するために、複数の光源を設定する方法について説明する。

図１３は操作パネルと３つの光源によるポインティングデバイスの影の描画結果の一例を示す図である。

本実施形態では、操作パネルの平面に対して複数の操作パネル用光源を均等に配置する。図１４は操作パネルの面を真上から見たときの複数のディレクショナル・ライト光線方向を示す図である。８００ａ、８００ｂ、８００ｃはそれぞれのパネル用光源からのディレクショナル・ライト光線を示す。９００ａ、９００ｂ、９００ｃはそれぞれ、ディレクショナル・ライト光線８００ａと８００ｂ、８００ｂと８００ｃ、８００ｃと８００ａの間の角度を示す。この角度を何れも均等にするために、
９００ａ＝９００ｂ＝９００ｃ＝３６０度／ｎ
にする。ただし、ｎはパネル用光源の数である。

本実施形態では、光源の数を３つにした例として説明をしたが、光源のタイプと数はこれに限定するものではない。また、影が見やすく映すことができれば、それぞれの光源は異なるタイプ、位置、方向にしても良い。

以上のように、本実施形態によれば、操作パネル用光源を決定する際に複数の光源を設定することで、認識しやすい影の数が増えるので、ポインティングデバイスと操作パネルの相対的位置を視覚的もっと分りやすくなり、操作パネルでのポインティングデバイスの操作をさらに容易にすることができる。

［第４の実施形態］
上記実施形態では、コンピュータ４００の機能構成は図３に示したものであり、且つ図３に示す各部はハードウェアでもって構成されたものであるとして説明したが、コンピュータ４００には一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）などを用いても良く、その場合に、図３に示す各部のうち一部をソフトウェアでもって実現させるようにしても良い。

図１５は、このようなコンピュータ４００の基本構成を示すブロック図である。

同図において１７０１はＣＰＵで、ＲＡＭ１７０２やＲＯＭ１７０３に格納されているプログラムやデータを用いて本コンピュータ４００全体の制御を行うと共に、上記各実施形態において、本コンピュータ４００が行うべき各処理を行う。

１７０２はＲＡＭで、外部記憶装置１７０６からロードされたプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｆ１７０７を介して外部から受信したデータを一時的に記憶する為のエリア、ＣＰＵ１７０１が各種の処理を実行する際に使用するワークエリア等、各種のエリアを適宜提供することができる。

１７０３はＲＯＭで、本コンピュータ４００の設定データや、ブートプログラムなどを格納する。

１７０４は操作部で、キーボードやマウスなどのポインティングデバイスにより構成されており、各種の指示をＣＰＵ１７０１に対して入力することができる。

１７０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１７０１による処理結果を画像や文字などでもって表示することができる。例えばＨＭＤ１００に出力する複合現実空間の映像をここに表示し、本コンピュータ４００の操作者に対しても提示することができる。

１７０６は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置であり、ここにＯＳ（オペレーティングシステム）や、ＣＰＵ１７０１に上記各実施形態において、本コンピュータ４００が行うべき各処理を実行させる為のプログラム（図３においてデータベースを除く各部の機能を実現するためのプログラム）やデータ（図３においてデータベースが保持するデータ群）等が保存されている。また外部記憶装置１７０６には上記各実施形態における説明で、既知のデータとして用いたものも保存されている。

そして、これらの保存されているプログラムやデータはＣＰＵ１７０１の制御によってＲＡＭ１７０２にロードされ、これをＣＰＵ１７０１が用いることで、本コンピュータ４００は、上記各実施形態における処理を行うことができる。

１７０７はＩ／Ｆで、ここに位置姿勢計測装置２０５，表示装置１０１ａ、１０１ｂ、カメラ１０２ａ、１０２ｂが接続され、コンピュータ４００はこれらをＩ／Ｆ１７０７を介してデータ通信を行う。なお、各機器毎にＩ／Ｆを設けるようにしても良いし、Ｉ／Ｆは各機器との通信形態に応じて異ならせるようにしても良い。

１７０８は上述の各部を繋ぐバスである。

また、以上の実施形態では、複合現実空間の映像を生成してＨＭＤ１００に提供する一連の処理を１台のコンピュータでもって行うようにしたが、複数台のコンピュータに処理を適当に分散させるようにしても良い。

［第５の実施形態］
本実施形態では、仮想物体と現実物体との位置関係を明瞭にするために、現実物体の影を仮想物体上に生成する実施形態について説明する。なお、本実施形態は、以下説明する点以外については、第１の実施形態と同様である。

図１６は、現実空間に仮想空間を重畳させた複合現実空間を観察者に提供すると共に、仮想空間中の仮想物体の閲覧、及び操作を可能にさせるための本実施形態に係るシステムの外観を示す図である。尚、同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。

図１６に示す如く、本実施形態に係るシステムは、第１の実施形態に係るシステムから３Ｄポインティングデバイス３０１とこれに備わっている磁気レシーバ２０３を省くと共に、カメラ１０２ａ、１０２ｂとは別個のカメラ１６０１（客観視点）を加えた構成となっている。更に、コンピュータ４００の代わりに、コンピュータ４００とは異なる機能構成を有するコンピュータ１６００を用いる。

カメラ１６０１は、その位置姿勢が固定されたものであり、カメラ１０２ａ、１０２と同様に現実空間の動画像を撮像し、撮像した各フレームの画像を順次コンピュータ１６００に送出するものである。なお、カメラ１６０１の位置姿勢を示すデータは予めコンピュータ１６００に登録されている。

しかし、カメラ１６０１の位置姿勢を動的に変化させるようにしても良く、その場合、カメラ１６０１には、磁気レシーバ２０３と同様の磁気レシーバを設ける。これにより、位置・姿勢計測装置２０５によって、その他の磁気レシーバによる位置姿勢計測と同様にしてカメラ１６０１の位置姿勢を求めることができる。尚、求めたカメラ１６０１の位置姿勢を示すデータはコンピュータ１６００に入力される。

次に、本実施形態に係るコンピュータ１６００の機能構成について説明する。図１７は、このコンピュータ１６００の機能構成を示す図である。本実施形態では、同図に示した各部はハードウェアでもって構成されたものとする。しかし、本実施形態に係るコンピュータ１６００についても第４の実施形態で説明したように、一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等でもって構成するようにしても良い。その場合、図１７に示す各部のうち一部をソフトウェアでもって実現させるようにしても良い。

尚、図１７において図３と同じ部分については同じ番号を付けており、その説明は省略する。

本実施形態では、映像キャプチャ部４０１Ｒ、４０１Ｌにより取り込んだディジタル信号は映像合成部４０２Ｒ、４０２Ｌに対してだけでなく、物体マスク抽出部１７０８Ｒ、１７０８Ｌにも入力される。物体マスク抽出部１７０８Ｒ、１７０８Ｌは、映像キャプチャ部４０１Ｒ、４０１Ｌから入力されたディジタル信号が示す画像中において、抽出対象として予め定められた現実物体の領域と、この領域以外の領域とに分ける。本実施形態ではこの現実物体として「人の手」を用いる。従ってこの場合、物体マスク抽出部１７０８Ｒ、１７０８Ｌは、画像中において肌色（肌色としてある範囲内の色を用いても良い）の画素値を有する画素群を抽出し、抽出した画素群による領域を手の領域として抽出する。

ここで、映像合成部４０２Ｒ、４０２Ｌの動作については第１の実施形態と基本的には同じであるが、本実施形態では、物体マスク抽出部１７０８Ｒ、１７０８Ｌにより抽出された領域には、仮想物体の画像を重畳しないようにする。このような処理技術については様々なものが考えられるが、例えばＯｐｅｎＧＬを用いて現実空間画像上に仮想物体画像を描画する場合、ステンシルバッファにマスク画像（手の領域をマスクした画像）を割り当てることによって実現できる。

このように、手の領域には仮想物体の画像を重畳させていない複合現実空間の画像は右目用のものが映像合成部４０２Ｒから映像生成部４０３Ｒに送出され、左目用のものが映像合成部４０２Ｌから映像生成部４０３Ｌに送出される。映像生成部４０３Ｒ、４０３Ｌは第１の実施形態で説明したように動作するので、結果として映像表示装置１０１ａ、１０１ｂの表示画面上にはこのような左目用、右目用の複合現実空間画像が表示されることになる。

また、位置・姿勢情報入力部４０４には第１の実施形態と同様に、位置・姿勢計測装置２０５から出力されたデータを取り込む。本実施形態ではこのデータには、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータ、３Ｄポインティングデバイス３００が備える磁気センサ２０２のセンサ座標系における位置姿勢を示すデータ、が含まれる。また、カメラ１６０１の位置姿勢が動的に変化する場合には、カメラ１６０１のセンサ座標系における位置姿勢を示すデータも含まれることになる。

そして位置・姿勢算出部４０５は、基本的には第１の実施形態と同様の動作を行うのであるが、カメラ１６０１の位置姿勢が動的に変化する場合には、カメラ１６０１のセンサ座標系における位置姿勢を示すデータと上記変換データとを用いて、カメラ１６０１の仮想空間における位置姿勢を周知の計算により求める。

１７０６は３ＤＣＧ描画データＤＢで、仮想空間を構成する仮想物体（観察対象の仮想物体、後述する影モデルを含む）の映像を生成するためのデータ（３ＤＣＧ描画データ）のＤＢ（データベース）である。３ＤＣＧ描画データには、仮想物体の幾何学形状や色を示すデータ、テクスチャデータ、位置、姿勢を示すデータなどが含まれる。また、この３ＤＣＧ描画データには、仮想空間に光を照射する為の光源や影モデルを生成する際に用いる光源のデータ（光源の種類、光源の位置、照射方向などのデータ）が含まれている。また、３ＤＣＧ描画データＤＢ１７０６には、カメラ１６０１の位置姿勢が固定されている場合には、この固定されている位置姿勢のデータが予め格納されている。

１７０１Ｂは映像キャプチャ部であり、カメラ１６０１より入力した画像をディジタル信号として取り込む。取り込んだ信号は映像合成部１７０２Ｂ、物体マスク抽出部１７０８Ｂに出力する。物体マスク抽出部１７０８Ｂは上記物体マスク抽出部１７０８Ｒ、１７０８Ｌと同様のものであり、映像キャプチャ部１７０１Ｂから受けた画像中において、手の領域と、手の領域以外の領域とに分ける。

映像合成部１７０２Ｂは、上記映像合成部４０２Ｒ、４０２Ｌと同様の動作を行い、物体マスク抽出部１７０８Ｂにより抽出された領域には、仮想物体の画像を重畳しないようにする。即ち、映像合成部１７０２Ｂには映像キャプチャ部１７０１Ｂからカメラ１６０１により撮像された現実空間の画像が入力されると共に、ＣＧレンダリング部４０７からは、カメラ１６０１の位置姿勢に応じて見える仮想物体の画像が入力される。ここで、ＣＧレンダリング部４０７は、基本的には第１の実施形態と同様の動作を行うのであるが、カメラ１６０１の位置姿勢に応じて見える仮想空間の画像を生成する処理をも行う。従って、映像合成部１７０２Ｂは、カメラ１６０１の位置姿勢に応じて見える複合現実空間画像を生成することになる。そして、手の領域には仮想物体の画像を重畳させていない複合現実空間の画像が映像合成部１７０２Ｂから映像生成部１７０３Ｂに送出される。映像生成部１７０３Ｂは映像生成部４０３Ｒ、４０３Ｌと同様の動作を行い、カメラ１６０１の位置姿勢に応じて見える複合現実空間の画像を、例えば、ＨＭＤ１００を頭部に装着していない第三者が見ることのできる表示装置（不図示）に送出する。

次に、現実物体の一例としての「手」の影を仮想物体上に描画するために、同図の物体位置推定部１７０９、影立体生成制御部１７１０、影立体生成部１７１１が行う処理について、図１８を用いて説明する。図１８は、現実物体の影を仮想物体上に生成するための仕組みについて示した図である。

図１８においてｏは後述する影モデルを生成するために光源を配置する位置を示すもので、本実施形態ではカメラ１６０１の位置姿勢でもって配置する。即ち、カメラ１６０１の位置姿勢は予め３ＤＣＧ描画データＤＢ１７０６に登録されている、若しくは位置・姿勢算出部４０５によって算出されるので、この登録されている／算出される位置姿勢に光源を配置する。

同図において１８０１はカメラ１６０１の撮像面で、撮像した画像はこの撮像面上に投影されることになる。１８１０は現実物体であり、本実施形態ではこの現実物体１８１０として「手」を用いるが、ここでは説明を簡単にするために、立方体を用いる。

１８０３，１８０６はそれぞれ仮想物体（β、α）であり、光源の位置ｏから見て、現実物体１８１０よりも近くに配置されているもの、遠くに配置されているものの例である。

１８０２は、カメラ１６０１により撮像された現実空間の画像のマスク画像であり、撮像面１８０１上に投影された現実空間の画像に対して物体マスク抽出部１７０８Ｂが生成したマスク画像である。

このような状況の場合、先ず、マスク画像上における現実物体の輪郭部分上に有限個数のサンプルポイントを設定する。ここでは現実物体１８１０の各頂点Ａ，Ｂ，Ｃ，Ｄをサンプルポイントとするが、サンプルポイントの設定方法については特に限定するものではない。例えば、輪郭部分をトレースし、曲率半径が所定値以下となった箇所にサンプルポイントを設定するようにしても良いし、トレースしながら一定間隔毎にサンプルポイントを設定するようにしても良い。

次に、光源の位置から各サンプルポイントに延長した線分で囲まれた領域を求める。同図の場合、面ＯＡＢ、ＯＢＣ、ＯＣＤ、ＯＤＡで囲まれた錘状の領域となる。この錐状の領域を示す仮想物体が影モデル（影立体）である。同図では、１８２０が影モデルを示す。

ここで物理現象としては、影モデル１８２０内の領域のうち、１８０５で示す領域、即ち、影モデル１８２０内の領域のうち、光源の位置ｏから見て現実物体１８１０よりも遠い領域内には、現実物体１８１０の影が発生することになるし、１８０４で示す領域、即ち、影モデル１８２０内の領域のうち、光源の位置ｏから見て現実物体１８１０よりも近い領域内には、現実物体１８１０の影は発生しない。

このことから、影モデル１８２０内に仮想物体の一部若しくは全部が含まれているような状況であっても、この含まれている部分が領域１８０４内であるのか、領域１８０５内であるのかによっては、現実物体１８１０の影をこの含まれている部分に生成する場合もあるし、生成しない場合もある。

そこで、現実物体１８１０の影を仮想物体上に生成する場合には以下の２つの判定処理が必要となる。

・ 仮想物体の一部若しくは全部が影モデル１８２０内に含まれているか否か
・ 含まれている部分がある場合には、この含まれている部分が光源の位置ｏから見て現実物体１８１０よりも遠い位置にあるのか、それとも近い位置にあるのか
そして、仮想物体の一部若しくは全部が影モデル１８２０内に含まれており、且つこの含まれている部分が光源の位置ｏから見て現実物体１８１０よりも遠い位置にある場合には、この含まれている部分に影を生成する。

次に、この影の生成処理についてより詳細に説明する。

物体位置推定部１７０９には、左目用の現実空間画像のマスク画像が物体マスク抽出部１７０８Ｌから入力されると共に、カメラ１６０１により撮像された現実空間画像のマスク画像が物体マスク抽出部１７０８Ｂから入力される。そして物体位置推定部１７０９は、この２つのマスク画像から、周知の三角測量の原理を用いて、それぞれのマスク画像においてマスクされた対象現実物体（即ち「手」）の位置を推定する。なお、この「手」の位置の推定のために用いるマスク画像の枚数は２以上であってももちろん良い。その場合には例えば、更に、右目用の現実空間画像のマスク画像を物体位置推定部１７０９に入力し、このマスク画像を含めた３枚のマスク画像を用いて同様にして「手」の位置を推定するようにしても良い。

ここで、「手」の位置の推定処理についてより詳細に説明する。先ず、マスク画像におけるマスク領域（「手」の領域）の重心位置と、このマスク画像を得るために用いた現実空間画像を撮像したカメラの焦点位置とを結ぶ直線を求める処理を、それぞれのマスク画像について行う。本実施形態の場合には、カメラ１６０１の焦点位置と、物体マスク抽出部１７０８Ｂが生成したマスク画像における「手」の領域の重心位置とを通る直線を求めると共に、映像入力装置１０２ｂの焦点位置と、物体マスク抽出部１７０８Ｌが生成したマスク画像における「手」の領域の重心位置とを通る直線を求める。そして求めたそれぞれの直線が最も接近した箇所（例えば、それぞれの直線が最も接近する、それぞれの直線上の点の中点）を「手」の位置として推定する。これは直線を３本以上求めた場合にも同様で、それぞれの直線が最も集まっている箇所を「手」の位置として推定する。

次に、影立体生成制御部１７１０は、仮想空間を構成している仮想物体の位置と、先に推定した「手」の位置とを比較する。仮想物体の位置については、例えば、予め位置が定められているものであれば、予め３ＤＣＧ描画データＤＢ１７０６に登録されているので、これを参照すればよい。また、ポインティングデバイス２０２に関連付けられている仮想物体であれば、磁気レシーバ３００により計測されたポインティングデバイス２０２の位置を用いればよい。

そして、光源の位置ｏから見て「手」の位置よりも遠くに位置している仮想物体があれば、影立体生成部１７１１を制御し、影立体生成部１７１１は、上記影モデルを生成する。

そして更に影立体生成部１７１１は、光源の位置ｏから見て「手」の位置よりも遠くに位置している仮想物体において、影モデルの内部に含まれている部分があれば、この部分について影を生成する処理を行う。影を生成する方法については特に限定するものではなく、例えば、仮想物体において影モデルに含まれている部分に、ある透明度を有する黒のテクスチャをマッピングするようにしても良いし、この含まれている部分を構成している要素（例えばポリゴン）の明度を落とすようにしても良い。このように、影を生成する処理を行うことで、この仮想物体に係るデータ（３ＤＣＧ描画データＤＢ１７０６に格納されている）を更新する。

なお、一方の仮想物体において他方の仮想物体に含まれている部分を特定するための処理については、一般にゲームなどにおいてキャラクタ同士の衝突判定処理に代表されるように、周知の技術である。

そして、ＣＧレンダリング部４０７は、この３ＤＣＧ描画データＤＢ１７０６に格納されているデータを用いて、各仮想物体を仮想空間中に配置するのであるが、その際、光源の位置ｏから見て「手」の位置よりも遠くに位置している仮想物体において、影モデルに含まれている部分については影が生成されていることになる。

なお、複数の仮想物体がある場合、各仮想物体について上述の手法により、影を描画してもよいし、観察者が最も注目している仮想物体、―例えば映像入力装置の右目、あるいは左目の視野の中央に位置する仮想物体に対してのみ上記の処理を行ってもよい。

後者の場合、影立体の有無は仮想物体に対してのみ用いてもよいし、全てのＣＧ物体に対して用いてもよい。これらの選択は実現するシステムの目的と、描画パフォーマンス等で決定されるべきことである。

なお、本実施形態では、上記影モデルについては実際には描画しないが、描画するようにしても良い。その場合、上記２つの比較処理を行うことなく、常時影モデルを表示するようにすればよい。

［第６の実施形態］
第５の実施形態では、仮想空間中に照射するための光源と、影モデルを生成するための光源とは別個のもとしていたが、これに限定するものではなく、共通のものを用いるようにしても良い。即ち、カメラ１６０１の位置姿勢でもって配置する光源のみを用いるようにしても良い。

［その他の実施形態］
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

現実空間に仮想空間を重畳させた複合現実空間を観察者に提供すると共に、仮想空間中の仮想物体の閲覧、及び操作を可能にさせるための本発明の第１の実施形態に係るシステムの外観を示す図である。 ＨＭＤ１００の具体的な構成を示す図である。 コンピュータ４００の機能構成を示す図である。 複合現実空間の映像の生成処理のフローを示す図である。 操作パネル描画データに従って作成される仮想物体としての操作パネル５００の表示例を示す図である。 指示具モデルの一例を示す図である。 図５に示した操作パネル上にポインティングデバイス３０１を近づけた場合に、操作パネル上に生成される影の映像の表示例を示す図である。 操作パネルの面に、この面の法線に対して９０度の角度でもって光を照射した場合の、操作パネルの面と照射される光との関係を示した図である。 操作パネルの面に、この面の法線に対してある角度でもって光を照射した場合の、操作パネルの面と照射される光との関係を示した図である。 ポインティングデバイス３０１（指示具モデル６００）に対してある角度でもって光を照射した場合の、ポインティングデバイス３０１（指示具モデル６００）と照射される光との関係を示した図である。 複合現実空間の映像の生成処理のフローを示す図である。 ポインティングデバイス３０１（指示具モデル６００）、操作パネル５００に対してある角度でもって光を照射した場合の、ポインティングデバイス３０１（指示具モデル６００）、操作パネル５００と照射される光との関係を示した図である。 操作パネルと３つの光源によるポインティングデバイスの影の描画結果の一例を示す図である。 操作パネルの面を真上から見たときの複数のディレクショナル・ライト光線方向を示す図である。 コンピュータ４００の基本構成を示すブロック図である。 現実空間に仮想空間を重畳させた複合現実空間を観察者に提供すると共に、仮想空間中の仮想物体の閲覧、及び操作を可能にさせるための本発明の第５の実施形態に係るシステムの外観を示す図である。 コンピュータ１６００の機能構成を示す図である。 現実物体の影を仮想物体上に生成するための仕組みについて示した図である。

Claims (15)

1. 画像処理装置の第１の設定手段が、仮想空間中に光を照射する為の第１の光源を設定する第１の設定工程と、
   前記画像処理装置の配置手段が、仮想物体を前記仮想空間中に配置する配置工程と、
   前記画像処理装置の第１の取得手段が、観察者の視点の位置姿勢を取得する第１の取得工程と、
   前記画像処理装置の生成手段が、前記第１の光源によって光が照射された前記仮想空間を、前記第１の取得工程で取得した位置姿勢を有する視点から見た場合に見える映像を生成する生成工程とを有する、前記画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第２の設定手段が、仮想空間中に光を照射する為の第２の光源を設定する第２の設定工程と、
   前記画像処理装置の第２の取得手段が、現実空間中における現実物体の位置姿勢を取得する第２の取得工程と、
   前記画像処理装置の計算手段が、前記第２の光源の位置から前記現実物体の輪郭部分に延長する複数の直線で規定される領域を求める計算工程と、
   前記画像処理装置の第１の判断手段が、前記仮想物体において前記領域内に含まれる部分が存在するか否かを判断する第１の判断工程と、
   前記画像処理装置の第２の判断手段が、前記第２の光源の位置から見て、前記仮想物体の位置が前記現実物体よりも遠い位置であるか否かを判断する第２の判断工程と、
   前記画像処理装置の影配置手段が、前記仮想物体において前記領域内に含まれる部分が存在し、且つ前記第２の光源の位置から見て、前記仮想物体の位置が前記現実物体よりも遠い位置である場合には、前記含まれている部分に対して影を示す映像を配置する影配置工程と
   を有することを特徴とする画像処理方法。
2. 前記計算工程では、
   前記第２の光源の位置姿勢で前記現実物体を撮像した場合に、撮像面上における前記現実物体の輪郭上の複数のサンプル点のそれぞれと、前記第２の光源の位置とを通る線分の集合で囲まれた錐体領域を前記領域として求めることを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の光源と前記第２の光源とは同じ光源であることを特徴とする請求項１に記載の画像処理方法。
4. 前記第１の光源と前記第２の光源とは異なる光源であることを特徴とする請求項１に記載の画像処理方法。
5. 現実空間に仮想空間の映像を重畳させた映像を生成する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１の入力手段が、観察者の視点の位置姿勢を入力する第１の入力工程と、
   前記画像処理装置の第２の入力手段が、前記観察者が操作する指示具の位置姿勢を入力する第２の入力工程と、
   前記画像処理装置の設定手段が、仮想空間中に光を照射する為の光源を設定する設定工程と、
   前記画像処理装置の配置手段が、仮想物体としての操作対象を、前記視点との位置姿勢関係が固定された位置姿勢でもって仮想空間中に配置する配置工程と、
   前記画像処理装置の生成手段が、前記第１の入力工程で入力した位置姿勢の視点から見える、前記操作対象を含む仮想空間の映像を生成する生成工程とを有し、
   前記生成工程は、
   前記画像処理装置の判断手段が、前記第２の入力工程で入力した指示具の位置姿勢に基づいて、前記指示具の一部が前記光源と前記操作対象との間に位置するか否かを判断する判断工程と、
   前記画像処理装置の投影手段が、前記判断工程で、前記指示具の一部が前記光源と前記操作対象との間に位置すると判断した場合には、前記光源から前記操作対象への光の照射方向に、前記指示具の映像を前記操作対象上に投影した映像を前記操作対象上に生成する投影工程と
   を備えることを特徴とする画像処理方法。
6. 前記設定工程では、前記操作対象に光を照射するための第１の光源と、前記操作対象以外に光を照射するための第２の光源とを設定し、
   前記判断工程では、前記指示具の一部が前記第１の光源と前記操作対象との間に位置するか否かを判断し、
   前記投影工程では、前記指示具の一部が前記第１の光源と前記操作対象との間に位置する場合には、前記第１の光源から前記操作対象への光の照射方向に、前記指示具を示す映像を前記操作対象上に投影した映像を前記操作対象上に生成することを特徴とする請求項５に記載の画像処理方法。
7. 前記設定工程では、前記操作対象の位置姿勢に応じて決まる位置姿勢に前記第１の光源を設定することを特徴とする請求項６に記載の画像処理方法。
8. 前記設定工程では、前記指示具の位置姿勢に応じて決まる位置姿勢に前記第１の光源を設定することを特徴とする請求項６又は７に記載の画像処理方法。
9. 前記設定工程では、前記観察者の視点の位置姿勢に応じて決まる位置姿勢に前記第１の光源を設定することを特徴とする請求項６乃至８の何れか１項に記載の画像処理方法。
10. 前記投影工程では、前記指示具の影を示す映像を、前記操作対象上に生成することを特徴とする請求項５に記載の画像処理方法。
11. 前記操作対象は、操作パネルであることを特徴とする請求項５に記載の画像処理方法。
12. 仮想空間中に光を照射する為の第１の光源を設定する第１の設定手段と、
    仮想物体を前記仮想空間中に配置する配置手段と、
    観察者の視点の位置姿勢を取得する第１の取得手段と、
    前記第１の光源によって光が照射された前記仮想空間を、前記第１の取得手段が取得した位置姿勢を有する視点から見た場合に見える映像を生成する生成手段と、
    仮想空間中に光を照射する為の第２の光源を設定する第２の設定手段と、
    現実空間中における現実物体の位置姿勢を取得する第２の取得手段と、
    前記第２の光源の位置から前記現実物体の輪郭部分に延長する複数の直線で規定される領域を求める計算手段と、
    前記仮想物体において前記領域内に含まれる部分が存在するか否かを判断する第１の判断手段と、
    前記第２の光源の位置から見て、前記仮想物体の位置が前記現実物体よりも遠い位置であるか否かを判断する第２の判断手段と、
    前記仮想物体において前記領域内に含まれる部分が存在し、且つ前記第２の光源の位置から見て、前記仮想物体の位置が前記現実物体よりも遠い位置である場合には、前記含まれている部分に対して影を示す映像を配置する影配置手段と
    を備えることを特徴とする画像処理装置。
13. 現実空間に仮想空間の映像を重畳させた映像を生成する画像処理装置であって、
    観察者の視点の位置姿勢を入力する第１の入力手段と、
    前記観察者が操作する指示具の位置姿勢を入力する第２の入力手段と、
    仮想空間中に光を照射する為の光源を設定する設定手段と、
    仮想物体としての操作対象を、前記視点との位置姿勢関係が固定された位置姿勢でもって仮想空間中に配置する配置手段と、
    前記第１の入力手段が入力した位置姿勢の視点から見える、前記操作対象を含む仮想空間の映像を生成する生成手段とを備え、
    前記生成手段は、
    前記第２の入力手段が入力した指示具の位置姿勢に基づいて、前記指示具の一部が前記光源と前記操作対象との間に位置するか否かを判断する判断手段と、
    前記判断手段が、前記指示具の一部が前記光源と前記操作対象との間に位置すると判断した場合には、前記光源から前記操作対象への光の照射方向に、前記指示具の映像を前記操作対象上に投影した映像を前記操作対象上に生成する投影手段と
    を備えることを特徴とする画像処理装置。
14. コンピュータに請求項１乃至１１の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images