JP4777182B2 - 複合現実感提示装置及びその制御方法、プログラム - Google Patents

Description

本発明は、撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置及びその制御方法、プログラムに関するものである。

近年、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用した複合現実感提示システムが盛んに提案されている。これらの複合現実感提示システムは、カメラ等の撮像装置によって撮像した現実世界の画像（現実画像）に対し、コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想世界の画像（仮想画像）を合成する。そして、得られる合成画像をヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の表示装置に表示することで、複合現実感をシステムの体験者に提示している。

このような複合現実感提示システムは、現実世界の画像の変化に追従させて仮想世界の画像を生成し、複合現実感を高めるために、システムの体験者の視点位置・姿勢をリアルタイムで取得する必要がある。更には、体験者に対してＨＭＤのような表示装置にリアルタイムに表示する必要がある。このようなシステムにおいて、仮想画像に含まれる仮想物体を指示する技術が提案されている（例えば、特許文献１）。
特開２００３−２９６７５７号公報

しかしながら、仮想画像をポインティングするデバイスで、なおかつ現実物体をポインティングし、さらにそのポインティング位置を計測できるものはいままでなかった。

本発明は上記の課題を解決するためになされたものであり、仮想画像と現実画像間の間を１つのポインティング装置で操作することを可能にする複合現実感提示装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による複合現実感提示装置は以下の構成を備える。即ち、
撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置であって、
ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、当該ポインティング装置の位置姿勢情報に基づいて計測する第一計測手段と、
前記現実物体上の前記ポインティング位置を前記撮像装置が撮像して得られる撮像画像中の前記ポインティング位置と、該撮像装置の位置姿勢情報とに基づいて、該ポインティング位置を計測する第二計測手段と、
前記第一計測手段と前記第二計測手段との計測結果に基づいて、前記ポインティング装置の指示する現実ポインティング位置を計測する現実ポインティング位置計測手段と、
前記ポインティング装置の位置姿勢情報に基づいて、当該ポインティング装置と同一の始点から同一の方向に、仮想物体を指示する仮想ポインティング装置を生成する生成手段と、
前記仮想ポインティング装置が指示する方向により前記仮想物体上を指している位置である仮想ポインティング位置を、当該仮想ポインティング装置の指示する始点及び方向と前記仮想物体の情報とに基づいて計測する仮想ポインティング位置計測手段と
を備える。

また、好ましくは、前記現実ポインティング位置計測手段と前記仮想ポインティング位置計測手段との計測結果に基づいて、前記現実画像と前記仮想画像を合成して表示する表示手段を更に備える。

また、好ましくは、前記表示手段は、更に、前記仮想ポインティング位置を示す指標を前記仮想画像上に表示する。

また、好ましくは、前記第二計測手段は、前記ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、複数の前記撮像装置それぞれが撮像して得られる撮像画像中の前記ポインティング位置と、該複数の撮像装置それぞれの位置姿勢情報に基づいて、計測する。

また、好ましくは、前記現実ポインティング位置を示す位置情報と、前記仮想ポインティング位置を示す位置情報とを取得して、両者間の距離を算出する算出手段を更に備える。

また、好ましくは、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在するか否かを判定する判定手段と、
前記判定手段の判定結果に基づいて、前記ポインティング装置の駆動、及び前記仮想ポインティング位置を示す指標の表示を制御する制御手段と
を更に備える。

また、好ましくは、前記判定手段の判定の結果、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在する場合、前記ポインティング装置の駆動を停止し、及び前記仮想ポインティング位置を示す指標を前記仮想画像上に表示する。

また、好ましくは、前記判定手段の判定の結果、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在しない場合、前記ポインティング装置を駆動し、及び前記仮想ポインティング位置を示す指標の表示を禁止する。

また、好ましくは、前記判定手段の判定の結果、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在しない場合、前記ポインティング装置を駆動し、及び前記仮想ポインティング位置を示す指標の表示形態を、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在する場合の前記仮想ポインティング位置を示す指標の表示形態と異ならせて表示する。

上記の目的を達成するための本発明による複合現実感提示装置の制御方法は以下の構成を備える。即ち、
撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置の制御方法であって、
第一計測手段が、ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、当該ポインティング装置の位置姿勢情報に基づいて計測する第一計測工程と、
第二計測手段が、前記現実物体上の前記ポインティング位置を前記撮像装置が撮像して得られる撮像画像中の前記ポインティング位置と、該撮像装置の位置姿勢情報とに基づいて、該ポインティング位置を計測する第二計測工程と、
現実ポインティング位置計測手段が、前記第一計測工程と前記第二計測工程との計測結果に基づいて、前記ポインティング装置の指示する現実ポインティング位置を計測する現実ポインティング位置計測工程と、
生成手段が、前記ポインティング装置の位置姿勢情報に基づいて、当該ポインティング装置と同一の始点から同一の方向に、仮想物体を指示する仮想ポインティング装置を生成する生成工程と、
仮想ポインティング位置計測手段が、前記仮想ポインティング装置が指示する方向により前記仮想物体上を指している位置である仮想ポインティング位置を、当該仮想ポインティング装置の指示する始点及び方向と前記仮想物体の情報とに基づいて計測する仮想ポインティング位置計測工程と
を備える。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置の制御をコンピュータに実行させるための、コンピュータ可読媒体に記憶されたプログラムであって、
前記コンピュータを
ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、当該ポインティング装置の位置姿勢情報に基づいて計測する第一計測手段と、
前記現実物体上の前記ポインティング位置を前記撮像装置が撮像して得られる撮像画像中の前記ポインティング位置と、該撮像装置の位置姿勢情報とに基づいて、該ポインティング位置を計測する第二計測手段と、
前記第一計測手段と前記第二計測手段との計測結果に基づいて、前記ポインティング装置の指示する現実ポインティング位置を計測する現実ポインティング位置計測手段と、
前記ポインティング装置の位置姿勢情報に基づいて、当該ポインティング装置と同一の始点から同一の方向に、仮想物体を指示する仮想ポインティング装置を生成する生成手段と、
前記仮想ポインティング装置が指示する方向により前記仮想物体上を指している位置である仮想ポインティング位置を、当該仮想ポインティング装置の指示する始点及び方向と前記仮想物体の情報とに基づいて計測する仮想ポインティング位置計測手段と
して機能させる。

本発明によれば、仮想画像と現実画像間の間を１つのポインティング装置で操作することを可能にする複合現実感提示装置及びその制御方法、プログラムを提供できる。

複合現実感提示システムでは、センサ装置によって計測した体験者の視点位置・姿勢を仮想世界での仮想の視点位置・姿勢として設定し、この設定に基づいて仮想世界の画像（仮想画像）をＣＧにより描画して、現実世界の画像（現実画像）と合成する。

また、ＨＭＤ（ヘッドマウントディスプレイ）は、複合現実感の提示のため、複合現実感システムの体験者の視野には、ＨＭＤの表示装置の表示があり、かつ、ＨＭＤの表示装置の表示には仮想画像が描画された領域が含まれる。そのため、複合現実感提示システムの体験者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像を観察することができる。さらに、複合現実感の世界では、現実画像に仮想画像を合成（重畳）して表示することができ、それによって仮想画像の見かけを持った現実画像を、体験者は仮想のポインティング装置を用いれば計測することができる。

このように、複合現実感提示システムでは、現実の画像を撮像するための現実画像撮像部と、現実画像撮像部の位置姿勢から見たように仮想画像を生成する仮想画像生成部と、両者を合成して表示する画像表示部を備える。更には、複合現実感提示システムでは、現実画像撮像部の視線の位置姿勢が変わる場合でも、仮想画像と現実画像との位置関係を正しく表示するために、現実画像撮像部の視線位置・視線方向を検出する視線位置姿勢検出部（例えば、位置姿勢センサ）を備える。

現実空間の画像を撮像する現実画像撮像部は、例えば、ビデオカメラであり、カメラの視線方向にある現実空間を撮像し、その撮像画像をメモリ中にキャプチャする。

仮想画像生成部は、仮想画像（例えば、三次元モデリングされたＣＧ）を現実空間と同じスケール（基準）の仮想空間に置き、視線位置姿勢検出部によって検出された視線位置、視線方向から観察されたものとして仮想画像をレンダリングする。

この仮想画像と、現実画像撮像部によって撮像された現実画像とを合成すると、結果として、どの視線位置・視線方向から観察した場合でも、現実画像中に仮想画像（ＣＧオブジェクト）が配置されているような画像を表示することができる。

仮想画像に用いるＣＧの種類や配置の変更、アニメーション等は、一般的なＣＧと同様の手法で、自由に行える。ＣＧの位置姿勢を指定するためにさらなる位置姿勢センサを備えて位置姿勢センサの値が示す場所にＣＧを描画することも可能である。このような構成においては、観察者は位置姿勢センサを手に持ち、その位置姿勢センサによってＣＧを表示したい位置姿勢を指定しながら観察することが従来から行われている。

現実画像と仮想画像とを合成して表示する画像表示装置としては、上述のように、例えば、ＨＭＤが用いられる。通常のモニタでなく、ＨＭＤを装着し、さらに現実画像撮像部をＨＭＤの視線方向に取り付けることにより、観察者が向いている方向の画像をＨＭＤに映し出すことができる。また、その方向を向いたときの仮想画像の描画も行えるため、観察者の没入感を高めることができる。

視線位置姿勢検出部としては、例えば、磁気方式の位置姿勢センサ等が用いられる。このような位置姿勢センサを、現実画像撮像部であるビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付けることで、視線の位置姿勢情報を検出することができる。

このような構成により、観察者は、ＨＭＤ等の画像表示部を通じて、現実画像と仮想画像が合成された画像を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実画像撮像装置（ビデオカメラ）が現実画像を撮像し、ＨＭＤに備え付けられた視線位置姿勢検出部（位置姿勢センサ）がビデオカメラの位置視線方向を検出する。これに応じて、仮想画像生成部がその視線位置・姿勢から見た仮想画像をレンダリングし、これを現実画像に合成して画像表示部に表示することが可能である。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
実施形態１では、体験者が複合現実世界の中で仮想物体と現実物体を一つのポインティング装置でシームレスにポインティングと計測を行う構成を実現するものである。

まず、複合現実感提示システムの構成について、図１を用いて説明する。

図１は本発明の実施形態１の複合現実感提示システムの構成を示す図である。

複合現実感提示システムは、システム制御部１０１、撮像装置１２１及びポインティング装置１２０で構成される。

システム制御部１０１は、システム全体をコントロールするユニットである。このシステム制御部１０１は、現実画像入力部１０２、撮像装置位置姿勢管理部１０３、現実ポインティング画像位置計測部１０４と現実ポインティング位置計測部１０５を備える。また、このシステム制御部１０１は、ポインティング装置位置姿勢管理部１０６、現実ポインティング空間位置計測部１０７、仮想ポインティング装置生成部１０８、仮想物体管理部１０９、仮想ポインティング位置計測部１１０と画像合成部１１１を備える。

尚、システム制御部１０１は、例えば、汎用コンピュータ等のパーソナルコンピュータで実現することができる。このパーソナルコンピュータは、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。そして、この汎用コンピュータのＣＰＵが、ＲＡＭやＲＯＭに記憶されている制御プログラム等の各種プログラムを読み出し実行することによって、システム制御部１０１の各種構成要素を実現することが可能である。もちろん、システム制御部１０１の各種構成要素の全部あるいは少なくとも一部が専用のハードウェアで実現されても良い。

次に、現実物体のポインティング位置計測について説明する。

ポインティング装置１２０は、一定基準で現実物体をポインティングするものである。ポインティング装置１２０の位置姿勢は、予め決められた位置姿勢に置かれている状態にある。あるいは、移動可能であるがその位置姿勢は常に計測されているかのどちらかの状態にある。どちらの状態の場合でも、ポインティング装置１２０の位置姿勢を示す位置姿勢情報は、ポインティング装置位置姿勢管理部１０６によって管理されている。

尚、ポインティング装置１２０が移動可能である場合には、自身の位置姿勢情報を検出するための位置姿勢センサ１２０ａが内蔵されていて、その位置姿勢情報は、ポインティング装置位置姿勢管理部１０６へ送信される。

ポインティング装置位置姿勢管理部１０６は、ポインティング装置１２０の位置姿勢情報を現実ポインティング空間位置計測部１０７に送信する。現実ポインティング空間位置計測部１０７では、ポインティング装置１２０の位置姿勢情報と、そのポインティング装置１２０が指し示す一定の基準（例えば、ＸＹＺ座標系）によってポイントしている位置を限定する。例えば、ポインティング装置１２０が、レーザポインタであれば直線上に限定する。これを一次計測工程と呼ぶ。現実ポインティング空間位置計測部１０７は、一次計測工程の結果を、現実ポインティング位置計測部１０５に送信する。

撮像装置１２１の位置姿勢は、予め決められた位置姿勢に置かれている状態にある。あるいは、移動可能であるがその位置姿勢は常に計測されているかのどちらかの状態にある。どちらの状態の場合でも、撮像装置１２１の位置姿勢を示す位置姿勢情報は、撮像装置位置姿勢管理部１０３によって管理されている。

尚、撮像装置１２１が移動可能である場合には、自身の位置姿勢情報を検出するための位置姿勢センサ１２１ａが内蔵されていて、その位置姿勢情報は、撮像装置位置姿勢管理部１０３に送信される。

撮像装置位置姿勢管理部１０３は、撮像装置１２１の位置姿勢情報を現実ポインティング画像位置計測部１０４に送信する。撮像装置１２１は、ポインティング装置１２０がポイントしている位置を撮像し、得られる撮像画像は、現実画像入力部１０２に送信される。現実画像入力部１０２は、入力した撮像画像を現実画像として一旦現実画像メモリ（不図示）に記憶し、その撮像画像を現実ポインティング画像位置計測部１０４に送信する。

現実ポインティング画像位置計測部１０４は、撮像画像中からポインティング装置１２０のポインティング位置を計測する。計測方法は、例えば、ポインティング装置１２０から出力される色、形状、表示形態等の特徴量に基づいて行う。例えば、ポインティング装置が物体に赤い点をマークするものであれば、その赤い点を撮像画像中から検出する。ここで、撮像画像中から特定の色を検出する工程は既知の技術であるため、その詳細は省略する。

撮像画像中のポインティング位置と撮像装置１２１の位置姿勢情報から、そのポインティング位置は限定される。これを二次計測工程と呼ぶ。現実ポインティング画像位置計測部１０４は、二次計測工程の結果を、現実ポインティング位置計測部１０５に送信する。

現実ポインティング位置計測部１０５は、一次計測工程の結果と二次計測工程の結果を合わせ、三角測量法によりポインティング装置１２０の現実ポインティング位置を計測する。

次に、仮想物体のポインティング位置計測について説明する。

ポインティング装置位置姿勢管理部１０６は、仮想ポインティング装置生成部１０８にポインティング装置１２０の位置姿勢情報を送信する。

仮想ポインティング装置生成部１０８は、現実ポインティング装置（ポインティング装置１２０）と同一基準で仮想世界（仮想物体）を指す仮想ポインティング装置を生成する。同一基準とは、現実ポインティング装置がレーザポインティング装置であり、発射されるレーザが直線上の現実物体を指すとすると、仮想ポインティング装置も同様に現実ポインティング装置と同一の始点から同一の方向の仮想物体を指すことを意味する。

仮想ポインティング装置生成部１０８は、この仮想ポインティング装置を生成し、仮想ポインティング位置計測部１１０に、その仮想ポインティング装置の始点と仮想世界の中で指し示す方向を送信する。仮想物体管理部１０９は、仮想世界の構造（例えば、仮想物体を示す仮想画像）を管理していて、その管理構造を仮想ポインティング位置計測部１１０に送信する。

仮想ポインティング位置計測部１１０は、仮想世界の管理構造と仮想ポインティング装置の始点と方向から仮想ポインティング装置がどこを指しているか計測する。

次に、現実物体のポインティング位置計測結果と、仮想物体のポインティング位置計測結果に基づく複合現実画像の生成について説明する。

上述のように、現実ポインティング位置計測部１０５によって、撮像画像中の現実ポインティング位置が計測され、仮想ポインティング位置計測部１１０によって、仮想ポインティング位置が計測される。そして、これらのポインティング位置は、同一の基準（座標系）で管理されているので、表示部１２１ｂで表示されている現実画像と仮想画像を含む画像中のどの位置に、ポインティング位置が属しているかを画像合成部１１１は判定することができる。

そのため、ポインティング装置１２０が現実物体を指示している場合には、その現実ポインティング位置が表示部１２１ｂに表示される現実物体上に表示される。一方、ポインティング装置１２０が仮想物体を指示している場合には、仮想ポインティング装置に切り替わり、その仮想物体上の仮想ポインティング位置が表示部１２１ｂに表示される仮想物体上に表示される。

次に、具体的な操作例について、図２〜図４を用いて説明する。

図２〜図４は本発明の実施形態１の複合現実感提示システムの操作例を説明するための図である。

図２では、体験者２００が、ポインティング装置１２０（例えば、レーザポインティング装置）を所持して、現実物体２０３を指している様子を示している。ポインティング装置１２０は、現実物体２０３上の点２０２を指示している。この場合、体験者２００は、撮像装置１２１の表示部１２１ｂにおいて、図２の状態を観察していることになる。

図３は、図２の状態に仮想物体２０４を配置した状態である。仮想物体２０４は、体験者２００と現実物体２０３の間に存在している。ポインティング装置１２０には、仮想ポインティング装置が実現されていて、仮想物体２０４上の点２０５を指示している。この場合、体験者２００は、撮像装置１２１の表示部１２１ｂにおいて、図３の状態を観察していることになる。

図４では、体験者２００がポインティング装置１２０を所持して、現実物体２０３上の点２０２を指示し、さらにポインティング装置１２０を動かして仮想物体２０４上の点２０５を指示する。この場合、体験者２００は、撮像装置１２１の表示部１２１ｂにおいて、図４の状態を観察していることになる。

そして、体験者２００は、この状態において、例えば、現実物体２０３から仮想物体２０４へ、そのポインティング位置を移動することが可能となる。つまり、例えば、現実物体２０３の点２０２から、仮想物体２０４の点２０５へ移動する場合には、現実ポインティング装置の現実ポインティング位置（点２０２）が仮想ポインティング装置の仮想ポインティング位置（点２０５）へ移動する。

より具体的には、システム制御部１０１は、ポインティング装置１２０の現実ポインティング位置が仮想物体を示す画像領域に進入する（属する）場合には、仮想ポインティング装置に切り替わる。そして、この仮想ポインティング装置による仮想ポインティング位置が仮想物体上に表示されることになる。

以上のように、実施形態１では、現実物体２０３の点（現実ポインティング位置）２０２と仮想物体２０４の点２０５（仮想ポインティング位置）を検出することができるので、両点間の距離２０６を算出することができる。具体的には、現実ポインティング位置２０２と仮想ポインティング位置２０５のそれぞれの位置情報をメモリに記憶して、それらの位置情報に基づいて、両者間の距離２０６を算出することができる。

尚、位置情報のメモリへの記憶は、例えば、ポインティング装置１２０に専用のスイッチ等の位置情報入力部を設け、この位置情報入力部に対する操作がある場合に、ポインティング装置１２０が指示している位置情報を入力する。

次に、実施形態１の複合現実感提示システムが実行する処理について、図５を用いて説明する。

図５は本発明の実施形態１の複合現実感提示システムが実行する処理を示すフローチャートである。

尚、図５の処理は、システム制御部１０１のＣＰＵが、ＲＯＭに記憶されるプログラムを読み出し実行することによって実現される。

まず、ステップＳ１０１で、現実画像入力部１０２で、現実画像を入力する。ここで、現実画像入力部１０２は、撮像装置１２１を用いて画像を撮像して入力し、その撮像画像を現実画像として現実画像メモリ（不図示）に記憶する。

次に、ステップＳ１０２で、撮像装置位置姿勢管理部１０３及びポインティング装置位置姿勢管理部１０６から、撮像装置１２１及びポインティング装置１２０の位置姿勢情報をそれぞれ検出する。これらは、メモリ（不図示）に記憶される。

ステップＳ１０３で、仮想画像を更新する。これは、ポインティング装置１２０の位置姿勢情報に基づいて、仮想ポインティング装置の位置姿勢を更新する。

ステップＳ１０４で、仮想ポインティング位置計測部１１０で、仮想物体画像及び仮想ポインティング装置を含む仮想画像を仮想画像メモリ（不図示）に記憶する。ここでは、撮像装置１２１の位置姿勢情報が示す撮像装置１２１の位置姿勢から見たとおりに仮想画像をレンダリングして仮想画像メモリに記憶する。

特に、ポインティング装置１２０及び撮像装置１２１のそれぞれ位置姿勢情報に基づいて、ポインティング装置１２０が仮想画像を指示している場合には、仮想ポインティング装置を生成する。そして、その仮想画像上の仮想ポインティング位置を示す指標画像を生成して、仮想画像メモリに記憶する。

次に、ステップＳ１０５で、画像合成部１１１は、表示部１２１ｂで、現実画像メモリに記憶されている現実画像と、仮想画像メモリに記憶されている仮想画像とを合成した複合現実感画像（ＭＲ画像）を表示する。この処理は、従来の複合現実感提示システムで行われている処理と同様のものである。

次に、ステップＳ１０６で、処理を終了するか否かを判定する。処理を終了する場合（ステップＳ１０６でＹＥＳ）、複合現実感画像の提示の処理を終了する。一方、処理を終了しない場合（ステップＳ１０６でＮＯ）、ステップＳ１０１に戻る。これにより、ＭＲ画像を連続する動画として提示することが可能である。

尚、撮像装置１２１がステレオ表示可能な場合、図５の処理を左右の目の視点で繰り返すことでステレオ画像を生成することができる（その場合、撮像装置１２１は左右の表示に対してそれぞれ必要になる）。もちろん、構成によっては、２台以上の複数の撮像装置で構成されても良い。また、複数台の撮像装置が構成されている場合の処理は、図５の処理を各撮像装置に対して実行し、その処理結果を統合することになる。

以上説明したように、実施形態１によれば、複合現実感提示システムの体験者が複合現実感を体験中に、一つのポインティング装置で現実物体の位置計測と仮想物体の位置計測を同時に行える。これにより、現実物体の位置と仮想物体の位置に跨る距離を計測することができる。

＜実施形態２＞
実施形態２を説明するにあたり、図９を用いて、従来の複合現実感提示装置の利用例について説明する。

ＨＭＤ１２０５を装着した観察者は、ペン状の位置姿勢センサ１２０１を手に持っている。このペン状の位置姿勢センサ１２０１には、スイッチがついており、このようなペン状でスイッチを持つ位置姿勢センサとしては、例えば、米国Ｐｏｌｈｅｍｕｓ社のスタイラスＳＴ８がある。

この複合現実感提示装置の例では、スイッチを押すと、ペン状の位置姿勢センサ１２１０の先端からビームＣＧ１２０２が描画される。このビームＣＧ１２０２は、現実のレーザポインティング装置のレーザビームを仮想ＣＧとして模したものである。ビームＣＧ１２０２は、空間内に配置された仮想のＣＧオブジェクト１２０３に当たるまで表示することにより、このビームＣＧ１２０２によってＣＧオブジェクト１２０３を指し示したように見せることが可能である。

ここで、ビームＣＧ１２０２とＣＧオブジェクト１２０３の当たり判定は、従来の技術によって可能である。ビームＣＧ１２０２がＣＧオブジェクト１２０３と当たった場所がわかりやすいように、その位置に指示マーク（指票）ＣＧ１２０４（図９では、塗りつぶした円形）を描画することも可能である。また、ビームＣＧ１２０２のような線状のＣＧは描画せずに、指示マークＣＧ１２０４のみを描画することも可能である。

以上説明したようなシステムは、従来の複合現実感提示システムの技術で実現可能なものである。

また、現実物体をレーザビームによってポイント指示するような、レーザポインタと呼ばれる装置は一般に販売されている。

しかしながら、従来のシステムでは、図９に示す指示マークＣＧ１２０４は、ＣＧオブジェクト１２０３に当たる位置に表示される。そのため、ビームＣＧ１２０２がＣＧオブジェクト１２０３に当たれば、指示マークＣＧ１２０４によってオブジェクトＣＧ１２０３を指し示すことができる。

しかしながら、複合現実感提示装置は、仮想のＣＧオブジェクトも現実のオブジェクト（部屋の壁・床や人間等）を合成して提示するものである。図９に示すビームＣＧ１２０２や指示マークＣＧ１２０４によれば、仮想のオブジェクトＣＧは指し示すことができるが、現実のオブジェクトを指し示すことはできない。

また、図１０（Ａ）に示すように、ビームＣＧ１２０２がＣＧオブジェクト１２０３に当たらない場合は、どこまでビームＣＧ１２０２を延長してよいかわからなかった。図１０（Ａ）の例では、現実オブジェクト１２０６とビームＣＧ１２０２の当たり判定を行わない。そのため、図１０（Ａ）に示すように、ビームＣＧ１２０２は現実オブジェクト１２０３を突き抜けたように描画されてしまっている。

この課題を解決するために、ＣＧビーム１２０２と現実オブジェクト１２０６との当たり判定を可能な構成にすれば、図１０（Ｂ）のように正しく現実オブジェクトを指し示すことが可能である。この当たり判定を可能にするためには、現実オブジェクトの形状や位置姿勢を検出する構成を加える必要がある。但し、現実オブジェクトは、壁のように固定されているものばかりと限らず移動するものがあるため（例えば、人間等が挙げられる）、現実オブジェクトの位置姿勢を動的に検出する必要があり、そのためには大掛かりな装置を要するという課題があった。

そこで、この課題を解決するために、実施形態１では、仮想ポインティング装置と現実ポインティング装置を合わせて持った構成について説明した。この構成では、仮想レーザポインティング装置は、ＣＧオブジェクト上に指示マークＣＧのみを表示する（レーザビームは表示しない）。

このような構成によって、現実オブジェクトへは現実のレーザビームがポイントし、仮想オブジェクトへは仮想のレーザポインタが指示マークＣＧによってポイントすることが可能である。しかしながら、図１１に示すように、ＣＧオブジェクト１２０３には、指示マークＣＧ１２０４が表示される。しかしながら、この状況の場合、現実ポインティング装置の現実ポインティング位置１２０７は、ＣＧオブジェクト１２０３で遮蔽されないので、背後の現実オブジェクト１２０６に生成されることになる。このように、実施形態１の構成では、操作者の意図が正しく伝わらないという可能性がある。

そこで、実施形態２では、実施形態１の構成を改良した構成について説明する。

図６は本発明の実施形態２の複合現実感提示システムの構成を示す図である。

特に、図６の構成は、観察者一人分の複合現実感を提示する構成を示している。

図６に示す構成では、ＰＣ（パーソナルコンピュータ）１１０１に、ポインティング装置１１０２、位置姿勢センサコントローラ１１０３、ＨＭＤ１１０４、撮像装置（例えば、ビデオカメラ）１１０５、メモリ１１０６、１１０７が接続されている。

ＰＣ１１０１は、ＨＭＤ１１０４に画像を出力するためのビデオ出力デバイス（ビデオカード）と、撮像装置１１０５の画像をキャプチャするためのビデオキャプチャデバイス（ビデオキャプチャカード）を内部に有しているものとする。ＨＭＤ１１０４はビデオ出力デバイスに、撮像装置１１０５はビデオキャプチャデバイスにそれぞれ接続されている。

位置姿勢センサコントローラ１１０３は、ＰＣ１１０１のインタフェースに接続されている。このインタフェースには、例えば、ＵＳＢインタフェースやシリアルポートがある。位置姿勢センサ１１０８、１１０９は位置姿勢センサコントローラ１１０３に接続させられている。位置姿勢センサ１１０８はＨＭＤ１１０４に搭載され、ＨＭＤ１１０４に搭載されている撮像装置１１０５の視線位置姿勢を検出するために用いられる。また、位置姿勢センサ１１０９は、ポインティング装置１１０２に取り付けられ、ポインティング装置１１０２の位置姿勢を検出するために用いられる。

メモリ１１０６、１１０７はＰＣ１１０１のバスに接続されている。メモリ１１０６と１１０７は、物理的に異なる物理メモリであっても、１つの物理メモリ上に論理的に構成されていても構わない。

実施形態２で描画する仮想画像は、ＰＣ１１０１のメモリ１１０７中に仮想物体画像データ１１２５と仮想ポインティング装置データ１１２６として格納されている。仮想ポインティング装置データ１１２６は、レーザービームを模したレーザビームＣＧである。この仮想ポインティング装置データ１１２６は、ポインティング装置１１０２に搭載された位置姿勢センサ１１０９によって位置姿勢が制御され、常に、ポインティング装置１１０２の先端から前方に伸びるように位置姿勢が操作されるものとする。実施形態２が表示する仮想画像は、仮想物体画像データ１１２５と仮想ポインティング装置データ１１２６とである。

次に、図６におけるポインティング装置１１０２の詳細構成について、図７を用いて説明する。

図７は本発明の実施形態２のポインティング装置の詳細構成を示す図である。

ポインティング装置１１０２は、現実ポインティング部である現実のレーザポインタ４０２、位置姿勢センサ１００９及びスイッチ４０１を備えている。スイッチ４０１は、ＰＣ１１０１に接続されており、ＯＮ／ＯＦＦの状態は、図６のスイッチ検出部１１１８によって検出することができる。このスイッチ検出部１１１８は、例えば、ゲーム用のコントローラ等として一般的に知られている技術であるため、ここではその詳細については説明しない。

レーザポインタ４０２は、ＰＣ１１０１に接続されており、図６の現実ポインティング装置制御部１１１７によって、その発光のＯＮ／ＯＦＦの制御をすることが可能である。レーザポインタ４０２の制御は、スイッチ４０１のＯＮ／ＯＦＦによって、その駆動が制御される。また、この制御についての技術は一般的なものであるため、ここではその詳細については説明しない。

次に、実施形態２の複合現実感提示システムが実行する処理について、図８を用いて説明する。

図８は本発明の実施形態２の複合現実感提示システムが実行する処理を示すフローチャートである。

尚、図８の処理は、ＰＣ１１０１のＣＰＵが、ＲＯＭに記憶されるプログラムを読み出し実行することによって実現される。

まず、ステップＳ５０１で、現実画像入力部１１１１で、現実画像を入力する。ここで、現実画像入力部１１１１は、撮像装置１１０５を用いて画像を撮像して入力し、その撮像画像を現実画像として現実画像メモリ１１２１に記憶する。

次に、ステップＳ５０２で、位置姿勢検出部１１１２で、位置姿勢センサ１１０８、１１０９を用いて撮像装置１１０５とポインティング装置１１０２の位置姿勢情報をそれぞれ検出する。そして、それらを撮像装置位置姿勢情報１１２２とポインティング装置位置姿勢情報１１２３としてメモリ１１０７に記憶する。

ステップＳ５０３で、仮想画像を更新する。これは、ポインティング装置位置姿勢情報１１２３によって、仮想物体画像データ１１２５中の仮想ポインティング装置データ１１２６の位置姿勢を更新する。そして、ポインティング装置１１０２の先端から仮想ポインティング装置データ１１２６が伸びているように配置する。

尚、実施形態２では、仮想物体画像データ１１２５の位置姿勢を変更する具体的な構成については、ここでは言及しない。但し、通常は、般的な仮想現実感・複合現実感システムと同様に仮想物体画像データ１２５を操作するための構成を設けて、仮想物体画像データ１１２５を操作できるものとする。

ステップＳ５０４で、スイッチ検出部１１１８で、ポインティング装置１１０２のスイッチ４０１の押下状態（ＯＮ／ＯＦＦ）を検出し、スイッチ４０１が押下されている（ＯＮである）か否かを判定する。ＯＮである場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０５に進む。一方、ＯＦＦである場合（ステップＳ５０４でＮＯ）、ステップＳ５１０に進む。

ステップＳ５１０で、現実ポインティング装置制御部１１１７で、ポインティング装置１１０２のレーザポインタ（現実のレーザポインタ）４０２をＯＦＦにし、レーザポインタ４０２の発光をＯＦＦする。ステップＳ５１１で、仮想ポインティング装置データ１１２６のＨＭＤ１１０４への表示をＯＦＦにする（既に、ＯＦＦである場合は、何もしない）。尚、仮想画像中の仮想オブジェクト（ここでは、仮想ポインティング装置）を動的に非表示状態／表示状態に変更することは、従来技術で容易に行えるものである。

ステップＳ５０４において、ポインティング装置１１０２のスイッチ４０１がＯＮである場合、ステップＳ５０５で、仮想物体存在判定部１１５で、ポインティング装置１１１０２が指し示す先に仮想物体画像データ１１２５が存在しているか否かを判定する。

仮想物体存在判定部１１５は、ポインティング装置位置姿勢情報１１２３を用いてポインティング装置１１０２の指し示す方向を判定することができる。また、仮想物体画像データ１１２５の位置姿勢も既知であるため、ポインティング装置１１０２が指し示している先に、仮想物体が存在するか否かを判定することは、従来技術で容易に行える。

ステップＳ５０５において、仮想物体が存在しない場合（ステップＳ５０５でＮＯ）、ステップＳ５０６に進む。ステップＳ５０６で、現実ポインティング装置制御部１１１７で、ポインティング装置１１０２のレーザポインタ（現実のレーザポインタ）４０２をＯＮにし、レーザポインタ４０２を発光する。ステップＳ５０７で、仮想ポインティング装置データ１１２６のＨＭＤ１１０４への表示をＯＦＦにする（既に、ＯＦＦである場合は、何もしない）。

一方、ステップＳ５０５において、仮想物体が存在する場合（ステップＳ５０５でＹＥＳ）、ステップＳ５０８に進む。ステップＳ５０８で、仮想ポインティング装置生成部１１１６で、仮想ポインティング装置データ１１２６によるレーザビームＣＧをメモリ１１０７上で描画する。次に、仮想ポインティング装置生成部１１１６は、仮想ポインティング装置データ１１２６のＨＭＤ１１０４への表示をＯＮにする（既に、ＯＮである場合、何もしない）。

このとき、仮想ポインティング装置データ１１２６は、仮想物体画像データ１１２５が示す仮想物体と交差しているはずである。ここで、仮想ポインティング装置生成部１１１６は、仮想ポインティング装置データ１１２６と仮想物体と交差したところから先の仮想ポインティング装置データ１１２６の表示を消去する処理を行う。交差点から先の表示を消去する手法は一般的に行われている技術で実現できる。

尚、仮想ポインティング装置生成部１１１６は、仮想ポインティング装置データ１１２６と仮想物体が交差する位置に、例えば、図９の指示マークＣＧ１２０４のような指標を表示してもよい。これは、指示位置をわかりやすくするためのもので、例えば、適当な半径の円を描画するものである。仮想ポインティング装置データ１１２６によるレーザビームＣＧを描画せずに、このような指標のみのＣＧを描画してもよい。

ステップＳ５０９で、現実ポインティング装置制御部１１１７によって、ポインティング装置１１０２中にあるレーザポインタ（現実のレーザポインタ）４０２をＯＦＦにし、レーザポインタ４０２の発光を停止させる。

ステップＳ５１２で、仮想画像生成部１１１３で、上述の処理結果に基づいて、仮想物体画像データ１１２５及び仮想ポインティング装置データ１１２６を含む仮想画像を仮想画像メモリ１１２４に記憶する。仮想画像生成部１１１３は、撮像装置位置姿勢情報１１２２が示す撮像装置の位置姿勢から見たとおりに仮想画像をレンダリングして仮想画像メモリ１１２４に記憶する。この処理は、従来の複合現実感提示システムで行われている処理と同様のものである。

次に、ステップＳ５１３で、画像表示部１１１４で、現実画像メモリ１１２１に記憶されている現実画像と、仮想画像メモリ１１２４に記憶されている仮想画像とを合成した複合現実感画像（ＭＲ画像）を表示部（ここでは、ＨＭＤ１１０４）に表示する。この処理は、従来の複合現実感提示システムで行われている処理と同様のものである。

次に、ステップＳ５１４で、処理を終了するか否かを判定する。処理を終了する場合（ステップＳ５１４でＹＥＳ）、複合現実感画像の提示の処理を終了する。一方、処理を終了しない場合（ステップＳ５１４でＮＯ）、ステップＳ５０１に戻る。これにより、ＭＲ画像を連続する動画として提示することが可能である。

尚、ＨＭＤ１１０４がステレオ表示可能な場合、図８の処理を左右の目の視点で繰り返すことでステレオ画像を生成することができる（その場合、撮像装置１１０５は左右の表示に対してそれぞれ必要になる）。もちろん、構成によっては、２台以上の複数の撮像装置で構成されても良い。また、複数台の撮像装置が構成されている場合の処理は、図８の処理を各撮像装置に対して実行し、その処理結果を統合することになる。

また、ステップＳ５０７及びステップＳ５１１で、仮想ポインティング装置データ１１２６のＨＭＤ１１０４への表示をＯＦＦにする場合は、完全に表示をＯＦＦにしなくても良い。例えば、仮想ポインティング装置データ１１２６によるレーザビームＣＧの表示長を所定長に短くする表示であっても良い。この所定長は、例えば、仮想物体に仮想ポインティング装置データ１１２６が到達しない程度の長さであればどのようなものでも良い。

つまり、実施形態２では、仮想ポインティング装置が指示する指示方向に仮想画像が存在しない場合、仮想ポインティング位置を示す指標の表示形態を、仮想画像が存在する場合の仮想ポインティング位置を示す指標の表示形態と異ならせて表示する。

これにより、ポインティング装置が仮想物体を指し示さなくなった時に、それまで指示方向に表示されていた仮想ポインティング装置データ１１２６によるレーザビームＣＧが急に消えてしまい指示方向が一瞬わかりづらくなるおそれを回避することができる。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、現実物体と仮想物体との両方に対して、一貫した操作でのポインティングをより効果的に提示することが可能となる。

尚、用途や目的に応じて、実施形態１と２の構成を任意に組み合わせた構成を実現することも可能である。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１の複合現実感提示システムの構成を示す図である。 本発明の実施形態１の複合現実感提示システムの操作例を説明するための図である。 本発明の実施形態１の複合現実感提示システムの操作例を説明するための図である。 本発明の実施形態１の複合現実感提示システムの操作例を説明するための図である。 本発明の実施形態１の複合現実感提示システムが実行する処理を示すフローチャートである。 本発明の実施形態２の複合現実感提示システムの構成を示す図である。 本発明の実施形態２のポインティング装置の詳細構成を示す図である。 本発明の実施形態２の複合現実感提示システムが実行する処理を示すフローチャートである。 従来の複合現実感提示装置の利用例を説明するための図である。 従来の複合現実感提示装置の利用例を説明するための図である。 複合現実感提示装置の利用例を説明するための図である。

符号の説明

１０１ システム制御部
１０２ 現実画像入力部
１０３ 撮像装置位置姿勢管理部
１０４ 現実ポインティング画像位置計測部
１０５ 現実ポインティング位置計測部
１０６ ポインティング装置位置姿勢管理部
１０７ 現実ポインティング位置計測部
１０８ 仮想ポインティング装置生成部
１０９ 仮想物体管理部
１１０ 仮想ポインティング位置計測部
１２０ ポインティング装置
１２１ 撮像装置

Claims (11)

1. 撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置であって、
   ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、当該ポインティング装置の位置姿勢情報に基づいて計測する第一計測手段と、
   前記現実物体上の前記ポインティング位置を前記撮像装置が撮像して得られる撮像画像中の前記ポインティング位置と、該撮像装置の位置姿勢情報とに基づいて、該ポインティング位置を計測する第二計測手段と、
   前記第一計測手段と前記第二計測手段との計測結果に基づいて、前記ポインティング装置の指示する現実ポインティング位置を計測する現実ポインティング位置計測手段と、
   前記ポインティング装置の位置姿勢情報に基づいて、当該ポインティング装置と同一の始点から同一の方向に、仮想物体を指示する仮想ポインティング装置を生成する生成手段と、
   前記仮想ポインティング装置が指示する方向により前記仮想物体上を指している位置である仮想ポインティング位置を、当該仮想ポインティング装置の指示する始点及び方向と前記仮想物体の情報とに基づいて計測する仮想ポインティング位置計測手段と
   を備えることを特徴とする複合現実感提示装置。
2. 前記現実ポインティング位置計測手段と前記仮想ポインティング位置計測手段との計測結果に基づいて、前記現実画像と前記仮想画像を合成して表示する表示手段を更に備える
   ことを特徴とする請求項１に記載の複合現実感提示装置。
3. 前記表示手段は、更に、前記仮想ポインティング位置を示す指標を前記仮想画像上に表示する
   ことを特徴とする請求項２に記載の複合現実感提示装置。
4. 前記第二計測手段は、前記ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、複数の前記撮像装置それぞれが撮像して得られる撮像画像中の前記ポインティング位置と、該複数の撮像装置それぞれの位置姿勢情報に基づいて、計測する
   ことを特徴とする請求項１に記載の複合現実感提示装置。
5. 前記現実ポインティング位置を示す位置情報と、前記仮想ポインティング位置を示す位置情報とを取得して、両者間の距離を算出する算出手段を更に備える
   ことを特徴とする請求項１に記載の複合現実感提示装置。
6. 前記仮想ポインティング装置が指示する方向に前記仮想画像が存在するか否かを判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記ポインティング装置の駆動、及び前記仮想ポインティング位置を示す指標の表示を制御する制御手段と
   を更に備えることを特徴とする請求項１に記載の複合現実感提示装置。
7. 前記判定手段の判定の結果、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在する場合、前記ポインティング装置の駆動を停止し、及び前記仮想ポインティング位置を示す指標を前記仮想画像上に表示する
   ことを特徴とする請求項６に記載の複合現実感提示装置。
8. 前記判定手段の判定の結果、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在しない場合、前記ポインティング装置を駆動し、及び前記仮想ポインティング位置を示す指標の表示を禁止する
   ことを特徴とする請求項６に記載の複合現実感提示装置。
9. 前記判定手段の判定の結果、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在しない場合、前記ポインティング装置を駆動し、及び前記仮想ポインティング位置を示す指標の表示形態を、前記仮想ポインティング装置が指示する方向に前記仮想画像が存在する場合の前記仮想ポインティング位置を示す指標の表示形態と異ならせて表示する
   ことを特徴とする請求項６に記載の複合現実感提示装置。
10. 撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置の制御方法であって、
    第一計測手段が、ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、当該ポインティング装置の位置姿勢情報に基づいて計測する第一計測工程と、
    第二計測手段が、前記現実物体上の前記ポインティング位置を前記撮像装置が撮像して得られる撮像画像中の前記ポインティング位置と、該撮像装置の位置姿勢情報とに基づいて、該ポインティング位置を計測する第二計測工程と、
    現実ポインティング位置計測手段が、前記第一計測工程と前記第二計測工程との計測結果に基づいて、前記ポインティング装置の指示する現実ポインティング位置を計測する現実ポインティング位置計測工程と、
    生成手段が、前記ポインティング装置の位置姿勢情報に基づいて、当該ポインティング装置と同一の始点から同一の方向に、仮想物体を指示する仮想ポインティング装置を生成する生成工程と、
    仮想ポインティング位置計測手段が、前記仮想ポインティング装置が指示する方向により前記仮想物体上を指している位置である仮想ポインティング位置を、当該仮想ポインティング装置の指示する始点及び方向と前記仮想物体の情報とに基づいて計測する仮想ポインティング位置計測工程と
    を備えることを特徴とする複合現実感提示装置の制御方法。
11. 撮像装置が撮像した現実画像に仮想画像を合成して提示する複合現実感提示装置の制御をコンピュータに機能させるための、コンピュータ可読媒体に記憶されたプログラムであって、
    前記コンピュータを、
    ポインティング装置が指示する方向により現実物体上を指している位置であるポインティング位置を、当該ポインティング装置の位置姿勢情報に基づいて計測する第一計測手段と、
    前記現実物体上の前記ポインティング位置を前記撮像装置が撮像して得られる撮像画像中の前記ポインティング位置と、該撮像装置の位置姿勢情報とに基づいて、該ポインティング位置を計測する第二計測手段と、
    前記第一計測手段と前記第二計測手段との計測結果に基づいて、前記ポインティング装置の指示する現実ポインティング位置を計測する現実ポインティング位置計測手段と、
    前記ポインティング装置の位置姿勢情報に基づいて、当該ポインティング装置と同一の始点から同一の方向に、仮想物体を指示する仮想ポインティング装置を生成する生成手段と、
    前記仮想ポインティング装置が指示する方向により前記仮想物体上を指している位置である仮想ポインティング位置を、当該仮想ポインティング装置の指示する始点及び方向と前記仮想物体の情報とに基づいて計測する仮想ポインティング位置計測手段と
    して機能させることを特徴とするプログラム。

Images