JP6295296B2 - 複合システム及びターゲットマーカ - Google Patents

Description

本発明は、複合現実感装置と３次元位置計測装置とを備える複合システム、及びそれに用いられるターゲットマーカに関する。

昨今、例えば特開２０１５−１２５６４１号公報や特開２００４−３５５１３１号公報に記載のように、ヘッドマウントディスプレイ（以下、ＨＭＤとも称する）を用いた複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）（以下、ＭＲとも称する）技術が発展している。特開２０１５−１２５６４１号公報から引用すると、ＭＲ技術は、ＨＭＤで撮像した現実の世界（現実空間）の画像に、コンピュータで生成された仮想の世界（仮想空間）の画像を重畳させて、ＨＭＤの画面に表示する技術である。ＭＲ技術を利用することで、実際に模型を製作することなく、完成品について、大きさ、又は部品の取り外し（取り付け）の作業性などのチェックが可能となる。ＭＲ技術を用いた複合現実感装置としては、例えば、ＨＭＤと、ＨＭＤを介してユーザに重畳画像である複合現実感を提示する情報処理部と、を備えている。

また、一方で、複数のカメラが設置された撮像対象スペース（撮像可能空間）において、プローブの特定点の位置（３次元座標における位置）を計測する３次元位置計測装置が開発されている。例えば、モーションキャプター装置では、複数のカメラにより形成された撮像対象スペース内において、カメラから照射された赤外線（光）を、人間の関節等に取り付けられた球状の反射マーカが反射し、その反射した画像がカメラで撮像される。そして、少なくとも２つの撮像データに基づいて、三角測量の原理により反射マーカの３次元座標上の位置が測定される。モーションキャプターに関する技術としては、例えば特開２０１４−２１１４０４号公報に記載されている。３次元位置計測装置は、モーションキャプター装置と同様の原理により、プローブの特定点の３次元座標上の位置を計測（測定）するシステムである。

３次元位置計測装置としては、例えば、２つのカメラが常時所定距離だけ離れた状態で物理的に固定されたカメラセットと、複数の反射マーカが設けられたプローブと、２つのカメラが撮像した反射マーカの撮像データに基づいて三角測量の原理によりプローブの特定点の位置を演算する演算装置と、で構成されているものがある。演算装置は、主に、コンピュータ及びコンピュータにインストールされた計測ソフトウェアで構成されている。プローブは、ハンディプローブであって、ユーザが持ち運ぶことができるように形成されている。この３次元位置計測システムは、例えば、工業製品（自動車やその部品等）の各部の寸法の計測・検査に用いられる。３次元座標計測に関する技術としては、例えば特表２０１３−５２８７９５号公報に記載されている。

特開２０１５−１２５６４１号公報 特開２００４−３５５１３１号公報 特開２０１４−２１１４０４号公報 特表２０１３−５２８７９５号公報

ここで、本発明者は、上記のような複合現実感装置と３次元位置計測装置とを組み合わせることに着目し、例えば仮想空間内でのプローブの３次元位置の計測など、新たな利用方法が可能な新たな複合システムの開発を開始した。

ここで、キャリブレーションにおいて、複合現実感装置の座標系を作成するためのターゲットと、３次元位置計測装置の座標系を作成するためのターゲットとは、異なっている。したがって、上記複合システムにおいては、両装置の座標系を一致させるため、一方又は両方のターゲットを目視と手作業により移動させ、両原点等を合わせる作業が必要であった。

しかしながら、この作業では、特に両原点を精度良く一致させることは困難であり、多少のズレを許容せざるを得なかった。また、システム起動の作業効率向上の面でも、当該作業が妨げとなっていた。本発明者は、この新しい複合システムにおいて、両座標系を容易且つ精度良く一致させることを新たな課題とした。

本発明は、このような事情に鑑みて為されたものであり、複合現実感装置で用いられる座標系と３次元位置計測装置で用いられる座標系とを容易且つ精度良く一致させることができる複合システム及びターゲットマーカを提供することを目的とする。

本発明の複合システムは、ユーザに複合現実感を提示する複合現実感装置と、対象物の３次元座標を計測する３次元位置計測装置と、ターゲットマーカと、を備え、前記複合現実感装置は、ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理部と、を有し、前記３次元位置計測装置は、赤外線照射可能な複数のカメラと、基部、前記基部に設けられた複数の反射マーカ、及び前記基部に設けられた位置特定部を有するプローブと、前記複数のカメラから取得した前記複数の反射マーカに関する撮像データに基づいて、三角測量の原理により、３次元座標における前記位置特定部の位置を演算する演算部と、を有し、前記ターゲットマーカは、第一マーカと、前記第一マーカ又は前記第一マーカが固定された連結部に固定された第二マーカと、を有し、前記第一マーカは、前記ヘッドマウントディスプレイを介して前記情報処理部で読み取り可能に構成され、且つ前記複合現実感装置で用いられる座標系である第一座標系の原点及び座標軸を示し、前記第二マーカは、前記カメラを介して前記演算部で読み取り可能に構成され、且つ前記３次元位置計測装置で用いられる座標系である第二座標系の原点及び座標軸を示し、前記ターゲットマーカは、前記第一座標系と前記第二座標系とが一致するように、又は前記第一座標系と前記第二座標系とが所定のズレを有するように形成されている。

本発明によれば、ターゲットマーカを両装置がそれぞれ読み取るだけで又は読み取り後に所定の補正を加えるだけで、目視・手作業によるターゲットの移動作業をすることなく、第一座標系と第二座標系とを精度良く一致させることができる。ターゲットマーカが第一座標系と第二座標系とが一致するように形成されている場合、両装置がターゲットマーカを読み取るだけで共通の座標系を作成することができる。また、ターゲットマーカが第一座標系と第二座標系とが所定のズレを有するように形成されている場合、当該ズレは予め把握できており（又は設計されており）、座標系を一致させるにあたり、読み取り後に当該ズレを補正するように両装置の少なくとも一方を設定するだけで足りる。このように、本発明によれば、第一座標系と第二座標系とを容易且つ精度良く一致させることができる。

本実施形態の複合システムの構成を示す構成図である。 本実施形態の複合システムの詳細構成を示す構成図である。 本実施形態のプローブの構成を示す構成図である。 本実施形態のターゲットマーカの構成を示す構成図である。 本実施形態のターゲットマーカの変形例の構成を示す構成図である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。 特開２０１５−１２５６４１号公報からの引用図面である。

以下、本発明の実施形態について図に基づいて説明する。説明に用いる各図は概念図であり、各部の形状は必ずしも厳密なものではない場合がある。図１に示すように、本実施形態の複合システム１は、複合現実感装置２と、３次元位置計測装置３と、ターゲットマーカ４と、を備えている。

（複合現実感装置）
複合現実感装置２は、いわゆるＭＲシステムであって、図２に示すように、ＨＭＤ（ヘッドマウントディスプレイ）２１と、情報処理部２２と、コントローラ２３と、を備えている。ＨＭＤ２１は、人の頭部に装着する映像端末であって、現実空間を撮像するカメラ２１ａと、ＨＭＤ２１の位置・姿勢を検知するためのマーカ２１ｂと、を有している。情報処理部２２は、ＣＰＵやメモリを備えるコンピュータＰＣ及びソフトウェアで構成され、コンピュータＰＣとＨＭＤ２１とが通信可能に接続されている。ＨＤＭ２１は、位置姿勢センサ（図示せず）を備えていても良い。コントローラ２３は、情報処理部２２と通信可能に接続されており、ユーザが持ち歩くことができ、ユーザの操作に応じて、ＨＭＤ２１での表示画像を変える等の操作を可能とする。複合現実感装置２は、公知のＭＲシステムであって、後に特開２００４−３５５１３１号公報及び特開２０１５−１２５６４１号公報の記載を引用して添付し、詳細説明は省略する。

（３次元位置計測装置）
本実施形態の３次元位置計測装置３は、図２に示すように、複数のカメラ３１と、プローブ３２と、演算部３３と、を備えている。なお、カメラ３１及び演算部３３については、公知の装置であるため、詳細な説明は省略する。カメラ３１は、画像を撮像する撮像部３１１と、赤外線を照射する照射部３１２と、を備えている。カメラ３１は、例えばカメラセンサや光学式カメラである。カメラ３１は、例えば部屋の壁面（天井等）に固定されている。なお、各カメラ３１は、単独で移動可能なスタンド式（例えば三脚式）でも良い。複数のカメラ３１により、撮像対象スペースＳが形成されている。

プローブ３２は、測定される信号を伝えるためのユニットであって、カメラ３１で撮像されることにより自身の位置に関するデータ（情報）を演算部３３に提供する。プローブ３２は、撮像対象スペースＳ内で、ユーザが片手で持ち運ぶことができるハンディタイプのプローブである。プローブ３２は、３次元位置計測用プローブである。

プローブ３２は、図３に示すように、台座（「基部」に相当する）３２１と、台座３２１に固定された複数の反射マーカ３２２と、台座に固定された位置特定部３２３と、を備えている。本実施形態のプローブ３２は、５つの反射マーカ３２２を備えている。反射マーカ３２２は、赤外線を反射する部材であって、例えば円盤状又は球状（ここでは円盤状）に形成されている。なお、台座３２１は、例えばブロック状でも棒状でも良い。位置特定部３２３は、台座３２１の縁部（例えば台座３２１のうち棒状に突出した部位の先端）に固定された球状部材である。ユーザは、位置計測にあたり、プローブ３２を移動させ、位置計測したい対象部に位置特定部３２３を当接させる。

演算部３３は、複数のカメラ３１から取得した複数の反射マーカ３２２に関する撮像データに基づいて、三角測量の原理により、３次元座標（Ｘ、Ｙ、Ｚ）における位置特定部３２３の位置を演算する装置である。具体的に、演算部３３は、ＣＰＵやメモリ等を有するコンピュータＰＣと、当該コンピュータＰＣで作動する計測ソフトウェアと、を備えている。計測ソフトウェアは、例えば市販のソフトウェア（３次元位置計測やモーションキャプチャーに関するソフトウェア）を利用することができる。コンピュータＰＣは、すべてのカメラ３１と通信可能に接続されている。

演算部３３は、２以上のカメラ３１の撮像データに基づいて、三角測量の原理により、反射マーカ３２２の３次元座標を演算する。演算部３３は、例えば、（Ｘ、Ｙ）座標上の反射マーカ３２２の位置データと、（Ｙ、Ｚ）座標上の反射マーカ３２２の位置データに基づいて、反射マーカ３２２の（Ｘ、Ｙ、Ｚ）座標上の位置を演算する。演算部３３は、すべての反射マーカ３２２の３次元座標を算出し、そこからプローブ３２の位置や向きを把握し、位置特定部３２３の３次元座標上の位置を算出する。プローブ３２における反射マーカ３２２と位置特定部３２３との位置関係は、予め計測されており、演算部３３に記憶（設定）されている。当該位置関係は、例えば高精度の３次元測定器（例えば３次元レーザースキャナ等）で計測することが好ましい。演算部３３は、機能として、輪郭演算部及び重心演算部を備えているといえる。作業者は、プローブ３２の位置特定部３２３を対象物（現物）の計測したい個所に当接させて、座標を計測する。

本実施形態では、１つのコンピュータＰＣに、複合現実感装置２のためのソフトウェアと３次元位置計測装置３のためのソフトウェアがインストールされている。したがって、情報処理部２２と演算部３３は、１つのコンピュータＰＣで構成されている。両装置２、３の表示画面は、１つディスプレイに又は複数（例えば２つ）のディスプレイにそれぞれ表示させることができる。各ソフトウェアは、市販されているもので良い。

（ターゲットマーカ）
ターゲットマーカ４は、複合システム１で用いられる３次元の座標系を作成（設定）するための部材であり、キャリブレーション用の部材といえる。具体的に、ターゲットマーカ４は、図４に示すように、第一マーカ４１と、第一マーカ４１上に配置された第二マーカ４２と、を備えている。

第一マーカ４１は、シート状のマーカであって、ＨＭＤ２１で読み取り可能に構成されている。第一マーカ４１は、情報処理装置２で用いられる３次元の直交座標系である第一座標系を示し、空間における当該第一座標系の位置（原点及び座標軸）を情報処理装置２に読み取らせるための部材である。第一座標系は、原点と３つの座標軸（Ｘ軸、Ｙ軸、Ｚ軸）で構成されている。

具体的に、第一マーカ４１は、読み取り面４１１を有し、当該読み取り面４１１が例えば白色と黒色とで構成されている。本実施形態の読み取り面４１１は、白色ベース４１１ａに、黒色枠部４１１ｂ及び黒色マーク部４１１ｃが形成されて構成されている。黒色マーク部４１１ｃは、例えば多角形（図では六角形）状に形成され、矩形枠状の黒色枠部４１１内に位置している。情報処理部２２は、ＨＭＤ２１で読み込まれた第一マーカ４１の情報（例えば図形情報）に基づき第一座標系をソフトウェア上に作成する。

第二マーカ４２は、球状の反射マーカであって、カメラ３１で読み取り可能に構成されている。第二マーカ４２は、３次元位置計測装置３で用いられる３次元の直交座標系である第二座標系を示し、空間における当該第二座標系の位置を３次元位置計測装置３に読み取らせるための部材である。第二座標系は、原点と３つの座標軸（Ｘ軸、Ｙ軸、Ｚ軸）で構成されている。第二マーカ４２は、複数の球状反射部材４２１で構成されている。複数の球状反射部材４２１は、第一マーカ４１の読み取り面４１１上に直接的に固定されている。第二マーカ４２の第一マーカ４１への固定は、例えば接着剤、凹凸による嵌合・圧入、又はねじ止め等で為されている。

本実施形態の第二マーカ４２は、３つの球状反射部材４２１で構成されている。３次元位置計測装置３は、３つの球状反射部材４２１を読み込んで、自身が用いる座標系である第二座標系を作成する。演算部３３には、３つの球状反射部材４２１の位置から読み取れる原点及び座標軸の関係が記憶されている。本実施形態において、第二マーカ４２（複数の球状反射部材４２１）は、読み取り面４１１上における黒色マーク部４１１ｃ以外の部分に配置されている。第二マーカ４２は、正面（上方）から見て、黒色マーク部４１１ｃと重ならないように配置されている。

ターゲットマーカ４は、第一座標系と第二座標系とが一致するように又は所定のズレを有するように形成されている。本実施形態のターゲットマーカ４は、第一座標系と第二座標系とが所定のズレを有するように形成されている。コンピュータＰＣは、第一マーカ４１の読み取り面４１１と球状反射部材４２１の重心との離間距離を、読み取り結果に反映させる。コンピュータＰＣは、一方の読み込み結果に対して、例えば、当該離間距離分だけ原点の位置を移動させる処理を実行する。本実施形態の場合、予めＺ軸方向にのみ所定のズレ量があることが把握されているため、その分両装置２、３の少なくとも一方が読み取り後に原点位置をずれ量分補正することで、座標系を一致させることができる。なお、ターゲットマーカ４は、第一マーカ４１が示す原点の位置と第二マーカ４２が示す原点の位置とが同じ位置になるように設計され、原点を通る座標軸の方向も互いに同じになるように設定されていても良い。

ここで、ターゲットマーカ４を用いたキャリブレーションについて説明する。作業者は、まずターゲットマーカ４を、読み取り面４１１が露出するように、撮像対象スペースＳ内の所望の位置（例えば床、地面、又は机などの水平面上）に配置する。そして、作業者は、３次元位置計測装置３にキャリブレーションを開始させる。演算部３３は、複数のカメラ３１から送信される第二マーカ４２に関する情報に基づき、キャリブレーションを実施し、第二座標系を作成する。

演算部３３の認識において、直角三角形の各頂点位置に配置された球状反射部材４２１のうち、直角をなす頂点に配置された球状反射部材４２１の読み込み位置が第二座標系の原点となる。そして、例えば、当該原点と残りの一方の球状反射部材４２１とをつなぐ直線がＸ軸となり、原点と残りの他方の球状反射部材４２１がＹ軸となる。そして、Ｘ軸とＹ軸に直交する直線がＺ軸となる。このように、演算部３３は、第二マーカ４２の情報から、ソフトウェアにおける原点及び座標軸を設定する。このキャリブレーションは、従来では、例えばＬ字状のターゲット（プレート）を用いて実行されていた。

続いて、ＨＭＤ２１を装着した作業者がＨＭＤ２１を介してターゲットマーカ４を見ることで、ＨＭＤ２１が第一マーカ４１の情報（画像）を情報処理部２２に送信する。情報処理部２２は、受信した第一マーカ４１の情報に基づいて、キャリブレーションを実施し、第一座標系を作成する。なお、複合現実感装置２と３次元位置計測装置３のキャリブレーションの順番は、逆でも良い。

まとめると、本実施形態の複合システム１は、ユーザに複合現実感を提示する複合現実感装置２と、対象物の３次元座標を計測する３次元位置計測装置３と、ターゲットマーカ４と、を備え、複合現実感装置２は、ＨＭＤ２１と、ＨＭＤ２１を介してユーザに重畳画像である複合現実感を提示する情報処理部２２と、を有し、３次元位置計測装置３は、赤外線照射可能な複数のカメラ３１と、基部３２１、基部３２１に設けられた複数の反射マーカ３２２、及び基部３２１に設けられた位置特定部３２３を有するプローブ３２と、複数のカメラ３１から取得した複数の反射マーカ３２２に関する撮像データに基づいて、三角測量の原理により、３次元座標における位置特定部３２３の位置を演算する演算部３３と、を有し、ターゲットマーカ４は、第一マーカ４１と、第一マーカ４１（又は第一マーカ４１が固定された後述する連結部４０）に固定された第二マーカ４２と、を有し、前記第一マーカは、前記ヘッドマウントディスプレイを介して前記情報処理部で読み取り可能に構成され、且つ前記複合現実感装置で用いられる座標系である第一座標系の原点及び座標軸を示し、前記第二マーカは、前記カメラを介して前記演算部で読み取り可能に構成され、且つ前記３次元位置計測装置で用いられる座標系である第二座標系の原点及び座標軸を示し、前記ターゲットマーカは、前記第一座標系と前記第二座標系とが一致するように、又は前記第一座標系と前記第二座標系とが所定のズレを有するように形成されている。

本実施形態によれば、ターゲットマーカ４において第一座標系と第二座標系とを一致させ、又は第一座標系と第二座標系との間で所定のズレを生じさせている。このため、複合現実感装置２と３次元位置計測装置３とが、それぞれ共通のターゲットマーカ４を読み込むことで、ターゲットマーカ４を移動させることなく、両装置２、３の座標系（原点及び座標軸）を精度良く一致させることができる。つまり、複合システム１での作業において、１つの共通座標系を用いることができる。また、本実施形態によれば、ターゲットマーカ４をセットして両装置２、３で読み込むことで原点の位置及び座標軸の方向が一致するため、手作業による位置合わせ・調整が不要となり、システムのキャリブレーション作業が容易となる。つまり、本実施形態によれば、作業効率の向上が可能となる。

また、球状反射部材４２１で構成される第二マーカ４２が、第一マーカ４１に直接固定されているため、部品点数の増大が抑制され、コスト的にも有利である。また、第二マーカ４２（球状反射部材４２１）がシート状である第一マーカ４１上に直接配置されているため、同一平面上に両マーカ４１、４２がセットされることとなり、座標及び原点を一致させる設計が容易となる。ターゲットマーカ４は、本実施形態のように、第一座標系と第二座標系において、少なくとも対応する座標軸同士の方向が平行になるように形成されることが好ましい。これにより、コンピュータＰＣにおいて、原点位置の補正（所定量）のみで両座標系を一致させることができる。

また、本発明者らは、特願２０１５−１６５０８８で出願しているように、ヘッドマウントディスプレイで提示される仮想空間内において、実際に配置された工業製品等の現物に、当該現物を表す３次元モデルのＣＧ（コンピュータグラフィック）を重ねて、作業者がコントローラ２３を操作して現物とＣＧを交互に見ることで、各種製品検査を行っている。このような仮想空間内で現物にＣＧを重ねる技術においても、上記複合システム１を用いることで、現物とＣＧとの重なり精度（一致精度）を向上させることができる。

例えば、上記検査では、複合現実感装置２のみを用いて行われているが、現物に３つの基準マーカを配置して、当該基準マーカとＣＧ上の基準点とを一致させて、仮想空間内のＣＧの位置・姿勢を決定していた。ここで、複合システム１によれば、現物に基準マーカをセットせずとも、現物における当該基準マーカをセットする位置の座標をプローブ３２で計測し、基準マーカの座標とＣＧの基準点の座標とを一致させることで、現物とＣＧとを精度良く一致させることができる。

上記検査方法は、ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理装置を用いて、複数のビード（加工部）及び曲面形状を有する金属加工品の前記ビードを検査する溶接検査方法であって、前記情報処理装置が、現実空間の前記金属加工品と仮想空間の３次元モデルとを位置合わせし、現実空間の前記金属加工品上に前記３次元モデルが重ねて表示される重畳画像データを前記ヘッドマウントディスプレイに送信する第１工程と、前記情報処理装置が、設定された順番に基づき、前記重畳画像データ上で検査対象のビードのみを表示する第２工程と、前記情報処理装置が、ユーザの操作に応じて、前記ヘッドマウントディスプレイを介してユーザに提示される画像を、前記重畳画像データと現実空間を表示する第一画像データとの間で切り替える第３工程と、前記情報処理装置が、ユーザの操作に応じて、検査対象として前記ヘッドマウントディスプレイに表示されている前記ビードの検査結果を記録する第４工程と、前記情報処理装置が、ユーザの操作及び前記順番に応じて、前記重畳画像データに表示される検査対象のビードを次のビードに切り替える第５工程と、を含む。このように、本実施形態によれば、新規のターゲットマーカ４及び新規な複合システム１が提供され、上記検査方法のような新たな利用方法を提供することができる。

（その他）
本発明は、上記実施形態に限られない。例えば、図５に示すように、ターゲットマーカ４の第二マーカ４２は、第一マーカ４１の台座である連結部４０に固定されても良い。連結部４０は、ブロック状、シート状、又は棒状でも良い。連結部４０は、第一マーカ４１と第二マーカ４２との間の位置関係を固定している。この例では、第二マーカ４２の原点を表す球状反射部材４２１が、第一マーカ４１の読み取り面４１１上に配置されている。なお、連結部４０は、第二マーカ４２の台座であっても良い。また、連結部４０は、複数の棒状部材であっても良く、当該棒状部材の各先端に球状反射部材４２１が固定され、当該棒状部材の末端が第一マーカ４１に固定されても良い。また、第二マーカ４２は、球状の反射マーカに限らず、例えば円盤状の反射マーカでも良い。また、第一マーカ４１は、白黒に限らず、ＨＭＤ２１で識別可能な配色が為されたベース部とマーク部（又はマーク部と枠部）とで構成されても良い。また、本実施形態は、ターゲットマーカ４を用いたキャリブレーション方法としても記載できる。また、第二マーカ４２を円盤状又は第一マーカ４１と同一平面上に配置された円状シールとすることで、読み取りのみで両座標系の原点を一致させることもできる。ターゲットマーカ４による第一座標系と第二座標系の所定のずれは、補正の容易さの観点から、回転ずれを除くもの、すなわちＸ軸同士、Ｙ軸同士、及びＺ軸同士は平行であることが好ましい。

以下、複合現実感装置２の補足説明として公開公報を引用する。
（特開２００４−３５５１３１号公報からの引用）
複合現実感提示装置（複合現実感装置に相当する）は、現実空間の映像を撮影するための現実映像撮影装置（たとえばビデオカメラ）と、現実映像撮影装置の撮影位置、方向で見たようにＣＧ映像を作り出すＣＧ映像生成装置（例えばコンピュータ）と、両者を合成して表示することのできる映像表示装置（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）を有する装置である。

また、複合現実感提示装置においては、通常、現実映像撮影装置の視線位置及び視線方向（撮影位置及び方向）を検出するための視線位置姿勢検出装置（たとえば位置姿勢センサ）が設けられており、現実映像撮影装置の撮影位置、方向が変化しても、ＣＧ映像と現実映像との位置関係を正しく維持するように構成される。

すなわち、ＣＧ映像生成装置は、三次元モデリングされた仮想物体を、現実空間と同じスケールの仮想空間中に配置し、視線位置姿勢検出装置によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影装置がどの視線位置及び視線方向から撮影した場合でも、現実空間の中にＣＧで生成された仮想物体が正しく置かれているような映像を表示ことができる。仮想物体の生成に用いるＣＧの種類や技法については特に制限はなく、仮想物体の配置の変更やアニメーション表示など、一般的なＣＧと同様に取り扱うことができる。

現実空間の映像を撮影する現実映像撮影装置は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、その映像信号を例えば半導体記憶装置や磁気記録装置、光学記録装置などの記憶装置（メモリ）中にキャプチャする装置である。

現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用いて、さらにビデオカメラをＨＭＤに、観察者の視線方向に沿って装着することで、観察者が向いている方向の現実映像をＨＭＤに映し出すことができ、かつ、観察者と略一致した視点位置及び視線方向からのＣＧ描画も行えるため、観察者の没入感を高めることができる。

位置姿勢検出装置としては磁気方式による位置姿勢センサなどが用いられ、これをビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視点位置及び姿勢を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ， Ｐｉｔｃｈ， Ｙａｗ）をリアルタイムに検出する装置である。

上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤ又はビデオカメラに備え付けられた視線位置姿勢検出装置（位置姿勢センサ）がビデオカメラの視点位置及び姿勢を検出し、これに応じてＣＧ映像生成装置がその視線位置・姿勢から見たＣＧ映像を生成（レンダリング）し、これを現実映像に重畳してＭＲ映像（現実映像とＣＧとが合成された映像）を生成して、ＨＭＤに表示する。

（特開２０１５−１２５６４１号公報から引用）
また、例えば特開２０１５−１２５６４１号公報に記載のように、ＭＲシステムは、複合現実感（ＭＲ）をユーザに提供するシステムである。以下、上記実施形態のＨＭＤ２１をＨＭＤ１０２とし、カメラ２１ａを赤外線カメラ１０４とし、マーカ２１ｂをオプティカルマーカとし、情報処理部２２を情報処理装置１０１として説明する。

図６に示すように、ＭＲシステムは、情報処理装置１０１、ＨＭＤ１０２、赤外線カメラ１０４、デプスセンサ１０５と、を含む。情報処理装置１０１には、ＨＭＤ１０２と、赤外線カメラ１０４と、デプスセンサ１０５とが接続されており、情報処理装置１０１はこれらと相互にデータ通信可能に有線または無線で接続されている。なお、ＭＲシステムにおいて、デプスセンサ１０５は必ずしも必要でなく、ＨＭＤを介して取得したマーカの座標と三角測量に基づき対象位置が特定されても良い。また、下記のマーカ４０２は、マーカセットＭに対応するものである。また、図７のシステム上に接続される各種端末の構成は一例であり、用途や目的に応じて様々な構成例がある。

情報処理装置１０１は、パーソナルコンピュータのような装置である。情報処理装置１０１は、ＨＭＤ１０２で撮像された現実空間の画像（以下、現実空間画像）と、情報処理装置１０１で生成された仮想空間の画像（以下、仮想空間画像）とを重畳した画像（以下、複合現実画像）に相当する）を生成し、ＨＭＤ１０２に送信する。ＭＲの技術に関しては従来技術を用いるため、詳細な説明は省略する。

ＨＭＤ１０２は、いわゆるヘッドマウントディスプレイである。ＨＭＤ１０２は、ユーザの頭部に装着するディスプレイ装置であり、右目用と左目用のビデオカメラと、右目用と左目用のディスプレイを備えている。ＨＭＤ１０２は、ＨＭＤ１０２のビデオカメラで撮像された現実空間画像を情報処理装置１０１に送信する。そして、情報処理装置１０１から送信されてきた複合現実画像を受信し、ディスプレイに表示する。更に、右目用と左目用のビデオカメラとディスプレイを設けているので、視差によって立体感を得ることができる。尚、ＨＭＤ１０２で撮像する現実空間画像、及び表示する複合現実画像は、動画形式が望ましいが、所定の間隔で撮像された画像であってもよい。

赤外線カメラ１０４は、赤外線を照射することで現実空間を撮像する装置である。本参考形態では、赤外線カメラ１０４はＨＭＤ１０２が備えるオプティカルマーカ１０３を検出し、ＨＭＤ１０２の位置や姿勢を検出する。どのような状況下でもオプティカルマーカ１０３を検出できるように、赤外線カメラ１０４を複数設置することが望ましい。尚、本参考形態では赤外線カメラ１０４とＨＭＤ１０２が備えるオプティカルマーカ１０３を用いてＨＭＤ１０２の位置・姿勢を取得するが、ＨＭＤ１０２の位置・姿勢が検出できればどのような形態でも構わない。例えば、磁気センサを用いてもよいし、ＨＭＤ１０２で撮像された映像を解析して位置・姿勢を特定してもよい。デプスセンサ１０５は、現実空間の物体の位置を検出するためのセンサである。デプスセンサ１０５はＨＭＤ１０２に備えられており、ＨＭＤ１０２を装着するユーザの視線方向に存在する現実空間の物体の位置を示す座標を取得する。そのため、デプスセンサ１０５はＨＭＤ１０２を装着するユーザの視線方向と同様の方向に向けてＨＭＤ１０２に固定されている。

図７は、情報処理装置１０１のハードウェア構成を示す図である。尚、図７の情報処理装置１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス等のポインティングデバイス（入力デバイス２１０）からの入力を制御する。ビデオコントローラ（ＶＣ）２０６は、ＨＭＤ１０２が備える右目・左目ディスプレイ２２２等の表示器への表示を制御する。右目・左目ディスプレイ２２２に対しては、例えば外部出力端子（例えば、Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）を用いて出力される。また、右目・左目ディスプレイ２２２は、右目用のディスプレイと左目用のディスプレイとから構成されている。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。また、通信Ｉ／Ｆコントローラ２０８は、赤外線カメラ１０４、デプスセンサ１０５との通信も制御する。汎用バス２０９は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１（現実空間撮像部）からの映像を貼り込むために使用される。右目・左目ビデオカメラ２２１からは、外部入力端子（例えば、ＩＥＥＥ１３９４端子）を用いて入力される。右目・左目ビデオカメラ２２１は、右目用のビデオカメラと左目用のビデオカメラとから構成されている。尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ上の不図示のマウスカーソル等でのユーザ指示を可能とする。

情報処理装置１０１が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本参考例に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

図８は、情報処理装置１０１の機能構成を示す機能構成図である。尚、図８の情報処理装置１０１の機能構成は一例であり、用途や目的に応じて様々な構成例がある。情報処理装置１０１は、通信制御部３０１、３次元モデル管理部３０２、現実空間画像取得部３０３、マーカ検出部３０４、仮想空間生成部３０５、位置姿勢取得部３０６、物体座標取得部３０７、複合現実画像生成部３０８を備える。

通信制御部３０１は、ＨＭＤ１０２、赤外線カメラ１０４、デプスセンサ１０５等の装置と情報の送受信を行うための機能部である。３次元モデル管理部３０２は、外部メモリ２１１等に記憶され、仮想空間に表示可能な３次元モデルを管理する機能部である。現実空間画像取得部３０３は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１の撮像により生成される現実空間画像を取得するための機能部である。

マーカ検出部３０４は、現実空間画像取得部３０３で取得した現実空間画像に含まれるマーカを検出するための機能部である。マーカとは、情報処理装置１０１が現実空間の物体の位置・姿勢を認識するための二次元コードである。このマーカの例を図９のマーカ４０２に示す。図９は本参考形態のＭＲシステムを利用するユーザとそのユーザの周辺の様子を示す図である。ユーザはデプスセンサ１０５を備えるＨＭＤ１０２を装着しており、更にマーカ４０２が複数貼り付けられた作業対象物４０１が存在している。情報処理装置１０１のマーカ検出部３０４は現実空間画像に所定の画像処理を実行し、このマーカ４０２を検出する。マーカ４０２を検出することで、複雑な画像処理を行うことなく、現実空間の物体の位置・姿勢を認識することができる。

仮想空間生成部３０５は、現実空間に重畳させて表示するための仮想空間を生成する機能部である。仮想空間生成部３０５は、３次元モデルを３次元モデル管理部３０２から取得し、所定の座標位置と向きで当該３次元モデルを配置することで、仮想空間を生成する。位置姿勢取得部３０６は、赤外線カメラ１０４から送信されるＨＭＤ１０２の位置・姿勢を取得するための機能部である。赤外線カメラ１０４から送信される位置・姿勢は、現実空間における位置・姿勢であるので、これを当該現実空間に対して位置合わせされた仮想空間における位置・姿勢として変換し、取得する機能も有する。物体座標取得部３０７は、ＨＭＤ１０２が備えるデプスセンサ１０５が計測した現実空間の物体の位置座標を取得する。デプスセンサ１０５は、計測用の画素ごとに現実空間の物体に対して位置座標を計測するので、この複数の位置座標を物体座標取得部３０７が取得することになる。複合現実画像生成部３０８は、現実空間画像取得部３０３で取得した現実空間画像と、仮想空間生成部３０５で生成した仮想空間を撮像した仮想空間画像とを重畳して、複合現実画像を生成するための機能部である。

次に、本参考例における情報処理装置１０１によって行われる一連の処理について、図１０に示すフローチャートを用いて説明する。図１０の説明の前に図９を参照して本参考例の概要について説明する。図９は、前述した通り、本参考形態のＭＲシステムを利用するユーザとそのユーザの周辺の様子を示す図である。ユーザはデプスセンサ１０５を備えるＨＭＤ１０２を装着しており、更にマーカ４０２が複数貼り付けられた金属加工品４０１が存在している。ＭＲシステムは、この加工をする際の基準となる３次元モデルである基準モデル（第２の３次元モデル）を、マーカ４０２を用いて金属加工品４０１の位置に表示する。更には、デプスセンサ１０５で計測した結果生成される、現実空間の物体（金属加工品４０１や床や壁等）を示す３次元モデルである計測モデル（第１の３次元モデル）を現実空間の当該物体の位置に表示する。

ユーザは、こうして表示された計測モデルの形を基準モデルの形に合わせるように工具を用いて加工していく。ユーザが金属加工品４０１を加工すると当該金属加工品４０１の形状が変化する。そしてこの形状が変化した金属加工品４０１をデプスセンサ１０５が計測し、計測モデルを再生成するため、リアルタイムに加工の結果が正しいか否かを確認することができる。従来はこうした計測モデルを生成するときにＨＭＤ１０２から取得する現実空間画像を用いていたが、画像処理のロジックによって計測モデルを表示する位置が変わってきてしまう。そのため、本参考例ではデプスセンサ１０５をＨＭＤ１０２に備え、当該デプスセンサ１０５の計測結果を用いることで、より精度のよい位置で計測モデルを表示することができる。以下、これらの詳細な処理について図１０のフローチャートを用いて説明する。

まずステップＳ５０１では、情報処理装置１０１のＣＰＵ２０１は、情報処理装置１０１の赤外線カメラ１０４から送信される現実空間におけるＨＭＤ１０２の位置・姿勢、すなわちＨＭＤ１０２を装着するユーザの位置・姿勢を取得する（位置姿勢取得部）。そして、取得した位置・姿勢に対応する仮想空間における位置・姿勢を取得する。現実空間と仮想空間とはあらかじめ位置合わせがなされている。そのため、現実空間における位置・姿勢がわかれば、それに対応する仮想空間の位置・姿勢も取得できる。ステップＳ５０２では、情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２に備えられたデプスセンサ１０５から送信される現実空間の物体（金属加工品４０１や床や壁等）の深度座標を取得する（座標取得部）。ここでいう深度座標とは、デプスセンサ１０５が計測した座標である。デプスセンサ１０５は情報処理装置１０１が把握する仮想空間や現実空間とは異なる独自の座標系を持っている。本参考形態ではこの座標系に基づいた座標を深度座標と呼ぶ。

より具体的には、図１１の座標系イメージ６００と座標系イメージ６１０に示す通りである。座標系イメージ６００に示す通り、デプスセンサ１０５を原点とし、デプスセンサ１０５の視線方向６０２をＺ軸とし、当該Ｚ軸に対して直交する上下方向６０１をＹ軸としている。更には、座標系イメージ６１０に示すとおり、Ｙ軸とＺ軸に直交する左右方向６１１をＸ座標としている。この３軸の座標系に基づいて、デプスセンサ１０５が現実空間の物体の深度座標を取得する。

ステップＳ５０３では、情報処理装置１０１のＣＰＵ２０１は、ＨＭＤ１０２の右目・左目ビデオカメラ２２１から送信された現実空間画像を取得する。そして、ステップＳ５０４では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０３で取得した現実空間画像から金属加工品４０１に付されたマーカ４０２を検出する。現実空間画像からマーカ４０２を検出する技術については、従来技術を用いるため説明は省略する。ステップＳ５０５では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で現実空間画像から金属加工品４０１に付されたマーカ４０２を検出したか否かを判定する。マーカ４０２を検出したと判定した場合には、ステップＳ５０６に処理を進める。マーカ４０２を検出していないと判定した場合には、本一連の処理を終了する。

ステップＳ５０６では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で検出したマーカ４０２に対応する基準モデルを外部メモリ２１１等から取得する。当該基準モデルはマーカ４０２が付された金属加工品４０１を加工した結果の完成形を示す３次元モデルである。基準モデルはあらかじめ作成し、情報処理装置１０１の外部メモリ２１１等にマーカ４０２と対応付けて記憶しておく。

ステップＳ５０７では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０４で検出したマーカ４０２に基づいて、ステップＳ５０６で取得した基準モデルを表示する仮想空間上の座標と向きを特定する（位置特定部）。外部メモリ２１１等では、金属加工品４０１に付されるマーカ４０２ごとに、仮想空間において基準モデルをどのような向きで表示するべきかを記憶している。更に、ステップＳ５０１で取得したＨＭＤ１０２の仮想空間における位置・姿勢と、現実空間画像から取得可能なマーカ４０２の向きや形状とを用いて、ＨＭＤ１０２とマーカ４０２との位置関係を特定できる。よって、この位置関係に基づいて基準モデルを表示する仮想空間上の座標を特定する。

ステップＳ５０８では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０７で特定した座標と向きで、ステップＳ５０６で取得した基準モデル（第２の３次元モデル）を配置する。すなわち、この配置された位置は、現実空間の金属加工品４０１に対応する位置である。ステップＳ５０９では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０２で取得した現実空間の物体の深度座標を、ステップＳ５０１で取得したＨＭＤ１０２の位置・姿勢に応じて、仮想空間の座標に変換する。すなわち、デプスセンサ１０５で取得した座標の座標系を仮想空間の座標系に変換するということである。デプスセンサ１０５はＨＭＤ１０２に備えられているので、デプスセンサ１０５の位置・姿勢は、ＨＭＤ１０２の位置・姿勢と同等である。これを利用して、深度座標をＨＭＤ１０２の位置・姿勢に応じて仮想空間上の座標に変換する。尚、デプスセンサ１０５の設置位置に応じて座標の補正を行うことが望ましい。

ステップＳ５１０では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０９で変換した仮想空間の座標が示す点同士を線分で接続し、金属加工品４０１を示す格子状の計測モデル（第１の３次元モデル）を仮想空間上に生成する（３次元モデル生成部）。情報処理装置１０１がデプスセンサ１０５から取得するのは、現実空間の物体を示す点の座標群である。よって、この点を線で結ぶことでユーザが視認しやすい形態としている。ステップＳ５１１では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５０１で取得したＨＭＤ１０２の位置・姿勢に応じて仮想空間上に仮想的なカメラを設置し、当該カメラから撮像した仮想空間画像を生成する（仮想空間撮像部）。そして、ステップＳ５１２では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５１１で取得した仮想空間画像とステップＳ５０３で取得した現実空間画像とを重畳し、複合現実画像を生成する（重畳画像生成部）。

ステップＳ５１３では、情報処理装置１０１のＣＰＵ２０１は、ステップＳ５１２で生成した複合現実画像をＨＭＤ１０２に送信し、ＨＭＤ１０２の右目・左目ディスプレイ２２２を通じて複合現実画像をユーザに提示する（画像データ送信部）。

以上のステップＳ５０１乃至ステップＳ５１３の処理をユーザから終了の指示があるまで、繰り返し実行する。例えば、図１０のフローチャートを実行した結果として図１２に示すような複合現実画像が右目・左目ディスプレイ２２２に表示される。図１２にはステップＳ５１０で生成した計測モデル７００と、ステップＳ５０８で配置した基準モデル７１０とが表示されている。図１２では図示していないが、これらは金属加工品４０１の位置に重ねて表示されている。ユーザはこの複合現実画像を見ながら、基準モデル７１０に合うように金属加工品４０１を加工していく。金属加工品４０１の位置に重ねて表示されているため、計測モデル７００に対して加工を施すイメージで作業が行える。そして、図１０のフローチャートを繰り返し実行するため、加工に応じて変化する金属加工品４０１の形状が計測モデル７００に反映される。

計測モデル７００と基準モデル７１０とが一致するように加工を行っていくと、図１３に示すような複合現実画像となる。つまり、計測モデル７００と基準モデル７１０とが一致したということは、金属加工品４０１が基準モデル７１０と同じ形状になったということである。このようにして、金属加工品４０１の加工作業を支援する。

以上説明したように、本参考形態によれば、複合現実感を提示する仕組みにおいて、ユーザの装着するヘッドマウントディスプレイが備えるデプスセンサを用いて、金属加工品の位置に当該金属加工品を示す３次元モデルを表示することの可能な効果を奏する。本参考例は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本参考例は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本参考例に含まれる。したがって、本参考例の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本参考例を実現するものである。つまり、本参考例は、本参考例の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本参考例のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本参考例のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本参考例の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本参考例に含まれるものである。

また、本参考例のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

１：複合システム、 ２：複合現実感装置、 ２１、１０２：ＨＭＤ、
２２、１０１：情報処理部、
３：３次元位置計測装置、

Claims (3)

1. ユーザに複合現実感を提示する複合現実感装置と、
   対象物の３次元座標を計測する３次元位置計測装置と、
   ターゲットマーカと、
   を備え、
   前記複合現実感装置は、ヘッドマウントディスプレイと、前記ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理部と、を有し、
   前記３次元位置計測装置は、赤外線照射可能な複数のカメラと、基部、前記基部に設けられた複数の反射マーカ、及び前記基部に設けられた位置特定部を有するプローブと、前記複数のカメラから取得した前記複数の反射マーカに関する撮像データに基づいて、三角測量の原理により、３次元座標における前記位置特定部の位置を演算する演算部と、を有し、
   前記ターゲットマーカは、第一マーカと、前記第一マーカ又は前記第一マーカが固定された連結部に固定された第二マーカと、を有し、
   前記第一マーカは、前記ヘッドマウントディスプレイを介して前記情報処理部で読み取り可能に構成され、且つ前記複合現実感装置で用いられる座標系である第一座標系の原点及び座標軸を示し、
   前記第二マーカは、前記カメラを介して前記演算部で読み取り可能に構成され、且つ前記３次元位置計測装置で用いられる座標系である第二座標系の原点及び座標軸を示し、
   前記ターゲットマーカは、前記第一座標系と前記第二座標系とが一致するように、又は前記第一座標系と前記第二座標系とが所定のズレを有するように形成されている複合システム。
2. 前記第一マーカは、前記ヘッドマウントディスプレイで読み取る読み取り面を備えたシート状部材であり、
   前記第二マーカは、前記読み取り面上に固定されている請求項１に記載の複合システム。
3. ヘッドマウントディスプレイ、及び前記ヘッドマウントディスプレイを介してユーザに重畳画像である複合現実感を提示する情報処理部を有し、ユーザに複合現実感を提示する複合現実感装置と、
   赤外線照射可能な複数のカメラと、基部、前記基部に設けられた複数の反射マーカ、及び前記基部に設けられた位置特定部を有するプローブと、前記複数のカメラから取得した前記複数の反射マーカに関する撮像データに基づいて、三角測量の原理により、３次元座標における前記位置特定部の位置を演算する演算部と、を有し、対象物の３次元座標を計測する３次元位置計測装置と、
   を備えるシステムのキャリブレーションに用いられるターゲットマーカであって、
   前記ターゲットマーカは、第一マーカと、前記第一マーカ又は前記第一マーカが固定された連結部に固定された第二マーカと、を有し、
   前記第一マーカは、前記ヘッドマウントディスプレイを介して前記情報処理部で読み取り可能に構成され、且つ前記複合現実感装置で用いられる座標系である第一座標系の原点及び座標軸を示し、
   前記第二マーカは、前記カメラを介して前記演算部で読み取り可能に構成され、且つ前記３次元位置計測装置で用いられる座標系である第二座標系の原点及び座標軸を示し、
   前記ターゲットマーカは、前記第一座標系と前記第二座標系とが一致するように、又は前記第一座標系と前記第二座標系とが所定のズレを有するように形成されているターゲットマーカ。