JP4343744B2 - 画像処理方法、画像処理装置 - Google Patents

Description

本発明は、現実空間に、仮想空間の画像を重畳させて表示する為の技術に関するものである。

複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供する為のものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察を可能とするものである。

一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。この場合、３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３Ｄ−ＣＧとして計算機の画面上に表示して視覚的に評価する方法等がある。

また、上記両方の技術を組み合わせて、マニピュレータで３ＤＣＧのデータを観察する方法がある。
特開２０００−３５０８５９号公報

しかし、３次元ＣＡＤデータを３Ｄ−ＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また対象となるＣＡＤ物体を様々な方向から観察するのに、マウス等のポインティングデバイスを用いるために、物体の位置や姿勢、さらには観察者の視点や視線を変更するのに複雑な操作が必要であり、多くの時間を費やすことになっていた。

さらに、３ＤＣＧデータをマニピュレータに関連付けて、パーツごとの自由な動きの表示をすることができるが、かえって、３ＤＣＧデータを複数のマニピュレータに関連付けしたあとの状態で、３ＤＣＧデータのパーツを元の構成で表示するのが困難であるという問題があった。

本発明は以上の問題に鑑みてなされたものであり、複数の部品で構成されている仮想物体や、各部品をより簡便な操作でもって観察可能とする為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を有する。

すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
仮想物体を構成するそれぞれの部品の位置姿勢を保持する保持工程と、
前記観察者に操作される第１のセンサ及び該第１のセンサとは異なる第２のセンサの各々の位置姿勢を計測する計測工程と、
前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、該部品が関連づけられたセンサの位置姿勢に基づく座標系における位置姿勢に変換する変換工程と、
前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品を、当該部品について前記変換工程で変換された位置姿勢で配置する配置工程と、
外部指示が入力された場合、前記第２のセンサに関連づけられた部品の位置姿勢を、前記第１のセンサに対応する座標系における位置姿勢に変更する変更工程と
を有することを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を有する。

すなわち、第１および第２のセンサのそれぞれに対応づけられている第１および第２の仮想物体を現実空間に重畳させて観察者に提示する画像処理方法であって、
前記第１および第２のセンサのそれぞれの位置姿勢を示す第１および第２の位置姿勢情報を取得する位置姿勢情報取得工程と、
前記第１および第２の位置姿勢情報を用いて、前記第１および第２の仮想物体の画像を生成する第１生成工程と、
前記第１の仮想物体と前記第２の仮想物体とを予め定められた位置関係で組み合わせる指示情報を検出する検出工程と、
前記指示情報が検出された場合、前記第２の位置姿勢情報の座標系を前記第１の位置姿勢情報の座標系に合わせるための変換情報を設定し、前記第２の位置姿勢情報を前記変換情報を用いて変換し、該変換された位置姿勢情報に基づき前記第２の仮想物体の画像を生成する第２生成工程と
を有することを特徴とする。

本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を有する。

すなわち、現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する第１保持工程と、
前記観察者に操作される第１のセンサから該第１のセンサとは異なる第２のセンサへの相対的な初期位置姿勢を保持する第２保持工程と、
前記第１のセンサ及び前記第２のセンサの各々の位置姿勢を計測する計測工程と、
前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、該部品が関連づけられたセンサの位置姿勢に基づく座標系における位置姿勢に変換する変換工程と、
前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品を、当該部品について前記変換工程で変換された位置姿勢で配置する配置工程と、
前記計測工程で計測された前記第１のセンサから前記第２のセンサへの相対的な位置姿勢が、前記相対的な初期位置姿勢と一致する場合に、前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、対応する前記初期位置姿勢に変更する変更工程と
を有することを特徴とする。

本発明の構成により、複数の部品で構成されている仮想物体や、各部品をより簡便な操作でもって観察することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態では、３Ｄ−ＣＡＤで生成された３ＤＣＧデータは複数の部品（パーツ）により構成されており、それぞれの部品を、複数のマニピュレータのうちの何れかでもって操作する。その際に、マニピュレータ間の相対的な位置関係情報とそれぞれの部品との相対的な位置関係情報（アッセンブリ）をもとに座標変換オフセットを算出し、パーツの一部または全体を元位置での表示と観察を容易とした複合現実感システムを示す。

図１は、本実施形態に係る複合現実感システムの外観構成を示す図である。

１００は観察者が頭部に装着して現実空間と仮想空間とを合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ、ＨＭＤ：Head Mounted Displayなどと呼ばれるもの）である。頭部装着型映像入出力装置１００は、右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂ、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂ、磁気センサ２０１により構成されている。

右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂは、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目から見える現実空間の映像（動画像）を撮像するためのものである。なお、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂは配置位置が異なるのみで、基本的には同じ装置であるので、特に右目用映像入力装置１０２ａ、もしくは左目用映像入力装置１０２ｂに特化した説明ではない限り、これらをまとめて映像入力装置１０２と呼称する場合がある。

右目用映像表示装置１０１ａは、右目用映像入力装置１０２ａが撮像した映像上に情報処理装置４００によって仮想空間の画像を合成した画像（複合現実空間画像）を表示する。左目用映像表示装置１０１ｂは、左目用映像入力装置１０２ｂが撮像した映像上に情報処理装置４００によって仮想空間の画像を合成した画像を表示する。なお、右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂは配置位置が異なるのみで、基本的には同じ装置であるので、特に右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂに特化した説明ではない限り、これらをまとめて映像表示装置１０１と呼称する場合がある。

磁気センサ２０１は、取り付けられた位置における磁気の変化を計測する。この磁場は、磁気トランスミッタ２００により発生されるものである。磁気センサ２０１が計測した結果は信号として位置姿勢計測装置２０５に出力される。位置姿勢計測装置２０５はこの信号に基づいて、磁気トランスミッタ２００の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系（センサ座標系）における磁気センサ２０１の位置姿勢を求める。

このような位置姿勢を求める一連の処理は周知のものであるので、これ以上の説明は省略する。

以上の処理によって位置姿勢計測装置２０５により求められた「磁気センサ２０１のセンサ座標系における位置姿勢」を示すデータは、後段の情報処理装置４００に出力される。

また、３００、３０１はそれぞれ、観察者が手にもって操作するマニピュレータであり、仮想物体を構成する各部品は後述の処理により、このマニピュレータ３００、３０１の何れかに関連付けられる。そして関連付けられた部品は、マニピュレータ３００、３０１の位置姿勢の変化と共に、その位置姿勢を変化させる。これにより、観察者がマニピュレータ３００を手に持って動かすと、関連付けられた部品もそれに応じてその位置姿勢を変化させるので、観察者は、部品をあらゆる方向から観察することができる。マニピュレータ３００、３０１を用いた部品の観察についてのより詳細な説明は省略する。

また、マニピュレータ３００，３０１にはそれぞれ、磁気センサ２０１と同様のセンサ２０２，２０３が組み込まれている。磁気センサ２０２，２０３は磁気センサ２０１と同様に、磁気トランスミッタ２００が発生させている磁気の変化を計測するものであり、計測した結果は信号として位置姿勢計測装置２０５に出力される。従って、位置姿勢計測装置２０５は上記同様の処理を行うことにより、磁気センサ２０２，２０３のセンサ座標系における位置姿勢を求め、後段の情報処理装置４００に出力する。

以上のようにして、情報処理装置４００には、磁気センサ２０１、２０２，２０３のセンサ座標系における位置姿勢を示すデータが入力されることになる。

なお、マニピュレータ３００、３０１には更に、不図示のボタンが備わっている。このボタンが押下されると、その旨を示す信号が後段の情報処理装置４００に出力される。このボタンの使用目的については後述する。

３０２は３ＤＣＧデータを観察するための台である。

４００は情報処理装置であり、一般的には例えばＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等により構成されるコンピュータである。

図１６は、情報処理装置４００の基本構成を示す図である。

１６０１はＣＰＵで、ＲＡＭ１６０２やＲＯＭ１６０３に格納されているプログラムやデータを用いて情報処理装置４００全体の制御を行うと共に、Ｉ／Ｆ１６０７に接続される外部装置とのデータ通信の制御を行う。また、情報処理装置４００が行うべき処理として後述する各処理を行う。

１６０２はＲＡＭで、外部記憶装置１６０５からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ１６０１が各種の処理を実行する際に必要なワークエリアも備える。

１６０３はＲＯＭで、ブートプログラムや情報処理装置４００の設定データなどを格納する。

１６０４は操作部で、キーボードやマウス、ジョイスティックなどにより構成されており、各種の指示をＣＰＵ１６０１に対して入力することができる。

１６０５は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）やＣＰＵ１６０１に、後述する各処理を実行させるためのプログラムやデータ等が保存されており、これらの一部、もしくは全部は、ＣＰＵ１６０１の制御により、ＲＡＭ１６０２にロードされる。また、後述の説明で、既知のデータ（情報）として説明するものもまたこの外部記憶装置１６０５に保存されており、必要に応じてＣＰＵ１６０１の制御により、ＲＡＭ１６０２にロードされる。

１６０６は表示部で、ＣＲＴや液晶画面等により構成されており、画像や文字による各種の情報を表示することができる。

１６０７はＩ／Ｆで、ここに上記位置姿勢計測装置２０５、頭部装着型映像入出力装置１００、磁気センサ２０１等が接続されており、このＩ／Ｆ１６０７を介して、情報処理装置４００は位置姿勢計測装置２０５、頭部装着型映像入出力装置１００、磁気センサ２０１等とのデータ通信を行うことができる。

１６０８は上述の各部を繋ぐバスである。

以上の構成を備える情報処理装置４００は、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂそれぞれから得られる現実空間の画像を取り込むとと共に、磁気センサ２０１から得られる位置姿勢に基づいて右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂから見える仮想物体の画像を生成する。そして、生成した画像を、先に取り込んだ現実空間の画像上に重畳させ、重畳させた画像を右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂに出力する。これにより、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置姿勢に対応した複合現実空間画像が表示されることになる。

なお、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目に対応した複合現実空間の画像を生成して提示するための一連の処理については周知の技術であるので、これに関する詳細な説明は省略する。

図２は、頭部装着型映像入出力装置１００の構成を示す図である。

１０１は映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成されるものである。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。このような構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。

１０２は映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することが可能である。

図３は、情報処理装置４００の機能構成を示す図である。

４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれ映像入力装置１０２ａ、１０２ｂより入力した映像データをデジタル信号として取り込む。

４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。

４０６は、仮想空間を構成する仮想物体の画像を生成するためのデータ（３ＤＣＧ描画データ）である。３ＤＣＧ描画データには、仮想物体の幾何学形状や色を示すデータ、テクスチャデータなどが含まれる。

４０８は、マニピュレータ３００と３０１に搭載されているボタンの状態（押されている・押されていない）を検出するボタン情報入力部である。本実施形態ではボタン情報入力部４０８は、マニピュレータ３００と３０１に搭載されているボタンの状態を検知するものとするが、これに限定するものではなく、情報処理装置４００の操作部１６０４に含まれるマウスのボタンの押下状態を検知するものとしても良い。すなわち、情報処理装置４００に対して、特定の指示が入力された場合に、これを検知する目的であれば、ボタン情報入力部４０８が検出する情報はどのような入力形態でもって入力されても良いし、検出する情報は如何なる情報であっても良い。

４０５は位置姿勢算出部であり、位置姿勢情報入力部４０４からの入力データをもとに、映像入力装置１０２とマニピュレータ３００と３０１の相対的な位置関係を算出する。

４０７はＣＧレンダリング部で、位置姿勢算出部４０５で算出した相対的な位置関係とボタン情報入力部４０８の入力データをもとに、マニピュレータの位置に、マニピュレータの姿勢でもって仮想物体を配置した場合に、右目用映像入力装置１０２ａの位置姿勢に応じて見える仮想物体の映像、左目用映像入力装置１０２ｂの位置姿勢に応じて見える仮想物体の映像を、３ＤＣＧ描画データを用いて生成（レンダリング）する。なお、所定の位置姿勢を有する視点から見える仮想物体の映像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。

４０２Ｒ、４０２Ｌはそれぞれ、映像キャプチャ部４０１Ｒ、４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成した右目用映像入力装置１０２ａの位置姿勢に応じて見える仮想物体の映像、左目用映像入力装置１０２ｂの位置姿勢に応じて見える仮想物体の映像を重畳させ、それぞれ、映像生成部４０３Ｒ、４０３Ｌに出力する。これにより、右目用映像入力装置１０２ａの位置姿勢に応じて見える複合現実空間の画像、左目用映像入力装置１０２ｂの位置姿勢に応じて見える複合現実空間の画像を生成することができる。尚、重畳処理の際、現実空間の画像において、「手」の領域以外の領域のみを仮想空間の画像を重畳可能な領域とする。

すなわち、本実施形態では、現実空間の画像において「手」の領域には仮想空間の画像は重畳させないものとするが、この処理は必須なものではない。

映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログデータに変換し、それぞれ右目用映像表示装置１０１ａ、左目用映像表示装置１０１ｂに映像信号として出力する。これにより、頭部装着型映像入出力装置１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置（厳密には映像入出力装置の位置）に対応した複合現実空間の画像が表示される。

以上説明した、観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理について、同処理の手順を示す図４を参照して説明する。

先ず、仮想空間の画像を描画するために用いる３ＤＣＧ描画データを生成するための処理手順について、同図の左側を参照して説明する。

通常、３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合には、３Ｄ−ＣＡＤのデータは、それぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１１１０）。本複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成して、３Ｄ−ＣＡＤデータの操作と観察を可能にする。

生成された３ＤＣＧ描画データ４０６は、情報処理装置４００の外部記憶装置１６０５に保存しておき、必要に応じてＲＡＭ１６０２にロードする。

次に、複合現実感システムが行う、この３ＤＣＧ描画データ４０６を用いて仮想空間の画像（仮想物体の画像）を生成し、現実空間の画像に重畳させて観察者に提示する処理について、同図右側を参照して説明する。

マニピュレータ３００、３０１に備わっている磁気センサ２０２，２０３は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気センサ２０２、２０３の位置姿勢（マニピュレータ３００、３０１の位置姿勢）を示すデータを情報処理装置４００に出力する（２０１０）。

同様に、磁気センサ２０１は上述の通り磁気トランスミッタ２００が発生する磁界の変化を計測し、その計測結果を信号として位置姿勢計測装置２０５に出力するので、位置姿勢計測装置２０５は、受けた信号に基づいて、センサ座標系における磁気センサ２０１の位置姿勢を示すデータを情報処理装置４００に出力する（２０２０）。

一方、マニピュレータ３００、３０１は、自身に備わっているボタンが押下されているか否かを検知し、その旨を示す情報（押下されているか否かを示す情報）を情報処理装置４００に出力する（２０１５）。

以上の処理で情報処理装置４００に出力されたデータ（情報）は、ＲＡＭ１６０２に記憶される。

情報処理装置４００のＣＰＵ１６０１は、上述の通り、右目用映像入力装置１０２ａとマニピュレータ（３００、３０１）との位置姿勢関係、左目用映像入力装置１０２ｂとマニピュレータ（３００、３０１）との位置姿勢関係を求める。そして、マニピュレータの位置に、マニピュレータの姿勢でもって仮想物体を配置した場合に、右目用映像入力装置１０２ａ、左目用映像入力装置１０２ｂそれぞれからの仮想物体の見え方を求める（２０３０）のであるが、マニピュレータの位置に、マニピュレータの姿勢でもって配置される仮想物体は、このマニピュレータに備わっているボタンが押下されている場合、その配置位置、姿勢を変化させる。この配置位置、姿勢の変化については後述する。

一方、上記２０１０，２０１５，２０２０，２０３０における処理と並行して、映像入力装置１０２より、撮像された現実空間の画像がフレーム毎に情報処理装置４００に入力され、ＲＡＭ１６０２に順次記録される（３０１０、３０２０）。

一方、ＣＰＵ１６０１は、上記処理２０３０でもって求めた「仮想物体の見え方」で見える仮想物体の画像（ＣＧ）を、上記３ＤＣＧ描画データ４０６を用いてＲＡＭ１６０２上に生成（描画、レンダリング）する（２０４０）。

そして、ＣＰＵ１６０１は、ＲＡＭ１６０２上で、現実空間の画像上に、仮想物体の画像を重畳させ（４０１０）、重畳後の画像（複合現実空間の画像）をアナログ信号としてのビデオ信号に変換して映像表示装置１０１に出力する（４０２０）。

以上説明した処理により、マニピュレータの位置に、マニピュレータの姿勢でもって配置された仮想空間の画像が現実空間の画像に重畳されて観察者に提供することができる。これにより、観察者は、マニピュレータを手でもって動かして、仮想物体の任意の部分を観察することができる。

次に、この仮想物体が複数の部品により構成されており、それぞれの部品が何れかのマニピュレータに関連付けられている場合に、それぞれのマニピュレータを用いて関連付けられた部品を観察する場合について説明する。

以下の説明では仮想物体として図５に示す如く、複数の歯車（部品）により構成されている仮想物体を用いた場合について説明するが、扱う仮想物体は同図の仮想物体に限定されるものではない。

同図において歯車５００、５０１，５０２とシャフト５０３に注目すると、このデータ全体のローカル座標系Ｃ０から、座標変換Ｔ１で変換された座標系Ｃ１に歯車５００が配置される。すなわち、ローカル座標系Ｃ０を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ１でもって移動した位置姿勢に歯車５００を配置する。

そして更に、その歯車５００から相対的な位置には歯車５０１と歯車５０２が配置されている。すなわち、歯車５００の座標系Ｃ１から座標変換Ｔ２で変換された座標系Ｃ２に歯車５０１が配置される。換言すれば、座標系Ｃ１を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ２でもって移動した位置姿勢に歯車５０１を配置する。

同じように、歯車５００の座標系Ｃ１から座標変換Ｔ３で変換された座標系Ｃ３に歯車５０２が配置される。換言すれば、座標系Ｃ１を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ３でもって移動した位置姿勢に歯車５０２を配置する。

さらに、歯車５０２から相対的な位置にシャフト５０３が配置されている。歯車５０２の座標系Ｃ３から座標変換Ｔ４で変換された座標系Ｃ４にシャフト５０３が配置される。換言すれば、座標系Ｃ３を基準座標系とし、この基準座標系における原点位置から座標変換Ｔ４でもって移動した位置姿勢に歯車５０３を配置する。

このように、各部品は、ローカル座標系Ｃ０に対して適当な座標変換を施した座標系に配置されるので、図５に示した各部品は、図６に示す如く、その位置姿勢関係において親子関係を有している。

図６において、Ｐ_５００は部品５００を示す。部品５００は、座標系Ｃ０（６００で示す）から座標変換Ｔ１でもって変換した座標系中に配置されるものであるので、座標系Ｃ０から１つ下の階層に位置する。同様に、部品５０１は、座標系Ｃ０（６００で示す）から座標変換Ｔ２でもって変換した座標系中に配置されるものであるので、座標系Ｃ０から１つ下の階層に位置する。同様に、部品５０２は、座標系Ｃ０（６００で示す）から座標変換Ｔ３でもって変換した座標系中に配置されるものであるので、座標系Ｃ０から１つ下の階層に位置する。部品５０３は、座標系Ｃ３から座標変換Ｔ４でもって変換した座標系中に配置されるものであるので、座標系Ｃ３から１つ下の階層に位置する。このように、それぞれの部品の配置位置は、元の座標系Ｃ０から相対的に計算されるものであるので、換言すれば、各部品の階層構造は、それぞれの部品の位置姿勢の階層構造でもある。そしてこのような階層構造のデータは各部品の初期位置姿勢を示すものであり、この初期位置姿勢を示すデータは外部記憶装置１６０５に保存しておき、必要に応じてＲＡＭ１６０２にロードする。

また、本実施形態では、座標変換はマトリックスの形態で表現するものとする。従って、上記Ｔ１，Ｔ２，Ｔ３，Ｔ４は全てマトリックスでもって表される。

そして、各部品をマニピュレータでもって観察するために、マニピュレータ３００、３０１の何れかに関連付けるのであるが、本実施形態では、部品５００〜５０２をマニピュレータ３００に関連付け、部品５０３をマニピュレータ３０１に関連付ける。この関連づけは予め行っておき、この関連づけを示すデータは外部記憶装置１６０５に保存させておく。またこのデータは、必要に応じて、ＲＡＭ１６０２に読み出されるものである。

図７は、このようにして各部品をマニピュレータ３００、３０１の何れかに関連付けた結果、それぞれの部品が従う座標系を示す図である。

同図において、Ｃｍはセンサ座標系を示す。Ｃｍ１はマニピュレータ３００の位置姿勢を基準とする座標系である。従って、同図に示す如く、座標系Ｃｍから座標系Ｃｍ１に変換するための座標変換Ｔｍ１とは、マニピュレータ３００に備わっている磁気センサ２０２の計測する位置姿勢そのものである。ここで、部品５００〜５０２をマニピュレータ３００に関連付けるため、座標系Ｃ０と座標系Ｃｍ１とを一致させる。すなわち、部品５００〜５０２は、磁気センサ２０２の位置姿勢を基準とした座標系において配置される。

一方、Ｃｍ２は、マニピュレータ３０１の位置姿勢を基準とする座標系である。従って、同図に示す如く、座標系Ｃｍから座標系Ｃｍ２に変換するための座標変換Ｔｍ２とは、マニピュレータ３０１に備わっている磁気センサ２０３の計測する位置姿勢そのものである。ここで、部品５０３は、マニピュレータ３０１に関連付けられたので、磁気センサ２０３の位置姿勢を基準とした座標系Ｃｍ２から座標変換Ｔ４でもって変換される座標系Ｃ４に配置される。

このように、各部品は、ローカル座標系Ｃｍ１，Ｃｍ２に対して適当な座標変換を施した座標系中に配置される。ここで、図７に示した各部品は、図８に示す如く、親子関係を有している。図８は、部品５０３をマニピュレータ３０１に関連付けたことにより、部品５０３に関する親子関係が変化した以外は、図６と同じ親子関係を示すものである。

以上のようにして、マニピュレータ３００、３０１それぞれに部品を関連付け、それぞれの部品の初期位置姿勢を、関連付けたセンサの位置姿勢を基準とする座標系内に変換し、変換後の位置姿勢でもって各部品を配置することにより、マニピュレータ３００、３０１を手に持って操作する観察者は、マニピュレータ３００、３０１を動かすことにより、各部品をあらゆるアングルから見ることができる。当然、マニピュレータ３００、３０１のそれぞれに関連付ける部品は上記のようなものに限定されるものではなく、部品５００〜５０３の何れをマニピュレータ３００、３０１の何れに関連付けても良い。また、マニピュレータの数も本実施形態では２つとしたが、これに限定されるものではない。

ここで、以上の説明では、歯車５００〜５０２とシャフト５０３とを個別に観察するために、それぞれを別個のマニピュレータに関連付けたのであるが、図５に示し如く、全ての部品が元の位置姿勢にある状態を観察したい場合、観察者は、シャフト５０３が図５に示すような位置にくるように、マニピュレータ３００とマニピュレータ３０１とをうまく動かして調節する必要があり、この操作は困難である。

本実施形態では、マニピュレータに備わっている上記ボタンを押下することにより、別個のマニピュレータに関連付けられている部品の位置姿勢（換言すれば、別個の基準座標系に従って配置される部品の位置姿勢）を、元の配置位置姿勢に移動させる。以下、このような処理について説明する。

図９は、シャフト５０３をマニピュレータ３０１に関連付ける時に座標変換オフセットＴoffsetを加えた状態を示す図である。座標変換Ｔoffsetはマニピュレータ３０１の位置姿勢を基準とする座標系Ｃｍ２から座標系Ｃoffsetへの座標変換を行う。

図７では、シャフト５０３は、磁気センサ２０３の位置姿勢を基準とした座標系Ｃｍ２から座標変換Ｔ４でもって変換される座標系Ｃ４に配置したのであるが、図９では、以下説明する処理のため、座標系Ｃｍ２から座標変換Ｔoffsetでもって座標系Ｃoffsetを得、更にこの座標系Ｃoffsetを座標変換Ｔ４でもって変換した座標系Ｃｍ４にシャフト５０３を配置する。

図９に示した各部品は、図１０に示す如く、その位置姿勢関係において親子関係を有している。図１０は、座標系Ｃoffsetを設けたために、部品５０３の位置姿勢が座標系Ｃ０から見て、Ｔｍ２，Ｔoffset、Ｔ４を経て得られるようにネストが１つ増えたこと以外は、図８と同じ親子関係を示すものである。

ここで、シャフト５０３の位置姿勢を、元の表示位置（図５に示す位置姿勢）に戻すためには、座標系Ｃoffsetを座標系Ｃ３に一致させればよい。これにより、歯車５０２とシャフト５０３との位置姿勢関係が図５に示す如くなるのは明白である。そのためには、座標変換Ｔoffsetを、座標系Ｃｍ２から座標系Ｃ３への変換となるように求める必要がある。以下では、このような座標変換Ｔoffsetを求めるための処理について説明する。

座標系Ｃｍから座標系Ｃ３までの座標変換は、Ｃｍ×Ｔｍ１×Ｔ１×Ｔ３で表される。一方、座標系Ｃｍから座標系Ｃoffsetまでの座標変換は、Ｃｍ×Ｔｍ２×Ｔoffsetで表される。そして、Ｃ３＝Ｃoffsetであるから、Ｃｍ×Ｔｍ１×Ｔ１×Ｔ３＝Ｃｍ×Ｔｍ２×Ｔoffsetとなり、その結果、Ｔoffsetは以下の式でもって表すことができる。

Ｔoffset＝Ｔｍ２^−１×Ｔｍ１×Ｔ１×Ｔ３ （１）
よって、この式に従って座標変換Ｔoffsetを求め、シャフト５０３の位置姿勢（Ｃｍ×Ｔｍ２×Ｔoffset×Ｔ４）をこの座標変換Ｔoffsetを用いて求めれば、シャフト５０３を元の表示位置（図５に示す位置姿勢）に戻すことができる。

本実施形態では、最初に（ＣＰＵ１６０１がマニピュレータに備わっているボタンの押下を検知していない場合には）座標変換Ｔoffsetに単位行列をセットして用い、観察者がマニピュレータに備わっているボタンを押下し、ＣＰＵ１６０１がこれを検知した場合には、上記式（１）を計算し、この計算による座標変換Ｔoffsetを用いる。

マニピュレータに備わっているボタンが押下されていない場合には、座標変換Ｔoffsetは更新しないので、シャフト５０３の位置姿勢はＣｍ×Ｔｍ２×Ｔoffset×Ｔ４となり、結果として図９に示す如く、磁気センサ２０３の位置姿勢を基準とした座標系Ｃｍ２から座標変換ToffsetとＴ４でもって変換される座標系Ｃ４に配置されることになる。そして、磁気センサ２０３の動きでＴｍ２が変わり、それにあわせてシャフト５０３の位置姿勢もかわる。

一方、マニピュレータに備わっているボタンが押下された場合、座標変換Ｔoffsetには上記式（１）に従った結果が設定されるので、シャフト５０３の位置姿勢Ｃｍ×Ｔｍ２×Ｔoffset×Ｔ４は、歯車５０２の位置姿勢を基準とする座標系Ｃ３における位置姿勢に変換された位置姿勢、すなわち、元の表示位置（図５に示す位置姿勢）に戻すことができる。

以上の処理により、マニピュレータのボタンの押下でもって、シャフト５０３の表示位置を元の表示位置に戻したり、マニピュレータ３０１（磁気センサ２０３）の位置姿勢を基準とした座標系Ｃｍ２から座標変換ToffsetとＴ４でもって変換される座標系Ｃ４に配置したりする、所謂座標変換Ｔoffsetの切り替え処理を行うことができる。

図１１は、この切り替え処理により、シャフト５０３の表示位置を切り替える様子を示す図である。同図（ａ）は、上記式（１）に従った求めた座標変換Ｔoffsetを用いてシャフト５０３の位置姿勢を決定した場合の各部品の位置姿勢を示す図で、同図（ｂ）は、単位行列を設定した座標変換Ｔoffsetを用いてシャフト５０３の位置姿勢を決定した場合の各部品の位置姿勢を示す図である。

なお、押下するボタンはマニピュレータ３００，３０１の何れでも良いし、上述の通り、このボタンはマニピュレータに備わったものに限定するものではなく、例えば操作部１６０４に含まれるキーボードやマウスのボタン、ジョイスティックに備わっているボタンであっても良い。また、ボタン以外の手段でもって、座標変換Ｔoffsetの切り替えを指示するようにしても良い。

また、以上の説明では座標系Ｃoffsetを座標系Ｃ３に一致させるための処理について説明したが、座標系Ｃoffsetをその他の座標系（本実施形態ではＣ１やＣ２）に一致させる場合であっても、同様の計算を行えば良い。

以上のように、本実施形態によれば、３Ｄ−ＣＡＤで生成された３ＤＣＧデータを複数のマニピュレータに分けて観察するときに、構成するパーツの一部または全体を元位置での表示を容易に行うことができる。

なお、本実施形態では、センサとして磁気センサを用いたがこれに限定するものではなく、例えば超音波センサを用いても良い。

［第２の実施形態］
本実施形態では、マニピュレータ３００、３０１の形状を、互いに合わせた場合に「かみ合う」ようにすることで、２つのマニピュレータを合わせるだけで、それぞれのマニピュレータに関連付けられている部品が元の表示位置に表示されるようにする。

図１２は本実施形態におけるマニピュレータ３００、３０１の外観を示す図である。図１３（ａ）は、この２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、同図（ｂ）は、２つのマニピュレータを合わせていないときに、第１の実施形態においてボタンの押下をＣＰＵ１６０１が検知していないときと同様に、それぞれのセンサの位置姿勢でもって関連付けた部品の位置姿勢を制御する様子を示す図である。

その場合、座標変換Ｔoffsetは以下のようにして設定する。すなわち、マニピュレータ３００とマニピュレータ３０１とを合わせている状態でのＴｍ１，Ｔｍ２をＲＡＭ１６０２に保持しておき、座標変換Ｔoffsetの値を、この保持しておいたＴｍ１，Ｔｍ２を用いて上記式（１）に従った計算で得られる値に固定する。これにより、マニピュレータ３００とマニピュレータ３０１とを合わせれば必ず注目部品（同図ではシャフト）を元の表示位置に表示させることができる。

すなわち、座標変換Ｔoffsetはマニピュレータ３００とマニピュレータ３０１とを合わせたときに、全ての部品間で初期の位置姿勢関係（図５に示したような各部品の位置姿勢関係）を維持するような値に設定される。

なお、本実施形態ではマニピュレータ３００、３０１の形状は図１２に示した形状のものとしたが、互いに合わせることのできる形状であれば、このような形状に限定するものではない。

以上のように、本実施形態によれば、マニピュレータが組み合わせられた状態で３ＤＣＧのパーツが元の位置での表示が容易にできる。即ち、組み合わせた状態でもマニピュレータを操作することで、３ＤＣＧの元状態の観察もできる。また、マニピュレータを組み合わせた状態から解除すれば、３ＤＣＧのパーツも離すことができる。

［第３の実施形態］
本実施形態では、マニピュレータ同士の相対的移動・回転に制約をかけることで３ＤＣＧのパーツ同士の自然な動きの表示を可能にした複合現実感システムを示す。

第２の実施形態においては、マニピュレータを組み合わせることで、３ＤＣＧデータのパーツも元の位置で組み合わせられることができると説明したが、組み合わせた状態のマニピュレータは相対的な移動・回転がなくなり、関連付けられている３ＤＣＧデータのパーツでも相対的な移動・回転がない。それに、マニピュレータが離れているときはパーツの動きがマニピュレータの動きに合わせるので、動きの自由度が高く、３ＤＣＧデータでの動きの制約（パーツ同士の干渉など）の影響は受けない。

図１４は、組み合わせられた際でも、制限のある動きのできる形状を持つマニピュレータ３００，３０１の外観を示す図である。マニピュレータが組み合わせられた状態では第２の実施形態と同様に、３ＤＣＧデータのパーツも元位置での表示を容易に行うことができる。

図１５（ａ）は、この２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、同図（ｂ）は、２つのマニピュレータを合わせてはいるものの、この状態で図１４に１４００で示す如く、マニピュレータの溝の方向にマニピュレータ３００、３０１を互いにずらしたときに、ずらした方向に応じて、それぞれのマニピュレータ３００、３０１に関連付けられた部品の表示位置を変更している様子を示す図である。

なお、本実施形態ではマニピュレータ３００、３０１の形状は図１５に示した形状のものとしたが、互いに合わせることができ、かつこの状態で互いにその位置や姿勢を動かすことのできる形状であれば、このような形状に限定するものではない。

以上のように、本実施形態によれば、マニピュレータが組み合わせられた状態で３ＤＣＧのパーツが元の位置での表示が容易にできるうえに、３ＤＣＧパーツ同士の動きにマニピュレータ同士と同じ移動・回転の制約をつけることで、３ＤＣＧパーツ同士の動きを観察することができる。

また、以上の実施形態において、情報処理装置４００はＰＣやＷＳ等のコンピュータとしたが、専用のハードウェアでもって構成するようにしても良いし、複数のコンピュータにより構成するようにしても良い。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る複合現実感システムの外観構成を示す図である。 頭部装着型映像入出力装置１００の構成を示す図である。 情報処理装置４００の機能構成を示す図である。 観察者の右目、左目に対して、それぞれの位置姿勢に応じて見える複合現実空間の画像を提示する為の処理の手順を示す図である。 複数の歯車（部品）により構成されている仮想物体を示す図である。 図５に示した仮想物体を構成する各部品の姿勢関係を示す図である。 各部品をマニピュレータ３００、３０１の何れかに関連付けた結果、それぞれの部品が従う座標系を示す図である。 図７に示した仮想物体を構成する各部品の姿勢関係を示す図である。 シャフト５０３をマニピュレータ３０１に関連付ける時に座標変換オフセットＴoffsetを加えた状態を示す図である。 図９に示した仮想物体を構成する各部品の姿勢関係を示す図である。 座標変換Ｔoffsetの切り替え処理により、シャフト５０３の表示位置を切り替える様子を示す図である。 本発明の第２の実施形態におけるマニピュレータ３００、３０１の外観を示す図である。 （ａ）は、図１２に示す２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、（ｂ）は、２つのマニピュレータを合わせていないときに、第１の実施形態においてボタンの押下をＣＰＵ１６０１が検知していないときと同様に、それぞれのセンサの位置姿勢でもって関連付けた部品の位置姿勢を制御する様子を示す図である。 組み合わせられた際でも、制限のある動きのできる形状を持つマニピュレータ３００，３０１の外観を示す図である。 （ａ）は、この２つのマニピュレータを合わせた場合にそれぞれのマニピュレータに関連付けられている部品が元の表示位置に表示される様子を示す図で、（ｂ）は、２つのマニピュレータを合わせてはいるものの、この状態で図１４に１４００で示す如く、マニピュレータの溝の方向にマニピュレータ３００、３０１を互いにずらしたときに、ずらした方向に応じて、それぞれのマニピュレータ３００、３０１に関連付けられた部品の表示位置を変更している様子を示す図である。 情報処理装置４００の基本構成を示す図である。

Claims (14)

1. 現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
   仮想物体を構成するそれぞれの部品の位置姿勢を保持する保持工程と、
   前記観察者に操作される第１のセンサ及び該第１のセンサとは異なる第２のセンサの各々の位置姿勢を計測する計測工程と、
   前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、該部品が関連づけられたセンサの位置姿勢に基づく座標系における位置姿勢に変換する変換工程と、
   前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品を、当該部品について前記変換工程で変換された位置姿勢で配置する配置工程と、
   外部指示が入力された場合、前記第２のセンサに関連づけられた部品の位置姿勢を、前記第１のセンサに対応する座標系における位置姿勢に変更する変更工程と
   を有することを特徴とする画像処理方法。
2. 前記第１のセンサ及び前記第２のセンサの各々に対応する座標系は、当該センサのセンサ座標系であることを特徴とする請求項１に記載の画像処理方法。
3. 前記それぞれの部品は、互いに親子関係を有し、且つ互いの位置姿勢関係が木構造で表現されることを特徴とする請求項１又は２に記載の画像処理方法。
4. 第１および第２のセンサのそれぞれに対応づけられている第１および第２の仮想物体を現実空間に重畳させて観察者に提示する画像処理方法であって、
   前記第１および第２のセンサのそれぞれの位置姿勢を示す第１および第２の位置姿勢情報を取得する位置姿勢情報取得工程と、
   前記第１および第２の位置姿勢情報を用いて、前記第１および第２の仮想物体の画像を生成する第１生成工程と、
   前記第１の仮想物体と前記第２の仮想物体とを予め定められた位置関係で組み合わせる指示情報を検出する検出工程と、
   前記指示情報が検出された場合、前記第２の位置姿勢情報の座標系を前記第１の位置姿勢情報の座標系に合わせるための変換情報を設定し、前記第２の位置姿勢情報を前記変換情報を用いて変換し、該変換された位置姿勢情報に基づき前記第２の仮想物体の画像を生成する第２生成工程と
   を有することを特徴とする画像処理方法。
5. 前記検出工程では、前記第１のセンサと前記第２のセンサを予め定められた位置関係で組み合わせた場合に、前記第１の仮想物体と前記第２の仮想物体とを予め定められた位置関係で組み合わせることが指示されたと判断することを特徴とする請求項４に記載の画像処理方法。
6. 前記第１および前記第２の仮想物体の位置姿勢関係は、木構造で管理されており、
   前記変換情報は、前記木構造における前記第２の仮想物体の位置姿勢に関する部分に含まれることを特徴とする請求項４又は５に記載の画像処理方法。
7. 前記第１のセンサと前記第２のセンサが予め定められた位置関係で組み合わせられていない場合は、
   前記変換情報として単位行列が設定されることを特徴とする請求項６に記載の画像処理方法。
8. 前記第１のセンサと前記第２のセンサの予め定められた位置関係での組み合わせは、前記第１のセンサと前記第２のセンサの相対的移動および、または回転に制約をかけられることを特徴とする請求項５に記載の画像処理方法。
9. 現実空間に仮想物体を重畳させて観察者に提示する画像処理方法であって、
   仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する第１保持工程と、
   前記観察者に操作される第１のセンサから該第１のセンサとは異なる第２のセンサへの相対的な初期位置姿勢を保持する第２保持工程と、
   前記第１のセンサ及び前記第２のセンサの各々の位置姿勢を計測する計測工程と、
   前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、該部品が関連づけられたセンサの位置姿勢に基づく座標系における位置姿勢に変換する変換工程と、
   前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品を、当該部品について前記変換工程で変換された位置姿勢で配置する配置工程と、
   前記計測工程で計測された前記第１のセンサから前記第２のセンサへの相対的な位置姿勢が、前記相対的な初期位置姿勢と一致する場合に、前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、対応する前記初期位置姿勢に変更する変更工程と
   を有することを特徴とする画像処理方法。
10. 現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
    仮想物体を構成するそれぞれの部品の位置姿勢を保持する保持手段と、
    前記観察者に操作される第１のセンサ及び該第１のセンサとは異なる第２のセンサの各々の位置姿勢を計測する計測手段と、
    前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、該部品が関連づけられたセンサの位置姿勢に基づく座標系における位置姿勢に変換する変換手段と、
    前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品を、当該部品について前記変換手段で変換された位置姿勢で配置する配置手段と、
    外部指示が入力された場合、前記第２のセンサに関連づけられた部品の位置姿勢を、前記第１のセンサに対応する座標系における位置姿勢に変更する変更手段と
    を有することを特徴とする画像処理装置。
11. 第１および第２のセンサのそれぞれに対応づけられている第１および第２の仮想物体を現実空間に重畳させて観察者に提示する画像処理装置であって、
    前記第１および第２のセンサのそれぞれの位置姿勢を示す第１および第２の位置姿勢情報を取得する位置姿勢情報取得手段と、
    前記第１および第２の位置姿勢情報を用いて、前記第１および第２の仮想物体の画像を生成する第１生成手段と、
    前記第１の仮想物体と前記第２の仮想物体とを予め定められた位置関係で組み合わせる指示情報を検出する検出手段と、
    前記指示情報が検出された場合、前記第２の位置姿勢情報の座標系を前記第１の位置姿勢情報の座標系に合わせるための変換情報を設定し、前記第２の位置姿勢情報を前記変換情報を用いて変換し、該変換された位置姿勢情報に基づき前記第２の仮想物体の画像を生成する第２生成手段と
    を有することを特徴とする画像処理装置。
12. 現実空間に仮想物体を重畳させて観察者に提示する画像処理装置であって、
    仮想物体を構成するそれぞれの部品の初期位置姿勢を保持する第１保持手段と、
    前記観察者に操作される第１のセンサから該第１のセンサとは異なる第２のセンサへの相対的な初期位置姿勢を保持する第２保持手段と、
    前記第１のセンサ及び前記第２のセンサの各々の位置姿勢を計測する計測手段と、
    前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、該部品が関連づけられたセンサの位置姿勢に基づく座標系における位置姿勢に変換する変換手段と、
    前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品を、当該部品について前記変換手段で変換された位置姿勢で配置する配置手段と、
    前記計測手段で計測された前記第１のセンサから前記第２のセンサへの相対的な位置姿勢が、前記相対的な初期位置姿勢と一致する場合に、前記第１のセンサ及び前記第２のセンサの各々に予め関連付けられた部品の位置姿勢を、対応する前記初期位置姿勢に変更する変更手段と
    を有することを特徴とする画像処理装置。
13. コンピュータに請求項１乃至９の何れか１項に記載の画像処理方法を実行させることを特徴とするコンピュータプログラム。
14. コンピュータに請求項１乃至９の何れか１項に記載の画像処理方法を実行させることを特徴とするコンピュータプログラムを格納したコンピュータ読みとり可能な記憶媒体。

Images