JP4847192B2 - 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法 - Google Patents

Description

本発明は、現実空間の画像と仮想空間の画像とを合成した合成画像を提供する為の技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した複合現実画像をＨＭＤ装着者に提供する技術が知られている。

図２９は、ビデオシースルー型ＨＭＤを用いた一般的な複合現実感システムの機能構成図である。同図に示す如く、システムは、画像処理装置３００２とビデオシースルー型ＨＭＤ３００１とで構成されている。

ビデオシースルー型ＨＭＤ３００１は同図に示す如く、外界を撮像する撮像ユニット３００３、撮像ユニット３００３が撮像した現実空間画像とＣＧ画像とを合成したＭＲ画像を表示する表示ユニット３００４、ビデオシースルー型ＨＭＤ３００１の視点位置姿勢を算出する為の三次元位置センサユニット３００５、画像処理装置３００２とのデータ通信を行う為のインターフェースとして機能するＩ／Ｆ３００６から構成される。

一方、画像処理装置３００２は、ビデオシースルー型ＨＭＤ３００１から受けた撮像画像、及び三次元位置姿勢情報に基づいてＣＧ画像を生成し、撮像画像と合成処理を行うことで合成画像を生成するためのものである。一般的に、画像処理装置３００２には、パーソナルコンピュータやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いる。

撮像ユニット３００３は、ビデオシースルー型ＨＭＤ３００１を頭部に装着している観察者の視線と略一致する視点から見える外界の観察画像を撮像するものである。より具体的には、ステレオ画像を生成するための右目用、左目用の二組の撮像素子と光学系および後段の画像処理を行うためのＤＳＰから構成される。

表示ユニット３００４は、撮像画像とＣＧ画像との合成画像を表示するためのものである。表示ユニット３００４についても、右目用、左目用の二組の表示デバイスと光学系から構成される。表示デバイスには、小型の液晶ディスプレイやＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。

三次元位置センサユニット３００５は、上記観察者の視点の位置姿勢情報を得るためのものである。三次元位置センサユニット３００５には、磁気センサやジャイロセンサ（加速度、角速度）が使用される。

Ｉ／Ｆ３００６は、撮像ユニット３００３によって撮像された現実空間の画像や、三次元位置センサユニット３００５によって計測された位置姿勢情報を画像処理装置３００２に送信し、画像処理装置３００２側で生成された合成画像を受信するためのものである。このＩ／Ｆ３００６には、リアルタイム性が求められ、かつ大容量の伝送が可能な、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。

次に、画像処理装置３００２を構成している各部について説明する。

Ｉ／Ｆ３００７は、画像処理装置３００２側のインターフェースであり、ビデオシースルー型ＨＭＤ３００１とのデータ通信を行う為のインターフェースとして機能するものである。

位置姿勢情報生成部３００８は、上記観察者の視点の位置姿勢求めるものである。求める方法としては、三次元位置センサユニット３００５から受けた位置姿勢情報を用いて位置姿勢を求めると共に、ビデオシースルー型ＨＭＤ３００１からの撮像画像中に写っているマーカを抽出し、このマーカ位置によって位置姿勢を補正するために用いる方法がある。

コンテンツＤＢ（データベース）３００９は、仮想空間を構成している各仮想物体を表示がするために用いるデータを保持するものである。従って、ＣＧ描画部３０１０は、コンテンツＤＢ３００９に格納されている各データを用いて仮想空間を構成し、位置姿勢情報生成部３００８が生成した位置姿勢情報に基づく位置姿勢の視点から見える仮想空間の画像（ＣＧ画像）を生成する。

画像合成部３０１１は、ＣＧ描画部３０１０が生成したＣＧ画像と、ビデオシースルー型ＨＭＤ３００１から受けた撮像画像とを合成した合成画像（ＭＲ画像）を生成し、Ｉ／Ｆ３００７を介してビデオシースルー型ＨＭＤ３００１に送出する。この送出された合成画像は上述の通り、表示ユニット３００４によって表示される。

以上の構成、及び処理のプロセスにより、観察者は自身の頭部にビデオシースルー型ＨＭＤ３００１を装着することで、自身の眼前に、現実空間と仮想空間とがリアルタイムかつシームレスに融合した複合現実空間を体験することができる。

一般的なＭＲ技術およびシステムの構成については特許文献１に開示されている。
特開平１１−８８９１３号公報（図７、段落００３５）

しかしながら、上述した従来技術においては、以下のような問題があった。

ＭＲ空間の現実感をより増すために、撮像画像およびＣＧ画像（仮想画像）の解像度や階調性を向上すること、および動画表示における滑らかさをフレームレートの向上によって実現することへの要求から、撮像画像およびＭＲ画像のデータ量は飛躍的に増大し、データを送受信するための伝送帯域も非常に広いものが要求されるようになってきた。特に、データ伝送を無線通信によって行う場合には、有線系と比べて伝送の帯域が限られているため、解像度と階調性と動画表示時のフレームレートおよびそれらをリアルタイムに遅延時間を少なくして表示することを並び立たせることは大変困難になってきた。

また、高精度の位置合わせのための画像処理を、システムを構成する一方の装置である画像処理装置側だけで実施していることで大きな負荷がかかることになり、主にソフトウェアによって実施される位置合わせのための情報処理にかかる時間も増大してきている。その結果、本来遅延を最小限度におさえるべきＭＲの実現に支障をきたす可能性があった。

本発明は以上の問題に鑑みてなされたものであり、現実空間と仮想空間とを合成した画像を観察者に提供する為の処理において、目的や用途およびシステム構成にあわせて最適な負荷分散を実現する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理システムは以下の構成を備える。

即ち、現実空間を撮像する撮像装置と、当該撮像装置とデータ通信が可能な画像処理装置と、で構成されている画像処理システムであって、
前記撮像装置は、
前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記画像処理装置とのネゴシエーションによって決定する第１の決定手段と、
前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記画像処理装置に送信する第１の送信手段と、
前記第１の送信手段が送信したデータを用いて前記画像処理装置が行った処理の結果を受信する第１の受信手段と、
前記第１の処理を行う第１の処理手段と、
前記第１の処理手段による処理結果に基づいて得られる前記合成画像を表示する、若しくは前記第１の処理手段による処理結果と前記第１の受信手段が受信した受信結果とに基づいて得られる前記合成画像を表示する表示手段とを備え、
前記画像処理装置は、
前記第１の処理、前記第２の処理を前記ネゴシエーションによって決定する第２の決定手段と、
前記第１の送信手段が送信したデータを用いて前記第２の処理を行う第２の処理手段と、
前記第２の処理手段による処理結果を前記撮像装置に送信する第２の送信手段と
を備えることを特徴とする。

本発明の構成によれば、現実空間と仮想空間とを合成した画像を観察者に提供する為の処理において、目的や用途およびシステム構成にあわせて最適な負荷分散を実現する為の技術を提供すること。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、撮像装置１０１と画像処理装置１０２とで構成されている。

先ず、撮像装置１０１について説明する。本実施形態では、撮像装置１０１はビデオシースルー型ＨＭＤであるものとする。

撮像ユニット１０３は、ステレオ画像を生成するための右目用、左目用の二組の撮像素子と光学系および後段の画像処理を行うためのＤＳＰ（Digital Signal Processor）から構成されており、撮像装置１０１を頭部に装着した観察者の視点から見える現実空間の動画像を撮像する。撮像した各フレームの画像（現実空間画像）は、後段のスイッチ１０４と位置計測部１０６に転送される。

スイッチ１０４は、撮像ユニット１０３から順次送出される各フレームの画像をフレームバッファ１０５への送出を切り替える。この送出の切り替えについては後述する。

フレームバッファ１０５は、スイッチ１０４によってフレームバッファ１０５への送出が選択された場合にのみ、撮像ユニット１０３からスイッチ１０４を介して順次送出される各フレームの画像を順次受け、保持する。また、フレームバッファ１０５は、後述する合成画像生成処理の遅延を考慮して、数フレーム分の撮像画像が左右の撮像ユニット１０３に対応して格納される。

位置計測部１０６は、後述する処理により、自身の位置姿勢を計測する。なお、予め位置計測部１０６自身と観察者の視点との位置姿勢関係（バイアス）を求めておけば、位置計測部１０６が求めた結果にこのバイアスを加えることで、観察者の視点の位置姿勢を求めることができる。以下の説明ではこのバイアスを加える処理については説明を省略し、位置計測部１０６（後述する位置計測部１１６も同様）が求めるものは観察者の視点の位置姿勢であるとする。なお、位置計測部１０６による位置姿勢計測処理については後述する。

ネゴシエーション部１０７は、画像処理装置１０２とのネゴシエーションを行う。ネゴシエーション部１０７による処理については後述する。

機能選択部１０８は、撮像装置１０１と画像処理装置１０２との間のネゴシエーションの結果に基づいて、後述する様々な選択指示を行う。

Ｉ／Ｆ１０９は、撮像装置１０１と画像処理装置１０２との間のデータ通信を行う際に、インターフェースとして機能するものであり、これについては、画像処理装置１０２側に設けられているＩ／Ｆ１１３についても同様である。なお、何れのＩ／Ｆ１０９、１１３についても、リアルタイム性が求められ、かつ大容量の伝送が可能な通信規格を採用することが望ましい。有線系であれば、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。無線系であれば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格等に準拠した高速無線通信が使用される。ここでは有線系であれば光ファイバ、無線系であればＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）を想定している。光ファイバの伝送帯域は数Ｇｂｐｓ、ＵＷＢは数百Ｍｂｐｓである。

セレクタ１１０は、合成画像生成処理を撮像装置１０１側で行う場合には、Ｉ／Ｆ１０９を介して画像処理装置１０２から受けたＣＧ画像（仮想空間の画像）を画像合成部１１１に転送する。一方、合成画像生成処理を画像処理装置１０２側で行う場合には、Ｉ／Ｆ１０９を介して画像処理装置１０２から受けた合成画像を表示ユニット１１２に転送する。

画像合成部１１１は、セレクタ１１０からＣＧ画像を受けると、この受けたＣＧ画像と、フレームバッファ１０５に保持されている現実空間の画像とを合成した合成画像（ＭＲ画像）を生成する。合成画像の生成方法については様々なものが考えられるが、ここでは、クロマキー処理とαチャネルによる合成処理を想定している。様々な画像合成処理については後述する。

表示ユニット１１２は、合成画像を表示するためのものであり、撮像ユニット１０３と同様に、右目用、左目用の二組の表示デバイスと光学系から構成される。表示ユニット１１２には、小型の液晶ディスプレイやＭＥＭＳ（Micro Electro Mechanical Systems）による網膜スキャンタイプのデバイスが使用される。

次に、画像処理装置１０２について説明する。画像処理装置１０２には、一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等の装置が適用可能である。

ネゴシエーション部１１４は、撮像装置１０１とのネゴシエーションを行う。ネゴシエーション部１１４による処理については後述する。

機能選択部１１５は、撮像装置１０１と画像処理装置１０２との間のネゴシエーションの結果に基づいて、後述する様々な選択指示を行う。

位置計測部１１６は、基本的には位置計測部１０６と同様の動作を行うものである。位置計測部１１６による位置姿勢計測処理については後述する。

コンテンツＤＢ１１７は、仮想空間を構成する各仮想物体に係るデータを保持するＤＢ（データベース）である。仮想物体に係るデータには、例えば、仮想物体の配置位置姿勢や、その動作則を示すデータ、仮想物体がポリゴンでもって構成されている場合には、各ポリゴンの法線ベクトルデータやその色データ、ポリゴン構成している各頂点の座標位置データ等が含まれている。また、仮想物体にテクスチャマッピングを施す場合には、テクスチャデータもまた含まれる。

ＣＧ描画部１１８は、コンテンツＤＢ１１７に保持されているそれぞれの仮想物体に係るデータを用いて、それぞれの仮想物体を仮想空間中に配置し、仮想空間を形成する。そして、形成した仮想空間を、観察者の視点から見た場合に見える画像（ＣＧ画像）を生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理については周知であるので、これに関する詳細な説明は省略する。

画像合成部１１９は、Ｉ／Ｆ１１３を介して撮像装置１０１から受けた撮像画像と、ＣＧ描画部１１８が生成したＣＧ画像とを合成した合成画像を生成する。

セレクタ１２０は、合成画像生成処理を画像処理装置１０２側で行う場合には、画像合成部１１９が生成した合成画像をＩ／Ｆ１１３を介して撮像装置１０１に転送する。一方、合成画像生成処理を撮像装置１０１側で行う場合には、ＣＧ描画部１１８が生成したＣＧ画像をＩ／Ｆ１１３を介して撮像装置１０１に転送する。

図２は、撮像装置１０１が有する位置計測部１０６の詳細な構成を示すブロック図である。

２０１はセレクタである。セレクタ２０１は、撮像ユニット１０３から受けた現実空間画像を縮小処理部２０２、輝度変換部２０３、最終段の出力を選択するセレクタ２０９の何れかに送出する。

２０２は縮小処理部である。縮小処理部２０２は、セレクタ２０１を介して現実空間画像を受けた場合には、この受けた画像を縮小する処理を行う。一番単純な縮小処理は、ライン、画素とも周期的に間引く０次の解像度変換であるが、特にここではその次数については問わない。縮小するサイズについては、画像処理装置１０２とのネゴシエーションによって決定する。

２０３は輝度変換部である。輝度変換部２０３は、ＲＧＢのカラー画像を輝度信号のみを持つ画像に変換する。即ち、セレクタ２０１を介して現実空間画像を受けた場合には、この受けた画像の輝度画像を生成することになる。輝度変換部２０３が行う処理は、ＲＧＢのカラー信号のうち、Ｇ成分をそのまま選択出力する処理であっても良いし、色表現変換によってＲＧＢ画像をＹＵＶまたはＹＣＣ等の輝度と色差の信号に変換し、そのうちの輝度信号を抽出する処理であっても良い。仮に一画素あたりＲＧＢ各８ビット、計２４ビットのデータ量の場合は、輝度信号は８ビットとなり、データ量としては三分の一に削減される。

２０４は二値化処理部である、二値化処理部２０４は、多値の輝度信号を任意のしきい値によって０と１である二値の信号に変換する。仮に入力データである輝度データを８ビットとすると、出力信号である二値化データは１ビットとなり、データ量としては八分の一に削減される。ＲＧＢのカラー画像である現実空間画像のままで送信される場合と比べると、データ量は二十四分の一となる。

２０５は、マーカ抽出部である、マーカ抽出部２０５は、セレクタ２０１に入力された現実空間画像中にマーカが存在する場合には、このマーカを抽出する処理を行う。マーカ抽出部２０５が行う処理について、詳しくは後述する。

２０６は収束演算部である。収束演算部２０６は、マーカ抽出部２０５が１以上のマーカを抽出した場合には、その位置を精度よく算出するための繰り返し演算処理を行う。この演算処理の結果得られるのが、観察者の視点の位置姿勢である。なお、現実空間画像中にマーカが含まれない場合であっても、マーカを抽出した時点の位置姿勢を基準に、相対的な移動量である加速度や角速度を他のセンサ情報によって補うことで精度良く位置姿勢を算出することが可能となる。一般に、画像中に写っているマーカ（指標）を用いて、画像を撮像した撮像装置の位置姿勢を求める技術については周知の技術である。

２０７は、ジャイロセンサである。ジャイロセンサ２０７は、三軸の加速度、および三軸の角速度、場合によっては自身の絶対的な方位を把握する磁気方位センサであるコンパスを内蔵した、三次元位置姿勢検出センサである。ここではそれらを総称してジャイロセンサと言っている。ジャイロセンサ以外の磁気センサやＲＦ−ＩＤ等を用いてＨＭＤ使用者の位置姿勢を相対的または絶対的に把握する構成でも構わない。

２０８は制御／データ補正部である。制御／データ補正部２０８は、三次元位置姿勢把握他のためのジャイロセンサ２０７の制御を行い、ジャイロセンサ２０７からの出力信号を補正する。なお、ジャイロセンサ２０７、及び制御／データ補正部２０８の機能は補足的なものであるので、位置計測部必須の機能ではないが、現実空間画像中のマーカや後述する自然特徴だけでは限界もあるため、搭載しておくことが望ましい。

２０９はセレクタである。セレクタ２０９は、セレクタ２０１に入力された現実空間画像、縮小処理部２０２による縮小画像、輝度変換部２０３による輝度画像、二値化処理部２０４による二値画像、マーカ抽出部２０５による抽出されたマーカに係るマーカ情報、収束演算部２０６により求めた観察者の視点の位置姿勢、のうち、画像処理装置１０２に送信する対象を選択し、Ｉ／Ｆ１０９を介して画像処理装置１０２に送信する。選択信号による選択指示は、上述の機能選択部１０８によって行われる。

図３は、画像処理装置１０２が有する位置計測部１１６の詳細な構成を示すブロック図である。

３０１は、セレクタである。セレクタ３０１は、Ｉ／Ｆ１１３を介して撮像装置１０１から受信したデータの種類、撮像装置１０１とのネゴシエーションの結果に基づいて、受けたデータの出力先を切り替える。セレクタ３０１は、撮像装置１０１から現実空間画像を受けると、これを輝度変換部３０３に転送する。縮小画像を受けた場合には、これを拡大処理部３０２に転送する。輝度画像を受けると、これを二値化処理部３０４に転送する。二値画像を受けると、これをマーカ抽出部３０５に転送する。マーカ情報を受けると、これを収束演算部３０６に転送する。位置姿勢が入力されると、これをセレクタ３０７に転送する。

３０２は拡大処理部である。拡大処理部３０２は、撮像装置１０１側で縮小された画像を拡大する処理を行う。一番単純な拡大処理方法は、ライン、画素とも同一の値で補間する０次の解像度変換である。これについても特にその次数は問わない。なお、拡大サイズは、合成画像を生成するために必要なサイズとなる。

３０３は輝度変換部、３０４は二値化処理部、３０５はマーカ抽出部、３０６は収束演算部である。輝度変換部３０３，二値化処理部３０４、マーカ抽出部３０５、収束演算部３０６のそれぞれは、撮像装置１０１側における輝度変換部２０３、二値化処理部２０４、マーカ抽出部２０５、収束演算部２０６と同様の動作を行う。また、輝度変換部３０３，二値化処理部３０４、マーカ抽出部３０５、収束演算部３０６のそれぞれにおける処理の内容は輝度変換部２０３、二値化処理部２０４、マーカ抽出部２０５、収束演算部２０６におけるそれぞれのものと同じであったとしても、最新の処理アルゴリズムを用いて処理時間の短縮や精度の向上を実現することは可能である。

３０７はセレクタである。セレクタ３０７は、撮像装置１０１側で算出された位置姿勢、若しくは収束演算部３０６によって算出された位置姿勢の何れかを選択して出力する。選択信号による選択指示は、上述の機能選択部１１５によって行われる。

図３０は、画像処理装置１０２に適用可能なコンピュータのハードウェア構成を示すブロック図である。

３１０１はＣＰＵで、ＲＡＭ３１０２やＲＯＭ３１０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、本コンピュータを適用した画像処理装置１０２が行う後述の各処理を実行する。

３１０２はＲＡＭで、外部記憶装置３１０６からロードされたプログラムやデータ、Ｉ／Ｆ３１０７を介して外部（本実施形態の場合、撮像装置１０１）から受信したデータ等を一時的に記憶するためのエリアを有する。また、ＣＰＵ３１０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ３１０２は、各種のエリアを適宜提供することができる。

３１０３はＲＯＭで、本コンピュータの設定データやブートプログラム等を格納する。

３１０４は操作部で、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ３１０１に対して入力することができる。

３１０５は表示部で、ＣＲＴや液晶画面等により構成されており、ＣＰＵ３１０１による処理結果を画像や文字などでもって表示することができる。

外部記憶装置３１０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置であり、ここにはＯＳ（オペレーティングシステム）や、画像処理装置１０２が行う後述各処理をＣＰＵ３１０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータは、ＣＰＵ３１０１による制御に従って適宜ＲＡＭ３１０２にロードされ、ＣＰＵ３１０１による処理対象となる。

Ｉ／Ｆ３１０７は、図１に示したＩ／Ｆ１１３に相当するものであり、撮像装置１０１とのデータ通信を行うためのインターフェースとして機能する。

３１０８は上述の各部を繋ぐバスである。

図３１は、撮像装置１０１のハードウェア構成を示すブロック図である。

３２０１は撮像ユニット１０３に相当するものである。３２０２は表示ユニット１１２に相当するものである。３２０３はＲＡＭで、ＣＰＵ３２０５が各種の処理を行うために用いるワークエリアや、Ｉ／Ｆ３２０６を介して外部（ここでは画像処理装置１０２）から受信したデータを一時的に記憶するためのエリア等を有する。

３２０４はＲＯＭで、撮像装置１０１が行う後述の各処理をＣＰＵ３２０５に実行させるためのプログラムやデータが格納されている。

３２０５はＣＰＵで、撮像装置１０１が行う後述の各処理を実行する。

Ｉ／Ｆ３２０６は、図１に示したＩ／Ｆ１０９に相当するものである。

３２０７は上述の各部を繋ぐバスである。

図４は、撮像装置１０１により撮像された現実空間画像と画像処理装置１０２が生成したＣＧ画像とを合成した合成画像を、撮像装置１０１が有する表示ユニット１１２に表示するために、それぞれの装置が行う処理のフローチャートである。

なお、同図のフローチャートにおいて、ステップＳ４０１〜ステップＳ４１１における処理は撮像装置１０１が行う処理のフローチャートであるが、ステップＳ４０１〜ステップＳ４１１における処理を撮像装置１０１のＣＰＵ３２０５に実行させるためのプログラムやデータはＲＯＭ３２０４に格納されている。従ってＣＰＵ３２０５がこのプログラムやデータを用いて処理を実行することで、撮像装置１０１は、ステップＳ４０１〜ステップＳ４１１の処理を実行することになる。

また、同図のフローチャートにおいて、ステップＳ４１２〜ステップＳ４１９における処理は画像処理装置１０２が行う処理のフローチャートであるが、ステップＳ４１２〜ステップＳ４１９における処理を画像処理装置１０２のＣＰＵ３１０１に実行させるためのプログラムやデータは外部記憶装置３１０６に格納されている。そして、ＣＰＵ３１０１がこのプログラムやデータをＲＡＭ３１０２にロードし、これを用いて処理を実行することで、画像処理装置１０２は、ステップＳ４１２〜ステップＳ４１９の処理を実行することになる。

先ず、ステップＳ４０１では、ＣＰＵ３２０５は、画像処理装置１０２とのネゴシエーションを行う。一方、画像処理装置１０２側においてもステップＳ４１２で同様の処理を行う。

このネゴシエーションでは、最終的に表示ユニット３２０２の表示画面上に合成画像を表示させるために、撮像装置１０１に行わせる第１の処理、画像処理装置１０２に行わせる第２の処理を決定する。ここで、第１の処理、第２の処理とは、視点の位置姿勢を求めるための処理（視点位置姿勢計算処理）、現実空間画像とＣＧ画像との合成画像を生成する処理（合成画像生成処理）のいずれかもしくはその両方である。すなわち、視点位置姿勢計算処理と合成画像生成処理の両方を撮像装置１０１もしくは画像処理装置１０２に行わせても良いし、一方を撮像装置１０１に行わせ、他方を画像処理装置１０２に行わせても良い。本ステップにおける処理の詳細については後述する。

次にステップＳ４０２では、撮像ユニット３２０１はＣＰＵ３２０５による制御に従って現実空間の画像を撮像する。撮像した画像はＲＡＭ３２０３上に取得される。

次にステップＳ４０３では、ステップＳ４０１におけるネゴシエーションの結果、合成画像の生成を撮像装置１０１が行うものと決定したのか否かを判断する。この判断の結果、合成画像の生成を画像処理装置１０２が行うものと決定した場合には処理をステップＳ４０５に進める。

一方、撮像装置１０１が行うものと決定したのであれば処理をステップＳ４０４に進める。ステップＳ４０４では、ステップＳ４０２でＲＡＭ３２０３上に取得した現実空間画像を、ＲＡＭ３２０３上に設けられたフレームバッファ１０５に格納する。

ステップＳ４０５では、ステップＳ４０１におけるネゴシエーションの結果、視点の位置姿勢を求めるための処理を撮像装置１０１が行うものと決定したのか否かを判断する。この判断の結果、視点の位置姿勢を求めるための処理を画像処理装置１０２が行うものと決定した場合には、処理をステップＳ４０７に進める。

一方、撮像装置１０１が行うものと決定したのであれば処理をステップＳ４０６に進め、視点の位置姿勢を求めるための処理を行う。本ステップでは、視点の位置姿勢、そして場合によってはこの位置姿勢を求めるための補助データを求める。本ステップにおける処理ではこの他の処理をも行い、その詳細については後述する。

ステップＳ４０７では、画像処理装置１０２が上記第２の処理を行うために必要なデータを送信する。送信するデータは、ステップＳ４０６で求めた視点の位置姿勢（場合によっては更に補助データ）、上記ステップＳ４０２で取得した現実空間画像、現実空間画像に基づいて作成する縮小画像、二値画像、輝度画像、マーカ情報のうち何れかであるが、何れを送信するのかは、上記視点位置姿勢計算処理、合成画像生成処理のそれぞれを撮像装置１０１、画像処理装置１０２の何れで行うのかによって決まる。本ステップにおけるデータ送信処理について詳しくは後述する。

一方、ステップＳ４１３では、画像処理装置１０２のＣＰＵ３１０１は、上記ステップＳ４０７で送信されたデータをＩ／Ｆ３１０７を介して受信し、ＲＡＭ３１０２に取得する。

そしてステップＳ４１４では、上記ネゴシエーションの結果、視点の位置姿勢を求めるための処理を画像処理装置１０２が行うものと決定したのか否かを判断する。この判断の結果、視点の位置姿勢を求めるための処理を撮像装置１０１が行うものと決定した場合には処理をステップＳ４１６に進める。一方、視点の位置姿勢を求めるための処理を画像処理装置１０２が行うものと決定した場合には、処理をステップＳ４１５に進める。

ステップＳ４１５では、ステップＳ４１３で撮像装置１０１から受信したデータを用いて、視点の位置姿勢を求めるための処理を行う。本ステップでは、視点の位置姿勢、そして場合によっては補助データを求める。本ステップにおける処理の詳細については後述する。

ステップＳ４１６では先ず、ステップＳ４１３で受信した位置姿勢（場合によっては更に補助データ）、若しくはステップＳ４１５で求めた位置姿勢（場合によっては更に補助データ）を用いて視点の位置姿勢を確定する。一方、外部記憶装置３１０６内におけるコンテンツＤＢ１１７から、各仮装物体に係るデータを読み出し、仮想空間中に仮装物体を配置することで、仮想空間を形成する。そして形成した仮想空間を、確定した位置姿勢を有する視点から見た場合に見える画像、即ちＣＧ画像を生成する。

次に、ステップＳ４１７では、上記ネゴシエーションの結果、合成画像の生成を画像処理装置１０２が行うものと決定したのか否かを判断する。この判断の結果、合成画像の生成を撮像装置１０１が行うものと決定した場合には処理をステップＳ４１９に進める。

一方、画像処理装置１０２が行うものと決定したのであれば処理をステップＳ４１８に進める。ステップＳ４１８では、上記ステップＳ４１３で受信した現実空間画像上に、上記ステップＳ４１６で生成したＣＧ画像を重畳させることで、それぞれの画像を合成した合成画像をＲＡＭ３１０２上に生成する。なお、ステップＳ４１３で現実空間画像の縮小画像を受信した場合には、これを上述の通りＣＧ画像のサイズに拡大し、拡大した縮小画像上にＣＧ画像を重畳させることで合成画像を生成する。

そしてステップＳ４１９では、データを撮像装置１０１に送信する。送信するデータは、画像処理装置１０２が行った処理によって異なる。即ち、画像処理装置１０２側で合成画像生成処理を行った場合には、上記ステップＳ４１８で生成した合成画像を撮像装置１０１に送信する。画像処理装置１０２側で合成画像生成処理を行っていない場合には、上記ステップＳ４１６で生成したＣＧ画像を撮像装置１０１に送信する。

撮像装置１０１側ではステップＳ４０８で、画像処理装置１０２から上記ステップＳ４１９で送信されたデータを受信し、ＲＡＭ３２０３上に取得する。

そしてステップＳ４０９では、上記ネゴシエーションの結果、合成画像の生成を撮像装置１０１が行うものと決定したのか否かを判断する。この判断の結果、合成画像の生成を画像処理装置１０２が行うものと決定した場合には処理をステップＳ４１１に進める。そして、上記ステップＳ４０８で画像処理装置１０２から受信した合成画像を表示ユニット１１２の表示画面上に表示する為の処理を行う。

一方、撮像装置１０１が行うものと決定したのであれば処理をステップＳ４１０に進める。ステップＳ４１０では、上記ステップＳ４０４でフレームバッファ１０５上に格納した現実空間画像上に、上記ステップＳ４１０で生成したＣＧ画像を重畳させることで、それぞれの画像を合成した合成画像を生成する。

そしてステップＳ４１１では、上記ステップＳ４１０で生成した合成画像を表示ユニット１１２の表示画面上に表示する為の処理を行う。

図５は、上記ステップＳ４０６における処理の詳細を示すフローチャートである。

先ずステップＳ５０１では、現実空間画像に対して解像度変換を行い、その結果、この現実空間画像の縮小画像を生成するか否かを判断する。生成しない場合には処理をステップＳ５０３に進める。一方、生成するのであれば処理をステップＳ５０２に進め、ＣＰＵ３２０５は、上記縮小処理部２０２として機能し、上記ステップＳ４０２で取得した現実空間画像を縮小した縮小現実空間画像を生成する。

ステップＳ５０３では、ＣＰＵ３２０５は輝度変換部２０３として機能し、上記ステップＳ４０２で取得した現実空間画像、またはステップＳ５０２で縮小した縮小現実空間画像の輝度画像を生成する。

ステップＳ５０４では、ＣＰＵ３２０５は二値化処理部２０４として機能し、上記ステップＳ５０３で生成した輝度画像に対して二値化処理を行い、二値画像を生成する。

ステップＳ５０５では、ＣＰＵ３２０５はマーカ抽出部２０５として機能し、上記ステップＳ５０４で生成した二値画像からマーカを抽出する。

ステップＳ５０６では、ＣＰＵ３２０５は収束演算部２０６として機能し、上記ステップＳ５０５で抽出したマーカの位置を用いて、直接解法による収束演算で精度良く演算する。これにより、視点の位置姿勢、場合によってはその補助データを求める。

そして、以上の各ステップで求めた各データのうち、何れかが画像処理装置１０２に対して送信されることになる。

図６は、上記ステップＳ４１５における処理の詳細を示すフローチャートである。

先ずステップＳ６０１では、上記ネゴシエーションの結果、合成画像の生成を画像処理装置１０２側で行うと決定したのか否かを判断する。この判断の結果、合成画像の生成を撮像装置１０１側で行うと決定している場合には、処理をステップＳ６０４に進める。

一方、合成画像の生成を画像処理装置１０２側で行うと決定している場合には、処理をステップＳ６０２に進める。

ステップＳ６０２では、ステップＳ４１３で受信した画像が縮小画像であるか否かを先ず判断する。受信した画像が縮小画像である場合にはこの縮小画像に対して解像度変換を行い、この縮小画像を拡大することで、合成対象のＣＧ画像とサイズを同じにする必要がある。従って、本ステップでは、受信した画像のサイズが、合成対象のＣＧ画像のサイズよりも小さいのであれば、この受信した画像に対する拡大処理が必要であると判断する。

この判断の結果、拡大しないのであれば、処理をステップＳ６０４に進める。一方、拡大するのであれば、処理をステップＳ６０３に進める。ステップＳ６０３では、縮小画像を拡大することで、合成対象のＣＧ画像とサイズを同じにする。この拡大処理については上述の通りである。

ステップＳ６０４では、ステップＳ６０３で拡大された画像、若しくはステップＳ４１３で受信した画像を用いて、視点の位置姿勢、場合によってはその補助データを求める。本ステップにおける処理は基本的には、上記ステップＳ５０３〜Ｓ５０６における処理と同様にして行う。

図７は、上記ステップＳ４０１，Ｓ４１２におけるネゴシエーションの処理における撮像装置１０１と画像処理装置１０２との通信状態を示す図である。

同図（ａ）は、視点の位置姿勢を求めるための処理を撮像装置１０１、画像処理装置１０２の何れ側で行うのかを判断すると共に、その判断結果に応じたモードを設定するためのネゴシエーションの流れを示している。なお、同図に示したネゴシエーションの流れは、画像処理装置１０２が主導権を有している。

先ず、画像処理装置１０２は、自身に接続されている装置を把握すべく、撮像装置１０１に対して、デバイスＩＤを要求する。撮像装置１０１はこの要求を受けると、自身のデバイスＩＤを画像処理装置１０２に対して送信する。ここで、デバイスＩＤを参照することで、このデバイスＩＤを有する能力が把握できるような対応表データを画像処理装置１０２が有している場合には、後述するモード設定処理を行う。

次に、画像処理装置１０２は、位置姿勢計測処理の為に必要な機能の能力について撮像装置１０１に問い合わせる。これにより、撮像装置１０１は、この機能に対する自身の能力についての詳細な情報を画像処理装置１０２に返信する。

以上の処理により、画像処理装置１０２は、位置姿勢計測処理を行うために必要な機能について撮像装置１０１の能力を把握することができる。把握する能力については、例えば、撮像装置１０１、画像処理装置１０２双方の位置計測機能、装置間のＩ／Ｆの伝送帯域や伝送媒体の種類、採用する位置計測アルゴリズムの種類や更新時期等がある。従って、画像処理装置１０２はこの把握した内容に基づいて、位置姿勢計測処理を撮像装置１０１、画像処理装置１０２の何れで行うのかを定めるモードを設定する。より具体的には、一連の位置姿勢計測処理において視点の位置姿勢を求めるための前処理、この前処理で用意された情報を用いて実際に視点の位置姿勢を求める処理のそれぞれを撮像装置１０１、画像処理装置１０２の何れが担当するのかを定めるモードを設定する。

従って、視点の位置姿勢を求めるための処理以外に、合成画像生成処理についても、撮像装置１０１、画像処理装置１０２の何れで行うのかを決定する処理とは、一方の装置で一方の処理全部を行い、他方の装置で他方の処理全部を行うことを決定する以外にも、一方の処理のうち、最終的に求める対象を得るために行う前処理と、この前処理で得られた情報を用いて最終的に対象を求める後処理とをそれぞれ、撮像装置１０１、画像処理装置１０２の何れかで行うのかを決定することも含む。

モードが設定されると、設定されたモードは撮像装置１０１にも通知されるので、撮像装置１０１、画像処理装置１０２はそれぞれ、設定されたモードに応じて割り当てられた処理を行う。

一方、図７（ｂ）は、視点の位置姿勢を求めるための処理を撮像装置１０１、画像処理装置１０２の何れ側で行うのかを判断すると共に、その判断結果に応じたモードを設定するためのネゴシエーションの流れを示している。なお、同図に示したネゴシエーションの流れは、撮像装置１０１が主導権を有している。従って、同図に示した流れでは、デバイスＩＤ取得のタイミングは変わらないものの、以後の要求や設定は撮像装置１０１側が主体的に行う。なお、どちらが主導権を握って設定を行うかを含めてネゴシエーションを行う構成にしても構わない。

図８は、上記設定モードに応じて規定される、撮像装置１０１が画像処理装置１０２に送信するデータと、画像処理装置１０２が行う処理内容と、合成画像生成処理を行う装置と、の対応関係を示す表の構成例を示す図である。

同図の表によれば、上記ネゴシエーションによりモードとして「１」が設定されると、撮像装置１０１は、現実空間画像（撮像画像データ）を画像処理装置１０２に送信する。画像処理装置１０２はこの現実空間画像に基づいて輝度画像を生成し、この輝度画像に基づいて二値画像を生成し、この二値画像に基づいてマーカ情報を抽出し、抽出したマーカ情報を用いて、視点の位置姿勢を求める。そしてこの視点の位置姿勢に応じて見える仮想空間の画像（ＣＧ画像）を生成し、現実空間画像と合成することで合成画像を生成する。

また、モードとして「２」が設定されると、撮像装置１０１は、現実空間画像（撮像画像データ）と共に、補助データを画像処理装置１０２に送信する。画像処理装置１０２はこの現実空間画像に基づいて輝度画像を生成し、この輝度画像に基づいて二値画像を生成し、この二値画像に基づいてマーカ情報を抽出し、抽出したマーカ情報を用いて、視点の位置姿勢を求める。また、補助データを用いて求めた位置姿勢データを補正したりする。そしてこの視点の位置姿勢に応じて見える仮想空間の画像（ＣＧ画像）を生成し、現実空間画像と合成することで合成画像を生成する。

また、モードとして「３」が設定されると、撮像装置１０１は、現実空間画像の縮小画像を生成し、画像処理装置１０２に送信する。画像処理装置１０２はこの縮小画像を拡大し、拡大した画像を用いて、視点の位置姿勢を求めると共に、拡大した画像とＣＧ画像との合成処理を行う。

また、モードとして「４」が設定されると、撮像装置１０１は、現実空間画像の縮小画像を生成し、補助データと共に画像処理装置１０２に送信する。画像処理装置１０２はこの縮小画像を拡大し、拡大した画像と補助データとを用いて、視点の位置姿勢を求めると共に、拡大した画像とＣＧ画像との合成処理を行う。

モード「３」、「４」を設定すると、合成画像生成処理の際に、縮小画像を拡大した画像をＣＧ画像との合成処理に用いるので、結果として得られる合成画像の画質はモード「１」、「２」を選択した場合と比べて劣ることになる。しかし、縮小画像は元の現実空間画像よりもデータ量が小さいことから、画像処理装置１０２への転送にかかる負担は、現実空間画像の転送にかかる負担よりは軽減される。

モード「５」〜「９」は、合成画像生成処理を撮像装置１０１側で行わせると共に、視点の位置姿勢を求めるための処理の一部若しくは全部を画像処理装置１０２に行わせるモードである。

モード「５」が設定されると、撮像装置１０１は現実空間画像の縮小画像を生成し、画像処理装置１０２に送信する。従って画像処理装置１０２はこの縮小画像を拡大した拡大画像を生成する。そしてこの拡大画像に基づいて輝度画像を生成し、この輝度画像に基づいて二値画像を生成し、この二値画像に基づいてマーカ情報を抽出し、抽出したマーカ情報を用いて、視点の位置姿勢を求める。

モード「６」が設定されると、撮像装置１０１は現実空間画像の輝度画像を生成する。そして生成した輝度画像を画像処理装置１０２に送信する。従って画像処理装置１０２はこの輝度画像に基づいて二値画像を生成し、この二値画像に基づいてマーカ情報を抽出し、抽出したマーカ情報を用いて、視点の位置姿勢を求める。

モード「７」が設定されると、撮像装置１０１は現実空間画像の二値画像を生成する。そして生成した二値画像を画像処理装置１０２に送信する。従って画像処理装置１０２は、この二値画像に基づいてマーカ情報を抽出し、抽出したマーカ情報を用いて、視点の位置姿勢を求める。

モード「８」が設定されると、撮像装置１０１は現実空間画像の二値画像に基づいてマーカ情報を抽出する。そして、抽出したマーカ情報を画像処理装置１０２に送信する。従って画像処理装置１０２は、この抽出したマーカ情報を用いて、視点の位置姿勢を求める。

モード「９」が設定されると、撮像装置１０１は現実空間画像に基づいて求めた視点の位置姿勢を画像処理装置１０２に送信する。

以上説明したモード「５」〜「８」を設定すると、視点の位置姿勢を求めるための最終的な処理は画像処理装置１０２に行わせるものの、その前段で行う処理は撮像装置１０１側で行っている。視点の位置姿勢を求めるためには上述の通り、現実空間画像（若しくはその縮小画像）から輝度画像を得、この輝度画像から二値画像を得、この二値画像からマーカ情報を得るという一連の処理を行う必要があるが、どこまでの処理を撮像装置１０１側で行うのかについては、モード「５」からモード「８」に向かうに従って、撮像装置１０１側で行う処理の量が増えている。

しかし、何れにせよ、モード「５」〜「９」が設定された場合に撮像装置１０１が画像処理装置１０２に送信するデータの量は、モード「１」〜「４」が設定された場合に送信する画像のデータ量と比べれば、十分に少ないので、データ転送にかかる負担を軽減させていることになる。

また、対応関係を示す表には示していないが、位置計測と画像合成の双方を画像処理装置１０２側で行う一般的なＭＲのシステムにおいて、位置計測の負荷を軽減させるために補助データを撮像装置１０１側で生成し、送付するモードを付け加えてもよい。その場合、撮像装置１０１は、縮小画像を含む現実空間画像と合わせて位置計測部１０６で得られた位置計測のための補助データを画像処理装置１０２に送信する。画像処理装置１０２は補助データを用いて、視点の位置姿勢を求めると共に、現実空間画像とＣＧ画像との合成処理を行う。

図９は、上記ネゴシエーションによって設定モードを決定するための処理のフローチャートである。なお、同図のフローチャートに従った処理は、上記ステップＳ４０１、Ｓ４１２の何れで行っても良いが、本実施形態では、ステップＳ４１２で行うものとし、この処理の結果、決まったモードについては撮像装置１０１側にも通知するものとする。

先ず、ステップＳ９０１では、撮像装置１０１、画像処理装置１０２のそれぞれの位置姿勢計測機能について把握する。

ステップＳ９０２では、撮像装置１０１、画像処理装置１０２のそれぞれのＩ／Ｆにおける伝送帯域、または伝送媒体の種類等の通信条件を把握する。

ステップＳ９０３では、位置姿勢計測処理に使用するアルゴリズムの種類や更新時期を把握する。また、求められる位置精度や処理負荷も併せて把握する。

ステップＳ９０４では、撮像装置１０１のデータ処理能力を把握する。画像処理装置１０２のデータ処理能力は予め把握しているものとする。

ステップＳ９０５では、システムの運営において、画質を優先するか否かを判断する。画質を優先するか否かの設定は、予め画像処理装置１０２に設定しておいても良いし、処理の流れ上、適宜設定しても良い。

画質を優先しない場合には、処理をステップＳ９０７に進める。ステップＳ９０７では、設定モードとして、モード「３」、「４」のうち何れかを選択する。伝送帯域に関わらず最高性能で画像を表現する場合には処理負荷が大きくなるため、装置の処理能力内で遅延時間がある範囲に収まる程度に撮像画像の解像度を設定する。モード「３」、「４」の何れを選択するのかについては、予め設定しておいても良いし、特に限定するものではない。

一方、画質を優先する場合には、処理をステップＳ９０６に進める。ステップＳ９０６では、ステップＳ９０２で把握した伝送帯域が所定の閾値を越えているか否かを判断する。この判断の結果、伝送帯域が所定の閾値以上である場合、即ち、伝送帯域が予め定められた帯域よりも十分に広い場合には、処理をステップＳ９０８に進め、設定モードとして、モード「１」、「２」の何れかを設定する。本ステップは、伝送帯域が十分かつ画像処理装置１０２側の処理能力が十分なことを受けて、画像処理装置１０２で大容量の現実空間画像を受信し、その後の処理を行う一般的なシステムにおいて実行されるものである。一般的な構成では現実空間画像のみの伝送であるが、モード「２」では、現実空間画像と併せて、補助データを撮像装置１０１側で用意する点が異なる。システムとしては位置計測機能を撮像装置１０１側で持つ必要があるが、画像処理装置１０２側の処理負荷を軽減することができる。なお、モード「１」、「２」の何れを設定するのかについては、予め設定しておいても良いし、特に限定するものではない。

一方、伝送帯域が所定の閾値以上ではない場合には処理をステップＳ９０９に進め、設定モードとして、モード「５」〜「９」の何れかを設定する。本ステップでは、伝送帯域が不十分なことを受けて、画像合成を撮像装置１０１側で行うことを決定する。現実空間画像の伝送が不要なため、帯域を有効に活用することが可能となる。モード「５」〜「９」は、画像合成を撮像装置１０１で行う前提で、位置計測処理の内容が異なるモードである。なお、モード「５」〜「９」の何れを選択するのかについては、予め設定しておいても良いし、特に限定するものではない。

なお、本実施形態では、伝送帯域を重視してモードの選択を行ったが、アルゴリズムの種類や更新時期によって異なる位置計測精度や求められる最低限の遅延時間等、ＭＲアプリケーションの内容や用途によってモードを選択する構成でも構わない。

図１０は、画像中におけるマーカを用いて、視点の位置姿勢を求める処理を説明する図である。

マーカ１００３は、予め撮像装置１０１と位置関係が対応付けられているものとする。現実空間画像１００１にマーカ１００３が表示されている場合、現実空間画像１００１からマーカ１００３を検出し、マーカ１００３の大きさや形、塗りつぶしのパターンなどの情報から、マーカ１００３と撮像装置１０１との相対的位置関係および撮像装置１０１の装着者がマーカ１００３を観察している方向に関する三次元位置姿勢情報を算出することができる。図１０では例として、マーカ１００３の中心部を原点とする三次元座標系を想定しているが、座標系の原点はマーカ１００３上に設定する必要はなく、座標系の原点とマーカ１００３との相対的位置関係を対応付けることにより、任意の位置に設定することができる。

また、位置姿勢を求める処理で用いるマーカは単独ではなく、複数のマーカを同時に用いることも可能である。複数のマーカを同時に用いる場合、各マーカの位置関係を予め定義しておくことによって、それらの相対的位置関係から、マーカを観察している方向を算出することが可能となる。従って、図１０に示したような内部の塗りつぶしパターンによって方向まで識別が可能なマーカではなく、例えば、カラーマーカや、ＬＥＤなどの発光素子のような方向性の情報を持たないマーカを利用することも可能となる。また、マーカではなく、テーブルの輪郭線１００４のような画像中の特徴点や、画像中の特定の色などを抽出し、それらを用いて位置姿勢を算出することも可能である。同一種類のマーカを複数用いたり、数種類のマーカを同時に用いたり、マーカ情報と画像中の特徴点の情報を組み合わせて用いることによって、より高い精度の位置情報を生成できる。

さらには、複数のマーカや特徴点の位置関係が対応付けられているため、すべてのマーカや特徴点が画像内に表示されていなくても、それぞれのマーカや特徴点の位置を推定することも可能である。マーカ利用によるＭＲ技術の実現は、Ｋａｔｏ， Ｈ．， Ｂｉｌｌｉｎｇｈｕｒｓｔ， Ｍ．（１９９９） Ｍａｒｋｅｒ Ｔｒａｃｋｉｎｇ ａｎｄ ＨＭＤ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ ａ ｖｉｄｅｏ−ｂａｓｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｃｏｎｆｅｒｅｎｃｉｎｇ Ｓｙｓｔｅｍ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＷＡＲ ９９）． Ｏｃｔｏｂｅｒ， ＳａｎＦｒａｎｃｉｓｃｏ， ＵＳＡにおいて公開されている。

なお、本実施形態では、撮像装置１０１と画像処理装置１０２の双方に位置姿勢計測機能と合成画像生成機能を備えたが、それぞれの機能を備えた別の装置と、撮像ユニットや表示ユニットを備えたＨＭＤと、を分離する構成にしても同様の機能を実現することができる。

また、本実施形態では、撮像装置１０１に備えた位置計測部１０６の機能の実現をＣＰＵ３２０５によって行ったが、専用のハードウェア（ＡＳＩＣやＦＰＧＡ）を用いてその機能の一部またはすべてを実現することも当然可能である。

このように、本実施形態では、相手の機能や自身の機能における能力をネゴシエーションによって把握し、ＣＧ画像と現実空間画像との合成画像を生成するために行う処理を撮像装置１０１と画像処理装置１０２とで、目的や用途およびシステム構成にあわせた最適な分担を行う構成を示した。従って、どのような処理をそのように分担するのかについては以上の構成に限定するものではない。

［第２の実施形態］
第１の実施形態では、撮像装置１０１から画像処理装置１０２に送信する現実空間画像のデータ量を削減するために、この現実空間画像の縮小画像を生成し、これを送信していた。本実施形態では、同様の目的を達成するために、現実空間画像を圧縮した圧縮画像を縮小画像の代わりに画像処理装置１０２に送信する。

以下の説明では、本実施形態が第１の実施形態と異なる点についてのみ説明する。即ち、本実施形態は、以下説明する点以外については、第１の実施形態と同様である。

図１１は、撮像装置１０１が有する位置計測部１０６の機能構成を示すブロック図である。

１１０１はセレクタである。セレクタ１１０１は、スイッチ１０４を介して受けた現実空間画像を圧縮処理部１１０２、輝度変換部１１０３、最終段の出力を選択するセレクタ１１０９の何れかに送出する。

１１０２は圧縮処理部である。圧縮処理部１１０２は、セレクタ１１０１を介して現実空間画像を受けた場合には、この受けた画像を圧縮する処理を行う。圧縮処理方法については特に限定するものではなく、一般的な画像圧縮技術であるＪＰＥＧやＭＰＥＧ等を用いる。ＭＲ技術では特にリアルタイム性が要求されるため、フレーム間の差分を用いるＭＰＥＧ系の圧縮よりはＭｏｔｉｏｎ−ＪＰＥＧのようなフレーム内圧縮の技術を採用する方が望ましい。ＪＰＥＧ２０００規格ではロッシーだけでなく、ロスレスの圧縮方式も選択できるが、どちらの方式を選択するかは目的に応じてネゴシエーションを行う際に決定する。

１１０３は輝度変換部である。輝度変換部１１０３は第１の実施形態における輝度変換部２０３と同様のものである。なお、輝度変換部２０３による輝度画像を圧縮処理部１１０２によって圧縮しても良い。

１１０４は二値化処理部である、二値化処理部１１０４は第１の実施形態における二値化処理部２０４と同じものである。

１１０５は、マーカ抽出部である。マーカ抽出部１１０５は、セレクタ１１０１に入力された現実空間画像中にマーカが存在する場合には、このマーカを抽出する処理を行う。マーカ抽出部１１０５が行う処理については第１の実施形態と同様にして行う。

１１０６は収束演算部である。収束演算部１１０６は、マーカ抽出部１１０５が１以上のマーカを抽出した場合には、その位置を精度よく算出するための繰り返し演算処理を行う。この演算処理の結果得られるのが、観察者の視点の位置姿勢である。収束演算部１１０６が行う処理については、第１の実施形態と同様にして行う。

１１０７は、ジャイロセンサである。ジャイロセンサ１１０７は第１の実施形態におけるジャイロセンサ２０７と同じものである。

１１０８は制御／データ補正部である。制御／データ補正部１１０８は、第１の実施形態における制御／データ補正部２０８と同じものである。

１１０９はセレクタである。セレクタ１１０９は、セレクタ１１０１に入力された現実空間画像、圧縮処理部１１０２による圧縮画像、輝度変換部１１０３による輝度画像、二値化処理部１１０４による二値画像、マーカ抽出部１１０５による抽出されたマーカに係るマーカ情報、収束演算部１１０６により求めた観察者の視点の位置姿勢、のうち、画像処理装置１０２に送信する対象を選択し、Ｉ／Ｆ１０９を介して画像処理装置１０２に送信する。選択信号による選択指示は、上述の機能選択部１０８によって行われる。

図１２は、画像処理装置１０２が有する位置計測部１１６の機能構成を示すブロック図である。

同図において１２０１はセレクタである。セレクタ１２０１は、Ｉ／Ｆ１１３を介して撮像装置１０１から受信したデータの種類、撮像装置１０１とのネゴシエーションの結果に基づいて、受けたデータの出力先を切り替える。セレクタ１２０１は、撮像装置１０１から現実空間画像を受けると、これを輝度変換部１２０４に転送する。圧縮画像を受けると、これを伸張処理部１２０２に転送する。輝度画像を受けると、これを二値化処理部１２０５に転送する。二値画像を受けると、これをマーカ抽出部１２０６に転送する。マーカ情報を受けると、これを収束演算部１２０７に転送する。位置姿勢が入力されると、これをセレクタ１２０８に転送する。

１２０２は伸張処理部である。伸張処理部１２０２は、上記圧縮処理部１１０２が行う処理の逆の処理を行うことで、圧縮画像を元の画像に展開する処理を行う。

１２０３はセレクタである。セレクタ１２０３は、伸張処理部１２０２によって伸張された画像が輝度画像である場合にはこれを二値化処理部１２０５に転送するし、伸張された画像が現実空間画像である場合には、これを輝度変換部１２０４に転送する。

１２０４は輝度変換部、１２０５は二値化処理部、１２０６はマーカ抽出部、１２０７は収束演算部である。それぞれは、撮像装置１０１側における輝度変換部１１０３、二値化処理部１１０４、マーカ抽出部１１０５、収束演算部１１０６と同様の動作を行う。

１２０８はセレクタである。セレクタ１２０８は、撮像装置１０１側で算出された位置姿勢、若しくは収束演算部３０６によって算出された位置姿勢の何れかを選択して出力する。また、合成処理が画像処理装置１０２側で行われる場合は、合成に用いる背景画像として、伸張処理後の現実空間画像を出力する。選択信号による選択指示は、上述の機能選択部１１５によって行われる。

図１３は、第２の実施形態時の上記ステップＳ４０６における処理の詳細を示すフローチャートである。

先ずステップＳ１３０１では、現実空間画像に対して圧縮処理を行い、圧縮画像を生成するか否かを判断する。圧縮画像を生成するか否かについては、縮小画像を生成するか否かを判断した第１の実施形態と同様、設定モードに応じて決まる。

生成しない場合には処理をステップＳ１３０３に進める。一方、生成するのであれば処理をステップＳ１３０２に進め、ＣＰＵ３２０５は、上記圧縮処理部１１０２として機能し、上記ステップＳ４０２で取得した現実空間画像を圧縮した圧縮画像を生成する。そして本処理を終了する。

ステップＳ１３０３では、ＣＰＵ３２０５は輝度変換部１１０３として機能し、上記ステップＳ４０２で取得した現実空間画像の輝度画像を生成する。

ステップＳ１３０４では、この輝度画像に対して圧縮処理を行うか否かを判断する。この判断の結果、圧縮を行う場合には処理をステップＳ１３０５に進め、この輝度画像に対して圧縮処理を行うことで圧縮画像を生成する。そして本処理を終了する。

一方、圧縮を行わないのであれば処理をステップＳ１３０６に進め、ＣＰＵ３２０５は二値化処理部１１０４として機能し、上記ステップＳ１３０３で生成した輝度画像に対して二値化処理を行い、二値画像を生成する。

ステップＳ１３０７では、ＣＰＵ３２０５はマーカ抽出部１１０５として機能し、上記ステップＳ１３０６で生成した二値画像からマーカを抽出する。

ステップＳ１３０８では、ＣＰＵ３２０５は収束演算部１１０６として機能し、上記ステップＳ１３０６で抽出したマーカの位置を用いて、直接解法による収束演算で精度良く演算する。これにより、視点の位置姿勢、場合によってはその補助データを求める。

そして、圧縮画像、非圧縮の輝度画像、二値画像、マーカ情報、位置姿勢のうち、何れかが画像処理装置１０２に対して送信されることになる。

図１４は、第２の実施形態時の上記ステップＳ４１５における処理の詳細を示すフローチャートである。

先ずステップＳ１４０１では、上記ネゴシエーションの結果、合成画像の生成を画像処理装置１０２側で行うと決定したのか否かを判断する。この判断の結果、合成画像の生成を撮像装置１０１側で行うと決定している場合には、処理をステップＳ１４０４に進める。

一方、合成画像の生成を画像処理装置１０２側で行うと決定している場合には、処理をステップＳ１４０２に進める。

ステップＳ１４０２では、ステップＳ４１３で受信した画像が圧縮画像であるか否かを先ず判断する。本処理を含め、以下説明する各処理において、画像に対してどのような処理が施されているのかを判断する際には、この画像に対して付加されているヘッダ情報を参照すればよい。このような技術については周知のものであるので、別段説明はしない。

受信した画像が圧縮画像である場合にはこの圧縮画像を伸張する必要がある。この判断の結果、圧縮画像ではない場合には、処理をステップＳ１４０４に進める。一方、圧縮画像である場合には、処理をステップＳ１４０３に進める。ステップＳ１４０３では、この圧縮画像を伸張することで、元の画像を復元する。

ステップＳ１４０４では、ステップＳ１４０３で伸張された画像、若しくはステップＳ４１３で受信した画像を用いて、視点の位置姿勢、場合によってはその補助データを求める。

以上説明してきたように、本実施形態によれば大容量の現実空間画像の伝送量を圧縮処理で削減しつつ、第１の実施形態と同様に撮像装置と画像処理装置の双方に位置姿勢計測機能を持ち、事前にネゴシエーションをしてそれぞれの計測内容を決めることで、目的や用途およびシステム構成にあわせて最適な負荷分散を実現することが可能となる。

特に圧縮処理を用いた本実施形態では、解像度変換処理に比べて回路規模が大きくなることや処理時間がかかることによる遅延は考慮すべきであるが、データ量の削減規模を大きくできることがメリットである。

［第３の実施形態］
本実施形態では、現実空間画像の色表現や階調数を変換した変換画像を縮小画像の代わりに画像処理装置１０２に送信する点のみが第１の実施形態とは異なる。

図１５は、撮像装置１０１が有する位置計測部１０６の機能構成を示すブロック図である。以下では、本実施形態に係る位置計測部１０６が第１の実施形態における位置計測部１０６とは異なる点についてのみ説明する。

１５０１はセレクタである。セレクタ１５０１は、スイッチ１０４を介して受けた現実空間画像を色表現変換部１５０２、最終段の出力を選択するセレクタ１５１１の何れかに送出する。

１５０２は色表現変換部である。色表現変換部１５０２は、セレクタ１５１１を介して現実空間画像を受けた場合には、この受けた画像の色表現の変換を行う。色表現変換方法については特に限定するものではないが、例えば、ＲＧＢ２４ビットの画像データから、ＹＵＶ４２２、ＹＵＶ４２０、ＹＵＶ４１１やＹＣＣ等の各種色表現へと変換し、色差情報を圧縮する。

１５０３は輝度選択部である。輝度選択部１５０３は、色表現変換部１５０２が輝度信号と色差信号とに分離したため、これらの情報から輝度信号を選択する。

１５０４は二値化処理部である、二値化処理部１５０４は第１の実施形態における二値化処理部２０４と同じものである。

１５０５は、マーカ抽出部である。マーカ抽出部１５０５が行う処理については第１の実施形態と同様にして行う。

１５０６は収束演算部である。収束演算部１５０６は、マーカ抽出部１５０５が１以上のマーカを抽出した場合には、その位置を精度よく算出するための繰り返し演算処理を行う。この演算処理の結果得られるのが、観察者の視点の位置姿勢である。収束演算部１５０６が行う処理については、第１の実施形態と同様にして行う。

１５０７は、ジャイロセンサである。ジャイロセンサ１５０７は第１の実施形態におけるジャイロセンサ２０７と同じものである。

１５０８は制御／データ補正部である。制御／データ補正部１５０８は、第１の実施形態における制御／データ補正部２０８と同じものである。

１５０９は階調変換部である。階調変換部１５０９は、現実空間画像の階調数の変換を行う。階調数の変換は、各画素の色がそれぞれ８ビットの階調を予め持っている場合、これらを７ビットや６ビット等に圧縮し、情報量を落とすものである。色表現の変換では輝度情報はそのままに色差情報を圧縮したが、階調数の変換では階調性を犠牲にして情報の圧縮を実現する。また、色表現変換と階調変換の組み合わせによる更なる情報圧縮も可能である。

１５１０はセレクタである。セレクタ１５１０は、階調変換を行った画像、行っていない画像の何れかをセレクタ１５１１に出力する。

１５１１はセレクタである。セレクタ１５１１は、現実空間画像、階調変換及び／又は色表現変換を行った画像、輝度画像、二値画像、マーカ情報、視点の位置姿勢、のうち、画像処理装置１０２に送信する対象を選択し、Ｉ／Ｆ１０９を介して画像処理装置１０２に送信する。

図１６は、画像処理装置１０２が有する位置計測部１１６の機能構成を示すブロック図である。以下では、本実施形態に係る位置計測部１１６が第１の実施形態における位置計測部１１６とは異なる点についてのみ説明する。

同図において１６０１はセレクタである。セレクタ１６０１は、Ｉ／Ｆ１１３を介して撮像装置１０１から受信したデータの種類、撮像装置１０１とのネゴシエーションの結果に基づいて、受けたデータの出力先を切り替える。セレクタ１６０１は、撮像装置１０１から現実空間画像を受けると、これを輝度変換部１６０５に転送する。階調変換若しくは階調変換と色表現変換の両方が施された画像を受けると、これを階調逆変換部１６０２に転送する。色表現変換が施された画像を受けると、これを色表現逆変換部１６０４に転送する。輝度画像を受けると、これを二値化処理部１６０６に転送する。二値画像を受けると、これをマーカ抽出部１６０７に転送する。マーカ情報を受けると、これを収束演算部１６０８に転送する。位置姿勢が入力されると、これをセレクタ１６０９に転送する。

１６０２は階調逆変換部である。階調逆変換部１６０２は、階調変換部１５０９が行った処理と逆の処理を行うことにより、画像の階調を元の階調に戻す処理を行う。

１６０３はセレクタである、セレクタ１６０３は、階調逆変換部１６０２から受けた画像が色表現変換を施されたものであるのか否かを判断する。色表現変換が施された画像は色表現逆変換部１６０４に転送するし、色表現変換が施されていない画像については輝度変換部１６０５に転送する。

１６０４は色表現逆変換部である。色表現逆変換部１６０４は、色表現変換部１５０２が行った処理と逆の処理を行うことにより、画像の色表現を元の色表現に戻す処理を行う。

１６０５は輝度変換部、１６０６は二値化処理部、１６０７はマーカ抽出部、１６０８は収束演算部であり、第２の実施形態と同様である。

１６０９はセレクタである。セレクタ１６０９は、撮像装置１０１側で算出された位置姿勢、若しくは収束演算部１６０８によって算出された位置姿勢の何れかを選択して出力する。また、合成処理が画像処理装置１０２側で行われる場合は、合成に用いる背景画像として、階調表現や色表現を元に戻した画像を出力する。選択信号による選択指示は、上述の機能選択部１１５によって行われる。

図１７は、第３の実施形態時の上記ステップＳ４０６における処理の詳細を示すフローチャートである。

先ずステップＳ１７０１では、現実空間画像に対して色表現変換を行うか否かを判断する。色表現変換を行うか否かについては、縮小画像を生成するか否かを判断した第１の実施形態と同様、設定モードに応じて決まる。

色表現変換を行わない場合には処理をステップＳ１７０３に進める。一方、色表現変換を行う場合には処理をステップＳ１７０２に進め、ＣＰＵ３２０５は、上記色表現変換部１５０２として機能し、上記ステップＳ４０２で取得した現実空間画像に対して色表現変換処理を行う。

ステップＳ１７０３では、輝度信号を選択するのか否かを判断する。輝度信号を選択する場合には処理をステップＳ１７０４に進め、選択しない場合には、処理をステップＳ１７０５に進める。ステップＳ１７０４では、ＣＰＵ３２０５は、輝度選択部１５０３として機能し、色表現変換された画像から輝度信号を選択し、輝度画像を生成する。

そしてステップＳ１７０７では、ＣＰＵ３２０５は二値化処理部１５０４として機能し、上記ステップＳ１７０４で生成した輝度画像に対して二値化処理を行い、二値画像を生成する。

ステップＳ１７０８では、ＣＰＵ３２０５はマーカ抽出部１５０５として機能し、上記ステップＳ１７０７で生成した二値画像からマーカを抽出する。

ステップＳ１７０９では、ＣＰＵ３２０５は収束演算部１５０６として機能し、上記ステップＳ１７０８で抽出したマーカの位置を用いて、直接解法による収束演算で精度良く演算する。これにより、視点の位置姿勢、場合によってはその補助データを求める。

一方、上記ステップＳ１７０３における選択処理の結果、輝度信号を選択しないのであれば、処理をステップＳ１７０５に進める。ステップＳ１７０５では、上記ステップＳ４０２で取得した現実空間画像に対して、若しくは上記ステップＳ１７０２で色表現変換された画像に対して階調変換を行うか否かを判断する。行わない場合には本処理を終了するのであるが、行うのであれば、処理をステップＳ１７０６に進め、ＣＰＵ３２０５は、上記階調変換部１５０９として機能し、上記ステップＳ４０２で取得した現実空間画像に対して、若しくは上記ステップＳ１７０２で色表現変換された画像に対して階調変換処理を行う。

そして、階調変換及び／又は色表現変換された画像、現実空間画像、二値画像、マーカ情報、位置姿勢のうち、何れかが画像処理装置１０２に対して送信されることになる。

図１８は、第３の実施形態時の上記ステップＳ４１５における処理の詳細を示すフローチャートである。

先ずステップＳ１８０１では、上記ネゴシエーションの結果、合成画像の生成を画像処理装置１０２側で行うと決定したのか否かを判断する。この判断の結果、合成画像の生成を撮像装置１０１側で行うと決定している場合には、処理をステップＳ１８０６に進める。

一方、合成画像の生成を画像処理装置１０２側で行うと決定している場合には、処理をステップＳ１８０２に進める。

ステップＳ１８０２では、ステップＳ４１３で受信した画像が階調変換されたものであるのか否かを判断する。受信した画像が階調変換されたものではない場合には処理をステップＳ１８０４に進める。一方、受信した画像が階調変換されたものである場合には処理をステップＳ１８０３に進める。ステップＳ１８０３では、ＣＰＵ３２０５は、上記階調逆変換部１６０２として機能し、受信した画像に対して階調逆変換処理を行う。

ステップＳ１８０４では、ステップＳ４１３で受信した画像が色表現変換されたものであるのか否かを判断する。受信した画像が色表現変換されたものではない場合には処理をステップＳ１８０６に進める。一方、受信した画像が色表現変換されたものである場合には処理をステップＳ１８０５に進める。ステップＳ１８０５では、ＣＰＵ３２０５は、上記色表現逆変換部１６０４として機能し、受信した画像に対して色表現逆変換処理を行う。

ステップＳ１８０６では、現実空間画像、若しくはステップＳ１８０３で得られた画像、若しくはステップＳ１８０５で得られた画像の何れかを用いて、視点の位置姿勢、場合によってはその補助データを求める。

以上説明してきたように、本実施形態によれば大容量の現実空間画像の伝送量を色表現や階調表現による変換処理で削減しつつ、第１の実施形態や第２の実施形態と同様に撮像装置と画像処理装置の双方に位置姿勢計測機能を持ち、事前にネゴシエーションをしてそれぞれの計測内容を決めることで、目的や用途およびシステム構成にあわせて最適な負荷分散を実現することが可能となる。

特に色表現や階調数の変換処理を用いた本実施形態では、解像度変換処理や圧縮処理に比べてデータ量の削減規模は小さくなるが、比較的構成が簡単なこと、かつデータ量削減による画質劣化の弊害が少ないことがメリットである。

［第４の実施形態］
本実施形態では、視点の位置姿勢を計測するための構成、及び合成画像を生成するための構成を撮像装置のみに対して備える。

図１９は、本実施形態に係るシステムの機能構成を示すブロック図である。
同図に示す如く、本実施形態に係るシステムは、撮像装置１９０１と画像処理装置１９０２とで構成されている。

先ず、撮像装置１９０１について説明する。本実施形態では、撮像装置１９０１はビデオシースルー型ＨＭＤであるものとする。

撮像ユニット１９０３は、図１に示した撮像ユニット１０３と同じものである。撮像した各フレームの画像（現実空間画像）は、フレームバッファ１９０６と位置計測部１９０５とに転送される。フレームバッファ１９０６は、図１に示したフレームバッファ１０５と同じものである。三次元位置姿勢センサ１９０４は、視点の位置姿勢を求めるための補助的な情報を計測するものである。本実施形態では、計測補助用に三次元位置姿勢センサ１９０４を使用するが、センサの使用および実装は必須ではなく、画像に含まれるマーカの識別によって計測する構成で構わない。

位置計測部１９０５は、基本的には図１に示した位置計測部１０６と同じものである。即ち、三次元位置姿勢センサ１９０４から受ける補助情報と、撮像ユニット１９０３から受ける現実空間画像と、を用いて視点の位置姿勢を求めるための処理を行う。Ｉ／Ｆ１９０７は、図１に示したＩ／Ｆ１０９と同じものである。

画像合成部１９０８は、Ｉ／Ｆ１９０７を介して画像処理装置１９０２からＣＧ画像を受けると、この受けたＣＧ画像と、フレームバッファ１９０６に保持されている現実空間の画像とを合成した合成画像（ＭＲ画像）を生成する。表示ユニット１９０９は、図１に示した表示ユニット１１２と同じものである。

次に、画像処理装置１９０２について説明する。

コンテンツＤＢ１９１１は、図１に示したコンテンツＤＢ１１７と同じものである。ＣＧ描画部１９１２は、図１に示したＣＧ描画部１１８と同じものである。

Ｉ／Ｆ１９１０は、図１に示したＩ／Ｆ１１３と同じものである。

撮像ユニット１９０３によって撮像された現実空間画像は、フレームバッファ１９０６に格納されると共に、位置計測部１９０５にも入力される。位置計測部１９０５は、三次元位置姿勢センサ１９０４より得られた補助情報と、撮像ユニット１９０３から得られる現実空間画像とを用いて、視点の位置姿勢を求める。求めた位置姿勢はＩ／Ｆ１９０７を介して画像処理装置１９０２に送出される。

画像処理装置１９０２側では、ＣＧ描画部１９１２が、Ｉ／Ｆ１９１０を介して受信した位置姿勢を用いて、この位置姿勢を有する視点から見える仮想空間の画像を生成する。仮想空間の画像を生成する処理については上記各実施形態と同じである。そしてＣＧ描画部１９１２は、生成した仮想空間の画像をＣＧ画像としてＩ／Ｆ１９１０を介して撮像装置１９０１に送出する。

撮像装置１９０１側では、Ｉ／Ｆ１９０７を介して画像処理装置１９０２から受信したＣＧ画像を受信すると、画像合成部１９０８は、このＣＧ画像と、フレームバッファ１９０６に格納されている現実空間画像とを合成した合成画像を生成する。

この合成画像の生成をクロマキー処理で行う場合は、ＣＧ描画時に使用していないクロマキー合成のために使用する特定色を併せて情報として送付する。特定色の指定が１フレーム毎に行われない場合には、予め撮像装置１９０１側との間でネゴシエーションを行い、一定の期間内は同じ特定色を使用する。

そして撮像装置１９０１は、受け取ったＣＧ画像とフレームバッファ１９０６に格納されている現実空間画像とを、特定色を元にクロマキー合成する。なお、ＣＧ画像と対応づけられる現実空間画像は、ＣＧ画像の生成に用いた位置情報を得るのに使用した画像である。

また、αチャネルを使用して画像合成を行う場合には、各画素のα値（マット値）による二次元データであるαチャネルをＣＧ画像と併せて画像処理装置１９０２が送信する。クロマキー合成処理とαチャネルによる半透明画像合成処理の内容については後述する。

そして画像合成部１９０８が生成した合成画像は表示ユニット１９０９に送出するので、表示ユニット１９０９の表示画面上には、この合成画像が表示されることになる。

以上のような構成では、現実空間画像を撮像装置１９０１側から画像処理装置１９０２側に送信する必要がなくなるため、仮に現実空間画像とＣＧ画像の解像度、階調表現、フレームレートが同一の場合には、従来技術として示した一般的なＭＲのシステム構成と比べて送信するデータ量は半分程度になる。実際にはＣＧ画像と併せてクロマキー色またはαチャネルが送信されるため、半分よりは多くなる。

また、合成の際に採用する現実空間画像は、ＣＧ画像の生成を行う際に計測した位置姿勢情報を算出するのに用いた画像であるため、現実空間画像とＣＧ画像との間の遅れが生じず、違和感のないＭＲ画像を提供することができる。

本実施形態では基本的な構成を示したが、ＣＧ画像の送信前に解像度変換による縮小処理や圧縮処理、または階調や色表現変換等を施すことによって、ＲＧＢの生データを送信するよりはデータ量を削減することも可能である。

以上の構成および処理のプロセスにより、ＭＲ画像表示のために撮像画像の伝送が不要となり、かつ同等の表示品質を維持することが可能となる。

図２０は、撮像装置１９０１により撮像された現実空間画像と画像処理装置１９０２が生成したＣＧ画像とを合成した合成画像を、撮像装置１９０１が有する表示ユニット１９０９に表示するために、それぞれの装置が行う処理のフローチャートである。

なお、同図のフローチャートにおいて、ステップＳ２００１〜ステップＳ２００８における処理は撮像装置１９０１が行う処理のフローチャートであるが、ステップＳ２００１〜ステップＳ２００８における処理を撮像装置１９０１のＣＰＵ３２０５に実行させるためのプログラムやデータはＲＯＭ３２０４に格納されている。従ってＣＰＵ３２０５がこのプログラムやデータを用いて処理を実行することで、撮像装置１９０１は、ステップＳ２００１〜ステップＳ２００８の処理を実行することになる。

また、同図のフローチャートにおいて、ステップＳ２０５１〜ステップＳ２０５３における処理は画像処理装置１９０２が行う処理のフローチャートであるが、ステップＳ２０５１〜ステップＳ２０５３における処理を画像処理装置１９０２のＣＰＵ３１０１に実行させるためのプログラムやデータは外部記憶装置３１０６に格納されている。そして、ＣＰＵ３１０１がこのプログラムやデータをＲＡＭ３１０２にロードし、これを用いて処理を実行することで、画像処理装置１９０２は、ステップＳ２０５１〜ステップＳ２０５３の処理を実行することになる。

先ず、ステップＳ２００１では、撮像ユニット３２０１（１９０３）はＣＰＵ３２０５による制御に従って現実空間の画像を撮像するので、ステップＳ２００２では、この現実空間画像を、ＲＡＭ３２０３上に設けられたフレームバッファ１９０６に格納する。

次に、ステップＳ２００３では、この現実空間画像と、三次元位置姿勢センサ１９０４とを用いて、視点の位置姿勢を求めるための処理を行う。もちろん、三次元位置姿勢センサ１９０４は必須なものではなく、適宜用いればよい。

そしてステップＳ２００４では、求めた位置姿勢を画像処理装置１９０２に送信する。一方、ステップＳ２０５１では、画像処理装置１９０２のＣＰＵ３１０１は、上記ステップＳ２００５で送信されたデータをＩ／Ｆ３１０７を介して受信し、ＲＡＭ３１０２に取得する。

そしてステップＳ２０５２では先ず、ステップＳ２０５１で受信した位置姿勢を用いて視点の位置姿勢を確定する。一方、外部記憶装置３１０６内におけるコンテンツＤＢ１９１１から、各仮装物体に係るデータを読み出し、仮想空間中に仮装物体を配置することで、仮想空間を形成する。そして形成した仮想空間を、確定した位置姿勢を有する視点から見た場合に見える画像、即ちＣＧ画像を生成する。

そして、ステップＳ２０５３では、この生成したＣＧ画像を撮像装置１９０１に送信する。撮像装置１９０１側ではステップＳ２００５で、画像処理装置１９０２から上記ステップＳ２０５３で送信されたＣＧ画像を受信し、ＲＡＭ３２０３上に取得する。

そしてステップＳ２００６では、位置計測部１９０５が位置姿勢を計算した際に撮像ユニット１９０３が取得した現実空間画像を特定する。そしてステップＳ２００７では、この特定した現実空間画像と、ステップＳ２００５で受信したＣＧ画像とを合成した合成画像を生成する。そしてステップＳ２００８では、この合成画像を表示ユニット１９０９の表示画面上に表示する為の処理を行う。

図２１は、クロマキー処理を用いて画像合成を行う場合の処理を示したフローチャートである。同図のフローチャートに従った処理は、上記ステップＳ２００７において行われるものであり、この処理により、合成画像が生成される。

現実空間画像にＣＧ画像を重畳する一般的な手法としては、現実空間画像の切り出し方によってクロマキー法、ロートスコーピング法、ディファレンスマッチング法等がある。ここでは自動かつＭＲに適した手法であるクロマキー法について説明する。クロマキー法は、ブルーバック撮影（均一な青色あるいは緑一色の壁からなる背景の前で対象物を撮像）した後、背景色以外の領域を自動的に切り出す手法であり、ＭＲではＣＧ画像の描画時に、ＣＧで使用していない特定色を使って、ＣＧ描画以外の領域を塗り潰し、切り出しの判断が画素毎に特定色との比較によって行われる。

先ず、ステップＳ２１０１では、ＣＧ画像の色とクロマキー処理を行うための特定色とを画素単位で比較する。

次にステップＳ２１０２では、ＣＧ画像における各画素を参照し、参照している画素の色と特定色とが一致するか否かを判断する。一致する場合には処理をステップＳ２１０３に進め、一致していない場合には処理をステップＳ２１０４に進める。

ステップＳ２１０３では、参照画素が背景部を構成している画素と判断するので、ステップＳ２１０５では、この背景部を構成している画素を、現実空間画像において対応する位置の画素に置き換える。一方、ステップＳ２１０４では、参照画素がＣＧ部を構成している画素であると判断するので、ステップＳ２１０６では、このＣＧ部を構成している画素をそのまま用いる。

こうした処理をＣＧ画像を構成している全ての画素について行うことで、撮像装置１９０１によって撮像された現実空間画像と画像処理装置１９０２において生成されたＣＧ画像とを比較的簡単な構成で合成することが可能となる。

なお、クロマキー合成の一般的な処理については、特開平５−２４４６３０号公報、特開平７−１５４８１９号公報に開示されている。

図２２は、αチャネルを用いて半透明画像合成を行う場合の処理を示したフローチャートである。同図のフローチャートに従った処理は、上記ステップＳ２００７において行われるものであり、この処理により、合成画像が生成される。

上記クロマキー合成処理では、現実空間画像である背景部とＣＧ画像であるＣＧ部とが透過した半透明の合成画像を生成することができない。半透明画像を生成するには、α値と呼ばれる０と１の中間の値を取り得る寄与比率を用いる。以下にそのプロセスを説明する。

ステップＳ２２０１では、合成画像の任意の画素の値をＣと設定する。この設定は予め行っておいても良い。

ステップＳ２２０２では、現実空間画像の対応する画素値を取得する。ここでは取得した画素値をＢとする。

ステップＳ２２０３では、ＣＧ画像の対応する画素値を取得する。ここでは取得した画素値をＦとする。

ステップＳ２２０４では、αチャネルの対応する画素の値が画像処理装置１９０２から送信されるので、この値を取得する。ここではこの値をαとする。

ステップＳ２２０５では、半透明処理が必要か否かを画素単位で判断する。半透明処理が必要な場合は処理をステップＳ２２０７に進め、必要のない場合、すなわち現実空間画像かＣＧ画像の何れかの画素で上記値Ｃを置き換える場合には処理をステップＳ２２０６に進める。

ステップＳ２２０６では、前景がＣＧ画像であるか否かを判断する。ＣＧ画像の場合は処理をステップＳ２２０８に進め、前景が現実空間画像である場合には処理をステップＳ２２０９に進める。

ステップＳ２２０７では、合成後の画素値Ｃを、以下の式で求める。

Ｃ＝α×Ｆ＋（１―α）×Ｂ
ステップＳ２２０８では、画素値ＣをＣＧ画像の画素値Ｆとする。

ステップＳ２２０９では、画素値Ｃを撮像画像の画素値Ｂとする。

なお、αチャネルによる画像合成の一般的な処理については、Ｔ．Ｐｏｒｔｅｒ ａｎｄ Ｔ．Ｄｕｆｆ， “Ｃｏｍｐｏｓｉｔｉｎｇ Ｄｉｇｉｔａｌ Ｉｍａｇｅｓ”， Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ Ｖｏｌ．１８，Ｎｏ．３（１９８４）に開示されている。

以上説明してきたように、本実施形態によれば、大容量の現実空間画像の伝送の代わりに、ＣＧ画像の生成に必要な撮像装置の位置姿勢情報を撮像装置側で計測し、その情報を伝送することによって、伝送帯域をＣＧ画像の伝送にほぼ使用することができるため、狭い伝送帯域でも高精細なＭＲ画像を提供することができる。

また、従来のＭＲシステムでは、位置姿勢計測、ＣＧ画像生成、合成画像生成のすべての処理を画像処理装置で行っていたのに対して、撮像機能を持つ撮像装置側に位置姿勢計測機能と合成画像生成機能とを持たせることで、画像処理装置の処理負荷を低減する効果もある。

その結果、本来であれば高速かつ複雑な演算処理を行うのに必要な機能を持つワークステーションやデスクトップＰＣではなく、携帯電話やＰＤＡまたはノートＰＣなど処理能力の低いデバイスを使用してＭＲ画像を提供することが可能となる。

本実施形態の説明では、撮像装置内に位置姿勢計測機能と合成画像生成機能とを備えたが、それぞれの機能を備えた別の装置と撮像ユニットや表示ユニットを備えたＨＭＤとを分離する構成にしても同様の機能を実現することができる。

［第５の実施形態］
本実施形態では、システムの構成については第４の実施形態と同様に、視点の位置姿勢を計測するための構成、及び合成画像を生成するための構成を撮像装置のみに対して備える。しかし本実施形態が第４の実施形態に係るシステムと異なる点は、フレームバッファを用いず、最新の現実空間画像と、最新の仮想空間画像とを合成する点にある。

図２３は、本実施形態に係るシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、画像処理装置２３０２と撮像装置２３０１とで構成されている。画像処理装置２３０２は、図１９に示した画像処理装置１９０２に位置姿勢情報補正部２３１０を加えた構成を有する。また、撮像装置２３０１は、図１９に示した撮像装置１９０１からフレームバッファ１９０６を省いた構成を有する。

位置姿勢情報補正部２３１０は、撮像装置２３０１から受信した位置姿勢を、画像合成時のタイミングに合わせて補正処理する。より具体的には、時系列的に取得した過去の位置姿勢から、画像合成時の位置姿勢への補正処理を行う。処理は一般的な予測手法で構わず、良く知られた手法ではカルマンフィルタを用いたものがある。ここでは画像合成時のタイミングと合わせたが、合成画像表示時のタイミングに合わせる構成でも構わない。その場合、現実空間画像に関しては、取得から表示まで若干のタイムラグが生じるが、ＣＧ画像に関しては予測が大幅にずれない限りリアルタイム性を保証しているように見せることができる。

撮像ユニット２３０３によって撮像された現実空間画像は、位置計測部２３０５と共に、画像合成部２３０７に入力される。位置計測部２３０５は、この入力された現実空間画像と、三次元位置姿勢センサ２３０４より得られた補助情報とを用いて、視点の位置姿勢を求める。なお、本実施形態においても第４の実施形態と同様、三次元位置勢センサ２３０４は構成上必須ではない。求めた位置姿勢は、Ｉ／Ｆ２３０６を介して画像処理装置２３０２に送出する。

画像処理装置２３０２側では、ＣＧ描画部２３１２が、Ｉ／Ｆ２３０９を介して受信した位置姿勢を用いて、この位置姿勢を有する視点から見える仮想空間の画像を生成する。仮想空間の画像を生成する処理については上記各実施形態と同じである。そしてＣＧ描画部２３１２は、生成した仮想空間の画像をＣＧ画像としてＩ／Ｆ２３０９を介して撮像装置２３０１に送出する。

撮像装置１９０１側では、Ｉ／Ｆ２３０６を介して画像処理装置２３０２から受信したＣＧ画像を受信すると、画像合成部２３０７は、このＣＧ画像と、撮像ユニット２３０３から入力された現実空間画像とを合成した合成画像を生成する。

この合成画像の生成をクロマキー処理で行う場合は、ＣＧ描画時に使用していないクロマキー合成のために使用する特定色を併せて情報として送付する。また、αチャネルを使用して画像合成を行う場合には、各画素のα値（マット値）による二次元データであるαチャネルをＣＧ画像と併せて画像処理装置２３０２が送信する。何れの画像合成処理についても、第４の実施形態で説明したとおりである。

そして画像合成部２３０７が生成した合成画像は表示ユニット２３０８に送出するので、表示ユニット２３０８の表示画面上には、この合成画像が表示されることになる。

ここで、合成の際に用いる現実空間画像は最新のものであるため、現実空間画像とＣＧ画像の生成タイミングを吸収するためのフレームバッファを撮像装置２３０１内に設ける必要がない点が特徴的であり、回路構成を小さく抑えることが可能になる。

本実施形態では、位置姿勢情報補正部２３１０による予測処理は、現実空間画像が撮像されてから合成されるまでの時間を基に演算処理される。撮像ユニット２３０３と画像合成部２３０７とを同一の装置内に持つ構成のため、撮像されてから画像合成後に表示されるまでの遅延時間は内部タイマを用いることにより容易に把握することができる。把握した遅延時間はＩ／Ｆ２３０６を介して画像処理装置２３０２に送信される。

以上の構成および処理のプロセスにより、ＭＲ画像表示のために撮像画像の伝送が不要となり、かつ同等の表示品質を維持することが可能となる。

図２４は、撮像装置２３０１により撮像された現実空間画像と画像処理装置２３０２が生成したＣＧ画像とを合成した合成画像を、撮像装置２３０１が有する表示ユニット２３０８に表示するために、それぞれの装置が行う処理のフローチャートである。

なお、同図のフローチャートにおいて、ステップＳ２４０１〜ステップＳ２４０７における処理は撮像装置２３０１が行う処理のフローチャートであるが、ステップＳ２４０１〜ステップＳ２４０７における処理を撮像装置２３０１のＣＰＵ３２０５に実行させるためのプログラムやデータはＲＯＭ３２０４に格納されている。従ってＣＰＵ３２０５がこのプログラムやデータを用いて処理を実行することで、撮像装置２３０１は、ステップＳ２４０１〜ステップＳ２４０７の処理を実行することになる。

また、同図のフローチャートにおいて、ステップＳ２４５１〜ステップＳ２４５４における処理は画像処理装置２３０２が行う処理のフローチャートであるが、ステップＳ２４５１〜ステップＳ２４５４における処理を画像処理装置２３０２のＣＰＵ３１０１に実行させるためのプログラムやデータは外部記憶装置３１０６に格納されている。そして、ＣＰＵ３１０１がこのプログラムやデータをＲＡＭ３１０２にロードし、これを用いて処理を実行することで、画像処理装置２３０２は、ステップＳ２４５１〜ステップＳ２４５４の処理を実行することになる。

先ず、ステップＳ２４０１では、撮像ユニット３２０１（２３０３）はＣＰＵ３２０５による制御に従って現実空間の画像を撮像するので、この現実空間画像をＲＡＭ３２０３内に格納する。

次に、ステップＳ２４０２では、この現実空間画像と、三次元位置姿勢センサ２３０４とを用いて、視点の位置姿勢を求めるための処理を行う。もちろん、三次元位置姿勢センサ２３０４は必須なものではなく、適宜用いればよい。

そしてステップＳ２４０３では、求めた位置姿勢を画像処理装置２３０２に送信する。一方、ステップＳ２４５１では、画像処理装置２３０２のＣＰＵ３１０１は、上記ステップＳ２４０３で送信されたデータをＩ／Ｆ３１０７を介して受信し、ＲＡＭ３１０２に取得する。

そしてステップＳ２４５２では、ステップＳ２４５１で受信した位置姿勢を、後述する画像合成のタイミングに合わせて補正する。この補正処理は、位置姿勢情報補正部２３１０により行われる処理である。そして、ステップＳ２４５３では、外部記憶装置３１０６内におけるコンテンツＤＢ２３１１から、各仮装物体に係るデータを読み出し、仮想空間中に仮装物体を配置することで、仮想空間を形成する。そして形成した仮想空間を、補正した位置姿勢を有する視点から見た場合に見える画像、即ちＣＧ画像を生成する。

そして、ステップＳ２４５４では、この生成したＣＧ画像を撮像装置２３０１に送信する。撮像装置２３０１側ではステップＳ２４０４で、画像処理装置２３０２から上記ステップＳ２４５４で送信されたＣＧ画像を受信し、ＲＡＭ３２０３上に取得する。

そしてステップＳ２４０５では、ＲＡＭ３２０３に保持されている現実空間画像のうち、最新のものを取得する。そしてステップＳ２４０６では、この取得した現実空間画像と、ステップＳ２４０４で受信したＣＧ画像とを合成した合成画像を生成する。そしてステップＳ２４０７では、この合成画像を表示ユニット２３０８の表示画面上に表示する為の処理を行う。

以上説明してきたように、本実施形態によれば大容量の現実空間画像の伝送の代わりに、ＣＧ画像の生成に必要な撮像装置の位置姿勢情報を撮像装置側で計測し、その情報を伝送することによって、伝送帯域をＣＧ画像の伝送にほぼ使用することができるため、狭い伝送帯域でも高精細なＭＲ画像を提供することができる。また、第４の実施形態との相違点であるフレームバッファを設けないことで、撮像装置側の構成を小さくすることができる。さらには、画像合成時または合成画像表示時のタイミングに合わせてＣＧ画像の位置姿勢を補正することで、現実空間画像との時間ズレを解消することができる。

本実施形態の説明では撮像装置内に位置計測機能と画像合成機能を備えたが、位置計測機能と画像合成機能を備えた別の装置と撮像ユニットや表示ユニットを備えたＨＭＤとを分離する構成にしても同様の機能を実現することができる。

［第６の実施形態］
本実施形態では、画像処理装置側で画像合成処理を行うことを前提とし、撮像装置に転送する現実空間画像の伝送量を削減しつつ高精細な現実空間画像を撮像装置側で保持させることによってデータ伝送量の削減と高精細な現実空間画像によるＭＲ画像の提供を可能にする。また、半透明画像の生成に必要なαチャネルの送付なしに半透明画像を再現する点にもある。

図２５は、本実施形態に係るシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、画像処理装置２５０２と撮像装置２５０１とで構成されている。

先ず、撮像装置２５０１について説明する。本実施形態では、撮像装置２５０１はビデオシースルー型ＨＭＤであるものとする。

撮像ユニット２５０３は、図１に示した撮像ユニット１０３と同じものである。撮像した各フレームの画像（現実空間画像）は、フレームバッファ２５０５とデータ削減部２５０４とに転送される。フレームバッファ２５０５は、図１に示したフレームバッファ１０５と同じものであるが、その使用方法が若干異なる。。

データ削減部２５０４は、撮像ユニット２５０３から受けた現実空間画像の縮小画像を作成することで、データ量を削減する処理を行う。尚、上記実施形態で説明したように、同様の目的を達成するのであれば、縮小画像を作成する代わりに、現実空間画像の圧縮画像を作成しても良いし、現実空間画像の色表現や階調数を変換した画像を作成しても良い。

Ｉ／Ｆ２５０６は、図１に示したＩ／Ｆ１０９と同じものである。比較処理部２５０７は、低解像度の現実空間画像と高解像度のＣＧ画像とを合成した合成画像を、特定のエリア単位で比較する処理を行う。

置換処理部２５０８は、比較処理部２５０７による比較の結果、特定のエリアが低解像度の現実空間画像であると判断された場合には、この特定のエリアを、フレームバッファ２５０５に格納された元となる現実空間画像においてこの特定のエリアに相当する部分で置き換える処理を行う。一方、特定のエリアが低解像度の現実空間画像ではない、即ち、ＣＧ画像若しくはＣＧ画像と現実空間画像低解像度の現実空間画像とが透過処理された領域であると判断された場合には、このような置き換え処理は行わない。

表示ユニット２５０９は、図１に示した表示ユニット１１２と同じものである。

次に、画像処理装置２５０２について説明する。

Ｉ／Ｆ２５１０は、図１に示したＩ／Ｆ１１３と同じものである。

位置計測部２５１１は、図１に示した位置計測部１１６と同じものである。なお、本実施形態においても、上記実施形態のように、補助情報を用いて更に計測精度を上げるようにしても良い。

データ復元部２５１２は、解像度変換による拡大処理を行う。より具体的には、データ削減部２５０４によって低解像度の画像サイズに変換された現実空間画像を、ＣＧ画像のサイズと一致するように拡大する処理を行う。拡大のための解像度変換の次数は特に限定するものではないが、データ削減部２５０４が行う解像度変換に対応するアルゴリズムを用いる必要がある。

尚、撮像装置側で解像度変換による縮小処理以外のデータ削減手段、すなわち圧縮画像を作成した場合は伸長処理を、色表現や階調数を変換した画像を作成した場合はその逆変換を適用することで、画像の復元を行うことができる。

コンテンツＤＢ２５１３は、図１に示したコンテンツＤＢ１１７と同じものである。ＣＧ描画合成部２５１４は、図１に示したＣＧ描画部１１８が行うＣＧ画像生成処理を行い、低解像度の現実空間画像を拡大した画像と合成することで、合成画像を生成する。この合成画像はＩ／Ｆ２５１０を介して撮像装置２５０１に送出され、上記比較処理と置換処理とを経て、表示ユニット２５０９の表示画面上に表示される。

撮像ユニット２５０３によって撮像された現実空間画像は、フレームバッファ２５０５に格納されると共に、データ削減部２５０４にも入力される。データ削減部２５０４は、この入力された現実空間画像に対して解像度変換を行い、現実空間画像の縮小画像を生成する。そして生成した縮小画像は、Ｉ／Ｆ２５０６を介して画像処理装置２５０２に送出される。

画像処理装置２５０２側では、位置姿勢計測部２５１１が、Ｉ／Ｆ２５１０を介して受信した縮小画像中に写っているマーカや自然特徴などを用いて、上記実施形態と同様にして視点の位置姿勢を求める。また、この縮小画像はデータ復元部２５１２にも入力される。データ復元部２５１２は、この縮小画像を以降の処理で生成するＣＧ画像のサイズと同じサイズに拡大する。

ＣＧ描画合成部２５１４は、位置計測部２５１１が求めた位置姿勢を用いて、この位置姿勢を有する視点から見える仮想空間の画像を生成する。仮想空間の画像を生成する処理については上記実施形態と同じである。そしてＣＧ描画合成部２５１４は、生成した仮想空間の画像と、上記データ復元部２５１２による拡大画像とを合成して、合成画像を生成する。そして生成した合成画像をＩ／Ｆ２５１０を介して撮像装置２５０１に送出する。

撮像装置２５０１側では先ず、比較処理部２５０７が、データ削減部２５０４によって生成された縮小画像を拡大した第２の拡大画像を作成する。そして、Ｉ／Ｆ２５０６を介して画像処理装置２５０２から合成画像を受信すると、合成画像上における特定の領域と、第２の拡大画像において対応する領域とを比較する。この比較の結果、一致している場合、即ち、合成画像における特定の領域が、第２の拡大画像上における領域である場合には、置換処理部２５０８は、合成画像における特定の領域を、データ削減部２５０４が第２の拡大画像を生成するために用いた現実空間画像において対応する領域に置き換える処理を行う。これにより、処理後の合成画像は、背景（現実空間画像）に相当する部分のみが元の高解像度の現実空間画像に変換される。

そして置換処理部２５０８が生成した合成画像、若しくは画像処理装置２５０２から受信した合成画像は表示ユニット２５０９に送出するので、表示ユニット２５０９の表示画面上には、この合成画像が表示されることになる。

以上の構成および処理のプロセスにより、大容量の撮像画像の伝送量を削減しつつ、クロマキー合成と比べて容易かつ簡便に不透明画像を含んだ合成画像における現実空間画像の高精細化を実現できる。

図２６は、撮像装置２５０１により撮像された現実空間画像と画像処理装置２５０２が生成したＣＧ画像とを合成した合成画像を、撮像装置２５０１が有する表示ユニット２５０９に表示するために、それぞれの装置が行う処理のフローチャートである。

なお、同図のフローチャートにおいて、ステップＳ２６０１〜ステップＳ２６０８における処理は撮像装置２５０１が行う処理のフローチャートであるが、ステップＳ２６０１〜ステップＳ２６０８における処理を撮像装置２５０１のＣＰＵ３２０５に実行させるためのプログラムやデータはＲＯＭ３２０４に格納されている。従ってＣＰＵ３２０５がこのプログラムやデータを用いて処理を実行することで、撮像装置２５０１は、ステップＳ２６０１〜ステップＳ２６０８の処理を実行することになる。

また、同図のフローチャートにおいて、ステップＳ２６５１〜ステップＳ２６５６における処理は画像処理装置２５０２が行う処理のフローチャートであるが、ステップＳ２６５１〜ステップＳ２６５６における処理を画像処理装置２５０２のＣＰＵ３１０１に実行させるためのプログラムやデータは外部記憶装置３１０６に格納されている。そして、ＣＰＵ３１０１がこのプログラムやデータをＲＡＭ３１０２にロードし、これを用いて処理を実行することで、画像処理装置２５０２は、ステップＳ２６５１〜ステップＳ２６５６の処理を実行することになる。

先ず、ステップＳ２６０１では、撮像ユニット３２０１（２５０３）はＣＰＵ３２０５による制御に従って現実空間の画像を撮像するので、この現実空間画像をＲＡＭ３２０３内に設けられたフレームバッファ２５０５に格納する。

次に、ステップＳ２６０２では、この現実空間画像に対して解像度変換処理を行い、縮小画像を生成する。そしてステップＳ２６０３では、この生成した縮小画像を画像処理装置２５０２に送信する。

一方、ステップＳ２６５１では、画像処理装置２３０２のＣＰＵ３１０１は、上記ステップＳ２６０３で送信されたデータをＩ／Ｆ３１０７を介して受信し、ＲＡＭ３１０２に取得する。

ステップＳ２６５２では、この縮小画像を用いて、視点の位置姿勢を求める。この処理については上記実施形態と同様にして行う。

次に、ステップＳ２６５３では、この受信した縮小画像を、後段の処理で求める仮想空間画像のサイズと同じサイズに拡大し、拡大画像を生成する。

ステップＳ２６５４では先ず、外部記憶装置３１０６内におけるコンテンツＤＢ２３１１から、各仮装物体に係るデータを読み出し、仮想空間中に仮装物体を配置することで、仮想空間を形成する。そして形成した仮想空間を、ステップＳ２６５２で求めた位置姿勢を有する視点から見た場合に見える画像、即ちＣＧ画像を生成する。

ステップＳ２６５５では、ステップＳ２６５３で生成した拡大画像と、ステップＳ２６５４で生成したＣＧ画像とを合成することで、合成画像を生成する。

そしてステップＳ２６５６では、この生成した合成画像を撮像装置２５０１に送信する。撮像装置２５０１側ではステップＳ２６０４で、画像処理装置２５０２から上記ステップＳ２６５６で送信された合成画像を受信し、ＲＡＭ３２０３上に取得する。

ステップＳ２６０５では、上記ステップＳ２６０２で縮小画像を生成する際に用いた現実空間画像を一端縮小し、その後、この縮小した画像を拡大した画像（第２の拡大画像）を生成する。

そしてステップＳ２４０６では、ステップＳ２６０４で受信した合成画像上における特定の領域と、第２の拡大画像において対応する領域とを比較する。この比較の結果、一致していない場合には処理をステップＳ２６０８に進め、ステップＳ２６０４で受信した合成画像を表示ユニット２３０８の表示画面上に表示する為の処理を行う。

一方、一致している場合、即ち、合成画像における特定の領域が、第２の拡大画像上における領域である場合には、処理をステップＳ２６０７に進め、合成画像における特定の領域を、上記ステップＳ２６０２で縮小画像を生成する際に用いた現実空間画像において対応する領域に置き換える処理を行う。

そしてステップＳ２６０８では、ステップＳ２６０７における処理で得られる合成画像を表示ユニット２３０８の表示画面上に表示する為の処理を行う。

図２７は、合成画像生成を説明する概念図である。

同図上部に示されているのは、フレームバッファ２５０５に保持されている現実空間画像の一部を切り出したものである。このうち、Ａ、Ｂ、Ｃ、Ｄの４画素に注目して説明を進める。話を単純化するために、縦横それぞれを二分の一、面積的には四分の一となる縮小処理を考える。

Ａ、Ｂ、Ｃ、Ｄの４画素を解像度変換による縮小処理で１画素へと変換する。変換の手法として、ここでは各画素の相加平均で置き換える１次の線形処理を想定している。４画素の平均値の値が与えられた縮小後の画素Ｅは、そのあとの拡大処理によって再び４画素へと変換される。ここでいう値とは画素が持つ色情報であり、以下の説明ではＲＧＢ各色８ビットの情報を持つものとする。

拡大処理は１次の補間によって行う。その場合の各画素の値をそれぞれＥ１、Ｅ２、Ｅ３、Ｅ４とする。現実空間画像を背景画像として、その上にＣＧ画像が重畳される場合に想定されるパターンは以下の３通りである。

一つめは背景画像にＣＧ画像が重畳されない場合で、各画素の値は変わらない。二つめは背景画像にＣＧ画像が重畳され、重畳された画素の値が変わる場合である。ここではＥ２の画素にＣＧが重畳され、別の値を持つ画素Ｆに変更されたものとする。三つ目は同じく背景画像にＣＧ画像が重畳される場合であるが、たまたま重畳されたＣＧ画像の画素Ｆの値と元の画素Ｅ２の値が一致している場合である。なお、ここでの説明では縮小処理、拡大処理とも１次としたが、特に解像度変換の次数は限定するものではない。

図２８は、上記ステップＳ２６０６における比較処理、及びステップＳ２６０７における置換処理についての説明図である。

同図最上部に示されているのは、現実空間画像（撮像画像）を構成する画素の集まりである。置換処理によって置き換えられる元となる画素でもある。二段目に示されているのは、比較対象となる画素の集まりで、第２の拡大画像を構成する画素の集まりである。第２の拡大画像を構成する画素の集まりは背景画像として生成された画素の集まりと同一である。三段目に示されているは、ＣＧ画像が重畳された画素の集まりで、図２７を用いて説明した上記３パターンからなる。

ここで各ＣＧ画像重畳後の画素の集まりと第２の拡大画像を構成している画素の集まりの比較について説明する。ＣＧ画像が重畳されない場合は、合成画像を構成する各画素と第２の拡大画像を構成する各画素とは一致するため、この合成画像は背景画像と見なされる。置換処理によって各画素の値は、フレームバッファ２５０５に保持されている現実空間画像の画素の値に置き換えることができる（Ｅ１→Ａ、Ｅ２→Ｂ、Ｅ３→Ｃ、Ｅ４→Ｄ）。

また、ＣＧ画像が重畳され、かつ重畳された画素の値が背景画像の画素の値と異なる場合は、比較と置換の対象となる領域によって処理結果が異なる。画素単位で比較と置換が行われる場合は、Ｅ２の画素のみがＣＧ画素と見なされるため、それ以外の画素が置換される（Ｅ１→Ａ、Ｆ→Ｆ、Ｅ３→Ｃ、Ｅ４→Ｄ）。比較と置換の領域が４画素を一まとまりにした範囲で行われる場合は、領域の一部にＣＧ画像が重畳されていると見なされるため、置換処理は行わない。

また、ＣＧ画像が重畳され、かつ重畳された画素の値が背景画像の画素の値と同一の場合は、ＣＧ画像が重畳されていない場合と同じであるため、置換処理が行われる（Ｅ１→Ａ、Ｅ２→Ｂ、Ｅ３→Ｃ、Ｅ４→Ｄ）。

ここで、置換処理による効果と弊害について説明する。一部でもＣＧ画像が重畳され、画素の値が異なる場合は、確実にＣＧ領域か背景画像領域かを判別することができるため、背景画像の復元が可能となる。その際、比較と置換の対象となる領域を画素単位にする場合では、より多くの背景画像領域の復元が可能となる一方、置換処理の回数が増えることになる。比較と置換の対象となる領域を複数の画素の集まりにする場合では、復元できない画素が増える一方、置換の処理回数が減ることになる。

比較や置換の処理の実装方法にもよるが、比較と置換の処理時間が領域のサイズによらず同程度であれば、回数が増えることは処理時間の増大を意味する。ハードウェアによるパイプライン処理等、処理による遅延が問題にならない場合は、回路規模と復元される画像の品質によって対象となる領域のサイズを決定することができる。クロマキー合成においてマット値が必要であった半透明画像の生成については、解像感が落ちた背景画像と高解像のＣＧ画像とがそれぞれの比率で合成されることになる。背景画像は撮像画像より解像感や階調性などが落ちるが、半透明のＣＧ画像の背景として存在するため、単なる背景画像に比べて現実感が損なわれることは少ない。

最後に、比較処理の結果が一致する場合について説明する。まずは全くＣＧ画像を含まない場合である。この場合は置換処理による画像の復元を行っても何ら問題はない。問題であると考えられるのは、ＣＧ画像が重畳されたにも関わらず、重畳されたＣＧ画像の画素の値が二度の解像度変換を経た背景画像の画素の値と一致している場合である。このことを二つの観点から検証する。

一点目はＣＧ画像と背景画像の画素の値（すなわち色）が一致する確率である。一般にディスプレイ等の表示パネルに出力する際にはＲＧＢ各色８ビット、合計で２４ビットの色で表現され、色の出現確率は撮像された外界の画像の種類や光源の違い、また生成されるＣＧによっても変わってくるが、ここではどの色の出現確率も同じと仮定する。２４ビットで表現できる色の種類は約１６７７万色で、ＳＸＧＡの解像度を持つディスプレイの画素数は約１３１万画素である。すなわち背景画像とＣＧ画像が偶然一致するのは動画フレームにして１３枚に１枚程度で、さらに１フレームの画像中の１画素だけとなる。無論条件によってはこの数倍から数十倍の確率で出現する可能性も否定はできないが、もう一つの見方により、見かけ上問題のないレベルに収まることを次に説明する。

二点目は、二度の解像度変換を経て得られた背景画像と、元の高精細な現実空間画像との差違についてである。置換によって問題となるのは、置換された画素や領域の明るさや色味が置換前の画素や領域と大きく変わることである。人間の目は明るさ情報（輝度）には敏感であるものの、色の差（色度）についてはそれほど敏感ではない。このことを利用して画像のデータを削減する手法が色表現変換であり、ＲＧＢ２４ビットの情報を半分のＹＵＶ４１１（輝度情報はそのまま、色差情報を四分の一に圧縮）にしても人の目にはほとんどわからないことが知られている。

解像度変換後の背景画像と高精細な現実空間画像とは解像感は異なるものの、明るさや色味については余り変わらない。仮にＣＧ領域が背景領域と判定され、置換処理が行われたとしても、見え方にそれほど大きな違いが認められることはない。また、撮像された自然画像は、一般に階調が滑らかであるため、周辺の画素で明るさや色味が急激に変わることは少ない。

これらを考慮すると、仮にＣＧ領域を背景領域と判断したとしても、人の目には問題とはならないレベルに収まることが予想される。さらには、上述した比較と置換の領域を画素単位よりも大きくし、置換の行われる画素の総数を減らすことで、トータルとして誤った変換を少なくするといった対応をとることもできる。

以上説明してきたように、本実施形態によれば大容量の現実空間画像の伝送量を解像度変換による縮小処理で削減しつつ、クロマキー合成と比べて容易かつ簡便に不透明画像を含むＭＲ合成画像における現実空間画像領域を高精細化に復元することが可能となる。本実施形態の説明では、撮像装置内に位置計測機能と画像合成機能を備えたが、位置計測機能と画像合成機能を備えた別の装置と撮像ユニットや表示ユニットを備えたＨＭＤとを分離する構成にしても同様の機能を実現することもできる。

［第７の実施形態］
図３２は、本実施形態に係るシステムの構成を示すブロック図である。同図に示す如く、本実施形態に係わるシステムは、撮像装置３３０１（撮像装置３３０１ａと撮像装置３３０１ｂとで共通の説明においてはまとめて撮像装置３３０１とする場合がある）と無線アクセスポイント３３０２と画像処理装置３３０３とで構成されている。

先ず、撮像装置３３０１について説明する。本実施形態では、撮像装置３３０１はビデオシースルー型ＨＭＤであるものとする。撮像装置３３０１が持つ機能は、Ｉ／Ｆが無線通信に限定される点を除いて、図１に示した撮像装置１０１と同じである。同図に示したように、ひとつの無線ＡＰ（アクセスポイント）３３０２に対して複数の撮像装置３３０１が接続する。

次に、無線ＡＰ３３０２について説明する。無線ＡＰ３３０２は、撮像装置３３０１との間で撮像画像、仮想画像、合成画像および位置姿勢情報のやりとりを無線で行う。本実施形態では画像処理装置３３０３と分離する形態をとっているが、画像処理装置３３０３に内蔵する構成でも構わない。

次に、画像処理装置３３０３について説明する。画像処理装置３３０３が持つ機能は、ネゴシエーションによる設定モードの決定プロセスを除いて、図１に示した画像処理装置１０２と同じである。

図３３は、ネゴシエーション処理およびその後の画像処理における撮像装置３３０１と無線ＡＰ３３０２と画像処理装置３３０３との通信状態を示す図である。

二つの撮像装置（ＨＭＤ）と無線ＡＰおよび画像処理装置からなるシステムにおいて、撮像装置１（以下ＨＭＤ１とし、撮像装置３３０１ａに対応）と無線通信している状態に対して、同じ無線アクセスポイントとの無線通信を別の撮像装置（ＨＭＤ２とし、撮像装置３３０１ｂに対応）が開始するまでの処理の大まかな流れを示している。

ステップＳ３４０１では、ＨＭＤ１からリンク状態である無線ＡＰ３３０２に対して取得した撮像画像と三次元位置姿勢計測センサからの出力情報を無線で送信する。なお、ＨＭＤは周期的に撮像画像およびセンサ出力情報を得るため、他の装置の処理とは非同期にこれらのデータを無線ＡＰ３３０２に対して送信する（ステップＳ３４０１ａからステップＳ３４０１ｃが該当）。

ステップＳ３４０２では、受信した撮像画像とセンサ情報を画像処理装置３３０３に対して送信する。

ステップＳ３４０３では、撮像画像中のマーカやマーカの代わりとなる特徴点を抽出して位置姿勢情報を生成する。センサ情報をもとに位置姿勢を算出する構成でも、センサ情報を補助的に使用する構成でも構わない。

ステップＳ３４０４では、得られた位置姿勢情報を用いて仮想画像であるＣＧ画像を生成する。

ステップＳ３４０５では、受信した撮像画像上にステップＳ３４０４で生成したＣＧ画像を重畳し、合成画像である複合現実画像（ＭＲ画像）を得る。

ステップＳ３４０６では、得られた合成画像を無線ＡＰ３３０２に送信する。

ステップＳ３４０７では、受信した合成画像をＨＭＤ１に対して無線で送信する。ＨＭＤ側では得られた合成画像を表示する。ここまでの処理は、図１の説明の最後に示した画像処理装置側で位置姿勢計測と画像合成を行う内容と同じである。相対的に高い演算処理能力を持つ画像処理装置側で処理を行うため、帯域は多く使用するものの高画質のＭＲ画像を表示することができる。

ステップＳ３４０８では、新たに無線ＡＰ３３０２との接続を期待するＨＭＤ２から、接続要求が送信される。

ステップＳ３４０９では、ＨＭＤ２からの接続要求を受け、無線ＡＰ３３０２は画像処理装置３３０３へ接続要求を送信する。

ステップＳ３４１０では、ＨＭＤ２に対して無線ＡＰ３３０２のＩＤを送付し、リンクを確立する。ただしこの時点では、無線通信は行えても、画像の伝送は行わない。

ステップＳ３４１１では、本実施形態の特徴である、ＨＭＤと画像処理装置による画像形成処理内容の変更が必要かどうか把握するため、ネゴシエーションを開始する。

ステップＳ３４１２では、現在接続を行っているＨＭＤ１およびこれから接続が期待されるＨＭＤ２の位置姿勢計測機能および画像合成機能の有無や内容を把握するため、無線ＡＰ３３０２に対して機能把握の要求を行う。

ステップＳ３４１３では、ＨＭＤ２に対して機能把握の要求を行う。

ステップＳ３４１４では、ＨＭＤ１に対して機能把握の要求を行う。

ステップＳ３４１５では、ＨＭＤ２で持つ位置姿勢計測機能および画像合成機能の内容を無線ＡＰ３３０２に送信する。

ステップＳ３４１６では、同じくＨＭＤ１で持つ位置姿勢計測と画像合成機能の内容を無線ＡＰ３３０２に送信する。

ステップＳ３４１７では、接続している二つのＨＭＤの機能を画像処理装置３３０３に対して送信する。

ステップＳ３４１８では、それぞれのＨＭＤが持つ機能を把握し、かつ伝送帯域と接続されているＨＭＤの台数から、帯域削減のために位置姿勢計測と画像合成をＨＭＤ側で行う必要があるかどうかを判断する。詳細については別のフローチャートを用いて後述する。判断の結果に従ってモードを設定する。設定可能なモードについても別の表を用いて後述する。この例では、ＨＭＤ１、ＨＭＤ２ともそれぞれ位置姿勢計測と画像合成の機能を保有していることを把握し、かつ十分な帯域が確保できないと判断した結果、双方のＨＭＤともＨＭＤ側で位置姿勢計測と画像合成を行うようネゴシエーションするものとする。

ステップＳ３４１９では、画像処理装置３３０３側で判断したモードを設定するよう無線ＡＰ３３０２に対して送信する。

ステップＳ３４２０では、モード設定の要求を受け、ＨＭＤ２に対して設定の要求を送信する。

ステップＳ３４２１では、同じくＨＭＤ１に対してモード設定の要求を送信する。

ステップＳ３４２２では、モード設定の要求を受け、ＨＭＤ２内部で機能選択を実施した後、設定が完了した旨送信する。

ステップＳ３４２３では、ＨＭＤ２のモード設定が完了したことを画像処理装置３３０３へ通知する。

ステップＳ３４２４では、動作モードの設定とネゴシエーションの終了を受け、画像形成を開始する。具体的にはＨＭＤ２内部で位置姿勢情報を生成し、その情報を送信する。

ステップＳ３４２５では、ＨＭＤ２が送信した位置姿勢情報を画像処理装置３３０３へ送信する。

ステップＳ３４２６では、受信した位置姿勢情報をもとに仮想画像であるＣＧ画像をＨＭＤ２用に生成する。

ステップＳ３４２７では、生成した仮想画像を無線ＡＰ３３０２に送信する。

ステップＳ３４２８では、受信した仮想画像をＨＭＤ２に対して無線で送信する。

ステップＳ３４２９では、ＨＭＤ１でもモード設定の要求を受け、ＨＭＤ１内部で機能選択を実施した後、設定が完了した旨送信する。

ステップＳ３４３０では、ＨＭＤ１のモード設定が完了したことを画像処理装置３３０３へ通知する。

ステップＳ３４３１では、動作モードの設定とネゴシエーションの終了を受け、画像形成を開始する。具体的にはＨＭＤ１内部で位置姿勢情報を生成し、その情報を送信する。

ステップＳ３４３２では、ＨＭＤ１が送信した位置姿勢情報を画像処理装置３３０３へ送信する。

ステップＳ３４３３では、ＨＭＤ２において、受信した仮想画像と撮像画像を合成する。

ステップＳ３４３４では、合成された表示画像を表示する。

ステップＳ３４３５では、受信した位置姿勢情報をもとに仮想画像であるＣＧ画像をＨＭＤ１用に生成する。

ステップＳ３４３６では、生成した仮想画像を無線ＡＰ３３０２に送信する。

ステップＳ３４３７では、受信した仮想画像をＨＭＤ１に対して無線で送信する。

ステップＳ３４３８では、ＨＭＤ１において、受信した仮想画像と撮像画像を合成する。

ステップＳ３４３９では、合成された表示画像を表示する。

図３４は、各装置の送信内容および位置姿勢計測と画像合成の対応関係を示す表である。

画像合成を画像処理装置で行うか、それとも撮像装置で行うか、位置姿勢計測を画像処理装置で行うか、それとも撮像装置で行うかで大きく４つのカテゴリに分かれる。ここでは６つのモードを示しているが、最低でも第１または第２のモード（画像処理装置側ですべての位置姿勢計測処理を行う構成）と第５のモード（撮像装置側ですべての位置姿勢計測処理を行う構成）の二つのモードは選択できるものとする。位置姿勢計測をさらに細かく段階分けをしてモードを増やした構成にしても構わない。

モード１とモード２は、解像度変換を行わない撮像画像をもとに画像処理装置で画像合成を行う構成である。撮像装置から送信するデータとして、位置姿勢計測のための補助データを併せて送信するかどうかが１と２の違いである。

モード３は、基本的な構成はモード１、モード２と変わらず、撮像画像の送信前にデータ削減部によるデータ削減処理が入っているかどうかが相違点である。ここでは、解像度変換による縮小処理を想定している。縮小画像をもとに画像の合成が行われるため、モード１および２の場合と比べて画質面では劣ることになる。ただし送信するデータ量が削減されること、トータルのデータ量が減ることによって画像処理装置の処理負荷を軽減する効果が期待できる。

モード４は、画像合成を撮像装置側で行うことと、仮想画像生成の際に必要となる位置姿勢情報の算出を撮像装置から送られる撮像画像、またはデータ削減された撮像画像および付加されたセンサ出力によって行われる点が特徴である。

モード５とモード６は、撮像装置側で位置姿勢計測と画像合成を行う構成である。画像合成のためのデータとして画像処理装置から受信するデータの内容が異なる。撮像画像の送信が行われないため、３つのカテゴリの中ではもっとも伝送容量を抑えることができる。

以上説明したように、大きく４つのカテゴリに分類されており、細かくは装置の処理能力、および無線アクセスポイントに接続する撮像装置の台数や伝送帯域によって判断され、選択される。モード選択の処理については次の図を用いて説明する。

図３５は、上記ネゴシエーションによって設定モードを決定するための処理のフローチャートである。ここでは処理の主体を画像処理装置側に仮定して説明を行っている。撮像装置側が主導的な役割を果たしても構わない。なお、撮像装置、画像処理装置とも位置姿勢計測と画像合成の機能を有していることを前提に説明する。

ステップＳ３６０１では、撮像装置３３０１と画像処理装置３３０３それぞれの位置姿勢計測機能を把握する。

ステップＳ３６０２では、撮像装置３３０１と画像処理装置３３０３それぞれの画像合成機能を把握する。

ステップＳ３６０３では、装置間をつなぐ無線通信Ｉ／Ｆの伝送帯域、または伝送媒体の種類等の通信条件を把握する。

ステップＳ３６０４では、無線アクセスポイント３３０２に接続する撮像装置３３０１の台数を把握する。

ステップＳ３６０５では、システムの運営において画質を優先するかどうかを判断する。画質を優先する場合はステップＳ３６０６へ、優先しない場合はステップＳ３６０７へそれぞれ進む。

ステップＳ３６０６では、接続する撮像装置３３０１の台数に対して伝送の帯域が十分かどうかを判断する。伝送帯域が十分な場合はステップＳ３６０８へ、そうでない場合はステップＳ３６０９へそれぞれ進む。なお、優先の判断処理であるステップＳ３６０５とステップＳ３６０６は入れ替えてもよい。

ステップＳ３６０７では、画質を優先しないことを受けて、接続する撮像装置３３０１の台数に対して伝送の帯域が十分かどうかを判断する。伝送帯域が十分な場合はステップＳ３６１０へ、そうでない場合はステップＳ３６１１へそれぞれ進む。

ステップＳ３６０８では、伝送帯域が十分であることを受けて、画像処理装置３３０３で大容量の撮像画像を受信し、モード１，２の何れかを選択する。このモード１では撮像画像のみの伝送であるが、モード２では撮像画像と併せて位置姿勢計測情報または算出のための補助データを撮像装置３３０１側で用意する点が異なる。モード１、２の何れを設定するのかについては、予め設定しておいても良いし、特に限定するものではない。

ステップＳ３６０９では、伝送帯域が不十分なことを受けて、位置姿勢計測および画像合成を撮像装置３３０１側で行うことを決定する。撮像画像の伝送が不要なため、帯域を有効に活用することが可能となり、モード５を選択する。

ステップＳ３６１０では、伝送帯域が十分であることを受けて、位置姿勢計測および画像合成を撮像装置３３０１側で行うことを決定し、モード６を選択する。モード６では、半透明画像の合成が可能なようにαチャネルの伝送を合わせて行うため、モード５に比べて帯域を多く使用する。

ステップＳ３６１１では、画質が優先されずかつ伝送帯域が不十分なことを受けて、モード３または４を選択する。モード３、４の何れを設定するのかについては、予め設定しておいても良いし、特に限定するものではない。

本実施形態では画質面、伝送帯域を重視してモードの選択を行ったが、位置姿勢計測精度や求められる最低限の遅延時間などアプリケーションの内容や用途によってモードを選択する構成でも構わない。また、それぞれの撮像装置３３０１に位置姿勢計測と画像合成の機能を有していることを前提としたが、どちらかの機能だけを有している場合や、無線アクセスポイント３３０２と接続する複数の撮像装置３３０１の一部がその機能を有している場合などは判断のプロセスが複雑化する。そうした場合は、選択できるモードの少ない装置を優先するか、または、画像形成を優先する撮像装置３３０１を明示しても構わない。

図３６は、上記ネゴシエーションによって設定モードを決定するための処理であって、図３５に示したものとは別の処理のフローチャートである。

ステップＳ３７０１からステップＳ３７０４までは図３５のステップＳ３６０１からステップＳ３６０４までと同じであるため、説明は省略する。

ステップＳ３７０５では、撮像装置３３０１のデータ処理能力を把握する。画像処理装置３３０３のデータ処理能力は予め把握しているものとする。

ステップＳ３７０６では、システムの運営において画質を優先するかどうかを判断する。画質を優先する場合はステップＳ３７０７へ、優先しない場合はステップＳ３７０８へそれぞれ進む。

ステップＳ３７０７では、撮像装置３３０１および画像処理装置３３０３の処理負荷が大きいかどうかを判断する。処理負荷が大きい場合はステップＳ３７０９へ、そうでない場合はステップＳ３７１０へそれぞれ進む。

ステップＳ３７０８では、画質を優先しないことを受けて、撮像装置３３０１および画像処理装置３３０３の処理負荷が大きいかどうかを判断する。処理負荷が大きい場合はステップＳ３７１１へ、そうでない場合はステップ３７１２へそれぞれ進む。

ステップＳ３７０９では、処理負荷が大きいことを受けて、モード５または６を選択する。モード５、６の何れを設定するのかについては、予め設定しておいても良いし、特に限定するものではない。

ステップＳ３７１０では、処理負荷が軽いことを受けて、モード１または２を選択する。モード１、２の何れを設定するのかについては、予め設定しておいても良いし、特に限定するものではない。

ステップＳ３７１１では、処理負荷が大きいことを受けて、モード４を選択する。

ステップＳ３７１２では、画質が優先されずかつ処理負荷が軽いことを受けて、モード３を選択する。

このように、判断プロセスが変わることで、選択するモードも変わることになる。どの判断プロセスを採用するかは予め決めておくこともできるし、条件によって選択する構成にすることもできる。

以上説明してきたように、複数の無線撮像装置が一つの画像処理装置または無線アクセスポイントと接続される際、画像形成処理の分業の度合いを切り替えることで、帯域を有効活用することが可能となる。

［第８の実施形態］
上記実施形態では、データ量を削減する方法として、解像度変換による縮小処理、圧縮処理、色表現変換処理や階調数変換を採用する場合について説明してきた。今まで説明してきたように、どれか一つのデータ削減手法によっても効果は十分達成できるが、それらの組み合わせによってさらなるデータ量の削減が図れることは言うまでもない。複数の処理を実装するためには回路規模や処理時間が増大することも予想されるが、システムのバランスとして伝送するデータ量の削減の意義が大きい場合には有効な手段となる。その場合の組み合わせについては特に制限を受けるものではない。

また、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものであるので、このような様々な組み合わせによるシステムもまた、本発明の範疇に属するものである。

また、上記実施形態では、様々な機能を何れの装置が行うかをネゴシエーションによって決定しているが、何れか１つのみを決定するようにしても良い。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。 撮像装置１０１が有する位置計測部１０６の詳細な構成を示すブロック図である。 画像処理装置１０２が有する位置計測部１１６の詳細な構成を示すブロック図である。 撮像装置１０１により撮像された現実空間画像と画像処理装置１０２が生成したＣＧ画像とを合成した合成画像を、撮像装置１０１が有する表示ユニット１１２に表示するために、それぞれの装置が行う処理のフローチャートである。 ステップＳ４０６における処理の詳細を示すフローチャートである。 ステップＳ４１５における処理の詳細を示すフローチャートである。 ステップＳ４０１，Ｓ４１２におけるネゴシエーションの処理における撮像装置１０１と画像処理装置１０２との通信状態を示す図である。 設定モードに応じて規定される、撮像装置１０１が画像処理装置１０２に送信するデータと、画像処理装置１０２が行う処理内容と、合成画像生成処理を行う装置と、の対応関係を示す表の構成例を示す図である。 ネゴシエーションによって設定モードを決定するための処理のフローチャートである。 画像中におけるマーカを用いて、視点の位置姿勢を求める処理を説明する図である。 撮像装置１０１が有する位置計測部１０６の機能構成を示すブロック図である。 画像処理装置１０２が有する位置計測部１１６の機能構成を示すブロック図である。 ステップＳ４０６における処理の詳細を示すフローチャートである。 ステップＳ４１５における処理の詳細を示すフローチャートである。 撮像装置１０１が有する位置計測部１０６の機能構成を示すブロック図である。 画像処理装置１０２が有する位置計測部１１６の機能構成を示すブロック図である。 ステップＳ４０６における処理の詳細を示すフローチャートである。 ステップＳ４１５における処理の詳細を示すフローチャートである。 本発明の第４の実施形態に係るシステムの機能構成を示すブロック図である。 撮像装置１９０１により撮像された現実空間画像と画像処理装置１９０２が生成したＣＧ画像とを合成した合成画像を、撮像装置１９０１が有する表示ユニット１９０９に表示するために、それぞれの装置が行う処理のフローチャートである。 クロマキー処理を用いて画像合成を行う場合の処理を示したフローチャートである。 αチャネルを用いて半透明画像合成を行う場合の処理を示したフローチャートである。 本発明の第５の実施形態に係るシステムの機能構成を示すブロック図である。 撮像装置２３０１により撮像された現実空間画像と画像処理装置２３０２が生成したＣＧ画像とを合成した合成画像を、撮像装置２３０１が有する表示ユニット２３０８に表示するために、それぞれの装置が行う処理のフローチャートである。 本発明の第６の実施形態に係るシステムの機能構成を示すブロック図である。 撮像装置２５０１により撮像された現実空間画像と画像処理装置２５０２が生成したＣＧ画像とを合成した合成画像を、撮像装置２５０１が有する表示ユニット２５０９に表示するために、それぞれの装置が行う処理のフローチャートである。 合成画像生成を説明する概念図である。 ステップＳ２６０６における比較処理、及びステップＳ２６０７における置換処理についての説明図である。 ビデオシースルー型ＨＭＤを用いた一般的な複合現実感システムの機能構成図である。 画像処理装置１０２に適用可能なコンピュータのハードウェア構成を示すブロック図である。 撮像装置１０１のハードウェア構成を示すブロック図である。 本発明の第７の実施形態に係わるシステムの構成を示すブロック図である。 ネゴシエーション処理およびその後の画像処理における撮像装置３３０１と無線アクセスポイント３３０２と画像処理装置３３０３との通信状態を示す図である。 設定モードに応じて規定される、撮像装置３３０１が画像処理装置３３０２に送信するデータと、画像処理装置３３０２が撮像装置３３０１に送信するデータと、位置計測を行う装置と、合成画像生成処理を行う装置と、の対応関係を示す表の構成例を示す図である。 ネゴシエーションによって設定モードを決定するための処理のフローチャートである。 ネゴシエーションによって設定モードを決定するための処理の別のフローチャートである。

Claims (12)

1. 現実空間を撮像する撮像装置と、当該撮像装置とデータ通信が可能な画像処理装置と、で構成されている画像処理システムであって、
   前記撮像装置は、
   前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記画像処理装置とのネゴシエーションによって決定する第１の決定手段と、
   前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記画像処理装置に送信する第１の送信手段と、
   前記第１の送信手段が送信したデータを用いて前記画像処理装置が行った処理の結果を受信する第１の受信手段と、
   前記第１の処理を行う第１の処理手段と、
   前記第１の処理手段による処理結果に基づいて得られる前記合成画像を表示する、若しくは前記第１の処理手段による処理結果と前記第１の受信手段が受信した受信結果とに基づいて得られる前記合成画像を表示する表示手段とを備え、
   前記画像処理装置は、
   前記第１の処理、前記第２の処理を前記ネゴシエーションによって決定する第２の決定手段と、
   前記第１の送信手段が送信したデータを用いて前記第２の処理を行う第２の処理手段と、
   前記第２の処理手段による処理結果を前記撮像装置に送信する第２の送信手段と
   を備えることを特徴とする画像処理システム。
2. 前記第１の送信手段が送信した撮像画像は、前記撮像装置による撮像画像の縮小画像であることを特徴とする請求項１に記載の画像処理システム。
3. 前記第１の送信手段が送信した撮像画像は、前記撮像装置による撮像画像の圧縮画像であることを特徴とする請求項１に記載の画像処理システム。
4. 前記第１の送信手段が送信した撮像画像は、前記撮像装置による撮像画像の色表現、及び／又は階調数を変換した画像であることを特徴とする請求項１に記載の画像処理システム。
5. 前記第１，２の決定手段は、前記ネゴシエーションによって対応するモードを決定し、前記第１，２の処理を、当該決定したモードに応じた処理に決定することを特徴とする請求項１に記載の画像処理システム。
6. 前記第１，２の決定手段は前記ネゴシエーションによって、前記撮像装置と前記画像処理装置との間の通信における伝送帯域、伝送媒体の種類、前記視点の位置計測を行うアルゴリズムの種類や更新時期、前記撮像装置や前記画像処理装置のデータ処理能力、前記画像処理装置と通信する前記撮像装置の接続台数の少なくとも１つに基づいて対応するモードを決定することを特徴とする請求項１に記載の画像処理システム。
7. 前記視点の位置姿勢は、画像中におけるマーカ若しくは自然特徴を用いて求めることを特徴とする請求項１に記載の画像処理システム。
8. 現実空間を撮像する撮像装置とデータ通信が可能な画像処理装置であって、
   前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記撮像装置とのネゴシエーションによって決定する決定手段と、
   前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記撮像装置から受信し、当該受信したデータを用いて前記第２の処理を行う処理手段と、
   前記処理手段による処理結果を前記撮像装置に送信する送信手段と
   を備えることを特徴とする画像処理装置。
9. 画像処理装置とのデータ通信が可能であり、現実空間を撮像する撮像装置であって、
   前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記画像処理装置とのネゴシエーションによって決定する決定手段と、
   前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記画像処理装置に送信する送信手段と、
   前記送信手段が送信したデータを用いて前記画像処理装置が行った処理の結果を受信する受信手段と、
   前記第１の処理を行う処理手段と、
   前記処理手段による処理結果に基づいて得られる前記合成画像を表示する、若しくは前記処理手段による処理結果と前記受信手段が受信した受信結果とに基づいて得られる前記合成画像を表示する表示手段と
   を備えることを特徴とする撮像装置。
10. 現実空間を撮像する撮像装置と、当該撮像装置とデータ通信が可能な画像処理装置と、で構成されている画像処理システムの制御方法であって、
    前記撮像装置の制御方法は、
    前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記画像処理装置とのネゴシエーションによって決定する第１の決定工程と、
    前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記画像処理装置に送信する第１の送信工程と、
    前記第１の送信工程で送信したデータを用いて前記画像処理装置が行った処理の結果を受信する第１の受信工程と、
    前記第１の処理を行う第１の処理工程と、
    前記第１の処理工程による処理結果に基づいて得られる前記合成画像を表示する、若しくは前記第１の処理工程による処理結果と前記第１の受信工程で受信した受信結果とに基づいて得られる前記合成画像を表示する表示工程とを備え、
    前記画像処理装置の制御方法は、
    前記第１の処理、前記第２の処理を前記ネゴシエーションによって決定する第２の決定工程と、
    前記第１の送信工程で送信したデータを用いて前記第２の処理を行う第２の処理工程と、
    前記第２の処理工程による処理結果を前記撮像装置に送信する第２の送信工程と
    を備えることを特徴とする画像処理システムの制御方法。
11. 現実空間を撮像する撮像装置とデータ通信が可能な画像処理装置の制御方法であって、
    前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記撮像装置とのネゴシエーションによって決定する決定工程と、
    前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記撮像装置から受信し、当該受信したデータを用いて前記第２の処理を行う処理工程と、
    前記処理工程による処理結果を前記撮像装置に送信する送信工程と
    を備えることを特徴とする画像処理装置の制御方法。
12. 画像処理装置とのデータ通信が可能であり、現実空間を撮像する撮像装置の制御方法であって、
    前記撮像装置による撮像画像と前記撮像装置の視点から見える仮想空間の画像とを合成した合成画像を得るための処理に含まれる、前記撮像装置の視点の位置姿勢を求めるための処理、前記撮像画像と前記仮想空間の画像とを合成する処理、のうち、一方の処理を前記撮像装置が行う第１の処理として、他方の処理を前記画像処理装置が行う第２の処理として、前記画像処理装置とのネゴシエーションによって決定する決定工程と、
    前記第２の処理を前記画像処理装置に行わせるために必要なデータを前記画像処理装置に送信する送信工程と、
    前記送信工程で送信したデータを用いて前記画像処理装置が行った処理の結果を受信する受信工程と、
    前記第１の処理を行う処理工程と、
    前記処理工程による処理結果に基づいて得られる前記合成画像を表示する、若しくは前記処理工程による処理結果と前記受信工程で受信した受信結果とに基づいて得られる前記合成画像を表示する表示工程と
    を備えることを特徴とする撮像装置の制御方法。

Images