JP6409861B2 - 情報処理装置、情報処理システム、その制御方法及びプログラム - Google Patents

Description

情報処理装置、情報処理システム、その制御方法及びプログラムに関する。

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及し、ＭＲ技術を用いて、室内に、現実物体とＣＧモデルが配置されることが行われている。

特許文献１には、ヘッドマウントディスプレイ（以下、ＨＭＤ）に搭載されたカメラでマーカを撮像し、当該撮像したマーカの絶対座標と、画像から検出されたマーカ位置（クラスタ重心）とからＨＭＤの位置・姿勢を検出して、当該位置姿勢に応じた、仮想オブジェクトを重畳した複合現実画像を生成する技術が開示されている。

特許文献２では、ユーザが注視した場所を特定して、当該注視した場所の画像を高解像度に変更する技術が記載されている。

特開２０００−３５０８６０号公報 特開平１０−３２６０７１号公報

しかしながら、複合現実の実現に際して、特許文献２の技術を用いて画像の解像度を調整する場合、ユーザの装着するＨＭＤにおいて、ユーザの注視点を特定するための機構を組み込んで、視点の計測を行わなければならない。

また、例えば、カメラが生成可能な画像の解像度が十分に高くない場合、当該カメラにおける最高の解像度の画像を生成してＨＭＤのディスプレイに表示したとしても、表示された物体を十分に視認できない場合がある。

本発明は、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、低解像度の画像を出力する第１の撮像装置と、高解像度の画像を出力する第２の撮像装置と、画像を表示する表示装置と通信可能な情報処理装置であって、画像を撮像する位置である撮像位置の情報を取得する撮像位置取得手段と、前記撮像位置取得手段で取得した前記撮像位置から撮像された画像を記憶する画像記憶手段と、前記記憶手段に記憶された前記低解像度の画像、又は前記記憶手段に記憶された前記高解像度の画像を前記表示装置に表示させるべく出力する出力手段と、前記撮像位置取得手段で取得した撮像位置と現実物体との距離を特定する距離特定手段と、前記距離特定手段で特定した距離が、所定の値に達したか判定する判定手段と、を備え、前記出力手段は、前記判定手段で、前記距離特定手段で特定した距離が所定の値に達したと判定した場合に、第２の撮像装置から出力された高解像度の画像を前記表示装置に表示すべく出力することを特徴とする。

本発明によれば、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。

本発明の実施形態における、情報処理システムの構成の一例を示す図である。 本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。 本発明の実施形態における、各種装置の機能構成の一例を示す図である。 本発明の実施形態における、画像切替処理の概要を示すフローチャートである。 本発明の実施形態における、画像切替処理の詳細を示すフローチャートである。 本発明の実施形態における、画像切替の様子を示す画像の一例を示す図である。 本発明の実施形態における、各種データテーブルの構成の一例を示す図である。 本発明の第２の実施形態における、画像切替処理の詳細を示すフローチャートである。 本発明の第２の実施形態における、データテーブルの構成の一例を示す図である。 本発明の第３の実施形態における、画像切替処理の詳細を示すフローチャートである。 本発明の第３の実施形態における、データテーブルの構成の一例を示す図である。 本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。 本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。 本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。 本発明の実施形態における、ＨＭＤの位置・姿勢、現実物体の位置、ＨＭＤの向いているベクトルに向けての所定範囲の位置関係の一例を示す図である。 本発明の実施形態における、ＨＭＤの位置・姿勢、現実物体の位置、ＨＭＤの向いているベクトルに向けての所定範囲、ＨＭＤから見て開閉部より先の所定距離範囲の関係の一例を示す図である。 本発明の実施形態における、画像切替の様子を示す画像の一例を示す図である。 本発明の実施形態における、画像切替の様子を示す画像の一例を示す図である。 本発明の第４の実施形態における、画像切替処理の詳細を示すフローチャートである。 本発明の実施形態における、データテーブルの構成の一例を示す図である。

図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。図１は、本発明の実施形態における、情報処理システムの構成の一例を示す図である。

本発明の情報処理システムは、ＰＣ１００、ＨＭＤ１０１（ヘッドマウントディスプレイ１０１）、マーカ１０２、仮想オブジェクト１０３、高解像度カメラ１０４、現実物体１０５等から構成される。ＰＣ１００とＨＭＤ１０１（表示装置）は、図１に示すＬＡＮ１５０や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を介して相互にデータ通信可能に接続されている。

マーカ１０２には、ＭＲ空間（複合現実空間）上の位置情報が対応付けられており、ＨＭＤ１０１に搭載されるビデオカメラでマーカ１０２を撮像することで、当該撮像されたマーカ１０２の中心点とマーカ１０２の面積（画像中の大きさ）を用いて、ＨＭＤ１０１のＭＲ空間上の位置・姿勢（撮像方向）を特定することが可能である。

本実施形態においては、マーカの位置＝マーカの中心点とする。また、本実施形態においては、当該位置・姿勢の特定処理はＰＣ１００のＣＰＵが実行するものとする。マーカ１０２の位置・面積・識別応報は、ＰＣ１００の外部メモリに予め記憶されているものとする。

また、図１にはマーカがマーカ１０２のみ記載されているが、例えば、複数のマーカをＨＭＤの周辺（ＭＲ空間を設定する現実空間上の壁・床等）に配置して、各マーカに位置情報を対応付けてＰＣ１００の外部メモリに記憶しておき、当該マーカのいずれかを撮像することで、ＨＭＤ１０１のＭＲ空間上の位置・姿勢を特定することが可能である。ＨＭＤ１０１の位置・姿勢の方法はどのようなものでも構わない。

尚、本発明の実施形態において、マーカ１０２は、ＨＭＤ１０１がＭＲ空間上にある現実物体に接近したか否かの判定にも用いられるものとする。当該判定、及び判定結果に応じた処理については後述する。

また、ＰＣ１００の外部メモリには、ＭＲ空間上に配置するＣＧ（仮想オブジェクト）の情報がＭＲ空間上の位置・姿勢の情報と対応付けて記憶されている。ＰＣ１００は、ＨＭＤ１０１のビデオカメラにより撮像された画像を取得して、当該ＨＭＤ１０１の位置・姿勢の情報を用いて、当該取得した画像に、ＣＧ（仮想オブジェクト）の画像を重畳して、ＭＲ画像（重畳画像／複合現実画像）を生成する（複合現実画像生成）。

ＰＣ１００は当該ＭＲ画像をＨＭＤ１０１に送信して、ＨＭＤ１０１はディスプレイに当該ＭＲ画像を表示する。

上述した、ＨＭＤ１０１の位置及び姿勢の特定・算出の具体的な方法、及び、ＭＲ画像の生成方法は既知の技術であり、例えば、参考文献（特開２０００−３５０８６０号公報）にも記載されているため、ここでは説明を割愛する。

高解像度カメラ１０４は、ＨＭＤ１０１に設置された単眼カメラである。本発明の実施形態においては、当該高解像度カメラ１０４は、ＨＭＤ１０１に内蔵されたビデオカメラ（後述の２２１、２２２）と比較して、高解像度の画像を取得・出力可能であるものとする。以下、ＨＭＤ１０１に内蔵されたビデオカメラを、当該高解像度カメラ１０４と比較して、低解像度カメラと記載するものとする。

仮想オブジェクト１０３は、ＭＲ空間上に配置されたＣＧモデルである。当該仮想オブジェクト１０３は、ＰＣ１００の外部メモリに、ＭＲ空間上の位置の情報と対応付けて記憶されている。

例えば、ＭＲの技術を用いて、機械の内部機構（例えばエンジン）としての現実物体１０５と、当該内部機構を覆う外装板としての仮想オブジェクト１０３のようなＣＧを、ＨＭＤ１０１に表示し、実際に現実物体としての外装板が取り付けられた場合に、当該内部機構の整備を行う整備者が当該内部機構の整備を行うことができるかシュミレーションすることが考えられる。

しかしながら、上述したように、解像度の低い画像の出力しかできない低解像度カメラの出力画像では、仮想オブジェクト１０３の開閉部に整備者の腕が入るか否か程度のおおまかな状態については、ＨＭＤ１０１のディスプレイにＭＲ画像を表示させ、ＨＭＤ１０１を装着したユーザが開閉部の開いた箇所に腕を入れこむことで確認可能だが、ねじ穴のような細かい部分については、画像が荒いために確認が難しい。

例えば、ねじ穴そのものの状態を詳細に確認したい場合、ユーザは、都度ＨＭＤ１０１を頭部から取り外して、ねじ穴を確認する必要があり手間である。

これに対し、本発明の第１の実施形態においては、高解像度のカメラを準備し、ＨＭＤ１０１が現実物体に一定以上接近した場合（現実物体を詳細に確認しようと、ユーザが、現実物体に接近した場合）に、現実物体をユーザに確認させるべく、ＨＭＤ１０１のディスプレイに出力する画像を低解像度カメラからの出力画像から、高解像度カメラからの出力画像に切替える処理を行う。

以上が図１の、本発明の実施形態における、情報処理システムの構成の一例についての説明である。

次に図２を参照して、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例について説明する。図２は、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例を示す図である。尚、図２のＰＣ１００とＨＭＤ１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。

まず、ＰＣ１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ５０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

次に、ＨＭＤ１０１は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。

右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ２２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像）は、コントローラ２２５がＰＣ１００に送信し、通信Ｉ／Ｆコントローラ２０８を通じてＰＣ１００が受信する。

ＰＣ１００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像が送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。以上が図２の、本発明の実施形態における、ＰＣ１００、ＨＭＤ１０１のハードウェア構成の一例についての説明である。

次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。図３は、本発明の実施形態における、各種装置の機能構成の一例を示す図である。

ＰＣ１００は、オブジェクトの描画位置を特定するＰｌａｔｆｏｒｍアプリケーションと、当該特定した情報を用いてオブジェクトを描画し、ＭＲ画像を生成するＶｉｅｗｅｒアプリケーションを備える。

撮像画像受信部３０１は、ＨＭＤ１０１の撮像処理部で撮像された画像（現実画像／撮像画像）であって、撮像画像送信部３１２で送信された現実画像を受信する受信部である。位置姿勢特定部３０２は、例えば、ＨＭＤ１０１から受信した現実画像に写るマーカ（例えばマーカ１０２）の中心点の位置・面積からＨＭＤ１０１の位置・姿勢を特定する。

被写体距離算出部３０３は、例えば、ＨＭＤ１０１から受信した現実画像に写るマーカ（例えばマーカ１０２）の中心点の位置（中心位置）・面積から、ＨＭＤ１０１とマーカ１０２との距離（例えば、マーカ１０２の中心位置からＨＭＤ１０１の所定の位置までの距離）を算出して特定する。

カメラ切替判定部３０４は、ＨＭＤ１０１が被写体（例えば、現実物体／撮像対象物）に所定以上接近したか否かを判定し、当該判定結果に応じて、ＨＭＤ１０１に出力する画像を、低解像度カメラからの画像（低解像度画像）から高解像度カメラからの画像（高解像度画像）に切替えるか否か、高解像度画像から低解像度画像に切替えるか否か、を判定する判定部である。

カメラ切替処理部３０５は、当該カメラ切替判定部３０４における判定結果に応じて、ＨＭＤ１０１に出力する画像の切替処理を行う。つまり、使用するカメラの切替処理を行う。

仮想オブジェクト記憶部３０６は、仮想オブジェクト（ＣＧモデル）を、ＭＲ空間上の位置と対応付けて記憶する記憶部である。当該ＭＲ空間上の位置は、別途ＰＣ１００の外部メモリに記憶されたＭＲ空間上の原点座標からの相対位置である。

仮想オブジェクト表示制御部３０７は、仮想オブジェクトの表示・非表示を制御する制御部である。つまり、ＭＲ画像を生成するか否かを決定する。

例えば、ＨＭＤ１０１が所定以上現実物体に接近した場合、ＨＭＤ１０１を装着したユーザは、現実物体の詳細を確認したいものと考えられるため、仮想オブジェクトの表示（ＭＲ画像のＨＭＤ１０１への出力）は不要として、仮想オブジェクトを表示しない、高解像度の現実画像をＨＭＤ１０１に送信し、ＨＭＤ１０１が所定距離、現実物体と離れている場合、ＨＭＤ１０１を装着したユーザは、現実物体を含めた空間全体の状態を確認したいものと考えられるため、現実物体周辺の（ＨＭＤ１０１の視野角内の）仮想オブジェクトを表示したＭＲ画像を生成してＨＭＤ１０１に送信するものとする。

ＭＲ画像生成部３０８は、ＭＲ画像を生成する生成部である。画像送信部３０９は、ＨＭＤ１０１に、現実画像、又は、現実画像を用いて生成したＭＲ画像を送信する送信部である。

画像受信部３１３は、当該画像の受信部である。画像表示部３１４は、当該画像の表示部である。以上が図３の、本発明の実施形態における、各種装置の機能構成の一例についての説明である。

次に図７を参照して、本発明の実施形態における、各種データテーブルの構成の一例について説明する。図７は、本発明の実施形態における、各種データテーブルの構成の一例を示す図である。図７の各種データは、ＰＣ１００の外部メモリに記憶されている。

ＨＭＤ位置姿勢情報７００は、ＨＭＤの位置７０１、姿勢７０２から構成されている。ＨＭＤ位置姿勢情報７００は、ＰＣ１００のＣＰＵ２０１が、例えば、ＨＭＤ１０１から取得する画像の中のマーカの中心位置（中心点）・面積などを用いて随時算出し、当該算出された値に随時更新されるものとする。

被写体情報７１０は、被写体である現実物体の位置情報を示す。ここでは、現実物体に添付されたマーカの位置＝現実物体の位置とする。マーカＩＤ７１１は、マーカを一意に識別するための識別情報である。位置７１２は、当該マーカのＭＲ空間上の位置の情報である。当該被写体情報７１０は、ＰＣ１００の外部メモリに予め記憶されているものとする。

尚、上述した図７の説明においては、被写体情報７１０は＝ＨＭＤ１０１のカメラで撮像された現実画像中のマーカ画像（ＨＭＤ１０１の位置姿勢、画像中のマーカの画像の大きさ・ベクトル等）から特定された、現実物体に添付されたマーカの位置＝現実物体のＭＲ空間上の位置とするものとしたが、現実物体の位置が確認できればよいため、例えば予めＰＣ１００の外部メモリに現実物体のＭＲ空間上の位置情報として被写体情報７１０に示す情報を記憶しておき、当該記憶している情報を被写体情報７１０の代わりに利用して、ＰＣ１００のＣＰＵ２０１が本発明の各フローチャートの処理を実行するようにしてもよい。

仮想オブジェクト情報７２０は、仮想オブジェクトの識別情報であるオブジェクトＩＤ７２１と、位置７２２を対応付けて記憶している。仮想オブジェクト情報７２０は、ＰＣ１００の外部メモリに予め記憶されているものとする。

切替条件７３０は、ＰＣ１００のＣＰＵ２０１が、ＨＭＤ１０１に送信する画像を、低解像度画像から高解像度画像に、高解像度画像から低解像度画像に切替える閾値である条件を記憶している。切替条件７３０は、ＰＣ１００の外部メモリに予め記憶されているものとする。

ここでは、ＨＭＤ１０１の位置である位置７０１と、被写体情報７１０の位置７１２が示す現実物体の位置との距離が、距離７３１以内になった場合に、ＨＭＤ１０１に送信する画像を、低解像度画像から高解像度画像に切替える（変更する）。また、位置７０１と位置７１２の距離が、距離７３１より大きくなった場合に、ＨＭＤ１０１に送信する画像を、高解像度画像から低解像度画像に切替える（変更する）。

また、角度７３２に角度を示す数値が挿入（記憶）されている場合、ＨＭＤ１０１の位置７０１及び姿勢７０２と、現実物体の位置である位置７１２を用いて、現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の向いているベクトル（姿勢ベクトル）に向けての所定範囲内（図１５における範囲１５０１）にあるかどうかを、角度７３２の値を用いてＰＣ１００のＣＰＵ２０１が判定し、位置７０１と位置７１２の距離が距離７３１以内であって、且つ、現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の向いているベクトルに向けての所定範囲内にある場合に、ＨＭＤ１０１に送信する画像を低解像度画像から高解像度画像に切替える（変更する）。

図１５は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１５０１）の位置関係の一例を示している。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤの位置７０１と現実物体の位置７１２の距離が距離７３１より大きい場合、又は、位置７０１と位置７１２の距離が距離７３１以内であっても現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１５０１）にない場合には、ＨＭＤ１０１に送信する画像を高解像度画像から低解像度画像に切替える（変更する）ものとする。

現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１５０１）にある場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体があるということである。反対に、現実物体（位置７１２の示す位置）が、ＨＭＤ１０１の所定範囲内（範囲１５０１）にない場合とは、例えば、ＨＭＤ１０１の視野（ＨＭＤ１０１に設置されたカメラの画角内）に現実物体がないということである。ＨＭＤ１０１に送信する画像を高解像度画像から低解像度画像に切替える（変更する）のは、ＨＭＤ１０１を装着したユーザが現実物体を視認して、例えば現実物体の詳細な外観を確認したい場合であるため、現実物体がユーザの視野内にない場合には通信負荷・ＭＲ画像生成の処理負荷が高解像度画像よりも低い低解像度画像をＨＭＤ１０１に送信し、現実物体がユーザの視野にある場合には低解像度画像に比べて当該現実物体の詳細な画像が確認できる高い解像度画像をＨＭＤ１０１に送信するようにしている。つまり、ユーザが現実物体の詳細を確認しようとしているか否かに応じて低解像度画像と高解像度画像を使い分けることで、不要な通信負荷または処理負荷を低減することができる。

当該現実物体１０５（マーカ１０２）がＨＭＤ１０１の所定範囲内（範囲１５０１）にあるか否かの判定方法については図５の説明で後述する。

以上が図７の、本発明の実施形態における、各種データテーブルの構成の一例についての説明である。尚、後述する図５の説明においては、当該角度７３２の値が記憶されているものとして説明する。

以下、図４〜図７を用いて、本発明の第１の実施形態について説明する。

次に図４を参照して、本発明の実施形態における、本発明の実施形態における、画像切替処理の概要について説明する。図４は、本発明の実施形態における、画像切替処理の概要を示すフローチャートである。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１から画像データ（現実画像）を取得する（ステップＳ４０１）。

ここでは、ＨＭＤ１０１の低解像度カメラと高解像度カメラ１０４の画像の両方を取得しているものとする。つまり、低解像度カメラ（ＨＭＤ１０１）及び高解像度カメラ１０４は、撮像した画像を、継続してＰＣ１００に送信しているものとする。ＰＣ１００は低解像度カメラと高解像度カメラ１０４の画像の両方を取得して外部メモリに記憶し（画像記憶手段／記憶手段）、いずれか一方の画像をＨＭＤ１０１に送信する画像として決定して、当該決定した画像を読み出し、ＨＭＤ１０１に送信する処置を行うものである。

ＰＣ１００のＣＰＵ２０１は、カメラ切替処理（使用する画像の切替えを行うか否かの決定・切替処理）を行う（ステップＳ４０２）。尚、ここでは、カメラ切替処理で、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離以上接近した場合（所定の距離より短い場合／所定の距離以下の値の場合）、高解像度の画像を使用するものとし、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離より離れている（所定の距離より長い場合／所定の距離以上の値の場合）、低解像度の画像を使用するものとする。カメラ切替処理の詳細については図５の説明で後述する。

次に図５を参照して、本発明の実施形態における、画像切替処理の詳細について説明する。図５は、本発明の実施形態における、画像切替処理の詳細を示すフローチャートである。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置と姿勢の情報（図７のＨＭＤ位置姿勢情報７００）を取得（計測）する（ステップＳ５０１／撮像位置取得手段）。そして観察対象（被写体／ここでは現実物体１０５）の位置情報を取得する（ステップＳ５０２）。例えば、ここではマーカ１０２の位置＝図７の位置７１２の情報とし、現実物体１０５の位置である当該位置７１２を取得する。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から現実物体１０５の位置（マーカ１０２の位置）までの距離を算出し（ステップＳ５０３／距離特定手段）、カメラを切替える条件（使用する画像を切替える条件）である切替条件７３０を取得する（ステップＳ５０４）。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件７３０における距離７３１）以内か判定し（ステップＳ５０５／ＨＭＤ１０１の位置から現実物体１０５の位置までの距離の値が所定の値に達したか（達しているか）判定し）、所定の距離以内でない場合（ステップＳ５０５でＮＯ）、低解像度画像（低解像度カメラから取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ５１１）。

ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離以内の場合（ステップＳ５０５でＹＥＳ）、処理をステップＳ５０６に移行し、ＨＭＤ１０１から現実物体の位置７１２への向きベクトルを算出する（ステップＳ５０６）。

そして、ＨＭＤ１０１の姿勢ベクトルである姿勢７０２（図７）の値を取得して、姿勢７０２の示すベクトルと、ＨＭＤ１０１から現実物体の位置７１２への向きベクトルの成す角度を算出する（ステップＳ５０７）。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の向いている方向における所定範囲内（範囲１５０１内）に、現実物体１０５（マーカ１０２）が含まれるか判定すべく、当該判定の基準となる角度の情報（図７の角度７３２）を取得する（ステップＳ５０８）。

そして、ステップＳ５０７で算出した角度が、角度７３２（ここでは３０°）以内か判定し（ステップＳ５０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ５０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１５０１）内にあるものと判断し、処理をステップＳ５１０に移行する。

ステップＳ５０７で算出した角度が、３０°以内でない場合（ステップＳ５０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の（範囲１５０１）内にない（つまり、ユーザは現実物体の詳細を確認しようとしていない＝現実物体の画像を精細に表示する必要がない）ものと判断し、処理をステップＳ５１１に移行する。

ステップＳ５１０では、ＰＣ１００のＣＰＵ２０１は、高解像度画像（高解像度カメラ１０４から取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ５１０）。

以下、上述した距離・角度の値の具体的な計算方法について記載する。

ＨＭＤの位置をＨｐｘ，Ｈｐｙ，Ｈｐｚ、姿勢（向き／姿勢ベクトル／方向単位ベクトル）をＨｄｘ，Ｈｄｙ，Ｈｄｚとする。また、現実物体の位置（現実物体に付加されたマーカ（例えばマーカ１０２）の位置）をＴｐｘ，Ｔｐｙ，Ｔｐｚとする。

ＨＭＤと現実物体の距離Ｄは

で求まる。

また、ＨＭＤが現実物体を真正面に見た場合の姿勢（方向単位ベクトル）Ｄｘ，Ｄｙ，Ｄｚは

で求まる。

ＨｄとＤの成す角度θが小さければＨＭＤが正面に近い向きであることが計算できる。例えば、ここで０≦θ≦１８０とすると

でθを求めることができる。
以上が図５の、本発明の実施形態における、画像切替処理の詳細についての説明である。

これにより、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。

図４の説明に戻る。ステップＳ４０２の切替え処理（図５）の結果、使用する画像が低解像度画像か高解像度画像かを判定する（ステップＳ４０３）。

使用する画像＝高解像度画像の場合、当該高解像度画像をＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する（ステップＳ４０４）。

使用する画像＝低解像度画像の場合、当該低解像度画像を用いて、仮想オブジェクトを重畳したＭＲ画像を生成し（ステップＳ４０５）、ＨＭＤ１０１のディスプレイに表示させるべく、ＨＭＤ１０１に送信する（ステップＳ４０６）。

つまり、カメラ切替処理で、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離以上接近した場合（所定の距離より短い場合／所定の距離以下の値の場合）、高解像度の画像をＨＭＤ１０１に送信し、ＨＭＤ１０１と被写体（例えば現実物体）の距離が所定の距離より離れている（所定の距離より長い場合／所定の距離以上の値の場合）、低解像度の画像を用いてＭＲ画像を生成し、当該ＭＲ画像をＨＭＤ１０１に送信するものである。

例えば、高解像度画像を送信する場合、図６の６１０のような、現実物体６１１を撮像した高解像度画像（高解像度カメラ１０４から取得した画像）をＨＭＤ１０１に送信する。また、低解像度画像を送信する場合、図６の６００のような、低解像度画像（ＨＭＤ１０１のカメラから取得した画像）に仮想オブジェクトを重畳したＭＲ画像（現実物体６０１に仮想オブジェクト６０２を重畳した画像）を、ＨＭＤ１０１に送信する。以上が図４の、本発明の実施形態における、本発明の実施形態における、画像切替処理の概要についての説明である。

当該ＭＲ画像を生成するか否かの切替え処理により、高解像度画像を用いてＭＲ画像を生成する処理負荷を軽減することができる。

高解像度画像の場合、低解像度画像に比べて画像の送受信自体の通信負荷が増加する。これに追加してＭＲ画像の生成処理（仮想オブジェクトの位置の特定、仮想オブジェクトの読み出し、描画の処理）を行うと更に通信の負荷が増加してしまう。

上述したように、高解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がある場合）には、ＭＲ画像の生成処理を行わず、低解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がない場合）にはＭＲ画像の生成処理を行うことで、当該処理負荷を軽減することができる。

また、例えば、ＨＭＤ１０１が現実物体に対して至近距離まで接近した場合、カメラで撮像した画像の中に仮想オブジェクトが存在しないことが考えられる。

また、ユーザが現実物体の詳細確認を所望する場合、周辺に仮想オブジェクトが配置されて（描画／重畳）されていると、当該確認の邪魔になってしまうことが考えられる。

上述したように、高解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がある場合）には、ＭＲ画像の生成処理を行わず、低解像度画像を送信する場合（ＨＭＤから所定距離内に現実物体がない場合）にはＭＲ画像の生成処理を行うことで、ユーザにとって不要な仮想オブジェクトの利用に関する処理（仮想オブジェクトの位置の特定、仮想オブジェクトの読み出し、描画の処理）を省略し、処理負荷を軽減することができる。

また、高解像度画像に対して仮想オブジェクトを重畳しない処理を行う場合、単純にＨＭＤ１０１と現実物体とが所定距離内にある場合に仮想オブジェクトを描画しない現実画像をＨＭＤ１０１に送信するようにすると、例えば、ＨＭＤ１０１を装着したユーザの背後に現実物体がある場合であっても、ユーザが見ている全ての仮想オブジェクトが視界から消えてしまい不便である。本発明では、例えば図５のステップＳ５０９の判定を行うことで例えばユーザの視界内に現実物体がある場合に仮想オブジェクトを描画しない高解像度画像をＨＭＤ１０１に送信して表示させ、ユーザの視界内に現実物体がない場合には低解像度画像を用いたＭＲ画像をＨＭＤ１０１に送信して表示させることで、当該不便さをユーザに感じさせないように画像の切り替えを行っている。
また、ＨＭＤ１０１が近づいたとしても詳細を確認させる必要がない現実物体がＭＲ空間上に存在することが考えられる。

例えば、図２０の被写体情報２０００の切替フラグ２００１のように、現実物体に対して（ここでは現実物体に貼付されたマーカのＩＤに対して）当該現実物体とＨＭＤ１０１が所定距離内にある場合に低解像度を高解像度画像に切り替えるか、低解像度画像をそのまま利用するかを切り替えるかを設定しておき、当該設定に従って、当該現実物体とＨＭＤ１０１が所定距離内にある場合にいずれの解像度の画像（いずれのカメラから取得した画像）を用いるか決定することで、高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。

尚、図２０の各データテーブルは予めＰＣ１００の外部メモリに記憶されているものとする。図２０のマーカＩＤ７１１、位置７１２は図７のマーカＩＤ７１１、位置７１２と同じであるためここでは説明を割愛する。切替フラグ２００１＝ＯＮの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体であり、切替フラグ２００１＝ＯＦＦの現実物体は、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でないものとする。

切替フラグ２００１を用いた具体的な処理について説明する。ＰＣ１００のＣＰＵ２０１は、ステップＳ５０５で、ＨＭＤ１０１の位置から現実物体１０５の位置までの距離が、所定の距離（切替条件７３０における距離７３１）以内であると判定した場合に、当該現実物体を示すＩＤ（マーカＩＤ７１１）に対応する切替フラグ２００１を参照して、当該現実物体が、ＨＭＤ１０１と近づいたことで高解像度画像をＨＭＤ１０１に表示させるべき現実物体か判定する。

高解像度画像をＨＭＤ１０１に表示させるべき現実物体である（切替フラグ２００１＝ＯＮである）と判定した場合には処理をステップＳ５０６に移行し、高解像度画像をＨＭＤ１０１に表示させるべき現実物体でない（切替フラグ２００１＝ＯＦＦである）と判定した場合には処理をステップＳ５１１に移行する。

当該切替フラグ２００１を用いることにより、高解像度画像で詳細を確認させる必要がある現実物体とＨＭＤ１０１が所定距離内にある場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像で詳細を確認させる必要がない現実物体とＨＭＤ１０１が所定距離内にある場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。

尚、上述した、ＭＲ画像を生成するか否かの切替え処理による、高解像度画像を用いたＭＲ画像生成の処理負荷軽減をしない場合は、例えば、高解像度画像か低解像度画像かに関わらず、ＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。

つまり、ステップＳ５１０で利用が決定された高解像度画像に対してＣＧ（仮想オブジェクト）を重畳してＭＲ画像を生成し、ＨＭＤ１０１に送信するようにしてもよい。この場合、ステップＳ５１０、Ｓ５１１で利用が決定された画像を用いて、必ずＭＲ画像を生成してＨＭＤ１０１に送信するため、ステップＳ４０３の判定を行わず、ステップＳ５１１の処理後に処理をステップＳ４０５に移行する。また、ステップＳ５１０の処理後に上述した高解像度画像を用いたＭＲ画像の生成後、当該ＭＲ画像をＨＭＤ１０１に送信する処理を行うものである。

これにより、高解像度画像であっても、低解像度画像であっても、ユーザにＭＲ画像を提示することができる。

以上、本発明の第１の実施形態について説明した。

次に、本発明の第２の実施形態について説明する。

本発明の第２の実施形態においては、カメラの向いている方向に位置する開閉部の開閉に応じて、高解像度画像と低解像度画像を切替える処理を行う。

例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）、ユーザが、当該開閉部の先にある画像をより詳細に確認したいと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を高解像度画像に変更すべく、ＨＭＤ１０１に高解像度画像を送信する。

仮想オブジェクトの開閉部が閉じた場合（開閉部を閉じる操作を受け付けた場合／閉じられている状態の場合）、ユーザが、当該開閉部の先にある画像の確認を完了した、または、当該開閉部の先にある画像の詳細確認を所望していないと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を低解像度画像に変更すべく、ＨＭＤ１０１に低解像度画像を送信する。具体的な処理手順については図８を参照して説明する。

ここで図８を参照して、本発明の第２の実施形態における、画像切替処理の詳細について説明する。図８は本発明の第２の実施形態における、画像切替処理の詳細を示すフローチャートである。

尚、図８の処理は上述した第１の実施形態における図５の処理の代わりに、図４のステップＳ４０２のタイミングで、ＰＣ１００のＣＰＵ２０１により実行される。図４の各処理の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１の位置を取得し（位置取得手段）、ＨＭＤ１０１の向いている方向（ＨＭＤ１０１に設置されたカメラの向いている方向）に開閉部が存在するか判定する（ステップＳ８０１）。

当該開閉部が存在するか否かの判定は、例えば、ＨＭＤ１０１の位置及び姿勢のベクトルと、開閉部のＭＲ空間上の位置情報を用いて行われる。当該開閉部のＭＲ空間上の位置の情報は、図９のように、ＰＣ１００の外部メモリに予め記憶されている。当該開閉部が画像中にあるかどうかは、例えば、上述した第１の実施形態における、現実物体の位置（Ｔｐｘ，Ｔｐｙ，Ｔｐｚ）を開閉部位置９０２に置き換える（開閉部位置＝Ｔｐｘ，Ｔｐｙ，Ｔｐｚとする）ことで特定・判定するものとする。

ここで図９を参照して、本発明の第２の実施形態における、データテーブルの構成の一例について説明する。図９は、本発明の第２の実施形態における、データテーブルの構成の一例を示す図である。

図９のデータテーブル９００は、ＰＣ１００の外部メモリに予め記憶されている、開閉部の位置及び開閉状態（開閉状況）を示すテーブルである。

オブジェクトＩＤ９０１は、開閉部を備える仮想オブジェクト（ＣＧモデル）の識別情報である。開閉部位置９０２は、開閉部のＭＲ空間上の座標位置を示す。例えば、オブジェクトＩＤ９０１の中で開閉機構を備える部位（開閉機構を構成するＣＧモデルの集合）の中心位置であるものとする。例えば図１４でいう、１４０１の位置である。図１４は、本発明の実施形態における、開閉部の開閉の様子の一例を示す図である。

開閉状態９０３は、開閉部の開閉状態を示す。ｏｐｅｎの場合、開閉部が開いている状態、ｃｌｏｓｅの場合、開閉部が閉じている状態を示す。当該開閉状態９０３のステータスは、例えば、ユーザからの当該開閉部の開閉操作を受け付けた場合に、ＰＣ１００のＣＰＵ２０１により更新される。

例えば、オブジェクトＩＤ９０１の示す仮想オブジェクトに対しユーザの手が触れた場合に、随時、当該オブジェクトＩＤに対応する開閉部の開閉状態を切替えるものとする。（開閉部が開いている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態９０３をｏｐｅｎに、開閉部が閉じている状態で、仮想オブジェクトにユーザの手が触れた場合は、開閉状態９０３をｃｌｏｓｅにする）

尚、ユーザの手が仮想オブジェクトに触れたかどうかの判定技術は既知である。例えば、手の位置を検出するためのマーカを添付した手袋をユーザに装着させて撮像することで、当該マーカの位置・大きさ・角度から手の位置、角度を検出し、当該手の位置が仮想オブジェクトの位置から所定の距離範囲内にあるかどうかを判断し、所定の距離範囲内にある場合に手が仮想オブジェクトに触れていると判断するものである。既知の技術であるため、ここでは説明を割愛する。

尚、本発明の実施形態においては、ＰＣ１００にＣＰＵ２０１が、ＨＭＤ１０１又は高解像度カメラ１０４から取得する現実画像とＨＭＤ１０１の位置情報を用いて、当該判断を行うものとする。以上が図９の、本発明の第２の実施形態における、データテーブルの構成の一例についての説明である。

図８の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ステップＳ８０１で、ＨＭＤ１０１の向いている方向に開閉部が存在しない（検出されなかった）と判定した場合（ステップＳ８０１でＮＯ）、低解像度画像をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ８０４／解像度決定）。

ＨＭＤ１０１の向いている方向に開閉部が存在すると判定した場合（ステップＳ８０１でＹＥＳ）、当該開閉部の開閉状態９０３を参照し、当該開閉部が開いているか否かを判定する（ステップＳ８０２／開閉判定手段）。開閉部が閉じられている場合（ステップＳ８０２でＮＯ）、処理をステップＳ８０４に移行する。

開閉部が開かれている場合（ステップＳ８０２でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、高解像度画像をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ８０３／解像度決定）。そして、処理を図４のステップＳ４０３に移行する。ステップＳ４０３以降の処理は第１の実施形態と同様であるため説明は割愛する。

これにより、開閉部の開閉状態に応じて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。

尚、上述した実施形態においては、ステップＳ４０３の判定処理により、ＭＲ画像を生成するか否かを決定し、ＨＭＤ１０１に、低解像度画像にＣＧを描画したＭＲ画像、又はＣＧを描画しない現実画像としての高解像度画像を送信しているが、当該処理は、画像の送信方法の１手法である。よって、高解像度画像か低解像度画像かに関わらず、ＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。

尚、開いていたとしても高解像度画像を表示させる必要がない開閉部がＭＲ空間上に存在することが考えられる。例えば、開閉部の先に現実物体が配置されていない場合や、配置されている現実物体がユーザにとって外観を詳細に確認したい現実物体ではない場合である。

例えば、図２０のデータテーブル２０１０の切替フラグ２０１１のように、開閉部に対して（データテーブル２０１０内の各開閉部のデータに対して）当該開閉部を検出した場合に低解像度を高解像度画像に切り替えるか、低解像度画像をそのまま利用するかを切り替えるかを設定しておき、当該設定に従っていずれの解像度の画像（いずれのカメラから取得した画像）を用いるか決定することで、高解像度画像を表示させる必要がある開閉部が開いている場合に高解像度画像をＨＭＤ１０１に送信して表示させ、高解像度画像を表示させる必要がない開閉部については例え開いていたとしても低解像度画像をＨＭＤ１０１に送信して表示させる処理をすることができる。

尚、図２０の各データテーブルは予めＰＣ１００の外部メモリに記憶されているものとする。図２０のオブジェクトＩＤ９０１、開閉部位置９０２、開閉状態９０３は図９のオブジェクトＩＤ９０１、開閉部位置９０２、開閉状態９０３と同じであるためここでは説明を割愛する。

切替フラグ２０１１＝ＯＮの開閉部は、高解像度画像を表示させる必要がある開閉部であり、切替フラグ２０１１＝ＯＦＦの開閉部は、高解像度画像を表示させる必要がない開閉部であるものとする。

切替フラグ２０１１を用いた具体的な処理について説明する。ＰＣ１００のＣＰＵ２０１は、ステップＳ８０１で開閉部を検出したと判定した場合（ステップＳ８０１でＹＥＳ）、当該検出した開閉部に対応する切替フラグ２０１１を参照して、当該開閉部が、開いている場合に高解像度画像を表示させる必要がある開閉部か判定する。

高解像度画像を表示させる必要がある開閉部である（切替フラグ２００１＝ＯＮである）と判定した場合には処理をステップＳ８０２に移行し、例え開いていたとしても高解像度画像を表示させる必要がない開閉部である（切替フラグ２００１＝ＯＦＦである）と判定した場合には処理をステップＳ５８０４に移行する。

当該切替フラグ２０１１を用いることにより、開いている場合に高解像度画像を表示させる必要がある開閉部を検出した場合には高解像度画像をＨＭＤ１０１に送信して表示させ、え開いていたとしても高解像度画像を表示させる必要がない開閉部を検出した場合には低解像度画像をＨＭＤ１０１に送信して表示させることができる。

以上が本発明の第２の実施形態の説明である。

次に、本発明の第３の実施形態について説明する。

本発明の第３の実施形態においては、カメラの向いている所定範囲（範囲１５０１）内に位置する開閉部の開閉と、当該開閉部の先の情報に応じて、高解像度画像と低解像度画像を切替える処理を行う。

例えば、仮想オブジェクトの開閉部が開いた場合（開閉部を開く操作を受け付けた場合／開いている状態の場合）で、当該開閉部の先に現実物体が存在する場合に、ユーザが、当該開閉部の先にある現実物体の画像をより詳細に確認したいと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を高解像度画像に変更すべく、ＨＭＤ１０１に高解像度画像を送信する。

仮想オブジェクトの開閉部が閉じた場合（開閉部を閉じる操作を受け付けた場合／閉じられている状態の場合）、又は、開閉部は開いているが当該開閉部の先に現実物体が存在しない場合に、ユーザが、当該開閉部の先にある現実物体の画像確認を完了した、または、当該開閉部の先にある現実物体の画像の詳細確認を所望していないと考えられるため、ＨＭＤ１０１のディスプレイに表示する画像を低解像度画像に変更すべく、ＨＭＤ１０１に低解像度画像を送信する。具体的な処理手順については図１０を参照して説明する。

ここで図１０を参照して、本発明の第３の実施形態における、画像切替処理の詳細について説明する。図１０は、本発明の第３の実施形態における、画像切替処理の詳細を示すフローチャートである。

尚、図１０の処理は上述した第１の実施形態における図５の処理の代わりに、図４のステップＳ４０２のタイミングで、ＰＣ１００のＣＰＵ２０１により実行される。

図４の各処理の内容は、第１の実施形態で説明した内容と同一のため、説明は割愛する。また、図１０のステップＳ１００１及び１００２の処理は、第２の実施形態における図８のステップＳ８０１、Ｓ８０２の処理と同じであるため、説明は割愛する。

ＰＣ１００のＣＰＵ２０１は、ステップＳ１００２で、ＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合、当該開閉部より先の所定の距離範囲内に、現実物体が存在するか否かを判定する（ステップＳ１００３／存在判定手段）。

当該開閉部より先の所定の距離範囲内に現実物体が存在するか否かの判定は、例えば、ＨＭＤ１０１の位置及び開閉部のＭＲ空間上の位置、図１１の物体間距離１１００の距離（所定の距離範囲）の情報を用いて行われる。

図１１の物体間距離は、ＰＣ１００の外部メモリに予め記憶されている、ＨＭＤ１０１から見て、開閉部より先（奥／向こう側）の所定の距離範囲内に、現実物体が存在するか否かの判定に用いられる、当該所定の距離範囲の情報である。

つまり、図１６でいう、範囲１５０１内のライン１６０１からライン１６０２までの間の範囲内に、現実物体が存在するか判定する。図１６は、ＨＭＤ１０１の位置・姿勢（姿勢ベクトル）、現実物体の位置（例えばマーカ１０２の位置）、ＨＭＤ１０１の向いているベクトルに向けての所定範囲（範囲１５０１）、ＨＭＤ１０１から見て開閉部より先の所定距離範囲（物体間距離１１００によって示されるライン１６０１からライン１６０２の間の、範囲１５０１に含まれる範囲）の関係の一例を示している。

図１０の説明に戻る。

ＰＣ１００のＣＰＵ２０１は、開閉部より先の所定の距離範囲内に現実物体（例えばマーカ１０２）が存在しないと判定した場合（ステップＳ１００３でＮＯ）、処理をステップＳ１００５に移行し、低解像度画像（低解像度カメラから取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ１００５／解像度決定）。

開閉部より先の所定の距離範囲内に現実物体（例えばマーカ１０２）が存在すると判定した場合（ステップＳ１００３でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、高解像度画像（高解像度カメラ１０４から取得した画像）をＨＭＤ１０１に送信する画像として使用することを決定する（ステップＳ１００４／解像度決定）。

その後、処理を図４のステップＳ４０３に移行する。ステップＳ４０３以降の処理は上述したため、ここでは説明を割愛する。以上が図１０の、本発明の第３の実施形態における、画像切替処理の詳細についての説明である。

次に、本発明の第４の実施形態について説明する。

本発明の第４の実施形態においては、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて、高解像度画像と低解像度画像を切替える処理を行う。つまり、上述した第１の実施形態と、第２の実施形態又は第３の実施形態の処理を組み合わせた実施形態である。

例えば、ＨＭＤ１０１を装着したユーザが現実物体を確認しようと開閉部を開けて、現実物体の近くに移動した場合に、現実物体の詳細を確認させるため、高解像度画像に切り替える。

以下、図１９を参照して、本発明の第４の実施形態における、画像切替処理の詳細について説明する。図１９においては、一例として第１の実施形態（図５）の処理と、第３の実施形態（図１０）の処理とを組み合わせた処理の流れを説明する。

図１９の処理は、図４のステップＳ４０２において、第１の実施形態における図５の処理の代わりにＰＣ１００のＣＰＵ２０１によって実行される。

図１９におけるステップＳ５０１〜Ｓ５０９の処理は図５のステップＳ５０１〜Ｓ５０９の処理と同じであるため説明は省略する。

ＰＣ１００のＣＰＵ２０１は、ステップＳ５０９において、ステップＳ５０７で算出した角度が角度７３２（ここでは３０°）以内か判定し（ステップＳ５０９／範囲判定手段／所定の範囲内か判定し））、３０°以内である場合（ステップＳ５０９でＹＥＳ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１５０１）内にあるものと判断して処理をステップＳ１００１に移行する。３０°以内でない場合（ステップＳ５０９でＮＯ）、現実物体がＨＭＤ１０１の向いている方向の所定範囲（範囲１５０１）内にないものと判断して処理をステップＳ１００５に移行する。

ステップＳ１００１〜Ｓ１００５の処理は図１０のステップＳ１００１〜Ｓ１００５の処理と同じであるため説明は省略する。以上が図１９の説明である。

尚、第１の実施形態と第２の実施形態を組み合わせた処理を行う場合は、図１９のステップＳ１００３をスキップして、ステップＳ１００２でＨＭＤ１０１の向いている方向にある開閉部が開かれていると判定した場合に（ステップＳ１００２でＹＥＳ）処理をステップＳ１００４に移行するものとする。

本発明の第４の実施形態によれば、ＨＭＤと現実物体が所定距離と開閉部の開閉状態に応じて、高解像度画像と低解像度画像を切替える処理をすることができる。

また、図１９のステップＳ１００３の処理を実行することで、ＨＭＤと現実物体が所定距離と、開閉部の開閉状態と、開閉部と現実物体の位置関係に応じて、高解像度画像と低解像度画像を切替える処理をすることができる。

尚、第４の実施形態においても、例えば第１の実施形態及び第２の実施形態で上述したタイミングで、図２０の切替フラグ２００１、切替フラグ２０１１を用いた高解像度画像と低解像度画像の切り替え処理を行うことが可能である。

切替フラグ２００１に基づく切り替え処理を優先するか切替フラグ２０１１に基づく切り替え処理を優先するかは、ＰＣ１００の表示画面に表示される不図示の設定画面において自由に設定・変更可能であるものとする。
以上が本発明の第４の実施形態の説明である。

尚、上述した実施形態においては、ステップＳ４０３の判定処理により、ＭＲ画像を生成するか否かを決定し、ＨＭＤ１０１に、低解像度画像にＣＧを描画したＭＲ画像、又はＣＧを描画しない現実画像としての高解像度画像を送信しているが、当該処理は、画像の送信方法の１手法である。よって、高解像度画像か低解像度画像かに関わらず、ＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。

これにより、カメラの向いている方向の所定範囲（範囲１５０１）内に位置する開閉部の開閉と、当該開閉部の先の情報に応じて、高解像度画像と低解像度画像を切替える処理を行う。

尚、上述した実施形態を組み合わせて、利用する異なる解像度の画像を切替えるようにしてもよい。

例えば、ＨＭＤ１０１から現実物体までの所定の距離が所定距離以内であって（第１の実施形態）、且つ、検出された開閉部が開かれている場合に（第２の実施形態）、利用する画像を高解像度画像に切替えるようにしてもよい。この場合、例えば、図５のステップＳ５０９でＹＥＳの場合に、処理を図８のステップＳ８０１に移行し、ステップＳ５０９でＮＯの場合には、処理をステップＳ８０４に移行するようにする。図８の処理終了後、処理を図４のステップＳ４０３に移行する。当該処理はＰＣ１００のＣＰＵ２０１が実行する。

また、各実施形態においては、範囲１５０１から現実物体又は開閉部が外れた場合に（ＨＭＤ１０１が範囲１５０１に現実物体又は開閉部を含めない方向に回転・移動した場合に）、低解像度画像を使用することを決定し、ＭＲ画像を生成してＨＭＤ１０１に送信するものとしたが、例えば、当該ＨＭＤ１０１の位置・方向に関わらず、高解像度画像の画像への切替え（ステップＳ５１０、Ｓ８０３、Ｓ１００４）が行われてから、所定の時間が経過した場合に、当該利用する画像を低解像度画像に切替えるようにしてもよい。

こうすることで、高解像度画像をＨＭＤ１０１に送信し続けることによるＰＣ１００の処理負荷や、通信負荷、又は／及び、高解像度画像をディスプレイに表示し続けることによるＨＭＤ１０１の処理負荷を軽減することができる。各実施形態の組み合わせは、上述した組み合わせに限るものではない。

また、本発明の実施形態においては、現実物体を囲う外装が仮想オブジェクト（仮想オブジェクト１０３）であるものとしたが、例えば、当該現実物体を囲う外装自体が現実物体である場合でも、各実施形態における処理と同様の処理を適用するようにしてもよい。

外装が現実物体である場合、図１２、図１３に示すように、現実物体である外装板に二次元マーカを貼付し、前述のマーカ１０２の位置の特定方法と同様の方法で、当該二次元マーカの位置（例えば、当該二次元マーカの位置＝外装板の位置とする）を特定することができる。

また、図１２に示すように、開閉部の表面と開閉部近くの外装に二次元マーカを貼付して、当該２つのマーカを対応付けてＰＣ１００の外部メモリに記憶しておき、カメラから取得した画像において、当該２つのマーカのうち１しか検出されない場合には、開閉部が開いていると判定し、当該２つのマーカが２つとも検出される場合には、開閉部が閉じていると判定するものである。

また、図１３に示すように、開閉部の表面と裏面に二次元マーカを貼付して、カメラから取得した画像において、裏面の二次元マーカが検出されている場合には、開閉部が開いていると判定し、表面の二次元マーカが検出されている場合には、開閉部が閉じていると判定するようにしてもよい。開閉部の開閉の判定方法はこれらに限るものではない。

また、上述した各実施形態においては、低解像度画像を利用する場合（ＨＭＤから所定距離内に現実物体がない場合／開閉部が閉じている場合／開閉部が開いていない、又は開いているが開閉部より先に現実物体が存在しない場合）に、ＭＲ画像を生成する（仮想オブジェクトを描画／重畳する）処理を行い、高解像度画像を利用する場合（ＨＭＤから所定距離内に現実物体がある場合／開閉部が開いている場合／開閉部が開いており、開閉部より先に現実物体が存在する場合）に、ＭＲ画像を生成しない（仮想オブジェクトを描画／重畳しない）処理を行ったが、例えば、高解像度画像を利用する場合であっても、仮想オブジェクトを透明化（例えば半透明化／図１７に図示）してＭＲ画像を生成し、ＨＭＤ１０１に送信するようにしてもよい。この場合、仮想オブジェクトの透過率はＰＣ１００の外部メモリに予め記憶されており、ステップＳ４０３で高解像度画像を利用すると判定された場合に、当該透過率の情報に従って描画対象の仮想オブジェクトを透過して、高解像度画像に重畳し、ＭＲ画像の生成を行う。そして、ＨＭＤ１０１に当該ＭＲ画像を生成する。

こうすることで、現実物体の確認を阻害することなく、ＭＲ画像を提供することができる。

また、第２の実施形態・第３の実施形態において、開閉部がオブジェクトである場合に、高解像度画像を利用するにあたり当該開閉部（仮想オブジェクト）を描画せずにＨＭＤ１０１に画像を送信してしまうと、ユーザは開閉部（仮想オブジェクト）が見えなくなってしまうため、当該仮想オブジェクトに触れることで開閉部を閉じることができなくなってしまう。

上述したように、高解像度画像であっても仮想オブジェクトを半透明化したＭＲ画像を生成してＨＭＤに送信することで、ユーザに仮想オブジェクトを視認させ、仮想オブジェクトに対する操作を可能にすることができる。

また、ステップＳ４０４の前に、図１８に示すように、現実物体から所定距離１８１１以内にある仮想オブジェクトを透過したＭＲ画像を生成してＨＭＤ１０１に送信するようにしてもよい。具体的には、画像の最前面のレイヤに、当該所定距離１８１１を半径とする、仮想オブジェクト（ＣＧ）を描画しない領域を規定する球状のマスクオブジェクトを、マーカ１０２（現実物体）の位置を中心として配置して、ＭＲ画像を生成する。

当該所定距離１８１１の情報は、予めＰＣ１００の外部メモリに記憶されており、当該マスクオブジェクトの生成及び配置、ＭＲ画像の生成処理は、当該所定距離１８１１の情報を用いて、ＰＣ１００のＣＰＵ２０１が行うものとする。

これにより、ユーザが詳細に確認したい現実物体の周辺に位置するＣＧのみを表示しないようにすることができ、当該現実物体の確認を容易にすることができる。

また、上述した実施形態においては、現実物体までの距離が短い場合（所定の値以内である場合）に、現実物体を精細に表示するため、高解像度画像をＨＭＤに送信するものとしたが、例えば、反対に、現実物体がＨＭＤの近くにある場合には画像の解像度が低くとも現実物体を確認可能だが、現実物体がＨＭＤから遠い位置にある場合画像の解像度が低いと当該現実物体を視認できない、また、詳細に確認できない場合が考えられる。

よって、例えば、上述の実施形態における、図５のステップＳ５１０の処理とステップＳ５１１の処理を入れ替えて、それぞれの処理のタイミングで、ＰＣ１００のＣＰＵ２０１が、現実物体がＨＭＤ１０１の位置から所定距離以内にあり、且つ、範囲１５０１内にある場合に、低解像度画像を、ＨＭＤ１０１に送信するために利用する画像として決定し、現実物体がＨＭＤ１０１の位置から所定距離以内にない場合には、高解像度画像を、ＨＭＤ１０１に送信するために利用する画像として決定するようにしてもよい。

これにより、遠方の被写体の画像を精細に表示させることができる。

以上説明したように、本発明によれば、ＨＭＤの位置情報を用いて、利用する異なる解像度の画像を、容易に切替え可能な仕組みを提供することができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

上述した本発明の実施形態においては、ＨＭＤ１０１に高解像度カメラ１０４が１つ設置されているものとしたが、複数（例えば２つ）の高解像度カメラ１０４をＨＭＤ１０１に設置するようにしてもよい。

また、ＨＭＤ１０１は、ＧＯＯＧＬＥ ＧＬＡＳＳ（登録商標）のようなシースルー型の端末であってもよい（本発明におけるＨＭＤ１０１は、シースルー型の端末も含むものとする）。

例えば、図１に示す各種端末、マーカ等の構成は一例であり、用途や目的に応じて様々な構成例がある。例えば、赤外線カメラ（不図示）をＨＭＤ１０１の周辺に設置して、ＨＭＤ１０１に設置された光マーカ（オプティカルマーカ）を撮影し、撮影した結果取得したＨＭＤ１０１の位置姿勢の情報（座標の情報）をＰＣ１００に送信することでＨＭＤ１０１の位置・姿勢の情報を特定するようにしてもよい。

また、磁場を発生させるトランスミッター（不図示）を用いて、ＨＭＤ１０１の位置や姿勢を特定することも可能である。この場合、トランスミッターは磁場を発生し、発生した磁場をＨＭＤ１０１に備えられたレシーバが受信する。受信した磁場に関する情報をＰＣ１００に送信すると、磁場の強さからＨＭＤ１０１の位置や姿勢をＰＣ１００が特定するものとする。これにより、マーカが検出できない場合であってもＨＭＤの位置・姿勢を特定可能である。

このように、ＨＭＤ１０１の位置や姿勢を特定するためには、マーカやセンサ（赤外線、磁場）を用いる場合がある。ＨＭＤ１０１の位置や姿勢を特定できれば、どのような形態でも構わない。

また、上述した実施形態においては、ステップＳ５０５、ステップＳ５０９、Ｓ１００３において、判定対象の距離が“所定の値以内であるか”を判定しているが、例えば、“所定の値より小さいか”判定するようにしてもよい。例えば、所定の値より小さい場合＝ステップＳ５０５でＹＥＳ、ステップＳ５０９でＹＥＳ、ステップＳ１００３でＹＥＳ、であるものとし、判定対象の距離が所定の値以上の場合＝ステップＳ５０５でＮＯ、ステップＳ５０９でＮＯ、ステップＳ１００３でＮＯ、であるものとする。

本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ ＰＣ
１０１ ＨＭＤ
１０２ マーカ
１０３ 仮想オブジェクト
１０４ 高解像度カメラ
１０５ 現実物体
１５０ ＬＡＮ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力デバイス
２１０ ディスプレイ
２１１ 外部メモリ
２２１ 右目ビデオカメラ
２２２ 左目ビデオカメラ
２２３ 右目ディスプレイ
２２４ 左目ディスプレイ
２２５ コントローラ

Claims (10)

1. 表示装置と通信可能であり、３次元空間上に位置する物体の情報を記憶する情報処理装置であって、
   前記物体のうち、前記表示装置に表示される物体の状態を検出する検出手段と、
   前記検出手段により検出された状態に応じて、表示装置に出力する画像の解像度を決定する決定手段と、
   前記決定手段により決定した解像度の画像を前記表示装置に出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 前記物体は開閉部を備え、
   前記決定手段は、前記開閉部が開いている状態である場合は、物体を詳細に表示するべく、高解像度の画像を前記表示装置に出力することを決定し、前記開閉部が閉まっている状態である場合には低解像度の画像を前記表示装置に出力することを決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記決定手段は、前記物体の状態が所定の状態であって、且つ、前記表示装置の３次元空間上の位置から当該物体の位置を挟んだ向こう側に別の物体が位置している場合に、当該別の物体をより詳細に表示すべく、高解像度の画像を前記表示装置に出力することを決定することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記決定手段は、前記物体の状態が所定の状態であって、且つ、前記表示装置の３次元空間上の位置と当該物体の位置との距離が所定の距離に達している場合には、高解像度の画像を前記表示装置に出力することを決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記情報処理装置は、
   仮想物体の画像を現実物体に重畳して表示するべく、前記表示装置の位置から見た前記仮想物体の画像を、前記表示装置に表示させるべく生成する生成手段
   を備え、
   前記決定手段は、前記検出手段により検出された前記物体が所定の状態である場合に、前記物体をより詳細に表示すべく、前記仮想物体の画像を重畳していない高解像度の画像、または、現実物体を視認可能なように前記仮想物体の画像を重畳した高解像度の画像を出力することを決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 表示装置と通信可能であり、３次元空間上に位置する物体の情報を記憶する情報処理装置の制御方法であって、
   前記物体のうち、前記表示装置に表示される物体の状態を検出する検出工程と、
   前記検出工程により検出された状態に応じて、表示装置に出力する画像の解像度を決定する決定工程と、
   前記決定工程により決定した解像度の画像を前記表示装置に出力する出力工程と、
   を含む制御方法。
7. 表示装置と通信可能であり、３次元空間上に位置する物体の情報を記憶する情報処理装置で実行が可能なプログラムであって、
   前記情報処理装置を、
   前記物体のうち、前記表示装置に表示される物体の状態を検出する検出手段と、
   前記検出手段により検出された状態に応じて、表示装置に出力する画像の解像度を決定する決定手段と、
   前記決定手段により決定した解像度の画像を前記表示装置に出力する出力手段として機能させるためのプログラム。
8. 表示装置と、３次元空間上に位置する物体の情報を記憶する情報処理装置とを含む情報処理システムであって、
   前記物体のうち、前記表示装置に表示される物体の状態を検出する検出手段と、
   前記検出手段により検出された状態に応じて、表示装置に出力する画像の解像度を決定する決定手段と、
   前記決定手段により決定した解像度の画像を前記表示装置に出力する出力手段と、
   を備えることを特徴とする情報処理システム。
9. 表示装置と、３次元空間上に位置する物体の情報を記憶する情報処理装置とを含む情報処理システムの制御方法であって、
   前記物体のうち、前記表示装置に表示される物体の状態を検出する検出工程と、
   前記検出工程により検出された状態に応じて、表示装置に出力する画像の解像度を決定する決定工程と、
   前記決定工程により決定した解像度の画像を前記表示装置に出力する出力工程と、
   を含む制御方法。
10. 表示装置と、３次元空間上に位置する物体の情報を記憶する情報処理装置とを含む情報処理システムを制御するためのプログラムであって、
    前記情報処理システムを、
    前記物体のうち、前記表示装置に表示される物体の状態を検出する検出手段と、
    前記検出手段により検出された状態に応じて、表示装置に出力する画像の解像度を決定する決定手段と、
    前記決定手段により決定した解像度の画像を前記表示装置に出力する出力手段として機能させるためのプログラム。
    

Images