JP6164177B2 - 情報処理装置、情報処理システム、その制御方法及びプログラム - Google Patents

Description

情報処理装置、情報処理システム、その制御方法及びプログラムに関する。

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下、ＭＲと記載）の技術が普及し、ＭＲ技術を用いて、室内に、現実物体とＣＧモデルが配置されることが行われている。ＭＲ空間（現実空間と仮想空間とを重ね合わせた複合現実空間）を生成するにあたり、仮想空間と現実空間の位置合わせに用いられる位置指標として、マーカを用いる場合がある。

特許文献１には、当該マーカの存在をユーザに意識させないために、マーカを検出した場合に、当該マーカを隠した画像を描画する技術が記載されている。

また、特許文献２では、仮想のペットを育成する複合現実感提示装置において、ユーザの所定部位による所定動作により、仮想のペットを示す３次元モデルの内部状態を遷移させ、仮想物体の存在感の認知を容易にするＭＲに関する技術が開示されている。

特開２０００−３５０８６０号公報 特開２００２−１１２２８６号公報

例えば、特許文献１及び特許文献２に記載の技術を用いて仮想の画像を描画して現実の画像と重畳し、重畳画像であるＭＲ画像を生成した場合、現実物体がＣＧ（オブジェクト）によって隠れてしまうことがある。

例えば、現実物体にマーカを貼り付けておき、現実物体よりも大きなＣＧをマーカの位置に重畳してＭＲ画像を生成した場合、当該現実物体がＣＧによって隠れてしまうため、ユーザは、ＣＧの裏側に現実物体が存在するか否かを認識することができない。

また、現実物体が存在している場合、どのような現実物体がＣＧによって隠されているのか確認することができない。

例えば、他のユーザからＣＧを受け取る場合、ＣＧの中に隠れている現実物体を受け取る必要があるが、受け取る側のユーザが、ＣＧによって隠されている現実物体の存在を認識出来ていなければ、受け渡しに際して当該現実物体を取り落としてしまうことが考えられる。

本発明は、仮想オブジェクトの受け渡しに応じて、現実物体の存在をユーザに認識させることが可能な仕組みを提供することを目的とする。

本発明の情報処理装置は、表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置であって、ユーザの身体の一部を検出する検出手段と、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段と、を備えることを特徴とする。

本発明によれば、仮想オブジェクトの受け渡しに応じて、現実物体の存在をユーザに認識させることが可能な仕組みを提供することができる。

本発明の実施形態における、情報処理システムの構成の一例を示す図である。 本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。 本発明の実施形態における、各種装置の機能構成の一例を示す図である。 本発明の実施形態における、重畳画像の表示処理の流れを示すフローチャートである。 本発明の第１の実施形態における、重畳画像の生成処理の流れを示すフローチャートである。 本発明の第１の実施形態において用いる各種データの構成の一例を示す図である。 本発明の第１の実施形態における、オブジェクトの透過表示の様子を示す図である。 本発明の第１の実施形態における、オブジェクトの透過表示の様子を示す図である。 本発明の第２の実施形態における、重畳画像の生成処理の流れを示すフローチャートである。 本発明の第２の実施形態において用いる各種データの構成の一例を示す図である。 本発明の第２の実施形態における、オブジェクトの透過表示の様子を示す図である。 本発明の第３の実施形態における、重畳画像の生成処理の流れを示すフローチャートである。 本発明の第３の実施形態において用いる各種データの構成の一例を示す図である。 本発明の第３の実施形態における、各ＨＭＤにおけるオブジェクトの通常表示及び透過表示の様子を示す図である。 本発明の第４の実施形態における、重畳画像の生成処理の流れを示すフローチャートである。 本発明の第４の実施形態において用いる各種データの構成の一例を示す図である。 本発明の実施形態における、オブジェクトの透過表示の方法の一例を示す図である。

図１を参照して、本発明の実施形態における、情報処理システムの構成の一例について説明する。図１は、本発明の実施形態における、情報処理システムの構成の一例を示す図である。

本発明の情報処理システムは、ＰＣ１００Ａ、ＨＭＤ（ヘッドマウントディスプレイ）１０１Ａ、ＰＣ１００Ｂ、ＨＭＤ１０１Ｂ、赤外線カメラ１０４等から構成される。以下、ＰＣ１００Ａ、ＰＣ１００Ｂを総称する場合、ＰＣ１００と記載する。また、ＨＭＤ１０１Ａ、ＨＭＤ１０１Ｂを総称する場合、ＨＭＤ１０１と記載する。

ＰＣ１００とＨＭＤ１０１（表示装置）、赤外線カメラ１０４は、図１に示すＬＡＮ１５０や、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を介して通信可能に接続されている。

部屋には、３ＤＣＧ（オブジェクト／３次元モデル）が対応付けられた二次元マーカであるターゲットマーカが貼り付けられた現実物体（モック１０３）が存在し、当該ターゲットマーカ１０５をＨＭＤ１０１のカメラが撮像して当該マーカの座標の情報をＰＣ１００が算出して記憶することで、ＰＣ１００は、各種マーカに対応付けられたオブジェクトを外部メモリから読み出して当該オブジェクトを配置する空間上の座標を算出し、ＨＭＤ１０１で撮像された現実画像上に、ＨＭＤ１０１のから見た角度のオブジェクトを重畳して重畳画像（ＭＲ画像）の生成処理を行う。当該重畳画像の生成方法の具体的な内容は、各引用文献に示した通り公知であるため、ここでは詳細な説明は割愛する。

ＰＣ１００Ａは、ＨＭＤ１０１Ａから、ＨＭＤ１０１Ａで撮像した現実画像を取得して重畳画像を生成し、ＨＭＤ１０１Ａのディスプレイに表示させるべく、ＨＭＤ１０１Ａに重畳画像を送信する。また、ＰＣ１００Ｂは、ＨＭＤ１０１Ｂから、ＨＭＤ１０１Ｂで撮像した現実画像を取得して重畳画像を生成し、ＨＭＤ１０１Ｂのディスプレイに表示させるべく、ＨＭＤ１０１Ｂに重畳画像を送信する。

各ＰＣ１００には、本発明の各種実施形態にて用いる各種データが予め記憶されている。ＰＣ１００ＡとＰＣ１００Ｂに記憶されているデータは同様の構成を備えているため、例えばモック１０３に対して対応付けて記憶されている（モック１０３のターゲットマーカ１０５を認識した場合に描画される）オブジェクトはＰＣ１００ＡとＰＣ１００Ｂで共通である。

また、ターゲットマーカ１０５に対するどの座標（位置）に当該オブジェクトを描画するかも共通である。つまり、ターゲットマーカ上の一点を原点とした、オブジェクトを配置する座標、及びオブジェクトを配置する角度が同一であるため、ＨＭＤ１０１Ａを被るユーザとＨＭＤ１０１Ｂを被るユーザは、各ユーザの視点から見た、同じオブジェクトを閲覧することができる。

例えばＨＭＤ１０１Ａを被るユーザとＨＭＤ１０１Ｂを被るユーザが向かい合っている状態で、各ユーザの間にあるオブジェクト（モック１０３及びターゲットマーカ１０５）が、ＨＭＤ１０１Ａを被るユーザから見て右に傾いた場合、ＨＭＤ１０１Ｂを被るユーザには当該オブジェクトが左に傾いたように見える。

ユーザは、当該モック１０３を持ち運ぶことで、当該モック１０３に貼付されたターゲットマーカに対応するオブジェクトを移動させる。マーカの移動に応じてオブジェクトを移動させる技術は、例えば「公開特許公報／特開２０１３−５０８８３」等に記載の通り、既存の技術であるため、ここでは説明を割愛する。

赤外線カメラ１０４は、ＨＭＤ１０１に設置された光マーカ（オプティカルマーカ）を撮影し、撮影した結果取得したＨＭＤ１０１の位置姿勢の情報（座標の情報）をＰＣ１００に送信する。

尚、図１に示す各種端末、マーカ等の構成は一例であり、用途や目的に応じて様々な構成例がある。例えば、図１の説明においては、ＨＭＤ１０１の空間上の位置姿勢を特定するために赤外線カメラを用いたが、ＨＭＤ１０１の位置や姿勢を特定できれば、どのような形態でも構わない。例えば、部屋の壁面に予め大きさ・識別情報が登録されたマーカを貼り付けておき、ＨＭＤが撮像した画像中の３つのマーカ（その位置は既知）それぞれのサイズから、ＨＭＤ１０１からそれぞれまでの位置検出マーカまでの距離を求める。そして、逆に、３つの位置検出マーカから求めた３つの距離が重なる位置を、ＨＭＤ１０１の位置として決定するようにしてもよい。ＨＭＤの向いている角度は、当該画像中のマーカの傾きから算出可能である。以上が図１の、本発明の実施形態における、情報処理システムの構成の一例についての説明である。

次に図２を参照して、本発明の実施形態における、各種装置のハードウェア構成の一例について説明する。図２は、本発明の実施形態における、各種装置のハードウェア構成の一例を示す図である。尚、図２のＰＣ１００とＨＭＤ１０１のハードウェアの構成は一例であり、用途や目的に応じて様々な構成例がある。

まず、ＰＣ１００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、システムバス２０４、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、通信Ｉ／Ｆコントローラ２０８、入力デバイス２０９、ディスプレイ２１０、外部メモリ２１１等を備える。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムや、各種装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。

また、入力コントローラ（入力Ｃ）２０５は、キーボードやマウス２５０等のポインティングデバイスからの入力を制御する。

ビデオコントローラ（ＶＣ）２０６は、ディスプレイ２１０等の表示器への表示を制御する。表示器は液晶ディスプレイでもＣＲＴでも構わない。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の外部メモリ２１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ（通信Ｉ／ＦＣ）２０８は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。通信Ｉ／Ｆコントローラ２０８は、赤外線カメラ１０４との通信を制御する。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明のＰＣ１００が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ２１１に格納されている。

次に、ＨＭＤ１０１は、右目ビデオカメラ２２１、左目ビデオカメラ２２２、右目ディスプレイ２２３、左目ディスプレイ２２４、コントローラ２２５等を備える。

右目ビデオカメラ２２１と、左目ビデオカメラ２２２は、現実世界を撮影するビデオカメラである。右目ビデオカメラ２２１は、右目ディスプレイ２２３に表示するための画像を撮影し、左目ビデオカメラ２２２は、左目ディスプレイ２２４に表示するための画像を撮影する。撮影された画像（現実空間画像）は、コントローラ２２５がＰＣ１００に送信し、通信Ｉ／Ｆコントローラ２０８を通じてＰＣ１００が受信する。

ＰＣ１００から通信Ｉ／Ｆコントローラ２０８を通じて複合現実画像が送信されると、コントローラ２２５が受信し、受信した複合現実画像を右目ディスプレイ２２３と左目ディスプレイ２２４に表示させる。この時、右目ビデオカメラ２２１で撮影された現実空間画像に基づいて生成された複合現実画像は、右目ディスプレイ２２３に表示し、左目ビデオカメラ２２２で撮影された現実空間画像に基づいて生成された複合現実画像は、左目ディスプレイ２２４に表示する。以上が図２の、本発明の実施形態における、各種装置のハードウェア構成の一例についての説明である。

次に図３を参照して、本発明の実施形態における、各種装置の機能構成の一例について説明する。図３は、本発明の実施形態における、各種装置の機能構成の一例を示す図である。

ＰＣ１００のマーカ情報記憶部３０１は、マーカの画像（識別画像）、マーカのサイズ、マーカのＩＤ、いずれのオブジェクトと当該マーカが対応付けられているかを記憶する記憶部である。撮像画像受信部３０２は、ＨＭＤ１０１より現実画像である撮像画像を受信して取得する処理部である。

位置情報受信部３０３は、赤外線カメラ１０４からＨＭＤ１０１の位置・姿勢の情報を受信して取得する処理部である。

オブジェクト記憶部３０４は、オブジェクト（３次元モデル）の情報を記憶する記憶部である。オブジェクト配置位置特定部３０５は、オブジェクトを配置する位置を、撮像画像のマーカ位置等から特定する特定部である。

手情報取得部３０６は、撮像画像から手（手の画像）を検出し、検出した手の数、空間上の手の位置の情報を取得する。手の位置は、例えば、三角測量でＨＭＤのカメラから手までの距離を測定し、ＰＣ１００が、当該ＨＭＤ１０１から手までの距離の情報とＨＭＤ１０１の位置・姿勢の情報から、空間上の手の位置（座標）を特定するものとする。

オブジェクト透過判定部３０７は、手情報取得部３０６で取得された手の情報（例えば手の数の情報）を用いて、オブジェクトを透過するか（オブジェクトを透過して重畳した重畳画像を生成するか）を判定する判定部である。例えば、撮像画像中の手の数が所定数以上か判定し、所定数以上である場合に、ターゲットマーカ１０５に対応するオブジェクトを透過するものと判定する。

例えば、撮像画像において手が２つ以上検出された場合であって、ターゲットマーカ１０５が検出された場合、当該ターゲットマーカ１０５の添付されたモック１０３の受け渡しが行われるものと判断し、モック１０３が見えるように（受け渡しの際、受け取り側のユーザがモック１０３を取り落としたりすることのないように）、モック１０３に重畳された、ターゲットマーカ１０５に対応するオブジェクトを透過すると決定するものである。

オブジェクト透過処理部３０８は、オブジェクト透過判定部３０７による判定結果に従って、撮像画像と、ＨＭＤの位置・姿勢の情報、ターゲットマーカの大きさ・角度から特定されるオブジェクトの描画位置の情報、手情報取得部３０６で取得された手の情報（例えば手の数の情報）を用いて、透過したオブジェクトの描画処理を行う。

重畳画像生成部３０９は、オブジェクト透過処理部３０８で描画した透過されたオブジェクトを、撮像画像に重畳した重畳画像（ＭＲ画像）を生成する生成部である。生成した重畳画像は、ＨＭＤ１０１に表示させるにあたって視差合わせが行われる。

重畳画像送信部３１０は、重畳画像生成部３０９により生成された重畳画像を、ＨＭＤ１０１に送信する送信部である。

ＨＭＤ１０１の撮像処理部３１１は、現実画像（撮像画像）を撮像する。また、撮像画像送信部３１２は、撮像処理部で撮像して取得した撮像画像をＰＣ１００に送信する。重畳画像受信部３１３は、重畳画像を受信し、重畳画像表示部３１４は、受信した重畳画像をディスプレイに表示する。

赤外線カメラ１０４の撮像処理部３２１は、ＨＭＤ１０１に設置された光マーカを撮像する処理部である。位置情報送信部３２２は、当該撮像処理部３２１で撮像した情報を以て、ＨＭＤ１０１の位置・姿勢を特定し、当該位置・姿勢の情報をＰＣ１００に送信する。以上が図３の、本発明の実施形態における、各種装置の機能構成の一例についての説明である。

次に図４を参照して、本発明の実施形態における、重畳画像の表示処理の流れについて説明する。図４は、本発明の実施形態における、重畳画像の表示処理の流れを示すフローチャートである。

図４の処理の説明後、図５の図を参照して、本発明の第１の実施形態〜第４の実施形態について説明する。図４は、第１の実施形態〜第４の実施形態における共通の処理である。

ＨＭＤ１０１は、撮像処理の開始指示を受け付ける（ステップＳ４０１）。また、一方、ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１より撮像画像を取得した場合に、重畳画像を生成してＨＭＤに返信する処理を開始する指示を受け付け、待機する（ステップＳ４０７）。

赤外線カメラ１０４は、ＨＭＤ１０１の位置を検知すべく撮像処理の開始指示を受け付ける（ステップＳ４１３）。尚、ＨＭＤ１０１には、赤外線カメラで位置を検出可能にすべく、赤外線センサが設置されているものとする。

ＨＭＤ１０１は、撮像処理を行い（例えばマーカ画像を撮像して／ステップＳ４０２）、撮像した画像である撮像画像（現実画像）をＰＣ１００に順次送信する（ステップＳ４０３）。ここでいう撮像処理は例えばビデオ撮像である。

赤外線カメラ１０４は、撮像処理を行い（ステップＳ４１４）、ＨＭＤの位置、姿勢の情報をＰＣ１００に送信する（ステップＳ４１５）。当該ＨＭＤの位置とは、ＭＲ空間上の位置である。ここでは、予め定義された仮想空間の原点と、現実空間の所定の位置との位置合わせ（ＭＲ空間を定義）が行われていることを前提とし、赤外線カメラ１０４は、当該原点からのＨＭＤの相対位置（相対座標）、及び、ＨＭＤの角度・方向の情報を取得して、ＰＣ１００に送信する。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１より撮像画像を受信して外部メモリに記憶し、（ステップＳ４０８）、赤外線カメラ１０４よりＨＭＤの位置・姿勢の情報を受信して、随時外部メモリに記憶する（ステップＳ４０９）。

ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１より受信した撮像画像（現実画像）に、仮想空間上に配置したオブジェクトの画像を重畳した重畳画像（ＭＲ画像）を生成する処理を実行する（ステップＳ４１０）。

本発明の第１の実施形態における、重畳画像の生成処理（ステップＳ４１０）の詳細については、図５〜図８の説明で後述する。

本発明の第２の実施形態における、重畳画像の生成処理（ステップＳ４１０）の詳細については、図９〜図１１の説明で後述する。

本発明の第３の実施形態における、重畳画像の生成処理（ステップＳ４１０）の詳細については、図１２〜図１４の説明で後述する。

本発明の第４の実施形態における、重畳画像の生成処理（ステップＳ４１０）の詳細については、図１５〜図１６の説明で後述する。

ＰＣ１００のＣＰＵ２０１は、ステップＳ４１０で生成した重畳画像をＨＭＤ１０１に送信し（ステップＳ４１１）、ＨＭＤ１０１が重畳画像を受信して（ステップＳ４０４）、表示画面に表示する（ステップＳ４０５）。

ＨＭＤ１０１は撮像処理の終了指示を受け付けたか判定し（ステップＳ４０６）、終了指示を受け付けた場合には処理を終了し（ステップＳ４０６でＹＥＳ）、終了指示を受け付けていない場合は撮像処理を継続する（ステップＳ４０６でＮＯ／ステップＳ４０２に処理を戻す）。

ＰＣ１００のＣＰＵ２０１は、重畳画像を生成してＨＭＤに返信する処理を終了する終了指示を受け付けたか判定し（ステップＳ４１２）、終了指示を受け付けた場合には処理を終了し（ステップＳ４１２でＹＥＳ）、終了指示を受け付けていない場合は処理を継続する（ステップＳ４１２でＮＯ／ステップＳ４０８に処理を戻す）。

赤外線カメラ１０４は撮像処理の終了指示を受け付けたか判定し（ステップＳ４１６）、終了指示を受け付けた場合には処理を終了し（ステップＳ４１６でＹＥＳ）、終了指示を受け付けていない場合は撮像処理を継続する（ステップＳ４１６でＮＯ／ステップＳ４１４に処理を戻す）。以上が図４の、本発明の実施形態における、重畳画像の表示処理の流れについての説明である。

＜第１の実施形態＞

次に図５〜図８を参照して、本発明の第１の実施形態について説明する。本発明の第１の実施形態においては、撮像画像から検出された手の数に応じて、ターゲットマーカに重畳するオブジェクトを透過し、現実物体の存在をユーザに通知する。

図５を参照して、本発明の第１の実施形態における、重畳画像の生成処理の流れについて説明する。

ＰＣ１００のＣＰＵ２０１は、撮像画像を解析してターゲットマーカ１０５の画像を１つ取得し、外部メモリに記憶されているマーカ画像と比較して当該ターゲットマーカ１０５のどのＩＤのマーカかを特定する（ステップＳ５０１）。そして、当該マーカに対応する
オブジェクトを外部メモリより取得する。

ここで図６を参照して、本発明の第１の実施形態において用いる各種データの構成の一例について説明する。図６に示す各データは、ＰＣ１００の外部メモリに記憶されているものとする。

マーカ情報６００は、オブジェクトを空間上に配置するために用いられるマーカの情報である。マーカＩＤ６０１は、マーカの識別情報である。サイズ６０２は、マーカのサイズであり、マーカイメージは、それぞれ一意に識別可能なマーカの画像データ（識別画像）である。

オブジェクト対応付け情報６１０は、マーカと、オブジェクトの対応付けを示し、オブジェクトの空間上の座標を記憶するテーブルである。オブジェクトＩＤ６１１は、オブジェクトを一意に識別するための識別情報である。

マーカＩＤ６１２は、マーカの識別情報であり、オブジェクトＩＤ６１１の示すオブジェクトがいずれのマーカＩＤのマーカに対応付けられているかを示す。ＰＣ１００のＣＰＵ２０１は、マーカＩＤ６１２のマーカ（ターゲットマーカ）を検出した場合、当該マーカの中心点を原点とし、当該マーカの傾きからＸ軸、Ｙ軸、Ｚ軸を算出して、オブジェクトＩＤ６１１のオブジェクトを、オブジェクト相対座標６１３の示す位置に配置する。

オブジェクト世界座標６１４は、オブジェクトＩＤ６１１の示すオブジェクトの、空間上における原点からの相対座標（ＭＲ空間内における世界座標）を示す。オブジェクト世界座標は、当該オブジェクトに対応するターゲットマーカを撮像するＨＭＤ１０１の位置・姿勢の情報、及び当該ＨＭＤ１０１によって撮像された当該ターゲットマーカの大きさ、方向、傾き等の情報を用いて、逐次、ＰＣ１００のＣＰＵ２０１が算出し、オブジェクト世界座標６１４に記憶するものとする。つまり、オブジェクト世界座標６１４の値は、ＨＭＤ１０１がマーカＩＤ６１２のターゲットマーカを撮像し、当該ターゲットマーカが空間上（ＭＲ空間上）を移動することで変動する。

オブジェクト情報６２０は、オブジェクト（ＰＣ１００で読込可能な３次元画像ファイル（例えば３次元ＣＡＤファイル）であるものとする）と、当該オブジェクトの識別情報であるオブジェクトＩＤ６２１の対応付け情報である。

また、当該オブジェクトＩＤ６２１のオブジェクトを透過して描画するか否かを示す透過フラグ６２３が対応付けて記憶されている。透過フラグ６２３＝１の場合、当該オブジェクトの透過率を、透過率６２４の示す透過率に変更する。第１の実施形態においては、透過率６２４は一律で５０％の値が設定されているものとする。透過フラグ６２３＝０の場合、オブジェクトを透過しない。つまり、オブジェクトの透過率を０％とする。

透過条件６３０は、オブジェクトを透過する条件（透過フラグ６２３を１に変更するための条件）である。第１の実施形態において、透過条件６３０は、手検出数６３１である。手検出数６３１において、ｎ＝撮像画像から検出された手の数である。

つまり、第１の実施形態においては、撮像画像から検出された手の数≧２（所定の数）である場合に、透過フラグ６２３を１に変更する。当該手検出数６３１の値は、ユーザ操作に応じて、ＰＣ１００に表示される不図示の設定画面から任意に変更可能であるものとする。以上が図６の説明である。

図５の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ＨＭＤ１０１から取得した撮像画像より手の画像を検出する（ステップＳ５０３）。例えば、手の形状、色を予めＰＣ１００の外部メモリに記憶しておき、当該手の形状、色と所定以上類似する画像を手の画像として特定し、手（ユーザの体の一部／請求項でいう身体情報）を検出するものとする。そして、手検出数６３１を参照して、所定数以上の手が検出されたか判定する（ステップＳ５０４）。

所定数以上の手が検出されたと判定された場合（ステップＳ５０４でＹＥＳ）、ステップＳ５０２で取得したオブジェクトの透過フラグ６２３を１に変更し、透過率を５０％に変更して（ステップＳ５０５）、当該透過されたオブジェクトを撮像画像に重畳して重畳画像を生成する（ステップＳ５０６）。オブジェクトの透過表示（透過されたオブジェクトが重畳された重畳画像）の様子については、図７及び図８の説明に示す。

手の検出に応じて、現実物体（ターゲットマーカ１０５が貼り付けられたモック１０３）の受け渡しに際し、オブジェクトを透過表示して、オブジェクトが重畳された、オブジェクトが対応付けられている現実物体が視認可能になる。つまり、現実物体の受け渡しが容易になる。

所定数以上の手が検出されなかったと判定された場合（ステップＳ５０４でＮＯ）、ステップＳ５０２で取得したオブジェクトの透過フラグ６２３を０に変更し、透過率を０％に変更して（ステップＳ５０７）、当該非透過状態のオブジェクトを撮像画像に重畳して重畳画像を生成する（ステップＳ５０８）。

ＰＣ１００のＣＰＵ２０１は、撮像画像中の全てのマーカについてステップＳ５０１〜Ｓ５０８の処理を適用したかを判定し（ステップＳ５０９）、全てのマーカについてステップＳ５０１〜Ｓ５０８の処理を適用していないと判定した場合（ステップＳ５０９でＮＯ）、処理をステップＳ５０１の前に戻して、ステップＳ５０１で、未処理のマーカを取得する。

全てのマーカについてステップＳ５０１〜Ｓ５０８の処理を適用したと判定した場合（ステップＳ５０９でＹＥＳ）、処理を終了する。以上が図５の説明である。

図７及び図８は、本発明の第１の実施形態における、オブジェクトの透過表示の様子を示す図である。図７は、透過条件６３０（手検出数６３１）＝ｎ≧２である場合の、オブジェクトの透過表示の様子を示す。状態７００は、ＨＭＤ１０１のカメラで撮像された現実画像である。状態７１０は、撮像画像に、モック１０３のターゲットマーカ１０５に対応付けられたオブジェクト７１１を重畳した重畳画像である。手の検出数は１であるため、オブジェクト７１１は透過率＝０％で描画、重畳されている。

状態７２０は、手を２つ検出した場合の重畳画像を示す。手を２つ検出することで（モックの受け渡しが行われるものと推測して）、オブジェクトを透過している。オブジェクトが透過されることにより、状態７２０に示すように、状態７１０ではオブジェクトが重なって見えなかったモック１０３とマーカ１０５が視認可能となっている。

つまり、オブジェクトの受け渡しに際し、オブジェクトに対応する現実物体の存在をユーザに通知することが可能となっている。

また、図８は、透過条件６３０（手検出数６３１）＝ｎ≧３である場合の、オブジェクトの透過表示の様子を示す。状態８００は、図７の状態７００と同様である。状態８１０は、撮像画像に、モック１０３のターゲットマーカ１０５に対応付けられたオブジェクト７１１を重畳した重畳画像である。手の検出数は２以下であるため、オブジェクト７１１は透過率＝０％で描画、重畳されている。

状態８２０は、手を３つ検出した場合の重畳画像を示す。手を３つ検出することで（モックの受け渡しが行われるものと推測して）、オブジェクトを透過している。オブジェクトが透過されることにより、状態８２０に示すように、状態８１０ではオブジェクトが重なって見えなかったモック１０３とマーカ１０５が視認可能となっている。

以上が本発明の第１の実施形態の説明である。本発明の第１の実施形態によれば、オブジェクトの受け渡しに際し、オブジェクトに対応する現実物体の存在をユーザに通知することが可能である。

＜第２の実施形態＞

次に図９〜図１１を参照して、本発明の第２の実施形態について説明する。本発明の第２の実施形態においては、撮像画像から検出された手とオブジェクトとの距離に応じて、ターゲットマーカに重畳するオブジェクトを透過し、現実物体の存在をユーザに通知する。

図９を参照して、本発明の第２の実施形態における、重畳画像の生成処理の流れについて説明する。図９の処理をするまでの前処理である図４の処理については上述したため説明は割愛する。

また、ステップＳ５０１〜Ｓ５０３の処理は、第１の実施形態と同様の処理であるため、説明は割愛する。

ＰＣ１００のＣＰＵ２０１は、検出した手の、ＭＲ空間上の座標を特定する（ステップＳ９０１）。具体的には、ＰＣ１００のＣＰＵ２０１が、検出した手の画像を参照し、三角測量の技術を用いて、ＨＭＤ１０１から見た手までの距離・手の位置を算出する。そして、ＨＭＤ１０１の位置・姿勢から、当該三角測量で算出した手までの距離・手の位置の情報を用いて、ＭＲ空間上の手の座標（位置）を特定するものとする。当該手の座標の特定処理は、検出された手の数だけ行われる。
ステップＳ９０１で特定された手の座標の情報は、随時、ＰＣ１００の外部メモリに記憶される。

ここで図１０を参照して、本発明の第２の実施形態において用いる各種データの構成の一例を示す図である。図１０に示す各データは、ＰＣ１００の外部メモリに記憶されているものとする。

マーカ情報１０００は、図６のマーカ情報６００と同一のため、説明は割愛する。オブジェクト対応付け情報１０１０は、マーカとオブジェクトの対応付けを示し、オブジェクトの空間上の座標を記憶するテーブルである。更に、オブジェクトが他のオブジェクトと接触しているか、また、どのオブジェクトと接触しているかを記憶するテーブルである。

オブジェクトＩＤ１０１１、マーカＩＤ１０１２、オブジェクト相対座標１０１３、オブジェクト世界座標１０１４は、図６のオブジェクトＩＤ６１１、マーカＩＤ６１２、オブジェクト相対座標６１３、オブジェクト世界座標６１４と同一のため、説明は割愛する。

接触先オブジェクト１０１５は、オブジェクトＩＤ１０１１が接触しているオブジェクトである。当該オブジェクトの接触判定（他のオブジェクトと接触しているか、及び、どのオブジェクトと接触しているか）は、ＰＣ１００のＣＰＵ２０１が、各オブジェクトのオブジェクト世界座標１０１４、及び、各オブジェクトの形状（オブジェクト１０２２から特定）を用いて行う。当該オブジェクト同士の接触判定は、既存の技術のため、ここでは説明を割愛する。

接触フラグ１０１６は、接触しているオブジェクトの少なくともいずれか一方が手のオブジェクトである場合（図１０でいう、オブジェクトＩＤ１０１１＝ｈａｎｄ１１１〜４４４）、接触状態であるものとして、１の値が挿入される。接触しているオブジェクトのいずれもが手のオブジェクトでない場合、非接触状態であるものとして、０の値が挿入される。

オブジェクト情報１０２０は、図６のオブジェクト情報６２０と同一のため説明は割愛する。尚、透過フラグ１０２３＝ｎｕｌｌは、透過しない（透過不可能な）種別のオブジェクトであることを示す。

透過条件１０３０は、オブジェクトを透過する条件（透過フラグ１０２３を１に変更するための条件）である。第２の実施形態において、透過条件１０３０は、手検出数１０３１、所定距離１０３２、接触フラグ１０３３である。手検出数１０３１において、ｎ＝撮像画像から検出された手の数である。また、所定距離１０３２は、ＨＭＤ１０１からの所定距離内に手検出数１０３１を満たすだけの数の手があるかを判定するための条件である。接触フラグ１０３３は、当該所定距離１０３２にある手の内少なくとも１つの手が、オブジェクトに接触しているかを判定するための条件である。

第２の実施形態において、手検出数１０３１、所定距離１０３２、接触フラグ１０３３はＡＮＤ条件である。つまり、透過条件１０３０によれば、撮像画像から検出された手の数≧２（所定の数）であって、且つ、当該２以上の手がＨＭＤ１０１の周囲２ｍ以内（所定の距離範囲内）に存在し、当該ＨＭＤ１０１の周囲２ｍ以内に存在する手のいずれか１つでもオブジェクト（例えば後述の図１１でいうオブジェクト１１１１）に接触している場合に、オブジェクト１１１１の透過フラグ１０２３を１に変更する。当該手検出数１０３１及び所定距離１０３２の値は、ユーザ操作に応じて、ＰＣ１００に表示される不図示の設定画面から任意に変更可能であるものとする。以上が図１０の説明である。
図９の説明に戻る。

ＰＣ１００のＣＰＵ２０１は、外部メモリに記憶されている手のオブジェクトを１つ取得して（ステップＳ９０２）、手のオブジェクトをステップ０Ｓ９０１で特定した座標に、ステップＳ５０２で取得したオブジェクトをステップＳ５０１で特定されたターゲットマーカの座標に基づいて、それぞれ仮想空間上に配置する（ステップＳ９０３）。

尚、当該手のオブジェクトは、オブジェクトＩＤ１０１１＝ｈａｎｄ１１１〜のオブジェクトとして、予めＰＣ１００の外部メモリに記憶されている。当該手のオブジェクトは、手が検出されたタイミングで外部メモリから読み出され、オブジェクト情報１０２０、オブジェクト対応付け情報１０１０に追加され、手が検出されなくなったタイミングで、オブジェクト情報１０２０、オブジェクト対応付け情報１０１０から削除されるものとする。手のオブジェクトのオブジェクト世界座標１０１４には、ステップＳ９０１で特定された手の座標が記憶され、随時更新される。

ＰＣ１００のＣＰＵ２０１は、所定距離１０３２を参照して、ＨＭＤ１０１の位置（ステップＳ４０９で取得して、外部メモリに記憶されている座標）から周囲２ｍ以内にある手のオブジェクトを、手のオブジェクトのオブジェクト世界座標１０１４を参照して特定する（ステップＳ９０４）。

ＰＣ１００のＣＰＵ２０１は、手検出数１０３１を参照して、ＨＭＤ１０１の周囲２ｍ以内に、手が所定数以上あるか判定する（ステップＳ５０４）。ＨＭＤ１０１の周囲２ｍ以内に、手が所定数以上ないと判定された場合（ステップＳ５０４でＮＯ）、処理をステップＳ５０７に移行する。ステップＳ５０７以降の処理は図５で説明した内容と同一のため、ここでは説明を割愛する。

ＨＭＤ１０１の周囲２ｍ以内に、手が所定数以上あると判定された場合（ステップＳ５０４でＹＥＳ）、ＰＣ１００のＣＰＵ２０１は、当該ＨＭＤ１０１の周囲２ｍ以内に存在する手のオブジェクトの接触先オブジェクト１０１５、接触フラグ１０１６を参照して、当該ＨＭＤ１０１の周囲２ｍ以内に存在する手のオブジェクトのいずれかが、ステップＳ５０２で取得したオブジェクトと接触しているかを判定する（ステップＳ９０５）。

ＨＭＤ１０１の周囲２ｍ以内に存在する手のオブジェクトのいずれも、オブジェクトと接触していないと判定された場合（ステップＳ９０５でＮＯ）、処理をステップＳ５０７に移行する。ＨＭＤ１０１の周囲２ｍ以内に存在する手のオブジェクトのいずれかが、オブジェクトと接触していると判定された場合（ステップＳ９０５でＹＥＳ）、処理をステップＳ５０５に移行する。ステップＳ５０５以降の処理は図５で説明した内容と同一のため、ここでは説明を割愛する。以上が図９の説明である。

図１１を参照して、本発明の第２の実施形態における、オブジェクトの透過表示の様子について説明する。状態１１００は、ＨＭＤ１０１のカメラで撮像された現実画像の状態を示す。状態１１１０は、撮像画像に、モック１０３のターゲットマーカ１０５に対応付けられたオブジェクト１１１１を重畳した重畳画像である。また、１１１２は、別途、ＭＲ空間上の所定の座標に配置されたオブジェクトである。

状態１１２０は、手を２つ検出した場合の重畳画像を示す。手を２つ検出することで（モックの受け渡しが行われるものと推測して）、手の接触しているオブジェクト（受け渡しがされると推測されるオブジェクト）を透過している。一方、手が接触していないオブジェクトは（受け渡しがされないと推測し）、透過をせずに描画・重畳している。

オブジェクトが透過されることにより、状態１１２０に示すように、状態１１１０ではオブジェクトが重なって見えなかったモック１０３とマーカ１０５が視認可能となっている。以上が図１１の説明である。

以上が本発明の第２の実施形態の説明である。本発明の第２の実施形態によれば、オブジェクトの受け渡しに際し、オブジェクトに対応する現実物体の存在をユーザに通知することが可能である。

具体的には、ＨＭＤから所定範囲内に手があり、手のいずれかがターゲットマーカに対応するオブジェクトに接触している場合に、ターゲットマーカに対応するオブジェクト（接触中のオブジェクト）を透過させることで、ターゲットマーカの付された現実物体を視認可能にすることができる。

例えば、２人以上のユーザのいずれかがオブジェクトに触れて相手に受け渡そうとしており、且つ、手が、ＨＭＤから近い位置にあるユーザ自身の手、又はオブジェクトを受け取るユーザ／渡すユーザの手であると判断された場合に、オブジェクトを透過するものである。

尚、上述した第２の実施形態においては、ＨＭＤ１０１から所定距離内に、所定数以上の手があり、手がオブジェクトに接触している場合にオブジェクトの透過処理を行っているが、例えば、単純に所定数以上の手が検出され、手がオブジェクトに接触している場合にオブジェクトの透過処理を行うようにしてもよい。具体的には、図９のステップＳ９０４をスキップして、ステップＳ５０４の判定を、ステップＳ５０３で検出した手の総数に対して実行し、図９の処理を実行することで実現可能である。

＜第３の実施形態＞

次に図１２〜図１４を参照して、本発明の第３の実施形態について説明する。本発明の第３の実施形態においては、撮像画像から検出された手の情報と、オブジェクトとＨＭＤが接近しているか否かに応じて、ターゲットマーカに重畳するオブジェクトを透過し、現実物体の存在をユーザに通知する。

図１２を参照して、本発明の第３の実施形態における、重畳画像の生成処理の流れについて説明する。図１２の処理をするまでの前処理である図４の処理については上述したため説明は割愛する。

ステップＳ５０１〜Ｓ５０４の処理は、第１の実施形態と同様の処理であるため、説明は割愛する。また、ステップＳ９０１〜Ｓ９０５の処理は、第２の実施形態と同様の処理であるため、説明は割愛する。

ＰＣ１００のＣＰＵ２０１は、ステップＳ１２０１で、ステップＳ５０２で取得した（ステップＳ９０５でＹＥＳと判定された）オブジェクトの移動量を特定する。つまり、オブジェクトがどの程度の速度で、どの程度の距離、どの方向に向けて移動しているかを特定する。オブジェクトの移動量の情報は、例えば図１３に示すような、ＰＣ１００のＣＰＵ２０１が、ＰＣ１００の外部メモリに随時記憶しているオブジェクトの座標の履歴を用いて特定される。

図１３は、本発明の第３の実施形態において用いる各種データの構成の一例を示す図である。図１３に示す各データは、ＰＣ１００の外部メモリに記憶されているものとする。オブジェクト移動履歴１３００は、オブジェクト（オブジェクトＩＤ１３０１）ごとに、所定のタイミングで（例えば、ステップＳ９０３でオブジェクトが配置されるタイミングで）随時記憶され、更新される。時刻１３０２は、オブジェクトＩＤ１３０１のオブジェクトが、オブジェクト世界座標１３０３に存在した時刻の情報である。

また、ＨＭＤ座標履歴１３１０は、ＨＭＤ１０１（ＨＭＤ ＩＤ１３１１）ごとに、所定のタイミングで（例えば、ステップＳ４０９でＨＭＤ１０１の位置・姿勢の情報を受信して記憶するタイミングで）随時記憶され、更新される。時刻１３１２は、ＨＭＤ ＩＤ１３１１のＨＭＤ１０１が、ＨＭＤ世界座標１３１３に存在した時刻の情報である。以上が図１３の説明である。

図１２の説明に戻る。ＰＣ１００のＣＰＵ２０１は、ステップＳ５０２で取得した（ステップＳ９０５でＹＥＳと判定された）オブジェクトが、ＨＭＤ１０１に接近したか判定する（ステップＳ１２０２）。ここでは、１秒前から５ｃｍ以上（所定の値以上）ＨＭＤ１０１と当該オブジェクトが接近したかを、オブジェクト座標履歴１３００、ＨＭＤ座標履歴１３１０を参照して判定するものとする。

当該所定の値（不図示／ＸＸ秒前からＸＸ以上接近したか、という条件を示す値）は、予め、ＰＣ１００の外部メモリに記憶されているものとする。また、当該所定の値は、ユーザ操作に応じて、ＰＣ１００に表示される不図示の設定画面から任意に変更可能であるものとする。

ＰＣ１００のＣＰＵ２０１は、オブジェクトがＨＭＤ１０１に接近したと判定した場合（ステップＳ１２０２でＹＥＳ）、処理をステップＳ５０５に移行し、オブジェクトがＨＭＤ１０１に接近していないと判定した場合（ステップＳ１２０２でＮＯ）、処理をステップＳ５０７に移行する。ステップＳ５０５以降の処理は図５で説明した内容と同一のため、ここでは説明を割愛する。以上が図１２の説明である。
図１４は、本発明の第３の実施形態における、各ＨＭＤにおけるオブジェクトの通常表示及び透過表示の様子を示す図である。

状態１４００、状態１４１０は、オブジェクトを受け取る側のユーザが装着しているＨＭＤ１０１Ａの画面状態を示す。状態１４５０、状態１４６０は、オブジェクトを渡す側のユーザが装着しているＨＭＤ１０１Ｂの画面状態を示す。

状態１４００は、ＨＭＤ１０１Ａに表示されている、ＨＭＤ１０１Ｂのユーザがオブジェクト１４０１（ターゲットマーカ１０５の付されたモック１０３）を持っている重畳画像の状態を示す。状態１４１０への画面遷移の様子から分かるとおり、ＨＭＤ１０１Ａ（受け取る側のユーザ）とオブジェクト１４０１が接近した場合に、オブジェクト１４０１を１４１１に示すように透過する。

状態１４５０は、ＨＭＤ１０１Ｂに表示されている、ＨＭＤ１０１Ｂのユーザがオブジェクト１４０１（ターゲットマーカ１０５の付されたモック１０３）を持っている重畳画像の状態を示す、状態１４００と同時刻の画像である。状態１４６０は、状態１４１０と同時刻の画像である。状態１４５０から状態１４６０に移行するにあたり、オブジェクト１４０１はＨＭＤ１０１Ｂから離れている（接近していない）ため、透過処理は行わない。つまり、オブジェクト（ターゲットマーカ１０５の付されたモック１０３）の受け取り手のユーザに対して、オブジェクトを透過して確認させるものである。以上が図１４の説明である。

以上が本発明の第３の実施形態の説明である。本発明の第３の実施形態によれば、オブジェクトの受け渡しに際し、オブジェクトに対応する現実物体の存在をユーザに通知することが可能である。

具体的には、手の状態（手が所定数以上か、手がオブジェクトに触れているか等）と、オブジェクトがユーザに接近している（ユーザがオブジェクトの受け取り手であると推測される）場合に、オブジェクトを透過するものである。

尚、上述した第３の実施形態においては、ＨＭＤ１０１から所定距離内に、所定数以上の手があるか、また、手が接触しているオブジェクトがＨＭＤ１０１に接近したかに応じてオブジェクトの透過処理を行っているが、例えば、所定数以上の手が検出され、オブジェクトがＨＭＤ１０１に接近したかに応じてオブジェクトの透過処理を行うようにしてもよい。具体的には、図１２のステップＳ９０２〜Ｓ９０４、Ｓ９０５をスキップして図１２の処理を実行することで実現可能である。

また、例えば、手とオブジェクトが接触している状態で、オブジェクトがＨＭＤ１０１に接近したかに応じてオブジェクトの透過処理を行うようにしてもよい。具体的には、図１２のステップＳ９０４、Ｓ５０４をスキップして図１２の処理を実行することで実現可能である。

＜第４の実施形態＞

次に図１５、図１６を参照して、本発明の第４の実施形態について説明する。本発明の第４の実施形態においては、２つ以上のＨＭＤ１０１のカメラで同じオブジェクトが撮像されている場合に、撮像画像から検出された手の状態に応じて、ターゲットマーカに重畳するオブジェクトを透過し、現実物体の存在をユーザに通知する。

図１５を参照して、本発明の第４の実施形態における、重畳画像の生成処理の流れについて説明する。図１５の処理をするまでの前処理である図４の処理については上述したため説明は割愛する。

ＰＣ１００ＡのＣＰＵ２０１は、ＰＣ１００Ｂに対して、ＨＭＤ１０１Ｂで撮像中のマーカの情報を要求する（ステップＳ１５０１）。尚、当該ＨＭＤ１０１Ｂで撮像中のマーカの情報は、図１６の撮像マーカＩＤ１６０２を示すものであり、後に実行するステップＳ５０１で撮像画像中より取得、特定されて、ＰＣ１００の外部メモリに記憶されるものとする。ここでは、既に一度ステップＳ５０１の処理が行われ、ＨＭＤ１０１で撮像中のマーカの情報が各ＰＣ１００に記憶済みであるものとして説明を行う。

ここで図１６を参照して、本発明の第４の実施形態において用いる各種データの構成の一例について説明する。図１６に示す各データは、ＰＣ１００の外部メモリに記憶されているものとする。

撮像マーカ情報１６００（識別画像情報記憶手段に該当）は、いずれのＨＭＤ１０１（ＨＭＤ ＩＤ１６０１）で、いずれのマーカが撮像中かを示す。撮像マーカＩＤ１６０２は、ＨＭＤ ＩＤ１６０１の示すＨＭＤ１０１で撮像中のマーカＩＤである。

透過率設定１６１０は、手の検出数と透過率の値を対応付けたテーブルである。手の検出数が２の場合は、オブジェクトの透過率（透過率１６２４）は、４０％に設定される。また、手の検出数が３の場合は、オブジェクトの透過率（透過率１６２４）は、６０％に設定される。また、手の検出数が４以上の場合は、オブジェクトの透過率（透過率１６２４）は、８０％に設定される。

例えば、オブジェクトを片手で渡し、片手で受け取る場合、手の検出数は２であると考えられる。例えば片手で持てるような軽い現実物体（モック１０３）であれば、取り落とした際の危険性が低いと推測し、低い透過率でオブジェクトを描画する。また、オブジェクトを両手で渡し、両手で受け取る場合、手の検出数は４であると考えられる。両手で渡し両手受け取るような重い現実物体、また、重要物等であれば、取り落とす危険性をより確実に低減するため、現実物体がよく見えるよう、高い透過率でオブジェクトを描画する。

オブジェクト情報１６２０のオブジェクトＩＤ１６２１、オブジェクト１６２２、透過フラグ１６２３は、図６のオブジェクトＩＤ６２１、オブジェクト６２２、透過フラグ６２３はと同じであるため説明は割愛する。透過率１６２４は、ＰＣ１００のＣＰＵ２０１が、手の検出数に応じて設定、変更する。以上が図１６の説明である。

図１５の説明に戻る。ＰＣ１００ＢのＣＰＵ２０１は、ＰＣ１００Ａより、ＨＭＤ１０１Ｂの撮像マーカ情報１６００の要求を受け付け（ステップＳ１５０２）、外部メモリより、ＨＭＤ１０１Ｂの撮像マーカ情報１６００を取得して、ＰＣ１００Ａに送信する（ステップＳ１５０３）。ＰＣ１００ＡのＣＰＵ２０１はこれを受信して、自装置内の撮像マーカ情報１６００（ＨＭＤ ＩＤ＝ＨＭＤ１０１Ｂに対応するデータ列）に記憶する。また、ステップＳ５０１において、ＨＭＤ１０１Ａの撮像画像よりマーカ画像を取得してマーカＩＤを特定し、自装置内の撮像マーカ情報１６００（ＨＭＤ ＩＤ＝ＨＭＤ１０１Ａに対応するデータ列）に記憶する。

ステップＳ５０２〜Ｓ５０４の処理は、第１の実施形態と同様の処理であるため、説明は割愛する。ステップＳ９０１〜Ｓ９０５の処理は、第２の実施形態と同様の処理であるため、説明は割愛する。ステップＳ１２０１、Ｓ１２０２の処理は、第３の実施形態と同様の処理であるため、説明は割愛する。

ＰＣ１００ＡのＣＰＵ２０１は、ステップＳ５０２で取得したオブジェクト（ステップＳ１２０２でＹＥＳと判定されたオブジェクト）が、複数のＨＭＤ１０１で撮像されているか判定する（ステップＳ１５０５）。ここでは、当該オブジェクトに対応するターゲットマーカがＨＭＤ１０１ＡとＨＭＤ１０１Ｂで撮像されている場合、当該オブジェクトが複数のＨＭＤ１０１で撮像されていると判定するものとする。

ステップＳ５０２で取得したオブジェクト（ステップＳ１２０２でＹＥＳと判定されたオブジェクト）が、複数のＨＭＤ１０１で撮像されていないと判定された場合（ステップＳ１５０５でＮＯ）、処理をステップＳ５０８に移行する。ステップＳ５０８以降の処理は図５の説明で前述したため、ここでは説明を割愛する。

ステップＳ５０２で取得したオブジェクト（ステップＳ１２０２でＹＥＳと判定されたオブジェクト）が、複数のＨＭＤ１０１で撮像されていると判定された場合（ステップＳ１５０５でＹＥＳ）、処理をステップＳ１５０６に移行する。つまり、撮像マーカ情報１６００において、ＨＭＤ ＩＤ１６０１＝ＨＭＤ１０１Ａの撮像マーカＩＤ１６０２と、ＨＭＤ ＩＤ１６０１＝ＨＭＤ１０１Ｂの撮像マーカＩＤ１６０２との両方に、当該オブジェクトに対応するマーカＩＤ（図６でいうマーカＩＤ６１２）が記憶されていた場合、処理をステップＳ１５０６に移行する。

ＰＣ１００ＡのＣＰＵ２０１は、透過率設定１６１０を参照し、ステップＳ５０３で検出した手の検出数に基づいて、当該オブジェクトの透過率を決定する（ステップＳ１５０６／透過率決定手段に該当）。そして、当該オブジェクトに対応する透過フラグ１６２３を１に変更し、透過率１６２４に、ステップＳ１５０６で決定した透過率の値を挿入して（ステップＳ１５０７）、当該オブジェクトをステップＳ１５０６で決定した透過率に従って透過して配置した重畳画像を生成する（ステップＳ１５０８）。
その後処理をステップＳ５１０に移行する。ステップＳ５１０の処理は図５の説明で前述したため、ここでは説明を割愛する。

以上が本発明の第４の実施形態の説明である。本発明の第４の実施形態によれば、オブジェクトの受け渡しに際し、オブジェクトに対応する現実物体の存在をユーザに通知することが可能である。

具体的には、手の状態（手が所定数以上か、手がオブジェクトに触れているか等）と、オブジェクトが複数のユーザによって見られている（２人以上のユーザ間でオブジェクトの受け渡しがあると推測される）場合に、オブジェクトを透過するものである。

また、検出した手の数によって、透過率を調整することができる。

尚、上述した第４の実施形態においては、ＨＭＤ１０１から所定距離内に、所定数以上の手があり、手が接触しているオブジェクトがＨＭＤ１０１に接近し、２人以上のユーザがオブジェクトを見ている（複数のＨＭＤがオブジェクトを撮像している）場合に、手の数に応じて透過率を変更したオブジェクトを描画して、重畳画像を生成するようにしたが、例えば、所定数以上の手が検出され、２人以上のユーザがオブジェクトを見ている場合に、オブジェクトを透過するようにしてもよい。具体的には、図１５のステップＳ９０１〜Ｓ９０４、Ｓ９０５、Ｓ１２０１、Ｓ１２０２をスキップして、ステップＳ１５０７及びＳ１５０８をそれぞれステップＳ５０５、Ｓ５０６に置き換えて図１５の処理を実行することで実現可能である。

また、例えば、オブジェクトに手が接触しており、２人以上のユーザがオブジェクトを見ている場合に、オブジェクトを透過するようにしてもよい。具体的には、図１５のステップＳ９０４、Ｓ１２０１、Ｓ１２０２をスキップして、ステップＳ１５０７及びＳ１５０８をそれぞれステップＳ５０５、Ｓ５０６に置き換えて図１５の処理を実行することで実現可能である。

また、例えば、所定数以上の手が検知され、オブジェクトがＨＭＤ１０１に接近し、また、２人以上のユーザがオブジェクトを見ている場合に、オブジェクトを透過するようにしてもよい。具体的には、図１５のステップＳ９０４をスキップして、ステップＳ１５０７及びＳ１５０８をそれぞれステップＳ５０５、Ｓ５０６に置き換えて図１５の処理を実行することで実現可能である。

また、例えば、手とオブジェクトが接触している状態で、オブジェクトがＨＭＤ１０１に接近し、また、２人以上のユーザがオブジェクトを見ている場合に、オブジェクトを透過するようにしてもよい。具体的には、図１５のステップＳ５０４、Ｓ１２０１、Ｓ１２０２をスキップして、ステップＳ１５０７及びＳ１５０８をそれぞれステップＳ５０５、Ｓ５０６に置き換えて図１５の処理を実行することで実現可能である。

また、上述した各実施形態において、ＰＣ１００に透過率設定１６１０を記憶させ、ステップＳ５０５・Ｓ５０６の処理を、ステップＳ１５０６〜Ｓ１５０８に置き換えてＰＣ１００に実行させることで、手の検出数に応じて透過率を変更させることが可能である。

手の検出数に応じて透過率を変更する実施形態においては、例えば、オブジェクトを片手で渡し、片手で受け取る場合（手の検出数が２である場合／例えば片手で持てるような軽い現実物体であれば、取り落とした際の危険性が低いと推測し）、低い透過率でオブジェクトを描画し、また、オブジェクトを両手で渡し、両手で受け取る場合（手の検出数が４である場合／両手で渡し両手受け取るような重い現実物体、また、重要物等であれば、取り落とす危険性をより確実に低減するため）現実物体がよく見えるよう、高い透過率でオブジェクトを描画する。

また、本発明の各実施形態においては、オブジェクト自体の透過率を変更して描画し、現実物体の存在をユーザに確認させるものとしたが、ユーザへの通知方法はこれに限るものではない。

例えば図１７に示すように、オブジェクトを透過する代わりに、手から所定範囲内にあるオブジェクト１７０１（オブジェクトの一部）を描画しないように制御する（１７１１）ことで、現実物体の存在をユーザに通知し、確認させるようにしてもよい。

また、例えば、オブジェクトを透過する代わりに、オブジェクトの色を変更することで、オブジェクトによって隠されている現実物体の存在をユーザに通知するようにしてもよい。

また、例えば、オブジェクトを透過する代わりに、オブジェクト自体のサイズを縮小して、オブジェクトと重なっている現実物体の存在をユーザに通知し、確認させるようにしてもよい。

また、本発明の実施形態においては、オブジェクトの受け渡しがされるか否かの判定基準として手を検出することを条件としたが、手に限らず、ユーザの体の少なくとも一部を検出したか判定するようにしてもよい。

例えば、第１の実施形態における手の検出数の代わりに、肌色（ユーザの体のいずれか）の検出数を条件としてもよい。

また、人感センサ等を用いて人の体温を検出し、手の検出数の代わりに、当該人感センサで検出された体温（人）の検出数を条件としてもよい。

また、ＨＭＤ１０１の位置を人の位置であるものとし、手の検出数の代わりに、視界内にＨＭＤ１０１が存在するかを特定して、当該特定されたＨＭＤの数を条件としてもよい。

以上説明したように、本発明によれば、オブジェクトの受け渡しに際し、オブジェクトに対応する現実物体の存在をユーザに通知することが可能な仕組みを提供することができる。

本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ ＰＣ
１０１ ＨＭＤ
１０２ マーカ
１０３ モック
１０４ 赤外線カメラ
１０５ 原点マーカ
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ システムバス
２０５ 入力コントローラ
２０６ ビデオコントローラ
２０７ メモリコントローラ
２０８ 通信Ｉ／Ｆコントローラ
２０９ 入力デバイス
２１０ ディスプレイ
２１１ 外部メモリ
２２１ 右目ビデオカメラ
２２２ 左目ビデオカメラ
２２３ 右目ディスプレイ
２２４ 左目ディスプレイ
２２５ コントローラ
２５０ マウス

Claims (15)

1. 表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置であって、
   ユーザの身体の一部を検出する検出手段と、
   前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトが移動している場合、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトと前記表示装置が接近した場合に、前記仮想オブジェクトの表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合とは、前記身体の一部の数が所定の数に達した場合であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態とは、前記仮想オブジェクトの画像を透過させた状態であって、
   前記オブジェクトの透過率を、前記検出手段で検出された前記身体の一部の数に応じて決定する透過率決定手段と、
   を備え、
   前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が、前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像を、前記透過率決定手段で決定された透過率に従って透過した状態とすることを特徴とする請求項４に記載の情報処理装置。
6. 前記検出手段は、ユーザの身体の一部としてユーザの手を検出することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記表示制御手段は、前記検出手段で検出された前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記表示装置と前記仮想オブジェクトとの距離が所定の距離範囲内の場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記検出手段で検出された前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記検出手段で検出した身体の一部の位置と前記仮想オブジェクトの位置との距離が所定の距離範囲内である場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトが、複数の前記表示装置にそれぞれ設置された複数の撮像装置の視野内にある場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段は、前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合であって、前記仮想オブジェクトが表示状態を変更すべきと記憶されたオブジェクトである場合に、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置の制御方法であって、
    ユーザの身体の一部を検出する検出工程と、
    前記検出工程で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御工程と、
    を備えることを特徴とする情報処理装置の制御方法。
12. 表示装置において現実物体に仮想オブジェクトの画像を重畳して表示することが可能な情報処理装置であり、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置で実行が可能なプログラムであって、
    前記情報処理装置を、
    ユーザの身体の一部を検出する検出手段と、
    前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段として機能させることを特徴とする情報処理装置のプログラム。
13. 現実物体に仮想オブジェクトの画像を重畳して表示することが可能な表示装置と、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置と、を含む情報処理システムであって、
    ユーザの身体の一部を検出する検出手段と、
    前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段と、
    を備えることを特徴とする情報処理システム。
14. 現実物体に仮想オブジェクトの画像を重畳して表示することが可能な表示装置と、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置と、を含む情報処理システムの制御方法であって、
    ユーザの身体の一部を検出する検出工程と、
    前記検出工程で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御工程と、
    を含むことを特徴とする情報処理システムの制御方法。
15. 現実物体に仮想オブジェクトの画像を重畳して表示することが可能な表示装置と、前記仮想オブジェクトの３次元空間上の位置を記憶する記憶手段と、前記表示装置を用いた体験をしているユーザの位置姿勢と前記仮想オブジェクトの３次元空間上の位置に応じて前記表示装置に表示する仮想オブジェクトの画像を生成する画像生成手段と、前記画像生成手段により生成された仮想オブジェクトの画像を前記表示装置に出力する出力手段と、を備える情報処理装置と、を含む情報処理システムを制御するプログラムであって、
    前記情報処理システムを、
    ユーザの身体の一部を検出する検出手段と、
    前記検出手段で検出した前記身体の一部の状態が前記仮想オブジェクトの受け渡し動作を示す場合に、前記仮想オブジェクトの画像の表示状態を、前記仮想オブジェクトの画像と重なる現実物体の存在を認識可能な表示状態に変更するべく制御する表示制御手段として機能させることを特徴とする情報処理システムのプログラム。

Images