JP7116410B2 - プログラム及び画像生成システム - Google Patents

Description

本発明は、プログラム及び画像生成システム等に関する。

近年、コンピュータを用いて現実世界に情報を付加提示する技術として、拡張現実（AR: Augmented Reality）と呼ばれる技術が脚光を浴びている。この拡張現実（ＡＲ）は、強化現実とも呼ばれ、現実の環境の一部に、付加情報としてのバーチャルな物体を合成して表示する。このような拡張現実の従来技術としては例えば特許文献１、２に開示される技術がある。

特許文献１の従来技術では、所定の模様が描かれたＡＲマーカが配置された現実世界の様子を撮像部により撮影する。そして、撮像部により撮影された画像内におけるマーカの位置を推定すると共にＡＲマーカの画像認識を行い、推定された位置に、ＡＲマーカの模様に対応するバーチャルオブジェクトを重畳して合成表示する。

特許文献２には、ライブ会場や展覧会などの建物内をカメラで撮影し、撮影した映像をのぞき穴オブジェクトにマッピングすることで、建物の会場内の様子をのぞき穴画像として見ることができる画像生成システムが開示されている。この特許文献２の従来技術では、仮想のぞき穴から見える画像を、ＡＲマーカの大きさ、向き、角度を分析して生成する。

特開２０１０－１７０３１６号公報 特開２０１４－１０６５５６号公報

しかしながら、特許文献２の従来技術において、のぞき穴オブジェクトにマッピングされるのぞき穴画像は、３次元オブジェクトの画像から構成される仮想空間画像ではなく、カメラにより撮影された現実空間の映像である。そして仮想空間画像を、ＡＲマーカ等の認識対象物の領域に簡素な処理で表示できるような手法については、従来技術では提案されていなかった。

本発明の幾つかの態様によれば、開口部の領域に仮想空間が存在するかのような拡張現実を簡素な処理で実現できるプログラム及び画像生成システム等を提供できる。

本発明の一態様は、撮像画像を取得する画像取得部と、前記撮像画像に映る認識対象物の認識処理を行う認識処理部と、少なくとも１つの３次元オブジェクトと、前記３次元オブジェクトに対して所定の関係性をもって配置されるマスクオブジェクトとを、仮想空間に配置設定する処理を行う仮想空間設定部と、前記認識対象物の場所に対応して設定された開口部の画像領域には、前記３次元オブジェクトの画像により構成される仮想空間画像が表示され、前記開口部の周囲の画像領域には、前記３次元オブジェクトが前記マスクオブジェクトによりマスクされることにより前記撮像画像が表示される画像を生成する画像生成部とを含む画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、撮像画像が取得され、撮像画像に映る認識対象物の認識処理が行われ、少なくとも１つの３次元オブジェクトとマスクオブジェクトとが、仮想空間に配置設定される。この場合にマスクオブジェクトは、３次元オブジェクトに対して所定の関係性（位置関係性、方向関係性等）をもって配置される。そして認識対象物の場所に対応して設定された開口部の画像領域に、仮想空間画像が表示され、開口部の周囲の画像領域に、撮像画像が表示される画像が生成される。この場合に開口部の周囲の画像領域には、３次元オブジェクトがマスクオブジェクトによりマスクされることにより、撮像画像が表示されるようになる。このようにすれば、３次元オブジェクトと共にマスクオブジェクトを仮想空間に配置設定するという簡素な処理で、あたかも開口部の領域に仮想空間が存在するかのような画像を生成できる。従って、開口部の領域に仮想空間が存在するかのような拡張現実を簡素な処理で実現できる画像システム、プログラム等の提供が可能になる。

また本発明の一態様では、前記仮想空間画像は、前記仮想空間において仮想カメラから見える画像であり、前記所定の関係性は、前記仮想カメラから見て、前記マスクオブジェクトの所定面よりも奥側に前記３次元オブジェクトが位置するという関係性であってもよい。

このようにすれば、仮想カメラから見て、あたかもマスクオブジェクトの所定面の奥側に３次元オブジェクトが存在するかのような拡張現実の画像を生成できるようになる。なお、複数の３次元オブジェクトのうちの一部の３次元オブジェクトの一部又は全部が、仮想カメラから見て所定面の手前側に位置するような演出が行われてもよい。また所定面は、例えばマスクオブジェクトを構成する面のうち仮想カメラから見て手前側（例えば最も手前側）にある面とすることができる。

また本発明の一態様では、前記仮想空間設定部は、前記開口部を内包する第１の面を有する前記マスクオブジェクトを、前記仮想空間に配置設定してもよい。

このようにすれば、開口部を内包する第１の面により３次元オブジェクトをマスクすることで、開口部の画像領域に仮想空間画像が表示され、開口部の周囲の画像領域に撮像画像が表示される拡張現実の画像を生成できるようになる。

また本発明の一態様では、前記仮想空間設定部は、前記第１の面と、前記第１の面に交差する少なくとも１つの面とを有する前記マスクオブジェクトを、前記仮想空間に配置設定してもよい。

このように第１の面に加えて、第１の面に交差する少なくとも１つの面によりマスクオブジェクトを構成すれば、マスクオブジェクトを用いてより確実に３次元オブジェクトをマスクして、開口部の周囲の画像領域に撮像画像を表示できるようになる。

また本発明の一態様では、前記所定の関係性は、前記第１の面と前記少なくとも１つの面とにより囲まれる領域に前記３次元オブジェクトが位置するという関係性であってもよい。

このようにすれば、マスクオブジェクトの第１の面と第１の面に交差する少なくとも１つの面とにより、３次元オブジェクトを囲うことが可能になり、マスクオブジェクトを用いて、より確実に３次元オブジェクトをマスクできるようになる。なお、複数の３次元オブジェクトのうちの一部の３次元オブジェクトの一部又は全部が、第１の面と少なくとも１つの面とにより囲まれる領域の外に出るような演出が行われてもよい。

また本発明の一態様では、前記仮想空間設定部は、前記開口部よりも奥側に前記３次元オブジェクトが位置するように、前記３次元オブジェクトを前記仮想空間に配置設定してもよい。

このようにすれば、あたかも開口部の奥側に、３次元オブジェクトにより構成される仮想空間が存在するかのように見える拡張現実を実現できるようになる。

また本発明の一態様では、前記仮想空間設定部は、前記開口部を前記３次元オブジェクトが跨ぐように、前記３次元オブジェクトを前記仮想空間に配置設定してもよい。

このようにすれば、開口部の奥側の仮想空間から、あたかも３次元オブジェクトが飛び出して来たかのように見える拡張現実を実現できるようになる。

また本発明の一態様では、前記画像生成部は、前記撮像画像を撮影する撮像部と前記認識対象物との位置関係情報に応じた描画処理を行って、前記仮想空間画像を生成してもよい。

このようにすれば、撮像部と認識対象物との位置関係に応じて、仮想空間画像が変化するような画像を生成して、開口部の画像領域に表示できるようになる。

また本発明の一態様では、前記仮想空間において前記撮像部に対応する位置に仮想カメラを設定する仮想カメラ設定部を含み（仮想カメラ設定部としてコンピュータを機能させ）、前記画像生成部は、前記仮想カメラから見える画像を前記仮想空間画像として生成してもよい。

このようにすれば、撮像部に対応する位置に設定された仮想カメラにより見える画像を、仮想空間画像として生成して、開口部の画像領域に表示できるようになる。

また本発明の一態様では、前記画像生成部は、前記撮像画像を撮影する撮像部と前記認識対象物との位置関係情報に応じて、前記仮想空間画像の視認性を変化させる処理を行ってもよい。

このようにすれば、例えば撮像部と認識対象物との位置関係が適切な場合には、仮想空間画像の視認性が高くなり、そうでない場合には視認性が低くなるような演出処理を実現できるようになる。

また本発明の一態様では、前記撮像画像を撮影する撮像部と前記認識対象物との位置関係情報に応じて変化する音の生成処理を行う音生成部を含んでもよい（音生成部としてコンピュータを機能させてもよい）。

このようにすれば、撮像部と認識対象物との位置関係に応じて変化する音が生成されてユーザに出力されるようになり、例えば仮想空間の中から音が聞こえてくるような演出処理等を実現できるようになる。

また本発明の一態様では、前記認識対象物の情報に関連づけて前記３次元オブジェクトの情報が記憶部に記憶されており、前記仮想空間設定部は、前記認識対象物の情報に関連づけられた前記３次元オブジェクトを、前記仮想空間に配置設定してもよい。

このようにすれば、認識対象物の情報に関連づけられた３次元オブジェクトが仮想空間に配置される仮想空間画像を生成して、当該仮想空間画像が開口部の画像領域に表示される画像を生成できるようになる。

また本発明の一態様では、前記認識処理部は、電子機器の表示部に表示された画像を、前記認識対象物として認識する処理を行ってもよい。

このようにすれば、電子機器の表示部に表示された画像を認識対象物として認識して、認識対象物の場所に対応する開口部の画像領域に、３次元オブジェクトの画像により構成される仮想空間画像が表示される画像を生成できるようになる。

また本発明の一態様では、前記認識処理部は、玩具又は物品を、前記認識対象物として認識する処理を行ってもよい。

このようにすれば、玩具又は物品を認識対象物として認識して、認識対象物の場所に対応する開口部の画像領域に、３次元オブジェクトの画像により構成される仮想空間画像が表示される画像を生成できるようになる。

本実施形態の画像生成システムの構成例を示すブロック図。 認識対象物についての説明図。 本実施形態の手法の説明図。 本実施形態の手法の説明図。 本実施形態の手法の説明図。 本実施形態の手法により生成される画像の例。 本実施形態の手法により生成される画像の例。 本実施形態の手法により生成される画像の例。 ユーザの端末装置の撮像部と認識対象物との位置関係情報に応じて描画処理等を行う手法の説明図。 ユーザが装着するＨＭＤの撮像部と認識対象物との位置関係情報に応じて描画処理等を行う手法の説明図。 図１１（Ａ）～図１１（Ｃ）は撮像部と認識対象物との位置関係情報に応じて仮想空間画像の視認性を変化させたり、音を変化させる手法の説明図。 認識対象物情報の一例を示す図。 図１３（Ａ）、図１３（Ｂ）は電子機器の表示部に表示される画像を認識対象物として認識する手法の説明図。 図１４（Ａ）、図１４（Ｂ）は玩具又は物品を認識対象物として認識する手法の説明図。 本実施形態の変形例の手法の説明図。 本実施形態の変形例の手法の説明図。 本実施形態の処理例を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．画像生成システム
図１は、本実施形態の画像生成システム（画像生成装置、端末装置、ＨＭＤ）の構成例を示すブロック図である。なお、本実施形態の画像生成システムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

操作部１６０は、ユーザ（プレーヤ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えば操作ボタン、方向指示キー、ジョイスティック、レバー又はタッチパネル型ディスプレイ等により実現できる。

撮像部１６２（カメラ）は、被写体（撮像対象物）の撮影を行うものであり、ＣＣＤやＣＭＯＳセンサなどの画像センサと、フォーカスレンズ等により構成される光学系などにより実現される。

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＳＤ、光ディスク装置などにより実現できる。記憶部１７０は、オブジェクト情報記憶部１７２、描画バッファ１７４、認識対象物情報記憶部１７６を含む。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（ヘッドマウントディスプレイ）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホン等により実現できる。

Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、操作部１６０からの操作情報やプログラムなどに基づいて、画像取得処理、認識処理、仮想空間設定処理、仮想カメラ設定処理、画像生成処理、或いは音生成処理などを行う。

処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、画像取得部１１２、認識処理部１１４、仮想空間設定部１１６、仮想カメラ設定部１１８、画像生成部１２０、音生成部１３０を含む。画像生成部１２０は画像合成部１２２を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

画像取得部１１２（画像取得処理のプログラムモジュール）は撮像画像を取得する。認識処理部１１４（認識処理のプログラムモジュール）は撮像画像に対する認識処理を行う。

仮想空間設定部１１６（仮想空間設定処理のプログラムモジュール）は、複数のオブジェクトが配置される仮想空間（オブジェクト空間）の設定処理を行う。例えば、移動体（人、ロボット、車、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクト情報記憶部１７２には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。仮想空間設定部１１６は、例えば各フレーム毎にこのオブジェクト情報を更新する処理などを行う。

仮想カメラ設定部１１８（仮想カメラ設定処理のプログラムモジュール）は、仮想空間内に仮想カメラを設定する処理を行う。この仮想カメラから見える画像が仮想空間画像として生成される。

画像生成部１２０（画像生成処理のプログラムモジュール）は、画像の生成処理を行う。例えば処理部１００で行われる種々の処理（仮想空間設定処理、仮想カメラ設定処理等）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７４（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、仮想空間において仮想カメラから見える画像が生成される。なお画像生成部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。

音生成部１３０（音生成処理のプログラムモジュール）は、処理部１００で行われる種々の処理の結果に基づいて音の生成処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などを生成し、音出力部１９２に出力させる。

そして本実施形態の画像生成システムは、図１に示すように、画像取得部１１２と認識処理部１１４と仮想空間設定部１１６と画像生成部１２０を含む。

画像取得部１１２は撮像画像を取得する。例えば撮像部１６２で撮影された撮像画像を取得する。なお、通信部１９６から受信した画像や記憶部１７０に記憶された画像を撮像画像として取得してもよい。

認識処理部１１４は、取得された撮像画像に対する認識処理を行う。例えば撮像画像に映る認識対象物の認識処理を行う。例えば認識処理部１１４は、取得された撮像画像と、認識対象物情報記憶部１７６に記憶されている認識対象物の登録画像を用いたマッチング処理を行う。そしてこのマッチング処理により、撮像画像内に、認識対象物の登録画像に対応する認識対象物の画像が存在するか否かを検出する。例えば認識対象物情報記憶部１７６には、認識対象物の登録画像の情報として、認識対象物の特徴点情報が記憶されている。認識処理部１１４は、認識対象物の登録画像の特徴点情報と、撮像画像での認識対象物の特徴点情報のマッチング処理を行うことで、撮像画像に映る認識対象物の認識処理を行う。そしてこの認識処理の結果に基づいて、例えば撮像部１６２と認識対象物との位置関係情報を推定する。例えば認識された認識対象物の大きさ、形状等から撮像部１６２と認識対象物との位置関係情報を推定する。即ち認識対象物が映る撮像画像を撮影する撮像部１６２の位置姿勢を推定する。このような位置姿勢の推定により、撮像画像を撮影する撮像部１６２（ユーザの端末装置又は視点）と認識対象物との位置関係情報を求めることができる。

ここで認識対象物は例えばＡＲマーカである。但し認識対象物は、ＡＲマーカには限定されず、マーカレス型ＡＲのように、特徴点や輪郭形状のマッチング処理により認識される対象物であってもよい。即ち、認識対象物は、正方形マーカや特殊形状マーカのようなＡＲマーカには限定されず、自然特徴点マッチングや輪郭形状マッチングの処理により認識されるＡＲの対象物であってもよい。

仮想空間設定部１１６は、少なくとも１つの３次元オブジェクトとマスクオブジェクトを仮想空間に配置設定する処理を行う。具体的には、少なくとも１つの３次元オブジェクトと、３次元オブジェクトに対して所定の関係性をもって配置されるマスクオブジェクトとを、仮想空間に配置設定する処理を行う。所定の関係性（所与の関係性）は、例えば３次元オブジェクトとマスクオブジェクトの相対的な位置関係性や方向関係性などである。例えばマスクオブジェクトにより３次元オブジェクトの表示をマスクできるような関係性で、３次元オブジェクトとマスクオブジェクトが仮想空間に配置設定される。また仮想空間設定部１１６は、例えばキャラクタのオブジェクトや背景のオブジェクトなどの３次元オブジェクトを仮想空間に配置設定する。３次元オブジェクトは、１又は複数のプリミティブ面（ポリゴン等）により構成される表示物である。また仮想空間設定部１１６は、３次元オブジェクトをマスクするためのマスクオブジェクトを仮想空間に配置設定する。例えば開口部以外の場所では３次元オブジェクトが表示されないようにするためのマスクオブジェクト（不透明オブジェクト）を仮想空間に配置設定する。

そして画像生成部１２０は、開口部の画像領域（描画領域）には、仮想空間画像が表示され、開口部の周囲の画像領域（描画領域）には、撮像画像が表示される画像を生成する。具体的には画像生成部１２０は、認識対象物の場所に対応して設定された開口部の画像領域には、３次元オブジェクトの画像により構成される仮想空間画像が表示される画像を生成する。一方、開口部の周囲の画像領域（開口部以外の画像領域）には、３次元オブジェクトがマスクオブジェクトによりマスクされることにより撮像画像が表示される画像を生成する。

開口部の画像領域は、例えば認識処理部１１４での認識対象物の認識結果に基づいて設定される。例えば撮像画像に映る認識対象物の大きさ、形状に対応する大きさ、形状の画像領域が、開口部（のぞき穴）の画像領域として設定される。そして、この開口部の画像領域には、３次元オブジェクトの画像により構成される仮想空間画像が表示される。そして、開口部の画像領域には仮想空間画像が表示され、開口部の周囲の画像領域には撮像画像が表示されるように、仮想空間画像と撮像画像の合成処理が行われる。この画像合成処理は画像合成部１２２が行う。ここで開口部の周囲の画像領域は、開口部を中心とした３６０度の全周囲の画像領域である必要はなく、全周囲の画像領域の一部の画像領域であってもよい。また３次元オブジェクトが開口部を跨ぐような画像においては、開口部の周囲の画像領域であっても、撮像画像ではなく、３次元オブジェクトの外側部分（開口部の外側部分）の画像が表示されていてもよい。

また仮想空間画像は、仮想空間において仮想カメラから見える画像であり、所定の関係性は、例えば仮想カメラから見て、マスクオブジェクトの所定面よりも奥側に３次元オブジェクトが位置するという関係性である。このようにすれば、マスクオブジェクトの所定面の奥側に仮想空間が存在するかのような拡張現実の画像を生成できるようになる。この場合に、当該所定の関係性においては、複数の３次元オブジェクトのうちの一部の３次元オブジェクト（例えばキャラクタのオブジェクト）の一部又は全部が、仮想カメラから見て所定面の手前側に移動したり配置されるなどのイベントが発生することは許容される。また所定面はマスクオブジェクトの面のうち例えば仮想カメラから見て手前側にある面である。例えばマスクオブジェクトが複数の面で構成される場合に、所定面は、これらの複数の面のうち仮想カメラから見て奥側にある面（例えば最も奥側にある面）である。例えば所定面は、複数の面のうち仮想カメラからの奥行き距離が近い面（例えば奥行き距離が最も近い面）である。また所定面は、例えば開口部に対応する場所に位置する面である。例えば仮想カメラを基準とした所定面の奥行き距離と、仮想カメラを基準とした開口部の奥行き距離は、同等の距離とすることができる。

また仮想空間設定部１１６は、開口部を内包する第１の面を有するマスクオブジェクトを、仮想空間に配置設定する。例えばマスクオブジェクトは、開口部を内包する第１の面を少なくとも有していればよい。第１の面は、例えば開口部の面から開口部の周囲方向に広がる面である。

この場合に、所定の関係性は、仮想カメラから見て、マスクオブジェクトの第１の面よりも奥側に３次元オブジェクトが位置するという関係性とすることができる。即ちこの場合には、第１の面が、上述の所定面となる。このようにすれば、仮想カメラから見て、マスクオブジェクトの第１の面（広義には所定面）の奥側に３次元オブジェクトが存在するというような関係性を持たせることが可能になり、マスクオブジェクトの第１の面の奥側に仮想空間が存在するかのような拡張現実の画像を生成できるようになる。この場合に、当該所定の関係性においては、複数の３次元オブジェクトのうちの一部の３次元オブジェクトの一部又は全部が、仮想カメラから見て第１の面の手前側に移動したり配置されるなどのイベントが発生することは許容される。

また仮想空間設定部１１６は、第１の面と、第１の面に交差する少なくとも１つの面とを有するマスクオブジェクトを、仮想空間に配置設定してもよい。即ち、この場合にはマスクオブジェクトは、第１の面と、第１の面に交差する少なくとも１つの面により構成される。例えば第１の面に交差（直交）する面が、第２、第３、第４、第５の面ある場合には、マスクオブジェクトは第１～第５の面により構成される例えば立方体又は直方体のオブジェクトになる。この立方体又は直方体のオブジェクトは、第２～第５の面に交差（直交）する第６の面を有していてもよい。この第６の面は第１の面に対向する面である。

この場合に、所定の関係性は、第１の面（所定面）と少なくとも１つの面（所定面に交差する少なくとも１つの面）とにより囲まれる領域に３次元オブジェクトが位置するという関係性とすることができる。このようにすれば、マスクオブジェクトの第１の面（所定面）と少なくとも１つの面（所定面に交差する少なくとも１つの面）とにより囲まれる領域内に、３次元オブジェクトを位置させることで、マスクオブジェクトを用いて、より確実に３次元オブジェクトをマスクできるようになる。例えば少なくとも１つの面が、上述の第２～第５の面である場合には、所定の関係性は、第１～第５の面で囲まれる領域内に３次元オブジェクトが位置するという関係性になる。また少なくとも１つの面が、上述の第２～第６の面である場合には、所定の関係性は、第１～第６の面で囲まれる領域内に３次元オブジェクトが位置するという関係性になる。なお、複数の３次元オブジェクトのうちの一部の３次元オブジェクト（例えばキャラクタのオブジェクト）の一部又は全部が、第１の面と少なくとも１つの面とにより囲まれる領域（第１～第５の面により囲まれる領域又は第１～第６の面により囲まれる領域）の外に移動したり配置されるなどのゲーム演出が行われてもよい。

また仮想空間設定部１１６は、開口部よりも奥側に３次元オブジェクトが位置するように、３次元オブジェクトを仮想空間に配置設定する。開口部よりも奥側とは、例えば撮像部１６２（ユーザの端末装置又は視点）から見た奥行き方向での奥側である。例えば仮想空間設定部１１６は、のぞき穴である開口部の奥側に３次元オブジェクトが表示されるように、３次元オブジェクトを仮想空間に配置設定する。この場合に３次元オブジェクトの一部が開口部よりも手前側にあってもよい。

また仮想空間設定部１１６は、開口部を３次元オブジェクトが跨ぐように、３次元オブジェクトを仮想空間に配置設定する。ここで開口部を３次元オブジェクトが跨ぐとは、例えば３次元オブジェクトの一部が開口部よりも手前側にあり、３次元オブジェクトの他の部分が開口部よりも奥側にあることである。即ち仮想空間設定部１１６は、例えば３次元オブジェクトの一部が開口部よりも手前側に表示され、３次元オブジェクトの他の部分が開口部よりも奥側に表示されるように、３次元オブジェクトを仮想空間に配置設定する。

また画像生成部１２０は、撮像画像を撮影する撮像部１６２と認識対象物との位置関係情報に応じた描画処理を行って、仮想空間画像を生成する。例えば撮像部１６２と認識対象物の位置関係情報は、ユーザの端末装置又はユーザの視点と認識対象物との位置関係情報に相当する。即ち画像生成部１２０は、ユーザの端末装置又は視点と認識対象物との位置関係情報に応じた描画処理を行って、仮想空間画像を生成する。ユーザの端末装置は、図１の画像生成システムにより実現される装置であり、例えば後述の図２に示すようなタブレット型ＰＣやスマートフォンなどの端末装置１０である。ユーザの視点は、例えば後述の図１０に示すようにＨＭＤ（頭部装着型表示装置）を用いる場合におけるユーザの視点ＶＰである。位置関係情報は、撮像部１６２（端末装置又は視点）を基準とした認識対象物の位置や方向、或いは認識対象物を基準とした撮像部１６２（端末装置又は視点）の位置や方向である。

撮像部１６２と認識対象物との位置関係情報に応じた描画処理は、例えば位置関係情報に応じて開口部の画像領域を設定することである。本実施形態では、位置関係情報に応じた開口部に仮想空間画像が表示されるような画像合成を行う。また撮像部１６２と認識対象物との位置関係情報に応じた描画処理は、位置関係情報に応じた位置、方向に仮想カメラを設定して、３次元オブジェクトの描画処理を行うことである。

具体的には仮想カメラ設定部１１８は、仮想空間において撮像部１６２に対応する位置に仮想カメラを設定する。例えば仮想空間において、撮像部１６２と認識対象物との位置関係情報に応じた位置、方向に仮想カメラを設定する。例えば現実世界での、撮像部１６２と認識対象物との位置関係情報が、仮想空間での、仮想カメラと、認識対象物に対応する開口部との位置関係情報が一致するように、仮想カメラを設定する。そして画像生成部１２０は、仮想カメラから見える画像を仮想空間画像として生成する。例えば現実世界において、撮像部１６２（ユーザの端末装置又は視点）に対して認識対象物が正対していた場合には、仮想空間の３次元オブジェクトの正面方向に設定された仮想カメラから見える画像が生成される。また撮像部１６２（ユーザの端末装置又は視点）に対して認識対象物が斜め方向に位置する場合には、仮想空間の３次元オブジェクトの斜め方向に設定された仮想カメラから見える画像が生成される。

また画像生成部１２０は、撮像部１６２（ユーザの端末装置又は視点）と認識対象物との位置関係情報に応じて、仮想空間画像の視認性を変化させる処理を行う。仮想空間画像の視認性を変化させる処理は、仮想空間画像の視認性を高めたり、低めたりする処理である。視認性を変化させる処理は、例えば仮想空間画像の明度、コントラスト、半透明度又はぼかし度等を変化させる処理により実現できる。例えば撮像部１６２に対して認識対象物が正対している場合には、仮想空間画像の視認性を例えば高める処理を行う。例えば仮想空間画像の明度を明るくしたり、コントラストを高めたり、より不透明になるようにしたり、ぼかし度を少なくする処理を行う。また撮像部１６２に対して認識対象物が斜め方向に位置している場合には、正対している場合に比べて、仮想空間画像の視認性を例えば低める処理を行う。例えば仮想空間画像の明度を暗くしたり、コントラストを低くしたり、より透明になるようにしたり、ぼかし度を大きくする処理を行う。

また本実施形態の画像生成システムは音生成部１３０を有しており、音生成部１３０は、撮像部１６２（ユーザの端末装置又は視点）と認識対象物との位置関係情報に応じて変化する音の生成処理を行う。例えば音生成部１３０は、撮像部１６２と認識対象物の距離が近い場合には、生成される音の音量を大きくし、撮像部１６２と認識対象物の距離が遠い場合には、距離が近い場合に比べて、生成される音の音量を小さくする。即ち、撮像部１６２と認識対象物との相対的な位置関係に応じて、音の音量等の音パラメータを変化させる。なお、撮像部１６２と認識対象物との位置関係情報に応じて、音の高さ、音色等を変化させてもよい。このように撮像部１６２と認識対象物との位置関係情報に応じて音を変化させるとは、例えば位置関係情報に応じて音の大きさ、高さ及び音色等の少なくとも１つを変化させることである。このような音の生成処理は、例えば開口部の奥側に設定される仮想空間の位置に、生成される音の音源を設定することなどにより実現できる。

また本実施形態では、認識対象物の情報に関連づけて３次元オブジェクトの情報が記憶部１７０に記憶されている。例えば記憶部１７０の認識対象物情報記憶部１７６が、認識対象物に関連づけて３次元オブジェクトの情報（キャラクタの情報、仮想空間の設定情報）を記憶している。そして仮想空間設定部１１６は、認識対象物の情報に関連づけられた３次元オブジェクトを、仮想空間に配置設定する。例えば認識処理部１１４が、撮像画像に認識対象物が映っていることを認識すると、認識された認識対象物に関連づけられた３次元オブジェクトの情報が、記憶部１７０（認識対象物情報記憶部１７６）から読み出される。仮想空間設定部１１６は、読み出された３次元オブジェクトの情報に基づいて、当該３次元オブジェクトを仮想空間に配置設置する処理を行う。例えばキャラクタのオブジェクトや背景のオブジェクトなどの３次元オブジェクトを仮想空間に配置設定する。そして、このように設定された仮想空間において、例えば撮像部１６２と認識対象物との位置関係情報に応じた位置に仮想カメラが設定され、この仮想カメラから見える画像が仮想空間画像として生成される。そして開口部の場所に仮想空間画像が表示され、開口部の以外の場所に撮像画像が表示された画像が生成される。

また認識処理部１１４は、電子機器の表示部に表示された画像を、認識対象物として認識する処理を行ってもよい。例えば電子機器の表示部に表示されたキャラクタ等の表示物を、認識対象物として認識する処理を行う。例えば前述したマーカレス型ＡＲのように、特徴点や輪郭形状のマッチング処理等により、キャラクタ等の表示物を、認識対象物として認識する処理を行う。例えば認識対象物情報記憶部１７６には、当該表示物の登録情報として、当該表示物の登録特徴点情報又は登録輪郭形状情報が記憶されている。認識処理部１１４は、この登録特徴点情報又は登録輪郭形状情報と、撮像画像に映るキャラクタ等の表示物の特徴点情報又は輪郭形状情報との特徴点マッチング処理又は輪郭形状マッチング処理を行って、撮像画像に映る表示物が、登録されている表示物にマッチングするかを認識する。そして、マッチングしたと判断された場合には、認識対象物である表示物に関連づけられた３次元オブジェクトの情報が、記憶部１７０から読み出されて、仮想空間画像が生成される。ここで電子機器としては、例えばゲーム機や、ＰＣ又ノートＰＣ等の情報処理装置や、スマートフォン又は携帯電話等の携帯型端末装置や、映像機器や、オーディオ機器や、或いはナビゲーション装置等の車載機器などの種々の機器を想定できる。

また認識処理部１１４は、玩具又は物品を、認識対象物として認識する処理を行ってもよい。例えば前述したマーカレス型ＡＲのように、特徴点や輪郭形状のマッチング処理等により、玩具又は物品を、認識対象物として認識する処理を行う。例えば認識対象物情報記憶部１７６には、当該玩具又は物品の登録情報として、当該玩具又は物品の登録特徴点情報又は登録輪郭形状情報が記憶されている。認識処理部１１４は、この登録特徴点情報又は登録輪郭形状情報と、撮像画像に映る玩具又は物品の特徴点情報又は輪郭形状情報との特徴点マッチング処理又は輪郭形状マッチング処理を行って、撮像画像に映る玩具又は物品が、登録されている玩具又は物品にマッチングするかを認識する。そして、マッチングしたと判断された場合には、認識対象物である玩具又は物品に関連づけられた３次元オブジェクトの情報が、記憶部１７０から読み出されて、仮想空間画像が生成される。ここで、玩具は、いわゆるオモチャなどと言われるものであり、電気で動作する電子的な玩具であってもよいし、電子的な玩具以外の玩具であってもよい。玩具としては、例えば知育玩具、乳児用玩具、模型（プラモデル）、人形やぬいぐるみ、フィギュア、カプセルトレイ、音響玩具、練習玩具、パズル、トランプ、カードゲーム類、野球盤などのボードゲーム類、スポーツ玩具、乗り物玩具又は戦争玩具などの種々の玩具を想定できる。また物品は、物、品物などの有体物である。例えば物品は、販売の対象となったり、取引の対象となる物であり、例えば商品、用品である。物品（商品、用品）としては、例えば容器（ペットボトル等）、生活用品、事務用品、文房具、食品、趣向品、音楽メディア（ＣＤ等）、映像メディア（ＤＶＤ等）、ポスター類、電子機器、衣類、履き物（靴等）、かばん類、ベルト類又は家具など種々の物品を想定できる。

２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。

２．１ 開口部への仮想空間画像の表示
図２ではユーザは、例えば右手にタブレット型ＰＣである端末装置１０を持ち、左手にＣＤケース２０を持っている。そして例えばＣＤケース２０内の表紙等には、認識対象物ＭＫが印刷されている。図２の認識対象物ＭＫ（ＡＲ用の画像）は例えば２次元のキャラクタ画像である。なおＣＤケース２０内の表紙等に、ＡＲマーカＡＭＫを印刷してもよい。ＡＲマーカＡＭＫは、所定の画像パターンを有するマーカである。ＡＲマーカＡＭＫを用いれば撮像部１６２との位置関係情報の特定が容易であるという利点がある。

また端末装置１０は、ユーザ側に表示部１９０が位置しており、端末装置１０の裏側に撮像部１６２（カメラ）が設けられている。この撮像部１６２により、端末装置１０の奥側を撮影できる。例えばユーザがＣＤケース２０を端末装置１０の奥側に移動させると、端末装置１０の裏側の撮像部１６２によりＣＤケース２０が撮影される。そして図１の認識処理部１１４が、ＣＤケース２０の認識対象物ＭＫ（或いはＡＲマーカＡＭＫ）の認識処理を行い、後述の図６、図７に示すように、認識対象物ＭＫに対応するキャラクタＣＨ等の３次元オブジェクトの仮想空間画像が、開口部の画像領域ＲＯＰに表示されるＡＲの画像が、端末装置１０の表示部１９０に表示される。

図３～図５は本実施形態の手法を説明するための図である。図３～図５において、キャラクタＣＨや背景オブジェクトＯＢ１～ＯＢ１１が、仮想空間に配置設定される３次元オブジェクトである。３次元オブジェクトは、例えばプリミティブ面（ポリゴン）で構成される３次元形状のオブジェクトである。本実施形態では、これらの３次元オブジェクト（ＣＨ、ＯＢ１～ＯＢ１１）とマスクオブジェクト（ＭＳ１～ＭＳ６）を仮想空間に配置設定する。例えば３次元オブジェクト（ＣＨ、ＯＢ１～ＯＢ１１）と、３次元オブジェクトに対して所定の関係性をもって配置されるマスクオブジェクト（ＭＳ１～ＭＳ６）とを、仮想空間に配置設定する処理を行う。そして仮想カメラＶＣから見える画像を仮想空間画像として生成する。仮想カメラＶＣの位置、方向は、例えば撮像部１６２（ユーザの端末装置又は視点）と図２の認識対象物ＭＫとの位置関係情報に応じて設定される。

図３に示すように本実施形態では、穴部である開口部ＯＰを設定している。例えばこの開口部ＯＰは仮想空間画像の仮想的なのぞき穴となるものである。後述の図６、図７に示すように、本実施形態では、この開口部ＯＰの画像領域ＲＯＰに仮想空間画像が表示される画像が生成されて、端末装置１０の表示部１９０に表示される。

マスクオブジェクト（ＭＳ１～ＭＳ６）は、開口部ＯＰ以外の領域において３次元オブジェクト（ＣＨ、ＯＢ１～ＯＢ１１）の表示をマスクするためのオブジェクトであり、例えば不透明オブジェクトである。後述の図６、図７に示すように、マスクオブジェクトによりマスクされた画像領域ＲＭＳには、撮像画像が表示されるようになる。即ち本実施形態では、開口部ＯＰに対応する画像領域ＲＯＰに、仮想空間画像が表示され、マスクオブジェクトによりマスクされた画像領域ＲＭＳに、撮像画像が表示される画像が合成されて、表示部１９０に表示される。

例えば図３では、開口部ＯＰに位置するキャラクタＣＨや背景オブジェクトＯＢ１（床）しか見えていないが、実際には、図４、図５に示すように、仮想空間（オブジェクト空間）には、他の背景オブジェクトＯＢ２～ＯＢ１１等の３次元オブジェクトが配置されている。図３では、これらの背景オブジェクトＯＢ２～ＯＢ１１等の３次元オブジェクトが、マスクオブジェクトによりマスクされて見えなくなっている。

ここでマスクオブジェクトは、開口部ＯＰを内包する面ＭＳ１（第１の面）を有しており、本実施形態では、このようなマスクオブジェクトを仮想空間に配置設定している。例えば面ＭＳ１は、開口部ＯＰの場所から開口部ＯＰの周囲に広がる面である。別の言い方をすれば、面ＭＳ１に設けられた穴部が開口部ＯＰになっている。

この場合に、上述の所定の関係性は、仮想カメラＶＣから見て、マスクオブジェクトの面ＭＳ１（広義には所定面）よりも奥側に３次元オブジェクト（少なくとも背景オブジェクトＯＢ１～ＯＢ１１）が位置するという関係性になる。このような関係性を持たせることで、面ＭＳ１の奥側に、３次元オブジェクトにより構成される仮想空間が存在するかのような拡張現実を実現できる。但し後述の図５、図７のように、一部の３次元オブジェクト（キャラクタＣＨ等）が、面ＭＳ１（所定面）よりも手前側に移動するなどの演出処理が行われてもよい。なお、本実施形態の所定の関係性における所定面は、このような面ＭＳ１に限定されるものでない。例えば所定面は開口部ＯＰを内包しないような面であってもよい。

またマスクオブジェクトは、面ＭＳ１と、面ＭＳ１に交差する少なくとも１つの面を有する。図３では、面ＭＳ１に交差（例えば直交）する少なくとも１つの面として、面ＭＳ２、ＭＳ３、ＭＳ４、ＭＳ５が仮想空間に配置設定されている。更に図３ではマスクオブジェクトは、面ＭＳ２、ＭＳ３、ＭＳ４、ＭＳ５に交差（例えば直交）する面ＭＳ６を更に有している。例えば面ＭＳ１～ＭＳ６により立方体形状のマスクオブジェクトが形成される。

この場合に、上述の所定の関係性は、面ＭＳ１（所定面）と、面ＭＳ１に交差する少なくとも１つの面（所定面に交差する少なくとも１つの面）とにより囲まれる領域に、３次元オブジェクト（少なくとも背景オブジェクトＯＢ１～ＯＢ１１）が位置するという関係性である。例えば所定の関係性は、面ＭＳ１～ＭＳ５により囲まれる領域、或いは面ＭＳ１～ＭＳ６により囲まれる領域に、３次元オブジェクト（背景オブジェクトＯＢ１～ＯＢ１１）が位置するという関係性になる。但し後述の図５、図７のように、一部の３次元オブジェクト（キャラクタＣＨ等）が、面ＭＳ１～ＭＳ５又は面ＭＳ１～ＭＳ６により囲まれる領域の外に移動したりするなどの演出処理が行われてもよい。

なおマスクオブジェクトとしては種々の形状のオブジェクトを用いることができる。例えば図３のような立方体形状には限定されず、直方体形状や、柱体形状（三角柱形状等）や、曲面形状（球形状等）であってもよい。例えばマスクオブジェクトは、少なくとも面ＭＳ１を有していればよい。例えばマスクオブジェクトが、開口部ＯＰを内包する面ＭＳ１だけにより構成される場合には、面ＭＳ１の面積はできる限り大きい面積（例えば実質的に無限大の面積）であることが望ましい。

図６～図８は本実施形態の手法により生成される画像の例である。開口部（図３のＯＰ）の画像領域ＲＯＰには仮想空間画像が表示される。開口部の画像領域ＲＯＰは、図２の認識対象物ＭＫの場所に対応して設定される。具体的には撮像部１６２（端末装置）と認識対象物ＭＫとの位置関係情報（相対的位置関係）に基づいて開口部の画像領域ＲＯＰが設定される。例えば図６の端末装置１０の奥側には、開口部の画像領域ＲＯＰの形状、大きさに対応する位置、方向で、ＣＤケース２０（認識対象物ＭＫ）が位置している。

例えば図６では、端末装置１０の主面である平面（表示部１９０の平面）に直交する方向（法線方向）に対してθ＝θ１の角度で、図２のＣＤケース２０が端末装置１０の奥側に位置している。図７では、端末装置１０の平面（主面）に直交する方向に対してθ＝θ２の角度で、ＣＤケース２０が端末装置１０の奥側に位置しており、θ１＞θ２になっている。即ち、端末装置１０の平面に直交する方向に対するＣＤケース２０の平面方向のなす角度θが、図７では図６よりも小さくなっており、ＣＤケース２０の平面方向が、端末装置１０の平面に直交する方向に近づいている。

図８では、端末装置１０の平面に直交する方向に対してθ＝θ３の角度で、ＣＤケース２０が端末装置１０の奥側に位置しており、θ１＞θ２＞θ３になっている。即ち、端末装置１０の平面に直交する方向に対するＣＤケース２０の平面方向のなす角度θが、図８では図７、図６よりも小さくなっており、ＣＤケース２０の平面方向が、端末装置１０の平面に直交する方向に更に近づいている。そして図６、図７では開口部の画像領域ＲＯＰに仮想３次元画像が表示されているが、図８では、認識対象物ＭＫを安定的に画像認識することが難しくなるため、仮想３次元画像を表示しないようにしている。例えば図８の状況で仮想３次元画像を表示すると、表示が不安定になるおそれがあるからである。但し、図８のような状況においても、仮想３次元画像が消えずに表示されるように設定することも可能である。

図６では、開口部の画像領域ＲＯＰには、キャラクタＣＨ、背景オブジェクトＯＢ１、ＯＢ２、ＯＢ４、ＯＢ５などの３次元オブジェクトが表示されている。キャラクタＣＨは、図２の２次元画像のキャラクタである認識対象物ＭＫに対応する３次元画像のキャラクタである。

図６の開口部の画像領域ＲＯＰの仮想空間画像は、図３の仮想カメラＶＣが開口部ＯＰに対して斜め右方向の位置に配置されて、のぞき穴のように開口部ＯＰをのぞき込んでいる場合に仮想カメラＶＣから見える画像に相当する。このため図６では、開口部ＯＰを介して見えるキャラクタＣＨ、背景オブジェクトＯＢ１、ＯＢ２、ＯＢ４、ＯＢ５の画像が、開口部の画像領域ＲＯＰに表示される。一方、マスクオブジェクト（ＭＳ１～ＭＳ６）によりマスクされる位置にある図４の背景オブジェクトＯＢ３、ＯＢ６～ＯＢ１１については、マスクオブジェクトにマスクされることで表示されないようになる。

そして図６に示すように、開口部の周囲の画像領域ＲＭＳには、撮像部１６２により撮影された撮像画像が表示される。例えば、画像領域ＲＭＳには、撮像部１６２により撮影されたユーザの左手の画像などが表示される。具体的には、開口部の周囲の画像領域ＲＭＳには、図４の背景オブジェクトＯＢ３、ＯＢ６～ＯＢ１１がマスクオブジェクトによりマスクされることにより、撮像画像が表示される。このように図６では、開口部の画像領域ＲＯＰに仮想空間画像が表示され、開口部の周囲の画像領域ＲＭＳに撮像画像が表示されるような画像合成が行われて、合成画像が端末装置１０の表示部１９０に表示される。

図７では、端末装置１０の平面に直交する方向に対するＣＤケース２０の平面方向のなす角度が、図６に比べて小さくなっている。これにより、図３の仮想カメラＶＣが開口部ＯＰに対して更に斜め右方向の位置に配置される。このため図６では開口部の画像領域ＲＯＰに表示されていた背景オブジェクトＯＢ２、ＯＢ４、ＯＢ５の画像が、図７では表示されず、その代わりに背景オブジェクトＯＢ６の画像が図７では表示されている。即ち、図３の仮想カメラＶＣが、図６では図７に比べて開口部ＯＰの更に斜め右方向の位置に配置され、その配置位置の仮想カメラＶＣから開口部ＯＰをのぞき込んだ場合に見える画像が、画像領域ＲＯＰに表示される。このため図６では画像領域ＲＯＰに表示されていた背景オブジェクトＯＢ２、ＯＢ４、ＯＢ５の画像が、図７では表示されず、背景オブジェクトＯＢ６の画像が表示される。

図６の開口部の周囲の画像領域ＲＭＳにおいて、マスクオブジェクトにより３次元オブジェクトをマスクして非表示にする手法は、例えばＡＲにおけるオクルージョンの手法（オクルージョンのシェーダ）により実現できる。例えばＡＲにおいて、現実世界の物体（撮像画像に映る物体）により、当該物体の奥側のバーチャルオブジェクトを隠面消去して非表示にするオクルージョンの手法が用いられる。具体的には、現実世界の物体の画像領域は、オクルージョンの領域に設定され、このオクルージョンの領域では、バーチャルオブジェクトが隠面消去されて非表示になる。例えばオクルージョンの領域では、バーチャルオブジェクトは透明のオブジェクトとして扱われ、バーチャルオブジェクトの画像は表示されず、撮像画像が表示されるようになる。これにより現実世界の物体の画像領域に対応するオクルージョンの領域において、あたかも現実世界の物体によりバーチャルオブジェクトが隠面消去されているかのような画像を表示できる。

そしてマスクオブジェクト（ＭＳ１～ＭＳ６）により、図４の背景オブジェクトＯＢ３、ＯＢ６～ＯＢ１１をマスクして、図６において非表示にするために、このオクルージョンの手法を用いることができる。即ち、マスクオブジェクトの領域は、オクルージョンの領域に設定されて、図４において仮想カメラＶＣから見てマスクオブジェクトの奥側にある背景オブジェクトＯＢ３、ＯＢ６～ＯＢ１１は隠面消去されて表示されないようになる。これにより図６の開口部の周囲の画像領域ＲＭＳにおいて、背景オブジェクトＯＢ３、ＯＢ６～ＯＢ１１の画像が表示されないようになる。この結果、図６に示すように、あたかも開口部をのぞき穴として、その奥側にある仮想空間を覗いたような画像が生成されるようになる。

このように本実施形態では、認識対象物ＭＫ（ＡＲマーカ）の位置よりも奥側に仮想空間の３次元オブジェクトを配置して表示し、開口部以外からは仮想空間の３次元オブジェクトが見えないようにする画像合成手法を実現している。これにより、認識対象物の領域に対応する開口部の領域に仮想空間画像を表示する処理を、簡素な処理で実現できるようになる。

また本実施形態では、開口部よりも奥側に３次元オブジェクトが位置するように、３次元オブジェクトが仮想空間に配置設定される。例えば図６において、３次元オブジェクトであるキャラクタＣＨや背景オブジェクトＯＢ１、ＯＢ２、ＯＢ４、ＯＢ５は、開口部（画像領域ＲＯＰ）よりも奥側に位置するように、仮想空間に配置設定されている。このような仮想空間の配置設定手法によれば、開口部の奥側に３次元オブジェクト（ＣＨ、ＯＢ１、ＯＢ２、ＯＢ４、ＯＢ５）が存在し、当該３次元オブジェクトを、のぞき穴である開口部を通して覗き込んでいるような画像を生成できる。従って、これまでにない拡張現実（ＡＲ）を実現できるようになる。

また本実施形態では、開口部を３次元オブジェクトが跨ぐように、３次元オブジェクトを仮想空間に配置設定している。例えば図５では、３次元オブジェクトであるキャラクタＣＨは、開口部ＯＰを跨ぐように仮想空間に配置設定されている。具体的には、キャラクタＣＨの一部（上半身側）が、開口部ＯＰの手前側に位置し、キャラクタＣＨの他の部分（下半身側）が、開口部ＯＰの奥側に位置するように、キャラクタＣＨが配置されている。このようにすれば図７に示すように、あたかもキャラクタＣＨが開口部（画像領域ＲＯＰ）から飛び出しているかのように見える画像を生成できる。従って、これまでにない拡張現実の表現が可能になる。

また本実施形態では、図９において、撮像部１６２（ユーザＵＳの端末装置１０）と認識対象物ＭＫ（ＣＤケース２０）との位置関係情報に応じた描画処理を行って、図６、図７に示すような仮想空間画像を生成する。具体的には、仮想空間において、撮像部１６２に対応する位置に仮想カメラを設定し、設定された仮想カメラから見える画像を仮想空間画像として生成する。

例えば図９において、端末装置１０の奥側に位置する認識対象物ＭＫ（ＣＤケース２０）と、端末装置１０の撮像部１６２との相対的な位置関係を求める。この相対的位置関係は、撮像部１６２の撮像画像に映る認識対象物ＭＫの大きさや形状を分析することで求めることができる。そして、求められた相対的位置関係に対応する位置、方向に、図３の仮想カメラＶＣを設定する。例えば図３での開口部ＯＰと仮想カメラＶＣとの相対的位置関係が、図９での認識対象物ＭＫと撮像部１６２との相対的位置関係に一致するように、仮想カメラＶＣを配置設定する。そして、このように配置設定された仮想カメラＶＣから見える仮想空間画像を生成する描画処理を行い、図６、図７に示すように、生成された仮想空間画像が開口部の画像領域ＲＯＰに表示される画像を生成する。

例えば図９において、端末装置１０の撮像部１６２に正対する場所に、認識対象物ＭＫ（ＣＤケース２０）が位置する場合には、図３においても、仮想カメラＶＣに正対する場所に、開口部ＯＰが位置するように、仮想カメラＶＣが配置設定される。これにより仮想空間を仮想カメラＶＣにより正対して見た画像が、仮想空間画像として生成されるようになる。

また図９において、端末装置１０の撮像部１６２に対して斜め方向の場所に、認識対象物ＭＫ（ＣＤケース２０）が位置する場合には、図３においても、仮想カメラＶＣから斜め方向の場所に、開口部ＯＰが位置するように、仮想カメラＶＣが配置設定される。これにより仮想空間を、仮想カメラＶＣにより斜め方向から見た画像が、仮想空間画像として生成されるようになる。

また図９において、端末装置１０の撮像部１６２から距離が離れた位置に、認識対象物ＭＫ（ＣＤケース２０）が位置する場合には、図３においても、開口部ＯＰから距離が離れた位置に仮想カメラＶＣが配置設定される。これにより、遠方に位置する仮想カメラから見た画像が、仮想空間画像として生成されるようになる。

このように、撮像部１６２と認識対象物ＭＫとの位置関係情報に応じた描画処理を行って、仮想空間画像を生成すれば、あたかも撮像部１６２により仮想空間を見たかのような画像が、仮想空間画像として生成されるようになる。そして図６、図７に示すように、このようにして生成された仮想空間画像が、開口部の画像領域ＲＯＰに表示されることで、あたかも撮像部１６２により、開口部をのぞき穴として、その奥にある仮想空間を覗き込んだかのように見える画像を生成できるようになり、これまでにない拡張現実を実現できるようになる。

図１０では、ユーザＵＳはＨＭＤ（頭部装着型表示装置）を装着している。例えばユーザＵＳの視界を覆うようにＨＭＤを装着している。例えばＨＭＤは本実施形態の画像生成システムにより実現される。ＨＭＤには、ユーザＵＳの視点ＶＰに対応する位置に撮像部１６２が設けられている。そして撮像部１６２により撮影された撮像画像（映像）がＨＭＤに表示される。即ち、撮像部１６２の撮像画像に対して仮想空間画像が画像合成された図６、図７に示すような画像がＨＭＤに表示される。

具体的には図１０において、ＨＭＤの撮像部１６２（ユーザＵＳの視点ＶＰ）と認識対象物ＭＫ（ＣＤケース２０）との位置関係情報に応じた描画処理が行われて、図６、図７に示すような仮想空間画像が生成される。即ち、仮想空間において撮像部１６２（視点ＶＰ）に対応する位置に仮想カメラが設定され、設定された仮想カメラから見える画像が仮想空間画像として生成される。そして、この仮想空間画像と撮像部１６２の撮像画像とを合成することで生成された図６、図７の画像が、ＨＭＤに表示される。

例えば図９では、ユーザＵＳは、一方の手で、認識対象物ＭＫが印刷されたＣＤケース２０を持ち、他方の手で、撮像部１６２が設けられた端末装置１０を持つ必要があり、ユーザＵＳの手間が煩雑になるという不利点がある。これに対して図１０では、ユーザＵＳは、端末装置等を持つ必要がなく、撮像部１６２が正面側に設けられたＨＭＤを、認識対象物ＭＫが印刷されたＣＤケース２０の方に向ければ良い。即ち、ユーザＵＳの視点ＶＰをＣＤケース２０の方を向けるだけで済む。従って、図１０では図９に比べて、拡張現実を体験するためのユーザＵＳの手間を軽減できるという利点がある。

なお、図１０のＨＭＤは、例えば有機ＥＬディスプレイ（ＯＥＬ）や液晶ディスプレイ（ＬＣＤ）などにより実現される表示部を有する。そしてＨＭＤの表示部には、ユーザＵＳの左目の前に設定される第１のディスプレイ又は第１の表示領域と、右目の前に設定される第２のディスプレイ又は第２の表示領域が設けられており、立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左目用画像と右目用画像を生成し、第１のディスプレイに左目用画像を表示し、第２のディスプレイに右目用画像を表示する。或いは１つのディスプレイの第１の表示領域に左目用画像を表示し、第２の表示領域に右目用画像を表示する。またＨＭＤには左目用、右目用の２つの接眼レンズ（魚眼レンズ）が設けられており、これによりユーザＵＳの視界の全周囲に亘って広がるＶＲ空間が表現される。そして接眼レンズ等の光学系で生じる歪みを補正するための補正処理が、左目用画像、右目用画像に対して行われる。なお図１０のＨＭＤは非透過型であるが、ＨＭＤは透過型であってもよい。またＨＭＤは、いわゆるメガネタイプのＨＭＤであってもよい。

また本実施形態では、撮像画像を撮影する撮像部１６２と認識対象物との位置関係情報に応じて、仮想空間画像の視認性を変化させる処理を行う。また撮像部１６２と認識対象物との位置関係情報に応じて変化する音の生成処理を行う。

例えば図１１（Ａ）では、端末装置１０の撮像部１６２（カメラ）は、ＣＤケース２０の認識対象物ＭＫと近い距離で正対している。この場合には、例えば仮想空間画像を明るい画像にしたり、よりハッキリした画像にするなど、視認性を高める処理を行う。即ち、図６、図７の画像領域ＲＯＰに表示される仮想空間画像の視認性を高める処理を行う。また端末装置１０の音出力部（スピーカ、ヘッドホン端子）から出力される音の音量を大きくする。例えば本実施形態では、図６、図７の開口部の奥側の仮想空間から、ＢＧＭ等の音楽が流れるような演出処理を行っている。図１１（Ａ）のように撮像部１６２が、認識対象物ＭＫと近い距離で正対している場合には、この仮想空間から流れるＢＧＭ等の音楽の音量を大きくする。

一方、図１１（Ｂ）では、撮像部１６２の撮像方向（光軸方向）に対して斜め方向の場所に、認識対象物ＭＫが位置している。この場合には、例えば仮想空間画像を暗い画像にしたり、ぼかした画像にするなど、視認性を低める処理を行う。即ち、図６、図７の画像領域ＲＯＰに表示される仮想空間画像の視認性を低める処理を行う。また端末装置１０の音出力部から出力される音の音量を小さくする。例えば、開口部の奥側の仮想空間から流れるＢＧＭ等の音楽の音量を小さくする。

また図１１（Ｃ）では、撮像部１６２から遠い距離の場所に、認識対象物ＭＫが位置している。この場合にも、例えば仮想空間画像を暗い画像にしたり、ぼかした画像にするなど、視認性を低める処理を行う。また端末装置１０の音出力部から出力される音の音量を小さくする。例えば、開口部の奥側の仮想空間から流れる音楽の音量を小さくする。

図１１（Ａ）～図１１（Ｃ）のように仮想空間画像の視認性を変化させたり、音を変化させるなどの演出処理を行うことで、拡張現実のリアル度を高めることが可能になる。例えば本実施形態では開口部の奥側の仮想空間から音楽が流れるような演出処理を行っている。この場合に、図１１（Ａ）のように、撮像部１６２と、開口部に対応する認識対象物ＭＫとの位置関係が、正対の関係である場合や距離が近い場合には、音楽の音量が大きくなり、斜め方向の関係や距離が遠い場合には、音楽の音量が小さくなるような演出処理を実現できる。従って、あたかも本当に開口部の奥側の仮想空間から音楽が流れているような仮想現実感をユーザに与えることができ、拡張現実のリアル度を向上できる。

なお本実施形態では、開口部の奥側の仮想空間に、ＢＧＭ等の音楽の音源を設定し、この音源からの音楽が音出力部から出力されるような音処理を行ってもよい。例えば開口部の奥側の仮想空間から音楽が聞こえてくるような立体音響（例えば５．１ｃｈの立体音響）の音処理を行うようにしてもよい。こうすることで、拡張現実のリアル度を更に向上できる。

また本実施形態では、認識対象物情報に関連づけて３次元オブジェクトの情報が図１の記憶部１７０（認識対象物情報記憶部１７６）に記憶されている。そして、この認識対象物情報が記憶部１７０から読み出され、認識対象物情報に関連づけられた３次元オブジェクトが仮想空間に配置設定されて、仮想空間画像が生成される。

例えば図１２に認識対象物情報のデータ構造の一例を示す。図１２では認識対象物情報に対して、商品、キャラクタ情報、仮想空間情報が関連づけられている。図１２の商品は、認識対象物情報が対象としている商品であり、例えば図２のＣＤケース２０のＣＤなどである。キャラクタ情報は、図６、図７のキャラクタＣＨのオブジェクトの情報である。仮想空間情報は、図３～図５の背景オブジェクトＯＢ１～ＯＢ１１の設定情報である。

このように図１２では、認識対象物情報に対して、キャラクタ情報や仮想空間情報などの３次元オブジェクトの情報が関連づけられている。従って、例えば図１の認識処理部１１４が認識対象物の認識処理を行って、認識対象物が特定されると、特定された認識対象物に関連づけられたキャラクタ情報、仮想空間情報などの３次元オブジェクトの情報を記憶部１７０（オブジェクト情報記憶部１７２）から読み出すことが可能になる。これにより仮想空間設定部１１６が、読み出された３次元オブジェクトの情報に基づいて仮想空間の設定処理を行い、画像生成部１２０が、設定された仮想空間の画像である仮想空間画像を生成し、撮像画像と合成することで、図６、図７に示すような画像を生成できるようになる。

そして本実施形態では図１２に示すように、認識対象物は商品に対応づけられており、当該商品の販売促進に本実施形態の手法を利用する。例えばＣＤの販売促進のために、図２に示すようにＣＤケース２０の表紙等に認識対象物ＭＫ（或いはＡＲマーカＡＭＫ）を印刷する。そしてＣＤを購入しに来たユーザが、図９に示すように端末装置１０の奥側にＣＤケース２０を位置させて、撮像部１６２で撮影する。こうすることで、図２の認識対象物ＭＫである２次元キャラクタに対応する３次元のキャラクタＣＨの画像や、背景オブジェクトの画像が、図６、図７に示すように仮想空間画像として端末装置１０の表示部１９０に表示されるようになる。従って、このような仮想空間画像の表示が動機づけとなって、ユーザがＣＤを購入するようになり、商品であるＣＤの販売促進を促すことが可能になる。なお認識対象物が対応づけられる商品は、このようなＣＤには限定されず、種々の商品（ＤＶＤ、書籍、携帯型ゲーム機、家電、情報端末機器等）を想定できる。

２．２ 変形例
次に本実施形態の種々の変形例について説明する。本実施形態では、電子機器の表示部に表示された画像を、認識対象物として認識する処理を行ってもよい。

例えば図１３（Ａ）では、電子機器である携帯型ゲーム機３０の表示部３２に、キャラクタＣＨＧの画像が表示されている。本実施形態では、表示部３２に表示されるキャラクタＣＨＧの画像を、認識対象物として認識する処理を行う。そしてキャラクタＣＨに対応する例えば３次元のキャラクタの画像により構成される仮想空間画像が生成されて、図６、図７に示すようなＡＲの画像が表示される。このようにすれば、ユーザは、タブレット型ＰＣ、スマートフォン等の端末装置１０の撮像部１６２を、携帯型ゲーム機３０に向けるだけで、端末装置１０の表示部１９０に、図６、図７に示すような画像が表示されるようになる。この場合に携帯型ゲーム機３０に表示されるキャラクタＣＨＧの種類等に応じて、仮想空間画像に表示されるキャラクタの画像も異なるようになる。このようなＡＲの画像を表示することで、携帯型ゲーム機３０の販売促進等を図れるようになる。

図１３（Ｂ）では、商品の展示会や催し物等の会場において、壁に複数のポスターＰＳ１～ＰＳ６が貼られている。そして端末装置であるスマートフォン１２を手に持ったユーザＵＳが、スマートフォン１２の撮像部をＰＳ１～ＰＳ６の各ポスターの方に向けると、スマートフォン１２の表示部に、図６、図７に示すようなＡＲの画像が表示されるようになる。この場合に、ＡＲの画像として表示される仮想空間画像は、ＰＳ１～ＰＳ６の各ポスター毎に異なっている。このようにすることで、例えばポスターＰＳ１～ＰＳ６により宣伝される商品やコンサート等の催し物の販売促進を図れるようになる。

また本実施形態では、図１４（Ａ）に示すような玩具４０や、図１４（Ｂ）に示すような物品４６を、認識対象物として認識する処理を行う。図１４（Ｂ）の物品４６は、ペットボトル等の容器の例であるが、本実施形態はこれに限定されない。そして本実施形態では玩具４０又は物品４６に対応する例えば３次元のオブジェクト（キャラクタ等）の画像により構成される仮想空間画像が生成されて、図６、図７に示すようなＡＲの画像が表示される。このようにすれば、ユーザは、タブレット型ＰＣ、スマートフォン等の端末装置１０の撮像部１６２を、玩具４０又は物品４６に向けるだけで、端末装置１０の表示部１９０に、図６、図７に示すような画像が表示されるようになる。この場合に、玩具４０又は物品４６の種類、形状又は属性等に応じて、仮想空間画像に表示される３次元オブジェクトの画像も異なるようになる。例えば玩具４０であれば、玩具４０の種類又は形状等に対応する３次元オブジェクトの画像が、仮想空間画像として表示される。例えば玩具４０の形を模したようなキャラクタの画像を、仮想空間画像として表示してもよい。或いは物品４６である容器に印刷された画像（容器のラベルに印刷された画像等）に対応するキャラクタ等の３次元オブジェクトの画像を、仮想空間画像として表示してもよい。このようなＡＲの画像を表示することで、玩具４０又は物品４６の販売促進等を図れるようになる。

図１５では、キャラクタＣＨが、開口部ＯＰから外に出るのではなく、マスクオブジェクトの領域から外に出ている。このようにすることで、例えば図６、図７において、開口部の周囲の画像領域ＲＭＳから、３次元のキャラクタＣＨが突然に出現するような演出を実現できる。即ち、何も存在しない空間から突然に３次元のキャラクタＣＨが飛び出して来るような演出効果を実現できるようになる。

図１６では、ＨＭＤを装着するユーザＵＳを囲むように、マスクオブジェクト（ＭＳ１～ＭＳ６）が配置されている。そしてマスクオブジェクトに対して開口部ＯＰ１～ＯＰ１０が設けられており、ユーザＵＳは、開口部ＯＰ１～ＯＰ１０を介して、マスクオブジェクトの外側に設定された仮想空間の画像を見ることができる。このようにすれば図３～図７とは異なった表示態様のＡＲの画像をユーザＵＳに提供できるようになる。

３．詳細な処理
次に本実施形態の詳細な処理例について図１７のフローチャートを用いて説明する。

まず撮像画像を取得する（ステップＳ１）。例えば撮像部１６２により撮影された撮像画像を取得する。そして撮像画像に映る認識対象物の認識処理を行う（ステップＳ２）。例えば特徴点や輪郭形状のマッチング処理等を行うことで、認識対象物の認識処理を行う。そして３次元オブジェクトとマスクオブジェクトを仮想空間に配置設定する処理を行う（ステップＳ３）。例えば図１２で説明したように、認識された認識対象物に対応する３次元オブジェクトの情報を記憶部１７０から読み出して、仮想空間の配置設定処理を行う。そして撮像画像を撮影する撮像部と認識対象物との位置関係情報に応じた描画処理を行い、開口部の画像領域には、仮想空間画像が表示され、開口部の周囲の画像領域には、３次元オブジェクトがマスクオブジェクトにマスクされることにより撮像画像が表示される画像を生成する（ステップＳ４）。例えば仮想空間において撮像部に対応する位置に仮想カメラを設定し、設定された仮想カメラから見える画像を仮想空間画像として生成することで、図６、図７に示すようなＡＲの画像を生成する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（所定面等）と共に記載された用語（第１の面等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像画像の取得処理、認識対象物の認識処理、仮想空間の配置設定処理、画像の生成及び合成処理、マスクオブジェクトの配置設定処理、画像の描画処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。

ＭＫ 認識対象物、ＡＭＫ ＡＲマーカ、ＵＳ ユーザ、
ＯＰ、ＯＰ１～ＯＰ１１０ 開口部、 ＭＳ１～ＭＳ６ 面、ＶＣ 仮想カメラ、
ＣＨ、ＣＨＧ キャラクタ、ＯＢ１～ＯＢ１１ 背景オブジェクト、
ＲＯＰ 開口部の画像領域、ＲＭＳ 開口部の周囲の画像領域、
ＰＳ１～ＰＳ６ ポスター、ＯＰ１～ＯＰ１０ 開口部、ＶＰ 視点、
１０ 端末装置、１２ スマートフォン、２０ ＣＤケース、
３０ 携帯型ゲーム機、３２ 表示部、４０ 玩具、４６ 物品、
１００ 処理部、１１２ 画像取得部、１１４ 認識処理部、
１１６ 仮想空間設定部、１１８ 仮想カメラ設定部、
１２０ 画像生成部、１２２ 画像合成部、１３０ 音生成部、１６０ 操作部、
１６２ 撮像部、１７０ 記憶部、１７２ オブジェクト情報記憶部、
１７４ 描画バッファ、１７６ 認識対象物情報記憶部、
１８０ 情報記憶媒体、１９０ 表示部、１９２ 音出力部、
１９４ Ｉ／Ｆ部、１９５ 携帯型情報記憶媒体、１９６ 通信部

Claims (10)

1. 撮像画像を取得する画像取得部と、
   前記撮像画像に映る認識対象物の認識処理を行う認識処理部と、
   少なくとも１つの３次元オブジェクトと、前記３次元オブジェクトに対して所定の関係性をもって配置されるマスクオブジェクトとを、仮想空間に配置設定する処理を行う仮想空間設定部と、
   仮想カメラを設定する仮想カメラ設定部と、
   前記認識対象物の場所に対応して設定された開口部の画像領域には、前記３次元オブジェクトの画像により構成される仮想空間画像が表示され、前記開口部の周囲の画像領域には、前記３次元オブジェクトが前記マスクオブジェクトによりマスクされることにより前記撮像画像が表示される画像を生成する画像生成部として、
   コンピュータを機能させ、
   前記仮想空間設定部は、
   前記開口部が穴部として設けられ、前記開口部から前記開口部の周囲方向に広がる面である第１の面と、前記第１の面に交差する少なくとも１つの面とを有する前記マスクオブジェクトを、前記仮想空間に配置設定すると共に、前記第１の面と前記少なくとも１つの面とにより囲まれる配置領域に前記３次元オブジェクトを配置設定し、
   前記仮想カメラ設定部は、
   前記仮想空間において、前記撮像画像を撮影する撮像部に対応する位置に、前記仮想カメラを設定し、
   前記画像生成部は、
   前記撮像部に対応する位置に設定された前記仮想カメラから見える画像を、前記仮想空間画像として生成し、前記開口部の画像領域には前記仮想空間画像が表示され、前記開口部の周囲の画像領域には前記撮像画像が表示され、前記マスクオブジェクトの前記少なくとも１つの面の前記配置領域側の面の画像が前記仮想空間画像において表示されるように、前記仮想空間画像と前記撮像画像とが合成された画像を生成することを特徴とするプログラム。
2. 請求項１において、
   前記仮想空間設定部は、
   前記開口部を前記３次元オブジェクトが跨ぐように、前記３次元オブジェクトを前記仮想空間に配置設定することを特徴とするプログラム。
3. 請求項１又は２において、
   前記画像生成部は、
   前記撮像部と前記認識対象物との位置関係情報に応じて、前記仮想空間画像の視認性を変化させる処理を行い、前記撮像部に対して前記認識対象物が斜め方向に位置している場合には、前記撮像部に対して前記認識対象物が正対している場合に比べて、前記仮想空間画像の前記視認性を低める処理を行うことを特徴とするプログラム。
4. 請求項１乃至３のいずれかにおいて、
   前記撮像部と前記認識対象物との位置関係情報に応じて変化する音の生成処理を行う音生成部として、
   コンピュータを機能させ、
   前記音生成部は、
   前記開口部の奥側に設定される前記仮想空間の位置に音源を設定し、前記撮像部に対して前記認識対象物が斜め方向に位置している場合には、前記撮像部に対して前記認識対象物が正対している場合に比べて、前記音源からの音の音量を小さくする処理を行うことを特徴とするプログラム。
5. 請求項１乃至４のいずれかにおいて、
   前記認識対象物の情報に関連づけて前記３次元オブジェクトの情報が記憶部に記憶されており、
   前記仮想空間設定部は、
   前記認識対象物の情報に関連づけられた前記３次元オブジェクトを、前記仮想空間に配置設定することを特徴とするプログラム。
6. 請求項１乃至５のいずれかにおいて、
   前記認識処理部は、
   電子機器の表示部に表示された画像を、前記認識対象物として認識する処理を行うことを特徴とするプログラム。
7. 請求項１乃至６のいずれかにおいて、
   前記認識処理部は、
   玩具又は物品を、前記認識対象物として認識する処理を行うことを特徴とするプログラム。
8. 撮像画像を取得する画像取得部と、
   前記撮像画像に映る認識対象物の認識処理を行う認識処理部と、
   少なくとも１つの３次元オブジェクトと、前記３次元オブジェクトに対して所定の関係性をもって配置されるマスクオブジェクトとを、仮想空間に配置設定する処理を行う仮想空間設定部と、
   仮想カメラを設定する仮想カメラ設定部と、
   前記認識対象物の場所に対応して設定された開口部の画像領域には、前記３次元オブジェクトの画像により構成される仮想空間画像が表示され、前記開口部の周囲の画像領域には、前記３次元オブジェクトが前記マスクオブジェクトによりマスクされることにより前記撮像画像が表示される画像を生成する画像生成部と、
   を含み、
   前記仮想空間設定部は、
   前記開口部が穴部として設けられ、前記開口部から前記開口部の周囲方向に広がる面である第１の面と、前記第１の面に交差する少なくとも１つの面とを有する前記マスクオブジェクトを、前記仮想空間に配置設定すると共に、前記第１の面と前記少なくとも１つの面とにより囲まれる配置領域に前記３次元オブジェクトを配置設定し、
   前記仮想カメラ設定部は、
   前記仮想空間において、前記撮像画像を撮影する撮像部に対応する位置に、前記仮想カメラを設定し、
   前記画像生成部は、
   前記撮像部に対応する位置に設定された前記仮想カメラから見える画像を、前記仮想空間画像として生成し、前記開口部の画像領域には前記仮想空間画像が表示され、前記開口部の周囲の画像領域には前記撮像画像が表示され、前記マスクオブジェクトの前記少なくとも１つの面の前記配置領域側の面の画像が前記仮想空間画像において表示されるように、前記仮想空間画像と前記撮像画像とが合成された画像を生成することを特徴とする画像生成システム。
9. 請求項８において、
   前記画像生成部は、
   前記撮像部と前記認識対象物との位置関係情報に応じて、前記仮想空間画像の視認性を変化させる処理を行い、前記撮像部に対して前記認識対象物が斜め方向に位置している場合には、前記撮像部に対して前記認識対象物が正対している場合に比べて、前記仮想空間画像の前記視認性を低める処理を行うことを特徴とする画像生成システム。
10. 請求項８又は９において、
    前記撮像部と前記認識対象物との位置関係情報に応じて変化する音の生成処理を行う音生成部を含み、
    前記音生成部は、
    前記開口部の奥側に設定される前記仮想空間の位置に音源を設定し、前記撮像部に対して前記認識対象物が斜め方向に位置している場合には、前記撮像部に対して前記認識対象物が正対している場合に比べて、前記音源からの音の音量を小さくする処理を行うことを特徴とする画像生成システム。

Images