JP6224327B2 - 情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラム - Google Patents

Description

本発明は、現実空間に各種情報を重畳する情報処理システム、情報処理装置、情報処理方法、および情報処理用プログラムに関する。

現実空間に各種情報を重畳して提示することによって、現実世界を拡張することを拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）という。ＡＲの技術の一つとして、例えば、カードに印刷された２次元バーコードを用いる技術がある。この技術では、カメラの撮像画像から２次元バーコードが識別され、該２次元バーコードに対応付けられた３次元画像データが２次元バーコードの位置に重畳して表示装置に表示される。

特開２０００−３２２６０２号公報

しかしながら、該拡張現実技術では、表示装置の撮像画像を表示する画面において、２次元バーコードの位置に、該２次元バーコードに対応する３次元画像データが重畳して表示されるだけであって、視覚的効果として、変化が乏しいものであった。

本発明は、上記した問題に鑑み、視覚的な変化に富んだ拡張現実技術を提供することを課題とする。

本発明では、上記課題を解決するために、以下の構成を採用した。即ち、本発明は、第１の特徴と、第１の特徴とは異なる第２の特徴と、情報処理装置とを含む情報処理システムである。情報処理装置は、撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、画像取得手段によって取得された現実空間の画像から１又は複数の特徴を検出する特徴検出手段と、仮想空間において、検出された特徴の位置に基づく位置に、特徴に対応付けられた仮想オブジェクトを配置して、仮想空間の画像を生成する画像生成手段と、仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、を備え、画像生成手段は、画像取得手段によって取得された現実空間の画像から第１の特徴と第２の特徴とが検出された場合に、仮想空間において、第２の特徴の位置に基づく位置に、第１の特徴に応じた第１の仮想オブジェクトを配置する。

ここで、表示装置は、本発明に係る情報処理装置に周辺機器として接続されたものであってもよいし、通信網等を介して接続されたものであってもよい。また、本発明に係る情報処理装置は、所謂クラウド等の仮想的な環境に構築されたものであってもよい。

また、現実空間に配置された特徴とは、例えば、所謂ＡＲ用のマーカー、または二次元バーコード等のコードである。そして、このような特徴は、例えばカード等の部品に付されてよい。また、このような特徴は、専用のマーカーやコード等に限られない。他用途に用いられる物品であっても、仮想オブジェクトの表示基準を取得可能なものであれば、特徴として用いることが出来る。

本発明によれば、第２の特徴とともに検出される第１の特徴に応じて、第２の特徴の位置に基づく位置に表示される第１の仮想オブジェクトが決まるので、視覚的な変化に富んだ拡張現実技術を提供することができる。

なお、本発明が適用される拡張現実技術の種類は限定されない。本発明は、例えば、撮像画像に仮想空間画像を合成した合成画像を表示することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術にも適用可能であるし、ユーザーの視界に仮想空間画像を映写することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術（例えば、ＨＵＤ：Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ等）にも適用可能である。

また、画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から第２の特徴とともに第１の特徴が検出された場合に、仮想空間において、第１の仮想オブジェクトと、第２の特徴に対応付けられた仮想オブジェクトと、を、それぞれ、第２の特徴の位置に基づく位置に、配置するようにしてもよい。

また、第１の特徴は、複数の種類を有し、情報処理装置の画像生成手段は、第２の特徴とともに検出される第１の特徴の種類に応じて、第２の特徴の位置に基づく位置に配置する第１の仮想オブジェクトを決定するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって第２の特徴とともに検出される第１の特徴の種類が更新された場合に、第２の特徴の位置に基づく位置に配置する第１の仮想オブジェクトを、更新後の第１の特徴の種類に応じた第１の仮想オブジェクトに更新するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって第２の特徴とともに検出される第１の特徴の種類が更新された場合に、第２の特徴の位置に基づく位置に、更新前に配置されていた第１の仮想オブジェクトに加えて、更新後の第１の特徴の種類に応じた第１の仮想オブジェクトも配置するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から、複数の第１の特徴と、第２の特徴と、が検出された場合には、仮想空間において、第２の特徴の位置に基づく位置に、該複数の第１の特徴のそれぞれに応じた第１の仮想オブジェクトを配置し、該複数の第１の特徴の位置に基づくそれぞれの位置に、該複数の第１の特徴のそれぞれに対応付けられた仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から、種類の異なる特徴を含む複数の第１の特徴と、第２の特徴と、が検出された場合には、仮想空間において、第２の特徴の位置に基づく位置に、複数の第１の特徴のそれぞれの種類に応じた第１の仮想オブジェクトのうち少なくとも一つを配置し、該複数の第１の特徴の位置に基づくそれぞれの位置に、各第１の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって、撮像画像から、複数の複数の第１の特徴と、第２の特徴と、が検出された場合には、仮想空間において、第２の特徴の位置に基づく位置に、所定の条件を満たす第１の特徴の種類に応じた第１の仮想オブジェクトを配置し、複数の第１の特徴の位置に基づくそれぞれの位置に、各第１の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、第２の特徴の位置に基づく位置に、該所定の条件として、第２の特徴に対して所定の位置関係にある第１の特徴の種類に応じた第１の仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、第２の特徴の位置に基づく位置に、該所定の条件として、特徴検出手段によって検出された第１の特徴のうち、第１の特徴の種類毎に付された優先度の最も高い第１の特徴の種類に応じた第１の仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって、画像取得手段によって取得された現実空間の画像から、互いに種類の異なる複数の第１の特徴と、第２の特徴と、が検出された場合には、仮想空間において、第２の特徴の位置に基づく位置に、該複数の第１の特徴の種類の組み合わせに応じた第１の仮想オブジェクトを配置し、複数の第１の特徴の位置に基づくそれぞれの位置に、各第１の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって、現実空間の画像から、互いに種類の異なる複数の第１の特徴と、第２の特徴と、が検出された場合には、仮想空間において、第２の特徴の位置に基づく位置に、第２の特徴に対する第１の特徴の追加順に応じた第１の仮想オブジェクトを配置し、該複数の第１の特徴の位置に基づくそれぞれの位置に、各第１の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。

また、情報処理装置の画像生成手段は、特徴検出手段によって、現実空間の画像から、互いに種類の異なる複数の第１の特徴と、第２の特徴と、が検出された場合には、仮想空間において、第２の特徴の位置に基づく位置に、第２の特徴に対する各第１の特徴の位置関係に応じた第１の仮想オブジェクトを配置し、該複数の第１の特徴の位置に基づくそれぞれの位置に、各第１の特徴の種類に対応付けられた仮想オブジェクトを配置するようにしてもよい。

また、画像生成手段は、画像取得手段によって取得された現実空間の画像から第１の特徴及び第２の特徴が検出されることによって、第２の特徴の位置に基づく位置に、第１の特徴に応じた第１の仮想オブジェクトを配置して仮想空間の画像を生成している状態において、特徴検出手段によって、第２の特徴は検出されるものの第１の特徴が検出されなくなった場合に、仮想空間において、第２の特徴の位置に基づく位置に、第１の特徴に応じた第１の仮想オブジェクトを配置して仮想空間の画像を生成し続けるようにしてもよい。この場合、画像生成手段は、所定条件が満たされる場合に、第１の特徴が検出されなくなった後も第２の特徴に基づく位置に配置していた第１の仮想オブジェクトを、第２の特徴に基づく位置に配置せずに、仮想空間の画像を生成するようにしてもよい。所定条件は、例えば、第１の特徴が検出されなくなってから所定時間が経過することである。

また、画像生成手段は、特徴検出手段によって、現実空間の画像から、第２の特徴が検出され、第１の特徴は検出されない場合には、仮想空間において、第２の特徴の位置に基づく位置に第２の特徴に対応付けられた仮想オブジェクトを配置して仮想空間の画像を生成するようにしてもよい。

また、画像生成手段は、第１の特徴の位置に基づく位置に、第１の特徴に対応付けられた仮想オブジェクトを配置するようにしてもよい。第１の特徴に対応付けられた仮想オブジェクトは、第２の特徴の位置に基づく位置に第１の特徴に応じて配置される第１の仮想
オブジェクトとは異なる仮想オブジェクトであってもよい。

また、第１の特徴は、第１の特徴に対応付けられた仮想オブジェクトの形態の少なくとも一部を模した図形であり、第２の特徴は、第２の特徴に対応付けられた仮想オブジェクトの形態を模した図形ではないようにしてもよい。これによって、第２の特徴は、第２の特徴に対応付けられた仮想オブジェクトの原型に縛られることなく、例えば、第２の特徴に対応付けられた仮想オブジェクトの原型である所定のキャラクタが登場するゲーム以外の用途でも使用することができる。

また、第１の特徴は、所定のコンテンツをユーザーが取得可能な情報を保持し、該所定のコンテンツをユーザーが取得した後もユーザーの手元に残る情報保持装置に印刷され、第２の特徴は、情報保持装置の梱包材に印刷されるようにしてもよい。これによって、該所定のコンテンツをユーザーが取得した後にも、情報保持装置を再利用することができ、情報保持装置に新たな価値を付加することができる。

また、本発明は、情報処理装置、１または複数の情報処理装置を有する情報処理システム、コンピュータによって実行される方法、またはコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。

本発明によれば、視覚的な変化に富んだ拡張現実技術を提供することができる。

実施形態に係るシステムの構成を示す図である。 実施形態に係る情報処理装置の機能構成の概略を示す図である。 実施形態に係る情報処理の流れを示すフローチャートの一例である。 実施形態において、共用マーカーと、１つの個別マーカーと、が検出された場合のディスプレイの画面の例である。 実施形態において、共用マーカーと、１つの個別マーカーと、が検出された場合のディスプレイの画面の例である。

以下、本発明の実施の形態を、図面に基づいて説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態毎に具体的構成が適宜採用されてよい。例えば、本発明は、携帯可能な情報処理装置のコンピュータにおいて実行される情報処理プログラム、情報処理装置、１または複数の情報処理装置を有する情報処理システムおよび情報処理方法等に適用することが出来る。

＜システムの構成＞
図１は、本実施形態に係るシステム１００の構成を示す図である。システム１００には、情報処理装置１、および複数のカード２Ａ，２Ｂ，２Ｙ（但し、カードの種類を区別しない場合には、単に「カード２」と称する）が含まれる。

情報処理装置１は、例えば、携帯ゲーム機，スマートフォン，携帯電話端末，タブレット端末等である。情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、補助記憶装置１４、撮像装置１５、ディスプレイ（表示装置）１６、および各種ボタンやタッチパネル等の入力装置１７が電気的に接続された情報処理装置である。なお、情報処理装置１の具体的なハードウェア構成に関しては、実施の形態毎に適宜構成要素の省略や置換、追加が行われてよい。例えば、情報処理装置１が、据え置き型のゲーム装置である場合には、撮像装置１５，ディスプレイ１６，入力装置１７等はそれぞれ独立した装置であり、周辺装置として情報処理装置１に接続される。

ＣＰＵ１１は、中央処理装置であり、ＲＡＭ１２およびＲＯＭ１３等に展開された命令及びデータを処理することで、ＲＡＭ１２、補助記憶装置１４等の、情報処理装置１に備えられた各構成要素を制御する。また、ＲＡＭ１２は、主記憶装置であり、ＣＰＵ１１によって制御され、各種命令やデータが書き込まれ、読み出される。即ち、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３は、情報処理装置１の制御部を構成する。

補助記憶装置１４は、不揮発性の記憶装置であり、主に情報処理装置１の電源を落としても保持したい情報、例えば、ＲＡＭ１２にロードされる情報処理装置１のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、後述する処理を実行するための各種プログラム、情報処理装置１によって使用される各種データ、等が書き込まれ、読み出される。補助記憶装置１４としては、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ
Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等を用いることが出来る。また、補助記憶装置１４として、情報処理装置１に対して着脱可能に装着される可搬媒体が用いられてもよい。可搬媒体の例としては、ＥＥＰＲＯＭ等によるメモリーカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）等が挙げられる。可搬媒体による補助記憶装置１４と、可搬型ではない補助記憶装置１４とは、組み合わせて用いることも可能である。

カード２Ａ，２Ｂ，２Ｙには、印刷等の方法で互いに異なるマーカー３Ａ，３Ｂ，３Ｙ（但し、マーカーの種類を区別しない場合には、単に「マーカー３」と称する）が付されている。これらマーカー３は、情報処理装置１によって表示される仮想オブジェクトと対応付けられており、該マーカー３に対応付けられた仮想オブジェクトが表示される際の位置姿勢の基準を示す指標である。図１においてカード２は３枚示されているが、用いられるカード２は１枚であってもよいし、２枚以上のその他の枚数であってもよい。

マーカー３Ａ，３Ｂは、例えば、それぞれ、情報処理装置１によって、所定のキャラクタを模した仮想オブジェクトと対応付けられている。マーカー３Ａ，３Ｂは、例えば、それぞれ、対応付けられている仮想オブジェクトの形態の少なくとも一部を模した図形である。具体的には、例えば、マーカー３Ａ，３Ｂは、対応付けられた仮想オブジェクトの原型となるキャラクタの顔である。ただし、図面上では、便宜上、マーカー３Ａ，３Ｂは、それぞれアルファベットで示されている。また、マーカー３Ａ，３Ｂが印刷されているカード２Ａ，２Ｂは、例えば、紙のカード，所定のコンテンツをユーザーが取得可能な情報を保持する情報保持装置等であってもよい。情報保持装置は、例えば、プリペイドカード等であり、所定のコンテンツはゲームアプリケーション、所定のコンテンツをユーザーが取得可能な情報は、ポイントやシリアルコード等である。情報保持装置は、ユーザーが所定のコンテンツを取得した後にもユーザーの手元に残るものである。

マーカー３Ｙは、例えば、情報処理装置１によって、他のマーカー３との組み合わせに応じて異なる仮想オブジェクトと対応付けられている。また、マーカー３Ｙは、例えば、マーカー３Ａ，３Ｂとは異なり、対応付けられている仮想オブジェクトの形態とは関連の
ない図形である。例えば、マーカー３Ｙとマーカー３Ａとの組み合わせには、仮想オブジェクト（ＹＡ）が対応付けられており、マーカー３Ｙとマーカー３Ｂとの組み合わせには、仮想オブジェクト（ＹＢ）が対応付けられている。また、マーカー３Ｙは、例えば、紙のカード，マーカー３Ａ、マーカー３Ｂが印刷されている情報保持装置の梱包材等に印刷されてもよい。情報保持装置の梱包材は、例えば、プリペイドカード等の台紙である。

以降、マーカー３Ｙは、共用マーカー３Ｙと称することもある。また、マーカー３Ａ，３Ｂを、個別マーカー３Ａ，３Ｂ（区別しない場合には、個別マーカー３）と称する。個別マーカー３は、「第１の特徴」の一例である。共用マーカー３Ｙは、「第２の特徴」の一例である。

本実施形態において、仮想オブジェクトは、情報処理装置１のディスプレイ１６において、対応付けられたマーカー３に対して所定位置に合成表示される。また、仮想オブジェクトは、上下、前後、および左右の方向を有する。そのため、マーカー３は、仮想オブジェクトの表示姿勢を特定することが可能なものであることが好ましい。即ち、マーカー３は、撮像装置１５を用いて撮像されることで、撮像装置１５に対する位置および姿勢を特定可能な記号、文字、図形、絵、およびそれらの組み合わせ等であることが好ましい。

次に、本実施形態に係る情報処理装置１が備える機能について説明する。本実施形態に係る情報処理装置１は、所謂ＡＲ機能を備えた情報処理装置である。情報処理装置１は、撮像装置１５を用いて撮像された実空間の撮像画像に、仮想カメラを用いて描画（レンダリング）された仮想空間内の仮想オブジェクトを合成して、ディスプレイ１６に表示する機能を有する。本実施形態において、仮想オブジェクトは、３次元の画像データである。但し、仮想オブジェクトは、２次元の画像データであってもよい。

図２は、本実施形態に係る情報処理装置１の機能構成の概略を示す図である。本実施形態に係る情報処理装置１は、ＣＰＵ１１が、ＲＡＭ１２に展開された各種プログラムを解釈および実行することで、撮像画像取得部２１，特徴検出部２２，画像生成部２５，及び表示制御部２６を備える情報処理装置として機能する。本実施形態では、これらの機能がいずれも汎用のＣＰＵ１１によって実行される例について説明しているが、これらの機能は、その一部または全部が、１または複数の専用のプロセッサによって実現されてもよい。

撮像画像取得部２１は、撮像装置１５によって撮像された撮像画像を取得する。特徴検出部２２は、撮像装置１５によって撮像された画像に対して、例えばパターンマッチング等の画像処理を行うことによって、当該画像に含まれるマーカー３を検出することができる。マーカー３の検出は、例えば、画像認識エンジンを用いて行われる。また、特徴検出部２２は、撮像された画像に含まれるマーカー３の検出とともに、該マーカー３の位置情報も検出することができる。マーカー３の位置情報は、例えば、ディスプレイ１６の画面内のマーカー３の座標等である。

画像生成部２５は、仮想空間における、特徴検出部２２によって検出されたマーカー３の位置に基づく位置に、マーカー３に対応する仮想オブジェクトを配置し、仮想カメラから見た仮想空間の画像を生成することで、仮想空間画像を描画（レンダリング）する。仮想オブジェクトは、仮想空間内で、マーカー３の座標系において、マーカー３の姿勢に応じた姿勢で、マーカー３の位置に基づく位置に配置される。マーカー３の座標系と姿勢とは、各マーカーについて、画像生成部２５によって算出される。例えば、マーカー３のマーカー座標系は、マーカー３の中心点を原点とし、互いに直交する３軸によって構成される。現実空間に配置されたマーカー３を基準として仮想空間の座標系が定義されることにより、現実空間と仮想空間とを対応付けることができる。なお、実空間と仮想空間との対
応付けには、マーカー座標系を用いる方法以外の方法が採用されてもよい。マーカーの座標系及び姿勢の算出方法は、既知の方法のいずれが採用されてもよい。

画像生成部２５は、各マーカー３に対応付けられた仮想オブジェクトの情報を、後述のオブジェクト情報から取得する。ただし、共用マーカー３Ｙを含む複数のマーカーが検出された場合には、画像生成部２５は、後述の組み合わせ情報から、共用マーカー３Ｙ上に配置される仮想オブジェクトの情報を取得する。この場合に共用マーカー３Ｙ上に配置される仮想オブジェクトは、共用マーカー３Ｙと組み合わされる個別マーカー３によって異なる。

表示制御部２６は、撮像画像取得部２１によって取得された撮像画像に、画像生成部２５によって生成された仮想オブジェクトを含む仮想空間画像を重畳した合成画像を、表示装置であるディスプレイ１６によって表示させる。このようにすることで、ユーザーは、現実空間に、実際に仮想オブジェクトが存在するかのような感覚を得ることが出来る。

次に、本実施形態に係る情報処理装置１が保持する情報について説明する。情報処理装置１は、補助記憶装置１４に、マーカー情報，オブジェクト情報，及び組み合わせ情報を保持する。

マーカー情報は、マーカー３に関する情報である。マーカー情報には、例えば、マーカー３を識別するためのマーカーＩＤ、マーカー画像、マーカーサイズ、対応オブジェクトＩＤ、仮想オブジェクトの位置姿勢、オブジェクトの表示サイズ等が含まれる。マーカー画像は、マーカー３の外観を示す画像である。また、マーカーサイズは、マーカー３の縦横の長さ等、マーカー３の大きさを示す情報である。画像生成部２５は、マーカー画像とマーカーサイズに基づいて、撮像画像に含まれるマーカー３の見え方から、マーカー座標系を取得することができる。対応オブジェクトＩＤは、マーカー３に対応する位置に表示される仮想オブジェクトの識別番号である。なお、１つのマーカー３に対して２以上の仮想オブジェクトが対応付けられていてもよい。マーカー情報は、システム１００において使用される各マーカー３に対して存在する。マーカー情報には、共用マーカー３Ｙの情報も含まれる。

オブジェクト情報は、マーカー３に対応する位置に表示される仮想オブジェクトに関する情報である。オブジェクト情報には、例えば、仮想オブジェクトを識別するためのオブジェクトＩＤおよびオブジェクトのデータが含まれる。オブジェクト情報は、システム１００において使用される各オブジェクトについて存在する。

組み合わせ情報は、共用マーカー３Ｙと個別マーカー３との組み合わせと、共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトのオブジェクトＩＤとの対応付けである。より具体的には、組み合わせ情報は、共用マーカー３Ｙと組み合わされる個別マーカー３のマーカーＩＤ、対応オブジェクトＩＤ、仮想オブジェクトの位置姿勢、オブジェクトの表示サイズ等が含まれる。組み合わせは、共用マーカー３Ｙに対して、１つの個別マーカー３の組み合わせであってもよいし、共用マーカー３Ｙに対して、複数の異なる個別マーカー３の組み合わせであってもよい。なお、１つの組み合わせに対して２以上の仮想オブジェクトが対応付けられていてもよい。

＜処理の流れ＞
次に、本実施形態において実行される処理の流れを説明する。なお、本実施形態に係るフローチャートに示された処理の具体的な内容および処理順序は、本発明を実施するための一例である。具体的な処理内容および処理順序は、本発明の実施の形態毎に適宜選択されてよい。

図３は、本実施形態に係る情報処理の流れを示すフローチャートの一例である。図３に示されるフローチャートは、情報処理装置１において、ＡＲ機能を起動するユーザー操作が受け付けられたことを契機として開始される。また、図３に示されるフローチャートは、例えば、撮像装置１５から撮像画像が取得される周期である６０フレーム／秒で分割されたフレーム毎に繰り返し実行される。

ステップＳ１では、撮像画像取得部２１は、撮像装置１５によって撮像された撮像画像を取得する。ステップＳ２では、特徴検出部２２が、撮像画像から、撮像された空間における特徴として、マーカー情報に含まれるマーカー画像に該当するマーカー３を検出し、マーカーが検出された場合には（Ｓ２：ＹＥＳ）、処理がステップＳ３に進む。マーカー３の検出は、一般的な画像認識エンジンを用いて行うことが可能である。マーカーが検出されない場合には（Ｓ２：ＮＯ）、図３に示される処理が終了する。

ステップＳ３では、特徴検出部２２によって検出されたマーカー３が複数である場合には（Ｓ３：ＹＥＳ）、処理がステップＳ５に進む。特徴検出部２２によって検出されたマーカー３が１つである場合には（Ｓ３：ＮＯ）、処理がステップＳ４に進む。

ステップＳ４では、画像生成部２５は、仮想空間において、検出された１つのマーカー３に対応する位置に、マーカー３に対応する仮想オブジェクトを配置する。マーカー３に対応する仮想オブジェクトＩＤ及び仮想オブジェクトの表示位置等については、マーカー情報から取得される。仮想オブジェクトは、マーカー情報から取得されたオブジェクトＩＤによってオブジェクト情報から取得される。Ｓ２において検出された１つのマーカーが共用マーカー３Ｙである場合もステップＳ４に分岐し、共用マーカー３Ｙに対応する位置に、共用マーカー３Ｙに対応する仮想オブジェクトが配置される。

ステップＳ５では、特徴検出部２２は、検出した複数のマーカー３に共用マーカー３Ｙが含まれるか否かを判定する。共用マーカー３Ｙが含まれる場合には（Ｓ５：ＹＥＳ）、処理がステップＳ６に進む。共用マーカー３Ｙが含まれない場合には（Ｓ５：ＮＯ）、処理がステップＳ８に進む。

ステップＳ６では、画像生成部２５は、検出された共用マーカー３Ｙと個別マーカー３との組み合わせに対応する仮想オブジェクトのオブジェクトＩＤを組み合わせ情報から取得する。次に処理がステップＳ７に進む。

ステップＳ７では、画像生成部２５は、仮想空間において、共用マーカー３Ｙに対応する位置に、ステップＳ６で取得したオブジェクトＩＤの仮想オブジェクトを配置する。次に処理がステップＳ８に進む。

ステップＳ８では、画像生成部２５は、仮想空間において、個別マーカー３に対応する位置に、マーカー３に対応する仮想オブジェクトを配置する。次に処理がステップＳ９に進む。

ステップＳ９では、画像生成部２５は、仮想空間の画像を生成する。画像生成部２５は、マーカー座標系に配置された１または複数の仮想オブジェクトを含む仮想空間の画像を、マーカー座標系において撮像装置１５と同一の位置に配置された仮想カメラの視点から描画する。仮想オブジェクトを描画するためのオブジェクトのデータは、オブジェクト情報から取得される。なお、仮想オブジェクトは、１または数フレーム毎に変化することでアニメーションしてもよい。アニメーションは、例えば、仮想オブジェクトのキャラクタが表情を変えたり、動いたりするものとすることが出来る。その後、処理はステップＳ１
０へ進む。

ステップＳ１０では、表示制御部２６は、撮像画像に仮想空間の画像を重畳した合成画像を生成し、この合成画像をディスプレイ１６に出力し、表示させる。

図４及び図５は、本実施形態に係る情報処理によってＡＲ機能が提供される場合の、ディスプレイ１６の表示画面の一例を示す図である。

図４は、共用マーカー３Ｙと、個別マーカー３Ａと、が検出された場合のディスプレイ１６の画面の例である。図４に示される例では、個別マーカー３Ａに対応する位置に仮想オブジェクト４Ａが表示される。また、共用マーカー３Ｙに対応する位置に仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｙ−Ａとが表示される。

図４に示される例の場合、マーカー情報において、個別マーカー３Ａに仮想オブジェクト４Ａが対応付けられている。組み合わせ情報において、共用マーカー３Ｙと個別マーカー３Ａとの組み合わせに、仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｙ−Ａとが対応付けられている。画像生成部２５は、このようなマーカー情報及び組み合わせ情報に従って、個別マーカー３Ａに対応する位置に仮想オブジェクト４Ａを、共用マーカー３Ｙに対応する位置に仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｙ−Ａとを配置する（図３、Ｓ６−Ｓ８）。

図５は、共用マーカー３Ｙと、個別マーカー３Ｂと、が検出された場合のディスプレイ１６の画面の例である。図５に示される例では、個別マーカー３Ｂに対応する位置に、仮想オブジェクト４Ｂが表示される。また、共用マーカー３Ｙに対応する位置には、仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｙ−Ｂとが表示される。

図５に示される例の場合、マーカー情報において、個別マーカー３Ｂに仮想オブジェクト４Ｂが対応付けられている。組み合わせ情報において、共用マーカー３Ｙと個別マーカー３Ｂとの組み合わせに、仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｙ−Ｂとが対応付けられている。画像生成部２５は、このようなマーカー情報及び組み合わせ情報に従って、個別マーカー３Ｂに対応する位置に仮想オブジェクト４Ｂを、共用マーカー３Ｙに対応する位置に仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｙ−Ｂとを配置する（図３、Ｓ６−Ｓ８）。

図４及び図５に示されるように、情報処理装置１では、共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトは、共用マーカー３Ｙとともに検出される個別マーカー３の種類に応じて決められる。すなわち、１つの共用マーカー３Ｙに対して組み合わせる個別マーカー３によって、共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトが変化する。これによって、視覚的に変化に富んだＡＲ機能を提供することができる。

なお、特徴検出部２２が撮像画像から共用マーカー３Ｙのみを検出した場合には、画像生成部２５は、マーカー情報において共用マーカー３Ｙに対応付けられている仮想オブジェクト（例えば、仮想オブジェクト４Ｙ−Ｙ）を、共用マーカー３Ｙに対応する位置に配置する。

例えば、図４及び図５に示される例について、この後、個別マーカー３Ａ又は個別マーカー３Ｂが撮像範囲から外された場合に、画像生成部２５は、共用マーカー３Ｙに対応する位置に、仮想オブジェクト４Ｙ−Ｙ，４Ｙ−Ａの組み合わせの仮想オブジェクト，又は、仮想オブジェクト４Ｙ−Ｙ，４Ｙ−Ｂの組み合わせの仮想オブジェクトを配置して仮想空間の画像を生成し続けてもよい。また、例えば、個別マーカー３Ａ又は個別マーカー３
Ｂが検出されなくなってから所定時間経過後、又は、別の個別マーカー３が検出される場合等に、画像生成部２５は、共用マーカー３Ｙに対応する位置に、仮想オブジェクト４Ｙ−Ｙ，４Ｙ−Ａの組み合わせの仮想オブジェクト，又は、仮想オブジェクト４Ｙ−Ｙ，４Ｙ−Ｂの組み合わせの仮想オブジェクトを配置することをやめるようにしてもよい。

また、図４及び図５に示される例において、組み合わせ情報において、共用マーカー３Ｙと個別マーカー３Ａ又は個別マーカー３Ｂの組み合わせに対して、それぞれ、仮想オブジェクト４Ｙ−Ａのみ、又は、仮想オブジェクト４Ｙ−Ｂのみを対応付けてもよい。この場合には、画像生成部２５は、組み合わせ情報に基づいて、共用マーカー３Ｙに対応する位置に、仮想オブジェクト４Ｙ−Ａのみ、又は、仮想オブジェクト４Ｙ−Ｂのみを配置する。

また、上記実施形態では、共用マーカー３Ｙとともに検出される個別マーカー３が別の種類の個別マーカー３に更新されると、共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトは、新たに検出された個別マーカー３と共用マーカー３Ｙとの組み合わせに対応づけられた仮想オブジェクトに更新される。ただし、これに限られず、共用マーカー３Ｙとともに検出される個別マーカー３が別の種類の個別マーカー３に更新されても、共用マーカー３Ｙに対応する位置に更新前から表示される仮想オブジェクトを維持し、新たに検出された個別マーカー３と共用マーカー３Ｙとの組み合わせに対応づけられた仮想オブジェクトを追加して表示するようにしてもよい。この場合には、例えば、個別マーカー３を撮像範囲から外し、共用マーカー３Ｙのみが所定時間検出され続けることによって、共用マーカー３Ｙに対応する位置に表示されていた複数の仮想オブジェクトをリセットするようにしてもよい。

また、画像生成部２５は、共用マーカー３Ｙと複数の個別マーカー３とが検出された場合には、図３のＳ７において、共用マーカー３Ｙに対応する位置に、組み合わせ情報において、共用マーカー３Ｙと該複数の個別マーカー３のそれぞれとの組み合わせに対応付けられている仮想オブジェクトを、すべて配置してもよい。この場合には、画像生成部２５は、例えば、各仮想オブジェクトが重なり合わないように調整して配置する。例えば、特徴検出部２２が、共用マーカー３Ｙと、個別マーカー３Ａと、個別マーカー３Ｂと、を検出した場合には、画像生成部２５は、共用マーカー３Ｙに対応する位置に、仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ａとを組み合わせた仮想オブジェクトと、仮想オブジェクト４Ｙ−Ｙと仮想オブジェクト４Ｂとを組み合わせた仮想オブジェクトとを配置してもよい（図３、Ｓ７）。また、例えば、画像生成部２５は、共用マーカー３Ｙの位置に基づく位置に、仮想オブジェクト４Ｙ−Ｙ，仮想オブジェクト４Ａ，仮想オブジェクト４Ｂを、それぞれ単体で配置してもよい。

または、情報処理装置１は、共用マーカー３Ｙと複数の個別マーカー３とを検出した場合には、共用マーカー３Ｙに対して所定の条件を満たす個別マーカー３を選択し、該個別マーカー３との組み合わせに対応付けられている仮想オブジェクトを共用マーカー３Ｙに対応する位置に表示してもよい。この場合、画像生成部２５は、例えば、図３のＳ６の処理において、共用マーカー３Ｙに対して所定の条件を満たす個別マーカー３を選択し、組み合わせ情報から、共用マーカー３Ｙと該個別マーカー３との組み合わせに対応付けられた仮想オブジェクトの情報を取得する。

例えば、所定の条件は、共用マーカー３Ｙに対する個別マーカー３の位置関係である。より具体的には、所定の条件は、個別マーカー３が共用マーカー３Ｙの最も近くに位置することであって、画像生成部２５は、共用マーカー３Ｙの最も近くに位置する個別マーカー３を選択し、該個別マーカー３との組み合わせに対応する仮想オブジェクトを共用マーカー３Ｙに対応する位置に配置してもよい。又は、所定の条件は、個別マーカー３が共用
マーカー３Ｙから所定距離の範囲内に位置すること、個別マーカー３が共用マーカー３Ｙに向いていること、個別マーカー３が共用マーカー３Ｙとは反対の向きを向いていることであってもよい。なお、マーカー３の位置関係は、特徴検出部２２によってマーカー３の検出とともに検出されるマーカー３の位置情報から、画像生成部２５が判定する。

または、例えば、所定の条件は、優先度であってもよい。組み合わせ情報において、共用マーカー３Ｙと各個別マーカー３との組み合わせに優先度を設定し、特徴検出部２２が、共用マーカー３Ｙと複数の個別マーカー３とを検出した場合には、画像生成部２５は、組み合わせ情報から、検出した中で最も高い優先度を有する共用マーカー３Ｙと個別マーカー３との組み合わせに対応付けられている仮想オブジェクトを選択し、共用マーカー３Ｙに対応する位置に選択した仮想オブジェクトを配置してもよい。

また、組み合わせ情報において、共用マーカー３Ｙと複数の個別マーカー３との組み合わせに対して仮想オブジェクトを対応付けてもよい。このような対応付けがなされている場合には、特徴検出部２２が、共用マーカー３Ｙと複数の個別マーカー３とを検出した場合には、画像生成部２５は、共用マーカー３Ｙに対応する位置に、組み合わせ情報において、共用マーカー３Ｙと該複数の個別マーカー３との組み合わせに対応付けられた仮想オブジェクトを配置する。

例えば、組み合わせ情報において、共用マーカー３Ｙと個別マーカー３Ａと個別マーカー３Ｂとの組み合わせに対して仮想オブジェクト（Ｙ）を対応付ける。特徴検出部２２が、共用マーカー３Ｙと個別マーカー３Ａと個別マーカー３Ｂとを検出する場合には、画像生成部２５は、組み合わせ情報に基づいて、共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ｙ）を配置する（図３、Ｓ６、Ｓ７）。

また、組み合わせ情報において、共用マーカー３Ｙと複数の個別マーカー３との組み合わせに対して仮想オブジェクトを対応付ける場合に、該複数の個別マーカー３の追加順によって仮想オブジェクトを設定してもよい。

例えば、組み合わせ情報に、第１ステップとしての共用マーカー３Ｙと個別マーカー３Ａとの組み合わせに仮想オブジェクト（Ａ）を対応付け、該第１ステップに応じた第２ステップとしての共用マーカー３Ｙ，個別マーカー３Ａ，個別マーカー３Ｂの組み合わせに、仮想オブジェクト（Ｘ）を対応付ける。また、組み合わせ情報に、さらに、第１ステップとしての共用マーカー３Ｙと個別マーカー３Ｂとの組み合わせに仮想オブジェクト（Ｂ）を対応付け、該第１ステップに応じた第２ステップとしての共用マーカー３Ｙ，個別マーカー３Ｂ，個別マーカー３Ａの組み合わせに、仮想オブジェクト（Ｙ）を対応付ける。

特徴検出部２２が、共用マーカー３Ｙと個別マーカー３Ａとを検出した場合には、画像生成部２５は、組み合わせ情報の第１ステップの組み合わせに基づいて、共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ａ）を配置する。次に、個別マーカー３Ｂが追加され、特徴検出部２２が、共用マーカー３Ｙ，個別マーカー３Ａ，個別マーカー３Ｂを検出すると、画像生成部２５は、組み合わせ情報の、共用マーカー３Ｙと個別マーカー３Ａとの組み合わせの第１のステップに対応する第２ステップの組み合わせの情報に基づいて、共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ｘ）を配置する（図３、Ｓ６、Ｓ７）。

特徴検出部２２が、共用マーカー３Ｙと個別マーカー３Ｂとを検出した場合には、画像生成部２５は、組み合わせ情報の第１ステップの組み合わせに基づいて、共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ｂ）を配置する。次に、個別マーカー３Ａが追加され、特徴検出部２２が、共用マーカー３Ｙ，個別マーカー３Ｂ，個別マーカー３Ａを検
出すると、画像生成部２５は、組み合わせ情報の、共用マーカー３Ｙと個別マーカー３Ｂとの組み合わせの第１のステップに対応する第２ステップの組み合わせの情報に基づいて、共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ｙ）を配置する（図３、Ｓ６、Ｓ７）。

このように、組み合わせ情報において、共用マーカー３Ｙと組み合わされる複数の個別マーカー３の追加順によって仮想オブジェクトを設定することで、例えば、共用マーカー３Ｙ，個別マーカー３Ａ，個別マーカー３Ｂの同じ組み合わせでも、個別マーカー３の追加順によって共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトが異なる。

また、組み合わせ情報において、共用マーカー３Ｙと複数の個別マーカー３との組み合わせに対して仮想オブジェクトを対応付ける場合に、共用マーカー３に対する各個別マーカー３の位置関係によって仮想オブジェクトを設定してもよい。

例えば、組み合わせ情報の、共用マーカー３Ｙ，個別マーカー３Ａ，個別マーカー３Ｂの組み合わせにおいて、共用マーカー３Ｙに対する距離が個別マーカー３Ａの方が個別マーカー３Ｂより近い場合には、仮想オブジェクト（Ｘ）を対応付け、共用マーカー３Ｙに対する距離が個別マーカー３Ａの方が個別マーカー３Ｂより遠い場合には、仮想オブジェクト（Ｙ）を対応付ける。この場合には、例えば、特徴検出部２２が、共用マーカー３Ｙ，個別マーカー３Ａ，個別マーカー３Ｂの並びを検出すると、画像生成部２５が組み合わせ情報に基づいて、共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ｘ）を配置する（図３、Ｓ６，Ｓ７）。次に、個別マーカー３Ａと個別マーカー３Ｂとの並びが入れ替えられると、特徴検出部２２が、共用マーカー３Ｙ，個別マーカー３Ｂ，個別マーカー３
Ａの並びを検出し、画像生成部２５が組み合わせ情報に基づいて共用マーカー３Ｙに対応する位置に仮想オブジェクト（Ｙ）を配置する（図３、Ｓ６，Ｓ７）。

このように、組み合わせ情報において、共用マーカー３Ｙに対する複数の個別マーカー３の位置関係によって仮想オブジェクトを設定することで、例えば、共用マーカー３Ｙ，個別マーカー３Ａ，個別マーカー３Ｂの同じ組み合わせでも、各個別マーカー３の共用マーカー３Ｙに対する位置関係によって、共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトが異なる。

以上のように、本実施形態によれば、共用マーカー３Ｙに対する個別マーカーの組み合わせ，又は、組み合わせ方法によって、共用マーカー３Ｙに対応する位置に表示される仮想オブジェクトが変化するので、ＡＲ機能を変化に富んだ娯楽性の高いものにすることができる。

＜実施形態のバリエーション＞
上記説明した実施形態において、表示制御部２６は、撮像画像に仮想空間の画像を重畳した合成画像を表示装置に表示させることで、ユーザーが、仮想空間の画像が現実空間に重畳されて視認可能とする。但し、表示制御部２６は、仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させればよく、合成画像を表示する方式に限定されない。例えば、本発明は、ＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）や、ユーザーが装着しているメガネに仮想空間画像を映写する方式等、ユーザーの視界に仮想空間画像を映写することで仮想空間の画像が現実空間に重畳されてユーザーから視認されるタイプの拡張現実技術に適用されてもよい。

上記説明した実施形態において、個別マーカー３は、個別マーカー３Ａ，３Ｂの２つであったが、個別マーカー３の数は、２つに限られず、２以上であってもよい。

上述した実施形態において、情報処理装置１は、単体で上述の処理を行ったが、これに限られない。上述した実施形態の処理は、複数の情報処理装置で分散して行われてもよい。例えば、組み合わせ情報は、ネットワーク上のデータベースに配置されており、情報処理装置１が該データベースにアクセスして組み合わせ情報を取得してもよい。また、例えば、画像生成部２５の処理を、ネットワーク上のサーバに実行させるように設計することによって、情報処理装置１がマーカー３の検出結果をサーバに送信し、該サーバが仮想空間画像を生成して情報処理装置１に送信するようにしてもよい。

１ 情報処理装置
２Ａ、２Ａ、２Ｙ カード
３Ａ、３Ａ、３Ｙ マーカー
２１ 撮像画像取得部
２２ 特徴検出部
２５ 画像生成部
２６ 表示制御部

Claims (23)

1. 複数の種類が存在し、前記複数の種類のうちの１つに該当する第１の特徴と、
   前記第１の特徴とは異なる第２の特徴と、
   撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、
   前記画像から１又は複数の特徴を検出する特徴検出手段と、
   仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成手段と、
   前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
   を備える情報処理装置と、
   を備える情報処理システムであって、
   前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から前記第１の特徴と前記第２の特徴とが検出された場合に、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた第１の仮想オブジェクトを配置し、
   前記第１の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
   前記第２の特徴は、対応付けられている前記第１の仮想オブジェクトの形態と関連性の低い形態である、
   情報処理システム。
2. 前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から前記第２の特徴とともに前記第１の特徴が検出された場合に、前記仮想空間において、前記第１の仮想オブジェクトと、前記第２の特徴に対応付けられた仮想オブジェクトと、を、それぞれ、前記第２の特徴の位置に基づく位置に、配置する、
   請求項１に記載の情報処理システム。
3. 前記画像生成手段は、前記特徴検出手段によって前記第２の特徴とともに検出される前記第１の特徴の種類が更新された場合に、前記第２の特徴の位置に基づく位置に配置する第１の仮想オブジェクトを、更新後の前記第１の特徴の種類と前記第２の特徴との組み合
   わせに対応付けられた第１の仮想オブジェクトに更新する、
   請求項１に記載の情報処理システム。
4. 前記画像生成手段は、前記特徴検出手段によって前記第２の特徴とともに検出される前記第１の特徴の種類が更新された場合に、前記第２の特徴の位置に基づく位置に、前記更新前に配置されていた第１の仮想オブジェクトに加えて、前記更新後の前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた第１の仮想オブジェクトも配置する、
   請求項１に記載の情報処理システム。
5. 前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から、複数の第１の特徴と、前記第２の特徴と、が検出された場合には、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記複数の第１の特徴のそれぞれの種類と前記第２の特徴との組み合わせに対応付けられた第１の仮想オブジェクトを配置し、前記複数の第１の特徴の位置に基づくそれぞれの位置に、前記複数の第１の特徴のそれぞれに対応付けられた仮想オブジェクトを配置する、
   請求項１に記載の情報処理システム。
6. 前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から、種類の異なる特徴を含む複数の前記第１の特徴と、前記第２の特徴と、が検出された場合には、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記複数の第１の特徴のそれぞれの種類と前記第２の特徴との組み合わせに対応付けられた前記第１の仮想オブジェクトのうち少なくとも一つを配置し、前記複数の第１の特徴の位置に基づくそれぞれの位置に、前記各第１の特徴の種類に対応付けられた仮想オブジェクトを配置する、
   請求項５に記載の情報処理システム。
7. 前記画像生成手段は、前記仮想空間において、前記第２の特徴の位置に基づく位置に、所定の条件を満たす前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた前記第１の仮想オブジェクトを配置し、前記複数の第１の特徴の位置に基づくそれぞれの位置に、各前記第１の特徴の種類に対応付けられた仮想オブジェクトを配置する、
   請求項５又は６に記載の情報処理システム。
8. 前記画像生成手段は、前記第２の特徴の位置に基づく位置に、前記所定の条件として、前記第２の特徴に対して所定の位置関係にある第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた前記第１の仮想オブジェクトを配置する、
   請求項７に記載の情報処理システム。
9. 前記画像生成手段は、前記第２の特徴の位置に基づく位置に、前記所定の条件として、前記特徴検出手段によって検出された前記第１の特徴のうち、前記第１の特徴の種類毎に付された優先度の最も高い第１の特徴の種類と前記第２の特徴との組み合わせに対応付けらえた前記第１の仮想オブジェクトを配置する、
   請求項７に記載の情報処理システム。
10. 前記画像生成手段は、前記特徴検出手段によって、前記画像取得手段によって取得された現実空間の画像から、互いに種類の異なる複数の前記第１の特徴と、前記第２の特徴と、が検出された場合には、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記複数の第１の特徴の種類と前記第２の特徴との組み合わせに応じた前記第１の仮想オブジェクトを配置し、前記複数の第１の特徴の位置に基づくそれぞれの位置に、前記各第１の特徴の種類に対応付けられた仮想オブジェクトを配置する、
    請求項１に記載の情報処理システム。
11. 前記画像生成手段は、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第２の特徴に対する前記互いに種類の異なる複数の第１の特徴の追加順に応じた前記第１の仮想オブジェクトを配置し、前記複数の第１の特徴の位置に基づくそれぞれの位置に、前記各第１の特徴の種類に対応付けられた仮想オブジェクトを配置する、
    請求項１０に記載の情報処理システム。
12. 前記画像生成手段は、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第２の特徴に対する前記互いに種類の異なる複数の第１の特徴のそれぞれの位置関係に応じた前記第１の仮想オブジェクトを配置し、前記複数の第１の特徴の位置に基づくそれぞれの位置に、前記各第１の特徴の種類に対応付けられた仮想オブジェクトを配置する、
    請求項１０に記載の情報処理システム。
13. 前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から前記第１の特徴及び前記第２の特徴が検出されることによって、前記第２の特徴の位置に基づく位置に、前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた前記第１の仮想オブジェクトを配置して仮想空間の画像を生成している状態において、前記特徴検出手段によって、前記第２の特徴は検出されるものの前記第１の特徴が検出されなくなった場合に、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた前記第１の仮想オブジェクトを配置して前記仮想空間の画像を生成し続ける、
    請求項１から４のいずれか一項に記載の情報処理システム。
14. 前記画像生成手段は、所定条件が満たされる場合に、前記第１の特徴が検出されなくなった後も前記第２の特徴に基づく位置に配置していた前記第１の仮想オブジェクトを、前記第２に基づく位置に配置せずに、前記仮想空間の画像を生成する、
    請求項１３に記載の情報処理システム。
15. 前記所定条件は、前記第１の特徴が検出されなくなってから所定時間が経過することである、
    請求項１４に記載の情報処理システム。
16. 前記画像生成手段は、前記特徴検出手段によって、前記画像から、前記第２の特徴が検出され、前記第１の特徴は検出されない場合には、前記仮想空間において、前記第２の特徴の位置に基づく位置に前記第２の特徴に対応付けられた仮想オブジェクトを配置して前記仮想空間の画像を生成する、
    請求項１又は２に記載の情報処理システム。
17. 前記画像生成手段は、前記第１の特徴の位置に基づく位置に、前記第１の特徴に対応付けられた仮想オブジェクトを配置する、
    請求項１から１６のいずれか一項に記載の情報処理システム。
18. 前記画像生成手段は、前記第１の特徴の位置に基づく位置に、前記第１の仮想オブジェクトとは異なる前記第１の特徴に対応付けられた仮想オブジェクトを配置する、
    請求項１７に記載の情報処理システム。
19. 前記第１の特徴は、前記第１の特徴に対応付けられた仮想オブジェクトの形態の少なくとも一部を模した図形であり、前記第２の特徴は、前記第２の特徴に対応付けられた仮想
    オブジェクトの形態を模した図形ではない、
    請求項１から１８のいずれか一項に記載の情報処理システム。
20. 前記第１の特徴は、所定のコンテンツをユーザーが取得可能な情報を保持し、前記所定のコンテンツをユーザーが取得した後もユーザーの手元に残る情報保持装置に印刷され、
    前記第２の特徴は、前記情報保持装置の梱包材に印刷される、
    請求項１から１９のいずれか一項に記載の情報処理システム。
21. 撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、
    前記画像から１又は複数の特徴を検出する特徴検出手段と、
    仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成手段と、
    前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
    を備える情報処理装置であって、
    前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から、複数の種類が存在し、前記複数の種類のうちの１つの種類に該当する第１の特徴と前記第１の特徴とは異なる第２の特徴とが検出された場合に、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた第１の仮想オブジェクトを配置し、
    前記第１の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
    前記第２の特徴は、対応付けられている前記第１の仮想オブジェクトの形態と関連性の低い形態である、
    情報処理装置。
22. コンピュータが、
    撮像装置によって撮像された現実空間の画像を取得する画像取得ステップと、
    前記画像から１又は複数の特徴を検出する特徴検出ステップと、
    仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成ステップと、
    前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御ステップと、
    を実行する情報処理方法であって、
    前記画像生成ステップにおいて、前記画像取得ステップにおいて取得された現実空間の画像から、複数の種類が存在し、前記複数の種類のうちの１つの種類に該当する第１の特徴と前記第１の特徴とは異なる第２の特徴とが検出された場合に、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた第１の仮想オブジェクトを配置し、
    前記第１の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
    前記第２の特徴は、対応付けられている前記第１の仮想オブジェクトの形態と関連性の低い形態である、
    情報処理方法。
23. コンピュータを、
    撮像装置によって撮像された現実空間の画像を取得する画像取得手段と、
    前記画像から１又は複数の特徴を検出する特徴検出手段と、
    仮想空間において、前記検出された特徴の位置に基づく位置に、前記特徴に対応付けられた仮想オブジェクトを配置して、前記仮想空間の画像を生成する画像生成手段と、
    前記仮想空間の画像が現実空間に重畳されてユーザーから視認されるように、表示装置に画像を表示させる表示制御手段と、
    として機能させる情報処理用プログラムであって、
    前記画像生成手段は、前記画像取得手段によって取得された現実空間の画像から、複数の種類が存在し、前記複数の種類のうちの１つの種類に該当する第１の特徴と前記第１の特徴とは異なる第２の特徴とが検出された場合に、前記仮想空間において、前記第２の特徴の位置に基づく位置に、前記第１の特徴の種類と前記第２の特徴との組み合わせに対応付けられた第１の仮想オブジェクトを配置し、
    前記第１の特徴は、種類に応じた仮想オブジェクトと対応付けられており、前記対応付けられている仮想オブジェクトの形態と関連する形態であり、
    前記第２の特徴は、対応付けられている前記第１の仮想オブジェクトの形態と関連性の低い形態である、
    情報処理用プログラム。

Images