JP6498466B2 - 表示装置及び表示方法 - Google Patents

Description

本発明は、拡張現実感技術を利用した表示装置及び表示方法に関する。

撮像装置などで撮像された現実空間の画像に仮想オブジェクトを同期して表示する拡張現実感（ＡＲ：Augmented Reality）技術が知られている。例えば特許文献１には、２つのオブジェクトを撮像し、撮像した各オブジェクトに対応する仮想オブジェクトを組み合わせて表示する画像処理方法が開示されている。

特開２０１０−２６８１８号公報

複数の仮想オブジェクトを組み合わせて表示する際、例えば特許文献１の画像処理方法では、複数のオブジェクトを同時に撮像する必要がある。しかしながら、オブジェクトの撮像態様によっては、複数のオブジェクトを同時に撮像することが難しい場合がある。例えば、撮像者は、一方の手でオブジェクトを把持し、把持したオブジェクトを動かしながら、他方の手で端末装置を操作して撮像を行う場合がある。このような場合には、一方の手で複数のオブジェクトを同時に把持して動かすことが難しく、複数のオブジェクトを同時に撮像することが難しい。その結果、複数のオブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができないおそれがある。

本発明は上記問題点に鑑みてなされたものであり、撮像態様に係らず、複数のオブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することを目的とする。

本発明の一態様に係る表示装置は、仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置であって、現実空間を撮像することにより生成された撮像画像を取得する画像取得手段と、画像取得手段により取得された撮像画像中に含まれている現実空間のオブジェクトである現実オブジェクトに応じた仮想オブジェクトを特定する特定手段と、特定手段により特定された仮想オブジェクトの表示態様を決定する表示態様決定手段と、表示態様決定手段により決定された表示態様によって、仮想オブジェクトを撮像画像に同期させて表示する表示手段と、を備え、表示態様決定手段は、表示手段によって、現実オブジェクトである第１の現実オブジェクトに応じた仮想オブジェクトである第１の仮想オブジェクトが表示されている状態において、特定手段によって、現実オブジェクトである第２の現実オブジェクトに応じた仮想オブジェクトである第２の仮想オブジェクトが特定されている場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクト及び第２の仮想オブジェクトの表示態様を決定する。

この表示装置によれば、取得された撮像画像に基づき仮想オブジェクトが特定され、当該特定された仮想オブジェクトが、決定された表示態様によって表示される。そして、第１の現実オブジェクトに応じた第１の仮想オブジェクトが表示されている状態において、第２の現実オブジェクトに応じた第２の仮想オブジェクトが特定されている場合には、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示される。第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるので、少なくとも第２の仮想オブジェクトが表示された後は、第１の現実オブジェクトの位置を特定する必要がなく、第１の現実オブジェクトを撮像する必要がない。これにより、例えば、一方の手で現実オブジェクトを把持して動かしながら他方の手で端末装置を操作して撮像を行うような場合に、一方の手で一つの現実オブジェクト、具体的には第２の現実オブジェクトのみを動かし、他方の手で当該第２の現実オブジェクトのみを撮像すれば、第１の仮想オブジェクト及び第２の仮想オブジェクトの双方を表示することが可能となる。すなわち、現実オブジェクトを動かしながら撮像を行うような撮像態様であっても、複数の現実オブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。以上より、本表示装置によれば、撮像態様に係らず、複数のオブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。

表示手段により表示される仮想オブジェクトの表示態様に関する仮想オブジェクト情報を記憶する表示オブジェクト記憶手段を更に備え、特定手段は、特定した仮想オブジェクトの仮想オブジェクト情報を更新し、表示態様決定手段は、表示オブジェクト記憶手段に、第１の仮想オブジェクト及び第２の仮想オブジェクトの仮想オブジェクト情報が記憶されている場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクトの仮想オブジェクト情報を更新し、表示手段は、仮想オブジェクト情報に基づいて仮想オブジェクトを表示してもよい。仮想オブジェクト情報を用いることによって、表示する仮想オブジェクトに関する情報の更新、及び、仮想オブジェクトの表示を容易に行うことができる。

仮想オブジェクト情報は、仮想オブジェクトの位置である座標情報を含んでおり、表示態様決定手段は、第１の仮想オブジェクトの座標情報が示す位置と、第２の仮想オブジェクトの座標情報が示す位置との離間距離が所定値より小さい場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクトの座標情報を更新してもよい。これにより、２つの仮想オブジェクトが互いに近接する場合のみ、上述した追従表示が行われることとなる。これにより、近接した仮想オブジェクトを一体的に表示することができる。

仮想オブジェクト情報は、追従表示可能な仮想オブジェクトを示す追従オブジェクト情報を含んでおり、表示態様決定手段は、第２の仮想オブジェクトの追従オブジェクト情報が、第１の仮想オブジェクトを示す場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクトの座標情報を更新してもよい。これにより、第１の仮想オブジェクト及び第２の仮想オブジェクトが所定の組合せである場合に限り、上述した追従表示が行われる。このことで、ユーザに対して、第２の仮想オブジェクトに係る第２の現実オブジェクトを選ばせることができ、ゲーム性を向上させることができる。

第１の現実オブジェクトの傾きを取得し、該傾きに基づいて物理計算を行う物理計算手段を更に備え、仮想オブジェクト情報は、第２の仮想オブジェクトに関する仮想オブジェクト情報の追加可否を示す追加可否情報を含んでおり、表示態様決定手段は、物理計算手段の物理計算結果に応じて、第１の仮想オブジェクトの追加可否情報を更新し、特定手段は、第１の仮想オブジェクトの追加可否情報が追加可能であることを示す場合に、第２の仮想オブジェクトの仮想オブジェクト情報を表示オブジェクト記憶手段に追加してもよい。これにより、第１の現実オブジェクトの傾きを考慮して、第２の仮想オブジェクトを表示するか否か決定することができる。このことで、例えば現実オブジェクトを把持して動かしながら仮想オブジェクトの表示を行うような場合に、ユーザに、現実オブジェクトの動かし方（傾け方）を考慮させることができ、ゲーム性を向上させることができる。

表示態様決定手段は、第１の仮想オブジェクトの追加可否情報を追加可能に更新した場合、追加可能に更新してから、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように第１の仮想オブジェクトの座標情報を更新するまでの間、第１の仮想オブジェクトの座標情報を固定値としてもよい。これにより、第２の仮想オブジェクトが追加可能になった状態において、第１の仮想オブジェクトの表示位置が固定されることとなる。このことで、２つの仮想オブジェクトを近接して表示させる際に、１つの現実オブジェクト（第２の現実オブジェクト）のみを把持して位置合わせすればよくなり、例えば現実オブジェクトを動かしながら撮像を行うような撮像態様であっても、複数の現実オブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。

ところで、本発明は、上記のように表示装置の発明として記述できる他に、以下のように表示方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

すなわち、本発明の別の態様に係る表示方法は、仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置が行う表示方法であって、現実空間を撮像することにより生成された撮像画像を取得する画像取得ステップと、画像取得ステップにおいて取得された撮像画像中に含まれている現実空間のオブジェクトである現実オブジェクトに応じた仮想オブジェクトを特定する特定ステップと、特定ステップにおいて特定された仮想オブジェクトの表示態様を決定する表示態様決定ステップと、表示態様決定ステップにおいて決定された表示態様によって、仮想オブジェクトを撮像画像に同期させて表示する表示ステップと、を含み、表示態様決定ステップでは、表示ステップにおいて、現実オブジェクトである第１の現実オブジェクトに応じた仮想オブジェクトである第１の仮想オブジェクトが表示されている状態において、特定ステップにおいて、現実オブジェクトである第２の現実オブジェクトに応じた仮想オブジェクトである第２の仮想オブジェクトが特定されている場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、表示態様を決定する。

本発明によれば、撮像態様に係らず、複数のオブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。

本実施形態に係る端末装置の表示イメージを示す図である。 本実施形態に係る端末装置の機能ブロック図である。 本実施形態に係る端末装置のハードウェア構成図である。 図２の仮想オブジェクト記憶部の仮想オブジェクトテーブルを示す図である。 図２の表示オブジェクト記憶部の表示テーブルを示す図である。 図２の端末装置の表示イメージを示す図である。 図２の端末装置が行う、物体未認識状態の処理を示すフローチャートである。 図２の端末装置が行う、迷路動作状態の処理を示すフローチャートである。 図２の端末装置が行う、物体認識済状態の処理を示すフローチャートである。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

本実施形態に係る表示装置は、拡張現実感（ＡＲ：Augmented Reality）技術を利用することにより、撮像装置によって撮像した現実空間の画像に仮想空間のオブジェクトである仮想オブジェクトを同期して表示する装置である。より詳細には、本実施形態に係る表示装置は、例えば２つの仮想オブジェクトを組み合わせて表示し、一方の仮想オブジェクトを他方の仮想オブジェクトに追従して表示する装置である。

図１は、本実施形態に係る端末装置１の表示イメージを示す図である。図１に示される例では、ユーザ（端末操作者）の手Ｈが、現実空間のオブジェクト（現実オブジェクト）である箱状の物体Ｒを把持している。端末装置１のディスプレイＤＳには、物体Ｒに応じた仮想オブジェクトである箱Ｖが表示されている。箱Ｖは、平面視した状態において迷路状になるように、複数の区切り壁が設けられている。また、物体Ｒに応じた仮想オブジェクトとしてボールＢも表示されている。ボールＢは、箱Ｖの区切り壁に衝突しない限り箱Ｖの底面を自由に転がるように表示される。ボールＢは、手Ｈによって物体Ｒが傾けられた方向に、箱Ｖの底面上を転がる。衝突判定により、ボールＢと箱Ｖの区切り壁とが衝突したと判定された場合には、ボールＢは区切り壁に衝突した状態で止まって表示される。

具体的に、図１（ａ）では、ユーザの手Ｈにより一つ目の物体Ｒである物体Ｒ１が把持されている。そして、端末装置１のディスプレイＤＳには、物体Ｒ１に応じた箱Ｖである箱Ｖ１、及び箱Ｖ１の底面上を転がるボールＢが表示されている。箱Ｖ１には連結ポイントＣＰ１が形成されている。ユーザは、迷路状に形成された箱Ｖ１の区切り壁を避けながらボールＢが連結ポイントＣＰ１まで移動するように、物体Ｒの傾きを調整する。すなわち、ユーザは、箱Ｖ１の迷路のゴールまで到達するようにボールＢを移動させる。そして、図１（ｂ）に示すように、ボールＢが連結ポイントＣＰ１に到達すると、ディスプレイＤＳにおいて、箱Ｖ１に連続するように点線で表示された仮想オブジェクトである箱Ｖｘが表示される。この時点で、ディスプレイＤＳ上において箱Ｖ１の表示位置が固定される。そのため、ユーザは把持した物体Ｒを離すことができる。

この場合、箱Ｖｘの形に合致する新たな現実オブジェクトが箱Ｖｘの表示に重ねられることにより、ユーザは、当該新たな現実オブジェクトに係る仮想オブジェクトの迷路を楽しむことができる。すなわち、連結ポイントＣＰ１までボールＢが到達した迷路の続きとして、新たな仮想オブジェクトの迷路を楽しむことができる。図１（ｃ）では、二つ目の物体Ｒである物体Ｒ２がユーザの手Ｈに把持され、物体Ｒ２に応じた箱Ｖである箱Ｖ２が表示されている。そして、箱Ｖ２が箱Ｖｘの形に合致し、更に、箱Ｖ２の連結ポイントＣＰ２の位置が箱Ｖ１の連結ポイントＣＰ１の位置に一致しているので、ボールＢは、連結ポイントＣＰ２を介して、箱Ｖ２側に移動可能となっている。このような場合に、本実施形態に係る端末装置１では、物体Ｒ１に応じた仮想オブジェクトである箱Ｖ１が、ユーザが把持する物体Ｒ２に応じた仮想オブジェクトである箱Ｖ２に追従して表示される。すなわち、箱Ｖ１は物体Ｒ１の位置に関係なく箱Ｖ２に応じた位置に表示される。これにより、例えば複数の現実オブジェクトのうち一の現実オブジェクトのみを撮像することによって、複数の現実オブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することが可能となる。以下、図２を参照しながら本実施形態に係る表示装置の一例である端末装置の機能について詳細に説明する。

図２は、本実施形態に係る端末装置１の機能ブロック図である。図２に示される端末装置１は、仮想オブジェクトを現実空間の画像に同期させて表示する表示装置である。仮想オブジェクトとは、例えばコンピュータを用いて作成されるコンピュータグラフィックス（ＣＧ：computer graphics）である。現実空間の画像とは、例えば撮像装置により現実空間を撮像することにより得られた静止画像（撮像画像）である。仮想オブジェクトを現実空間の画像に同期させて表示するとは、現実空間の画像のうち仮想オブジェクトが関連付けられた所定の位置に、仮想オブジェクトを重畳表示することをいう。例えば、図１（ａ）に表示される表示イメージでは、現実空間における箱状の物体である物体Ｒ１の底面及び側面等の位置が、仮想オブジェクトが関連付けられた所定の位置であり、当該所定の位置に仮想オブジェクトである箱Ｖ１の各部位が表示されている。

端末装置１は、ユーザにより用いられ、撮像機能を有する装置である。端末装置１は、例えば、スマートフォン等の携帯電話機、タブレット型端末、ノートＰＣ（Personal Computer）等である。端末装置１は、機能的には、画像取得部１１と、画像記憶部１２と、特定部１３と、仮想オブジェクト記憶部１４と、表示オブジェクト記憶部１５と、表示態様決定部１６と、物理計算部１７と、画像合成部１８と、表示部１９と、を備える。

端末装置１は、図３に示されるハードウェアによって構成される。図３は、本実施形態に係る端末装置１のハードウェア構成図である。図３に示されるように、端末装置１は、物理的には、１又は複数のＣＰＵ（Central Processing Unit）１０１、主記憶装置であるＲＡＭ（RandomAccessMemory）１０２及びＲＯＭ（Read Only Memory)１０３、データ送受信デバイスである通信モジュール１０４、半導体メモリ等の補助記憶装置１０５、タッチパネル等のユーザの入力を受け付ける入力装置１０６、ディスプレイ等の出力装置１０７、並びに、カメラ等の撮像装置１０８を備えるコンピュータとして構成される。撮像装置１０８は、現実空間を撮像することにより撮像画像を生成する。図２における端末装置１の各機能は、ＣＰＵ１０１、ＲＡＭ１０２等のハードウェア上に１又は複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７、及び撮像装置１０８を動作させるとともに、ＲＡＭ１０２及び補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。

図２に戻って、端末装置１の機能構成について詳細に説明する。画像取得部１１は、撮像装置１０８により撮像されて生成された撮像画像を取得する画像取得手段として機能する。画像取得部１１は、撮像装置１０８によって撮像画像が生成される度に撮像画像を取得してもよいし、所定の間隔で撮像装置１０８から撮像画像を取得してもよい。画像取得部１１は、取得した撮像画像を画像記憶部１２に格納する。画像記憶部１２は、画像取得部１１により取得された撮像画像を記憶する。

仮想オブジェクト記憶部１４は、現実オブジェクトと仮想オブジェクトの各種情報とを対応付けて記憶している。具体的には、仮想オブジェクト記憶部１４は、仮想オブジェクトテーブルＶＴ（図４参照）において現実オブジェクトに対応する仮想オブジェクトの各種情報を記憶している。仮想オブジェクトテーブルＶＴについて、図４を参照して説明する。

図４は、仮想オブジェクト記憶部１４の仮想オブジェクトテーブルＶＴを示す図である。図４に示されるように、仮想オブジェクトテーブルＶＴは、仮想オブジェクト番号と、画像特徴量と、ＣＧデータと、連結可能番号と、連結ポイントとを対応付けて記憶している。

仮想オブジェクト番号とは、仮想オブジェクト毎に設定された、仮想オブジェクトを一意に特定する番号である。画像特徴量とは、仮想オブジェクト番号にて特定される仮想オブジェクトに係る現実オブジェクトの特徴を示す特徴量のことである。画像特徴量は、例えば数値化された値を要素とするベクトルで表される。仮想オブジェクトのＣＧデータとは、仮想オブジェクト番号にて特定される仮想オブジェクトのＣＧデータであり、より詳細には、仮想オブジェクトの頂点位置、頂点を連結して構成されるポリゴン、ポリゴンの境界線の色、ポリゴンを塗り潰す色、ポリゴンに表示されるテクスチャ、及びポリゴンの光の反射特性等の情報を含んだデータである。連結可能番号とは、仮想オブジェクト番号にて特定される仮想オブジェクトが連結可能な仮想オブジェクトの仮想オブジェクト番号である。連結可能とは追従させて表示可能であることをいう。すなわち、連結可能番号とは、仮想オブジェクト番号にて特定される仮想オブジェクトに追従させて表示することができる（追従表示可能な）仮想オブジェクトを示す追従オブジェクト情報であり、追従表示可能な仮想オブジェクトの仮想オブジェクト番号である。連結ポイントとは、他の仮想オブジェクトと連結されるポイントである。仮想オブジェクトは、自身の連結ポイントと他の仮想オブジェクトの連結ポイントとの位置が近接することにより、当該他の仮想オブジェクトと連結される。つまり、ある仮想オブジェクトは、連結可能番号に仮想オブジェクト番号が示された仮想オブジェクトであって、且つ、連結ポイントが近接する仮想オブジェクトと連結される。図１に示されるような、迷路をボールＢが移動する例では、連結ポイントは、１つの仮想オブジェクトの迷路の入口又は出口である。例えば、図１（ｃ）に示される連結ポイントＣＰ１は箱Ｖ１の迷路の出口であり、連結ポイントＣＰ２は箱Ｖ２の迷路の入口である。

このように、仮想オブジェクトテーブルＶＴにおいては、仮想オブジェクト番号及び仮想オブジェクトに係る各種情報（ＣＧデータ、連結可能番号、連結ポイント）と、仮想オブジェクトに係る現実オブジェクトの画像特徴量とが対応付けられて記憶されている。

図２に戻り、特定部１３は、画像記憶部１２に記憶されている撮像画像中に含まれている現実オブジェクトに応じた仮想オブジェクトを特定する特定手段として機能する。具体的には、特定部１３は、撮像画像の画像特徴量を抽出し、該画像特徴量と、仮想オブジェクト記憶部１４に記憶されている仮想オブジェクトテーブルＶＴの各画像特徴量とを比較することによって、撮像画像中に含まれている現実オブジェクトを特定する。画像特徴量の比較では、例えば画像特徴量の類似度が所定値以上である場合には、画像特徴量が一致していると判定される。なお画像特徴量の比較については、公知の手法を利用することができる。更に、特定部１３は、撮像画像の画像特徴量に一致すると特定した画像特徴量が対応付けられている、仮想オブジェクトテーブルＶＴの仮想オブジェクト番号及び該仮想オブジェクトに係る各種情報（ＣＧデータ、連結可能番号、連結ポイント）を抽出する。これにより、特定部１３は、特定した現実オブジェクトに応じた仮想オブジェクトを特定する。

また、特定部１３は、特定した現実オブジェクトの撮像画像における位置であって、特定した仮想オブジェクトを重畳表示する位置を座標情報として特定する。当該座標情報は、例えば重畳表示する仮想オブジェクトの中心位置の座標を示す情報である。特定部１３は、仮想オブジェクト及び該仮想オブジェクトの座標情報を特定すると、表示オブジェクト記憶部１５に記憶されている表示テーブルＩＴ（図５参照）を更新する。より詳細には、特定部１３は、特定した仮想オブジェクトの仮想オブジェクト番号、座標情報、ＣＧデータ、連結可能番号、及び連結ポイントを、表示オブジェクト記憶部１５に記憶されている表示テーブルＩＴに格納する。また、特定部１３は、表示テーブルＩＴの更新が完了すると、当該更新に係る仮想オブジェクトに対応付けられた画像特徴量を物理計算部１７に出力する。

表示オブジェクト記憶部１５は、表示部１９により表示される仮想オブジェクトの表示態様に関する仮想オブジェクト情報を記憶する表示オブジェクト記憶手段として機能する。具体的には、表示オブジェクト記憶部１５は、表示される仮想オブジェクト毎に仮想オブジェクト情報が対応付けられた表示テーブルＩＴ（図５参照）を記憶している。表示テーブルＩＴについて、図５を参照して説明する。

図５は、表示オブジェクト記憶部１５の表示テーブルＩＴを示す図である。図５に示されるように、表示テーブルＩＴは、仮想オブジェクト情報である、表示番号と、仮想オブジェクト番号と、座標情報と、ＣＧデータと、連結可能番号と、連結ポイントと、追従フラグと、追加フラグとを対応付けて記憶している。

表示番号とは、表示テーブルＩＴに記憶されている仮想オブジェクトを特定する番号である。例えば複数の仮想オブジェクトが表示テーブルＩＴに記憶される場合には、それぞれに異なる表示番号が付与され、例えば、記憶された順番に昇順で番号が付与される。仮想オブジェクト番号、座標情報、ＣＧデータ、連結可能番号、及び連結ポイントは、上述した特定部１３により格納されたデータである。なお、座標情報は、例えば変換行列で示され、追従フラグに応じて表示態様決定部１６により更新（変更）される場合がある（詳細は後述）。

追従フラグとは、他の仮想オブジェクトに追従して表示させるか否かを示すフラグである。追従フラグが「０」である（「０」に設定されている）場合には、当該仮想オブジェクトは他の仮想オブジェクトに追従表示されず、特定部１３により格納された座標情報に応じて表示される。初期状態では追従フラグは「０」に設定されている。一方で、追従フラグが「１」に設定されている場合には、他の仮想オブジェクトの座標情報に追従した位置に表示される（詳細は後述）。追従フラグは、表示態様決定部１６により更新される（詳細は後述）。

追加フラグとは、当該仮想オブジェクト（第１の仮想オブジェクト）に加えて、新たな仮想オブジェクト（第２の仮想オブジェクト）に関する情報を表示テーブルＩＴに追加することが可能か否かを示すフラグ（追加可否情報）である。追加フラグが「０」に設定されている場合には、たとえ特定部１３が新たな仮想オブジェクトを特定したとしても、当該新たな仮想オブジェクトの仮想オブジェクト情報は表示テーブルＩＴに追加されない。初期状態では追加フラグは「０」に設定されている。一方で、追加フラグが「１」に設定されている場合には、特定部１３が特定した新たな仮想オブジェクトに関する情報が表示テーブルＩＴに追加される（詳細は後述）。追加フラグは、表示態様決定部１６により更新される（詳細は後述）。なお、必ず組み合わされて表示される仮想オブジェクトについては、当該組み合わされて表示される仮想オブジェクトのうち一方を上述した新たな仮想オブジェクトとは考えない。例えば、図１（ａ）に示される箱Ｖ１及びボールＢは必ず組み合わされて表示される仮想オブジェクトであるので、これらのうち一方（例えばボールＢ）を新たな仮想オブジェクトとは考えない。図１に示す例であれば、図１（ｃ）に示される箱Ｖ２が新たな仮想オブジェクトである。

図２に戻り、表示態様決定部１６は、特定部１３により特定された仮想オブジェクトの表示態様を決定する表示態様決定手段として機能する。表示態様としては、例えば、追従表示の有無、表示位置、及び表示有無が挙げられる。具体的には、表示態様決定部１６は、表示テーブルＩＴの追加フラグの更新、追従フラグの更新、及び座標情報の更新を行う。表示態様決定部１６は、上述した各更新を完了すると、更新完了通知を画像合成部１８に出力する。

表示態様決定部１６は、物理計算部１７の物理計算結果に応じて、表示テーブルＩＴにおける第１の仮想オブジェクトの追加フラグを更新し、特定部１３による新たな仮想オブジェクト（第２の仮想オブジェクト）の追加可否を変更する。物理計算部１７は、現実オブジェクト（第１の現実オブジェクト）の物理的な傾きを取得し、該傾きに基づいて、物理計算を行う物理計算手段として機能する。物理計算部１７は、画像記憶部１２の撮像画像と、特定部１３から出力された画像特徴量とに基づき、特定部１３から出力された画像特徴量が示す現実オブジェクトの、撮像画像中における物理的な傾きを導出する。なお撮像画像中の現実オブジェクトの傾きは、公知の手法を用いて導出されてもよい。物理計算部１７は、導出した傾きから、仮想オブジェクトの変化量を決定する。

例えば、図１（ａ）に示す箱Ｖ１に関する情報が、図５（ａ）の表示テーブルＩＴに記憶されており、また、図１（ａ）に示すボールＢに関する情報が、図示しない表示テーブルに記憶されているとして、物理計算部１７による物理計算及び表示態様決定部１６による追加フラグの更新を説明する。物理計算部１７は、現実オブジェクトである物体Ｒ１の傾きを導出すると、更に、当該傾き方向へのボールＢの移動量（変化量）を導出する。物理計算部１７は、傾き度合いに応じてボールＢの移動量を決定してもよいし、傾き方向へ所定の距離だけボールＢを移動させることとしてもよい。物理計算部１７は、ボールＢと箱Ｖ１の区切り壁との衝突判定を行い、衝突しているか否かを考慮してボールＢの移動量を導出する。物理計算部１７は、導出したボールＢの移動量を表示態様決定部１６に出力する。表示態様決定部１６は、物理計算部１７が導出したボールＢの移動量に応じて、表示テーブルにおけるボールＢの座標情報を変更する。そして、表示態様決定部１６は、ボールＢが箱Ｖ１のゴール、すなわち連結ポイントＣＰ１に到達しているか否かを判定する。具体的には、表示態様決定部１６は、図５（ａ）の表示テーブルＩＴを参照し、座標情報及び連結ポイントから導出される連結ポイントＣＰ１の位置を導出する。そして、ボールＢの座標情報が連結ポイントＣＰ１の位置と一致しているか否かを判定する。一致している場合には、表示態様決定部１６は、ボールＢがゴールに到達したと判定し、表示テーブルＩＴにおける、箱Ｖ１の追加フラグを「０」から「１」に変更する。この場合、表示態様決定部１６は、箱Ｖ１の座標情報を現在（フラグ変更時）の値に固定する。そして、後述する追従表示が行われるまでは、箱Ｖ１（第１の仮想オブジェクト）の座標情報が固定される。すなわち、表示態様決定部１６は、第１の仮想オブジェクトの追加フラグを追加可能に更新した場合、追加可能に更新してから、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるまでの間、第１の仮想オブジェクトの座標情報を固定値とする。追加フラグが「１」となることにより、特定部１３は、新たに特定した仮想オブジェクト（第２の仮想オブジェクト）の仮想オブジェクト情報を表示テーブルＩＴに追加することが可能となる。

また、表示態様決定部１６は、表示部１９によってある現実オブジェクト（第１の現実オブジェクト）に応じた第１の仮想オブジェクトが表示されている状態において、特定部１３により他の現実オブジェクト（第２の現実オブジェクト）に応じた第２の仮想オブジェクトが特定されている場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、表示態様を決定する。すなわち、表示態様決定部１６は、表示テーブルＩＴにおいて、図５（ｂ）に示されるように、表示番号１及び表示番号２の仮想オブジェクト情報が記憶されている場合に、表示番号１の仮想オブジェクト（第１の仮想オブジェクト）が表示番号２の仮想オブジェクト（第２の仮想オブジェクト）に追従して表示されるように、第１の仮想オブジェクトの仮想オブジェクト情報を更新する。

より詳細には、表示態様決定部１６は、仮想オブジェクト間の離間距離に関する距離条件、仮想オブジェクトの組合せに関する組合せ条件、及び連結ポイントに関する連結ポイント条件の３条件を満たす場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、表示テーブルＩＴにおける第１の仮想オブジェクトの座標情報を更新する。距離条件を満たすか否かは、第１の仮想オブジェクト及び第２の仮想オブジェクトの座標情報に基づき判定される。また、組合せ条件を満たすか否かは、第２の仮想オブジェクトの連結可能番号に基づき判定される。また、連結ポイント条件を満たすか否かは、第１の仮想オブジェクト及び第２の仮想オブジェクトの座標情報及び連結ポイントに基づき判定される。

上述した３条件を満たした場合に、表示態様決定部１６は、表示テーブルＩＴにおける第１の仮想オブジェクトの追従フラグを「１」に変更するとともに、座標情報を更新する。追従フラグが「１」に設定されている間は、第１の仮想オブジェクトは第２の仮想オブジェクトに追従して表示される。この場合、表示態様決定部１６は、第１の仮想オブジェクトが特定部１３に特定されているか、すなわち撮像画像に第１の現実オブジェクトが含まれているか否かにかかわらず、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクト及び第２の仮想オブジェクトの表示態様を決定する。すなわち、追従フラグが「１」に設定されている間は、第１の仮想オブジェクトの座標情報は、第２の仮想オブジェクトの座標情報の変更に伴って変更される。

表示態様決定部１６は、第１の仮想オブジェクトの座標情報を第２の仮想オブジェクトの座標情報に応じて決定し、第１の仮想オブジェクトの座標情報を更新する。具体的には、表示態様決定部１６は、第１の仮想オブジェクトの座標情報によって示される位置が、第２の仮想オブジェクトの座標情報によって示される位置を所定値だけ移動した位置となるように、第１の仮想オブジェクトの座標情報を決定する。当該所定値は、例えば第２の仮想オブジェクトの形状を考慮し、第１の仮想オブジェクトが第２の仮想オブジェクトに隣接して配置されるように設定される。

表示態様決定部１６は、表示テーブルＩＴにおいて、第１の仮想オブジェクトの座標情報によって示される位置と、第２の仮想オブジェクトの座標情報によって示される位置との離間距離が所定値より小さい場合に、上述した距離条件を満たしていると判定する。離間距離が所定値より小さいとは、例えば、表示された第１の仮想オブジェクト及び第２の仮想オブジェクトが互いに隣接し連続的につながっているように視認できる場合をいう。

また、表示態様決定部１６は、表示テーブルＩＴにおいて、第２の仮想オブジェクトの連結可能番号に第１の仮想オブジェクトの仮想オブジェクト番号が示されている場合、すなわち第２の仮想オブジェクトの追従オブジェクト情報が第１の仮想オブジェクトを示す場合に、上述した組合せ条件を満たしたと判定する。

更に、表示態様決定部１６は、表示テーブルＩＴの座標情報及び連結ポイントから導出される、第１の仮想オブジェクトの連結ポイントの座標及び第２の仮想オブジェクトの連結ポイントの座標が一致している場合に、上述した連結ポイント条件を満たしたと判定する。なお、連結ポイントが一致するとは、完全に一致している場合のみではなく、連結ポイントの座標の差が所定値より小さい場合も含む。

画像合成部１８は、仮想オブジェクトを現実空間の撮像画像に合成する（同期させる）。画像合成部１８は、表示態様決定部１６からの更新完了通知を契機として、画像記憶部１２から、更新完了通知に係る更新に用いられた撮像画像を取得する。また、画像合成部１８は、表示オブジェクト記憶部１５の表示テーブルＩＴを参照し、表示する仮想オブジェクトの座標情報及びＣＧデータ等を特定する。例えば図１（ａ）に示される撮像画像が取得されている場合には、画像合成部１８は、図５（ａ）の表示テーブルＩＴから箱Ｖ１の座標情報及びＣＧデータ等を特定するとともに、図示しない表示テーブルからボールＢの座標情報及びＣＧデータ等を特定する。そして、画像合成部１８は、特定した仮想オブジェクトの座標情報及びＣＧデータ等を用いて、撮像画像に各仮想オブジェクトを重畳表示した合成画像を生成する。画像合成部１８は、合成画像を表示部１９に出力する。

また、画像合成部１８は、表示テーブルＩＴの追加フラグ及び追従フラグに応じて、合成画像の表示態様を決定する。例えば、表示テーブルＩＴにおいて表示番号が最も大きな仮想オブジェクトの追加フラグが「１」である場合には、ユーザに対して、新たな仮想オブジェクトを特定するための操作を促すべく、点線で表示される仮想オブジェクトである箱Ｖｘと、「次の箱を点線の位置にあてはめて下さい」等のメッセージとが表示されるように、合成画像を生成する（図６（ａ）参照）。また、例えば表示テーブルＩＴにおいて前回処理時に追従フラグが「０」であった仮想オブジェクトの追従フラグが「１」となった場合には、ユーザに対して、追従表示が開始され新たなゲームが開始されたことを伝えるべく、「Ｇｏｏｄ！次のステージを開始します」等のメッセージが表示されるように合成画像を生成する（図６（ｂ）参照）。

表示部１９は、表示態様決定部１６によって決定された表示態様によって、仮想オブジェクトを撮像画像に同期させて表示する表示手段として機能する。具体的には、表示部１９は、画像合成部１８が合成した合成画像を出力装置１０７に表示させる。すなわち、表示部１９は、表示テーブルＩＴの仮想オブジェクト情報に基づいて、仮想オブジェクトを表示する。

次に、図７〜図９を参照して、図１に示す迷路状の箱Ｖ及びボールＢを仮想オブジェクトとして表示する端末装置１が行う処理を説明する。図７は、端末装置１が行う、物体未認識状態の処理を示すフローチャートである。図８は、端末装置１が行う、迷路動作状態の処理を示すフローチャートである。図９は、端末装置１が行う、物体認識済状態の処理を示すフローチャートである。ここで、端末装置１が行う処理は、時系列に沿って、第１の仮想オブジェクトである箱Ｖ１を特定する第１特定処理、ボールＢを箱Ｖ１の連結ポイントＣＰ１まで移動させる迷路処理、第２の仮想オブジェクトである箱Ｖ２を特定する第２特定処理、及び箱Ｖ１を箱Ｖ２に追従表示させる追従処理、の４つの処理を含んでいる。各処理のうち、第１特定処理及び第２特定処理は図７に示される物体未認識状態のフローチャートで示される。また、迷路処理は図８に示される迷路動作状態のフローチャートで示される。また、追従処理は図９に示される物体認識済み状態のフローチャートで示される。以下、第１特定処理、迷路処理、第２特定処理、及び追従処理について、時系列に沿って順に説明する。

第１特定処理では、図７に示される物体未認識状態の処理が行われる。図７に示されるように、まず、画像取得部１１により、撮像画像が取得され該撮像画像が画像記憶部１２に記憶される（ステップＳ１、画像取得ステップ）。つづいて、特定部１３により、画像記憶部１２に記憶されている撮像画像中に含まれている現実オブジェクトに応じた仮想オブジェクトが特定される。具体的には、撮像画像の画像特徴量が仮想オブジェクトテーブルＶＴの画像特徴量と一致するか否かが判定される（ステップＳ２、特定ステップ）。

ステップＳ２において一致しないと判定された場合には、再度ステップＳ１の処理が行われる。一方、ステップＳ２において一致すると判定された場合には、特定部１３により、仮想オブジェクトテーブルＶＴにおいて一致した画像特徴量に対応付けられた仮想オブジェクト（箱Ｖ１）が特定される（ステップＳ３、特定ステップ）。そして、特定部１３により、箱Ｖ１の仮想オブジェクト情報が表示テーブルＩＴに追加される（ステップＳ４）。表示テーブルＩＴでは、箱Ｖ１の追加フラグの初期値及び追従フラグの初期値としてそれぞれ「０」が設定される。最後に、箱Ｖ１が第１の仮想オブジェクトであるか否かが判定される（ステップＳ５）。例えば、表示態様決定部１６により、表示テーブルＩＴに、１つの仮想オブジェクトの仮想オブジェクト情報のみが記憶されているか否かが判定される。１つの仮想オブジェクトの仮想オブジェクト情報のみが記憶されている場合には、特定部１３によって特定された仮想オブジェクトが第１の仮想オブジェクトであると判定される。第１特定処理では、ステップＳ５において、箱Ｖ１が第１の仮想オブジェクトであると判定され、迷路処理に遷移する。

迷路処理では、図８に示される迷路動作状態の処理が行われる。図８に示されるように、迷路動作状態では、まず、画像取得部１１により、撮像画像が取得され該撮像画像が画像記憶部１２に記憶される（ステップＳ１１）。つづいて、特定部１３により、表示テーブルＩＴにおける、箱Ｖ１（第１の仮想オブジェクト）の座標情報が更新される（ステップＳ１２）。つづいて、物理計算部１７により物理計算が実施されボールＢの転がり量が導出される（ステップＳ１３）。そして、表示態様決定部１６により、ボールＢが箱Ｖ１のゴールすなわち連結ポイントＣＰ１に到達したか否かが判定される（ステップＳ１４）。

ステップＳ１４において到達していないと判定された場合には、再度ステップＳ１１の処理が行われる。一方、ステップＳ１４において到達していると判定された場合には、表示態様決定部１６により、表示テーブルＩＴの箱Ｖ１の追加フラグが「０」から「１」に変更されるとともに、表示テーブルＩＴにおける箱Ｖ１の座標情報が追加フラグ変更時の値に固定され（ステップＳ１５）、座標情報固定後の箱Ｖ１が表示部１９により表示される（ステップＳ１６）。また、表示部１９により、図６（ａ）に示される「次の箱を点線の位置にあてはめて下さい」とのメッセージが表示される（ステップＳ１７）。ステップＳ１７が完了すると、図７のステップＳ１に戻って、第２特定処理が行われる。

第２特定処理では、図７に示される物体未認識状態の処理が行われる。すなわち、第１特定処理と同様、撮像画像が取得され該撮像画像が画像記憶部１２に記憶され（ステップＳ１、画像取得ステップ）、撮像画像の画像特徴量が仮想オブジェクトテーブルＶＴの画像特徴量と一致するか否かが判定される（ステップＳ２、特定ステップ）。ステップＳ２において一致すると判定された場合には、特定部１３により、仮想オブジェクトテーブルＶＴにおいて一致した画像特徴量に対応付けられた仮想オブジェクトが特定される（ステップＳ３、特定ステップ）。第２特定処理では、箱Ｖ１に加えて、第２の仮想オブジェクトである箱Ｖ２が特定される。そして、特定部１３により、箱Ｖ１の仮想オブジェクト情報が更新されるとともに、箱Ｖ２の仮想オブジェクト情報が表示テーブルＩＴに追加される（ステップＳ４）。表示テーブルＩＴでは、箱Ｖ２の追加フラグの初期値及び追従フラグの初期値としてそれぞれ「０」が設定される。最後に、新たに追加された仮想オブジェクトである箱Ｖ２が第１の仮想オブジェクトであるか否かが判定される（ステップＳ５）。例えば、表示態様決定部１６により、表示テーブルＩＴに、１つの仮想オブジェクトの仮想オブジェクト情報のみが記憶されているか否かが判定される。第２特定処理では、表示テーブルＩＴに箱Ｖ１及び箱Ｖ２の仮想オブジェクト情報が記憶されているので、ステップＳ５において、箱Ｖ２が第１の仮想オブジェクトでないと判定され、追従処理に遷移する。

追従処理では、図９に示される物体認識済状態の処理が行われる。図９に示されるように、物体認識済状態では、まず、画像取得部１１により、撮像画像が取得され該撮像画像が画像記憶部１２に記憶される（ステップＳ２１）。つづいて、特定部１３により、表示テーブルＩＴにおける、箱Ｖ２（第２の仮想オブジェクト）の座標情報が更新される（ステップＳ２２）。つづいて、表示態様決定部１６により、表示テーブルＩＴにおける、箱Ｖ１の座標情報が示す位置と、箱Ｖ２の座標情報が示す位置とが互いに近接しているか（距離条件を満たすか否か）が判定される（ステップＳ２３、表示態様決定ステップ）。

ステップＳ２３において近接していないと判定された場合には、再度ステップＳ２１の処理が行われる。一方、ステップＳ２３において近接していると判定された場合には、表示態様決定部１６により、組合せ条件及び連結ポイント条件を満たすか否かが判定される（ステップＳ２４、表示態様決定ステップ）。ステップＳ２４において条件を満たさないと判定された場合には、再度ステップＳ２１の処理が行われる。一方、ステップＳ２４において条件を満たすと判定された場合には、表示態様決定部１６により、表示テーブルＩＴにおける箱Ｖ１の追従フラグが「１」に設定され、箱Ｖ１の座標情報が示す位置が箱Ｖ２の座標情報が示す位置を所定値だけ移動した位置となるように、すなわち箱Ｖ１が箱Ｖ２に追従して表示されるように、箱Ｖ１の座標情報が更新される（ステップＳ２５、表示態様決定ステップ）。最後に、箱Ｖ２及び箱Ｖ２に追従する箱Ｖ１が表示部１９により表示される（ステップＳ２６、表示ステップ）。

次に、本実施形態に係る端末装置１の作用・効果について説明する。

この端末装置１によれば、画像取得部１１により取得された撮像画像に基づき、特定部１３により仮想オブジェクトが特定され、当該特定された仮想オブジェクトが、表示態様決定部１６により決定された表示態様によって表示される。そして、表示部１９により第１の仮想オブジェクトが表示されている状態において、特定部１３により第２の仮想オブジェクトが特定されている場合には、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示される。

第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるので、少なくとも第２の仮想オブジェクトが表示された後は、第１の現実オブジェクトの位置を特定する必要がなく、第１の現実オブジェクトを撮像する必要がない。これにより、例えば、一方の手で現実オブジェクトを把持して動かしながら他方の手で端末装置１を操作して撮像を行うような場合に、一方の手で一つの現実オブジェクト、具体的には第２の現実オブジェクトのみを動かし、他方の手で当該第２の現実オブジェクトのみを撮像すれば、第１の仮想オブジェクト及び第２の仮想オブジェクトの双方を表示することが可能となる。

すなわち、現実オブジェクトを動かしながら撮像を行うような撮像態様であっても、複数の現実オブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。以上より、端末装置１によれば、撮像態様に係らず、複数のオブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。

また、第２の仮想オブジェクトが特定されると、当該第２の仮想オブジェクトと、当該第２の仮想オブジェクトの特定前から表示されている第１の仮想オブジェクトとが組み合わされて表示されるので、複数の仮想オブジェクトの組合せを表示することができ、ＣＧアニメーション表示のバリエーションを増やすことができる。その結果、ＣＧアニメーションが単調でなくなり、飽きのこないユーザ体験を提供することができる。

また、端末装置１では、表示部１９により表示される仮想オブジェクトに関する仮想オブジェクト情報を記憶する表示オブジェクト記憶部１５を更に備え、特定部１３は、特定した仮想オブジェクトの仮想オブジェクト情報を更新し、表示態様決定部１６は、表示オブジェクト記憶部１５に、第１の仮想オブジェクト及び第２の仮想オブジェクトの仮想オブジェクト情報が記憶されている場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクトの仮想オブジェクト情報を更新し、表示部１９は、仮想オブジェクト情報に基づいて仮想オブジェクトを表示する。このように、仮想オブジェクト情報を用いることによって、表示する仮想オブジェクトに関する情報の更新、及び、仮想オブジェクトの表示を容易に行うことができる。

また、端末装置１では、仮想オブジェクト情報が、仮想オブジェクトの位置を示す座標情報を含んでおり、表示態様決定部１６が、第１の仮想オブジェクトの座標情報が示す位置と、第２の仮想オブジェクトの座標情報が示す位置との離間距離が所定値より小さい場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクトの座標情報を更新する。これにより、２つの仮想オブジェクトが互いに近接する場合のみ、上述した追従表示が行われることとなる。これにより、近接した仮想オブジェクトを一体的に表示することができる。

また、端末装置１では、仮想オブジェクト情報が、追従表示可能な仮想オブジェクトを示す連結可能番号を含んでおり、表示態様決定部１６は、第２の仮想オブジェクトの連結可能番号が、第１の仮想オブジェクトの仮想オブジェクト番号を含む場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように、第１の仮想オブジェクトの座標情報を更新する。これにより、第１の仮想オブジェクト及び第２の仮想オブジェクトが所定の組合せである場合に限り、上述した追従表示が行われる。このことで、ユーザに対して、第２の仮想オブジェクトに係る第２の現実オブジェクトを選ばせることができ、ゲーム性を向上させることができる。

また、端末装置１では、第１の現実オブジェクトの傾きを取得し、該傾きに基づいて物理計算を行う物理計算部１７を更に備え、仮想オブジェクト情報は、第２の仮想オブジェクトに関する仮想オブジェクト情報の追加可否を示す追加フラグを含んでおり、表示態様決定部１６は、物理計算部１７の物理計算結果に応じて、第１の仮想オブジェクトの追加フラグを更新し、特定部１３は、第１の仮想オブジェクトの前記追加可否フラグが「１」であって追加可能であることを示す場合に、第２の仮想オブジェクトの仮想オブジェクト情報を表示オブジェクト記憶部１５の表示テーブルＩＴに追加する。これにより、第１の現実オブジェクトの傾きに基づく物理計算結果を考慮して、第２の仮想オブジェクトを表示するか否か決定することができる。このことで、例えば現実オブジェクトを把持して動かしながら仮想オブジェクトの表示を行うような場合に、ユーザに、現実オブジェクトの動かし方（傾け方）を考慮させることができ、ゲーム性を向上させることができる。

また、端末装置１では、表示態様決定部１６が、第１の仮想オブジェクトの追加フラグを「１」とし第２の仮想オブジェクトの仮想オブジェクト情報を追加可能に更新した場合、追加可能に更新してから、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるように第１の仮想オブジェクトの座標情報を更新するまでの間、第１の仮想オブジェクトの座標情報を固定値とする。これにより、第２の仮想オブジェクトが追加可能になった状態において、第１の仮想オブジェクトの表示位置が固定されることとなる。このことで、２つの仮想オブジェクトを近接して表示させる際に、１つの現実オブジェクト（第２の現実オブジェクト）のみを把持して位置合わせすればよくなり、例えば現実オブジェクトを動かしながら撮像を行うような撮像態様であっても、複数の現実オブジェクトそれぞれに対応する仮想オブジェクトを組み合わせて表示することができる。

以上、本発明の実施形態について説明したが本発明は上記実施形態に限定されるものではない。例えば、第１の仮想オブジェクトの追加フラグが「１」に設定され第２の仮想オブジェクトの仮想オブジェクト情報が表示テーブルＩＴに追加された上で、距離条件、組合せ条件、及び連結ポイント条件の３条件を満たした場合に、第１の仮想オブジェクトが第２の仮想オブジェクトに追従して表示されるとして説明したがこれに限定されない。すなわち、表示態様決定部１６は、第２の仮想オブジェクトの仮想オブジェクト情報が表示テーブルＩＴに追加され、且つ、上述した３条件のうち少なくとも１つを満たす場合に追従表示を行ってもよい。或いは、表示態様決定部１６は、第２の仮想オブジェクトの仮想オブジェクト情報が表示テーブルＩＴに追加されてさえいれば、上述した３条件にかかわらず追従表示を行ってもよい。或いは、表示態様決定部１６は、第２の仮想オブジェクトが特定部１３に特定されてさえいれば、表示テーブルＩＴ及び上述した３条件にかかわらず追従表示を行ってもよい。

また、図１に示す例では、第１の仮想オブジェクト及び第２の仮想オブジェクトがそれぞれ一つであるとして説明したがこれに限定されない。例えば、図１に示す例において箱Ｖ１を追従して表示された箱Ｖ２が第２の仮想オブジェクトであるとして説明したが、箱Ｖ２の迷路のゴールまでをボールＢが移動した場合には、箱Ｖ２は新たな仮想オブジェクトと連結されることとしてもよい。この場合、箱Ｖ１及び箱Ｖ２は新たな仮想オブジェクトに追従して表示される第１の仮想オブジェクトであり、当該新たな仮想オブジェクトが第２の仮想オブジェクトである。このように、他の仮想オブジェクトを追従させる新たな仮想オブジェクトが第２の仮想オブジェクトであり、その他の仮想オブジェクト（箱Ｖ１及び箱Ｖ２）が第１の仮想オブジェクトである。

１…端末装置、１１…画像取得部、１３…特定部、１５…表示オブジェクト記憶部、１６…表示態様決定部、１７…物理計算部、１９…表示部。

Claims (6)

1. 仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置であって、
   現実空間を撮像することにより生成された撮像画像を取得する画像取得手段と、
   前記画像取得手段により取得された撮像画像中に含まれている現実空間のオブジェクトである現実オブジェクトに応じた前記仮想オブジェクトを特定する特定手段と、
   前記特定手段により特定された前記仮想オブジェクトの表示態様を決定する表示態様決定手段と、
   前記表示態様決定手段により決定された表示態様によって、前記仮想オブジェクトを前記撮像画像に同期させて表示する表示手段と、
   前記表示手段により表示される前記仮想オブジェクトの前記表示態様に関する仮想オブジェクト情報を記憶する表示オブジェクト記憶手段と、を備え、
   前記特定手段は、特定した前記仮想オブジェクトの前記仮想オブジェクト情報を更新し、
   前記表示態様決定手段は、
   前記表示手段によって、前記現実オブジェクトである第１の現実オブジェクトに応じた前記仮想オブジェクトである第１の仮想オブジェクトが表示されている状態において、前記特定手段によって、前記現実オブジェクトである第２の現実オブジェクトに応じた前記仮想オブジェクトである第２の仮想オブジェクトが特定されている場合に、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように、前記第１の仮想オブジェクト及び前記第２の仮想オブジェクトの前記表示態様を決定し、
   前記表示オブジェクト記憶手段に、前記第１の仮想オブジェクト及び前記第２の仮想オブジェクトの前記仮想オブジェクト情報が記憶されている場合に、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように、前記第１の仮想オブジェクトの前記仮想オブジェクト情報を更新し、
   前記表示手段は、前記仮想オブジェクト情報に基づいて前記仮想オブジェクトを表示する、表示装置。
2. 前記仮想オブジェクト情報は、前記仮想オブジェクトの位置である座標情報を含んでおり、
   前記表示態様決定手段は、前記第１の仮想オブジェクトの前記座標情報が示す位置と、前記第２の仮想オブジェクトの前記座標情報が示す位置との離間距離が所定値より小さい場合に、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように、前記第１の仮想オブジェクトの前記座標情報を更新する、請求項１記載の表示装置。
3. 前記仮想オブジェクト情報は、追従表示可能な仮想オブジェクトを示す追従オブジェクト情報を含んでおり、
   前記表示態様決定手段は、前記第２の仮想オブジェクトの前記追従オブジェクト情報が、前記第１の仮想オブジェクトを示す場合に、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように、前記第１の仮想オブジェクトの前記座標情報を更新する、請求項２記載の表示装置。
4. 前記第１の現実オブジェクトの傾きを取得し、該傾きに基づいて物理計算を行う物理計算手段を更に備え、
   前記仮想オブジェクト情報は、前記第２の仮想オブジェクトに関する前記仮想オブジェクト情報の追加可否を示す追加可否情報を含んでおり、
   前記表示態様決定手段は、前記物理計算手段の物理計算結果に応じて、前記第１の仮想オブジェクトの前記追加可否情報を更新し、
   前記特定手段は、前記第１の仮想オブジェクトの前記追加可否情報が追加可能であることを示す場合に、前記第２の仮想オブジェクトの前記仮想オブジェクト情報を前記表示オブジェクト記憶手段に追加する、請求項２又は３記載の表示装置。
5. 前記表示態様決定手段は、前記第１の仮想オブジェクトの前記追加可否情報を追加可能に更新した場合、追加可能に更新してから、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように前記第１の仮想オブジェクトの前記座標情報を更新するまでの間、前記第１の仮想オブジェクトの前記座標情報を固定値とする、請求項４記載の表示装置。
6. 仮想空間のオブジェクトである仮想オブジェクトを現実空間の画像に同期させて表示する表示装置が行う表示方法であって、
   現実空間を撮像することにより生成された撮像画像を取得する画像取得ステップと、
   前記画像取得ステップにおいて取得された撮像画像中に含まれている現実空間のオブジェクトである現実オブジェクトに応じた前記仮想オブジェクトを特定する特定ステップと、
   前記特定ステップにおいて特定された前記仮想オブジェクトの表示態様を決定する表示態様決定ステップと、
   前記表示態様決定ステップにおいて決定された表示態様によって、前記仮想オブジェクトを前記撮像画像に同期させて表示する表示ステップと、
   前記表示ステップにおいて表示される前記仮想オブジェクトの前記表示態様に関する仮想オブジェクト情報を記憶する表示オブジェクト記憶ステップと、を含み、
   前記特定ステップでは、特定した前記仮想オブジェクトの前記仮想オブジェクト情報を更新し、
   前記表示態様決定ステップでは、
   前記表示ステップにおいて、前記現実オブジェクトである第１の現実オブジェクトに応じた前記仮想オブジェクトである第１の仮想オブジェクトが表示されている状態において、前記特定ステップにおいて、前記現実オブジェクトである第２の現実オブジェクトに応じた前記仮想オブジェクトである第２の仮想オブジェクトが特定されている場合に、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように、前記第１の仮想オブジェクト及び前記第２の仮想オブジェクトの前記表示態様を決定し、
   前記表示オブジェクト記憶ステップにおいて、前記第１の仮想オブジェクト及び前記第２の仮想オブジェクトの前記仮想オブジェクト情報が記憶されている場合に、前記第１の仮想オブジェクトが前記第２の仮想オブジェクトに追従して表示されるように、前記第１の仮想オブジェクトの前記仮想オブジェクト情報を更新し、
   前記表示ステップでは、前記仮想オブジェクト情報に基づいて前記仮想オブジェクトを表示する、表示方法。

Images