JP6711137B2 - 表示制御プログラム、表示制御方法および表示制御装置 - Google Patents

Description

本発明は、表示制御プログラム、表示制御方法および表示制御装置に関する。

近年、例えばスマートフォン等の端末を用いて、撮像された画像上にオブジェクトデータを重畳表示させるＡＲ（Augmented Reality）技術が提案されている。この様なＡＲ技術では、例えば、端末を対象物に向けて撮像すると、端末の位置および向きの情報や、撮像画像に含まれるマーカに基づいて、撮像画像にオブジェクトデータが重畳表示される。また、複数のオブジェクトデータを表示する場合に、オブジェクトデータ同士が重ならないように表示することが提案されている。

特開２０１２−１９８６６８号公報

しかしながら、オブジェクトデータは、オブジェクトデータを表示させる位置が撮像画像内にある場合に、撮像画像に重畳表示されるため、例えば、端末が対象物に向いた状態から通常の操作位置に戻されると、オブジェクトデータが表示されなくなる。このため、通常の操作位置では、オブジェクトデータの位置を把握することが困難である。

一つの側面では、本発明は、オブジェクトデータの位置を容易に把握できる表示制御プログラム、表示制御方法および表示制御装置を提供することにある。

一つの態様では、表示制御プログラムは、端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示させる処理をコンピュータに実行させる。すなわち、表示制御プログラムは、オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定する処理をコンピュータに実行させる。表示制御プログラムは、特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定する処理をコンピュータに実行させる。表示制御プログラムは、前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示する処理をコンピュータに実行させる。

オブジェクトデータの位置を容易に把握できる。

図１は、実施例１の端末装置の構成の一例を示すブロック図である。 図２は、オブジェクトデータの重畳表示の一例を示す図である。 図３は、オブジェクトデータ記憶部の一例を示す図である。 図４は、表示テーブル記憶部の一例を示す図である。 図５は、オブジェクトデータの位置および方向と表示領域における表示位置との関係の一例を示す図である。 図６は、オブジェクトデータの表示の遷移の一例を示す図である。 図７は、オブジェクトデータの表示の遷移の他の一例を示す図である。 図８は、実施例１の表示制御処理の一例を示すフローチャートである。 図９は、実施例１の表示制御処理の一例を示すフローチャートである。 図１０は、実施例２の端末装置の構成の一例を示すブロック図である。 図１１は、実施例２の表示制御処理の一例を示すフローチャートである。 図１２は、実施例２の表示制御処理の一例を示すフローチャートである。 図１３は、表示制御プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する表示制御プログラム、表示制御方法および表示制御装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例１の端末装置の構成の一例を示すブロック図である。図１に示す端末装置１００は、例えば、ユーザが手に持って操作する情報処理装置であり、タブレット端末やスマートフォン等の移動体通信端末等を用いることができる。なお、以下の説明では、端末装置１００を単に端末とも表現する場合がある。

端末装置１００は、該端末装置１００の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示させる。すなわち、端末装置１００は、オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定する。端末装置１００は、特定したオブジェクトデータに対応付けられた位置と、端末装置１００の位置および向きとに基づき、特定したオブジェクトデータに対応付けられた位置の端末装置１００に対する方向を特定する。端末装置１００は、表示部の表示領域のうちの、特定した方向に応じた領域に、特定したオブジェクトデータを表示する。これにより、端末装置１００は、オブジェクトデータの位置を容易に把握できる。

ここで、図２を用いて従来のオブジェクトデータの重畳表示について説明する。図２は、オブジェクトデータの重畳表示の一例を示す図である。図２（ａ）は、例えばスマートフォン等の端末１１の表示操作部１２に、対象物として街中が撮像された撮像画像が表示され、オブジェクトデータとしてＡＲコンテンツが重畳表示された状態である。このとき、撮像画像上には、建物１３にＡＲコンテンツ１３ａが重畳表示され、建物１４にＡＲコンテンツ１４ａが重畳表示されている。

図２（ｂ）は、図２（ａ）の状態から、端末１１が通常の操作位置に戻され、下方向が撮像されている状態である。図２（ｂ）では、図２（ａ）で重畳表示されていたＡＲコンテンツ１３ａ、１４ａは、建物１３、１４がともに撮像範囲から外れているため、表示されなくなる。つまり、ユーザは、通常の操作位置では、ＡＲコンテンツ１３ａ、１４ａの位置を把握することが困難となる。

図１に示すように、端末装置１００は、通信部１１０と、表示操作部１１１と、位置検出センサ１１２と、カメラ１１３と、記憶部１２０と、制御部１３０とを有する。なお、端末装置１００は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。

通信部１１０は、例えば、第３世代移動通信システム、ＬＴＥ（Long Term Evolution）等の携帯電話回線および無線ＬＡＮ（Local Area Network）等の通信モジュール等によって実現される。通信部１１０は、ネットワークを介して図示しないサーバ装置と接続され、サーバ装置との間で情報の通信を司る通信インタフェースである。通信部１１０は、重畳表示に用いるオブジェクトデータをサーバ装置から受信する。通信部１１０は、受信したオブジェクトデータを制御部１３０に出力する。

表示操作部１１１は、各種情報を表示するための表示デバイス、および、ユーザから各種操作を受け付ける入力デバイスである。例えば、表示操作部１１１は、表示デバイスとして液晶ディスプレイ等によって実現される。また、例えば、表示操作部１１１は、入力デバイスとして、タッチパネル等によって実現される。つまり、表示操作部１１１は、表示デバイスと入力デバイスとが一体化される。表示操作部１１１は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。

位置検出センサ１１２は、端末装置１００の位置および向きを検出するセンサである。位置検出センサ１１２は、例えば、位置を検出するＧＰＳ（Global Positioning System）受信機と、向きを検出する加速度センサ、ジャイロセンサおよび方位センサとを有する。位置検出センサ１１２は、ＧＰＳ受信機において受信したＧＰＳ信号に基づいて、経度緯度および高度を含む位置情報を生成する。位置検出センサ１１２は、加速度センサ、ジャイロセンサおよび方位センサを用いて、端末装置１００の向きを検出し、検出した向きの情報から方向情報を生成する。位置検出センサ１１２は、制御部１３０から検出指示が入力されると、位置情報および方向情報の生成を開始する。加速度センサとしては、例えば、ピエゾ抵抗型や静電容量型等の３軸加速度センサを用いることができる。ジャイロセンサとしては、例えば振動型のジャイロセンサを用いることができる。方位センサとしては、例えば、磁気センサを用いることができる。位置検出センサ１１２は、生成した位置情報および方向情報を制御部１３０に出力する。なお、位置検出センサ１１２は、その他の測位システムに対応するセンサであってもよい。

カメラ１１３は、撮像装置の一例であり、例えば端末装置１００の背面、つまり表示操作部１１１と反対側の面に設けられ、周囲を撮像する。カメラ１１３は、例えば、撮像素子としてＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサ等を用いて、画像を撮像する。カメラ１１３は、撮像素子が受光した光を光電変換しＡ／Ｄ（Analog／Digital）変換を行って画像を生成する。カメラ１１３は、生成した画像を制御部１３０に出力する。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等の記憶装置によって実現される。記憶部１２０は、オブジェクトデータ記憶部１２１と、表示テーブル記憶部１２２とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

オブジェクトデータ記憶部１２１は、サーバ装置から取得したオブジェクトデータを記憶する。図３は、オブジェクトデータ記憶部の一例を示す図である。図３に示すように、オブジェクトデータ記憶部１２１は、「オブジェクトＩＤ（Identifier）」、「オブジェクトデータ」、「位置情報」といった項目を有する。オブジェクトデータ記憶部１２１は、例えばオブジェクトデータごとに１レコードとして記憶する。なお、オブジェクトデータ記憶部１２１に記憶されるオブジェクトデータは、予め図示しないサーバ装置から取得される。

「オブジェクトＩＤ」は、オブジェクトデータ、つまりＡＲコンテンツを識別する識別子である。「オブジェクトデータ」は、サーバ装置から取得したオブジェクトデータを示す情報である。「オブジェクトデータ」は、例えば、オブジェクトデータ、つまりＡＲコンテンツを構成するデータファイルである。「位置情報」は、オブジェクトデータに対応付けられている位置情報である。「位置情報」は、対応付けられたオブジェクトデータの世界座標系における位置情報を示す情報である。

表示テーブル記憶部１２２は、オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを記憶する。図４は、表示テーブル記憶部の一例を示す図である。図４に示すように、表示テーブル記憶部１２２は、表示テーブルとして、オブジェクトデータの先頭アドレス１２２ｓと、各オブジェクトデータに対応するデータ１２２ａ、１２２ｂ、１２２ｃとが格納されるキューを有する。なお、図４では、データ１２２ａを一例として説明するが、データ１２２ｂ、１２２ｃも同様の構成であるので、その説明は省略する。

データ１２２ａは、オブジェクトに関する情報を記憶する項目１２２ａ１、および、オブジェクトデータが最初に表示された位置および時刻を記憶する項目１２２ａ２を有する。また、データ１２２ａは、次のレコードのアドレスを示す次アドレス１２２ａ３、前のデータまたは先頭アドレス１２２ｓを示す前アドレス１２２ａ４、および、ユーザが表示されたオブジェクトデータを削除した際にマークする削除フラグ１２２ａ５を有する。

項目１２２ａ１は、例えば、オブジェクトデータに対応付けられた位置に存在する対象物の名称と、オブジェクトデータに対応付けられた位置を示す位置情報と、オブジェクトデータを重畳表示させる仮想空間の座標とを含む。項目１２２ａ１では、例えば、名称「Ａ食堂」の対象物が、「北緯３５度１３分、東経１３２度９５分」に位置し、「Ａ食堂」に対応するオブジェクトデータが仮想空間の座標「ｘ１，ｙ１，ｚ１」に対応付けられることを示す。ここで、仮想空間の座標は、表示操作部１１１に表示される、つまりオブジェクトデータが表示される表示領域（以下、エリアともいう。）における座標である。

項目１２２ａ２は、オブジェクトデータが最初に表示された位置および時刻を含む。項目１２２ａ２は、例えば、ユーザが、オブジェクトデータが最初に表示された位置から移動して、当該オブジェクトデータを表示する必要が無くなったか否かを判定するために用いられる情報である。すなわち、項目１２２ａ２は、データ１２２ａをキューから削除するか否かを判定するために用いられる情報である。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３０は、第１特定部１３１と、第２特定部１３２と、表示制御部１３３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

第１特定部１３１は、ＡＲアプリケーションが起動されると、位置検出センサ１１２に対して検出指示を出力する。第１特定部１３１には、位置検出センサ１１２から検出指示に応じて位置情報および方向情報が入力される。すなわち、第１特定部１３１は、端末装置１００の位置および向きの取得を開始する。第１特定部１３１は、位置情報および方向情報が入力されると、オブジェクトデータ記憶部１２１を参照し、入力された位置情報から所定距離内の位置情報を持つオブジェクトデータを特定する。第１特定部１３１は、特定したオブジェクトデータのオブジェクトＩＤと、位置情報および方向情報とを表示制御部１３３に出力する。

なお、第１特定部１３１は、表示操作部１１１に表示されるエリア内に対応する位置にあるオブジェクトデータだけでなく、エリア外に対応する位置にあるオブジェクトデータについても特定する。すなわち、第１特定部１３１は、オブジェクトデータと位置とを対応付けて記憶するオブジェクトデータ記憶部１２１を参照して、エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定する。

また、第１特定部１３１は、端末装置１００の移動量が所定以上か、または、所定時間経過したか否かを判定する。第１特定部１３１は、端末装置１００の移動量が所定以上か、または、所定時間経過した場合には、表示テーブル記憶部１２２に記憶される表示テーブルを初期化する。なお、当該場合は、例えば、ユーザが移動した場合、または、端末装置１００が操作されていない場合に相当する。所定時間は、任意の時間とすることができ、例えば５分とすることができる。

第１特定部１３１には、表示制御部１３３から表示領域であるエリアの範囲を示すエリア情報が入力される。第１特定部１３１は、端末装置１００の移動量が所定未満か、または、所定時間経過していない場合には、エリア情報に基づいて、端末装置１００の移動により表示テーブルにないオブジェクトデータがエリア外となるか否かを判定する。第１特定部１３１は、表示テーブルにないオブジェクトデータがエリア外とならない場合には、引き続き端末装置１００の移動量が所定以上か、または、所定時間経過したか否かの判定を行う。

第１特定部１３１は、表示テーブルにないオブジェクトデータがエリア外となる場合には、エリア外となるオブジェクトデータの情報を表示テーブル記憶部１２２の表示テーブルに記憶する。また、第１特定部１３１は、端末装置１００の移動により新たにエリア内となるオブジェクトデータがあるか否かを判定する。第１特定部１３１は、新たにエリア内となるオブジェクトデータがある場合には、当該オブジェクトデータのオブジェクトＩＤを表示制御部１３３に出力するとともに、エリア外情報を第２特定部１３２に出力する。第１特定部１３１は、新たにエリア内となるオブジェクトデータがない場合には、エリア外情報を第２特定部１３２に出力する。

第１特定部１３１は、エリア情報に基づいて、端末装置１００の移動により表示テーブルにあるオブジェクトデータがエリア内となるか否かを判定する。第１特定部１３１は、表示テーブルにあるオブジェクトデータがエリア内となる場合には、当該オブジェクトデータを再表示させる旨の表示情報を表示制御部１３３に出力する。第１特定部１３１は、表示テーブルにあるオブジェクトデータがエリア内とならない場合には、再表示させるオブジェクトデータがない旨の表示情報を表示制御部１３３に出力する。

第２特定部１３２には、第１特定部１３１からエリア外情報が入力され、表示制御部１３３からエリア情報が入力される。第２特定部１３２は、第１特定部１３１からエリア外情報が入力されると、表示テーブル記憶部１２２の表示テーブルからエリア外となるオブジェクトデータの情報を取得する。第２特定部１３２は、エリア情報と、取得したエリア外となるオブジェクトデータの情報とに基づいて、表示操作部１１１の表示領域であるエリアにおいて、エリア外となるオブジェクトデータの位置に対する方向を特定する。すなわち、第２特定部１３２は、特定したオブジェクトデータに対応付けられた位置と、端末装置１００の位置および向きとに基づき、特定したオブジェクトデータに対応付けられた位置の端末装置１００に対する方向を特定する。第２特定部１３２は、特定した方向に対応する表示領域内、つまりエリア内の座標を表示制御部１３３に出力する。

ここで、図５を用いてエリア内の座標の算出について説明する。図５は、オブジェクトデータの位置および方向と表示領域における表示位置との関係の一例を示す図である。なお、エリアの設定については、表示制御部１３３で設定を行うので、ここでは、既にエリアが設定されているものとして説明する。図５の例では、表示領域２１、つまりエリアの中心２２を原点として２次元の座標が設定されている。第２特定部１３２は、エリア外の領域を、中心２２を通るｘ軸、ｙ軸および対角線により８つの領域に分割する。第２特定部１３２は、分割した各領域においてエリア外となるオブジェクトデータの位置から中心２２を通る線分と、エリアの境界線、つまり表示領域２１の画面の外枠との交点を求める。

第２特定部１３２は、例えば、第２領域にエリア外となるオブジェクトデータの位置２３がある場合では、エリア外となるオブジェクトデータの位置２３の座標（ｘ１，ｙ１）と中心２２とを結ぶ線分２４を引く。第２特定部１３２は、線分２４と、エリアの境界線との交点２５を求める。すなわち、第２特定部１３２は、第２領域を、ｙ≦Ｙｍａｘ／Ｘｍａｘ、かつ、ｙ≧０、かつ、ｘ≧Ｘｍａｘとすると、交点２５のｙ１’は、ｙ１’：ｙ１＝Ｘｍａｘ：ｘ１であるので、ｙ１’＝Ｘｍａｘ×ｙ１／ｘ１となる。つまり、エリア外となるオブジェクトデータの位置２３に対応するエリア内の座標である交点２５の座標は、（Ｘｍａｘ，ｙ１’）となる。なお、エリア内の座標は、２次元だけでなく３次元の座標としてもよい。

図１の説明に戻って、表示制御部１３３は、ＡＲアプリケーションが起動されると、カメラ１１３からの撮像画像の取得を開始する。表示制御部１３３には、第１特定部１３１からオブジェクトＩＤと、位置情報および方向情報とが入力される。表示制御部１３３は、入力された位置情報および方向情報に基づいて、表示領域であるエリアを設定し、設定したエリアをエリア情報として第１特定部１３１に出力する。

表示制御部１３３は、エリアを設定すると、オブジェクトデータ記憶部１２１を参照し、入力されたオブジェクトＩＤに基づいて、撮像画像に対してエリア内に位置するオブジェクトデータの重畳表示を開始する。また、表示制御部１３３は、第２特定部１３２からエリア内の座標が入力されると、表示領域（エリア）内の特定した方向に応じた領域にエリア外となるオブジェクトデータを重畳表示する。

また、表示制御部１３３は、特定した方向に応じた領域にエリア外となるオブジェクトデータを重畳表示している場合に、当該オブジェクトデータの削除操作を受け付けたか否かを判定する。オブジェクトデータの削除操作は、例えば、オブジェクトデータがフリック操作によって画面外に移動される場合が挙げられる。表示制御部１３３は、オブジェクトデータの削除操作を受け付けた場合には、表示領域から当該オブジェクトデータを削除する。また、表示制御部１３３は、表示テーブル記憶部１２２の表示テーブルの対応するデータに、削除フラグを設定する。表示制御部１３３は、オブジェクトデータの削除操作を受け付けていない場合には、削除フラグを設定しない。

表示制御部１３３は、第１特定部１３１から再表示させる旨の表示情報が入力されると、表示テーブル記憶部１２２を参照し、エリア内となるオブジェクトデータを撮像画像に重畳表示する。このとき、表示制御部１３３は、重畳表示するエリア内のオブジェクトデータとして、表示テーブルに記憶されているオブジェクトデータの情報のうち、削除フラグが設定されていないものを撮像画像に重畳表示する。すなわち、表示制御部１３３は、ユーザにより削除する旨の操作がされたオブジェクトデータは再表示しない。

表示制御部１３３は、第１特定部１３１から再表示させるオブジェクトデータがない旨の表示情報が入力されると、現在表示中のオブジェクトデータがある場合には、引き続き当該オブジェクトデータを撮像画像に重畳表示する。表示制御部１３３は、表示情報に対する処理が完了すると、ユーザから終了を受け付けたか否かを判定する。表示制御部１３３は、終了を受け付けていない場合には、第１特定部１３１に引き続き表示制御処理を行う旨を指示する。表示制御部１３３は、終了を受け付けた場合には、表示制御処理を終了する。

また、表示制御部１３３は、終了を受け付けた場合や、ＡＲアプリケーションが停止された場合には、表示テーブル記憶部１２２の表示テーブルをクリアする。さらに、表示制御部１３３は、ユーザが重畳表示を行っていた場所から例えば屋内に移動して、ＧＰＳ信号が途絶えた場合に表示テーブル記憶部１２２の表示テーブルをクリアするようにしてもよい。また、表示制御部１３３は、例えばユーザが重畳表示中のオブジェクトデータを全てフリック操作で画面上から削除した場合に、表示テーブル記憶部１２２の表示テーブルをクリアするようにしてもよい。さらに、表示制御部１３３は、例えばユーザが重畳表示中のオブジェクトデータを全て削除する操作、例えばシェイク操作を行った場合に、表示テーブル記憶部１２２の表示テーブルをクリアするようにしてもよい。

ここで、図６および図７を用いてオブジェクトデータの表示の遷移について説明する。図６は、オブジェクトデータの表示の遷移の一例を示す図である。図６（ａ）は、端末装置１００を対象物３１、３２に向けた状態である。このとき、表示操作部１１１には、対象物３１、３２を含む撮像画像が表示され、さらに、対象物３１の位置に対応付けられたオブジェクトデータ３１ａと、対象物３２の位置に対応付けられたオブジェクトデータ３２ａとが撮像画像に重畳表示されている。なお、図６および図７の説明では、表示操作部１１１が表示領域であるエリアに相当する。

図６（ｂ）は、図６（ａ）の状態からユーザが端末装置１００を持って右方向に視点を動かした状態である。このとき、表示操作部１１１に表示される撮像画像は、対象物３１、３２がフレームアウトし、対象物３３が新たに含まれる。オブジェクトデータ３１ａ、３２ａは、対象物３１、３２が表示操作部１１１の表示領域から左方向にフレームアウトしたので、左側の境界に沿うように撮像画像に重畳表示される。すなわち、オブジェクトデータ３１ａ、３２ａは、画面の左端に引っかかったように表示される。また、新たに撮像画像に含まれる対象物３３の位置に対応付けられたオブジェクトデータ３３ａが撮像画像に重畳表示される。

図６（ｃ）は、図６（ｂ）の状態からユーザが端末装置１００を手元の画面が見やすい位置に移動した状態、つまりカメラ１１３が床面方向を向いている状態である。表示操作部１１１に表示される撮像画像は、対象物３３がフレームアウトし、対象物が含まれない状態となる。オブジェクトデータ３１ａ、３２ａは、対象物３１、３２の位置に対応する方向である左上から上側の境界に沿うように撮像画像に重畳表示される。すなわち、オブジェクトデータ３１ａ、３２ａは、画面の左上端から上端に引っかかったように表示される。また、オブジェクトデータ３３ａは、対象物３３が表示操作部１１１の表示領域から上方向にフレームアウトしたので、上側の境界に沿うように撮像画像に重畳表示される。すなわち、オブジェクトデータ３３ａは、画面の上端に引っかかったように表示される。言い換えると、端末装置１００では、端末装置１００の向き等を変えると表示されなくなるオブジェクトデータを表示し続けることができる。また、端末装置１００は、オブジェクトデータの元の位置を容易に推測できる。

なお、図６（ｃ）の例では、オブジェクトデータ３１ａ、３２ａ、３３ａは、少しずらして表示されるので、複数のオブジェクトデータがあることが容易に判明する。また、重なっているオブジェクトデータは、例えばユーザがスワイプ等の操作を行うことで、移動することができる。また、重なっているオブジェクトデータは、例えばユーザがタップ等により選択することで、選択したオブジェクトデータを最前面に表示することにより、重なる順番を変更できるようにしてもよい。

図７は、オブジェクトデータの表示の遷移の他の一例を示す図である。図７（ａ）は、図６（ａ）と同様に、端末装置１００を対象物３１、３２に向けた状態である。このとき、表示操作部１１１には、対象物３１、３２を含む撮像画像が表示され、さらに、対象物３１の位置に対応付けられたオブジェクトデータ３１ａと、対象物３２の位置に対応付けられたオブジェクトデータ３２ａとが撮像画像に重畳表示されている。

図７（ｂ）は、図７（ａ）の状態からユーザが端末装置１００を手元の画面が見やすい位置に移動した状態、つまりカメラ１１３が床面方向を向いている状態である。表示操作部１１１に表示される撮像画像は、対象物３１、３２がフレームアウトし、対象物が含まれない状態となる。オブジェクトデータ３１ａ、３２ａは、対象物３１、３２の位置に対応する方向である上側の境界に沿うように撮像画像に重畳表示される。すなわち、オブジェクトデータ３１ａ、３２ａは、画面の上端に引っかかったように表示される。図７（ｂ）では、さらに、例えばユーザによるフリック操作３４によって、オブジェクトデータ３２ａが画面外に移動されると、重畳表示されているオブジェクトデータ３２ａが画面上から削除される。

図７（ｃ）は、図７（ｂ）の状態からユーザが端末装置１００を再び対象物３１、３２に向けた状態である。表示操作部１１１に表示される撮像画像は、対象物３１、３２が再度含まれる状態となる。このとき、オブジェクトデータ３１ａは、図７（ａ）の状態と同様に、対象物３１に対応する位置に表示される。すなわち、端末装置１００は、オブジェクトデータに対応付けられた位置がエリア内に移動した場合に、オブジェクトデータを表示操作部１１１に前回表示された態様と同じ態様で表示する。

これに対して、オブジェクトデータ３２ａは、図７（ｂ）で削除され、表示テーブルの削除フラグが設定されているので、対象物３２が撮像画像に含まれても重畳表示されない状態となる。すなわち、端末装置１００は、オブジェクトデータに対応付けられた位置がエリア内に移動した場合に、オブジェクトデータに対応付けられた位置がエリア外にある際に、表示操作部１１１に表示しない指示を受け付けたオブジェクトデータを再表示しない。これにより、端末装置１００は、ユーザが必要とする情報を含むオブジェクトデータのみを重畳表示することができる。

次に、実施例１の端末装置１００の動作について説明する。図８および図９は、実施例１の表示制御処理の一例を示すフローチャートである。

端末装置１００の表示制御部１３３は、ＡＲアプリケーションが起動されると、カメラ１１３からの撮像画像の取得を開始する（ステップＳ１）。また、第１特定部１３１は、ＡＲアプリケーションが起動されると、位置検出センサ１１２に対して検出指示を出力し、端末装置１００の位置情報および方向情報の取得を開始する（ステップＳ２）。第１特定部１３１は、位置情報および方向情報が入力されると、オブジェクトデータ記憶部１２１を参照し、入力された位置情報から所定距離内の位置情報を持つオブジェクトデータを特定する。第１特定部１３１は、特定したオブジェクトデータのオブジェクトＩＤと、位置情報および方向情報とを表示制御部１３３に出力する。

表示制御部１３３には、第１特定部１３１からオブジェクトＩＤと、位置情報および方向情報とが入力される。表示制御部１３３は、入力された位置情報および方向情報に基づいて、表示領域であるエリアを設定し（ステップＳ３）、設定したエリアをエリア情報として第１特定部１３１に出力する。

表示制御部１３３は、エリアを設定すると、オブジェクトデータ記憶部１２１を参照し、入力されたオブジェクトＩＤに基づいて、撮像画像に対してエリア内に位置するオブジェクトデータの重畳表示を開始する（ステップＳ４）。

その後、端末装置１００がユーザにより移動されると、第１特定部１３１は、端末装置１００の移動量が所定以上か、または、所定時間経過したか否かを判定する（ステップＳ５）。第１特定部１３１は、端末装置１００の移動量が所定以上か、または、所定時間経過した場合には（ステップＳ５：肯定）、表示テーブル記憶部１２２に記憶される表示テーブルを初期化する（ステップＳ６）。

第１特定部１３１は、端末装置１００の移動量が所定未満か、または、所定時間経過していない場合には（ステップＳ５：否定）、端末装置１００の移動により表示テーブルにないオブジェクトデータがエリア外となるか否かを判定する（ステップＳ７）。第１特定部１３１は、表示テーブルにないオブジェクトデータがエリア外とならない場合には（ステップＳ７：否定）、ステップＳ５に戻る。

第１特定部１３１は、表示テーブルにないオブジェクトデータがエリア外となる場合には（ステップＳ７：肯定）、エリア外となるオブジェクトデータの情報を表示テーブル記憶部１２２の表示テーブルに記憶する（ステップＳ８）。また、第１特定部１３１は、端末装置１００の移動により新たにエリア内となるオブジェクトデータがあるか否かを判定する（ステップＳ９）。第１特定部１３１は、新たにエリア内となるオブジェクトデータがある場合には（ステップＳ９：肯定）、当該オブジェクトデータのオブジェクトＩＤを表示制御部１３３に出力するとともに、エリア外情報を第２特定部１３２に出力する。表示制御部１３３は、入力されたオブジェクトＩＤに基づいて、新たにエリア内となるオブジェクトデータの重畳表示を開始する（ステップＳ１０）。第１特定部１３１は、新たにエリア内となるオブジェクトデータがない場合には（ステップＳ９：否定）、エリア外情報を第２特定部１３２に出力する。

第２特定部１３２は、第１特定部１３１からエリア外情報が入力されると、表示テーブル記憶部１２２の表示テーブルからエリア外となるオブジェクトデータの情報を取得する（ステップＳ１１）。第２特定部１３２は、エリア情報と、取得したエリア外となるオブジェクトデータの情報とに基づいて、エリア外となるオブジェクトデータの位置に対する方向を特定する（ステップＳ１２）。第２特定部１３２は、特定した方向に対応するエリア内の座標を表示制御部１３３に出力する。

表示制御部１３３は、第２特定部１３２からエリア内の座標が入力されると、エリア内の特定した方向に応じた領域にエリア外となるオブジェクトデータを重畳表示する（ステップＳ１３）。また、表示制御部１３３は、特定した方向に応じた領域にエリア外となるオブジェクトデータを重畳表示している場合に、当該オブジェクトデータの削除操作を受け付けたか否かを判定する（ステップＳ１４）。

表示制御部１３３は、オブジェクトデータの削除操作を受け付けた場合には（ステップＳ１４：肯定）、表示領域から当該オブジェクトデータを削除する。また、表示制御部１３３は、表示テーブル記憶部１２２の表示テーブルの対応するデータに、削除フラグを設定する（ステップＳ１５）。表示制御部１３３は、オブジェクトデータの削除操作を受け付けていない場合には（ステップＳ１４：否定）、削除フラグを設定しない。

その後、端末装置１００がユーザにより移動されると、第１特定部１３１は、エリア情報に基づいて、端末装置１００の移動により表示テーブルにあるオブジェクトデータがエリア内となるか否かを判定する（ステップＳ１６）。第１特定部１３１は、表示テーブルにあるオブジェクトデータがエリア内となる場合には（ステップＳ１６：肯定）、当該オブジェクトデータを再表示させる旨の表示情報を表示制御部１３３に出力する。第１特定部１３１は、表示テーブルにあるオブジェクトデータがエリア内とならない場合には（ステップＳ１６：否定）、再表示させるオブジェクトデータがない旨の表示情報を表示制御部１３３に出力する。

表示制御部１３３は、第１特定部１３１から再表示させる旨の表示情報が入力されると、表示テーブルに記憶されているオブジェクトデータの情報のうち、削除フラグが設定されておらず、エリア内となるオブジェクトデータを重畳表示する（ステップＳ１７）。表示制御部１３３は、第１特定部１３１から再表示させるオブジェクトデータがない旨の表示情報が入力されると、現在表示中のオブジェクトデータがある場合には、引き続き当該オブジェクトデータを撮像画像に重畳表示する。表示制御部１３３は、表示情報に対する処理が完了すると、ユーザから終了を受け付けたか否かを判定する（ステップＳ１８）。

表示制御部１３３は、終了を受け付けていない場合には（ステップＳ１８：否定）、ステップＳ５に戻る。表示制御部１３３は、終了を受け付けた場合には（ステップＳ１８：肯定）、表示制御処理を終了する。これにより、端末装置１００は、オブジェクトデータの位置を容易に把握できる画面を提供することができる。また、端末装置１００は、一度表示したオブジェクトデータを、端末装置１００をユーザが見やすい位置に移動させた状態で確認できるので、視認性や操作性を向上することができる。また、端末装置１００は、余分なオブジェクトデータが削除されると、再度同じ対象物に向けた場合に、削除されたオブジェクトデータを表示しないので、必要な情報のみを画面上に残して見ることができ、表示情報の選別を容易に行うことができる。また、端末装置１００は、一度に表示されるオブジェクトデータだけでなく、現在撮像されていない情報も集めて１つの画面に表示できるので、情報の一覧性を増すことができる。

このように、端末装置１００は、端末装置１００の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示操作部１１１に表示させる。また、端末装置１００は、オブジェクトデータと位置とを対応付けて記憶するオブジェクトデータ記憶部１２１を参照して、エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定する。また、端末装置１００は、特定したオブジェクトデータに対応付けられた位置と、端末装置１００の位置および向きとに基づき、特定したオブジェクトデータに対応付けられた位置の端末装置１００に対する方向を特定する。また、端末装置１００は、表示操作部１１１の表示領域のうちの、特定した方向に応じた領域に、特定したオブジェクトデータを表示する。その結果、オブジェクトデータの位置を容易に把握できる。

また、端末装置１００は、カメラ１１３により撮像されたエリアの撮像画像を取得する。また、端末装置１００は、特定したオブジェクトデータを、取得した撮像画像に重畳して、新たな画像を生成する。また、端末装置１００は、生成した新たな画像を表示操作部１１１に表示する。その結果、撮像画像に重畳表示されたオブジェクトデータの位置を容易に把握できる。

また、端末装置１００では、オブジェクトデータは、該オブジェクトデータに対応付けられた位置がエリア内に含まれたことがあるオブジェクトデータである。その結果、一度重畳表示されたオブジェクトデータを、撮像されるエリアが変化しても重畳表示し続けることができる。

また、端末装置１００は、オブジェクトデータに対応付けられた位置がエリア内に移動した場合に、オブジェクトデータを表示操作部１１１に前回表示された態様と同じ態様で表示する。その結果、一度重畳表示されたオブジェクトデータを、重畳表示しつつ撮像画像におけるオブジェクトデータに対応する位置に戻るように表示できる。

また、端末装置１００は、オブジェクトデータに対応付けられた位置がエリア内に移動した場合に、オブジェクトデータに対応付けられた位置がエリア外にある際に、表示操作部１１１に表示しない指示を受け付けたオブジェクトデータを再表示しない。その結果、必要な情報のみを画面上に残して見ることができ、表示情報の選別を容易に行うことができる。

上記実施例１では、ＧＰＳを用いて位置情報を取得し、オブジェクトデータの位置情報に基づいて重畳表示を行ったが、マーカ等の基準物に基づいてオブジェクトデータの重畳表示を行ってもよく、この場合の実施の形態につき、実施例２として説明する。図１０は、実施例２の端末装置の構成の一例を示すブロック図である。なお、実施例１の端末装置１００と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。

実施例２の端末装置２００の制御部２３０は、実施例１の端末装置１００の制御部１３０と比較して、検出部２３１と、算出部２３２とを有する。なお、検出部２３１および算出部２３２は、実施例１の第１特定部１３１に相当するので、同様の機能の説明は省略する場合がある。さらに、制御部２３０は、実施例１の制御部１３０と比較して、第２特定部１３２および表示制御部１３３に代えて、特定部２３３および表示制御部２３４を有する。同様に、特定部２３３は、実施例１の第２特定部１３２に相当するので、同様の機能の説明は省略する場合がある。

また、実施例２の端末装置２００の記憶部２２０は、実施例１の端末装置１００の記憶部１２０と比較して、オブジェクトデータ記憶部１２１に代えて、オブジェクトデータ記憶部２２１を有する。なお、オブジェクトデータ記憶部２２１は、オブジェクトデータ記憶部１２１と比較して、オブジェクトデータの位置情報を有しないのみであるので、その説明を省略する。

検出部２３１は、ＡＲアプリケーションが起動されると、カメラ１１３からの撮像画像の取得を開始する。また、検出部２３１は、端末装置２００の位置情報および方向情報の取得を開始する。検出部２３１は、撮像画像の取得を開始すると、撮像画像からマーカの検出を開始する。すなわち、検出部２３１は、撮像画像を解析し、オブジェクトデータと対応するマーカ、つまり基準物を検出する。言い換えると、検出部２３１は、端末装置２００に設けられた撮像装置、つまりカメラ１１３により撮像された撮像画像から基準物を検出する。なお、マーカは、例えばＡＲマーカを用いることができる。検出部２３１は、検出したマーカの情報を算出部２３２に出力する。また、検出部２３１は、位置情報および方向情報を算出部２３２および表示制御部２３４に出力する。

また、検出部２３１には、表示制御部２３４からエリア情報が入力される。検出部２３１は、端末装置２００の移動量が所定以上か、または、所定時間経過したか否かを判定する。さらに、検出部２３１は、端末装置２００の移動により表示テーブルにないオブジェクトデータがエリア外となるか否かを判定する。また、検出部２３１は、オブジェクトデータ記憶部２２１を参照し、マーカの情報に基づいて、端末装置２００の移動により新たにエリア内となるオブジェクトデータがあるか否かを判定する。検出部２３１は、当該判定に基づいて、オブジェクトＩＤを表示制御部２３４に出力し、エリア外情報を特定部２３３に出力する。さらに、検出部２３１は、端末装置２００の移動により表示テーブルにあるオブジェクトデータがエリア内となるか否かを判定する。検出部２３１は、当該判定に基づいて、表示情報を表示制御部２３４に出力する。なお、上述の各判定処理は、実施例１の第１特定部１３１での処理と同様であるので、その説明は省略する。

算出部２３２は、検出部２３１からマーカの情報が入力されると、マーカの情報に基づいて、検出されたマーカと端末装置２００との相対位置を算出する。すなわち、算出部２３２は、検出された基準物に基づいて、基準物と端末装置２００との相対位置を算出する。なお、相対位置は、仮想空間の座標、つまりエリアの座標における位置である。算出部２３２は、算出した相対位置と、位置情報および方向情報とに基づいて、実際の空間の位置情報を算出する。算出部２３２は、算出したエリアの座標および実際の空間の位置情報を表示テーブル記憶部１２２の表示テーブルに記憶する。また、算出部２３２は、オブジェクトデータ記憶部２２１を参照し、マーカの情報に基づいて、マーカに対応するオブジェクトデータのオブジェクトＩＤを取得する。算出部２３２は、オブジェクトＩＤと、算出した相対位置とを特定部２３３に出力する。

特定部２３３には、検出部２３１からエリア外情報が入力され、表示制御部２３４からエリア情報が入力される。特定部２３３は、算出部２３２からオブジェクトＩＤと、相対位置とが入力されると、入力された相対位置と、エリア情報とに基づいて、入力されたオブジェクトＩＤに対応するオブジェクトデータの方向を特定する。また、特定部２３３は、検出部２３１からエリア外情報が入力されると、表示テーブル記憶部１２２の表示テーブルからエリア外となるオブジェクトデータの情報を取得する。特定部２３３は、エリア情報と、取得したエリア外となるオブジェクトデータの情報とに基づいて、エリア外となるオブジェクトデータのマーカに対する方向を特定する。すなわち、特定部２３３は、端末装置２００の位置および向きが変化した際に、算出した基準物と端末装置２００との相対位置に基づいて、検出した基準物の端末装置２００に対する方向を特定する。特定部２３３は、特定した方向に対応する表示領域内、つまりエリア内の座標を表示制御部２３４に出力する。

表示制御部２３４には、検出部２３１からオブジェクトＩＤと、位置情報および方向情報とが入力される。表示制御部２３４は、入力された位置情報および方向情報に基づいて、表示領域であるエリアを設定し、設定したエリアをエリア情報として検出部２３１および特定部２３３に出力する。

表示制御部２３４は、エリアを設定すると、オブジェクトデータ記憶部２２１を参照し、入力されたオブジェクトＩＤに基づいて、撮像画像に対してエリア内のマーカに対応するオブジェクトデータの重畳表示を開始する。また、表示制御部２３４は、特定部２３３からエリア内の座標が入力されると、表示領域（エリア）内の特定した方向に応じた領域にエリア外となるオブジェクトデータを重畳表示する。

また、表示制御部２３４は、特定した方向に応じた領域にエリア外となるオブジェクトデータを重畳表示している場合に、当該オブジェクトデータの削除操作を受け付けたか否かを判定する。また、表示制御部２３４は、入力された表示情報に応じてオブジェクトデータを重畳表示する。なお、これらの処理は、実施例１の表示制御部１３３での処理と同様であるので、その説明は省略する。また、表示制御部２３４は、終了を受け付けた場合や、ＡＲアプリケーションが停止された場合の処理も、実施例１の表示制御部１３３での処理と同様であるので、その説明は省略する。

次に、実施例２の端末装置２００の動作について説明する。図１１および図１２は、実施例２の表示制御処理の一例を示すフローチャートである。

端末装置２００の検出部２３１は、ＡＲアプリケーションが起動されると、カメラ１１３からの撮像画像の取得を開始する（ステップＳ１）。また、検出部２３１は、端末装置２００の位置情報および方向情報の取得を開始する（ステップＳ２）。検出部２３１は、撮像画像の取得を開始すると、撮像画像からマーカの検出を開始する（ステップＳ２１）。検出部２３１は、検出したマーカの情報を算出部２３２に出力する。また、検出部２３１は、位置情報および方向情報を表示制御部２３４に出力する。

算出部２３２は、検出部２３１からマーカの情報が入力されると、マーカの情報に基づいて、検出されたマーカと端末装置２００との相対位置を算出する（ステップＳ２２）。また、算出部２３２は、オブジェクトデータ記憶部２２１を参照し、マーカの情報に基づいて、マーカに対応するオブジェクトデータのオブジェクトＩＤを取得する。算出部２３２は、オブジェクトＩＤと、算出した相対位置とを特定部２３３に出力する。

表示制御部２３４には、検出部２３１からオブジェクトＩＤと、位置情報および方向情報とが入力される。表示制御部２３４は、入力された位置情報および方向情報に基づいて、表示領域であるエリアを設定し（ステップＳ３）、設定したエリアをエリア情報として検出部２３１および特定部２３３に出力する。

表示制御部２３４は、エリアを設定すると、オブジェクトデータ記憶部２２１を参照し、入力されたオブジェクトＩＤに基づいて、撮像画像に対してエリア内のマーカに対応するオブジェクトデータの重畳表示を開始する（ステップＳ２３）。

その後、端末装置２００がユーザにより移動されると、端末装置２００は、ステップＳ５の処理に進む。端末装置２００は、実施例１と同様に、ステップＳ５からステップＳ１１の処理を実行する。なお、実施例２では、ステップＳ６の処理の後、ステップＳ２２に進む。端末装置２００は、ステップＳ１１の処理の後、ステップＳ２４の処理を実行する。特定部２３３は、オブジェクトＩＤと、相対位置と、エリア情報と、取得したエリア外となるオブジェクトデータの情報とに基づいて、エリア外となるオブジェクトデータのマーカに対する方向を特定する（ステップＳ２４）。特定部２３３は、特定した方向に対応するエリア内の座標を表示制御部２３４に出力する。

端末装置２００は、ステップＳ２４の処理に続いて、実施例１と同様に、ステップＳ１３からステップＳ１８の処理を実行する。これにより、端末装置２００は、オブジェクトデータの位置を容易に把握できる画面を提供することができる。また、端末装置２００は、一度表示したオブジェクトデータを、端末装置２００をユーザが見やすい位置に移動させた状態で確認できるので、視認性や操作性を向上することができる。また、端末装置２００は、余分なオブジェクトデータが削除されると、再度同じ対象物に向けた場合に、削除されたオブジェクトデータを表示しないので、必要な情報のみを画面上に残して見ることができ、表示情報の選別を容易に行うことができる。また、端末装置２００は、一度に表示されるオブジェクトデータだけでなく、現在撮像されていない情報も集めて１つの画面に表示できるので、情報の一覧性を増すことができる。

このように、端末装置２００は、端末装置２００の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示操作部１１１に表示させる。すなわち、端末装置２００は、端末装置２００に設けられたカメラ１１３により撮像された撮像画像から基準物を検出する。また、端末装置２００は、検出した基準物に基づいて、基準物と端末装置２００との相対位置を算出する。また、端末装置２００は、端末装置２００の位置および向きが変化した際に、算出した基準物と端末装置２００との相対位置に基づいて、検出した基準物の端末装置２００に対する方向を特定する。また、端末装置２００は、表示操作部１１１の表示領域のうちの、特定した方向に応じた領域に、検出した基準物に対応するオブジェクトデータを表示する。その結果、オブジェクトデータの位置を容易に把握できる。

なお、上記各実施例では、表示操作部１１１にオブジェクトデータの重畳表示を含む画面を表示したが、これに限定されない。例えば、端末装置１００または２００にＨＭＤ（Head Mounted Display）を接続してＨＭＤに画面を表示し、ＨＭＤに設けられた位置検出センサの情報に基づいて、表示領域であるエリアの設定等を行ってもよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、第１特定部１３１と第２特定部１３２とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１３は、表示制御プログラムを実行するコンピュータの一例を示す図である。

図１３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、フラッシュメモリ３０８とを有する。また、各装置３０１〜３０８は、バス３０９に接続される。

フラッシュメモリ３０８には、図１に示した第１特定部１３１、第２特定部１３２および表示制御部１３３の各処理部と同様の機能を有する表示制御プログラムが記憶される。また、フラッシュメモリ３０８には、図１０に示した検出部２３１、算出部２３２、特定部２３３および表示制御部２３４の各処理部と同様の機能を有する表示制御プログラムが記憶されてもよい。また、フラッシュメモリ３０８には、オブジェクトデータ記憶部１２１または２２１、表示テーブル記憶部１２２、および、表示制御プログラムを実現するための各種データが記憶される。入力装置３０２は、例えば、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えばヘッドホン等が接続される。通信装置３０６は、例えば、図１または図１０に示した通信部１１０と同様の機能を有し図示しないサーバ装置と接続され、サーバ装置と各種情報をやりとりする。

ＣＰＵ３０１は、フラッシュメモリ３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図１に示した第１特定部１３１、第２特定部１３２および表示制御部１３３として機能させることができる。または、これらのプログラムは、コンピュータ３００を図１０に示した検出部２３１、算出部２３２、特定部２３３および表示制御部２３４として機能させることができる。

なお、上記の表示制御プログラムは、必ずしもフラッシュメモリ３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ−ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの表示制御プログラムを記憶させておき、コンピュータ３００がこれらから表示制御プログラムを読み出して実行するようにしてもよい。

以上、本実施例を含む実施の形態に関し、さらに以下の付記を開示する。

（付記１）端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示させる表示制御プログラムにおいて、
オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定し、
特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定し、
前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

（付記２）撮像装置により撮像された前記エリアの撮像画像を取得し、
特定した前記オブジェクトデータを、取得した前記撮像画像に重畳して、新たな画像を生成し、
生成した前記新たな画像を前記表示部に表示する、
ことを特徴とする付記１に記載の表示制御プログラム。

（付記３）前記オブジェクトデータは、該オブジェクトデータに対応付けられた位置が前記エリア内に含まれたことがあるオブジェクトデータである、
ことを特徴とする付記１または２に記載の表示制御プログラム。

（付記４）前記表示する処理は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータを前記表示部に前回表示された態様と同じ態様で表示する、
ことを特徴とする付記３に記載の表示制御プログラム。

（付記５）前記表示する処理は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータに対応付けられた位置が前記エリア外にある際に、前記表示部に表示しない指示を受け付けたオブジェクトデータを再表示しない、
ことを特徴とする付記４に記載の表示制御プログラム。

（付記６）端末の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示部に表示させる表示制御プログラムにおいて、
前記端末に設けられた撮像装置により撮像された撮像画像から前記基準物を検出し、
検出した前記基準物に基づいて、前記基準物と前記端末との相対位置を算出し、
前記端末の位置および向きが変化した際に、算出した前記基準物と前記端末との相対位置に基づいて、検出した前記基準物の前記端末に対する方向を特定し、
前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、検出した前記基準物に対応する前記オブジェクトデータを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。

（付記７）端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示する表示制御方法において、
オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定し、
特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定し、
前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。

（付記８）撮像装置により撮像された前記エリアの撮像画像を取得し、
特定した前記オブジェクトデータを、取得した前記撮像画像に重畳して、新たな画像を生成し、
生成した前記新たな画像を前記表示部に表示する、
ことを特徴とする付記７に記載の表示制御方法。

（付記９）前記オブジェクトデータは、該オブジェクトデータに対応付けられた位置が前記エリア内に含まれたことがあるオブジェクトデータである、
ことを特徴とする付記７または８に記載の表示制御方法。

（付記１０）前記表示する処理は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータを前記表示部に前回表示された態様と同じ態様で表示する、
ことを特徴とする付記９に記載の表示制御方法。

（付記１１）前記表示する処理は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータに対応付けられた位置が前記エリア外にある際に、前記表示部に表示しない指示を受け付けたオブジェクトデータを再表示しない、
ことを特徴とする付記１０に記載の表示制御方法。

（付記１２）端末の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示部に表示する表示制御方法において、
前記端末に設けられた撮像装置により撮像された撮像画像から前記基準物を検出し、
検出した前記基準物に基づいて、前記基準物と前記端末との相対位置を算出し、
前記端末の位置および向きが変化した際に、算出した前記基準物と前記端末との相対位置に基づいて、検出した前記基準物の前記端末に対する方向を特定し、
前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、検出した前記基準物に対応する前記オブジェクトデータを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。

（付記１３）端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示する表示制御装置において、
オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定する第１特定部と、
特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定する第２特定部と、
前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示する表示制御部と、
を有することを特徴とする表示制御装置。

（付記１４）前記表示制御部は、撮像装置により撮像された前記エリアの撮像画像を取得し、特定した前記オブジェクトデータを、取得した前記撮像画像に重畳して、新たな画像を生成し、生成した前記新たな画像を前記表示部に表示する、
ことを特徴とする付記１３に記載の表示制御装置。

（付記１５）前記オブジェクトデータは、該オブジェクトデータに対応付けられた位置が前記エリア内に含まれたことがあるオブジェクトデータである、
ことを特徴とする付記１３または１４に記載の表示制御装置。

（付記１６）前記表示制御部は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータを前記表示部に前回表示された態様と同じ態様で表示する、
ことを特徴とする付記１５に記載の表示制御装置。

（付記１７）前記表示制御部は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータに対応付けられた位置が前記エリア外にある際に、前記表示部に表示しない指示を受け付けたオブジェクトデータを再表示しない、
ことを特徴とする付記１６に記載の表示制御装置。

（付記１８）端末の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示部に表示する表示制御装置において、
前記端末に設けられた撮像装置により撮像された撮像画像から前記基準物を検出する検出部と、
検出した前記基準物に基づいて、前記基準物と前記端末との相対位置を算出する算出部と、
前記端末の位置および向きが変化した際に、算出した前記基準物と前記端末との相対位置に基づいて、検出した前記基準物の前記端末に対する方向を特定する特定部と、
前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、検出した前記基準物に対応する前記オブジェクトデータを表示する表示制御部と、
を有することを特徴とする表示制御装置。

１００ 端末装置
１１０ 通信部
１１１ 表示操作部
１１２ 位置検出センサ
１１３ カメラ
１２０，２２０ 記憶部
１２１，２２１ オブジェクトデータ記憶部
１２２ 表示テーブル記憶部
１３０，２３０ 制御部
１３１ 第１特定部
１３２ 第２特定部
１３３，２３４ 表示制御部
２３１ 検出部
２３２ 算出部
２３３ 特定部

Claims (10)

1. 端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示させる表示制御プログラムにおいて、
   オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定し、
   特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定し、
   前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示し、
   前記端末の移動量が所定以上か、または、所定時間経過したか否かを判定し、前記移動量が所定以上である、または、前記所定時間経過したと判定した場合、前記表示部に表示されたことがある前記オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを初期化する、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
2. 撮像装置により撮像された前記エリアの撮像画像を取得し、
   特定した前記オブジェクトデータを、取得した前記撮像画像に重畳して、新たな画像を生成し、
   生成した前記新たな画像を前記表示部に表示する、
   ことを特徴とする請求項１に記載の表示制御プログラム。
3. 前記オブジェクトデータは、該オブジェクトデータに対応付けられた位置が前記エリア内に含まれたことがあるオブジェクトデータである、
   ことを特徴とする請求項１または２に記載の表示制御プログラム。
4. 前記表示する処理は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータを前記表示部に前回表示された態様と同じ態様で表示する、
   ことを特徴とする請求項３に記載の表示制御プログラム。
5. 前記表示する処理は、前記オブジェクトデータに対応付けられた位置が前記エリア内に移動した場合に、前記オブジェクトデータに対応付けられた位置が前記エリア外にある際に、前記表示部に表示しない指示を受け付けたオブジェクトデータを再表示しない、
   ことを特徴とする請求項４に記載の表示制御プログラム。
6. 端末の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示部に表示させる表示制御プログラムにおいて、
   前記端末に設けられた撮像装置により撮像された撮像画像から前記基準物を検出し、
   検出した前記基準物に基づいて、前記基準物と前記端末との相対位置を算出し、
   前記端末の位置および向きが変化した際に、算出した前記基準物と前記端末との相対位置に基づいて、検出した前記基準物の前記端末に対する方向を特定し、
   前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、検出した前記基準物に対応する前記オブジェクトデータを表示し、
   前記端末の移動量が所定以上か、または、所定時間経過したか否かを判定し、前記移動量が所定以上である、または、前記所定時間経過したと判定した場合、前記表示部に表示されたことがある前記オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを初期化する、
   処理をコンピュータに実行させることを特徴とする表示制御プログラム。
7. 端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示する表示制御方法において、
   オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定し、
   特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定し、
   前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示すし、
   前記端末の移動量が所定以上か、または、所定時間経過したか否かを判定し、前記移動量が所定以上である、または、前記所定時間経過したと判定した場合、前記表示部に表示されたことがある前記オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを初期化する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
8. 端末の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示部に表示する表示制御方法において、
   前記端末に設けられた撮像装置により撮像された撮像画像から前記基準物を検出し、
   検出した前記基準物に基づいて、前記基準物と前記端末との相対位置を算出し、
   前記端末の位置および向きが変化した際に、算出した前記基準物と前記端末との相対位置に基づいて、検出した前記基準物の前記端末に対する方向を特定し、
   前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、検出した前記基準物に対応する前記オブジェクトデータを表示すし、
   前記端末の移動量が所定以上か、または、所定時間経過したか否かを判定し、前記移動量が所定以上である、または、前記所定時間経過したと判定した場合、前記表示部に表示されたことがある前記オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを初期化する、
   処理をコンピュータが実行することを特徴とする表示制御方法。
9. 端末の位置および向きに応じたエリア内の位置に対応付けられたオブジェクトデータを表示部に表示する表示制御装置において、
   オブジェクトデータと位置とを対応付けて記憶する記憶部を参照して、前記エリア外の位置に対応付けられたオブジェクトデータと、該オブジェクトデータに対応付けられた位置とを特定する第１特定部と、
   特定した前記オブジェクトデータに対応付けられた位置と、前記端末の位置および向きとに基づき、特定した前記オブジェクトデータに対応付けられた位置の前記端末に対する方向を特定する第２特定部と、
   前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、特定した前記オブジェクトデータを表示する表示制御部と、
   前記端末の移動量が所定以上か、または、所定時間経過したか否かを判定し、前記移動量が所定以上である、または、前記所定時間経過したと判定した場合、前記表示部に表示されたことがある前記オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを初期化する判定部と、
   を有することを特徴とする表示制御装置。
10. 端末の位置および向きに応じたエリア内の基準物に対応付けられたオブジェクトデータを表示部に表示する表示制御装置において、
    前記端末に設けられた撮像装置により撮像された撮像画像から前記基準物を検出する検出部と、
    検出した前記基準物に基づいて、前記基準物と前記端末との相対位置を算出する算出部と、
    前記端末の位置および向きが変化した際に、算出した前記基準物と前記端末との相対位置に基づいて、検出した前記基準物の前記端末に対する方向を特定する特定部と、
    前記表示部の表示領域のうちの、特定した前記方向に応じた領域に、検出した前記基準物に対応する前記オブジェクトデータを表示する表示制御部と、
    前記端末の移動量が所定以上か、または、所定時間経過したか否かを判定し、前記移動量が所定以上である、または、前記所定時間経過したと判定した場合、前記表示部に表示されたことがある前記オブジェクトデータと、該オブジェクトデータが最初に表示された位置および時刻とを対応付ける表示テーブルを初期化する判定部と、
    を有することを特徴とする表示制御装置。

Images