WO2016017254A1

WO2016017254A1 - 情報処理装置、および情報処理方法、並びにプログラム

Info

Publication number: WO2016017254A1
Application number: PCT/JP2015/064895
Authority: WO
Inventors: 五十嵐　卓也; 典史吉川
Original assignee: ソニー株式会社
Priority date: 2014-08-01
Filing date: 2015-05-25
Publication date: 2016-02-04
Also published as: CN106575299A; JP6683127B2; EP3176755A4; JPWO2016017254A1; US20170201709A1; US20190158774A1; EP3176755A1; US10499002B2; US10225506B2

Abstract

実世界の登録情報設定ポイントに関する登録情報の表示や表示更新処理をコンテキストの変化に応じたイベント検出をトリガとして実行する。実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトの表示制御を行う。データ処理部は、制御データに記述された登録情報の表示や表示更新処理を予め規定したコンテキストの変化に応じて実行する。さらに登録情報表示に併せて登録情報設定ポイントを示す仮想オブジェクトを表示する。撮影画像から検出する基準画像（アンカー）の仮想３次元空間での位置および方向等に基づいて情報処理装置と登録情報設定ポイントの位置関係を算出し、算出した位置関係とコンテキストの変化に基づき、登録情報設定ポイントを示す仮想オブジェクトを表示する。

Description

情報処理装置、および情報処理方法、並びにプログラム

　本開示は、情報処理装置、および情報処理方法、並びにプログラムに関する。さらに詳細には、情報処理装置の近傍に存在する実オブジェクトに関する情報を、情報装置の位置、方向に基づき表示部（ディスプレイ）に表示する情報処理装置、および情報処理方法、並びにプログラムに関する。

　昨今、スマートホンやタブレット端末、あるいはグラス（眼鏡）型ディスプレイ等のウェアラブル端末等が普及し、多くのユーザがこれらの端末を利用している。
　これらの端末の多くは、通信機能のみならず、カメラ機能を備え、撮影画像を表示部に表示することができる。また、表示部には撮影画像のみならず、例えばネットワークを介してアクセスされるＷｅｂページ等、ネットワークを介して受信する様々な情報の表示が可能である。

　さらに、例えば、カメラの撮影画像に対する属性情報として設定されるＧｅｏ情報［経度緯度情報（Ｇｅｏｓｔａｔｉｏｎａｒｙ　Ｅａｒｔｈ　Ｏｒｂｉｔ）］や、携帯端末の有するＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）機能によって取得される位置情報に従って、Ｗｅｂサイトから位置情報に対応付けられた情報を取得して表示する処理を可能とした端末もある。
　なお、このような撮影画像に関連する情報を撮影画像に重畳させて表示する構成を開示した文献として、例えば特許文献１（特開２０１１－０２８７６３号公報）がある。

特開２０１１－０２８７６３号公報

　ＧＰＳやＧｅｏ情報等の位置情報に基づき、撮影オブジェクトの関連情報を端末に重畳表示可能とした構成を示す従来技術は多々ある。
　様々な施設の登録情報をその施設位置に正確に対応付けたデータを用いて、オブジェクトの撮影および表示を行うユーザ端末の位置や傾きを検出し、表示部におけるオブジェクトの移動に応じて関連情報も連動させて移動させる制御を行うことで登録情報を施設位置に合わせて重畳表示することが可能である。

　しかし、従来の方法では、情報処理装置のプログラムによって、情報装置のＧｅｏ位置情報と登録情報のＧｅｏ位置情報の位置関係や、カメラの撮影した映像から認識された物体の撮影映像上での位置に追随させて、関連情報を撮影映像に重畳表示する方式が採用されている。そのため、登録情報のメタデータに合わせて重畳表示される文字のサイズや色を変えるようなことはできるが、ユーザ行動や情報端末のコンテキスト（状況）やその変化をトリガとして表示される登録情報を変更する処理や、その表示方法（文字の大きさ、位置、アニメーション等）を制御することは困難であった。

　例えば、情報端末のセンサから得られるユーザの身体情報（心拍、脈拍等）や温度センサの情報に基づき、カメラの撮影映像に映っていない場合でもスポーツドリンクの自動販売機が情報端末の近傍にあった場合は、それに関連する登録情報を表示部に表示し、ユーザにスポーツドリンクにて水分をとるように勧めるるような柔軟な処理は困難である。

　本開示は、例えば上記問題点に鑑みてなされたものであり、登録設定された実世界ポイント（ＰＯＩ：Ｐｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｅｓｔ）に関する情報を、スマートホンなどのユーザ端末とそのポイント位置の位置関係、および、ユーザ端末から得られる様々な情報から判断されるコンテキスト（状況）に応じたイベントをトリガとして登録情報の表示を実行することを可能とする。例えば、ユーザの動き等に応じてユーザ端末の位置、傾き変更された場合に、その変化量に加えて、ユーザの行動状況（歩き、走り、電車など）を加味して、表示される情報やその表示方法（文字の大きさや表示位置）を変えるなどの多様な表示可能とした情報処理装置、および情報処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　撮像部と、
　前記撮像部の撮影画像を表示する表示部と、
　撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記データ処理部は、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行し、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する情報処理装置にある。

　さらに、本開示の第２の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、撮像部と、前記撮像部の撮影画像を表示する表示部と、撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記データ処理部が、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行し、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する情報処理方法にある。

　さらに、本開示の第３の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、撮像部と、前記撮像部の撮影画像を表示する表示部と、撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行する処理と、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する処理を実行させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、実世界の登録情報設定ポイントに関する登録情報の表示や表示更新処理をコンテキストの変化に応じたイベント検出をトリガとして実行する装置、方法が実現される。
　具体的には、実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトの表示制御を行う。データ処理部は、制御データに記述された登録情報の表示や表示更新処理を予め規定したコンテキストの変化に応じて実行する。さらに登録情報表示に併せて登録情報設定ポイントを示す仮想オブジェクトを表示する。撮影画像から検出する基準画像（アンカー）の仮想３次元空間での位置および方向等に基づいて情報処理装置と登録情報設定ポイントの位置関係を算出し、算出した位置関係とコンテキストの変化に基づき、登録情報設定ポイントを示す仮想オブジェクトを表示する。
　本構成により、実世界の登録情報設定ポイントに関する登録情報の表示や表示更新処理をコンテキストの変化に応じたイベント検出をトリガとして実行する装置、方法が実現される。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の処理を実行する情報処理装置（ユーザ端末）を含むシステムの一構成例について説明する図である。情報処理装置（ユーザ端末）の表示部の表示画像例について説明する図である。情報処理装置（ユーザ端末）の表示部の表示画像例について説明する図である。情報処理装置（ユーザ端末）の表示部の表示画像例について説明する図である。本開示の処理を実行する情報処理装置（ユーザ端末）を含むシステムの各構成要素間の処理シーケンスについて説明する図である。検索サーバの保持するデータの構成例について説明する図である。情報提供サーバの提供するＨＴＭＬデータの一例について説明する図である。基準実オブジェクトと登録情報設定ポイントについて説明する図である。情報提供サーバの提供する表示制御プログラム（ＪａｖａＳｃｒｉｐｔ（登録商標））一例について説明する図である。仮想オブジェクト表示制御データの取得と仮想オブジェクト表示処理のシーケンスについ手説明するフローチャートを示す図である。仮想オブジェクト表示制御データの取得と仮想オブジェクト表示処理のシーケンスについて説明するフローチャートを示す図である。測位処理オブジェクト設定処理のシーケンスについて説明するフローチャートを示す図である。仮想オブジェクト表示イベント検出に基づく仮想オブジェクト表示処理のシーケンスについて説明するフローチャートを示す図である。仮想オブジェクト表示更新イベント検出および通知処理のシーケンスについて説明するフローチャートを示す図である。仮想オブジェクト表示更新イベント検出および通知処理のシーケンスについて説明するフローチャートを示す図である。仮想オブジェクトの具体的表示例を示す図である。仮想オブジェクトの具体的表示例を示す図である。情報処理装置の構成例について説明する図である。情報処理装置の構成例について説明する図である。サーバの構成例について説明する図である。

　以下、図面を参照しながら本開示の情報処理装置、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．本開示の情報処理装置と、情報処理装置を含むシステムの構成例について
　２．通信処理および画像表示処理の詳細について
　３．登録情報設定ポイント（ＰＯＩ）位置識別マークの表示位置を決定する処理について
　４．情報処理装置の実行する各処理のシーケンスについて
　４－１．仮想オブジェクト表示制御データの取得と仮想オブジェクト表示処理
　４－２．測位処理オブジェクト設定処理
　４－３．仮想オブジェクト表示イベント検出に基づく仮想オブジェクト表示処理
　４－４．３次元位置測位処理
　５．仮想オブジェクトの表示開始または表示更新処理のトリガとなるイベントについて
　６．情報処理装置、およびサーバの構成例について
　７．本開示の構成のまとめ

　　［１．本開示の情報処理装置と、情報処理装置を含むシステムの構成例について］
　まず、図１を参照して本開示の情報処理装置と、情報処理装置を含むシステムの構成例について説明する。
　図１は、本開示の情報処理装置を含む通信システムの一構成例を示す図である。
　情報処理装置（ユーザ端末）１０は、例えばスマートホンや、グラス（眼鏡）型端末等、ユーザが携帯可能な通信端末である。
　情報処理装置（ユーザ端末）１０は、通信部、カメラ（撮像部）、表示部を備え、カメラ撮影画像を表示部に表示し、通信部を介して受信した情報を撮影画像に重畳して表示部に表示する機能を備えた装置である。

　情報処理装置１０は、カメラの撮影画像を表示部に表示する。表示部の表示画像は、カメラによって現在撮影されているリアルタイムの撮影画像とする。なお、本開示の処理は、過去に撮影されメモリに格納済みの画像を読み出して、表示部に表示した場合にも適用可能であるが、以下に説明する実施例では、現時点の撮影画像を表示部に表示している場合の処理例について説明する。なお、撮影画像をメディア等の記憶部に記録するか否かは任意である。

　情報処理装置１０のカメラ（撮像部）および表示部は、それぞれ異なる装置で実現され、通信によって一体となった動作を行う構成としてもよい。
　通信によって一体となった動作を行う構成の場合、例えば、頭部に装着したカメラ（撮像部）が撮像した動画、および位置・向き情報をスマートホン（表示部）にＷｉ－Ｆｉで送信する構成により可能になる。
　本開示の処理は、情報処理装置１０が物理的に一つの装置の構成であっても、通信を介して複数の装置で構成される場合においても適用可能である。

　情報処理装置１０は、撮影画像を表示部に表示しながら、例えば無線ＬＡＮやブルーツゥース等のアクセスポイント（ＡＰ）等によって構成されるビーコン送信装置２０の出力するビーコンを受信する。
　ビーコンは、ビーコン送信装置２０の識別子（ＩＤ）等を格納したパケットである。
　情報処理装置１０は、ビーコン送信装置２０から受信したビーコンを、インターネット等のネットワーク３０を介して検索サーバ４０に転送する。

　検索サーバ４０は、情報処理装置１０から転送されるビーコンを受信すると、受信ビーコンに含まれるビーコン送信装置識別子（ＩＤ）に基づいて、その識別子に対応して登録されたアクセス情報（ＵＲＬ）を取得して、情報処理装置１０に送信する。

　アクセス情報（ＵＲＬ）は、ビーコン送信装置２０の近辺にある情報登録ポイントの位置情報や、登録情報等を含むデータを取得するためのアクセス情報である。
　なお、例えばＷｅｂページなどの提供地図データでは、名所や、目印となる建物など、多くの人間の興味があると推定されるポイントとして登録情報設定ポイント（ＰＯＩ：Ｐｏｉｎｔ　ｏｆ　Ｉｎｔｅｒｅｓｔ）が設定されているが、上記アクセス情報（ＵＲＬ）は、例えばこの登録情報設定ポイント（ＰＯＩ）に関する位置情報と登録情報などを含む表示制御データを取得するためのアクセス情報である。

　情報処理装置１０は、このアクセス情報　　（ＵＲＬ）を用いて情報提供サーバ５０から表示制御データを取得して、取得された表示制御データに含まれる登録情報設定ポイント（ＰＯＩ）に対応する登録情報等を表示部に表示された撮影画像上に重畳して表示する。
　すなわち、カメラ（撮像部）によって撮影され表示部に表示されている実オブジェクト上に、情報提供サーバ５０から取得したＰＯＩに関する位置情報や、登録情報を仮想オブジェクトとして重畳して表示する。

　情報提供サーバ５０は、各地域の様々な位置にある様々な施設の位置情報と、施設の案内情報等、ＰＯＩの表示制御データを提供する。情報提供サーバ５０は、登録情報を登録したデータベースを備えており、そのデータベース情報を基に表示制御データを生成する。情報提供サーバ５０は、情報端末１０からの要求に含まれるＵＲＬに従い該当する表示制御データを返信する。

　情報処理装置１０は、検索サーバ４０が選択したアクセス情報（ＵＲＬ）を利用して、情報提供サーバ５０からＰＯＩの表示制御データを取得する。
　情報処理装置１０は、このＰＯＩの表示制御データを用いて、ビーコン送信装置２０の設置場所の近辺にある様々な施設等のＰＯＩの位置や登録情報を表示部に表示されたカメラ撮影画像上に重畳して表示する。

　図２以下を参照して。具体的な処理例について説明する。
　図２は、情報処理装置（ユ―ザ端末）１０によるカメラ撮影画像の表示部に対する表示例を示している。
　なお、以下では、情報処理装置（ユ―ザ端末）１０の一例としてスマートホンを用いた例を説明するが、以下に説明する実施例は、スマートホン以外の様々なユーザ端末、例えばタブレット端末、ＰＣ、グラス（眼鏡）型端末等においても同様に実行可能である。

　図２（ａ）は実世界（Ｒｅａｌ　Ｗｏｒｌｄ）のある景色を示す。ある観光地の城を含む景色である。情報処理装置（ユーザ端末）１０を携帯したユーザが、この観光地の城を訪れて観光中であり、図２（ａ）に示す景色を眺めているものとする。
　ユーザは、情報処理装置（ユーザ端末）１０のカメラ機能を利用して（ａ）実世界の画像を撮り込み、撮影画像を表示部に表示する。
　表示部に表示された撮影画像が図２（ｂ）に示す表示画像である。

　例えば、この状態において、先に図１を参照して説明した一連の処理が実行される。すなわち、以下の処理（Ｓ０１～Ｓ０４）を実行する。
　（Ｓ０１）情報処理装置１０は、図２（ａ）に示す実世界の近くにあるアクセスポイント（ＡＰ）等のビーコン送信装置２０から受信したビーコンの識別情報（ＩＤ）を検索サーバ４０に転送する。
　（Ｓ０２）検索サーバ４０は、識別情報に基づき、ビーコン送信装置２０の近辺の登録情報を含むデータを取得するためのアクセス情報（ＵＲＬ）を情報処理装置１０に送信する。

　（Ｓ０３）情報処理装置１０は、検索サーバ４０から受信したアクセス情報（ＵＲＬ）を適用して情報提供サーバ５０から、ビーコン送信装置２０の近辺の施設の位置情報や登録情報の表示制御データを取得する。
　（Ｓ０４）情報処理装置１０は、情報提供サーバ５０から取得したビーコン送信装置２０の近辺の施設の位置情報や登録情報の表示制御データを用いて、表示部に表示中の撮影画像上に施設の位置を示すマークや、登録情報を仮想オブジェクトとして重畳表示する。
　これらの一連の処理を実行する。

　上記一連の処理を実行した結果として、情報処理装置１０の表示部に表示される画像の例が図３、図４に示す表示画像である。
　図３（ａ）は、先に説明した図２と同様、実世界（Ｒｅａｌ　Ｗｏｒｌｄ）のある景色であり、図３（ｂ）は、上記一連の処理（Ｓ０１～Ｓ０４）を実行した後に情報処理装置１０の表示部に表示される表示画像である。

　上記のステップＳ０３において、情報提供サーバ５０から取得したデータ、すなわち、ビーコン送信装置２０の近辺の施設の位置情報と登録情報の表示制御データには、図３（ａ）実世界に示す以下の２つのポイントの情報が含まれているとする。
　（１）登録情報設定ポイントＡ（ＰＯＩ－Ａ）１０１の位置情報と登録情報
　（２）登録情報設定ポイントＢ（ＰＯＩ－Ｂ）１０２の位置情報と登録情報

　図３（ｂ）の表示画像は、
　（１）登録情報設定ポイントＡ（ＰＯＩ－Ａ）１０１の位置情報と登録情報
　この情報を選択して表示した表示画像である。

　図３（ｂ）表示画像は、撮影画像である実オブジェクト上に、情報提供サーバ５０から取得した表示制御データに記述された仮想オブジェクトを重畳表示した画像である。
　表示される仮想オブジェクトは以下のデータである。
　（１）ポイントＡ（ＰＯＩ－Ａ）位置識別マーク１１１、
　（２）ポイントＡ（ＰＯＩ－Ａ）対応登録情報１１２、
　これらのデータを仮想オブジェクトとして表示している。

　このように、図３（ｂ）に示す表示画像は、撮影画像である実オブジェクト上に、情報提供サーバ５０から取得した表示制御データに基づいて生成した仮想オブジェクトを重畳して表示した画像、いわゆる拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像である。

　ポイントＡは、チケットセンターであり、実オブジェクトである撮影画像のチケットセンター位置に、仮想オブジェクトとしてのポイントＡ（ＰＯＩ－Ａ）位置識別マーク１１１が重畳して表示される。

　このポイントＡ（ＰＯＩ－Ａ）位置識別マーク１１１の表示位置は、実オブジェクトである撮影画像のチケットセンター画像上に設定する必要がある。この表示位置は、情報提供サーバから取得するデータを適用して情報処理装置１０が決定する。なお、情報処理装置１０に表示される画像はカメラのリアルタイム撮影画像であり、ユーザの動きに応じて変動する。ポイントＡ（ＰＯＩ－Ａ）位置識別マーク１１１の表示位置も、表示撮影画像（実オブジェクト）の動きに応じて更新する必要がある。この表示位置制御も、情報処理装置１０において実行する。

　情報処理装置１０の実行する表示制御によって、仮想オブジェクトであるポイントＡ（ＰＯＩ－Ａ）位置識別マーク１１１の表示位置は、実オブジェクトである撮影画像のチケットセンター画像上に正確に位置するように制御される。
　この表示制御の具体的処理については後述する。

　さらに、もう１つの仮想オブジェクトであるポイントＡ（ＰＯＩ－Ａ）対応登録情報１１２も、実オブジェクトである撮影画像上に重畳表示される。
　ポイントＡ（ＰＯＩ－Ａ）対応登録情報１１２には、登録情報設定ポイントＡに対応するチケットセンターに関する様々な情報が含まれる。図に示すように、チケットセンターのオープン時間、料金等の情報が表示される。これらの情報は、情報提供サーバ５０のデータベースに記録された情報であり、検索サーバ４０の提供するＵＲＬに従って取得される表示制御データに含まれるか、もしくは、その表示制御データに基づく取得情報である。

　図４は、もう１つのポイントＢの情報、すなわち、
　（２）登録情報設定ポイントＢ（ＰＯＩ－Ｂ）１０２の位置情報と登録情報
　この情報を適用した表示画像例を示す図である。
　図４（ａ）は実世界（Ｒｅａｌ　Ｗｏｒｌｄ）の景色であり、図４（ｂ）は、上記一連の処理（Ｓ０１～Ｓ０４）を実行した後に情報処理装置１０の表示部に表示される表示画像である。

　図４（ｂ）表示画像は、撮影画像である実オブジェクト上に、情報提供サーバ５０から取得した表示データである仮想オブジェクトを重畳表示した画像である。
　表示される仮想オブジェクトは以下のデータである。
　（１）ポイントＢ（ＰＯＩ－Ｂ）位置識別マーク１２１、
　（２）ポイントＢ（ＰＯＩ－Ｂ）対応登録情報１２２、
　これらのデータを仮想オブジェクトとして表示している。
　このように、図４（ｂ）に示す表示画像は、撮影画像である実オブジェクト上に、情報提供サーバ５０から取得したデータに基づいて生成した仮想オブジェクトを重畳して表示した画像、いわゆる拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）画像である。

　ポイントＢは、城のエントランス（入り口）であり、実オブジェクトである撮影画像のエントランス位置に、仮想オブジェクトとしてのポイントＢ（ＰＯＩ－Ｂ）位置識別マーク１２１を重畳して表示する。

　このポイントＢ（ＰＯＩ－Ｂ）位置識別マーク１２１の表示位置は、実オブジェクトである撮影画像の城のエントランス画像上に設定する必要がある。この表示位置は、情報提供サーバから取得するデータを適用して情報処理装置１０が決定し、制御を行う。すなわち、表示部に表示される撮影画像（実オブジェクト）の動きに応じて、ポイントＢ（ＰＯＩ－Ｂ）位置識別マーク１２１の表示位置も更新する。

　この情報処理装置１０の実行する表示制御によって、仮想オブジェクトであるポイントＢ（ＰＯＩ－Ｂ）位置識別マーク１２１の表示位置は、実オブジェクトである撮影画像のエントランス画像上に常に設定される。
　この表示制御の具体的処理については後述する。

　さらに、もう１つの仮想オブジェクトであるポイントＢ（ＰＯＩ－Ｂ）対応登録情報１２２も、実オブジェクトである撮影画像上に重畳表示される。
　ポイントＢ（ＰＯＩ－Ｂ）対応登録情報１２２には、登録情報設定ポイントＢに対応する城のエントランスに関する様々な情報が含まれる。図に示すように、エントランスのオープン時間、ガイド端末の貸し出し情報、トイレ位置情報等の情報が表示される。これらの情報は、情報提供サーバ５０のデータベースに記録された情報であり、検索サーバ４０の提供するＵＲＬに従って取得される情報である。

　　［２．通信処理および画像表示処理の詳細について］
　図５は、図１に示した各装置間で実行する通信シーケンスと、情報処理装置（ユーザ端末）１０において実行する拡張現実画像（実オブジェクトと仮想オブジェクトとの重畳画像）の表示処理シーケンスを説明するシーケンス図である。

　図５には、左からビーコン送信装置２０、情報処理装置（ユーザ端末）１０、検索サーバ４０、情報提供サーバ５０を示している。
　以下、各ステップの処理について、順次、説明する。

　　（ステップＳ１０１）
　まず、ステップＳ１０１において、ビーコン送信装置２０はビーコンを出力し、情報処理装置１０がこのビーコンを受信する。前述したように、ビーコンは、ビーコン送信装置２０の識別子（ＩＤ）等を格納したパケットである。

　　（ステップＳ１０２）
　情報処理装置１０は、ビーコン送信装置２０から受信したビーコンを検索サーバ４０に転送する。

　　（ステップＳ１０３）
　検索サーバ４０は、情報処理装置１０から転送されたビーコンを受信し、ビーコンに含まれるビーコン送信装置２０の識別子（ＩＤ）に基づいて、データベース検索を行い、ビーコン送信装置２０の近辺の登録情報を含むデータを取得するためのアクセス情報（ＵＲＬ）を抽出する。

　検索サーバ４０のデータベースに格納されたデータ例を図６に示す。検索サーバ４０は、データベース（記憶部）に、例えば図６に示すようなデータを格納している。
　図６に示すデータは、
　ビーコン送信装置識別子（ＩＤ）、
　ビーコン送信装置近傍施設情報取得用ＵＲＬ
　これらの２つのデータの対応リストによって構成される。

　検索サーバ４０は、情報処理装置１０から転送されたビーコンを受信し、ビーコンに含まれるビーコン送信装置２０の識別子（ＩＤ）に基づいて、例えば図６に示すデータ構成を持つリストを検索する。
　このリスト検索によって、情報処理装置１０から転送されたビーコンに含まれるビーコン送信装置２０の識別子（ＩＤ）に対応付けられたアクセス情報（ＵＲＬ）を取得する。
　このアクセス情報（ＵＲＬ）は、ビーコン送信装置２０の近辺の登録情報を含むデータを取得するためのアクセス情報（ＵＲＬ）である。

　　（ステップＳ１０４）
　次に、検索サーバ４０は、ステップＳ１０４において、ステップＳ１０３の検索処理によって取得したアクセス情報（ＵＲＬ）を情報処理装置１０に送信する。

　　（ステップＳ１０５）
　情報処理装置１０は、検索サーバ４０から受信したアクセス情報（ＵＲＬ）を適用して情報提供サーバ５０から、ビーコン送信装置２０の近辺の施設の位置情報や登録情報を含むデータ（仮想オブジェクト表示制御データ）を取得する。
　情報提供サーバ５０が情報処理装置１０に送信するデータは、情報処理装置１０の表示部に表示された実オブジェクトであるカメラ撮影画像上に重畳表示するための仮想オブジェクトの実態データと、その表示制御情報を含むデータである。このデータを、仮想オブジェクト表示制御データと呼ぶ。

　仮想オブジェクト表示制御データは、具台的には、以下のデータ等によって構成される。
　（１）ＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、
　（２）ＣＳＳ（Ｃａｓｃａｄｉｎｇ　Ｓｔｙｌｅ　Ｓｈｅｅｔ）、
　（３）ＪａｖａＳｃｒｉｐｔ（登録商標）

　ＨＴＭＬは、情報処理装置１０の表示部に表示する仮想オブジェクトの基本構造を示すデータである。ＨＴＭＬデータには様々な種類があるが、例えばＨＴＭＬ５が利用可能である。
　ＣＳＳは、ＨＴＭＬによって規定される仮想オブジェクト構成データの表示形式や色、形などを規定するスタイルシートであり、情報処理装置１０の表示部に表示する仮想オブジェクトのスタイルを規定するデータである。
　ＪａｖａＳｃｒｉｐｔ（登録商標）は、仮想オブジェクトの表示処理、表示更新処理、あるいは仮想オブジェクトの動きや更新処理を規定した表示制御プログラムである。例えばユーザによる表示オブジェクトに対するタッチ、クリックなどのイベント、あるいは所定時間の経過などの様々なコンテキスト（状況）に応じて検出されるイベントをトリガとして、仮想オブジャェクトの表示態様を変更するなど、表示情報に対する様々なアクションなどの表示制御を実行する表示制御プログラムである。

　情報提供サーバ５０は、このように、
　（１）ＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、
　（２）ＣＳＳ（Ｃａｓｃａｄｉｎｇ　Ｓｔｙｌｅ　Ｓｈｅｅｔ）、
　（３）ＪａｖａＳｃｒｉｐｔ（登録商標）
　これらのデータを有する仮想オブジェクト表示制御データを情報処理装置１０に提供する。

　この仮想オブジェクト表示制御データは、１つのＵＲＬによって取得されるデータであり、検索サーバ４０がビーコン送信装置２０のビーコンに含まれるビーコン送信装置識別子（ＩＤ）に基づいて選択されたアクセス情報（ＵＲＬ）によってＨＴＭＬが取得される。さらに、そのＨＴＭＬから参照されるＣＳＳ，ＪａｖａＳｃｉｒｉｐｔが取得可能となる。
　すなわち、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）を構成要素とする仮想オブジェクト表示制御データは、１つの特定のビーコン送信装置２０の近辺の実世界３次元空間の様々な施設に関する位置情報や案内情報を含み、図３、図４を参照して説明したポイント（ＰＯＩ）位置識別マークや、ポイント対応登録情報等の仮想オブジェクトの表示、および表示制御を行うためのデータである。
　このデータの詳細については後段で説明する。

　　（ステップＳ１０６）
　情報処理装置１０は、ステップＳ１０６において、ＵＲＬに基づいて、情報提供サーバ５０から取得したデータ（仮想オブジェクト表示制御データ）に記録された登録情報設定ポイントの位置情報と、カメラ撮影画像を適用して、表示画面上のポイント位置識別マークの表示位置を算出する。

　すなわち、先に図３、図４を参照して説明したように、仮想オブジェクトであるポイント位置識別マークを、実オブジェクトである撮影画像上の登録情報設定ポイントとなるチケットセンターやエントランス等の実オブジェクト表示位置に一致させて表示するための表示位置決定処理を行う。
　この表示位置決定処理には、情報提供サーバ５０から取得したデータ（仮想オブジェクト表示制御データ）に記録された予め撮影済みの基準画像であるアンカーや登録情報設定ポイントとの仮想３次元空間での位置情報や、カメラ撮影画像を適用する。
　この表示位置決定処理の具体的処理については、後述する。

　　（ステップＳ１０７）
　最後に、情報処理装置１０はステップＳ１０７において、ステップＳ１０６で算出した表示位置に、ポイント位置識別マークを表示し、さらに施設ポイント対応登録情報を表示する。
　この表示結果が、例えば図３や図４を参照して説明した（ｂ）表示画像である。

　なお、上述した処理例では、検索サーバ４０は、情報処理装置１０から転送されるビーコンに基づいて、ビーコン装置２０の近傍の情報を取得するためのアクセス情報（ＵＲＬ）を提供するものとして説明したが、ビーコン以外のデータを利用する構成としてもよい。

　例えば、情報処理装置１０が撮影した撮影画像の縮小画像であるサムネイルや画像特徴量データを検索サーバ４０に送信し、検索サーバ４０がサムネイルや画像特徴量データに対応する位置を特定して、その特定位置の近傍情報の表示制御データを取得するためのアクセス情報（ＵＲＬ）を提供する構成としてもよい。
　この場合、検索サーバ４０は、様々なロケーションの撮影画像とアクセス情報の対応リストを記憶部に格納した構成とする。また、撮影映像はロケーションに限定されるものだけでなく、本やポスターなどであってもよい。検索サーバ４０は、情報処理装置１０から受信するデータに基づいてそのデータに一致する画像を含む撮影画像を、記憶部の対応リストから選択して、その画像に対応して設定されたＰＯＩ表示制御データのアクセス情報（ＵＲＬ）を情報処理装置１０に提供する。

　あるいは、様々なロケーションの施設に記録されたマーカーやＱＲコード（登録商標）を情報処理装置１０が読み取り、この読み取りデータを検索サーバ４０に送信し、検索サーバ４０が受信データに基づくデータベース検索を実行して、受信したマーカーやＱＲコード（登録商標）が記録された位置の近傍の情報を取得するためのアクセス情報（ＵＲＬ）を提供する構成としてもよい。
　この場合、検索サーバ４０は、様々なロケーションに記録されたマーカーやＱＲコード（登録商標）とアクセス情報の対応リストを記憶部に格納し、情報処理装置１０から受信するマーカーやＱＲコード（登録商標）に基づくデータ検索を実行して、マーカーやＱＲコード（登録商標）に対応して記録されたアクセス情報（ＵＲＬ）を情報処理装置１０に提供する。

　　［３．登録情報設定ポイント（ＰＯＩ）位置識別マークの表示位置を決定する処理について］
　次に、登録情報設定ポイント（ＰＯＩ）位置識別マークの表示位置を決定する処理について説明する。
　図５に示すシーケンス図を参照して説明したように、情報処理装置１０は、検索サーバから通知されたアクセス情報（ＵＲＬ）に基づいて情報提供サーバ５０から仮想オブジェクト表示制御データを取得する。さらに、この仮想オブジェクト表示制御データと、カメラ撮影画像を適用して、表示画面上のポイント位置識別マークの表示位置を算出する。

　以下、情報処理装置１０が実行するポイント位置識別マークの表示位置決定処理について説明する。
　図７は、検索サーバから通知されたアクセス情報（ＵＲＬ）に基づいて情報提供サーバ５０から取得されるデータ（仮想オブジェクト表示制御データ）に含まれるＨＴＭＬデータの一部を示す図である。

　図７に示すＨＴＭＬデータは、情報処理装置１０が実行するポイント位置識別マークの表示位置決定処理に適用するデータを含む。
　図７に示すデータは、先に図３、図４を参照して説明した以下のポイント位置識別マークの表示位置を決定するために利用されるＨＴＭＬデータの一例である。
　ポイントＡ（ＰＯＩ－Ａ）位置識別マーク１１１、
　ポイントＢ（ＰＯＩ－Ｂ）位置識別マーク１２１、

　図７に示すＨＴＭＬデータには予め撮影済みの基準画像と、該基準画像に含まれる実オブジェクトと登録情報設定ポイントとの相対位置情報が記録されている。
　図７に示すように、図７のＨＴＭＬデータには以下のデータが記録されている。
　（１）第１基準実オブジェクト情報
　（２）第２基準実オブジェクト情報
　（３）ポイントＡ対応情報
　（４）ポイントＢ対応情報

　（１），（２）に示す基準実オブジェクト情報について、図８を参照して説明する。
　基準実オブジェクトとは、実世界に存在する実オブジェクトであり、各登録情報設定ポイントの近くにある実オブジェクトである。この基準実オブジェクトは、登録情報設定ポイントの位置を算出するための基準位置となるオブジェクトでありアンカー（ａｎｃｈｏｒ）、またはアンカーオブジェクトと呼ばれる。基準オブジェクトを撮影した画像は、アンカー画像と呼ばれる。アンカー画像は位置の算出基準に利用されるだけなのでＰＯＩと関連しなくても良いが、アンカー画像はＰＯＩを含む場合もある。基準位置の検出精度を上げるには、実空間の特徴的なオブジェクトの画像が利用されるのが望ましい。また、実空間の様々な位置、方角の複数のアンカー画像を用いることで、さらに、位置基準の検出精度を上げることができ、ユーザ端末が移動、回転した場合でも位置検出が可能となる。

　図８を参照して基準実オブジェクトの例について説明する。
　図８には、実世界（Ｒｅａｌ　Ｗｏｒｌｄ）に存在する城等の実オブジェクトを示している。
　図に示す座標軸（ＸＹＺ）は、実世界の実オブジェクトの３次元位置での位置関係を規定する仮想３次元空間座標の座標軸である。ＧＰＳのような絶対的な位置座標ではなく、仮想３次元空間座標の原点の位置は任意なローカル座標である。

　図８に示すように、第１基準実オブジェクト２０１は、城の上層部の領域からなる実オブジェクトである。
　また、第２基準実オブジェクト２０２は、城のエントランスを含む領域からなる実オブジェクトである。
　これらの基準実オブジェクトは、実世界の基準実オブジェクトが仮想３次元空間座標の位置に対応するかを特定し、且つ、ユーザ端末が仮想３次元空間座標を特定し、仮想３次元空間座標でのポイント位置識別マークの表示位置を決定するため利用されるオブジェクトである。

　この基準実オブジェクトに関する情報は、情報提供サーバ５０の提供するＨＴＭＬデータに予め登録されている。具体的には、基準実オブジェクト情報には以下の情報が含まれる。
　（１）基準画像＝基準実オブジェクトを撮影した画像（アンカー画像）（ａｎｃｈｏｒ．ｐｎｇ）
　（２）基準画像に含まれる基準実オブジェクトの位置情報（ｐｏｓｉｔｉｏｎ：３次元実空間内の基準実オブジェクトの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））
　（３）基準画像に含まれる基準実オブジェクトの方向情報（ｒｏｔａｔｉｏｎ：基準実オブジェクトの姿勢を示す情報）であり、方向は一般的にはオイラー角で表わすことができるが、ここでは３Ｄグラフィックスで良く用いられるクオータニオン（四元数）（ｘ，ｙ，ｚ；ｗ）データで表す。
　（４）基準画像の領域（ディメンション）情報（ｄｉｍｅｎｓｉｏｎ：横の長さと縦の長さ）
　（５）基準画像の仮想３次元空間での座標単位との実空間３Ｄ座標単位での変換（ｕｎｉｔ：　メータやキロメータ）。

　（１）基準画像＝基準実オブジェクトを撮影した画像（ａｎｃｈｏｒ．ｐｎｇ）は、例えば、図８（ｂ）に示す画像２０１ｐ，２０２ｐである。
　（２）基準画像に含まれる基準実オブジェクトの位置情報（３次元実空間内の基準実オブジェクトの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））に用いる座標は、例えばワールド座標系の座標であり、基準実オブジェクトの位置を示す座標と、ポイント対応情報の位置を示す座標は、同じ座標空間を用いた座標とする。
　（３）基準画像に含まれる基準実オブジェクトの方向情報についても、基準実オブジェクトとポイント対応情報各々の方向情報については、同じ基準点からの方向情報とする。

　図７に示すＨＴＭＬデータ中、第１基準実オブジェクト２０１に関する基準実オブジェクト情報（第１アンカー情報）は、以下のデータである。
　＜ｓｐａｎ　ｔｙｐｅｏｆ＝'ａｎｃｈｏｒ'＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｕｎｉｔ'　ｃｏｎｔｅｎｔ＝'１ｍ'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｐｏｓｉｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'１５２，４４，３７'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｒｏｔａｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'６３，４４，９９，３．３'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｄｉｍｅｎｓｉｏｎ'　ｃｏｎｔｅｎｔ＝'１３，７'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｓｒｃ'　ｃｏｎｔｅｎｔ＝'ａｎｃｈｏｒ１．ｐｎｇ'／＞
　＜／ｓｐａｎ＞

　上記データの意味は、以下の通りである。
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｕｎｉｔ'　ｃｏｎｔｅｎｔ＝'１ｍ'／＞
　これは、データ単位を示し、以下に示す数値の単位が１ｍ（メートル）であることを示す。

　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｐｏｓｉｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'１５２，４４，３７'／＞
　これは、上述した（２）基準画像に含まれる基準実オブジェクトの位置情報（３次元実空間内の基準実オブジェクトの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））である。
　（Ｘ，Ｙ，Ｚ）＝（１５２，４４，３７）であることを示している。これは、例えば、基準実オブジェクトの中心位置の座標に相当する。

　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｒｏｔａｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'６３，４４，９９，３．３'／＞
　これは、上述した（３）基準画像に含まれる基準実オブジェクトの方向情報クオータニオン（ｘ，ｙ，ｚ：ｗ）である。（ｘ，ｙ，ｚ：ｗ）＝（６３，４４，９９，３．３）である。

　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｄｉｍｅｎｓｉｏｎ'　ｃｏｎｔｅｎｔ＝'１３，７'／＞
　これは、上述した（４）基準画像の領域（ディメンション）情報（横の長さと縦の長さ）である。
　具体的には、第１基準画像が横１３ｍ、縦７ｍの実世界の領域に対応する画像であることを示す。

　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｓｒｃ'　ｃｏｎｔｅｎｔ＝'ａｎｃｈｏｒ１．ｐｎｇ'／＞
　これは、上述した（１）基準画像＝基準実オブジェクトを撮影したアンカー画像（ａｎｃｈｏｒ１．ｐｎｇ）である。
　例えば、図８（ｂ）に示す画像２０１ｐである。

　図７に示すＨＴＭＬデータには、さらに、第２基準実オブジェクト２０２に関する基準実オブジェクト情報（第２アンカー情報）として、以下のデータが記録されている。
　＜ｓｐａｎ　ｔｙｐｅｏｆ＝'ａｎｃｈｏｒ'＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｕｎｉｔ'　ｃｏｎｔｅｎｔ＝'１ｍ'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｐｏｓｉｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'１７３，４３，４４'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｒｏｔａｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'７０，８８，３４，４．３'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｄｉｍｅｎｓｉｏｎ'　ｃｏｎｔｅｎｔ＝'１３，７'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｓｒｃ'　ｃｏｎｔｅｎｔ＝'ａｎｃｈｏｒ２．ｐｎｇ'／＞
　＜／ｓｐａｎ＞

　各データの意味は、第１基準実オブジェクト２０１に関する基準実オブジェクト情報（第１アンカー情報）において説明した意味と同様である。

　なお、図７に示す例では、基準実オブジェクト情報（アンカー情報）を２つ有する設定としているが、これは一例であり、ＨＴＭＬデータには任意の数の基準実オブジェクト情報（アンカー情報）が記録可能である。

　さらに、図７に示すＨＴＭＬデータには、登録情報設定ポイントに関する情報、すなわち、図８に示す、以下の登録情報設定ポイント、
　（ａ）登録情報設定ポイントＡ（ＰＯＩ－Ａ）２１１、
　（ｂ）登録情報設定ポイントＢ（ＰＯＩ－Ｂ）２１２、
　これらの登録情報設定ポイントに関する情報が記録されている。

　具体的には、以下のポイント対応情報が登録されている。
　（１）登録情報設定ポイントに対応付けらた登録情報
　（２）登録情報設定ポイントの位置情報（３次元実空間内の登録情報設定ポイントの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））
　（３）登録情報設定ポイントの方向情報（特定の基準点、例えば基準画像を撮影したカメラからの登録情報設定ポイントの方向を示す情報）

　（１）登録情報設定ポイントに対応付けらた登録情報とは、先に図３、図４を参照して説明したポイント対応登録情報１１２，１２２等の情報である。

　図７に示すＨＴＭＬデータ中、例えば、登録情報設定ポイントＡ（ＰＯＩ－Ａ）２１１に関するポイント対応情報は、以下のデータである。
　＜ｄｉｖ　ｔｙｐｅｏｆ＝'ｐｏｉ'　ｒｅｓｏｕｒｃｅ＝'＃ｐｏｉ－ａ'＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｕｎｉｔ'　ｃｏｎｔｅｎｔ＝'１ｍ'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｐｏｓｉｔｉｏｎ'　ｃｏｎｔｅｎｔ＝"１６３，４３，３２'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｒｏｔａｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'３４，７３，４５，４．４３'／＞
　　＜！-　ｈｔｍｌ　ｅｌｅｍｅｎｔｓ　ｏｆ　ｐｏｉ－ａ　－－－＞
　＜／ｄｉｖ＞

　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｐｏｓｉｔｉｏｎ'　ｃｏｎｔｅｎｔ＝"１６３，４３，３２'／＞
　これは、上述した（２）登録情報設定ポイントの位置情報（３次元実空間内の登録情報設定ポイントの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））である。
　（Ｘ，Ｙ，Ｚ）＝（１６３，４３，３２）であることを示している。これは、登録情報設定ポイントの３次元実空間の位置座標に相当する。
　なお、前述したように、ここで用いる座標は例えばワールド座標系における座標であり、基準実オブジェクトの位置を示す座標と、ポイント対応情報の位置を示す座標は、同じ座標空間を用いた座標である。

　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｒｏｔａｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'３４，７３，４５，４．４３'／＞
　これは、上述した（３）登録情報設定ポイントの方向情報クオータニオン（ｘ，ｙ，ｚ：ｗ）である。（ｘ，ｙ，ｚ：ｗ）＝（３４，７３，４５，４．４３）である。
　なお、前述したように、基準実オブジェクトとポイント対応情報各々の方向情報は、同じ基準点からの方向情報である。

　　＜！-　ｈｔｍｌ　ｅｌｅｍｅｎｔｓ　ｏｆ　ｐｏｉ－ａ　－－－＞
　これは、上述した（１）登録情報設定ポイントに対応付けらた登録情報であり、先に図３、図４を参照して説明したポイント対応登録情報１１２，１２２等の情報である。

　図７に示すＨＴＭＬデータには、さらに、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）２１２に関するポイント対応情報として、以下のデータが記録されている。
　＜ｄｉｖ　ｔｙｐｅｏｆ＝'ｐｏｉ'　ｒｅｓｏｕｒｃｅ＝'＃ｐｏｉ－ｂ'＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｕｎｉｔ'　ｃｏｎｔｅｎｔ＝'１ｍ'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｐｏｓｉｔｉｏｎ'　ｃｏｎｔｅｎｔ＝"１６３，３９，２８'／＞
　　＜ｓｐａｎ　ｐｒｏｐｅｒｔｙ＝'ｒｏｔａｔｉｏｎ'　ｃｏｎｔｅｎｔ＝'３４，７０，４１，４．５３'／＞
　　＜！-　ｈｔｍｌ　ｅｌｅｍｅｎｔｓ　ｏｆ　ｐｏｉ－ａ　－－－＞
　＜／ｄｉｖ＞

　各データの意味は、登録情報設定ポイントＡ（ＰＯＩ－Ａ）２１１に関するポイント対応情報において説明した意味と同様である。

　なお、図７に示す例では、登録情報設定ポイント（ＰＯＩ）対応情報を２つ有する設定としているが、これは一例であり、ＨＴＭＬデータには任意の数の登録情報設定ポイント（ＰＯＩ）対応情報を記録することができる。

　このように、検索サーバから通知されたアクセス情報（ＵＲＬ）に基づいて情報提供サーバ５０から取得されるＨＴＭＬデータ（仮想オブジェクト表示制御データ）は、予め撮影済みの基準画像と、該基準画像に含まれるアンカーオブジェクトと登録情報設定ポイントの仮想３次元空間での位置情報を記録している。
　具体的には、以下のデータを含む。
　基準実オブジェクトを撮影した基準画像データ、
　基準画像データに含まれる基準実オブジェクトの位置、方向等の情報を含む３次元位置姿勢情報、
　登録情報設定ポイントの位置、方向等の情報を含む３次元位置姿勢情報、
　これらの情報を記録している。
　これらの情報は、情報処理装置１０が実行するポイント位置識別マークの表示位置決定処理に適用される。
　図７に示す例では、ＨＴＭＬにアンカーオブジェクト情報と登録設定ポイントの情報を記録しているが、ＨＴＭＬの仮想オブジェクトと登録設定ポイント情報を対応づけてＪａｖａＳｃｒｉｐｔ（登録商標）に記録してもよい。もしくは、別データとしてＪａｖａＳｃｒｉｐｔ（登録商標）によって情報提供サーバ５０から取得する設定としてもよい。従って、アンカーオブジェクト情報と登録ポイント情報をＨＴＭＬに記録することは必須ではない。

　情報処理装置（ユーザ端末）１０のデータ処理部の実行する処理は例えば以下の処理手順となる。
　情報処理装置（ユーザ端末）１０のデータ処理部は、ＨＴＭＬデータ（仮想オブジェクト表示制御データ）、すなわち、予め撮影済みの基準画像と、該基準画像に含まれる実オブジェクトと登録情報設定ポイントの仮想３Ｄ空間座標における位置情報を記録したＨＴＭＬデータを情報提供サーバ５０から入力する。
　次に、表示部に表示された撮影画像から、基準画像に含まれる実オブジェクトと同じ実オブジェクト（アンカー）を検出する。検出した実オブジェクト（アンカー）の３次元位置情報と、仮想オブジェクト表示制御データに記録された相対位置情報を適用して、ユーザ端末の位置情報を特定する。なお、撮影画像と基準画像からユーザ端末の位置を特定するのは３次元位置姿勢情報解析処理が利用されこの処理については後述する。さらに、ユーザ端末を原点とした座標系おける各登録情報設定ポイントの３次元位置を算出する。
　算出位置情報に基づいて表示部に表示された撮影画像上の登録情報設定ポイント表示位置を算出し、算出表示位置に仮想オブジェクトであるポイント位置識別マークを重畳表示する。仮想オブジェクトを重畳表示するにあたり、ＣＳＳの３次元ＴＲＡＮＳＦＯＲＭＳ機能を利用して３次元表示させることも可能である。
　このような手順に従って撮影画像上の登録情報設定ポイントに一致させてポイント位置識別マークを表示する。
　なお、これらの処理手順については、情報処理装置１０が、情報提供サーバ５０から取得するＪａｖａＳｃｒｉｐｔ（登録商標）に記録されている。

　次に、図７に示すＨＴＭＬデータとともに、情報処理装置１０が、情報提供サーバ５０から取得する仮想オブジェクト表示制御データの構成要素の１つであるＪａｖａＳｃｒｉｐｔ（登録商標）データの構成例について、図９を参照して説明する。ＪａｖａＳｃｒｉｐｔ（登録商標）は、仮想オブジェクトの表示制御プログラムとして利用される。
　図９は、検索サーバから通知されたアクセス情報（ＵＲＬ）に基づいて情報提供サーバ５０から取得されるＪａｖａＳｃｒｉｐｔ（登録商標）データの一部である。

　図９に示すＪａｖａＳｃｒｉｐｔ（登録商標）は、情報処理装置１０において、ポイント位置識別マークの表示位置を決定するための処理手順を記録した処理プログラムに相当する。
　情報処理装置１０のデータ処理部が、図９に示すＪａｖａＳｃｒｉｐｔ（登録商標）に基づいて実行する処理について、図９に示す処理ステップ（Ｓ２０１～Ｓ２０９）に従って、順次、説明する。

　　（ステップＳ２０１）
　まず、情報処理装置１０のデータ処理部は、情報処理装置のカメラによって撮影している撮影画像入力ストリームを入力する。
　この撮影画像は、カメラ部を介して現在入力されている画像データである。この撮影画像は表示部に継続的に表示される。なお、ここで説明する撮影画像は、カメラ機能によって撮り込まれている画像を意味し、記憶部に対する記録処理は実行してもしなくてもよい。

　　（ステップＳ２０２）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０２において、第１基準実オブジェクト情報（第１アンカー情報）を入力する。
　この第１基準実オブジェクト情報（第１アンカー情報）は、先に図７を参照して説明したＨＴＭＬデータに記録された第１基準実オブジェクト情報（第１アンカー情報）である。

　すなわち、第１基準実オブジェクト（第１アンカー）に関する以下の情報である。
　（１）基準画像＝基準実オブジェクトを撮影した画像（ａｎｃｈｏｒ１．ｐｎｇ）
　（２）基準画像に含まれる基準実オブジェクトの位置情報（３次元実空間内の基準実オブジェクトの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））
　（３）基準画像に含まれる基準実オブジェクトの方向情報を表したクオータニオン（ｘ，ｙ，ｚ：ｗ）である。
　（４）基準画像の領域（ディメンション）情報（横の長さと縦の長さ）
　情報処理装置１０のデータ処理部は、ＨＴＭＬデータからこれらの第１基準実オブジェクト情報（第１アンカー情報）を読み込む。

　　（ステップＳ２０３）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０３において、第２基準実オブジェクト情報（第２アンカー情報）を入力する。
　この第２基準実オブジェクト情報（第２アンカー情報）も、先に図７を参照して説明したＨＴＭＬデータに記録された第２基準実オブジェクト情報（第２アンカー情報）である。

　なお、図９に示す例では、基準実オブジェクト情報（アンカー情報）を２つ読み込む設定としているが、これは一例であり、ＨＴＭＬデータに記録された全ての基準実オブジェクト情報（アンカー情報）の読み取りを行う設定とする。

　　（ステップＳ２０４）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０４において、登録情報設定ポイントＡ（ＰＯＩ－Ａ）対応情報を入力する。
　この登録情報設定ポイントＡ（ＰＯＩ－Ａ）対応情報は、先に図７を参照して説明したＨＴＭＬデータに記録されたポイントＡ対応情報である。

　すなわち、登録情報設定ポイントＡ（ＰＯＩ－Ａ）に関する以下の情報である。
　（１）登録情報設定ポイントに対応付けらた登録情報
　（２）登録情報設定ポイントの位置情報（３次元実空間内の登録情報設定ポイントの位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））
　（３）登録情報設定ポイントの方向情報を示したクオータニオン（ｘ，ｙ，ｚ：ｗ）である。
　情報処理装置１０のデータ処理部は、ＨＴＭＬデータからこれらのポイントＡ（ＰＯＩ－Ａ）対応情報を読み込む。

　　（ステップＳ２０５）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０５において、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）対応情報を入力する。
　この登録情報設定ポイントＢ（ＰＯＩ－Ｂ）対応情報は、先に図７を参照して説明したＨＴＭＬデータに記録されたポイントＢ対応情報である。

　なお、図９に示す例では、登録情報設定ポイント（ＰＯＩ）対応情報を２つ読み込む設定としているが、これは一例であり、ＨＴＭＬデータに記録された全ての登録情報設定ポイント（ＰＯＩ）対応情報の読み取りを行う設定とする。

　　（ステップＳ２０６）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０６において、基準画像からユーザ端末のカメラ位置を測位する処理（３次元位置解析処理）によって算出した結果をＪａｖａＳｃｒｉｐｔ（登録商標）の関数（イベント処理関数）として登録する。

　このステップＳ２０６が実行される前に行われる測位処理は、ステップＳ２０２～Ｓ２０５において取得した下記情報、すなわち、
　（１）基準実オブジェクトを撮影した基準画像データと、基準画像データに含まれる基準実オブジェクトの位置、方向等の情報を含む３次元位置姿勢情報、
　（２）登録情報設定ポイントの位置、方向等の情報を含む３次元位置姿勢情報、
　これらの情報と、
　ステップＳ２０１において入力する、
　（３）撮影画像
　これらのデータを用いて実行される。

　なお、測位処理（３次元位置姿勢情報解析処理）は、例えば、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ　ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　ｍａｐｐｉｎｇ）を適用した処理として行われる。ＳＬＡＭは、カメラの撮影画像に含まれる様々な実オブジェクトから特徴点を選択し、選択した特徴点の位置とカメラの位置姿勢を併せて検出する処理である。なお、ＳＬＡＭについては、本出願人による先行特許出願である特許５３８０７８９号）に記載されている。
　情報処理装置１０のデータ処理部は、ＳＬＡＭを適用した処理に際して、情報処理装置の表示部（ディスプレイ）とカメラ各々の位置（ｐｏｓｉｔｉｏｎ）、方向（ｒｏｔａｔｉｏｎ）、領域（ｄｉｍｅｎｔｉｏｎ）など、必要なパラメータを入力して利用する。

　ＳＬＡＭを適用した３次元位置姿勢解析処理の概要は以下の通りである。
　まず、カメラ撮影画像から、基準実オブジェクトに一致する実オブジェクトを検出する。これは、ＨＴＭＬデータから取得した基準実オブジェクトを撮影した基準画像データと撮影画像との特徴点比較処理（特徴点マッチング）によって実行される。

　次に、基準画像に含まれるオブジェクトと、カメラ撮影画像に含まれるオブジェクトの差分に基づいて、カメラ撮影画像から検出した撮影オブジェクトの３次元位置姿勢を解析する。
　基準画像を撮影したカメラの位置と、現在の画像撮影位置（情報処理装置（ユーザ端末のカメラ位置）とは一致せず、基準画像に含まれるオブジェクトと、カメラ撮影画像に含まれるオブジェクトでは方向や大きさが異なるものとなる。
　これらの差分を解析して、カメラ撮影画像から検出した基準オブジェクトに対応する撮影オブジェクトを基準として実空間上でのカメラの３次元位置姿勢を解析する。
　なお、これらの解析処理に際しては、情報処理装置のカメラのレンズ倍率、位置や方向情報、アングル情報などのカメラ設定情報を用いる。

　次に、ＨＴＭＬデータに記録された基準実オブジェクトの位置、方向、大きさ等の情報と実空間上でのカメラの３次元位置姿勢情報、撮影画像に含まれる登録情報設定ポイント（ＰＯＩ）の仮想３次元空間でのカメラの位置、方向を算出する。

　なお、上記処理で算出されるカメラの位置は例えばワールド座標系における３次元位置ｃａｍａｒａＰｏｓｉｔｉｏｎの座標（Ｘｗ，Ｙｗ，Ｚｗ）となる。また、カメラの方向を示すｃａｍａｒａＲｏｔａｔｉｏｎおよびカメラの画角を示すＣａｍｅｒａＶｉｅｗＡｎｇｌｅはクォータリオンにて示される。

　　（ステップＳ２０７）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０７において、登録情報設定ポイントＡ（ＰＯＩ－Ａ）と、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）各々の３次元位置座標をカメラ座標に変換する。
　カメラ座標は、カメラ視点（撮像部）をｃａｍｅｒａＰｏｓｉｔｉｏｎ，　ｃａｍｅｒａＲｏｔａｔｉｏｎを原点としてカメラの向きに応じてＸＹＺ座標軸を設定した座標系である。

　ステップＳ２０７では、Ｓ２０６の３次元測位で得られたワールド座標系のカメラの位置、向きから、ＨＴＭＬデータに記録された登録情報設定ポイントＡ（ＰＯＩ－Ａ）と、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）各々のワールド座標系の座標（Ｘｗ，Ｙｗ，Ｚｗ）をカメラ座標系の座標（Ｘｃ，Ｙｃ，Ｚｃ）に変換する。

　　（ステップＳ２０８）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０８において、登録情報設定ポイントＡ（ＰＯＩ－Ａ）と、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）各々のカメラ座標を表示部（ディスプレイ）座標に変換する。

　表示部座標は、例えば表示部の左上隅を原点として、右向きにＸ軸、左下にＹ軸を設定した座標系である。この処理においてカメラの視界から外れた位置になる登録設定ポイントは表示以下の表示の処理では使用されない。
　ステップＳ２０８では、ステップＳ２０７で算出した登録情報設定ポイントＡ（ＰＯＩ－Ａ）と、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）各々のカメラ座標系の座標（Ｘｃ，Ｙｃ，Ｚｃ）を表示部座標（Ｘｄ，Ｙｄ）に変換する。

　なお、３次元画像表示を実行する場合は、左眼用表示部と、右眼用表示部各々に対する表示部座標を算出する。すなわち、左眼用表示部対応の表示部座標（Ｘｄｌ，Ｙｄｌ）と、右眼用表示部に対する表示部座標（Ｘｄｒ，Ｙｄｒ）である。
　なお、この処理に際しては、カメラ座標系におけるＺ軸（距離）の値に応じて、左眼用画像と右眼用画像に視差を持つ画像を設定することが必要であり、水平方向の座標、例えば、Ｘｄｌ，Ｘｄｒの座標値を視差に応じた差分を設定する。
　なお、これらの処理は、従来からの３次元画像の生成処理アルゴリズムに従って実行される。

　　（ステップＳ２０９）
　次に、情報処理装置１０のデータ処理部は、ステップＳ２０９において、登録情報設定ポイントＡ（ＰＯＩ－Ａ）の表示部（ディスプレイ）座標位置に、ポイントＡ（ＰＯＩ－Ａ）位置識別マークを表示し、登録情報設定ポイントＢ（ＰＯＩ－Ｂ）の表示部（ディスプレイ）座標位置に、ポイントＢ（ＰＯＩ－Ｂ）位置識別マークを表示しする。

　これらのポイント（ＰＯＩ）位置識別マークは、先に図３、図４を参照して説明した表示画像に表示されるポイント（ＰＯＩ）位置識別マークである。

　このように、情報処理装置１０は、検索サーバから通知されたアクセス情報（ＵＲＬ）に基づいて情報提供サーバ５０から取得するＨＴＭＬデータ、およびＪａｖａＳｃｒｉｐｔ（登録商標）データを利用して、３次元測位処理によりカメラの位置、方向を特定し、その結果を基に撮影画像に含まれる登録情報設定ポイント（ＰＯＩ）の表示部（ディスプレイ）における座標位置を算出して、その座標位置にポイント（ＰＯＩ）位置識別マークを表示する。

　さらに、ポイント（ＰＯＩ）位置識別マークを表示した登録情報設定ポイントに関する登録情報については、ポイント（ＰＯＩ）位置識別マークの表示位置の近傍に表示する。
　登録情報の表示位置や、登録情報およびポイント（ＰＯＩ）位置識別マークの表示態様、例えば、色、文字、角度等は、情報提供サーバ５０からＨＴＭＬ、ＪａｖａＳｃｒｉｐｔ（登録商標）とともに受領するスタイルシートであるＣＳＳの規定に従って決定することができる。

　　［４．情報処理装置の実行する各処理のシーケンスについて］
　次に、情報処理装置（ユーザ端末）１０の実行する各処理のシーケンスについて図１０以下に示すフローチャートを参照して説明する。
　情報処理装置１０の実行する以下の各処理について、順次、説明する。
　（１）仮想オブジェクト表示制御データの取得と仮想オブジェクト表示処理、ユーザのタッチ等のイベント処理（図１０～図１１）
　（２）３次元測位処理ための設定（図１２）
　（３）３次元測位の結果によるイベント検出に基づく、仮想オブジェクト表示処理（図１３）
　（４）基準アンカーオブジェクトからの３次元測位処理、並びに測位結果のイベント通知処理（図１４～図１５）

　なお、これらの処理は、いずれも情報処理装置１０のデータ処理部において実行される。情報処理装置１０の記憶部に格納されたプログラムに従って、プログラム実行機能を有するＣＰＵを備えたデータ処理部において実行される。
　なお、情報処理装置１０の記憶部に格納されたプログラムの一部には、情報提供サーバ５０から受信したプログラム、例えばＪａｖａＳｃｒｉｐｔ（登録商標）が含まれる。

　　［４－１．仮想オブジェクト表示制御データの取得と仮想オブジェクト表示処理］
　まず、図１０～図１１に示すフローチャートを参照して、仮想オブジェクト表示制御データの取得と仮想オブジェクト表示処理のシーケンスについて説明する。
　以下、図１０、図１１に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ３０１）
　まず、情報処理装置は、ステップＳ３０１において、ビーコン送信装置からのビーコンが受信されたか否かのビーコン検出を行う。
　ビーコンが検出されると、ステップＳ３０２に進む。

　　（ステップＳ３０２）
　ビーコンが検出されると、情報処理装置は、ステップＳ３０２において、検索サーバに対して、ビーコン送信装置に対応付けられた仮想オブジェクト表示制御データの取得用アドレス（ＵＲＬ）を要求する。
　情報処理装置は、この要求処理に際して、ビーコンに含まれるビーコンＩＤと、端末のサポートする３次元測位方法（Ｌｏｃａｌｉｚａｔｉｏｎ方法）の識別情報（ＩＤ）を検索サーバに送信する。

　　（ステップＳ３０３）
　次に、情報処理装置は、ステップＳ３０３において、検索サーバから、ビーコン送信装置対応の仮想オブジェクト表示制御データ取得用アドレス（ＵＲＬ）を受信する。

　　（ステップＳ３０４）
　次に、情報処理装置は、ステップＳ３０４において、検索サーバから受信したビーコン送信装置対応の仮想オブジェクト表示制御データ取得用アドレス（ＵＲＬ）を表示部に表示する。検索サーバは、ＵＲＬ以外にも表示制御データを表すタイトルなどの属性情報を送信し、情報処理装置はＵＲＬの代わりにタイトルなどユーザが理解しやすい情報を表示部に表示してもよい。

　　（ステップＳ３０５）
　次に、情報処理装置は、ステップＳ３０５において、表示部に表示された仮想オブジェクト表示制御データ取得用アドレス（ＵＲＬ）ならびにタイトルなどに属性表示に対するユーザ表示指示を行なったかを否かを判定する。
　検出された場合は、ステップＳ３０６に進む。検出されない場合はステップＳ３０１に戻る。

　　（ステップＳ３０６）
　次に、情報処理装置は、ステップＳ３０６において、Ｗｅｂブラウザを起動し、ユーザによって指定ＵＲＬに従ってアクセスされる仮想オブジェクト表示制御データを情報提供サーバから取得する。

　なお、前述したように、情報提供サーバから取得する仮想オブジェクト表示制御データは、具台的には、以下のデータ等によって構成される。
　（１）ＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、
　（２）ＣＳＳ（Ｃａｓｃａｄｉｎｇ　Ｓｔｙｌｅ　Ｓｈｅｅｔ）、
　（３）ＪａｖａＳｃｒｉｐｔ（登録商標）

　ＨＴＭＬは、情報処理装置の表示部に表示する仮想オブジェクトの基本構造を示すデータである、例えばＨＴＭＬ５を適用する。
　ＣＳＳは、ＨＴＭＬによって規定される仮想オブジェクト構成データの表示形式や色、形などを規定するスタイルシートであり、情報処理装置の表示部に表示する仮想オブジェクトのスタイルを規定するデータである。
　ＪａｖａＳｃｒｉｐｔ（登録商標）は、仮想オブジェクトの表示処理、表示更新処理、あるいは仮想オブジェクトの動きや更新処理を規定する表示制御プログラムであり、例えばユーザによる表示オブジェクトに対するタッチ、クリックなどのイベント、あるいは所定時間の経過などの様々なイベントをトリガとして、仮想オブジャェクトの表示態様を変更するなどの様々なアクションの制御を実行する。

　この仮想オブジェクト表示制御データは、１つのＵＲＬによって取得されるデータであり、検索サーバがビーコン送信装置のビーコンに含まれるビーコン送信装置識別子（ＩＤ）に基づいて選択されたアクセス情報（ＵＲＬ）によって取得可能となる。
　すなわち、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ（登録商標）を構成要素とする仮想オブジェクト表示制御データは、１つの特定のビーコン送信装置の近辺の様々な施設に関する位置情報や案内情報を含み、図３、図４を参照して説明したポイント（ＰＯＩ）位置識別マークや、ポイント対応登録情報等の仮想オブジェクトの表示、および表示制御を行うためのデータである。

　　（ステップＳ３０７）
　次に、情報処理装置は、ステップＳ３０７において、情報提供サーバから取得した仮想オブジェクト表示制御データを利用して、仮想オブジェクトの表示位置や表示態様を決定して表示部に表示する。なお。この処理には、例えば、Ｗｅｂレンダリングプログラムと、Ｗｅｂページ表示御プログラム（ＪａｖａＳｃｒｉｐｔ（登録商標））が使用される。

　なお、表示部に表示する仮想オブジェクトは、例えば先に図３、図４を参照して説明した登録情報設定ポイント（ＰＯＩ）位置識別マークや、登録情報設定ポイント（ＰＯＩ）に対応付けられた登録情報である。
　これらの仮想オブジェクトは、情報提供サーバから取得した仮想オブジェクト表示制御データに含まれるＨＴＭＬデータに基本情報が記録されている。これらの仮想オブジェクトの表示態様は、同様に情報提供サーバから取得した仮想オブジェクト表示制御データに含まれるＣＳＳに従って設定することがきる。

　　（ステップＳ３０８）
　次に、情報処理装置は、ステップＳ３０８において、表示部に表示された仮想オブジェクトの表示更新を行うトリガとなるイベントの検出有無を判定する。
　この仮想オブジェクトの表示更新を行うトリガとなるイベントとしては、例えばユーザによる表示部のタッチ処理や、仮想オブジェクトの表示開始から所定時間の経過、あるいは、表示画面の移動など、様々な種類のイベントがある。
　どのようなイベントの検出に基づいて表示更新を実行するかについては、情報提供サーバの提供するＪａｖａＳｃｒｉｐｔ（登録商標）に記述され、この記述に従って実行する。
　なお、情報提供サーバの提供するＪａｖａＳｃｒｉｐｔ（登録商標）のみならず、情報処理装置が保持する表示制御プログラムに従ってイベント検出を実行して、検出イベントに応じて表示更新を実行する構成としてもよい。

　ステップＳ３０８において、表示部に表示された仮想オブジェクトの表示更新を行うトリガとなるイベントが検出された場合は、ステップＳ３０９に進む。

　　（ステップＳ３０９）
　次に、情報処理装置は、ステップＳ３０９において、Ｗｅｂレンダリングプログラムと、Ｗｅｂページ表示制御プログラム（ＪａｖａＳｃｒｉｐｔ（登録商標）等）に基づいて、イベント対応の処理として表示データ（仮想オブジェクト）の更新を実行する。

　　［４－２．測位処理アンカー情報設定処理］
　次に、図１２に示すフローチャートを参照して、測位処理のアンカー情報設定処理のシーケンスについて説明する。図１２に示すフローチャートはＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムによる処理であり、例えば、図９に示すＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムのステップＳ２０１からＳ２０６において実行される。図１２におけるオブジェクトとはＪａｖａＳｃｒｉｐｔ（登録商標）で処理されるオブジェクトのことを示す。
　以下、図１２に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ４０１）
　まず、情報処理装置は、ステップＳ４０１において、情報提供サーバから受信したＨＴＭＬデータに記述された基準画像を含むアンカーオブジェクトを取得する。ＨＴＭＬデータはＤＯＭ（ドキュメントオブジェクトモデル）オブジェクトとしてＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムから取得できる。

　先に図７を参照して説明したように、ＨＴＭＬデータに記述されたアンカー情報ジェクトには、以下の各データが含まれる。
　（１）基準画像＝アンカーとなる基準画像（ａｎｃｈｏｒ１．ｐｎｇ）
　（２）基準画像に含まれるアンカーの位置情報（仮想３次元実空間内のアンカー位置を示す３次元座標データ（Ｘ，Ｙ，Ｚ））
　（３）基準画像に含まれるアンカーの方向情報（仮想３次元空間内の方位を示すクオータニオン（ｘ，　ｙ，　ｚ：　ｗ））
　（４）基準画像の領域（ディメンション）情報（横の長さと縦の長さ）

　　（ステップＳ４０２）
　次に、情報処理装置は、ステップＳ４０２において、情報処理装置のカメラ機能を利用して撮影される映像キャプチャーのオブジェクトからの動画ストリームオブジェクトを取得する。

　　（ステップＳ４０３）
　次に、情報処理装置は、ステップＳ４０３において、３次元位置測位処理（Ｓｐａｃｅｌｏｃａｌｉｚａｔｉｏｎ）オブジェクトを取得する。

　　（ステップＳ４０４）
　次に、情報処理装置は、ステップＳ４０４において、ステップＳ４０２にて取得した動画ストリームオブジェクトを３次元位置算出処理（Ｓｐａｃｅｌｏｃａｌｉｚａｔｉｏｎ）用オブジェクトに設定する。Ｓ４０２からＳ４０４の処理により、情報処理装置はカメラにて撮影された映像の動画ストリームを３次元位置測位処理にて処理することが可能になる。

　　（ステップＳ４０５）
　次に、情報処理装置は、ステップＳ４０５において、ステップＳ４０４で設定した３次元位置測位処理（Ｓｐａｃｅｌｏｃａｌｉｚａｔｉｏｎ）用撮影オブジェクトに、Ｓ４０１にて取得したアンカーオブジェクトを設定し、アンカーＩＤを設定して登録（記憶部に格納）する。これにより３次元位置算出処理に、ＨＴＭＬデータとして記述されていたアンカー情報が入力されることになる。

　　（ステップＳ４０６）
　次に、情報処理装置は、ステップＳ４０６において、空間位置測位処理用オブジェクトにすべてのアンカーを対応づける処理が完了したか否かを判定する。
　完了していない場合は、ステップＳ４０５に戻り、未処理データに対するアンカーオブジェクトの設定を行う。
　空間位置算出処理用オブジェクトにアンカーオブジェクトを対応づける処理が完了したと判定すると、ステップＳ４０７に進む。

　　（ステップＳ４０７）
　次に、情報処理装置は、ステップＳ４０７において、３次元位置測位処理（Ｓｐａｃｅｌｏｃａｌｉｚａｔｉｏｎ）用オブジェクトにイベント（３次元位置得意イベント）処理関数を登録する。
　なお、このイベント処理関数は、アンカー情報に含まれる基準画像とカメラで撮影された動画ストリームから３次元位置測位によりカメラの仮想３次元空間での位置、方位が算出された結果の処理開始トリガとなるイベントである。

　具体的には、ユーザの移動やカメラの撮影方向の移動などにより、情報処理装置の撮影部で撮影された画像の所定量（予め設定した規定値）以上の移動発生し仮想３次元空間でのカメラの位置、方位が変化した検出された場合に発生されるイベント処理関数であり、ステップＳ４０７にてイベント処理関数が登録されたことにより、３次元位置算出処理（Ｓｐａｃｅｌｏｃａｌｉｚａｔｉｏｎ）オブジェクトを用いて、カメラの３次元位置の算出処理が開始される。

　なお、どのくらいの所定量の移動によりイベントが発生するかの精度、つまり、イベントの頻度は情報提供サーバから受信するＪａｖａＳｃｒｉｐｔ（登録商標）に記録されており、イベント処理関数の登録時に設定され、３次元位置測位処理部に入力される。

　　［４－３．仮想オブジェクト表示イベント検出に基づく仮想オブジェクト表示処理］
　次に、図１３に示すフローチャートを参照して、仮想オブジェクト表示イベント検出に基づく仮想オブジェクト表示処理のシーケンスについて説明する。このフローチャートの処理はＪａｖａＳｃｒｉｐｔ（登録商標）プログラムによる処理であり、例えば、図９に示すＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムのＳ２０７からＳ２０９の３次元測位処理イベント関数内で実行される。
　以下、図１３に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ５０１）
　まず、情報処理装置は、ステップＳ５０１において、３次元位置測位処理（Ｓｐａｃｅｌｏｃａｌｉｚａｔｉｏｎ）用オブジェクトのイベントが発生したか否かを判定する。これは前記図１２のＳ４０７に登録されたイベント処理関数の呼び出しが起こったか否かに対応する。

　ステップＳ５０１において、３次元位置算出処理のイベントがイベントが発生したと判定した場合は、ステップＳ５０２に進む。

　　（ステップＳ５０２）
　ステップＳ５０１において、仮想オブジェクトの表示、更新イベントが発生したと判定すると、情報処理装置は、ステップＳ５０２において、端末表示部（ディスプレイ）の位置、方向、領域（ディメンション）、カメラの位置、方向、アングルを取得する。これステップは図１２において登録したイベント処理関数の引数としてこれらの情報が渡されることに相当する。

　　（ステップＳ５０３）
　次に、情報処理装置は、ステップＳ５０３において、ＨＴＭＬデータに記述された登録情報設定ポイント（ＰＯＩ）対応情報（座標、方向等の３次元位置姿勢情報）を取得する。図１２のＳ４０１で示したように、ＨＴＭＬデータに記録されたアンカー情報の取得同様に、ＨＴＭＬデータに記録された登録情報設定ポイント（ＰＯＩ）情報はＤＯＭオブジェクトとしてＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムで取得することができる。

　　（ステップＳ５０４）
　次に、情報処理装置は、ステップＳ５０４において、ステップＳ５０３で情報提供サーバから受信したＨＴＭＬデータから取得した登録情報設定ポイント（ＰＯＩ）の座標、方向等の３次元位置姿勢情報を、端末の表示部（ディスプレイ）座標系の座標に変換し、ＰＯＩリストに保存する。
　この変換処理には、登録情報設定ポイント（ＰＯＩ）の位置、姿勢をユーザ端末（カメラ）を原点としたユーザ端末座標系にＰＯＩの座標を変換する処理と、変換された端末座標系のＰＯＩの座標から、さらに表示デバイスの座標系へ変換する２段の変換が行われる。
　ユーザ端末座標系から表示デバイス座標系へ変換するには、仮想３次元空間でのカメラ位置、方位ならびに端末表示部（ディスプレイ）の位置、方位が必要であり、Ｓ５０２で取得された情報が利用される。特に、カメラ方位とディスプレイの方位が一致しないユーザ端末の場合は、それらの方位の差を考慮して、ディスプレイ座標系でのＰＯＩの表示位置を算出する必要がある。

　　（ステップＳ５０５）
　次に、情報処理装置は、ステップＳ５０５において、全ＰＯＩの座標変換とリスト登録を完了したか否かを判定する。
　完了していない場合は、ステップＳ５０３に戻り、未処理ＰＯＩについて、ステップＳ５０３～Ｓ５０４の処理を実行する。
　全ＰＯＩの座標変換とリスト登録処理が完了したと判定した場合は、ステップＳ５０６に進む。

　　（ステップＳ５０６）
　全ＰＯＩの座標変換とリスト登録処理が完了したと判定した場合は、情報処理装置は、ステップＳ５０６において、生成したＰＯＩリストから、順にＰＯＩを選択する。

　　（ステップＳ５０７）
　次に、情報処理装置は、ステップＳ５０７において、リストから選択した選択ＰＯＩの座標（表示部座標系の座標）が、表示部の表示範囲内にあるか否かを判定する。表示範囲内にあるか否かは、仮想３次元空間でのカメラ位置、方位ならびに端末表示部（ディスプレイ）の位置、方位の情報から判断し、特に、情報処理装置が表示部の一部分に撮影部からの映像が表示する場合は、撮影映像の表示位置に合わせてＰＯＩの表示位置を算出することで、撮影映像に移された実オブジェクトの位置にＰＯＩを重畳することが可能である。
　ＰＯＩの座標が表示部の表示範囲内にない場合は、そのＰＯＩの処理を停止し、ステップＳ５０６に戻り、ＰＯＩリストから次のＰＯＩを選択する。
　ステップＳ５０７において、リストから選択した選択ＰＯＩの座標（表示部座標系の座標）が、表示部の表示範囲内にあると判定した場合はステップＳ５０８に進む。

　　（ステップＳ５０８）
　リストから選択した選択ＰＯＩの座標（表示部座標系の座標）が、表示部の表示範囲内にあると判定した場合、情報処理装置は、ステップＳ５０８において、選択ＰＯＩのポイント位置識別マークと、登録情報を表示する。なお、これらの仮想オブジェクトの表示態様は、例えばＣＳＳ等を利用して設定する。

　　（ステップＳ５０９）
　次に、情報処理装置は、ステップＳ５０９において、すべてのＰＯＩの処理が完了したか否かを判定する。
　未処理のＰＯＩがある場合は、ステップＳ５０６に戻り、ＰＯＩリストから次の未処理ＰＯＩを選択してステップＳ５０７以下の処理を実行する。
　ステップＳ５０９において、すべてのＰＯＩの処理が完了したと判定した場合は、処理を終了する。

　　［４－４．３次元位置測位処理］
　次に、図１４～図１５に示すフローチャートを参照して、カメラの３次元位置測位処理シーケンスについて説明する。これらのフローチャートは、例えば、情報提供サーバ５０から提供される表示制御データのＪａｖａＳｃｒｉｐｔ（登録商標）ではなく、情報処理装置の記録部に記録されたプログラムによって実行される。このためＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムにより３次元位置測位のアルゴリズムが公開される問題を回避でき、また、情報処理装置のハードウェアの高速処理などを使って３次元位置測位の高速、高精度、且つ、低消費に処理を行うことができる。
　以下、図１４～図１５に示すフローの各ステップの処理について、順次、説明する。

　　（ステップＳ６０１）
　まず、情報処理装置のデータ処理部は、ステップＳ６０１において、カメラ撮影画像の解像度、カメラのレンズ倍率を取得する。これらは情報処理装置のカメラ制御部のメモリに記録されたカメラ設定情報の取得によって実行される。

　　（ステップＳ６０２）
　次に、情報処理装置は、ステップＳ６０２において、情報処理装置に付属する動きセンサを初期化する。すなわち、過去に計測されたデータをリセットし、現在位置や傾き（方向）を初期値に設定する初期化処理を実行する。動きセンサはジャイロや加速度センサなど情報処理装置の位置、姿勢を特定するのに用いられる。

　　（ステップＳ６０３）
　次に、情報処理装置は、ステップＳ６０３において、情報提供サーバから取得したＨＴＭＬデータ（図７参照）に記述された基準実オブジェクト情報（アンカー情報）、つまり、図１２のステップＳ４０５にて３次元位置測位処理に設定された（アンカー情報）に含まれる基準画像から特徴点を抽出する。

　　（ステップＳ６０４）
　次に、情報処理装置は、ステップＳ６０４において、図１２のステップＳ４０５にて３次元位置測位処理に設定された全ての基準実オブジェクト情報（アンカー情報）対応の基準画像からの特徴点抽出処理が完了したか否かを判定する。
　未処理の基準画像がある場合は、ステップＳ６０３に戻り、未処理の基準画像からの特徴点抽出を実行する。
　情報提供サーバから取得したＨＴＭＬデータ（図７参照）に記述された全ての基準実オブジェクト情報（アンカー情報）対応の基準画像からの特徴点抽出処理が完了したと判定した場合は、ステップＳ６０５に進む。

　　（ステップＳ６０５）
　情報提供サーバから取得したＨＴＭＬデータ（図７参照）に記述された全ての基準実オブジェクト情報（アンカー情報）対応の基準画像からの特徴点抽出処理が完了すると、情報処理装置のデータ処理部は、ステップＳ６０５において、カメラの撮影画像入力を開始する。

　　（ステップＳ６０６）
　次に、情報処理装置のデータ処理部は、ステップＳ６０６において、カメラ撮影画像の各フレームから、特徴点を抽出する。

　　（ステップＳ６０７）
　次に、情報処理装置のデータ処理部は、ステップＳ６０７において、動きセンサの観測値を取得する。

　　（ステップＳ６０８）
　次に、情報処理装置のデータ処理部は、ステップＳ６０８において、基準画像（アンカー画像）の特徴点と、カメラ撮影画像の特徴点とのマッチング処理により、実空間のカメラの位置、方向を含む３次元位置姿勢情報を算出する。この処理は、例えば前述したＳＬＡＭ技術を適用して実行する。

　　（ステップＳ６０９）
　次に、情報処理装置は、ステップＳ６０９において、全基準画像（アンカー画像）についての特徴点と、カメラ撮影画像の特徴点とのマッチング処理によるカメラの３次元位置姿勢情報算出処理が完了したか否かを判定する。
　未処理の基準画像がある場合は、ステップＳ６０８に戻り未処理基準画像に対する処理を実行する。
　すべての基準画像に対する処理が完了したと判定した場合は、ステップＳ６１０に進む。

　　（ステップＳ６１０）
　次に、情報処理装置は、ステップＳ６１０において、全基準画像とカメラ撮影画像との特徴点マッチング結果に基づいて、実空間のカメラの位置、方向の最終的な３次元位置姿勢情報を算出する。
　ステップＳ６０８では、１つの基準画像（アンカー画像）毎に各基準画像対応のカメラの３次元位置姿勢情報が算出され、複数の基準画像各々について、異なるカメラの３次元位置姿勢情報が算出される。
　ステップＳ６１０では、例えば、これらの複数の値を平均化する等の処理を実行して最終的な実空間のカメラの位置、方向を含む３次元位置姿勢情報を算出する。複数のアンカーの基準画像を利用して３次元位置姿勢を測位することで、ユーザが移動したり、カメラの方向が移動した場合でも測位が可能であり、また、カメラ映像に複数のアンカーが検出された場合は、測位精度を上げることが可能である。さらには、端末のモーションセンサーを組み合わせることでアンカーが撮影映像から検出されていない場合でも、カメラの位置、方向を推定することも可能である。

　　（ステップＳ６１１）
　次に、情報処理装置は、ステップＳ６１１において、前フレームで特定したカメラの３次元位置姿勢と現在のフレームから算出した次元位置姿勢との変化量を検出する。モーションセンサーの検出したカメラ自体の移動によるフレーム映像のブレなどの補完もこの検出には利用されるが、カメラ姿勢情報とともにフレーム映像のブレの補正情報も含めてイベント処理関数に渡すことで、ＪａｖａＳｃｒｉｐｔ（登録商標）に従った制御によってカメラ撮影映像に重畳する場合の表示ずれを補正することができる。

　　（ステップＳ６１２）
　次に、情報処理装置は、ステップＳ６１２において、ステップＳ６１１で検出した変化量が既定閾値以上変化したか否かを判定する。
　閾値は、図１２のステップＳ４０７にて表示制御データのＪａｖａＳｃｒｉｐｔ（登録商標）プログラムから予め設定された値であり、記録部に保存された値である。
　表示部に表示された画像位置が、既定閾値以上変化したと判定した場合、ステップＳ６１３に進む。

　　（ステップＳ６１３）
　カメラの３次元位置姿勢が既定閾値以上変化したと判定した場合、情報処理装置は、ステップＳ６１３において、３次元測位姿勢の結果として、表示部の位置、方向、領域（ディメンション）、カメラの位置、方向、アングル情報を設定して、イベント処理関数の処理を開始する。

　なお、情報処理装置のデータ処理部は、仮想オブジェクトの表示更新処理の開始に伴い、先に図１３を参照して説明したフローに従った処理を実行して仮想オブジェクトの表示、更新処理を実行することになる。

　　［５．仮想オブジェクトの表示開始または表示更新処理のトリガとなるイベントについて］
　上述した実施例では、表示部に表示する仮想オブジェクトである登録情報設定ポイント（ＰＯＩ）位置識別子や、登録情報設定ポイント（ＰＯＩ）対応の登録情報の表示処理、あるいは表示更新処理のトリガとなるイベントの例として、ユーザ端末（カメラ）の位置姿勢の変化がの既定閾値以上の移動などを説明した。

　しかし、これらの仮想オブジェクトの表示処理、あるいは表示更新処理のトリガとなるイベントーザ端末（カメラ）の位置姿勢の変化に合わせて、カメラで撮影した映像に移される実オブジェ事にＰＯＩの位置を合わせて重畳して表示するに限らず、ＪａｖａＳｃｒｉｐｔ（登録商標）のプログラムにより様々な表示処理、表示トリガをＪａｖａＳｃｒｉｐｔ（登録商標）で実現することが可能である。また、ＨＴＭＬ，ＣＳＳの表示制御の機能を利用して、単に、ＰＯＩを文字表示するだけでなく、多様な表示方法を情報提供者は提示することができる。

　情報処理装置（ユーザ端末）１０のデータ処理部は、情報処理装置の近傍の登録情報設定ポイントに関する登録情報の表示処理、または表示更新処理を予め規定した様々なコンテキスト（状況）の変化に応じたイベント検出をトリガとして実行する。
　具体的には、例えば、以下のような情報に基づくイベント検出をトリガとして仮想オブジェクトの表示を開始、または更新する処理を行なってもよい。
　（１）情報処理装置（ユーザ端末）の位置
　（２）時間
　（３）情報処理装置（ユーザ端末）を保有するユーザの行動履歴
　（４）情報処理装置、あるいはサーバに登録されたユーザの予定情報
　（５）ユーザの身体情報（心拍、脈拍等）
　（６）店舗等のセール情報
　（７）情報処理装置（ユーザ端末）の設定情報、
　（８）情報処理装置（ユーザ端末）を保有するユーザの属性（年齢、性別、興味等）
　（９）情報処理装置（ユーザ端末）を保持するユーザの視線

　（１）情報処理装置（ユーザ端末）の位置に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　ユーザが情報処理装置（ユーザ端末）を保持して移動している場合、情報処理装置（ユーザ端末）と登録情報設定ポイント（ＰＯＩ）までの距離が既定距離（３ｍ）以内となったことをイベントとして検出して、仮想オブジェクトの表示開始や表示更新処理を実行する。この場合、基準実オブジェクト情報（アンカー情報）から３次元位置測位処理により実世界の情報端末の位置、方位をトラッキングできていた状態ではは、情報処理装置（ユーザ端末）と登録情報設定ポイント（ＰＯＩ）の位置計測は３次元位置測位処理にて行われ、必ずしも、登録情報設定ポイント（ＰＯＩ）が撮影映像に映されている必要はない。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、
　（ａ）情報処理装置（ユーザ端末）と登録情報設定ポイント（ＰＯＩ）までの距離計測処理、
　（ｂ）計測距離と既定閾値との比較処理、
　（ｃ）計測距離が既定閾値以下になった場合にイベント発生と判定する、
　これらの一連の処理を実行するプログラムを規定する。

　（２）時間に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　例えば、あるレストランの開店時間である午前１１：００になったとき、情報処理装置（ユーザ端末）を保持しているユーザが、レストランの近所にいる場合に、そのレストランの位置と、レストランの提供メニュー等を仮想オブジェクトとして表示する。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、
　（ａ）情報処理装置（ユーザ端末）と登録情報設定ポイント（ＰＯＩ）までの距離計測処理、
　（ｂ）計測距離と既定閾値との比較処理、
　（ｃ）現在時刻取得処理
　（ｄ）計測距離が既定閾値以下になり、かつ時間が登録情報設定ポイント（ＰＯＩ）（例えばレストラン）の開店時間になった場合にイベント発生と判定する、
　これらの一連の処理を実行するプログラムを規定する。
　また、情報提供サーバは、レストランの提供メニュー等を含む登録情報設定ポイント対応登録情報を仮想オブジェクトとして情報処理装置に提供する。

　（３）情報処理装置（ユーザ端末）を保有するユーザの行動履歴に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　情報処理装置（ユーザ端末）を保持しているユーザの移動状態（歩行、ランニング、車、電車等による高速移動）を解析し、解析情報に応じた最適な情報を仮想オブジェクトとして表示する。
　例えば歩行している場合、移動位置や速度に応じた経路情報、名所案内情報、トイレの場所情報等を仮想オブジェクトとして表示する。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、
　（ａ）情報処理装置（ユーザ端末）と登録情報設定ポイント（ＰＯＩ）までの距離計測処理、
　（ｂ）計測距離と既定閾値との比較処理、
　（ｃ）計測距離が既定閾値以下になった場合にイベント発生と判定する、
　これらの一連の処理を実行するプログラムを規定する。
　また、情報提供サーバは、経路情報、名所案内情報、トイレの場所情報等を仮想オブジェクトとして情報処理装置に提供する。

　（４）情報処理装置、あるいはサーバに登録されたユーザの予定情報に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　この処理を実行する場合、ユーザの予定情報を予め情報処理装置のメモリ、あるいは情報提供サーバに登録しておく。

　ある登録済みの予定プランの開始時間、あるいは開始時間の一定時間前になった場合、情報処理装置（ユーザ端末）に、予定プランの集合位置や、予定情報等を仮想オブジェクトとして表示する。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、
　（ａ）登録済みの予定情報取得処理
　（ｂ）現在時刻取得処理
　（ｃ）時間が登録済み予定情報の設定時間、あるいはその一定時間前になった場合にイベント発生と判定する、
　これらの一連の処理を実行するプログラムを規定する。
　また、情報提供サーバからは、予定プランの集合位置や、予定情報等を仮想オブジェクトとして情報処理装置に提供する。

　（５）ユーザの身体情報（心拍、脈拍等）に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　この処理を実行する場合、ユーザの身体情報を計測するセンサの検出情報を情報処理装置が入力する構成を設定することが必要である。
　センサは、ユーザの心拍や脈拍等を計測し、計測情報を情報処理装置に出力する。

　具体的には例えばユーザがマラソンを行っている場合、ユーザの保持する情報処理装置のデータ処理部は、ユーザの心拍や脈拍の状態に応じた情報、例えば、深呼吸を促す情報や、休息を促す情報、あるいは近隣の休憩所等の案内情報を仮想オブジェクトとして表示する。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、
　（ａ）センサからのユーザの身体情報の取得処理、
　（ｂ）入力する身体情報に応じたイベント検出処理、
　これらの一連の処理を実行するプログラムを規定する。
　また、情報提供サーバからは、ユーザの心拍や脈拍の状態に応じた情報、例えば、深呼吸を促す情報や、休息を促す情報、あるいは近隣の休憩所等の案内情報を仮想オブジェクトとして情報処理装置に提供する。

　（６）店舗等のセール情報に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　例えば、ある店舗のセール開始時間である午前１０：００になったとき、情報処理装置（ユーザ端末）を保持しているユーザが、その店舗の近所にいる場合に、その店舗の位置と、店舗のセール内容等を仮想オブジェクトとして表示する。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、
　（ａ）情報処理装置（ユーザ端末）と登録情報設定ポイント（ＰＯＩ）までの距離計測処理、
　（ｂ）計測距離と既定閾値との比較処理、
　（ｃ）現在時刻取得処理
　（ｄ）計測距離が既定閾値以下になり、かつ時間が登録情報設定ポイント（ＰＯＩ）（例えば店舗）の開店時間になった場合にイベント発生と判定する、
　これらの一連の処理を実行するプログラムを規定する。
　また、情報提供サーバは、店舗のセール内容等を含む登録情報設定ポイント対応登録情報を仮想オブジェクトとして情報処理装置に提供する。

　（７）情報処理装置（ユーザ端末）の設定情報に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　情報処理装置（ユーザ端末）の設定情報とは、例えば、表示言語の設定、音声出力の有無等の設定である。
　例えば、表示言語を日本語にしている場合は、日本語情報からなる登録情報を仮想オブジェクトとして提供し、英語設定にしている場合は英語情報からなる登録情報を提供する。また、音声出力をＯＮに設定している場合は、音声出力を持つ登録情報を出力する構成としてもよい。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、上述した実施例に従った登録情報設定ポイント（ＰＯＩ）の検出処理の他、
　（ａ）情報処理装置（ユーザ端末）の設定情報取得処理を実行するプログラムを規定する。
　また、情報提供サーバは、情報処理装置（ユーザ端末）の設定情報に応じた言語、表示用データ、または音声データを情報処理装置に提供する。

　（８）情報処理装置（ユーザ端末）を保有するユーザの属性（年齢、性別、興味等）に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　この処理を実行する場合、ユーザの年齢、性別、興味等のユーザ属性情報を予め情報処理装置のメモリ、あるいは情報提供サーバに登録しておく。

　情報処理装置は、登録済みのユーザ属性に応じた最適な提供情報を含む仮想オブジェクトの表示を行う。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、上述した実施例に従った登録情報設定ポイント（ＰＯＩ）の検出処理の他、
　（ａ）登録済みのユーザ属性情報の取得処理を実行するプログラムを規定する。
　また、情報提供サーバは、情報処理装置（ユーザ端末）の設定情報に応じた最適な提供情報を含む仮想オブジェクトを情報処理装置に提供する。

　仮想オブジェクトの具体的表示例を図１６、図１７を参照して説明する。
　図１６は、年齢が３０～５０代の中年男性でアルコール好きというユーザ属性情報が登録されている場合の仮想オブジェクト表示例である。
　例えば、複数の同じ属性（３０～５０代の中年男性でアルコール好き）を持つユーザが連れ立って個別に情報処理装置を保持して歩いている場合の例を想定する。
　この場合、各自の情報処理装置には、図１６に示すような仮想オブジェクトが表示される。
　すなわち居酒屋等のアルコール提供店舗の位置を示すポイント（ＰＯＩ）位置識別マーク３０１と、ポイント（ＰＯＩ）対応登録情報３０２が次々と表示される。

　図１７は、年齢が２０～３０代の女性でショッピング好きというユーザ属性情報が登録されている場合の仮想オブジェクト表示例である。
　この場合、情報処理装置には、図１７に示すような仮想オブジェクトが表示される。
　すなわち２０～３０代の女性が好むアイテムを販売している供店舗の位置を示すポイント（ＰＯＩ）位置識別マーク３２１と、ポイント（ＰＯＩ）対応登録情報３２２が次々と表示される。

　（９）情報処理装置（ユーザ端末）を保持するユーザの視線に基づくイベント検出をトリガとした仮想オブジェクトの表示開始や表示更新処理の具体例について説明する。この処理の１つの具体例としては、例えば以下の処理がある。
　この処理を実行する場合、ユーザの視線を計測するセンサの検出情報を情報処理装置が入力する構成を設定することが必要である。
　センサは、ユーザの視線方向を検出し、検出情報を情報処理装置に出力する。
　情報処理装置のデータ処理部は、ユーザの視線方向にある登録情報設定ポイント（ＰＯＩ）に関連する登録情報を優先的に表示する処理を実行する。
　なお、この処理を行なう場合、例えばＪａｖａＳｃｒｉｐｔ（登録商標）等の表示制御プログラムには、上述した実施例に従った登録情報設定ポイント（ＰＯＩ）の検出処理の他、
　（ａ）ユーザの視線方向検出結果を入力して、表示オブジェクトを決定するプログラムを規定する。

　このように、仮想オブジェクトの表示処理、あるいは表示更新処理のトリガとなるイベントとして、様々なイベントの設定が可能である。

　　［６．情報処理装置、およびサーバの構成例について］
　次に、情報処理装置（ユーザ端末）、および情報提供サーバ、検索サーバの構成例について説明する。
　図１８は、情報処理装置（ユーザ端末）１０の一構成例を示すブロック図である。
　情報処理装置１０は、図１８に示すように、ビーコン検出部５０１、データ処理部（制御部）５０２、動きセンサ５０３、記憶部５０４、カメラ（撮像部）５０５、入力部５０６、出力部（表示部）５０７、通信部５０８、各種センサ５０９、タイマ５１０を有する。

　ビーコン検出部５０１は、ビーコン送信装置２０の送信するビーコンを検出する。
　データ処理部（制御部）５０２は、情報処理装置１０の実行する各種のデータ処理を実行する。具体的には、上述した例えばフローチャートに従った処理を実行する。データ処理部（制御部）５０２はプログラム実行機能を有するＣＰＵを有し、例えば、記憶部５０４に格納されたプログラムに従った処理を実行する。

　動きセンサ５０３は、情報処理装置の動きを検出するセンサである。移動の方向や傾き、加速度などを検出する様々なセンサによって構成される。
　記憶部５０４は、たとえばＲＡＭ、ＲＯＭ、ＨＤＤ、その他のメディアによって構成され、データ処理部５６０２の実行するプログラム、各種パラメータ等を記憶し、さらに、データ処理部の実行するデータ処理のワークエリアとしても利用される。

　カメラ（撮像部）５０５は、画像撮影を実行する。なお、前述したように３次元画像を撮影する構成の場合は、離間位置に２つの撮像部を備えた構成を持つ。２次元画像を撮影する構成の場合は１つの撮像部となる。
　入力部５０６は、ユーザ操作部であり、ユーザによる様々な指示入力が実行される。なお、表示部がタッチパネルとして構成されている場合、表示部も入力部として機能することになる。

　出力部５０７は、表示部、音声出力部等から構成される。表示部は、前述した処理に従って、カメラの撮影画像てある実オブジェクトを表示するとともに、情報提供サーバから取得する仮想オブジェクトとしてのポイント（ＰＯＩ）位置識別マークや、ポイント（ＰＯＩ）対応登録情報が重畳して表示される。

　通信部５０８は、情報提供サーバや検索サーバ、そのたの外部装置との通信処理を行なう通信部である。
　各種センサ５０９は、例えば視線センサ、心拍数センサ等の様々なユーザ状況などを計測するセンサである。
　データ処理部５０２は、これらのセンサ検出情報に応じて仮想オブジェクトの表示更新を実行することができる。
　タイマ５１０は、現在時間の検出、所定タイミングからの経過時間の計測等を実行する。

　図１９は、様々な処理を実行するデータ処理部５０２において実行するデータ処理プログラムのレイヤ構成を説明する階層図である。
　データ処理部５０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）レイヤ上で様々なアプリケーションを実行する。

　図に示す通信処理アプリケーションは、ビーコン検出、ＵＲＬ取得、ＵＲＬに基づきＷｅｂページを表示処理装置へ指示するアプリケーションである。図１０のＳ３０１からＳ３０６までの処理を実行する。
　表示処理アプリケーションは、カメラによって撮影された画像の表示処理や、情報提供サーバから提供される仮想オブジェクトの表示処理等を実行する。
　また、表示処理アプリケーションは、表示制御データの表示ならびに様々なイベントをトリガとして仮想オブジェクトの表示更新処理を実行する。
　なお、表示処理アプリケーションによる表示情報の出力あるいは更新処理は、図１９の表示処理アプリケーションの下位に示す３Ｄ空間測位ライブラリ、表示制御ライブラリ、Ｗｅｂページ表示ライブラリの処理を伴って実行される。

　３Ｄ空間測位ライブラリは、カメラを介して撮影されるオブジェクトと基準画像を基に情報処理装置自身の３次元位置、方向（傾き）等を算出する３次元測位処理を実行する。具体的には前述したようにＳＬＡＭ技術等を利用した３次元測位処理を実行する。
　表示制御ライブラリは、ＷｅｂＫｉｔ、ＪａｖａＳｃｒｉｐｔ（登録商標）の実行部であり、表示部への仮想オブジェクトの表示ならびに、ユーザの操作などのイベントをトリガとした表示の更新処理等を実行する。
　Ｗｅｂページ表示アプリケーションは、ＷｅｂＫｉｔ　ＷｅｂＣｏｒｅ等によって構成され、Ｗｅｂページの表示処理を実行する。

　これらのアプリケーションならびにライブラリはＯＳレイヤ上で動作可能であり、ＯＳレイヤは、各アプリケーションの実行する処理の全体的な制御や、ハードウェア（ＨＷ）レイヤに設定された様々な処理部とアプリケーションレイヤ間のコマンド、パラメータ等の入出力制御などを行う。

　図２０は、情報提供サーバや検索サーバとして適用可能な通信装置のハードウェア構成例を示している。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）７０３には、ＣＰＵ７０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４により相互に接続されている。

　ＣＰＵ７０１はバス７０４を介して入出力インタフェース７０５に接続され、入出力インタフェース７０５には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。ＣＰＵ７０１は、入力部７０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部７０７に出力する。

　入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスク等からなり、ＣＰＵ７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

　入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア７１１を駆動し、データの記録あるいは読み取りを実行する。

　　［７．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　撮像部と、
　前記撮像部の撮影画像を表示する表示部と、
　撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記データ処理部は、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行し、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する情報処理装置。

　（２）　前記仮想オブジェクト表示制御データは、前記実オブジェクトを撮影した基準画像であるアンカーと前記登録情報設定ポイントとの３次元空間での位置情報を記録したＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）データならびに、表示制御プログラムを含み、
　前記データ処理部は、
　前記撮像部の撮影画像からアンカーを検出し、検出したアンカーの仮想３次元空間座標での位置および方向から、前記撮像部の仮想３次元空間での位置を特定して、前記表示部の座標系である表示部座標系における前記登録情報設定ポイントの位置を算出し、算出位置に前記登録情報設定ポイントを示す仮想オブジェクトを表示する前記（１）に記載の情報処理装置。

　（３）　前記データ処理部は、
　前記登録情報設定ポイントの位置が既定閾値以上移動したことを条件として、表示部に表示した仮想オブジェクトの表示更新処理を実行する前記（１）または（２）に記載の情報処理装置。

　（４）前記データ処理部は、
　ユーザによる指示入力を条件として、表示部に対する仮想オブジェクトの表示処理または表示更新処理を実行する前記（１）～（３）いずれかに記載の情報処理装置。

　（５）前記データ処理部は、
　情報処理装置と登録情報設定ポイントとの距離が既定閾値以下となったことを条件として、該登録情報設定ポイントの登録情報を前記表示部に表示する前記（１）～（４）いずれかに記載の情報処理装置。

　（６）前記データ処理部は、
　登録情報設定ポイントに対応付けて予め規定した時間になったことを条件として、該登録情報設定ポイントの登録情報を前記表示部に表示する前記（１）～（５）いずれかに記載の情報処理装置。

　（７）前記データ処理部は、
　情報処理装置を持つユーザの行動履歴と、予め既定した行動履歴との一致判定を条件として、登録情報設定ポイントの登録情報を前記表示部に表示する前記（１）～（６）いずれかに記載の情報処理装置。

　（８）前記データ処理部は、
　情報処理装置を持つユーザの予め登録された予定情報に応じて、登録情報設定ポイントの登録情報を前記表示部に表示する前記（１）～（８）いずれかに記載の情報処理装置。

　（９）前記情報処理装置は、
　情報処理装置を持つユーザの身体情報を検出するセンサを有し、
　前記データ処理部は、
　前記センサの入力が予め規定した条件に一致したことを条件として、登録情報設定ポイントの登録情報を前記表示部に表示する前記（１）～（８）いずれかに記載の情報処理装置。

　（１０）前記データ処理部は、
　情報処理装置の設定情報に応じて、前記登録情報の出力態様を変更する前記（１）～（９）いずれかに記載の情報処理装置。

　（１１）前記データ処理部は、
　情報処理装置に記録されたユーザ属性情報に応じて、出力する登録情報を選択する前記（１）～（１０）いずれかに記載の情報処理装置。

　（１２）　前記情報処理装置は、
　情報処理装置を持つユーザの視線方向を検出するセンサを有し、
　前記データ処理部は、
　前記センサの検出するユーザ視線方向にある登録情報設定ポイントの登録情報を前記表示部に表示する前記（１）～（１１）いずれかに記載の情報処理装置。

　（１３）　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、撮像部と、前記撮像部の撮影画像を表示する表示部と、撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記データ処理部が、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行し、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する情報処理方法。

　（１４）　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、撮像部と、前記撮像部の撮影画像を表示する表示部と、撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行する処理と、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する処理を実行させるプログラム。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、実世界の登録情報設定ポイントに関する登録情報の表示や表示更新処理をコンテキストの変化に応じたイベント検出をトリガとして実行する装置、方法が実現される。
　具体的には、実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトの表示制御を行う。データ処理部は、制御データに記述された登録情報の表示や表示更新処理を予め規定したコンテキストの変化に応じて実行する。さらに登録情報表示に併せて登録情報設定ポイントを示す仮想オブジェクトを表示する。撮影画像から検出する基準画像（アンカー）の仮想３次元空間での位置および方向等に基づいて情報処理装置と登録情報設定ポイントの位置関係を算出し、算出した位置関係とコンテキストの変化に基づき、登録情報設定ポイントを示す仮想オブジェクトを表示する。
　本構成により、実世界の登録情報設定ポイントに関する登録情報の表示や表示更新処理をコンテキストの変化に応じたイベント検出をトリガとして実行する装置、方法が実現される。

　　１０　情報処理装置（ユーザ端末）
　　２０　ビーコン送信装置
　　３０　ネットワーク
　　４０　検索サーバ
　　５０　情報提供サーバ
　１０１，１０２　登録情報設定ポイント（ＰＯＩ）
　１１１，１２１　ポイント（ＰＯＩ）位置識別マーク
　１２１，１２２　ポイント（ＰＯＩ）対応登録情報
　２０１，２０２　基準実オブジェクト
　２１１，２１２　登録情報設定ポイント（ＰＯＩ）
　３０１　ポイント（ＰＯＩ）位置識別マーク
　３０２　ポイント（ＰＯＩ）対応登録情報
　３２１　ポイント（ＰＯＩ）位置識別マーク
　３２２　ポイント（ＰＯＩ）対応登録情報
　５０１　ビーコン検出部
　５０２　データ処理部（制御部）
　５０３　動きセンサ
　５０４　記憶部
　５０５　カメラ
　５０６　入力部
　５０７　出力部（表示部等）
　５０８　通信部
　５０９　各種センサ
　５１０　タイマ
　７０１　ＣＰＵ
　７０２　ＲＯＭ
　７０３　ＲＡＭ
　７０４　バス
　７０５　入出力インタフェース
　７０６　入力部
　７０７　出力部
　７０８　記憶部
　７０９　通信部
　７１０　ドライブ
　７１１　リムーバブルメディア

Claims

　撮像部と、
　前記撮像部の撮影画像を表示する表示部と、
　撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記データ処理部は、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行し、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する情報処理装置。
　前記仮想オブジェクト表示制御データは、前記実オブジェクトを撮影した基準画像であるアンカーと前記登録情報設定ポイントとの３次元空間での位置情報を記録したＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）データならびに、表示制御プログラムを含み、
　前記データ処理部は、
　前記撮像部の撮影画像からアンカーを検出し、検出したアンカーの仮想３次元空間座標での位置および方向から、前記撮像部の仮想３次元空間での位置を特定して、前記表示部の座標系である表示部座標系における前記登録情報設定ポイントの位置を算出し、算出位置に前記登録情報設定ポイントを示す仮想オブジェクトを表示する請求項１に記載の情報処理装置。
　前記データ処理部は、
　前記登録情報設定ポイントの位置が既定閾値以上移動したことを条件として、表示部に表示した仮想オブジェクトの表示更新処理を実行する請求項１に記載の情報処理装置。
　前記データ処理部は、
　ユーザによる指示入力を条件として、表示部に対する仮想オブジェクトの表示処理または表示更新処理を実行する請求項１に記載の情報処理装置。
　前記データ処理部は、
　情報処理装置と登録情報設定ポイントとの距離が既定閾値以下となったことを条件として、該登録情報設定ポイントの登録情報を前記表示部に表示する請求項１に記載の情報処理装置。
　前記データ処理部は、
　登録情報設定ポイントに対応付けて予め規定した時間になったことを条件として、該登録情報設定ポイントの登録情報を前記表示部に表示する請求項１に記載の情報処理装置。
　前記データ処理部は、
　情報処理装置を持つユーザの行動履歴と、予め既定した行動履歴との一致判定を条件として、登録情報設定ポイントの登録情報を前記表示部に表示する請求項１に記載の情報処理装置。
　前記データ処理部は、
　情報処理装置を持つユーザの予め登録された予定情報に応じて、登録情報設定ポイントの登録情報を前記表示部に表示する請求項１に記載の情報処理装置。
　前記情報処理装置は、
　情報処理装置を持つユーザの身体情報を検出するセンサを有し、
　前記データ処理部は、
　前記センサの入力が予め規定した条件に一致したことを条件として、登録情報設定ポイントの登録情報を前記表示部に表示する請求項１に記載の情報処理装置。
　前記データ処理部は、
　情報処理装置の設定情報に応じて、前記登録情報の出力態様を変更する請求項１に記載の情報処理装置。
　前記データ処理部は、
　情報処理装置に記録されたユーザ属性情報に応じて、出力する登録情報を選択する請求項１に記載の情報処理装置。
　前記情報処理装置は、
　情報処理装置を持つユーザの視線方向を検出するセンサを有し、
　前記データ処理部は、
　前記センサの検出するユーザ視線方向にある登録情報設定ポイントの登録情報を前記表示部に表示する請求項１に記載の情報処理装置。
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、撮像部と、前記撮像部の撮影画像を表示する表示部と、撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記データ処理部が、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行し、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する情報処理方法。
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、撮像部と、前記撮像部の撮影画像を表示する表示部と、撮影画像に含まれる実世界の登録情報設定ポイントの登録情報を含む仮想オブジェクトを前記表示部に表示するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　実世界での実オブジェクトを撮影した基準画像であるアンカーと、仮想３次元空間座標系での前記アンカーの位置情報と前記登録情報設定ポイントの位置情報を記録した仮想オブジェクト表示制御データを入力し、表示制御データに記述された前記登録情報の表示処理、または表示更新処理を予め規定したコンテキストの変化に応じたイベント検出をトリガとして実行する処理と、
　前記登録情報の表示に併せて、前記登録情報設定ポイントを示す仮想オブジェクトを表示する処理を実行させるプログラム。