JP5320133B2 - 情報提示システム、情報提示サーバ、通信端末、および情報提示方法 - Google Patents

Description

本発明は、実空間の映像にオブジェクトを重畳表示する情報提示システム、情報提示サーバ、通信端末、および情報提示方法に関するものである。

携帯電話事業における移動体通信技術は、アナログ方式の第一世代から、音声通話に加えてデジタル技術によるデータ通信を実現したＰＤＣ方式やＧＳＭ方式等の第二世代を経て、現在ではより高速なデータ通信やマルチメディアを利用した各種サービスを提供するＷ−ＣＤＭＡ等の第三世代へと発達を続けている。また、このような通信技術を利用する移動体通信端末においてもＣＰＵ等のプロセッサ、メモリ、各種周辺デバイスおよび実装技術の各分野で技術革新が進められた結果、多機能化と高機能化の双方で飛躍的な進歩を達成している。

このように移動体通信および端末に関する技術が高度に発達したことにより、音声通話に加えて、テレビ通話、電子メール、Ｗｅｂブラウジング、チャット等の様々な通信サービスが携帯電話で実現されている。また、多機能化した端末には液晶／有機ＥＬ表示モジュール、カメラモジュール、非接触ＩＣカードモジュール、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ通信モジュール、ＷｉＦｉ通信モジュール、ＧＰＳモジュールのような各種デバイスが搭載されている。さらに、端末の多機能化はソフトウェアの面でも進んでおり、各種モジュールを制御する種々のアプリケーションソフト、また各種ビューワ、マルチメディアプレーヤ、ブラウザ、メーラ、ゲーム、ＰＩＭ等のアプリケーションソフトがオペレーティングシステム上に実装されており、マルチタスク機能により複数のアプリケーションを同時並行的に実行することで極めて高度な機能が実現可能となっている。

一方、情報処理の分野では、コンピュータグラフィックスにより仮想的な現実空間を構成する仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、現実空間の映像をコンピュータで処理して情報を付加する拡張現実感（ＡＲ；Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に関する研究が進められており、特に最近では拡張現実感技術（ＡＲ技術）が注目されている。ＡＲ技術の実現方法には様々な態様が考えられるが、その一つにカメラ付き携帯電話を利用したものを挙げることができる。例えば米国ＭＯＢＩＬＩＺＹ社は、携帯電話向けオープンプラットフォームの一つであるＡｎｄｒｏｉｄ向けに、カメラでキャプチャーした実空間の風景映像に観光情報を重畳して表示するトラベルガイドのアプリケーション製品を提供している。このアプリケーションは、端末の位置情報（ＧＰＳ測位またはユーザのマニュアル入力による）をサーバに送信し、サーバに予め登録された情報から周辺の観光情報をサーバから端末へレスポンスさせ、取得した観光情報を風景映像に重畳して表示することにより拡張現実感を実現するものである。

また、特許第３７０００２１号には、カメラでイメージを取得するとともにカメラの位置および姿勢を測定し、測定されたカメラの位置および姿勢から記憶装置の所定アドレスに格納されたデータを読み出し、読み出されたデータをカメラで取得したイメージに結合させて表示するＡＲ技術について開示している。

特許第３７０００２１号公報

しかしながら、例えばＭＯＢＩＬＩＴＹ社が提供しているアプリケーション製品は、専用サーバに登録されたランドマーク情報を実映像に重畳するものであるため、拡張現実感をもたらす情報を事前に専用サーバへ登録する必要がある。また、特許第３７０００２１号に記載されたＡＲ技術は、カメラの位置および姿勢に応じて記憶装置から特定のデータを読み出して実画像に重畳するものであるため、重畳される情報はカメラの位置および姿勢によって一意に定まっており、拡張現実感をもたらす情報を事前に記録装置に格納しておく必要がある。すなわち、いずれの拡張現実感システムにおいても、拡張現実感をもたらすために表示される情報が固定的であり多様性に欠けるという課題がある。

一方、携帯電話およびコンピュータネットワークの分野では、情報サービスプロバイダによって端末に様々な情報を提供するサービスが実現されており、例えばレストランガイド、乗り換え案内、ナビゲーションのようなサービスが広く利用されている。また、情報サービスプロバイダの多くは、自らの提供している情報サービスを外部サーバから利用するためのＡＰＩを公開しており、このようなＡＰＩを利用して複数の情報サービスプロバイダからの情報を複合（マッシュアップ）させて構築された新たな情報サービスも現れている。

これら情報サービスプロバイダが提供している情報を利用すれば、多様性に富んだ拡張現実感を実現することが可能である。しかしながら、前述したように既存する携帯電話向けＡＲ技術では、専用サーバまたは記憶装置に拡張現実感をもたらす情報を予め登録する構成となっているため、情報サービスプロバイダの情報を拡張現実感の実現に利用することはできないのが現状である。また、既存する携帯電話向けＡＲ技術では、拡張現実感をもたらす情報を表示するのみであり、そのような情報を利用してサービスを構築することは想定されていない。

また、既存する携帯電話向けＡＲ技術は、特定のランドスケープについての位置情報（場所情報）に関連付けて情報を固定的に登録し、特定の場所がカメラの視界に入った場合に登録された情報を重畳するのみであり、移動する物体に関する情報を当該物体の現在位置に関連付けてリアルタイムで登録し、拡張現実感の実現に利用することは考えられていない。

上記事情に鑑み、本発明は、拡張現実感をもたらす情報を事前に記録装置に格納しておく必要がなく、既存する情報サービスプロバイダの情報を利用して多様性に富んだ拡張現実感を提供することが可能であり、さらに、移動する物体の情報による拡張現実感を実現した拡張現実感システムを提供することを目的とする。

上述の課題を解決するために、本発明の情報提示システムは、実空間の映像を取得するカメラ部と、位置情報を取得する第１位置情報取得部と、通信網に接続して通信を行う通信部と、前記カメラ部により取得された映像を表示する表示部とを備えた第１の通信端末と、位置情報を取得する第２位置情報取得部と、通信網に接続して通信を行う通信部と、を備えた第２の通信端末と、前記第１の通信端末および前記第２の通信端末および外部サーバと通信を行う通信部を備えた情報提示サーバとからなる情報提示システムであって、 前記情報提示サーバは、さらに定期的に前記第１の通信端末および前記第２の通信端末の位置情報を取得するサーバ側位置情報取得部と、前記サーバ側位置情報取得部により取得された前記第１の通信端末および前記第２の通信端末の位置情報を記憶するユーザデータ記憶部と、前記ユーザデータ記憶部に記憶された前記第２の通信端末の位置情報を、前記第１の通信端末に送信する送信部と、を備え、前記サーバ側位置情報取得部は、前記第２の通信端末が、前記第１の通信端末の視界に入らないと判断できる場合には、前記第２の通信端末の位置情報を所定の周期で取得するとともに、前記第２の通信端末が、前記第１の通信端末の視界に入いると判断できる場合には、前記第２の通信端末の位置情報を前記所定の周期よりも短い周期をもって取得し、前記第１の通信端末における表示部は、前記情報提示サーバにおける前記送信部により送信された第２の通信端末の位置情報により示される位置が、前記カメラ部により取得された実空間の映像に含まれる位置である場合には、前記カメラ部により取得された映像に前記第２の通信端末のユーザを示すユーザデータを重畳して表示する。

この発明によれば、第１の通信端末において、情報提示サーバにより送信された第２の通信端末の位置情報により示される位置が、前記カメラ部により取得された実空間の映像に含まれる位置である場合には、前記カメラ部により取得された映像に前記第２の通信端末のユーザを示すユーザデータを重畳して表示することができる。これにより、移動する他ユーザに対する拡張現実感、および多様性にとんだ拡張現実感をユーザは得ることができる。よって、様々な情報をユーザは得ることができ、利便性の高いサービスを提供することができる。
また、他ユーザ端末である第２の通信端末がユーザの視界にいる場合には、その他ユーザ端末である第２の通信端末の位置情報を所定周期で取得し、そうではない場合には、その所定周期より長い周期で取得することで、視界にいるときほど頻繁に位置情報を更新させることで、より詳細な位置情報の遷移をユーザは知ることができる。例えば、いなくなったのにもかかわらず、画面上に表示されているといったことを防止することができる。

また、本発明の情報提示システムにおいて、前記サーバ側位置情報取得部は、前記第２の通信端末を識別可能なＩＤを位置情報とともに取得するとともに、前記ユーザデータ記憶部は、前記ＩＤを位置情報とともに記憶することが好ましい。

この発明によれば、第２の通信端末を識別可能なＩＤを位置情報とともに取得することができ、処理を簡易なものとすることができる。

また、本発明の情報提示システムは、前記サーバ側位置情報取得部により取得された前記第２の通信端末の位置情報により示される位置が、前記第１の通信端末に基づいた所定範囲内である場合には、前記送信部は、前記第１の通信端末に前記第２の通信端末の位置情報を送信することが好ましい。

この発明によれば、第１の通信端末の所定範囲内にいる第２の通信端末を通知することができ、ユーザは、近傍にいるにもかかわらず、気が付か無いといったことを防止することができる。

また、本発明の情報提示システムにおいて、前記情報提示サーバは、前記サーバ側位置情報取得部が所定時間を超えても前記第２の通信端末の位置情報を取得できなかった場合には、前記ユーザデータ記憶部から前記第２の通信端末の位置情報を削除する削除部をさらに備えることが好ましい。

この発明によれば、所定時間位置情報の更新がされなかった場合には、その端末の位置情報を削除するものであり、これにより、いつまでも記憶しておくことが無くなり、メモリ効率を向上させることができる。

また、本発明の情報提示システムにおいて、前記情報提示サーバにおける送信部は、前記第２の通信端末の位置情報とともに前記第１の通信端末の周辺情報を送信し、前記第１の通信端末における前記表示部は、前記第２の通信端末のユーザデータを重畳表示するとともに、前記周辺情報を重畳表示することが好ましい。

この発明によれば、周辺情報に関する情報をも重畳して表示することで、より情報を多く提示することができ、使い勝手のよいサービスを提供することができる。

また、本発明の情報提示システムにおいて、前記第１の通信端末における第１位置情報取得部は、前記情報提示サーバに対して、前記第２の通信端末の位置情報の取得要求を行い、当該取得要求に対する返信として前記情報提示サーバから前記第２の通信端末の位置情報を取得することが好ましい。

また、本発明の情報提示システムにおいて、前記情報提示サーバにおける送信部は、前記第１の通信端末に対して定期的に前記第２の通信端末の位置情報を送信し、前記第１の通信端末の第１位置情報取得部は、前記送信部から送信された位置情報を受信することにより、前記第２の通信端末の位置情報を取得することが好ましい。

また、本発明は、以下の通り情報提示サーバおよび通信端末の発明として捉えることもできる。

すなわち、本発明の情報提示サーバは、定期的に第１の通信端末および第２の通信端末の位置情報を取得するサーバ側位置情報取得部と、前記サーバ側位置情報取得部により取得された前記第１の通信端末および前記第２の通信端末の位置情報を記憶するユーザデータ記憶部と、前記ユーザデータ記憶部に記憶された前記第２の通信端末の位置情報を、前記第１の通信端末に送信する送信部と、を備え、前記サーバ側位置情報取得部は、前記第２の通信端末が、前記第１の通信端末の視界に入らないと判断できる場合には、前記第２の通信端末の位置情報を所定の周期で取得するとともに、前記第２の通信端末が、前記第１の通信端末の視界に入いると判断できる場合には、前記第２の通信端末の位置情報を前記所定の周期よりも短い周期をもって取得する。

また、本発明の通信端末は、上記情報提示システムの第１の通信端末であって、実空間の映像を取得するカメラ部と、位置情報を取得する位置情報取得部と、通信網に接続して通信を行う通信部と、前記カメラ部により取得された映像を表示する表示部と、前記情報提示サーバにより送信された第２の通信端末の位置情報により示される位置が、前記カメラ部により取得された実空間の映像に含まれる位置である場合には、前記カメラ部により取得された映像に前記第２の通信端末のユーザを示すユーザデータを重畳して前記表示部に表示する制御部とを備える。

この発明によれば、移動する他ユーザに対する拡張現実感、および多様性にとんだ拡張現実感をユーザは得ることができる。よって、様々な情報をユーザは得ることができ、利便性の高いサービスを提供することができる。

本発明の実施形態にかかる拡張現実感システム１にかかる通信端末１００および拡張現実感サーバ３００の構成を概略的に示した図面である。 通信端末１００の機能ブロック図である。 拡張現実感サーバ３００の機能ブロック図である。 アイコンを重畳表示した画面例を示す図である。 情報バルーンを重畳表示した画面例を示す図である。 本実施形態にかかる拡張現実感システム１における通信端末１００側の動作を示したフローチャートである。 通信端末１００における更新処理の詳細処理を示すフローチャートである。 通信端末１００の位置情報の更新処理を示すフローチャートである。 図７におけるその変形例の処理を示すフローチャートである。 図８におけるその変形例の処理を示すフローチャートである。 拡張現実感サーバ３００の処理を示すフローチャートであって、図６における通信端末１００の初期登録リクエストを受信した場合の処理を示すフローチャートである。 図７におけるＳＴ１１１の他ユーザ情報の更新リクエストを受信した拡張現実感サーバ３００の処理を示すフローチャートである。 図８におけるＳＴ１８１の視界に入っていることの通知を受けた拡張現実感サーバ３００の処理を示すフローチャートである。 図８等におけるＳＴ１２１で通信端末１００から送信された位置情報を受信した拡張現実感サーバ３００の処理を示すフローチャートである。 ユーザＤＢ３１６に記憶されている他ユーザ情報を説明する説明図である。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明の実施形態にかかる拡張現実感システム１にかかる通信端末１００および拡張現実感サーバ３００の構成を概略的に示した図面である。通信端末１００および通信端末１００ａは、通信網１５０と接続して通信を行う携帯電話等のモバイル端末であって、後述するようにイメージ取得機能を備えたカメラ部および表示部を備えている。拡張現実感サーバ３００は、通信網１５０と接続されたネットワーク２００と接続されたサーバコンピュータシステムであり、同様にネットワーク２００と接続された外部サーバである地図情報サーバ３５１、経路情報サーバ３６１および位置情報コンテンツサーバ３７１ならびに通信端末１００と通信可能な構成となっている。

このような構成の拡張現実感システム１は、通信端末１００のユーザが実空間に向けたカメラで取得した画像に、拡張現実感サーバ３００が提供する拡張現実感情報を重畳することにより、ユーザに拡張現実感を与えるサービスを提供するものである。ここで、拡張現実感情報とは、建物、施設等の名称などの関連情報およびその位置情報を含んだ位置情報コンテンツであったり、他の通信端末１００ａ等の他ユーザ端末を特定するためのハンドル名およびその位置情報からなる他ユーザ情報であり、情報種別、位置情報、関連情報（またはハンドル名）を含んだ情報である。通信端末１００では、この拡張現実感情報に基づいて、対応するオブジェクト（アイコン、情報バルーン、サブウィンドウ）を実空間の映像に重畳表示することができる。なお、上述情報種別には、位置情報コンテンツであるか、他ユーザ情報であるか、またはそのほかであるかを区別するための情報のほか、建物の種類（レストラン、図書館、区役所など）を区別するための情報も含む。以下、通信端末１００、通信端末１００ａおよび拡張現実感サーバ３００について詳細に説明する。

まず通信端末１００および通信端末１００ａについて説明する。図２は本実施形態における通信端末１００の機能ブロック図である。この通信端末１００は、主として、端末の位置情報を取得する位置情報取得部１０１と、画面を表示する表示部１０２と、ユーザの入力を受け付ける入力部１０３と、端末が向いている方位を検出する方位センサ１０４と、通信網１５０と接続して通信を行う通信部１０５と、実空間の映像を取得するカメラ部１０６と、所定のプログラムおよびデータを記憶する記憶部１０７と、各部の動作を制御するとともに所定の情報処理を実現する制御部１０８とから構成されている。なお、他ユーザ端末となる通信端末１００ａは、通信端末１００とほぼ同様の構成をとることが好ましいが、少なくとも、定期的に位置情報を取得して、その位置情報を拡張現実感サーバ３００に送信する構成があればよい。

位置情報取得部１０１は、例えば、複数のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの電波を受信して、それらの強度から現在の位置情報を取得するＧＰＳモジュールを用いることができる。また、ＧＰＳ方式に加えて通信部１０５を介して通信網１５０と通信することにより端末の近くに存在する衛星の情報をアシストデータとして取得し、位置測位を行うＡＧＰＳ（Ａｓｓｉｓｔｅｄ Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）方式に対応したモジュールを利用すれば、位置情報をより高速かつ正確に取得することができるので好適である。ただし、位置情報取得システムはＧＰＳまたはＡＧＰＳを利用するものに限られるものではなく、ＧＰＳに依存することなく位置情報を取得する構成とすることも可能である。例えば、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ等の無線通信基地局を空間内に複数配設し、それらからの電波強度により位置情報を取得する方式を利用してもよいし、このような方式をＧＰＳないしはＡＧＰＳに併用する方式を利用することも可能である。

表示部１０２は、液晶表示装置または有機液晶表示装置であって、通信端末１００の動作状態、通信端末１００を操作するためのユーザインターフェイス等を制御部１０８の制御下で表示するものである。本実施形態にかかる拡張現実感システム１においては、後述する動作に従って、カメラ部１０６により取得した実空間の映像に拡張現実感サーバ３００から取得した拡張現実感情報に基づいたオブジェクトを重畳して表示することにより拡張現実感をユーザに提供する。

入力部１０３は、通信端末１００の筐体に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０８に通知され、種々の操作ないしは制御に利用される。

方位センサ１０４は、自分が向いている方向の姿勢・角度を検出し、それに相当する信号を制御部１０８に出力するモジュールである。制御部１０８は、方位センサ１０４の検出値からユーザが通信端末１００を保持している姿勢・角度を認識することが可能である。このような方位センサ１０４には複数の地磁気センサを組み合わせたものを利用することが可能であり、さらに地磁気センサに加えて複数の加速度センサを組み合わせたモーションセンサを用いてもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、また、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサ、また、加速度センサの代わりにジャイロを用いたもの等は、いずれもモーションセンサとして方位センサ１０４に利用することができる。このようにモーションセンサを利用した場合には、通信端末１００の姿勢・角度に関する情報だけでなく、ユーザが通信端末１００を動かしたり傾けたりした動作の向きおよび速さを検出することが可能となる。

通信部１０５は、通信網１５０と接続して、他の通信端末やサーバシステムと通信を行うためのモジュールである。ここでの通信としては、例えば、他の通信端末と通信接続して行う回線交換型通信、通信網１５０を介してネットワーク２００に接続されたサーバシステムと行うパケット交換型通信等を挙げることができる。また、ＡＧＰＳ方式により位置情報取得する場合には、通信部１０５は位置情報取得部１０１と協調動作して位置情報の取得を補助する。

カメラ部１０６は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。通信端末１００でデジタル画像を撮影する際には、起動されたカメラ部１０６は、通常、光学系の取得した被写体像から所定露光時間で受像素子によりデータを取得する処理を所定時間間隔で繰り返し、当該データを表示部１０２に表示することによりライブビュー機能を実現する。そして、その状態でユーザがさらに入力部１０３で所定の操作を行うことにより、カメラ部１０６は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは記憶部１０７に保存される。本実施形態にかかる拡張現実感システムは、上述のライブビュー機能により表示部１０２に表示される実空間映像に拡張現実感をもたらす情報を重畳するものである。

記憶部１０７は、所定の情報を制御部１０８の制御下で記憶し、また記憶している情報を制御部１０８に提供するためのメモリである。また、記憶部１０７は、制御部１０８で実行される種々のプログラムを記憶しており、制御部１０８はこれを適宜読み出して実行する。記憶部１０７は一様な構成である必要はなく、ＲＯＭ、ＲＡＭ、Ｆｌａｓｈ ＲＯＭ等の各種メモリを適宜組み合わせて構成することが可能であり、さらにＨＤＤのような二次記憶装置を組み合わせるようにしても構わない。なお、通信端末１００に付与され、端末を識別可能にした固有の端末ＩＤもその他のデータとともに記憶部１０７に記憶されている。

制御部１０８は、不図示のＣＰＵ上で記憶部１０７に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、通信端末１００の位置情報取得部１０１、表示部１０２、入力部１０３、方位センサ１０４、通信部１０５、カメラ部１０６および記憶部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、通信端末１００の各種機能を実現するものである。ここで、制御部１０８は、所定のプログラムを実行することにより本実施形態にかかる拡張現実感システム１のクライアント制御部として機能し、位置情報取得部１０１の取得した位置情報を通信部１０５から後述する拡張現実感サーバへ送信して現在位置周辺における拡張現実感情報をリクエストするとともに、拡張現実感サーバから取得した拡張現実感情報をカメラ部１０６の取得した実空間の映像に重畳して表示部に表示する処理を行うものである。以下、これらの機能について詳細に説明する。

まず、位置情報取得部１０１の取得した位置情報を通信部１０５から後述する拡張現実感サーバ３００へ送信して現在位置周辺における拡張現実感情報をリクエストする処理について説明する。この処理は、制御部１０８を拡張現実感システム１のクライアント制御部として機能させるためのプログラム起動後の初期化段階、前回拡張現実感情報を取得した地点から通信端末１００が所定値以上移動した（または、地図をマトリクス状に分割した場合におけるエリアを跨いだ）と位置情報から判断された場合、または、新たなカテゴリの拡張現実感情報を要求する場合に実行される。具体的には、制御部１０８がクライアント制御部として既知の拡張現実感サーバ３００に対して、端末ＩＤ、位置情報を送信するとともに、要求する拡張現実感情報の種別に応じた拡張現実感サーバ３００のＡＰＩをコールすることによりリクエストは行われる。このようなリクエストは、例えば通信端末１００と拡張現実感サーバ３００との通信をＨＴＴＰまたはＨＴＴＰＳで行う場合、ＧＥＴメソッドまたはＰＯＳＴメソッドを利用して実装することができる。また。要求する拡張現実感情報の種別によって他のパラメータを追加すれば、より適切な拡張現実感情報を取得可能な実装とすることができる。

例えば、拡張現実感情報として、他ユーザ端末を特定するための他ユーザ情報が挙げられる。すなわち、通信端末１００は、他ユーザ端末である通信端末１００ａの位置情報を含んだ他ユーザ情報の取得を要求し、拡張現実感サーバ３００では、定期的に取得されている通信端末１００ａの位置情報およびそのユーザを特定する情報（ハンドル名、ユーザＩＤ等）を返信することができる。また、他ユーザ端末のユーザを特定する情報とともに地図情報なども合わせて返信することができる。さらに、拡張現実感情報として地図情報を要求する場合には、要求する地図情報の範囲・縮尺をパラメータとして追加する構成としてもよい。また、拡張現実感情報として経路情報を要求する場合には、経路の終点に関する情報をパラメータとして追加する必要があり、希望する交通手段に関する情報をパラメータとして追加してもよい。さらに、位置情報コンテンツを要求する場合には、営業日・時間、フィルタリング条件、検索キーワード、カテゴリ等の条件をパラメータとして追加してもよい。

次に、拡張現実感サーバ３００から取得した拡張現実感情報をカメラ部１０６の取得した実空間の映像に重畳して表示部１０２に表示する処理について説明する。この処理では、拡張現実感情報のうち位置情報に関連付けられた情報を、実空間映像の位置情報に対応した箇所に重畳する。このような処理では、制御部１０８は、まず、方位センサ１０４の検出値からカメラの向いている姿勢・方向を導出し、カメラの水平方向視野角および垂直方向視野角からカメラの視野に入る拡張現実感情報を、拡張現実感サーバ３００から送信された、通信端末１００の所定範囲に位置する対象物（建物、他ユーザ端末など）を示すための拡張現実感情報から抽出する。すなわち、制御部１０８は、通信端末１００の所定範囲に位置する対象物の情報およびその位置情報を含んだ拡張現実感情報から、カメラ部１０６が撮影している撮影している範囲に位置している対象物の情報およびその位置情報を含んだ拡張現実感情報に絞り込む処理を行う。

続いて、通信端末１００の現在位置を原点とした座標空間に抽出された拡張現実感情報を配置したと想定して、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、透過投影された位置をもって表示位置とすることができる。ここで、透過投影する中心点の高さについては、ユーザが立った状態で通信端末１００を使用する状況を再現するために、１．５ｍ程度の高さとすることが好適である。また、通信端末１００が位置情報取得部１０１等により現在位置の高度情報を検出可能な場合には、検出された高度に応じた高さに中心点を設定してもよい。

上記処理の後、決定された表示位置に各拡張現実感情報を実空間映像に重畳して表示する処理を行う。このような処理についての制限は特にないが、各拡張現実感情報が所定位置に描画されて残部が透明の画面レイヤーを作成し、この画面レイヤーを実空間映像に重ねて表示部１０２に表示させることができ、これにより実空間映像の適切な位置に拡張現実感情報が表示される。この際、拡張現実感情報の表示は、アイコン、情報バルーン、サブウィンドウ等の態様が考えられるが、本実施形態では画面の煩雑化を回避するため、拡張現実感情報をアイコンで表示する。拡張現実感情報をアイコンとして表示することにより画面の煩雑化は避けられるが、画面に表示される情報量が減ってしまうため、例えば拡張現実感情報の種類に応じて外観の異なるアイコンを使い分けるようにしてもよい。この場合には、拡張現実感情報の情報種別に対応したアイコン（または情報バルーン）が予め設定されており、その情報種別に応じたアイコンが読み出され、表示される。

図４（ａ）、図４（ｂ）、および図４（ｃ）は、拡張現実感情報を丸形のアイコンで表示する画面の例を示したものであり、図４（ａ）は、カメラ部１０６の取得した実空間の映像を示し、図４（ｂ）は、前述の方法により各拡張現実感情報の表示位置を求めてアイコンを描画したイメージを示し、図４（ｃ）は、これらを重畳した画面である。図５（ａ）、（ｂ）、（ｃ）は、拡張現実感情報を情報バルーンで示した場合について同様に示したものである。図４および図５ともに、拡張現実感情報として建物等の示すアイコン・情報バルーンとともに、他ユーザ端末を表示している。

次に、拡張現実感サーバ３００について説明する。図３は、本実施形態における拡張現実感サーバ３００の機能ブロック図である。この拡張現実感サーバ３００は、Ｗｅｂサーバの常駐したサーバシステムであり、主として、通信部３０１（位置情報取得部、送信部）、サーバ制御部３１０（位置情報取得部、削除部）およびユーザＤＢ３１６（ユーザデータ記憶部）を有し、通信端末１００からのリクエストを通信網１５０およびネットワーク２００を介して受け付け、必要に応じてネットワーク２００に接続された地図情報サーバ３５１、経路情報サーバ３６１または位置情報コンテンツサーバ３７１からデータを取得して、拡張現実感情報として通信端末１００にレスポンスする処理を行う。

通信部３０１は、ネットワークに接続して通信端末１００、地図情報サーバ３５１、経路情報サーバ３６１および位置情報コンテンツサーバ３７１といった外部サーバと通信を行うネットワークモジュールであり、公知のものを使用することができる。

サーバ制御部３１０は、不図示のＣＰＵで所定のプログラムを実行することにより仮想的に構成される機能ブロックである。サーバ制御部３１０は、より詳細には、地図情報サーバ３５１から地図データを取得する地図データ取得部３１１、経路情報サーバ３６１から経路データを取得する経路データ取得部３１２、位置情報コンテンツサーバ３７１から位置情報コンテンツ取得部３１３およびユーザＤＢ３１６にアクセスするユーザデータ部３１５からなっている。これら地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３およびユーザデータ部３１５は、いずれも通信端末１００から送信されたリクエストに基づき、対応するＣＧＩプログラムである拡張現実感サーバＡＰＩを呼び出すことにより所定の処理を行うものである。サーバ制御部３１０は、地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３、およびユーザデータ部３１５により取得された地図情報、経路情報、位置情報コンテンツ、および他ユーザ情報を通信部３０１を用いて通信端末１００に送信する。以下、地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３、およびユーザデータ部３１５について詳細に説明する。

地図データ取得部３１１は、通信端末１００が地図データを要求した場合に呼び出されるＡＰＩであり、通信端末１００から送信された位置情報を中心とした所定範囲についての地図データを公開ＡＰＩを利用して地図情報サーバ３５１に要求する。これに応じて地図情報サーバ３５１が地図情報ＤＢ３５２から対応する地図データを抽出して拡張現実感サーバ３００に返信し、地図データ取得部３１１は取得した地図データを通信部３０１を介して、通信端末１００で表示可能なデータ形式として通信端末１００にリプライする。この際、通信端末１００が地図データをリクエストする際に、地図データの範囲および縮尺をパラメータとして指定している場合には、これらを指定して地図情報サーバ３５１が公開しているＡＰＩを呼び出す処理を行う。

経路データ取得部３１２は、通信端末１００が経路データを要求した場合に呼び出されるＡＰＩであり、通信端末１００が位置情報取得部１０１で取得された位置情報を始点として、併せて送信された位置情報を終点とした経路データを経路情報サーバ３６１に要求する。これに応じて経路情報サーバ３６１が経路情報ＤＢ３６２から対応する経路データを生成して拡張現実感サーバ３００に返信し、経路データ取得部３１２は、取得した経路データを、通信部３０１を介して通信端末１００で対応可能なデータ形式として通信端末１００にリプライする。この際、経路情報サーバ３６１が算出して総所要時間、総料金を経路データに付加してリプライしてもよい。

位置情報コンテンツ取得部３１３は、通信端末１００が位置情報コンテンツを要求した場合に呼び出されるＡＰＩである。ここで、位置情報コンテンツとは、駅、空港、港、バス停、インターチェンジ、サービスエリア、ガソリンスタンド、レストラン、居酒屋、コンビニ、デパート、病院、学校、信号、曲がり角、交差点について、それらの位置情報と関連付けられた当該施設の情報をいう。例えば、レストランに関しては、住所、電話番号、ファクス番号、メールアドレス、ホームページＵＲＬ、紹介文、営業時間情報、店舗画像等を含んだ位置情報コンテンツが、情報サービスプロバイダの提供するサービスで公開されている。

位置情報コンテンツ取得部３１３は、通信端末１００の位置情報取得部１０１が取得した位置情報を中心とした所定距離内に存在する位置情報コンテンツを、情報サービスプロバイダ等が公開している位置情報コンテンツサーバ３７１に要求する。これに応じて位置情報コンテンツサーバ３７１が位置情報コンテンツＤＢ３７２から条件を満たす位置情報コンテンツを抽出したリストを拡張現実感サーバ３００に返信し、位置情報コンテンツ取得部３１３は、取得した位置情報コンテンツを、通信部３０１を介して通信端末１００で利用可能なデータ形式として通信端末１００にリプライする。この際、位置情報コンテンツ取得部３１３は、複数の位置情報コンテンツサーバ３７１に対して位置情報を要求することができ、この場合に拡張現実感サーバ３００は複数の位置情報コンテンツサーバ３７１からのリストを共通フォーマットに統合して通信端末１００にリプライする。また、位置情報コンテンツの分野毎に利用する位置情報コンテンツサーバ３７１を登録しておけば、通信端末１００から要求のあった分野についてのみ位置情報コンテンツを要求することも可能である。

ユーザデータ部３１５は、ユーザＤＢ３１６から他ユーザ情報を取得する場合に呼び出されるＡＰＩであり、通信端末１００を中心に所定範囲に位置する他ユーザ端末である通信端末１００ａを抽出し、その他ユーザ端末を特定するための他ユーザ情報（ハンドル名、端末ＩＤおよび位置情報）である拡張現実感情報を通信端末１００に送信する部分である。抽出対象となる通信端末１００ａのハンドル名および位置情報は、ユーザＤＢ３１６に記憶されている。

ユーザＤＢ３１６には、全てのユーザ端末（通信端末１００、１００ａを含む）の位置情報および各種フラグ情報を記憶している。例えば、通信端末の端末ＩＤ（またはユーザＩＤ）、ユーザのハンドル名（またはユーザ名）、位置情報、他の通信端末からの視界に入っているか否かを示す視界フラグ情報、位置情報の公開の可否を示す公開フラグ情報が、記憶されている。図１５に、ユーザＤＢ３１６に記憶されている他ユーザ情報を説明する説明図を示す。図１５（ａ）は、各通信端末の位置情報等を記憶するデータベースを示し、図１５（ｂ）は、視界フラグが１である場合に、その対象となる視界端末を示す情報を含んだデータベースである。図１５（ａ）に示されているように、ユーザＤＢ３１６には、他のユーザの端末ＩＤ、位置情報、当該通信端末１００が他のユーザ端末の視界に入っているか否かを示す視界フラグ情報、公開の可否を示す公開フラグ情報が対応付けて記憶されている。この公開フラグ情報は各端末のユーザにより設定されたものであり、自身の位置情報とともにその公開の可否を示した情報を拡張現実感サーバ３００に送信する。拡張現実感サーバ３００では、その公開の可否を示した情報に基づいて公開フラグ情報の設定を行う。なお、上記に関わらず、公開フラグにて位置情報の公開を許可しない端末についてはユーザＤＢ３１６に登録しない構成とすることも可能である。

図１５（ａ）では、ユーザＡおよびユーザＢ（それぞれ端末ＩＤとしてもよい）並びにそれらユーザの位置情報と各種フラグ情報とが記憶されている。なお、フラグ情報は１がオン状態、０がオフ状態を示すものとし、視界フラグ情報が１である場合には、通信端末１００は他のユーザ端末（通信端末１００ａ）の視界に入っていることを示している。また、公開フラグ情報が１である場合には、そのユーザ端末の位置情報に対する公開が許可されていることを示している。

また、図１５（ｂ）では、ユーザＡは、ユーザＸ、Ｙ、Ｚの視界の範囲にいることが示されている。ここでは、例えば、ユーザＡが通信端末１００のユーザ、ユーザＸが通信端末１００ａのユーザである。

そして、通信端末１００ａから、通信端末１００が視界に入ったことを示す情報が拡張現実感サーバ３００に送信されると、図１５（ａ）に示されるデータベースにおける視界フラグ情報が１となり、図１５（ｂ）に示されるデータベースに、通信端末１００ａの端末ＩＤが記述されることになる。このデータベースについては、各ユーザ端末から視界に入っている端末の情報が送信される都度に更新を行う。そして、例えば図１５（ｂ）の状態で通信端末１００ａから通信端末１００が視界に入っていないことを示す情報が送信されると、このデータベースの通信端末１００の項から通信端末１００ａの端末ＩＤは削除される。そして、通信端末１００を視界に入れている端末が全て削除されると、通信端末１００について図１５（ａ）の視界フラグは１から０にされる。

また、ユーザデータ部３１５は、通信端末１００または他ユーザ端末である通信端末１００ａから所定時間位置情報の更新要求を受けなかった場合には、ユーザＤＢ３１６から当該通信端末１００に関する情報または他ユーザ端末に関する位置情報等を削除する。

これら他ユーザ情報も位置情報と関連付けられたコンテンツであり、他の位置情報コンテンツと等価に取り扱うことができる。すなわち、位置情報コンテンツ取得部３１３からの指示にしたがって、ユーザデータ部３１５は、通信端末１００の現在位置から所定距離内の位置情報に関連付けて記録されているユーザの端末ＩＤやハンドル名を要求し、ユーザＤＢ３１６から抽出した端末ＩＤやハンドル名のリストを通信端末１００に返信して拡張現実感サーバ３００から通信端末１００へ共通フォーマットでリプライすることにより、通信端末１００においては、他の位置情報コンテンツとともに他のユーザに対するコンテンツとして利用可能である。

以上説明したように、本実施形態における拡張現実感サーバ３００の地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３およびユーザデータ部３１５は、通信端末１００からの要求に応じて外部サーバないしユーザＤＢ３１６からデータを取得し、取得したデータを通信端末１００の制御部１０８で利用可能なフォーマットに共通化して提供するものである。なお、位置情報コンテンツ取得部３１３およびユーザデータ部３１５は、通信端末１００を中心に所定半径内に位置する対象物の位置情報コンテンツおよび他のユーザ端末である通信端末１００ａを抽出してもよいし、マトリクス状にエリアが区画されており、通信端末１００が位置するエリアを中心にした八方に位置する矩形のエリアに位置する通信端末１００ａを抽出するようにしてもよい。

以下、以上のように構成された拡張現実感システム１の動作についてフローチャートを参照しながら説明する。図６は、本実施形態にかかる拡張現実感システム１における通信端末１００側の動作を示したフローチャートである。

この動作では、ユーザが通信端末１００の入力部１０３を操作して拡張現実感プログラムを起動することにより開始され、まずカメラ部１０６が起動されて、方位センサ１０４が起動されて、その検出値より通信端末１００が向いている方向、ひいてはカメラ部１０６の向いている方向が認識可能な状態となり、ライブビュー動作が開始される。ライブビュー動作は、常法にしたがって、起動されたカメラ部１０６の光学系の取得した被写体像から所定露光時間で受像素子によりデータをなし、当該データを表示部１０２に表示する処理を所定時間間隔で繰り返すことにより行われる。（ＳＴ１０１）。

続いて位置情報取得部１０１が起動されて通信端末１００の現在位置にかかる位置情報が取得される（ＳＴ１０２）。ここで、必要に応じて、表示部１０２に要求する拡張現実感情報の種別を選択するためのメニュー画面が表示され、ユーザの入力により拡張現実感サーバ３００に要求する情報の種別が選択されてもよい。要求する拡張現実感情報の種別としては、他ユーザ情報、地図情報、位置情報コンテンツ、経路情報などを挙げることができる。

なお、ここではメニュー画面を表示してユーザに拡張現実感情報の種別を選択させる構成としたが、建物の名称などの位置情報コンテンツを取得する動作をデフォルトの設定としてもよく、この場合にはメニュー画面を表示したりユーザに情報の種別を選択させる必要はない。要求する拡張現実感情報の種別が確定されると、表示部１０２にパラメータ入力画面が表示され、ユーザにより拡張現実感情報を要求する際のパラメータが入力される。ここでも、拡張現実感情報の種別によってデフォルトのパラメータを設定してもよく、そのような場合にはパラメータ入力画面の表示を省略することも可能である。

以上のようにして、拡張現実感サーバ３００に要求する拡張現実感情報の種別およびパラメータが確定すると、通信端末１００における通信部３０１は位置情報取得部１０１が取得した位置情報、および選択した種別の拡張現実感情報を要求するリクエストを拡張現実感サーバ３００に送信する（ＳＴ１０３）。

その後、拡張現実感サーバ３００側の処理を経て、通信端末１００は拡張現実感情報を取得すると、その拡張現実感情報を記憶部１０７は記憶する（ＳＴ１０４）。そして、その時点におけるカメラ視界を求めるために方位センサ１０４の検出値から算出することによりカメラが撮影している方向を取得し、取得したカメラが撮影している方向の情報と、カメラの水平視野角度および垂直視野角度からカメラの視野に入る拡張現実感情報が制御部１０８により判定される（ＳＴ１０５）。

続いて、通信端末１００の現在位置を原点とした座標空間に抽出された拡張現実感情報を配置したと想定して、制御部１０８は、原点の所定高さを中心点としてカメラの水平方向視野角および垂直方向視野角ならびに映像サイズに基づいて原点から所定距離に定まる矩形平面に各拡張現実感情報を透過投影する処理を行い、矩形平面上に透過投影された位置をもって表示位置とすることにより拡張現実感情報の表示位置を算出する（ＳＴ１０６）。そして、制御部１０８は、表示部１０２の当該描画位置に拡張現実感情報によるオブジェクト（アイコン、情報バルーン等）を描画し、ライブビュー画像に重畳して表示する（ＳＴ１０７）。

このように通信端末１００においては、拡張現実感サーバ３００から他ユーザ情報を含んだ拡張現実感情報を取得して、カメラ部１０６における撮影方向、水平方向視野角等に基づいて複数ある拡張現実感情報からいくつかの拡張現実感情報を絞り込み、その表示位置を算出して拡張現実感情報によるオブジェクトの表示処理を行うことができる。

つぎに、図６に示された初期登録処理が行われた後における更新処理について説明する。図７は、通信端末１００における更新処理の詳細処理を示すフローチャートである。まず、通信端末１００の制御部１０８にてタイマＴ１およびタイマＴ２が０にセットされ、カウントが開始される（ＳＴ１０８）。

そして、ユーザが入力部１０３を操作することによる終了指示がなされるまで、以下の処理が行われる（ＳＴ１０９）。まず、タイマＴ１が、規定値ｎ１より大きいか否かが判断される（ＳＴ１１０）。ここでタイマＴ１が規定値ｎ１より大きいと制御部１０８により判断されると、制御部１０８による制御により通信部１０５から他ユーザ情報の更新リクエスト、すなわち他のユーザ端末である通信端末１００ａの位置情報の更新リクエストが拡張現実感サーバ３００に送信される（ＳＴ１１１）。

拡張現実感サーバ３００では通信端末１００ａの位置の確認が行われ、その返信として他ユーザ情報の位置情報等が含まれた更新リストが受信され、記憶部１０７に記憶される（ＳＴ１１２）。そして、更新された他ユーザ情報からカメラ部１０６の撮影範囲である視界に入るユーザ端末が制御部１０８により抽出される（ＳＴ１１３）。そして、制御部１０８によりカメラの視界に入ると判定された他ユーザ情報の表示位置が算出される（ＳＴ１１４）。つぎに、表示中の他ユーザ情報がクリアされ（ＳＴ１１５）、制御部１０８により、算出された表示位置に他ユーザ情報によるオブジェクト（アイコン、情報バルーン等）が再描画される（ＳＴ１１６）。そして、タイマＴ１が０にリセットされ、カウントが開始される（ＳＴ１１７）。このようにして、他ユーザ端末の情報である他ユーザ情報が更新処理される。

ＳＴ１１０に戻り、ＳＴ１１０において、タイマＴ１が規定値ｎ１以下であると判断されると、タイマＴ２が規定値ｎ２より大きいか否かが判断される（ＳＴ１１８）。ここで、制御部１０８により、タイマＴ２が規定値ｎ２より大きいと判断されると、通信端末１００自身の位置情報の更新処理が行われる（ＳＴ１３０）。このようにして、タイマＴ１およびタイマＴ２を用いて、所定周期ごとに、他ユーザ端末の位置情報の更新処理および自装置の位置情報の更新処理が行われる。

つぎに、通信端末１００自身の位置情報の更新処理について詳細に説明する。図８は、通信端末１００の位置情報の更新処理を示すフローチャートである。

図７において、タイマＴ２が規定値ｎ２より大きいと判断されると、通信端末１００の位置情報の取得が位置情報取得部１０１により行われ（ＳＴ１１９）、取得された位置情報は拡張現実感サーバ３００に送信される（ＳＴ１２０）。拡張現実感サーバ３００では、送信された位置情報に基づいて拡張現実感情報を再構成する。通信端末１００では、そのリプライが通信部１０５により受信され（ＳＴ１２１）、そのリプライの中に拡張現実感情報が含まれているか否かが判断される（ＳＴ１２２）。

ここで、制御部１０８により含まれていると判断されると（ＳＴ１２２：ＹＥＳ）、拡張現実感情報リストが更新される（ＳＴ１２３）。そして、カメラ部１０６における視界に入る拡張現実感情報の表示位置は制御部１０８により算出される（ＳＴ１２４）。表示部１０２において表示中の拡張現実感情報がクリアされ（ＳＴ１２５）、算出された表示位置に拡張現実感情報によるオブジェクトが再描画される（ＳＴ１２６）。そして、タイマＴ２は、０にリセットされ、カウントが再開される（ＳＴ１２７）。

このようにして、通信端末１００における位置情報の更新処理に伴う拡張現実感情報の更新処理が行われる。

つぎに、図７および図８における各更新処理における変形例について説明する。図９は、その変形例の処理を示すフローチャートである。図９においては、ＳＴ１０８からＳＴ１１６までは図７と同じ処理であり、タイマＴ１が規定値ｎ１より大きい場合には、他ユーザ情報の更新処理のためのリクエスト処理を行い、新たな他ユーザ情報を取得し、他ユーザ情報によるオブジェクトを再描画する（ＳＴ１０８〜ＳＴ１１６）。そして、制御部１０８により、視界に入っている他ユーザ端末が決定され、その他ユーザ端末は拡張現実感サーバ３００に通知される（ＳＴ１８１）。そして、タイマＴ１は０にリセットされ、再度カウントが開始される（ＳＴ１１７）。また、ＳＴ１１８において、タイマＴ２が規定値ｎ２より大きい場合には、図８と同様に、自装置の位置情報の更新処理が行われる（ＳＴ１３０）。

このＳＴ１３０における詳細は、図１０に示すとおりである。ここでは、ＳＴ１１９からＳＴ１２６までの処理は、図８と同じである。なお、この変形例においては、ＳＴ１２１においては、拡張現実感情報のリストを含んだもの、および他ユーザの視界に入っていることを含んだものの２回のリプライを受信する場合があり得る。

ＳＴ１２２において、拡張現実感情報がリプライに含まれていた場合（ＳＴ１２２：Ｎｏ）、または、再描画（ＳＴ１２６）後には、通信端末１００が他ユーザ端末の視界に入っているかが、制御部１０８により判断される（ＳＴ１８２）。そして、視界に入っていると判断されると、規定値ｎ２は初期値により小さい値である短縮値に設定される。そして、通信端末１００は、その規定値ｎ２に基づいてタイマＴ２に基づいた処理を実行する。また、ＳＴ１８２において、他ユーザ端末の視界に入っていないと判断されると（ＳＴ１８２：Ｎｏ）、規定値ｎ２の値は標準値、すなわち初期値に戻す、または初期値のままとする（ＳＴ１８４）。

このように、通信端末１００が他ユーザ端末により見られているか否か、すなわち、カメラによる視界に入っているか否かに基づいて、自己の位置情報更新の周期を変えることができる。これにより、他ユーザ端末により見られている場合にはその位置情報更新の周期を小さくし、頻繁に更新処理を行うようにすることで、他ユーザ端末においては、通信端末１００の位置をより正確に把握することができる。

図１１は、拡張現実感サーバ３００の処理を示すフローチャートであって、図６における通信端末１００の初期登録リクエストを受信した場合の処理を示すフローチャートである。

拡張現実感サーバ３００側では、通信端末１００から送信された位置情報と、選択した種別の拡張現実感情報を要求するリクエストをパラメータとともに受信すると（ＳＴ２０１）、まずその通信端末１００のユーザが位置情報の公開を許可しているかがサーバ制御部３１０により判断され、許可している場合には、ユーザデータ部３１５によりユーザＤＢ３１６に端末ＩＤおよび位置情報が登録される（ＳＴ２０３）。そして、要求する拡張現実感情報に応じたＣＧＩが実行されて（ＳＴ２０４）、外部サーバである地図情報サーバ３５１、経路情報サーバ３６１および位置情報コンテンツサーバ３７１のいずれか、またはユーザＤＢ３１６にデータ要求のリクエストが発行される（ＳＴ２０５）。

このリクエストに応じて外部サーバまたはユーザＤＢ３１６からデータを、通信部３０１が受信すると（ＳＴ２０６）、拡張現実感サーバ３００は、受信したデータの形式を共通化して通信端末で利用可能な形態として拡張現実感情報のリストを作成し（ＳＴ２０７）、形式の共通化されたデータを含んだ拡張現実感情報リストを通信端末１００に送信する（ＳＴ２０８）。

上述したように、本実施形態においては、通信端末１００の位置情報を端末ＩＤおよびユーザのハンドル名とともにユーザＤＢ３１６に登録し、これを位置情報コンテンツとともに拡張現実感情報として利用する。これにより拡張現実感システム１を利用しているユーザは、同じく拡張現実感システム１を利用している別ユーザの存在を、実空間の映像を表示している表示部１０２上に重畳された情報により知ることができる。

つぎに、図７におけるＳＴ１１１の他ユーザ情報の更新リクエストを受信した拡張現実感サーバ３００の処理について説明する。図１２は、その処理を示すフローチャートである。通信部３０１により他ユーザ情報更新リクエストが受信される（ＳＴ２１１）。そして、他ユーザの位置情報で示される位置が通信端末１００の周辺である他ユーザ端末が、ユーザデータ部３１５によりユーザＤＢ３１６から抽出される（ＳＴ２１２）。そして、抽出された他ユーザ端末を示す他ユーザ情報は、その位置情報とともにリスト化されて通信端末１００にリプライされる（ＳＴ２１３）。

また、図８におけるＳＴ１８１の視界に入っていることの通知を受けた拡張現実感サーバ３００の処理について説明する。図１３は、その処理を示すフローチャートである。

通信端末１００からカメラ視界に入っている他ユーザ端末の情報が通信部３０１により受信される（ＳＴ２１４）。そして、当該他ユーザ端末について、サーバ制御部３１０により、ユーザＤＢ３１６に、通信端末１００は他ユーザ端末の視界に入っていることを示す視界フラグ情報として１が記述され、その他のユーザ端末の端末ＩＤが記述される（ＳＴ２１５）。なお、定期的にＳＴ２１４の処理が行われることで、他ユーザ端末の情報は定期的に書き換えられることになる。すなわち、視界に入らなくなった場合には、その他ユーザ端末は、当該情報に含まなくなるため、ユーザＤＢ３１６におけるデータベースは、当該含まれていない他ユーザ端末がいない状態で更新されることになる。例えば、図１５（ｂ）に示されるデータベースは、視界からいなくなった端末については記述されなくなる。

このようにして、他ユーザ端末の視界に入っているか否かが視界フラグ情報で管理することができ、その視界フラグ情報に基づいて位置情報の更新頻度を変更することができる。

つぎに、図８等におけるＳＴ１２１で通信端末１００から送信された位置情報を受信した拡張現実感サーバ３００の処理について説明する。図１４は、その処理を示すフローチャートである。

通信部３０１により、位置情報およびその更新リクエストが受信される（ＳＴ３０１）。そして、その位置情報が、所定のエリアを越えて移動したかがサーバ制御部３１０により判断される（ＳＴ３０２）。ここでは、マトリクス状に区切られたエリアに通信端末１００が位置している場合を想定している。

そして、ここでエリアを跨いで移動したと判断されると、外部サーバ（地図情報ＤＢ３５２、経路情報ＤＢ３６２、位置情報コンテンツＤＢ３７２）およびユーザＤＢ３１６に対して、地図データ取得部３１１、経路データ取得部３１２、位置情報コンテンツ取得部３１３、ユーザデータ部３１５によりデータ要求がなされ（ＳＴ３０３）、その返信として各種データが受信される（ＳＴ３０４）。受信された各種データに基づいて拡張現実感情報のリストがサーバ制御部３１０により作成され（ＳＴ３０５）、拡張現実感情報リストおよびその更新指示が通信端末１００にリプライされる（ＳＴ３０６）。

つぎに、通信端末１００自身の位置情報の公開が許可されているか否かが、サーバ制御部３１０によりユーザＤＢ３１６に基づいて判断される（ＳＴ３０７）。ここで許可されていると判断されると、受信した位置情報によりユーザＤＢ３１６は更新される（ＳＴ３０８）。そして、他ユーザ端末の視界に入っているか否かが判断され（ＳＴ３０９）、他ユーザの視界に入っている場合には、その旨が、リプライされる（ＳＴ３１０）。

以上のような処理により、本実施形態の拡張現実感システム１は、通信端末１００のカメラ部１０６が取得した実空間の映像に、拡張現実感サーバが外部サーバより取得した各種情報を重畳して表示することによって、ユーザに拡張現実感を提供するものである。本実施形態の拡張現実感システム１は、上述したように外部サーバより取得した情報を拡張現実感に利用するので、拡張現実感情報を事前にサーバや記録装置に格納しておく必要がなく、既存する情報サービスプロバイダの情報を利用して多様性に富んだ拡張現実感を提供することが可能である。また、各通信端末の位置情報を利用することにより、実空間映像上の通信端末が存在する地点にアイコンや情報バルーンが表示されるため、これに基づきユーザ間で互いの位置を知ることができ、従来にない態様の拡張現実感をユーザに提供することができる。

なお、本発明の拡張現実感システムは、上記実施形態に限られるものではなく、種々変形が可能である。たとえば通信端末１００のカメラ部１０６の視界に入らない周辺一帯の情報を知りたい場合には、地図情報を表示部に表示した上に拡張現実感情報を重畳した画面に切り替えられるように構成してもよい。

また、上述の例では、通信端末１００および通信端末１００ａが自発的に拡張現実感サーバ３００に対して位置情報の更新リクエストを送信したり、他ユーザ端末の更新要求を行い、その返信を受信する、いわゆるプル型配信の構成をとっているが、これに限定するものではなく、拡張現実感サーバ３００において自発的に各通信端末１００、１００ａの位置情報を収集し、ユーザＤＢ３１６を更新することで、いわゆるプッシュ型の配信構成をとるようにしてもよい。

さらに、上記では通信端末１００が他ユーザ端末のカメラ視界に入っている場合に通信端末１００が位置情報を更新する周期を短縮したが、他ユーザ端末から指定された場合に通信端末１００の位置情報更新周期を短縮してもよい。ここで他ユーザ端末から通信端末１００を指定する方法としては、ハンドル名、ユーザＩＤまたは端末ＩＤを指定する方法であってもよいし、表示部１０２に表示されたアイコン、情報バルーン等を選択する方法であっても構わない。

さらにまた、タクシー、バス、電車等の移動体に使用される車載機を上述した他ユーザ端末１００ａと同様の構成とし、その位置情報をＤＢに随時登録すれば、通信端末１００に拡張現実感サーバ３００経由でこれら移動体の情報を取得させ、実空間映像の対応する箇所に重畳して表示させることも可能である。

つぎに、本実施形態の拡張現実感システム１の作用効果について説明する。この拡張現実感システム１は、第１の通信端末となる通信端末１００、多ユーザ端末であって第２の通信端末となる通信端末１００ａ、および情報提示サーバとしての機能を有する拡張現実感サーバ３００を含んだものである。

通信端末１００は、実空間の映像を取得するカメラ部１０６と、位置情報を取得する位置情報取得部１０１と、通信網に接続して通信を行う通信部１０５と、前記カメラ部１０６により取得された映像を表示する表示部１０２とを備えている。また、通信端末１００ａは、通信端末１００と同様の構成をとることが好ましいが、少なくとも、位置情報を取得する位置情報取得部１０１と、通信網に接続して通信を行う通信部１０５と、を備える。

そして、このような各端末と通信する拡張現実感サーバにおいては、サーバ制御部３１０が、通信部３０１を介して当該通信端末１００ａから定期的に送信される位置情報を取得する。取得された通信端末１００ａの位置情報はユーザＤＢ３１６に記憶される。そして、ユーザＤＢ３１６に記憶された通信端末１００ａの位置情報は、通信端末１００からの要求にしたがって送信される。

通信端末１００では、拡張現実感サーバ３００から送信された他ユーザ端末である通信端末１００ａの位置情報（他ユーザ情報）により示される位置が、カメラ部１０６により取得された実空間の映像に含まれる位置である場合には、カメラ部１０６により取得された映像に通信端末１００ａのユーザを示すアイコン、情報バルーン等の他ユーザ情報に基づいて構成されたオブジェクトを重畳して表示することができる。

これにより、移動する他ユーザに対する拡張現実感、および多様性にとんだ拡張現実感をユーザは得ることができる。よって、様々な情報をユーザは得ることができ、利便性の高いサービスを提供することができる。

ここでユーザＤＢ３１６では、通信端末１００ａを識別可能な端末ＩＤが、その位置情報とともに複数記憶されている。これにより端末の管理を容易なものとしている。

また、拡張現実感サーバ３００において受信された他ユーザ端末である通信端末１００ａの位置情報により示される位置が、通信端末１００の所定範囲内である場合には、ユーザデータ部３１５は、ユーザＤＢ３１６から対応する通信端末１００ａの位置情報を抽出し、通信部３０１は通信端末１００に通信端末１００ａの位置情報を送信する。これにより近傍にいる通信端末１００ａの位置情報を送信することができる。

また、拡張現実感サーバ３００において、他ユーザ端末である通信端末１００ａが通信端末１００のユーザの視界（カメラ部１０６による撮影範囲）にいる場合には、その他ユーザ端末である通信端末１００ａの位置情報を所定周期で取得する。一方、そうではない場合には、その所定周期より長い周期で取得する。本実施形態では、通信端末１００ａにおいて、視界フラグ情報を用いることで、位置情報の更新周期を変えることで、視界にいるときは頻繁に位置情報を更新させている。これにより、より詳細な位置情報の遷移をユーザは知ることができる。例えば、いなくなったのにもかかわらず、画面上に表示されているといったことを防止することができる。なお、拡張現実感サーバ３００において、位置情報の取得周期をかえるようにしてもよい。すなわち、拡張現実感サーバ３００において所定周期ごとに各端末に対して位置情報のリクエストを送信するようにしてもよい。

また、拡張現実感サーバ３００において、所定時間位置情報の更新がされなかった場合には、その端末の位置情報を削除するものであり、これにより、いつまでも記憶しておくことが無くなり、メモリ効率を向上させることができる。

また、拡張現実感サーバ３００において、位置情報コンテンツ、地図情報などの周辺情報に関する情報をも重畳して表示することで、より情報を多く提示することができ、使い勝手のよいサービスを提供することができる。

１００…通信端末、１００ａ…通信端末、１０１…位置情報取得部、１０２…表示部、１０３…入力部、１０４…方位センサ、１０５…通信部、１０６…カメラ部、１０７…記憶部、１０８…制御部、１５０…通信網、２００…ネットワーク、３００…拡張現実感サーバ、３０１…通信部、３１０…サーバ制御部、３１１…地図データ取得部、３１２…経路データ取得部、３１３…位置情報コンテンツ取得部、３１５…ユーザデータ部、３５１…地図情報サーバ、３６１…経路情報サーバ、３７１…位置情報コンテンツサーバ、３７２…位置情報コンテンツＤＢ、３１６…ユーザＤＢ、３５２…地図情報ＤＢ、３６２…経路情報ＤＢ、３７２…位置情報コンテンツＤＢ。

Claims (10)

1. 実空間の映像を取得するカメラ部と、位置情報を取得する第１位置情報取得部と、通信網に接続して通信を行う通信部と、前記カメラ部により取得された映像を表示する表示部とを備えた第１の通信端末と、
   位置情報を取得する第２位置情報取得部と、通信網に接続して通信を行う通信部と、を備えた第２の通信端末と、
   前記第１の通信端末および前記第２の通信端末および外部サーバと通信を行う通信部を備えた情報提示サーバとからなる情報提示システムであって、
   前記情報提示サーバは、さらに
   定期的に前記第１の通信端末および前記第２の通信端末の位置情報を取得するサーバ側位置情報取得部と、
   前記サーバ側位置情報取得部により取得された前記第１の通信端末および前記第２の通信端末の位置情報を記憶するユーザデータ記憶部と、
   前記ユーザデータ記憶部に記憶された前記第２の通信端末の位置情報を、前記第１の通信端末に送信する送信部と、を備え、
   前記サーバ側位置情報取得部は、
   前記第２の通信端末が、前記第１の通信端末の視界に入らないと判断できる場合には、前記第２の通信端末の位置情報を所定の周期で取得するとともに、
   前記第２の通信端末が、前記第１の通信端末の視界に入いると判断できる場合には、前記第２の通信端末の位置情報を前記所定の周期よりも短い周期をもって取得し、
   前記第１の通信端末における表示部は、
   前記情報提示サーバにおける前記送信部により送信された第２の通信端末の位置情報により示される位置が、前記カメラ部により取得された実空間の映像に含まれる位置である場合には、前記カメラ部により取得された映像に前記第２の通信端末のユーザを示すユーザデータを重畳して表示することを特徴とする情報提示システム。
2. 前記第１の通信端末における表示部は、前記第２の通信端末の位置情報に応じた位置に前記ユーザデータを重畳して表示することを特徴とする請求項１に記載の情報提示システム。
3. 前記サーバ側位置情報取得部は、
   前記第２の通信端末を識別可能なＩＤを位置情報とともに取得するとともに、
   前記ユーザデータ記憶部は、前記ＩＤを位置情報とともに記憶することを特徴とする請求項１または２に記載の情報提示システム。
4. 前記サーバ側位置情報取得部により取得された前記第２の通信端末の位置情報により示される位置が、前記第１の通信端末に基づいた所定範囲内である場合には、前記送信部は、前記第１の通信端末に前記第２の通信端末の位置情報を送信することを特徴とする請求項１から３のいずれか一項に記載の情報提示システム。
5. 前記情報提示サーバは、
   前記サーバ側位置情報取得部が所定時間を超えても前記第２の通信端末の位置情報を取得できなかった場合には、前記ユーザデータ記憶部から前記第２の通信端末の位置情報を削除する削除部をさらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の情報提示システム。
6. 前記情報提示サーバにおける送信部は、前記第２の通信端末の位置情報とともに前記第１の通信端末の周辺情報を送信し、
   前記第１の通信端末における前記表示部は、前記第２の通信端末のユーザデータを重畳表示するとともに、前記周辺情報を重畳表示することを特徴とする請求項１から５のいずれか一項に記載の情報提示システム。
7. 前記第１の通信端末における第１位置情報取得部は、
   前記情報提示サーバに対して、前記第２の通信端末の位置情報の取得要求を行い、当該取得要求に対する返信として前記情報提示サーバから前記第２の通信端末の位置情報を取得することを特徴とする請求項１から６のいずれか一項に記載の情報提示システム。
8. 前記情報提示サーバにおける送信部は、
   前記第１の通信端末に対して定期的に前記第２の通信端末の位置情報を送信し、
   前記第１の通信端末の第１位置情報取得部は、
   前記送信部から送信された位置情報を受信することにより、前記第２の通信端末の位置情報を取得することを特徴とする請求項１から７のいずれか一項に記載の情報提示システム。
9. 定期的に、カメラ部を有する第１の通信端末および第２の通信端末の位置情報を取得するサーバ側位置情報取得部と、
   前記サーバ側位置情報取得部により取得された前記第１の通信端末および前記第２の通信端末の位置情報を記憶するユーザデータ記憶部と、
   前記ユーザデータ記憶部に記憶された前記第２の通信端末の位置情報を、前記第１の通信端末に送信する送信部と、を備え、
   前記サーバ側位置情報取得部は、
   前記第２の通信端末が、前記第１の通信端末の視界に入らないと判断できる場合には、前記第２の通信端末の位置情報を所定の周期で取得するとともに、
   前記第２の通信端末が、前記第１の通信端末の視界に入いると判断できる場合には、前記第２の通信端末の位置情報を前記所定の周期よりも短い周期をもって取得することを特徴とする情報提示サーバ。
10. 実空間の映像を取得するカメラ部と、位置情報を取得する位置情報取得部と、通信網に接続して通信を行う通信部と、前記カメラ部により取得された映像を表示する表示部とを備えた第１の通信端末と、
    位置情報を取得する位置情報取得部と、通信網に接続して通信を行う通信部と、を備えた第２の通信端末と、
    前記第１の通信端末および前記第２の通信端末および外部サーバと通信を行う通信部を備えた情報提示サーバとからなる情報提示システムの情報提示方法であって、
    前記情報提示サーバは、
    定期的に当該第２の通信端末の位置情報を取得する位置情報取得ステップと、
    前記位置情報取得ステップにより取得された前記第２の通信端末の位置情報をユーザデータ記憶部に記憶するユーザデータ記憶ステップと、
    前記ユーザデータ記憶部に記憶された前記第２の通信端末の位置情報を、前記第１の通信端末に送信する送信ステップと、を備え、
    前記位置情報取得ステップは、
    前記第２の通信端末が、前記第１の通信端末の視界に入らないと判断できる場合には、前記第２の通信端末の位置情報を所定の周期で取得するとともに、
    前記第２の通信端末が、前記第１の通信端末の視界に入いると判断できる場合には、前記第２の通信端末の位置情報を前記所定の周期よりも短い周期をもって取得し、
    前記第１の通信端末における表示部は、
    前記情報提示サーバにおける前記送信ステップにより送信された第２の通信端末の位置情報により示される位置が、前記カメラ部により取得された実空間の映像に含まれる位置である場合には、前記カメラ部により取得された映像に前記第２の通信端末のユーザを示すユーザデータを重畳して表示する表示ステップを備えることを特徴とする情報提示方法。