JP5432000B2 - 情報提示システム及びプログラム - Google Patents

Description

本発明は、撮影機能付携帯端末装置で現実空間を撮影している時に、その携帯端末装置の位置及び向きに応じて、位置に関連付けられた情報をその携帯端末装置に提示する情報提示システム及びそのシステムに使用するプログラムに関する。

近年、現実空間と仮想空間との結合を目的とした、拡張現実感に関する研究が盛んに行われている。拡張現実感の提示を行う情報提示システムは、ビデオカメラ等の撮影装置によって撮影された現実空間の画像に、撮影装置の位置及び向きに応じて生成した仮想空間の画像を付加した画像を表示する装置として実現することができる（特許文献１参照）。また、カメラ付携帯電話機等の撮影機能付携帯端末装置の位置及び向きに応じてサーバ（情報提示装置）で生成した仮想空間の画像を撮影機能付携帯端末装置のディスプレイに表示するシステムとして実現することもできる（特許文献２参照）。仮想空間の画像としては、例えばコンピュータ・グラフィックスにより描画された仮想物体や文字情報等が用いられる。

これらの仮想物体や文字情報は、現実空間の様々な位置に存在する店舗、施設、人工公物（道路、橋など）、自然公物（河川、湖沼など）等に関する情報、即ち位置に関連付けられた情報であり、この情報を提示することにより、ユーザは現実空間の画像の外観から得られる情報以上の情報を得ることが出来る。

しかしながら、従来の情報提示システムでは、現実空間の画像に付加する仮想空間の画像は、撮影中の方位（画角）の範囲内に存在する店舗や施設等に関連するものであるため、ユーザにとって重要な情報が撮影された現実空間から非常に近い位置に存在するとしても、その現実空間外、例えば後方や側方に存在する店舗や施設等に関する情報を得ることが出来ないという問題がある。

特許第３７０００２１号公報 特開２００６−１０５６４０号公報

本発明は、このような問題を解決するためになされたものであり、その目的は、撮影機能付携帯端末装置で現実空間を撮影している時に、その携帯端末装置の位置及び向きに応じて、位置に関連付けられた情報を情報提示装置から携帯端末装置に提示する情報提示システムにおいて、撮影中の現実空間の方位の範囲よりも広い範囲の位置に関連付けられた情報を提示出来るようにすることである。

本発明は、撮影機能付携帯端末装置で現実空間を撮影している時に、その携帯端末装置の位置及び向きに応じて、位置に関連付けられた情報を情報提示装置から携帯端末装置に提示する情報提示システムであって、前記携帯端末装置は、情報を表示する情報表示部と、撮影部と、自身の向いている方向を検出し、検出結果として方位情報を生成する方位情報生成部と、自身の位置を検出し、検出結果として位置情報を生成する位置情報生成部と、前記方位情報生成部で生成された方位情報及び前記位置情報生成部で生成された位置情報を前記情報提示装置へ送信する端末情報送信手段とを有し、前記情報提示装置は、前記携帯端末装置の撮影部の仕様に関する情報が予め保存されている端末装置情報データベースと、位置に関連付けられた情報が予め保存されている位置関連情報データベースと、前記携帯端末装置から送信された方位情報及び位置情報を受信する受信手段と、その受信された方位情報と、前記端末装置情報データベースに格納されている情報とに基づいて、前記撮影部の撮影方位の範囲を示す撮影範囲情報を取得する撮影範囲情報取得手段と、前記受信された位置情報の示す位置から所定の距離内であり、かつ前記取得された撮影範囲情報の示す方位よりも広い方位の位置に関連付けられた情報を前記位置関連情報データベースから検索する位置関連情報検索手段と、その位置関連情報検索手段で検索された情報を前記携帯端末装置へ送信する位置関連情報送信手段とを有することを特徴とする情報提示システムである。

［作用］
本発明によれば、携帯端末装置の情報表示部には、携帯端末装置の現在位置から所定の距離内であり、かつ撮影部で撮影中の方位の範囲よりも広い範囲の位置に関連付けられた情報が表示される。

本発明によれば、情報提示装置は携帯端末装置に対して、携帯端末装置で撮影中の現実空間の方位の範囲よりも広い範囲の位置に関連付けられた情報を提示することが出来る。

本発明の実施形態の情報提示システムを示す図である。 図１における携帯端末装置のブロック図である。 図１における情報提示装置のブロック図である。 本発明の実施形態における位置に関連付けられた情報のデータ構造を示す図である。 本発明の実施形態の情報提示システムの動作を示すフローチャートである。 本発明の実施形態における位置に関連付けられた情報の検索結果を説明するための図である。 本発明の実施形態の携帯端末装置に表示される画像の一例を示す図である。

以下、本発明を実施するための形態について図面を参照して説明する。
〈情報提示システムの構成〉
図１は本発明の実施形態の情報提示システムを示す図である。この情報提示システムは、インターネット等のネットワーク１に接続される情報提示装置２と、基地局３経由でネットワーク１に接続される携帯端末装置４からなる。携帯端末装置４は撮影機能、位置測定機能、及び通信機能を有する携帯機器であれば何でもよく、例えばデジタルカメラ、カメラ付の、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ＰＮＤ（Personal Navigation Device）、携帯ゲーム機などである。携帯端末装置４と情報提示装置２とは、基地局３及びネットワーク１を介して通信可能である。

〈携帯端末装置の構成〉
図２は携帯端末装置４の電気的構成を示すブロック図である。この携帯端末装置４は制御部４１、操作部４２、表示部４３、撮影部４４、ＧＰＳ受信部４５、方位検出部４６、及び無線通信部４７を備えている。

制御部４１は携帯端末装置４の各部を制御するためのコントローラであり、ＣＰＵ（Central Processing Unit）４１１と、ＲＯＭ（Read Only Memory）４１２と、ＲＡＭ（Random Access Memory）４１３とを備えている。ＣＰＵ４１１はＲＯＭ４１２に記憶されたプログラムをＲＡＭ４１３にロードして実行することで、後述する種々の処理を実現する。

操作部４２は、この携帯端末装置４をユーザが操作するための各種ボタンからなる。表示部４３は、この携帯端末装置４の動作状態や、操作部４２からユーザが入力した情報等を表示するための液晶表示装置等からなる。撮影部４４はＣＣＤ（Charge Coupled Device）やＭＯＳ（Metal Oxide Semiconductor）等の撮像素子を備え、被写体を撮影して画像データを生成する。

ＧＰＳ受信部４５は一定時間（例えば１秒）毎にＧＰＳ衛星から送信された電波を受信し、現在位置を測定（測位）する。そして、測位結果である位置情報、及び測位時刻情報をＧＰＳ情報として制御部４１へ出力する。方位検出部４６は、地磁気センサ等を用いて、撮影部４４の向いている方位を検出して方位情報を生成し、制御部４１へ出力する。

無線通信部４７は基地局３との間で無線通信を行うための回路である。無線通信部４７は基地局３を介して情報提示装置２にアクセスし、ＧＰＳ受信部４５で生成されたＧＰＳ情報、方位検出部４６で生成された方位情報、及びＲＯＭ４１２に保存されている携帯端末装置４の端末装置ＩＤを送信することができる。また、情報提示装置２から送信された情報を受信することができる。

〈情報提示装置の構成〉
図３は情報提示装置の電気的構成を示すブロック図である。この情報提示装置２は、制御部２１、通信部２２、及び記憶部２３を備えている。

制御部２１はＣＰＵ２１１、ＲＯＭ２１２、及びＲＡＭ２１３を含み、この情報提示装置全体の制御等を行う。また、ＣＰＵ２１１は、ＲＯＭ２１２に記憶されたプログラムをＲＡＭ２１３にロードして実行することで、後述する種々の処理を実現する。

通信部２２はネットワーク１及び基地局３を介して携帯端末装置４と通信を行う。記憶部２３はＨＤＤ（ハードディスク装置）からなり、携帯端末装置情報ＤＢ（データベース）２３１、位置関連情報ＤＢ２３２、及び表示制御情報テーブル２３３が設けられている。

携帯端末装置情報ＤＢ２３１には、携帯端末装置４に関する各種情報、例えば端末装置ＩＤ、仕様情報（表示部４３のサイズ情報、撮影部４４の撮像素子のサイズ情報及び画素数情報、並びに焦点距離情報等）が格納されている。

位置関連情報ＤＢ２３２には、ガソリンスタント、コンビニエンスストア、ラーメン店、ホテルといった店舗や、有名な施設等に関する情報のような、現実空間の位置に関連付けられた情報が格納されている。この位置に関連付けられた情報は、図４に示すように、ＩＤ、名称、位置情報、内容情報、ユーザのコメント等から構成されている。

表示制御情報テーブル２３３には、携帯端末装置４に位置に関連付けられた情報を提供するときに、その情報を表示部４３の画面に合わせて配置し、表示させるための画像データの生成に必要な表示制御情報が格納されている。

〈情報提示システムの動作〉
以上の構成を有する情報提示システムの概略動作について、図５に示すフローチャートを用いて説明する。この図のフローは、携帯端末装置４のＣＰＵ４１１がＲＯＭ４１２に格納されているプログラムを実行し、情報提示装置２のＣＰＵ２１１がＲＯＭ２１２に格納されているプログラムを実行することにより行われる。

携帯端末装置４のユーザが情報提示アプリケーション（以下、情情報提示アプリと言う）を起動すると、携帯端末装置４は情報提示装置２に対し、アクセス要求を送信する（ステップＳ１）。このアクセス要求には、携帯端末装置４の端末装置ＩＤが含まれている。

情報提示装置２はアクセス要求を受信すると、端末装置ＩＤをＲＡＭ２１３に書き込み、続いて情報提示アプリのトップ画面の画像データを記憶部２３から読み出し、携帯端末装置４へ送信する（ステップＳ１１）。携帯端末装置４は情報提示アプリのトップ画面の画像データを受信し、表示部４３に表示する（ステップＳ２）。

次いで携帯端末装置４では、ＣＰＵ４１１の制御により、撮影部４４、ＧＰＳ受信部４５、及び方位検出部４６を動作させる。これにより、撮影部４４が光軸前方の被写体を撮影して画像データ（撮影画像データ）を生成し、ＧＰＳ受信部４５が携帯端末装置４の現在位置を測定（測位）して、位置情報及び測位時刻情報を生成し、方位検出部４６が撮影部４４の光軸前方の方位を示す方位情報を生成する（ステップＳ３）。

撮影画像データはＲＡＭ４１３に読み込まれ、表示部４３に送られて表示される。位置情報及び方位情報は端末装置ＩＤとともに情報提示装置２へ送信される（ステップＳ４）。

情報提示装置２は位置情報、方位情報及び端末装置ＩＤを受信すると（ステップＳ１２）、端末装置ＩＤを用いて携帯端末装置情報ＤＢ２３１にアクセスし、端末装置ＩＤにより特定される携帯端末装置４の撮影部４４の仕様情報を読み出し、受信した方位情報を参照することにより、撮影部４４で撮影中の方位の範囲を示す撮影範囲情報を生成する（ステップＳ１３）。

撮影範囲情報は、受信した方位情報と、撮影部４４の画角とから生成する。ここでは、説明を簡単にするため、撮影部４４は固定焦点であり画角は固定値９０°とする。従って、受信した方位情報の示す方位が東（真東）である場合、撮影部４４は東の両側４５°の範囲内（北東〜南東）を撮影していることになる。なお、焦点距離が固定でない場合は、携帯端末装置４から情報提示装置２へ焦点距離情報或いは画角情報を送信すればよい。

次に情報提示装置２は、位置関連情報ＤＢ２３２にアクセスし、ステップＳ１２で受信した位置情報の示す携帯端末装置４の現在位置から所定の距離（例えば１ｋｍ）以内であり、かつ撮影範囲情報の示す撮影範囲よりも所定の角度（例えば両側４５°）広い範囲に存在する施設等に関する位置に関連付けられた情報を検索して取得する（ステップＳ１４）。

図６に取得した施設等の名称及び位置を示す。ここでは、携帯端末装置４の現在位置P0から所定の距離以内（半径Ｒの円内）であり、かつ撮影範囲情報が示す撮影範囲（東の両側４５°）よりも両側に１３５°広い範囲、つまり全方位に存在する店舗、施設等に関する情報を取得している。

図示のように、撮影範囲情報が北東から南東であり、その範囲内かつ半径Ｒの円内には、Ａビル、Ｂビル、Ｃホテル、Ｄデパート、Ｅ銀行がある。また、撮影範囲の外側には、後方（西）にＦ駅、略右方（南）にＧ公園とＬ神社、斜め左後方（北西）にＫ区役所がある。

図５の説明に戻る。次に情報提示装置２は、ステップＳ１４で取得した店舗、施設等の名称を携帯端末装置４の表示部４３に所定の表示形態で表示させるための画像データを生成し、携帯端末装置４へ送信する（ステップＳ１５）。

図７に表示部４３における表示形態の一例を示す。矩形の表示枠４３１の下方には撮影範囲（北東〜南東の９０°）に存在する店舗、施設等の名称を表示するための横方向の基準線４３２が配置され、矩形枠４３１の上辺付近から両側辺下端付近に亘って、撮影範囲外の２７０°に存在する店舗、施設等の名称を表示するための略半円形の基準線４３３が配置される。また、基準線４３２の中央の下側には前方を示す文字（〈前〉）が配置され、基準線４３３の外周側には後方、右方、左方を示す文字（〈後〉、〈右〉、〈左〉）が配置される。

撮影範囲に存在する店舗や施設であるＡビル、Ｂビル、Ｃホテル、Ｄデパート、Ｅ銀行の名称が矩形枠４３４内に配置されている。矩形枠４３４の下端と基準線４３２とは直線部４３５により連結されている。直線部４３５の長さは、携帯端末装置４の現在位置P0から矩形枠４３４内に名称が配置されている店舗や施設迄の距離に対応する。また、基準線４３２と直線部４３５との接続点の基準線４３２方向の位置は、携帯端末装置４の現在位置P0に対する店舗や施設の方位に対応する。

撮影範囲外に存在する施設であるＦ駅、Ｇ公園、Ｊ会館、Ｋ区役所、Ｌ神社の名称が矩形枠４３６内に配置されている。矩形枠４３６の基端と基準線４３３とは直線部４３７により連結されている。直線部４３７の長さは、携帯端末装置４の現在位置P0から矩形枠４３６内に名称が配置されている施設迄の距離に対応する。また、基準線４３３と直線部４３７との接続点の基準線４３３方向の位置は、携帯端末装置４の現在位置P0に対する各施設の方位に対応する。

従って、ステップＳ１５では、表示制御情報テーブル２３３を参照して、携帯端末装置４の現在位置P0から各店舗や施設迄の距離及び方位に対する直線部４３５及び４３７の長さを算出するとともに、直線部４３５の基準線４３２方向の位置及び直線部４３７の基準線４３３方向の位置を算出し、さらにその結果を基に図７に対応する画像データを生成する。

携帯端末装置４は、この画像データを受信し、図７に示す画像を表示部４３に表示する。このとき、携帯端末装置４は、撮影部４４で撮像した画像の表示から図７に示す画像の表示に切り替えてもよいし、撮影部４４で撮像した画像に図７に示す画像を重畳してもよい。

携帯端末装置４のユーザは、表示部４３を見ることで、撮影範囲内に存在する店舗や施設だけでなく、撮影範囲外に存在する店舗や施設等の方位及び距離を知ることができる。図７の場合、例えば後方にＦ駅、右方にＧ公園があることが分かる。また、それぞれの直線部４３７の長さから、それぞれの施設迄の距離が分かる。

操作部４２のキー操作により任意の矩形枠４３４，４３６を指示することで、その内部に名称が配置されている店舗や施設の内容情報を表示するように構成することも出来る。また、任意の直線部４３５，４３７を指示することで、その直線部に連結された矩形枠内に名称が配置された店舗や施設迄の距離を表示するように構成することも出来る。

図５の説明に戻る。携帯端末装置４では、情報提示アプリを終了する操作が検出される（ステップＳ６：YES）迄、ステップＳ３〜Ｓ５を繰り返し、検出されたら、情報提示装置２に対し、アクセス解除要求を送信する（ステップＳ７）。

情報提示装置２では、アクセス解除要求を受信する（ステップＳ１６：YES）迄、ステップＳ１２〜Ｓ１５を繰り返し、受信したら、携帯端末装置４のアクセスを解除する（ステップＳ１７）。

なお、以上の実施形態では、携帯端末装置４の表示部４３に図７に示す表示形態で画像を表示させるための画像データを情報提示装置２が生成しているが、携帯端末装置４が生成するように構成することも出来る。また、携帯端末装置４の表示部４３に表示する画像は、携帯端末装置４の現在位置から所定の距離内であり、かつ撮影部４４で撮影中の方位の範囲よりも広い範囲の位置に関連付けられた情報を表示する形態であればどのような形態でもよい。

２…情報提示装置、４…携帯端末装置、２１…制御部、２２…通信部、２３…記憶部、４１…制御部、４３…表示部、４４…撮影部、４５…ＧＰＳ受信部、４６…方位検出部、４７…無線通信部、２３１…携帯端末装置情報ＤＢ、２３２…位置関連情報ＤＢ、２３３…表示制御情報テーブル。

Claims (4)

1. 撮影機能付携帯端末装置で現実空間を撮影している時に、その携帯端末装置の位置及び向きに応じて、位置に関連付けられた情報を情報提示装置から携帯端末装置に提示する情報提示システムであって、
   前記携帯端末装置は、情報を表示する情報表示部と、撮影部と、自身の向いている方向を検出し、検出結果として方位情報を生成する方位情報生成部と、自身の位置を検出し、検出結果として位置情報を生成する位置情報生成部と、前記方位情報生成部で生成された方位情報及び前記位置情報生成部で生成された位置情報を前記情報提示装置へ送信する端末情報送信手段とを有し、
   前記情報提示装置は、前記携帯端末装置の撮影部の仕様に関する情報が予め保存されている端末装置情報データベースと、位置に関連付けられた情報が予め保存されている位置関連情報データベースと、前記携帯端末装置から送信された方位情報及び位置情報を受信する受信手段と、その受信された方位情報と、前記端末装置情報データベースに格納されている情報とに基づいて、前記撮影部の撮影方位の範囲を示す撮影範囲情報を取得する撮影範囲情報取得手段と、前記受信された位置情報の示す位置から所定の距離内であり、かつ前記取得された撮影範囲情報の示す方位よりも広い方位の位置に関連付けられた情報を前記位置関連情報データベースから検索する位置関連情報検索手段と、その位置関連情報検索手段で検索された情報を前記携帯端末装置へ送信する位置関連情報送信手段とを有する
   ことを特徴とする情報提示システム。
2. 請求項１に記載された情報提示システムにおいて、
   前記位置関連情報検索手段は、全方位の情報を検索することを特徴とする情報提示システム。
3. 請求項１に記載された情報提示システムにおいて、
   前記情報提示装置は、その位置関連情報検索手段で検索された情報を前記携帯端末装置の情報表示部に所定の表示形態で表示させるための画像データを生成する画像データ生成手段を有し、
   前記位置関連情報送信手段は、その画像データ生成手段で生成された画像データを送信する
   ことを特徴とする情報提示システム。
4. 撮影機能付携帯端末装置の撮影部の仕様に関する情報が予め保存されている端末装置情報データベースと、位置に関連付けられた情報が予め保存されている位置関連情報データベースと、を有し、前記携帯端末装置で現実空間を撮影している時に、前記携帯端末装置の位置及び向きに応じて、位置に関連付けられた情報を前記携帯端末装置に提示する情報提示装置のコンピュータを、
   前記携帯端末装置から送信された方位情報及び位置情報を受信する受信手段と、
   その受信された方位情報と、前記端末装置情報データベースに格納されている情報とに基づいて、前記撮影部の撮影方位の範囲を示す撮影範囲情報を取得する撮影範囲情報取得手段と、
   前記受信された位置情報の示す位置から所定の距離内であり、かつ前記取得された撮影範囲情報の示す方位よりも広い方位の位置に関連付けられた情報を前記位置関連情報データベースから検索する位置関連情報検索手段と、
   その位置関連情報検索手段で検索された情報を前記携帯端末装置へ送信する位置関連情報送信手段として機能させるためのプログラム。

Images