JPWO2011004608A1 - 視界情報に仮想情報を付加して表示できるシステム - Google Patents

Abstract

【課題】本発明は、リアリティを持って、現実社会と仮想空間を結びつけて表示できるシステムを提供することを目的とする。【解決手段】 サーバ５が、情報提供端末３の位置と方向に関する情報とを受信し、情報提供端末３により撮影される現実空間に含まれる対象物を把握し、当該把握した対象物に対応した仮想表示をデータベース５３から選択して読み出す。サーバ５は、仮想表示情報を情報提供端末３へ送信する。情報提供端末３の表示手段は、撮影手段３３により撮影された現実空間を表示するとともに、サーバ５から送信された仮想表示情報に基づく仮想表示を現実空間に重ねて表示する。【選択図】 図１

Description

本発明は、カメラで撮影した視界情報に仮想情報を付加して表示できるシステムなどに関する。

特開２００３−２４８６５０号公報（特許文献１）には、現実世界のメディア（放送等）と仮想空間のメディア（放送等）を統合し、現実社会と仮想空間を結びつける発明が開示されている。この発明は、現実世界において情報提供端末が撮影した現実世界に直接仮想空間が結び付けられるものではない。このため、この公報に開示されたシステムは、一体感やリアリティにかける。

一方、特開２００６−２４１６８号公報（特許文献２）に開示された発明は、「複数の３次元実空間範囲情報と各３次元実空間範囲情報を識別する識別子とを対応付けた複数のバルーンデータを保持する第１データベース」を有する。これにより３次元実空間に対応した複数のバルーンデータを表示することができるとされている。
特開２００３−２４８６５０号公報 特開２００６−２４１６８号公報

本発明は、リアリティを持って、現実社会と仮想空間を結びつけて表示できるシステムを提供することを目的とする。

また、本発明は、適切に現実社会と仮想空間を結びつけて表示できるシステムを提供することを目的とする。

本発明の第１の態様は、撮影した現実空間に含まれる対象物に対応した仮想表示を重ねて表示できる情報提供端末３と、情報提供端末３の位置を把握し、情報提供端末３へ仮想表示情報を送信するサーバ５とを含む、情報提供システム１に関する。

そして、情報提供端末３は、情報提供端末３の入力手段３１と、撮影手段３３と、位置把握手段３４と、方位取得手段３５と、表示手段３７と、情報提供端末３の出力手段３９とを有する。情報提供端末３の入力手段３１は、サーバ５から仮想表示情報を受信する手段である。

撮影手段３３は、現実空間を撮影する手段である。位置把握手段３４は、情報提供端末３の位置を把握するための手段である。方位取得手段３５は、情報提供端末３の方向に関する情報を取得するための手段である。表示手段３７は、撮影手段３３により撮影された現実空間を表示するとともに、サーバ５から送信された仮想表示情報に基づく仮想表示を現実空間に重ねて表示することができるものである。情報提供端末３の出力手段３９は、位置把握手段３４が把握した情報提供端末３の位置に関する情報と、方位取得手段３５により入力された情報提供端末３の方向に関する情報とをサーバ５へ送信する手段である。

サーバ５は、サーバ５の受信手段５１と、データベース５３と、仮想表示情報選択手段５５と、サーバ５の送信手段５７とを含む。

サーバ５の受信手段５１は、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報を受信する手段である。データベース５３は、対象物に関する情報と関連して当該対象物に対応した仮想表示情報を記憶した記憶部である。仮想表示情報選択手段５５は、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報から、情報提供端末３により撮影される現実空間に含まれる対象物を把握し、当該把握した対象物に対応した仮想表示情報をデータベースから選択して読み出す手段である。サーバ５の送信手段５７は、仮想表示情報選択手段５５が読み出した対象物に対応した仮想表示情報を情報提供端末３へ送信する手段である。

情報提供システム１は、以下のように動作する。撮影手段３３により情報提供端末３に現実空間に関する情報が入力される。位置把握手段３４により、情報提供端末３の位置に関する情報が把握される。方位取得手段３５により、情報提供端末３に情報提供端末３の方向に関する情報が取得される。情報提供端末３の出力手段３９により、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報がサーバ５へ送信される。サーバ５の受信手段５１が、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報とを受信する。仮想表示情報選択手段５５が、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報から、情報提供端末３により撮影される現実空間に含まれる対象物を把握し、当該把握した対象物に対応した仮想表示をデータベース５３から選択して読み出す。サーバ５の送信手段５７は、仮想表示情報選択手段５５が読み出した対象物に対応した仮想表示情報を情報提供端末３へ送信する。情報提供端末３の表示手段は、撮影手段３３により撮影された現実空間を表示するとともに、サーバ５から送信された仮想表示情報に基づく仮想表示を現実空間に重ねて表示する。

情報提供システム１の好ましい態様は、サーバ５が、ある対象物についての位置と、当該ある対象についての仮想表示情報とを受信し、受信した情報を用いて、データベース５３を更新するものである。

この構成を有するため、この情報提供システム１は、情報提供端末３を有するユーザが情報提供システム１に用いられるコンテンツ（ＵＧＣ：ユーザジェネレーテッドコンテンツ）を製作し、これを投稿する機能を有するように機能する。

情報提供システム１の好ましい態様は、サーバ５が受信する「ある対象物についての位置と、当該ある対象についての仮想表示情報」は、情報提供端末３から送信されたものである。そして、「ある対象物についての位置と、ある対象についての仮想表示情報」における「ある対象物についての位置」は、仮想表示情報を送信した情報提供端末３が有する位置取得手段により取得された当該情報提供端末３の位置である。

すなわち、仮想表示情報を送信した情報提供端末３の位置と、仮想表示情報の対象である対象物の位置は異なるかもしれない。一方、ある対象物について仮想表示情報を送信した情報提供端末３の位置と、ある対象物の位置とは、近接していることが予測される。そこで、この態様では、仮想表示情報を送信した情報提供端末３の位置を「ある対象物についての位置」として送受信することで、簡便な装置で仮想表示を実現できる。

情報提供システムの好ましい態様は、データベース５３が記憶する対象物に関する位置情報には、対象物が存在する緯度経度の情報、および当該緯度経度において当該対象物が存在する方位の情報が含まれる。すなわち、サーバ５のデータベース５３は、対象物が存在する緯度経度の情報、および当該緯度経度において当該対象物が存在する方位の情報と関連して当該対象物に対応した仮想表示情報を記憶した記憶部である。データベース５３がこのような構成を有するため、仮想表示情報選択手段５５は、情報提供端末３に関する位置と方位、および対象物が存在する緯度経度と当該緯度経度において当該対象物が存在する方位から、情報提供端末３により撮影される現実空間に含まれる可能性のある対象物を把握する。そして、仮想表示情報選択手段５５は、把握した対象物に対応した仮想表示情報をデータベース５３から選択して読み出す。

すなわち、複数の対象物が同一の緯度及び経度に存在する場合、それぞれの対象物の位置をその緯度経度のみに基づいて把握しようとすると、それぞれの対象物を個別に把握することができない。従って、それぞれの対象物について、適切にその対象物に関する仮想表示を重畳して表示することはできない。そこで、データベース５３は、対象物が存在する緯度経度情報だけでなく、その緯度経度からみて対象物が存在する方位の情報を記憶しておき、緯度経度の情報及び方位の情報と関連付けて仮想表示情報を記憶していることが好ましい。これにより、複数の対象物が同一の緯度経度に存在する場合であっても、その対象物が存在する方位によって各対象物の位置を把握することができ、対象物ごとに仮想表示を重畳して表示することができる。方位の例は，４方位，８方位，１６方位，及び３２方位に等分すればよい。

情報提供システム１の好ましい態様は、情報提供端末３は、地図を記憶する地図記憶部４０をさらに有する。そして、サーバ５が受信する「ある対象物についての位置と、当該ある対象についての仮想表示情報」は、情報提供端末３から送信されたものである。「ある対象物についての位置と、当該ある対象についての仮想表示情報」における「ある対象物についての位置」は、地図記憶部４０に記憶された地図であって、表示手段３７に表示されたものに基づいて、情報提供端末の入力手段３１により情報提供端末３に入力された位置である。

この態様のシステムは、情報提供端末に地図を表示させて、地図上の点を指摘させ、指摘した位置に存在する対象物に関する仮想表示情報をサーバに送信させることができる。

情報提供システム１の好ましい態様は、仮想表示は、情報提供端末３の記憶部４１に記憶され、仮想表示情報を用いて読み出されるものである。

仮想表示が情報提供端末に記憶されているので、サーバが容量の大きい仮想表示に関するコンテンツを送信する必要がなくなる。このため、この態様のシステムは、情報の処理を迅速に行うことができることとなる。

情報提供システム１の好ましい態様は、仮想表示はテキストを含む。そして、情報提供端末３は、送信相手と、前記送信相手の電子メールアドレスとを関連付けて記憶した電話帳４２をさらに有する。情報提供端末３の入力手段３１は、さらに、テキスト文を送信する対象となる仮想表示を指示する情報を入力でき、テキスト文を送信する対象となる送信相手を指示する情報を入力できる。情報提供端末３の出力手段３９は、さらに電子メールアドレスを用いて特定の相手にテキスト文を含む電子メールを送信できるものである。そして、このような構成を有するため、この情報提供システムは、情報提供端末３の入力手段３１が、テキスト文を送信する対象となる仮想表示を指示する情報を入力するとともに、テキスト文を送信する対象となる送信相手を指示する情報を入力する。すると、情報提供端末（３）が、テキスト文を送信する対象となる送信相手に関する情報を用いて、電話帳に記憶された送信相手の電子メールアドレスを読み出す。そして、情報提供端末３の出力手段３９が、読み出した電子メールアドレスを用いて、送信相手にテキスト文を含む電子メールを送信する。

本発明によれば、リアリティを持って、現実社会と仮想空間を結びつけて表示できるシステムを提供できる。

図１は、本発明の第１の態様に関する情報提供システムの基本構成を示すブロック図である。 図２は、データベースの例である。 図３は、撮影手段により撮影された現実空間を表示させたときの表示画面を示す図である。 図４は、図３に示すような現実空間に仮想表示を重ねて表示させたときの表示画面を示す図である。 図５は、同じ施設内にある対象物を撮影手段により撮影した場合の例を示す図である。

以下、図面を用いて本発明を実施するための最良の形態を説明する。しかしながら、以下説明する形態は例であって、当業者にとって自明な範囲で適宜修正することができる。

図１は、本発明の第１の態様に関する情報提供システムの基本構成を示すブロック図である。図１に示されるように、本発明の情報提供システム１は、情報提供端末３と、サーバ５とを含む。図中、符号７は、基地局やアクセスポイントを示し、情報提供端末３とサーバ５との情報の授受を中継するための任意要素である。本発明の情報提供システムは、基地局やアクセスポイントが存在しないものであってもよい。

情報提供端末３は、情報提供端末３の入力手段３１と、撮影手段３３と、位置把握手段３４と、方位取得手段３５と、表示手段３７と、情報提供端末３の出力手段３９とを有している。そして、情報提供端末３は、撮影した現実空間に、この空間に含まれる対象物に対応した仮想表示を重ねて表示できるものである。情報提供端末３の例は、携帯電話などの撮像装置付きの携帯通信機器、ノート型パーソナルコンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）などの撮像装置付の携帯可能な情報処理装置、通信可能に構成された画像処理装置（デジタルカメラやビデオカメラ）である。情報提供端末３は、携帯端末であっても、設置型の端末であってもよい。これらの機器や装置は、無線通信可能に構成されていることが好ましい。情報提供端末が無線通信用の装置を有するため、ユーザは、これらの機器や装置を携帯して移動することができる。

ここで、情報提供端末３の各手段は、図１において点線で示す内蔵コンピュータによって実現される。すなわち、このコンピュータの情報記録媒体には、このコンピュータを、各手段を含む装置として機能させるためのプログラムが格納されている。このコンピュータは、各要素がバスなどを介して接続されており、情報の授受を行うことができるようにされている。そして、たとえば、入力部から各種情報が入力された場合、メインメモリに格納された制御プログラムの指令を受けて制御部が記憶部から適宜情報を読み出して、演算部を用いて演算処理を行い、演算結果を記憶部に適宜記憶し、出力部から出力する。

情報提供端末３の入力手段３１は、サーバ５から仮想表示情報を受信する手段である。また、情報提供端末３の入力手段３１は、情報提供端末３へ各種情報を入力するための手段である。この入力手段３１は、たとえば、公知のアンテナ及びＣＯＤＥＣ（符号器及び複号器）により実現できる。また、タッチパネルやキーボードなどのポインティングデバイスによっても入力手段３１を実現できる。

撮影手段３３は、現実空間を撮影する手段である。一般的に、ユーザは、主な被写体である対象物を含むように情報提供端末３の方向（方位や傾き）を選び、選んだ方向を撮影方向として、撮影手段３３で現実空間を撮影する。すなわち、現実空間は、対象物を含む。この撮影手段３３の例は、携帯電話に搭載された公知のデジタルカメラである。

位置把握手段３４は、情報提供端末３の位置を把握するための手段である。位置把握手段７３は、たとえば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星からの情報に基づいて、情報提供端末３の位置緯度及び経度を特定する。位置把握手段３４は、ワイファイ（Ｗｉ−Ｆｉ）の仕組みによって、情報提供端末３の位置を特定するものであってもよい。

情報提供端末３がＧＰＳ機能を有する場合、ＧＰＳ衛星から送信されるＧＰＳシグナルを情報提供端末３が受信する。情報提供端末３は、受信したＧＰＳシグナルを解析して、情報提供端末の位置を把握する。この情報提供端末の位置は、たとえば緯度及び経度により表されるものである。情報提供端末３は、解析した情報提供端末の位置に関する情報を、メモリなどに一時的に記憶する。このようにして、情報提供端末は、情報提供端末３の位置を把握する。

情報提供端末３がＷｉ−Ｆｉのような無線ＬＡＮ通信機能を有する場合、Ｗｉ−Ｆｉシグナルなどの情報提供端末の位置に関する情報を情報提供端末３が受信する。情報提供端末３は、Ｗｉ−Ｆｉシグナルを用いて情報提供端末の位置を解析するためのデータベースを有している。そして、情報提供端末３は、受信したＷｉ−Ｆｉシグナルを解析して、情報提供端末の位置を把握する。この情報提供端末の位置は、たとえば緯度及び経度により表されるものである。情報提供端末３は、解析した情報提供端末の位置に関する情報を、メモリなどに一時的に記憶する。このようにして、情報提供端末は、情報提供端末３の位置を把握する。

情報提供端末３がＷｉ−Ｆｉのような無線ＬＡＮ通信機能を有する場合、次のようにして情報提供端末の位置を把握してもよい。すなわち、Ｗｉ−Ｆｉシグナルなどの情報提供端末の位置に関する情報を情報提供端末３が受信する。情報提供端末３は、Ｗｉ−ＦｉシグナルまたはＷｉ−Ｆｉシグナルを解析した情報を、位置把握のためのサーバに送信する。この位置把握のためのサーバは、Ｗｉ−Ｆｉシグナル又はそれを解析した情報に基づいて、位置情報を取得するためのデータベースを有している。このため、位置把握のためのサーバは、受信した情報に関連した位置情報を解析できる。そして、位置把握のためのサーバは、解析した位置情報を、情報提供端末３は送信する。情報提供端末３は、位置把握のためのサーバから位置情報を受信する。情報提供端末３は、受信した情報提供端末の位置に関する情報を、メモリなどに一時的に記憶する。このようにして、情報提供端末は、情報提供端末３の位置を把握する。

方位取得手段３５は、情報提供端末３の方向に関する情報を取得するための手段である。方位取得手段３５の例は、コンパスである。情報提供端末がコンパスを有するため、情報提供端末３の方向に関する情報を入手することができる。コンパスの例は電子コンパスである。電子コンパスは、地磁気を検出して方位を演算する。

情報提供端末は、方位取得手段３５としてスクロール手段をさらに有してもよい。たとえば、スクロール手段は、方位を微調整するために用いられる。スクロール手段は、表示手段３７の表示画面３７ａ上に表示されたスクロールバー３５ａと、スクロールバー３５ａを表示するための手段とによって主として構成される。すなわち、本発明のスクロール手段の例は、モニタに表示されるスクロールバーをスクロールさせて情報提供端末自体の方向に関する情報を入力させるものである。なお、スクロール手段３５は、スクロールバー３５ａに代えてスライドバーであってもよい。そして、ユーザは、このスクロールバー３５ａを操作することによって、情報提供端末３の東西南北などの方位と、情報提供端末３の水平面又は地面に対する傾きとを入力することができる。この操作は、たとえば、表示手段であるモニタが圧力感知型のタッチパネルとなっており、圧力の変異を把握して、これにより指示情報を入力できるものであっても良い。方位は、東西南北などを指定することに代えて、ユーザが撮影方向又は対象物と情報提供端末３との相対位置関係を、情報提供端末３の表示手段３７の表示画面３７ａの上辺を「北」として、表示画面３７ａを指でなぞる（フリックやピンチする）ようにして示すことで指定してもよい。又は、方位を指定するために、たとえば、太陽や月の向きを指定してもよい。この場合、スクロールバー３５ａを操作した年月日と、太陽や月の向きとから情報提供端末３の方向を特定することができる。また、方位を指定するために、ユーザ（つまり、情報提供端末３）が移動してきた進路に対する撮影方向を入力してもよい。ここで、情報提供端末３の進路は、位置把握手段が把握した情報提供端末３の位置の経時情報から把握することが可能である。なお、スクロール手段で入力される情報は、情報提供端末３の方位や傾きに限られることはなく、情報提供端末３の方向を特定できるものであればいかなるものであってもよい。

また、本発明のスクロール手段の別の例として、現実空間が表示されているモニタをなぞることにより、情報提供端末自体の方向を入力するものがあげられる。具体的には、表示手段には、サーバから送信された情報提供端末付近の代表的な対象物についての仮想表示が表示されている。そして、モニタをなぞることによりその表示を移動させ、現実空間のその対象物と一致した場合にモニタから指を離すなどの入力情報を受けて、これにより情報提供端末自体の方向に関する情報を入力するものがあげられる。

表示手段３７は、撮影手段３３により撮影された現実空間を表示するとともに、サーバ５から送信された仮想表示情報に基づく仮想表示を現実空間に重ねて表示することができるものである。表示手段の例は、携帯電話のモニタである。情報提供端末は、たとえばフレームバッファを有しており、表示するための情報をいったんフレームバッファに格納し、表示用の情報に変換した後モニタに表示すればよい。表示手段３７は、タッチパネルで構成されていることが好ましい。この場合、タッチパネルが入力手段の一部として機能しうる。

出力手段３９は、位置把握手段３４が把握した情報提供端末３の位置に関する情報と、方位取得手段３５により取得された情報提供端末３の方向に関する情報を送信する手段である。送信手段の具体的な態様として、アンテナ及びＣＯＤＥＣがあげられる。

情報提供端末３は、送信相手と、送信相手の電子メールアドレスとを関連付けて記憶した電話帳をさらに有するものが好ましい。この場合、情報提供端末３の入力手段３１は、さらに、テキスト文を送信する対象となる仮想表示を指示する情報を入力でき、テキスト文を送信する対象となる送信相手を指示する情報を入力できるものが好ましい。そして、情報提供端末３の出力手段３９は、さらに電子メールアドレスを用いて特定の相手にテキスト文を含む電子メールを送信できるものである。この場合、情報提供端末３の入力手段３１が、テキスト文を送信する対象となる仮想表示を指示する情報を入力する。具体的には、ユーザがモニタに表示されたある仮想表示を指示すると、その仮想表示が選択され、この選択された情報が情報提供端末に入力される。次に、テキスト文を送信する対象となる送信相手を指示する情報を入力する。具体的には、たとえば、仮想表示が選択されると、電話帳がピックアップして表示される。ユーザは、電話帳からテキスト文を送信する送信相手を選択する。すると、情報提供端末に、テキスト文を送信する対象となる送信相手を指示する情報が入力される。情報提供端末３が、テキスト文を送信する対象となる送信相手に関する情報を用いて、電話帳に記憶された送信相手の電子メールアドレスを読み出す。その後、情報提供端末３の出力手段３９が、読み出した電子メールアドレスを用いて、送信相手にテキスト文を含む電子メールを送信する。

サーバ５は、サーバ５の受信手段５１と、データベース５３と、仮想表示情報選択手段５５と、サーバ５の送信手段５７とを含んでおり、情報提供端末３の位置を把握し、情報提供端末３へ仮想表示情報を送信するものである。ここで、サーバ５の各手段は、図１において点線で示す内蔵コンピュータによって実現される。すなわち、このコンピュータの情報記録媒体には、このコンピュータを、各手段を含む装置として機能させるためのプログラムが格納されている。

受信手段５１は、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報を受信する手段である。

データベース５３は、対象物に関する情報と関連して当該対象物に対応した仮想表示情報を記憶した記憶部である。この対象物に関する情報の例は、対象物の位置に関する情報である。仮想表示情報とは、情報提供端末がこの情報に基づいて仮想表示を行うための情報である。仮想表示の画像データやテキストデータが情報提供端末に記憶されている場合、仮想表示情報はそれらのデータを読み出すための情報と、対象物の位置情報があげられる。一方、情報提供端末がそのような情報を記憶していない場合は、仮想表示情報は、情報提供端末が仮想表示を行うための画像データ又はテキストデータと、対象物の位置情報であってもよい。

図２は、データベース５３の例である。図２に示すように、対象物と、その位置と、その対象物に関するテキスト情報と、静止画や動画などの仮想表示に必要な画像情報とが関連付けられている。この例では、ある建物「○×ビル」について、その建物にある店舗に関する情報が建物の向きによって分けられている。さらには、データベース５３において、対象物に関する情報を、ジャンル分けしておくことが好ましい。

具体的に、対象物の位置に関する情報とは、図２にも示すように、対象物が存在する緯度情報、経度情報、及びその緯度経度において対象物が存在する方位の情報を含むこととしてもよい。すなわち、データベース５３は、対象物の位置に関する情報として、対象物が存在する緯度情報、経度情報、及びその緯度経度において対象物が存在する方位の情報を記憶している。そして、データベース５３には、これらの緯度情報、経度情報、及び方位の情報と関連付けて対象物に関するテキスト情報や画像情報が記憶されている。このように、対象物が存在する緯度経度情報だけでなく、その緯度経度からみて対象物が存在する方位の情報を記憶しておくことが好ましい。例えば、図２に示すように、対象物（店舗）間の距離が近く、２以上の対象物が同一の緯度経度で記憶されている場合であっても、その同一の緯度経度の地点からみた対象物の方位を併せて記憶しておくことにより、対象物に関連する仮想表示を、対象物ごとに適切に分離して重畳表示することができる。また、例えば、ある店舗内における対象物（商品棚等）の位置に応じて、仮想表示を対象物ごとに重畳的に表示することもできる。

サーバ５は、ある対象物についての位置と、当該ある対象についての仮想表示情報とを受信し、受信した情報を用いて、データベース５３を更新するものが好ましい。たとえば、あるユーザがモニタ上のある点を指摘する。この情報は、サーバ５と通信可能な任意の情報提供端末から送信される。すると、情報提供端末の入力手段は、モニタ上の点に対応する指摘された現実空間の位置を解析する。次にユーザが、ポインティングデバイスなどを用いてコメントを入力する。または、ユーザが画像を入力する。入力されたコメント（テキスト情報）や画像は、情報提供端末の記憶部に一時的に記憶される。ポインティングデバイスから送信指令を受け取ると情報提供端末は、解析した位置情報とともに、コメント又は画像をサーバ５へ送信する。サーバはこの情報を受信し、対象物についての位置、及びコメント又は画像に関する情報を関連付けて記憶する。なお、情報提供端末から送信させる情報は、テキスト、ハイパーリンク、写真、画像、動画、及び音声のいずれか又は２つ以上であってもよい。また、ある対象物についての位置は、仮想表示情報を送信する情報提供端末の位置であってもよい。この情報提供端末には、位置把握手段３４が含まれているので、情報提供端末はその位置情報を把握できる。そして、ある情報提供端末が、ある対象についての仮想表示情報をサーバ５に送信する際に、その情報提供端末は、仮想表示情報とともに、その情報提供端末の位置情報をも送信する。すると、サーバは、情報提供端末の位置をある対象物の位置として仮想表示情報とともに記憶する。

仮想表示情報選択手段５５は、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報から、情報提供端末３により撮影される現実空間に含まれる対象物を把握し、当該把握した対象物に対応した仮想表示をデータベース５３から選択して読み出す手段である。具体的には、仮想表示情報選択手段５５は、情報提供端末３の位置及び方向から主被写体である対象物の位置を特定し、データベース５３から、特定した位置にある対象物を選択するとともに、その向きを特定し、さらに、その対象物に関連付けられたテキスト情報及び画像情報を対象物に対応した仮想表示情報として読み出す。また、たとえば、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報から、情報提供端末３により撮影される現実空間を把握し、その空間に含まれる対象物を選択してもよい。

サーバ５は、撮影空間に含まれる対象物の数をカウントしてもよい。そして、サーバ５は、あらかじめ情報提供端末へ仮想表示情報が送信される対象物の閾値を記憶しておいてもよい。そして、情報提供端末へ仮想表示情報が送信される対象物が閾値より小さい場合は、すべての対象物について仮想表示情報を送信する。一方、情報提供端末へ仮想表示情報が送信される対象物が閾値より大きい場合は、情報提供端末から近い対象物に関する仮想表示情報を優先的に情報提供端末へ送信する。また、サーバは、対象物に関連して重要度を記憶しており、重要度の高い対象物についての仮想表示情報を情報提供端末に表示してもよい。

なお、特定した対象物の位置とデータベース５３に記憶されている対象物の位置は、完全に一致する必要はなく、許容範囲内で一致していればよい。また、データベース５３において、対象物に関する情報を、ジャンル分けしてある場合、仮想表示情報選択手段５５は、ユーザのプロフィールやユーザが求める情報などに対応したジャンルの対象物に関する情報を選択するように構成される。なお、この場合、ユーザのプロフィール年齢、性別、及び職業などやユーザが求める情報は、サーバ５に予め登録されている。

仮想表示情報選択手段５５の別の例は、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報から、情報提供端末３により撮影される現実空間に含まれる領域を求めるものである。そして、この領域に含まれる緯度及び経度を有する対象物を決定する。そして、決定した対象物に対応した仮想表示をデータベース５３から選択して読み出す。

送信手段５７は、仮想表示情報選択手段５５が読み出した対象物に対応した仮想表示を、情報提供端末３へ送信する手段である。

上述したような構成の情報提供システム１において、視界情報に仮想情報を付加して表示する方法について説明する。

まず、ユーザは、情報提供端末３を所望の対象物に向け、撮影手段３３によって、対象物を含む現実空間を撮影する。このようにして、情報提供端末３に現実空間に関する情報を入力し、これにより、図３に示すように、表示手段３７に、撮影手段３３により撮影された現実空間を表示させる。図３に示す例では、「○×ビル」が対象物となっている。

位置把握手段は、情報提供端末３の位置を把握する。方位取得手段３５が情報提供端末３の方向に関する情報を取得する。これらの情報が情報提供端末に入力されると、情報提供端末３は、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報をサーバ５へ送信する。

そして、サーバ５が、情報提供端末３から送信された情報提供端末３の位置情報および情報提供端末３の方向に関する情報を受け取る。

そして、サーバ５では、仮想表示情報選択手段５５が、情報提供端末３の位置に関する情報と、情報提供端末３の方向に関する情報から、情報提供端末３により撮影される現実空間に含まれる対象物を把握し、当該把握した対象物に対応した仮想表示をデータベース５３から選択して読み出す。すなわち、サーバ５は、情報提供端末３により撮影される現実空間を把握しているともいえる。この場合、情報提供端末３には、仮想表示情報が送信されており、この仮想表示情報には対象物の位置に関する情報が含まれている。このため、情報提供端末３は、この対象物の位置に関する情報を用いて、表示手段に表示されている対象物の位置を推測し、推測した対象物の位置又はその近傍に仮想表示を描画する。

また、仮想表示を選択する際、好ましくは、ユーザのプロフィール年齢、性別、及び職業などや、ユーザが求める情報、さらには時刻などに基づいて、対象物に対応した仮想表示の内容は取捨選択される。たとえば、ユーザが「女性」であり、そのユーザが「食事」に関する情報（ジャンル）に興味がある場合、「文具店」に関する情報や「銀行」に関する情報は、データベース５３から抽出されたとしても削除される。

そして、当該仮想表示情報選択手段５５が読み出した対象物に対応した仮想表示情報は、送信手段５７によって、情報提供端末３へ送信される。これにより、情報提供端末３では、撮影手段３３により撮影されて表示されている現実空間（Ｒｅａｌ Ｗｏｒｌｄ）に重なるようにして、表示手段３７によって、サーバ５から送信された仮想表示（Ｖｉｒｔｕａｌ Ｗｏｒｌｄ）が表示されることになる。このときの表示画面３７ａの例を図４に示す。図４に示す例では、対象物である「○×ビル」の壁面近傍に、「×○ラーメン店」に関するテキスト情報及び画像情報が仮想表示（オブジェクト）として表示される。図４に示すように、仮想表示は、ユーザに分かりやすく表示される。特に、仮想表示情報に応じたジャンルなどに合わせて、仮想表示の形、色、動きなどを変えて表示することで、仮想表示をユーザに分かりやすくすることができる。

ここで、仮想表示に関する情報の情報量が多い場合には、リンク先のみを表示したり、リスト表示に切替えたり、別画面を作成したりすることで、狭い表示画面３７ａを効率的に用いることが好ましい。リンク先のみを表示する場合、情報提供端末３（特に、ｉＰｈｏｎｅ（登録商標）である場合）の本体を横位置（表示画面３７ａが横長となる向き）から縦位置（表示画面３７ａが縦長となる向き）に変更することで、リンク先の画面に遷移させるように構成することが好ましい。なお、仮想表示に関する情報を表示せずに、音声などで出力してもよい。

このようにすることで、現実空間の視界情報に仮想情報を付加することができる。したがって、上述した態様によれば、ユーザは、現実空間の視界情報（Ｌｉｖｅ Ｖｉｅｗ）だけでは得られない情報を、出先で、仮想情報から取得することができる。しかも、この仮想情報は、現実社会と結びつけられた状態で表示されるので、ユーザは、一体感やリアリティを持って表示画面３７ａを見ることができる。このため、ユーザは、表示画面３７ａを違和感なく見ながら、情報を得ることができる。

また、サーバ５が情報提供端末３へ送信する仮想情報は、情報提供端末３の撮影手段３３で撮影可能な範囲つまり、ユーザが視認可能な範囲にある対象物に関するものに限られているため、情報量を少なくすることができる。さらには、仮想情報を現時点撮影した時点に対応する情報に限ることで、情報量をさらに少なくすることができる。すなわち、サーバ５は、ユーザに提供すべき仮想情報に含まれるノイズの比率（Ｓ／Ｎ比）を低くすることができる。これにより、ユーザは、無駄な情報を取得せずに済み、適確な情報を取得することができ、その結果、直感的に行動することが可能となる。また、ネットワークにかかる負荷を低減させることができる。

次に、本発明の情報提供システムの動作例について説明する。ユーザがカメラを用いて、ある空間を撮影する。すると、撮影した空間の像が、システム内に入力され、記憶部に一時的に記憶される。

カメラを用いて撮影が行われると、ＧＰＳ機能を用いて、端末が端末の位置に関する情報を取得する。得られた端末の位置に関する情報は、端末内の記憶部に記憶される。また、このシステムは、コンパスを有しているので、カメラのレンズの方向を常に把握できており、把握した情報が記憶部に記憶される。次に、端末３の位置に関する情報と、端末３の方向に関する情報がサーバ５へ送信される。

サーバ５は、端末３の位置に関する情報と、端末３の方向に関する情報とを受信する。これらの情報を受け取ったサーバは、端末３の位置に関する情報と端末３の方向に関する情報とを用いて、カメラで撮影され、端末３に表示されると考えられる空間（表示空間）を求める。次に、サーバは、表示空間に含まれる位置（すなわち、一定の領域）を用いて、データベースから、端末で表示される対象物の候補をあげる。この場合、データベース５３には、対象物についての位置として緯度及び経度が記憶されている。よって、サーバ５は、この緯度及び経度が、表示空間に含まれるか否か判断する。そして、緯度及び経度が、表示空間に含まれると判断した場合、「撮影される現実空間に含まれる対象物」であると判断する。

データベース５３には、対象物についての位置と関連づけられて、仮想表示情報（テキスト情報、画像、写真、動画、又は音声）が記憶されている。サーバ５は、「撮影される現実空間に含まれる対象物」についての、仮想表示情報を読み出す。サーバ５は、読み出した仮想表示情報とその対象物についての位置情報とを、端末３に送信する。

端末３は、対象物についての位置情報を用いて、モニタの表示位置を求める。端末は、端末３の位置に関する情報と端末３の方向に関する情報とを有しているため、モニタのどの位置がどの緯度及び経度を示すかを求めることができる。このため端末は、対象物についての位置情報が、モニタのどの位置に表示される対象であるかを求めることができる。仮想表示を行うモニタ上の位置を把握した端末は、仮想表示情報を用いて、その位置に仮想表示を行う。このようにして、端末が撮影した画像に、仮想表示を重畳して表示することができる。

次に、図５を参照して、本発明の情報提供システムの別の動作例について説明する。例えば、図５に示すように、ある施設内にいるユーザがカメラを用いて、ある施設内における空間を撮影する。カメラを用いて撮影が行われると、ＧＰＳ機能を用いて、端末が端末の位置に関する情報を取得する。図５に示す例の場合、端末３（カメラ）は、東経１３９°北緯３５°の施設内にある。また、このシステムは、コンパスを有しているので、カメラのレンズの方向を常に把握できており、把握した情報が記憶部に記憶される。次に、端末３の位置に関する情報と、端末３の方向に関する情報がサーバ５へ送信される。

サーバ５は、端末３の位置に関する情報と、端末３の方向に関する情報とを受信する。これらの情報を受け取ったサーバは、端末３の位置に関する情報と端末３の方向に関する情報とを用いて、カメラで撮影され、端末３に表示されると考えられる空間（表示空間）を求める。次に、サーバは、表示空間に含まれる位置を用いて、データベースから、端末で表示される対象物の候補をあげる。図５に示す例の場合、端末に表示される対象物は、本棚や、洋服棚、雑貨棚のような、ある施設内に設置されている構造物である。これら本棚等の構造物が設置されている位置は、距離的に近い物であり、その位置は同経同緯で表される。このとき、データベース５３には、対象物についての位置として、対象物の緯度経度、及びその緯度経度からの方位が記憶されている。よって、サーバ５は、対象物が、この緯度経度からみた特定の方位にある表示空間に含まれるか否か判断する。そして、ある対象物が、この緯度経度からみた特定の方位にある表示空間に含まれると判断した場合、「撮影される現実空間に含まれる対象物」であると判断する。例えば、図５に示すように、東経１３９°北緯３５°に存在する複数の対象物であっても、その位置から西側には本棚があり、北側には洋服棚があり、東側には雑貨棚があると判断することができる。

データベース５３には、対象物の緯度経度情報、及びこの緯度経度における対象物の存在する方位の情報と関連づけられて、仮想表示情報（テキスト情報、画像、写真、動画、又は音声）が記憶されている。サーバ５は、「撮影される現実空間に含まれる対象物」についての、仮想表示情報を読み出す。サーバ５は、読み出した仮想表示情報とその対象物についての位置情報とを、端末３に送信する。

端末３は、対象物についての位置情報を用いて、モニタの表示位置を求める。端末は、端末３の位置に関する情報と端末３の方向に関する情報とを有しているため、モニタのどの位置がどの方位を示すかを求めることができる。このため端末は、対象物についての位置情報が、モニタのどの位置に表示される対象であるかを求めることができる。仮想表示を行うモニタ上の位置を把握した端末は、仮想表示情報を用いて、その位置に仮想表示を行う。このようにして、端末が撮影した画像に、仮想表示を重畳して表示することができる。

次に、仮想表示情報の更新について上記とは別の動作例について説明する。端末のユーザが、ある対象についての情報を投稿することを考えたとする。このユーザは、端末を用いて、写真、文章（テキスト）、画像、動画、又は音楽についての情報を作成する。すると、端末には、これらの情報が入力され、端末の記憶部に記憶される。ユーザが送信指示をする。端末は、ＧＰＳ機能を用いて、端末の位置に関する情報を取得する。端末は、写真などの情報と合わせて端末の位置に関する情報をサーバへ送信する。この情報を受信したサーバは、端末の位置に関する情報を「対象物についての位置」の情報とし、この情報と関連付けて送信された写真などの情報を記憶する。このようにして、データベースが更新される。

次に、仮想表示情報の更新についての動作例について説明する。端末のユーザが、ある対象についての情報を投稿することを考えたとする。このユーザは、端末を用いて、写真、文章（テキスト）、画像、動画、又は音楽についての情報を作成する。すると、端末には、これらの情報が入力され、端末の記憶部に記憶される。一方、ユーザはこの情報と関連付けたい対象物を特定する。このため、ユーザは、端末に地図を表示させる。このような指令が端末に入力されると、端末は地図記憶部４０から地図を読み出す。端末は、端末の位置を把握しているので、端末の位置情報を用いて、端末が存在する領域の地図を選択して読み出す。次に、ユーザは表示された地図における対象物の位置を特定する。たとえば、端末のモニタはタッチパネルとなっており、ユーザが地図上のある位置を押すと、その画面上の位置に対応した現実の位置（緯度及び経度）が分析できるようにされている。ユーザが位置を特定した場合、端末はタッチパネルにおいて押された地図上の点における位置（緯度及び経度）情報を読み出す。端末は、読み出した位置に関する情報を、写真などに関連させて記憶する。端末は、写真などの情報と合わせて記憶した位置に関する情報をサーバへ送信する。サーバは、写真などの情報と、位置に関する情報を受け取る。すると、サーバは、この位置に関する情報を、対象物についての位置として記憶するとともに、写真などの情報を仮想表示情報として対象物についての位置と関連付けて記憶する。このようにして、データベースが更新される。

本発明の情報提供システムは、通信機器産業などの分野で利用されうる。

１ 情報提供システム； ３ 情報提供端末； ５ サーバ； ７ 基地局；
３１ 受信手段； ３３ 撮影手段； ３４ 位置把握手段； ３５ 方位取得手段； ３７ 表示手段； ３７ａ 表示画面； ３９ 送信手段；
５１ 受信手段； ５３ データベース； ５５ 仮想表示情報選択手段；
５７ 送信手段；

Claims (7)

1. 撮影した現実空間に含まれる対象物の位置に対応した仮想表示を重ねて表示できる情報提供端末（３）と、前記情報提供端末（３）へ前記仮想表示情報を送信するサーバ（５）と、
   を含む、情報提供システム（１）であって、
   
   前記情報提供端末（３）は、
   情報提供端末の入力手段（３１）と、撮影手段（３３）と、位置取得手段（３４）と、方位取得手段（３５）と、表示手段（３７）と、情報提供端末の出力手段（３９）とを有し、
   前記情報提供端末の入力手段（３１）は、
   前記サーバ（５）から仮想表示情報を受信するための手段であり、
   前記撮影手段（３３）は、
   現実空間を撮影するための手段であり、
   前記位置取得手段（３４）は、
   前記情報提供端末の位置を取得する手段であり、
   前記方位取得手段（３５）は、
   前記情報提供端末の方位を取得する手段であり、
   前記表示手段（３７）は、
   前記撮影手段（３３）により撮影された現実空間を表示するとともに、前記サーバ（５）から送信された前記仮想表示情報に基づく仮想表示を前記現実空間に重ねて表示することができるものであり、
   前記情報提供端末の出力手段（３９）は、
   前記サーバ（５）へ前記情報提供端末の位置および方位を送信するための手段であり、
   
   前記サーバ（５）は、
   サーバ（５）の受信手段（５１）と、データベース（５３）と、仮想表示情報選択手段（５５）と、サーバ（５）の送信手段（５７）とを含み、
   前記サーバ（５）の受信手段（５１）は、前記情報提供端末（３）の位置および方位に関する情報を受信する手段であり、
   前記データベース（５３）は、対象物に関する位置情報と関連して当該対象物に対応した仮想表示情報を記憶した記憶部であり、
   前記仮想表示情報選択手段（５５）は、前記情報提供端末（３）に関する位置および方位から、前記情報提供端末（３）により撮影される現実空間に含まれる可能性のある対象物を把握し、当該把握した対象物に対応した仮想表示情報を前記データベースから選択して読み出す手段であり、
   前記サーバ（５）の送信手段（５７）は、前記仮想表示情報選択手段（５５）が読み出した対象物に対応した仮想表示情報を前記情報提供端末（３）へ送信する手段であり、
   
   これにより、前記撮影手段（３３）により前記情報提供端末（３）に現実空間に関する情報が入力され、
   前記情報提供端末（３）の出力手段（３９）が、前記サーバ（５）に対して、前記情報提供端末（３）の位置および方位に関する情報を送信し、
   前記サーバ（５）の受信手段（５１）が、前記情報提供端末（３）の位置および方位に関する情報を受信し、
   前記仮想表示情報選択手段（５５）が、前記情報提供端末（３）の位置および方位に関する情報を用いて、前記情報提供端末（３）により撮影される現実空間に含まれる可能性のある対象物を把握し、当該把握した対象物に対応した仮想表示情報を前記データベース（５３）から選択して読み出し、
   前記サーバ（５）の送信手段（５７）が、前記仮想表示情報選択手段（５５）が読み出した対象物に対応した仮想表示情報を前記情報提供端末（３）へ送信し、
   前記情報提供端末（３）の表示手段は、前記撮影手段（３３）により撮影された現実空間を表示するとともに、前記サーバ（５）から送信された前記仮想表示情報に基づく仮想表示を前記現実空間に重ねて表示する、
   情報提供システム（１）。
   
2. 前記サーバ（５）は、
   ある対象物についての位置と、当該ある対象についての仮想表示情報とを受信し、
   受信した情報を用いて、前記データベース（５３）を更新する、
   請求項１に記載の情報提供システム。
   
3. 前記サーバ（５）が受信する「ある対象物についての位置と、当該ある対象についての仮想表示情報」は、
   前記情報提供端末（３）から送信されたものであり、
   前記「ある対象物についての位置と、当該ある対象についての仮想表示情報」における「ある対象物についての位置」は、当該仮想表示情報を送信した当該情報提供端末（３）が有する位置取得手段により取得された当該情報提供端末（３）の位置である、
   請求項２に記載の情報提供システム。
   
4. 前記サーバ（５）の前記データベース（５３）が記憶する前記対象物に関する位置情報は、
   前記対象物が存在する緯度経度の情報、および当該緯度経度において当該対象物が存在する方位の情報を含み、
   前記サーバ（５）の前記データベース（５３）は、
   前記対象物が存在する緯度経度の情報、および当該緯度経度において当該対象物が存在する方位の情報と関連して当該対象物に対応した仮想表示情報を記憶した記憶部であり、
   前記仮想表示情報選択手段（５５）は、前記情報提供端末（３）に関する位置と方位、および前記対象物が存在する緯度経度と当該緯度経度において当該対象物が存在する方位から、前記情報提供端末（３）により撮影される現実空間に含まれる可能性のある対象物を把握し、当該把握した対象物に対応した仮想表示情報を前記データベースから選択して読み出す手段である
   請求項１に記載の情報提供システム。
   
5. 前記情報提供端末（３）は、
   地図を記憶する地図記憶部（４０）をさらに有し、
   
   前記サーバ（５）が受信する「ある対象物についての位置と、当該ある対象についての仮想表示情報」は、
   前記情報提供端末（３）から送信されたものであり、
   
   前記「ある対象物についての位置と、当該ある対象についての仮想表示情報」における「ある対象物についての位置」は、前記地図記憶部（４０）に記憶された地図であって、前記表示手段（３７）に表示されたものに基づいて、情報提供端末の入力手段（３１）により前記情報提供端末（３）に入力された位置である、
   請求項２に記載の情報提供システム。
   
6. 前記仮想表示は、
   前記情報提供端末（３）の記憶部に記憶され、前記仮想表示情報を用いて読み出されるものである、請求項１に記載の情報提供システム。
   
7. 前記仮想表示はテキストを含み、
   
   前記情報提供端末（３）は、
   送信相手と、前記送信相手の電子メールアドレスとを関連付けて記憶した電話帳をさらに有し、
   
   前記情報提供端末（３）の入力手段（３１）は、
   さらに、テキスト文を送信する対象となる仮想表示を指示する情報を入力でき、
   さらに、前記テキスト文を送信する対象となる送信相手を指示する情報を入力でき、
   
   前記情報提供端末（３）の出力手段（３９）は、
   さらに電子メールアドレスを用いて特定の相手にテキスト文を含む電子メールを送信できるものであり、
   
   これにより、
   前記情報提供端末（３）の入力手段（３１）が、
   前記テキスト文を送信する対象となる仮想表示を指示する情報を入力し、
   前記テキスト文を送信する対象となる送信相手を指示する情報を入力し、
   前記情報提供端末（３）が、
   前記テキスト文を送信する対象となる送信相手に関する情報を用いて、前記電話帳に記憶された送信相手の電子メールアドレスを読み出し、
   前記情報提供端末（３）の出力手段（３９）が、
   前記読み出した電子メールアドレスを用いて、前記送信相手に前記テキスト文を含む電子メールを送信する、
   請求項１に記載の情報提供システム。
   

Images