以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。
図1、図2及び図3に示される情報処理システム1は、ユーザが携帯する通信端末50の位置等の情報に応じた3次元仮想空間上のコンテンツ(ARコンテンツ)を特定し、特定したコンテンツを受信して出力するシステムである。情報処理システム1は、3次元仮想空間上における、通信端末50とコンテンツとの離間距離に基づいた受信品質で、コンテンツを受信する。情報処理システム1は、位置測位サーバ10と、空間構造サーバ30と、ユーザが携帯する通信端末50と、を備えている。最初に、情報処理システム1が行う処理の概要について説明する。
情報処理システム1では、例えば、通信端末50が撮像した撮像画像が位置測位サーバ10に送信される。図1に示される例では、通信端末50において撮像された撮像画像として、建物Bの画像(撮像画像)が示されている。位置測位サーバ10は、通信端末50において撮像された撮像画像に基づいてグローバル位置情報を取得し、グローバル位置情報を通信端末50に送信する。グローバル位置情報とは、どのデバイスでも利用できる共通の座標系で示される位置情報(絶対的な位置情報)である。グローバル位置情報には、例えば、位置、方向及び傾きの情報が含まれている。グローバル位置情報の詳細については後述する。なお、グローバル位置情報の取得については、撮影画像を使った手法に限定されるものでは無い。例えば、GPS、RTK、地磁気、Wi-Fi、Bluetooth(登録商標)などを利用して取得された情報に基づき、位置測位サーバ10においてグローバル位置情報が取得されてもよい。
通信端末50は、位置測位サーバ10からグローバル位置情報を取得する。そして、通信端末50は、取得したグローバル位置情報を少なくとも含む端末情報を、空間構造サーバ30に送信する。空間構造サーバ30は、複数のコンテンツを3次元の仮想空間に表したデータであるコンテンツ空間データ(詳細は後述)を記憶している。空間構造サーバ30は、コンテンツ空間データにおける、取得したグローバル位置情報を含む端末情報に対応する複数のコンテンツを受信コンテンツとして特定する。
図1に示される例では、通信端末50上の画面P1には、現実空間に存在する物体として、建物Bが表れている。そして、通信端末50上の画面P1が撮像された撮像画像に対応するコンテンツ空間データDの領域には、3次元の仮想空間に表された建物Bと、当該コンテンツ空間データDの領域におけるコンテンツであるコンテンツX1,X2,Y1,Z1と、が表されている。すなわち、端末情報のうちグローバル位置情報に基づいて、4つのコンテンツX1,X2,Y1,Z1が特定される。空間構造サーバ30は、更に、端末情報に含まれる他の情報(例えば、ユーザの嗜好情報等)に基づいて、上述した4つのコンテンツのうち、コンテンツX1,X2を受信コンテンツとして特定する。以下では、コンテンツX1,X2を、受信コンテンツX1,X2と記載する場合がある。
そして、空間構造サーバ30は、端末情報に含まれるグローバル位置情報(通信端末50の位置)と各受信コンテンツX1,X2の位置とに基づき、3次元の仮想空間における通信端末50と各受信コンテンツとの離間距離をそれぞれ導出する。
図1に示される例では、空間構造サーバ30は、通信端末50と各受信コンテンツX1,X2との離間距離に基づいて、各受信コンテンツX1,X2を受信する際の受信品質をそれぞれ決定する。そして、通信端末50は、空間構造サーバ30から、決定された受信品質で受信コンテンツX1,X2をそれぞれ受信する。続いて、通信端末50は、端末上の画面に受信コンテンツX1,X2を表示する。
次に、図2を参照して、位置測位サーバ10、空間構造サーバ30、及び通信端末50の機能的な構成要素について説明する。位置測位サーバ10は、機能的な構成要素として、記憶部11と、測位部12と、を有している。
記憶部11は、マップデータ100を記憶している。マップデータ100では、予め取得された撮像画像に含まれる特徴点の特徴量(例えば、輝度方向ベクトル)と、特徴点に関連付けられた絶対的な位置情報であるグローバル位置情報とが対応付けられている。マップデータ100は、例えば、3Dポイントクラウドである。マップデータ100は、対象物を複数の異なる方向から同時に撮像可能なステレオカメラ(図示省略)等によって予め撮像され、大量の撮像画像に基づいて生成される。特徴点とは、画像中において際立って検出される点であって、例えば、他の領域と比べて輝度(強度)が大きい(又は小さい)点である。特徴点のグローバル位置情報とは、特徴点に関連付けて設定されたグローバル位置情報であって、画像中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対するグローバル位置情報の関連付けは、従来から周知の方法によって行うことができる。
記憶部11は、マップデータ100の特徴点のグローバル位置情報として3次元のグローバル位置情報を記憶している。記憶部11は、特徴点の3次元のグローバル位置情報として、例えば、特徴点の緯度、経度及び高さを記憶している。なお、記憶部11は、マップデータ100についてグローバル位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。
測位部12は、通信端末50において撮像された撮像画像と、記憶部11に記憶されているマップデータ100とに基づいて、通信端末50における撮像時の通信端末50のグローバル位置情報(3次元の位置情報)を推定する。具体的には、測位部12は、マップデータ100の特徴点と、通信端末50において撮像された撮像画像の特徴点とのマッチングを行い、撮像された撮像画像に対応するマップデータ100の領域を特定する。そして、測位部12は、特定した領域に係るマップデータ100の特徴点に関連付けられたグローバル位置情報に基づいて撮像画像の撮像位置(すなわち、撮像時における通信端末50のグローバル位置情報)を推定する。測位部12は、測位結果を通信端末50に送信する。
なお、測位結果には、グローバル位置情報に加えて撮像画像から推定される方向(ロール、ピッチ、ヨーの3次元座標中の方向)に関する情報が含まれている。また、測位部12は、通信端末50において一定の周期で撮像された撮像画像に基づいてグローバル位置情報を取得してもよいし、ユーザからの指示を受けたタイミングで通信端末50において撮像された撮像画像に基づいてグローバル位置情報を取得してもよい。
空間構造サーバ30は、機能的な構成要素として、記憶部31と、受信コンテンツ特定部32と、距離導出部33と、受信品質決定部34と、を有している。
記憶部31は、コンテンツ空間データを記憶している。コンテンツ空間データは、複数のコンテンツを3次元の仮想空間に表したデータであって、仮想空間上における複数のコンテンツそれぞれの位置において複数のコンテンツそれぞれの形状を表すデータである。例えば、仮想空間においてある場所に、現実空間にも存在する複数の建造物と、仮想空間にのみ存在する案内板とが存在するとする。その場合、複数の建造物は、現実空間に対応する仮想空間の構造データにおいて、地面を表すコンテンツ、及び現実空間と同じ位置に配置され且つ現実空間に存在する当該建造物と同じ形状である複数のコンテンツとして、表されている。一方、仮想空間にのみ存在する案内板は、予め設定された位置及び形状を持つコンテンツとして表されている。つまり、コンテンツ空間データは、現実空間及び仮想空間における物体(コンテンツ)を、3次元の仮想空間に表したデータであって、複数の物体(コンテンツ)について位置及び形状を表すデータである。なお、コンテンツ空間データでは、複数のコンテンツそれぞれの種別及びデータ容量が、複数のコンテンツそれぞれと対応付けられている。すなわち、記憶部31は、コンテンツ空間データにおいて記憶している複数のコンテンツの種別及びデータ容量を更に記憶している。コンテンツの種別とは各コンテンツに与えられた属性(カテゴリ)である。同じ種別のコンテンツとは、例えば、コンテンツに含まれる特徴、及びそのコンテンツを嗜好するユーザ等が、互いに同一又は似ているコンテンツである。
受信コンテンツ特定部32は、コンテンツ空間データにおける端末情報に対応する複数のコンテンツを、それぞれ、受信コンテンツとして特定する。受信コンテンツ特定部32は、通信端末50から送信された端末情報に基づき、受信コンテンツを特定する。端末情報とは、通信端末50の位置、ユーザの視認方向、ユーザの嗜好情報、通信端末50の通信環境(詳細は後述)、通信端末50の端末性能(詳細は後述)及びユーザの移動速度(詳細後述)等を含む情報である。ユーザの視認方向とは、通信端末50によって、グローバル位置情報に含まれる通信端末50の向きの情報から推定された、ユーザが向いている方向の情報である。ユーザの嗜好情報とは、ユーザの年齢等のプロフィール、及びユーザが興味を持つコンテンツの種別等に関する情報である。端末情報に含まれる各情報のうち、通信端末50の位置、ユーザの視認方向、及びユーザの嗜好情報は、受信コンテンツ特定部32による処理に用いられ、通信端末50の通信環境、通信端末50の端末性能及びユーザの移動速度は、受信品質決定部34による処理に用いられる。
具体的には、受信コンテンツ特定部32は、例えば、記憶部31に記憶されているコンテンツ空間データに含まれるコンテンツの中から、端末情報に含まれる通信端末50の位置に対応する(具体的には、通信端末50の位置からの離間距離が所定距離以内の)コンテンツを受信コンテンツとして特定する。受信コンテンツ特定部32は、端末情報に含まれる通信端末50の位置以外の情報を考慮して、受信コンテンツを特定してもよい。すなわち、受信コンテンツ特定部32は、端末情報に含まれるユーザの視認方向を更に考慮して、受信コンテンツを特定してもよい。また、受信コンテンツ特定部32は、端末情報に含まれるユーザの嗜好情報と記憶部31に記憶されているコンテンツの種別との関連度合いを更に考慮して、受信コンテンツを特定してもよい。
一例としては、まず、受信コンテンツ特定部32は、通信端末50から端末情報を取得する。そして、受信コンテンツ特定部32は、記憶部31に記憶されているコンテンツ空間データに含まれるコンテンツの中から、端末情報に含まれる通信端末50の位置からの離間距離が所定距離以内であるコンテンツの位置情報及び種別情報を取得する。続いて、受信コンテンツ特定部32は、端末情報に含まれるユーザの視認方向から、3次元の仮想空間上におけるユーザの視認範囲を特定する。続いて、受信コンテンツ特定部32は、取得済みのコンテンツの位置情報に基づいて、ユーザの視認範囲に位置するコンテンツを特定する。最後に、受信コンテンツ特定部32は、ユーザの視認範囲に位置する複数のコンテンツの中から、種別情報に示される種別がユーザの嗜好情報と関連度合いが高いコンテンツを、受信コンテンツとして特定する。
図3に示される例では、受信コンテンツ特定部32は、通信端末50の位置及びユーザの視認方向から、3次元の仮想空間上におけるユーザの視認範囲Lを特定する。受信コンテンツ特定部32は、ユーザの視認範囲L内に位置するコンテンツであるX1~X5、Y1~Y3、Z1及びZ2について、ユーザの嗜好情報との関連度合いが高い種別Xに対応するコンテンツであるX1~X5を、受信コンテンツとして特定する。
距離導出部33は、端末情報に含まれる通信端末50の位置と各受信コンテンツの位置とに基づき、3次元の仮想空間における通信端末50と各受信コンテンツとの離間距離をそれぞれ導出する。すなわち、距離導出部33は、通信端末50の位置情報と受信コンテンツの位置情報とに基づき、3次元の仮想空間における通信端末50と受信コンテンツとの離間距離を導出する。図3における例では、受信コンテンツX1~X5の位置と通信端末50の位置とを結んだ離間距離がD1~D5と表されている。距離導出部33は、離間距離D1~D5を、各受信コンテンツと通信端末50との離間距離として導出する。
受信品質決定部34は、通信端末50と受信コンテンツとの離間距離に基づいて、記憶部31から各受信コンテンツを受信する際のそれぞれの受信品質を決定する。具体的には、まず、受信品質決定部34は、距離導出部33によって導出された、通信端末50と受信コンテンツとの離間距離を取得する。そして、受信品質決定部34は、離間距離が短い受信コンテンツほど、受信品質を高く決定する。図4に示される例では、離間距離の長さが、近距離、中距離及び遠距離の3段階に区分される。受信品質決定部34は、離間距離が近距離である受信コンテンツX1について、受信品質を高品質(High Quality)と決定する。受信品質決定部34は、離間距離が中距離である受信コンテンツX2、X3及びX4について、受信品質を中品質(Middle Quality)と決定する。受信品質決定部34は、離間距離が遠距離である受信コンテンツX5について、受信品質を低品質(Low Quality)と決定する。図5に示される例では、コンテンツの受信品質とコンテンツの表示イメージとの関係が表されている。すなわち、図5に示される例では、離間距離が短くなるほど(近距離であるほど)、ポリゴンで形成されている3Dコンテンツ(受信コンテンツ)が精細化されている。なお、ポリゴンで形成されている3Dコンテンツは、受信品質が高くなるほど、3Dコンテンツの頂点数が増えることで精細化される。
受信品質決定部34は、例えば、以下の式(1)に基づいて、コンテンツの受信品質を導出してもよい。以下の式(1)においては、コンテンツの受信品質がQ、最大距離がDmax、受信最低品質がQmin、離間距離がDコンテンツの受信品質がQで示されている。なお、以下の式(1)において、コンテンツの受信品質Qの導出結果が、受信品質の最大値Qmaxを上回った場合、Q=Qmaxとされる。
Q=(Dmax*Qmin)/D …(1)
受信品質決定部34は、データ容量が大きい受信コンテンツほど、受信品質を低くしてもよい。具体的には、受信品質決定部34は、記憶部31から受信コンテンツのデータ容量を取得する。そして、受信品質決定部34は、受信コンテンツの中で、データ容量が極端に大きい受信コンテンツについて受信品質を低く(例えば上述した低品質に)する。データ容量が極端に大きいとは、データ容量が所定値(第1閾値:例えば100MByte)以上大きいことを意味してもよいし、各受信コンテンツの平均データ容量よりも所定値(第2閾値:例えば20MByte)以上大きいことを意味してもよいし、各受信コンテンツの平均データ容量よりも50%だけ大きいことを意味してもよい。図6では、受信コンテンツX1~X5のうち、受信コンテンツX1及びX5のデータ容量が極端に大きいことが示されている。このような場合には、受信品質決定部34は、受信コンテンツX1~X5のうち、データ容量が極端に大きい受信コンテンツX1及びX5について受信品質を低くしている。
受信品質決定部34は、受信コンテンツの数が多いほど、各受信コンテンツそれぞれの受信品質を低くしてもよい。具体的には、受信品質決定部34は、受信コンテンツ特定部32によって特定された受信コンテンツの数が多いほど、受信コンテンツ全体の受信品質を低くする。受信品質決定部34は、例えば、受信コンテンツの数が8個以上である場合に、受信品質を低く(例えば上述した低品質に)する。図7における例では、受信コンテンツはX1~X10の10個あり、受信コンテンツの数が多い。ゆえに、受信品質決定部34は、受信コンテンツX1~X10の受信品質を低くする。
受信品質決定部34は、記憶部31に記憶されている端末情報に含まれる通信端末50の通信環境の状態に基づいて、受信品質を決定する。受信品質決定部34は、通信端末50の通信環境が良いほど、受信品質を高くする。一例としては、端末情報取得部52(後述する)によって、通信端末50の通信環境が評価される。そして、受信品質決定部34は、通信環境の評価を取得し、評価が良いほど受信品質を高くする。ここで、通信環境とは、通信端末50と無線基地局との通信速度及び通信安定性等を評価した情報である。
受信品質決定部34は、記憶部31に記憶されている端末情報に含まれる端末性能が高いほど、各受信コンテンツそれぞれの受信品質を高くする。具体的には、端末情報取得部52(後述する)によって、端末性能が評価される。そして、受信品質決定部34は、端末性能を取得する。受信品質決定部34は、処理性能の評価結果が良いほど、受信品質を高くする。ここで、端末性能とは、端末情報取得部52(後述する)によって、通信端末50のメモリ及びプロセッサについて処理性能が評価された情報である。
受信品質決定部34は、記憶部31に記憶されている端末情報に含まれるユーザの移動速度を更に考慮して、受信品質を決定する。具体的には、受信品質決定部34は、ユーザの移動の速さ、及び、受信コンテンツに対するユーザの移動方向に基づいて、受信コンテンツの受信品質を制御する。例えば、通信端末50を保持するユーザが、乗用車や電車等を利用することで受信コンテンツに向かって所定時速以上で近づく場合、受信品質決定部34は、通信端末50と受信コンテンツとの離間距離がある程度長いとしても、受信品質を高品質にしてもよい。また、例えば、通信端末50を保持するユーザが、受信コンテンツから所定速度以上で遠ざかる場合、受信品質決定部34は、通信端末50と受信コンテンツとの離間距離がある程度短いとしても、受信品質を低品質にしてもよい。
通信端末50は、例えば、無線通信を行うよう構成された端末である。通信端末50は、例えば、スマートフォン、タブレット型端末、PC、ゴーグル型のウェアラブル機器等である。通信端末50は、例えばアプリケーションが実行されると、実装されたカメラによる撮像が実施される。そして、通信端末50は、撮像された撮像画像に応じて位置測位サーバ10からグローバル位置情報を取得する。続いて、通信端末50は、グローバル位置情報及び対応する撮像画像から、通信端末50の位置及びユーザの視認方向を推定(取得)する。なお、ユーザの視認方向は、撮像画像に基づいて推定されてもよいし、通信端末50がゴーグル型のウェアラブル機器等である場合には当該機器によって取得されるユーザの注視点に基づいて推定されてもよい。続いて、通信端末50は、通信端末50の位置及びユーザの視認方向を含む端末情報を空間構造サーバ30に送信する。そして、通信端末50は、空間構造サーバ30から受信コンテンツを受信し、出力する。通信端末50は、記憶部51と、端末情報取得部52と、コンテンツ受信部53と、出力部54と、を有している。
記憶部51は、情報処理システム1で実施される種々の処理に用いられる情報を記憶している。具体的には、記憶部51は、通信端末50が有するカメラによって撮像された撮像画像、位置測位サーバ10から取得したグローバル位置情報及びユーザの視認方向等を記憶している。撮像画像は、例えば、コンテンツを表示するためのアプリケーションの実行が開始されたタイミングで、通信端末50のカメラによる撮像によって取得される。取得された撮像画像は、記憶部51に格納され、位置測位サーバ10によるグローバル位置情報の推定、及びユーザの視認方向情報の推定等に用いられる。記憶部51は、通信端末50の通信環境及び通信端末50の端末性能を記憶している。また、記憶部51は、通信端末50に係るユーザの嗜好情報を記憶している。
端末情報取得部52は、ユーザが携帯する通信端末50の位置を少なくとも含む端末情報を取得する。具体的には、端末情報取得部52は、通信端末50において撮像された画像を位置測位サーバ10に送信する。そして、端末情報取得部52は、位置測位サーバ10から、撮像画像に対応するグローバル位置情報を取得し、該グローバル位置情報から通信端末50の位置を取得する。
端末情報取得部52は、通信端末50の向きから推定されるユーザの視認方向を含む端末情報を取得する。端末情報取得部52は、例えば撮像画像に基づいて、通信端末50の向きを推定し、該通信端末50の向きからユーザの視認方向を推定(取得)する。
端末情報取得部52は、ユーザの嗜好情報を含む端末情報を取得する。具体的には、端末情報取得部52は、例えば、予め登録されているユーザのプロフィール、ユーザの検索履歴及びコンテンツ閲覧履歴等から、ユーザが興味を持つコンテンツの種別についての情報を推定(収集)し、当該情報をユーザの嗜好情報として記憶部51に保存する。そして、端末情報取得部52は、アプリケーションの実行が開始されたタイミングで、記憶部51からユーザの嗜好情報を取得する。
端末情報取得部52は、通信端末50の通信環境を含む端末情報を取得する。具体的には、端末情報取得部52は、例えば、通信端末50とWiFiルータとの通信速度及び通信安定性、並びに通信端末50と無線基地局との通信速度及び通信安定性等について、予め評価し、通信端末50の通信環境として記憶部51に保存する。そして、端末情報取得部52は、アプリケーションの実行が開始されたタイミングで、記憶部51から通信端末50の通信環境を取得する。
端末情報取得部52は、通信端末50の端末性能を含む端末情報を取得する。具体的には、端末情報取得部52は、例えば、通信端末50のメモリ及びプロセッサの処理性能等について、予め評価し、通信端末50の端末性能として記憶部51に保存する。そして、端末情報取得部52は、アプリケーションの実行が開始されたタイミングで、記憶部51から、通信端末50の端末性能を取得する。
端末情報取得部52は、通信端末50の位置、ユーザの視認方向、ユーザの嗜好情報、通信端末50の通信環境及び通信端末50の端末性能を含む端末情報を、空間構造サーバ30に送信する。
コンテンツ受信部53は、各受信コンテンツを、受信品質決定部34によって決定された受信品質で、空間構造サーバ30から、それぞれ受信する。
出力部54は、コンテンツ受信部53によって受信された各コンテンツを出力する。具体的には、出力部54は、受信されたコンテンツの形状を、通信端末50上の画面等に表示する。
コンテンツを受信し、出力する方法には、以下の2つの方法が含まれる。1つ目の方法は、各コンテンツについて、空間構造サーバ30においてそれぞれ複数パターンの品質で形状が保存されているときの方法である。1つ目の方法では、コンテンツ受信部53は、決定された受信品質による受信を一度の受信によって行う。図4及び図8に示される例では、まず、受信品質決定部34によって、図4に示される端末と受信コンテンツX1~X5との各離間距離に応じて、図8に示されるように各受信品質が決定される。そして、コンテンツ受信部53によって、決定された受信品質で、受信コンテンツX1~X5が受信される。最後に、出力部54は、受信コンテンツX1~X5の形状を通信端末50上の画面に出力する。
2つ目の方法は、コンテンツ受信部53が、プログレッシブ型でコンテンツを受信する(コンテンツ全体を低品質で受信した後に、徐々に高品質でコンテンツを受信する)方法である。2つ目の方法では、コンテンツ受信部53は、受信コンテンツ全てを低品質で一度受信する。そして、コンテンツ受信部53は、決定された受信品質を満たしていない受信コンテンツについて徐々に高品質に近い受信を行う。続いて、出力部54は、より高品質な受信が行われるたびに、受信されたコンテンツについて、より高品質な表示に置き換える(レンダリングする)。
図4、図5、図8及び図9に示される例では、まず、受信品質決定部34によって、図4に示される端末と受信コンテンツX1~X5との各離間距離に応じて、図8に示されるように各受信品質が決定される。なお、図8及び図9において、Lowとは低品質(Low Quality)を、Middleとは中品質(Middle Quality)を、Highとは高品質(High Quality)を、それぞれ示している。そして、コンテンツ受信部53は、図9の表の「Low(低品質)」の列に示されるように、まず、受信コンテンツX1~X5全てを低品質で受信する。続いて、コンテンツ受信部53は、図9の表の「Middle(中品質)」及び「High(高品質)」の列に示されるように、中品質及び高品質な受信品質で受信することが決定されている受信コンテンツX1~4を中品質で受信する。続いて、コンテンツ受信部53は、図9の表の「High(高品質)」の列に示されるように、高品質な受信品質で受信することが決定されている受信コンテンツX1を高品質で受信する。出力部54は、コンテンツ受信部53がコンテンツを受信するたびに、通信端末50上の画面等に表示されているコンテンツについてレンダリングを行う。出力部54によりレンダリングが行われると、コンテンツは低品質なもの(図5に示される「低品質」のコンテンツ)から高品質なもの(図5に示される「高品質」のコンテンツ)に置き換わる。
次に、本実施形態に係る情報処理システム1が行う処理、具体的には、3次元仮想空間上におけるユーザが携帯する通信端末50とコンテンツとの離間距離に基づいた受信品質で、通信端末50がコンテンツを受信し、出力する処理について、図10を参照して説明する。図10は、情報処理システム1が行う処理を示すフローチャートである。
図10に示されるように、情報処理システム1では、通信端末50において、ユーザの端末情報が取得される(S101)。具体的には、端末情報取得部52において、通信端末50において撮像された画像が、位置測位サーバ10に送信される。端末情報取得部52において、グローバル位置情報が、位置測位サーバ10から取得される。そして、端末情報取得部52において、グローバル位置情報から通信端末50の位置が推定され、撮像画像からユーザの視認方向が推定(取得)される。続いて、端末情報取得部52において、記憶部51から、ユーザの嗜好情報、通信端末50の通信環境及び通信端末50の端末性能が取得される。続いて、端末情報取得部52において、通信端末50の位置、ユーザの視認方向、ユーザの嗜好情報、通信端末50の通信環境及び通信端末50の端末性能を含む端末情報が、空間構造サーバ30に送信される。
続いて、受信コンテンツ特定部32において、受信コンテンツが特定される(S102)。具体的には、受信コンテンツ特定部32において、端末情報に含まれる通信端末50の一(グローバル位置情報)に対応する、コンテンツ空間データに含まれる複数のコンテンツが取得される。続いて、受信コンテンツ特定部32において、端末情報に含まれるユーザの視認範囲が特定され、ユーザの視認範囲に位置するコンテンツが特定される。続いて、受信コンテンツ特定部32において、ユーザの視認範囲に位置する複数のコンテンツの中から、ユーザの嗜好情報との関連度合いが高い種別のコンテンツが、受信コンテンツとして特定される。
続いて、距離導出部33において、通信端末50と受信コンテンツとの離間距離が導出される(S103)。具体的には、距離導出部33において、通信端末50の位置及び受信コンテンツの位置に基づいて、3次元の仮想空間における通信端末50と受信コンテンツとの離間距離が導出される。
続いて、受信品質決定部34において、離間距離に応じた受信品質が決定される(S104)。具体的には、受信品質決定部34において、距離導出部33から、通信端末50と受信コンテンツとの離間距離が取得される。そして、受信品質決定部34において、離間距離が短い受信コンテンツほど、受信品質が高くされる。
続いて、コンテンツ受信部53において、受信コンテンツが、決定された受信品質で受信される(S105)。具体的には、コンテンツ受信部53において、空間構造サーバ30から、受信品質決定部34によって決定された受信品質で、受信コンテンツが受信される。最後に、出力部54において、受信コンテンツの形状が、通信端末50上の画面等に表示される(S106)。
次に、本実施形態に係る情報処理システムの作用効果について説明する。
複数のコンテンツを3次元の仮想空間に表したデータであって、仮想空間上における複数のコンテンツそれぞれの位置において複数のコンテンツそれぞれの形状を表すコンテンツ空間データを記憶する記憶部31と、ユーザが携帯する端末の位置を少なくとも含む端末情報を取得する端末情報取得部52と、コンテンツ空間データにおける端末情報に対応する複数のコンテンツを受信コンテンツとして特定する受信コンテンツ特定部32と、端末情報に含まれる端末の位置と各受信コンテンツの位置とに基づき、3次元の仮想空間における端末と各受信コンテンツとの離間距離をそれぞれ導出する距離導出部33と、離間距離に基づいて、記憶部から各受信コンテンツを受信する際のそれぞれの受信品質を決定する受信品質決定部34と、各受信コンテンツを、受信品質決定部34によって決定された受信品質でそれぞれ受信するコンテンツ受信部53と、コンテンツ受信部53によって受信された各コンテンツを出力する出力部54と、を備えている。
本実施形態に係る情報処理システム1では、コンテンツ空間データにおける、ユーザが携帯する端末の位置に対応する複数のコンテンツが受信コンテンツとして特定され、3次元の仮想空間における端末の位置と各受信コンテンツの位置との離間距離が導出される。そして、離間距離は、近距離、中距離及び遠距離の3段階に評価される。そして、各受信コンテンツが、各段階に基づいた受信品質でそれぞれ受信される。コンテンツの受信品質に関して、例えば、ユーザが座っている場合、離間距離が短い受信コンテンツほど高品質で受信してほしいという要望が存在する。一方で、例えば、ユーザが車両で移動する場合、特定の離間距離に近づく、又は遠ざかるコンテンツほど高品質で受信してほしいという要望が存在する。この点、本実施形態に係る構成では、受信コンテンツの受信品質が、3次元の仮想空間における通信端末50と受信コンテンツとの離間距離に基づいて決定されることにより、例えば、離間距離ごとにユーザが求める受信品質レベルが予め把握されていることによって、システム全体にかかる負荷が許容範囲を超えないように制御しつつ、ユーザが求める受信品質レベルが高い離間距離の受信コンテンツの受信品質を極力高くすることができる。これにより、ARコンテンツの表示に関して、ユーザ体感品質を担保しつつ、システム全体にかかる負荷を軽減することができる。
受信品質決定部34は、離間距離が短い受信コンテンツほど、受信品質を高くする。このような構成によれば、ユーザの位置に近い受信コンテンツほど、受信品質が高くなる。これにより、例えば、受信コンテンツを、ユーザの位置に近いほど高解像度で表示する必要がある場合、離間距離ごとにユーザが求める受信品質を担保しつつ、システム全体の負荷を軽減するように受信品質を決定することができる。
記憶部31は、複数のコンテンツの種別を記憶し、端末情報取得部52は、ユーザの嗜好情報を含む端末情報を取得し、受信コンテンツ特定部32は、端末情報に含まれる嗜好情報と種別との関連度合いを考慮して、受信コンテンツを特定する。このような構成によれば、例えば、ユーザの嗜好に沿った複数のコンテンツが受信コンテンツとして特定される。これによりARコンテンツの表示に関して、ユーザ体感品質を向上させることができる。
端末情報取得部52は、端末の向きから推定されるユーザの視認方向を含む端末情報を取得し、受信コンテンツ特定部32は、端末情報に含まれるユーザの視認方向情報を考慮して一又は複数のコンテンツを特定し、受信コンテンツとする。このような構成によれば、ユーザの視認範囲内の複数のコンテンツが受信コンテンツとして特定され、ユーザが視認していない範囲のコンテンツは受信されず、受信コンテンツの数が減少する。これにより、ユーザが視認しない無駄なコンテンツの受信が抑制され、システム全体の負荷を軽減することができる。
受信品質決定部34は、受信コンテンツの数が多いほど、各受信コンテンツそれぞれの受信品質を低くする。このような構成によれば、受信コンテンツの数が多くなることによる、システム全体にかかる負荷の増大が抑制される。これにより、システム全体への負荷を軽減することができる。
端末情報取得部52は、端末の通信環境を含む端末情報を取得し、受信品質決定部34は、端末情報に含まれる通信環境の状態に基づいて、受信品質を決定する。これにより、ARコンテンツについてユーザ体感品質を、それぞれの端末の通信環境において実現可能な範囲で最大化することができる。例えば、端末の通信環境が不安定な場合、受信コンテンツを出力する際の遅延等を防止するため、受信コンテンツの受信品質を必要な分だけ低くすることができる。
端末情報取得部52は、端末性能を含む端末情報を取得し、受信品質決定部34は、端末情報に含まれる端末性能が高いほど、受信品質を高くする。これにより、ARコンテンツについてユーザ体感品質を、それぞれの端末性能によって実現可能な範囲で最大化することができる。例えば、端末性能が低い場合、受信コンテンツを出力する際の遅延等を防止するため、受信コンテンツの受信品質を必要な分だけ低くすることができる。
端末情報取得部52は、ユーザの移動速度を含む端末情報を取得し、受信品質決定部34は、端末情報に含まれるユーザの移動速度を更に考慮して、受信品質を決定する。このような構成によれば、通信端末50と受信コンテンツとの離間距離が、ユーザの移動によって変化することが考慮されつつ、受信品質が決定される。これにより、ARコンテンツについてユーザ体感品質を継続して維持しつつ、システム全体の負荷を軽減することができる。例えば、受信品質決定部34は、通信端末と受信コンテンツとの離間距離が数秒後に短くなることをユーザの移動速度から推定する。そして、コンテンツ受信部53は、当該受信コンテンツを前もって高品質で受信する。このようにして、離間距離が短くなる受信コンテンツを高品質で再度受信するための時間的猶予を作ることができ、ユーザの体感品質を維持しつつ、システム全体の負荷を軽減することができる。
次に、情報処理システム1に含まれた位置測位サーバ10、空間構造サーバ30、及び通信端末50のハードウェア構成について、図11を参照して説明する。上述の位置測位サーバ10、空間構造サーバ30、及び通信端末50は、物理的には、プロセッサ1001、メモリ1002、ストレージ1003、通信装置1004、入力装置1005、出力装置1006、バス1007などを含むコンピュータ装置として構成されてもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置測位サーバ10、空間構造サーバ30、及び通信端末50のハードウェア構成は、図に示した各装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
位置測位サーバ10、空間構造サーバ30、及び通信端末50における各機能は、プロセッサ1001、メモリ1002などのハードウェア上に所定のソフトウェア(プログラム)を読み込ませることで、プロセッサ1001が演算を行い、通信装置1004による通信や、メモリ1002及びストレージ1003におけるデータの読み出し及び/又は書き込みを制御することで実現される。
プロセッサ1001は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ1001は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。例えば、位置測位サーバ10の測位部12等の制御機能はプロセッサ1001で実現されてもよい。
また、プロセッサ1001は、プログラム(プログラムコード)、ソフトウェアモジュールやデータを、ストレージ1003及び/又は通信装置1004からメモリ1002に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。
例えば、位置測位サーバ10の測位部12等の制御機能は、メモリ1002に格納され、プロセッサ1001で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、1つのプロセッサ1001で実行される旨を説明してきたが、2以上のプロセッサ1001により同時又は逐次に実行されてもよい。プロセッサ1001は、1以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ1002は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、RAM(Random Access Memory)などの少なくとも1つで構成されてもよい。メモリ1002は、レジスタ、キャッシュ、メインメモリ(主記憶装置)などと呼ばれてもよい。メモリ1002は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム(プログラムコード)、ソフトウェアモジュールなどを保存することができる。
ストレージ1003は、コンピュータ読み取り可能な記録媒体であり、例えば、CDROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu-ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。ストレージ1003は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ1002及び/又はストレージ1003を含むデータベース、サーバその他の適切な媒体であってもよい。
通信装置1004は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置1005は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置1006は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー、LEDランプなど)である。なお、入力装置1005及び出力装置1006は、一体となった構成(例えば、タッチパネル)であってもよい。
また、プロセッサ1001やメモリ1002などの各装置は、情報を通信するためのバス1007で接続される。バス1007は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、位置測位サーバ10、空間構造サーバ30、及び通信端末50は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ1001は、これらのハードウェアの少なくとも1つで実装されてもよい。
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
例えば、情報処理システム1は、位置測位サーバ10、空間構造サーバ30、及び通信端末50を含んで構成されているとして説明したが、これに限定されず、情報処理システム1の各機能が、通信端末50のみによって実現されてもよい。
また、本実施形態では、通信端末50が、記憶部51と、端末情報取得部52と、コンテンツ受信部53と、出力部54と、を備えている構成を例示した。しかしながら、情報処理システム1では、例えば、サーバがこれらの各機能的構成要素を備えていてもよい。
また、情報処理システムにおいて、通信端末が以下の機能を備えていてもよい。すなわち、通信端末は、ユーザが携帯する端末の位置を少なくとも含む端末情報を取得する端末情報取得部と、端末情報に含まれる端末の位置と、仮想空間上の複数のコンテンツそれぞれの位置において複数のコンテンツそれぞれの形状を表すコンテンツ空間データにおける端末情報に対応する複数のコンテンツである受信コンテンツの位置とに基づき、3次元の仮想空間における端末と各受信コンテンツとの離間距離をそれぞれ導出する距離導出部と、離間距離に基づいて、各受信コンテンツを受信する際のそれぞれの受信品質を決定する受信品質決定部と、各受信コンテンツを、受信品質決定部によって決定された受信品質でそれぞれ受信するコンテンツ受信部と、コンテンツ受信部によって受信された各コンテンツを出力する出力部と、を備えていてもよい。このように、距離導出部及び受信品質決定部の機能を通信端末が備えることにより、通信端末と外部のサーバとの間での通信が不要に(或いは少なく)なり、受信コンテンツの出力を遅滞なく行うことができる。
本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broad-band)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-Wide Band)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。
本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
判定は、1ビットで表される値(0か1か)によって行われてもよいし、真偽値(Boolean:trueまたはfalse)によって行われてもよいし、数値の比較(例えば、所定の値との比較)によって行われてもよい。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
本明細書で説明した情報、信号などは、様々な異なる技術のいずれか1項を使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
通信端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
本明細書で「第1の」、「第2の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1および第2の要素への参照は、2つの要素のみがそこで採用され得ること、または何らかの形で第1の要素が第2の要素に先行しなければならないことを意味しない。
「含む(include)」、「含んでいる(including)」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または(or)」は、排他的論理和ではないことが意図される。
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。