JP6781977B1 - 情報提示システム、情報分析システム、情報提示方法、情報分析方法およびプログラム - Google Patents

Abstract

【課題】ユーザの視点に基づきユーザの嗜好や関心を記録した情報を提供する情報提示システムを提供する。【解決手段】情報分析／情報提示システム１０は、情報端末装置２００と管理サーバ１００とを備える。管理サーバ１００は、画像データと画像データ内に配置した１または複数のマーカとマーカＩＤとを記憶する画像データ記憶部１１０と、マーカＩＤと提示情報とを対応付けて記憶する提示情報記憶部１５０と、ユーザの視点を示す視点情報を受信する送受信部１０１と、視点情報及び画像データとマーカとマーカＩＤとから、ユーザの視野に表示されたマーカに対応付けられたマーカＩＤを抽出するマーカ抽出部１０２と、マーカＩＤに対応付けられた提示情報を提示情報記憶部１５０から取得する提示情報取得部１０９と、提示情報を送信する送受信部１０１とを備える。情報端末装置２００は、提示情報をマーカに対応付けて表示する表示部２０３を備える。【選択図】図２

Description

本発明は、情報提示システム、情報分析システム、情報提示方法、情報分析方法およびプログラムに関する。

近年、ゲーム業界をはじめとする、さまざまな業界でＶＲ（仮想現実）／ＡＲ（拡張現実）コンテンツが提供されている。例えば、飲食店においてメニューをスマートフォン等で撮像することによって、メニューを撮像した映像データから予め登録された画像を検出し、検出した複数の画像の各々に対応する付加データ、例えば“店長おすすめ！”等の広告文を表示する技術が開示されている（特許文献１参照）。

国際公開第2014/017392号

しかしながら、上述の特許文献１に記載した技術では、ユーザが撮像した映像データに対象となる画像が含まれていれば、その画像に対し付加データが表示されるが、ユーザがどの事物に着目しているかは考慮されることがない。そのため、ユーザに不要な情報を含んださまざまな情報が表示されることとなり、ユーザにとって必要な情報が見にくくなるという問題があった。

また、物理空間で取得した情報をほぼリアルタイムでサイバー空間に送信することによって、サイバー空間において物理空間での状況を再現することができるデジタルツインの世界が、今後世の中に爆発的に広がっていくものと考えられる。そのようなデジタルツインが実現された世界では、コンテンツに対する操作は、ジェスチャーや音声での指示、コントローラ等の操作で行われるが、それらに加え、ユーザの視点がサイバー空間のなかでのユーザの関心や嗜好の把握やコンテンツに対する指示において大きな役割を果たすものと考えられる。

本発明は、上記に鑑みてなされたものであり、ＶＲ／ＡＲにおいてユーザの視点から判断されるユーザの関心のある事物に対し、さまざまな情報を提示することができる情報提示システム、情報提示方法およびプログラムを提供することを目的とする。また、ＶＲ／ＡＲにおいてユーザの視点に基づきユーザの嗜好や関心を記録した情報を提供する情報分析システム、情報分析方法およびプログラムを提供することを目的とする。

上述した課題を解決するために、本発明では、ユーザの視点を示す視点情報を情報端末装置から受信し、受信した視点情報からユーザの視野に表示されたマーカに対応付けられたマーカＩＤを抽出し、抽出したマーカＩＤに対応付けられた提示情報を提示情報記憶手段から取得し、取得した提示情報を情報端末装置に送信することを特徴とする。

また本発明では、ユーザの視点を示す視点情報およびユーザＩＤを情報端末装置から受信し、受信した視点情報からユーザの視野に表示されたマーカを抽出し、マーカごとに、視点情報で示すユーザの視点とマーカの位置関係に応じた点数を付与し、付与したマーカごとの点数を所定時間ごとに視点ログ記憶部に格納することを特徴とする。

上述したように、本発明は、ＶＲ／ＡＲにおいてユーザの視点から判断されるユーザの関心のある事物に対し、さまざまな情報を提示することができるという効果を奏する。また、ＶＲ／ＡＲにおいてユーザの視点に基づきユーザの嗜好や関心を記録した情報を提供することができるという効果を奏する。

本実施例にかかる情報分析／情報提示システム１０を示す概念図である。 本実施例にかかる情報分析／情報提示システム１０の構成を示すブロック図である。 画像データ記憶部１１０のデータの一例を示す説明図である。 マーカ情報記憶部１２０のデータ構成の一例を示す説明図である。 ユーザ情報記憶部１３０のデータ構成の一例を示す説明図である。 嗜好情報記憶部１４０のデータ構成の一例を示す説明図である。 提示情報記憶部１５０のデータ構成の一例を示す説明図である。 視点ログ記憶部１６０のデータ構成の一例を示す説明図である。 管理サーバ１００と情報端末装置２００が実行する情報分析処理手順を示すフローチャートである。 管理サーバ１００が実行する視点ログ生成処理手順を示すフローチャートである。 情報端末装置２００に表示する画像データにおいてユーザの視点からマーカまでの位置関係に応じて付与する点数の概念を示す説明図である。 管理サーバ１００が実行する嗜好情報生成処理手順を示すフローチャートである。 管理サーバ１００と情報端末装置２００が実行する情報提示処理手順を示すフローチャートである。 管理サーバ１００と情報端末装置２００が実行する情報提示処理手順を示すフローチャートである。 マーカに対応する提示情報を表示した際の表示画面の一例を示す説明図である。 管理サーバ１００と情報端末装置２００が実行する情報提示処理手順を示すフローチャートである。 管理サーバ１００と情報端末装置２００が実行する情報提示処理手順を示すフローチャートである。

以下、添付図面を参照し本発明の実施例を説明する。なお、以下の説明は、実施の形態の一例であり、本発明はこれらの実施例に限定されるものではない。

図１は、本実施例にかかる情報分析／情報提示システム１０を示す概念図である。図１に示すように、情報分析／情報提示システム１０は、管理サーバ１００と、情報端末装置２００と、を備える。情報端末装置２００（または情報端末装置２００の一部であるディスプレイ装置）は、ユーザＡの頭部に装着され、情報端末装置２００は、ネットワークＮを介して接続する管理サーバ１００とデータを送受信する。

ユーザＡは、情報端末装置２００のディスプレイ装置に表示されたＶＲ／ＡＲコンテンツを観ることによって、仮想現実また拡張現実の世界を体験することができる。情報端末装置２００は、頭部の向きや頭の角度を取得すること、またはユーザの目の動きから視線を判断することによって画像データのどの位置にユーザの視点があるかを判断する。

図２は、本実施例にかかる情報分析／情報提示システム１０の構成を示すブロック図である。図２に示すように、情報分析／情報提示システム１０は、管理サーバ１００と、情報端末装置２００と、を備え、管理サーバ１００と、情報端末装置２００とは、ネットワークＮを介して互いに通信可能に接続する。ネットワークＮは、一部または全部が有線あるいは無線であり、インターネット、イントラネット、ＬＡＮ（Local Area Network）、移動体通信網等の通信ネットワークまたはそれらの組合せである。ここでは、説明の便宜上、情報分析システムと情報提示システムを１つの管理サーバで構成しているが、そのような構成に限る必要はなく、別々のサーバであっても、さらに多くのサーバで機能を分割して構成してもよい。

管理サーバ１００は、画像データ記憶部１１０と、マーカ情報記憶部１２０と、ユーザ情報記憶部１３０と、嗜好情報記憶部１４０と、提示情報記憶部１５０と、視線ログ記憶部１６０と、送受信部１０１と、マーカ抽出部１０２と、点数付与部１０３と、点数算出部１０４と、プロファイル情報取得部１０５と、属性情報取得部１０６と、マーカ選択部１０７と、嗜好情報生成部１０８と、提示情報取得部１０９と、を備える。

図３は、画像データ記憶部１１０のデータの一例を示す説明図である。画像データ記憶部１１０は、情報端末装置２００の表示部に表示する画像データ、および画像データ内に配置されたマーカと、マーカを識別する情報であるマーカＩＤとを対応付けて記憶する。画像データがＶＲコンテンツの場合、画像データは、図３Ａに示すような、いわゆる全天球画像であり、このような画像を用いることによって全天球の中心からユーザが向いた方向すべての画像を表示することができる。

全天球画像は、正距円筒図法（equirectangular）、正距方位図法、メルカトル図法、魚眼法などの既知の投影図法によって生成することができる。また全天球画像は、実在の建物、施設、店舗や街、都市等をカメラで撮像した写真や、架空または実在の空間をコンピュータで演算して作成したコンピュータグラフィクス（以下ＣＧと示す）、または写真とＣＧとを合成して作成してもよい。図３Ａは、一例として、１つの全天空画像を示しているが、画像データ記憶部１１０に全天球の中心の位置が異なる複数の全天空画像を記憶しておくことによって、ユーザの移動に応じて表示する全天球画像を変更することによって、ユーザがサイバー空間内を移動しているように表示することができる。

図３Ｂは、ユーザの操作する情報端末装置２００の表示部に表示された全天球画像の一部である画像例であり、その画像内に配置されたマーカとマーカＩＤを示している。マーカは、画像データ内に存在するユーザが注目する可能性のある事物であり、マーカは、事前に人手によって個々に設定しても人工知能（以下ＡＩと示す）によって教師データ等を用いて自動的に抽出し設定してもよい。マーカは、対象物が配置された全天空画像における位置情報として画像データ記憶部１１０に記憶する。マーカＩＤは、マーカそれぞれに対応付けて記憶する。図３Ｂの例では、“Ａ００”や“Ａ１１”等である。

図４は、マーカ情報記憶部１２０のデータ構成の一例を示す説明図である。マーカ情報記憶部１２０は、マーカに関する情報を記憶する。より具体的には、マーカ情報記憶部１２０は、マーカＩＤと、抽象属性１と、重み付けと、抽象属性２と、その他の情報と、を対応付けて記憶する。抽象属性とは、具体的な事物であるマーカの特性（性質や特徴等）を抽象化した情報である。抽象属性１は、所定の観点でのマーカの抽象属性であり、重み付けは、マーカに対し抽象属性１を複数設定する場合の抽象属性１それぞれに対する点数配分の割合を示す。抽象属性２は、抽象属性１よりさらに抽象化したマーカの特性や観点を変えた特性等を示す。本実施例では、２つのレベルの抽象属性を設定しているが、１レベルのみでも、さらに多くのレベルを設定し分析してもよい。

図５は、ユーザ情報記憶部１３０のデータ構成の一例を示す説明図である。ユーザ情報記憶部１３０は、ユーザごとのプロファイル情報を記憶する。ユーザ情報記憶部１３０は、ユーザＩＤと、プロファイル情報と、その他の情報と、を対応付けて記憶する。ユーザＩＤは、ユーザを識別する情報であり、プロファイル情報は、ユーザの属性や特徴等を示す情報である。プロファイル情報は、一例として、地域的属性や年齢、性別、趣味、血液型等であり、その他のユーザに関する情報であれば、どのようなものであってもよい。

図６は、嗜好情報記憶部１４０のデータ構成の一例を示す説明図である。嗜好情報記憶部１４０は、抽象属性それぞれに対しプロファイル情報のうちどの項目に該当するユーザが注目しているかを記憶する。より具体的には、嗜好情報記憶部１４０は、プロファイル情報の項目それぞれに合致するユーザがどこを見たか（視点）を分析することによって抽象属性それぞれに対する嗜好性が高いか低いかの評価を記憶する。図６の示す例では、抽象属性“タレント”については、地域的属性“地方・都市部”のプロファイル情報を持つユーザの嗜好性が高い。抽象属性それぞれに対しプロファイル情報の項目ごとに、○（嗜好性有）／×（嗜好性無）で表すほか、％のような度合いで表してもよい。

図７は、提示情報記憶部１５０のデータ構成の一例を示す説明図である。提示情報記憶部１５０は、マーカそれぞれに対応する提示情報を記憶する。提示情報記憶部１５０は、マーカＩＤと、１または複数の提示情報と、を対応付けて記憶する。提示情報としては、マーカに関する詳細情報やマーカに関連した提案、関連情報へのリンク、順路や手順の説明、広告等である。

図８は、視点ログ記憶部１６０のデータ構成の一例を示す説明図である。視点ログ記憶部１６０は、ユーザそれぞれが経過時間ごとに何を見たかを記憶する。より具体的には、視点ログ記憶部１６０は、ユーザそれぞれについて、所定時間ごとにユーザの視野に入ったマーカに対し算出した点数を記憶する。このように、マーカに対する注目度を数値化した視点ログを時系列に記憶することで、事後に視点ログを用いた分析を効率的に行うことができる。

送受信部１０１は、情報端末装置２００との間でデータを送受信する。より具体的には、送受信部１０１は、情報端末装置２００を操作するユーザを識別するユーザＩＤ、ユーザの視点情報を受信し、画像データや視点情報（およびユーザのプロファイル情報）に応じた提示情報を情報端末装置２００に送信する。

視点情報とは、全天球画像における視点の位置を示す情報であり、情報端末装置２００で検出した頭部の向きや頭の角度、またはユーザの目の動きから判断した視線から算出した、全天球画像の中心から視点への方位角（基準となる方位からの水平方向の角度）と仰俯角（水平を基準として上下の角度）である。なお、視点情報のデータの持ち方は、方位角と仰俯角に限る必要はなく、例えば全天球画像をメッシュ状に区切り、区切った領域を識別する情報を視点情報としてもよい。

マーカ抽出部１０２は、画像データ記憶部１１０に記憶する画像データとマーカ、マーカＩＤ、視点情報（および情報端末装置２００に表示した画像データの表示領域）から、ユーザの視野に存在するマーカＩＤを抽出するとともに、視点とマーカの位置関係（例えば、視点からマーカまでの距離や視点からマーカまでの距離と方向等）を算出する。なお、情報端末装置２００で画像データをズーム等した場合には、画像データの表示領域が変わるため、画像データと視点情報と情報端末装置２００に表示した画像データの表示領域によって、情報端末装置２００で表示した画像データを算出したうえでマーカを抽出し、視点とマーカの位置関係を算出する。

点数付与部１０３は、マーカ抽出部１０２によって抽出したマーカＩＤそれぞれに対し、ユーザの視点とマーカの位置関係に応じた点数を付与し、視点ログ情報記憶部１６０に格納する。

点数算出部１０４は、視点ログ情報記憶部１６０に記憶するマーカＩＤそれぞれの点数を加算し、マーカＩＤごとの点数の合計を算出する。

プロファイル情報取得部１０５は、情報端末装置２００から受信したユーザＩＤに対応付けられた、ユーザのプロファイル情報をユーザ情報記憶部１３０から取得する。

属性情報取得部１０６は、プロファイル情報取得部１０５によって取得したユーザのプロファイル情報に合致する抽象属性を嗜好情報記憶部１４０から取得する。

マーカ選択部１０７は、マーカ抽出部１０２によって抽出したマーカＩＤのうち、点数算出部１０４によって所定点数以上となったマーカＩＤを選択する。マーカ選択部１０７は、マーカ抽出部１０２によって抽出したマーカＩＤのうち、点数算出部１０４によって所定点数以上となったマーカＩＤであり、かつ、属性情報取得部１０６によって取得した抽象属性に合致するマーカＩＤを選択する。

嗜好情報生成部１０８は、マーカＩＤごとに、抽象属性と重み付けとをマーカ情報記憶部１２０から取得し、マーカＩＤそれぞれに対し、抽象属性と重み付けとマーカＩＤごとの点数の合計から、抽象属性ごとの点数を算出する。嗜好情報生成部１０８は、ユーザＩＤに対応付けられたプロファイル情報をユーザ情報記憶部１３０から取得する。嗜好情報生成部１０８は、抽象属性それぞれについて、プロファイル情報の項目ごとに点数を集計し、集計した点数が所定の基準を超えるか否かによって嗜好性の有無を判断し、その判断結果を嗜好情報記憶部１４０に格納する。

提示情報取得部１０９は、マーカ選択部１０７によって選択したマーカＩＤに対応付けられた提示情報を提示情報記憶部１５０から取得する。

次に、情報端末装置２００の構成について説明する。情報端末装置２００は、ユーザが頭部に装着するディスプレイ装置および情報処理装置から構成される。ディスプレイ装置は、一例としてヘッドマウントディスプレイやスマートグラスであり、情報処理装置はディスプレイ装置と一体でもディスプレイ装置と分離していてもよい。情報端末装置２００は、送受信部２０１と、視点情報判断部２０２と、表示部２０３（ディスプレイ装置）とを備える。

送受信部２０１は、管理サーバ１００との間でデータを送受信する。より具体的には、送受信部２０１は、画像データおよび提示情報を管理サーバ１００から受信し、視点情報（および情報端末装置２００に表示した画像データの表示領域）を管理サーバ１００に送信する。表示部２０３は、画像データと、マーカに対応付けた提示情報を表示する。

視点情報判断部２０２は、表示部２０３に表示する画像データにおけるユーザの視点を示す視点情報を判断する。より具体的には、視点情報判断部２０２は、ユーザの目を図示しないカメラで撮像し、撮像した目の画像から視線を判断し、表示部２０３に表示した画像データのどの位置を見ているかを視点情報として算出する。なお、ユーザの目の画像を撮像し、視線を判断する機能がない場合は、表示部２０３に表示した画像データの中心を視点情報として算出する。

情報端末装置２００は、上述した管理サーバ１００が備える各機能および記憶部を備え、管理サーバ１００とは記憶部に記憶するデータを更新するのみとし、情報提示処理および情報分析処理を情報端末装置２００のみで実行してもよい。情報端末装置２００は、上記各部に加え、図示しない音声入出力部を備え、画像データに応じた音声、効果音、ＢＧＭ等を出力したり、音声によって画像データに対する操作を行ってもよい。画像データに対する操作は、音声によるほか、赤外線センサや筋電センサ等を用いて検出する、手や腕、体を用いたジェスチャーによる操作、コントローラ等による操作であってもよい。

上述のように構成された情報分析／情報提示システム１０で実行する情報分析処理について説明する。図９は、管理サーバ１００と情報端末装置２００が実行する情報分析処理手順を示すフローチャートである。

初めに、情報端末装置２００を起動する（ステップＳ９０１）。例えば、電源ＯＮによって情報端末装置２００が起動される。送受信部２０２は、起動時に入力を受付けたユーザＩＤ、または情報端末装置２００の記憶部から読み出したユーザＩＤを管理サーバ１００に送信する（ステップＳ９０２）。

管理サーバ１００において、送受信部１０１は、ユーザＩＤを情報端末装置２００から受信する（ステップＳ９０３）。送受信部１０１は、画像データ記憶部１１０から画像データを取得する（ステップＳ９０４）。送受信部１０１は、画像データを情報端末装置２００に送信する（ステップＳ９０５）。

情報端末装置２００において、送受信部２０２は、画像データを管理サーバ１００から受信する（ステップＳ９０６）。表示部２０３は、画像データを表示する（ステップＳ９０７）。表示部２０３は、全天球画像である画像データから表示領域によって切り取られた画像データを表示する。表示部２０３は、所定時間が経過したか否かを判断する（ステップＳ９０８）。所定時間が経過しないと判断した場合は（ステップＳ９０８：Ｎｏ）、ステップＳ９０７に戻り、ユーザの頭部の向きや角度が変更していれば、それらに応じた表示領域の画像データを表示する。なお、ユーザが移動した場合は、移動に応じた全天球画像を管理サーバ１００から受信し、ユーザの頭部の向きや角度に応じた画像データを表示する。後述する処理でも同様である。

所定時間が経過したと判断した場合は（ステップＳ９０８：Ｙｅｓ）、表示部２０３は、視点情報を取得する（ステップＳ９０９）。送受信部２０２は、視点情報（および画像データの表示領域）を管理サーバ１００に送信する（ステップＳ９１０）。

管理サーバ１００において、送受信部１０１は、視点情報（および画像データの表示領域）を情報端末装置２００から受信し（ステップＳ９１１）、視点ログ生成処理を実行する（ステップＳ９１２）。視点ログ生成処理の詳細は、後述する。

情報端末装置２００において、表示部２０３は表示を終了するか否かを判断する（ステップＳ９１３）。表示を終了すると判断した場合は（ステップＳ９１３：Ｙｅｓ）、処理を終了する。例えば、電源をＯＦＦした場合である。表示を終了しないと判断した場合は（ステップＳ９１３：Ｎｏ）、ステップＳ９０７に戻り、ユーザの頭部の向きや頭の角度に応じた画像データを表示する。

図９のステップＳ９１２に記載した視点ログ生成処理について説明する。図１０は、管理サーバ１００が実行する視点ログ生成処理手順を示すフローチャートである。

マーカ抽出部１０２は、視点情報と画像データ（と画像データの表示領域）からユーザの視野に存在するマーカに対応するマーカＩＤを抽出する（ステップＳ１００１）。マーカ抽出部１０２は、マーカごとに視点情報で示す視点とマーカの位置関係を算出する（ステップＳ１００２）。点数付与部１０３は、マーカごとに視点とマーカの位置関係に応じた点数を付与する（ステップＳ１００３）。図１１は、情報端末装置２００に表示する画像データにおいてユーザの視点からマーカまでの位置関係に応じて付与する点数の概念を示す説明図である。図１１に示すように、ユーザの視点の中心に位置するマーカ、すなわち視点からの距離がほぼ０であるマーカは“Ａ００”であるため、マーカ“Ａ００”の点数は“１０”となる。さらに、マーカ“Ａ１１”の点数は“４”であり、マーカ“Ａ１０”、“Ａ１２”、“Ａ１３”の点数は“１”である。

図１１に示す例では、視点から同心円状に同一の点数が設定されているが、視点とマーカの位置関係を同心円ではなく、楕円や他の形の領域とし、それらの領域に対し付与する点数を定めてもよく、同一の点数となる幅や点数についても、さまざまに選択してよい。

点数付与部１０３は、経過時間とともにマーカそれぞれの点数を視点ログ記憶部１６０に格納する（ステップＳ１００４）。これにより、所定時間ごとに視点ログが視点ログ記憶部１６０に格納されることになる。

次に、ユーザごとに蓄積された視点ログ記憶部１６０に記憶したデータを用いて、嗜好情報を生成する処理について説明する。図１２は、管理サーバ１００が実行する嗜好情報生成処理手順を示すフローチャートである。

点数算出部１０４は、ユーザごとに記憶する視点ログ記憶部１６０からデータを読み出し、ユーザごとにマーカＩＤそれぞれの点数の合計を算出する（ステップＳ１２０１）。視点ログ記憶部１６０から読み出すデータは、視点ログ記憶部１６０に記憶されているデータすべてを読み出しても所定期間のデータを読み出してもよい。点数算出部１０４は、マーカＩＤごとに、抽象属性と重み付けをマーカ情報記憶部１２０から取得し、抽象属性ごとの点数を算出する（ステップＳ１２０２）。

嗜好情報生成部１０８は、ユーザＩＤに対応するプロファイル情報をユーザ情報記憶部１３０から取得し、抽象属性ごとの点数をプロファイル情報の項目ごとに集計する（ステップＳ１２０３）。例えば、ユーザのプロファイル情報に、年齢が“２０代”と設定されている場合であって、抽象属性“アイドル”の点数として“７０”が算出されていれば、年齢が“２０代”、抽象属性“アイドル”に“７０”を加算する。すべてのユーザに対し同様の処理を実行する。

嗜好情報生成部１０８は、抽象属性それぞれについてのプロファイル情報の項目ごとに集計した点数が所定の基準を超えるか否かによって嗜好性の有無を判断し、その判断結果を嗜好情報記憶部１４０に格納する（ステップＳ１２０４）。例えば、抽象情報“ハンバーガ”について、プロファイル情報の項目“年齢”・“３０代”を集計した点数が所定の基準を超えた場合、すなわち有意であると判断された場合には、嗜好性有（○）を嗜好情報記憶部１４０に格納する。

このように、所定時間ごとに、情報端末装置２００に表示された画像データに存在するマーカそれぞれに対し、ユーザの視点とマーカとの位置関係に応じた点数を視点ログとして記憶することによって、ユーザが注視したマーカとともに、ユーザの視野に入ったマーカに対しても事後に分析や評価することができる。また時系列にマーカごとの点数を記録するため、ユーザが見た順番や視野に入った時間を考慮して事後に分析や評価することができる。

また、プロファイル情報の項目ごとの嗜好性について、マーカ自体ではなく、マーカを抽象化した抽象属性に対し点数を付与し集計して嗜好性の有無を判断するため、どのようなプロファイル情報のユーザが、個々の事物ではなく、どのような種別の事物に嗜好性があるかを判断することができる。

上述した実施例では、視点ログ記憶部１６０に記憶する視点ログからマーカごとの点数を合計する際には、視点の停止（注視）については考慮していないが、例えば、図８においてマーカＩＤ“Ａ００”は経過時間Ｔ３からＴ５の間視点が動かず、マーカＩＤ“Ａ００”のマーカを注視していることが判断できる。このような場合に、注視状態が所定時間以上継続した場合に、注視したマーカに対する点数をさらに加算する等の処理をすることによって、ユーザの関心や嗜好をより細かく把握することができる。

ここで、視点ログ記憶部１６０に記憶する視点ログの具体的な活用事例について説明する。視点ログを時系列に記憶しておくことによって、例えば工場等の作業現場での作業や飛行機・車等の運転において、保守員や作業員、操縦者に対し、所定の作業や操作が管理者や製造者の意図した通りになされたか否かの分析や評価することができる。さらに、それらの分析や評価の結果に基づいて、後述する情報提示処理での効果的な提示情報の表示、またはＡＲ技術を利用してミスを軽減するように誘導することができる。

このほかにも、マンションの購入や賃貸を検討するユーザの視点ログを記憶することによって、ユーザの興味や関心事を分析することができる。また防災訓練や避難訓練等においても、ユーザの視点ログを記憶することによって、ユーザが目標としたものや見落としたものを分析することができる。

次に、情報端末装置２００で画像データを表示する際に、画像データ内に含まれるマーカに対応する種々の提示情報を表示する情報提示処理について説明する。図１３と図１４は、管理サーバ１００と情報端末装置２００が実行する情報提示処理手順を示すフローチャートである。

まず、ステップＳ１３０１〜ステップＳ１３１２の処理の説明については、上述した図９のステップＳ９０１〜ステップＳ９１２の処理と同様であるので、上述した説明を参照し、ここでの説明を省略する。

管理サーバ１００において、点数算出部１０４は、視点ログ記憶部１６０に記憶するデータを読み出し、マーカＩＤごとの点数を合計する（ステップＳ１３１３）。提示情報取得部１０９は、マーカＩＤごとの点数が所定以上であるか否かを判断する（ステップＳ１３１４）。マーカＩＤごとの点数が所定以上であると判断した場合（ステップＳ１３１４：Ｙｅｓ）、マーカＩＤに対応付けられた提示情報を提示情報記憶部１５０から取得する（ステップＳ１３１５）。送受信部１０１は、提示情報を情報端末装置２００に送信する（ステップＳ１３１６）。マーカＩＤごとの点数が所定以上でないと判断した場合（ステップＳ１３１４：Ｎｏ）、提示情報を送信することなく、情報端末装置２００にレスポンスを送信しステップＳ１３１９に進む。

情報端末装置２００において、送受信部２０１は、提示情報を管理サーバ１００から受信する（ステップＳ１３１７）。表示部２０３は、提示情報をマーカに対応付けて表示する（ステップＳ１３１８）。図１５は、マーカに対応する提示情報を表示した際の表示画面の一例を示す説明図である。ユーザＡに対する表示例では、マーカＩＤ“Ａ００”に対する提示情報“秋葉アイドル：ぴーやちゃん １７歳”が表示される。他にもマーカＩＤ“Ａ１０”に対する提示情報“こっちの方向に海が見えます”、マーカＩＤ“Ａ１３”に対する提示情報“売店があります”が表示される。これらの提示情報は、同時に表示されるのではなく、マーカに対する点数が所定点数以上であると判断された時に表示される。ユーザＢに対する表示例では、マーカＩＤ“Ａ００”に対応する提示情報は表示されず、マーカＩＤ“Ａ１０”に対する提示情報“ロープウェイはこちらです”、マーカＩＤ“Ａ１１”に対する提示情報“熱海展望台について調べますか？”、マーカＩＤ“Ａ１３”に対する提示情報“お土産売り場 物販サイト＜リンク＞”のように、ユーザＡの場合とは異なる提示情報が表示される。

表示部２０３は、表示を終了するか否かを判断する（ステップＳ１３１９）。このとき、マーカに対応する提示情報に対する操作、例えば“物販サイトのリンク”を指示し、物販サイトのウェブページの表示等を実行してもよい。表示を終了すると判断した場合は（ステップＳ１３１９：Ｙｅｓ）、処理を終了する。表示を終了しないと判断した場合は（ステップＳ１３１９：Ｎｏ）、ステップＳ１３０７に戻り、ユーザの頭部の向きや頭の角度に応じた画像データを表示する。

このように、マーカごとに算出した点数が所定点数以上となった場合に、その時点でマーカに対応する提示情報を表示することによって、ユーザそれぞれが関心のある事物に対応する提示情報を適切なタイミングで表示することができる。

さらに、ユーザのプロファイル情報を用いた情報提示処理について説明する。図１６、図１７は、管理サーバ１００と情報端末装置２００が実行する情報提示処理手順を示すフローチャートである。

まず、ステップＳ１６０１〜ステップＳ１６１１の処理については、上述した図９のステップＳ９０１〜ステップＳ９１１の処理と同様であるので、上述した説明を参照し、ここでの説明を省略する。

管理サーバ１００において、マーカ抽出部１０２は、視点情報と画像データ（と画像データの表示領域）からマーカＩＤを抽出する（ステップＳ１６１２）。プロファイル情報取得部１０３は、ユーザＩＤに対応付けられたプロファイル情報を取得する（ステップＳ１６１３）。属性情報取得部１０６は、プロファイル情報に合致する抽象属性を取得する（ステップＳ１６１４）。例えば、図６を参照すると、ユーザのプロファイル情報が“年齢”・“３０代”の場合、抽象属性“ハンバーガ”を取得する。マーカ選択部１０７は、抽象属性に合致するマーカＩＤをマーカ情報記憶部１２０から選択する（ステップＳ１６１５）。提示情報取得部１０９は、マーカＩＤに対応付けられた提示情報を提示情報記憶部１５０から取得する（ステップＳ１６１６）。送受信部１０１は、提示情報を情報端末装置２００に送信する（ステップＳ１６１７）。

情報端末装置２００において、送受信部２０２は、提示情報を管理サーバ１００から受信する（ステップＳ１６１８）。表示部２０３は、提示情報をマーカに対応付けて表示する（ステップＳ１６１９）。表示部２０３は、表示を終了するか否かを判断する（ステップＳ１６２０）。表示を終了すると判断した場合は（ステップＳ１６２０：Ｙｅｓ）、処理を終了する。表示を終了しないと判断した場合は（ステップＳ１６２０：Ｎｏ）、ステップＳ１６０７に戻り、ユーザの頭部の方向や頭の角度に応じた画像データを表示する。

このように、情報端末装置２００の表示部２０３に表示された画像データに存在するマーカのうち、ユーザのプロファイル情報と合致する抽象属性を持つマーカに対し提示情報を表示するため、ユーザの関心がある事物に対し、より詳細な情報や広告等を表示することができる。

また、上述した処理に加え、図１３、図１４のステップＳ１３１２〜ステップＳ１３１４の視点ログからマーカＩＤごとの点数を算出し、所定の点数以上のマーカを選択する処理を加えることによって、ユーザのプロファイル情報と合致する抽象属性を持つマーカであり、かつ、ユーザの視点に基づくマーカの点数が高いマーカを選択することができ、選択したマーカに対し提示情報を表示することができる。

上述した実施例では、画像データは全天球画像、すなわちＶＲコンテンツを情報端末装置２００に表示する場合について説明したが、ＡＲコンテンツの場合は、情報端末装置２００のカメラによって撮像する現実世界のなかに存在する事物がマーカとなり、情報端末装置２００で撮像した画像データを画像処理することによって、画像データにマーカが存在するか否かを判断する。マーカを判断した以降の処理は、上述した実施例と同様であり、ユーザの視野に入ったマーカについて、視点ログを視点ログ記憶部１６０に記憶するとともに、マーカに対応する提示情報を現実の画像に重畳して表示する。

上述した実施例にかかる管理サーバ１００、情報端末装置２００のハードウェア構成は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の外部記憶装置、通信制御装置等を備えた通常のコンピュータであり、ＲＯＭやＲＡＭ、ＨＤＤ等に記憶されたプログラムをＣＰＵが読み出し動作させることによって、上述した構成や機能を実現する。

管理サーバ１００、情報端末装置２００で動作するプログラムは、インターネット等のネットワークＮに接続されたコンピュータ上に格納しておき、ネットワークＮ経由でダウンロードさせることにより提供したり、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＳＤカード等のコンピュータで読取り可能な記録媒体に記録し提供してもよい。また、上述した機能や処理を実現するプログラムは、ＡＰＩ（Application Programming Interface）やＳａａＳ（Software as a Service）、クラウドコンピューティングという利用形態で提供してもよい。

なお、本発明は、上述した実施例そのままに限定されるものではなく、必ずしも物理的に図示のように構成されている必要はない。また、本発明は、実施例で説明した構成要素の全部または一部を、各種の負荷や使用状況などに応じ、任意の単位で機能的または物理的に分割、統合、入替、変形または削除して構成することができる。

Ｎ…ネットワーク、１０…情報分析／情報提示システム、１００…管理サーバ、１０１…送受信部、１０２…マーカ抽出部、１０３…点数付与部、１０４…点数算出部、１０５…プロファイル情報取得部、１０６…属性情報取得部、１０７…マーカ選択部、１０８…嗜好情報生成部、１０９…提示情報取得部、１１０…画像データ記憶部、１２０…マーカ情報記憶部、１３０…ユーザ情報記憶部、１４０…嗜好情報記憶部、１５０…提示情報記憶部、１６０…視点ログ記憶部、２００…情報端末装置、２０１…送受信部、２０２…視点情報判断部、２０３…表示部

Claims (10)

1. ユーザが操作する情報端末装置と、前記情報端末装置とネットワークを介して接続する管理サーバと、を備える情報提示システムにおいて、
   前記管理サーバは、
   画像データと、前記画像データ内に配置した、１または複数のマーカと、前記マーカを識別する情報であるマーカＩＤと、を記憶する画像データ記憶手段と、
   前記マーカＩＤと、提示情報と、を対応付けて記憶する提示情報記憶手段と、
   前記ユーザの視点を示す視点情報を前記情報端末装置から受信する受信手段と、
   前記受信手段によって受信した前記視点情報、および前記画像データ記憶手段に記憶する前記画像データと前記マーカと前記マーカＩＤとから、前記ユーザの視野に表示された前記マーカに対応付けられたマーカＩＤを抽出するマーカ抽出手段と、
   前記マーカＩＤごとに、前記視点情報で示す前記ユーザの視点と前記マーカの位置関係に応じた点数を付与し、付与した前記マーカＩＤごとの点数を所定時間ごとに視点ログ記憶部に格納する点数付与手段と、
   前記視点ログ記憶部に格納した前記マーカＩＤごとの点数の合計を算出する点数算出手段と、
   前記点数算出手段によって算出された前記マーカＩＤごとの点数の合計が所定点数以上になったマーカＩＤを選択するマーカ選択手段と、
   前記マーカ選択手段によって選択した前記マーカＩＤに対応付けられた提示情報を前記提示情報記憶手段から取得する提示情報取得手段と、
   前記提示情報取得手段によって取得した前記提示情報を前記情報端末装置に送信する送信手段と、
   前記情報端末装置は、
   前記管理サーバから受信した前記提示情報を前記マーカに対応付けて表示する表示手段、
   を備えることを特徴とする情報提示システム。
   
2. ユーザが操作する情報端末装置と、前記情報端末装置とネットワークを介して接続する管理サーバと、を備える情報提示システムにおいて、
   前記管理サーバは、
   画像データと、前記画像データ内に配置した、１または複数のマーカと、前記マーカを識別する情報であるマーカＩＤと、を記憶する画像データ記憶手段と、
   前記マーカＩＤと、提示情報と、を対応付けて記憶する提示情報記憶手段と、
   前記ユーザを識別する情報であるユーザＩＤと、プロファイル情報と、を対応付けて記憶するユーザ情報記憶手段と、
   前記マーカの特性を抽象化した情報である抽象属性それぞれに対し、前記プロファイル情報の項目ごとの嗜好性の有無を記憶する嗜好情報記憶手段と、
   前記マーカＩＤと、前記抽象属性と、を対応付けて記憶するマーカ情報記憶手段と、
   前記ユーザの視点を示す視点情報および前記ユーザＩＤを前記情報端末装置から受信する受信手段と、
   前記受信手段によって受信した前記視点情報、および前記画像データ記憶手段に記憶する前記画像データと前記マーカと前記マーカＩＤとから、前記ユーザの視野に表示された前記マーカに対応付けられたマーカＩＤを抽出するマーカ抽出手段と、
   前記受信手段によって受信した前記ユーザＩＤに対応付けられた前記プロファイル情報を前記ユーザ情報記憶手段から取得するプロファイル情報取得手段と、
   前記プロファイル情報取得手段によって取得した前記プロファイル情報の項目のうち、嗜好性有の前記抽象属性を前記嗜好情報記憶手段から取得する属性情報取得手段と、
   前記マーカ抽出手段によって抽出したマーカのうち、前記属性情報取得手段によって取得した前記抽象属性が設定された前記マーカＩＤを前記マーカ情報記憶手段から選択するマーカ選択手段と、
   前記マーカ選択手段によって選択した前記マーカＩＤに対応付けられた提示情報を前記提示情報記憶手段から取得する提示情報取得手段と、
   前記提示情報取得手段によって取得した前記提示情報を前記情報端末装置に送信する送信手段と、
   前記情報端末装置は、
   前記管理サーバから受信した前記提示情報を前記マーカに対応付けて表示する表示手段、
   を備えることを特徴とする情報提示システム。
   
3. 前記抽象属性は、１または複数のレベルの抽象属性であること、を特徴とする請求項２に記載の情報提示システム。
   
4. 前記情報端末装置は、前記管理サーバが備える各手段を備え、前記情報端末装置のみで動作すること、を特徴とする請求項１〜３のいずれか１つに記載の情報提示システム。
   
5. ユーザが操作する情報端末装置と、前記情報端末装置とネットワークを介して接続する管理サーバと、を備える情報分析システムにおいて、
   前記管理サーバは、
   画像データと、前記画像データ内に配置したマーカと、前記マーカを識別する情報であるマーカＩＤと、を記憶する画像データ記憶手段と、
   前記ユーザの視点を示す視点情報を前記情報端末装置から受信する受信手段と、
   前記受信手段によって受信した前記視点情報、および前記画像データ記憶手段に記憶する前記画像データと前記マーカと前記マーカＩＤとから、前記ユーザの視野に表示された前記マーカに対応付けられたマーカＩＤを抽出するマーカ抽出手段と、
   前記マーカＩＤごとに、前記ユーザの視点と前記マーカの位置関係に応じた点数を付与し、付与した前記マーカＩＤごとの点数を所定時間ごとに視点ログ記憶部に格納する点数付与手段と、
   を備えることを特徴とする情報分析システム。
   
6. 前記ユーザを識別する情報であるユーザＩＤと、プロファイル情報と、を対応付けて記憶するユーザ情報記憶手段と、
   前記マーカＩＤと、抽象属性と、重み付けと、を対応付けて記憶するマーカ情報記憶手段と、
   前記ユーザごとに、前記視点ログ記憶部に記憶する前記所定時間ごとの前記マーカＩＤごとの点数を用いて、前記マーカＩＤごとの点数の合計を算出する点数算出手段と、をさらに備え、
   前記受信手段は、前記ユーザＩＤを前記情報端末装置から受信し、
   前記マーカＩＤごとに、前記抽象属性と前記重み付けを前記マーカ情報記憶手段から取得し、取得した前記マーカＩＤごとの前記抽象属性および前記重み付けと、前記マーカＩＤごとの点数の合計から、前記抽象属性ごとの点数を算出し、
   前記ユーザＩＤに対応付けられた前記プロファイル情報を前記ユーザ情報記憶手段から取得し、
   前記抽象属性ごとで、かつ、前記プロファイル情報の項目ごとに点数を集計し、集計した点数に基づき、嗜好性の有無を判断し、判断結果を嗜好情報記憶部に格納する嗜好情報生成手段と、をさらに備えることを特徴とする請求項５に記載の情報分析システム。
   
7. コンピュータで実行される情報提示方法であって、
   画像データと、前記画像データ内に配置した、１または複数のマーカと、前記マーカを識別する情報であるマーカＩＤと、を記憶する画像データ記憶手段と、
   前記マーカＩＤと、提示情報と、を対応付けて記憶する提示情報記憶手段と、を備え、
   ユーザの視点を示す視点情報を受信する受信ステップと、
   前記受信ステップによって受信した前記視点情報、および前記画像データ記憶手段に記憶する前記画像データと前記マーカと前記マーカＩＤとから、前記ユーザの視野に表示された前記マーカに対応付けられたマーカＩＤを抽出するマーカ抽出ステップと、
   前記マーカＩＤごとに、前記視点情報で示す前記ユーザの視点と前記マーカの位置関係に応じた点数を付与し、付与した前記マーカＩＤごとの点数を所定時間ごとに視点ログ記憶部に格納する点数付与ステップと、
   前記視点ログ記憶部に格納した前記マーカＩＤごとの点数の合計を算出する点数算出ステップと、
   前記点数算出ステップによって算出された前記マーカＩＤごとの点数の合計が所定点数以上になったマーカＩＤを選択するマーカ選択ステップと、
   前記マーカ選択ステップによって選択した前記マーカＩＤに対応付けられた提示情報を前記提示情報記憶手段から取得する提示情報取得ステップと、
   前記提示情報取得ステップによって取得した前記提示情報を送信する送信ステップと、
   を含むことを特徴とする情報提示方法。
   
8. コンピュータで実行される情報提示方法であって、
   画像データと、前記画像データ内に配置した、１または複数のマーカと、前記マーカを識別する情報であるマーカＩＤと、を記憶する画像データ記憶手段と、
   前記マーカＩＤと、提示情報と、を対応付けて記憶する提示情報記憶手段と、
   ユーザを識別する情報であるユーザＩＤと、プロファイル情報と、を対応付けて記憶するユーザ情報記憶手段と、
   前記マーカの特性を抽象化した情報である抽象属性それぞれに対し、前記プロファイル情報の項目ごとの嗜好性の有無を記憶する嗜好情報記憶手段と、
   前記マーカＩＤと、前記抽象属性と、を対応付けて記憶するマーカ情報記憶手段と、を備え、
   前記ユーザの視点を示す視点情報および前記ユーザＩＤを受信する受信ステップと、
   前記受信ステップによって受信した前記視点情報、および前記画像データ記憶手段に記憶する前記画像データと前記マーカと前記マーカＩＤとから、前記ユーザの視野に表示された前記マーカに対応付けられたマーカＩＤを抽出するマーカ抽出ステップと、
   前記受信ステップによって受信した前記ユーザＩＤに対応付けられた前記プロファイル情報を前記ユーザ情報記憶手段から取得するプロファイル情報取得ステップと、
   前記プロファイル情報取得ステップによって取得した前記プロファイル情報の項目のうち、嗜好性有の前記抽象属性を前記嗜好情報記憶手段から取得する属性情報取得ステップと、
   前記マーカ抽出ステップによって抽出したマーカのうち、前記属性情報取得ステップによって取得した前記抽象属性が設定された前記マーカＩＤを前記マーカ情報記憶手段から選択するマーカ選択ステップと、
   前記マーカ選択ステップによって選択した前記マーカＩＤに対応付けられた提示情報を前記提示情報記憶手段から取得する提示情報取得ステップと、
   前記提示情報取得ステップによって取得した前記提示情報を送信する送信手段と、
   を含むことを特徴とする情報提示方法。
   
9. コンピュータで実行される情報分析方法であって、
   画像データと、前記画像データ内に配置したマーカと、前記マーカを識別する情報であるマーカＩＤと、を記憶する画像データ記憶手段、を備え、
   ユーザの視点を示す視点情報および前記ユーザを識別する情報であるユーザＩＤを受信する受信ステップと、
   前記受信ステップによって受信した前記視点情報、および前記画像データ記憶手段に記憶する前記画像データと前記マーカと前記マーカＩＤとから前記ユーザの視野に表示された前記マーカに対応付けられたマーカＩＤを抽出するマーカ抽出ステップと、
   前記マーカＩＤごとに、前記ユーザの視点と前記マーカの位置関係に応じた点数を付与し、付与した前記マーカＩＤごとの点数を所定時間ごとに視点ログ記憶部に格納する点数付与ステップと、
   を含むことを特徴とする情報分析方法。
   
10. 請求項７〜９のいずれか１つに記載の方法をコンピュータに実行させることを特徴とするプログラム。
    

Images