JP6188512B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

カメラを有するスマートフォンやタブレット端末等を用いた、撮像対象や撮像位置に関連する付加情報を提供する情報サービスが普及している。このような情報サービスにおいては、コンピュータグラフィックスデータとして提供された付加情報を撮像データに重畳表示し、付加情報を撮像データと共に記録することができる。ユーザが、情報サービスを受けるには専用のアプリケーションを要し、このアプリケーションを利用することによって、付加情報の記録後も最新の情報を得ることができる。ユーザは、アプリケーションを切り替えることで、情報サービスを変更することができる。なお、アプリケーションを切り替えず、ユーザが目的情報を入力することによって所望の合成画像を得る方法も提案されている（特許文献１参照）。

特開２０１０−４５７４号公報

これらの先行技術では、記録されたデータを第三者に提供することはできるが、提供者と同じアプリケーションのインストールや情報サービスの登録がなければデータ内の付加情報を更新することはできない。多くの情報サービスが普及することによって、大量のアプリケーションや情報サービスの中から所望のものを探してくることは面倒な作業となる。また記録時の状況を指示（入力・設定）する必要がある情報サービスもあり、容易ではない。また、付加情報の更新が可能といっても記録された時点で受けた情報サービスに限定され、利用時の状況に合わせて情報サービスの内容自体を変更させることはできない。或いは特許文献１のように、ユーザが都度利用目的情報を入力する手間をかける必要があり、容易ではない。

そこで、本発明の情報処理装置は、撮像情報と付加画像情報とを重畳して表示装置に表示する表示手段と、前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録手段と、前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御手段と、を有し、前記表示手段は、撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記表示装置に表示する。

本発明によれば、付加画像情報を容易に更新することができる。

システム構成及び各装置のハードウェア構成の一例を示す図である。 情報サービス表示システムのユースケースの一例を示す図である。 情報サービス表示システムのユースケースの別の一例を示す図である。 情報サービス表示システムのユースケースの別の一例を示す図である。 情報サービス表示システムにおけるモジュール構成の一例を示す図である。 情報サービス表示システムにおける記録されたメタデータの一例を示す図である。 情報サービス表示システムにおける情報サービスの結果を記録する情報処理の一例を示すフローチャートである。 図７のＳ７０５の情報処理の一例を示したフローチャートである。 情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。 情報サービス表示システムの表示画面の一例を示す図である。 情報サービス表示システムの表示画面の別の一例を示す図である。 情報サービス表示システムの情報サービス更新ルールデータの一例を示す図である。 情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。 情報サービス表示システムの表示画面の一例を示す図である。 情報サービス表示システムにおける選択肢情報のメタデータの一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、情報サービス表示システムにおけるシステム構成及び情報サービス表示システを構成する各装置のハードウェア構成の一例を示す図である。
情報サービス端末１０１は、タブレット端末やスマートフォン、デジタルカメラ等であり、情報サービスから取得された付加画像データを表示することができる。
ＣＰＵ１０２は、マイクロプロセッサであり、情報サービス端末１０１の制御に係る演算・論理判断等を行い、バス１１１に接続された各構成要素を制御する。
ＲＯＭ１０３は、読出専用の不揮発性メモリであり、ＣＰＵ１０２の処理手順となる制御プログラムや各種データを記憶する。
ＲＡＭ１０４は、読み書き可能なランダムアクセスメモリであり、処理中の各種制御のための一時記憶として使用する。
入力装置１０５は、ボタン・タッチパネル等であり、ユーザが各種の指示を行う。
表示装置１０６は、液晶ディスプレイ等であり、情報サービスから取得された付加画像データを表示する。

記憶装置１０７は、ハードディスク等の各種ディスク機器やフラッシュメモリ等であり、ＣＰＵ１０２の処理手順となる制御プログラムや情報サービスから取得された付加画像データ等の各種データを記憶する。
撮像装置１０８は、撮像素子等を含む光学機器であり、被写体の撮像を行う。
センサ装置１０９は、ＧＰＳセンサ・加速度センサ等の各種センサ機器であり、各種検出された情報をシステムで扱うことが可能なデータに変換する。通信装置１１０は、ネットワークコントローラであり、有線或いは無線の通信路を介して外部とデータ交換を行う。
バス１１１は、信号線や通信線であり、各デバイスのコントロール信号、制御プログラム、各種データの転送を行う。
ＣＰＵ１０２が、ＲＯＭ１０３、又は記憶装置１０７に記憶されたプログラムに基づき処理を実行することによって、後述する情報サービス端末１０１のソフトウェア構成及び、情報サービス端末１０１のフローチャートに係る処理が実現される。
サーバ１１２は、情報サービスを提供する装置であり、情報サービス端末１０１の要求に基づいて各種の付加画像データを生成及び送信することができる。サーバ１１２は、情報サービス端末１０１と同様に、ＣＰＵ１１３、ＲＯＭ１１４、ＲＡＭ１１５、通信装置１１６、記憶装置１１７から構成される。
ＣＰＵ１１３が、ＲＯＭ１１４、又は記憶装置１１７に記憶されたプログラムに基づき処理を実行することによって、後述するサーバ１１２のソフトウェア構成等が実現される。
図１に示されるように、情報サービス端末１０１と、サーバ１１２とは、ネットワーク等を介して通信可能に接続されている。

図２は、情報サービス表示システムのユースケースの一例を示す図である。
ユーザが、ある企業の提供する商品情報サービスが得られる専用のアプリケーションをインストールした情報サービス端末２０２を用いて、商品２０１を被写体として閲覧する。
アプリケーションは、商品２０１の撮像データに対して画像認識処理を施し、商品ＩＤを抽出し、抽出した商品ＩＤを商品情報サービスのアクセス先であるサーバに送信する。
商品情報サービスは、受信した商品ＩＤに該当する商品情報等を示す商品情報データ２０４を記憶装置から検索し、情報サービス端末のアプリケーションへ送信する。
アプリケーションは、受信した商品情報データ２０４を、撮像データに重畳して表示（重畳表示）する。商品情報データ２０４としては、例えば、商品情報（型番やカラーバリエーション）、現在の価格や在庫情報等のデータである。撮像データは、撮像情報の一例である。

ユーザは、商品情報データ２０４が重畳表示された状態からアプリケーションに記録を指示する。指示を受けたアプリケーションは、撮像データと、重畳表示されている商品情報データ２０４と、を画像データ２０３として記録する。ここで、アプリケーションは、商品情報サービスのアクセス先を特定する情報等も画像データ２０３のメタデータとして記録する。
アプリケーションは、記録された画像データ２０３及びメタデータを別のユーザが持つ情報サービス端末２０５に送信する。
情報サービス端末２０５を所有する前記別のユーザは、上記商品情報サービスのアプリケーションをインストールしていない。しかし、前記別のユーザは、情報サービス端末２０５を用いて、記録されている画像データ２０３に基づき画像データ２０３の閲覧だけでなく、メタデータよりアクセス先を特定する情報等を取得することができ、商品情報サービスにアクセスすることができる。したがって、前記別のユーザは、情報サービス端末２０５を用いて、商品２０１に関する更新された商品情報２０６を商品情報サービスより得て、自身の情報サービス端末２０５において重畳表示等することができる。

図３は、情報サービス表示システムのユースケースの別の一例を示す図である。
本ユースケースでは、店舗情報サービスをユーザが利用しているケースである。
ユーザが情報サービス端末を介して、駅前の看板やビル壁面等に貼られていた店舗のポスター３０１を被写体として閲覧する。
情報サービス端末は、店舗情報サービスが提供する最寄り店までの地図データ３０２が重畳表示された画像データ３０３を記録する。情報サービス端末は、店舗情報サービスの入力データとして記録されている入力データとの差分データ、即ち情報サービス端末が持つＧＰＳセンサで得られる現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、前記現在の位置情報から最寄り店を検索し、前記最寄り店の店舗の地図データを情報サービス端末に送信する。

ユーザがＡ市でポスター３０１を閲覧した場合、情報サービス端末は、現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、情報サービス端末の位置情報に基づいてＡ支店までの地図データ３０２を情報サービス端末に送信する。そして、情報サービス端末は、ポスター３０１と共にＡ支店までの地図データ３０２を表示する。ここで、情報サービス端末は、ポスター３０１の一部の領域にＡ支店までの地図データ３０２を重畳して表示するようにしてもよい。ユーザがＢ市に移動後に記録された画像データ３０３を再生すると、情報サービス端末は、ＧＰＳセンサで得られる現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、前記位置情報に基づいて、最寄り店であるＢ支店までの地図データ３０４を情報サービス端末に送信する。情報サービス端末は、Ｂ支店までの地図データ３０４を受信する。情報サービス端末は、Ａ支店までの地図データ３０２を現在の地点における最寄り店であるＢ支店までの地図データ３０４に更新して表示する（更新制御）。
実際にユーザがＢ支店に到着後に情報サービス端末を介して画像データを再生すると、情報サービス端末は、現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、前記位置情報に基づき、地図案内は不要と判断し、Ｂ支店の商品情報３０５を情報サービス端末に提供する。情報サービス端末は、提供されたＢ支店の商品情報３０５を表示する。
本実施形態によれば、このように、ユーザの再生地点に合わせて最適な情報に自動で更新して表示することができる。また、ポスター自体を店舗間で共通利用することができる。

図４は、情報サービス表示システムのユースケースの別の一例を示す図である。
本ユースケースでは、テキスト情報変換サービスをユーザが利用しているケースである。
ユーザが情報サービス端末４０２を介して、ポスター４０１を被写体として閲覧し、ユーザの言語情報と共にポスター内のテキストをテキスト情報変換サービスに送信する。テキスト情報変換サービスは、受信したテキストをユーザの言語情報に基づき、例えばユーザの母国語等に翻訳したテキスト情報４０３を情報サービス端末４０２に送信する。情報サービス端末４０２は、テキスト情報４０３を取得すると、ポスター４０１と共にテキスト情報４０３を重畳表示する。ここで、情報サービス端末４０２は、ポスター４０１内のテキスト部分にテキスト情報４０３を重畳表示する。情報サービス端末４０２は、ポスター４０１と重畳表示されたテキスト情報４０３とを画像データ４０４として記録する。ユーザは情報サービス端末４０２に記録した画像データ４０４を別のユーザが持つ情報サービス端末４０５に送信する。別のユーザが情報サービス端末４０５を用いて画像データ４０４を再生する操作を行うと、情報サービス端末４０５は、前記別のユーザの言語情報と共にポスター内のテキストをテキスト情報変換サービスに送信する。テキスト情報変換サービスは、受信したテキストを前記別のユーザの言語情報に基づき、例えば前記別のユーザの母国語等に翻訳したテキスト情報４０６を情報サービス端末４０５に送信する。情報サービス端末４０５は、テキスト情報４０６を取得すると、ポスター４０１と共にテキスト情報４０６を重畳表示する。ここで、ユーザの言語情報は予め情報サービス端末のメモリ等にユーザの属性情報として記憶されているものとする。

言語の違いだけでなく、ユーザが子供であれば漢字を仮名文字に変換する、高齢者であればテキストフォントを大きくすることで視認性をあげるように変換する等としてもよい。つまり、情報サービス端末はユーザの年齢情報をテキスト情報と共にテキスト情報変換サービスに送信する。テキスト情報変換サービスは、年齢情報に基づき、ユーザが所定の年齢層、例えば３歳から８歳までの子供であると判定した場合、テキスト情報に含まれる漢字を仮名文字に変換し、情報サービス端末に送信するようにしてもよい。また、テキスト情報変換サービスは、年齢情報に基づき、ユーザが所定の年齢層、例えば５５歳以上であると判定した場合、テキスト情報に含まれるテキストのテキストフォントを予め定められたフォント以上に大きくすることで視認性をあげるように変換する。そてて、テキスト情報変換サービスは、変換後のテキストを情報サービス端末に送信するようにしてもよい。
このように、ユーザ自体の属性情報に合わせて最適な情報に自動で更新することができる。また、同じポスターを多層のユーザ間で共通利用することができる。

図５は、情報サービス表示システムにおけるモジュール構成の一例を示す図である。
図５に示されるように、情報サービス端末１０１は、モジュール構成として、付加情報取得部５０１と、付加情報表示部５０２と、サービス記録部５０３と、サービス再生部５０４と、を含む。
付加情報取得部５０１は、情報サービスを特定し、情報サービスに必要な入力データを情報サービスに送信して、情報サービスより付加画像データを受信する。付加情報取得部５０１は、情報サービスに送信する入力データを、撮像装置１０８による撮像データ、各種センサ装置１０９によるセンサデータ、及び／又はこれらを認識・解析処理したデータから生成する（入力データ取得）。また、付加情報取得部５０１は、ユーザが入力装置１０５で入力したデータ及び前記データをロギングした（つまり、入力データ等を時系列で記憶した）記憶装置１０７内のデータから情報サービスに送信する入力データを生成するようにしてもよい。付加情報取得部５０１は、特定した情報サービスに応じて、情報サービスに入力する入力データを各種データ等より生成し、送信する。

付加情報表示部５０２は、情報サービスより取得した付加画像データを、撮像装置１０８による撮像データに重畳表示する。
サービス記録部５０３は、付加情報表示部５０２が重畳表示している撮像データや付加画像データを一つの画像データファイルとして記録する。また、サービス記録部５０３は、画像データファイルのメタデータとして、付加画像データに関連付けて情報サービスへのアクセス情報、取得に要した入力データ等を同時に記録する。
サービス再生部５０４は、記録されたアクセス情報で特定される情報サービスに再生時に再生成された入力データを送信し、前記情報サービスにおいて再生成された付加画像データを取得し、取得した付加画像データを表示（又は重畳表示）する。
なお、付加画像データとは、上述した商品情報データや地図データ、テキスト情報等である。

サーバ１１２は、モジュール構成として、付加情報生成部５０５と、付加情報記録部５０６と、を含む。
付加情報生成部５０５は、情報サービス端末１０１から受信した入力データに基づいてサービスの内容を適宜判断して付加画像データを生成する。
付加情報記録部５０６は、付加画像データを記録する。付加情報生成部５０５は、付加情報記録部５０６に記録された付加画像データ、或いは入力データや記録された付加画像データから新たに生成した付加画像データを情報サービス端末１０１に送信する。
なお、以上のモジュール以外にユーザインタフェースを提供するためのモジュール等が本システムには含まれるが、説明は省略する。
付加情報生成部５０５は、付加画像情報生成手段の一例である。

図６は、情報サービス表示システムにおける記録されたメタデータの一例を示す図である。
サービス記録部５０３が記録した付加画像データ毎に、図示されているメタデータが記録される。付加画像データを生成したサービスを特定するアクセス情報として、インターネット上のサービスを特定する統一資源位置指定子（ＵＲＬ）が記録される。また、付加画像データと関連付けるための付加画像データＩＤ、付加画像データを表示する画像データ内での表示位置が記録される。また付加画像データを生成するために要したサービスへの入力データが記録される。入力データとしては、例えば、撮像データから認識された結果を識別するための認識対象ＩＤ情報、位置情報、言語情報、及び使用ユーザの性別、年齢、所在地を含むパーソナル情報等が記録される。
アクセス情報は、特定情報の一例である。

図７は、情報サービス表示システムにおける情報サービスの結果を記録する情報処理の一例を示すフローチャートである。
付加情報取得部５０１は、情報サービスを選択し（Ｓ７０１）、選択した情報サービスに必要な入力データを生成する（Ｓ７０２）。例えば、付加情報取得部５０１は、撮像された撮像データに応じて情報サービスを選択したり、ユーザの選択操作に応じて情報サービスを選択したりする。
付加情報取得部５０１は、入力データ生成後、情報サービスに入力データを送信し、情報サービスから付加画像データを受信する（Ｓ７０３）。
付加情報表示部５０２は、取得された付加画像データを撮像データに重畳表示する（Ｓ７０４）。
サービス記録部５０３は、ユーザ指示に基づいて情報サービスの結果、即ち、上述したように撮像データや付加画像データを一つのファイルとした画像データファイルやメタデータを記録する（Ｓ７０５）。Ｓ７０５の処理の詳細は、後述する図８を用いて説明する。
画像データファイル、又はメタデータは、関連データの一例である。

図８は、図７のＳ７０５の情報処理の一例を示したフローチャートである。
サービス記録部５０３は、まず撮像データを記録する（Ｓ８０１）。
次にサービス記録部５０３は、表示されていた付加画像データの一つを選択する（Ｓ８０２）。
そして、サービス記録部５０３は、選択した付加画像データを前記撮像データと関連付けて記録する（Ｓ８０３）。
次に、サービス記録部５０３は、選択した付加画像データデータを生成した情報サービスを特定する情報、即ちサービスへのアクセス情報、及び付加画像データを特定するＩＤ情報を前記付加画像データデータ等のメタデータとして記録する（Ｓ８０４）。
続いて、サービス記録部５０３は、生成に要した入力データも記録する（Ｓ８０５）。
次に、サービス記録部５０３は、まだ記録されていない付加画像データがあるかを判定する（Ｓ８０６）。まだ記録されていない付加画像データがある場合（Ｓ８０６においてＹｅｓ）、サービス記録部５０３は、次に記録する付加画像データを選択する（Ｓ８０７）。そして、サービス記録部５０３は、Ｓ８０３の処理に戻る。まだ記録されていない付加画像データがない場合（Ｓ８０６においてＮｏ）、サービス記録部５０３は、図８に示す処理を終了する。

図９は、情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。
サービス再生部５０４は、記録されたサービス情報、即ちサービス記録部５０３が記録した画像データを記憶装置１０７からＲＡＭ１０４上に読み込む（Ｓ９０１）。
次に、サービス再生部５０４は、記録された付加画像データを選択し（Ｓ９０２）、選択された付加画像データに関連付けられている入力データの現在値を生成する（Ｓ９０３）。
次に、サービス再生部５０４は、生成された入力データと記録されている入力データとの差分を判定する（Ｓ９０４）。差分データがない場合（Ｓ９０４においてＮｏ）、付加情報表示部５０２は、記録された撮像データと付加画像データとを重畳表示して（Ｓ９０７）、図９に示す処理を終了する。差分データがある場合（Ｓ９０４においてＹｅｓ）、付加情報取得部５０１は、差分データと差分データ以外は記録された値とを情報サービスの入力データとして設定する（Ｓ９０５）。
続いて、付加情報取得部５０１は、記録されているアクセス情報を用いて前記設定した入力データを情報サービスに送信し、付加画像データを新たに受信する（Ｓ９０６）。
続いて、付加情報表示部５０２は、記録された撮像データと受信した付加画像データとを重畳表示して（Ｓ９０７）、図９に示す処理を終了する。

本実施形態の処理によって、情報サービスによる付加画像データの交換によって、第三者が情報サービス毎の特別な手順を必要とせずに、付加画像データを更新することができる、即ち情報サービスを交換することができる。また情報サービスの利用時、付加画像データの再生時等にサービス入力データの変更を自動判定して付加画像データを更新することができる。また特別な操作を必要とせずに利用状況に応じたサービスを受けることができる。

＜実施形態２＞
実施形態１では、付加画像データの取得のための入力データの差分を利用時に判定して付加画像データを自動的に更新して表示する例を説明した。本実施形態では、表示されている付加画像データと記録されている付加画像データとの差異をユーザに提示する例を説明する。
図１０は、情報サービス表示システムの表示画面の一例を示す図である。
図１０の（Ａ）は、入力データ種に依存しない汎用的な更新状況を提示している。表示画面１００１は、情報サービス端末の表示画面である。表示画像１００２は、既に情報サービスによって付加画像データが更新されて表示されている。入力データの選定及び再取得方法を示す更新タグ１００３〜１００５が同時に表示されている。更新タグ１００３は、記録されている付加情報の更新を行わないことを示している。更新タグ１００４は、記録された入力データをそのまま用いて付加情報を更新する方法を示している。更新タグ１００５は、表示時に変更された入力データをすべて用いて付加情報を更新する方法を示している。
現在表示されている更新情報は、ハイライト表示されている更新タグ１００５の方法で更新されたものを示す。カーソル１００６は表示対象画像データの変更を指示させるためのものである。ユーザは、入力装置１０５を介して、更新タグ１００３或いは更新タグ１００４を指示し、指示された方法に基づいて表示されている付加情報を更新することができる。
更新タグ１００３〜１００５は、更新方法に係るオブジェクトの一例である。

図１０の（Ｂ）は、特定の入力データの内、位置情報属性の入力データによる更新状況を提示している。位置情報属性の入力データを対象とした入力データの選定及び再取得方法を示す更新タグ１００７〜１００９が同時に表示されている。図１０の（Ａ）同様に、更新タグ１００７は、更新を行わないことを示している。更新タグ１００８は、記録された位置情報を用いて付加情報を更新する方法を示している。更新タグ１００９は、表示時の位置情報を用いて付加情報を更新する方法を示している。ハイライト表示されている更新タグ１００９の更新方法が現在表示されているものである。ユーザは、更新タグ１００７、１００８を指示することで変更することができる。

図１１は、情報サービス表示システムの表示画面の別の一例を示す図である。
図１１は、入力データの変更を入力データ種に応じて直感的にわかりやすい形で提示している。本表示例での入力データ種は図１０の（Ｂ）と同じく位置情報であり、その変化がわかりやすく地図上にマップさせて表示している。表示画像１１０１はＢ市の位置情報を用いて取得した付加情報である。表示画像１１０２はＣ市の位置情報を用いて取得した付加情報であることを示している。ユーザは入力装置１０５を介して、地図上の任意の位置を指示することで、指定位置を入力データとして用いて付加情報を更新することができる。

図１２は、情報サービス表示システムの情報サービス更新ルールデータの一例を示す図である。
図１２の（Ａ）、図１２の（Ｂ）は、それぞれ図１０の（Ａ）、図１０の（Ｂ）の表示例で用いられた更新ルールデータを示している。何れも、更新ルールを示す更新ＩＤ、入力データの選定及び再取得方法の定義、同更新ルールを提示するための表示情報、から構成される。

図１３は、情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。
サービス再生部５０４は、記録されたサービス情報、即ちサービス記録部５０３が記録した画像データを記憶装置１０７からＲＡＭ１０４上に読み込む（Ｓ１３０１）。
次に、サービス再生部５０４は、指定されている更新方法が"Ｏｒｉｇｉｎａｌ"即ち図１２（Ａ）の更新ＩＤが１であるかどうかを判定する（Ｓ１３０２）。
"Ｏｒｉｇｉｎａｌ"である場合（Ｓ１３０２においてＹｅｓ）、付加情報表示部５０２は、読み出した付加画像データをそのまま表示し（Ｓ１３１０）、図１３に示す処理を終了する。

"Ｏｒｉｇｉｎａｌ"でない場合（Ｓ１３０２においてＮｏ）、サービス再生部５０４は、記録された付加画像データを選択し（Ｓ１３０３）、選択した付加画像データに関連付けられている入力データをサービスの入力データとして設定する（Ｓ１３０４）。
次に、サービス再生部５０４は、指定されている更新方法が"Ｕｐｄａｔｅ"即ち図１２（Ａ）の更新ＩＤが３であるかどうかを判定する（Ｓ１３０５）。
"Ｕｐｄａｔｅ"でない場合（Ｓ１３０５においてＮｏ）、付加情報取得部５０１は、設定されている入力データを用いて情報サービスから付加画像データを取得し（Ｓ１３０９）。そして、付加情報表示部５０２は、取得した付加画像データを表示して（Ｓ１３１０）、図１３に示す処理を終了する。
"Ｕｐｄａｔｅ"である場合（Ｓ１３０５においてＹｅｓ）、サービス再生部５０４は、入力データの現在値を生成し（Ｓ１３０６）、生成された入力データと記録されている入力データとの差分が存在するか否かを判定する（Ｓ１３０７）。差分データがあれば、サービス再生部５０４は、設定されている入力データを差分データに変更する（Ｓ１３０８）。
続いて、付加情報取得部５０１は、入力データを用いて情報サービスから付加画像データを取得する（Ｓ１３０９）。
そして、付加情報表示部５０２は、取得した付加画像データを表示して（Ｓ１３１０）、図１３に示す処理を終了する。

本実施形態の処理によって、ユーザは表示されている付加情報が何によって変わったかを確認することができる。また、ユーザ提示されている他の更新方法を指示することによって、容易に所望の付加情報に変更することができる。

＜実施形態３＞
実施形態２では、入力データの差分による付加情報の更新状況をユーザに提示する例を説明した。本実施形態では、情報サービスそのものの選択肢を提示する例を説明する。
図１４は、情報サービス表示システムの表示画面の一例を示す図である。
図２で示されたユースケースで記録された画像データを、本実施形態で表示している。表示画面１４０１は、情報サービス端末の表示画面である。付加情報１４０２は、撮像データである商品に関して、撮像された店舗における情報が表示されている。同店舗での価格や、店舗内の他の推薦商品情報等が表示されている。サービス選択肢情報リスト１４０３は、他の店舗を選択するための選択肢情報がリストで表示されている。
ユーザが入力装置１０５を介して、サービス選択肢情報リスト１４０３の内の一つである選択肢１４０４を指示すると、情報サービス端末１０１は、指示された店舗の情報サービスにアクセスする。そして、情報サービス端末１０１は、同店舗の価格情報や推薦商品情報を前記情報サービスより取得し、更新された付加情報１４０５として撮像データと重畳表示する。

図１５は、情報サービス表示システムにおける選択肢情報のメタデータの一例を示す図である。
サービス記録部５０３が記録した選択肢データである付加画像データに、図示されているメタデータが作成される。選択肢情報取得のための情報サービスを特定するアクセス情報であるＵＲＬが記録される。画像データ内に記録する選択肢データと関連付けるための付加画像データＩＤ、及び画像データ内での表示位置が記録される。また各選択肢に対応付けられた情報サービスのアクセス情報であるＵＲＬがそれぞれ記録される。
選択肢情報を記録せずに、選択肢情報取得のための情報サービスへのアクセス情報を付加画像データのメタデータ内に記録し、同サービスを用いて表示時に動的に選択肢情報を作成して表示するようにしてもよい。

本実施形態の処理によって、ユーザは表示されている選択肢情報を指示することで記録されている情報サービスとは異なるサービスに変更して情報を更新することができる。これにより、入力データだけでなくサービス自体の変更によって、容易に所望の付加情報に変更することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、付加画像データ（付加画像情報）を容易に更新することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、画像データは静止画像に制限されるものではなく、動画像を対象にしてもよい。

１０２ ＣＰＵ、１０３ ＲＯＭ、１０４ ＲＡＭ、１０６ 表示装置、１０７ 記憶装置、１１０ 通信装置

Claims (16)

1. 撮像情報と付加画像情報とを重畳して表示装置に表示する表示手段と、
   前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録手段と、
   前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御手段と、
   を有し、
   前記表示手段は、撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理装置。
2. 入力データを取得する入力データ取得手段と、
   前記入力データ取得手段により取得された前記入力データを、前記付加画像情報生成手段に送信し、前記入力データに基づき前記付加画像情報生成手段で生成された付加画像情報を取得する取得手段と、
   を更に有し、
   前記表示手段は、撮像情報と、前記取得手段で取得された前記付加画像情報と、を重畳して前記表示装置に表示し、
   前記記録手段は、前記入力データと、前記付加画像情報と、前記特定情報と、を関連付けて関連データとして記憶装置に記録する請求項１記載の情報処理装置。
3. 前記更新制御手段は、前記入力データ取得手段で再取得された入力データと、前記記憶装置に記憶されている前記入力データと、に差分が存在する場合、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新する請求項２記載の情報処理装置。
4. 前記入力データ取得手段は、前記表示装置に表示されている前記付加画像情報が選択された場合、前記関連データで前記付加画像情報と関連付けられている入力データを再取得し、
   前記更新制御手段は、前記入力データ取得手段で再取得された入力データと、前記記憶装置に記憶されている前記入力データと、に差分が存在する場合、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新する請求項３記載の情報処理装置。
5. 前記表示手段は、撮像情報と付加画像情報とを重畳して表示装置に表示すると共に、前記付加画像情報の更新方法に係るオブジェクトを前記表示装置に表示し、
   前記更新制御手段は、選択されたオブジェクトに基づいて、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する請求項１乃至４何れか１項記載の情報処理装置。
6. 被写体を撮像し、前記撮像情報を取得する撮像手段を更に有する請求項１乃至５何れか１項記載の情報処理装置。
7. 前記記録手段は、前記撮像情報を更に関連付けて関連データとして前記記憶装置に記憶し、
   前記記録手段により前記記憶装置に記憶された前記関連データを、ネットワークを介して通信可能な他の情報処理装置に送信する送信手段を更に有する請求項１乃至６何れか１項記載の情報処理装置。
8. 撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、が関連付けられた関連データを受信する受信手段と、
   前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して表示装置に表示する表示手段と、
   前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御手段と、
   を有し、
   前記表示手段は、前記撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理装置。
9. 前記受信手段は、前記関連データを、ネットワークを介して通信可能な他の情報処理装置より受信し、
   前記更新制御手段は、前記他の情報処理装置と前記情報処理装置とのユーザの言語情報が異なる場合、前記付加画像情報生成手段を特定し、前記他の情報処理装置のユーザの言語情報の前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された前記情報処理装置のユーザの言語情報の付加画像情報に更新する請求項８記載の情報処理装置。
10. 前記受信手段は、前記関連データを、ネットワークを介して通信可能な他の情報処理装置より受信し、
    前記更新制御手段は、前記他の情報処理装置と前記情報処理装置とのユーザの年齢層が異なる場合、前記付加画像情報生成手段を特定し、前記他の情報処理装置のユーザの年齢層用の前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された前記情報処理装置のユーザの年齢層用の付加画像情報に更新する請求項８記載の情報処理装置。
11. 第１の情報処理装置と、第２の情報処理装置と、を含むシステムであって、
    前記第１の情報処理装置は、
    撮像情報と付加画像情報とを重畳して前記第１の情報処理装置の表示装置に表示する第１の表示手段と、
    撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けた関連データを前記第２の情報処理装置に送信する送信手段と、
    を有し、
    前記第２の情報処理装置は、
    前記関連データを受信する受信手段と、
    前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して前記第２の情報処理装置の表示装置に表示する第２の表示手段と、
    前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御手段と、
    を有し、
    前記第２の表示手段は、前記撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記第２の情報処理装置の表示装置に表示するシステム。
12. 情報処理装置が実行する情報処理方法であって、
    撮像情報と付加画像情報とを重畳して表示装置に表示する表示ステップと、
    前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録ステップと、
    前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、
    を含み、
    前記表示ステップでは、撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理方法。
13. 情報処理装置が実行する情報処理方法であって、
    撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、が関連付けられた関連データを受信する受信ステップと、
    前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して表示装置に表示する表示ステップと、
    前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、
    を含み、
    前記表示ステップでは、前記撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理方法。
14. 第１の情報処理装置と、第２の情報処理装置と、を含むにおける情報処理方法であって、
    前記第１の情報処理装置が、撮像情報と付加画像情報とを重畳して前記第１の情報処理装置の表示装置に表示する第１の表示ステップと、
    前記第１の情報処理装置が、撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けた関連データを前記第２の情報処理装置に送信する送信ステップと、
    前記第２の情報処理装置が、前記関連データを受信する受信ステップと、
    前記第２の情報処理装置が、前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して前記第２の情報処理装置の表示装置に表示する第２の表示ステップと、
    前記第２の情報処理装置が、前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、
    を含み
    前記第２の表示ステップでは、前記撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記第２の情報処理装置の表示装置に表示する情報処理方法。
15. コンピュータに、
    撮像情報と付加画像情報とを重畳して表示装置に表示する表示ステップと、
    前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録ステップと、
    前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、
    を実行させ、
    前記表示ステップでは、撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示するプログラム。
16. コンピュータに、
    撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、が関連付けられた関連データを受信する受信ステップと、
    前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して表示装置に表示する表示ステップと、
    前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、
    を実行させ、
    前記表示ステップでは、前記撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示するプログラム。

Images