JP6188512B2 - Information processing apparatus, information processing method, and program - Google Patents

Information processing apparatus, information processing method, and program Download PDF

Info

Publication number
JP6188512B2
JP6188512B2 JP2013195674A JP2013195674A JP6188512B2 JP 6188512 B2 JP6188512 B2 JP 6188512B2 JP 2013195674 A JP2013195674 A JP 2013195674A JP 2013195674 A JP2013195674 A JP 2013195674A JP 6188512 B2 JP6188512 B2 JP 6188512B2
Authority
JP
Japan
Prior art keywords
information
additional image
image information
processing apparatus
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013195674A
Other languages
Japanese (ja)
Other versions
JP2015061281A5 (en
JP2015061281A (en
Inventor
鈴木 大記
大記 鈴木
金田 北洋
北洋 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013195674A priority Critical patent/JP6188512B2/en
Publication of JP2015061281A publication Critical patent/JP2015061281A/en
Publication of JP2015061281A5 publication Critical patent/JP2015061281A5/ja
Application granted granted Critical
Publication of JP6188512B2 publication Critical patent/JP6188512B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program.

カメラを有するスマートフォンやタブレット端末等を用いた、撮像対象や撮像位置に関連する付加情報を提供する情報サービスが普及している。このような情報サービスにおいては、コンピュータグラフィックスデータとして提供された付加情報を撮像データに重畳表示し、付加情報を撮像データと共に記録することができる。ユーザが、情報サービスを受けるには専用のアプリケーションを要し、このアプリケーションを利用することによって、付加情報の記録後も最新の情報を得ることができる。ユーザは、アプリケーションを切り替えることで、情報サービスを変更することができる。なお、アプリケーションを切り替えず、ユーザが目的情報を入力することによって所望の合成画像を得る方法も提案されている(特許文献1参照)。   An information service that provides additional information related to an imaging target and an imaging position using a smartphone, a tablet terminal, or the like having a camera has become widespread. In such an information service, the additional information provided as computer graphics data can be displayed superimposed on the imaging data, and the additional information can be recorded together with the imaging data. The user needs a dedicated application to receive the information service. By using this application, the latest information can be obtained even after the additional information is recorded. The user can change the information service by switching applications. A method has also been proposed in which a desired composite image is obtained by a user inputting objective information without switching applications (see Patent Document 1).

特開2010−4574号公報JP 2010-4574 A

これらの先行技術では、記録されたデータを第三者に提供することはできるが、提供者と同じアプリケーションのインストールや情報サービスの登録がなければデータ内の付加情報を更新することはできない。多くの情報サービスが普及することによって、大量のアプリケーションや情報サービスの中から所望のものを探してくることは面倒な作業となる。また記録時の状況を指示(入力・設定)する必要がある情報サービスもあり、容易ではない。また、付加情報の更新が可能といっても記録された時点で受けた情報サービスに限定され、利用時の状況に合わせて情報サービスの内容自体を変更させることはできない。或いは特許文献1のように、ユーザが都度利用目的情報を入力する手間をかける必要があり、容易ではない。   In these prior arts, recorded data can be provided to a third party, but additional information in the data cannot be updated without installing the same application as the provider and registering information services. With the spread of many information services, searching for a desired one from a large number of applications and information services becomes a troublesome task. In addition, there is an information service that needs to indicate (input / set) the situation at the time of recording, which is not easy. Further, even if the additional information can be updated, it is limited to the information service received at the time of recording, and the contents of the information service itself cannot be changed according to the situation at the time of use. Or like patent document 1, it is necessary for a user to input use purpose information each time, and it is not easy.

そこで、本発明の情報処理装置は、撮像情報と付加画像情報とを重畳して表示装置に表示する表示手段と、前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録手段と、前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報更新するか制御する更新制御手段と、を有し、前記表示手段は、撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記表示装置に表示する。 Therefore, an information processing apparatus according to the present invention includes a display unit that superimposes imaging information and additional image information on a display device, the additional image information, and an additional image information generation unit related to generation of the additional image information. Based on the specific information recorded in the storage device in association with the additional image information displayed on the display device, recording means for associating the specific information to be identified and recording as related data in the storage device Te identifies the additional image information generating means, the display device the additional image information displayed on the control to update the identified said additional image information generating means therefore other additional image information generated It has an update control means to the said display means displays on the display device by superimposing the additional image information according to control by the updating control unit and the imaging information.

本発明によれば、付加画像情報を容易に更新することができる。   According to the present invention, the additional image information can be easily updated.

システム構成及び各装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the system configuration | structure and the hardware configuration of each apparatus. 情報サービス表示システムのユースケースの一例を示す図である。It is a figure which shows an example of the use case of an information service display system. 情報サービス表示システムのユースケースの別の一例を示す図である。It is a figure which shows another example of the use case of an information service display system. 情報サービス表示システムのユースケースの別の一例を示す図である。It is a figure which shows another example of the use case of an information service display system. 情報サービス表示システムにおけるモジュール構成の一例を示す図である。It is a figure which shows an example of the module structure in an information service display system. 情報サービス表示システムにおける記録されたメタデータの一例を示す図である。It is a figure which shows an example of the metadata recorded in the information service display system. 情報サービス表示システムにおける情報サービスの結果を記録する情報処理の一例を示すフローチャートである。It is a flowchart which shows an example of the information processing which records the result of the information service in an information service display system. 図7のS705の情報処理の一例を示したフローチャートである。8 is a flowchart showing an example of information processing in S705 of FIG. 情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。It is the flowchart which showed an example of the display process of the information service in an information service display system. 情報サービス表示システムの表示画面の一例を示す図である。It is a figure which shows an example of the display screen of an information service display system. 情報サービス表示システムの表示画面の別の一例を示す図である。It is a figure which shows another example of the display screen of an information service display system. 情報サービス表示システムの情報サービス更新ルールデータの一例を示す図である。It is a figure which shows an example of the information service update rule data of an information service display system. 情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。It is the flowchart which showed an example of the display process of the information service in an information service display system. 情報サービス表示システムの表示画面の一例を示す図である。It is a figure which shows an example of the display screen of an information service display system. 情報サービス表示システムにおける選択肢情報のメタデータの一例を示す図である。It is a figure which shows an example of the metadata of the choice information in an information service display system.

以下、本発明の実施形態について図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

<実施形態1>
図1は、情報サービス表示システムにおけるシステム構成及び情報サービス表示システを構成する各装置のハードウェア構成の一例を示す図である。
情報サービス端末101は、タブレット端末やスマートフォン、デジタルカメラ等であり、情報サービスから取得された付加画像データを表示することができる。
CPU102は、マイクロプロセッサであり、情報サービス端末101の制御に係る演算・論理判断等を行い、バス111に接続された各構成要素を制御する。
ROM103は、読出専用の不揮発性メモリであり、CPU102の処理手順となる制御プログラムや各種データを記憶する。
RAM104は、読み書き可能なランダムアクセスメモリであり、処理中の各種制御のための一時記憶として使用する。
入力装置105は、ボタン・タッチパネル等であり、ユーザが各種の指示を行う。
表示装置106は、液晶ディスプレイ等であり、情報サービスから取得された付加画像データを表示する。
<Embodiment 1>
FIG. 1 is a diagram illustrating an example of a system configuration in an information service display system and a hardware configuration of each device configuring the information service display system.
The information service terminal 101 is a tablet terminal, a smartphone, a digital camera, or the like, and can display additional image data acquired from the information service.
The CPU 102 is a microprocessor, performs calculation / logic determination related to the control of the information service terminal 101, and controls each component connected to the bus 111.
The ROM 103 is a read-only nonvolatile memory, and stores a control program and various data that are processing procedures of the CPU 102.
The RAM 104 is a readable / writable random access memory, and is used as a temporary storage for various controls during processing.
The input device 105 is a button / touch panel or the like, and the user gives various instructions.
The display device 106 is a liquid crystal display or the like, and displays additional image data acquired from the information service.

記憶装置107は、ハードディスク等の各種ディスク機器やフラッシュメモリ等であり、CPU102の処理手順となる制御プログラムや情報サービスから取得された付加画像データ等の各種データを記憶する。
撮像装置108は、撮像素子等を含む光学機器であり、被写体の撮像を行う。
センサ装置109は、GPSセンサ・加速度センサ等の各種センサ機器であり、各種検出された情報をシステムで扱うことが可能なデータに変換する。通信装置110は、ネットワークコントローラであり、有線或いは無線の通信路を介して外部とデータ交換を行う。
バス111は、信号線や通信線であり、各デバイスのコントロール信号、制御プログラム、各種データの転送を行う。
CPU102が、ROM103、又は記憶装置107に記憶されたプログラムに基づき処理を実行することによって、後述する情報サービス端末101のソフトウェア構成及び、情報サービス端末101のフローチャートに係る処理が実現される。
サーバ112は、情報サービスを提供する装置であり、情報サービス端末101の要求に基づいて各種の付加画像データを生成及び送信することができる。サーバ112は、情報サービス端末101と同様に、CPU113、ROM114、RAM115、通信装置116、記憶装置117から構成される。
CPU113が、ROM114、又は記憶装置117に記憶されたプログラムに基づき処理を実行することによって、後述するサーバ112のソフトウェア構成等が実現される。
図1に示されるように、情報サービス端末101と、サーバ112とは、ネットワーク等を介して通信可能に接続されている。
The storage device 107 is a disk device such as a hard disk, a flash memory, or the like, and stores various data such as a control program serving as a processing procedure of the CPU 102 and additional image data acquired from an information service.
The imaging device 108 is an optical device that includes an imaging device and the like, and performs imaging of a subject.
The sensor device 109 is various sensor devices such as a GPS sensor and an acceleration sensor, and converts various types of detected information into data that can be handled by the system. The communication device 110 is a network controller and exchanges data with the outside via a wired or wireless communication path.
The bus 111 is a signal line or a communication line, and transfers control signals, control programs, and various data of each device.
When the CPU 102 executes processing based on a program stored in the ROM 103 or the storage device 107, the software configuration of the information service terminal 101 and the processing related to the flowchart of the information service terminal 101 described later are realized.
The server 112 is an apparatus that provides an information service, and can generate and transmit various types of additional image data based on a request from the information service terminal 101. Similarly to the information service terminal 101, the server 112 includes a CPU 113, a ROM 114, a RAM 115, a communication device 116, and a storage device 117.
The CPU 113 executes processing based on a program stored in the ROM 114 or the storage device 117, thereby realizing a software configuration of the server 112 described later.
As shown in FIG. 1, the information service terminal 101 and the server 112 are communicably connected via a network or the like.

図2は、情報サービス表示システムのユースケースの一例を示す図である。
ユーザが、ある企業の提供する商品情報サービスが得られる専用のアプリケーションをインストールした情報サービス端末202を用いて、商品201を被写体として閲覧する。
アプリケーションは、商品201の撮像データに対して画像認識処理を施し、商品IDを抽出し、抽出した商品IDを商品情報サービスのアクセス先であるサーバに送信する。
商品情報サービスは、受信した商品IDに該当する商品情報等を示す商品情報データ204を記憶装置から検索し、情報サービス端末のアプリケーションへ送信する。
アプリケーションは、受信した商品情報データ204を、撮像データに重畳して表示(重畳表示)する。商品情報データ204としては、例えば、商品情報(型番やカラーバリエーション)、現在の価格や在庫情報等のデータである。撮像データは、撮像情報の一例である。
FIG. 2 is a diagram illustrating an example of a use case of the information service display system.
The user browses the product 201 as a subject using the information service terminal 202 in which a dedicated application for obtaining a product information service provided by a company is installed.
The application performs image recognition processing on the imaging data of the product 201, extracts the product ID, and transmits the extracted product ID to the server that is the access destination of the product information service.
The merchandise information service retrieves merchandise information data 204 indicating merchandise information corresponding to the received merchandise ID from the storage device and transmits it to the application of the information service terminal.
The application superimposes and displays the received product information data 204 on the imaging data (superimposed display). The merchandise information data 204 is data such as merchandise information (model number and color variation), current price, inventory information, and the like. The imaging data is an example of imaging information.

ユーザは、商品情報データ204が重畳表示された状態からアプリケーションに記録を指示する。指示を受けたアプリケーションは、撮像データと、重畳表示されている商品情報データ204と、を画像データ203として記録する。ここで、アプリケーションは、商品情報サービスのアクセス先を特定する情報等も画像データ203のメタデータとして記録する。
アプリケーションは、記録された画像データ203及びメタデータを別のユーザが持つ情報サービス端末205に送信する。
情報サービス端末205を所有する前記別のユーザは、上記商品情報サービスのアプリケーションをインストールしていない。しかし、前記別のユーザは、情報サービス端末205を用いて、記録されている画像データ203に基づき画像データ203の閲覧だけでなく、メタデータよりアクセス先を特定する情報等を取得することができ、商品情報サービスにアクセスすることができる。したがって、前記別のユーザは、情報サービス端末205を用いて、商品201に関する更新された商品情報206を商品情報サービスより得て、自身の情報サービス端末205において重畳表示等することができる。
The user instructs the application to record from the state in which the product information data 204 is superimposed and displayed. The application that has received the instruction records the imaging data and the product information data 204 displayed in a superimposed manner as image data 203. Here, the application records information specifying the access destination of the product information service as metadata of the image data 203.
The application transmits the recorded image data 203 and metadata to the information service terminal 205 owned by another user.
The other user who owns the information service terminal 205 does not install the product information service application. However, the other user can use the information service terminal 205 not only to view the image data 203 based on the recorded image data 203 but also to acquire information specifying the access destination from the metadata. , You can access the product information service. Therefore, the other user can obtain the updated product information 206 regarding the product 201 from the product information service using the information service terminal 205, and can superimpose the information on the information service terminal 205 of the user.

図3は、情報サービス表示システムのユースケースの別の一例を示す図である。
本ユースケースでは、店舗情報サービスをユーザが利用しているケースである。
ユーザが情報サービス端末を介して、駅前の看板やビル壁面等に貼られていた店舗のポスター301を被写体として閲覧する。
情報サービス端末は、店舗情報サービスが提供する最寄り店までの地図データ302が重畳表示された画像データ303を記録する。情報サービス端末は、店舗情報サービスの入力データとして記録されている入力データとの差分データ、即ち情報サービス端末が持つGPSセンサで得られる現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、前記現在の位置情報から最寄り店を検索し、前記最寄り店の店舗の地図データを情報サービス端末に送信する。
FIG. 3 is a diagram illustrating another example of the use case of the information service display system.
In this use case, the store information service is used by the user.
A user browses, as an object, a store poster 301 attached to a signboard in front of a station or a wall of a building via an information service terminal.
The information service terminal records image data 303 in which the map data 302 to the nearest store provided by the store information service is superimposed and displayed. The information service terminal transmits, to the store information service, difference data from the input data recorded as the input data of the store information service, that is, current location information obtained by a GPS sensor of the information service terminal. The store information service searches for the nearest store from the current location information, and transmits map data of the store of the nearest store to the information service terminal.

ユーザがA市でポスター301を閲覧した場合、情報サービス端末は、現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、情報サービス端末の位置情報に基づいてA支店までの地図データ302を情報サービス端末に送信する。そして、情報サービス端末は、ポスター301と共にA支店までの地図データ302を表示する。ここで、情報サービス端末は、ポスター301の一部の領域にA支店までの地図データ302を重畳して表示するようにしてもよい。ユーザがB市に移動後に記録された画像データ303を再生すると、情報サービス端末は、GPSセンサで得られる現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、前記位置情報に基づいて、最寄り店であるB支店までの地図データ304を情報サービス端末に送信する。情報サービス端末は、B支店までの地図データ304を受信する。情報サービス端末は、A支店までの地図データ302を現在の地点における最寄り店であるB支店までの地図データ304に更新して表示する(更新制御)。
実際にユーザがB支店に到着後に情報サービス端末を介して画像データを再生すると、情報サービス端末は、現在の位置情報を店舗情報サービスに送信する。店舗情報サービスは、前記位置情報に基づき、地図案内は不要と判断し、B支店の商品情報305を情報サービス端末に提供する。情報サービス端末は、提供されたB支店の商品情報305を表示する。
本実施形態によれば、このように、ユーザの再生地点に合わせて最適な情報に自動で更新して表示することができる。また、ポスター自体を店舗間で共通利用することができる。
When the user views the poster 301 in A city, the information service terminal transmits the current position information to the store information service. The store information service transmits map data 302 up to branch A to the information service terminal based on the location information of the information service terminal. Then, the information service terminal displays the map data 302 up to the branch A together with the poster 301. Here, the information service terminal may superimpose and display the map data 302 up to branch A on a partial area of the poster 301. When the user reproduces the image data 303 recorded after moving to B city, the information service terminal transmits the current position information obtained by the GPS sensor to the store information service. Based on the location information, the store information service transmits map data 304 to the branch B that is the nearest store to the information service terminal. The information service terminal receives the map data 304 up to the branch B. The information service terminal updates the map data 302 up to the branch A to the map data 304 up to the branch B that is the nearest store at the current location and displays it (update control).
When the user actually reproduces the image data via the information service terminal after arriving at the branch B, the information service terminal transmits the current position information to the store information service. The store information service determines that map guidance is unnecessary based on the location information, and provides the product information 305 of the B branch to the information service terminal. The information service terminal displays the provided product information 305 of the B branch.
According to the present embodiment, as described above, it is possible to automatically update and display the optimum information according to the reproduction point of the user. Also, the poster itself can be shared between stores.

図4は、情報サービス表示システムのユースケースの別の一例を示す図である。
本ユースケースでは、テキスト情報変換サービスをユーザが利用しているケースである。
ユーザが情報サービス端末402を介して、ポスター401を被写体として閲覧し、ユーザの言語情報と共にポスター内のテキストをテキスト情報変換サービスに送信する。テキスト情報変換サービスは、受信したテキストをユーザの言語情報に基づき、例えばユーザの母国語等に翻訳したテキスト情報403を情報サービス端末402に送信する。情報サービス端末402は、テキスト情報403を取得すると、ポスター401と共にテキスト情報403を重畳表示する。ここで、情報サービス端末402は、ポスター401内のテキスト部分にテキスト情報403を重畳表示する。情報サービス端末402は、ポスター401と重畳表示されたテキスト情報403とを画像データ404として記録する。ユーザは情報サービス端末402に記録した画像データ404を別のユーザが持つ情報サービス端末405に送信する。別のユーザが情報サービス端末405を用いて画像データ404を再生する操作を行うと、情報サービス端末405は、前記別のユーザの言語情報と共にポスター内のテキストをテキスト情報変換サービスに送信する。テキスト情報変換サービスは、受信したテキストを前記別のユーザの言語情報に基づき、例えば前記別のユーザの母国語等に翻訳したテキスト情報406を情報サービス端末405に送信する。情報サービス端末405は、テキスト情報406を取得すると、ポスター401と共にテキスト情報406を重畳表示する。ここで、ユーザの言語情報は予め情報サービス端末のメモリ等にユーザの属性情報として記憶されているものとする。
FIG. 4 is a diagram illustrating another example of the use case of the information service display system.
In this use case, the user uses the text information conversion service.
The user browses the poster 401 as a subject via the information service terminal 402, and transmits the text in the poster together with the language information of the user to the text information conversion service. The text information conversion service transmits text information 403 obtained by translating the received text into, for example, the user's native language based on the user's language information, to the information service terminal 402. When the information service terminal 402 acquires the text information 403, the information service terminal 402 displays the text information 403 in a superimposed manner together with the poster 401. Here, the information service terminal 402 displays the text information 403 superimposed on the text portion in the poster 401. The information service terminal 402 records the poster 401 and the superimposed text information 403 as image data 404. The user transmits the image data 404 recorded on the information service terminal 402 to the information service terminal 405 owned by another user. When another user performs an operation of reproducing the image data 404 using the information service terminal 405, the information service terminal 405 transmits the text in the poster together with the language information of the other user to the text information conversion service. The text information conversion service transmits to the information service terminal 405 text information 406 obtained by translating the received text into, for example, the other user's native language based on the language information of the other user. When the information service terminal 405 acquires the text information 406, the information service terminal 405 superimposes the text information 406 together with the poster 401. Here, it is assumed that the user language information is stored in advance in the memory of the information service terminal as user attribute information.

言語の違いだけでなく、ユーザが子供であれば漢字を仮名文字に変換する、高齢者であればテキストフォントを大きくすることで視認性をあげるように変換する等としてもよい。つまり、情報サービス端末はユーザの年齢情報をテキスト情報と共にテキスト情報変換サービスに送信する。テキスト情報変換サービスは、年齢情報に基づき、ユーザが所定の年齢層、例えば3歳から8歳までの子供であると判定した場合、テキスト情報に含まれる漢字を仮名文字に変換し、情報サービス端末に送信するようにしてもよい。また、テキスト情報変換サービスは、年齢情報に基づき、ユーザが所定の年齢層、例えば55歳以上であると判定した場合、テキスト情報に含まれるテキストのテキストフォントを予め定められたフォント以上に大きくすることで視認性をあげるように変換する。そてて、テキスト情報変換サービスは、変換後のテキストを情報サービス端末に送信するようにしてもよい。
このように、ユーザ自体の属性情報に合わせて最適な情報に自動で更新することができる。また、同じポスターを多層のユーザ間で共通利用することができる。
In addition to language differences, kanji characters may be converted to kana characters if the user is a child, and conversion may be made to increase visibility by increasing the text font if the user is elderly. That is, the information service terminal transmits the user's age information together with the text information to the text information conversion service. The text information conversion service converts kanji characters contained in the text information into kana characters when the user determines that the user is a child of a predetermined age group, for example, 3 to 8 years old, based on the age information, and the information service terminal You may make it transmit to. Further, the text information conversion service increases the text font of the text included in the text information to be larger than a predetermined font when the user determines that the user is a predetermined age group, for example, 55 years old or more based on the age information. So that the visibility is improved. Therefore, the text information conversion service may transmit the converted text to the information service terminal.
In this way, it is possible to automatically update to optimum information according to the user's own attribute information. In addition, the same poster can be shared among multiple users.

図5は、情報サービス表示システムにおけるモジュール構成の一例を示す図である。
図5に示されるように、情報サービス端末101は、モジュール構成として、付加情報取得部501と、付加情報表示部502と、サービス記録部503と、サービス再生部504と、を含む。
付加情報取得部501は、情報サービスを特定し、情報サービスに必要な入力データを情報サービスに送信して、情報サービスより付加画像データを受信する。付加情報取得部501は、情報サービスに送信する入力データを、撮像装置108による撮像データ、各種センサ装置109によるセンサデータ、及び/又はこれらを認識・解析処理したデータから生成する(入力データ取得)。また、付加情報取得部501は、ユーザが入力装置105で入力したデータ及び前記データをロギングした(つまり、入力データ等を時系列で記憶した)記憶装置107内のデータから情報サービスに送信する入力データを生成するようにしてもよい。付加情報取得部501は、特定した情報サービスに応じて、情報サービスに入力する入力データを各種データ等より生成し、送信する。
FIG. 5 is a diagram illustrating an example of a module configuration in the information service display system.
As shown in FIG. 5, the information service terminal 101 includes an additional information acquisition unit 501, an additional information display unit 502, a service recording unit 503, and a service playback unit 504 as a module configuration.
The additional information acquisition unit 501 specifies an information service, transmits input data necessary for the information service to the information service, and receives additional image data from the information service. The additional information acquisition unit 501 generates input data to be transmitted to the information service from imaging data from the imaging device 108, sensor data from the various sensor devices 109, and / or data obtained by recognizing and analyzing them (input data acquisition). . Further, the additional information acquisition unit 501 transmits the data input by the user with the input device 105 and the data in the storage device 107 that has logged the data (that is, stored the input data and the like in time series) to the information service. Data may be generated. The additional information acquisition unit 501 generates input data to be input to the information service from various data according to the specified information service, and transmits it.

付加情報表示部502は、情報サービスより取得した付加画像データを、撮像装置108による撮像データに重畳表示する。
サービス記録部503は、付加情報表示部502が重畳表示している撮像データや付加画像データを一つの画像データファイルとして記録する。また、サービス記録部503は、画像データファイルのメタデータとして、付加画像データに関連付けて情報サービスへのアクセス情報、取得に要した入力データ等を同時に記録する。
サービス再生部504は、記録されたアクセス情報で特定される情報サービスに再生時に再生成された入力データを送信し、前記情報サービスにおいて再生成された付加画像データを取得し、取得した付加画像データを表示(又は重畳表示)する。
なお、付加画像データとは、上述した商品情報データや地図データ、テキスト情報等である。
The additional information display unit 502 superimposes and displays the additional image data acquired from the information service on the imaging data obtained by the imaging device 108.
The service recording unit 503 records the imaging data and additional image data superimposed on the additional information display unit 502 as one image data file. Further, the service recording unit 503 simultaneously records, as metadata of the image data file, access information to the information service in association with the additional image data, input data required for acquisition, and the like.
The service playback unit 504 transmits the input data regenerated at the time of playback to the information service specified by the recorded access information, acquires additional image data regenerated in the information service, and acquires the acquired additional image data Is displayed (or superimposed).
The additional image data is the above-described product information data, map data, text information, or the like.

サーバ112は、モジュール構成として、付加情報生成部505と、付加情報記録部506と、を含む。
付加情報生成部505は、情報サービス端末101から受信した入力データに基づいてサービスの内容を適宜判断して付加画像データを生成する。
付加情報記録部506は、付加画像データを記録する。付加情報生成部505は、付加情報記録部506に記録された付加画像データ、或いは入力データや記録された付加画像データから新たに生成した付加画像データを情報サービス端末101に送信する。
なお、以上のモジュール以外にユーザインタフェースを提供するためのモジュール等が本システムには含まれるが、説明は省略する。
付加情報生成部505は、付加画像情報生成手段の一例である。
The server 112 includes an additional information generation unit 505 and an additional information recording unit 506 as module configurations.
The additional information generation unit 505 appropriately determines the content of the service based on the input data received from the information service terminal 101 and generates additional image data.
The additional information recording unit 506 records additional image data. The additional information generation unit 505 transmits the additional image data recorded in the additional information recording unit 506 or additional image data newly generated from the input data or the recorded additional image data to the information service terminal 101.
In addition to the above modules, a module for providing a user interface and the like are included in this system, but the description thereof is omitted.
The additional information generation unit 505 is an example of additional image information generation means.

図6は、情報サービス表示システムにおける記録されたメタデータの一例を示す図である。
サービス記録部503が記録した付加画像データ毎に、図示されているメタデータが記録される。付加画像データを生成したサービスを特定するアクセス情報として、インターネット上のサービスを特定する統一資源位置指定子(URL)が記録される。また、付加画像データと関連付けるための付加画像データID、付加画像データを表示する画像データ内での表示位置が記録される。また付加画像データを生成するために要したサービスへの入力データが記録される。入力データとしては、例えば、撮像データから認識された結果を識別するための認識対象ID情報、位置情報、言語情報、及び使用ユーザの性別、年齢、所在地を含むパーソナル情報等が記録される。
アクセス情報は、特定情報の一例である。
FIG. 6 is a diagram illustrating an example of recorded metadata in the information service display system.
The illustrated metadata is recorded for each additional image data recorded by the service recording unit 503. A unified resource location specifier (URL) that identifies a service on the Internet is recorded as access information that identifies the service that generated the additional image data. Further, an additional image data ID to be associated with the additional image data and a display position in the image data for displaying the additional image data are recorded. Also, the input data to the service required for generating the additional image data is recorded. As the input data, for example, recognition target ID information for identifying a result recognized from the imaging data, position information, language information, personal information including the sex, age, and location of the user is recorded.
The access information is an example of specific information.

図7は、情報サービス表示システムにおける情報サービスの結果を記録する情報処理の一例を示すフローチャートである。
付加情報取得部501は、情報サービスを選択し(S701)、選択した情報サービスに必要な入力データを生成する(S702)。例えば、付加情報取得部501は、撮像された撮像データに応じて情報サービスを選択したり、ユーザの選択操作に応じて情報サービスを選択したりする。
付加情報取得部501は、入力データ生成後、情報サービスに入力データを送信し、情報サービスから付加画像データを受信する(S703)。
付加情報表示部502は、取得された付加画像データを撮像データに重畳表示する(S704)。
サービス記録部503は、ユーザ指示に基づいて情報サービスの結果、即ち、上述したように撮像データや付加画像データを一つのファイルとした画像データファイルやメタデータを記録する(S705)。S705の処理の詳細は、後述する図8を用いて説明する。
画像データファイル、又はメタデータは、関連データの一例である。
FIG. 7 is a flowchart illustrating an example of information processing for recording a result of an information service in the information service display system.
The additional information acquisition unit 501 selects an information service (S701), and generates input data necessary for the selected information service (S702). For example, the additional information acquisition unit 501 selects an information service according to captured image data, or selects an information service according to a user's selection operation.
After the input data is generated, the additional information acquisition unit 501 transmits the input data to the information service and receives the additional image data from the information service (S703).
The additional information display unit 502 superimposes and displays the acquired additional image data on the imaging data (S704).
The service recording unit 503 records the result of the information service based on the user instruction, that is, the image data file and metadata in which the imaging data and the additional image data are one file as described above (S705). Details of the processing of S705 will be described with reference to FIG.
An image data file or metadata is an example of related data.

図8は、図7のS705の情報処理の一例を示したフローチャートである。
サービス記録部503は、まず撮像データを記録する(S801)。
次にサービス記録部503は、表示されていた付加画像データの一つを選択する(S802)。
そして、サービス記録部503は、選択した付加画像データを前記撮像データと関連付けて記録する(S803)。
次に、サービス記録部503は、選択した付加画像データデータを生成した情報サービスを特定する情報、即ちサービスへのアクセス情報、及び付加画像データを特定するID情報を前記付加画像データデータ等のメタデータとして記録する(S804)。
続いて、サービス記録部503は、生成に要した入力データも記録する(S805)。
次に、サービス記録部503は、まだ記録されていない付加画像データがあるかを判定する(S806)。まだ記録されていない付加画像データがある場合(S806においてYes)、サービス記録部503は、次に記録する付加画像データを選択する(S807)。そして、サービス記録部503は、S803の処理に戻る。まだ記録されていない付加画像データがない場合(S806においてNo)、サービス記録部503は、図8に示す処理を終了する。
FIG. 8 is a flowchart showing an example of information processing in S705 of FIG.
The service recording unit 503 first records imaging data (S801).
Next, the service recording unit 503 selects one of the displayed additional image data (S802).
Then, the service recording unit 503 records the selected additional image data in association with the imaging data (S803).
Next, the service recording unit 503 stores information specifying the information service that generated the selected additional image data data, that is, access information to the service and ID information specifying the additional image data, as meta data such as the additional image data data. It is recorded as data (S804).
Subsequently, the service recording unit 503 records the input data required for generation (S805).
Next, the service recording unit 503 determines whether there is additional image data that has not yet been recorded (S806). When there is additional image data that has not been recorded yet (Yes in S806), the service recording unit 503 selects additional image data to be recorded next (S807). Then, the service recording unit 503 returns to the process of S803. If there is no additional image data that has not yet been recorded (No in S806), the service recording unit 503 ends the process illustrated in FIG.

図9は、情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。
サービス再生部504は、記録されたサービス情報、即ちサービス記録部503が記録した画像データを記憶装置107からRAM104上に読み込む(S901)。
次に、サービス再生部504は、記録された付加画像データを選択し(S902)、選択された付加画像データに関連付けられている入力データの現在値を生成する(S903)。
次に、サービス再生部504は、生成された入力データと記録されている入力データとの差分を判定する(S904)。差分データがない場合(S904においてNo)、付加情報表示部502は、記録された撮像データと付加画像データとを重畳表示して(S907)、図9に示す処理を終了する。差分データがある場合(S904においてYes)、付加情報取得部501は、差分データと差分データ以外は記録された値とを情報サービスの入力データとして設定する(S905)。
続いて、付加情報取得部501は、記録されているアクセス情報を用いて前記設定した入力データを情報サービスに送信し、付加画像データを新たに受信する(S906)。
続いて、付加情報表示部502は、記録された撮像データと受信した付加画像データとを重畳表示して(S907)、図9に示す処理を終了する。
FIG. 9 is a flowchart showing an example of information service display processing in the information service display system.
The service playback unit 504 reads the recorded service information, that is, the image data recorded by the service recording unit 503 from the storage device 107 onto the RAM 104 (S901).
Next, the service playback unit 504 selects the recorded additional image data (S902), and generates the current value of the input data associated with the selected additional image data (S903).
Next, the service playback unit 504 determines the difference between the generated input data and the recorded input data (S904). If there is no difference data (No in S904), the additional information display unit 502 superimposes the recorded image data and additional image data (S907), and ends the process shown in FIG. When there is difference data (Yes in S904), the additional information acquisition unit 501 sets the difference data and the recorded value other than the difference data as the input data of the information service (S905).
Subsequently, the additional information acquisition unit 501 transmits the set input data to the information service using the recorded access information, and newly receives additional image data (S906).
Subsequently, the additional information display unit 502 displays the recorded image data and the received additional image data in a superimposed manner (S907), and ends the process illustrated in FIG.

本実施形態の処理によって、情報サービスによる付加画像データの交換によって、第三者が情報サービス毎の特別な手順を必要とせずに、付加画像データを更新することができる、即ち情報サービスを交換することができる。また情報サービスの利用時、付加画像データの再生時等にサービス入力データの変更を自動判定して付加画像データを更新することができる。また特別な操作を必要とせずに利用状況に応じたサービスを受けることができる。   By the processing of this embodiment, the additional image data is exchanged by the information service, so that the third party can update the additional image data without requiring a special procedure for each information service, that is, the information service is exchanged. be able to. In addition, when the information service is used or when the additional image data is reproduced, the change of the service input data can be automatically determined to update the additional image data. In addition, it is possible to receive a service according to the usage situation without requiring any special operation.

<実施形態2>
実施形態1では、付加画像データの取得のための入力データの差分を利用時に判定して付加画像データを自動的に更新して表示する例を説明した。本実施形態では、表示されている付加画像データと記録されている付加画像データとの差異をユーザに提示する例を説明する。
図10は、情報サービス表示システムの表示画面の一例を示す図である。
図10の(A)は、入力データ種に依存しない汎用的な更新状況を提示している。表示画面1001は、情報サービス端末の表示画面である。表示画像1002は、既に情報サービスによって付加画像データが更新されて表示されている。入力データの選定及び再取得方法を示す更新タグ1003〜1005が同時に表示されている。更新タグ1003は、記録されている付加情報の更新を行わないことを示している。更新タグ1004は、記録された入力データをそのまま用いて付加情報を更新する方法を示している。更新タグ1005は、表示時に変更された入力データをすべて用いて付加情報を更新する方法を示している。
現在表示されている更新情報は、ハイライト表示されている更新タグ1005の方法で更新されたものを示す。カーソル1006は表示対象画像データの変更を指示させるためのものである。ユーザは、入力装置105を介して、更新タグ1003或いは更新タグ1004を指示し、指示された方法に基づいて表示されている付加情報を更新することができる。
更新タグ1003〜1005は、更新方法に係るオブジェクトの一例である。
<Embodiment 2>
In the first embodiment, an example has been described in which the difference between input data for acquiring additional image data is determined at the time of use, and the additional image data is automatically updated and displayed. In the present embodiment, an example will be described in which the difference between the displayed additional image data and the recorded additional image data is presented to the user.
FIG. 10 is a diagram illustrating an example of a display screen of the information service display system.
FIG. 10A presents a general update situation that does not depend on the input data type. A display screen 1001 is a display screen of the information service terminal. The display image 1002 is already displayed with the additional image data updated by the information service. Update tags 1003 to 1005 indicating input data selection and reacquisition methods are displayed at the same time. An update tag 1003 indicates that the recorded additional information is not updated. An update tag 1004 indicates a method of updating the additional information using the recorded input data as it is. An update tag 1005 indicates a method of updating additional information using all input data changed at the time of display.
The currently displayed update information indicates information updated by the method of the update tag 1005 that is highlighted. A cursor 1006 is used to instruct change of display target image data. The user can instruct the update tag 1003 or the update tag 1004 via the input device 105, and can update the displayed additional information based on the instructed method.
Update tags 1003 to 1005 are examples of objects related to the update method.

図10の(B)は、特定の入力データの内、位置情報属性の入力データによる更新状況を提示している。位置情報属性の入力データを対象とした入力データの選定及び再取得方法を示す更新タグ1007〜1009が同時に表示されている。図10の(A)同様に、更新タグ1007は、更新を行わないことを示している。更新タグ1008は、記録された位置情報を用いて付加情報を更新する方法を示している。更新タグ1009は、表示時の位置情報を用いて付加情報を更新する方法を示している。ハイライト表示されている更新タグ1009の更新方法が現在表示されているものである。ユーザは、更新タグ1007、1008を指示することで変更することができる。   (B) of FIG. 10 presents the update status by the input data of the position information attribute among the specific input data. Update tags 1007 to 1009 indicating the input data selection and reacquisition method for the position data attribute input data are simultaneously displayed. Similarly to FIG. 10A, the update tag 1007 indicates that no update is performed. An update tag 1008 indicates a method of updating the additional information using the recorded position information. An update tag 1009 indicates a method of updating additional information using position information at the time of display. The update method for the highlighted update tag 1009 is currently displayed. The user can change by instructing the update tags 1007 and 1008.

図11は、情報サービス表示システムの表示画面の別の一例を示す図である。
図11は、入力データの変更を入力データ種に応じて直感的にわかりやすい形で提示している。本表示例での入力データ種は図10の(B)と同じく位置情報であり、その変化がわかりやすく地図上にマップさせて表示している。表示画像1101はB市の位置情報を用いて取得した付加情報である。表示画像1102はC市の位置情報を用いて取得した付加情報であることを示している。ユーザは入力装置105を介して、地図上の任意の位置を指示することで、指定位置を入力データとして用いて付加情報を更新することができる。
FIG. 11 is a diagram showing another example of the display screen of the information service display system.
FIG. 11 presents a change of input data in an intuitively understandable form according to the input data type. The input data type in this display example is position information as in FIG. 10B, and the change is displayed on the map in an easily understandable manner. A display image 1101 is additional information acquired using the location information of B city. A display image 1102 indicates additional information acquired using the location information of C city. The user can update the additional information using the designated position as input data by instructing an arbitrary position on the map via the input device 105.

図12は、情報サービス表示システムの情報サービス更新ルールデータの一例を示す図である。
図12の(A)、図12の(B)は、それぞれ図10の(A)、図10の(B)の表示例で用いられた更新ルールデータを示している。何れも、更新ルールを示す更新ID、入力データの選定及び再取得方法の定義、同更新ルールを提示するための表示情報、から構成される。
FIG. 12 is a diagram illustrating an example of information service update rule data of the information service display system.
12A and 12B show update rule data used in the display examples of FIGS. 10A and 10B, respectively. Each is composed of an update ID indicating an update rule, selection of input data selection and reacquisition method, and display information for presenting the update rule.

図13は、情報サービス表示システムにおける情報サービスの表示処理の一例を示したフローチャートである。
サービス再生部504は、記録されたサービス情報、即ちサービス記録部503が記録した画像データを記憶装置107からRAM104上に読み込む(S1301)。
次に、サービス再生部504は、指定されている更新方法が"Original"即ち図12(A)の更新IDが1であるかどうかを判定する(S1302)。
"Original"である場合(S1302においてYes)、付加情報表示部502は、読み出した付加画像データをそのまま表示し(S1310)、図13に示す処理を終了する。
FIG. 13 is a flowchart illustrating an example of information service display processing in the information service display system.
The service playback unit 504 reads the recorded service information, that is, the image data recorded by the service recording unit 503, from the storage device 107 onto the RAM 104 (S1301).
Next, the service playback unit 504 determines whether or not the designated update method is “Original”, that is, the update ID of FIG. 12A is 1 (S1302).
When it is “Original” (Yes in S1302), the additional information display unit 502 displays the read additional image data as it is (S1310), and ends the processing shown in FIG.

"Original"でない場合(S1302においてNo)、サービス再生部504は、記録された付加画像データを選択し(S1303)、選択した付加画像データに関連付けられている入力データをサービスの入力データとして設定する(S1304)。
次に、サービス再生部504は、指定されている更新方法が"Update"即ち図12(A)の更新IDが3であるかどうかを判定する(S1305)。
"Update"でない場合(S1305においてNo)、付加情報取得部501は、設定されている入力データを用いて情報サービスから付加画像データを取得し(S1309)。そして、付加情報表示部502は、取得した付加画像データを表示して(S1310)、図13に示す処理を終了する。
"Update"である場合(S1305においてYes)、サービス再生部504は、入力データの現在値を生成し(S1306)、生成された入力データと記録されている入力データとの差分が存在するか否かを判定する(S1307)。差分データがあれば、サービス再生部504は、設定されている入力データを差分データに変更する(S1308)。
続いて、付加情報取得部501は、入力データを用いて情報サービスから付加画像データを取得する(S1309)。
そして、付加情報表示部502は、取得した付加画像データを表示して(S1310)、図13に示す処理を終了する。
If it is not “Original” (No in S1302), the service playback unit 504 selects the recorded additional image data (S1303), and sets the input data associated with the selected additional image data as service input data. (S1304).
Next, the service playback unit 504 determines whether or not the designated update method is “Update”, that is, the update ID of FIG. 12A is 3 (S1305).
If it is not “Update” (No in S1305), the additional information acquisition unit 501 acquires additional image data from the information service using the set input data (S1309). Then, the additional information display unit 502 displays the acquired additional image data (S1310) and ends the process shown in FIG.
If it is “Update” (Yes in S1305), the service playback unit 504 generates the current value of the input data (S1306), and whether or not there is a difference between the generated input data and the recorded input data. Is determined (S1307). If there is difference data, the service playback unit 504 changes the set input data to difference data (S1308).
Subsequently, the additional information acquisition unit 501 acquires additional image data from the information service using the input data (S1309).
Then, the additional information display unit 502 displays the acquired additional image data (S1310) and ends the process shown in FIG.

本実施形態の処理によって、ユーザは表示されている付加情報が何によって変わったかを確認することができる。また、ユーザ提示されている他の更新方法を指示することによって、容易に所望の付加情報に変更することができる。   By the processing of this embodiment, the user can confirm what the displayed additional information has changed. Moreover, it can be easily changed to desired additional information by instructing another update method presented by the user.

<実施形態3>
実施形態2では、入力データの差分による付加情報の更新状況をユーザに提示する例を説明した。本実施形態では、情報サービスそのものの選択肢を提示する例を説明する。
図14は、情報サービス表示システムの表示画面の一例を示す図である。
図2で示されたユースケースで記録された画像データを、本実施形態で表示している。表示画面1401は、情報サービス端末の表示画面である。付加情報1402は、撮像データである商品に関して、撮像された店舗における情報が表示されている。同店舗での価格や、店舗内の他の推薦商品情報等が表示されている。サービス選択肢情報リスト1403は、他の店舗を選択するための選択肢情報がリストで表示されている。
ユーザが入力装置105を介して、サービス選択肢情報リスト1403の内の一つである選択肢1404を指示すると、情報サービス端末101は、指示された店舗の情報サービスにアクセスする。そして、情報サービス端末101は、同店舗の価格情報や推薦商品情報を前記情報サービスより取得し、更新された付加情報1405として撮像データと重畳表示する。
<Embodiment 3>
Embodiment 2 demonstrated the example which shows the update condition of the additional information by the difference of input data to a user. In this embodiment, an example in which options for the information service itself are presented will be described.
FIG. 14 is a diagram illustrating an example of a display screen of the information service display system.
The image data recorded in the use case shown in FIG. 2 is displayed in this embodiment. A display screen 1401 is a display screen of the information service terminal. The additional information 1402 displays information on the imaged store regarding the product that is the imaged data. The price at the store, other recommended product information in the store, and the like are displayed. The service option information list 1403 displays option information for selecting other stores as a list.
When the user indicates an option 1404 that is one of the service option information lists 1403 via the input device 105, the information service terminal 101 accesses the information service of the instructed store. Then, the information service terminal 101 acquires price information and recommended product information of the store from the information service, and superimposes and displays the image data as updated additional information 1405.

図15は、情報サービス表示システムにおける選択肢情報のメタデータの一例を示す図である。
サービス記録部503が記録した選択肢データである付加画像データに、図示されているメタデータが作成される。選択肢情報取得のための情報サービスを特定するアクセス情報であるURLが記録される。画像データ内に記録する選択肢データと関連付けるための付加画像データID、及び画像データ内での表示位置が記録される。また各選択肢に対応付けられた情報サービスのアクセス情報であるURLがそれぞれ記録される。
選択肢情報を記録せずに、選択肢情報取得のための情報サービスへのアクセス情報を付加画像データのメタデータ内に記録し、同サービスを用いて表示時に動的に選択肢情報を作成して表示するようにしてもよい。
FIG. 15 is a diagram illustrating an example of metadata of option information in the information service display system.
The illustrated metadata is created in the additional image data that is the option data recorded by the service recording unit 503. A URL that is access information for specifying an information service for obtaining option information is recorded. The additional image data ID to be associated with the option data to be recorded in the image data and the display position in the image data are recorded. Also, URLs that are access information of information services associated with each option are recorded.
Without recording the option information, the access information to the information service for acquiring the option information is recorded in the metadata of the additional image data, and the option information is dynamically created and displayed at the time of display using the service. You may do it.

本実施形態の処理によって、ユーザは表示されている選択肢情報を指示することで記録されている情報サービスとは異なるサービスに変更して情報を更新することができる。これにより、入力データだけでなくサービス自体の変更によって、容易に所望の付加情報に変更することができる。   By the processing of the present embodiment, the user can update the information by changing to a service different from the recorded information service by instructing the displayed option information. Thereby, it is possible to easily change to desired additional information by changing not only the input data but also the service itself.

<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
<Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

以上、上述した各実施形態によれば、付加画像データ(付加画像情報)を容易に更新することができる。   As mentioned above, according to each embodiment mentioned above, additional image data (additional image information) can be updated easily.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、画像データは静止画像に制限されるものではなく、動画像を対象にしてもよい。
The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.
For example, the image data is not limited to a still image, and may be a moving image.

102 CPU、103 ROM、104 RAM、106 表示装置、107 記憶装置、110 通信装置 102 CPU, 103 ROM, 104 RAM, 106 display device, 107 storage device, 110 communication device

Claims (16)

撮像情報と付加画像情報とを重畳して表示装置に表示する表示手段と、
前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録手段と、
前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報更新するか制御する更新制御手段と、
を有し、
前記表示手段は、撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理装置。
Display means for superimposing imaging information and additional image information on a display device;
Recording means for associating the additional image information with specific information for specifying additional image information generating means related to the generation of the additional image information and recording it in a storage device as related data;
Based on the specific information recorded in the storage device in association with the additional image information displayed on the display device, the additional image information generating means is specified and displayed on the display device. the additional image information, and update control means to control either update to the identified other additional image information thus generated to said additional image information generating means has,
Have
The information processing apparatus, wherein the display means superimposes imaging information and additional image information according to control by the update control means, and displays the information on the display device.
入力データを取得する入力データ取得手段と、
前記入力データ取得手段により取得された前記入力データを、前記付加画像情報生成手段に送信し、前記入力データに基づき前記付加画像情報生成手段で生成された付加画像情報を取得する取得手段と、
を更に有し、
前記表示手段は、撮像情報と、前記取得手段で取得された前記付加画像情報と、を重畳して前記表示装置に表示し、
前記記録手段は、前記入力データと、前記付加画像情報と、前記特定情報と、を関連付けて関連データとして記憶装置に記録する請求項1記載の情報処理装置。
Input data acquisition means for acquiring input data;
An acquisition means for transmitting the input data acquired by the input data acquisition means to the additional image information generation means, and acquiring additional image information generated by the additional image information generation means based on the input data;
Further comprising
The display means superimposes the imaging information and the additional image information acquired by the acquisition means and displays them on the display device,
The information processing apparatus according to claim 1, wherein the recording unit records the input data, the additional image information, and the specific information in association with each other as related data.
前記更新制御手段は、前記入力データ取得手段で再取得された入力データと、前記記憶装置に記憶されている前記入力データと、に差分が存在する場合、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新する請求項2記載の情報処理装置。 The update control means, when there is a difference between the input data re-acquired by the input data acquisition means and the input data stored in the storage device, the addition displayed on the display device The information processing apparatus according to claim 2 , wherein the image information is updated to other additional image information generated by the specified additional image information generation unit . 前記入力データ取得手段は、前記表示装置に表示されている前記付加画像情報が選択された場合、前記関連データで前記付加画像情報と関連付けられている入力データを再取得し、
前記更新制御手段は、前記入力データ取得手段で再取得された入力データと、前記記憶装置に記憶されている前記入力データと、に差分が存在する場合、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新する請求項3記載の情報処理装置。
The input data acquisition means, when the additional image information displayed on the display device is selected, re-acquires input data associated with the additional image information in the related data,
The update control means, when there is a difference between the input data re-acquired by the input data acquisition means and the input data stored in the storage device, the addition displayed on the display device The information processing apparatus according to claim 3 , wherein the image information is updated to other additional image information generated by the specified additional image information generation unit .
前記表示手段は、撮像情報と付加画像情報とを重畳して表示装置に表示すると共に、前記付加画像情報の更新方法に係るオブジェクトを前記表示装置に表示し、
前記更新制御手段は、選択されたオブジェクトに基づいて前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する請求項1乃至4何れか1項記載の情報処理装置。
The display means superimposes the imaging information and the additional image information and displays them on the display device, and displays an object related to the update method of the additional image information on the display device,
Whether the update control means updates the additional image information displayed on the display device to other additional image information generated by the specified additional image information generation means based on the selected object . The information processing apparatus according to claim 1, wherein the information processing apparatus is controlled.
被写体を撮像し、前記撮像情報を取得する撮像手段を更に有する請求項1乃至5何れか1項記載の情報処理装置。   The information processing apparatus according to claim 1, further comprising an imaging unit that captures an image of a subject and acquires the imaging information. 前記記録手段は、前記撮像情報を更に関連付けて関連データとして前記記憶装置に記憶し、
前記記録手段により前記記憶装置に記憶された前記関連データを、ネットワークを介して通信可能な他の情報処理装置に送信する送信手段を更に有する請求項1乃至6何れか1項記載の情報処理装置。
The recording means further associates the imaging information and stores it as related data in the storage device,
The information processing apparatus according to claim 1, further comprising a transmission unit configured to transmit the related data stored in the storage unit by the recording unit to another information processing apparatus capable of communicating via a network. .
撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、が関連付けられた関連データを受信する受信手段と、Receiving means for receiving related data associated with imaging information, additional image information, and specific information for specifying additional image information generating means for generating the additional image information;
前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して表示装置に表示する表示手段と、  Display means for superimposing the imaging information associated with the related data and the additional image information on a display device; and
前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御手段と、  Based on the specific information, the additional image information generation unit is specified, and the additional image information associated with the imaging information in the related data is generated by the specified additional image information generation unit. Update control means for controlling whether to update to additional image information;
を有し、Have
前記表示手段は、前記撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理装置。  The information processing apparatus, wherein the display unit superimposes the imaging information and additional image information according to control by the update control unit and displays the superimposed information on the display device.
前記受信手段は、前記関連データを、ネットワークを介して通信可能な他の情報処理装置より受信し、The receiving means receives the related data from another information processing apparatus capable of communicating via a network,
前記更新制御手段は、前記他の情報処理装置と前記情報処理装置とのユーザの言語情報が異なる場合、前記付加画像情報生成手段を特定し、前記他の情報処理装置のユーザの言語情報の前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された前記情報処理装置のユーザの言語情報の付加画像情報に更新する請求項8記載の情報処理装置。The update control unit specifies the additional image information generation unit when the language information of the user is different between the other information processing apparatus and the information processing apparatus, and the language information of the user of the other information processing apparatus The information processing apparatus according to claim 8, wherein the additional image information is updated to additional image information of language information of a user of the information processing apparatus generated by the specified additional image information generation unit.
前記受信手段は、前記関連データを、ネットワークを介して通信可能な他の情報処理装置より受信し、The receiving means receives the related data from another information processing apparatus capable of communicating via a network,
前記更新制御手段は、前記他の情報処理装置と前記情報処理装置とのユーザの年齢層が異なる場合、前記付加画像情報生成手段を特定し、前記他の情報処理装置のユーザの年齢層用の前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された前記情報処理装置のユーザの年齢層用の付加画像情報に更新する請求項8記載の情報処理装置。The update control means identifies the additional image information generation means when the other information processing apparatus and the information processing apparatus have different user age groups, and for the age group of the user of the other information processing apparatus The information processing apparatus according to claim 8, wherein the additional image information is updated to additional image information for an age group of a user of the information processing apparatus generated by the specified additional image information generation unit.
第1の情報処理装置と、第2の情報処理装置と、を含むシステムであって、A system including a first information processing device and a second information processing device,
前記第1の情報処理装置は、The first information processing apparatus includes:
撮像情報と付加画像情報とを重畳して前記第1の情報処理装置の表示装置に表示する第1の表示手段と、First display means for superimposing imaging information and additional image information on the display device of the first information processing apparatus;
撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けた関連データを前記第2の情報処理装置に送信する送信手段と、Transmitting means for transmitting related data associating imaging information, additional image information, and specific information for specifying additional image information generating means related to generation of the additional image information to the second information processing apparatus;
を有し、Have
前記第2の情報処理装置は、The second information processing apparatus
前記関連データを受信する受信手段と、Receiving means for receiving the related data;
前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して前記第2の情報処理装置の表示装置に表示する第2の表示手段と、Second display means for superimposing the imaging information associated with the related data and the additional image information to display on the display device of the second information processing apparatus;
前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御手段と、  Based on the specific information, the additional image information generation unit is specified, and the additional image information associated with the imaging information in the related data is generated by the specified additional image information generation unit. Update control means for controlling whether to update to additional image information;
を有し、Have
前記第2の表示手段は、前記撮像情報と前記更新制御手段による制御に従った付加画像情報とを重畳して前記第2の情報処理装置の表示装置に表示するシステム。  The second display unit is a system that superimposes the imaging information and the additional image information according to the control by the update control unit and displays them on the display device of the second information processing apparatus.
情報処理装置が実行する情報処理方法であって、An information processing method executed by an information processing apparatus,
撮像情報と付加画像情報とを重畳して表示装置に表示する表示ステップと、A display step of superimposing the imaging information and the additional image information on the display device; and
前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録ステップと、A recording step of associating the additional image information with specific information for specifying additional image information generating means for generating the additional image information and recording it in a storage device as related data;
前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、Based on the specific information recorded in the storage device in association with the additional image information displayed on the display device, the additional image information generating means is specified and displayed on the display device. An update control step for controlling whether to update the additional image information to other additional image information generated by the specified additional image information generation unit;
を含み、Including
前記表示ステップでは、撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理方法。In the display step, an information processing method in which imaging information and additional image information according to the control in the update control step are superimposed and displayed on the display device.
情報処理装置が実行する情報処理方法であって、An information processing method executed by an information processing apparatus,
撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、が関連付けられた関連データを受信する受信ステップと、A reception step of receiving related data in which imaging information, additional image information, and specific information for specifying additional image information generation means related to generation of the additional image information are associated;
前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して表示装置に表示する表示ステップと、  A display step of superimposing the imaging information associated with the related data and the additional image information on a display device; and
前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、  Based on the specific information, the additional image information generation unit is specified, and the additional image information associated with the imaging information in the related data is generated by the specified additional image information generation unit. An update control step for controlling whether to update the additional image information;
を含み、Including
前記表示ステップでは、前記撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示する情報処理方法。  In the display step, an information processing method in which the imaging information and the additional image information according to the control in the update control step are superimposed and displayed on the display device.
第1の情報処理装置と、第2の情報処理装置と、を含むにおける情報処理方法であって、An information processing method including a first information processing device and a second information processing device,
前記第1の情報処理装置が、撮像情報と付加画像情報とを重畳して前記第1の情報処理装置の表示装置に表示する第1の表示ステップと、A first display step in which the first information processing apparatus superimposes imaging information and additional image information on the display apparatus of the first information processing apparatus;
前記第1の情報処理装置が、撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けた関連データを前記第2の情報処理装置に送信する送信ステップと、The first information processing apparatus uses the second information processing to associate related data associating imaging information, additional image information, and specific information for specifying additional image information generation means related to generation of the additional image information. A transmitting step for transmitting to the device;
前記第2の情報処理装置が、前記関連データを受信する受信ステップと、A receiving step in which the second information processing apparatus receives the related data;
前記第2の情報処理装置が、前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して前記第2の情報処理装置の表示装置に表示する第2の表示ステップと、A second display step in which the second information processing device superimposes the imaging information associated with the related data and the additional image information on the display device of the second information processing device;
前記第2の情報処理装置が、前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、  The second information processing apparatus identifies the additional image information generation unit based on the identification information, and identifies the additional image information associated with the imaging information in the related data as the identified additional image. An update control step for controlling whether to update to other additional image information generated by the information generating means;
を含みIncluding
前記第2の表示ステップでは、前記撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記第2の情報処理装置の表示装置に表示する情報処理方法。  An information processing method in which, in the second display step, the imaging information and the additional image information according to the control in the update control step are superimposed and displayed on a display device of the second information processing device.
コンピュータに、On the computer,
撮像情報と付加画像情報とを重畳して表示装置に表示する表示ステップと、A display step of superimposing the imaging information and the additional image information on the display device; and
前記付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、を関連付けて関連データとして記憶装置に記録する記録ステップと、A recording step of associating the additional image information with specific information for specifying additional image information generating means for generating the additional image information and recording it in a storage device as related data;
前記表示装置に表示されている前記付加画像情報に関連付けられて前記記憶装置に記録されている前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記表示装置に表示されている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、Based on the specific information recorded in the storage device in association with the additional image information displayed on the display device, the additional image information generating means is specified and displayed on the display device. An update control step for controlling whether to update the additional image information to other additional image information generated by the specified additional image information generation unit;
を実行させ、And execute
前記表示ステップでは、撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示するプログラム。In the display step, a program that superimposes imaging information and additional image information according to the control in the update control step and displays the superimposed information on the display device.
コンピュータに、On the computer,
撮像情報と、付加画像情報と、前記付加画像情報の生成に係る付加画像情報生成手段を特定する特定情報と、が関連付けられた関連データを受信する受信ステップと、A reception step of receiving related data in which imaging information, additional image information, and specific information for specifying additional image information generation means related to generation of the additional image information are associated;
前記関連データで関連付けられている前記撮像情報と前記付加画像情報とを重畳して表示装置に表示する表示ステップと、  A display step of superimposing the imaging information associated with the related data and the additional image information on a display device; and
前記特定情報に基づいて、前記付加画像情報生成手段を特定し、前記関連データで前記撮像情報と関連付けられている前記付加画像情報を、前記特定した前記付加画像情報生成手段によって生成された他の付加画像情報に更新するか制御する更新制御ステップと、  Based on the specific information, the additional image information generation unit is specified, and the additional image information associated with the imaging information in the related data is generated by the specified additional image information generation unit. An update control step for controlling whether to update the additional image information;
を実行させ、And execute
前記表示ステップでは、前記撮像情報と前記更新制御ステップによる制御に従った付加画像情報とを重畳して前記表示装置に表示するプログラム。  In the display step, the program that superimposes the imaging information and the additional image information according to the control in the update control step and displays the information on the display device.
JP2013195674A 2013-09-20 2013-09-20 Information processing apparatus, information processing method, and program Active JP6188512B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013195674A JP6188512B2 (en) 2013-09-20 2013-09-20 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013195674A JP6188512B2 (en) 2013-09-20 2013-09-20 Information processing apparatus, information processing method, and program

Publications (3)

Publication Number Publication Date
JP2015061281A JP2015061281A (en) 2015-03-30
JP2015061281A5 JP2015061281A5 (en) 2016-09-29
JP6188512B2 true JP6188512B2 (en) 2017-08-30

Family

ID=52818461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013195674A Active JP6188512B2 (en) 2013-09-20 2013-09-20 Information processing apparatus, information processing method, and program

Country Status (1)

Country Link
JP (1) JP6188512B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091763A (en) * 2018-12-07 2020-06-11 株式会社メルカリ Information processing program, information processing method, and information processing device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010118019A (en) * 2008-11-14 2010-05-27 Sharp Corp Terminal device, distribution device, control method of terminal device, control method of distribution device, control program, and recording medium
JP5280475B2 (en) * 2010-03-31 2013-09-04 新日鉄住金ソリューションズ株式会社 Information processing system, information processing method, and program

Also Published As

Publication number Publication date
JP2015061281A (en) 2015-03-30

Similar Documents

Publication Publication Date Title
EP3844598B1 (en) Video clip object tracking
US10803664B2 (en) Redundant tracking system
EP3832438B1 (en) Redundant tracking system
EP2843919B1 (en) Method and apparatus for providing service by using screen mirroring
JP5791605B2 (en) Metadata tagging system, image search method, device, and gesture tagging method applied thereto
US20230164102A1 (en) Media item attachment system
JP5970565B2 (en) Mobile augmented reality search method, client, server, and search system
JP2012059263A (en) Augmented reality providing apparatus and method using relationship between objects
US20130120450A1 (en) Method and apparatus for providing augmented reality tour platform service inside building by using wireless communication device
US20160078582A1 (en) Sharing Media
KR20130033721A (en) Clip apparatas and method for based on contents in a portable terminal
US10181134B2 (en) Indicating advertised states of native applications in application launcher
US10803120B1 (en) Geolocation based playlists
US20190082122A1 (en) Method and device for providing contextual information
CN106714271B (en) Wireless network access method and device
RU2643653C2 (en) Method and device for generating or using information with respect to interactive operations
JP6188512B2 (en) Information processing apparatus, information processing method, and program
JP5619214B2 (en) Image processing apparatus, image processing program, and image processing method
JP6204957B2 (en) Information processing apparatus, information processing method, and information processing program
KR20150031354A (en) Mobile application matching method and system according to digital signage contents types
US11200209B2 (en) Information processing apparatus, non-transitory computer readable medium, and information processing method
KR101759563B1 (en) Apparatus and method for requesting contents and apparatus and method for transferring contents
KR101518305B1 (en) Producing method for image contents with position information and using method for image contents with position information
US11789972B2 (en) Data synchronization for content consumed via a client application
JP6312386B2 (en) Server apparatus, information processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170801

R151 Written notification of patent or utility model registration

Ref document number: 6188512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151