JP5578143B2 - Information providing apparatus and information providing system - Google Patents

Information providing apparatus and information providing system Download PDF

Info

Publication number
JP5578143B2
JP5578143B2 JP2011162155A JP2011162155A JP5578143B2 JP 5578143 B2 JP5578143 B2 JP 5578143B2 JP 2011162155 A JP2011162155 A JP 2011162155A JP 2011162155 A JP2011162155 A JP 2011162155A JP 5578143 B2 JP5578143 B2 JP 5578143B2
Authority
JP
Japan
Prior art keywords
information
position information
terminal
received
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011162155A
Other languages
Japanese (ja)
Other versions
JP2013025689A (en
Inventor
猛 南
開拓 小澤
武 森川
大輔 崎山
和也 姉▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2011162155A priority Critical patent/JP5578143B2/en
Publication of JP2013025689A publication Critical patent/JP2013025689A/en
Application granted granted Critical
Publication of JP5578143B2 publication Critical patent/JP5578143B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報提供装置および情報提供システムに関し、特に、画像を送信した端末に当該画像が撮影された位置情報に対応する情報を提供する情報提供装置および情報提供システムに関する。   The present invention relates to an information providing apparatus and an information providing system, and more particularly to an information providing apparatus and an information providing system for providing information corresponding to position information where an image is captured to a terminal that has transmitted the image.

従来から、撮影機能を有する端末から送信される画像および付属情報を利用して、当該端末に種々の情報を提供する技術が開示されている。   2. Description of the Related Art Conventionally, a technology for providing various information to a terminal using an image and attached information transmitted from a terminal having a photographing function has been disclosed.

たとえば、特許文献1(特開2008−244660号公報)には、画像解析システムにおいて、撮影機能を有する携帯端末が、サーバーに、撮影した画像データと当該画像データの撮影対象の位置情報を送信すると、当該サーバーが、当該携帯端末に、上記画像データに対応し上記位置情報に関連する情報を送信する技術が開示されている。   For example, in Patent Document 1 (Japanese Patent Application Laid-Open No. 2008-244660), in an image analysis system, a portable terminal having a photographing function transmits photographed image data and position information of a photographing target of the image data to a server. A technique is disclosed in which the server transmits information related to the position information corresponding to the image data to the portable terminal.

また、特許文献2(特開2008−85408号公報)には、撮影機能を有する携帯端末が、サーバーに、撮影した画像と、撮影位置と、撮影向きとを送信すると、当該サーバーが、これらの情報から撮影拠点情報を特定し、上記撮影画像に付加して記録する技術が開示されている。   Further, in Patent Document 2 (Japanese Patent Laid-Open No. 2008-85408), when a mobile terminal having a shooting function transmits a shot image, a shooting position, and a shooting direction to a server, the server A technique is disclosed in which shooting base information is specified from information and added to the shot image and recorded.

特開2008−244660号公報JP 2008-244660 A 特開2008−85408号公報JP 2008-85408 A

上記のように、携帯端末から送信されてくる画像と当該画像を撮影した位置の情報とに基づいて、撮影された画像に含まれると考えられる建物等の要素を特定し、当該要素に関連する情報を提供することは、ユーザーにとって有益なことである。   As described above, based on the image transmitted from the mobile terminal and the information of the position where the image was captured, the elements such as buildings that are considered to be included in the captured image are identified and related to the element Providing information is beneficial for the user.

しかしながら、従来の技術では、上記した要素が移動した場合、提供される情報は位置の実情にそぐわないものとなるという不都合が生じていた。   However, in the conventional technique, when the above-described element moves, there is a disadvantage that the information to be provided does not match the actual position.

本発明は、係る実情に鑑み考えだ出されたものであり、その目的は、要素が移動する場合でも、情報提供の対象となる位置に応じた情報を提供できるようにすることである。   The present invention has been made in view of the actual situation, and an object of the present invention is to be able to provide information according to a position to which information is to be provided even when an element moves.

本発明に従った情報提供装置は、要素および位置情報に関連付けられた情報を記憶する記憶手段と、端末から送信される情報を受信する受信手段と、受信手段が受信した情報に対応する情報を、記憶手段が記憶する情報から選択して、端末へ送信する送信手段とを備え、記憶手段は、要素と2以上の位置情報を関連付け、また、2以上の位置情報の少なくとも1つに関連付けられた情報を記憶し、受信手段は、端末から、画像と当該画像を撮影した装置の位置情報とを受信し、送信手段は、受信手段が受信した画像に含まれる要素を特定し、記憶手段において、特定した要素と受信手段が受信した位置情報に関連付けられた情報を、受信手段が受信した情報に対応する情報として選択する。   An information providing apparatus according to the present invention includes a storage unit that stores information associated with element and position information, a reception unit that receives information transmitted from a terminal, and information corresponding to the information received by the reception unit. Transmitting means for selecting from the information stored in the storage means and transmitting the selected information to the terminal. The storage means associates the element with two or more pieces of position information and is associated with at least one of the two or more pieces of position information. The receiving means receives the image and the position information of the device that captured the image from the terminal, the transmitting means identifies the elements included in the image received by the receiving means, and the storage means The information associated with the identified element and the positional information received by the receiving means is selected as information corresponding to the information received by the receiving means.

以上の位置情報は、要素の位置情報の履歴であり、送信手段は、受信手段が受信した画像において要素が含まれない場合には、記憶手段において受信手段が受信した位置情報に対応して記憶されている情報を、端末へ送信する。
好ましくは、送信手段により端末へ送信される情報は、要素が移動したことを示す情報を含む。
好ましくは、送信手段により端末へ送信される情報は、要素への到達方法を示す情報を含む。
The position information of two or more is a history of element position information, and the transmission means corresponds to the position information received by the reception means in the storage means when no element is included in the image received by the reception means. The stored information is transmitted to the terminal.
Preferably, the information transmitted to the terminal by the transmission means includes information indicating that the element has moved.
Preferably, the information transmitted to the terminal by the transmitting unit includes information indicating how to reach the element.

本発明の他の局面に従った情報提供装置は、要素および位置情報に関連付けられた情報を記憶する記憶手段と、端末から送信される情報を受信する受信手段と、受信手段が受信した情報に対応する情報を、記憶手段が記憶する情報から選択して、端末へ送信する送信手段とを備え、記憶手段は、要素と2以上の位置情報を関連付け、また、2以上の位置情報の少なくとも1つに関連付けられた情報を記憶し、受信手段は、端末から、画像と当該画像を撮影した装置の位置情報とを受信し、送信手段は、受信手段が受信した画像に含まれる要素を特定し、記憶手段において、特定した要素と受信手段が受信した位置情報に関連付けられた情報を、受信手段が受信した情報に対応する情報として選択する。2以上の位置情報は、要素の位置情報の履歴であり、送信手段は、受信手段が受信した画像において、記憶手段において受信手段が受信した位置情報に対応して記憶されている第1の要素とは異なる第2の要素が含まれる場合に、第1の要素について、受信手段が受信した位置情報に対応して記憶されている情報を、端末へ送信する。
好ましくは、情報提供装置は、要素の位置情報を定期的に取得する取得手段と、取得手段が取得する位置情報が、記憶手段にて要素と関連付けられて記憶されている位置情報と異なる場合に、当該要素に関連付けられる位置情報および当該位置情報に関連付けられる情報を更新する更新手段とを更に備える。
好ましくは、送信手段は、さらに、第2の要素に対して、第1の要素について受信手段が受信した位置情報に対応して記憶されている情報を送信する。
An information providing apparatus according to another aspect of the present invention includes a storage unit that stores information associated with element and position information, a reception unit that receives information transmitted from a terminal, and information received by the reception unit. Transmission means for selecting corresponding information from information stored in the storage means and transmitting the information to the terminal, the storage means associates the element with two or more pieces of position information, and at least one of the two or more pieces of position information. Information received from the terminal is received from the terminal, and the transmitting means identifies the element included in the image received by the receiving means. In the storage means, the information associated with the identified element and the positional information received by the receiving means is selected as information corresponding to the information received by the receiving means. The two or more pieces of position information are a history of position information of the elements, and the transmission means is a first element stored in the storage means corresponding to the position information received by the reception means in the image received by the reception means. When a second element different from is included, information stored for the first element corresponding to the position information received by the receiving means is transmitted to the terminal.
Preferably, the information providing device is configured to acquire the position information of the element periodically, and the position information acquired by the acquisition means is different from the position information stored in association with the element in the storage means. And updating means for updating position information associated with the element and information associated with the position information.
Preferably, the transmission means further transmits information stored in correspondence with the position information received by the reception means for the first element to the second element.

本発明に従った情報提供システムは、情報提供装置と、当該情報提供装置と通信可能な端末とを備える情報提供システムであって、端末は、画像および当該画像を撮影した装置の位置情報を、情報提供装置へ送信し、情報提供装置は、要素および位置情報に関連付けられた情報を記憶する記憶手段と、端末から送信される情報を受信する受信手段と、受信手段が受信した情報に対応する情報を、記憶手段が記憶する情報から選択して、端末へ送信する送信手段とを含み、送信手段は、受信手段が受信した画像に含まれる要素を特定し、記憶手段において、特定した要素と受信手段が受信した位置情報に関連付けられた情報を、受信手段が受信した情報に対応する情報として選択する。記憶手段は、要素を、当該要素の位置情報の履歴として、2以上の位置情報と関連付けて記憶し、送信手段は、受信手段が受信した画像において要素が含まれない場合には、記憶手段において受信手段が受信した位置情報に対応して記憶されている情報を、端末へ送信する。
好ましくは、送信手段により端末へ送信される情報は、要素が移動したことを示す情報を含む。
好ましくは、送信手段により端末へ送信される情報は、要素への到達方法を示す情報を含む。
本発明に従った情報提供システムは、情報提供装置と、当該情報提供装置と通信可能な端末とを備える情報提供システムであって、端末は、画像および当該画像を撮影した装置の位置情報を、情報提供装置へ送信し、情報提供装置は、要素および位置情報に関連付けられた情報を記憶する記憶手段と、端末から送信される情報を受信する受信手段と、受信手段が受信した情報に対応する情報を、記憶手段が記憶する情報から選択して、端末へ送信する送信手段とを含み、送信手段は、受信手段が受信した画像に含まれる要素を特定し、記憶手段において、特定した要素と受信手段が受信した位置情報に関連付けられた情報を、受信手段が受信した情報に対応する情報として選択する。記憶手段は、要素を、当該要素の位置情報の履歴として、2以上の位置情報と関連付けて記憶し、送信手段は、受信手段が受信した画像において、記憶手段において受信手段が受信した位置情報に対応して記憶されている第1の要素とは異なる第2の要素が含まれる場合に、第1の要素について、受信手段が受信した位置情報に対応して記憶されている情報を、端末へ送信する。
好ましくは、情報提供システムは、要素の位置情報を定期的に取得する取得手段と、取得手段が取得する位置情報が、記憶手段にて要素と関連付けられて記憶されている位置情報と異なる場合に、当該要素に関連付けられる位置情報および当該位置情報に関連付けられる情報を更新する更新手段とを更に備える。
好ましくは、送信手段は、さらに、第2の要素に対して、第1の要素について受信手段が受信した位置情報に対応して記憶されている情報を送信する。
An information providing system according to the present invention is an information providing system including an information providing device and a terminal capable of communicating with the information providing device, and the terminal obtains an image and position information of a device that has captured the image, The information providing apparatus transmits to the information providing apparatus, and the information providing apparatus corresponds to the storage means for storing the information associated with the element and position information, the receiving means for receiving the information transmitted from the terminal, and the information received by the receiving means. A transmission unit that selects information from the information stored in the storage unit and transmits the information to the terminal. The transmission unit specifies an element included in the image received by the reception unit. Information associated with the position information received by the receiving means is selected as information corresponding to the information received by the receiving means. The storage means stores the element in association with two or more pieces of position information as a history of the position information of the element, and the transmission means stores the element in the storage means if the element is not included in the image received by the reception means. Information stored in correspondence with the position information received by the receiving means is transmitted to the terminal.
Preferably, the information transmitted to the terminal by the transmission means includes information indicating that the element has moved.
Preferably, the information transmitted to the terminal by the transmitting unit includes information indicating how to reach the element.
An information providing system according to the present invention is an information providing system including an information providing device and a terminal capable of communicating with the information providing device, and the terminal obtains an image and position information of a device that has captured the image, The information providing apparatus transmits to the information providing apparatus, and the information providing apparatus corresponds to the storage means for storing the information associated with the element and position information, the receiving means for receiving the information transmitted from the terminal, and the information received by the receiving means. A transmission unit that selects information from the information stored in the storage unit and transmits the information to the terminal. The transmission unit specifies an element included in the image received by the reception unit. Information associated with the position information received by the receiving means is selected as information corresponding to the information received by the receiving means. The storage unit stores the element as a history of the position information of the element in association with two or more pieces of position information, and the transmission unit stores the position information received by the reception unit in the storage unit in the image received by the reception unit. When a second element different from the corresponding first element is included, the information stored in correspondence with the position information received by the receiving unit is sent to the terminal for the first element. Send.
Preferably, the information providing system is configured to acquire the position information of the element periodically and when the position information acquired by the acquisition means is different from the position information stored in association with the element in the storage means. And updating means for updating position information associated with the element and information associated with the position information.
Preferably, the transmission means further transmits information stored in correspondence with the position information received by the reception means for the first element to the second element.

本発明によれば、要素が2以上の位置情報に関連付けられている。そして、画像から特定された要素について、受信した位置情報に応じた情報が提供される。   According to the present invention, an element is associated with two or more pieces of position information. And the information according to the received positional information is provided about the element specified from the image.

したがって、情報提供の対象となる位置の実情に応じた情報を提供できる。   Therefore, it is possible to provide information according to the actual situation of the position to be provided.

本発明の第1の実施の形態にかかる情報提供システムの構成の具体例を示す図である。It is a figure which shows the specific example of a structure of the information provision system concerning the 1st Embodiment of this invention. サーバーのハードウェア構成の具体例を示す図である。It is a figure which shows the specific example of the hardware constitutions of a server. 携帯端末のハードウェア構成の具体例を示す図である。It is a figure which shows the specific example of the hardware constitutions of a portable terminal. サーバーのHD(ハードディスク)に格納される要素管理データベースの内容の一例を模式的に示す図である。It is a figure which shows typically an example of the content of the element management database stored in HD (hard disk) of a server. 図4に示したような要素管理データベースをサーバーのHDに登録するために、表示部に表示される画面の一例を示す図である。FIG. 5 is a diagram showing an example of a screen displayed on the display unit in order to register the element management database as shown in FIG. 4 in the server HD. 携帯端末のカメラによって撮影された画像の一例を示す図である。It is a figure which shows an example of the image image | photographed with the camera of the portable terminal. 携帯端末において、サーバーからタグ情報を受信したことによって表示される画面の一例を示す図である。It is a figure which shows an example of the screen displayed by receiving tag information from a server in a portable terminal. 要素の移動を説明するための図である。It is a figure for demonstrating the movement of an element. 移動前の要素管理データベースの登録内容を模式的に示す図である。It is a figure which shows typically the registration content of the element management database before a movement. 移動後の店舗の要素管理データベースの内容を模式的に示す図である。It is a figure which shows typically the content of the element management database of the store after movement. 第1の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 1st Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第1の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 1st Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第1の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 1st Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第1の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 1st Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第2の実施の形態において要素管理データベースとして登録される内容の一例を模式的に示す図である。It is a figure which shows typically an example of the content registered as an element management database in 2nd Embodiment. 第2の実施の形態において管理対象とされる要素(デバイス)の移動を説明するための図である。It is a figure for demonstrating the movement of the element (device) used as the management object in 2nd Embodiment. 第2の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 2nd Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第2の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 2nd Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第2の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 2nd Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 第2の実施の形態において、店舗の移動前後でサーバーから携帯端末へ提供される情報の差異を説明するための図である。In 2nd Embodiment, it is a figure for demonstrating the difference of the information provided to a portable terminal from a server before and behind the movement of a shop. 本発明の第2の実施の形態において新たに設置された装置に、設定内容を送信するための操作画面の一例を示す図である。It is a figure which shows an example of the operation screen for transmitting a setting content to the apparatus newly installed in the 2nd Embodiment of this invention. 第1の実施の形態のサーバーにおいて実行される、要素管理データベースに情報を登録するために実行される処理のフローチャートである。It is a flowchart of the process performed in order to register information in an element management database performed in the server of 1st Embodiment. 第1の実施の形態の携帯端末において画像等をサーバーへ送信するために実行される処理のフローチャートである。It is a flowchart of the process performed in order to transmit an image etc. to a server in the portable terminal of 1st Embodiment. 第1の実施の形態のサーバーにおいて実行される処理のフローチャートである。It is a flowchart of the process performed in the server of 1st Embodiment. 第2の実施の形態のサーバーにおいて、要素管理データベースの登録情報を更新するために実行される処理のフローチャートである。It is a flowchart of the process performed in order to update the registration information of an element management database in the server of 2nd Embodiment. 第2の実施の形態のサーバーにおいて実行される処理のフローチャートである。It is a flowchart of the process performed in the server of 2nd Embodiment. 第2の実施の形態の携帯端末およびサーバーにおいて実行される処理のフローチャートである。It is a flowchart of the process performed in the portable terminal and server of 2nd Embodiment. 第2の実施の形態において、要素管理データベースに対してデバイス設定情報を登録するために、サーバーにおいて実行される処理のフローチャートである。12 is a flowchart of processing executed in a server in order to register device setting information in an element management database in the second embodiment.

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。   Embodiments of the present invention will be described below with reference to the drawings. In the following description, the same parts and components are denoted by the same reference numerals. Their names and functions are also the same.

[第1の実施の形態]
<システム構成>
図1は、本実施の形態にかかる情報提供システムの構成の具体例を示す図である。
[First Embodiment]
<System configuration>
FIG. 1 is a diagram illustrating a specific example of the configuration of the information providing system according to the present embodiment.

図1を参照して、本実施の形態にかかる情報提供システムは、携帯端末300と、サーバー200とを含む。携帯端末300は、撮影機能を有する。携帯端末300が、被写体100を撮影し、当該画像を撮影した時点での位置情報とともにサーバー200へ送信すると、サーバー200は、当該画像および位置情報に対応した情報を、携帯端末300へ送信する。本明細書では、サーバー200から携帯端末300へ送信される情報を、適宜「タグ」もしくは「タグ情報」とも言う。   Referring to FIG. 1, the information providing system according to the present embodiment includes a mobile terminal 300 and a server 200. The mobile terminal 300 has a shooting function. When the mobile terminal 300 captures the subject 100 and transmits it to the server 200 together with the position information at the time of capturing the image, the server 200 transmits information corresponding to the image and the position information to the mobile terminal 300. In this specification, information transmitted from the server 200 to the mobile terminal 300 is also referred to as “tag” or “tag information” as appropriate.

後述するように、本実施の形態の情報提供システムでは、携帯端末300は、画像を撮影するとともに、当該画像を撮影した時点での当該携帯端末300の向きおよび位置の情報を取得できる。そして、携帯端末300は、サーバー200に対して、撮影した画像とともに、それに対応する向きおよび位置の情報を、サーバー200へ送信する。サーバー200が、これらの情報に基づいて、携帯端末300から送られてきた向きの情報および位置の情報に基づいて、その時点での携帯端末300の撮影の対象となった範囲を特定する。そして、サーバー200は、当該特定した範囲に基づいて、当該画像を解析し、そして、当該解析結果に基づく情報を、携帯端末300へ提供する。このようなシステムは、たとえばセカイカメラなどの公知の技術が利用されて実現される。   As will be described later, in the information providing system according to the present embodiment, the mobile terminal 300 captures an image and can acquire information on the orientation and position of the mobile terminal 300 at the time of capturing the image. Then, the mobile terminal 300 transmits to the server 200 information on the orientation and position corresponding to the captured image, along with the captured image. Based on these pieces of information, the server 200 identifies a range that is the target of shooting of the mobile terminal 300 at that time based on the orientation information and the position information sent from the mobile terminal 300. Then, the server 200 analyzes the image based on the specified range, and provides the mobile terminal 300 with information based on the analysis result. Such a system is realized by using a known technique such as a Sekai camera.

<サーバーの構成>
図2は、サーバー200のハードウェア構成の具体例を示す図である。
<Server configuration>
FIG. 2 is a diagram illustrating a specific example of the hardware configuration of the server 200.

図2を参照して、サーバー200は、全体を制御するための演算装置であるCPU(Central Processing Unit)20と、CPU20で実行されるプログラムや当該プログラムなどを記憶するためのROM(Read Only Memory)21と、CPU20でプログラムを実行する際の作業領域として機能するためのRAM(Random Access Memory)22と、液晶表示装置等により構成される表示部23と、サーバー200に対して情報を入力するための操作部25と、CPU20が実行するプログラムや上記プログラムの実行のために利用されるデータなどの種々の情報を記憶するハードディスク(HD)26と、サーバー200本体に着脱可能な記憶媒体に対して情報を読み書きするためのメディアコントローラー27と、ネットワークを介して携帯端末300等と通信するためのモデム等からなる通信装置28とを含む。   Referring to FIG. 2, a server 200 includes a CPU (Central Processing Unit) 20 that is an arithmetic device for controlling the whole, and a ROM (Read Only Memory) for storing a program executed by the CPU 20, the program, and the like. ) 21, a RAM (Random Access Memory) 22 for functioning as a work area when the CPU 20 executes a program, a display unit 23 including a liquid crystal display device, etc., and information to the server 200. Operation unit 25, hard disk (HD) 26 for storing various information such as a program executed by CPU 20 and data used for execution of the program, and a storage medium detachably attached to server 200 main body Media controller 27 for reading and writing information and portable terminal 300 via a network And a communication device 28 comprising a modem for communication.

上記記憶媒体としては、たとえば、CD−ROM(Compact Disc - Read Only Memory)、DVD−ROM(Digital Versatile Disk - Read Only Memory)、USB(Universal Serial Bus)メモリ、メモリカード、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、MO(Magnetic Optical Disc)、MD(Mini Disc)、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)などの、不揮発的にプログラムを格納する媒体が挙げられる。   Examples of the storage medium include CD-ROM (Compact Disc-Read Only Memory), DVD-ROM (Digital Versatile Disk-Read Only Memory), USB (Universal Serial Bus) memory, memory card, FD (Flexible Disk), Hard disk, magnetic tape, cassette tape, MO (Magnetic Optical Disc), MD (Mini Disc), IC (Integrated Circuit) card (excluding memory card), optical card, mask ROM, EPROM, EEPROM (Electronically Erasable Programmable Read-Only) A medium for storing the program in a nonvolatile manner such as Memory).

<携帯端末の構成>
図3は、携帯端末300のハードウェア構成の具体例を示す図である。
<Configuration of mobile terminal>
FIG. 3 is a diagram illustrating a specific example of the hardware configuration of the mobile terminal 300.

図5を参照して、携帯端末300は、全体を制御するための演算装置であるCPU30と、CPU30で実行されるプログラムなどを記憶するためのROM31と、CPU30でプログラムを実行する際の作業領域として機能するためのRAM32と、磁気センサを含んで当該携帯端末300の向きを検出するための電子コンパス33と、GPS(Global Positioning System)信号または基地局からの位置信号を受信して当該携帯端末の位置情報を取得するためのGPSコントローラー34と、情報を表示したり当該携帯端末300に対する操作入力を受付けたりするためのタッチパネルを含んだ操作パネル35と、カメラ36と、ネットワークを介してサーバー200と通信するためのモデム等からなる通信装置37と、CPU30で実行されるプログラムや当該プログラムの実行に利用されるデータ等の種々の情報を記憶するためメモリー39とを含む。   Referring to FIG. 5, portable terminal 300 includes a CPU 30 that is an arithmetic device for overall control, a ROM 31 for storing a program executed by CPU 30, and a work area when CPU 30 executes the program. RAM 32 for functioning as an electronic compass 33 for detecting the orientation of the portable terminal 300 including a magnetic sensor, a GPS (Global Positioning System) signal or a position signal from a base station, and the portable terminal A GPS controller 34 for acquiring the position information of the mobile terminal 300, an operation panel 35 including a touch panel for displaying information and receiving an operation input to the mobile terminal 300, a camera 36, and the server 200 via the network. Executed by the CPU 30 and the communication device 37 including a modem for communicating with the CPU To store various information data used in the execution of the program and the program and a memory 39.

操作パネル35は、たとえば、液晶表示装置などの表示装置と光学式タッチパネルや静電容量タッチパネルなどの位置指示装置とが重なって構成されたタッチパネルと、操作キーとを含む。   The operation panel 35 includes, for example, a touch panel configured by overlapping a display device such as a liquid crystal display device and a position indicating device such as an optical touch panel or a capacitive touch panel, and operation keys.

CPU30は予め記憶されている画面表示をさせるためのデータに基づいてタッチパネルに操作画面を表示させる。タッチパネルでは操作画面上の指示位置が特定され、その位置を示す操作信号がCPU30に入力される。また、押下されたキーを示す操作信号がCPU30に入力される。CPU30は押下されたキー、または表示している操作画面と指示位置とから操作内容を特定し、それに基づいて処理を実行する。   CPU30 displays an operation screen on a touchscreen based on the data for displaying the screen memorize | stored beforehand. On the touch panel, an indicated position on the operation screen is specified, and an operation signal indicating the position is input to the CPU 30. An operation signal indicating the pressed key is input to the CPU 30. The CPU 30 specifies the operation content from the pressed key or the displayed operation screen and the indicated position, and executes processing based on the operation content.

また、電子コンパス33およびGPSコントローラー34は、取得した当該携帯端末300の向きや位置情報を示す信号をCPU30に入力する。CPU30は、当該入力された向きや位置の情報を、適宜、サーバー200等の他の装置に送信する。   In addition, the electronic compass 33 and the GPS controller 34 input a signal indicating the acquired orientation and position information of the mobile terminal 300 to the CPU 30. The CPU 30 transmits the input direction and position information to other devices such as the server 200 as appropriate.

<要素管理データベースへの情報の登録(1)>
本実施の形態の情報提供システムでは、上記したように、携帯端末300から、画像とともに画像撮影時の向きおよび位置の情報が、サーバー200へ送信される。サーバー200は、これらに応じた情報を、携帯端末300へ提供する。
<Registration of information in the element management database (1)>
In the information providing system according to the present embodiment, as described above, information on the orientation and position at the time of image capturing is transmitted from the mobile terminal 300 to the server 200 together with the image. The server 200 provides information corresponding to these to the mobile terminal 300.

図4は、サーバー200のHD26に格納される要素管理データベースの内容の一例を模式的に示す図である。   FIG. 4 is a diagram schematically illustrating an example of the contents of the element management database stored in the HD 26 of the server 200.

図4を参照して、要素管理データベースでは、要素毎に複数の位置が関連付けられ、さらに、位置毎にタグ情報が関連付けられている。なお、図4では、要素として「携帯端末X」のみが示されている。サーバー200には、複数の要素についての要素管理データベースが登録可能であり、図4は、その少なくとも一部を示すものである。   Referring to FIG. 4, in the element management database, a plurality of positions are associated with each element, and tag information is associated with each position. In FIG. 4, only “portable terminal X” is shown as an element. An element management database for a plurality of elements can be registered in the server 200, and FIG. 4 shows at least a part thereof.

また、図4の「携帯端末X」とは、携帯端末300の被写体に相当するものであり、携帯端末300とは別の要素を意味する。   Further, “portable terminal X” in FIG. 4 corresponds to a subject of the mobile terminal 300 and means an element different from the mobile terminal 300.

図4では、携帯端末Xの位置情報として、「位置A」「位置B」「位置C」の3箇所が登録されている。これらの位置情報は、サーバー200のCPU20が、携帯端末300から送信される位置情報と同一(または、これに含まれる)か否かを判断できる態様で、格納されているものとする。   In FIG. 4, three positions “position A”, “position B”, and “position C” are registered as position information of the mobile terminal X. These pieces of position information are stored in such a manner that the CPU 20 of the server 200 can determine whether or not the position information is the same as (or included in) the position information transmitted from the mobile terminal 300.

また、図4では、「位置A」「位置B」「位置C」のそれぞれに、タグ情報「情報A」「情報B」「情報C」が関連付けられている。   In FIG. 4, tag information “information A”, “information B”, and “information C” are associated with “position A”, “position B”, and “position C”, respectively.

図5は、図4に示したような要素管理データベースをサーバー200のHD26に登録するために、表示部23に表示される画面の一例を示す図である。   FIG. 5 is a diagram illustrating an example of a screen displayed on the display unit 23 in order to register the element management database as illustrated in FIG. 4 in the HD 26 of the server 200.

図5を参照して、画面210には、登録する要素名を入力する欄、登録する位置を入力する欄、および、登録するタグ情報を入力する欄が表示されている。なお、図5では、登録する要素名として携帯端末Xを特定する情報が示されている。   Referring to FIG. 5, a screen 210 displays a column for inputting an element name to be registered, a column for inputting a registration position, and a column for inputting tag information to be registered. In FIG. 5, information for specifying the portable terminal X is shown as an element name to be registered.

サーバー200には、種々の要素について、その画像パターンに関連付けられて要素を特定することができるデータベースが登録されている。画面210の要素名(および、図4の要素管理データベースにおける要素名)は、当該データベースを利用されて特定された要素を特定するものである。   The server 200 registers a database that can identify various elements associated with the image pattern. The element name on the screen 210 (and the element name in the element management database in FIG. 4) specifies an element specified by using the database.

また、画面210には、当該画面210に表示された各欄に入力された情報を、図4に示したような要素管理データベースに登録するために操作される登録ボタンが表示されている。当該ボタンが操作されることにより、登録する要素名に入力された要素について、位置情報およびタグ情報を入力する欄に入力された情報が、それぞれ、要素管理データベースにおける位置情報とタグ情報として、登録される。   In addition, the screen 210 displays a registration button operated to register the information input in each column displayed on the screen 210 in the element management database as shown in FIG. When the button is operated, the information entered in the field for entering position information and tag information for the element entered in the element name to be registered is registered as position information and tag information in the element management database, respectively. Is done.

また、画面210には、当該要素についての要素管理データベースへの情報の登録を完了するために操作される完了ボタンが表示されている。当該ボタンが操作されると、CPU20は、当該要素についての要素管理データベースへの情報登録の処理を終了し、画面210のような画面の表示を終了する。   In addition, the screen 210 displays a completion button that is operated to complete registration of information on the element in the element management database. When the button is operated, the CPU 20 ends the process of registering information on the element management database for the element, and ends the display of the screen such as the screen 210.

図22は、サーバー200のCPU20が実行する、要素管理データベースに情報を登録するために実行される処理のフローチャートである。   FIG. 22 is a flowchart of processing executed by the CPU 20 of the server 200 to register information in the element management database.

図22を参照して、CPU20は、ステップSA10において操作部25に対して、要素についての情報の登録の要求をするための操作がなされたか否かを判断し、そのような操作がなされたと判断するとステップSA20へ処理を進める。   Referring to FIG. 22, CPU 20 determines in step SA10 whether or not an operation for requesting registration of information about an element has been performed on operation unit 25, and determines that such an operation has been performed. Then, the process proceeds to step SA20.

ステップSA20では、CPU20は、図5を参照して説明したような要素登録画面を表示部23に表示させて、ステップSA30へ処理を進める。   In step SA20, the CPU 20 displays an element registration screen as described with reference to FIG. 5 on the display unit 23, and advances the process to step SA30.

ステップSA40では、CPU20は、図5に示したような画面に対する情報の入力を受付けて、ステップSA50へ処理を進める。   In step SA40, CPU 20 accepts input of information for the screen as shown in FIG. 5, and advances the process to step SA50.

ステップSA50では、CPU20は、画面210の登録ボタンに対する操作がなされたことを条件として、上記画面において要素名として入力された要素についての要素管理データベースにおいて、上記画面に入力された情報を位置情報およびタグ情報としてHD26に保存して、ステップSA60へ処理を進める。   In step SA50, on the condition that the operation on the registration button on the screen 210 has been performed, the CPU 20 converts the information input on the screen into the location information and the information input in the element management database for the element input as the element name on the screen. The tag information is stored in the HD 26 and the process proceeds to step SA60.

ステップSA60では、上記要素についての要素管理データベースにおける情報の登録が完了したか否か(画面210の完了ボタンが操作されたか否か)を判断し、操作されていないと判断すると、当該要素についての要素管理データベースへの情報の登録を継続させるべく、ステップSA40へ処理を戻す。一方、当該完了ボタンが操作されたと判断すると、CPU20は、ステップSA70へ処理を進める。   In step SA60, it is determined whether or not registration of information in the element management database for the element has been completed (whether or not the completion button on the screen 210 has been operated). In order to continue registering information in the element management database, the process returns to step SA40. On the other hand, when determining that the completion button has been operated, the CPU 20 advances the process to step SA70.

ステップSA70では、操作部25に対して、別の要素についての、要素管理データベースへの情報の登録を要求する操作が操作部25に対してなされたか否かを判断し、そのような操作がなされたと判断すると、当該別の要素についての要素管理データベースへの情報の登録を開始すべく、ステップSA30へ処理を戻す。一方、そのような情報の登録を要求する操作がないと判断すると、CPU20は処理を終了する。   In step SA70, it is determined whether or not the operation unit 25 has been operated to request the operation unit 25 to register information about another element in the element management database, and such operation is performed. If it is determined, the process returns to step SA30 to start registering information in the element management database for the other element. On the other hand, when determining that there is no operation for requesting registration of such information, the CPU 20 ends the processing.

以上、図22を参照して説明した処理により、サーバー200のHD26には、各要素についての要素管理データベースに情報が登録される。なお、HD26への当該情報の登録は、操作部25に対する操作だけではなく、サーバー200と通信可能な、携帯端末300等の他の装置における操作によっても、実現されてもよい。   As described above, information is registered in the element management database for each element in the HD 26 of the server 200 by the processing described with reference to FIG. The registration of the information in the HD 26 may be realized not only by an operation on the operation unit 25 but also by an operation in another device such as the mobile terminal 300 that can communicate with the server 200.

この場合、ステップSA10において有無が判断される情報の登録の要求は、通信装置28を介して、CPU20に入力される。CPU20は、当該要求を受信すると、ステップSA20以降の処理を実行する。そして、CPU20は、ステップSA20において、当該要求を送信した装置に対して、図5を参照して説明したような画面を表示するためのデータを送信する。これにより、当該装置において、図5を参照して説明したような画面が表示される。そして、当該装置において、図5を参照して説明したような画面に対する情報が入力され、サーバー200へ送信される。CPU20は、受信した情報に基づいて、要素管理データベースに情報を登録する。   In this case, a request for registration of information whose presence or absence is determined in step SA 10 is input to the CPU 20 via the communication device 28. When the CPU 20 receives the request, the CPU 20 executes processing after step SA20. In step SA20, the CPU 20 transmits data for displaying a screen as described with reference to FIG. 5 to the apparatus that transmitted the request. Thereby, the screen as described with reference to FIG. 5 is displayed on the apparatus. In the apparatus, information on the screen as described with reference to FIG. 5 is input and transmitted to the server 200. The CPU 20 registers information in the element management database based on the received information.

<情報提供処理>
次に、本実施の形態の情報提供システムにおいて、携帯端末300から、画像と共に向きおよび位置の情報が送信されたことに応じてサーバー200から携帯端末300へ情報が提供される際の処理内容について、図23および図24を主に参照して説明する。以下、このような処理を、適宜、情報提供処理という。
<Information provision processing>
Next, in the information providing system according to the present embodiment, the processing contents when information is provided from the server 200 to the mobile terminal 300 in response to the transmission of the orientation and position information together with the image from the mobile terminal 300. 23 and FIG. 24 will be mainly described. Hereinafter, such processing is appropriately referred to as information provision processing.

図23は、本実施の形態において携帯端末300において画像等をサーバー200へ送信するために実行される処理のフローチャートである。   FIG. 23 is a flowchart of processing executed to transmit an image or the like to server 200 in portable terminal 300 in the present embodiment.

図23を参照して、携帯端末300では、まずステップSC10において、カメラ36で撮影が行なわれる。   Referring to FIG. 23, mobile terminal 300 first takes a picture with camera 36 in step SC10.

そして、処理は、ステップSC20へ進められる。
ステップSC20では、CPU30は、ステップSC10で撮影した画像、および、その時点で計測された携帯端末300の向きおよび位置の情報を、RAM32またはメモリー39に保存して、ステップSC30へ処理を進める。
Then, the process proceeds to step SC20.
In step SC20, the CPU 30 stores the image taken in step SC10 and information on the orientation and position of the mobile terminal 300 measured at that time in the RAM 32 or the memory 39, and advances the process to step SC30.

なお、携帯端末300では、ステップSC20において保存される情報は、携帯端末300に対して着脱可能な記憶媒体に保存することもできる。この場合、CPU30は、当該記憶媒体に対して情報を読み書きするためのメディアコントローラーを介して、通信する。記憶媒体としては、たとえば、CD−ROM、DVD−ROM、USBメモリー、メモリーカード、FD、磁気テープ、カセットテープ、MO、MD、ICカード、光カード、マスクROM、EPROM、EEPROMなどの、不揮発的に情報を格納する媒体が挙げられる。   In portable terminal 300, the information stored in step SC20 can be stored in a storage medium that is removable from portable terminal 300. In this case, the CPU 30 communicates with the storage medium via a media controller for reading and writing information. Non-volatile storage media such as CD-ROM, DVD-ROM, USB memory, memory card, FD, magnetic tape, cassette tape, MO, MD, IC card, optical card, mask ROM, EPROM, EEPROM, etc. And a medium for storing information.

ステップSC30では、CPU30は、ステップSC20で保存した画像と、撮影時の向きおよび位置の情報を、サーバー200へ送信して、ステップSC40へ処理を進める。   In step SC30, CPU 30 transmits the image stored in step SC20 and information on the direction and position at the time of shooting to server 200, and advances the process to step SC40.

ステップSC40では、CPU30は、ステップSC30における情報の送信に応じてサーバー200から送信された、情報を取得したか否かを判断し、取得したと判断するとステップSC50へ処理を進める。なお、サーバー200からの情報の取得は、サーバー200において図24を参照して説明する処理の結果として情報が送信されることによって、実現される。   In step SC40, CPU 30 determines whether or not the information transmitted from server 200 in response to the transmission of information in step SC30 has been acquired. If it is determined that the information has been acquired, the process proceeds to step SC50. The acquisition of information from the server 200 is realized by transmitting information as a result of the process described with reference to FIG.

ステップSC50では、CPU30は、サーバー200から取得した情報にタグ情報が含まれるか否かを判断し、含まれると判断するとステップSC60へ処理を進め、含まれないと判断するとステップSC70へ処理を進める。   In step SC50, CPU 30 determines whether or not the tag information is included in the information acquired from server 200. If it is determined that the tag information is included, the process proceeds to step SC60. If it is determined that the information is not included, the process proceeds to step SC70. .

ステップSC60では、CPU30は、ステップSC20で保存した画像に、サーバー200から受信したタグ情報を合成して、操作パネル35に表示して、処理を終了する。   In step SC60, CPU 30 combines the tag information received from server 200 with the image saved in step SC20, displays it on operation panel 35, and ends the process.

一方、ステップSC70では、CPU30は、ステップSC20で保存した画像を、そのまま操作パネル35へ表示させて、処理を終了する。   On the other hand, in step SC70, the CPU 30 displays the image saved in step SC20 on the operation panel 35 as it is, and ends the process.

以上図23を参照して説明した処理は、たとえば、携帯端末300において、サーバー200から情報の提供を要求するアプリケーションが起動されたことを条件として、実行(開始)される。   The processing described above with reference to FIG. 23 is executed (started) on the condition that, for example, an application that requests provision of information from the server 200 is started in the mobile terminal 300.

図24は、サーバー200において実行される処理のフローチャートである。
図24を参照して、サーバー200のCPU20は、ステップSD10で、ステップSC30(図24)の処理により携帯端末300から画像と向きおよび位置の情報を取得すると、ステップSD20へ処理を進める。
FIG. 24 is a flowchart of processing executed in the server 200.
Referring to FIG. 24, when CPU 20 of server 200 obtains image, orientation and position information from portable terminal 300 by the process of step SC30 (FIG. 24) in step SD10, the process proceeds to step SD20.

ステップSD20では、CPU20は、ステップSD10で取得した向きおよび位置の情報から携帯端末300のカメラ36の撮影対象となった範囲を特定し、当該特定された範囲内に位置情報を有する要素があるか否かを判断し、そのような要素があると判断するとステップSD60へ処理を進め、そのような要素がないと判断するとステップSD30へ処理を進める。   In step SD20, the CPU 20 specifies the range that is the subject of photographing by the camera 36 of the mobile terminal 300 from the orientation and position information acquired in step SD10, and is there an element having position information in the specified range? If it is determined that there is such an element, the process proceeds to step SD60. If it is determined that there is no such element, the process proceeds to step SD30.

なお、ステップSD20の処理は、たとえば、HD26に格納された各要素の要素管理データベースを検索することにより、上記のように特定された範囲内に位置情報を有する要素があるか否かを判断することによって、実現される。   In the process of step SD20, for example, by searching the element management database of each element stored in the HD 26, it is determined whether or not there is an element having position information within the range specified as described above. This is realized.

ステップSD30では、CPU20は、上記のように特定した範囲(撮影位置)に位置の履歴を有する要素があるか否かを判断し、そのような要素があると判断するとステップSD40へ処理を進め、そのような要素はないと判断するとステップSD50へ処理を進める。   In step SD30, the CPU 20 determines whether or not there is an element having a position history in the range (photographing position) specified as described above. If it is determined that there is such an element, the process proceeds to step SD40. If it is determined that there is no such element, the process proceeds to step SD50.

なお、図4を参照して説明した要素管理データベースでは、要素の位置は、時間的な条件を付されることなく、登録されている。なお、本実施の形態では、図9および図15を参照して説明するように、各要素の位置情報として、時間的要素も加えた履歴を登録することもできる。そして、SD30では、CPU20は、現在の位置ではなく過去の位置として、要素管理データベースにおいて、上記のように特定された範囲に位置情報を有する要素があるか否かが判断される。   In the element management database described with reference to FIG. 4, the position of the element is registered without a time condition. In the present embodiment, as described with reference to FIGS. 9 and 15, a history including a temporal element can be registered as position information of each element. In SD30, the CPU 20 determines whether there is an element having position information in the range specified as described above in the element management database as the past position instead of the current position.

ステップSD40では、CPU20は、ステップSD30で特定した要素についての、上記のように特定した範囲に含まれる位置情報に対応したタグ情報を携帯端末300へ送信して、処理を終了する。   In step SD40, the CPU 20 transmits tag information corresponding to the position information included in the range specified as described above for the element specified in step SD30 to the mobile terminal 300, and ends the process.

ステップSD50では、CPU20は、携帯端末300に対して、送信された情報に対応するタグ情報が登録されていないことを通知する情報を送信して、処理を終了する。   In step SD50, CPU20 transmits the information which notifies that the tag information corresponding to the transmitted information is not registered with respect to the portable terminal 300, and complete | finishes a process.

一方、ステップSD60では、CPU20は、要素管理データベースにおいて、上記のように特定した範囲に含まれる位置情報に関連付けられたタグ情報を、携帯端末300へ送信して、処理を終了する。   On the other hand, in step SD60, the CPU 20 transmits tag information associated with the position information included in the range specified as described above to the mobile terminal 300 in the element management database, and ends the process.

以上、図24を参照して説明した処理では、ステップSD60またはステップSD40では、サーバー200から携帯端末300に対してタグ情報が送信される。これにより、携帯端末300では、ステップSA60において、カメラ36で撮影された画像と共に、サーバー200から送信されたタグ情報が表示される。   As described above, in the process described with reference to FIG. 24, the tag information is transmitted from the server 200 to the mobile terminal 300 in step SD60 or step SD40. Thereby, in the portable terminal 300, the tag information transmitted from the server 200 is displayed together with the image photographed by the camera 36 in step SA60.

図6は、携帯端末300のカメラ36によって撮影された画像の一例を示す図である。
画像800には、背景と共に要素801と要素802が含まれる。要素801は、図4の要素管理データベースに情報を登録された要素(携帯端末X)であるとする。また、画像800が撮影された時点での携帯端末300の向きおよび位置によって特定される範囲には、図4の要素管理データベースに登録される位置(位置A,位置B,位置C)のいずれかが含まれるものとする。
FIG. 6 is a diagram illustrating an example of an image captured by the camera 36 of the mobile terminal 300.
The image 800 includes an element 801 and an element 802 together with a background. The element 801 is assumed to be an element (mobile terminal X) whose information is registered in the element management database of FIG. Further, the range specified by the orientation and position of the mobile terminal 300 at the time when the image 800 is taken is one of the positions (position A, position B, position C) registered in the element management database of FIG. Is included.

この場合、サーバー200は、携帯端末300から画像800と、当該画像800が撮影された時点での向きおよび位置の情報とを受信すると、上記向きおよび位置によって特定される範囲に含まれる位置に対応するタグ情報を、携帯端末300へ送信する。たとえば、上記範囲に位置Bが含まれるとすると、サーバー200は、携帯端末300に、位置Bに関連付けられている情報Bを、タグ情報として送信する。   In this case, when the server 200 receives the image 800 from the mobile terminal 300 and information on the orientation and position at the time when the image 800 was captured, the server 200 corresponds to the position included in the range specified by the orientation and position. Tag information to be transmitted to the mobile terminal 300. For example, if the position B is included in the above range, the server 200 transmits information B associated with the position B to the mobile terminal 300 as tag information.

図7は、携帯端末300において、サーバー200からタグ情報を受信したことによって表示される画面の一例を示す図である。   FIG. 7 is a diagram illustrating an example of a screen displayed when the mobile terminal 300 receives tag information from the server 200.

図7を参照して、画像900には、図6の要素801と要素802に加えて、表示欄903が含まれる。表示欄903は、上記のようにサーバー200から携帯端末300へ送信されたタグ情報を表示するための表示欄である。   Referring to FIG. 7, an image 900 includes a display field 903 in addition to the elements 801 and 802 in FIG. The display column 903 is a display column for displaying tag information transmitted from the server 200 to the mobile terminal 300 as described above.

以上、図6および図7を参照して説明された処理により、被写体となり得る要素が移動する場合、当該要素を撮影する位置に応じた情報を、携帯端末300に提供することができる。   As described above, when an element that can be a subject moves by the processing described with reference to FIGS. 6 and 7, information corresponding to the position where the element is photographed can be provided to the mobile terminal 300.

たとえば、携帯端末Xを携帯して移動するユーザーは、移動先で、当該携帯端末Xを携帯端末300で撮影し、サーバー200と通信することにより、サーバー200から、携帯端末Xを撮影した場所に応じた情報の提供を受けることができる。より具体的な例としては、サービスマンが携帯端末Xを携帯して移動する場合、当該サービスマンに対し、移動先に応じた資料や情報が、タグ情報として提供される例が挙げられる。   For example, a user who travels with the portable terminal X moves to the place where the portable terminal X is photographed from the server 200 by photographing the portable terminal X with the portable terminal 300 and communicating with the server 200 at the destination. You can receive information according to your needs. As a more specific example, when a service person moves with the mobile terminal X, materials and information corresponding to the destination are provided as tag information to the service person.

<要素管理データベースへの情報の登録(2)>
本実施の形態の情報提供システムでは、上記したように、要素の位置の履歴が登録される場合もある。
<Registration of information in the element management database (2)>
In the information providing system according to the present embodiment, as described above, the history of element positions may be registered.

図8は、要素の移動を説明するための図である。
図8(A)は、ある店舗401について、移動前の位置を示している。この店舗401が、図8(B)に示すように、移動した場合、サーバー200の要素管理データベースでは、店舗401について、位置の履歴が登録される。
FIG. 8 is a diagram for explaining the movement of elements.
FIG. 8A shows a position before movement for a certain store 401. When the store 401 moves as shown in FIG. 8B, the location history is registered for the store 401 in the element management database of the server 200.

図9は、移動前の要素管理データベースの登録内容を模式的に示す図である。
図9の要素管理データベースでは、店舗の図8(A)に示す位置(位置(1))および当該位置情報に関連付けられたタグ情報が格納されている。
FIG. 9 is a diagram schematically showing the registered contents of the element management database before movement.
In the element management database of FIG. 9, the position (position (1)) shown in FIG. 8A of the store and tag information associated with the position information are stored.

図10は、移動後の店舗の要素管理データベースの内容を模式的に示す図である。
図10では、当該店舗について、図8(B)の位置情報(現在位置)と移動前の位置(図8(A)に示された位置)のそれぞれについて、タグ情報が関連付けられている。図10における「移動前の位置」は、図9の「位置(1)」に相当する。
FIG. 10 is a diagram schematically showing the contents of the element management database of the store after movement.
In FIG. 10, tag information is associated with each of the position information (current position) in FIG. 8B and the position before movement (position shown in FIG. 8A) for the store. The “position before movement” in FIG. 10 corresponds to “position (1)” in FIG.

図10では、現在位置には、当該店舗の店舗情報およびメニュー情報が関連付けられている。一方、移動前の位置には、タグ情報として、店舗が移動されたことを示すメッセージ(店舗移動情報)と、移動後の店舗へのアクセス情報が関連付けられている。   In FIG. 10, store information and menu information of the store are associated with the current position. On the other hand, a message (store movement information) indicating that the store has been moved and access information to the store after movement are associated with the position before the movement as tag information.

店舗401が図8(A)に示される位置にあるときには、携帯端末300のカメラ36では、図11(A)に示されるような画像801が撮影される。そして、当該画像と、撮影時の向きおよび位置の情報がサーバー200へ送信されることにより、サーバー200から携帯端末300へは、図9のタグ情報(店舗情報およびメニュー情報)が、ステップSD60で送信される。これに応じて、携帯端末300では、図11(B)に示す画面910が表示される。画面910では、図11(A)の画像810に含まれる店舗811に対応する店舗911と共に、サーバー200から送信されてきたタグ情報に対応する表示欄914および表示欄915が含まれる。表示欄914は、タグ情報のうち店舗情報に対応し、表示欄915は、メニュー情報に対応する。   When the store 401 is at the position shown in FIG. 8A, the camera 36 of the portable terminal 300 captures an image 801 as shown in FIG. Then, by transmitting the image and information on the direction and position at the time of shooting to the server 200, the tag information (store information and menu information) in FIG. Sent. In response to this, the portable terminal 300 displays a screen 910 shown in FIG. The screen 910 includes a display field 914 and a display field 915 corresponding to the tag information transmitted from the server 200, together with the store 911 corresponding to the store 811 included in the image 810 of FIG. The display column 914 corresponds to the store information in the tag information, and the display column 915 corresponds to the menu information.

次に、図8(B)に示すように店舗401が移動し、要素管理データベースが図10に示したように更新された後、当該店舗が以前存在した位置(図8(B)中の破線で示される領域400)でカメラ36による撮影が行なわれた場合の処理内容を説明する。この場合、携帯端末300からサーバー200へ、撮影された画像と共に撮影時の向きおよび位置の情報(または、画像を伴わず向きおよび位置の情報のみ)が送信されると、サーバー200は、ステップSD40で、図10の移動前の位置に対応するタグ情報を、携帯端末300へ送信する。   Next, after the store 401 moves as shown in FIG. 8B and the element management database is updated as shown in FIG. 10, the location where the store previously existed (the broken line in FIG. 8B). The contents of processing when the camera 36 performs shooting in the area 400) shown in FIG. In this case, when the direction and position information at the time of shooting (or only the direction and position information without an image) are transmitted from the mobile terminal 300 to the server 200 together with the shot image, the server 200 moves to step SD40. Then, tag information corresponding to the position before movement in FIG. 10 is transmitted to the mobile terminal 300.

図12(A)は、カメラ36によって撮影された画像を示す。画像820には、画像810では写っていた店舗401に対応する店舗811が存在しない。   FIG. 12A shows an image taken by the camera 36. In the image 820, there is no store 811 corresponding to the store 401 shown in the image 810.

図12(B)は、画像820に、サーバー200から送信されたタグ情報が合成されて、操作パネル35に表示される画面を示す図である。画面920では、画像820に加えて、表示欄924および表示欄925が含まれる。表示欄924は、図10のタグ情報のうち、店舗移動情報に対応する。また、表示欄925は、当該タグ情報のうち、アクセス情報に対応する。   FIG. 12B is a diagram showing a screen displayed on the operation panel 35 by combining the image 820 with the tag information transmitted from the server 200. The screen 920 includes a display field 924 and a display field 925 in addition to the image 820. The display column 924 corresponds to the store movement information in the tag information of FIG. The display column 925 corresponds to access information among the tag information.

以上図11および図12を参照して説明した処理におけるサーバー200からの情報提供に際し、サーバー200において登録される要素管理データベース(図9および図10参照)には、店舗401の代わりに、携帯端末(携帯端末300とは別の端末)が、要素として登録されていてもよい。   When providing information from the server 200 in the processing described with reference to FIGS. 11 and 12, the element management database registered in the server 200 (see FIGS. 9 and 10) includes a portable terminal instead of the store 401. (A terminal different from the portable terminal 300) may be registered as an element.

この場合には、携帯端末300のカメラ36に撮影される画像には、当該携帯端末が被写体として含まれる。   In this case, the image taken by the camera 36 of the mobile terminal 300 includes the mobile terminal as a subject.

この場合の処理は、図11および図12の代わりに、図13が参照されて、説明される。   The processing in this case will be described with reference to FIG. 13 instead of FIG. 11 and FIG.

図13は、当該携帯端末が被写体として含まれる場合の、撮影される画像の一例を示す図である。   FIG. 13 is a diagram illustrating an example of a captured image when the mobile terminal is included as a subject.

図13の画像1810には、店舗401に対応する店舗811と、当該携帯端末812とが含まれる。なお、図13の画像1810は、図8(A)に示す、移動前の店舗401と共に上記携帯端末が撮影されたときの画像である。   An image 1810 in FIG. 13 includes a store 811 corresponding to the store 401 and the mobile terminal 812. Note that an image 1810 in FIG. 13 is an image when the mobile terminal is photographed together with the store 401 before the movement illustrated in FIG.

当該画像と、撮影時の向きおよび位置の情報がサーバー200へ送信されると、サーバー200から携帯端末300へは、図9の携帯端末(店員の携帯端末)について、移動前の位置(位置(1))に関連付けられたタグ情報が、ステップSD60の処理によって、送信される。   When the image and the information on the direction and position at the time of shooting are transmitted to the server 200, the server 200 to the mobile terminal 300 sends the mobile terminal (salesperson's mobile terminal) in FIG. The tag information associated with 1)) is transmitted by the process of step SD60.

これにより、携帯端末300では、図14に示すような画面が表示される。
図14の画面1910は、店舗811に対応する店舗911と、携帯端末812に対応する携帯端末912に加えて、図9の店舗情報に対応する表示欄914と、図9のメニュー情報に対応する表示欄915を含む。
Thereby, on the mobile terminal 300, a screen as shown in FIG. 14 is displayed.
A screen 1910 in FIG. 14 corresponds to the display field 914 corresponding to the store information in FIG. 9 and the menu information in FIG. 9 in addition to the store 911 corresponding to the store 811 and the mobile terminal 912 corresponding to the mobile terminal 812. A display field 915 is included.

<実施の形態のまとめ>
以上説明した本実施の形態において、携帯端末300では、サーバー200から受信したタグ情報が、カメラ36によって撮影された画像に合成されて表示される。
<Summary of Embodiment>
In the present embodiment described above, the tag information received from the server 200 is combined with the image photographed by the camera 36 and displayed on the mobile terminal 300.

なお、タグ情報に基づいて表示される対象物(表示欄903等)の配置は、たとえば、表示対象となる画像において、被写体が存在する領域を避けて、配置される。   It should be noted that the objects to be displayed based on the tag information (display field 903, etc.) are arranged, for example, avoiding the area where the subject exists in the image to be displayed.

また、CPU30は、たとえば、メモリー39に予め登録されている被写体のパターンに基づいて、カメラ36によって撮影された画像に対してパターン認識を行ない、被写体の位置を特定し、当該特定された被写体の位置に基づいて、表示欄903等の配置を決定する。   For example, the CPU 30 performs pattern recognition on the image captured by the camera 36 based on the pattern of the subject registered in advance in the memory 39, identifies the position of the subject, and identifies the identified subject. Based on the position, the arrangement of the display column 903 and the like is determined.

[第2の実施の形態]
<システム構成>
本実施の形態の情報提供システムの構成は、たとえば、第1の実施の形態の情報提供システムと同様の構成とすることができる。
[Second Embodiment]
<System configuration>
The configuration of the information providing system of the present embodiment can be the same as that of the information providing system of the first embodiment, for example.

<要素管理データベースへの情報の登録(3)>
本実施の形態の情報提供システムでは、サーバー200に要素管理データベースを登録される要素として、当該要素の位置情報を発信することができるデバイスが採用される。
<Registration of information in the element management database (3)>
In the information providing system according to the present embodiment, a device that can transmit the position information of the element is employed as an element whose element management database is registered in the server 200.

サーバー200は、各デバイスと、たとえば一定時間毎に通信することにより、各デバイスの位置情報を取得する。そして、取得した位置情報が当該デバイスについて既に登録されている位置情報と異なる場合には、位置情報およびタグ情報を更新する。   The server 200 acquires position information of each device by communicating with each device, for example, at regular intervals. If the acquired position information is different from the position information already registered for the device, the position information and tag information are updated.

図25は、第2の実施の形態のサーバー200において、要素管理データベースの登録情報を更新するために実行される処理のフローチャートである。なお、本実施の形態では、デバイスは、たとえば、GPS機能を有する端末によって構成される。つまり、少なくともGPS機能等を利用して当該デバイスの位置情報を取得でき、そして、当該取得した位置情報をサーバー200へ送信することができる機能を有する。   FIG. 25 is a flowchart of processing executed to update the registration information of the element management database in the server 200 according to the second embodiment. In the present embodiment, the device is configured by a terminal having a GPS function, for example. In other words, at least the GPS function or the like can be used to acquire the position information of the device, and the acquired position information can be transmitted to the server 200.

図25を参照して、サーバー200のCPU20は、ステップSB10で、既に要素管理データベースに情報を登録されているデバイスについて、位置情報を要求し、当該要求に応じて送信された位置情報を取得し、ステップSB20へ処理を進める。   Referring to FIG. 25, in step SB10, CPU 20 of server 200 requests location information for a device whose information has already been registered in the element management database, and acquires the location information transmitted in response to the request. Then, the process proceeds to step SB20.

ステップSB20では、CPU20は、ステップSB10で取得した位置情報が、要素管理データベースにおいて当該デバイスの現在位置として登録されている位置と異なるか否かを判断し、異なると判断すると、ステップSB30へ処理を進める。   In step SB20, the CPU 20 determines whether or not the position information acquired in step SB10 is different from the position registered as the current position of the device in the element management database. If it is determined that the position information is different, the process proceeds to step SB30. Proceed.

一方、登録された位置と同じ位置であると判断すると、CPU20は、そのまま処理を終了させる。   On the other hand, when determining that the position is the same as the registered position, the CPU 20 ends the process as it is.

ステップSB30では、CPU20は、表示部23に、当該デバイスのタグ情報を更新するための画面を表示させて、ステップSB40へ処理を進める。   In step SB30, the CPU 20 causes the display unit 23 to display a screen for updating the tag information of the device, and proceeds to step SB40.

ステップSB40では、移動先の位置(現在の当該デバイスの位置)について、タグ情報として登録するための情報の入力を受付けて、ステップSB50へ処理を進める。   In step SB40, an input of information for registering as a tag information about the position of the movement destination (current position of the device) is accepted, and the process proceeds to step SB50.

ステップSB50では、CPU20は、移動前の位置(それまで、要素管理データベースに登録されていた「現在位置」)に関連付けて登録するためのタグ情報の入力を受付けて、ステップSB60へ処理を進める。   In step SB50, the CPU 20 accepts input of tag information for registration in association with the position before the movement (the “current position” that has been registered in the element management database until then), and advances the process to step SB60.

ステップSB60では、CPU20は、ステップSB40およびステップSB50で入力を受付けたタグ情報を、要素管理データベースに登録して、処理を終了する。   In step SB60, the CPU 20 registers the tag information received in step SB40 and step SB50 in the element management database, and ends the process.

以上図25を参照して説明した処理により、当該デバイスの要素管理データベースとしては、たとえば図15に示される情報が、登録される。   With the processing described above with reference to FIG. 25, for example, the information shown in FIG. 15 is registered as the element management database of the device.

図15は、第2の実施の形態において要素管理データベースとして登録される内容の一例を模式的に示す図である。   FIG. 15 is a diagram schematically illustrating an example of contents registered as an element management database in the second embodiment.

図15では、要素(デバイス)として、第1のMFP(Multi-functional Peripheral)が登録されている。なお、本明細書では、第1のMFPを、後述する第2のMFPと区別するために「MFP_A」と言う。   In FIG. 15, a first MFP (Multi-functional Peripheral) is registered as an element (device). In this specification, the first MFP is referred to as “MFP_A” in order to distinguish it from a second MFP described later.

図15の要素管理データベースでは、MFP_Aについて、位置情報として、「移動後の位置」と「移動前の位置」とが登録されている。そして、図15の要素管理データベースには、それぞれの位置について、タグ情報が登録されている。但し、図15では、「移動後の位置」にはタグ情報が登録されておらず(図15において「なし」と表記)、「移動前の位置」についてのみ、タグ情報が登録されている。なお、登録されているタグ情報は、MFP_Aデバイス設定情報である。   In the element management database of FIG. 15, “position after movement” and “position before movement” are registered as position information for MFP_A. In the element management database of FIG. 15, tag information is registered for each position. However, in FIG. 15, tag information is not registered in “position after movement” (indicated as “none” in FIG. 15), and tag information is registered only for “position before movement”. Note that the registered tag information is MFP_A device setting information.

つまり図15は、図25のステップSB40ではタグ情報は登録されず(タグ情報のして登録するための情報の入力がなされず)、ステップSB50で、MFP_Aデバイス設定情報が登録された場合の、登録例を示している。   That is, FIG. 15 shows the case where tag information is not registered in step SB40 of FIG. 25 (information for registration as tag information is not input), and MFP_A device setting information is registered in step SB50. An example of registration is shown.

図16は、第2の実施の形態において管理対象とされる要素(デバイス)の移動を説明するための図である。   FIG. 16 is a diagram for explaining movement of elements (devices) to be managed in the second embodiment.

本実施の形態では、まず、図16(A)に示すように、MFP_Aが所定の位置に設置されている。次に、図16(B)に示されるように、MFP_Aが移動される。次に、図16(C)に示されるように、別の装置が、MFP_Aの移動前の位置に設置される。本実施の形態では、図16(C)に示されるように新たに設置された要素(別の装置)を、第2のMFP(MFP_B)と言う。   In the present embodiment, first, as shown in FIG. 16A, MFP_A is installed at a predetermined position. Next, as shown in FIG. 16B, MFP_A is moved. Next, as illustrated in FIG. 16C, another device is installed at a position before the MFP_A is moved. In this embodiment, the newly installed element (another device) as shown in FIG. 16C is referred to as a second MFP (MFP_B).

図26は、第2の実施の形態のサーバー200において実行される処理のフローチャートである。本実施の形態では、携帯端末300においてMFPが設置される位置が撮影されると、撮影された位置に以前設置されていたMFPの設定情報を、新たに設置された別のMFPに適用することができる。当該処理のために、ユーザーが、携帯端末300で、新たなMFPが設置される場所を撮影し、撮影画像と、撮影時の向きおよび位置の情報を、サーバー200へ送信する。   FIG. 26 is a flowchart of processing executed in the server 200 according to the second embodiment. In the present embodiment, when the position where the MFP is installed is photographed in portable terminal 300, the setting information of the MFP previously installed at the photographed position is applied to another newly installed MFP. Can do. For this processing, the user captures a place where a new MFP is installed on the mobile terminal 300, and transmits the captured image and information on the orientation and position at the time of capturing to the server 200.

図26を参照して、ステップSF10で、CPU20は、上記のように携帯端末300から送信された画像と撮影時の向きおよび位置の情報を取得して、ステップSF20へ処理を進める。   Referring to FIG. 26, in step SF10, CPU 20 acquires the image transmitted from portable terminal 300 as described above and information on the direction and position at the time of shooting, and advances the process to step SF20.

ステップSF20では、CPU20は、受信した画像に要素(デバイス)が含まれているか否かを判断し、含まれていないと判断すると、ステップSF40で、携帯端末300にタグ情報なしを通知して、処理を終了する。一方、ステップSF20で要素(デバイス)が画像に含まれていると判断すると、CPU20は、ステップSF30へ処理を進める。   In step SF20, the CPU 20 determines whether or not an element (device) is included in the received image. If it is determined that the element is not included, the CPU 20 notifies the portable terminal 300 that there is no tag information in step SF40. The process ends. On the other hand, when determining in step SF20 that the element (device) is included in the image, the CPU 20 advances the process to step SF30.

なお、図26のステップSF20における要素の有無の判断は、たとえば、携帯端末300から受信した画像に対して、パターン認識が行なわれることにより、実現される。つまり、サーバー200のHD26等に1以上の要素の画像パターンが予め登録される。そして、CPU20は、当該登録された画像パターンを用い、受信した画像に対してパターン認識の処理を実行する。そして、受信した画像が、上記画像パターンの少なくとも1つと特定の度合い以上の一致度を有する被写体を含む場合に、当該画像に要素が含まれると判断する。   Note that the determination of the presence or absence of an element in step SF20 of FIG. 26 is realized by performing pattern recognition on an image received from the mobile terminal 300, for example. That is, an image pattern of one or more elements is registered in advance in the HD 26 or the like of the server 200. Then, the CPU 20 executes pattern recognition processing on the received image using the registered image pattern. Then, when the received image includes a subject having a degree of coincidence with a certain degree or more with at least one of the image patterns, it is determined that the image includes an element.

ステップSF30では、CPU20は、ステップSF10で取得した向きおよび位置の情報に基づいて、カメラ36の撮影対象となった範囲を特定し、当該範囲に含まれる位置を、要素管理データベースの位置情報において「移動前の位置」として有している要素(デバイス)があるか否かを判断する。そして、そのような要素(デバイス)があると判断するとステップSF50へ処理を進め、ないと判断すると、ステップSF40で、携帯端末300へタグ情報なしを通知して、処理を終了する。   In step SF30, the CPU 20 specifies the range that is the subject of photographing by the camera 36 based on the orientation and position information acquired in step SF10, and the position included in the range is “in the position information of the element management database”. It is determined whether or not there is an element (device) having “position before movement”. If it is determined that there is such an element (device), the process proceeds to step SF50. If it is determined that there is no such element (device), the portable terminal 300 is notified of no tag information in step SF40, and the process ends.

ステップSF50では、CPU20は、ステップSF30において上記範囲に含まれると判断した「移動前の位置」に関連付けられたタグ情報を、携帯端末300へ送信して、処理を終了する。   In step SF50, the CPU 20 transmits the tag information associated with the “position before movement” determined to be included in the range in step SF30 to the mobile terminal 300, and ends the process.

以上図26を参照して説明した処理によれば、図16(B)に示したように、MFP_Aが移動された後、その場所にMFP_Bが設置されるまでは、MFP_Aの移動前の位置を撮影されても、サーバー200から携帯端末300へはタグ情報が送信されない(ステップSF20でNO判断時)。   According to the processing described above with reference to FIG. 26, as shown in FIG. 16B, after MFP_A is moved, the position before MFP_A is moved until MFP_B is installed there. Even if the image is taken, the tag information is not transmitted from the server 200 to the portable terminal 300 (when NO is determined in step SF20).

これにより、携帯端末300では、図17の画像840に示すような画像が撮影され、そして、サーバー200と通信後、操作パネル35には、図18の画面940が表示される。画面940では、タグ情報に対応するような表示欄は表示されていない。なお、図17および図18における破線は、移動前のMFP_Aの設置位置を模式的に示しており、実際には表示されない。つまり、背景の位置範囲を示すにすぎない。   As a result, the portable terminal 300 captures an image as shown in an image 840 in FIG. 17, and displays the screen 940 in FIG. 18 on the operation panel 35 after communicating with the server 200. On the screen 940, a display field corresponding to the tag information is not displayed. Note that the broken lines in FIGS. 17 and 18 schematically indicate the installation position of the MFP_A before movement, and are not actually displayed. That is, it merely indicates the position range of the background.

一方、図16(C)に示すように、MFP_Aの移動前の位置に、MFP_Bが設置され、当該MFP_Bが携帯端末300によって撮影され、その画像と撮影時の向きおよび位置の情報がサーバー200へ送信されると、以前当該場所に設置されていたMFP_Aの要素管理データベースに登録されているMFP_Aのデバイス設定情報が、携帯端末300へ送信される(ステップSF50)。   On the other hand, as shown in FIG. 16C, MFP_B is installed at a position before the movement of MFP_A, MFP_B is photographed by portable terminal 300, and information on the image and orientation and position at the time of photographing is sent to server 200. When transmitted, the device setting information of MFP_A registered in the element management database of MFP_A previously installed at the location is transmitted to portable terminal 300 (step SF50).

つまり、携帯端末300において、図19の画像850で示すような画像が撮影され、サーバー200と通信(画像と、向きおよび位置の情報を送信)すると、携帯端末300の操作パネル35には、図20に示すような画面950が表示される。   That is, when an image as shown by an image 850 in FIG. 19 is captured by the mobile terminal 300 and communicated with the server 200 (the image and information on the direction and position are transmitted), the operation panel 35 of the mobile terminal 300 displays A screen 950 as shown in FIG. 20 is displayed.

画像850と画面950には、新たに設置されたMFP_Bに対応するMFP851,951が含まれる。さらに、画面950には、サーバー200から携帯端末300へ送信されたタグ情報に対応する表示欄952が含まれる。   The image 850 and the screen 950 include MFPs 851 and 951 corresponding to the newly installed MFP_B. Further, the screen 950 includes a display field 952 corresponding to tag information transmitted from the server 200 to the mobile terminal 300.

本実施の形態の情報提供システムでは、さらに、新たに設置されたMFP_Bに対して、以前設置されたMFP_Aの設定情報を登録することができる。   In the information providing system according to the present embodiment, it is possible to register the setting information of the previously installed MFP_A for the newly installed MFP_B.

図27は、このような登録の処理を実行するために、携帯端末300およびサーバー200において実行される処理のフローチャートである。   FIG. 27 is a flowchart of processing executed in the mobile terminal 300 and the server 200 in order to execute such registration processing.

図20に示されたような画面950が表示された状態で、携帯端末300のCPU30は、表示欄952に対する操作を受付ける。この操作は、MFP_BにMFP_Aの設定情報を登録するための操作に相当する。   In a state where screen 950 as shown in FIG. 20 is displayed, CPU 30 of portable terminal 300 accepts an operation for display field 952. This operation corresponds to an operation for registering setting information of MFP_A in MFP_B.

当該操作を受付けると、CPU30は、操作パネル35に、MFP_Bに対して設定情報を送信するための情報を入力するための表示を行なう。図21は、そのような表示の一例を示す図である。   When the operation is accepted, CPU 30 displays on operation panel 35 for inputting information for transmitting setting information to MFP_B. FIG. 21 is a diagram showing an example of such a display.

図21の画面960には、図20の画面950に加えて、さらに、MFP_Bのデバイス名を入力するための欄963と、MFP_BのIP(Internet Protocol)アドレスを入力するための欄964が含まれる。   The screen 960 of FIG. 21 further includes a column 963 for inputting the device name of MFP_B and a column 964 for inputting the IP (Internet Protocol) address of MFP_B in addition to the screen 950 of FIG. .

そして、CPU30は、ステップSG20において、欄963,964に入力された情報(デバイス名およびIPアドレス)をサーバー200へ送信する。   In step SG20, the CPU 30 transmits the information (device name and IP address) input in the fields 963 and 964 to the server 200.

これに応じて、サーバー200のCPU20は、ステップSG30で、表示欄952に対応する設定情報を、ステップSG20で送信されたIPアドレスを宛先として送信する。これにより、新たに設置されたMFP_Bに、前に設置されていたMFP_Aの設定情報が送信される。これにより、MFP_Bにおいて、MFP_Aと同様の設定がなされる。   In response to this, the CPU 20 of the server 200 transmits the setting information corresponding to the display field 952 with the IP address transmitted in step SG20 as the destination in step SG30. As a result, the setting information of the previously installed MFP_A is transmitted to the newly installed MFP_B. As a result, the same setting as MFP_A is performed in MFP_B.

次に、CPU20は、ステップSG40で、HD26で別途管理している各MFPの設定情報として、図21の欄963に入力されたデバイスに関連付けてステップSG30で送信した設定情報を登録する。   Next, in step SG40, the CPU 20 registers the setting information transmitted in step SG30 in association with the device input in the column 963 in FIG. 21 as setting information of each MFP separately managed in the HD 26.

次に、CPU20は、ステップSG50で、元の装置とは異なる装置への設定のために携帯端末へ送信した設定情報および/またはタグ情報を、設定情報を管理するデータベースおよび/または要素管理データベースから削除して、処理を終了させる。つまり、図15を参照して説明した要素管理データベースにおいて、ステップSF50において移動前の位置に対応するMFP_Aの設定情報についてのタグ情報が携帯端末300へ送信されると、当該タグ情報は削除される。また、ステップSG30において、MFP_Aの設定情報がMFP_BのIPアドレスを送信先として送信されると、当該設定情報は、MFPの設定情報を管理するデータベースから削除される。   Next, in step SG50, the CPU 20 receives the setting information and / or tag information transmitted to the mobile terminal for setting to a device different from the original device from the database and / or element management database for managing the setting information. Delete and finish the process. That is, in the element management database described with reference to FIG. 15, when tag information about the setting information of MFP_A corresponding to the position before movement is transmitted to portable terminal 300 in step SF50, the tag information is deleted. . In step SG30, when the setting information of MFP_A is transmitted using the IP address of MFP_B as the transmission destination, the setting information is deleted from the database that manages the setting information of MFP.

<要素管理データベースへの情報の登録(4)>
以上説明した本実施の形態では、要素管理データベースにおいて、直接、タグ情報として要素(デバイス)の設定情報が登録された。なお、本実施の形態では、タグ情報としては、デバイス設定情報が、別途登録されていることのみを示す情報を登録し、そして、要素管理データベースに対して位置情報とタグ情報を登録するのとは別に、デバイス設定情報の登録を受付けてもよい。
<Registration of information in the element management database (4)>
In the present embodiment described above, element (device) setting information is registered directly as tag information in the element management database. In the present embodiment, as the tag information, information indicating that the device setting information is separately registered is registered, and the position information and the tag information are registered in the element management database. Alternatively, registration of device setting information may be accepted.

図28は、本実施の形態における要素管理データベースに対して上記のようにデバイス設定情報を登録するために、サーバー200において実行される処理のフローチャートである。   FIG. 28 is a flowchart of processing executed in the server 200 in order to register device setting information in the element management database according to the present embodiment as described above.

図28を参照して、サーバー200のCPU20は、まずステップSE10において、操作部25(または、ネットワークを通じて他の装置)から、要素管理データベースに対する情報の登録要求があったか否かを判断し、あったと判断するとステップSE20へ処理を進める。   Referring to FIG. 28, CPU 20 of server 200 first determines in step SE10 whether or not there has been a request for registration of information in the element management database from operation unit 25 (or another device through the network). If determined, the process proceeds to step SE20.

ステップSE20では、CPU20は、図5を参照して説明したような画面を表示部23(または、ステップSE10で要素の登録要求を受付けた装置)に表示させて、ステップSE30へ処理を進める。   In step SE20, the CPU 20 displays a screen as described with reference to FIG. 5 on the display unit 23 (or the apparatus that received the element registration request in step SE10), and advances the process to step SE30.

ステップSE30では、CPU20は、要素管理データベースにおいて、図5に示すような画面に入力された要素名に関連付けてタグ情報を登録して、ステップSE40へ処理を進める。   In step SE30, the CPU 20 registers tag information in association with the element name input on the screen as shown in FIG. 5 in the element management database, and advances the process to step SE40.

ステップSE40では、CPU20は、ステップSE30で登録したタグ情報に関連付けたデバイス設定情報の登録の要求があったか否かを判断し、そのような要求がないと判断するとステップSE60へ処理を進め、要求があったと判断すると、ステップSE50へ処理を進める。   In step SE40, the CPU 20 determines whether there is a request for registration of device setting information associated with the tag information registered in step SE30. If it is determined that there is no such request, the process proceeds to step SE60, and the request is received. If it is determined that there is, the process proceeds to step SE50.

なお、本実施の形態では、図5に示したような登録用の画面において、さらに、デバイス設定情報の登録を要求するためのボタンを表示させ、CPU20は、ステップSE40において、当該ボタンに対して操作があったか否かを判断することにより、デバイス設定情報の登録の要求があったか否かを判断する。   In the present embodiment, a button for requesting registration of device setting information is further displayed on the registration screen as shown in FIG. 5, and the CPU 20 responds to the button in step SE40. By determining whether or not there is an operation, it is determined whether or not there is a request for registration of device setting information.

ステップSE50では、CPU20は、デバイス設定情報として入力された情報(たとえば、MFPに登録されているアカウント情報など、新たな設置位置で使用するユーザー情報)の入力を受付け、当該デバイス設定情報を、HD26において、ステップSE30で登録したタグ情報に関連付けて登録して、ステップSE60へ処理を進める。   In step SE50, the CPU 20 receives input of information input as device setting information (for example, user information used at a new installation position such as account information registered in the MFP), and stores the device setting information in the HD 26. In step SE30, registration is performed in association with the tag information registered in step SE30, and the process proceeds to step SE60.

ステップSE60では、CPU20は、位置情報の入力を受付け、要素管理データベースにおいて、ステップSE30で登録した位置情報に関連付けて登録して、ステップSE70へ処理を進める。   In step SE60, the CPU 20 receives the input of position information, registers it in the element management database in association with the position information registered in step SE30, and advances the process to step SE70.

ステップSE70では、CPU20は、ステップSA70(図22参照)と同様に、別の要素についての登録要求があるか否かを判断し、あると判断するとステップSE30へ処理を戻し、ないと判断すると処理を終了させる。   In step SE70, as in step SA70 (see FIG. 22), the CPU 20 determines whether or not there is a registration request for another element. If it is determined that there is, the process returns to step SE30. End.

[その他の変形例等]
以上説明した各実施の形態では、携帯端末300からサーバー200へ、撮影向きおよび位置の情報が送信され、サーバー200は、これらの情報に応じて、携帯端末300へ送信(提供)する情報を決定する。なお、サーバー200は、要素管理データベースに登録されている位置情報を、携帯端末300から送信された位置情報に基づいて、特定し、携帯端末300へ送信する情報を決定しても良い。この場合、携帯端末300からサーバー200へは、少なくとも撮影時の位置情報が送信されれば良い。
[Other variations]
In each of the embodiments described above, shooting direction and position information is transmitted from the mobile terminal 300 to the server 200, and the server 200 determines information to be transmitted (provided) to the mobile terminal 300 according to the information. To do. The server 200 may specify the position information registered in the element management database based on the position information transmitted from the mobile terminal 300 and determine information to be transmitted to the mobile terminal 300. In this case, at least the position information at the time of imaging should be transmitted from the mobile terminal 300 to the server 200.

今回開示された各実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、各実施の形態において説明された発明は、可能な限り、単独でも、組合わせても、実施することが意図される。   Each embodiment disclosed this time must be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims. In addition, the invention described in each embodiment is intended to be carried out independently or in combination as much as possible.

10,20 CPU、23 表示部、25 操作部、27 メディアコントローラー、28,37 通信装置、21,31 ROM、22,32 RAM、33 電子コンパス、34 コントローラー、35 操作パネル、36 カメラ、39 メモリー、200 サーバー、300 携帯端末。   10, 20 CPU, 23 display unit, 25 operation unit, 27 media controller, 28, 37 communication device, 21, 31 ROM, 22, 32 RAM, 33 electronic compass, 34 controller, 35 operation panel, 36 camera, 39 memory, 200 servers, 300 mobile terminals.

Claims (12)

要素および位置情報に関連付けられた情報を記憶する記憶手段と、
端末から送信される情報を受信する受信手段と、
前記受信手段が受信した情報に対応する情報を、前記記憶手段が記憶する情報から選択して、前記端末へ送信する送信手段とを備え、
前記記憶手段は、前記要素と2以上の位置情報を関連付け、また、前記2以上の位置情報の少なくとも1つに関連付けられた情報を記憶し、
前記受信手段は、前記端末から、画像と当該画像を撮影した装置の位置情報とを受信し、
前記送信手段は、
前記受信手段が受信した画像に含まれる要素を特定し、
前記記憶手段において、前記特定した要素と前記受信手段が受信した位置情報に関連付けられた情報を、前記受信手段が受信した情報に対応する情報として選択し、
前記2以上の位置情報は、前記要素の位置情報の履歴であり、
前記送信手段は、
前記受信手段が受信した画像において要素が含まれない場合には、前記記憶手段において前記受信手段が受信した位置情報に対応して記憶されている情報を、前記端末へ送信する、情報提供装置。
Storage means for storing information associated with the element and position information;
Receiving means for receiving information transmitted from the terminal;
A transmission unit that selects information corresponding to the information received by the reception unit from the information stored in the storage unit and transmits the information to the terminal;
The storage means associates the element with two or more pieces of position information, and stores information associated with at least one of the two or more pieces of position information;
The receiving means receives an image and position information of a device that captured the image from the terminal,
The transmission means includes
Identifying an element included in the image received by the receiving means;
In the storage means, the information associated with the identified element and the positional information received by the receiving means is selected as information corresponding to the information received by the receiving means,
The two or more pieces of position information are a history of the position information of the element,
The transmission means includes
When the receiving unit does not contain elements in image received is the information that the receiving means are stored in correspondence with the position information received in the storage means, and transmits to the terminal, information providing apparatus .
前記送信手段により前記端末へ送信される情報は、前記要素が移動したことを示す情報を含む、請求項1に記載の情報提供装置。The information providing apparatus according to claim 1, wherein the information transmitted to the terminal by the transmitting unit includes information indicating that the element has moved. 前記送信手段により前記端末へ送信される情報は、前記要素への到達方法を示す情報を含む、請求項1または請求項2に記載の情報提供装置。The information providing apparatus according to claim 1, wherein the information transmitted to the terminal by the transmitting unit includes information indicating a method of reaching the element. 要素および位置情報に関連付けられた情報を記憶する記憶手段と、
端末から送信される情報を受信する受信手段と、
前記受信手段が受信した情報に対応する情報を、前記記憶手段が記憶する情報から選択して、前記端末へ送信する送信手段とを備え、
前記記憶手段は、前記要素と2以上の位置情報を関連付け、また、前記2以上の位置情報の少なくとも1つに関連付けられた情報を記憶し、
前記受信手段は、前記端末から、画像と当該画像を撮影した装置の位置情報とを受信し、
前記送信手段は、
前記受信手段が受信した画像に含まれる要素を特定し、
前記記憶手段において、前記特定した要素と前記受信手段が受信した位置情報に関連付けられた情報を、前記受信手段が受信した情報に対応する情報として選択し、
前記2以上の位置情報は、前記要素の位置情報の履歴であり、
前記送信手段は、
前記受信手段が受信した画像において、前記記憶手段において前記受信手段が受信した位置情報に対応して記憶されている第1の要素とは異なる第2の要素が含まれる場合に、前記第1の要素について、前記受信手段が受信した位置情報に対応して記憶されている情報を、前記端末へ送信する、情報提供装置。
Storage means for storing information associated with the element and position information;
Receiving means for receiving information transmitted from the terminal;
A transmission unit that selects information corresponding to the information received by the reception unit from the information stored in the storage unit and transmits the information to the terminal;
The storage means associates the element with two or more pieces of position information, and stores information associated with at least one of the two or more pieces of position information;
The receiving means receives an image and position information of a device that captured the image from the terminal,
The transmission means includes
Identifying an element included in the image received by the receiving means;
In the storage means, the information associated with the identified element and the positional information received by the receiving means is selected as information corresponding to the information received by the receiving means,
The two or more pieces of position information are a history of the position information of the element,
The transmission means includes
When the image received by the receiving means includes a second element different from the first element stored in the storage means corresponding to the position information received by the receiving means, the first the elements, the information which the receiving means are stored in correspondence with the position information received, and transmits to the terminal, information providing apparatus.
前記要素の位置情報を定期的に取得する取得手段と、Acquisition means for periodically acquiring position information of the element;
前記取得手段が取得する位置情報が、前記記憶手段にて前記要素と関連付けられて記憶されている位置情報と異なる場合に、当該要素に関連付けられる位置情報および当該位置情報に関連付けられる情報を更新する更新手段とを更に備える、請求項4に記載の情報提供装置。When the position information acquired by the acquisition unit is different from the position information stored in association with the element in the storage unit, the position information associated with the element and the information associated with the position information are updated. The information providing apparatus according to claim 4, further comprising updating means.
前記送信手段は、さらに、前記第2の要素に対して、前記第1の要素について前記受信手段が受信した位置情報に対応して記憶されている情報を送信する、請求項4または請求項5に記載の情報提供装置。The transmission means further transmits information stored in correspondence with the position information received by the reception means for the first element to the second element. The information providing device described in 1. 情報提供装置と、当該情報提供装置と通信可能な端末とを備える情報提供システムであって、
前記端末は、
画像および当該画像を撮影した装置の位置情報を、前記情報提供装置へ送信し、
前記情報提供装置は、
要素および位置情報に関連付けられた情報を記憶する記憶手段と、
前記端末から送信される情報を受信する受信手段と、
前記受信手段が受信した情報に対応する情報を、前記記憶手段が記憶する情報から選択して、前記端末へ送信する送信手段とを含み、
前記送信手段は、
前記受信手段が受信した画像に含まれる要素を特定し、
前記記憶手段において、前記特定した要素と前記受信手段が受信した位置情報に関連付けられた情報を、前記受信手段が受信した情報に対応する情報として選択し
前記記憶手段は、前記要素を、当該要素の位置情報の履歴として、2以上の位置情報と関連付けて記憶し、
前記送信手段は、
前記受信手段が受信した画像において要素が含まれない場合には、前記記憶手段において前記受信手段が受信した位置情報に対応して記憶されている情報を、前記端末へ送信する、情報提供システム。
An information providing system comprising an information providing device and a terminal capable of communicating with the information providing device,
The terminal
Sending the image and the location information of the device that captured the image to the information providing device;
The information providing apparatus includes:
Storage means for storing information associated with the element and position information;
Receiving means for receiving information transmitted from the terminal;
Transmitting means for selecting information corresponding to the information received by the receiving means from the information stored in the storage means and transmitting the information to the terminal;
The transmission means includes
Identifying an element included in the image received by the receiving means;
In the storage means, the information associated with the identified element and the positional information received by the receiving means is selected as information corresponding to the information received by the receiving means ,
The storage means stores the element in association with two or more pieces of position information as a history of position information of the element,
The transmission means includes
An information providing system for transmitting information stored in the storage unit corresponding to the position information received by the receiving unit to the terminal when no element is included in the image received by the receiving unit .
前記送信手段により前記端末へ送信される情報は、前記要素が移動したことを示す情報を含む、請求項7に記載の情報提供システム。The information providing system according to claim 7, wherein the information transmitted to the terminal by the transmitting unit includes information indicating that the element has moved. 前記送信手段により前記端末へ送信される情報は、前記要素への到達方法を示す情報を含む、請求項7または請求項8に記載の情報提供システム。The information providing system according to claim 7 or 8, wherein the information transmitted to the terminal by the transmitting unit includes information indicating a method of reaching the element. 情報提供装置と、当該情報提供装置と通信可能な端末とを備える情報提供システムであって、An information providing system comprising an information providing device and a terminal capable of communicating with the information providing device,
前記端末は、The terminal
画像および当該画像を撮影した装置の位置情報を、前記情報提供装置へ送信し、Sending the image and the location information of the device that captured the image to the information providing device;
前記情報提供装置は、The information providing apparatus includes:
要素および位置情報に関連付けられた情報を記憶する記憶手段と、Storage means for storing information associated with the element and position information;
前記端末から送信される情報を受信する受信手段と、Receiving means for receiving information transmitted from the terminal;
前記受信手段が受信した情報に対応する情報を、前記記憶手段が記憶する情報から選択して、前記端末へ送信する送信手段とを含み、Transmitting means for selecting information corresponding to the information received by the receiving means from the information stored in the storage means and transmitting the information to the terminal;
前記送信手段は、The transmission means includes
前記受信手段が受信した画像に含まれる要素を特定し、Identifying an element included in the image received by the receiving means;
前記記憶手段において、前記特定した要素と前記受信手段が受信した位置情報に関連付けられた情報を、前記受信手段が受信した情報に対応する情報として選択し、In the storage means, the information associated with the identified element and the positional information received by the receiving means is selected as information corresponding to the information received by the receiving means,
前記記憶手段は、前記要素を、当該要素の位置情報の履歴として、2以上の位置情報と関連付けて記憶し、The storage means stores the element in association with two or more pieces of position information as a history of position information of the element,
前記送信手段は、The transmission means includes
前記受信手段が受信した画像において、前記記憶手段において前記受信手段が受信した位置情報に対応して記憶されている第1の要素とは異なる第2の要素が含まれる場合に、前記第1の要素について、前記受信手段が受信した位置情報に対応して記憶されている情報を、前記端末へ送信する、情報提供システム。When the image received by the receiving means includes a second element different from the first element stored in the storage means corresponding to the position information received by the receiving means, the first The information provision system which transmits the information memorize | stored corresponding to the positional information which the said receiving means received about the element to the said terminal.
前記要素の位置情報を定期的に取得する取得手段と、Acquisition means for periodically acquiring position information of the element;
前記取得手段が取得する位置情報が、前記記憶手段にて前記要素と関連付けられて記憶されている位置情報と異なる場合に、当該要素に関連付けられる位置情報および当該位置情報に関連付けられる情報を更新する更新手段とを更に備える、請求項10に記載の情報提供システム。When the position information acquired by the acquisition unit is different from the position information stored in association with the element in the storage unit, the position information associated with the element and the information associated with the position information are updated. The information providing system according to claim 10, further comprising updating means.
前記送信手段は、さらに、前記第2の要素に対して、前記第1の要素について前記受信手段が受信した位置情報に対応して記憶されている情報を送信する、請求項10または請求項11に記載の情報提供システム。The transmission means further transmits to the second element information stored in correspondence with the position information received by the reception means for the first element. Information providing system described in 1.
JP2011162155A 2011-07-25 2011-07-25 Information providing apparatus and information providing system Expired - Fee Related JP5578143B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011162155A JP5578143B2 (en) 2011-07-25 2011-07-25 Information providing apparatus and information providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011162155A JP5578143B2 (en) 2011-07-25 2011-07-25 Information providing apparatus and information providing system

Publications (2)

Publication Number Publication Date
JP2013025689A JP2013025689A (en) 2013-02-04
JP5578143B2 true JP5578143B2 (en) 2014-08-27

Family

ID=47783938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011162155A Expired - Fee Related JP5578143B2 (en) 2011-07-25 2011-07-25 Information providing apparatus and information providing system

Country Status (1)

Country Link
JP (1) JP5578143B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015026196A (en) * 2013-07-25 2015-02-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation Method of aggregating data from moving object and performing filtering processing, and computer and computer program thereof
JP7391317B2 (en) * 2018-10-03 2023-12-05 株式会社エム・ソフト Information management device, information management system, information management method, and information management program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194726A (en) * 1998-10-19 2000-07-14 Sony Corp Device, method and system for processing information and providing medium
JP2004234465A (en) * 2003-01-31 2004-08-19 Toshiba Corp Retrieval server, mobile terminal and information providing system
JP5414284B2 (en) * 2009-01-14 2014-02-12 株式会社 ミックウェア Map information processing apparatus, navigation apparatus, map information processing method, and program

Also Published As

Publication number Publication date
JP2013025689A (en) 2013-02-04

Similar Documents

Publication Publication Date Title
JP5126334B2 (en) Image processing system, image processing apparatus control method, image processing apparatus, portable terminal, information processing apparatus, and control program
TWI649664B (en) Terminal device, server device, and program for recording an operation by an image
US20170352077A1 (en) Information collecting system, server, and control program
CN106062789A (en) Image tagging for capturing information in a transaction
JP5339316B1 (en) IDENTIFICATION INFORMATION MANAGEMENT SYSTEM, IDENTIFICATION INFORMATION MANAGEMENT SYSTEM CONTROL METHOD, INFORMATION PROCESSING DEVICE, AND PROGRAM
JP5614116B2 (en) Communication terminal
JP2017062680A (en) Device information registration system, management apparatus, information processing apparatus, control method of management apparatus, control method of information processing apparatus, and program
JP5578143B2 (en) Information providing apparatus and information providing system
KR101613355B1 (en) System for providing information using subject and method thereof
JP2013250741A (en) Rental system
WO2021176889A1 (en) Image capturing program
JP6600450B2 (en) Location information specifying device, location information specifying method, and location information specifying program
JP2019016100A (en) Data system, server, and program
JP6984489B2 (en) Current location guidance system
JP2021071977A (en) Numbered ticket issuing server, numbered ticket issuing method, and program
JP6508950B2 (en) Terminal equipment
JP2013054509A (en) Information processing system, server and display method
JP7211055B2 (en) Route search server, route search system and route search method
JP5493581B2 (en) Information processing system, information processing apparatus, information management apparatus, and program
JP7169527B2 (en) ELECTRONIC DEVICE, FUNCTION LIMITING METHOD AND PROGRAM
JP2006101083A (en) Image photography system
JP2017167746A (en) Information provision device, information provision method and information provision program
JP6192347B2 (en) System, server device, and server device control method
JP2017157956A (en) Information processing apparatus, information processing apparatus control method, and program
JP2021149767A (en) Content providing system, server, portable terminal, content providing method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20130416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130619

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140610

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

R150 Certificate of patent or registration of utility model

Ref document number: 5578143

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees