JP6609434B2 - Product information providing system, product information providing method, and management server - Google Patents

Product information providing system, product information providing method, and management server Download PDF

Info

Publication number
JP6609434B2
JP6609434B2 JP2015150704A JP2015150704A JP6609434B2 JP 6609434 B2 JP6609434 B2 JP 6609434B2 JP 2015150704 A JP2015150704 A JP 2015150704A JP 2015150704 A JP2015150704 A JP 2015150704A JP 6609434 B2 JP6609434 B2 JP 6609434B2
Authority
JP
Japan
Prior art keywords
product
information
image
terminal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015150704A
Other languages
Japanese (ja)
Other versions
JP2017033157A (en
Inventor
一彦 池田
卓朗 山脇
信哉 篠宮
悠輔 巣籠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dentsu Group Inc
Original Assignee
Dentsu Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dentsu Inc filed Critical Dentsu Inc
Priority to JP2015150704A priority Critical patent/JP6609434B2/en
Publication of JP2017033157A publication Critical patent/JP2017033157A/en
Application granted granted Critical
Publication of JP6609434B2 publication Critical patent/JP6609434B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、商品情報提供システム、商品情報提供方法及び管理サーバに関する。 The present invention, the commodity information providing system, related to the product information provided how Ho及 beauty management server.

従来、端末のカメラで撮影した画像を解析して、撮影された商品又はパッケージに付与された文字列又はバーコードを抽出し、これを用いて商品データベースを検索し、当該商品を特定し、その情報を端末に提供してオンライン販売サイトでの商品購入を促すシステムが提案されている（特許文献１参照）。   Conventionally, an image captured by a camera of a terminal is analyzed, a character string or barcode attached to the captured product or package is extracted, a product database is searched using this, and the product is identified, There has been proposed a system that provides information to a terminal and promotes purchase of a product on an online sales site (see Patent Document 1).

また、撮影した画像についての特徴を示す特徴情報を抽出し、これと同一又は類似した特徴情報の商品画像データをデータベースから取得することが知られている（特許文献２参照）。   In addition, it is known that feature information indicating features of a photographed image is extracted, and product image data having the same or similar feature information is acquired from a database (see Patent Document 2).

特表２００７−５２０８０２号公報Special table 2007-520802 gazette 国際公開第２０１０／０１６２８１号パンフレットInternational Publication No. 2010/016281 Pamphlet

ウェブサービスとして、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する商品比較サイトが知られている。しかし、一つのウェブサービスが取り扱うことができる商品の種類には限りがある。このため、例えば、商品カテゴリごとに複数のウェブサービスが存在している。   As a web service, a product comparison site that provides product information obtained from a plurality of sales sites for the same product is known. However, the types of products that a single web service can handle are limited. For this reason, for example, a plurality of web services exist for each product category.

ユーザは、商品を調べるときに、最も適切と考える商品比較サイトを選び、インターネットブラウザ又は当該サイトの専用アプリを用いて商品を検索し、商品情報を取得する必要がある。しかし商品比較サイトの選択が不適切な場合には商品を検索しても見つからないことがある。その場合には、他の商品比較サイトで再度検索を試みるために、改めてインターネットブラウザでアクセスしたり、他の専用アプリを起動したりする必要があるので、極めて煩雑である。   When examining a product, the user needs to select a product comparison site considered most appropriate, search for the product using an Internet browser or a dedicated application on the site, and acquire product information. However, if the product comparison site is inappropriately selected, it may not be found by searching for the product. In that case, in order to try the search again on another product comparison site, it is necessary to access again with an Internet browser or start another dedicated application, which is extremely complicated.

本発明は、ユーザが最適な商品比較サイトの検討を行うことなく商品情報を取得することが可能な商品情報提供システム、商品情報提供方法及び管理サーバを提供することを目的とする。 The present invention, the user has an object to provide an optimal product comparison site commodity information providing system, commodity information providing side Ho及 beauty management server capable of obtaining the product information without consideration of.

本発明の商品情報提供システムは、管理サーバと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバと、前記管理サーバに検索条件情報を送信する端末と、で構成された商品情報提供システムにおいて、前記管理サーバは、商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、前記第１のデータベースを用いて、前記検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を前記端末に送信する照合部と、を具備することを特徴とする。 The product information providing system of the present invention provides a management server, a plurality of product comparison site servers that provide product information obtained from a plurality of sales sites for the same product in a unified manner, and transmits search condition information to the management server. In the product information providing system configured with the terminal, the management server is associated with product search keys related to products, and identification information indicating one of the products and a plurality of product comparison sites. a first database being registered Te, by using the first database, transmits the identification information to identify the product search key based on the search condition information, corresponding to the product search key to the terminal And a collation unit that performs the above-described processing.

この構成により、複数の商品比較サイトサーバのうち、商品の情報を取り扱っている一つの商品比較サイトサーバが選択されるので、端末のユーザは、最適な商品比較サイトの選択を行うことなく、必要な商品情報を取得することができる。   With this configuration, one product comparison site server that handles product information is selected from among a plurality of product comparison site servers, so the user of the terminal is required without selecting the optimal product comparison site. Product information can be acquired.

本発明の商品情報提供システムにおいて、前記商品検索キーが、商品を含む商品画像に関する画像関連情報、商品に関連するテキスト、商品識別コード、音情報及びＷｅｂページ関連情報のいずれかを含むことが好ましい。   In the product information providing system of the present invention, it is preferable that the product search key includes any of image related information related to a product image including the product, text related to the product, product identification code, sound information, and Web page related information. .

本発明の商品情報提供システムにおいて、前記第１のデータベースは、ユニークに付与されたレコード識別情報に、前記商品検索キー及び前記識別情報の少なくとも一組が対応付けて登録されていることが好ましい。   In the product information providing system of the present invention, it is preferable that in the first database, at least one set of the product search key and the identification information is registered in association with uniquely assigned record identification information.

本発明の商品情報提供システムにおいて、前記管理サーバが、前記端末のユーザに関するユーザ情報と、前記照合部が取得した前記識別情報とを、第２のデータベースに対応付けて登録するデータベース制御部をさらに具備することが好ましい。   In the product information providing system of the present invention, the management server further includes a database control unit that registers user information related to the user of the terminal and the identification information acquired by the verification unit in association with a second database. It is preferable to comprise.

本発明の商品情報提供システムにおいて、前記データベース制御部は、前記商品比較サイトから送信された前記識別情報に基づいて、前記第２のデータベースに購入履歴を登録することが好ましい。   In the product information providing system of the present invention, it is preferable that the database control unit registers a purchase history in the second database based on the identification information transmitted from the product comparison site.

本発明の商品情報提供システムにおいて、前記データベース制御部は、前記端末において前記ユーザによりクリッピングが行われた前記商品及び前記識別情報を前記端末から取得し、前記第２のデータベースに、前記ユーザ情報と対応付け、前記端末におけるクリッピング履歴を登録することが好ましい。 In the product information providing system of the present invention, the database control unit acquires the product and the identification information clipped by the user at the terminal from the terminal, and stores the user information and the user information in the second database. It is preferable to register the association and the clipping history in the terminal.

本発明の商品情報提供システムにおいて、前記商品検索キーが前記商品画像であり、前記照合部は、前記第１のデータベースに登録された前記商品画像の画像関連情報及び画像データから抽出された画像関連情報を用いて、前記画像データに対応する前記識別情報を取得して前記端末に送信することが好ましい。 In the product information providing system according to the present invention, the product search key is the product image, and the collation unit extracts image related information extracted from image related information and image data of the product image registered in the first database. using the information, it is preferable to obtain the identification information corresponding to the image data transmitted to the terminal.

本発明の商品情報提供システムにおいて、前記管理サーバは、前記画像データから抽出された前記画像関連情報と前記商品画像の前記画像関連情報との一致率を算出する画像解析部をさらに具備し、前記データベース制御部は、前記第２のデータベースに前記一致率を登録することが好ましい。   In the product information providing system of the present invention, the management server further includes an image analysis unit that calculates a matching rate between the image related information extracted from the image data and the image related information of the product image, The database control unit preferably registers the coincidence rate in the second database.

本発明の商品情報提供システムにおいて、前記第１のデータベースには、前記商品画像に対応付けて音情報がさらに登録され、前記照合部は、前記音情報及び音データをさらに用いて、前記画像データ及び前記音データに対応する前記識別情報を取得することが好ましい。   In the product information providing system of the present invention, sound information is further registered in the first database in association with the product image, and the collation unit further uses the sound information and sound data to generate the image data. It is preferable to acquire the identification information corresponding to the sound data.

本発明の商品情報提供システムにおいて、前記商品画像は、広告メディアに使用されているものであることが好ましい。   In the product information providing system of the present invention, it is preferable that the product image is used for advertising media.

本発明の商品情報提供方法は、管理サーバが、商品に関連する検索条件情報を端末から受信する工程と、
前記管理サーバが、前記検索条件情報に基づいて商品検索キーを特定する工程と、
前記管理サーバが、前記商品検索キーを用いて、前記商品検索キーと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバの一つ及び商品を示す識別情報と、が対応付けて登録されている第１のデータベースを検索し、前記商品検索キーに対応する前記識別情報を取得して前記端末に送信する工程と、を具備することを特徴とする。 In the product information providing method of the present invention, the management server receives search condition information related to the product from the terminal , and
The management server identifying a product search key based on the search condition information;
One of a plurality of product comparison site servers and a product that provides the product search key and product information obtained from a plurality of sales sites for the same product using the product search key. Search and identification information indicating the first database are registered in association, characterized in that said acquired identification information corresponding to the product search key anda step of transmitting to the terminal And

本発明の管理サーバは、商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、前記第１のデータベースを用いて、端末から受信した検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を端末に送信する照合部と、を具備することを特徴とする。   The management server of the present invention includes a product search key related to a product, a first database in which identification information indicating one of the product and a plurality of product comparison sites is associated and registered, Using the first database, identifying the product search key based on the search condition information received from the terminal, and including a verification unit that transmits the identification information corresponding to the product search key to the terminal. Features.

本発明によれば、ユーザが、最適な商品比較サイトの選択を行うことなく商品情報を取得することが可能な商品情報提供システム、商品情報提供方法及び管理サーバを提供することができる。 According to the present invention, the user, optimum product comparison site capable commodity information providing system that acquires the product information without performing selection of products can be provided to the information providing side Ho及 beauty management server.

本実施の形態に係る商品情報提供システムのネットワーク構成を示す概略図である。It is the schematic which shows the network structure of the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける端末を示すブロック図である。It is a block diagram which shows the terminal in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおけるサーバを示すブロック図である。It is a block diagram which shows the server in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムの機能を示す概略図である。It is the schematic which shows the function of the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係るユーザ情報ＤＢの構成を示す説明図である。It is explanatory drawing which shows the structure of user information DB which concerns on this Embodiment. 本実施の形態に係るソース情報ＤＢの構成を示す説明図である。It is explanatory drawing which shows the structure of source information DB which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。It is a flowchart explaining the process in the shopping camera application in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。It is a flowchart explaining the process in the management server in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。It is a flowchart explaining the process in the management server in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。It is a flowchart explaining the process in the shopping camera application in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。It is a flowchart explaining the process in the shopping camera application in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報提供システムにおける情報のやり取りを示すブロック図である。It is a block diagram which shows the exchange of the information in the merchandise information provision system which concerns on this Embodiment. 本実施の形態に係る商品情報システムにおける端末及び管理サーバの間での処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process between the terminal and management server in the merchandise information system which concerns on this Embodiment. 本実施の形態に係る商品情報システムにおける端末及び商品比較サイトサーバの間での処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of a process between the terminal and the goods comparison site server in the goods information system which concerns on this Embodiment.

以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。
＜概要＞
図１は、本実施の形態に係る商品情報提供システムのネットワーク構成を示す概略図である。商品情報提供システム１では、複数の端末１００、管理サーバ２、商品比較サイトサーバ３、４及び販売サイトサーバ５〜１０がインターネット５０を介して相互に通信可能に接続されている。インターネット５０は、ＬＡＮ、移動体通信網、Ｗｉ−Ｆｉなどを含んでいる。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
<Overview>
FIG. 1 is a schematic diagram showing a network configuration of a product information providing system according to the present embodiment. In the product information providing system 1, a plurality of terminals 100, a management server 2, product comparison site servers 3 and 4, and sales site servers 5 to 10 are connected via the Internet 50 so that they can communicate with each other. The Internet 50 includes a LAN, a mobile communication network, Wi-Fi, and the like.

ここでは、説明を簡略にするために、２つの商品比較サイトサーバ３、４及び６つの販売サイトサーバ５〜１０を図示しているが、実際にはもっと多くの商品比較サイトサーバ及び購入サイトが存在する。   Here, in order to simplify the description, two product comparison site servers 3, 4 and six sales site servers 5 to 10 are illustrated, but actually, there are more product comparison site servers and purchase sites. Exists.

＜端末＞
図２は、本実施の形態に係る商品情報提供システムにおける端末を示すブロック図である。図２に示すように、端末１００は、中央制御部１０１、ネットワークインターフェイス（Ｉ／Ｆ）１０２、ＧＰＳ受信部１０３、カメラ部１０４、ディスプレイ部１０５、ＵＩデバイス１０６、メモリ１０７、ストレージデバイス１０８、電源供給部１０９、時計部１１０及びマイク部１１１を備えている。 <Terminal>
FIG. 2 is a block diagram showing a terminal in the product information providing system according to the present embodiment. As shown in FIG. 2, the terminal 100 includes a central control unit 101, a network interface (I / F) 102, a GPS receiving unit 103, a camera unit 104, a display unit 105, a UI device 106, a memory 107, a storage device 108, a power supply A supply unit 109, a clock unit 110, and a microphone unit 111 are provided.

中央制御部１０１は、端末１００の各部を制御するものである。具体的には、中央制御部１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を備え、メモリ１０７を用いてオペレーティングシステム（ＯＳ）や各種処理プログラムに従って各種の制御動作を行う。   The central control unit 101 controls each unit of the terminal 100. Specifically, the central control unit 101 includes a CPU (Central Processing Unit) and the like, and performs various control operations using the memory 107 according to an operating system (OS) and various processing programs.

ネットワークインターフェイス１０２は、インターネット５０を含むネットワークを介してデータ通信等を遂行する。   The network interface 102 performs data communication and the like via a network including the Internet 50.

ＧＰＳ受信部１０３は、人工衛星からＧＰＳ信号を受信して地理的位置（例えば、座標）を中央制御部１０１に出力する。   The GPS receiving unit 103 receives a GPS signal from an artificial satellite and outputs a geographical position (for example, coordinates) to the central control unit 101.

カメラ部１０４は、静止画や動画像を撮影するためのレンズ及び光学素子を含む。   The camera unit 104 includes a lens and an optical element for capturing a still image or a moving image.

ディスプレイ部１０５は、中央制御部１０１で生成された各種情報を表示する。   The display unit 105 displays various information generated by the central control unit 101.

ＵＩ（ユーザインターフェイス）デバイス１０６は、ユーザによる操作を受け付けるものであり、ボタン、キー、タッチパネル等が含まれる。ＵＩデバイス１０６は、これらの操作に応じて所定の操作信号を中央制御部１０１に出力する。なお、マイク部１１１（後述）から入力された音声信号を中央制御部１０１に出力し、操作命令を認識させて操作してもよい。   A UI (user interface) device 106 receives an operation by a user, and includes buttons, keys, a touch panel, and the like. The UI device 106 outputs a predetermined operation signal to the central control unit 101 in accordance with these operations. Note that an audio signal input from the microphone unit 111 (described later) may be output to the central control unit 101 and operated by recognizing an operation command.

メモリ１０７は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成され、中央制御部１０１等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部１０１等のワーキングメモリとして機能する。   The memory 107 is configured by, for example, a DRAM (Dynamic Random Access Memory) and functions as a buffer memory that temporarily stores data processed by the central control unit 101 and the like, and a working memory such as the central control unit 101 and the like. .

ストレージデバイス１０８は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部１０１の動作に必要な各種プログラムやデータを記憶している。   The storage device 108 is configured by, for example, a nonvolatile memory (flash memory) or the like, and stores various programs and data necessary for the operation of the central control unit 101.

電源供給部１０９は、端末１００に必要な電力を供給するために、バッテリ又は外部電源ソースと連結される。   The power supply unit 109 is connected to a battery or an external power source in order to supply necessary power to the terminal 100.

時計部１１０は、時計機能を有し、日時の情報を中央制御部１０１に出力する。   The clock unit 110 has a clock function and outputs date and time information to the central control unit 101.

マイク部１１１は、音を電気信号に変換して中央制御部１０１に出力する。   The microphone unit 111 converts the sound into an electrical signal and outputs it to the central control unit 101.

以上説明した端末１００において、目的に応じてアプリケーションプログラムやデータを適宜用意することで、以降で説明するような各種機能を実現することができる。   In the terminal 100 described above, various functions as described below can be realized by appropriately preparing application programs and data according to the purpose.

本実施の形態においては、端末１００は、スマートフォンやタブレットを想定しているが、特に限定されるものではなく、カメラ及び通信機能を備えたスマートウオッチやスマートグラスのような各種ウエラブル端末であってもよいことは言うまでもない。また、通信機能を備えたデジタルカメラも包含される。ただし、端末１００は、ウエラブル端末に限定されるものではなく、例えば、パーソナルコンピュータのような、インターネット５０に接続されるすべてのデバイスが包含される。パーソナルコンピュータを用いる場合、カメラ部１０４又は画面取込部１００２（後述）のような画像入力手段（後述）を備えている必要がある。   In the present embodiment, the terminal 100 is assumed to be a smartphone or a tablet, but is not particularly limited, and may be various wearable terminals such as a smart watch or a smart glass having a camera and a communication function. Needless to say. A digital camera having a communication function is also included. However, the terminal 100 is not limited to a wearable terminal, and includes all devices connected to the Internet 50 such as a personal computer. When using a personal computer, it is necessary to provide an image input means (described later) such as the camera unit 104 or the screen capture unit 1002 (described later).

本実施の形態においては、商品情報提供システム１は、いわゆるマルチデバイスに対応している。すなわち、ユーザが端末１００を複数所有し、それぞれに買い物カメラアプリ（後述）をインストールし、一つのユーザＩＤを用いてシステムにログインすることで、商品情報提供システム１によるサービスを利用することができ、複数の端末１００によるクリッピング履歴（後述）や購入履歴（後述）を、一つのユーザＩＤに紐付けてユーザ情報ＤＢ（後述）に登録することが可能である。   In the present embodiment, the product information providing system 1 is compatible with a so-called multi-device. That is, the user can use the service provided by the product information providing system 1 by having a plurality of terminals 100, installing a shopping camera application (described later) in each, and logging in to the system using one user ID. Clipping histories (described later) and purchase histories (described later) by a plurality of terminals 100 can be associated with one user ID and registered in a user information DB (described later).

＜サーバ＞
上述のように、本実施の形態に係る商品情報提供システム１には、管理サーバ２、商品比較サイトサーバ３、４及び販売サイトサーバ５〜１０が含まれる。図３は、本実施の形態に係る商品情報提供システムにおけるサーバを示すブロック図である。 <Server>
As described above, the product information providing system 1 according to the present embodiment includes the management server 2, the product comparison site servers 3 and 4, and the sales site servers 5 to 10. FIG. 3 is a block diagram showing a server in the product information providing system according to the present embodiment.

図３に示すように、サーバ２００は、中央制御部２０１、ネットワークインターフェイス２０２、ストレージデバイス２０３、メモリ２０４及び電源供給部２０５を備えている。   As illustrated in FIG. 3, the server 200 includes a central control unit 201, a network interface 202, a storage device 203, a memory 204, and a power supply unit 205.

中央制御部２０１は、サーバ２００の各部を制御するものである。具体的には、中央制御部２０１は、ＣＰＵ等を備え、メモリ２０４を用いてＯＳや各種処理プログラムに従って各種の制御動作を行う。   The central control unit 201 controls each unit of the server 200. Specifically, the central control unit 201 includes a CPU and the like, and uses the memory 204 to perform various control operations according to the OS and various processing programs.

ネットワークインターフェイス２０２は、インターネット５０を含むネットワークを介してデータ通信等を遂行する。   The network interface 202 performs data communication and the like via a network including the Internet 50.

ストレージデバイス２０３は、例えば、不揮発性メモリ等により構成され、中央制御部２０１の動作に必要な各種プログラムやデータを記憶している。   The storage device 203 is configured by, for example, a nonvolatile memory and stores various programs and data necessary for the operation of the central control unit 201.

メモリ２０４は、例えば、ＤＲＡＭ等により構成され、中央制御部２０１等によって処理されるデータ等を一時的に記憶するバッファメモリや、中央制御部２０１等のワーキングメモリとして機能する。   The memory 204 is composed of, for example, a DRAM or the like, and functions as a buffer memory for temporarily storing data processed by the central control unit 201 or the like, or a working memory for the central control unit 201 or the like.

電源供給部２０５は、サーバ２００に必要な電力を供給するために外部電源ソースと連結される。   The power supply unit 205 is connected to an external power source in order to supply necessary power to the server 200.

以上説明したサーバ２００において、目的に応じてプログラムやデータを適宜用意することで、管理サーバ２、商品比較サイトサーバ３、４及び販売サイトサーバ５〜１０を実現することができる。   In the server 200 described above, the management server 2, the product comparison site servers 3 and 4, and the sales site servers 5 to 10 can be realized by appropriately preparing programs and data according to the purpose.

以下、本実施の形態に係る商品情報提供システム１を構成する端末１００及び各サーバの機能について説明する。   Hereinafter, functions of the terminal 100 and each server constituting the product information providing system 1 according to the present embodiment will be described.

図４は、本実施の形態に係る商品情報提供システムの機能を示す概略図である。   FIG. 4 is a schematic diagram showing functions of the product information providing system according to the present embodiment.

＜アプリケーションプログラム＞
以下、端末１００上で実行されるアプリケーションプログラム（以下、買い物カメラアプリと呼ぶ）の機能について説明する。図４に示すように、買い物カメラアプリ１００１は、画面取込部１００２、特徴点データ抽出部１００３、端末情報取得部１００４、特徴点データ送信部１００５、問い合わせ処理部１００６、商品情報受信部１００７、商品情報表示部１００８、クリッピング処理部１００９、商品購入処理部１０１０及びモニタリング部１０１１を備えている。 <Application program>
Hereinafter, functions of an application program (hereinafter referred to as a shopping camera application) executed on the terminal 100 will be described. As shown in FIG. 4, the shopping camera application 1001 includes a screen capture unit 1002, a feature point data extraction unit 1003, a terminal information acquisition unit 1004, a feature point data transmission unit 1005, an inquiry processing unit 1006, a product information reception unit 1007, A product information display unit 1008, a clipping processing unit 1009, a product purchase processing unit 1010, and a monitoring unit 1011 are provided.

画面取込部１００２は、ディスプレイ部１０５に表示された画面の全体又は一部を取得し、画像データを出力する。カメラ部１０４及び画面取込部１００２は、買い物カメラアプリ１１０１に画像データを入力する画像入力手段として機能する。画像入力手段としては、商品を含む画像データが取得できれば特に限定されず、例えば、２Ｄスキャナ等を用いることもできる。   The screen capture unit 1002 acquires all or part of the screen displayed on the display unit 105 and outputs image data. The camera unit 104 and the screen capture unit 1002 function as an image input unit that inputs image data to the shopping camera application 1101. The image input means is not particularly limited as long as image data including products can be acquired. For example, a 2D scanner or the like can be used.

本実施の形態において、画像入力手段により入力される画像には、静止画及び動画（映像）が含まれる。   In the present embodiment, the image input by the image input means includes a still image and a moving image (video).

特徴点データ抽出部１００３は、カメラ部１０４又は画面取込部１００２から入力された画像データから特徴点データを抽出し、特徴点データ送信部１００５に出力する。   The feature point data extraction unit 1003 extracts feature point data from the image data input from the camera unit 104 or the screen capture unit 1002 and outputs the feature point data to the feature point data transmission unit 1005.

端末情報取得部１００４は、カメラ部１０４で行われた撮影の日時及び地理的位置を、時計部１１０及びＧＰＳ受信部１０３から取得し、特徴点データ送信部１００５に出力する。ここで、日時及び地理的位置を、端末情報と呼ぶ。端末情報は、撮影の日時又は地理的位置の他、ネットワーク情報、デバイス情報などが挙げられる。   The terminal information acquisition unit 1004 acquires the date / time and the geographical position of the shooting performed by the camera unit 104 from the clock unit 110 and the GPS reception unit 103, and outputs them to the feature point data transmission unit 1005. Here, the date and time and the geographical position are referred to as terminal information. The terminal information includes network information, device information, etc. in addition to the shooting date and time or geographical location.

ここで、ネットワーク情報に関しては、例えば、端末１００が携帯電話端末である場合、ネットワークインターフェイス１０２から、携帯電話業者（キャリア）の名称や携帯電話回線の種類（３Ｇ、ＬＴＥ等）などの情報を、端末情報取得部１００４が取得することができる。また、デバイス情報に関しては、端末１００の中央制御部１０１が実行するＯＳから、ＯＳの名称又はバージョン、或いは、中央制御部１０１としてのＣＰＵの種類などの情報を、端末情報取得部１００４が取得することができる。   Here, regarding the network information, for example, when the terminal 100 is a mobile phone terminal, information such as the name of the mobile phone carrier (carrier) and the type of mobile phone line (3G, LTE, etc.) is obtained from the network interface 102. The terminal information acquisition unit 1004 can acquire it. As for device information, the terminal information acquisition unit 1004 acquires information such as the name or version of the OS or the type of CPU as the central control unit 101 from the OS executed by the central control unit 101 of the terminal 100. be able to.

本実施の形態では、端末情報取得部１００４が独立して存在しているが、後述の特徴点データ送信部１００５が、端末情報取得部１００４を兼ねていてもよい。すなわち、端末情報取得部１００４に相当する機能を、例えば、カメラ部１０４の制御用アプリケーションプログラムのような他のアプリケーションプログラムが果たしたり、ＯＳが果たしたり、してもよく、これらが取得した端末情報は特徴点データ送信部１００５に渡されるように構成されていてもよい。   In the present embodiment, the terminal information acquisition unit 1004 exists independently, but a feature point data transmission unit 1005 described later may also serve as the terminal information acquisition unit 1004. That is, the function corresponding to the terminal information acquisition unit 1004 may be performed by, for example, another application program such as a control application program for the camera unit 104, or may be performed by the OS. May be configured to be passed to the feature point data transmission unit 1005.

また、端末情報は、ＥＸＩＦ情報のような画像データに添付されるメタデータ群であってもよく、端末情報取得部１１０４は、メタデータ群を画像データから抽出し、それを特徴点データ送信部１００５に渡してもよい。ここで、ＥＸＩＦ情報は、撮影時に画像データと共に記録されるメタデータであり、撮影日時、撮影機器のメーカー名（製造・販売元）、撮影機器のモデル名（カメラ付き携帯電話・スマートフォンの機種名など）、画像全体の解像度、水平・垂直方向の単位あたり解像度、撮影方向、シャッタースピード、絞り（Ｆ値）、ＩＳＯ感度、測光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間（カラースペース）、ＧＰＳ情報、サムネイル画像などを含んでいる。   The terminal information may be a metadata group attached to image data such as EXIF information, and the terminal information acquisition unit 1104 extracts the metadata group from the image data, and extracts it from the feature point data transmission unit. You may pass to 1005. Here, the EXIF information is metadata recorded together with the image data at the time of shooting. The shooting date and time, the manufacturer name (manufacturer / seller) of the shooting device, the model name of the shooting device (model name of the camera-equipped mobile phone / smart phone) Etc.), overall image resolution, horizontal / vertical unit resolution, shooting direction, shutter speed, aperture (F value), ISO sensitivity, metering mode, presence of flash, exposure correction step value, focal length, color space ( Color space), GPS information, thumbnail images, and the like.

特徴点データ送信部１００５は、ネットワークインターフェイス１０２により、特徴点データを、端末情報と共に管理サーバ２に送信する。   The feature point data transmission unit 1005 transmits the feature point data together with the terminal information to the management server 2 through the network interface 102.

問い合わせ処理部１００６は、管理サーバ２から送信されたサイトＩＤ（後述）及び商品ＩＤ（後述）を受信する。そして、サイトＩＤを用いて商品比較サイトサーバ３、４のうちの一つを特定し、それに対応した検索ＡＰＩを選択する。引数に商品ＩＤを追加した商品検索ＡＰＩを用いて、商品比較サイトサーバ３、４のいずれか一つに送信する。   The inquiry processing unit 1006 receives a site ID (described later) and a product ID (described later) transmitted from the management server 2. Then, one of the product comparison site servers 3 and 4 is specified using the site ID, and a search API corresponding to the one is selected. Using the product search API in which the product ID is added to the argument, it is transmitted to any one of the product comparison site servers 3 and 4.

商品情報受信部１００７は、商品比較サイトサーバ３、４から送信された商品情報を受信し、商品情報表示部１００８に出力する。商品情報表示部１００８は、受信した商品情報をディスプレイ部１０５に表示する。このように、商品情報受信部１００７及び商品情報表示部１００８によって、商品情報の取得から表示までを行う商品情報取得・表示部が構成されている。   The product information receiving unit 1007 receives the product information transmitted from the product comparison site servers 3 and 4 and outputs the product information to the product information display unit 1008. The product information display unit 1008 displays the received product information on the display unit 105. In this way, the product information receiving unit 1007 and the product information display unit 1008 constitute a product information acquisition / display unit that performs product information acquisition to display.

クリッピング処理部１００９は、ＵＩデバイス１０６等を介して商品情報に対して行われたユーザの操作に応じて、当該商品情報に対応する、少なくとも商品ＩＤをストレージデバイス１０８に記憶する。このような処理を商品情報のクリッピングと呼ぶ。ストレージデバイス１０８に記憶された商品ＩＤを用いて商品情報を商品比較サイトサーバ３、４から再び受信して表示したり、さらに商品の購入を行ったり、することができる。   The clipping processing unit 1009 stores at least a product ID corresponding to the product information in the storage device 108 in accordance with a user operation performed on the product information via the UI device 106 or the like. Such processing is called product information clipping. Using the product ID stored in the storage device 108, the product information can be received again from the product comparison site servers 3 and 4 and displayed, or further, the product can be purchased.

商品購入処理部１０１０は、商品情報に含まれるＵＲＬを用いて、販売サイトサーバ５〜１０のうちのいずれか一つに接続し、商品の購入を行う。商品購入処理部１０１０は、買い物カメラアプリ１００１の機能の一つであってもよいし、端末１００が搭載する汎用のインターネットブラウザであってもよい。   The product purchase processing unit 1010 uses the URL included in the product information to connect to any one of the sales site servers 5 to 10 and purchase the product. The product purchase processing unit 1010 may be one of the functions of the shopping camera application 1001 or a general-purpose Internet browser installed in the terminal 100.

モニタリング部１０１１は、商品情報表示部１００８、クリッピング処理部１００９及び商品購入処理部１０１０での処理状況を監視している。モニタリング処理部１０１１は、クリッピング処理部１００９で商品情報のクリッピングが行われた場合、ユーザＩＤ及び商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する。また、モニタリング処理部１０１１は、商品購入処理部１０１０で商品の購入が行われた場合、ユーザＩＤ及び商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する。   The monitoring unit 1011 monitors the processing status in the product information display unit 1008, the clipping processing unit 1009, and the product purchase processing unit 1010. The monitoring processing unit 1011 transmits the user ID and the product ID to the DB control unit 1101 of the management server 2 when the product information is clipped by the clipping processing unit 1009. In addition, when the product purchase processing unit 1010 purchases a product, the monitoring processing unit 1011 transmits the user ID and the product ID to the DB control unit 1101 of the management server 2.

特徴点データ抽出部１００３で行われる画像からの特徴点データの抽出の概要について説明する。特徴点データ抽出部１００３は、カメラ部１０４から入力された画像データ内の検索部分を抽出する。例えば、特開２０１３−１４２９６１号公報に記載されている画像中の特徴点を検出する特徴点検出方法を用いることができるが、これに限定されることはない。また、特徴点データに代えて、特徴点の座標、特徴ベクトル、特徴量、その他の画像の特徴を示すデータを用いても良い。ここで、特徴ベクトルの抽出には、例えば、特徴ベクトルの集合の抽出アルゴリズムであるＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）若しくはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）、又は、バイナリ特徴ベクトル抽出アルゴリズムであるＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）若しくはＦＲＥＡＫ（Ｆａｓｔ Ｒｅｔｉｎａ Ｋｅｙｐｏｉｎｔ）を用いることができる。   An outline of feature point data extraction from an image performed by the feature point data extraction unit 1003 will be described. The feature point data extraction unit 1003 extracts a search part in the image data input from the camera unit 104. For example, a feature point detection method for detecting feature points in an image described in Japanese Patent Application Laid-Open No. 2013-142961 can be used, but the present invention is not limited to this. Further, instead of feature point data, feature point coordinates, feature vectors, feature amounts, and other data indicating image features may be used. Here, for extraction of feature vectors, for example, a feature vector set extraction algorithm, SIFT (Scale-Invariant Feature Transform) or SURF (Speeded Up Robust Features), or FAST (Features), which is a binary feature vector extraction algorithm, is used. from Accelerated Segment Test) or FREK (Fast Retina Keypoint) can be used.

＜管理サーバ＞
管理サーバ２は、図４に示すように、ＤＢ制御部１１０１、ユーザ情報ＤＢ１１０２、画像認識部１１０３及びソース情報ＤＢ１１０４を備えている。 <Management server>
As shown in FIG. 4, the management server 2 includes a DB control unit 1101, a user information DB 1102, an image recognition unit 1103, and a source information DB 1104.

ＤＢ制御部１１０１は、受信部として機能し、買い物カメラアプリ１００１の特徴点データ送信部１００５から特徴点データ及び端末情報を受信する。これを検索リクエストと呼ぶ。また、ＤＢ制御部１１０１は、特徴点データを画像認識部１１０３に渡すと共に、同じく受信した端末情報をユーザ情報ＤＢ１１０２に登録する。   The DB control unit 1101 functions as a reception unit, and receives feature point data and terminal information from the feature point data transmission unit 1005 of the shopping camera application 1001. This is called a search request. The DB control unit 1101 passes the feature point data to the image recognition unit 1103 and registers the received terminal information in the user information DB 1102.

ユーザ情報ＤＢ１１０２は、ユーザ毎にユニークに付与されたユーザＩＤに、買い物カメラアプリ１００１からの検索リクエスト（ＲＥＱ）毎に、リクエストＩＤ、端末情報、商品ＩＤ、一致率（後述）、クリッピング履歴（後述）及び購入履歴（後述）を対応付けて記憶するように構成されている。   The user information DB 1102 includes a request ID, terminal information, a product ID, a matching rate (described later), and a clipping history (described later) for each search request (REQ) from the shopping camera application 1001 to a user ID uniquely assigned to each user. ) And purchase history (described later) in association with each other.

ソース情報ＤＢ１１０４には、レコード識別情報としての、商品を含む画像（以下、商品画像という）の出所（ソース）毎にユニークに付与されたソースＩＤに、商品画像の画像データ、当該商品画像の特徴点データ、当該商品に関する商品情報を取り扱っている商品比較サイトサーバ３、４のうち一つを特定するためのサイトＩＤ、及び、商品比較サイトサーバ３、４において当該商品に対してユニークに付与されている商品ＩＤと、が対応付けて登録されている。   In the source information DB 1104, the image data of the product image and the feature of the product image are assigned to the source ID uniquely given for each source (source) of the image including the product (hereinafter referred to as product image) as record identification information. Point data, a site ID for specifying one of the product comparison site servers 3 and 4 handling product information related to the product, and the product comparison site servers 3 and 4 are uniquely assigned to the product. Merchandise IDs registered in association with each other.

ここでは、サイトＩＤと、商品ＩＤとが、別々になっているが、例えば、「サイトＩＤ＿商品ＩＤ」や「サイトＩＤ／商品ＩＤ」のように、二つを一つにまとめたものであってよい。また、例えば、商品比較サイトの商品情報を表示するホームページを示すＵＲＬに商品ＩＤを組み合わせたもの（例えば、ｈｔｔｐ／／：ｈｉｋａｋｕ．ｃｏｍ／１２３４５６）であってもよい。本実施の形態では、これらのような商品比較サイトのうち一つ及び商品を示す識別情報を用いることができる。以下の説明では、サイトＩＤと商品ＩＤとを一つにまとめ、「サイトＩＤ＿商品ＩＤ」の形式とした場合について説明し、単に商品ＩＤと呼ぶ。   Here, although the site ID and the product ID are different, for example, “site ID_product ID” and “site ID / product ID” are combined into two. It's okay. Further, for example, it may be a combination of a product ID and a URL indicating a home page displaying product information on a product comparison site (for example, http: //: hikaku.com/123456). In the present embodiment, identification information indicating one of the product comparison sites and the product can be used. In the following description, a case where the site ID and the product ID are combined into a single form of “site ID_product ID” will be described and simply referred to as a product ID.

商品画像は、例えば、雑誌、チラシ、パンフレット、ポスター、テレビＣＭ、広告動画、Ｗｅｂ広告などの各種広告メディアを出所として使用されている商品の画像であってもよい。広告メディア以外にも、個人が撮影した商品の画像であってもよい。これらを包括して「平面媒体の商品画像」と呼ぶ。   The product image may be, for example, an image of a product that is used as a source of various advertising media such as magazines, flyers, brochures, posters, TV commercials, advertisement videos, and Web advertisements. In addition to the advertising media, it may be an image of a product taken by an individual. These are collectively referred to as a “planar medium product image”.

また、商品画像は、広告メディアを出所とするものに限定されず、例えば、商品の実物を撮影したものであってもよい。商品の実物を、カメラで撮影したものでも、２Ｄスキャナや３Ｄスキャナでスキャンしたものでもよい。   Further, the product image is not limited to the one that originates from the advertising media, and may be, for example, a photograph of the actual product. The actual product may be taken with a camera or scanned with a 2D scanner or a 3D scanner.

図５は、本実施の形態に係るユーザ情報ＤＢの構成を示す説明図である。図５に示すように、ユーザ情報ＤＢ１１０２は、一つのユーザＩＤに対し、複数の検索リクエストが登録できるように構成されている。また、一つの検索リクエストに対し、商品ＩＤ、端末情報、商品ＩＤ、一致率、クリッピング履歴及び購入履歴が登録できるように構成されている。商品ＩＤの項には、少なくとも一つの商品ＩＤを登録することができる。クリッピング履歴の項には、クリッピングを行った日時と、クリッピングされた商品の商品ＩＤとの組み合わせ（例えば、ｙｙｍｍｄｄ，ｈｉｋａｋｕ１＿０００１）を一つのクリッピング履歴とし、少なくとも一つのクリッピング履歴を登録することができる。同様に、購入履歴の項には、購入を行った日時と、購入された商品の商品ＩＤとの組み合わせを一つの購入履歴とし、少なくとも一つの購入履歴を登録することができる。   FIG. 5 is an explanatory diagram showing the configuration of the user information DB according to the present embodiment. As shown in FIG. 5, the user information DB 1102 is configured so that a plurality of search requests can be registered for one user ID. In addition, a product ID, terminal information, product ID, matching rate, clipping history, and purchase history can be registered for one search request. At least one product ID can be registered in the item of product ID. In the section of the clipping history, at least one clipping history can be registered with a combination of the date and time of clipping and the product ID of the clipped product (for example, yymmdd, hikaku1_0001) as one clipping history. Similarly, in the purchase history section, a combination of the date and time of purchase and the product ID of the purchased product can be used as one purchase history, and at least one purchase history can be registered.

図６は、本実施の形態に係るソース情報ＤＢの構成を示す説明図である。ソース情報ＤＢ１１０４は、レコード識別情報としての一つのソースＩＤに対し、一つの商品画像の画像データ及び一つの当該商品画像の特徴点データが対応付けて登録できるように構成されている。また、一つのソースＩＤに対し、少なくとも一つの商品ＩＤが登録できるように構成されている。これにより、商品画像に複数の異なる商品が含まれる場合に、一つのソースＩＤに対して複数の商品ＩＤが登録されることができる。なお、レコード識別情報は、ソースＩＤに限定されず、ソース情報ＤＢ１１０４において一つのレコードに対してユニークに付与されていれば足りる。   FIG. 6 is an explanatory diagram showing the configuration of the source information DB according to the present embodiment. The source information DB 1104 is configured such that image data of one product image and feature point data of one product image can be registered in association with one source ID as record identification information. In addition, at least one product ID can be registered for one source ID. Thus, when a plurality of different products are included in the product image, a plurality of product IDs can be registered for one source ID. Note that the record identification information is not limited to the source ID, and it is sufficient if it is uniquely assigned to one record in the source information DB 1104.

図６に示すソース情報ＤＢ１１０４は、ソースＩＤに対して画像データ及び特徴点データを対応付けて登録している。しかし、ソース情報ＤＢ１１０４を、ソースＩＤに対して画像データを対応付けて登録した、データベースＡと、ソースＩＤに対応して特徴点データを対応付けて登録したデータベースＢとの、二つに分散して配置し、相互にデータのやり取りが可能にしても良い。さらに、図４に示す管理サーバ２からデータベースＢ及び画像認識部１１０３を切り離して配置しても良い。この場合、ユーザ情報ＤＢに登録されたユーザ情報のような個人情報を、画像認識部１１０３から切り離せるので、個人情報保護の観点で有利である。   The source information DB 1104 shown in FIG. 6 registers image data and feature point data in association with the source ID. However, the source information DB 1104 is distributed in two, a database A in which image data is registered in association with the source ID, and a database B in which feature point data is registered in association with the source ID. May be arranged so that data can be exchanged between them. Further, the database B and the image recognition unit 1103 may be separated from the management server 2 shown in FIG. In this case, personal information such as user information registered in the user information DB can be separated from the image recognition unit 1103, which is advantageous from the viewpoint of personal information protection.

上述のように、本実施の形態に係る商品情報提供システム１においては、ソース情報ＤＢ１１０４に登録される商品画像として様々な画像を用いることにより、雑誌などの平面媒体からも、リアルな商品（商品の実物）からも、Ｗｅｂサイト（デジタル空間）からも、すぐに商品を認識して商品情報を提供することを実現可能である。これにより、店舗やネットで買い場を作って待っている流通形態ではなく、毎日の暮らしの中に買い場を創造することができるようになる。すなわち、暮らしの中で出会う全ての接点が店頭になり、瞬時にクリッピング（後述）や商品購入（後述）という消費者行動を引き起こすことができる。   As described above, in the product information providing system 1 according to the present embodiment, by using various images as product images registered in the source information DB 1104, real products (products) can be obtained from flat media such as magazines. It is possible to immediately recognize the product and provide the product information from both the actual product and the Web site (digital space). As a result, it is possible to create a buying place in daily life instead of a distribution form waiting for a place to buy at a store or the Internet. That is, all the contacts that meet in life become storefronts, and can instantly cause consumer behavior such as clipping (described later) and product purchase (described later).

ソース情報ＤＢ１１０４には、さらに商品画像に対して音情報が登録されていてもよい。ここで、音情報とは、例えば、商品画像に含まれる商品のＣＭで用いられているナレーションや音楽、商品が発する音、音商標、又は、これらの内容を文字に起こした文字情報などであるが、特に限定されるものではない。   In the source information DB 1104, sound information may be registered for the product image. Here, the sound information is, for example, narration or music used in a commercial for a product included in a product image, sound produced by a product, a sound trademark, or character information obtained by causing these contents to be characters. However, it is not particularly limited.

画像認識部１１０３は、画像の照合及び解析を行う。すなわち、ソース情報ＤＢ１１０４に登録された商品画像の特徴点データ、及び、買い物カメラアプリ１００１でカメラ部１１０４から入力され、送信された特徴点データを用いて、端末１００のカメラ部１０４から入力された画像データに対応する商品ＩＤを取得する。より具体的には、まず、画像の照合として、画像認識部１１０３は、ソース情報ＤＢ１１０４を用いて、ソース情報ＤＢ１１０４に登録された商品画像の特徴点データと、端末１００のカメラ部１０４から入力された画像データの特徴点データとを比較し、画像データと特徴点データが一致又は近似する商品画像を特定し、当該商品画像に対応する商品ＩＤを取得する。取得した商品ＩＤを、買い物カメラアプリ１００１の問い合わせ処理部１００６に送信する。   The image recognition unit 1103 performs image collation and analysis. That is, the feature point data of the product image registered in the source information DB 1104 and the feature point data input from the camera unit 1104 in the shopping camera application 1001 and input from the camera unit 104 of the terminal 100 using the transmitted feature point data. The product ID corresponding to the image data is acquired. More specifically, first, as image collation, the image recognition unit 1103 uses the source information DB 1104 to input the feature point data of the product image registered in the source information DB 1104 and the camera unit 104 of the terminal 100. The feature point data of the image data is compared, a product image whose image data and feature point data match or approximate is specified, and a product ID corresponding to the product image is acquired. The acquired product ID is transmitted to the inquiry processing unit 1006 of the shopping camera application 1001.

また、画像認識部１１０３は、画像の解析として、例えば、端末１００のカメラ部１０４から入力された画像データの特徴点データと、ソース情報ＤＢ１１０４に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像の特徴点データとの一致率を算出する。   In addition, as an image analysis, for example, the image recognition unit 1103 is registered with the feature point data of the image data input from the camera unit 104 of the terminal 100 and the source information DB 1104. The coincidence rate with the feature point data of the product image whose feature point data matches or approximates is calculated.

画像認識部１１０３で決定された商品ＩＤ及び算出された一致率は、ＤＢ制御部１１０１に渡される。ＤＢ制御部１１０１は、商品ＩＤ及び一致率を、ユーザ情報ＤＢ１１０２に登録する。   The product ID determined by the image recognition unit 1103 and the calculated matching rate are passed to the DB control unit 1101. The DB control unit 1101 registers the product ID and the matching rate in the user information DB 1102.

さらに、ＤＢ制御部１１０１は、買い物カメラアプリ１００１のモニタリング部１０１１から送信されたユーザＩＤ及び商品ＩＤに基づいてユーザ情報ＤＢ１１０２にクリッピング履歴を登録する。   Furthermore, the DB control unit 1101 registers a clipping history in the user information DB 1102 based on the user ID and the product ID transmitted from the monitoring unit 1011 of the shopping camera application 1001.

また、ＤＢ制御部１１０１は、買い物カメラアプリ１００１の商品購入処理部１０１０が販売サイトサーバ５〜１０との間で行った商品購入を契機にして、買い物カメラアプリ１００１のモニタリング部１０１１から送信されたユーザＩＤ及び商品ＩＤに基づいて、ユーザ情報ＤＢ１１０２に購入履歴を登録する。   In addition, the DB control unit 1101 is transmitted from the monitoring unit 1011 of the shopping camera application 1001 when the product purchase processing unit 1010 of the shopping camera application 1001 makes a purchase with the sales site servers 5 to 10. A purchase history is registered in the user information DB 1102 based on the user ID and the product ID.

＜商品比較サイトサーバ＞
商品比較サイトサーバ３、４は、同一の商品について複数の販売サイトサーバ５〜１０から得た商品情報を一元的に提供する機能を有する。 <Product comparison site server>
The product comparison site servers 3 and 4 have a function of providing product information obtained from a plurality of sales site servers 5 to 10 for the same product in an integrated manner.

また、商品比較サイトサーバ３、４は、それぞれ異なる商品カテゴリの商品を取り扱っている。本実施の形態では、商品カテゴリとして、例えば、商品比較サイトサーバ３は家電を、商品サイト４は化粧品をそれぞれ取り扱っている。   The product comparison site servers 3 and 4 handle products of different product categories. In the present embodiment, as the product category, for example, the product comparison site server 3 handles household appliances, and the product site 4 handles cosmetics.

より詳細には、商品比較サイトサーバ３、４は、各商品について、価格比較、レビュー、口コミ及び画像・動画などの商品情報を持っている。このうち、価格比較としては、当該商品を取り扱っている販売サイトサーバが多数登録され、販売サイトサーバ５〜１０毎に、商品価格、送料、販売サイトサーバへのリンクなどが一覧できるようになっている。   More specifically, the product comparison site servers 3 and 4 have product information such as price comparison, review, word-of-mouth, and images / moving images for each product. Among these, for price comparison, a large number of sales site servers handling the product are registered, and for each sales site server 5-10, the product price, shipping cost, links to the sales site server, etc. can be listed. Yes.

＜販売サイトサーバ＞
販売サイトサーバ５〜１０は、それぞれ、商品の販売を行っており、購入商品の決定及び決済をオンラインで行うことができる。本実施の形態では、販売サイトサーバ５〜７が家電を取り扱い、商品比較サイトサーバ３に登録されている。一方、販売サイトサーバ８〜１０が化粧品を取り扱い、商品比較サイトサーバ４に登録されている。 <Sales site server>
Each of the sales site servers 5 to 10 sells merchandise, and can determine a purchased merchandise and make a settlement online. In the present embodiment, the sales site servers 5 to 7 handle home appliances and are registered in the product comparison site server 3. On the other hand, the sales site servers 8 to 10 handle cosmetics and are registered in the product comparison site server 4.

＜処理の流れ＞
以下、本実施の形態に係る商品情報提供システム１における処理の流れについて説明する。図７は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。なお、以下の説明では、商品比較サイトサーバ３及び販売サイトサーバ５を例に挙げて説明しているが、他の商品比較サイトサーバ４及び販売サイトサーバ６〜１０であっても同様であることは言うまでもない。 <Process flow>
Hereinafter, the flow of processing in the product information providing system 1 according to the present embodiment will be described. FIG. 7 is a flowchart for explaining processing in the shopping camera application in the product information providing system according to the present embodiment. In the following description, the product comparison site server 3 and the sales site server 5 are described as examples. However, the same applies to other product comparison site servers 4 and sales site servers 6 to 10. Needless to say.

買い物カメラアプリ１００１では、まず、カメラ部１０４を起動する（Ｓ１）と、撮影が行われるのを待機する（Ｓ２）。撮影が行われたならば（Ｓ２でＹｅｓ）、特徴点データ抽出部１００３が、撮影された画像データから特徴点データを抽出する（Ｓ３）。次に、端末情報取得部１００４が、端末情報として、ＧＰＳ受信部１０３及び時計部１１０から撮影が行われた日時及び地理的位置（座標）を取得する（Ｓ４）。そして、特徴点データ送信部１００５が、ユーザＩＤ、特徴点データ及び端末情報を管理サーバ２に送信する（Ｓ５）。   In the shopping camera application 1001, first, when the camera unit 104 is activated (S1), it waits for shooting (S2). If photographing has been performed (Yes in S2), the feature point data extraction unit 1003 extracts feature point data from the photographed image data (S3). Next, the terminal information acquisition unit 1004 acquires the date and time and the geographical position (coordinates) at which photographing was performed from the GPS reception unit 103 and the clock unit 110 as terminal information (S4). Then, the feature point data transmission unit 1005 transmits the user ID, feature point data, and terminal information to the management server 2 (S5).

図８は、本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。   FIG. 8 is a flowchart for explaining processing in the management server in the product information providing system according to the present embodiment.

管理サーバ２では、ＤＢ制御部１１０１が、買い物カメラアプリ１００１から、ユーザＩＤ、特徴点データ及び端末情報を受信する（Ｓ１１）。   In the management server 2, the DB control unit 1101 receives the user ID, feature point data, and terminal information from the shopping camera application 1001 (S11).

次に、ＤＢ制御部１１０１は、特徴点データを画像認識部１１０３に渡す（Ｓ１２）。次いで、ユーザＩＤ及び端末情報を、ユーザ情報ＤＢ１１０２に登録する（Ｓ１３）。   Next, the DB control unit 1101 passes the feature point data to the image recognition unit 1103 (S12). Next, the user ID and terminal information are registered in the user information DB 1102 (S13).

その後、ＤＢ制御部１１０１は、画像認識部１１０３から解析・照合の結果、すなわち、商品ＩＤ及び一致率を受信したか否かチェックする（Ｓ１４）。受信したならば（Ｓ１４でＹｅｓ）、ＤＢ制御部１１０１は、商品ＩＤ及び一致率をリクエストＩＤと対応付けてユーザ情報ＤＢ１１０２に登録する（Ｓ１５）。   Thereafter, the DB control unit 1101 checks whether or not the result of analysis / collation from the image recognition unit 1103, that is, the product ID and the matching rate is received (S14). If received (Yes in S14), the DB control unit 1101 registers the product ID and the matching rate in the user information DB 1102 in association with the request ID (S15).

図９は、本実施の形態に係る商品情報提供システムにおける管理サーバでの処理を説明するフローチャートである。   FIG. 9 is a flowchart for explaining processing in the management server in the product information providing system according to the present embodiment.

図９に示すように、画像認識部１１０３は、買い物カメラアプリ１００１から特徴点データを受け取ると（Ｓ２１）、ソース情報ＤＢ１１０４を検索し、特徴点データが相互に一致又は近似する商品画像を特定し、当該商品画像に対する商品ＩＤを取得する（Ｓ２２）。また、画像認識部１１０３は、買い物カメラアプリ１００１から受け取った特徴点データと商品画像の特徴点データとの一致率を算出する（Ｓ２３）。その後、画像認識部１１０３は、取得したサイトＩＤ及び商品ＩＤを、買い物カメラアプリ１００１の問い合わせ処理部１００６に送信し（Ｓ２４）、次いで、商品ＩＤ及び一致率をＤＢ制御部１１０１に渡す（Ｓ２５）。   As shown in FIG. 9, when the image recognition unit 1103 receives the feature point data from the shopping camera application 1001 (S21), the image recognition unit 1103 searches the source information DB 1104 to identify product images whose feature point data match or approximate each other. The product ID for the product image is acquired (S22). Further, the image recognition unit 1103 calculates a matching rate between the feature point data received from the shopping camera application 1001 and the feature point data of the product image (S23). Thereafter, the image recognition unit 1103 transmits the acquired site ID and product ID to the inquiry processing unit 1006 of the shopping camera application 1001 (S24), and then passes the product ID and matching rate to the DB control unit 1101 (S25). .

図１０は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。   FIG. 10 is a flowchart for explaining processing in the shopping camera application in the product information providing system according to the present embodiment.

図１０に示すように、買い物カメラアプリ１００１において、問い合わせ処理部１００６は、商品ＩＤを受信する（Ｓ３１）。次に、商品ＩＤが示す商品比較サイトサーバ３又は商品比較サイトサーバ４に対応する商品検索ＡＰＩを読み出し（Ｓ３２）、引数に商品ＩＤを追加した上で商品検索ＡＰＩを用いて、商品比較サイトサーバ３又は商品比較サイトサーバ４のうち商品ＩＤが示す一つに商品情報を要求する（Ｓ３３）。商品情報受信部１００７は、商品情報のＵＲＬを受信したか否かチェックし（Ｓ３４）、受信したならば（Ｓ３４でＹｅｓ）、商品情報のＵＲＬを用いて商品情報を受信し（Ｓ３５）、商品情報表示部１００８に渡す。商品情報表示部１００８は、商品情報をディスプレイ部１０５に表示する（Ｓ３６）。   As shown in FIG. 10, in the shopping camera application 1001, the inquiry processing unit 1006 receives a product ID (S31). Next, the product search API corresponding to the product comparison site server 3 or the product comparison site server 4 indicated by the product ID is read (S32), the product ID is added to the argument, and then the product search API is used. 3 or the product comparison site server 4 requests product information to one indicated by the product ID (S33). The product information receiving unit 1007 checks whether or not the URL of the product information has been received (S34), and if received (Yes in S34), receives the product information using the URL of the product information (S35), The information is displayed to the information display unit 1008. The product information display unit 1008 displays the product information on the display unit 105 (S36).

図１１は、本実施の形態に係る商品情報提供システムにおける買い物カメラアプリでの処理を説明するフローチャートである。図１１に示すように、買い物カメラアプリ１００１では、モニタリング部１０１１は、商品購入処理部１０１０で商品が購入されたか否かチェックする（Ｓ４１）。   FIG. 11 is a flowchart for explaining processing in the shopping camera application in the product information providing system according to the present embodiment. As shown in FIG. 11, in the shopping camera application 1001, the monitoring unit 1011 checks whether or not a product has been purchased by the product purchase processing unit 1010 (S41).

商品が購入されないならば（Ｓ４１でＮｏ）、モニタリング部１０１１は、クリッピング処理部１００９で、商品情報がクリッピングされたか否かチェックする（Ｓ４２）。クリッピングが行われたならば（Ｓ４２でＹｅｓ）、モニタリング部１０１１は、クリッピングされた商品の商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する（Ｓ４３）。ＤＢ制御部１１０１は、受け取った商品ＩＤに基づいてユーザ情報ＤＢ１１０２にクリッピング履歴を登録する。   If the product is not purchased (No in S41), the monitoring unit 1011 checks whether or not the product information is clipped by the clipping processing unit 1009 (S42). If clipping has been performed (Yes in S42), the monitoring unit 1011 transmits the product ID of the clipped product to the DB control unit 1101 of the management server 2 (S43). The DB control unit 1101 registers a clipping history in the user information DB 1102 based on the received product ID.

一方、クリッピングが行われないならば（Ｓ４２でＮｏ）、モニタリング部１０１１は、商品情報の表示が終了したか否かチェックする（Ｓ４４）。商品情報の表示が終了していないならば（Ｓ４４でＮｏ）、Ｓ４１に戻る。一方、モニタリング部１０１１は、商品情報の表示が終了したならば（Ｓ４４でＹｅｓ）、処理を終了する。   On the other hand, if clipping is not performed (No in S42), the monitoring unit 1011 checks whether or not the display of the product information is completed (S44). If the display of the merchandise information is not completed (No in S44), the process returns to S41. On the other hand, if the display of the product information is completed (Yes in S44), the monitoring unit 1011 ends the process.

商品購入処理部１０１０により、例えば、販売サイトサーバ５との間で商品の購入が行われると、販売サイトサーバ５は、商品比較サイトサーバ３に対して、商品比較サイトサーバ３が提供した商品情報に基づいて商品の購入が行われたことを通知するため、商品ＩＤを送信する。商品比較サイトサーバ３は、管理サーバ２に購入が行われた商品ＩＤを買い物カメラアプリ１００１に送信する。買い物カメラアプリ１００１では、商品が購入されたならば（Ｓ４１でＹｅｓ）、商品比較サイトサーバ３からの商品ＩＤの受信を待機し（Ｓ４５）、商品ＩＤを受信したならば（Ｓ４５でＹｅｓ）、管理サーバ２のＤＢ制御部１１０１に送信する（Ｓ４３）。管理サーバ２では、ＤＢ制御部１１０１が、買い物カメラアプリ１００１から送信された商品ＩＤに基づいて、ユーザ情報ＤＢ１１０２に購入履歴を登録する。   For example, when a product is purchased with the sales site server 5 by the product purchase processing unit 1010, the sales site server 5 provides the product information provided by the product comparison site server 3 to the product comparison site server 3. In order to notify that the purchase of the product has been performed based on the product ID, the product ID is transmitted. The product comparison site server 3 transmits the product ID purchased by the management server 2 to the shopping camera application 1001. In the shopping camera application 1001, if a product is purchased (Yes in S41), it waits for reception of a product ID from the product comparison site server 3 (S45), and if a product ID is received (Yes in S45), The data is transmitted to the DB control unit 1101 of the management server 2 (S43). In the management server 2, the DB control unit 1101 registers a purchase history in the user information DB 1102 based on the product ID transmitted from the shopping camera application 1001.

以下、本実施の形態に係る商品情報提供システム１における情報のやり取りについて、図面を参照して説明する。なお、以下の説明では、商品比較サイトサーバ３及び販売サイトサーバ５を例に挙げて説明しているが、他の商品比較サイトサーバ４及び販売サイトサーバ６〜１０であっても同様であることは言うまでもない。   Hereinafter, the exchange of information in the product information providing system 1 according to the present embodiment will be described with reference to the drawings. In the following description, the product comparison site server 3 and the sales site server 5 are described as examples. However, the same applies to other product comparison site servers 4 and sales site servers 6 to 10. Needless to say.

図１２は、本実施の形態に係る商品情報提供システムにおける情報のやり取りを示すブロック図である。図１２に示すように、まず、画像の取得を行う（Ｓ１０１）。画像の取得には、カメラ部１０４による実際の商品そのものの撮影、雑誌などの平面媒体に使用されている商品の画像の撮影が含まれる。ここで、撮影には、静止画の撮影及び動画の撮影が含まれる。   FIG. 12 is a block diagram showing information exchange in the product information providing system according to the present embodiment. As shown in FIG. 12, first, an image is acquired (S101). Acquisition of an image includes photographing an actual product itself by the camera unit 104 and photographing an image of a product used in a flat medium such as a magazine. Here, shooting includes still image shooting and moving image shooting.

また、画像の取得には、図４に示す画面取込部１００２によりディスプレイ部１０４に表示された画面の少なくとも一部を取り込む（キャプチャ又はスクリーンショット）ことが含まれる。例えば、インターネットブラウザが表示したＷｅｂサイトの画面を、例えば、買い物カメラアプリ１１０１や、インターネットブラウザのような他のアプリケーションプログラム又はＯＳが取り込むことができる。   Acquisition of an image includes capturing at least a part of a screen displayed on the display unit 104 (capture or screen shot) by the screen capturing unit 1002 illustrated in FIG. For example, the website screen displayed by the Internet browser can be captured by, for example, the shopping camera application 1101 or another application program such as the Internet browser or the OS.

さらに、画像の取得と共に、画像データに関連する音データの記録を行うこともできる。この場合、音データの記録は、マイク部１１１により音を検出し、電気信号に変換し、中央制御部１１１に出力する。中央制御部１１１は、入力された電気信号を音データに変換し、特徴点データ送信部１００５に渡す。特徴点データ送信部１００５は、特徴点データと共に、音データをＤＢ制御部１００１に送信する。   Furthermore, sound data related to the image data can be recorded together with the image acquisition. In this case, the sound data is recorded by detecting the sound by the microphone unit 111, converting it into an electric signal, and outputting it to the central control unit 111. The central control unit 111 converts the input electrical signal into sound data and passes it to the feature point data transmission unit 1005. The feature point data transmission unit 1005 transmits the sound data together with the feature point data to the DB control unit 1001.

次に、買い物カメラアプリ１００１において、画像の取得（Ｓ１０１）が行われると、特徴点データ及び端末情報がＤＢ制御部１１０１に送信される。   Next, when the shopping camera application 1001 acquires an image (S101), the feature point data and the terminal information are transmitted to the DB control unit 1101.

特徴点データ及び端末１００の宛先情報（例えば、端末１００のプロダクトＩＤ、ＩＰアドレス、ユーザＩＤ、買い物カメラアプリ１００１のプロダクトＩＤなど）が、ＤＢ制御部１１０１から画像認識部１００３に送信され、画像解析（Ｓ１０２）及び画像照合（Ｓ１０３）に用いられる。   The feature point data and the destination information of the terminal 100 (for example, the product ID of the terminal 100, the IP address, the user ID, the product ID of the shopping camera application 1001, etc.) are transmitted from the DB control unit 1101 to the image recognition unit 1003 for image analysis. (S102) and image collation (S103).

また、ＤＢ制御部１１０１では、買い物カメラアプリ１００１から受信した端末情報がユーザ情報ＤＢ１１０２に登録される（Ｓ１０４）。   In the DB control unit 1101, the terminal information received from the shopping camera application 1001 is registered in the user information DB 1102 (S104).

さらに、ＤＢ制御部１１０１では、ソース情報ＤＢ１１０４への商品画像の特徴点データ、商品ＩＤの登録（Ｓ１０５）が行われる。   Further, the DB control unit 1101 registers product image feature point data and product ID in the source information DB 1104 (S105).

画像認識部１１０３において、ソース情報ＤＢ１１０４を用いた画像照合（Ｓ１０３）が行われ、その結果、取得された商品ＩＤが、宛先情報を用いて端末１００へ送信される。   The image recognition unit 1103 performs image collation (S103) using the source information DB 1104, and as a result, the acquired product ID is transmitted to the terminal 100 using the destination information.

また、画像認識部１１０３において、画像解析（Ｓ１０２）が行われ、その結果、すなわち、本実施の形態では一致率が、ＤＢ制御部１１０１に送信され、ユーザ情報ＤＢ１１０２への登録（Ｓ１０４）が行われる。   Further, the image recognition unit 1103 performs image analysis (S102), and as a result, that is, in this embodiment, the matching rate is transmitted to the DB control unit 1101 and registered in the user information DB 1102 (S104). Is called.

上述のように、画像の取得（Ｓ１０１）と共に、画像データに関連する音データの記録を行う場合、ソース情報ＤＢ１１０４に商品画像に対応付けて音情報がさらに登録され、音情報、及び、音データをさらに用いて、画像データ及び音データに対応する商品ＩＤを取得する。より具体的には、ソース情報ＤＢ１１０４に商品画像に対応付けて音情報をさらに登録しておき、画像認識部１１０３が、端末１００から送信された音データと、ソース情報ＤＢ１１０４に登録された音情報とを照合し、一致又は近似する音情報を特定し、特徴点データに音情報を組み合わせて、画像データに対応する商品ＩＤを得ることもできる。また、画像認識部１１０３が、ソース情報ＤＢ１１０４には商品の商品名がさらに登録されていれば、音データから音声を認識してテキストを取得し、画像認識部１１０３が特徴点データにテキストを組み合わせて商品ＩＤを得ることもできる。   As described above, when sound data related to image data is recorded together with image acquisition (S101), sound information is further registered in the source information DB 1104 in association with the product image, and the sound information and sound data are recorded. Is further used to obtain the product ID corresponding to the image data and the sound data. More specifically, sound information is further registered in the source information DB 1104 in association with the product image, and the image recognition unit 1103 transmits the sound data transmitted from the terminal 100 and the sound information registered in the source information DB 1104. Are identified, sound information that matches or approximates is specified, and the sound information is combined with the feature point data to obtain a product ID corresponding to the image data. Also, if the product name of the product is further registered in the source information DB 1104, the image recognition unit 1103 recognizes voice from the sound data and acquires text, and the image recognition unit 1103 combines the text with the feature point data. Product ID can be obtained.

このように、音データを利用する場合、例えば、端末１００において、テレビＣＭをカメラ部１０４で撮影すると共に、テレビＣＭの音を、マイク１１１を介して記録し、端末１００が特徴点データ及び音データを管理サーバ２に送信する。一方、管理サーバ２では、ソース情報ＤＢ１１０４に、テレビＣＭで用いられている商品画像と共に、同じくテレビＣＭで用いられているナレーションや音楽の音情報が登録されている。そして、画像認識部１１０４では、画像照合（Ｓ１０３）の際に、端末１００から送信された音データと、ソース情報ＤＢ１１０４に登録された音情報とを照合することで、端末１００で撮影した商品をより高い精度で特定することができるようになる。   In this way, when using sound data, for example, in the terminal 100, the TV CM is shot by the camera unit 104, and the sound of the TV CM is recorded via the microphone 111, and the terminal 100 records the feature point data and the sound. Data is transmitted to the management server 2. On the other hand, in the management server 2, narration and music sound information also used in the television CM are registered in the source information DB 1104 together with the product images used in the television CM. Then, the image recognition unit 1104 collates the sound data transmitted from the terminal 100 and the sound information registered in the source information DB 1104 at the time of image collation (S103), so that the product photographed by the terminal 100 is obtained. It becomes possible to specify with higher accuracy.

買い物カメラアプリ１００１は、画像認識部１１０３から商品ＩＤを受信すると、商品情報の問い合わせ（Ｓ１０６）を行う。すなわち、買い物カメラアプリ１００１は、サイトＩＤを用いて商品比較サイトサーバ３を特定し、さらに商品ＩＤを商品比較サイトサーバ３に送信し、対応する商品の商品情報のＵＲＬの送信を要求する。   Upon receiving the product ID from the image recognition unit 1103, the shopping camera application 1001 makes an inquiry about product information (S106). That is, the shopping camera application 1001 specifies the product comparison site server 3 using the site ID, further transmits the product ID to the product comparison site server 3, and requests transmission of the URL of the product information of the corresponding product.

これに対し、商品比較サイトサーバ３では、買い物カメラアプリ１００１から受信した商品ＩＤに基づいて、商品情報ＤＢの照合（Ｓ１０７）を行い、商品情報を提示するホームページのＵＲＬ（商品情報ＵＲＬ）を、買い物カメラアプリ１００１に返信する。   On the other hand, in the product comparison site server 3, the product information DB is collated (S107) based on the product ID received from the shopping camera application 1001, and the URL (product information URL) of the home page that presents the product information is obtained. Reply to the shopping camera application 1001.

買い物カメラアプリ１００１では、商品情報ＵＲＬを用いて、商品情報の取得及び表示（Ｓ１０８）を行う。すなわち、買い物カメラアプリ１００１から、商品比較サイトサーバ３に対して、商品情報ＵＲＬを用いた商品情報のリクエストが送信される。これに対応して、商品比較サイトサーバ３において、商品情報ＵＲＬに対応する商品情報の提供（Ｓ１０９）が行われ、商品情報がレスポンスとして買い物カメラアプリ１００１に送信される。買い物カメラアプリ１００１では、受信した商品情報を表示する（Ｓ１０８）。   The shopping camera application 1001 acquires and displays product information (S108) using the product information URL. That is, the shopping camera application 1001 transmits a product information request using the product information URL to the product comparison site server 3. Correspondingly, the product comparison site server 3 provides product information corresponding to the product information URL (S109), and the product information is transmitted as a response to the shopping camera application 1001. The shopping camera application 1001 displays the received product information (S108).

ここで、管理サーバ２の画像認識部１１０３から受信した商品ＩＤが複数であって場合、商品情報の取得を、受信した商品ＩＤの分だけ繰り返し、複数の商品情報を一緒に入手して同時に表示することができる。したがって、例えば、買い物カメラアプリ１００１である雑誌の１ページを撮影したときに複数の商品が写っている場合、管理サーバ２の画像認識部１１０３での照会により、当該雑誌の該当ページをソースとする商品画像が特定され、商品画像に対応付けられた複数の商品ＩＤが買い物カメラアプリ１００１に送信されるので、買い物カメラアプリ１００１では、当該雑誌の該当ページに含まれる複数の商品の商品情報を、例えば、リストやタイル状に同時に表示することができる。同様に、本実施の形態に係る商品情報提供システム１によれば、例えば、テレビＣＭのような動画で一つのシーンに複数の商品が含まれている場合や、複数の現実の商品が一つの展示ブースに陳列されている場合にも、買い物カメラアプリ１００１は、複数の商品の商品情報を一緒に入手して同時に表示することができる。   Here, when there are a plurality of product IDs received from the image recognition unit 1103 of the management server 2, the acquisition of the product information is repeated for the received product ID, and a plurality of product information is obtained and displayed at the same time. can do. Therefore, for example, when a plurality of products are captured when one page of a magazine that is the shopping camera application 1001 is photographed, the corresponding page of the magazine is set as a source by an inquiry in the image recognition unit 1103 of the management server 2. Since the product image is specified and the plurality of product IDs associated with the product image are transmitted to the shopping camera application 1001, the shopping camera application 1001 stores the product information of the plurality of products included in the corresponding page of the magazine. For example, it can be displayed simultaneously in a list or tile form. Similarly, according to the product information providing system 1 according to the present embodiment, for example, when a plurality of products are included in one scene in a moving image such as a TV commercial, Even when displayed in the exhibition booth, the shopping camera application 1001 can simultaneously obtain and display product information of a plurality of products.

さらに、買い物カメラアプリ１００１は、クリッピング（Ｓ１１０）が行われると、ユーザＩＤ、及び、クリッピングが行われた商品の商品ＩＤをＤＢ制御部１１０１に送信し、ＤＢ制御部１１０１では、ユーザ情報ＤＢ１１０２へのクリッピング履歴の登録（Ｓ１０４）が行われる。商品ＩＤと共に、クリッピング日時、クリッピング位置情報、ユーザ記入メモが、ＤＢ制御部１１０１に送信され、登録されるようにしてもよい。ここで、クリッピング日時及びクリッピング位置情報とは、モニタリング部１０１１が、クリッピング（Ｓ１１０）が行われた日時を時計部１１０から、地理的位置をＧＰＳ受信部１０３からそれぞれ取得したものである。ユーザ記入メモとは、クリッピング（Ｓ１１０）の際に、買い物カメラアプリ１００１を介してユーザが入力した文字情報である。   Further, when clipping (S110) is performed, the shopping camera application 1001 transmits the user ID and the product ID of the product for which clipping has been performed to the DB control unit 1101, and the DB control unit 1101 transfers the user ID to the user information DB 1102. The clipping history is registered (S104). Along with the product ID, the clipping date and time, clipping position information, and user entry memo may be transmitted to the DB control unit 1101 and registered. Here, the clipping date and time and the clipping position information are obtained by the monitoring unit 1011 acquiring the date and time when clipping (S110) was performed from the clock unit 110 and the geographical position from the GPS receiving unit 103, respectively. The user entry memo is character information input by the user via the shopping camera application 1001 during clipping (S110).

また、買い物カメラアプリ１００１で、商品購入（Ｓ１１１）が行われると、販売サイトサーバ５において、商品販売（Ｓ１１２）が行われる。より詳細には、買い物カメラアプリ１００１が、商品情報として、販売サイトサーバ５に対応する販売サイトページを受信、表示し、販売サイトページに埋め込まれたリンクから、販売サイトサーバ５に遷移する。そして、買い物カメラアプリ１００１上で、ユーザは、販売サイトサーバ５と商品の購入手続を行い、商品を購入する。商品販売（Ｓ１１２）が行われると、販売サイトサーバ５は、販売された商品の商品ＩＤを商品比較サイトサーバ３に送信する。商品比較サイトサーバ３は、当該商品ＩＤを買い物カメラアプリ１００１に送信する。買い物カメラアプリ１００１は、ユーザＩＤ及び当該商品ＩＤをＤＢ制御部１１０１に送信し、ＤＢ制御部１１０１では、ユーザ情報ＤＢ１１０２への購入履歴の登録（Ｓ１０４）が行われる。   When the shopping camera application 1001 performs product purchase (S111), the sales site server 5 performs product sales (S112). More specifically, the shopping camera application 1001 receives and displays a sales site page corresponding to the sales site server 5 as product information, and transitions to the sales site server 5 from a link embedded in the sales site page. Then, on the shopping camera application 1001, the user performs a purchase procedure for the product with the sales site server 5, and purchases the product. When the product sale (S112) is performed, the sale site server 5 transmits the product ID of the sold product to the product comparison site server 3. The product comparison site server 3 transmits the product ID to the shopping camera application 1001. The shopping camera application 1001 transmits the user ID and the product ID to the DB control unit 1101, and the DB control unit 1101 registers a purchase history in the user information DB 1102 (S104).

以下、本実施の形態に係る商品情報提供システム１における端末１００、管理サーバ２、商品比較サイトサーバ３及び販売サイトサーバ５の間での処理の流れを、シーケンス図を用いて説明する。なお、以下の説明では、商品比較サイトサーバ３及び販売サイトサーバ５を例に挙げて説明しているが、他の商品比較サイトサーバ４及び販売サイトサーバ６〜１０であっても同様であることは言うまでもない。   Hereinafter, the flow of processing among the terminal 100, the management server 2, the product comparison site server 3, and the sales site server 5 in the product information providing system 1 according to the present embodiment will be described with reference to sequence diagrams. In the following description, the product comparison site server 3 and the sales site server 5 are described as examples. However, the same applies to other product comparison site servers 4 and sales site servers 6 to 10. Needless to say.

図１３は、本実施の形態に係る商品情報システムにおける端末及び管理サーバの間での処理の流れを示すシーケンス図である。図１３に示すように、まず、端末１００において、カメラ部１０４により画像の撮影が行われる（Ｓ２０１）と、特徴点データの抽出（Ｓ２０２）及び端末情報の取得（Ｓ２０３）が行われる。   FIG. 13 is a sequence diagram showing a flow of processing between the terminal and the management server in the product information system according to the present embodiment. As shown in FIG. 13, first, in the terminal 100, when the camera unit 104 captures an image (S201), feature point data extraction (S202) and terminal information acquisition (S203) are performed.

次いで、端末１００から管理サーバ２のＤＢ制御部１１０１に特徴点データが送信される（Ｓ２０４）と、ＤＢ制御部１１０１から画像認識部１１０３に特徴点データ及び宛先情報が送信される（Ｓ２０５）。   Next, when the feature point data is transmitted from the terminal 100 to the DB control unit 1101 of the management server 2 (S204), the feature point data and the destination information are transmitted from the DB control unit 1101 to the image recognition unit 1103 (S205).

また、端末１００からＤＢ制御部１１０１に端末情報が送信される（Ｓ２０６）と、ＤＢ制御部１１０１がユーザ情報ＤＢ１１０２に端末情報を登録する（Ｓ２０７）。   When terminal information is transmitted from the terminal 100 to the DB control unit 1101 (S206), the DB control unit 1101 registers the terminal information in the user information DB 1102 (S207).

画像認識部１１０３では、端末１００から受信した特徴点データを用いてソース情報ＤＢ１１０４を照合して商品ＩＤを取得する（Ｓ２０８）。次いで、画像認識部１１０３は、宛先情報を用いて商品ＩＤを端末１００に送信する（Ｓ２０９）。   The image recognizing unit 1103 collates the source information DB 1104 using the feature point data received from the terminal 100 to acquire the product ID (S208). Next, the image recognition unit 1103 transmits the product ID to the terminal 100 using the destination information (S209).

また、画像認識部１１０３は、画像解析を行い（Ｓ２１０）、解析結果をＤＢ制御部１１０１に送信する（Ｓ２１１）。ＤＢ制御部１１０１は、解析結果をユーザ情報ＤＢ１１０２に登録する（Ｓ２１２）。   The image recognition unit 1103 performs image analysis (S210), and transmits the analysis result to the DB control unit 1101 (S211). The DB control unit 1101 registers the analysis result in the user information DB 1102 (S212).

図１４は、本実施の形態に係る商品情報システムにおける端末及び商品比較サイトサーバの間での処理の流れを示すシーケンス図である。図１４に示すように、端末１００は、画像認識部１１０３からサイトＩＤ及び商品ＩＤを受信する（Ｓ３０１）と、サイトＩＤを用いて商品比較サイトサーバ３を特定して商品ＩＤを送信する（Ｓ３０２）。   FIG. 14 is a sequence diagram showing a flow of processing between the terminal and the product comparison site server in the product information system according to the present embodiment. As illustrated in FIG. 14, when the terminal 100 receives the site ID and the product ID from the image recognition unit 1103 (S301), the terminal 100 specifies the product comparison site server 3 using the site ID and transmits the product ID (S302). ).

商品比較サイトサーバ３は、端末１００から受信した商品ＩＤに基づいて、商品情報ＤＢの照合を行う（Ｓ３０３）。その結果、商品ＩＤに対応する商品情報を提示するホームページのＵＲＬ（商品情報ＵＲＬ）を取得する。次いで、商品比較サイトサーバ３は、取得した商品情報ＵＲＬを端末１００に送信する（Ｓ３０４）。   The product comparison site server 3 collates the product information DB based on the product ID received from the terminal 100 (S303). As a result, the URL (product information URL) of the homepage that presents the product information corresponding to the product ID is acquired. Next, the product comparison site server 3 transmits the acquired product information URL to the terminal 100 (S304).

次に、端末１００は、商品比較サイトサーバ３に対して、商品情報ＵＲＬを用いた商品情報のリクエストを送信する（Ｓ３０５）。これに対応して、商品比較サイトサーバ３は、商品情報ＵＲＬに対応する商品情報を端末１００に返信する（Ｓ３０６）。端末１００は、受信した商品情報をディスプレイ部１０５に表示する（Ｓ３０７）。   Next, the terminal 100 transmits a request for product information using the product information URL to the product comparison site server 3 (S305). In response to this, the product comparison site server 3 returns product information corresponding to the product information URL to the terminal 100 (S306). The terminal 100 displays the received product information on the display unit 105 (S307).

さらに、端末１００においてクリッピング（Ｓ３０８）が行われると、端末１００は、ユーザＩＤ、及び、クリッピングが行われた商品の商品ＩＤを管理サーバ２へ送信する（Ｓ３０９）。管理サーバ２では、ＤＢ制御部１１０１が、受信した商品ＩＤに基づいてユーザ情報ＤＢ１１０２にクリッピング履歴を登録する。   Furthermore, when clipping (S308) is performed in the terminal 100, the terminal 100 transmits the user ID and the product ID of the product for which clipping has been performed to the management server 2 (S309). In the management server 2, the DB control unit 1101 registers a clipping history in the user information DB 1102 based on the received product ID.

また、端末１００と販売サイトサーバ５との間で商品購入が行われる（Ｓ３１０）と、販売サイトサーバ５は、販売された商品の商品ＩＤを商品比較サイトサーバ３に送信する（Ｓ３１１）。次いで、商品比較サイトサーバ３は、当該商品ＩＤを、端末１００に送信する（Ｓ３１２）。端末１００は、ユーザＩＤ及び当該商品ＩＤを管理サーバ２のＤＢ制御部１１０１に送信する（Ｓ３１３）。ＤＢ制御部１１０１では、ユーザ情報ＤＢ１１０２へ購入履歴が登録される。   Further, when a product is purchased between the terminal 100 and the sales site server 5 (S310), the sales site server 5 transmits the product ID of the sold product to the product comparison site server 3 (S311). Next, the product comparison site server 3 transmits the product ID to the terminal 100 (S312). The terminal 100 transmits the user ID and the product ID to the DB control unit 1101 of the management server 2 (S313). In the DB control unit 1101, the purchase history is registered in the user information DB 1102.

なお、以上説明した処理の順番は一例に過ぎず、当業者であれば適宜変更可能であることは容易に理解されるであろう。また、以上の説明において、端末１００とある記載を、買い物カメラアプリ１００１と読み替えることにより、買い物カメラアプリ１００１の処理についても容易に理解することができるであろう。   It should be noted that the order of the processing described above is merely an example, and those skilled in the art will easily understand that the order can be changed as appropriate. Further, in the above description, the description of the terminal 100 can be read as the shopping camera application 1001 so that the processing of the shopping camera application 1001 can be easily understood.

以上説明したように、本実施の形態に係る商品情報提供システム１によれば、管理サーバ２は、特徴点データを用いて商品画像を特定し、それに対応する、識別情報としてのサイトＩＤ及び商品ＩＤを取得し、端末１００に送信する。端末１００は、受信したサイトＩＤに基づいて複数の商品比較サイト３、４のうち一つを選択し、商品ＩＤを用いて商品情報の取得を要求することができる。これにより、複数の商品比較サイトサーバ３、４のうち、画像データに含まれている商品の情報を取り扱っている一つの商品比較サイトサーバが選択されるので、端末１００のユーザは、商品比較サイトの選択を行うことなく、必要な商品情報を取得することができる。つまり、端末１００のユーザは、商品を調べたいときに、当該商品について調べるのに最も適切と思われる商品比較サイトを選び、インターネットブラウザを用いて当該商品比較サイトにアクセスしたり、当該商品比較サイトの専用アプリを用いて商品を検索したり、する必要がない。この結果、迅速かつ簡便に商品比較サイトから必要な情報を取得することができる。   As described above, according to the product information providing system 1 according to the present embodiment, the management server 2 identifies the product image using the feature point data, and corresponds to the site ID and the product as identification information. The ID is acquired and transmitted to the terminal 100. The terminal 100 can select one of the plurality of product comparison sites 3 and 4 based on the received site ID and request acquisition of product information using the product ID. As a result, one product comparison site server that handles information on the product included in the image data is selected from among the plurality of product comparison site servers 3 and 4, so that the user of the terminal 100 can select the product comparison site. Necessary product information can be acquired without making a selection. That is, when the user of the terminal 100 wants to check a product, he selects a product comparison site that seems to be most suitable for checking the product, and accesses the product comparison site using an Internet browser, or the product comparison site. There is no need to search for or use a dedicated app. As a result, necessary information can be acquired quickly and easily from the product comparison site.

また、本実施の形態に係る商品情報提供システム１によれば、ソース情報ＤＢ１１０４は、図６に示すように、商品画像に対して、商品画像のソース（出所）にユニークに割り当てられたソースＩＤを付与し、さらに、一つのソースＩＤに対して商品画像に含まれる、少なくとも１つの商品の商品ＩＤが対応付けて登録されるように構成されているので、一つの商品ＩＤは複数の商品画像と対応付けることが可能であるため、ユーザは、複数のソースから同一の商品の商品情報を取得することができる。例えば、同一の商品が、平面媒体、実際の商品又はデジタル空間のような種々の媒体を介して、又は、様々なプロモーションや消費者間のコミュニケーション（口コミなど）を通じて、広く知られた場合に、それぞれの媒体で用いられた商品画像を利用して、当該商品の商品情報を商品比較サイトサーバ３、４から取得することができる。   Further, according to the product information providing system 1 according to the present embodiment, the source information DB 1104 has a source ID uniquely assigned to the source (source) of the product image for the product image, as shown in FIG. In addition, the product ID of at least one product included in the product image is registered in association with one source ID, so that one product ID has a plurality of product images. Therefore, the user can obtain product information of the same product from a plurality of sources. For example, if the same product is widely known through various media such as flat media, actual product or digital space, or through various promotions and communication between consumers (such as word of mouth) The product information of the product can be acquired from the product comparison site servers 3 and 4 using the product image used in each medium.

管理サーバ２において、特にソース情報ＤＢ１１０４に登録されている商品画像が広告メディアに使用されているものである場合には、ユーザ情報ＤＢ１１０２に蓄積されたユーザＩＤ、端末情報、商品ＩＤなどを利用することにより、広告効果を評価することができる。   In the management server 2, when the product image registered in the source information DB 1104 is used for advertising media, the user ID, terminal information, product ID, etc. stored in the user information DB 1102 are used. Thus, the advertising effect can be evaluated.

また、端末１００では、情報表示処理部１００８による商品情報の表示が終了するまで、モニタリング部１０１１が、商品購入やクリッピングが行われたかどうかをモニタし、画像の撮影から商品情報の表示に至る一連の処理の結果として、商品が購入されたり、商品情報のクリッピングが行われたり、といったユーザ行動を把握し、ユーザ情報ＤＢ１１０２に登録することができる。   In the terminal 100, the monitoring unit 1011 monitors whether the product purchase or clipping has been performed until the display of the product information by the information display processing unit 1008 is completed, and a series of operations from image capturing to product information display. As a result of this process, it is possible to grasp user behavior such as purchase of a product or clipping of product information and register it in the user information DB 1102.

また、上述の一致率を用いることにより、一致率が閾値よりも高い場合は、カメラ部１０４で撮影された画像が、ソース情報ＤＢ１１０４に登録された商品画像と同一であると判断し、ユーザが広告メディアで使用された画像を撮影したと推察する。一方、一致率が閾値よりも低い場合は、カメラ部１０４で撮影された画像が、実際の商品を撮影したものであると推察する。このように、一致率に基づいて、特徴点データを用いた商品画像の検索、商品の購入や商品情報のクリッピングが、広告メディアによる効果なのか、口コミや商品展示などの広告メディア以外の情報に基づく効果なのか評価することが可能になる。   Further, by using the above-described matching rate, when the matching rate is higher than the threshold value, it is determined that the image captured by the camera unit 104 is the same as the product image registered in the source information DB 1104, and the user Inferring that the images used in the advertising media were taken. On the other hand, when the matching rate is lower than the threshold value, it is assumed that the image captured by the camera unit 104 is an image of an actual product. In this way, based on the matching rate, whether product image search using feature point data, product purchase, or product information clipping is the effect of advertising media, information such as word-of-mouth or product display can be used for information other than advertising media. It is possible to evaluate whether the effect is based.

なお、本発明は上記実施の形態に限定されず、種々変更して実施することが可能であり、本発明の効果を発揮する範囲内で適宜変更することが可能である。   In addition, this invention is not limited to the said embodiment, It can change variously and can implement suitably in the range which exhibits the effect of this invention.

上記実施の形態では、端末１００で撮影した画像データの特徴点データを用いて、管理サーバ２が商品画像を特定し、対応付けられた商品ＩＤを取得しているが、これに限定されるものではない。商品画像のような画像関連情報に替えて、例えば、商品に関するテキスト、商品識別バーコード（例えば、ＪＡＮコード）、音データ、商品が掲載されたＷｅｂページのＵＲＬやタイトルなどのＷｅｂページ関連情報を、商品検索キーとして用いることができる。つまり、ソース情報ＤＢ１１０２において、商品に関する商品検索キーと商品ＩＤとを対応付けて登録しておき、端末１００から、例えば、特徴点データのような画像関連情報、テキスト、商品識別バーコード、音情報又はＷｅｂページ関連情報のような検索条件情報を受信し、検索条件情報に対応する商品ＩＤを取得し、端末１００に送信することができる。   In the above embodiment, the management server 2 identifies the product image using the feature point data of the image data captured by the terminal 100 and acquires the associated product ID. However, the present invention is not limited to this. is not. In place of image-related information such as product images, for example, Web page related information such as text on products, product identification barcodes (for example, JAN codes), sound data, URLs and titles of Web pages on which products are posted, etc. Can be used as a product search key. That is, in the source information DB 1102, a product search key related to a product and a product ID are registered in association with each other, and from the terminal 100, for example, image-related information such as feature point data, text, product identification barcode, sound information Alternatively, it is possible to receive search condition information such as Web page related information, obtain a product ID corresponding to the search condition information, and transmit it to the terminal 100.

より具体的には、例えば、端末１００において、端末１００のキーボード（図せず）でテキストの入力を受け付け、管理サーバ２にネットワークインターフェイス１０２を介して送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、テキストと商品ＩＤとが対応付けて登録されており、端末１００から受信したテキストを用いて商品ＩＤを取得する。テキストの入力は、例えば、カメラ部１０４で撮影した画像データからＯＣＲ機能によりテキストを認識しても良い。また、マイク部１１１により入力された音声データからテキストを音声認識しても良い。ＯＣＲ機能及び音声認識機能は、プログラムを中央制御部１０１で実行することにより実現される。   More specifically, for example, in the terminal 100, text input is received with a keyboard (not shown) of the terminal 100 and transmitted to the management server 2 via the network interface 102. In the management server 2, the text and the product ID are registered in association with each other in the resource information DB 1104, and the product ID is acquired using the text received from the terminal 100. For example, text may be recognized from image data captured by the camera unit 104 using an OCR function. In addition, text may be recognized as voice from voice data input by the microphone unit 111. The OCR function and the voice recognition function are realized by executing a program by the central control unit 101.

また、端末１００が、カメラ部１０４で商品バーコードを含む画像データを取得し、画像データからバーコードリーダ機能により商品識別用バーコードを読み取り、読み取ったバーコード情報を、ネットワークインターフェイス１０２を介して管理サーバ２に送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、バーコード情報と商品ＩＤとが対応付けて登録されており、端末１００から受信したバーコードを用いて商品ＩＤを取得する。なお、バーコードリーダ機能は、プログラムを中央制御部１０１で実行することにより実現される。   Further, the terminal 100 acquires image data including a product barcode with the camera unit 104, reads a product identification barcode from the image data using a barcode reader function, and reads the read barcode information via the network interface 102. It transmits to the management server 2. In the management server 2, the barcode information and the product ID are registered in the resource information DB 1104 in association with each other, and the product ID is acquired using the barcode received from the terminal 100. The barcode reader function is realized by executing a program by the central control unit 101.

また、端末１００が、マイク部１１１により入力された音データを録音機能により記録し、ネットワークインターフェイス１０２を介して管理サーバ２に送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、音情報と商品ＩＤとが対応付けて登録されており、端末１００から受信した音データを用いて商品ＩＤを取得する。なお、録音機能は、プログラムを中央制御部１０１で実行することにより実現することができる。   In addition, the terminal 100 records the sound data input from the microphone unit 111 using a recording function, and transmits the sound data to the management server 2 via the network interface 102. In the management server 2, the sound information and the product ID are registered in the resource information DB 1104 in association with each other, and the product ID is acquired using the sound data received from the terminal 100. The recording function can be realized by executing the program by the central control unit 101.

また、端末１００において、中央制御部１０１が実行する汎用のインターネットブラウザにより閲覧中のＷｅｂページのＵＲＬ、タイトルなどのＷｅｂ関連情報を取得し、ネットワークインターフェイス１０２を介して管理サーバ２に送信する。管理サーバ２では、リソース情報ＤＢ１１０４において、Ｗｅｂ関連情報と商品ＩＤとが対応付けて登録されており、端末から受信したＷｅｂ関連情報を用いて商品ＩＤを取得する。   In the terminal 100, Web-related information such as the URL and title of the Web page being browsed is acquired by a general-purpose Internet browser executed by the central control unit 101, and transmitted to the management server 2 via the network interface 102. In the management server 2, the Web related information and the product ID are registered in association with each other in the resource information DB 1104, and the product ID is acquired using the Web related information received from the terminal.

上述のように、商品検索キーと、検索条件情報とは、互いに同じタイプのものを用いる。例えば、商品検索キーが画像に関するものであれば、検索条件情報も画像に関するものであり、商品検索キーが音に関するものであれば、検索条件情報も音に関するものである。   As described above, the product search key and the search condition information are of the same type. For example, if the product search key relates to an image, the search condition information also relates to an image, and if the product search key relates to a sound, the search condition information also relates to a sound.

上述のように、商品検索キーは、例えば、テキスト、商品識別コードを除く画像（静止画及び動画）、及び、音情報等のような音響情報を含む視聴覚情報を用いることができる。これにより、商品識別コードのような商品情報の取得のために特別に用意された商品検索キーだけでなく、平面媒体、実際の商品又はデジタル空間のような種々の媒体、又は、様々なプロモーションや消費者間のコミュニケーション（口コミなど）の中で登場する商品検索キーを用いて商品情報を取得することができる。   As described above, the product search key can use audiovisual information including sound information such as text, images (still images and moving images) excluding the product identification code, and sound information. As a result, not only a product search key specially prepared for acquiring product information such as a product identification code, but also various media such as flat media, actual products or digital space, or various promotions and Product information can be acquired using a product search key that appears in communication (such as word-of-mouth) between consumers.

以上説明した種々の商品検索キーは、単独で用いても、少なくともいずれか二つを組み合わせ用いても良い。リソース情報ＤＢ１１０４は、使用する商品検索キーの種類や数に応じて、当業者が適宜設計できることは言うまでもない。   The various product search keys described above may be used alone or in combination of at least any two. It goes without saying that the resource information DB 1104 can be appropriately designed by those skilled in the art according to the type and number of product search keys used.

上記実施の形態では、複数の商品比較サイトサーバ３、４のうち一つ及び商品を示す識別情報として、サイトＩＤ及び商品ＩＤを用いて、端末１００では、問い合わせ処理部１００６が、複数の商品比較サイトサーバ３、４のそれぞれについて商品検索ＡＰＩを記憶しており、そのうち一つを選択して、商品情報の問い合わせに利用している。しかしながら、上述のように識別情報が、商品比較サイトの商品情報を表示するホームページを示すＵＲＬに商品ＩＤを組み合わせたもの（例えば、ｈｔｔｐ／／：ｈｉｋａｋｕ．ｃｏｍ／１２３４５６）である場合、端末１００が商品検索ＡＰＩなどを記憶している必要はなく、当該ＵＲＬを用いて、商品比較サイトサーバ３、４から商品情報を取得することができる。この場合、図８に示すＳ３２〜Ｓ３４は不要になり、図４に示す問い合わせ処理部１００６も不要となり、商品情報受信部１００７が商品比較サイトサーバ３、４からＵＲＬに対応する商品情報を受信することができる。   In the above embodiment, the inquiry processing unit 1006 uses the site ID and the product ID as the identification information indicating one of the plurality of product comparison site servers 3 and 4 and the product, and the terminal 100 uses the product comparison site A product search API is stored for each of the site servers 3 and 4, and one of them is selected and used to inquire about product information. However, when the identification information is a combination of a product ID and a URL indicating a homepage displaying product information on the product comparison site as described above (for example, http: //: hikaku.com/123456), the terminal 100 It is not necessary to store a product search API or the like, and product information can be acquired from the product comparison site servers 3 and 4 using the URL. In this case, S32 to S34 shown in FIG. 8 are unnecessary, the inquiry processing unit 1006 shown in FIG. 4 is also unnecessary, and the product information receiving unit 1007 receives the product information corresponding to the URL from the product comparison site servers 3 and 4. be able to.

上記実施の形態では、画像から特徴点を抽出し、商品画像の照合に用いているが、特に限定されない。すなわち、本発明では、様々な画像関連情報を用いて商品画像の照合に用いることができる。画像関連情報としては、例えば、商品の画像そのもの（商品の全体及び一部を含む）、商品の輪郭、サイズ、色、或いは、商品の画像の特徴点、特徴点の座標、特徴ベクトル、特徴量、その他の画像の特徴を示すデータのように商品それ自体に関連するものや、画像中に含まれる文字列、バーコード、ＱＲコード（登録商標）のように商品、パッケージ又はタグに付与されている商品に付帯される情報に関連するものが利用できる。本発明では、画像関連情報としては、少なくとも商品それ自体に関連する情報、特に少なくとも特徴点又は特徴量を含んでいることが好ましい。   In the above embodiment, feature points are extracted from images and used for collation of product images, but there is no particular limitation. In other words, in the present invention, various image related information can be used for matching product images. Examples of the image-related information include the product image itself (including all and part of the product), the product outline, size, color, or the feature point of the product image, the coordinates of the feature point, the feature vector, and the feature amount. , Other data related to the product itself such as data indicating the characteristics of the image, or attached to the product, package or tag such as a character string, bar code, QR code (registered trademark) included in the image You can use information related to the information that comes with your product. In the present invention, it is preferable that the image-related information includes at least information related to the product itself, particularly at least a feature point or feature amount.

また、本発明では、上述のように、画像には静止画及び動画（映像）が含まれ、画像認識部１１０３において、静止画どうしを直接比較することや動画どうしを直接比較することも可能である。画像どうしを直接比較して照合を行う技術は広く知られており、当業者であれば、本発明に容易に適用できるであろう。   In the present invention, as described above, still images and moving images (videos) are included in the image, and the image recognition unit 1103 can directly compare still images or directly compare moving images. is there. Techniques for performing comparison by directly comparing images are widely known, and those skilled in the art can easily apply the present invention.

また、上記実施の形態では、管理サーバ２が、画像認識部１１０３を備えているが、画像認識部１１０３が他のサーバにあってもよい。この場合、特徴点データは、管理サーバ２から他のサーバにネットワークを介して送信される。このように、管理サーバ２の機能は単一のサーバで実現される必要は必ずしもない。   Moreover, in the said embodiment, although the management server 2 is provided with the image recognition part 1103, the image recognition part 1103 may exist in another server. In this case, the feature point data is transmitted from the management server 2 to another server via the network. As described above, the function of the management server 2 is not necessarily realized by a single server.

また、上記実施の形態では、ユーザ情報ＤＢ１１０２に、端末１００のユーザに関するユーザ情報として、ユーザＩＤ、端末情報、商品ＩＤ（識別情報）、クリッピング履歴及び購入履歴を登録しているが、特に限定されるものではなく、これらのうち少なくともユーザＩＤを含んでいればよい。また、これら以外に、位置情報、メモ、日時、操作ログ、認識対象の内容などを登録することができる。ここで、位置情報とは、買い物カメラアプリ１１０１が、定期的に又は所定の操作（起動、終了等）が行われたときにＧＰＳ受信部１０３から取得した地理的位置である。また、メモとは、買い物カメラアプリ１１０１を介してユーザが入力したテキスト情報である。また、日時とは、買い物カメラアプリ１１０１が所定の操作（起動、終了等）を行ったときに時計部１１０から取得した日時の情報である。   In the above embodiment, the user ID, terminal information, product ID (identification information), clipping history, and purchase history are registered in the user information DB 1102 as user information related to the user of the terminal 100. What is necessary is just to include at least user ID among these. In addition to these, position information, memos, date and time, operation logs, contents to be recognized, and the like can be registered. Here, the position information is a geographical position acquired from the GPS receiving unit 103 when the shopping camera application 1101 is periodically or when a predetermined operation (start, end, etc.) is performed. The memo is text information input by the user via the shopping camera application 1101. The date and time is information on the date and time acquired from the clock unit 110 when the shopping camera application 1101 performs a predetermined operation (start, end, etc.).

また、上記実施の形態では、特徴点データのみを用いて商品画像を照合していたが、買い物カメラアプリ１００１において、画像データからテキストをＯＣＲで認識し、テキストを管理サーバ２に送信し、管理サーバ２において、ソース情報ＤＢ１１０４には、商品の商品名がさらに登録されており、特徴点データにテキストを組み合わせて商品ＩＤを得ることもできる。   Further, in the above embodiment, the product image is collated using only the feature point data. However, the shopping camera application 1001 recognizes the text from the image data by OCR, transmits the text to the management server 2, and manages it. In the server 2, the product name of the product is further registered in the source information DB 1104, and the product ID can be obtained by combining the text with the feature point data.

また、買い物カメラアプリ１００１において、画像データからバーコードから商品コードを認識し、商品コードを管理サーバ２に送信し、管理サーバ２において、ソース情報ＤＢ１１０４には、商品に付与された商品コードがさらに登録されており、特徴点データに商品コードを組み合わせて商品ＩＤを得ることもできる。   Further, the shopping camera application 1001 recognizes a product code from the barcode from the image data, and transmits the product code to the management server 2. In the management server 2, the product code assigned to the product is further stored in the source information DB 1104. The product ID can also be obtained by combining the product code with the feature point data.

また、上記実施の形態では、端末１００のカメラ部１０４から入力された画像データの特徴点データと、ソース情報ＤＢ１１０４に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像の特徴点データとの一致率を算出しているが、一致率はこれに限定されず、端末１００のカメラ部１０４から入力された画像データと、ソース情報ＤＢ１１０４に登録され、画像の照合の結果、当該画像データと特徴点データが一致又は近似した商品画像との間のスコア又は類似度を一致率として算出しても良い。   In the above embodiment, the feature point data of the image data input from the camera unit 104 of the terminal 100 is registered in the source information DB 1104, and the image data and the feature point data match or approximate as a result of image matching. The matching rate with the feature point data of the product image is calculated, but the matching rate is not limited to this, and the image data input from the camera unit 104 of the terminal 100 and the source information DB 1104 are registered, and the image As a result of the collation, a score or similarity between the image data and the product image in which the feature point data match or approximate may be calculated as the matching rate.

また、端末１００がパーソナルコンピュータの場合、上述のような専用のアプリケーションである買い物カメラアプリ１１０１をインストールしても良いが、汎用のインターネットブラウザに専用のプラグインを追加し、買い物カメラアプリ１１０１と同様の機能を実現しても良い。   Further, when the terminal 100 is a personal computer, the shopping camera application 1101 that is a dedicated application as described above may be installed. However, a dedicated plug-in is added to a general-purpose Internet browser, and the shopping camera application 1101 is the same as the shopping camera application 1101. The function may be realized.

また、端末１００において、カメラ部１０５は必須ではなく、画面取込部１００２のような他の画像入力手段を備えていれば足りる。   Further, in the terminal 100, the camera unit 105 is not essential, and may be provided with other image input means such as the screen capture unit 1002.

本発明は、商品や広告メディアから購入サイトでの商品購入を促進することができるので、電子商取引システムなどに好適に利用できる。   Since the present invention can promote the purchase of merchandise at a purchase site from merchandise or advertising media, it can be suitably used for an electronic commerce system or the like.

１ 商品情報提供システム
２ 管理サーバ
３、４ 商品比較サイトサーバ
５〜１０ 販売サイトサーバ
１００ 端末
１００１ 買い物カメラアプリ
１１０１ ＤＢ制御部
１１０２ ユーザ情報ＤＢ
１１０３ 画像認識部
１１０４ ソース情報ＤＢ
DESCRIPTION OF SYMBOLS 1 Product information provision system 2 Management server 3, 4 Product comparison site server 5-10 Sales site server 100 Terminal 1001 Shopping camera application 1101 DB control part 1102 User information DB
1103 Image recognition unit 1104 Source information DB

Claims (12)

管理サーバと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバと、前記管理サーバに検索条件情報を送信する端末と、で構成された商品情報提供システムにおいて、
前記管理サーバは、
商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、
前記第１のデータベースを用いて、前記検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を前記端末に送信する照合部と、を具備することを特徴とする商品情報提供システム。 A product composed of a management server , a plurality of product comparison site servers that provide product information obtained from a plurality of sales sites for the same product, and a terminal that transmits search condition information to the management server In the information provision system,
The management server
A first database in which product search keys related to products and identification information indicating one of the products and a plurality of product comparison sites are associated and registered;
Characterized by using said first database to identify the product search key based on the search condition information, comprising a collating unit that transmits the identification information corresponding to the product search key to the terminal Product information provision system. 前記商品検索キーが、商品を含む商品画像に関する画像関連情報、商品に関連するテキスト、商品識別コード、音情報及びＷｅｂページ関連情報のいずれかを含むことを特徴とする請求項１記載の商品情報提供システム。   2. The product information according to claim 1, wherein the product search key includes any of image related information related to a product image including the product, text related to the product, product identification code, sound information, and Web page related information. Offer system. 前記第１のデータベースは、ユニークに付与されたレコード識別情報に、前記商品検索キー及び前記識別情報の少なくとも一組が対応付けて登録されていることを特徴とする請求項１又は請求項２記載の商品情報提供システム。   3. The first database according to claim 1, wherein at least one set of the product search key and the identification information is registered in association with the uniquely assigned record identification information. Product information provision system. 前記管理サーバが、前記端末のユーザに関するユーザ情報と、前記照合部が取得した前記識別情報とを、第２のデータベースに対応付けて登録するデータベース制御部をさらに具備することを特徴とする請求項１から請求項３のいずれかに記載の商品情報提供システム。   The said management server is further equipped with the database control part which matches and registers the user information regarding the user of the said terminal, and the said identification information which the said collation part acquired by matching with a 2nd database. The product information providing system according to any one of claims 1 to 3. 前記データベース制御部は、前記商品比較サイトから送信された前記識別情報に基づいて、前記第２のデータベースに購入履歴を登録することを特徴とする請求項４記載の商品情報提供システム。   The product information providing system according to claim 4, wherein the database control unit registers a purchase history in the second database based on the identification information transmitted from the product comparison site. 前記データベース制御部は、前記端末において前記ユーザによりクリッピングが行われた前記商品及び前記識別情報を前記端末から取得し、前記第２のデータベースに、前記ユーザ情報と対応付け、前記端末におけるクリッピング履歴を登録することを特徴とする請求項４又は請求項５記載の商品情報提供システム。   The database control unit obtains the product and the identification information clipped by the user at the terminal from the terminal, associates the user information with the second database, and stores a clipping history at the terminal. The product information providing system according to claim 4 or 5, wherein registration is performed. 前記商品検索キーが前記商品画像であり、前記照合部は、前記第１のデータベースに登録された前記商品画像の画像関連情報及び画像データから抽出された画像関連情報を用いて、前記画像データに対応する前記識別情報を取得して前記端末に送信することを特徴とする請求項２から請求項６のいずれかに記載の商品情報提供システム。   The product search key is the product image, and the collation unit uses the image related information registered in the first database and the image related information extracted from the image data, to the image data. The product information providing system according to any one of claims 2 to 6, wherein the corresponding identification information is acquired and transmitted to the terminal. 前記管理サーバは、前記画像データから抽出された前記画像関連情報と前記商品画像の前記画像関連情報との一致率を算出する画像解析部をさらに具備し、前記データベース制御部は、前記第２のデータベースに前記一致率を登録することを特徴とする請求項７記載の商品情報提供システム。   The management server further includes an image analysis unit that calculates a match rate between the image related information extracted from the image data and the image related information of the product image, and the database control unit includes the second control unit. 8. The product information providing system according to claim 7, wherein the matching rate is registered in a database. 前記第１のデータベースには、前記商品画像に対応付けて音情報がさらに登録され、前記照合部は、前記音情報及び音データをさらに用いて、前記画像データ及び前記音データに対応する前記識別情報を取得することを特徴とする請求項７又は請求項８記載の商品情報提供システム。   In the first database, sound information is further registered in association with the product image, and the verification unit further uses the sound information and sound data to identify the identification corresponding to the image data and the sound data. Information is acquired, The merchandise information provision system of Claim 7 or Claim 8 characterized by the above-mentioned. 前記商品画像は、広告メディアに使用されているものであることを特徴とする請求項７から請求項９のいずれかに記載の商品情報提供システム。   The product information providing system according to any one of claims 7 to 9, wherein the product image is used for advertising media. 管理サーバが、商品に関連する検索条件情報を端末から受信する工程と、
前記管理サーバが、前記検索条件情報に基づいて商品検索キーを特定する工程と、
前記管理サーバが、前記商品検索キーを用いて、前記商品検索キーと、同一の商品について複数の販売サイトから得た商品情報を一元的に提供する、複数の商品比較サイトサーバの一つ及び商品を示す識別情報と、が対応付けて登録されている第１のデータベースを検索し、前記商品検索キーに対応する前記識別情報を取得して前記端末に送信する工程と、
を具備することを特徴とする商品情報提供方法。 A process in which the management server receives search condition information related to the product from the terminal;
The management server identifying a product search key based on the search condition information;
One of a plurality of product comparison site servers and a product that provides the product search key and product information obtained from a plurality of sales sites for the same product using the product search key. A first database that is registered in association with each other, obtains the identification information corresponding to the product search key, and transmits it to the terminal;
A method for providing product information, comprising: 商品に関連する商品検索キー、並びに、前記商品及び複数の商品比較サイトのうちの一つを示す識別情報が対応付けられて登録されている第１のデータベースと、
前記第１のデータベースを用いて、端末から受信した検索条件情報に基づいて前記商品検索キーを特定し、前記商品検索キーに対応する前記識別情報を端末に送信する照合部と、を具備することを特徴とする管理サーバ。 A first database in which product search keys related to products and identification information indicating one of the products and a plurality of product comparison sites are associated and registered;
A verification unit that identifies the product search key based on search condition information received from the terminal using the first database, and transmits the identification information corresponding to the product search key to the terminal. Management server characterized by
JP2015150704A 2015-07-30 2015-07-30 Product information providing system, product information providing method, and management server Active JP6609434B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015150704A JP6609434B2 (en) 2015-07-30 2015-07-30 Product information providing system, product information providing method, and management server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015150704A JP6609434B2 (en) 2015-07-30 2015-07-30 Product information providing system, product information providing method, and management server

Publications (2)

Publication Number Publication Date
JP2017033157A JP2017033157A (en) 2017-02-09
JP6609434B2 true JP6609434B2 (en) 2019-11-20

Family

ID=57986146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015150704A Active JP6609434B2 (en) 2015-07-30 2015-07-30 Product information providing system, product information providing method, and management server

Country Status (1)

Country Link
JP (1) JP6609434B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7370556B2 (en) * 2018-07-31 2023-10-30 株式会社彩いろり Alcoholic beverage information management system and management method
CN109635144A (en) * 2018-12-12 2019-04-16 广州蓝深科技有限公司 A kind of e-commerce picture search purchase system
CN110532413B (en) * 2019-07-22 2023-08-08 平安科技（深圳）有限公司 Information retrieval method and device based on picture matching and computer equipment
CN111429225A (en) * 2020-03-27 2020-07-17 上海二三四五网络科技有限公司 Control method and control device for commodity search in shopping guide application program
JP7187593B2 (en) * 2021-02-08 2022-12-12 ソフトバンク株式会社 Information processing device, program, and information processing method

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003016086A (en) * 2001-07-02 2003-01-17 Sony Corp System for information processing, server, terminal device and method for providing of advertising service
US7734729B2 (en) * 2003-12-31 2010-06-08 Amazon Technologies, Inc. System and method for obtaining information relating to an item of commerce using a portable imaging device
EP2325768A4 (en) * 2008-08-08 2016-08-17 Nikon Corp Search support system, search support method, and search support program
US9558510B2 (en) * 2009-02-24 2017-01-31 Ebay Inc. System and method to create listings using image and voice recognition
JP2012208854A (en) * 2011-03-30 2012-10-25 Nippon Telegraph & Telephone East Corp Action history management system and action history management method
US20130110585A1 (en) * 2011-11-02 2013-05-02 Invisiblehand Software Ltd. Data Processing
JP5604405B2 (en) * 2011-11-07 2014-10-08 株式会社ゼンリンデータコム Price comparison support system, price comparison support server, and price comparison support program

Also Published As

Publication number Publication date
JP2017033157A (en) 2017-02-09

Similar Documents

Publication Publication Date Title
JP6522081B2 (en) Electronic commerce system, electronic commerce method, and electronic commerce program
JP6609434B2 (en) Product information providing system, product information providing method, and management server
CN103369049B (en) Mobile terminal and server exchange method and system thereof
US8833652B2 (en) Product information system and method using a tag and mobile device
JP5180415B2 (en) Object display server, object display method, object display program, and computer-readable recording medium storing the program
JP5395920B2 (en) Search device, search method, search program, and computer-readable recording medium storing the program
US20130136363A1 (en) Integrated image searching system and service method thereof
US20140358712A1 (en) Shopping guide system, shopping guide management device and method
CN104504155B (en) A kind of data capture method and system based on picture search
US20140247997A1 (en) Information processing system, information processing method, and computer program product
JP6773344B2 (en) Gift system
JP2014215929A (en) Commodity information server, user terminal, commodity information providing method, and program for commodity information server
TWI648641B (en) Wisdom TV data processing method, smart TV and smart TV system
JP6185216B1 (en) Information providing system, information providing apparatus, information providing method, and program
US20080071553A1 (en) Generation of Commercial Presentations
JP5851560B2 (en) Information processing system
KR101430959B1 (en) Mobile Communication Terminal, System and Method for Trading Goods Using Image Analying Thereof
US20120158546A1 (en) System and method for identifying digital articles of commerce with a portable mobile device and linking the article to a social networking site
US20150348100A1 (en) Search engine server that searches data based on criteria included in an electronic record received from a computing device
TWM582164U (en) Commodity identification system of digital advertisement
KR20130129877A (en) Payment system using 2 dimensional barcode code and method thereof
KR20140044169A (en) Bisiness model of treasure finding game using qr codes
KR102249997B1 (en) Terminal and service providing device, product information providing system comprising the same, control method thereof and computer readable medium having computer program recorded therefor
KR20170055013A (en) System and method for providing price comparison service code-based
TWM624420U (en) Paper-based product catalog shopping system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180727

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180727

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191028

R150 Certificate of patent or registration of utility model

Ref document number: 6609434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03