JP5395920B2 - Search device, search method, search program, and computer-readable recording medium storing the program - Google Patents

Search device, search method, search program, and computer-readable recording medium storing the program Download PDF

Info

Publication number
JP5395920B2
JP5395920B2 JP2012029793A JP2012029793A JP5395920B2 JP 5395920 B2 JP5395920 B2 JP 5395920B2 JP 2012029793 A JP2012029793 A JP 2012029793A JP 2012029793 A JP2012029793 A JP 2012029793A JP 5395920 B2 JP5395920 B2 JP 5395920B2
Authority
JP
Japan
Prior art keywords
search
information
proximity
store
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012029793A
Other languages
Japanese (ja)
Other versions
JP2013167973A (en
Inventor
隆治 酒巻
宏幸 小池
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to JP2012029793A priority Critical patent/JP5395920B2/en
Publication of JP2013167973A publication Critical patent/JP2013167973A/en
Application granted granted Critical
Publication of JP5395920B2 publication Critical patent/JP5395920B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の一形態は、撮影画像から商品情報を検索するための装置、方法、プログラム、及び記録媒体に関する。   One embodiment of the present invention relates to an apparatus, a method, a program, and a recording medium for searching for product information from a captured image.

従来から、撮影画像から商品を特定してその商品の情報をユーザに提示する手法が知られている。例えば下記特許文献1には、顧客が端末で商品のリアルタイム画像を見ながら商品を購入できる遠隔商品販売システムが記載されている。このシステムでは、通信端末がWebカメラに撮影されている陳列商品のリアルタイム画像の送信要求を行うと、通信サーバが、リアルタイム画像を含む商品案内情報データを通信端末で表示させるために送信する。表示されたリアルタイム画像の中から特定商品の画像部分が選択されると、通信端末はその商品の注文情報データを生成して通信サーバに送信する。この際に、通信端末はリアルタイム画像中で選択された位置を示す座標位置データも通信サーバに送信し、通信サーバはそのデータも用いて商品を特定する。   2. Description of the Related Art Conventionally, a method for identifying a product from a photographed image and presenting information about the product to a user is known. For example, Patent Document 1 below describes a remote product sales system in which a customer can purchase a product while viewing a real-time image of the product on a terminal. In this system, when a communication terminal makes a transmission request for a real-time image of a displayed product captured by a Web camera, the communication server transmits product guide information data including the real-time image for display on the communication terminal. When an image portion of a specific product is selected from the displayed real-time image, the communication terminal generates order information data for the product and transmits it to the communication server. At this time, the communication terminal also transmits coordinate position data indicating the position selected in the real-time image to the communication server, and the communication server specifies the product using the data.

特開2003−99629号公報JP 2003-99629 A

しかし、商品の検索条件として用いる撮影画像の画質が粗かったり、その画像が適切に撮影されていなかったりすると(例えば、被写体がぼやけていたり傾いて写ったりする場合)、たとえ上記特許文献1のように位置情報を用いたとしても、商品検索の精度が下がる可能性がある。例えば、被写体と全く異なる種類の商品が多く検索されてしまう場合が有り得る。   However, if the image quality of a captured image used as a product search condition is poor or the image is not properly captured (for example, the subject is blurred or tilted), even if the above-mentioned Patent Document 1 is used. Even if the position information is used as described above, the accuracy of the product search may be lowered. For example, there are cases where many types of products that are completely different from the subject are searched.

そこで、撮影画像から商品を検索する際の精度を上げることが要請されている。   Therefore, there is a demand for increasing the accuracy when searching for products from photographed images.

本発明の一形態に係る検索装置は、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、撮影画像を解析して、検索対象が写っている検索対象領域から第1の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている1以上の周辺領域から第2の検索条件を抽出する解析部と、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報と所定の場所における複数の商品間の近接度を示す近接度情報とを記憶する記憶部を第1の検索条件、第2の検索条件、及び位置情報を用いて参照することで、第1の検索条件により抽出された候補商品情報で示される候補商品と、第2の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を近接度情報により特定し、該近接度に基づいて該候補商品情報から検索対象に対応する商品情報を抽出する検索部と、検索部により抽出された商品情報をユーザ端末に送信する送信部とを備える。 According to an embodiment of the present invention, a search device includes an acquisition unit that acquires a captured image specified by a user terminal and position information associated with the captured image, analyzes the captured image, and includes a search target. A first search condition is extracted from the search target area, and an analysis unit extracts the second search condition from one or more peripheral areas in which peripheral objects in the vicinity of the search target are reflected, and is associated with the store A storage unit for storing store information indicating a location, product information indicating a product handled at the store, and proximity information indicating a proximity between a plurality of products at a predetermined location . By referring to the second search condition and position information, the candidate product indicated by the candidate product information extracted by the first search condition and the peripheral product information extracted by the second search condition are indicated. Proximity to nearby products It was identified by proximity information, a transmission unit that transmits a search unit that extracts the product information corresponding to the search target from the candidate commodity information based on said proximity, the product information extracted by the search unit to the user terminal Is provided.

本発明の一形態に係る検索方法は、検索装置により実行される検索方法であって、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得ステップと、撮影画像を解析して、検索対象が写っている検索対象領域から第1の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている1以上の周辺領域から第2の検索条件を抽出する解析ステップと、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報と所定の場所における複数の商品間の近接度を示す近接度情報とを記憶する記憶部を第1の検索条件、第2の検索条件、及び位置情報を用いて参照することで、第1の検索条件により抽出された候補商品情報で示される候補商品と、第2の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を近接度情報により特定し、該近接度に基づいて該候補商品情報から検索対象に対応する商品情報を抽出する検索ステップと、検索ステップにおいて抽出された商品情報をユーザ端末に送信する送信ステップとを含む。 A search method according to an aspect of the present invention is a search method executed by a search device, and obtains a captured image specified by a user terminal and position information associated with the captured image; The photographed image is analyzed, the first search condition is extracted from the search target area in which the search target is shown, and the second search is performed from one or more peripheral areas in which peripheral objects around the search target are shown. An analysis step for extracting conditions, store information indicating a location associated with the store, product information indicating a product handled at the store, and proximity information indicating a proximity between a plurality of products at a predetermined location By referring to the storage unit to be stored using the first search condition, the second search condition, and the position information, the candidate product indicated by the candidate product information extracted by the first search condition, Search criteria A search step of identifying the proximity information proximity with the peripheral products, extracts the product information corresponding to the search target from the candidate commodity information based on the proximity represented around product information more extraction, search A transmission step of transmitting the product information extracted in the step to the user terminal.

本発明の一形態に係るコンピュータ読取可能な記録媒体は、ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、撮影画像を解析して、検索対象が写っている検索対象領域から第1の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている1以上の周辺領域から第2の検索条件を抽出する解析部と、店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報と所定の場所における複数の商品間の近接度を示す近接度情報とを記憶する記憶部を第1の検索条件、第2の検索条件、及び位置情報を用いて参照することで、第1の検索条件により抽出された候補商品情報で示される候補商品と、第2の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を近接度情報により特定し、該近接度に基づいて該候補商品情報から検索対象に対応する商品情報を抽出する検索部と、検索部により抽出された商品情報をユーザ端末に送信する送信部とをコンピュータに実行させる検索プログラムを記憶する。 A computer-readable recording medium according to an aspect of the present invention is a search by analyzing a captured image, an acquisition unit that acquires a captured image specified by a user terminal and position information associated with the captured image An analysis unit that extracts a first search condition from a search target area in which a target is reflected, and extracts a second search condition from one or more peripheral areas in which peripheral objects in the vicinity of the search target are reflected; A storage unit that stores store information indicating a location associated with a store, product information indicating a product handled in the store, and proximity information indicating a proximity between a plurality of products at a predetermined location is a first storage unit. By referring to the search condition, the second search condition, and the position information, the candidate product indicated by the candidate product information extracted by the first search condition and the peripheral product extracted by the second search condition Indicated by information The proximity of the peripheral products identified by proximity information, the user and the search unit, a product information extracted by the search unit that extracts the product information corresponding to the search target from the candidate commodity information based on the proximity A search program that causes a computer to execute a transmission unit that transmits to a terminal is stored.

このような形態によれば、撮影画像のうち、検索対象(検索しようとする商品)が写っている領域だけでなくその周辺の領域からも検索条件が抽出され、これら二種類の検索条件と、撮影画像に関連付けられている位置情報とに基づいて商品情報が検索される。このように、検索対象に関する情報(第1の検索条件)及び位置情報に加えて周辺物に関する情報(第2の検索条件)も用いることで商品を検索する手がかりが増えるので、商品検索の精度を上げることができる。ここで、近接度とは所定の場所における商品同士の陳列位置の近さを示す値である。場所毎の商品の陳列に着目して検索対象を検索することで、その場所で写された商品の検索精度を上げることができる。 According to such a form, a search condition is extracted not only from the area in which the search target (product to be searched) is reflected in the photographed image, but also from the surrounding area. The product information is searched based on the position information associated with the photographed image. As described above, the information about the search target (first search condition) and the position information as well as the information about the peripheral object (second search condition) are used to increase the number of clues for searching for the product. Can be raised. Here, the proximity is a value indicating the proximity of the display position of the products at a predetermined place. By searching for the search object by paying attention to the display of the product for each place, it is possible to improve the search accuracy of the product copied at that place.

別の形態に係る検索装置では、検索部が、位置情報で示される場所に関連付けられている店舗で取り扱われており、且つ第1及び第2の検索条件に対応する商品情報を抽出してもよい。   In the search device according to another aspect, the search unit is handled at a store associated with the location indicated by the position information, and product information corresponding to the first and second search conditions is extracted. Good.

さらに別の形態に係る検索装置では、検索部が、1以上の周辺領域のそれぞれについて、候補商品との近接度が所定の閾値以上である周辺商品が存在する場合に、該候補商品を示す候補商品情報を、検索対象に対応する商品情報として抽出してもよい。   In the search device according to another aspect, the search unit indicates a candidate product that indicates the candidate product when there is a peripheral product whose proximity to the candidate product is greater than or equal to a predetermined threshold for each of the one or more peripheral regions. The product information may be extracted as product information corresponding to the search target.

さらに別の形態に係る検索装置では、検索部が、検索部が、1以上の周辺領域のそれぞれについて、候補商品と周辺商品との近接度の平均が所定の閾値以上である場合に、該候補商品を示す候補商品情報を、検索対象に対応する商品情報として抽出してもよい。   Further, in the search device according to another aspect, the search unit determines that the candidate when the search unit has an average degree of proximity between the candidate product and the peripheral product for each of the one or more peripheral regions is equal to or greater than a predetermined threshold. Candidate product information indicating a product may be extracted as product information corresponding to the search target.

さらに別の形態に係る検索装置は、商品が写っている準備用画像を画像解析して商品情報と照合するとともに、該準備用画像の撮影場所を示す場所情報を取得することで、該商品を取り扱う店舗と該撮影場所とが関連付けられた該店舗情報を設定する関連場所設定部を更に備えてもよい。この場合には、商品検索に用いる店舗情報を整備することができる。   Further, a search device according to another embodiment performs image analysis on a preparation image in which a product is reflected and compares it with product information, and acquires location information indicating a shooting location of the preparation image, thereby obtaining the product. You may further provide the related place setting part which sets the said shop information with which the store to handle and this imaging | photography place were linked | related. In this case, store information used for product search can be maintained.

本発明の一側面によれば、撮影画像から商品を検索する際の精度を上げることができる。   According to one aspect of the present invention, it is possible to improve accuracy when searching for a product from a captured image.

検索システムの全体構成を示す図である。It is a figure which shows the whole structure of a search system. 地図情報(パノラマ画像)の表示例を示す図である。It is a figure which shows the example of a display of map information (panoramic image). 地図情報(パノラマ画像)の表示例を示す図である。It is a figure which shows the example of a display of map information (panoramic image). 店舗情報の一例を示す図である。It is a figure which shows an example of shop information. 商品情報の一例を示す図である。It is a figure which shows an example of merchandise information. 近接度情報の一例を示す図である。It is a figure which shows an example of proximity information. 実施形態に係るECサーバのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of EC server which concerns on embodiment. 実施形態に係るECサーバの機能構成を示すブロック図である。It is a block diagram which shows the function structure of EC server which concerns on embodiment. 近接度情報を用いた検索の例を示す図である。It is a figure which shows the example of the search using proximity information. 近接度情報を用いた検索の例を示す図である。It is a figure which shows the example of the search using proximity information. 近接度情報を用いた検索の例を示す図である。It is a figure which shows the example of the search using proximity information. 近接度情報を用いた検索の例を示す図である。It is a figure which shows the example of the search using proximity information. 近接度情報を用いた検索の例を示す図である。It is a figure which shows the example of the search using proximity information. 図1に示す検索システムでの処理を示すシーケンス図である。It is a sequence diagram which shows the process in the search system shown in FIG. 実施形態に係る検索プログラムの構成を示す図である。It is a figure which shows the structure of the search program which concerns on embodiment.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。下記の実施形態では、本発明に係る検索装置を電子商取引サーバ(ECサーバ)に適用する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following embodiment, the search device according to the present invention is applied to an electronic commerce server (EC server). In the description of the drawings, the same or equivalent elements are denoted by the same reference numerals, and redundant description is omitted.

まず、図1〜13を用いて、検索システム1の機能及び構成を説明する。検索システム1は、仮想商店街のウェブサイト(ECサイト)における各種機能を実行するコンピュータシステムである。ユーザ(一般消費者)はそのサイトを介して商品を検索し、さらに購入手続を行うことができる。店舗は販売する商品を仮想商店街に登録し、ユーザが購入した商品をそのユーザに配送する。なお、商品の種類は限定されず、任意の有体物でもよいし、サービスなどの無体物でもよい。検索システム1は、商品検索機能を有するECサーバ10の他に、データベース群(記憶部)20、地図サーバ30、地図データベース31、店舗端末Ts、及びユーザ端末Tuを備えている。これらの装置は通信ネットワークNを介して互いに接続されている。   First, the function and configuration of the search system 1 will be described with reference to FIGS. The search system 1 is a computer system that executes various functions in a website (EC site) of a virtual shopping mall. A user (general consumer) can search for merchandise through the site and further perform a purchase procedure. The store registers the product for sale in the virtual shopping mall, and delivers the product purchased by the user to the user. In addition, the kind of goods is not limited, Arbitrary tangibles and intangibles, such as a service, may be sufficient. The search system 1 includes a database group (storage unit) 20, a map server 30, a map database 31, a store terminal Ts, and a user terminal Tu in addition to the EC server 10 having a product search function. These devices are connected to each other via a communication network N.

ユーザはユーザ端末Tuを操作して地図サーバ30から地図情報を入手することができる。ユーザが入手する地図情報は、ユーザが指定した施設又は地域の平面的な地図だけでなく、図2に示すような、その施設又は地域の風景を写した360度のパノラマ画像も含んでいる。これにより、ユーザはその施設の周辺又はその地域が実際にどのような場所であるかを容易に想像することができる。このような地図サービスとして、例えばグーグル社のストリートビューが挙げられる。図2の例では、画面の左側に百貨店Aの住所が表示され、右側にその百貨店Aのパノラマ画像が表示されている。   The user can obtain map information from the map server 30 by operating the user terminal Tu. The map information obtained by the user includes not only a planar map of the facility or area designated by the user, but also a 360-degree panoramic image showing the scenery of the facility or area as shown in FIG. Thereby, the user can easily imagine what kind of place the area around the facility or the area is actually. An example of such a map service is Google's street view. In the example of FIG. 2, the address of department store A is displayed on the left side of the screen, and a panoramic image of the department store A is displayed on the right side.

ユーザはユーザ端末Tuをさらに操作して、画面上に表示されたパノラマ画像をスクロールしたり画像を拡大又は縮小したりすることができる。そして、ユーザはそのパノラマ画像に写っている商品を指定して、その商品情報をECサイトから入手することができ、その商品を気に入ればそのサイトで商品を購入することもできる。図3は、百貨店Aのウィンドウが拡大表示されて、そのウィンドウに展示されている服が選択されている状態を示している(枠H参照)。この場合には、その服の画像から商品が推定されて、その商品情報がユーザ端末Tu上に表示されることになる。   The user can further operate the user terminal Tu to scroll the panoramic image displayed on the screen and to enlarge or reduce the image. Then, the user can specify the product shown in the panoramic image, obtain the product information from the EC site, and can purchase the product at the site if he likes the product. FIG. 3 shows a state in which the department store A window is enlarged and the clothes displayed in the window are selected (see frame H). In this case, a product is estimated from the clothing image, and the product information is displayed on the user terminal Tu.

しかし、パノラマ画像の被写体は一般にぼやけていたり、画質が粗かったり、傾いて写っていたりするので、検索対象の画像を商品情報の画像と照合するだけでは商品検索の精度が下がってしまう。そこで本実施形態では、その検索精度を上げるために、検索対象以外の被写体の情報(周辺物の情報)も用いて商品情報を絞り込む。   However, since the subject of the panoramic image is generally blurred, the image quality is rough, or the image is tilted, the accuracy of the product search is reduced only by matching the image to be searched with the product information image. Therefore, in the present embodiment, in order to improve the search accuracy, product information is narrowed down using information on subjects other than the search target (information on peripheral objects).

ユーザは、地図サーバ30から提供された地図情報(パノラマ画像)からではなく、自身で撮影した1枚の写真又は動画像の1フレームから検索対象を指定して、商品情報を検索することもできる。撮影時に被写体がぼやけたり傾いて写ったりすることが有り得るが、パノラマ画像の場合と同様に周辺物の情報を用いることで、商品情報が絞り込まれる。   The user can also search for product information by specifying a search target not from the map information (panoramic image) provided by the map server 30 but from one frame of one photograph or moving image taken by the user. . Although the subject may be blurred or tilted at the time of shooting, the product information is narrowed down by using the peripheral information as in the case of the panoramic image.

ECサーバ10は、ユーザ端末Tuからのリクエストに応じて、ECサイト内の各種ウェブページ(例えばメインページや商品ページ、店舗ページなど)の提供、商品検索、購入処理(在庫更新や決済、ユーザへのポイント付与などを含む)などを実行するコンピュータシステムである。商品検索では、ECサーバ10は上記のように周辺物の情報も用いた処理を実行する。その他に、ECサーバ10は、店舗端末Tsからのリクエストに応じて、商品情報の更新(商品の登録や削除、在庫の追加など)を実行する。   In response to a request from the user terminal Tu, the EC server 10 provides various web pages (for example, a main page, a product page, a store page, etc.) in the EC site, product search, and purchase processing (inventory update and settlement, to user). A computer system that executes the above-mentioned points). In the merchandise search, the EC server 10 executes processing using information on peripheral objects as described above. In addition, the EC server 10 performs product information update (product registration or deletion, inventory addition, etc.) in response to a request from the store terminal Ts.

データベース群20は、検索システム1で必要な各種データベースの集まりである。   The database group 20 is a collection of various databases necessary for the search system 1.

地図サーバ30は、地図情報をユーザに提供するコンピュータシステムである。地図情報は、施設や地域の名称と、その位置(例えば緯度経度)と、その施設又は地域のパノラマ画像とを含む。地図サーバ30は、ユーザ端末Tuからの要求に応じて地図データベース31から対応する地図情報を抽出し、その情報をユーザ端末Tuに送信する。   The map server 30 is a computer system that provides map information to the user. The map information includes the name of the facility or area, its position (for example, latitude and longitude), and a panoramic image of the facility or area. The map server 30 extracts corresponding map information from the map database 31 in response to a request from the user terminal Tu, and transmits the information to the user terminal Tu.

地図サーバ30により提供される地図情報は、施設や地域そのものを示すものに限定されず、施設の内部(例えば実店舗の内部)を示すより詳細な情報であってもよい。この場合には、パノラマ画像は施設内の映像であり、施設の位置は、必要に応じてフロアマップなども用いてより詳細に定義される。施設内部の詳細な地図情報も用いる場合には、上記ストリートビューのような屋外の地図情報を管理するサーバとは別に、各施設のサーバが自己の屋内の地図情報を管理し、これら二種類のサーバが連携して屋内外の地図情報をシームレスにユーザ端末Tuに提供してもよい。   The map information provided by the map server 30 is not limited to information indicating the facility or the area itself, and may be more detailed information indicating the inside of the facility (for example, the inside of an actual store). In this case, the panoramic image is a video in the facility, and the location of the facility is defined in more detail using a floor map or the like as necessary. When the detailed map information inside the facility is also used, the server of each facility manages its own indoor map information separately from the server that manages the outdoor map information such as the street view described above. The server may cooperate to provide indoor and outdoor map information to the user terminal Tu seamlessly.

店舗端末Tsは、仮想商店街に参加している店舗の運営者が所有するコンピュータである。店舗端末Tsの種類は限定されず、例えば据置型又は携帯型のパーソナルコンピュータでもよいし、高機能携帯電話機(スマートフォン)や携帯電話機、携帯情報端末(PDA)などの携帯端末でもよい。検索システム1内に存在する店舗端末Tsの台数は限定されない。   The store terminal Ts is a computer owned by an operator of a store participating in the virtual shopping mall. The type of store terminal Ts is not limited, and may be, for example, a stationary or portable personal computer, or a portable terminal such as a high-function mobile phone (smart phone), a mobile phone, or a personal digital assistant (PDA). The number of store terminals Ts present in the search system 1 is not limited.

ユーザ端末Tuは、ユーザ(一般消費者)が所有するコンピュータである。店舗端末Tsと同様に、ユーザ端末Tuの種類も限定されず、例えば据置型又は携帯型のパーソナルコンピュータでもよいし、高機能携帯電話機(スマートフォン)や携帯電話機、携帯情報端末(PDA)などの携帯端末でもよい。検索システム1内に存在するユーザ端末Tuの台数も限定されない。   The user terminal Tu is a computer owned by a user (general consumer). Similar to the shop terminal Ts, the type of the user terminal Tu is not limited, and may be a stationary or portable personal computer, or a portable device such as a high-function mobile phone (smart phone), a mobile phone, or a personal digital assistant (PDA). It may be a terminal. The number of user terminals Tu existing in the search system 1 is not limited.

以上を前提として、ECサーバ10の詳細を説明する。まず、このECサーバ10によりアクセスされる各種データベースについて詳しく説明する。   Based on the above, the details of the EC server 10 will be described. First, various databases accessed by the EC server 10 will be described in detail.

店舗データベース21は、仮想商店街内の店舗(仮想店舗)に関する店舗情報を記憶する手段である。店舗情報は、店舗を一意に特定するための店舗IDと、その店舗の各種属性を示す属性情報とを含んでいる。属性情報は店舗の名称及びカテゴリと、仮想商店街におけるその店舗のウェブページのURLとを含む。加えて、属性情報は仮想店舗に関連する現実世界での場所を示す位置情報(関連場所の位置情報)を含んでいる。属性情報は少なくともその位置情報を含むが、これ以外に任意の属性を含めることが可能である。   The store database 21 is means for storing store information regarding stores (virtual stores) in the virtual shopping mall. The store information includes a store ID for uniquely identifying the store and attribute information indicating various attributes of the store. The attribute information includes the name and category of the store, and the URL of the store's web page in the virtual shopping mall. In addition, the attribute information includes location information (location information on the related location) indicating a location in the real world related to the virtual store. The attribute information includes at least the position information, but any attribute other than this can be included.

位置情報は、仮想店舗と同系列の実店舗の位置を示してもよいし、系列が仮想店舗のものとは全く異なるが該仮想店舗の商品を陳列している実店舗の位置を示してもよい。あるいは、位置情報は、仮想店舗で取り扱われている商品を販売している売店又は自動販売機の位置を示してもよい。あるいは、位置情報は仮想店舗の商品の屋外広告の位置を示してもよい。このように、関連場所の位置情報は、仮想店舗そのものに関連している必要はなく、仮想店舗で取り扱われている商品が陳列されていたり表示されたりしている場所を示すものであれば何でもよい。位置情報は緯度経度で表されてもよいし、緯度経度などを用いて定義される任意の形状のエリアで示されてもよいし、住所で表されてもよい。また、一つの仮想店舗に関連する場所は複数存在し得るので、複数の関連場所の位置情報が一つの店舗IDに関連付けられていてもよい。   The position information may indicate the position of a real store in the same series as the virtual store, or may indicate the position of the real store displaying the product of the virtual store although the series is completely different from that of the virtual store. Good. Alternatively, the position information may indicate the position of a store or vending machine that sells products handled at the virtual store. Or position information may show the position of the outdoor advertisement of the goods of a virtual store. As described above, the position information of the related place does not need to be related to the virtual store itself, and can be anything as long as it indicates the place where the product handled in the virtual store is displayed or displayed. Good. The position information may be represented by latitude and longitude, may be represented by an area of an arbitrary shape defined using latitude and longitude, or may be represented by an address. In addition, since there may be a plurality of locations related to one virtual store, position information of the plurality of related locations may be associated with one store ID.

関連場所の位置情報は、後述するECサーバ10の関連場所設定部11の学習機能により設定又は更新されてもよい。   The location information of the related location may be set or updated by a learning function of the related location setting unit 11 of the EC server 10 described later.

店舗情報の例を図4に示す。この図から例えば、店舗IDが「S001」である仮想店舗が「ABショップ」であり、その店舗のカテゴリが「ファッション」であり、関連場所の位置情報が(x11,y11)及び(x12,y12)などの複数の緯度経度を含んでいることがわかる。   An example of store information is shown in FIG. From this figure, for example, the virtual store whose store ID is “S001” is “AB shop”, the category of the store is “fashion”, and the location information of the related places is (x11, y11) and (x12, y12). ) And other latitudes and longitudes.

商品データベース22は、各仮想店舗が販売する商品に関する商品情報を記憶する手段である。商品情報は、商品を提供する仮想店舗の店舗IDと、商品を一意に特定する商品IDと、その商品の各種属性を示す属性情報とを含んでいる。属性情報は商品の名称やブランド、価格、画像データ、在庫数、カテゴリ、販売時期と、商品ページのURLとを含んでいるが、属性情報に含める情報は限定されない。商品情報は、店舗端末Tsから送信された指示に基づいて新規登録、更新、あるいは削除される。   The product database 22 is a means for storing product information relating to products sold by each virtual store. The product information includes a store ID of a virtual store that provides the product, a product ID that uniquely identifies the product, and attribute information that indicates various attributes of the product. The attribute information includes the product name, brand, price, image data, inventory quantity, category, sales time, and URL of the product page, but the information included in the attribute information is not limited. The merchandise information is newly registered, updated, or deleted based on the instruction transmitted from the store terminal Ts.

商品情報の例を図5に示す。この例では、店舗IDが「S001」に対して、商品IDが「T001」である「商品A」や、商品IDが「T002」である「商品B」が関連付けられている。   An example of product information is shown in FIG. In this example, the store ID “S001” is associated with “product A” whose product ID is “T001” and “product B” whose product ID is “T002”.

近接度データベース23は近接度情報を記憶する手段である。近接度情報は、現実世界の特定の位置(例えば実店舗や売店、自動販売機など)において、互いに異なる種類の商品同士がどれだけ近くに陳列されているかを示す情報である。近接度情報は、店舗情報の一項目である関連場所の位置情報と、その位置情報で示される場所の名前と、2種類の商品を示す二つの商品ID(基準商品ID及び対応商品ID)と、その場所における当該二商品の陳列位置の近さ(近接度)とを含んでいる。なお、場所名は省略可能してもよい。近接度はあくまでも陳列位置の近さを示す指標なので、基準商品ID及び対応商品IDで示される2種類の商品のカテゴリが全く異なる場合があり得る。   The proximity database 23 is a means for storing proximity information. The proximity information is information indicating how close the different types of products are displayed at a specific position in the real world (for example, an actual store, a store, or a vending machine). The proximity information includes position information of an associated place, which is one item of store information, a name of the place indicated by the position information, and two product IDs (a reference product ID and a corresponding product ID) indicating two types of products. , And the closeness (proximity) of the display positions of the two products at the place. The location name may be omitted. Since the proximity is an index indicating the closeness of the display position, the categories of the two types of products indicated by the reference product ID and the corresponding product ID may be completely different.

近接度は、商品同士が近くに陳列される可能性が高いほど大きくなる。本実施形態では近接度を0から1の範囲で数値化している。この場合に、ある2種類の商品が常に近くに存在すればそれらの商品についての近接度は1.0となる。また、2種類の商品が常に離れた位置(1枚の写真に両商品が写る可能性が無いような位置)に存在すれば、その近接度は0となる。   The degree of proximity increases as the possibility that products are displayed close to each other increases. In the present embodiment, the proximity is quantified in the range of 0 to 1. In this case, if two types of products are always present in the vicinity, the proximity of these products is 1.0. In addition, if two types of products are always present at positions that are far apart (positions where there is no possibility that both products appear in one photo), the proximity is zero.

近接度情報の例を図6に示す。この例から、位置情報(x1,y1)で示される実店舗Eにおいて、商品Aと商品Bとが近い位置に陳列される可能性や、商品Cと商品Yとが近い位置に陳列される可能性が非常に高いことが分かる。また、実店舗Eでは商品Aと商品Xとはあまり近くに陳列されないことも分かる。   An example of the proximity information is shown in FIG. From this example, in the actual store E indicated by the position information (x1, y1), the product A and the product B may be displayed close to each other, and the product C and the product Y may be displayed close to each other. It turns out that the nature is very high. It can also be seen that the merchandise A and the merchandise X are not displayed very close at the actual store E.

商品の陳列方法は様々であるので、ある2種類の商品についての近接度は場所毎に異なる。例えば、コンビニエンス・ストアでは雑誌とジュースとが近くに陳列されることはほとんど無いが、駅の売店ではそれらの商品が近くに陳列されている場合が比較的多い、ということができる。また、コンビニエンス・ストアでは新聞紙とコピー機とが近くに陳列される場合が比較的多いが、駅の売店ではその可能性がほとんど無い、ということもできる。   Since there are various methods for displaying products, the proximity of two types of products varies from place to place. For example, it can be said that magazines and juices are rarely displayed nearby at convenience stores, but those products are displayed nearby at station shops. In convenience stores, newspapers and photocopiers are often displayed nearby, but there are few possibilities at station stores.

なお、近接度は他の指標により表されてもよい。また、近接度が0である場合には近接度データベース23にレコードを作成しなくてもよい。   Note that the proximity may be represented by other indices. Further, when the proximity is 0, it is not necessary to create a record in the proximity database 23.

データベース群20内の各データベース及び各情報の構成は図4〜6に示すものに限定されず、各データベースに対して任意の正規化又は冗長化を行ってよい。   The configuration of each database and each information in the database group 20 is not limited to that shown in FIGS. 4 to 6, and any normalization or redundancy may be performed on each database.

なお、データベース群20は、ユーザ情報(会員情報)を記憶するユーザデータベースや、各ユーザの購入履歴を記憶する購入履歴データベースなども含むが、商品検索に直接関連しないこれらのデータベースについては、詳細な説明を省略する。   The database group 20 includes a user database that stores user information (member information), a purchase history database that stores purchase history of each user, and the like. Description is omitted.

次に、ECサーバ10の機能及び構成を説明する。ECサーバ10のハードウェア構成を図7に示す。この図に示すように、ECサーバ10は、オペレーティングシステムやアプリケーション・プログラムなどを実行するCPU101と、ROM及びRAMで構成される主記憶部102と、ハードディスクなどで構成される補助記憶部103と、ネットワークカードなどで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、ディスプレイなどの出力装置106とを備えている。   Next, the function and configuration of the EC server 10 will be described. The hardware configuration of the EC server 10 is shown in FIG. As shown in this figure, the EC server 10 includes a CPU 101 that executes an operating system, application programs, and the like, a main storage unit 102 that includes a ROM and a RAM, an auxiliary storage unit 103 that includes a hard disk, The communication control unit 104 includes a network card, an input device 105 such as a keyboard and a mouse, and an output device 106 such as a display.

後述するECサーバ10の各機能的構成要素は、CPU101や主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102や補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102や補助記憶部103内に格納される。なお、図7ではECサーバ10が1台のコンピュータで構成されているように示しているが、ECサーバ10の機能を複数台のコンピュータに分散させてもよい。   Each functional component of the EC server 10 described later reads predetermined software on the CPU 101 and the main storage unit 102, and operates the communication control unit 104, the input device 105, the output device 106, and the like under the control of the CPU 101. This is realized by reading and writing data in the main storage unit 102 and the auxiliary storage unit 103. Data and databases necessary for processing are stored in the main storage unit 102 and the auxiliary storage unit 103. Although FIG. 7 shows that the EC server 10 is configured by one computer, the functions of the EC server 10 may be distributed to a plurality of computers.

本実施形態では、ECサーバ10は、ユーザから送られてきた静止画に写っている商品を判定し、対応する商品情報を検索してそのユーザに提供する。このような検索を実行するために、ECサーバ10は機能的構成要素として関連場所設定部11、受信部(取得部)12、解析部13、検索部14、及び送信部15を備えている。これらの機能的構成要素を図8に示す。   In the present embodiment, the EC server 10 determines a product shown in a still image sent from the user, searches for corresponding product information, and provides it to the user. In order to execute such a search, the EC server 10 includes a related place setting unit 11, a reception unit (acquisition unit) 12, an analysis unit 13, a search unit 14, and a transmission unit 15 as functional components. These functional components are shown in FIG.

関連場所設定部11は、店舗データベース21に記憶されている店舗情報に対して関連場所の位置情報を設定する手段である。   The related place setting unit 11 is means for setting the position information of the related place for the store information stored in the store database 21.

関連場所設定部11は、画像認識により商品を高精度に特定できるほどにその商品が写っている画像データ(準備用画像)と、その画像データに対応する場所を示す場所情報とを取得する。例えば、関連場所設定部11はECサーバ10の管理者等により入力された画像データ及び場所情報を受け付ける。続いて、関連場所設定部11はその画像データに対して画像解析(画像認識)を行い、被写体と商品データベース22内の商品情報とを照合することで、その画像に写っている商品を特定する。   The related place setting unit 11 acquires image data (preparation image) in which the product is shown so that the product can be specified with high accuracy by image recognition, and location information indicating a location corresponding to the image data. For example, the related place setting unit 11 receives image data and place information input by an administrator of the EC server 10 or the like. Subsequently, the related place setting unit 11 performs image analysis (image recognition) on the image data, and collates the subject with the product information in the product database 22 to identify the product shown in the image. .

続いて、関連場所設定部11は店舗データベース21及び商品データベース22を参照して、特定された商品の取扱店舗を示す店舗情報に、入力された場所情報に対応する位置情報を追加する。例えば、場所情報が特定のコンビニエンス・ストアを示す情報であれば、関連場所設定部11はその店の場所を示す位置情報を生成して、特定された商品の取扱店舗の店舗情報にその位置情報を追加する。特定された商品が複数の仮想店舗で取り扱われていれば、各仮想店舗の店舗情報に、そのコンビニエンス・ストアの位置情報が追加される。このような処理により、商品検索に用いる店舗情報を整備することができる。   Subsequently, the related place setting unit 11 refers to the store database 21 and the product database 22 and adds position information corresponding to the input location information to the store information indicating the handling store of the specified product. For example, if the location information is information indicating a specific convenience store, the related location setting unit 11 generates location information indicating the location of the store, and stores the location information in the store information of the store handling the specified product. Add If the identified product is handled at a plurality of virtual stores, the location information of the convenience store is added to the store information of each virtual store. By such processing, store information used for product search can be maintained.

受信部12は、ユーザにより指定された静止画データ(撮影画像)と、その静止画データに関連付けられている位置情報とをユーザ端末Tuから受信する手段である。この静止画データは、販売対象として実店舗や自動販売機などに陳列されている商品、又は屋外の媒体(例えば掲示板や車体など)に表示されている商品を写した画像のデータである。したがって、雑誌や新聞に掲載されている商品画像は、本実施形態における撮影画像の範囲外である。   The receiving unit 12 is means for receiving from the user terminal Tu the still image data (captured image) designated by the user and the position information associated with the still image data. This still image data is data of an image showing a product displayed in an actual store or a vending machine as a sales target or a product displayed on an outdoor medium (for example, a bulletin board or a vehicle body). Therefore, the product images published in magazines and newspapers are outside the range of the photographed images in this embodiment.

ユーザは商品検索に用いる1枚の静止画を任意の方法で指定することができる。例えば、ユーザは地図サーバ30から提供されてウェブブラウザ上に表示されたパノラマ画像の1フレームを撮影画像として指定してもよい。また、ユーザは自身で撮影した1枚の写真を撮影画像として指定してもよい。あるいは、ユーザは自身で撮影した動画像の1フレームを撮影画像として指定してもよい。ユーザは、撮影画像を指定する際に、ユーザ端末Tuにインストールされている画像編集ソフトウェアを用いてその画像を編集してもよい。例えば、ユーザは原画像から人などの動体を省く操作を行うことで最終的な撮影画像を生成してもよい。   The user can designate one still image used for product search by an arbitrary method. For example, the user may designate one frame of a panoramic image provided from the map server 30 and displayed on the web browser as a captured image. Further, the user may designate one photograph taken by himself / herself as a photographed image. Alternatively, the user may designate one frame of a moving image captured by the user as a captured image. When the user designates a captured image, the user may edit the image using image editing software installed in the user terminal Tu. For example, the user may generate a final captured image by performing an operation that excludes a moving object such as a person from the original image.

ユーザは、静止画を指定すると、その静止画内の被写体の中から特定したい商品(検索対象)を選択する。この選択方法は限定されない。例えば、ユーザは静止画内の特定の部分をクリック又はタップすることで商品を選択してもよい。この場合には、ユーザ端末Tuはクリック又はタップされた箇所の座標を静止画データと関連付けて保持する。別の方法として、ユーザは特定しようとする商品の周囲をなぞる操作を行うことで商品を選択してもよい。この場合には、ユーザ端末Tuはその操作により囲まれたエリア(例えば図3における枠H)を示す座標を静止画データと関連付けて保持する。   When the user designates a still image, the user selects a product (search target) to be identified from subjects in the still image. This selection method is not limited. For example, the user may select a product by clicking or tapping a specific part in the still image. In this case, the user terminal Tu holds the coordinates of the clicked or tapped location in association with the still image data. As another method, the user may select a product by performing an operation of tracing around the product to be specified. In this case, the user terminal Tu holds the coordinates indicating the area surrounded by the operation (for example, the frame H in FIG. 3) in association with the still image data.

このようなユーザ操作により静止画データ及び検索対象(座標情報)が指定されると、ユーザ端末Tuはその静止画データに対応する位置情報を取得する。この位置情報は、静止画に写っている場所を示す情報である。静止画データが地図サーバ30から提供されたパノラマ画像であれば、ユーザ端末Tuは、そのパノラマ画像に関連付けられており、そのパノラマ画像と共に地図サーバ30からユーザ端末Tuに提供された位置情報(住所や緯度経度など)を取得する。静止画データがユーザ自身により撮影され記録される場合には、ユーザ端末Tuはその撮影時にGPS(Global Positioning System)等により算出した位置情報をその静止画データと関連付ける。あるいは、ユーザ端末Tuはユーザにより入力された位置情報を受け付けてもよい。   When the still image data and the search target (coordinate information) are designated by such a user operation, the user terminal Tu acquires position information corresponding to the still image data. This position information is information indicating a place in a still image. If the still image data is a panoramic image provided from the map server 30, the user terminal Tu is associated with the panoramic image, and the location information (address) provided from the map server 30 to the user terminal Tu together with the panoramic image. Or latitude / longitude). When still image data is captured and recorded by the user himself, the user terminal Tu associates position information calculated by GPS (Global Positioning System) or the like with the still image data at the time of capturing. Alternatively, the user terminal Tu may accept position information input by the user.

ユーザ端末Tuは取得した静止画データ、座標情報、及び位置情報を含む検索要求をECサーバ10に送信する。あるいは、ユーザ端末Tuは、静止画データに対応する時期情報を更に含む検索要求をECサーバ10に送信してもよい。時期情報は、販売時期により商品を絞り込むための検索条件であり、具体的には、撮影画像の撮影日時であってもよいし、ユーザにより入力された販売時期であってもよい。受信部12はユーザ端末Tuから受信した検索要求を受信し、その検索要求に含まれている情報を解析部13に出力する。   The user terminal Tu transmits a search request including the acquired still image data, coordinate information, and position information to the EC server 10. Alternatively, the user terminal Tu may transmit a search request further including time information corresponding to still image data to the EC server 10. The time information is a search condition for narrowing down the products according to the sales time. Specifically, the time information may be the shooting date and time of the captured image, or may be the sales time input by the user. The receiving unit 12 receives the search request received from the user terminal Tu and outputs information included in the search request to the analyzing unit 13.

なお、ユーザが検索対象を指定することなく撮影画像を送った場合、すなわち検索要求に座標情報が含まれていない場合には、受信部12はユーザに検索対象を問い合わせてもよい。この場合には、受信部12はそのための問合せメッセージをユーザ端末Tuに送信し、その問合せに応じてユーザ端末Tuから送られてきた座標情報を受信する。   When the user sends a captured image without specifying a search target, that is, when coordinate information is not included in the search request, the receiving unit 12 may inquire the user about the search target. In this case, the receiving unit 12 transmits an inquiry message for that purpose to the user terminal Tu, and receives coordinate information transmitted from the user terminal Tu in response to the inquiry.

解析部13は、静止画データを解析することで、商品情報を検索するための条件(検索条件)を抽出する手段である。解析部13は、特徴点抽出やOCR(Optical Character Recognition)などの従来技術を用いて、静止画に写っている複数の被写体から複数の検索条件を抽出する。解析部13は、画像データと比較するための画像オブジェクトを抽出してもよいし、商品名などのようにテキスト形式で示される項目と比較するための文字列を抽出してもよい。抽出される画像オブジェクトは、物体の形状のみで表されてもよいし、形状だけでなく色や模様、文字列(例えばラベルに表示された文字列)などにより表されてもよい。   The analysis unit 13 is a means for extracting a condition (search condition) for searching for product information by analyzing still image data. The analysis unit 13 uses a conventional technique such as feature point extraction or OCR (Optical Character Recognition) to extract a plurality of search conditions from a plurality of subjects in a still image. The analysis unit 13 may extract an image object for comparison with image data, or may extract a character string for comparison with an item indicated in a text format such as a product name. The extracted image object may be represented by only the shape of the object, or may be represented not only by the shape but also by a color, a pattern, a character string (for example, a character string displayed on a label), or the like.

解析部13は一つの被写体から複数の検索条件を抽出してもよく、例えば、静止画に写っている一つのペットボトルから、そのペットボトルそのものの画像オブジェクトと、そのペットボトルのラベルから特定した商品名の文字列とを抽出してもよい。あるいは、解析部13は抽出された画像オブジェクトから検索条件を推定してもよい。例えば、解析部13は飲料の自動販売機の画像オブジェクトに基づいて商品のサイズが500ml又は350mlであると推定し、このサイズを検索条件として抽出してもよい。   The analysis unit 13 may extract a plurality of search conditions from a single subject. For example, the analysis unit 13 is identified from an image object of the plastic bottle itself and a label of the plastic bottle from a single plastic bottle in the still image. You may extract the character string of a product name. Alternatively, the analysis unit 13 may estimate the search condition from the extracted image object. For example, the analysis unit 13 may estimate that the size of the product is 500 ml or 350 ml based on an image object of a beverage vending machine, and extract this size as a search condition.

続いて、解析部13は座標情報を参照して、複数の被写体のうち、ユーザにより検索対象として選択された一個の被写体の領域を検索対象領域として特定し、1以上存在する他の被写体の領域を周辺領域として特定する。検索対象領域から抽出された検索条件は「第1の検索条件」であり、周辺領域から抽出された検索条件は「第2の検索条件」である。解析部13は第1及び第2の検索条件を位置情報と共に検索部14に出力する。検索要求が時期情報を含んでいる場合には、解析部13は時期情報も検索部14に出力する。   Subsequently, the analysis unit 13 refers to the coordinate information, identifies a region of one subject selected as a search target by the user from among a plurality of subjects as a search target region, and stores one or more other subject regions. Is specified as the peripheral region. The search condition extracted from the search target area is the “first search condition”, and the search condition extracted from the peripheral area is the “second search condition”. The analysis unit 13 outputs the first and second search conditions together with the position information to the search unit 14. If the search request includes time information, the analysis unit 13 also outputs time information to the search unit 14.

検索部14は、第1及び第2の検索条件と位置情報とを用いてデータベース群20を参照することで、検索対象に対応する商品情報を検索する手段である。この検索の際に、検索部14は、入力された位置情報(静止画に関連付けられた位置情報)と一致又は近似する位置情報(関連場所の位置情報)を有する店舗情報を店舗データベース21から抽出することで、静止画に写っている場所に対応する店舗IDを特定する。そして、検索部14は、その店舗IDを有し、且つ商品属性が第1の検索条件に一致又は類似する商品情報(候補商品情報)を商品データベース22から抽出することで、検索対象として指定された商品を推定する。検索要求が時期情報を含んでいる場合には、検索部14は、特定された店舗IDを有し、商品属性が第1の検索条件に一致又は類似し、且つ販売時期がその時期情報に対応する商品情報を候補商品情報として商品データベース22から抽出する。   The search unit 14 is means for searching for product information corresponding to the search target by referring to the database group 20 using the first and second search conditions and the position information. In this search, the search unit 14 extracts store information having position information (related place position information) that matches or approximates the input position information (position information associated with the still image) from the store database 21. By doing so, the store ID corresponding to the place shown in the still image is specified. And the search part 14 is designated as a search object by extracting the product information (candidate product information) which has the store ID and whose product attribute matches or resembles the first search condition from the product database 22. Estimate the product. When the search request includes time information, the search unit 14 has the specified store ID, the product attribute matches or resembles the first search condition, and the sales time corresponds to the time information. Product information to be extracted from the product database 22 as candidate product information.

なお、「類似する商品」とは、形状や色などが被写体と似ている画像データを有する商品や、商品情報のテキスト項目(例えば商品名やブランド名、商品カテゴリなど)と被写体から抽出された文字列との間で語句の類似関係や包含関係がある商品などのことを指す。また、「販売時期が時期情報に対応する」とは、販売時期と時期情報で示される時期(指定時期)と一致すること、販売時期が指定時期を含むこと、あるいは販売時期が指定時期に含まれることをいう。   Note that “similar products” are products that have image data similar in shape and color to the subject, text items of product information (for example, product names, brand names, product categories, etc.) and extracted from the subject. This refers to products that have similar or inclusive relationships between words and character strings. In addition, “sales time corresponds to time information” means that the sales time and the time indicated by the time information (designated time) coincide, the sales time includes the designated time, or the sales time is included in the designated time. It means to be.

第1の検索条件が文字列であれば、検索部14はその文字列と商品情報の任意のテキスト項目の値とを比較する。第1の検索条件が画像オブジェクトであれば、検索部14はその画像オブジェクトと商品情報の画像データとを比較するが、この比較のために、例えば下記参考文献1,2に記載の手法が利用可能である。   If the first search condition is a character string, the search unit 14 compares the character string with the value of an arbitrary text item in the product information. If the first search condition is an image object, the search unit 14 compares the image object with image data of product information. For this comparison, for example, the methods described in the following references 1 and 2 are used. Is possible.

(参考文献1)増田真樹、““フォト検索”搭載のAmazon公式アプリが人気”、[online]、2010年6月7日、[2010年8月24日検索]、インターネット<URL: http://techwave.jp/archives/51461554.html>
(参考文献2)“アマゾン iPhone向けアプリを無料提供 カメラを使った「フォト検索」も”、[online]、2010年6月18日、[2010年8月24日検索]、インターネット<URL: http://web-tan.forum.impressrd.jp/e/2010/06/18/8185>
(Reference 1) Masaki Masuda, “The Amazon Official App with“ Photo Search ”is Popular”, [online], June 7, 2010, [Search August 24, 2010], Internet <URL: http: / /techwave.jp/archives/51461554.html>
(Reference 2) “Amazon provides iPhone apps for free“ Photo search ”using a camera”, [online], June 18, 2010, [August 24, 2010 search], Internet <URL: http : //web-tan.forum.impressrd.jp/e/2010/06/18/8185>

第1の検索条件に一致又は類似する商品情報(候補商品情報)を抽出すると、検索部14は第2の検索条件、すなわちユーザが指定した被写体の周辺から得られた情報を用いて、その商品情報を絞り込む。この絞込方法は一つに限定されるものではなく、下記のように様々なものが考えられる。   When product information (candidate product information) that matches or is similar to the first search condition is extracted, the search unit 14 uses the second search condition, that is, information obtained from the periphery of the subject designated by the user, to obtain the product. Filter information. This narrowing down method is not limited to one, and various methods can be considered as follows.

第1の方法として、検索部14は抽出された商品情報(候補商品情報)の中から第2の検索条件に一致又は類似するものを選択することで、商品情報を絞り込んでもよい。第2の検索条件が文字列であれば、検索部14はその文字列と商品情報の任意のテキスト項目の値とを比較することで、その条件に対応する商品情報を選び出す。第2の検索条件が画像オブジェクトであれば、検索部14はその画像オブジェクトと商品情報の画像データとを例えば上記参考文献1又は2の手法により比較することで、その条件に対応する商品情報を選び出す。   As a first method, the search unit 14 may narrow down product information by selecting a product that matches or is similar to the second search condition from the extracted product information (candidate product information). If the second search condition is a character string, the search unit 14 compares the character string with the value of an arbitrary text item in the product information to select product information corresponding to the condition. If the second search condition is an image object, the search unit 14 compares the image object and the image data of the merchandise information by, for example, the technique of the above-mentioned reference 1 or 2, thereby obtaining the merchandise information corresponding to the condition. Pick out.

例えば、検索部14は第1の検索条件である画像オブジェクトを用いて抽出された商品情報から、テキスト項目で示される任意の商品属性(例えば商品名やブランド名、商品カテゴリなど)が第2の検索条件に対応するものを選び出してもよい。また、検索部14はテキスト項目で示される任意の商品属性(例えば商品名やブランド名、商品カテゴリなど)が第1の検索条件に対応する商品情報から、第2の検索条件で示される画像オブジェクトと一致又は類似するものを選び出してもよい。第1及び第2の検索条件が共に画像オブジェクトである場合や、共に文字列である場合もあり得る。   For example, the search unit 14 uses the product information extracted by using the image object that is the first search condition, and any product attribute (for example, product name, brand name, product category, etc.) indicated by the text item is the second. Those corresponding to the search condition may be selected. In addition, the search unit 14 selects an image object indicated by the second search condition from the product information corresponding to the first search condition with any product attribute (for example, product name, brand name, product category, etc.) indicated by the text item. Those that match or are similar may be selected. Both the first and second search conditions may be image objects, or both may be character strings.

このように、商品属性が第1の検索条件だけでなく周辺領域から得られた第2の検索条件にも当てはまる商品情報を抽出することで商品情報が更に絞り込まれるので、商品検索の精度を上げることができる。   In this way, product information is further narrowed down by extracting product information whose product attributes are applicable not only to the first search condition but also to the second search condition obtained from the surrounding area, thus improving the accuracy of product search. be able to.

第2の方法として、検索部14は近接度情報を参照して商品情報を絞り込んでもよい。具体的には、検索部14は商品属性が第2の検索条件に一致又は類似する商品情報(周辺商品情報)を商品データベース22から抽出することで、検索対象以外の被写体(すなわち、ユーザが指定した被写体の周囲に写っている物)がどの商品であるかを推定する。推定された周辺商品が複数の仮想店舗で取り扱われている場合にはその商品について商品情報のレコードが複数個抽出されるが、その場合には検索部14はその重複を除去すればよい。   As a second method, the search unit 14 may narrow down product information with reference to proximity information. Specifically, the search unit 14 extracts product information (peripheral product information) whose product attributes match or are similar to the second search condition from the product database 22, so that subjects other than the search target (that is, specified by the user) The product that is around the subject is estimated. When the estimated peripheral products are handled at a plurality of virtual stores, a plurality of product information records are extracted for the products. In this case, the search unit 14 may remove the duplication.

続いて、検索部14は、静止画に写っている商品(検索対象商品及び周辺商品)に関する近接度情報を参照して、検索対象である可能性が高い商品を推定する。この処理において検索部14は、関連場所の位置情報が、入力された位置情報と一致又は最も近似する近接度情報(すなわち、撮影場所に対応する近接度情報)を用いる。検索部14は、その近接度情報を参照して、候補商品情報で示される一の検索対象商品と、周辺商品情報で示される一の周辺商品との近接度を、検索対象商品及び周辺商品のすべての組み合わせについて特定する。続いて、検索部14は候補商品情報のうち近接度に基づく条件を満たすものを選び出す。   Subsequently, the search unit 14 refers to proximity information regarding products (search target products and peripheral products) shown in the still image, and estimates a product that is highly likely to be a search target. In this processing, the search unit 14 uses proximity information (that is, proximity information corresponding to the shooting location) in which the location information of the related location matches or most closely approximates the input location information. The search unit 14 refers to the proximity information, and determines the proximity between the one search target product indicated by the candidate product information and the one peripheral product indicated by the peripheral product information. Identify all combinations. Subsequently, the search unit 14 selects the candidate product information that satisfies the condition based on the proximity.

近接度情報を用いる処理の一例を図9〜13を用いて説明する。図9に示すように、ある撮影場所における写真Dの被写体Pが検索対象であり、被写体Q,Rが周辺商品であるとする。そして、被写体Pから商品P1,P2,P3が推定され、被写体Qから商品Q1,Q2,Q3が推定され、被写体Rから商品R1,R2が推定されたものとする。そして、その撮影場所及び推定された商品に関する近接度情報が図10に示すとおりであったとする。したがって、検索対象の商品P1,P2,P3と、周辺商品Q1,Q2,Q3、R1,R2との近接度は図11のようにまとめることができる。   An example of processing using proximity information will be described with reference to FIGS. As shown in FIG. 9, it is assumed that the subject P of the photo D at a certain shooting location is a search target and the subjects Q and R are peripheral products. Then, it is assumed that the products P1, P2, P3 are estimated from the subject P, the products Q1, Q2, Q3 are estimated from the subject Q, and the products R1, R2 are estimated from the subject R. Then, it is assumed that the proximity information regarding the shooting location and the estimated product is as shown in FIG. Therefore, the proximity of the search target products P1, P2, P3 and the peripheral products Q1, Q2, Q3, R1, R2 can be summarized as shown in FIG.

この場合に検索部14は、被写体Qの少なくとも一つの商品との近接度、及び被写体Rの少なくとも一つの商品との近接度の双方が所定の閾値以上である検索対象商品を選択してもよい。例えばその閾値を0.6とすれば、図12に示すように検索部14は商品P1,P3を選択する。商品P2が選択されないのは、被写体Qから推定された少なくとも一つの商品(商品Q1,Q2)との近接度は高いものの、被写体Rから推定された商品のいずれとも近接度が低いからである。   In this case, the search unit 14 may select a search target product in which both the proximity of the subject Q to at least one product and the proximity of the subject R to at least one product are equal to or greater than a predetermined threshold. . For example, if the threshold is 0.6, the search unit 14 selects the products P1 and P3 as shown in FIG. Product P2 is not selected because the proximity to at least one product (product Q1, Q2) estimated from subject Q is high, but the proximity to any product estimated from subject R is low.

あるいは、検索部14は周辺物に関する各被写体についての近接度の平均を求めた上で、その近接度がすべて所定の閾値以上である検索対象商品を選択してもよい。例えばその閾値を0.6とすれば、図13に示すように検索部14は商品P1を選択し、被写体Rから推定された商品との近接度の平均が閾値未満である商品P2と、被写体Q,Rの双方について近接度の平均が閾値未満である商品P3とを取り除く。   Alternatively, the search unit 14 may obtain an average of the degrees of proximity of each subject related to the surrounding objects and then select a search target product whose degree of proximity is equal to or greater than a predetermined threshold. For example, if the threshold is 0.6, the search unit 14 selects the product P1 as shown in FIG. 13, and the product P2 whose average of the proximity to the product estimated from the subject R is less than the threshold, and the subject For both Q and R, the product P3 having an average proximity below the threshold is removed.

図12や図13の例において選択した商品数が多いようであれば、検索部14は近接度の平均が高い上位n個の検索対象商品のみを最終的に選択してもよい。なお、近接度情報を用いた絞込みの方法は上記のものに限定されず、検索部14は任意の手法で近接度情報に基づく絞込みを行ってよい。   If the number of products selected in the examples of FIGS. 12 and 13 seems to be large, the search unit 14 may finally select only the top n search target products having a high average of proximity. Note that the narrowing-down method using the proximity information is not limited to the above, and the search unit 14 may narrow down based on the proximity information by any method.

このように、場所毎の商品の陳列に着目し、近接度情報を用いて商品を検索することで、その場所で写された商品の検索精度を上げることができる。   In this way, paying attention to the display of products at each location and searching for products using proximity information, it is possible to improve the search accuracy of products copied at that location.

検索部14は、上記第1及び第2の方法以外の手法を用いて、検索対象の商品に対応する商品情報を検索してもよい。検索部14は最終的に抽出した商品情報を検索結果として送信部15に出力する。   The search unit 14 may search for product information corresponding to the search target product using a method other than the first and second methods. The search unit 14 outputs the finally extracted product information to the transmission unit 15 as a search result.

送信部15は、その検索結果を含むウェブページを生成し、検索要求を送ってきたユーザ端末Tuにそのウェブページを送信する手段である。検索結果はある一つの仮想店舗において取り扱われている1以上の商品を示している。したがって、送信部15は、検索された商品を表示するとともに、その商品の購入手続を行うためのユーザ・インタフェース(例えば商品の購入ページへのリンクなど)を含むウェブページを生成及び送信してもよい。ユーザはそのページを操作して、検索対象として指定した被写体に対応する1以上の商品から所望のものを購入することができる。あるいは、ユーザは検索結果の画面を実店舗のスタッフに見せて、商品の問合せや商品の取寄せの依頼を行うことも可能である。   The transmission unit 15 is means for generating a web page including the search result and transmitting the web page to the user terminal Tu that has sent the search request. The search result indicates one or more products handled in one virtual store. Accordingly, the transmission unit 15 generates and transmits a web page including a user interface (for example, a link to a purchase page of a product) for displaying the searched product and performing a purchase procedure for the product. Good. The user can operate the page to purchase a desired item from one or more products corresponding to the subject specified as the search target. Alternatively, the user can show the search result screen to the staff of the actual store and make an inquiry about the product or a request for obtaining the product.

次に、図14を用いて、ECサーバ10の動作を説明するとともに本実施形態に係る検索方法について説明する。   Next, the operation of the EC server 10 will be described using FIG. 14 and the search method according to the present embodiment will be described.

まず、ユーザ端末Tuがユーザの操作に応じて静止画データ(撮影画像)を取得する(ステップS11)。ユーザ端末Tuは地図サーバ30にアクセスすることで得た静止画データを取得してもよいし(ステップS12)、自機により撮影及び生成された静止画データを取得してもよい。さらに、ユーザ端末Tuは位置情報、及び検索対象の座標情報を取得し、必要に応じて時期情報も取得する(ステップS13)。続いて、ユーザ端末Tuは取得したこれらの情報を検索要求としてECサーバ10に送信する(ステップS14)。   First, the user terminal Tu acquires still image data (captured image) in response to a user operation (step S11). The user terminal Tu may acquire still image data obtained by accessing the map server 30 (step S12), or may acquire still image data shot and generated by the own device. Furthermore, the user terminal Tu acquires position information and coordinate information to be searched, and also acquires time information as necessary (step S13). Subsequently, the user terminal Tu transmits the acquired information as a search request to the EC server 10 (step S14).

ECサーバ10では、受信部12がその検索要求を受信する(取得ステップ)。続いて、解析部13がその要求に含まれている静止画データを特徴点抽出やOCRなどを用いて解析することで、検索対象領域から第1の検索条件を抽出するともに、周辺領域から第2の検索条件を抽出する(ステップS15、解析ステップ)。   In the EC server 10, the receiving unit 12 receives the search request (acquisition step). Subsequently, the analysis unit 13 analyzes the still image data included in the request using feature point extraction, OCR, or the like, thereby extracting the first search condition from the search target area and the first from the surrounding area. 2 search conditions are extracted (step S15, analysis step).

続いて、検索部14が、検索要求から抽出された静止画データ以外の情報(少なくとも位置情報及び座標情報を含み、場合によっては時期情報を更に含む)と、第1及び第2の検索条件とを用いて商品情報を検索する。まず、検索部14は、位置情報及び第1の検索条件を用いて商品データベース22を検索することで、検索対象に対応する商品情報を抽出する(ステップS16、検索ステップ)。具体的には、検索部14は位置情報に基づいて特定した店舗IDと、第1の検索条件とに対応する商品情報を商品データベース22から抽出する。続いて、検索部14は抽出した商品情報を第2の検索条件を用いて絞り込む(ステップS17、検索ステップ)。この際に検索部14は、抽出された商品情報のうち商品属性が第2の検索条件に対応するものを選択する上記第1の方法を用いたり、近接度情報を参照して商品情報を絞り込む上記第2の方法を用いたりすることができる。   Subsequently, the search unit 14 includes information other than the still image data extracted from the search request (including at least position information and coordinate information, and further including time information in some cases), first and second search conditions, Search for product information using. First, the search unit 14 searches the product database 22 using the position information and the first search condition, thereby extracting product information corresponding to the search target (step S16, search step). Specifically, the search unit 14 extracts product information corresponding to the store ID specified based on the position information and the first search condition from the product database 22. Subsequently, the search unit 14 narrows down the extracted product information using the second search condition (step S17, search step). At this time, the search unit 14 uses the first method of selecting the product attribute corresponding to the second search condition among the extracted product information, or narrows down the product information with reference to the proximity information. The second method can be used.

このような二段階の検索処理により商品情報が抽出されると、送信部15がその情報を検索結果としてユーザ端末Tuに送信し(ステップS18、送信ステップ)、ユーザ端末Tuはその検索結果を受信して画面に表示する(ステップS19)。この後、ユーザは必要に応じて、表示された商品の購入手続をユーザ端末Tu及びECサイトを介して行うことができる。   When product information is extracted by such a two-stage search process, the transmission unit 15 transmits the information as a search result to the user terminal Tu (step S18, transmission step), and the user terminal Tu receives the search result. Is displayed on the screen (step S19). After that, the user can perform the purchase procedure for the displayed product through the user terminal Tu and the EC site as necessary.

次に、図15を用いて、コンピュータをECサーバ10として機能させるための検索プログラムP1を説明する。   Next, a search program P1 for causing a computer to function as the EC server 10 will be described with reference to FIG.

検索プログラムP1は、メインモジュールP10、関連場所設定モジュールP11、受信モジュールP12、解析モジュールP13、検索モジュールP14、及び送信モジュールP15を備えている。   The search program P1 includes a main module P10, a related place setting module P11, a reception module P12, an analysis module P13, a search module P14, and a transmission module P15.

メインモジュールP10は、検索機能を統括的に制御する部分である。関連場所設定モジュールP11、受信モジュールP12、解析モジュールP13、検索モジュールP14、及び送信モジュールP15を実行することにより実現される機能はそれぞれ、上記の関連場所設定部11、受信部12、解析部13、検索部14、及び送信部15の機能と同様である。   The main module P10 is a part that comprehensively controls the search function. The functions realized by executing the related place setting module P11, the receiving module P12, the analyzing module P13, the search module P14, and the transmitting module P15 are respectively the related place setting unit 11, the receiving unit 12, the analyzing unit 13, The functions of the search unit 14 and the transmission unit 15 are the same.

検索プログラムP1は、例えば、CD−ROMやDVD−ROM、半導体メモリ等の有形の記録媒体に固定的に記録された上で提供される。また、検索プログラムP1は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。   The search program P1 is provided after being fixedly recorded on a tangible recording medium such as a CD-ROM, DVD-ROM, or semiconductor memory. The search program P1 may be provided via a communication network as a data signal superimposed on a carrier wave.

以上説明したように、本実施形態によれば、撮影画像のうち、検索対象領域だけでなくその周辺の領域からも検索条件が抽出され、これら二種類の検索条件と、撮影画像に関連付けられている位置情報とに基づいて商品情報が検索される。このように、検索対象に関する情報(第1の検索条件)及び位置情報に加えて周辺物に関する情報(第2の検索条件)も用いることで商品を検索する手がかりが増えるので、商品検索の精度を上げることができる。また、商品情報を絞り込むことができるので、検索時間を短縮したり、ユーザ端末Tuへ送る検索結果のデータ量を低減したりすることも可能になる。   As described above, according to the present embodiment, search conditions are extracted not only from the search target area but also from the surrounding area in the captured image, and these two types of search conditions are associated with the captured image. The product information is searched based on the position information. As described above, the information about the search target (first search condition) and the position information as well as the information about the peripheral object (second search condition) are used to increase the number of clues for searching for the product. Can be raised. Further, since product information can be narrowed down, it is possible to shorten the search time and reduce the amount of search result data sent to the user terminal Tu.

静止画データとして得られる撮影画像は、地図サーバ30から提供されるパノラマ画像であったり、ユーザにより撮影された写真であったりするので、雑誌に載るような商品の鮮明な画像とは異なり、被写体がぼやけていたり傾いて写っていたりすることがある。しかし、本実施形態のように、検索対象領域だけでなく周辺領域からも検索条件を抽出すれば、検索対象領域のみから検索条件を抽出する場合よりも検索の精度やスピードが向上する。   Since the captured image obtained as still image data is a panoramic image provided from the map server 30 or a photograph taken by the user, the subject is different from a clear image of a product placed in a magazine. May be blurred or tilted. However, if the search condition is extracted not only from the search target area but also from the peripheral area as in the present embodiment, the search accuracy and speed are improved compared to the case of extracting the search condition from only the search target area.

例えば、ユーザが酒屋の店頭のパノラマ画像から酒瓶を選択した場合に、値札から値段を抽出したり、周辺に写っている他の商品との大きさに基づいて瓶の大きさを特定したりした上で、これらの検索条件から商品情報が抽出される。撮影画像の画質が低い場合には検索結果として酒以外の商品が検索され得る。しかし、このような場合にはユーザは被写体そのものに完全に合致する商品を特定しようとするわけではなく、おおよその検索結果が得られれば足りると考えるので、本実施形態による検索手法は有効である。   For example, when a user selects a liquor bottle from a panoramic image of a liquor store, the price is extracted from a price tag, or the size of the bottle is specified based on the size of other products in the vicinity. After that, product information is extracted from these search conditions. When the image quality of the photographed image is low, a product other than alcohol can be searched as a search result. However, in such a case, the user does not intend to specify a product that completely matches the subject itself, and it is sufficient that an approximate search result is obtained. Therefore, the search method according to the present embodiment is effective. .

別の例で、撮影画像に写っている自動販売機のジュースをユーザが選択した場合には、その周辺物である自動販売機の画像からメーカを特定したり、自動販売機内に並んでいる他の商品から缶またはペットボトルの大きさを特定したりした上で、これらの検索条件から商品情報が抽出される。このように、仮想店舗で取り扱われる商品以外の有体物(例えば自動販売機など)から得られる検索条件を用いた場合でも、検索の手がかりを増やして、商品検索の精度を上げることができる。   In another example, when a user selects juice from a vending machine shown in the photographed image, the manufacturer is identified from the vending machine image that is the peripheral object, or other items that are lined up in the vending machine. The product information is extracted from these search conditions after the size of the can or the plastic bottle is specified from the product. As described above, even when a search condition obtained from a tangible object (for example, a vending machine) other than the product handled in the virtual store is used, the search clue can be increased and the accuracy of the product search can be improved.

本実施形態において検索条件として時期情報も用いれば、商品を検索する手がかりが更に増えるので、商品検索の精度を上げることができる。   If time information is also used as a search condition in the present embodiment, the number of clues for searching for a product is further increased, so that the accuracy of product search can be improved.

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。   The present invention has been described in detail based on the embodiments. However, the present invention is not limited to the above embodiment. The present invention can be variously modified without departing from the gist thereof.

上記実施形態ではユーザに検索対象を指定させたが、ECサーバは、ユーザにその指定をさせることなく、撮影画像内の各被写体について商品検索を実行してもよい。例えば図9に示す撮影画像Dを受信した場合には、検索部は、被写体Pを検索対象(被写体Q,Rは周辺物)として検索をするだけでなく、被写体Qを検索対象(被写体P,Rは周辺物)とする検索と、被写体Rを検索対象(被写体P,Qは周辺物)とする検索も実行する。送信部は、被写体P,Q,Rのそれぞれについての検索結果をユーザ端末に送信する。   In the above-described embodiment, the search target is specified by the user, but the EC server may execute a product search for each subject in the captured image without allowing the user to specify the search target. For example, when the captured image D shown in FIG. 9 is received, the search unit not only searches the subject P as a search target (subjects Q and R are peripheral objects), but also searches the subject Q (subject P, A search for R as a peripheral object and a search for the subject R as a search target (subjects P and Q are peripheral objects) are also executed. The transmission unit transmits search results for each of the subjects P, Q, and R to the user terminal.

上記実施形態では、検索機能を有するECサーバ10が地図サーバ30とは別に設けられていたが、一つのサーバが検索機能及び地図提供機能の双方を備えていてもよい。また、本発明は仮想商店街における商品検索だけでなく、単独で構築されている仮想店舗における商品検索に対しても適用することができる。   In the above embodiment, the EC server 10 having a search function is provided separately from the map server 30, but one server may have both a search function and a map providing function. Further, the present invention can be applied not only to product search in a virtual shopping street, but also to product search in a virtual store constructed independently.

上記実施形態における関連場所設定部11は省略可能である。あるいは、その構成要素をECサーバ10とは異なるサーバ上に設けてもよい。   The related place setting unit 11 in the above embodiment can be omitted. Alternatively, the constituent elements may be provided on a server different from the EC server 10.

1…検索システム、10…ECサーバ、11…関連場所設定部、12…受信部、13…解析部、14…検索部、15…送信部、20…データベース群、21…店舗データベース、22…商品データベース、23…近接度データベース、30…地図サーバ、31…地図データベース、P1…検索プログラム、P10…メインモジュール、P11…関連場所設定モジュール、P12…受信モジュール、P13…解析モジュール、P14…検索モジュール、P15…送信モジュール、Ts…店舗端末、Tu…ユーザ端末。
DESCRIPTION OF SYMBOLS 1 ... Search system, 10 ... EC server, 11 ... Related place setting part, 12 ... Reception part, 13 ... Analysis part, 14 ... Search part, 15 ... Transmission part, 20 ... Database group, 21 ... Store database, 22 ... Goods Database, 23 ... Proximity database, 30 ... Map server, 31 ... Map database, P1 ... Search program, P10 ... Main module, P11 ... Related location setting module, P12 ... Receiving module, P13 ... Analysis module, P14 ... Search module, P15: Transmission module, Ts: Store terminal, Tu: User terminal.

Claims (7)

ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、
前記撮影画像を解析して、検索対象が写っている検索対象領域から第1の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている1以上の周辺領域から第2の検索条件を抽出する解析部と、
店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報と所定の場所における複数の商品間の近接度を示す近接度情報とを記憶する記憶部を前記第1の検索条件、前記第2の検索条件、及び前記位置情報を用いて参照することで、前記第1の検索条件により抽出された候補商品情報で示される候補商品と、前記第2の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を前記近接度情報により特定し、該近接度に基づいて該候補商品情報から前記検索対象に対応する商品情報を抽出する検索部と、
前記検索部により抽出された商品情報を前記ユーザ端末に送信する送信部と
を備える検索装置。
An acquisition unit that acquires a captured image specified by the user terminal and position information associated with the captured image;
The photographed image is analyzed to extract a first search condition from a search target area in which a search target is shown, and a second search is performed from one or more peripheral areas in which peripheral objects around the search target are shown. An analysis unit for extracting search conditions;
The first storage unit stores store information indicating a location associated with a store, product information indicating a product handled at the store, and proximity information indicating a proximity between a plurality of products at a predetermined location. By referring to the search condition, the second search condition, and the position information, the candidate product indicated by the candidate product information extracted by the first search condition and the second search condition A search unit that specifies a proximity to the peripheral product indicated by the extracted peripheral product information by the proximity information, and extracts product information corresponding to the search target from the candidate product information based on the proximity ;
A search apparatus provided with the transmission part which transmits the merchandise information extracted by the said search part to the said user terminal.
前記検索部が、前記位置情報で示される場所に関連付けられている店舗で取り扱われており、且つ前記第1及び第2の検索条件に対応する商品情報を抽出する、
請求項1に記載の検索装置。
The search unit is handled at a store associated with the place indicated by the position information, and extracts product information corresponding to the first and second search conditions.
The search device according to claim 1.
前記検索部が、前記1以上の周辺領域のそれぞれについて、前記候補商品との近接度が所定の閾値以上である前記周辺商品が存在する場合に、該候補商品を示す候補商品情報を、前記検索対象に対応する商品情報として抽出する、
請求項1又は2に記載の検索装置。
The search unit searches for candidate product information indicating the candidate product when each of the one or more peripheral regions has the peripheral product whose proximity to the candidate product is equal to or greater than a predetermined threshold. Extract as product information corresponding to the target,
The search device according to claim 1 or 2 .
前記検索部が、前記1以上の周辺領域のそれぞれについて、前記候補商品と前記周辺商品との近接度の平均が所定の閾値以上である場合に、該候補商品を示す候補商品情報を、前記検索対象に対応する商品情報として抽出する、
請求項1又は2に記載の検索装置。
For each of the one or more peripheral areas, the search unit searches for candidate product information indicating the candidate product when the average of the proximity of the candidate product and the peripheral product is equal to or greater than a predetermined threshold. Extract as product information corresponding to the target,
The search device according to claim 1 or 2 .
商品が写っている準備用画像を画像解析して前記商品情報と照合するとともに、該準備用画像の撮影場所を示す場所情報を取得することで、該商品を取り扱う店舗と該撮影場所とが関連付けられた該店舗情報を設定する関連場所設定部を更に備える請求項1〜のいずれか一項に記載の検索装置。 A preparatory image showing a product is image-analyzed and collated with the product information, and by acquiring location information indicating the shooting location of the preparation image, the store handling the product is associated with the shooting location. The search apparatus as described in any one of Claims 1-4 further provided with the related place setting part which sets this shop information which was done. 検索装置により実行される検索方法であって、
ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得ステップと、
前記撮影画像を解析して、検索対象が写っている検索対象領域から第1の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている1以上の周辺領域から第2の検索条件を抽出する解析ステップと、
店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報と所定の場所における複数の商品間の近接度を示す近接度情報とを記憶する記憶部を前記第1の検索条件、前記第2の検索条件、及び前記位置情報を用いて参照することで、前記第1の検索条件により抽出された候補商品情報で示される候補商品と、前記第2の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を前記近接度情報により特定し、該近接度に基づいて該候補商品情報から前記検索対象に対応する商品情報を抽出する検索ステップと、
前記検索ステップにおいて抽出された商品情報を前記ユーザ端末に送信する送信ステップと
を含む検索方法。
A search method executed by a search device,
An acquisition step of acquiring a captured image specified by the user terminal and position information associated with the captured image;
The photographed image is analyzed to extract a first search condition from a search target area in which a search target is shown, and a second search is performed from one or more peripheral areas in which peripheral objects around the search target are shown. An analysis step for extracting search conditions;
The first storage unit stores store information indicating a location associated with a store, product information indicating a product handled at the store, and proximity information indicating a proximity between a plurality of products at a predetermined location. By referring to the search condition, the second search condition, and the position information, the candidate product indicated by the candidate product information extracted by the first search condition and the second search condition A step of specifying the proximity with the peripheral product indicated by the extracted peripheral product information by the proximity information, and extracting product information corresponding to the search target from the candidate product information based on the proximity ;
And a transmitting step of transmitting the product information extracted in the searching step to the user terminal.
ユーザ端末により指定された撮影画像と、該撮影画像に関連付けられた位置情報とを取得する取得部と、
前記撮影画像を解析して、検索対象が写っている検索対象領域から第1の検索条件を抽出すると共に、該検索対象の周辺にある周辺物が写っている1以上の周辺領域から第2の検索条件を抽出する解析部と、
店舗に関連付けられた場所を示す店舗情報と該店舗で取り扱われている商品を示す商品情報と所定の場所における複数の商品間の近接度を示す近接度情報とを記憶する記憶部を前記第1の検索条件、前記第2の検索条件、及び前記位置情報を用いて参照することで、前記第1の検索条件により抽出された候補商品情報で示される候補商品と、前記第2の検索条件により抽出された周辺商品情報で示される周辺商品との近接度を前記近接度情報により特定し、該近接度に基づいて該候補商品情報から前記検索対象に対応する商品情報を抽出する検索部と、
前記検索部により抽出された商品情報を前記ユーザ端末に送信する送信部と
をコンピュータに実行させる検索プログラム。
An acquisition unit that acquires a captured image specified by the user terminal and position information associated with the captured image;
The photographed image is analyzed to extract a first search condition from a search target area in which a search target is shown, and a second search is performed from one or more peripheral areas in which peripheral objects around the search target are shown. An analysis unit for extracting search conditions;
The first storage unit stores store information indicating a location associated with a store, product information indicating a product handled at the store, and proximity information indicating a proximity between a plurality of products at a predetermined location. By referring to the search condition, the second search condition, and the position information, the candidate product indicated by the candidate product information extracted by the first search condition and the second search condition A search unit that specifies a proximity to the peripheral product indicated by the extracted peripheral product information by the proximity information, and extracts product information corresponding to the search target from the candidate product information based on the proximity ;
The search program which makes a computer perform the transmission part which transmits the merchandise information extracted by the said search part to the said user terminal.
JP2012029793A 2012-02-14 2012-02-14 Search device, search method, search program, and computer-readable recording medium storing the program Active JP5395920B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012029793A JP5395920B2 (en) 2012-02-14 2012-02-14 Search device, search method, search program, and computer-readable recording medium storing the program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012029793A JP5395920B2 (en) 2012-02-14 2012-02-14 Search device, search method, search program, and computer-readable recording medium storing the program

Publications (2)

Publication Number Publication Date
JP2013167973A JP2013167973A (en) 2013-08-29
JP5395920B2 true JP5395920B2 (en) 2014-01-22

Family

ID=49178339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012029793A Active JP5395920B2 (en) 2012-02-14 2012-02-14 Search device, search method, search program, and computer-readable recording medium storing the program

Country Status (1)

Country Link
JP (1) JP5395920B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015192258A (en) * 2014-03-28 2015-11-02 富士フイルム株式会社 Related information detection device for still picture, detection method, detection program, and recording medium with the program stored thereon
JP6550736B2 (en) 2014-12-08 2019-07-31 富士ゼロックス株式会社 Shooting target management program and information processing apparatus
CN107251082A (en) * 2015-02-27 2017-10-13 索尼公司 Information processor, information processing method and program
JP6712719B2 (en) * 2015-05-12 2020-06-24 ピンタレスト,インコーポレイテッド Matching the product display provided by the user with the seller of the product
US10679269B2 (en) 2015-05-12 2020-06-09 Pinterest, Inc. Item selling on multiple web sites
US10269055B2 (en) 2015-05-12 2019-04-23 Pinterest, Inc. Matching user provided representations of items with sellers of those items
KR20180031864A (en) * 2016-09-19 2018-03-29 엔에이치엔엔터테인먼트 주식회사 Method and system for online transaction using offline experience
JP2019079084A (en) * 2017-10-19 2019-05-23 株式会社大塚商会 Image analysis system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4084625B2 (en) * 2001-09-28 2008-04-30 富士フイルム株式会社 Order processing apparatus and image photographing apparatus
JP2005184624A (en) * 2003-12-22 2005-07-07 Seiko Epson Corp Commodity sale/management method, commodity sale/management system, and server
JP4610284B2 (en) * 2004-09-30 2011-01-12 日本たばこ産業株式会社 Vending machine system
JP4862567B2 (en) * 2006-09-04 2012-01-25 大日本印刷株式会社 Information providing system, information providing method, memo information management device, sales promotion information management device, etc.
JP2008269557A (en) * 2007-03-26 2008-11-06 Seiko Epson Corp Image search device and image search method
JP5280475B2 (en) * 2010-03-31 2013-09-04 新日鉄住金ソリューションズ株式会社 Information processing system, information processing method, and program

Also Published As

Publication number Publication date
JP2013167973A (en) 2013-08-29

Similar Documents

Publication Publication Date Title
JP5395920B2 (en) Search device, search method, search program, and computer-readable recording medium storing the program
US11227326B2 (en) Augmented reality recommendations
JP6522081B2 (en) Electronic commerce system, electronic commerce method, and electronic commerce program
US8842941B2 (en) Image capture and identification system and process
CN103369049B (en) Mobile terminal and server exchange method and system thereof
US20140254942A1 (en) Systems and methods for obtaining information based on an image
US20180203878A1 (en) Methods and systems for analyzing parts of an electronic file
KR101729938B1 (en) Integrative image searching system and service method of the same
CN104504155B (en) A kind of data capture method and system based on picture search
JP5180415B2 (en) Object display server, object display method, object display program, and computer-readable recording medium storing the program
US8355533B2 (en) Method for providing photographed image-related information to user, and mobile system therefor
JP2012043447A (en) Image capture and identification system and method
US20190012717A1 (en) Appratus and method of providing online sales information of offline product in augmented reality
JP6185216B1 (en) Information providing system, information providing apparatus, information providing method, and program
US9820014B1 (en) Location-based movie identification systems and methods
KR20110137004A (en) System and method for providing price comparison service based on integrative searching using mobile terminal
US20120158546A1 (en) System and method for identifying digital articles of commerce with a portable mobile device and linking the article to a social networking site
CN112020709A (en) Visual menu
JP6609434B2 (en) Product information providing system, product information providing method, and management server
JP6210554B2 (en) Recognition device, recognition program, and recognition method
US9268464B1 (en) Link determination and usage using image recognition
US10860821B1 (en) Barcode disambiguation
KR20210111117A (en) Transaction system based on extracted image from uploaded media
JP5667479B2 (en) Information processing apparatus, information acquisition method, and information acquisition program
IL263601D0 (en) System and method of capturing, displaying and linking offline visual data with related online sites

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131018

R150 Certificate of patent or registration of utility model

Ref document number: 5395920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250