WO2011040202A1 - 画像内に存在しない物品をレコメンドするシステム - Google Patents

画像内に存在しない物品をレコメンドするシステム Download PDF

Info

Publication number
WO2011040202A1
WO2011040202A1 PCT/JP2010/065523 JP2010065523W WO2011040202A1 WO 2011040202 A1 WO2011040202 A1 WO 2011040202A1 JP 2010065523 W JP2010065523 W JP 2010065523W WO 2011040202 A1 WO2011040202 A1 WO 2011040202A1
Authority
WO
WIPO (PCT)
Prior art keywords
category
article
product
image
information
Prior art date
Application number
PCT/JP2010/065523
Other languages
English (en)
French (fr)
Inventor
真也 高見
Original Assignee
楽天株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 楽天株式会社 filed Critical 楽天株式会社
Priority to EP10820322.5A priority Critical patent/EP2426633A4/en
Priority to CN2010800237727A priority patent/CN102449654A/zh
Priority to JP2010545705A priority patent/JP4733236B2/ja
Priority to US13/375,379 priority patent/US8572116B2/en
Publication of WO2011040202A1 publication Critical patent/WO2011040202A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation

Definitions

  • the present invention relates to a mechanism for recommending (recommending) a product online, and more particularly, to a process for searching for an article that does not exist in an image.
  • ⁇ Prior art 1> In an online shopping mall, a function of searching for a target product is provided (for example, see Non-Patent Document 1). In the above shopping mall, for example, the following search function is provided. -Keyword search: Search by entering the desired product name in the search window. ⁇ Genre search: Search for products by narrowing down the product genre.
  • Non-Patent Document 2 There is known a service on the Internet that provides information on recommended products that meet user preferences in real time (see, for example, Non-Patent Document 2).
  • the above service automatically creates a list of recommended products that you may be interested in for each user based on data such as user purchase history, product evaluation, and possessed products. Create / update on Recommended products are displayed on various pages on the site.
  • Patent Document 1 discloses a method for recognizing an object by the following procedure. (1) A captured image is acquired. (2) Feature points are extracted from the acquired captured image (S10 in FIG. 4). (3) The spatial position of the extracted feature point is calculated (S12 in FIG. 4). (4) Clustering is performed based on the calculated spatial position, and an object corresponding to the cluster is determined based on the size of the cluster generated by the clustering (FIG. 6 and the like).
  • the search function of ⁇ Prior Art 1> above is assumed to be used by a user whose target product is determined to some extent.
  • a product recommended for a user is selected based on data such as the purchase history of the user.
  • the problem to be solved by the present invention is to search for an article that does not exist in the input image to be used for selecting a product recommended (recommended) to the user.
  • the recommendation system of the present invention is a recommendation system that can be connected to a user terminal, and stores an article list that includes a plurality of pieces of identification information of article categories related to the category in correspondence with the identification information of the category. It has a list storage means, receives an image including one or more articles from the terminal, inputs the image, analyzes the input image, and recognizes the article classification related to the articles included in the image Product recognition means, article list storage means, category identification means for identifying a category corresponding to an image input based on the recognized article classification, and recognized articles among the article classifications related to the identified category
  • Article information extracting means for extracting the identification information of the article category other than the category from the article list storage means, and outputting the information corresponding to the extracted identification information of the article category. Characterized in that it comprises a means.
  • the recommendation system of the present invention uses the product information storage means storing the product category identification information and the product image URL in correspondence with the product identification information, and the extracted product category identification information.
  • Product information search means for searching the storage means and extracting the URL of the product image related to the product corresponding to the article category, and the output means using the URL of the extracted product image to link the product image May be generated and transmitted to the terminal.
  • the recommendation system of the present invention searches the product information storage means using the product information storage means storing the URL of the product image in correspondence with the product identification information and the extracted product category identification information. And a product information search means for extracting a product image related to the product corresponding to the product category, and the output means may generate a search result page in which the extracted product image is arranged and transmit it to the terminal.
  • the category specifying means selects one or a plurality of category candidates based on the recognized article classification, transmits the category candidate identification information and / or information corresponding thereto to the terminal, and The category designation information may be received from the terminal, and the category corresponding to the input image may be specified based on the designation information.
  • the product information search means may search only for products in stock.
  • the product information search means acquires the ranking information of the product category corresponding to the product category, using the extracted identification information of the product category, and among the products related to the product category, You may search for goods.
  • the article list storage means further stores the priority for each article category, and the article information extraction means preferentially extracts the identification information of the article category having a high priority. Good.
  • the input means receives a search request mail designating an image from the user's terminal, inputs the designated image, and the recommendation system uses the extracted item category identification information.
  • a search condition setting means for setting search conditions for searching for products related to the product category corresponding to the product category, a search URL with the set search conditions added, and specifying the search URL
  • Product information acquisition means for acquiring the URL of the product page related to the product satisfying the search condition
  • the output means generates a search result mail describing the URL of the acquired product page, and the received search request mail
  • the search result mail may be transmitted to the sender mail address.
  • the product information acquisition unit further acquires the URL of the product image related to the product satisfying the set search condition
  • the output unit uses the URL of the acquired product image and the URL of the product page
  • a search result page in which a reference to the product image and a link to the product page are arranged may be generated, and a search result mail describing the URL of the search result page may be generated instead of the URL of the product page.
  • the search condition setting means may set a search condition for searching for only in-stock products.
  • the search condition setting means acquires the ranking information of the product category corresponding to the product category, using the extracted identification information of the product category, and among the products related to the product category, Search conditions for searching for products may be set.
  • the input means receives a search request mail designating an image from the user's terminal, inputs the designated image, and the output means uses the extracted identification information of the article category, A search result mail describing the URL of the ranking information posting page related to the product category corresponding to the product category may be generated and transmitted to the terminal.
  • the input unit may receive a search request mail including a keyword related to an image
  • the category specifying unit may further specify a category corresponding to the input image using the keyword
  • the input means receives a search request designating an image from the user's terminal, inputs the designated image, and the recommendation system uses the extracted item category identification information
  • a search condition setting means for setting a search condition for searching for a product related to the product category corresponding to the product category, a search URL with the set search condition added, and specifying the search URL
  • a product information acquisition unit that acquires a URL of a product image related to a product that satisfies the search condition, and the output unit generates a search result page in which the product image reference is arranged using the URL of the acquired product image And may be transmitted to the terminal.
  • the recommendation method of the present invention can be connected to a user terminal having article list storage means for storing an article list including a plurality of identification information of article categories related to the category in association with the category identification information.
  • the recommendation system receives an image including one or a plurality of articles from a terminal, inputs the image, analyzes the input image, and recognizes an article classification related to the article included in the image.
  • a category specifying step for specifying a category corresponding to an image input based on the recognized article category by referring to the step, the article list storage means, and an article category related to the identified category other than the recognized article category
  • An article information extraction step for extracting the identification information of the article classification from the article list storage means, and information corresponding to the extracted identification information of the article classification is output. And executes an output step for.
  • the recommendation program of the present invention can be connected to a user terminal having article list storage means for storing an article list including a plurality of identification information of article categories related to the category in association with the category identification information.
  • the recommendation system receives an image including one or a plurality of articles from the terminal, inputs the image, analyzes the input image, and recognizes an article classification related to the article included in the image.
  • a category specifying step for specifying a category corresponding to an image input based on the recognized article category by referring to the step, the article list storage means, and an article category related to the identified category other than the recognized article category
  • An article information extraction step for extracting article category identification information from the article list storage means, and information corresponding to the extracted article category identification information. To execute an output step of outputting.
  • a computer-readable recording medium includes a user terminal having article list storage means for storing an article list including a plurality of identification information of article categories related to a category in association with the category identification information.
  • the category specifying step for referring to the article list storage means and identifying the category corresponding to the input image based on the recognized article classification, and the article classification related to the identified category
  • the article information extraction step for extracting the identification information of the article classification other than the article classification from the article list storage means, and the extracted identification information of the article classification It records a program for executing an output step of outputting information corresponding to.
  • the recommendation system of the present invention can search for articles that do not exist in the input image.
  • a product recommendation system configured by connecting the recommendation system of the present invention and a user's terminal can recommend (recommend) a product related to an article that does not exist in the input image to the user.
  • ⁇ Definition> ⁇ Category... A category for sorting posted still images.
  • -Article classification Classification of tangible objects. In the following description, classification of tangible objects corresponding to the genre of merchandise provided by an EC (electronic commerce) management service.
  • FIG. 1 shows a functional configuration of the recommendation system.
  • the recommendation system according to the present embodiment includes an input unit that inputs a still image, an article recognition unit that analyzes the input image and recognizes an article classification related to an article included in the image, and a recognition A category identifying unit that identifies a category corresponding to an image input based on the identified article category, and an article information extracting unit that extracts identification information of an article category other than the recognized article category among the article categories related to the identified category; And an output unit for outputting the extracted item classification identification information and / or information corresponding thereto.
  • the recommendation system according to the present embodiment has a function (article search function) for inputting a still image including one or a plurality of articles and outputting the identification information of the article categories related to the articles that do not exist in the image. Can be provided.
  • FIG. 2 shows the configuration of the system of this embodiment.
  • the system of the present embodiment is composed of a recommendation system 10 a, an EC management system 10 b, and a user terminal 20 as a whole.
  • the recommendation system 10 a and the EC management system 10 b share the user DB 11, the search DB 12, the image DB 13, and the product DB 14 to configure the product recommendation system 10.
  • the recommendation system 10a, the EC management system 10b, and the user terminal 20 are connected to each other via a relay switching apparatus (in this embodiment, a firewall 10c) and a communication network (in this embodiment, the Internet 30).
  • a relay switching apparatus in this embodiment, a firewall 10c
  • a communication network in this embodiment, the Internet 30.
  • a recommendation system 10a is a server group that provides an article search function.
  • the recommendation system 10a includes, for example, a Web server having a Web page generation / transmission function, a mail server having an e-mail generation / transmission function, a search server for executing a data search process, a DB server for managing a database, an image It includes an image analysis server that performs analysis processing and other necessary application servers.
  • an EC management system 10b is a server group that provides an EC (electronic commerce) management service.
  • the EC management system 10b includes, for example, a Web server having a Web page generation / transmission function, a mail server having an E-mail generation / transmission function, a search server having a data search function, a DB server that manages a database, and other Includes necessary application servers.
  • the EC management system 10b is the same as a conventional system that manages a conventional online shopping mall service (for example, see ⁇ Prior Art 1>).
  • a user DB 11 is a database that stores information on users who use the EC management service and the product recommendation service.
  • FIG. 3A shows main items of user information. As shown in FIG. 3A, one piece of user information includes “user ID” and “password”.
  • the search DB 12 is a database that stores information used by the recommendation system 10 a in providing the article search function.
  • a plurality of article classification information, category information, and article lists are stored, and these are assumed to correspond via key items.
  • Fig. 3 (b-1) shows the main items of article classification information.
  • one item category information includes “item category ID”, “name” of the item category, and “feature pattern” (1, 2,%) Of the item.
  • item category ID is information for identifying the category (type) of an item, and in this embodiment, “genre ID” is used in order to correspond one-to-one with the product category.
  • feature pattern is data used in pattern matching processing for recognizing an article in an image.
  • the product classification system and the product classification system May be many-to-one, one-to-many, and many-to-many. For example, if a table showing a correspondence relationship between “article category ID” and “genre ID” of a product is prepared, when the category (type) of the item is specified as one, one or more corresponding items are identified.
  • the category (genre) of the product can be specified.
  • Fig. 3 (b-2) shows the main items of category information.
  • one category information includes “category ID”, category “name”, and category “description”.
  • the “name” of the category may be used as category identification information.
  • Fig. 3 (b-3) shows the main items of the item list information.
  • one item list information includes “category ID”, “article category ID”, and “priority”.
  • a set of article list information having a common “category ID” corresponds to the article list associated with the “category ID”.
  • the “priority” is a numerical value indicating the degree of relevance with the category. For example, the larger the numerical value, the higher the priority. In the present embodiment, it is assumed that numerical values artificially set by the administrator of the recommendation system 10a are stored.
  • the appearance frequency (number of appearances) of articles automatically aggregated for each category may be used as the “priority”. For example, each time an article category related to an article existing in a posted image is recognized and the category of the image is specified, the number of appearances of the article category recognized in the category may be updated. If the recognition rate of the article category in the image analysis processing is sufficiently high, the magnitude of the number of appearances almost coincides with the appearance frequency of the article category.
  • an image DB 13 is a database for storing image posting history and posted image files.
  • FIG. 3C shows main items of the posting history information. As shown in FIG. 3C, one post history information includes “post history ID”, “post date”, “user ID”, and “image file path”. The image DB 13 stores the posted image in a predetermined file format.
  • the product DB 14 is a database that stores information related to products to be traded (ordered) in the EC management service.
  • a plurality of items of merchandise information and ranking information are stored, and these are assumed to correspond via key items.
  • Fig. 3 (d-1) shows the main items of product information.
  • one item of product information includes “product code”, “genre ID”, “stock quantity”, “product page URL”, “product image URL”, and “product description”. Is included.
  • the “inventory quantity” is a numerical value indicating the number of products that can be sold, and is updated at any time when the product is replenished, ordered, canceled, or the like.
  • the product image file is stored in the product DB 14 or another product image DB (not shown) in a predetermined file format.
  • Fig. 3 (d-2) shows the main items of ranking information.
  • one piece of ranking information includes “ranking category ID” and “product code” (1, 2,).
  • the ranking information is updated at any time based on the counting results totaled at regular intervals. In the present embodiment, it is assumed that at least ranking information for each “genre ID” is stored.
  • a user terminal 20 is a terminal used by a user who uses a product recommendation service and an EC management service.
  • the user terminal 20 has a Web browser, and can display a Web page (such as HTML format data) received from the recommendation system 10a or the EC management system 10b on a display.
  • the user terminal 20 has a mailer, and can display an electronic mail received from the recommendation system 10a or the EC management system 10b on a display.
  • the user terminal 20 may be an existing information processing terminal having a communication function (for example, an electronic computer such as a personal computer or a mobile phone terminal).
  • [3] Recommended product procedure] 4 to 5 show the recommended procedure for products.
  • the recommendation system 10a recommends (recommends) products according to the following procedures [11] to [19].
  • the following description is a procedure after the user operates the user terminal 20 to log in to the product recommendation service using the user ID and password and display a search request page (not shown).
  • a search request page for example, an image input field for inputting a still image by drag and drop, and a transmission button for transmitting (posting) the input still image data or its URL to the recommendation system 10a are arranged. It shall be.
  • a confirmation page (FIG. 6) is generated (S425) and transmitted to the user terminal 20 (S430).
  • category designation information is received from the user terminal 20 via the confirmation page (FIG. 6) (S435), a category is specified based on the designation information (S440).
  • S440 From among the article categories recognized by pattern matching (article categories related to articles existing in the image), an unregistered article category that is not registered in the specified category article list is specified, and the unregistered article The category is additionally registered in the article list (S445).
  • the recommendation system 10a analyzes the posted image, and recognizes the article classification related to the article existing in the image by pattern matching (S415).
  • the pattern matching process can be performed by appropriately combining the techniques of the conventional example (for example, ⁇ Prior Art 3>).
  • the image is analyzed to determine the outline of one or more objects, the feature amount is calculated from a plurality of viewpoints such as the shape of the outline and the color within the outline, and stored in the article classification information of the search DB 12 Matching with each feature pattern may be performed to recognize the article category corresponding to the target.
  • the recommendation system 10a selects one or more category candidates corresponding to the posted image (S420). Specifically, a category including at least one of the recognized article categories in the procedure [12] is selected with reference to the article list in the search DB 12, and the degree of relevance is high (the number of recognized article categories included in the list). A predetermined number of categories are further selected in order from the most), and these are set as category candidates.
  • a procedure for transmitting a confirmation page (FIG. 6) to the user terminal 20 and allowing the user to confirm the article / category may be omitted.
  • FIG. 6 shows a display example of the confirmation page.
  • the confirmation page 600 includes areas 610 to 630 and a button 640.
  • the area 610 posted images are displayed.
  • the area 620 the names of the respective article categories recognized in the procedure [12] are listed.
  • the name of the product category is extracted from the product category information in the search DB 12.
  • the names and explanations of the category candidates selected in the above procedure [13] are listed, and any one can be selected.
  • the category name and description are extracted from the article list in the search DB 12.
  • the user can correct the article existing in the image in the area 620. For example, it is possible to exclude articles that are not recognized in the image but are recognized, or add articles that are present in the image but are not recognized.
  • asynchronous communication (Ajax) is executed between the user terminal 20 and the recommendation system 10a, and the category candidates in the area 630 are immediately updated.
  • the recommendation system 10a additionally registers an unregistered item category in the item list of the search DB 12 (S445).
  • an effect of improving the accuracy of category specification can be expected.
  • the effect of expanding the range of selection of recommended products can be expected.
  • the article added by the user on the confirmation page may be excluded from the additional registration target even if it is not registered in the article list.
  • the recommendation system 10a extracts the identification information (article classification ID) of the article classification related to the article that does not exist in the image (S450). Specifically, an article category other than the recognized article category is identified from the identified category article list, and a predetermined number of article category IDs are extracted in descending order of priority.
  • the recommendation system 10a can select items other than the item classification (article classification related to the article existing in the image) recognized by the image analysis from the article list in which the maximum number of articles related to a certain category is registered. Extract the product category. Therefore, the extracted article classification is an article classification related to an article that is related to the category and does not exist in the image. In particular, if a higher priority is set for an article category that is particularly relevant to the category, the extracted article category is extremely useful data for determining a recommended product.
  • the recommendation system 10a sets a search condition for searching for a product related to the extracted item category ID (S455), and searches the product DB 14 for a product that satisfies the search condition (S460). .
  • the next search condition is set, and information on a product that satisfies the search condition is extracted from the product information in the product DB 14. It is assumed that the search process is executed via a DB server that constitutes the recommendation system 10a.
  • (A) It is classified into the genre corresponding to or related to the article category ID extracted in the procedure [17].
  • (C) There is a product image.
  • the recommended product information may be searched in consideration of the color of other articles recognized as being present in the image. Further, information on recommended products may be searched in consideration of the overall coordination so that colors, materials, designs, etc. between recommended products are harmonized.
  • the recommendation system 10a executes the processing from the reception of the search request to the transmission of the search result (see FIGS. 4 to 5).
  • the recommendation system 10a may be configured specifically for the article search function (see FIG. 1).
  • the recommendation system 10a inputs an image from the EC management system 10b, and EC management is performed on the identification information of the article classification related to the article that does not exist in the image.
  • the EC management system 10b executes processing for receiving a search request from the user terminal 20, processing for searching for recommended products, and processing for transmitting the search result to the user terminal 20.
  • a search URL to which a search condition (URL parameter) for searching for a recommended product is added may be generated, and information on a product that satisfies the search condition may be acquired from the EC management system 10b by specifying the search URL.
  • the recommended product information is acquired by the following procedure. (1) Using the public API for obtaining the ranking information, the ranking information of the genre corresponding to or related to the article category ID extracted in the procedure [17] is obtained from the EC management system 10b. (2) Using a public API for acquiring product information, search for information on products that can be sold from among the top ranking products in the genre (inventory) and have product images, and A product page URL, a product image URL, and a product description related to the product are acquired.
  • the recommendation system 10a may be managed by a business entity different from the EC management system 10b.
  • FIG. 7 shows a modification of the system configuration.
  • the system of the modified example includes a recommendation system 10 a, an EC management system 10 b, and a user terminal 20.
  • the recommendation system 10 a includes a user DB 11, a search DB 12, and an image DB 13
  • the EC management system 10 b includes a product DB 14, and configures the product recommendation system 10.
  • the recommendation system 10a, the EC management system 10b, and the user terminal 20 are connected to each other via a communication network (in the second modification, the Internet 30).
  • a search request designating an image is received from the user terminal 20, and a search result page (HTTP response) describing recommended product information is transmitted to the user terminal 20 (FIG. 4).
  • a search request may be received by e-mail (search request mail), and a search result or the like may be returned by e-mail (search result mail).
  • search request mail e-mail
  • search result mail e-mail
  • the user terminal 20 is a mobile phone terminal, it is convenient to use electronic mail for input / output.
  • the recommendation system 10a may process it as a search request e-mail. Assume that an image file is attached to the search request mail. It should be noted that a keyword related to the image (for example, the subject of the image, the subject, the title, etc.) is input to the subject field of the search request mail, and the keyword may be used for the category specifying process (S440 in FIG. 4). .
  • the recommendation system 10a may return a search result mail to the transmission source mail address of the search request mail.
  • search result mail for example, the following items may be described in the mail text.
  • -URL of a product page related to a product that satisfies the search condition similar to the above embodiment
  • -URL of search result page similar to the above embodiment
  • -URL of the Web page that posts ranking information related to the product genre corresponding to the extracted item category ID
  • FIG. 8A shows the contents of the category information.
  • a category name “Bathroom” and a category description “This is an image of a bathroom.” are stored in association with “Category ID”.
  • FIG. 8B shows the contents of the article list in the “bathroom” category.
  • the item list of the “bathroom” category includes “bathtub”, “bath lid”, “shower head”, “shampoo”, “rinse”, “mirror”, “curtain”,
  • the article category IDs of “basin”,... are registered.
  • the numerical value corresponding to each article classification is a rank corresponding to the high priority.
  • FIG. 9 shows a display example of the search result page.
  • the search result page 900 includes areas 910 to 930.
  • the area 910 posted images are displayed.
  • the image of the area 910 is described as a drawing, but the posted image is an image taken with a camera or the like.
  • the area 920 the name and description of the category specified in the procedure [15] are displayed.
  • the “bathroom” category is specified based on “bathtub”, “shower head”, “mirror”, and “basin” recognized by the analysis processing on the posted image. Therefore, the area 920 displays “Bathroom: An image of the bathroom”.
  • a product image and a product description of the recommended product are displayed.
  • priority is given to items other than the items (“bathtub”, “shower head”, “mirror”, “basin”) recognized as existing in the image from the list of items in the “bathroom” category.
  • B Available for sale (in stock).
  • C There is a product image.
  • D High ranking (for example, the highest ranking among the products satisfying the conditions (a) to (c) above) in the ranking of the product category (product genre) of “bath lid”, “shampoo”, “rinse”,. ).
  • a link to a publication page of another product corresponding to the extracted article category ID (product category) (for example, a posting page of ranking information of the article category ID (product category)) is displayed. Is done.
  • the user terminal 20 When the user operates the user terminal 20 and clicks on one of the links, the user terminal 20 transmits a transmission request for a page corresponding to the link to the EC management system 10b. Thereafter, the procedure is the same as that in the conventional online shopping mall.
  • FIG. 10A shows the contents of the category information.
  • a category name “female” and a category description “an image of a woman” are stored in association with the “category ID”.
  • FIG. 10B shows the contents of the item list of the “female” category.
  • the item list of the “female” category includes “clothes”, “watches”, “piercings”, “necklaces”, “bags”, “sunglasses”, “belts”, “shoes”. ,... Are registered.
  • the numerical value corresponding to each article is the order corresponding to the high priority.
  • FIG. 11 shows a display example of the search result page.
  • the search result page 1100 includes areas 1110 to 1130.
  • the area 1110 posted images are displayed.
  • the image of the area 1110 is described as a drawing, but the posted image is an image taken with a camera or the like.
  • the area 1120 the name and description of the category specified in the procedure [15] are displayed.
  • the “female” category was identified through category confirmation for the user based on the “clothes” recognized by the analysis processing on the posted image. Therefore, in the area 1120, “Women: An image of a woman photographed” is displayed.
  • area 1130 product images and product descriptions of recommended products are displayed.
  • “wristwatch”, “pierced earring”, “high-priority” items in order from the highest priority among the items other than the items recognized in the image (“clothes”) from the item list of the “female” category.
  • A A product corresponding to an article classification (product genre) of “watch”, “piercing”, “necklace”,.
  • B Available for sale (in stock).
  • C There is a product image.
  • D High ranking in the item category (product genre) of “watch”, “piercing”, “necklace”,... (For example, the highest ranking among products satisfying the above conditions (a) to (c)) It is.
  • a link to a publication page of another product corresponding to the extracted article category ID (product category) (for example, a posting page of ranking information of the item category ID (product category)) is displayed. Is done.
  • the user terminal 20 When the user operates the user terminal 20 and clicks on one of the links, the user terminal 20 transmits a transmission request for a page corresponding to the link to the EC management system 10b. Thereafter, the procedure is the same as that in the conventional online shopping mall.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

　入力した画像内に存在しない物品を検索することを目的とする。本実施形態のレコメンドシステムは、静止画像を入力する入力部と、入力した画像を解析して画像内に含まれる物品に係る物品区分を認識する物品認識部と、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定部と、特定したカテゴリに関連する物品区分のうち認識した物品区分以外の物品区分の識別情報を抽出する物品情報抽出部と、抽出した物品区分の識別情報及び／又はこれに対応する情報を出力する出力部とを備えている。この構成により、本実施形態のレコメンドシステムは、１又は複数の物品を含む静止画像を入力し、該画像内に存在しない物品に係る物品区分の識別情報等を出力する機能（物品検索機能）を提供することができる。

Description

画像内に存在しない物品をレコメンドするシステム
　本発明は、オンラインで商品を推奨（レコメンド）する仕組みに関し、特に、画像内に存在しない物品を検索する処理に関するものである。
＜先行技術１＞
　オンラインショッピングモールにおいて、目的の商品を検索する機能が提供されている（例えば、非特許文献１参照）。上記のショッピングモールでは、例えば、次の検索機能が提供されている。
　　・キーワード検索…目的の商品名称を検索窓に入力して検索する。
　　・ジャンル検索…商品ジャンルを絞り込んで商品を検索する。
＜先行技術２＞
　ユーザの好みに合わせたおすすめ商品の情報をリアルタイムで提供するインターネット上のサービスが知られている（例えば、非特許文献２参照）。上記のサービスでは、ユーザの購入履歴，商品の評価，所持する商品等のデータを基に、他のユーザのデータも参考にして、ユーザごとに興味があると思われるおすすめ商品のリストを自動的に作成・更新する。おすすめ商品は、サイト上の様々なページに表示される。
＜先行技術３＞
　撮影画像内に存在する物体の種類を認識する手法が知られている（例えば、特許文献１，特許文献２等参照）。例えば、特許文献１には、次の手順により物体を認識する手法が開示されている。
　（１）撮影画像を取得する。
　（２）取得した撮影画像から特徴点を抽出する（図４のＳ１０）。
　（３）抽出した特徴点の空間位置を算出する（図４のＳ１２）。
　（４）算出した空間位置に基づいてクラスタリングを行い、クラスタリングにより生成されたクラスタのサイズに基づいて、クラスタに対応する物体を判定する（図６等）。
＜先行技術４＞
　オンラインショッピングモールの商品の情報を取得することが可能なＡＰＩが公開されている（例えば、非特許文献３参照）。当該ＡＰＩを利用すれば、キーワードでの商品検索をはじめ、ジャンル・販売可否（在庫有無）での絞込み検索も可能である。また、同モールのランキング情報を取得することが可能なＡＰＩも公開されている（例えば、非特許文献３参照）。当該ＡＰＩを利用すれば、商品のジャンル別，ユーザの性別・年代別等で売れている商品の情報を取得することができる。
特開２００８－０３３８１９号公報 特開２００２－１５７５９９号公報
楽天株式会社、「楽天市場」、[online]、インターネット<URL: http://www.rakuten.co.jp/index.html> アマゾンジャパン株式会社、「おすすめ商品」、[online]、インターネット<URL:http://www.amazon.co.jp/gp/help/customer/display.html?ie=UTF8&nodeId=779360> 楽天株式会社、「楽天ウェブサービス」、[online]、インターネット<URL: http://webservice.rakuten.co.jp/index.html>
　上記＜先行技術１＞の検索機能は、目的とする商品がある程度決まっているユーザの利用を想定している。上記＜先行技術２＞のサービスでは、ユーザに推奨する商品をそのユーザの購入履歴等のデータを基に選んでいる。本発明が解決しようとする課題は、ユーザに推奨（レコメンド）する商品の選択に利用するため、入力した画像内に存在しない物品を検索する、という点である。
　本発明のレコメンドシステムは、ユーザの端末と接続可能なレコメンドシステムであって、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有し、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力手段と、入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識手段と、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定手段と、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出手段と、抽出した物品区分の識別情報に対応する情報を出力する出力手段とを備えることを特徴とする。
　本発明のレコメンドシステムは、商品の識別情報に対応させて、商品区分の識別情報及び商品画像のＵＲＬを記憶している商品情報記憶手段と、抽出した物品区分の識別情報を用いて、商品情報記憶手段を検索して、物品区分に対応する商品に係る商品画像のＵＲＬを抽出する商品情報検索手段とをさらに備え、出力手段が、抽出した商品画像のＵＲＬを用いて、該商品画像のリンクを配置した検索結果ページを生成し、端末に送信してもよい。
　本発明のレコメンドシステムは、商品の識別情報に対応させて、商品画像のＵＲＬを記憶している商品情報記憶手段と、抽出した物品区分の識別情報を用いて、商品情報記憶手段を検索して、物品区分に対応する商品に係る商品画像を抽出する商品情報検索手段とをさらに備え、出力手段が、抽出した商品画像を配置した検索結果ページを生成し、端末に送信してもよい。
　本発明のレコメンドシステムでは、カテゴリ特定手段は、認識した物品区分を基に１又は複数のカテゴリ候補を選定し、該カテゴリ候補の識別情報及び／又はこれに対応する情報を端末に送信し、該端末からカテゴリの指定情報を受信し、該指定情報を基に入力した画像に対応するカテゴリを特定してもよい。
　本発明のレコメンドシステムでは、商品情報検索手段は、在庫のある商品のみを検索してもよい。
　本発明のレコメンドシステムでは、商品情報検索手段は、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索してもよい。
　本発明のレコメンドシステムでは、物品リスト記憶手段は、さらに、物品区分ごとに優先度を記憶しており、物品情報抽出手段は、優先度の高い物品区分の識別情報を優先的に抽出してもよい。
　本発明のレコメンドシステムでは、入力手段は、ユーザの端末から画像を指定した検索要求メールを受信し、該指定された画像を入力し、該レコメンドシステムは、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品ページのＵＲＬを取得する商品情報取得手段とをさらに備え、出力手段は、取得した商品ページのＵＲＬを記載した検索結果メールを生成し、受信した検索要求メールの送信元メールアドレス宛に該検索結果メールを送信してもよい。
　本発明のレコメンドシステムでは、商品情報取得手段は、設定した検索条件を満たす商品に係る商品画像のＵＲＬをさらに取得し、出力手段は、取得した商品画像のＵＲＬ及び商品ページのＵＲＬを用いて、該商品画像の参照と該商品ページへのリンクとを配置した検索結果ページを生成し、商品ページのＵＲＬに代えて該検索結果ページのＵＲＬを記載した検索結果メールを生成してもよい。
　本発明のレコメンドシステムでは、検索条件設定手段は、在庫のある商品のみを検索するための検索条件を設定してもよい。
　本発明のレコメンドシステムでは、検索条件設定手段は、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索するための検索条件を設定してもよい。
　本発明のレコメンドシステムでは、入力手段は、ユーザの端末から画像を指定した検索要求メールを受信し、該指定された画像を入力し、出力手段は、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係るランキング情報掲載ページのＵＲＬを記載した検索結果メールを生成し、端末に送信してもよい。
　本発明のレコメンドシステムでは、入力手段は、画像に関連するキーワードを含む検索要求メールを受信し、カテゴリ特定手段は、キーワードをさらに用いて、入力した画像に対応するカテゴリを特定してもよい。
　本発明のレコメンドシステムでは、入力手段は、ユーザの端末から画像を指定した検索要求を受信し、該指定された画像を入力し、該レコメンドシステムは、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品画像のＵＲＬを取得する商品情報取得手段とをさらに備え、出力手段は、取得した商品画像のＵＲＬを用いて、該商品画像の参照を配置した検索結果ページを生成し、端末に送信してもよい。
　本発明のレコメンド方法は、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有する、ユーザの端末と接続可能なレコメンドシステムが、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力ステップと、入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出ステップと、抽出した物品区分の識別情報に対応する情報を出力する出力ステップとを実行することを特徴とする。
　本発明のレコメンドプログラムは、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有する、ユーザの端末と接続可能なレコメンドシステムに、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力ステップと、入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出ステップと、抽出した物品区分の識別情報に対応する情報を出力する出力ステップとを実行させる。
　本発明のコンピュータ読み取り可能な記録媒体は、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有する、ユーザの端末と接続可能なレコメンドシステムに、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力ステップと、入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出ステップと、抽出した物品区分の識別情報に対応する情報を出力する出力ステップとを実行させるためのプログラムを記録している。
　本発明のレコメンドシステムは、入力した画像内に存在しない物品を検索することができる。また、本発明のレコメンドシステムとユーザの端末とを接続して構成した商品レコメンドシステムは、入力した画像内に存在しない物品に関連する商品をユーザに対して推奨（レコメンド）することができる。
レコメンドシステムの機能ブロック図である。（実施形態） システム構成を示すブロック図である。（実施形態） データベースのデータ項目の説明図である。（実施形態） 商品の推奨手順を示すフロー図である。（実施形態） 商品の推奨手順を示すフロー図である。（実施形態） 確認ページの表示例である。（実施形態） レコメンドシステムの機能ブロック図である。（変形例３） 検索ＤＢの一部データの説明図である。（実施例１） 検索結果ページの表示例である。（実施例１） 検索ＤＢの一部データの説明図である。（実施例２） 検索結果ページの表示例である。（実施例２）
＜定義＞
　・カテゴリ…投稿された静止画像を振り分けるための区分。
　・物品区分…有体物の区分。以下の説明では、ＥＣ（電子商取引）管理サービスで提供される商品のジャンルに対応する有体物の区分。
＜実施形態＞
［１．概要］
　図１に、レコメンドシステムの機能構成を示す。図１に示すように、本実施形態のレコメンドシステムは、静止画像を入力する入力部と、入力した画像を解析して画像内に含まれる物品に係る物品区分を認識する物品認識部と、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定部と、特定したカテゴリに関連する物品区分のうち認識した物品区分以外の物品区分の識別情報を抽出する物品情報抽出部と、抽出した物品区分の識別情報及び／又はこれに対応する情報を出力する出力部とを備えている。この構成により、本実施形態のレコメンドシステムは、１又は複数の物品を含む静止画像を入力し、該画像内に存在しない物品に係る物品区分の識別情報等を出力する機能（物品検索機能）を提供することができる。
［２．システム構成］
　図２に、本実施形態のシステムの構成を示す。図２に示すように、本実施形態のシステムは、全体として、レコメンドシステム１０ａ，ＥＣ管理システム１０ｂ及びユーザ端末２０により構成される。また、レコメンドシステム１０ａ及びＥＣ管理システム１０ｂは、ユーザＤＢ１１，検索ＤＢ１２，画像ＤＢ１３及び商品ＤＢ１４を共有し、商品レコメンドシステム１０を構成している。レコメンドシステム１０ａ及びＥＣ管理システム１０ｂとユーザ端末２０とは、中継交換装置（本実施形態では、ファイアウォール１０ｃ）及び通信ネットワーク（本実施形態では、インターネット３０）を介してそれぞれ互いに接続している。
［２－１．レコメンドシステム］
　図２において、レコメンドシステム１０ａは、物品検索機能を提供するサーバ群である。レコメンドシステム１０ａは、例えば、Ｗｅｂページの生成・送信機能を有するＷｅｂサーバ，電子メールの生成・送信機能を有するメールサーバ，データの検索処理を実行する検索サーバ，データベースを管理するＤＢサーバ，画像の解析処理を実行する画像解析サーバ及びその他の必要なアプリケーションサーバを含む。
［２－２．ＥＣ管理システム］
　図２において、ＥＣ管理システム１０ｂは、ＥＣ（電子商取引）管理サービスを提供するサーバ群である。ＥＣ管理システム１０ｂは、例えば、Ｗｅｂページの生成・送信機能を有するＷｅｂサーバ，電子メールの生成・送信機能を有するメールサーバ，データの検索機能を有する検索サーバ，データベースを管理するＤＢサーバ及びその他の必要なアプリケーションサーバを含む。なお、ＥＣ管理システム１０ｂは、従来例のオンラインショッピングモールサービス（例えば、＜先行技術１＞参照）を管理する従来のシステムと同様である。
［２－３．ユーザＤＢ］
　図２において、ユーザＤＢ１１は、ＥＣ管理サービス及び商品レコメンドサービスを利用するユーザの情報を記憶しているデータベースである。図３（ａ）に、ユーザ情報の主要な項目を示す。図３（ａ）に示すように、１件のユーザ情報は、「ユーザＩＤ」及び「パスワード」を含んでいる。
［２－４．検索ＤＢ］
　図２において、検索ＤＢ１２は、物品検索機能の提供に当たりレコメンドシステム１０ａが利用する情報を記憶しているデータベースである。本実施形態では、物品区分情報、カテゴリ情報及び物品リストをそれぞれ複数件ずつ記憶しており、これらはキー項目を介して対応しているものとする。
　図３（ｂ－１）に、物品区分情報の主要な項目を示す。図３（ｂ－１）に示すように、１件の物品区分情報は、「物品区分ＩＤ」，物品区分の「名称」及び物品の「特徴パターン」（１，２，…）を含んでいる。ここで、「物品区分ＩＤ」は、物品の区分（種類）を識別する情報であり、本実施形態では商品の分類と１対１で対応させるため「ジャンルＩＤ」を利用している。「特徴パターン」は、画像内の物品を認識するためのパターンマッチング処理において利用するデータである。
　なお、物品の区分（種類）がいずれかに特定されたときに対応する１又は複数の商品の区分（ジャンル）の特定が可能である限り、物品の分類体系と商品の分類体系（ジャンル）とが多対１，１対多，多対多で対応していてもよい。例えば、「物品区分ＩＤ」と商品の「ジャンルＩＤ」との対応関係を示すテーブルを用意しておけば、物品の区分（種類）がいずれかに特定されたときに、対応する１又は複数の商品の区分（ジャンル）を特定することができる。
　図３（ｂ－２）に、カテゴリ情報の主要な項目を示す。図３（ｂ－２）に示すように、１件のカテゴリ情報は、「カテゴリＩＤ」，カテゴリの「名称」及びカテゴリの「説明文」を含んでいる。なお、カテゴリの「名称」をカテゴリの識別情報として利用してもよい。
　図３（ｂ－３）に、物品リスト情報の主要な項目を示す。図３（ｂ－３）に示すように、１件の物品リスト情報は、「カテゴリＩＤ」，「物品区分ＩＤ」及び「優先度」を含んでいる。「カテゴリＩＤ」が共通する物品リスト情報の集合が、当該「カテゴリＩＤ」に係る物品リストに当たる。ここで、「優先度」は、そのカテゴリとの関連性の高さの度合いを示す数値であり、例えばこの数値が大きいほど優先度がより高いことを示す。本実施形態では、レコメンドシステム１０ａの管理者が人為的に設定した数値を記憶しているものとする。
　なお、カテゴリごとに自動的に集計した物品の出現頻度（出現回数）を、「優先度」として利用してもよい。例えば、投稿された画像内に存在する物品に係る物品区分を認識し、当該画像のカテゴリを特定するごとに、当該カテゴリにおいて認識した物品区分の出現回数を更新するとよい。画像解析処理における物品区分の認識率が十分高ければ、当該出現回数の大小は物品区分の出現頻度の高低とほぼ一致する。
［２－５．画像ＤＢ］
　図２において、画像ＤＢ１３は、画像の投稿履歴及び投稿されたを画像ファイルを記憶するデータベースである。図３（ｃ）に、投稿履歴情報の主要な項目を示す。図３（ｃ）に示すように、１件の投稿履歴情報は、「投稿履歴ＩＤ」，「投稿日時」，「ユーザＩＤ」及び「画像ファイルパス」を含んでいる。また、画像ＤＢ１３は、投稿された画像を所定のファイル形式で記憶するものとする。
［２－６．商品ＤＢ］
　図２において、商品ＤＢ１４は、ＥＣ管理サービスにおいて取引（注文）の対象となる商品に関連する情報を記憶しているデータベースである。本実施形態では、商品情報及びランキング情報をそれぞれ複数件ずつ記憶しており、これらはキー項目を介して対応しているものとする。
　図３（ｄ－１）に、商品情報の主要な項目を示す。図３（ｄ－１）に示すように、１件の商品情報は、「商品コード」，「ジャンルＩＤ」，「在庫数」，「商品ページＵＲＬ」，「商品画像ＵＲＬ」及び「商品説明文」を含んでいる。ここで、「在庫数」は、その商品の販売可能数を示す数値であり、商品の補充，注文，キャンセル等を契機として随時更新される。なお、商品画像ファイルは、商品ＤＢ１４又は他の商品画像ＤＢ（図示せず）に所定のファイル形式で記憶しているものとする。
　図３（ｄ－２）に、ランキング情報の主要な項目を示す。図３（ｄ－２）に示すように、１件のランキング情報は、「ランキング区分ＩＤ」及び「商品コード」（１，２，…）を含んでいる。ランキング情報は、一定期間ごとに集計された集計結果を基に、随時更新されるものとする。なお、本実施形態では、「ジャンルＩＤ」ごとのランキング情報を少なくとも記憶しているものとする。
［２－７．ユーザ端末］
　図２において、ユーザ端末２０は、商品レコメンドサービス及びＥＣ管理サービスを利用するユーザが使用する端末である。ユーザ端末２０は、Ｗｅｂブラウザを有しており、レコメンドシステム１０ａ又はＥＣ管理システム１０ｂから受信したＷｅｂページ（ＨＴＭＬ形式のデータ等）をディスプレイに表示することができる。また、ユーザ端末２０は、メーラを有しており、レコメンドシステム１０ａ又はＥＣ管理システム１０ｂから受信した電子メールをディスプレイに表示することができる。ユーザ端末２０は、通信機能を有する既存の情報処理端末（例えば、パソコン等の電子計算機，携帯電話端末等）でよい。
［３．商品の推奨］
［（ａ）商品の推奨手順］
　図４～５に、商品の推奨手順を示す。図４～５に示すように、レコメンドシステム１０ａは、下記〔１１〕～〔１９〕の手順により商品を推奨（レコメンド）する。以下の説明は、ユーザがユーザ端末２０を操作して、ユーザＩＤ及びパスワードにより商品レコメンドサービスにログインし、検索要求ページ（図示せず）を表示させた後の手順である。検索要求ページには、例えば、静止画像をドラッグ＆ドロップにより入力する画像入力欄と、入力された静止画像のデータ又はそのＵＲＬをレコメンドシステム１０ａに送信（投稿）するための送信ボタンとが配置されているものとする。
　　〔１１〕検索要求ページ（図示せず）を介してユーザ端末２０から画像を指定した検索要求を受信する（Ｓ４０５）と、指定された静止画像（投稿された画像）を所定のファイル形式で画像ＤＢ１３に保存する（Ｓ４１０）とともに、投稿履歴情報を登録する。
　　〔１２〕投稿された画像を解析し、パターンマッチングにより画像内に存在する物品に係る物品区分を認識する（Ｓ４１５）。物品区分の認識には、検索ＤＢ１２の物品区分情報を利用する。
　　〔１３〕投稿された画像に対応する１又は複数のカテゴリの候補を選定する（Ｓ４２０）。カテゴリ候補の選定には、検索ＤＢ１２の物品リストを利用する。
　　〔１４〕確認ページ（図６）を生成し（Ｓ４２５）、ユーザ端末２０に送信する（Ｓ４３０）。
　　〔１５〕確認ページ（図６）を介してユーザ端末２０からカテゴリ指定情報を受信する（Ｓ４３５）と、当該指定情報を基にカテゴリを特定する（Ｓ４４０）。
　　〔１６〕パターンマッチングにより認識した物品区分（画像内に存在する物品に係る物品区分）のうち、特定したカテゴリの物品リストに登録されていない未登録の物品区分を特定し、当該未登録の物品区分を当該物品リストに追加登録する（Ｓ４４５）。
　　〔１７〕特定したカテゴリの物品リストから、認識した物品区分以外の物品区分（画像内に存在しない物品に係る物品区分）を特定し、当該物品区分の識別情報（物品区分ＩＤ）を抽出する（Ｓ４５０）。
　　〔１８〕抽出した物品区分ＩＤに関連する商品を検索するための検索条件を設定し（Ｓ４５５）、当該検索条件を満たす商品を商品ＤＢ１４において検索する（Ｓ４６０）。
　　〔１９〕検索により取得した商品の情報を用いて検索結果ページを生成し（Ｓ４６５）、ユーザ端末２０に送信する（Ｓ４７０）。
［（ｂ）画像内に存在する物品の認識］
　上記手順〔１２〕において、レコメンドシステム１０ａは、投稿された画像を解析し、パターンマッチングにより画像内に存在する物品に係る物品区分を認識する（Ｓ４１５）。パターンマッチング処理は、従来例（例えば、＜先行技術３＞等）の手法等を適宜組み合わせることにより実施することができる。例えば、画像を解析して１又は複数の対象の輪郭を確定し、その輪郭の形状，その輪郭内の色彩等複数の観点から特徴量を算出し、検索ＤＢ１２の物品区分情報に記憶している各特徴パターンとマッチングをして、当該対象に対応する物品区分を認識するとよい。
［（ｃ）カテゴリ候補の選定］
　上記手順〔１３〕において、レコメンドシステム１０ａは、投稿された画像に対応する１又は複数のカテゴリの候補を選定する（Ｓ４２０）。具体的には、手順〔１２〕において認識した物品区分のうち少なくとも１区分を含むカテゴリを検索ＤＢ１２の物品リストを参照して選択し、関連度が高い（リストに含まれる認識した物品区分の数が多い）方から順に所定数のカテゴリをさらに選択し、これをカテゴリ候補とする。
　なお、手順〔１２〕において認識した全ての物品区分を含むカテゴリが１つだけに定まる場合には、当該カテゴリのみをカテゴリ候補として選定してもよい。また、当該カテゴリを、投稿された画像に対応するカテゴリとして直ちに特定してもよい。この場合、ユーザ端末２０に確認ページ（図６）を送信してユーザに物品・カテゴリを確認させる手順を省略するとよい。
［（ｄ）確認ページ］
　図６に、確認ページの表示例を示す。図６に示すように、確認ページ６００は、エリア６１０～６３０及びボタン６４０を含んでいる。エリア６１０には、投稿された画像が表示される。エリア６２０には、上記手順〔１２〕において認識した各物品区分の名称が列挙される。物品区分の名称は、検索ＤＢ１２の物品区分情報より抽出する。
　エリア６３０には、上記手順〔１３〕において選定した各カテゴリ候補の名称及び説明文が列挙され、いずれか１つを選択可能である。カテゴリの名称及び説明文は、検索ＤＢ１２の物品リストより抽出する。ユーザがエリア６３０においてカテゴリを指定（選択）し、ボタン６４０をクリックすると、ユーザ端末２０はレコメンドシステム１０ａにカテゴリ指定情報を送信する。
　なお、ユーザは、エリア６２０において、画像内に存在する物品を修正することができる。例えば、画像内に存在しないのに認識されている物品の除外や、画像内に存在するのに認識されていない物品の追加が可能である。ユーザがエリア６２０において物品の修正操作を行うと、ユーザ端末２０とレコメンドシステム１０ａとの間で非同期通信（Ａｊａｘ）を実行し、エリア６３０のカテゴリ候補が即時に更新される。
［（ｅ）未登録の物品区分の追加登録］
　上記手順〔１６〕において、レコメンドシステム１０ａは、未登録の物品区分を検索ＤＢ１２の物品リストに追加登録する（Ｓ４４５）。このように、検索ＤＢ１２の物品リストに未登録の物品区分を追加し、物品リストを進化させることにより、カテゴリ特定の精度を向上させる効果が期待できる。また、推奨商品の選択の幅が広がる効果が期待できる。なお、確認ページ（例えば、確認ページ６００（図６））においてユーザが追加した物品については、物品リストに登録されていなかったとしても追加登録の対象から除外するように構成してもよい。
［（ｆ）画像内に存在しない物品の抽出］
　上記手順〔１７〕において、レコメンドシステム１０ａは、画像内に存在しない物品に係る物品区分の識別情報（物品区分ＩＤ）を抽出する（Ｓ４５０）。具体的には、特定したカテゴリの物品リストから、認識した物品区分以外の物品区分を特定し、優先度の高い方から順に所定数の物品区分ＩＤを抽出する。
　このように、レコメンドシステム１０ａは、あるカテゴリに関連する物品の最大限を登録している物品リストの中から、画像解析により認識した物品区分（画像内に存在する物品に係る物品区分）以外の物品区分を抽出する。したがって、抽出された物品区分は、当該カテゴリに関連し、かつ画像内に存在しない物品に係る物品区分ということになる。とりわけ、当該カテゴリと特に関連性の高い物品区分に高めの優先度が設定してあれば、抽出された物品区分は推奨（レコメンド）する商品を決定する上で極めて有力なデータとなる。
［（ｇ）推奨商品の検索］
　上記手順〔１８〕において、レコメンドシステム１０ａは、抽出した物品区分ＩＤに関連する商品を検索するための検索条件を設定し（Ｓ４５５）、当該検索条件を満たす商品を商品ＤＢ１４において検索する（Ｓ４６０）。例えば、次の検索条件を設定し、商品ＤＢ１４の商品情報から当該検索条件を満たす商品の情報を抽出する。検索処理は、レコメンドシステム１０ａを構成するＤＢサーバを介して実行するものとする。
　　（ａ）上記手順〔１７〕において抽出した物品区分ＩＤに対応し又は関連するジャンルに分類されている。
　　（ｂ）販売可能である（在庫がある）。
　　（ｃ）商品画像がある。
　　（ｄ）上記（ａ）のジャンルでランキング上位（例えば、所定の順位以内）である。
　なお、画像内に存在すると認識された他の物品の色彩等を考慮して、推奨商品の情報を検索してもよい。また、推奨商品間の色・素材・デザイン等が調和するように、全体のコーディネートを考慮して推奨商品の情報を検索してもよい。
［４．変形例］
［（変形例１）処理分担の変形例］
　上述の実施形態では、検索要求の受信から検索結果の送信までの処理を、レコメンドシステム１０ａが実行している（図４～図５参照）。これに対し、レコメンドシステム１０ａを物品検索機能（図１参照）に特化した構成にしてもよい。例えば、レコメンドシステム１０ａとＥＣ管理システム１０ｂとが連携している場合、レコメンドシステム１０ａは、ＥＣ管理システム１０ｂから画像を入力し、該画像内に存在しない物品に係る物品区分の識別情報をＥＣ管理システム１０ｂに出力する。この場合、ユーザ端末２０から検索要求を受信する処理，推奨商品を検索する処理及びユーザ端末２０に検索結果を送信する処理は、ＥＣ管理システム１０ｂが実行するものとする。
［（変形例２）推奨商品の情報の取得手段の変形例］
　上述の商品の推奨手順では、レコメンドシステム１０ａを構成するＤＢサーバを介して、推奨商品の情報を取得している（図５のＳ４５５～Ｓ４６０，上記手順〔１８〕）。これに対し、レコメンドシステム１０ａは、公開ＡＰＩ（例えば、＜先行技術４＞参照）を利用し、ＥＣ管理システム１０ｂを介して推奨商品の情報を取得してもよい。
　例えば、推奨商品を検索するための検索条件（ＵＲＬパラメータ）を付加した検索用ＵＲＬを生成し、当該検索用ＵＲＬを指定してＥＣ管理システム１０ｂから当該検索条件を満たす商品の情報を取得するとよい。より具体的には、次の手順により、推奨商品の情報を取得する。
　　（１）ランキング情報を取得するための公開ＡＰＩを利用して、上記手順〔１７〕において抽出した物品区分ＩＤに対応し又は関連するジャンルのランキング情報をＥＣ管理システム１０ｂから取得する。
　　（２）商品情報を取得するための公開ＡＰＩを利用して、当該ジャンルでランキング上位の商品の中から販売可能であり（在庫があり）、かつ商品画像がある商品の情報を検索し、該商品に係る商品ページＵＲＬ，商品画像ＵＲＬ及び商品説明文を取得する。
［（変形例３）システム構成の変形例］
　商品検索に公開ＡＰＩを利用する場合、レコメンドシステム１０ａは、ＥＣ管理システム１０ｂと異なる事業主体が管理していてもよい。図７に、システム構成の変形例を示す。図７に示すように、変形例のシステムは、レコメンドシステム１０ａ，ＥＣ管理システム１０ｂ及びユーザ端末２０により構成される。また、レコメンドシステム１０ａはユーザＤＢ１１，検索ＤＢ１２及び画像ＤＢ１３を、ＥＣ管理システム１０ｂは商品ＤＢ１４を、それぞれ有しており、商品レコメンドシステム１０を構成している。レコメンドシステム１０ａとＥＣ管理システム１０ｂとユーザ端末２０とは、通信ネットワーク（変形例２では、インターネット３０）を介してそれぞれ互いに接続している。
［（変形例４）入出力形態の変形例］
　上述の実施形態では、ユーザ端末２０から画像を指定した検索要求（ＨＴＴＰリクエスト）を受信し、推奨商品の情報を記載した検索結果ページ（ＨＴＴＰレスポンス）をユーザ端末２０に送信している（図４のＳ４０５，図５のＳ４７０）。これに対し、検索要求を電子メール（検索要求メール）で受信し、検索結果等を電子メール（検索結果メール）で返信してもよい。例えば、ユーザ端末２０が携帯電話端末であれば、入出力に電子メールを利用する形態が便利である。
［（ａ）検索要求メール］
　レコメンドシステム１０ａは、所定のメールアドレス宛の電子メールを受信したとき、検索要求メールとして処理するとよい。検索要求メールには、画像ファイルが添付されているものとする。なお、検索要求メールの件名欄に画像に関連するキーワード（例えば、画像の主題，被写体，題名等）を入力してもらい、当該キーワードをカテゴリ特定処理（図４のＳ４４０）に利用してもよい。
［（ｂ）検索結果メール］
　レコメンドシステム１０ａは、検索要求メールの送信元メールアドレス宛に、検索結果メールを返信するとよい。検索結果メールには、例えば、次の項目をメール本文に記載するとよい。
　　・検索条件（上述の実施形態と同様）を満たす商品に係る商品ページのＵＲＬ
　　・検索結果ページ（上述の実施形態と同様）のＵＲＬ
　　・抽出された物品区分ＩＤに対応する商品ジャンルに係るランキング情報を掲載するＷｅｂページのＵＲＬ
　本実施形態のシステムを利用した商品レコメンドサービスを、具体的に示す。以下では、検索ＤＢ１２に記憶しているカテゴリ情報及び物品リストの内容と、検索結果ページの表示例について説明する。
［（実施例１）浴室の画像］
［（ａ）カテゴリ情報］
　図８（ａ）に、カテゴリ情報の内容を示す。図８（ａ）に示すカテゴリ情報には、「カテゴリＩＤ」に対応させて、カテゴリの名称「浴室」と、カテゴリの説明文「浴室を撮影した画像です。」とが記憶されている。
［（ｂ）物品リスト］
　図８（ｂ）に、「浴室」カテゴリの物品リストの内容を示す。図８（ｂ）に示すように、「浴室」カテゴリの物品リストには、「バスタブ」，「風呂蓋」，「シャワーヘッド」，「シャンプー」，「リンス」，「鏡」，「カーテン」，「洗面台」，…の物品区分ＩＤが登録されている。なお、各物品区分に対応する数値は、優先度の高さに対応する順位である。
［（ｃ）検索結果ページ］
　図９に、検索結果ページの表示例を示す。図９に示すように、検索結果ページ９００は、エリア９１０～９３０を含んでいる。エリア９１０には、投稿された画像が表示される。エリア９１０の画像は描画として記載されているが、投稿された画像は、カメラ等で撮影された画像である。エリア９２０には、上記手順〔１５〕において特定したカテゴリの名称及び説明文が表示される。実施例１では、投稿された画像に対する解析処理により認識された「バスタブ」，「シャワーヘッド」，「鏡」，「洗面台」を基に、「浴室」カテゴリが特定された。したがって、エリア９２０には、「浴室：浴室を撮影した画像です。」と表示されている。
　エリア９３０には、推奨商品の商品画像及び商品説明文が表示される。実施例１では、「浴室」カテゴリの物品リストの中から、画像内に存在すると認識された物品（「バスタブ」，「シャワーヘッド」，「鏡」，「洗面台」）以外の物品のうち優先度の高い方から順に「風呂蓋」，「シャンプー」，「リンス」，…の物品区分ＩＤが抽出された。したがって、エリア９３０には、次の検索条件を満たす商品の画像及び説明文が表示されている。なお、画像及び説明文は、商品ページへのリンクになっている。
　　（ａ）「風呂蓋」，「シャンプー」，「リンス」，…の物品区分（商品ジャンル）に対応する商品である。
　　（ｂ）販売可能である（在庫がある）。
　　（ｃ）商品画像がある。
　　（ｄ）「風呂蓋」，「シャンプー」，「リンス」，…の物品区分（商品ジャンル）のランキングで上位（例えば、上記（ａ）～（ｃ）の条件を満たす商品の中でランキング最上位）である。
　その他、エリア９３０には、抽出された物品区分ＩＤ（商品ジャンル）に対応する他の商品の掲載ページ（例えば、当該物品区分ＩＤ（商品ジャンル）のランキング情報の掲載ページ等）へのリンクが表示される。ユーザがユーザ端末２０を操作していずれかのリンクをクリックすると、ユーザ端末２０はＥＣ管理システム１０ｂに当該リンクに対応するページの送信要求を送信する。以降は、従来のオンラインショッピングモールにおけるものと同様の手順となる。
［（実施例２）女性の画像］
［（ａ）カテゴリ情報］
　図１０（ａ）に、カテゴリ情報の内容を示す。図１０（ａ）に示すカテゴリ情報には、「カテゴリＩＤ」に対応させて、カテゴリの名称「女性」と、カテゴリの説明文「女性を撮影した画像です。」とが記憶されている。
［（ｂ）物品リスト］
　図１０（ｂ）に、「女性」カテゴリの物品リストの内容を示す。図１０（ｂ）に示すように、「女性」カテゴリの物品リストには、「被服」，「腕時計」，「ピアス」，「ネックレス」，「バッグ」，「サングラス」，「ベルト」，「靴」，…の物品区分ＩＤが登録されている。なお、各物品に対応する数値は、優先度の高さに対応する順位である。
［（ｃ）検索結果ページ］
　図１１に、検索結果ページの表示例を示す。図１１に示すように、検索結果ページ１１００は、エリア１１１０～１１３０を含んでいる。エリア１１１０には、投稿された画像が表示される。エリア１１１０の画像は描画として記載されているが、投稿された画像は、カメラ等で撮影された画像である。エリア１１２０には、上記手順〔１５〕において特定したカテゴリの名称及び説明文が表示される。実施例２では、投稿された画像に対する解析処理により認識された「被服」を基に、ユーザに対するカテゴリ確認を経て、「女性」カテゴリが特定された。したがって、エリア１１２０には、「女性：女性を撮影した画像です。」と表示されている。
　エリア１１３０には、推奨商品の商品画像及び商品説明文が表示される。実施例２では、「女性」カテゴリの物品リストの中から、画像内に存在すると認識された物品（「被服」）以外の物品のうち優先度の高い方から順に「腕時計」，「ピアス」，「ネックレス」，…の物品区分ＩＤが抽出された。したがって、エリア１１３０には、次の検索条件を満たす商品の画像及び説明文が表示されている。また、画像及び説明文は、商品ページへのリンクになっている。
　　（ａ）「腕時計」，「ピアス」，「ネックレス」，…の物品区分（商品ジャンル）に対応する商品である。
　　（ｂ）販売可能である（在庫がある）。
　　（ｃ）商品画像がある。
　　（ｄ）「腕時計」，「ピアス」，「ネックレス」，…の物品区分（商品ジャンル）のランキングで上位（例えば、上記（ａ）～（ｃ）の条件を満たす商品の中でランキング最上位）である。
　その他、エリア１１３０には、抽出された物品区分ＩＤ（商品ジャンル）に対応する他の商品の掲載ページ（例えば、当該物品区分ＩＤ（商品ジャンル）のランキング情報の掲載ページ等）へのリンクが表示される。ユーザがユーザ端末２０を操作していずれかのリンクをクリックすると、ユーザ端末２０はＥＣ管理システム１０ｂに当該リンクに対応するページの送信要求を送信する。以降は、従来のオンラインショッピングモールにおけるものと同様の手順となる。
　１０　　　商品レコメンドシステム
　１０ａ　　レコメンドシステム
　１０ｂ　　ＥＣ管理システム
　１０ｃ　　ファイアウォール
　１１　　　ユーザＤＢ
　１２　　　検索ＤＢ
　１３　　　画像ＤＢ
　１４　　　商品ＤＢ
　２０　　　ユーザ端末
　３０　　　インターネット
　６００　　確認ページ
　９００　　検索結果ページ
　１１００　検索結果ページ

Claims (17)

  1. 　ユーザの端末と接続可能なレコメンドシステムであって、
    　カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有し、
    　１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力手段と、
    　前記入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識手段と、
    　前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定手段と、
    　前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出手段と、
    　前記抽出した物品区分の識別情報に対応する情報を出力する出力手段と
    　を備える
    　ことを特徴とするレコメンドシステム。
  2. 　請求項１に記載のレコメンドシステムにおいて、
    　商品の識別情報に対応させて、商品区分の識別情報及び商品画像のＵＲＬを記憶している商品情報記憶手段と、
    　前記抽出した物品区分の識別情報を用いて、前記商品情報記憶手段を検索して、前記物品区分に対応する商品に係る商品画像のＵＲＬを抽出する商品情報検索手段とをさらに備え、
    　前記出力手段が、前記抽出した商品画像のＵＲＬを用いて、該商品画像のリンクを配置した検索結果ページを生成し、前記端末に送信する
    　ことを特徴とするレコメンドシステム。
  3. 　請求項１に記載のレコメンドシステムにおいて、
    　商品の識別情報に対応させて、商品画像のＵＲＬを記憶している商品情報記憶手段と、
    　前記抽出した物品区分の識別情報を用いて、前記商品情報記憶手段を検索して、前記物品区分に対応する商品に係る商品画像を抽出する商品情報検索手段とをさらに備え、
    　前記出力手段が、前記抽出した商品画像を配置した検索結果ページを生成し、前記端末に送信する
    　ことを特徴とするレコメンドシステム。
  4. 　請求項２または３に記載の商品レコメンドシステムにおいて、
    　前記カテゴリ特定手段は、前記認識した物品区分を基に１又は複数のカテゴリ候補を選定し、該カテゴリ候補の識別情報及び／又はこれに対応する情報を前記端末に送信し、該端末からカテゴリの指定情報を受信し、該指定情報を基に前記入力した画像に対応するカテゴリを特定する
    　ことを特徴とする商品レコメンドシステム。
  5. 　請求項２又は３に記載のレコメンドシステムにおいて、
    　前記商品情報検索手段は、在庫のある商品のみを検索する
    　ことを特徴とするレコメンドシステム。
  6. 　請求項２又は３に記載のレコメンドシステムにおいて、
    　前記商品情報検索手段は、前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索する
    　ことを特徴とするレコメンドシステム。
  7. 　請求項１に記載のレコメンドシステムにおいて、
    　前記物品リスト記憶手段は、さらに、前記物品区分ごとに優先度を記憶しており、
    　前記物品情報抽出手段は、優先度の高い物品区分の識別情報を優先的に抽出する
    　ことを特徴とするレコメンドシステム。
  8. 　請求項１又は７に記載のレコメンドシステムにおいて、
    　前記入力手段は、ユーザの端末から前記画像を指定した検索要求メールを受信し、該指定された画像を入力し、
    　前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、
    　前記設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品ページのＵＲＬを取得する商品情報取得手段と
    をさらに備え、
    　前記出力手段は、前記取得した商品ページのＵＲＬを記載した検索結果メールを生成し、前記受信した検索要求メールの送信元メールアドレス宛に該検索結果メールを送信する
    　ことを特徴とするレコメンドシステム。
  9. 　請求項８に記載のレコメンドシステムにおいて、
    　前記商品情報取得手段は、前記設定した検索条件を満たす商品に係る商品画像のＵＲＬをさらに取得し、
    　前記出力手段は、前記取得した商品画像のＵＲＬ及び前記商品ページのＵＲＬを用いて、該商品画像の参照と該商品ページへのリンクとを配置した検索結果ページを生成し、前記商品ページのＵＲＬに代えて該検索結果ページのＵＲＬを記載した検索結果メールを生成する
    　ことを特徴とするレコメンドシステム。
  10. 　請求項８又は９に記載のレコメンドシステムにおいて、
    　前記検索条件設定手段は、在庫のある商品のみを検索するための検索条件を設定する
    　ことを特徴とするレコメンドシステム。
  11. 　請求項８～１０のいずれか一項に記載のレコメンドシステムにおいて、
    　前記検索条件設定手段は、前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索するための検索条件を設定する
    　ことを特徴とするレコメンドシステム。
  12. 　請求項１又は７に記載のレコメンドシステムにおいて、
    　前記入力手段は、ユーザの端末から前記画像を指定した検索要求メールを受信し、該指定された画像を入力し、
    　前記出力手段は、前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係るランキング情報掲載ページのＵＲＬを記載した検索結果メールを生成し、前記端末に送信する
    　ことを特徴とするレコメンドシステム。
  13. 　請求項８～１２のいずれか一項に記載のレコメンドシステムにおいて、
    　前記入力手段は、前記画像に関連するキーワードを含む検索要求メールを受信し、
    　前記カテゴリ特定手段は、前記キーワードをさらに用いて、前記入力した画像に対応するカテゴリを特定する
    　ことを特徴とするレコメンドシステム。
  14. 　請求項１又は７に記載のレコメンドシステムにおいて、
    　前記入力手段は、ユーザの端末から前記画像を指定した検索要求を受信し、該指定された画像を入力し、
    　前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、
    　前記設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品画像のＵＲＬを取得する商品情報取得手段とをさらに備え、
    　前記出力手段は、前記取得した商品画像のＵＲＬを用いて、該商品画像の参照を配置した検索結果ページを生成し、前記端末に送信する
    　ことを特徴とするレコメンドシステム。
  15. 　カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有する、ユーザの端末と接続可能なレコメンドシステムが、
    　１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力ステップと、
    　前記入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、
    　前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、
    　前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出ステップと、
    　前記抽出した物品区分の識別情報に対応する情報を出力する出力ステップと
    　を実行することを特徴とするレコメンド方法。
  16. 　カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有する、ユーザの端末と接続可能なレコメンドシステムに、
    　１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力ステップと、
    　前記入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、
    　前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、
    　前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出ステップと、
    　前記抽出した物品区分の識別情報に対応する情報を出力する出力ステップと
    　を実行させるためのレコメンドプログラム。
  17. 　カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段を有する、ユーザの端末と接続可能なレコメンドシステムに、
    　１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力ステップと、
    　前記入力した画像を解析し、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、
    　前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、
    　前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出ステップと、
    　前記抽出した物品区分の識別情報に対応する情報を出力する出力ステップと
    　を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2010/065523 2009-09-30 2010-09-09 画像内に存在しない物品をレコメンドするシステム WO2011040202A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10820322.5A EP2426633A4 (en) 2009-09-30 2010-09-09 SYSTEM FOR RECOMMENDING AN ARTICLE NOT PRESENT IN AN IMAGE
CN2010800237727A CN102449654A (zh) 2009-09-30 2010-09-09 建议不存在于图像内的物品的系统
JP2010545705A JP4733236B2 (ja) 2009-09-30 2010-09-09 画像内に存在しない物品をレコメンドするシステム
US13/375,379 US8572116B2 (en) 2009-09-30 2010-09-09 System for recommending an article not present in an image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-228692 2009-09-30
JP2009228691 2009-09-30
JP2009228692 2009-09-30
JP2009-228691 2009-09-30

Publications (1)

Publication Number Publication Date
WO2011040202A1 true WO2011040202A1 (ja) 2011-04-07

Family

ID=43826030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065523 WO2011040202A1 (ja) 2009-09-30 2010-09-09 画像内に存在しない物品をレコメンドするシステム

Country Status (6)

Country Link
US (1) US8572116B2 (ja)
EP (1) EP2426633A4 (ja)
JP (2) JP4733236B2 (ja)
CN (1) CN102449654A (ja)
TW (1) TWI462043B (ja)
WO (1) WO2011040202A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049014A (ja) * 2012-09-03 2014-03-17 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
JP2022077463A (ja) * 2020-11-11 2022-05-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、オフィス用品レコメンド方法およびオフィス用品レコメンドプログラム
JP7119173B1 (ja) 2021-05-26 2022-08-16 楽天グループ株式会社 商品情報処理システム、商品情報処理方法及びプログラム

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3239919A1 (en) 2008-03-05 2017-11-01 eBay Inc. Method and apparatus for image recognition services
US9495386B2 (en) 2008-03-05 2016-11-15 Ebay Inc. Identification of items depicted in images
JP5044035B1 (ja) * 2011-07-29 2012-10-10 楽天株式会社 情報提供装置、情報提供方法、情報提供プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US10846766B2 (en) * 2012-06-29 2020-11-24 Ebay Inc. Contextual menus based on image recognition
CN103150631B (zh) * 2013-03-11 2016-11-09 苏州斯普锐智能系统有限公司 基于图像匹配的自动物品管理方法及其系统
JP2015032253A (ja) * 2013-08-06 2015-02-16 ソニー株式会社 情報処理装置および情報処理方法
JP6269029B2 (ja) * 2013-12-19 2018-01-31 カシオ計算機株式会社 情報処理装置及びプログラム
US20170053312A1 (en) * 2014-06-03 2017-02-23 Sony Corporation Information processing apparatus, information presentation method, program, and system
JP6614457B2 (ja) * 2014-12-15 2019-12-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および情報処理システム
CN105677728A (zh) * 2015-12-28 2016-06-15 广东正美家具科技有限公司 物体图像识别分类管理方法
GB2551690A (en) * 2016-04-26 2018-01-03 Tactile Ltd Repair diagnostic system and method
CN107368488A (zh) 2016-05-12 2017-11-21 阿里巴巴集团控股有限公司 一种确定用户行为偏好的方法、推荐信息的展示方法和装置
JP6120467B1 (ja) * 2016-06-24 2017-04-26 サイジニア株式会社 サーバ装置、端末装置、情報処理方法、およびプログラム
CN106055710A (zh) * 2016-07-01 2016-10-26 传线网络科技（上海）有限公司 基于视频的商品推荐方法及装置
CN106446185A (zh) * 2016-09-28 2017-02-22 北京小米移动软件有限公司 产品推荐方法、装置以及服务器
JP2019079084A (ja) * 2017-10-19 2019-05-23 株式会社大塚商会 画像解析システム
JP6508316B2 (ja) * 2017-12-22 2019-05-08 カシオ計算機株式会社 情報表示装置及びプログラム
CN108510368A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种用于现实场景获取对象信息的方法及装置
JP7302200B2 (ja) * 2019-02-26 2023-07-04 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN111767365A (zh) * 2019-03-12 2020-10-13 株式会社理光 文档检索设备及方法
JP7420495B2 (ja) 2019-07-03 2024-01-23 富士フイルム株式会社 画像処理装置，画像処理方法，画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7155074B2 (ja) * 2019-07-03 2022-10-18 富士フイルム株式会社 情報提案システム、情報提案方法、プログラムおよび記録媒体
JP7155073B2 (ja) 2019-07-03 2022-10-18 富士フイルム株式会社 情報提案システム、情報提案方法、プログラムおよび記録媒体
JP6751188B1 (ja) * 2019-08-05 2020-09-02 Dmg森精機株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN111310011B (zh) * 2020-01-20 2023-06-16 北京字节跳动网络技术有限公司 一种信息推送方法、装置、电子设备及存储介质
CN112541380A (zh) * 2020-04-10 2021-03-23 深圳优地科技有限公司 一种物品选取方法、选取装置及终端设备
CN111695971B (zh) * 2020-06-12 2024-01-12 腾讯科技（深圳）有限公司 物品推荐方法、装置和设备及计算机存储介质
US11204975B1 (en) 2020-08-10 2021-12-21 Coupang Corp. Program interface remote management and provisioning
JP7012805B1 (ja) 2020-11-20 2022-01-28 ヤフー株式会社 ショッピングサーバ装置、情報処理方法、およびプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157599A (ja) 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法，物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP2002342790A (ja) * 2001-05-18 2002-11-29 Nikon Corp 電子ショップの提供方法
JP2003030198A (ja) * 2001-07-11 2003-01-31 Canon Inc 商品情報提供方法、サーバ及びプログラム
JP2004295291A (ja) * 2003-03-26 2004-10-21 Dainippon Printing Co Ltd チラシ・カタログ類の作成作業支援装置
JP2006031200A (ja) * 2004-07-14 2006-02-02 Nec Corp 商品検索システム及びその方法並びにそれに用いる端末装置、サーバ装置及びプログラム
JP2007102407A (ja) * 2005-10-03 2007-04-19 Kddi Corp レコメンド方法およびシステムならびにレコメンドプログラムおよびその記憶媒体
JP2008033819A (ja) 2006-07-31 2008-02-14 Omron Corp 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体
JP2008090745A (ja) * 2006-10-04 2008-04-17 Hitachi Ltd 商品情報提供システム及び商品情報の提供方法
JP2008282098A (ja) * 2007-05-08 2008-11-20 Rakuten Inc 商品レコメンド・システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269284A (ja) * 1997-03-25 1998-10-09 Hitachi Ltd 電子商取引システムにおける商品情報提供方法及びシステム
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4552100B2 (ja) * 2001-04-27 2010-09-29 ソニー株式会社 商品検索システム、商品検索装置及び商品検索装置の商品検索方法
CN100432963C (zh) 2001-05-18 2008-11-12 尼康照相机贩卖株式会社 电子商店和电子公告牌的提供方法、站点检索方法
WO2004106009A1 (ja) * 2003-06-02 2004-12-09 Matsushita Electric Industrial Co., Ltd. 物品操作システムおよび方法、並びに物品管理システムおよび方法
US20050090233A1 (en) * 2003-10-28 2005-04-28 Agere Systems, Incorporated System and method employing a mobile telephone to retrieve information regarding an article
JP4413633B2 (ja) * 2004-01-29 2010-02-10 株式会社ゼータ・ブリッジ 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム
US7909241B2 (en) * 2004-03-09 2011-03-22 Lowe's Companies, Inc. Systems, methods and computer program products for implementing processes relating to retail sales
EP1965344B1 (en) * 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
US7801774B2 (en) * 2008-11-21 2010-09-21 At&T Intellectual Property I, L.P. System, computer-readable storage medium, device, and method for managing grocery shopping

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157599A (ja) 2000-11-17 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> 物体検出認識方法，物体検出認識プログラムを記録した記録媒体および物体監視追跡装置
JP2002342790A (ja) * 2001-05-18 2002-11-29 Nikon Corp 電子ショップの提供方法
JP2003030198A (ja) * 2001-07-11 2003-01-31 Canon Inc 商品情報提供方法、サーバ及びプログラム
JP2004295291A (ja) * 2003-03-26 2004-10-21 Dainippon Printing Co Ltd チラシ・カタログ類の作成作業支援装置
JP2006031200A (ja) * 2004-07-14 2006-02-02 Nec Corp 商品検索システム及びその方法並びにそれに用いる端末装置、サーバ装置及びプログラム
JP2007102407A (ja) * 2005-10-03 2007-04-19 Kddi Corp レコメンド方法およびシステムならびにレコメンドプログラムおよびその記憶媒体
JP2008033819A (ja) 2006-07-31 2008-02-14 Omron Corp 物体認識装置、監視システム、物体認識方法、物体認識プログラム、および該プログラムを記録した記録媒体
JP2008090745A (ja) * 2006-10-04 2008-04-17 Hitachi Ltd 商品情報提供システム及び商品情報の提供方法
JP2008282098A (ja) * 2007-05-08 2008-11-20 Rakuten Inc 商品レコメンド・システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2426633A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014049014A (ja) * 2012-09-03 2014-03-17 Toshiba Tec Corp 商品認識装置及び商品認識プログラム
JP2022077463A (ja) * 2020-11-11 2022-05-23 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、オフィス用品レコメンド方法およびオフィス用品レコメンドプログラム
JP7127100B2 (ja) 2020-11-11 2022-08-29 エヌ・ティ・ティ・コミュニケーションズ株式会社 情報処理装置、オフィス用品レコメンド方法およびオフィス用品レコメンドプログラム
JP7119173B1 (ja) 2021-05-26 2022-08-16 楽天グループ株式会社 商品情報処理システム、商品情報処理方法及びプログラム
JP2022181385A (ja) * 2021-05-26 2022-12-08 楽天グループ株式会社 商品情報処理システム、商品情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2011040202A1 (ja) 2013-02-28
CN102449654A (zh) 2012-05-09
EP2426633A4 (en) 2015-01-21
JP5568501B2 (ja) 2014-08-06
TW201118783A (en) 2011-06-01
US20120179716A1 (en) 2012-07-12
JP4733236B2 (ja) 2011-07-27
US8572116B2 (en) 2013-10-29
EP2426633A1 (en) 2012-03-07
TWI462043B (zh) 2014-11-21
JP2011141892A (ja) 2011-07-21

Similar Documents

Publication Publication Date Title
JP5568501B2 (ja) 画像内に存在しない物品をレコメンドするシステム
CN103430202B (zh) 使用多级轮廓的搜索系统
US20220150292A1 (en) Personalized Recommendation Method and System, and Terminal Device
JP5442799B2 (ja) タグ管理装置、タグ管理方法、タグ管理プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
AU2012274726B2 (en) Information Processing Apparatus, Information Processing Method, Information Processing Program, Recording the Medium having Stored therein Information Processing Program
US20140114847A1 (en) Information processing apparatus, information processing method, information processing program, recording medium having stored therein information processing program
CN107656969A (zh) 一种信息推荐方法及装置
US11995699B2 (en) Commodity recommendation system
KR102309373B1 (ko) 기획 판매를 위한 컨텐츠를 자동적으로 구축하는 시스템 및 그 방법
JP2000003394A (ja) パーソナルマーチャンダイジングシステム
TW201303771A (zh) 基於人際距離的排名、搜索方法和裝置
CN102194006B (zh) 一种集合团队个性化特征的搜索系统和方法
EP2711850A1 (en) Review text output system, review text output method, program and computer-readable information storage medium
WO2012030672A1 (en) Size mapping in an online shopping environment
KR101707660B1 (ko) 연관 검색어를 이용한 관심사 카테고리 기반 이커머스 시스템
TWI512509B (zh) Association authoring device, association grant method, and association grant program product
KR20190055963A (ko) 키워드검색 분석을 통한 온라인 쇼핑몰의 상품 노출 시스템 및 그 운영방법
US20100161659A1 (en) Information supplying server
US20120290356A1 (en) Method for operating an online service for evaluating and awarding websites
JP2019215717A (ja) マッチングシステム、マッチング方法、及びコンピュータプログラム
CN112070552A (zh) 一种基于大数据的电子商务平台
Kailer et al. An empirical study on the usage of social media in german b2c-online stores
KR20160128974A (ko) 온라인 쇼핑정보 제공 시스템, 온라인 쇼핑정보 제공장치, 클라우드 컴퓨팅 환경을 이용한 쇼핑정보 제공장치, 및 그 쇼핑정보 제공방법
KR20150059656A (ko) 레시피를 이용한 상품 검색 방법
CN108765079A (zh) 一种基于时域分析的电子商务系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080023772.7

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2010545705

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10820322

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2010820322

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010820322

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13375379

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE