JP4733236B2

JP4733236B2 - 画像内に存在しない物品をレコメンドするシステム

Info

Publication number: JP4733236B2
Application number: JP2010545705A
Authority: JP
Inventors: 真也高見
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2009-09-30
Filing date: 2010-09-09
Publication date: 2011-07-27
Anticipated expiration: 2030-09-09
Also published as: TW201118783A; JP5568501B2; TWI462043B; JP2011141892A; US8572116B2; EP2426633A1; US20120179716A1; CN102449654A; EP2426633A4; WO2011040202A1; JPWO2011040202A1

Description

本発明は、オンラインで商品を推奨（レコメンド）する仕組みに関し、特に、画像内に存在しない物品を検索する処理に関するものである。

＜先行技術１＞
オンラインショッピングモールにおいて、目的の商品を検索する機能が提供されている（例えば、非特許文献１参照）。上記のショッピングモールでは、例えば、次の検索機能が提供されている。
・キーワード検索…目的の商品名称を検索窓に入力して検索する。
・ジャンル検索…商品ジャンルを絞り込んで商品を検索する。

＜先行技術２＞
ユーザの好みに合わせたおすすめ商品の情報をリアルタイムで提供するインターネット上のサービスが知られている（例えば、非特許文献２参照）。上記のサービスでは、ユーザの購入履歴，商品の評価，所持する商品等のデータを基に、他のユーザのデータも参考にして、ユーザごとに興味があると思われるおすすめ商品のリストを自動的に作成・更新する。おすすめ商品は、サイト上の様々なページに表示される。

＜先行技術３＞
撮影画像内に存在する物体の種類を認識する手法が知られている（例えば、特許文献１，特許文献２等参照）。例えば、特許文献１には、次の手順により物体を認識する手法が開示されている。
（１）撮影画像を取得する。
（２）取得した撮影画像から特徴点を抽出する（図４のＳ１０）。
（３）抽出した特徴点の空間位置を算出する（図４のＳ１２）。
（４）算出した空間位置に基づいてクラスタリングを行い、クラスタリングにより生成されたクラスタのサイズに基づいて、クラスタに対応する物体を判定する（図６等）。

＜先行技術４＞
オンラインショッピングモールの商品の情報を取得することが可能なＡＰＩが公開されている（例えば、非特許文献３参照）。当該ＡＰＩを利用すれば、キーワードでの商品検索をはじめ、ジャンル・販売可否（在庫有無）での絞込み検索も可能である。また、同モールのランキング情報を取得することが可能なＡＰＩも公開されている（例えば、非特許文献３参照）。当該ＡＰＩを利用すれば、商品のジャンル別，ユーザの性別・年代別等で売れている商品の情報を取得することができる。

特開２００８−０３３８１９号公報特開２００２−１５７５９９号公報

楽天株式会社、「楽天市場」、[online]、インターネット<URL: http://www.rakuten.co.jp/index.html> アマゾンジャパン株式会社、「おすすめ商品」、[online]、インターネット<URL:http://www.amazon.co.jp/gp/help/customer/display.html?ie=UTF8&nodeId=779360> 楽天株式会社、「楽天ウェブサービス」、[online]、インターネット<URL: http://webservice.rakuten.co.jp/index.html>

上記＜先行技術１＞の検索機能は、目的とする商品がある程度決まっているユーザの利用を想定している。上記＜先行技術２＞のサービスでは、ユーザに推奨する商品をそのユーザの購入履歴等のデータを基に選んでいる。本発明が解決しようとする課題は、ユーザに推奨（レコメンド）する商品の選択に利用するため、入力した画像内に存在しない物品を検索する、という点である。

本発明のレコメンドシステムは、ユーザの端末と接続可能なレコメンドシステムであって、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有し、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力手段と、入力した画像を解析し、該画像内に含まれる物品の特徴パターンと物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識手段と、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定手段と、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出手段と、商品情報記憶手段を参照して、抽出した物品区分の識別情報に対応する商品に関連する情報を出力する出力手段とを備えることを特徴とする。

本発明のレコメンドシステムでは、商品情報記憶手段が、商品画像のＵＲＬを商品に関連する情報として記憶しており、抽出した物品区分の識別情報を用いて、商品情報記憶手段を検索して、物品区分に対応する商品に係る商品画像のＵＲＬを抽出する商品情報検索手段をさらに備え、出力手段が、抽出した商品画像のＵＲＬを用いて、該商品画像のリンクを配置した検索結果ページを生成し、端末に送信してもよい。

本発明のレコメンドシステムでは、商品情報記憶手段が、商品画像を商品に関連する情報として記憶しており、抽出した物品区分の識別情報を用いて、商品情報記憶手段を検索して、物品区分に対応する商品に係る商品画像を抽出する商品情報検索手段をさらに備え、出力手段が、抽出した商品画像を配置した検索結果ページを生成し、端末に送信してもよい。

本発明のレコメンドシステムでは、カテゴリ特定手段は、認識した物品区分を基に１又は複数のカテゴリ候補を選定し、該カテゴリ候補の識別情報に対応する名称又は説明文を端末に送信し、該端末においてカテゴリ候補が指定された場合に、指定されたカテゴリ候補の指定情報を該端末から受信し、該指定情報を基に入力した画像に対応するカテゴリを特定してもよい。

本発明のレコメンドシステムでは、商品情報記憶手段が、在庫数を商品に関連する情報として記憶しており、商品情報検索手段は、在庫のある商品のみを検索してもよい。

本発明のレコメンドシステムでは、商品情報検索手段は、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索してもよい。

本発明のレコメンドシステムでは、物品リスト記憶手段は、さらに、物品区分ごとに優先度を記憶しており、物品情報抽出手段は、優先度の高い物品区分の識別情報を優先的に抽出してもよい。

本発明のレコメンドシステムでは、入力手段は、ユーザの端末から画像を指定した検索要求メールを受信し、該指定された画像を入力し、該レコメンドシステムは、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品ページのＵＲＬを取得する商品情報取得手段とをさらに備え、出力手段は、取得した商品ページのＵＲＬを記載した検索結果メールを生成し、受信した検索要求メールの送信元メールアドレス宛に該検索結果メールを送信してもよい。

本発明のレコメンドシステムでは、商品情報取得手段は、設定した検索条件を満たす商品に係る商品画像のＵＲＬをさらに取得し、出力手段は、取得した商品画像のＵＲＬ及び商品ページのＵＲＬを用いて、該商品画像の参照と該商品ページへのリンクとを配置した検索結果ページを生成し、商品ページのＵＲＬに代えて該検索結果ページのＵＲＬを記載した検索結果メールを生成してもよい。

本発明のレコメンドシステムでは、検索条件設定手段は、在庫のある商品のみを検索するための検索条件を設定してもよい。

本発明のレコメンドシステムでは、検索条件設定手段は、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索するための検索条件を設定してもよい。

本発明のレコメンドシステムでは、入力手段は、ユーザの端末から画像を指定した検索要求メールを受信し、該指定された画像を入力し、出力手段は、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係るランキング情報掲載ページのＵＲＬを記載した検索結果メールを生成し、端末に送信してもよい。

本発明のレコメンドシステムでは、入力手段は、画像に関連するキーワードを含む検索要求メールを受信し、カテゴリ特定手段は、キーワードをさらに用いて、入力した画像に対応するカテゴリを特定してもよい。

本発明のレコメンドシステムでは、入力手段は、ユーザの端末から画像を指定した検索要求を受信し、該指定された画像を入力し、該レコメンドシステムは、抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品画像のＵＲＬを取得する商品情報取得手段とをさらに備え、出力手段は、取得した商品画像のＵＲＬを用いて、該商品画像の参照を配置した検索結果ページを生成し、端末に送信してもよい。

本発明のレコメンド方法は、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有する、ユーザの端末と接続可能なレコメンドシステムが、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力ステップと、入力した画像を解析し、該画像内に含まれる物品の特徴パターンと物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出ステップと、商品情報記憶手段を参照して、抽出した物品区分の識別情報に対応する商品に関連する情報を出力する出力ステップとを実行することを特徴とする。

本発明のレコメンドプログラムは、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有する、ユーザの端末と接続可能なレコメンドシステムに、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力ステップと、入力した画像を解析し、該画像内に含まれる物品の特徴パターンと物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出ステップと、商品情報記憶手段を参照して、抽出した物品区分の識別情報に対応する商品に関連する情報を出力する出力ステップとを実行させる。

本発明のコンピュータ読み取り可能な記録媒体は、カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有する、ユーザの端末と接続可能なレコメンドシステムに、１又は複数の物品を含む画像を端末から受信し、該画像を入力する入力ステップと、入力した画像を解析し、該画像内に含まれる物品の特徴パターンと物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、物品リスト記憶手段を参照し、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、特定したカテゴリに関連する物品区分のうち、認識した物品区分以外の物品区分の識別情報を物品リスト記憶手段より抽出する物品情報抽出ステップと、商品情報記憶手段を参照して、抽出した物品区分の識別情報に対応する商品に関連する情報を出力する出力ステップとを実行させるためのプログラムを記録している。

本発明のレコメンドシステムは、入力した画像内に存在しない物品を検索することができる。また、本発明のレコメンドシステムとユーザの端末とを接続して構成した商品レコメンドシステムは、入力した画像内に存在しない物品に関連する商品をユーザに対して推奨（レコメンド）することができる。

レコメンドシステムの機能ブロック図である。（実施形態）システム構成を示すブロック図である。（実施形態）データベースのデータ項目の説明図である。（実施形態）商品の推奨手順を示すフロー図である。（実施形態）商品の推奨手順を示すフロー図である。（実施形態）確認ページの表示例である。（実施形態）レコメンドシステムの機能ブロック図である。（変形例３）検索ＤＢの一部データの説明図である。（実施例１）検索結果ページの表示例である。（実施例１）検索ＤＢの一部データの説明図である。（実施例２）検索結果ページの表示例である。（実施例２）

＜定義＞
・カテゴリ…投稿された静止画像を振り分けるための区分。
・物品区分…有体物の区分。以下の説明では、ＥＣ（電子商取引）管理サービスで提供される商品のジャンルに対応する有体物の区分。

＜実施形態＞
［１．概要］
図１に、レコメンドシステムの機能構成を示す。図１に示すように、本実施形態のレコメンドシステムは、静止画像を入力する入力部と、入力した画像を解析して画像内に含まれる物品に係る物品区分を認識する物品認識部と、認識した物品区分を基に入力した画像に対応するカテゴリを特定するカテゴリ特定部と、特定したカテゴリに関連する物品区分のうち認識した物品区分以外の物品区分の識別情報を抽出する物品情報抽出部と、抽出した物品区分の識別情報及び／又はこれに対応する情報を出力する出力部とを備えている。この構成により、本実施形態のレコメンドシステムは、１又は複数の物品を含む静止画像を入力し、該画像内に存在しない物品に係る物品区分の識別情報等を出力する機能（物品検索機能）を提供することができる。

［２．システム構成］
図２に、本実施形態のシステムの構成を示す。図２に示すように、本実施形態のシステムは、全体として、レコメンドシステム１０ａ，ＥＣ管理システム１０ｂ及びユーザ端末２０により構成される。また、レコメンドシステム１０ａ及びＥＣ管理システム１０ｂは、ユーザＤＢ１１，検索ＤＢ１２，画像ＤＢ１３及び商品ＤＢ１４を共有し、商品レコメンドシステム１０を構成している。レコメンドシステム１０ａ及びＥＣ管理システム１０ｂとユーザ端末２０とは、中継交換装置（本実施形態では、ファイアウォール１０ｃ）及び通信ネットワーク（本実施形態では、インターネット３０）を介してそれぞれ互いに接続している。

［２−１．レコメンドシステム］
図２において、レコメンドシステム１０ａは、物品検索機能を提供するサーバ群である。レコメンドシステム１０ａは、例えば、Ｗｅｂページの生成・送信機能を有するＷｅｂサーバ，電子メールの生成・送信機能を有するメールサーバ，データの検索処理を実行する検索サーバ，データベースを管理するＤＢサーバ，画像の解析処理を実行する画像解析サーバ及びその他の必要なアプリケーションサーバを含む。

［２−２．ＥＣ管理システム］
図２において、ＥＣ管理システム１０ｂは、ＥＣ（電子商取引）管理サービスを提供するサーバ群である。ＥＣ管理システム１０ｂは、例えば、Ｗｅｂページの生成・送信機能を有するＷｅｂサーバ，電子メールの生成・送信機能を有するメールサーバ，データの検索機能を有する検索サーバ，データベースを管理するＤＢサーバ及びその他の必要なアプリケーションサーバを含む。なお、ＥＣ管理システム１０ｂは、従来例のオンラインショッピングモールサービス（例えば、＜先行技術１＞参照）を管理する従来のシステムと同様である。

［２−３．ユーザＤＢ］
図２において、ユーザＤＢ１１は、ＥＣ管理サービス及び商品レコメンドサービスを利用するユーザの情報を記憶しているデータベースである。図３（ａ）に、ユーザ情報の主要な項目を示す。図３（ａ）に示すように、１件のユーザ情報は、「ユーザＩＤ」及び「パスワード」を含んでいる。

［２−４．検索ＤＢ］
図２において、検索ＤＢ１２は、物品検索機能の提供に当たりレコメンドシステム１０ａが利用する情報を記憶しているデータベースである。本実施形態では、物品区分情報、カテゴリ情報及び物品リストをそれぞれ複数件ずつ記憶しており、これらはキー項目を介して対応しているものとする。

図３（ｂ−１）に、物品区分情報の主要な項目を示す。図３（ｂ−１）に示すように、１件の物品区分情報は、「物品区分ＩＤ」，物品区分の「名称」及び物品の「特徴パターン」（１，２，…）を含んでいる。ここで、「物品区分ＩＤ」は、物品の区分（種類）を識別する情報であり、本実施形態では商品の分類と１対１で対応させるため「ジャンルＩＤ」を利用している。「特徴パターン」は、画像内の物品を認識するためのパターンマッチング処理において利用するデータである。

なお、物品の区分（種類）がいずれかに特定されたときに対応する１又は複数の商品の区分（ジャンル）の特定が可能である限り、物品の分類体系と商品の分類体系（ジャンル）とが多対１，１対多，多対多で対応していてもよい。例えば、「物品区分ＩＤ」と商品の「ジャンルＩＤ」との対応関係を示すテーブルを用意しておけば、物品の区分（種類）がいずれかに特定されたときに、対応する１又は複数の商品の区分（ジャンル）を特定することができる。

図３（ｂ−２）に、カテゴリ情報の主要な項目を示す。図３（ｂ−２）に示すように、１件のカテゴリ情報は、「カテゴリＩＤ」，カテゴリの「名称」及びカテゴリの「説明文」を含んでいる。なお、カテゴリの「名称」をカテゴリの識別情報として利用してもよい。

図３（ｂ−３）に、物品リスト情報の主要な項目を示す。図３（ｂ−３）に示すように、１件の物品リスト情報は、「カテゴリＩＤ」，「物品区分ＩＤ」及び「優先度」を含んでいる。「カテゴリＩＤ」が共通する物品リスト情報の集合が、当該「カテゴリＩＤ」に係る物品リストに当たる。ここで、「優先度」は、そのカテゴリとの関連性の高さの度合いを示す数値であり、例えばこの数値が大きいほど優先度がより高いことを示す。本実施形態では、レコメンドシステム１０ａの管理者が人為的に設定した数値を記憶しているものとする。

なお、カテゴリごとに自動的に集計した物品の出現頻度（出現回数）を、「優先度」として利用してもよい。例えば、投稿された画像内に存在する物品に係る物品区分を認識し、当該画像のカテゴリを特定するごとに、当該カテゴリにおいて認識した物品区分の出現回数を更新するとよい。画像解析処理における物品区分の認識率が十分高ければ、当該出現回数の大小は物品区分の出現頻度の高低とほぼ一致する。

［２−５．画像ＤＢ］
図２において、画像ＤＢ１３は、画像の投稿履歴及び投稿されたを画像ファイルを記憶するデータベースである。図３（ｃ）に、投稿履歴情報の主要な項目を示す。図３（ｃ）に示すように、１件の投稿履歴情報は、「投稿履歴ＩＤ」，「投稿日時」，「ユーザＩＤ」及び「画像ファイルパス」を含んでいる。また、画像ＤＢ１３は、投稿された画像を所定のファイル形式で記憶するものとする。

［２−６．商品ＤＢ］
図２において、商品ＤＢ１４は、ＥＣ管理サービスにおいて取引（注文）の対象となる商品に関連する情報を記憶しているデータベースである。本実施形態では、商品情報及びランキング情報をそれぞれ複数件ずつ記憶しており、これらはキー項目を介して対応しているものとする。

図３（ｄ−１）に、商品情報の主要な項目を示す。図３（ｄ−１）に示すように、１件の商品情報は、「商品コード」，「ジャンルＩＤ」，「在庫数」，「商品ページＵＲＬ」，「商品画像ＵＲＬ」及び「商品説明文」を含んでいる。ここで、「在庫数」は、その商品の販売可能数を示す数値であり、商品の補充，注文，キャンセル等を契機として随時更新される。なお、商品画像ファイルは、商品ＤＢ１４又は他の商品画像ＤＢ（図示せず）に所定のファイル形式で記憶しているものとする。

図３（ｄ−２）に、ランキング情報の主要な項目を示す。図３（ｄ−２）に示すように、１件のランキング情報は、「ランキング区分ＩＤ」及び「商品コード」（１，２，…）を含んでいる。ランキング情報は、一定期間ごとに集計された集計結果を基に、随時更新されるものとする。なお、本実施形態では、「ジャンルＩＤ」ごとのランキング情報を少なくとも記憶しているものとする。

［２−７．ユーザ端末］
図２において、ユーザ端末２０は、商品レコメンドサービス及びＥＣ管理サービスを利用するユーザが使用する端末である。ユーザ端末２０は、Ｗｅｂブラウザを有しており、レコメンドシステム１０ａ又はＥＣ管理システム１０ｂから受信したＷｅｂページ（ＨＴＭＬ形式のデータ等）をディスプレイに表示することができる。また、ユーザ端末２０は、メーラを有しており、レコメンドシステム１０ａ又はＥＣ管理システム１０ｂから受信した電子メールをディスプレイに表示することができる。ユーザ端末２０は、通信機能を有する既存の情報処理端末（例えば、パソコン等の電子計算機，携帯電話端末等）でよい。

［３．商品の推奨］
［（ａ）商品の推奨手順］
図４〜５に、商品の推奨手順を示す。図４〜５に示すように、レコメンドシステム１０ａは、下記〔１１〕〜〔１９〕の手順により商品を推奨（レコメンド）する。以下の説明は、ユーザがユーザ端末２０を操作して、ユーザＩＤ及びパスワードにより商品レコメンドサービスにログインし、検索要求ページ（図示せず）を表示させた後の手順である。検索要求ページには、例えば、静止画像をドラッグ＆ドロップにより入力する画像入力欄と、入力された静止画像のデータ又はそのＵＲＬをレコメンドシステム１０ａに送信（投稿）するための送信ボタンとが配置されているものとする。

〔１１〕検索要求ページ（図示せず）を介してユーザ端末２０から画像を指定した検索要求を受信する（Ｓ４０５）と、指定された静止画像（投稿された画像）を所定のファイル形式で画像ＤＢ１３に保存する（Ｓ４１０）とともに、投稿履歴情報を登録する。
〔１２〕投稿された画像を解析し、パターンマッチングにより画像内に存在する物品に係る物品区分を認識する（Ｓ４１５）。物品区分の認識には、検索ＤＢ１２の物品区分情報を利用する。
〔１３〕投稿された画像に対応する１又は複数のカテゴリの候補を選定する（Ｓ４２０）。カテゴリ候補の選定には、検索ＤＢ１２の物品リストを利用する。

〔１４〕確認ページ（図６）を生成し（Ｓ４２５）、ユーザ端末２０に送信する（Ｓ４３０）。
〔１５〕確認ページ（図６）を介してユーザ端末２０からカテゴリ指定情報を受信する（Ｓ４３５）と、当該指定情報を基にカテゴリを特定する（Ｓ４４０）。
〔１６〕パターンマッチングにより認識した物品区分（画像内に存在する物品に係る物品区分）のうち、特定したカテゴリの物品リストに登録されていない未登録の物品区分を特定し、当該未登録の物品区分を当該物品リストに追加登録する（Ｓ４４５）。

〔１７〕特定したカテゴリの物品リストから、認識した物品区分以外の物品区分（画像内に存在しない物品に係る物品区分）を特定し、当該物品区分の識別情報（物品区分ＩＤ）を抽出する（Ｓ４５０）。
〔１８〕抽出した物品区分ＩＤに関連する商品を検索するための検索条件を設定し（Ｓ４５５）、当該検索条件を満たす商品を商品ＤＢ１４において検索する（Ｓ４６０）。
〔１９〕検索により取得した商品の情報を用いて検索結果ページを生成し（Ｓ４６５）、ユーザ端末２０に送信する（Ｓ４７０）。

［（ｂ）画像内に存在する物品の認識］
上記手順〔１２〕において、レコメンドシステム１０ａは、投稿された画像を解析し、パターンマッチングにより画像内に存在する物品に係る物品区分を認識する（Ｓ４１５）。パターンマッチング処理は、従来例（例えば、＜先行技術３＞等）の手法等を適宜組み合わせることにより実施することができる。例えば、画像を解析して１又は複数の対象の輪郭を確定し、その輪郭の形状，その輪郭内の色彩等複数の観点から特徴量を算出し、検索ＤＢ１２の物品区分情報に記憶している各特徴パターンとマッチングをして、当該対象に対応する物品区分を認識するとよい。

［（ｃ）カテゴリ候補の選定］
上記手順〔１３〕において、レコメンドシステム１０ａは、投稿された画像に対応する１又は複数のカテゴリの候補を選定する（Ｓ４２０）。具体的には、手順〔１２〕において認識した物品区分のうち少なくとも１区分を含むカテゴリを検索ＤＢ１２の物品リストを参照して選択し、関連度が高い（リストに含まれる認識した物品区分の数が多い）方から順に所定数のカテゴリをさらに選択し、これをカテゴリ候補とする。

なお、手順〔１２〕において認識した全ての物品区分を含むカテゴリが１つだけに定まる場合には、当該カテゴリのみをカテゴリ候補として選定してもよい。また、当該カテゴリを、投稿された画像に対応するカテゴリとして直ちに特定してもよい。この場合、ユーザ端末２０に確認ページ（図６）を送信してユーザに物品・カテゴリを確認させる手順を省略するとよい。

［（ｄ）確認ページ］
図６に、確認ページの表示例を示す。図６に示すように、確認ページ６００は、エリア６１０〜６３０及びボタン６４０を含んでいる。エリア６１０には、投稿された画像が表示される。エリア６２０には、上記手順〔１２〕において認識した各物品区分の名称が列挙される。物品区分の名称は、検索ＤＢ１２の物品区分情報より抽出する。

エリア６３０には、上記手順〔１３〕において選定した各カテゴリ候補の名称及び説明文が列挙され、いずれか１つを選択可能である。カテゴリの名称及び説明文は、検索ＤＢ１２の物品リストより抽出する。ユーザがエリア６３０においてカテゴリを指定（選択）し、ボタン６４０をクリックすると、ユーザ端末２０はレコメンドシステム１０ａにカテゴリ指定情報を送信する。

なお、ユーザは、エリア６２０において、画像内に存在する物品を修正することができる。例えば、画像内に存在しないのに認識されている物品の除外や、画像内に存在するのに認識されていない物品の追加が可能である。ユーザがエリア６２０において物品の修正操作を行うと、ユーザ端末２０とレコメンドシステム１０ａとの間で非同期通信（Ａｊａｘ）を実行し、エリア６３０のカテゴリ候補が即時に更新される。

［（ｅ）未登録の物品区分の追加登録］
上記手順〔１６〕において、レコメンドシステム１０ａは、未登録の物品区分を検索ＤＢ１２の物品リストに追加登録する（Ｓ４４５）。このように、検索ＤＢ１２の物品リストに未登録の物品区分を追加し、物品リストを進化させることにより、カテゴリ特定の精度を向上させる効果が期待できる。また、推奨商品の選択の幅が広がる効果が期待できる。なお、確認ページ（例えば、確認ページ６００（図６））においてユーザが追加した物品については、物品リストに登録されていなかったとしても追加登録の対象から除外するように構成してもよい。

［（ｆ）画像内に存在しない物品の抽出］
上記手順〔１７〕において、レコメンドシステム１０ａは、画像内に存在しない物品に係る物品区分の識別情報（物品区分ＩＤ）を抽出する（Ｓ４５０）。具体的には、特定したカテゴリの物品リストから、認識した物品区分以外の物品区分を特定し、優先度の高い方から順に所定数の物品区分ＩＤを抽出する。

このように、レコメンドシステム１０ａは、あるカテゴリに関連する物品の最大限を登録している物品リストの中から、画像解析により認識した物品区分（画像内に存在する物品に係る物品区分）以外の物品区分を抽出する。したがって、抽出された物品区分は、当該カテゴリに関連し、かつ画像内に存在しない物品に係る物品区分ということになる。とりわけ、当該カテゴリと特に関連性の高い物品区分に高めの優先度が設定してあれば、抽出された物品区分は推奨（レコメンド）する商品を決定する上で極めて有力なデータとなる。

［（ｇ）推奨商品の検索］
上記手順〔１８〕において、レコメンドシステム１０ａは、抽出した物品区分ＩＤに関連する商品を検索するための検索条件を設定し（Ｓ４５５）、当該検索条件を満たす商品を商品ＤＢ１４において検索する（Ｓ４６０）。例えば、次の検索条件を設定し、商品ＤＢ１４の商品情報から当該検索条件を満たす商品の情報を抽出する。検索処理は、レコメンドシステム１０ａを構成するＤＢサーバを介して実行するものとする。

（ａ）上記手順〔１７〕において抽出した物品区分ＩＤに対応し又は関連するジャンルに分類されている。
（ｂ）販売可能である（在庫がある）。
（ｃ）商品画像がある。
（ｄ）上記（ａ）のジャンルでランキング上位（例えば、所定の順位以内）である。

なお、画像内に存在すると認識された他の物品の色彩等を考慮して、推奨商品の情報を検索してもよい。また、推奨商品間の色・素材・デザイン等が調和するように、全体のコーディネートを考慮して推奨商品の情報を検索してもよい。

［４．変形例］
［（変形例１）処理分担の変形例］
上述の実施形態では、検索要求の受信から検索結果の送信までの処理を、レコメンドシステム１０ａが実行している（図４〜図５参照）。これに対し、レコメンドシステム１０ａを物品検索機能（図１参照）に特化した構成にしてもよい。例えば、レコメンドシステム１０ａとＥＣ管理システム１０ｂとが連携している場合、レコメンドシステム１０ａは、ＥＣ管理システム１０ｂから画像を入力し、該画像内に存在しない物品に係る物品区分の識別情報をＥＣ管理システム１０ｂに出力する。この場合、ユーザ端末２０から検索要求を受信する処理，推奨商品を検索する処理及びユーザ端末２０に検索結果を送信する処理は、ＥＣ管理システム１０ｂが実行するものとする。

［（変形例２）推奨商品の情報の取得手段の変形例］
上述の商品の推奨手順では、レコメンドシステム１０ａを構成するＤＢサーバを介して、推奨商品の情報を取得している（図５のＳ４５５〜Ｓ４６０，上記手順〔１８〕）。これに対し、レコメンドシステム１０ａは、公開ＡＰＩ（例えば、＜先行技術４＞参照）を利用し、ＥＣ管理システム１０ｂを介して推奨商品の情報を取得してもよい。

例えば、推奨商品を検索するための検索条件（ＵＲＬパラメータ）を付加した検索用ＵＲＬを生成し、当該検索用ＵＲＬを指定してＥＣ管理システム１０ｂから当該検索条件を満たす商品の情報を取得するとよい。より具体的には、次の手順により、推奨商品の情報を取得する。
（１）ランキング情報を取得するための公開ＡＰＩを利用して、上記手順〔１７〕において抽出した物品区分ＩＤに対応し又は関連するジャンルのランキング情報をＥＣ管理システム１０ｂから取得する。
（２）商品情報を取得するための公開ＡＰＩを利用して、当該ジャンルでランキング上位の商品の中から販売可能であり（在庫があり）、かつ商品画像がある商品の情報を検索し、該商品に係る商品ページＵＲＬ，商品画像ＵＲＬ及び商品説明文を取得する。

［（変形例３）システム構成の変形例］
商品検索に公開ＡＰＩを利用する場合、レコメンドシステム１０ａは、ＥＣ管理システム１０ｂと異なる事業主体が管理していてもよい。図７に、システム構成の変形例を示す。図７に示すように、変形例のシステムは、レコメンドシステム１０ａ，ＥＣ管理システム１０ｂ及びユーザ端末２０により構成される。また、レコメンドシステム１０ａはユーザＤＢ１１，検索ＤＢ１２及び画像ＤＢ１３を、ＥＣ管理システム１０ｂは商品ＤＢ１４を、それぞれ有しており、商品レコメンドシステム１０を構成している。レコメンドシステム１０ａとＥＣ管理システム１０ｂとユーザ端末２０とは、通信ネットワーク（変形例２では、インターネット３０）を介してそれぞれ互いに接続している。

［（変形例４）入出力形態の変形例］
上述の実施形態では、ユーザ端末２０から画像を指定した検索要求（ＨＴＴＰリクエスト）を受信し、推奨商品の情報を記載した検索結果ページ（ＨＴＴＰレスポンス）をユーザ端末２０に送信している（図４のＳ４０５，図５のＳ４７０）。これに対し、検索要求を電子メール（検索要求メール）で受信し、検索結果等を電子メール（検索結果メール）で返信してもよい。例えば、ユーザ端末２０が携帯電話端末であれば、入出力に電子メールを利用する形態が便利である。

［（ａ）検索要求メール］
レコメンドシステム１０ａは、所定のメールアドレス宛の電子メールを受信したとき、検索要求メールとして処理するとよい。検索要求メールには、画像ファイルが添付されているものとする。なお、検索要求メールの件名欄に画像に関連するキーワード（例えば、画像の主題，被写体，題名等）を入力してもらい、当該キーワードをカテゴリ特定処理（図４のＳ４４０）に利用してもよい。

［（ｂ）検索結果メール］
レコメンドシステム１０ａは、検索要求メールの送信元メールアドレス宛に、検索結果メールを返信するとよい。検索結果メールには、例えば、次の項目をメール本文に記載するとよい。
・検索条件（上述の実施形態と同様）を満たす商品に係る商品ページのＵＲＬ
・検索結果ページ（上述の実施形態と同様）のＵＲＬ
・抽出された物品区分ＩＤに対応する商品ジャンルに係るランキング情報を掲載するＷｅｂページのＵＲＬ

本実施形態のシステムを利用した商品レコメンドサービスを、具体的に示す。以下では、検索ＤＢ１２に記憶しているカテゴリ情報及び物品リストの内容と、検索結果ページの表示例について説明する。

［（実施例１）浴室の画像］
［（ａ）カテゴリ情報］
図８（ａ）に、カテゴリ情報の内容を示す。図８（ａ）に示すカテゴリ情報には、「カテゴリＩＤ」に対応させて、カテゴリの名称「浴室」と、カテゴリの説明文「浴室を撮影した画像です。」とが記憶されている。

［（ｂ）物品リスト］
図８（ｂ）に、「浴室」カテゴリの物品リストの内容を示す。図８（ｂ）に示すように、「浴室」カテゴリの物品リストには、「バスタブ」，「風呂蓋」，「シャワーヘッド」，「シャンプー」，「リンス」，「鏡」，「カーテン」，「洗面台」，…の物品区分ＩＤが登録されている。なお、各物品区分に対応する数値は、優先度の高さに対応する順位である。

［（ｃ）検索結果ページ］
図９に、検索結果ページの表示例を示す。図９に示すように、検索結果ページ９００は、エリア９１０〜９３０を含んでいる。エリア９１０には、投稿された画像が表示される。エリア９１０の画像は描画として記載されているが、投稿された画像は、カメラ等で撮影された画像である。エリア９２０には、上記手順〔１５〕において特定したカテゴリの名称及び説明文が表示される。実施例１では、投稿された画像に対する解析処理により認識された「バスタブ」，「シャワーヘッド」，「鏡」，「洗面台」を基に、「浴室」カテゴリが特定された。したがって、エリア９２０には、「浴室：浴室を撮影した画像です。」と表示されている。

エリア９３０には、推奨商品の商品画像及び商品説明文が表示される。実施例１では、「浴室」カテゴリの物品リストの中から、画像内に存在すると認識された物品（「バスタブ」，「シャワーヘッド」，「鏡」，「洗面台」）以外の物品のうち優先度の高い方から順に「風呂蓋」，「シャンプー」，「リンス」，…の物品区分ＩＤが抽出された。したがって、エリア９３０には、次の検索条件を満たす商品の画像及び説明文が表示されている。なお、画像及び説明文は、商品ページへのリンクになっている。

（ａ）「風呂蓋」，「シャンプー」，「リンス」，…の物品区分（商品ジャンル）に対応する商品である。
（ｂ）販売可能である（在庫がある）。
（ｃ）商品画像がある。
（ｄ）「風呂蓋」，「シャンプー」，「リンス」，…の物品区分（商品ジャンル）のランキングで上位（例えば、上記（ａ）〜（ｃ）の条件を満たす商品の中でランキング最上位）である。

その他、エリア９３０には、抽出された物品区分ＩＤ（商品ジャンル）に対応する他の商品の掲載ページ（例えば、当該物品区分ＩＤ（商品ジャンル）のランキング情報の掲載ページ等）へのリンクが表示される。ユーザがユーザ端末２０を操作していずれかのリンクをクリックすると、ユーザ端末２０はＥＣ管理システム１０ｂに当該リンクに対応するページの送信要求を送信する。以降は、従来のオンラインショッピングモールにおけるものと同様の手順となる。

［（実施例２）女性の画像］
［（ａ）カテゴリ情報］
図１０（ａ）に、カテゴリ情報の内容を示す。図１０（ａ）に示すカテゴリ情報には、「カテゴリＩＤ」に対応させて、カテゴリの名称「女性」と、カテゴリの説明文「女性を撮影した画像です。」とが記憶されている。

［（ｂ）物品リスト］
図１０（ｂ）に、「女性」カテゴリの物品リストの内容を示す。図１０（ｂ）に示すように、「女性」カテゴリの物品リストには、「被服」，「腕時計」，「ピアス」，「ネックレス」，「バッグ」，「サングラス」，「ベルト」，「靴」，…の物品区分ＩＤが登録されている。なお、各物品に対応する数値は、優先度の高さに対応する順位である。

［（ｃ）検索結果ページ］
図１１に、検索結果ページの表示例を示す。図１１に示すように、検索結果ページ１１００は、エリア１１１０〜１１３０を含んでいる。エリア１１１０には、投稿された画像が表示される。エリア１１１０の画像は描画として記載されているが、投稿された画像は、カメラ等で撮影された画像である。エリア１１２０には、上記手順〔１５〕において特定したカテゴリの名称及び説明文が表示される。実施例２では、投稿された画像に対する解析処理により認識された「被服」を基に、ユーザに対するカテゴリ確認を経て、「女性」カテゴリが特定された。したがって、エリア１１２０には、「女性：女性を撮影した画像です。」と表示されている。

エリア１１３０には、推奨商品の商品画像及び商品説明文が表示される。実施例２では、「女性」カテゴリの物品リストの中から、画像内に存在すると認識された物品（「被服」）以外の物品のうち優先度の高い方から順に「腕時計」，「ピアス」，「ネックレス」，…の物品区分ＩＤが抽出された。したがって、エリア１１３０には、次の検索条件を満たす商品の画像及び説明文が表示されている。また、画像及び説明文は、商品ページへのリンクになっている。

（ａ）「腕時計」，「ピアス」，「ネックレス」，…の物品区分（商品ジャンル）に対応する商品である。
（ｂ）販売可能である（在庫がある）。
（ｃ）商品画像がある。
（ｄ）「腕時計」，「ピアス」，「ネックレス」，…の物品区分（商品ジャンル）のランキングで上位（例えば、上記（ａ）〜（ｃ）の条件を満たす商品の中でランキング最上位）である。

その他、エリア１１３０には、抽出された物品区分ＩＤ（商品ジャンル）に対応する他の商品の掲載ページ（例えば、当該物品区分ＩＤ（商品ジャンル）のランキング情報の掲載ページ等）へのリンクが表示される。ユーザがユーザ端末２０を操作していずれかのリンクをクリックすると、ユーザ端末２０はＥＣ管理システム１０ｂに当該リンクに対応するページの送信要求を送信する。以降は、従来のオンラインショッピングモールにおけるものと同様の手順となる。

１０商品レコメンドシステム
１０ａレコメンドシステム
１０ｂＥＣ管理システム
１０ｃファイアウォール
１１ユーザＤＢ
１２検索ＤＢ
１３画像ＤＢ
１４商品ＤＢ
２０ユーザ端末
３０インターネット
６００確認ページ
９００検索結果ページ
１１００検索結果ページ

Claims

ユーザの端末と接続可能なレコメンドシステムであって、
カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、前記物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、前記物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有し、
１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力手段と、
前記入力した画像を解析し、該画像内に含まれる物品の特徴パターンと前記物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識手段と、
前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定手段と、
前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出手段と、
前記商品情報記憶手段を参照して、前記抽出した物品区分の識別情報に対応する前記商品に関連する情報を出力する出力手段と
を備える
ことを特徴とするレコメンドシステム。
請求項１に記載のレコメンドシステムにおいて、
前記商品情報記憶手段が、商品画像のＵＲＬを前記商品に関連する情報として記憶しており、
前記抽出した物品区分の識別情報を用いて、前記商品情報記憶手段を検索して、前記物品区分に対応する商品に係る商品画像のＵＲＬを抽出する商品情報検索手段をさらに備え、
前記出力手段が、前記抽出した商品画像のＵＲＬを用いて、該商品画像のリンクを配置した検索結果ページを生成し、前記端末に送信する
ことを特徴とするレコメンドシステム。
請求項１に記載のレコメンドシステムにおいて、
前記商品情報記憶手段が、商品画像を前記商品に関連する情報として記憶しており、
前記抽出した物品区分の識別情報を用いて、前記商品情報記憶手段を検索して、前記物品区分に対応する商品に係る商品画像を抽出する商品情報検索手段をさらに備え、
前記出力手段が、前記抽出した商品画像を配置した検索結果ページを生成し、前記端末に送信する
ことを特徴とするレコメンドシステム。
請求項２又は３に記載のレコメンドシステムにおいて、
前記カテゴリ特定手段は、前記認識した物品区分を基に１又は複数のカテゴリ候補を選定し、該カテゴリ候補の識別情報に対応する名称又は説明文を前記端末に送信し、該端末においてカテゴリ候補が指定された場合に、指定されたカテゴリ候補の指定情報を該端末から受信し、該指定情報を基に前記入力した画像に対応するカテゴリを特定する
ことを特徴とするレコメンドシステム。
請求項２又は３に記載のレコメンドシステムにおいて、
前記商品情報記憶手段が、在庫数を前記商品に関連する情報として記憶しており、
前記商品情報検索手段は、在庫のある商品のみを検索する
ことを特徴とするレコメンドシステム。
請求項２又は３に記載のレコメンドシステムにおいて、
前記商品情報検索手段は、前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索する
ことを特徴とするレコメンドシステム。
請求項１に記載のレコメンドシステムにおいて、
前記物品リスト記憶手段は、さらに、前記物品区分ごとに優先度を記憶しており、
前記物品情報抽出手段は、優先度の高い物品区分の識別情報を優先的に抽出する
ことを特徴とするレコメンドシステム。
請求項１又は７に記載のレコメンドシステムにおいて、
前記入力手段は、ユーザの端末から前記画像を指定した検索要求メールを受信し、該指定された画像を入力し、
前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、
前記設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品ページのＵＲＬを取得する商品情報取得手段と
をさらに備え、
前記出力手段は、前記取得した商品ページのＵＲＬを記載した検索結果メールを生成し、前記受信した検索要求メールの送信元メールアドレス宛に該検索結果メールを送信する
ことを特徴とするレコメンドシステム。
請求項８に記載のレコメンドシステムにおいて、
前記商品情報取得手段は、前記設定した検索条件を満たす商品に係る商品画像のＵＲＬをさらに取得し、
前記出力手段は、前記取得した商品画像のＵＲＬ及び前記商品ページのＵＲＬを用いて、該商品画像の参照と該商品ページへのリンクとを配置した検索結果ページを生成し、前記商品ページのＵＲＬに代えて該検索結果ページのＵＲＬを記載した検索結果メールを生成する
ことを特徴とするレコメンドシステム。
請求項８又は９に記載のレコメンドシステムにおいて、
前記検索条件設定手段は、在庫のある商品のみを検索するための検索条件を設定する
ことを特徴とするレコメンドシステム。
請求項８〜１０のいずれか一項に記載のレコメンドシステムにおいて、
前記検索条件設定手段は、前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分のランキング情報を取得し、該商品区分に係る商品のうちランキング上位の商品を検索するための検索条件を設定する
ことを特徴とするレコメンドシステム。
請求項１又は７に記載のレコメンドシステムにおいて、
前記入力手段は、ユーザの端末から前記画像を指定した検索要求メールを受信し、該指定された画像を入力し、
前記出力手段は、前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係るランキング情報掲載ページのＵＲＬを記載した検索結果メールを生成し、前記端末に送信する
ことを特徴とするレコメンドシステム。
請求項８〜１２のいずれか一項に記載のレコメンドシステムにおいて、
前記入力手段は、前記画像に関連するキーワードを含む検索要求メールを受信し、
前記カテゴリ特定手段は、前記キーワードをさらに用いて、前記入力した画像に対応するカテゴリを特定する
ことを特徴とするレコメンドシステム。
請求項１又は７に記載のレコメンドシステムにおいて、
前記入力手段は、ユーザの端末から前記画像を指定した検索要求を受信し、該指定された画像を入力し、
前記抽出した物品区分の識別情報を用いて、該物品区分に対応する商品区分に係る商品を検索するための検索条件を設定する検索条件設定手段と、
前記設定した検索条件を付加した検索用ＵＲＬを生成し、該検索用ＵＲＬを指定して該検索条件を満たす商品に係る商品画像のＵＲＬを取得する商品情報取得手段とをさらに備え、
前記出力手段は、前記取得した商品画像のＵＲＬを用いて、該商品画像の参照を配置した検索結果ページを生成し、前記端末に送信する
ことを特徴とするレコメンドシステム。
カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、前記物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、前記物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有する、ユーザの端末と接続可能なレコメンドシステムが、
１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力ステップと、
前記入力した画像を解析し、該画像内に含まれる物品の特徴パターンと前記物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、
前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、
前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出ステップと、
前記商品情報記憶手段を参照して、前記抽出した物品区分の識別情報に対応する前記商品に関連する情報を出力する出力ステップと
を実行することを特徴とするレコメンド方法。
カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、前記物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、前記物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有する、ユーザの端末と接続可能なレコメンドシステムに、
１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力ステップと、
前記入力した画像を解析し、該画像内に含まれる物品の特徴パターンと前記物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、
前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、
前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出ステップと、
前記商品情報記憶手段を参照して、前記抽出した物品区分の識別情報に対応する前記商品に関連する情報を出力する出力ステップと
を実行させるためのレコメンドプログラム。
カテゴリの識別情報に対応させて、該カテゴリに関連する物品区分の識別情報を複数含む物品リストを記憶している物品リスト記憶手段と、前記物品区分の識別情報に対応させて、物品ごとに該物品の特徴パターンを記憶している物品区分記憶手段と、前記物品区分の識別情報と商品に関連する情報とを関連付けて記憶している商品情報記憶手段とを有する、ユーザの端末と接続可能なレコメンドシステムに、
１又は複数の物品を含む画像を前記端末から受信し、該画像を入力する入力ステップと、
前記入力した画像を解析し、該画像内に含まれる物品の特徴パターンと前記物品区分情報に記憶されている特徴パターンとのマッチングにより、該画像内に含まれる物品に係る物品区分を認識する物品認識ステップと、
前記物品リスト記憶手段を参照し、前記認識した物品区分を基に前記入力した画像に対応するカテゴリを特定するカテゴリ特定ステップと、
前記特定したカテゴリに関連する物品区分のうち、前記認識した物品区分以外の物品区分の識別情報を前記物品リスト記憶手段より抽出する物品情報抽出ステップと、
前記商品情報記憶手段を参照して、前記抽出した物品区分の識別情報に対応する前記商品に関連する情報を出力する出力ステップと
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。