JP7095335B2 - 画像検索装置、印刷物、画像検索方法及び画像検索プログラム - Google Patents

画像検索装置、印刷物、画像検索方法及び画像検索プログラム Download PDF

Info

Publication number
JP7095335B2
JP7095335B2 JP2018050609A JP2018050609A JP7095335B2 JP 7095335 B2 JP7095335 B2 JP 7095335B2 JP 2018050609 A JP2018050609 A JP 2018050609A JP 2018050609 A JP2018050609 A JP 2018050609A JP 7095335 B2 JP7095335 B2 JP 7095335B2
Authority
JP
Japan
Prior art keywords
image
evaluation value
customer
article
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018050609A
Other languages
English (en)
Other versions
JP2019164421A (ja
Inventor
明宏 柿沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2018050609A priority Critical patent/JP7095335B2/ja
Priority to US16/287,295 priority patent/US11164234B2/en
Publication of JP2019164421A publication Critical patent/JP2019164421A/ja
Application granted granted Critical
Publication of JP7095335B2 publication Critical patent/JP7095335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Description

本発明は、画像検索装置、印刷物、画像検索方法及び画像検索プログラムに関する。
従来より、顧客に対して最適な商品をレコメンドするレコメンド技術が知られている。例えば、下記特許文献1では、来店した顧客が所持している物品や、来店した顧客が関心を示している商品等、顧客の来店時の状態を分析し、分析結果に応じた商品をレコメンドすることが提案されている。
しかしながら、来店した顧客が所持している物品や、来店した顧客が関心を示している商品等は、顧客の一時的な状態(顧客の嗜好性の一部)を捉えているにすぎず、分析結果から当該顧客が本来有する嗜好性まで把握することは難しい。一方で、顧客本来の嗜好性に応じた商品のレコメンドを行うことができれば、顧客にとっては、所望する商品等を、効率よく入手できる可能性が高まる。
本発明は上記課題に鑑みてなされたものであり、顧客の嗜好性に応じたレコメンドを実現することを目的とする。
本発明の一態様によれば、画像検索装置は、以下のような構成を有する。すなわち、
物品の印象を示す指標に基づいて評価された、複数の物品それぞれの評価値と、前記複数の物品の画像に基づいて算出される、各物品の画像特徴量とを取得する取得手段と、
前記各物品の画像特徴量を、前記指標ごとに、同じ評価値同士で分類することで、前記指標ごとの複数の評価値領域を生成する生成手段と、
顧客の嗜好性を示す評価値を算出する算出手段と、
前記顧客にレコメンドする画像を特定する特定手段と、を有し、
前記算出手段は、前記顧客により選択された画像に基づいて算出される画像特徴量と、前記複数の評価値領域とを対比することで、前記顧客により選択された画像について、前記評価値を算出し、
前記特定手段は、前記複数の物品の画像の中から、前記算出された評価値に類似する評価値を有する物品の画像を特定する。
本発明の各実施形態によれば、顧客の嗜好性に応じたレコメンドを実現することができる。
画像検索装置の機能構成の一例を示す図である。 画像検索装置のハードウェア構成の一例を示す図である。 第1の実施形態に係る画像検索装置の取得部の機能構成の詳細を示す図である。 画像特徴量の一例を示す図である。 評価値の一例を示す図である。 解析用情報の一例を示す図である。 第1の実施形態に係る画像検索装置の生成部の機能構成の詳細を示す図である。 指標ごとの複数の評価値領域を示す図である。 第1の実施形態に係る画像検索装置の特定部の機能構成の詳細を示す図である。 評価値算出部の処理の具体例を示す図である。 第1の実施形態に係る画像検索装置による画像検索処理の流れを示すフローチャートである。 第2の実施形態に係る画像検索装置の特定部の機能構成の詳細を示す図である。 レーダチャート生成部及び画像特定部の処理の具体例を示す図である。 第2の実施形態に係る画像検索装置による画像検索処理の流れを示すフローチャートである。 第1及び第2の実施形態に係る画像検索装置の、購買システムへの適用例を示す第1の図である。 購買システムにおける画像情報の一例を示す図である。 購買システムにおける購買履歴情報の一例を示す図である。 購買システムにおけるレコメンド画像情報出力処理の流れを示す第1のシーケンス図である。 第1及び第2の実施形態に係る画像検索装置の、購買システムへの適用例を示す第2の図である。 購買システムにおけるレコメンド画像情報出力処理の流れを示す第2のシーケンス図である。 第5の実施形態に係る画像検索装置の特定部の機能構成の詳細を示す図である。 各指標の評価値を入力する入力画面の一例を示す図である。 第5の実施形態に係る画像検索装置による画像検索処理の流れを示すフローチャートである。 第5の実施形態に係る画像検索装置の、広告データ生成システムへの適用例を示す図である。 広告データ生成システムにおけるレコメンド画像情報出力処理の流れを示すシーケンス図である。
以下、各実施形態の詳細について説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<1.画像検索装置の機能構成>
はじめに、第1の実施形態に係る画像検索装置の機能構成について説明する。図1は、画像検索装置の機能構成の一例を示す図である。画像検索装置120には、画像検索プログラムがインストールされており、当該プログラムが実行されることで、画像検索装置120は、取得部130、生成部140、特定部150として機能する。
取得部130は取得手段の一例である。取得部130は、外部装置に格納された画像情報格納部110より画像情報を取得する。また、取得部130は、画像情報を管理する管理者180によって入力された、画像情報に含まれる各物品画像についての定性的な指標に対する評価値を取得する。
更に、取得部130は、取得した画像情報に含まれる各物品画像について画像特徴量を算出し、取得した評価値と対応付けて、解析用情報として、解析用情報格納部160に格納する。
生成部140は生成手段の一例である。生成部140は、解析用情報格納部160に格納された解析用情報に基づいて、特徴量空間における各物品画像の画像特徴量の分布と、評価値との対応関係を解析し、特徴量空間における各物品画像の画像特徴量を、指標ごとに、同じ評価値同士で分類する。これにより、生成部140は、指標ごとに、特徴量空間において同一の評価値の領域を示す評価値領域を生成する。また、生成部140は、指標ごとに、生成した評価値領域を領域情報格納部170に格納する。
特定部150は、顧客の嗜好性が表れた画像を含む評価画像情報と、顧客情報とを、外部装置より受信し、評価画像情報に含まれる画像について画像特徴量を算出する。顧客の嗜好性が表れた画像とは、複数の画像の中から顧客の嗜好性に従って選択された画像を指す。顧客の嗜好性に従って選択された画像には、例えば、
・複数の商品の中から過去に顧客によって購入された(選択された)商品の画像、
・過去に撮影した撮影画像の中から顧客によって選択された、お気に入りの洋服を着た人の画像、お気に入りの風景の画像
・過去に取得した絵画、ポスタ、広告、商品等の画像の中から顧客によって選択された、顧客がお気に入りの絵画、ポスタ、広告、商品の画像、
等が含まれる。
また、特定部150は、領域情報格納部170に格納された評価値領域と、顧客の嗜好性が表れた画像について算出した画像特徴量とを対比することで、顧客の嗜好性を示す評価値を算出する。
更に、特定部150は、解析用情報格納部160に格納された解析用情報を参照し、算出した評価値と類似する評価値を有する物品画像を特定し、レコメンド画像情報として外部装置に出力する。
<画像検索装置のハードウェア構成>
次に、画像検索装置120のハードウェア構成について説明する。図2は、画像検索装置のハードウェア構成の一例を示す図である。
図2に示すように、画像検索装置120は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を有する。CPU201、ROM202、RAM203は、いわゆるコンピュータを形成する。
また、画像検索装置120は、補助記憶装置204、表示装置205、操作装置206、I/F(Interface)装置207、ドライブ装置208を有する。なお、画像検索装置120の各ハードウェアは、バス209を介して相互に接続されている。
CPU201は、補助記憶装置204にインストールされている各種プログラム(例えば、画像検索プログラム等)を実行する演算デバイスである。
ROM202は、不揮発性メモリである。ROM202は、補助記憶装置204にインストールされている各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する、主記憶デバイスとして機能する。具体的には、ROM202はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する、主記憶デバイスとして機能する。
RAM203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM203は、補助記憶装置204にインストールされている各種プログラムがCPU201によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置204は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。例えば、解析用情報格納部160、領域情報格納部170は、補助記憶装置204において実現される。
表示装置205は、画像検索装置120の内部状態等を表示する表示デバイスである。操作装置206は、画像検索装置120に対して各種指示を入力する際に用いられる入力デバイスである。
I/F装置207は、ネットワークまたは外部装置に接続するための接続デバイスである。
ドライブ装置208は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置204にインストールされる各種プログラムは、例えば、配布された記録媒体210がドライブ装置208にセットされ、該記録媒体210に記録された各種プログラムがドライブ装置208により読み出されることでインストールされる。あるいは、補助記憶装置204にインストールされる各種プログラムは、I/F装置207を介して、ネットワークよりダウンロードされることでインストールされてもよい。
<3.画像検索装置の各部の機能の詳細>
次に、画像検索装置120の各部(取得部130、生成部140、特定部150)の機能の詳細について説明する。
<3.1 取得部の機能の詳細>
(1)取得部の機能構成の詳細
はじめに、画像検索装置120の取得部130の機能の詳細について説明する。図3は、第1の実施形態に係る画像検索装置の取得部の機能構成の詳細を示す図である。図3に示すように、画像検索装置120の取得部130は、画像情報取得部301、画像特徴量算出部302、評価値入力部303を有する。
画像情報取得部301は、外部装置に格納された画像情報格納部110より画像情報を取得する。また、画像情報取得部301は、取得した画像情報を画像特徴量算出部302に通知する。
画像特徴量算出部302は、画像情報に含まれる各物品画像について、画像特徴量を算出し、解析用情報格納部160に格納する。
評価値入力部303は、画像情報を管理する管理者180によって入力された、画像情報に含まれる各物品画像についての定性的な指標(物品の印象を示す指標)に対する評価値を受け付ける。また、評価値入力部303は、入力された評価値を、各物品画像と対応付けて解析用情報格納部160に格納する。
(2)画像特徴量の説明
次に、画像特徴量算出部302により算出される画像特徴量について説明する。図4は、画像特徴量の一例を示す図である。図4に示すように、画像特徴量400には、情報の項目として、"物品ID"、"物品画像"、"特徴量A"、"特徴量B"、"特徴量C"、・・・"特徴量X"が含まれる。
"物品ID"、"物品画像"は、画像情報取得部301により取得された画像情報に含まれる情報の項目であり、それぞれ、物品を識別するための識別子、物品の画像が格納される。
"特徴量A"、"特徴量B"、"特徴量C"、・・・"特徴量X"には、画像特徴量算出部302により算出された、対応する物品画像の画像特徴量が格納される。具体的には、カラーヒストグラムやLBP(Local Binary Pattern)画像特徴量、GIST画像特徴量、HOG(Histograms of Oriented Gradients)画像特徴量等が挙げられる。
図4の例は、物品ID="ID001"により識別される物品は、特徴量Aの値が"A1"であり、特徴量Bの値が"B1"であり、特徴量Cの値が"C1"であり、・・・特徴量Xの値が"X1"であることを示している。
(3)評価値の説明
次に、評価値入力部303を介して入力される評価値について説明する。図5は、評価値の一例を示す図である。図5に示すように、評価値500には、情報の項目として、"物品ID"、"物品画像"、"指標"が含まれる。
"物品ID"、"物品画像"は、画像情報取得部301により取得された画像情報に含まれる情報の項目であり、それぞれ、物品を識別するための識別子、物品の画像が格納される。また、"指標"には、対応する物品画像についての定性的な指標(物品の印象を示す指標)と、その評価値が格納される。
図5の場合、物品画像についての定性的な指標として、
・物品画像が"落ち着いた"印象を与えるのか、"派手な"印象を与えるのかといった指標(第1の指標)、
・物品画像が"人工的な"印象を与えるのか、"自然な"印象を与えるのかといった指標(第2の指標)、
・物品画像が"あっさり"した印象を与えるのか、"こってり"した印象を与えるのかといった指標(第3の指標)、
・物品画像が"重厚な"印象を与えるのか、"軽々しい"印象を与えるのかといった指標(第4の指標)、
等が含まれる。なお、それぞれの指標には、画像情報を管理する管理者180によって入力された評価値が格納される。
ただし、それぞれの指標についての評価値は、画像情報を管理する管理者180自身が評価して入力してもよいし、他の人が評価した結果を、画像情報を管理する管理者180が入力してもよい。例えば、Web上で、大勢のユーザにアンケートをとって決めてもよい。あるいは、特定のユーザ(例えば、20代女性のユーザや、顧客に近い属性を有するユーザ等)に限定してアンケートをとって決めてもよい。これにより、評価値の信頼性を上げることが可能になる。
(4)解析用情報の説明
次に、解析用情報格納部160に格納される解析用情報について説明する。図6は、解析用情報の一例を示す図である。図6に示すように、解析用情報600は、画像特徴量400と評価値500とを対応付けた情報である。このため、解析用情報600には、情報の項目として、"物品ID"、"物品画像"、"特徴量A"、"特徴量B"、"特徴量C"、・・・"特徴量X"、"指標"が含まれる。なお、各情報の項目に格納される情報については、図4及び図5を用いて説明済みであるため、ここでは説明を省略する。
<3.2 生成部の機能の詳細>
(1)生成部の機能構成の詳細
続いて、画像検索装置120の生成部140の機能の詳細について説明する。図7は、第1の実施形態に係る画像検索装置の生成部の機能構成の詳細を示す図である。図7に示すように、画像検索装置120の生成部140は、プロット部701、評価値領域生成部702を有する。
プロット部701は、解析用情報格納部160に格納された解析用情報600を読み出し、各特徴量("特徴量A"、"特徴量B"、"特徴量C"、・・・"特徴量X")からなる特徴量空間に、各物品画像の画像特徴量をプロットする。また、プロット部701は、特徴量空間にプロットしたプロット結果を、評価値領域生成部702に通知する。
評価値領域生成部702は、各物品画像の画像特徴量が、特徴量空間にプロットされたプロット結果を、指標ごとに同じ評価値同士で分類することで、特徴量空間において、指標ごとの複数の評価値領域を生成する。
また、評価値領域生成部702は、生成した評価値領域を領域情報格納部170に格納する。
(2)生成部の処理の具体例
次に、生成部140が評価値領域を生成し、格納する処理の具体例について説明する。図8は、指標ごとの複数の評価値領域を示す図である。なお、図8の例では、説明を簡略化するため、特徴量空間を、特徴量Aと特徴量Bとを含む2次元の特徴量空間としている。図8(a)~(c)は、2次元の特徴量空間における、第1の指標から第3の指標それぞれの評価値領域を示している。
具体的には、図8(a)において、白丸は、2次元の特徴量空間にプロットした、各物品画像の画像特徴量("特徴量A"、"特徴量B"の値)を示している。また、図8(a)において、評価値領域801は、第1の指標の評価値が"+3"の物品画像の画像特徴量が含まれる領域である。また、評価値領域802は、第1の指標の評価値が"+2"の物品画像の画像特徴量が含まれる領域であり、評価値領域803は、第1の指標の評価値が"+1"の物品画像の画像特徴量が含まれる領域である。
また、評価値領域804は、第1の指標の評価値が"±0"の物品画像の画像特徴量が含まれる領域であり、評価値領域805~807は、それぞれ、第1の指標の評価値が"-1"、"-2"、"-3"の物品画像の画像特徴量が含まれる領域である。
同様に、図8(b)において、白丸は、2次元の特徴量空間にプロットした、各物品画像の画像特徴量("特徴量A"、"特徴量B"の値)を示している。また、図8(b)において、評価値領域811は、第2の指標の評価値が"+3"の物品画像の画像特徴量が含まれる領域である。また、評価値領域812は、第2の指標の評価値が"+2"の物品画像の画像特徴量が含まれる領域であり、評価値領域813は、第2の指標の評価値が"+1"の物品画像の画像特徴量が含まれる領域である。
また、評価値領域814は、第2の指標の評価値が"±0"の物品画像の画像特徴量が含まれる領域であり、評価値領域815~817は、それぞれ、第2の指標の評価値が"-1"、"-2"、"-3"の物品画像の画像特徴量が含まれる領域である。
同様に、図8(c)において、白丸は、2次元の特徴量空間にプロットした、各物品画像の画像特徴量("特徴量A"、"特徴量B"の値)を示している。また、図8(c)において、評価値領域821は、第3の指標の評価値が"+3"の物品画像の画像特徴量が含まれる領域である。また、評価値領域822は、第3の指標の評価値が"+2"の物品画像の画像特徴量が含まれる領域であり、評価値領域823は、第3の指標の評価値が"+1"の物品画像の画像特徴量が含まれる領域である。
また、評価値領域824は、第3の指標の評価値が"±0"の物品画像の画像特徴量が含まれる領域であり、評価値領域825~827は、それぞれ、第3の指標の評価値が"-1"、"-2"、"-3"の物品画像の画像特徴量が含まれる領域である。
生成部140は、指標ごとに生成した評価値領域801~807、評価値領域811~817、評価値領域821~827等を、指標と対応付けて、領域情報格納部170に格納する。
<3.3 特定部の機能の詳細>
(1)特定部の機能構成の詳細
続いて、画像検索装置120の特定部150の機能の詳細について説明する。図9は、第1の実施形態に係る画像検索装置の特定部の機能構成の詳細を示す図である。図9に示すように、画像検索装置120の特定部150は、受信部901、画像特徴量算出部902、評価値算出部903、画像特定部904を有する。
受信部901は受信手段の一例である。受信部901は、顧客の嗜好性が表れた画像を含む評価画像情報と、顧客情報とを、外部装置より受信し、画像特徴量算出部902に通知する。
画像特徴量算出部902は、評価画像情報に含まれる画像について画像特徴量を算出する。また、画像特徴量算出部902は、算出した画像特徴量を、評価値算出部903に通知する。
評価値算出部903は算出手段の一例である。評価値算出部903は、領域情報格納部170に格納された各指標の評価値領域を読み出し、算出した画像特徴量と対比することで、各指標の評価値を算出する。これにより、評価値算出部903は、評価画像情報に含まれる画像に基づいて、顧客の嗜好性を示す評価値を算出することができる。更に、評価値算出部903は、算出した各指標の評価値を、画像特定部904に通知する。
画像特定部904は特定手段の一例である。画像特定部904は、解析用情報格納部160に格納された解析用情報600を参照し、算出した各指標の評価値と同一または類似の評価値を有する物品画像を特定する。また、画像特定部904は出力手段または印刷制御手段としても機能し、特定した物品画像を、レコメンド画像情報として、外部装置(例えば、端末、印刷装置等)に出力する。これにより、例えば、印刷制御手段として機能した場合にあっては、特定した物品画像を含む印刷物を製造することができる。
(2)評価値算出部の処理の具体例
次に、特定部150の評価値算出部903が顧客の嗜好性を示す評価値を算出する処理の具体例について説明する。図10は、評価値算出部の処理の具体例を示す図である。図10(a)~図10(c)において、評価値領域801~807、811~817、821~827は、それぞれ、領域情報格納部170から読み出した第1乃至第3の指標の評価値領域を示している。
また、図10(a)~図10(c)において、×印1000は、評価画像情報に含まれる画像の画像特徴量がプロットされた位置を示している。図10(a)の例によれば、評価画像情報に含まれる画像の第1の指標の評価値は"+2"と算出される。また、図10(b)の例によれば、評価画像情報に含まれる画像の第2の指標の評価値は"+2"と算出される。更に、図10(c)の例によれば、評価画像情報に含まれる画像の第3の評価値は"+1"と算出される。
<4.画像検索装置による画像検索処理の流れ>
次に、画像検索装置120による画像検索処理の流れについて説明する。図11は、第1の実施形態に係る画像検索装置による画像検索処理の流れを示すフローチャートである。
ステップS1101において、画像情報取得部301は、外部装置に格納された画像情報格納部110より画像情報を取得する。ステップS1102において、画像特徴量算出部302は、画像情報に含まれる各物品画像について、画像特徴量を算出し、解析用情報格納部160に格納する。
ステップS1103において、評価値入力部303は、画像情報を管理する管理者180によって入力された、画像情報に含まれる各物品画像についての定性的な指標に対する評価値を受け付ける。また、評価値入力部303は、入力された評価値を、各物品画像と対応付けて、解析用情報600として解析用情報格納部160に格納する。
ステップS1104において、プロット部701は、解析用情報格納部160に格納された解析用情報600を読み出し、各特徴量からなる特徴量空間に、各物品画像の画像特徴量をプロットする。
ステップS1105において、評価値領域生成部702は、指標をカウントするカウンタnに1を代入する。
ステップS1106において、評価値領域生成部702は、特徴量空間にプロットされたプロット結果について、n番目の指標が同じ評価値同士で分類することで、特徴量空間において、n番目の指標の評価値領域を生成する。
ステップS1107において、評価値領域生成部702は、全ての指標について評価値領域を生成したか否かを判定する。ステップS1107において、評価値領域を生成していない指標があると判定した場合には(ステップS1107においてNoの場合には)、ステップS1108に進む。ステップS1108において、評価値領域生成部702は、カウンタnをインクリメントした後、ステップS1106に戻る。
一方、ステップS1107において、全ての指標について評価値領域を生成したと判定した場合には(ステップS1107においてYesの場合には)、ステップS1109に進む。
ステップS1109において、受信部901は、顧客の嗜好性が表れた画像を含む評価画像情報と、顧客情報とを、外部装置より受信したか否かを判定する。ステップS1109において、評価画像情報及び顧客情報を受信していないと判定した場合には(ステップS1109においてNoの場合には)、ステップS1113に進む。
一方、ステップS1109において、評価画像情報及び顧客情報を受信したと判定した場合には(ステップS1109においてYesの場合には)、ステップS1110に進む。
ステップS1110において、画像特徴量算出部902は、評価画像情報に含まれる画像について画像特徴量を算出する。
ステップS1111において、評価値算出部903は、領域情報格納部170に格納された複数の評価値領域を読み出し、評価画像情報に含まれる画像について、算出した画像特徴量と対比することで、各指標の評価値を算出する。
ステップS1112において、画像特定部904は、解析用情報格納部160に格納された解析用情報600を参照し、算出した各指標の評価値と同一または類似の評価値を有する物品画像を特定する。また、画像特定部904は、特定した物品画像を、レコメンド画像情報として、外部装置に出力する。
<5.まとめ>
以上の説明から明らかなように、第1の実施形態に係る画像検索装置120では、
・物品の印象を示す指標に基づいて評価された、複数の物品それぞれの評価値と、複数の物品の物品画像に基づいて算出される、各物品の画像特徴量とを取得し、解析用情報として、解析用情報格納部に格納する。
・特徴量空間における各物品の画像特徴量を、指標ごとに、同じ評価値同士で分類することで、特徴量空間において指標ごとの複数の評価値領域を生成する。
・顧客の嗜好性が表れた画像を含む評価画像情報が入力された場合に、評価画像情報に含まれる画像の画像特徴量を算出し、評価値領域と対比することで、各指標の評価値(顧客の嗜好性を示す評価値)を算出する。
・解析用情報を参照し、算出した各指標の評価値と同一または類似の評価値を有する物品画像を特定し、レコメンド画像情報として出力する。
これにより、第1の実施形態に係る画像検索装置120によれば、顧客により選択された画像から顧客の嗜好性を示す評価値を算出し、当該評価値に基づいて、レコメンド画像情報を出力することができる。この結果、顧客の嗜好性に応じたレコメンド画像情報を出力することができる。
このように、第1の実施形態に係る画像検索装置120によれば、顧客の嗜好性に応じたレコメンドを実現することができる。
[第2の実施形態]
上記第1の実施形態では、算出した各指標の評価値と同一または類似の評価値を有する物品画像の検索方法については特に言及しなかった。これに対して、第2の実施形態では、算出した各指標の評価値と同一または類似の評価値を有する物品画像を検索する際の検索方法の一例として、レーダチャートを用いて検索する検索方法について説明する。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
<1.特定部の機能の詳細>
はじめに、第2の実施形態に係る画像検索装置120の特定部150の機能の詳細について説明する。図12は、第2の実施形態に係る画像検索装置の特定部の機能構成の詳細を示す図である。図9を用いて説明した特定部150の機能構成との相違点は、レーダチャート生成部1201及び画像特定部1202である。
レーダチャート生成部1201は、評価値算出部903より、評価画像情報に含まれる画像についての各指標の評価値を取得すると、各指標を軸として、各指標の評価値を結ぶことで、当該画像についての評価値のレーダチャートを生成する。また、レーダチャート生成部1201は、解析用情報格納部160に格納された解析用情報600について、各物品画像についての評価値のレーダチャートを生成する。
更に、レーダチャート生成部1201は、評価画像情報に含まれる画像についての評価値のレーダチャートと、各物品画像についての評価値のレーダチャートとを画像特定部1202に通知する。
画像特定部1202は、評価画像情報に含まれる画像についての評価値のレーダチャートと、各物品画像についての評価値のレーダチャートとを対比し、形状が同一または類似するレーダチャートを特定する。また、画像特定部1202は、特定したレーダチャートに対応する物品画像を、解析用情報格納部160から読み出し、レコメンド画像情報として外部装置に出力する。
図13は、レーダチャート生成部及び画像特定部の処理の具体例を示す図である。図13において、レーダチャート1310は、レーダチャート生成部1201により生成された、評価画像情報に含まれる画像についての評価値のレーダチャートである。また、レーダチャート1320_1~1320_nは、レーダチャート生成部1201により生成された、各物品画像についての評価値のレーダチャートである。
画像特定部1202では、レーダチャート1310とレーダチャート1320_1~1320_nとの間で、形状の類似度S1、S2、・・・Snを算出する。そして、画像特定部1202は、算出した類似度が所定の閾値以上となるレーダチャートに対応する物品画像を、レコメンド画像情報として出力する。あるいは、画像特定部1202は、算出した類似度が上位m番目までのレーダチャートに対応する物品画像を、レコメンド画像情報として出力する。
<2.画像検索装置による画像検索処理の流れ>
次に、第2の実施形態に係る画像検索装置120による画像検索処理の流れについて説明する。図14は、第2の実施形態に係る画像検索装置による画像検索処理の流れを示すフローチャートである。図11で示した画像検索処理との相違点は、ステップS1401及びステップS1402である。レーダチャート生成部1201は、評価値算出部903より、評価画像情報に含まれる画像についての各指標の評価値を取得し、レーダチャートを生成する。また、レーダチャート生成部1201は、解析用情報格納部160に格納された解析用情報600について、各物品画像についての評価値のレーダチャートを生成する。
ステップS1402において、画像特定部1202は、評価画像情報に含まれる画像についての評価値のレーダチャートと、各物品画像についての評価値のレーダチャートとを対比し、形状が同一または類似するレーダチャートを特定する。また、画像特定部1202は、特定したレーダチャートに対応する物品画像を、解析用情報格納部160から読み出し、レコメンド画像情報として外部装置に出力する。
<3.まとめ>
以上の説明から明らかなように、第2の実施形態に係る画像検索装置は、上記第1の実施形態に係る画像検索装置と同様の機能を有することに加えて、各指標の評価値が同一または類似の評価値を有する物品画像を特定するにあたり、レーダチャートを用いる。
これにより、第2の実施形態に係る画像検索装置によれば、上記第1の実施形態と同様の効果を享受できるとともに、より適切なレコメンド画像情報を出力することができる。
[第3の実施形態]
第3の実施形態では、上記第1及び第2の実施形態に係る画像検索装置120を、購買システムに適用する場合について説明する。ここでいう購買システムとは、インタネット等を介して、商品の販売サービスを提供するシステム(いわゆる通販サイトを提供するシステム)を指すものとする。
<1.購買システムのシステム構成>
はじめに、上記第1及び第2の実施形態に係る画像検索装置120が適用される購買システムのシステム構成について説明する。図15は、第1及び第2の実施形態に係る画像検索装置の、購買システムへの適用例を示す第1の図である。
図15に示すように、購買システム1500は、サーバ装置1510を有し、画像検索装置120と接続される。サーバ装置1510には、サービス提供プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置1510は、情報生成部1511、販売サービス提供部1512として機能する。
情報生成部1511は、画像情報格納部110より、販売対象となる全ての物品(商品)の物品画像を含む画像情報を、画像検索装置120に送信する。なお、情報生成部1511により送信された画像情報に含まれる、販売対象となる全ての物品について、画像検索装置120では、物品画像の管理者180が入力した、各指標の評価値を受け付ける。
図16は、購買システムにおける画像情報の一例を示す図である。図16に示すように、購買システム1500において画像検索装置120に送信される画像情報1600には、情報の項目として、"商品カテゴリ"、"商品ID"、"サイズ"、"色"、"価格"、"物品画像"等が含まれる。
"商品カテゴリ"には、商品の種類を示す情報が格納され、"商品ID"には商品を識別する識別子が格納される。また、"サイズ"、"色"、"価格"には、それぞれ、商品のサイズ、色、価格を示す情報が格納される。更に、"物品画像"には、商品IDにより識別される商品の画像が格納される。
図15の説明に戻る。図15において、販売サービス提供部1512は、商品の販売サービスを提供する。具体的には、販売サービス提供部1512は、ネットワーク1540を介して、端末1530よりアクセスがあった場合、端末1530に対して、商品の販売サービスを提供するための画面を送信する。
また、販売サービス提供部1512は、画面の送信に応じて、顧客1531(端末1530のユーザ)より、顧客情報及び商品種類を示す情報が送信された場合に、これを受け付ける。また、販売サービス提供部1512は、受け付けた顧客情報及び商品種類を示す情報に基づいて、購買履歴情報格納部1513を検索し、顧客が過去に購入した商品の物品画像(顧客の嗜好性が表れた画像)を含む購買物品画像情報を取得する。更に、販売サービス提供部1512は、取得した購買物品画像情報を評価画像情報として、顧客情報及び商品種類を示す情報とともに画像検索装置120に送信する。
図17は、購買システムにおける購買履歴情報の一例を示す図である。図17に示すように、購買システム1500において購買履歴情報1700は、顧客情報ごとに管理されている。
また、図17に示すように、購買履歴情報1700には、情報の項目として、"購入日時"、"商品ID"、"商品カテゴリ"、"サイズ"、"色"、"購入数量"、"価格"、"購買物品画像"が含まれる。
"購入日時"には、対応する商品を、顧客1531が購入した日時を示す情報が格納され、"商品ID"には商品を識別する識別子が格納される。また、"商品カテゴリ"、"サイズ"、"色"、"購入数量"、"価格"には、それぞれ、商品の種類、サイズ、色、数量、価格を示す情報が格納される。更に、"購買物品画像"には、商品IDにより識別される商品の画像であって、顧客1531が過去に購入した商品の画像が格納される。
再び、図15に戻る。販売サービス提供部1512が、購買物品画像情報を送信したことに応じて、画像検索装置120からは、レコメンド画像情報が送信されるため、販売サービス提供部1512では、これを受信する。また、販売サービス提供部1512は、受信したレコメンド画像情報を、端末1530に送信する。
これにより、顧客1531は、自身の過去の購買履歴に基づいて算出された、自身の嗜好性を示す評価値と同一または類似の評価値を有する物品画像を閲覧することができる。つまり、購買システム1500によれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客1531は、嗜好性に応じた商品等を、効率よく購入できる可能性が高まる。
なお、購買システム1500は、更に、印刷装置1520を有しており、画像検索装置120は、レコメンド画像情報を、顧客情報とともに、印刷装置1520に出力する。これにより、印刷装置1520では、レコメンド画像情報を含む印刷物(カタログ1521)を製造することができる。また、画像情報の管理者180は、製造したカタログ1521を、顧客情報により特定される宛先に送達することができる。
これにより、顧客1531は、自身の過去の購買履歴に基づいて算出された、自身の嗜好性を示す評価値と同一または類似の評価値を有する物品が掲載されたカタログを入手できる。つまり、購買システム1500によれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客1531は、嗜好性に応じた商品等を、効率よく購入できる可能性が高まる。
<2.購買システムにおけるレコメンド画像情報出力処理の流れ>
次に、購買システム1500におけるレコメンド画像情報出力処理の流れについて説明する。図18は、購買システムにおけるレコメンド画像情報出力処理の流れを示す第1のシーケンス図である。
ステップS1800において、画像検索装置120では、画像検索処理(図11または図14参照)を実行する。
ステップS1801において、サーバ装置1510の情報生成部1511は、画像情報格納部110より、画像情報1600を読み出す。
ステップS1802において、サーバ装置1510の情報生成部1511は、読み出した画像情報1600を、画像検索装置120に送信する。
ステップS1803において、画像検索装置120は、画像情報1600に含まれる物品画像を、画像情報1600の管理者180に表示する。
ステップS1804において、管理者180は、表示された各物品画像について、各指標の評価値を入力する。
ステップS1805において、端末1530よりアクセスがあると、販売サービス提供部1512では、端末1530に対して、商品の販売サービスを提供するための画面を送信する。また、販売サービス提供部1512が画面を送信したことに応じて、顧客情報及び商品種類を示す情報が送信された場合、販売サービス提供部1512では、これを受信する。
ステップS1806において、販売サービス提供部1512は、受信した顧客情報及び商品種類を示す情報に基づいて、購買履歴情報格納部1513を検索する。
ステップS1807において、販売サービス提供部1512は、顧客が過去に購入した商品の物品画像を含む購買物品画像情報を取得する。
ステップS1808において、販売サービス提供部1512は、購買物品画像情報を、評価画像情報として、顧客情報及び商品種類を示す情報とともに、画像検索装置120に送信する。なお、本実施形態において、画像検索装置120は、商品種類を示す情報に応じた画像検索処理を行うものとする。
ステップS1809において、販売サービス提供部1512は、画像検索装置120よりレコメンド画像情報を受信する。ステップS1810において、販売サービス提供部1512は、端末1530に対して、レコメンド画像情報を送信する。
<3.まとめ>
以上の説明から明らかなように、画像検索装置120が適用された購買システム1500では、
・販売サービス提供時に、顧客の購買履歴情報を、評価画像情報として画像検索装置120に送信する。
・送信した評価画像情報に応じて画像検索装置より送信されたレコメンド画像情報を、販売サービスの提供を受ける端末に送信する。
これにより、顧客は、自身の過去の購買履歴に基づいて算出された、自身の嗜好性を示す評価値と同一または類似の評価値を有する物品画像または物品が掲載されたカタログを閲覧または入手することできる。つまり、購買システム1500によれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客は、嗜好性に応じた商品等を、効率よく購入できる可能性が高まる。
[第4の実施形態]
上記第3の実施形態では、サーバ装置が、顧客情報及び商品種類を示す情報に基づいて購買履歴情報から購買物品画像情報を取得し、評価画像情報として画像検索装置120に送信する場合について説明した。これに対して第4の実施形態では、顧客が撮影した撮影画像を、端末から受信し、評価画像情報として画像検索装置120に送信する。以下、第4の実施形態について、上記第3の実施形態との相違点を中心に説明する。
<1.購買システムのシステム構成>
図19は、第1及び第2の実施形態に係る画像検索装置の、購買システムへの適用例を示す第2の図である。図19に示すように、購買システム1900は、サーバ装置1910を有し、画像検索装置120と接続される。サーバ装置1910には、サービス提供プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置1910は、情報生成部1511、販売サービス提供部1912として機能する。
なお、情報生成部1511の機能は、上記第3の実施形態で説明済みであるため、ここでは説明を省略する。
販売サービス提供部1912は、商品の販売サービスを提供する。具体的には、販売サービス提供部1912は、ネットワーク1540を介して、端末1530よりアクセスがあった場合、端末1530に対して、商品の販売サービスを提供するための画面を送信する。
また、販売サービス提供部1912は、画面の送信に応じて、顧客1531(端末1530のユーザ)より、顧客情報、商品種類を示す情報、撮影画像情報が送信された場合に、これを受け付ける。撮影画像情報とは、端末1530内に格納されている撮影画像1920のうち、顧客1531により選択された、お気に入りの洋服を着た自身の画像(顧客の嗜好性が表れた画像)を指す。
また、販売サービス提供部1912は、受け付けた撮影画像情報を、評価画像情報として、顧客情報及び商品種類を示す情報とともに画像検索装置120に送信する。販売サービス提供部1912が、撮影画像情報を送信したことに応じて、画像検索装置120からは、レコメンド画像情報が送信されるため、販売サービス提供部1912では、これを受信する。また、販売サービス提供部1912は、受信したレコメンド画像情報を、端末1530に送信する。
これにより、顧客1531は、撮影画像に基づいて算出された、自身の嗜好性を示す評価値と同一または類似の評価値を有する物品画像を閲覧することができる。つまり、購買システム1900によれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客1531は、嗜好性に応じた商品等を、効率よく購入できる可能性が高まる。
<2.購買システムにおけるレコメンド画像情報出力処理の流れ>
次に、購買システム1900におけるレコメンド画像情報出力処理の流れについて説明する。図20は、購買システムにおけるレコメンド画像情報出力処理の流れを示す第2のシーケンス図である。図18に示したシーケンス図との相違点は、ステップS2001、ステップS2002である。
ステップS2001において、端末1530よりアクセスがあると、販売サービス提供部1912では、端末1530に対して、商品の販売サービスを提供するための画面を送信する。また、販売サービス提供部1912が画面を送信したことに応じて、顧客情報、商品種類を示す情報、撮影画像情報が送信された場合、販売サービス提供部1912では、これを受信する。
ステップS2002において、販売サービス提供部1912は、受信した撮影画像情報を評価画像情報として、顧客情報及び商品種類を示す情報とともに、画像検索装置120に送信する。なお、本実施形態において、画像検索装置120は、商品種類を示す情報に応じた画像検索処理を行うものとする。
<3.まとめ>
以上の説明から明らかなように、画像検索装置120が適用された購買システム1900では、
・販売サービス提供時に、顧客の撮影画像情報を、評価画像情報として画像検索装置120に送信する。
・送信した評価画像情報に応じて画像検索装置より送信されたレコメンド画像情報を、販売サービスの提供を受ける端末に送信する。
これにより、顧客は、撮影画像に基づいて算出された、自身の嗜好性を示す評価値と同一または類似の評価値を有する物品画像を閲覧することができる。つまり、購買システム1900によれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客は、嗜好性に応じた商品等を、効率よく購入できる可能性が高まる。
[第5の実施形態]
上記第1及び第2の実施形態では、画像検索装置120の特定部150が、評価画像情報を取得して各指標の評価値を算出する場合について説明した。これに対して、第5の実施形態では、更に、画像検索装置120の特定部150が、直接、各指標の評価値の入力を受け付ける場合について説明する。
<1.特定部の機能の詳細>
図21は、第5の実施形態に係る画像検索装置の特定部の機能構成の詳細を示す図である。図9に示した特定部150との相違点は、入力部2111を有する点である。
入力部2111は入力手段の一例であり、顧客が指定する各指標の評価値の入力を受け付ける。また、入力部2111は、入力された各指標の評価値を、画像特定部904に通知する。図22は、各指標の評価値を入力する入力画面の一例を示す図である。
図22に示すように、入力部2111により表示される入力画面2200には、各指標の有効/無効を指示するチェックボックス2210と、各指標の評価値を入力するための入力欄2220とが含まれる。
入力部2111では、チェックボックス2210にチェックがついている指標について、入力された評価値を、画像特定部904に通知する。これにより、画像特定部904では、チェックがついている指標について、入力された評価値と同一または類似の評価値を有する物品画像を、解析用情報格納部160より特定し、レコメンド画像情報として出力することができる。
<2.画像検索装置による画像検索処理の流れ>
次に、画像検索装置120による画像検索処理の流れについて説明する。図23は、第5の実施形態に係る画像検索装置による画像検索処理の流れを示すフローチャートである。図11を用いて説明した画像検索処理との相違点は、ステップS2301、S2302である。
ステップS2301において、入力部2111は、評価値が入力されたか否かを判定する。ステップS2301において評価値が入力されていないと判定した場合には(ステップS2301においてNoの場合には)、ステップS1113に進む。一方、ステップS2301において評価値が入力されたと判定した場合には(ステップS2301においてYesの場合には)、ステップS2302に進む。
ステップS2302において、画像特定部904は、解析用情報格納部160に格納された解析用情報600を参照し、入力された各指標の評価値と同一または類似の評価値を有する物品画像を特定する。また、画像特定部904は、特定した物品画像を、レコメンド画像情報として、外部装置に出力する。
<3.まとめ>
以上の説明から明らかなように、第5の実施形態に係る画像検索装置では、顧客の嗜好性を示す各指標の評価値を、評価画像情報に基づいて算出する代わりに、顧客より、直接、入力を受け付ける。これにより、第5の実施形態に係る画像検索装置によれば、上記第1の実施形態と同様の効果を享受することができる。
[第6の実施形態]
第6の実施形態では、上記第5の実施形態に係る画像検索装置120を、広告データ生成システムに適用した場合について説明する。ここでいう広告データ生成システムとは、予め格納された複数の広告画像(物品画像)の中から、顧客(ここでは広告主)の嗜好性に応じた広告画像を検索して、顧客に提示しながら広告データを生成するシステムを指す。
<1.広告データ生成システムのシステム構成>
はじめに、上記第5の実施形態に係る画像検索装置120が適用される広告データ生成システムのシステム構成について説明する。図24は、第5の実施形態に係る画像検索装置の、広告データ生成システムへの適用例を示す図である。
図24に示すように、広告データ生成システム2400は、サーバ装置2410を有し、画像検索装置120と接続される。サーバ装置2410には、広告データ生成プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置2410は、情報生成部1511、広告データ生成部2411として機能する。
情報生成部1511は、画像情報格納部110より、予め登録された全ての広告画像を含む画像情報を、画像検索装置120に送信する。予め登録された広告画像には、関連情報が付加されているものとする。ここでいう関連情報には、広告データが生成された際のブリーフィングシート(広告のターゲットや要件等をまとめたドキュメント類)及び広告に使用された画像データ(オリジナル画像、加工後画像、及び、加工レシピ等)が含まれる。
なお、情報生成部1511により送信された画像情報に含まれる広告画像について、画像検索装置120では、広告画像の管理者180が入力した、各指標の評価値を受け付ける。
広告データ生成部2411は、顧客からの指示に応じた広告データを生成する。具体的には、広告データ生成部2411は、端末2420に入力画面2200を表示し、顧客(端末2420のユーザ)の広告データに対する要望を、顧客の嗜好性を示す各指標の評価値として取得する。また、広告データ生成部2411は、取得した各指標の評価値を画像検索装置120に送信する。
広告データ生成部2411が、評価値を送信したことに応じて、画像検索装置120からは、レコメンド画像情報が送信されるため、広告データ生成部2411では、これを受信する。また、広告データ生成部2411は、受信したレコメンド画像情報を端末2420に送信し、顧客に表示する。
これにより、顧客は、入力した各指標の評価値と同一または類似の評価値を有する広告画像を閲覧することができる。つまり、広告データ生成システム2400によれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客は、嗜好性に応じた広告データを、効率よく生成できる可能性が高まる。
<2.広告データ生成システムにおけるレコメンド画像情報出力処理の流れ>
次に、広告データ生成システム2400におけるレコメンド画像情報出力処理の流れについて説明する。図25は、広告データ生成システムにおけるレコメンド画像情報出力処理の流れを示すシーケンス図である。図18に示したシーケンス図との相違点は、ステップS2501からS2504である。
ステップS2501において、端末2420よりアクセスがあると、広告データ生成部2411では、端末2420に対して、入力画面2200を送信する。また、広告データ生成部2411が入力画面2200を送信したことに応じて、端末2420より各指標の評価値が送信された場合、広告データ生成部2411では、これを受信する。
ステップS2502において、広告データ生成部2411は、受信した各指標の評価値を、画像検索装置120に送信する。
ステップS2503において、広告データ生成部2411は、画像検索装置120よりレコメンド画像情報を受信する。ステップS2504において、広告データ生成部2411は、受信したレコメンド画像情報を、端末2420に送信する。
<3.まとめ>
以上の説明から明らかなように、画像検索装置120が適用された広告データ生成システム2400では、
・広告データ生成時に、顧客の広告データに対する要望を、各指標の評価値として取得する。
・取得した評価値に応じて画像検索装置より送信されたレコメンド画像情報を、広告データの提供を受ける端末に送信する。
これにより、顧客は、入力した各指標の評価値と同一または類似の評価値を有する広告画像を閲覧することができる。つまり、広告データ生成システムによれば、顧客の嗜好性に応じたレコメンドを実現することができる。この結果、顧客は、嗜好性に応じた広告データを、効率よく生成できる可能性が高まる。
なお、本実施形態では、各指標の評価値を、顧客が直接入力する場合について説明したが、上記第3及び第4の実施形態のように、顧客の嗜好性が表れた画像を入力する構成としてもよい。
[その他の実施形態]
上記実施形態では、画像検索装置120を購買システムに適用する場合と、広告データ生成システムに適用する場合とで、同様の指標が用いられるものとして説明したが、適用するシステムごとに、利用する指標を変更するように構成してもよい。例えば、広告データ生成システムの場合、広告画像についての定性的な指標に加えて、広告タイプ、業種、訴求軸、目的、ターゲットのペルソナ等の指標が含まれていてもよい。なお、広告タイプとは、ブランド広告、キャンペーン広告、商品告知等を指す。また、訴求軸とは、価格訴求、ニーズ訴求、啓蒙訴求等を指す。また、ペルソナとは、年齢、性別、家族構成、収入等を指す。
また、適用するシステムが同じであっても、利用する指標を変更するように構成してもよい。例えば、同じ購買システムであっても、商品の種類ごとに、利用する指標を変更するように構成してもよい。
また、上記第1乃至第4の実施形態では、評価画像情報に顧客の嗜好性が表れた画像が複数含まれる場合の、評価値の算出方法の詳細について言及しなかったが、複数の画像が含まれる場合の評価値の算出方法としては、種々の算出方法が考えられる。例えば、複数の画像に基づいて算出されたそれぞれの評価値を、指標ごとに単純平均したうえで、レコメンド画像情報を出力するようにしてもよい。あるいは、複数の画像に基づいて算出されたそれぞれの評価値を、傾向が似ているもの同士で数パターンに集約し、それぞれのパターンについて、レコメンド画像情報を出力するようにしてもよい。
また、上記第2の実施形態では、同一または類似の評価値を有する物品画像の検索方法として、レーダチャートを用いる場合について説明した。しかしながら、同一または類似の評価値を有する物品画像の検索方法はこれに限定されない。例えば、ユークリッド距離、マハラノビス距離、コサイン類似度またはピアソン相関係数等を用いて検索してもよい。
また、上記第4の実施形態では、撮影画像情報を評価画像情報として送信する場合について説明した。しかしながら、撮影画像情報に含まれる各撮影画像の各領域のうち、商品種類を示す情報により特定される物品が含まれる領域を抽出した部分画像を含む撮影画像情報を、評価画像情報として送信するように構成してもよい。
また、上記第3及び第6の実施形態において、画像検索装置120を購買システムまたは広告データ生成システムに適用するにあたっては、画像検索装置120の機能の一部または全部を、サーバ装置において実現するように構成してもよい。あるいは、サーバ装置の機能の一部または全部を、画像検索装置120において実現するように構成してもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
120 :画像検索装置
130 :取得部
140 :生成部
150 :特定部
301 :画像情報取得部
302 :画像特徴量算出部
303 :評価値入力部
400 :画像特徴量
500 :評価値
600 :解析用情報
701 :プロット部
702 :評価値領域生成部
801~817 :評価値領域
901 :受信部
902 :画像特徴量算出部
903 :評価値算出部
904 :画像特定部
1201 :レーダチャート生成部
1202 :画像特定部
1500 :購買システム
1900 :購買システム
2111 :入力部
2200 :入力画面
2400 :広告データ生成システム
特許第6069565号

Claims (10)

  1. 物品の印象を示す指標に基づいて評価された、複数の物品それぞれの評価値と、前記複数の物品の画像に基づいて算出される、各物品の画像特徴量とを取得する取得手段と、
    前記各物品の画像特徴量を、前記指標ごとに、同じ評価値同士で分類することで、前記指標ごとの複数の評価値領域を生成する生成手段と、
    顧客の嗜好性を示す評価値を算出する算出手段と、
    前記顧客にレコメンドする画像を特定する特定手段と、を有し、
    前記算出手段は、前記顧客により選択された画像に基づいて算出される画像特徴量と、前記複数の評価値領域とを対比することで、前記顧客により選択された画像について、前記評価値を算出し、
    前記特定手段は、前記複数の物品の画像の中から、前記算出された評価値に類似する評価値を有する物品の画像を特定する
    ことを特徴とする画像検索装置。
  2. 前記特定手段は、前記指標を軸として、前記指標の評価値を結ぶことで生成されるレーダチャートの形状に基づいて、前記算出された評価値に類似する評価値を有する物品の画像を特定することを特徴とする請求項1に記載の画像検索装置。
  3. 前記算出手段は、前記顧客により選択された画像に基づいて算出される画像特徴量を、特徴量空間にプロットすることで、前記複数の評価値領域と対比し、前記指標ごとの評価値を算出する
    ことを特徴とする請求項1または2に記載の画像検索装置。
  4. 前記顧客により選択された画像には、前記顧客の購買履歴情報に対応付けられた画像が含まれる
    ことを特徴とする請求項1乃至3のいずれか1項に記載の画像検索装置。
  5. 前記顧客にレコメンドする画像を出力する出力手段を更に有する
    ことを特徴とする請求項3または4に記載の画像検索装置。
  6. 前記顧客にレコメンドする画像を印刷し、前記顧客に送達するための印刷物を製造する印刷制御手段を更に有する
    ことを特徴とする請求項4に記載の画像検索装置。
  7. 前記指標ごとの評価値を入力する入力手段を更に有し、
    前記特定手段は、前記入力された評価値に類似する評価値を有する物品の画像を特定する
    ことを特徴とする請求項1に記載の画像検索装置。
  8. 請求項1乃至7のいずれか1項に記載の画像検索装置の特定手段によって特定された、前記顧客にレコメンドする画像を含む
    ことを特徴とする印刷物。
  9. コンピュータが、
    物品の印象を示す指標に基づいて評価された、複数の物品それぞれの評価値と、前記複数の物品の画像に基づいて算出される、各物品の画像特徴量とを取得する取得工程と、
    前記各物品の画像特徴量を、前記指標ごとに、同じ評価値同士で分類することで、前記指標ごとの複数の評価値領域を生成する生成工程と、
    顧客の嗜好性を示す評価値を算出する算出工程と、
    前記顧客にレコメンドする画像を特定する特定工程と、を実行する画像検索方法であって、
    前記算出工程は、前記顧客により選択された画像に基づいて算出される画像特徴量と、前記複数の評価値領域とを対比することで、前記顧客により選択された画像について、前記評価値を算出し、
    前記特定工程は、前記複数の物品の画像の中から、前記算出された評価値に類似する評価値を有する物品の画像を特定する
    ことを特徴とする画像検索方法。
  10. コンピュータに、
    物品の印象を示す指標に基づいて評価された、複数の物品それぞれの評価値と、前記複数の物品の画像に基づいて算出される、各物品の画像特徴量とを取得する取得工程と、
    前記各物品の画像特徴量を、前記指標ごとに、同じ評価値同士で分類することで、前記指標ごとの複数の評価値領域を生成する生成工程と、
    顧客の嗜好性を示す評価値を算出する算出工程と、
    前記顧客にレコメンドする画像を特定する特定工程と、を実行させるための画像検索プログラムであって、
    前記算出工程は、前記顧客により選択された画像に基づいて算出される画像特徴量と、前記複数の評価値領域とを対比することで、前記顧客により選択された画像について、前記評価値を算出し、
    前記特定工程は、前記複数の物品の画像の中から、前記算出された評価値に類似する評価値を有する物品の画像を特定する画像検索プログラム。
JP2018050609A 2018-03-19 2018-03-19 画像検索装置、印刷物、画像検索方法及び画像検索プログラム Active JP7095335B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018050609A JP7095335B2 (ja) 2018-03-19 2018-03-19 画像検索装置、印刷物、画像検索方法及び画像検索プログラム
US16/287,295 US11164234B2 (en) 2018-03-19 2019-02-27 Image searching apparatus, printed material, and image searching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018050609A JP7095335B2 (ja) 2018-03-19 2018-03-19 画像検索装置、印刷物、画像検索方法及び画像検索プログラム

Publications (2)

Publication Number Publication Date
JP2019164421A JP2019164421A (ja) 2019-09-26
JP7095335B2 true JP7095335B2 (ja) 2022-07-05

Family

ID=67905807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018050609A Active JP7095335B2 (ja) 2018-03-19 2018-03-19 画像検索装置、印刷物、画像検索方法及び画像検索プログラム

Country Status (2)

Country Link
US (1) US11164234B2 (ja)
JP (1) JP7095335B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム
JP7408973B2 (ja) * 2019-09-18 2024-01-09 富士フイルムビジネスイノベーション株式会社 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム
US11277457B2 (en) * 2019-11-25 2022-03-15 Boe Technology Group Co., Ltd Image processing method, server, client and image processing system
JP6929979B2 (ja) * 2020-01-31 2021-09-01 ユニ・チャーム株式会社 表示制御装置、表示制御方法および表示制御プログラム
US11562418B2 (en) * 2020-06-18 2023-01-24 Capital One Services, Llc Methods and systems for providing a recommendation
JP7258117B1 (ja) 2021-12-24 2023-04-14 楽天グループ株式会社 画像処理装置、画像処理方法及びプログラム
US20230260001A1 (en) * 2022-02-14 2023-08-17 Yahoo Ad Tech Llc Product similarity detection and recommendation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195641A (ja) 2000-01-11 2001-07-19 Japan Research Institute Ltd Idカード,カード発行装置,idカードを用いた接客補助システムおよび方法
JP2008203916A (ja) 2007-02-16 2008-09-04 Hitachi Ltd 画像処理装置、プログラム及び画像処理方法
JP2008242746A (ja) 2007-03-27 2008-10-09 Toshiba Corp 要介護認定における参考指標分析システム
JP2009251850A (ja) 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
JP2014160396A (ja) 2013-02-20 2014-09-04 Dainippon Printing Co Ltd 商品推薦装置、商品推薦方法、プログラム、および商品推薦システム
US20160189274A1 (en) 2014-12-31 2016-06-30 Ebay Inc. Fashion administration
JP2017207840A (ja) 2016-05-17 2017-11-24 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、プログラムおよび記録媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0369565A (ja) 1989-08-10 1991-03-25 Nippon Shokubai Kagaku Kogyo Co Ltd 焼成セッター
US6317722B1 (en) * 1998-09-18 2001-11-13 Amazon.Com, Inc. Use of electronic shopping carts to generate personal recommendations
JP3069565B1 (ja) 1998-12-08 2000-07-24 松下電器産業株式会社 スイッチング電源装置
JP2002132826A (ja) 2000-10-27 2002-05-10 Canon Inc 画像検索装置、画像検索方法、画像データベース構築装置、画像データベース構築方法および記憶媒体
US20050162670A1 (en) * 2004-01-27 2005-07-28 Shuler Robert L.Jr. Method for evaluating and recommending digital image print size with ordering and overlapped file upload
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
JP4323472B2 (ja) * 2005-08-31 2009-09-02 富士通株式会社 多角形チャート描画処理方法およびプログラム
US7987188B2 (en) * 2007-08-23 2011-07-26 Google Inc. Domain-specific sentiment classification
US7778247B2 (en) * 2007-10-26 2010-08-17 Nokia Siemens Networks Oy Cross layer network optimization for OFDMA systems using message passing algorithm
US8417713B1 (en) * 2007-12-05 2013-04-09 Google Inc. Sentiment detection as a ranking signal for reviewable entities
US20100268661A1 (en) * 2009-04-20 2010-10-21 4-Tell, Inc Recommendation Systems
US8386336B1 (en) * 2011-03-30 2013-02-26 Amazon Technologies, Inc. Customized solicitations of product suggestions and product recommendations
US20140195931A1 (en) * 2013-01-07 2014-07-10 dotbox, inc. Validated Product Recommendation System And Methods
US20140351079A1 (en) * 2013-05-24 2014-11-27 University College Dublin Method for recommending a commodity
US9524563B2 (en) * 2014-06-26 2016-12-20 Amazon Technologies, Inc. Automatic image-based recommendations using a color palette
US9418663B2 (en) * 2014-07-31 2016-08-16 Google Inc. Conversational agent with a particular spoken style of speech

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001195641A (ja) 2000-01-11 2001-07-19 Japan Research Institute Ltd Idカード,カード発行装置,idカードを用いた接客補助システムおよび方法
JP2008203916A (ja) 2007-02-16 2008-09-04 Hitachi Ltd 画像処理装置、プログラム及び画像処理方法
JP2008242746A (ja) 2007-03-27 2008-10-09 Toshiba Corp 要介護認定における参考指標分析システム
JP2009251850A (ja) 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
JP2014160396A (ja) 2013-02-20 2014-09-04 Dainippon Printing Co Ltd 商品推薦装置、商品推薦方法、プログラム、および商品推薦システム
US20160189274A1 (en) 2014-12-31 2016-06-30 Ebay Inc. Fashion administration
JP2017207840A (ja) 2016-05-17 2017-11-24 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
US20190287154A1 (en) 2019-09-19
US11164234B2 (en) 2021-11-02
JP2019164421A (ja) 2019-09-26

Similar Documents

Publication Publication Date Title
JP7095335B2 (ja) 画像検索装置、印刷物、画像検索方法及び画像検索プログラム
US11308541B2 (en) Next generation improvements in recommendation systems
Doyle A dictionary of marketing
US10360623B2 (en) Visually generated consumer product presentation
CN103970850B (zh) 网站信息推荐方法和系统
KR102037489B1 (ko) 이미지 기반 광고 제공 방법, 장치 및 컴퓨터 프로그램
KR20200045668A (ko) 스타일 추천 방법, 장치 및 컴퓨터 프로그램
KR101660445B1 (ko) 시장조사 및 분석 시스템
US20170193569A1 (en) Three dimensional web crawler
US20190392478A1 (en) Automated Generation of Personalized Mail
KR20220039697A (ko) 코디네이션 패션 아이템을 추천하는 방법
Kumar et al. A study on consumer perception regarding private label branding in India
KR102271090B1 (ko) 사용자에게 캘린더 데이터를 이용하여 패션 아이템 추천 서비스를 제공하는 방법
KR20210130057A (ko) 온라인 상품 정보 자동 생성 방법 및 시스템
WO2011083732A1 (ja) 情報処理システム
KR20210041733A (ko) 패션 상품 추천 방법, 장치 및 컴퓨터 프로그램
EP3289558A1 (de) Verfahren zum erzeugen von prioritätsdaten für produkte
JP4886940B2 (ja) 因子データベースを用いたマッチング・システム、マッチング装置、およびそのシステムのための因子データベース作成方法
WO2022029960A1 (ja) 倉庫内商品レコメンドシステム、方法及びプログラム
KR20210003706A (ko) 코디네이션 패션 아이템을 추천하는 방법
KR20220120986A (ko) 팬 커뮤니티를 연계한 굿즈 추천 템플릿 제공 프로그램을 기록한 기록매체
KR100486419B1 (ko) 온라인 가격 비교 서비스 제공 방법 및 시스템
EP1176531A1 (en) System and method for assisting user shopping over computer networks
Verheijden Predicting purchasing behavior throughout the clickstream
US20220108373A1 (en) Information processing apparatus and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151