JP6154968B1 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP6154968B1
JP6154968B1 JP2016565712A JP2016565712A JP6154968B1 JP 6154968 B1 JP6154968 B1 JP 6154968B1 JP 2016565712 A JP2016565712 A JP 2016565712A JP 2016565712 A JP2016565712 A JP 2016565712A JP 6154968 B1 JP6154968 B1 JP 6154968B1
Authority
JP
Japan
Prior art keywords
image
product
category
user
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016565712A
Other languages
English (en)
Other versions
JPWO2017115420A1 (ja
Inventor
拓也 村上
拓也 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6154968B1 publication Critical patent/JP6154968B1/ja
Publication of JPWO2017115420A1 publication Critical patent/JPWO2017115420A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • G06Q30/0625Directed, with specific intent or strategy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/36Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本発明は、商品にカテゴリーを対応付ける手間を削減することを可能とする情報処理装置及び情報処理方法等を提供することを目的とする。情報処理装置は、ユーザにより指定された画像を取得する。情報処理装置は、指定された画像の特徴量を抽出する。情報処理装置は、指定された画像が表す商品に対応するカテゴリー情報を取得する。情報処理装置は、抽出された特徴量に基づいて、指定された画像に類似する画像を記憶部から検索する。情報処理装置は、検索された画像の少なくとも1つを検索結果として表示させる。情報処理装置は、表示された検索結果からユーザにより何れかの画像が選択された場合、選択された画像に対応する商品識別情報に対応付けて、取得されたカテゴリー情報を記憶部に記憶させる。

Description

本発明は、商品にカテゴリーを対応付けるシステムの技術分野に関する。
従来、電子商取引等で取引される商品を、ユーザにより指定された条件に基づいて検索するシステムが知られている。このようなシステムにおいては、ユーザが所望する商品を見付けやすくするため、各商品に予めカテゴリーが対応付けられている場合がある。例えば、特許文献1には、複数のカテゴリーに対応する複数の検索データベースを有し、クライアント装置から商品のカテゴリー及びその商品の特徴を表す語を受信したとき、そのカテゴリーに対応する検索データベースを選択し、選択した検索データベースの中から、受信した語に対応する仕様情報を検索し、その仕様情報に該当する商品を検索するシステムが開示されている。
特開2007−264747号公報
しかしながら、特許文献1に開示されたようなシステムにおいては、商品ごとに、商品を販売する販売者自身がその商品にカテゴリーを対応付ける必要がある。そのため、販売者が複数の商品を扱っている場合、それぞれの商品にその販売者がカテゴリーを対応付けることは手間を要する作業である。
本発明は、以上の点に鑑みてなされたものであり、商品にカテゴリーを対応付ける手間を削減することを可能とする情報処理装置及び情報処理方法等を提供することを目的とする。
上記課題を解決するために、請求項1に記載の発明は、ユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、前記指定された画像の特徴量を抽出する抽出手段と、商品を分類するための複数のカテゴリーのうち、前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、前記指定された画像の特徴量と、前記選択された画像の特徴量との間に所定条件を満たす差違がある場合、該差違を小さくする補正の内容を示す補正情報を、前記ユーザを識別するユーザ識別情報に対応付けて補正情報記憶手段に記憶させる第2記憶制御手段と、新たに描かれた画像の特徴量が前記抽出手段により抽出された場合、該抽出された特徴量を、前記新たな画像を描いたユーザを識別するユーザ識別情報に対応する補正情報が示す内容で補正する補正手段と、を備え、前記検索手段は、前記補正された特徴量に基づいて、前記新たな画像に類似する画像を検索することを特徴とする。
この発明によれば、情報処理装置は、ユーザにより指定された画像の特徴量に基づいて、指定された画像に類似する画像を検索する。検索された画像の少なくとも1つが表示される。指定された画像に類似する画像が表す商品は、指定された画像が表す商品が属するカテゴリーと同じカテゴリーに属する可能性がある。その理由は、指定された画像が表す商品が属するカテゴリーはその商品の特徴に関連し、指定された画像の特徴は、その商品の外観に関する特徴を表している可能性があるからである。表示された少なくとも1の画像の中から何れかの画像がユーザにより選択された場合、情報処理装置は、指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を、選択された画像に対応する商品識別情報に対応付けて記憶手段に追加して記憶させる。指定された画像に類似する画像の中から選択された画像が表す商品は、指定された画像が表す商品が属するカテゴリーと同じカテゴリーに属する蓋然性が高い。その理由は、ユーザは、ユーザが指定した画像が表す商品の外観の特徴と同じ特徴を有する商品を表す画像を選択する蓋然性が高いからである。従って、ユーザによる選択に応じて適切なカテゴリーが、選択された商品に自動的に対応付けられる。そのため、商品にカテゴリーを対応付ける手間を削減することができる。
また、ユーザが描いた画像の特徴とユーザが選択した画像との特徴との間に所定条件を満たす差違がある場合、ユーザが実際に所望する商品の特徴をユーザが十分に描いていないかもしれない。この差違が生じる原因は、ユーザによる画像の描き方の癖又は傾向にある可能性がある。ユーザが新たに画像を描いた場合も、その画像の特徴はユーザの癖又は傾向に影響される。この発明によれば、情報処理装置が、ユーザが描いた画像の特徴量とユーザが選択した画像との特徴量との間の差違を小さくするための補正情報に基づいて、新たにユーザが描いた画像の特徴量を補正する。これによって、情報処理装置は、新たに描かれた画像の特徴量が示す特徴が、ユーザが実際に所望する商品の特徴に近くなるように特徴量を補正することができる。従って、癖又は傾向により所望する商品の特徴を十分に表す画像をユーザが描くことができなくても、ユーザが所望する特徴を有する商品を検索することができる。
請求項2に記載の発明は、身体を表す画像を表示させる身体画像表示制御手段と、前記表示された画像の上にユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、前記指定された画像の特徴量を抽出する抽出手段と、前記指定された画像が商品として表す衣服が前記表示された画像が表す前記身体の何れの部位をカバーするかに基づいて、商品としての衣服の形状を分類するための複数のカテゴリーのうち、前記指定された画像が表す前記衣服に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、を備えることを特徴とする。
この発明によれば、情報処理装置は、ユーザにより指定された画像の特徴量に基づいて、指定された画像に類似する画像を検索する。検索された画像の少なくとも1つが表示される。指定された画像に類似する画像が表す商品は、指定された画像が表す商品が属するカテゴリーと同じカテゴリーに属する可能性がある。その理由は、指定された画像が表す商品が属するカテゴリーはその商品の特徴に関連し、指定された画像の特徴は、その商品の外観に関する特徴を表している可能性があるからである。表示された少なくとも1の画像の中から何れかの画像がユーザにより選択された場合、情報処理装置は、指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を、選択された画像に対応する商品識別情報に対応付けて記憶手段に追加して記憶させる。指定された画像に類似する画像の中から選択された画像が表す商品は、指定された画像が表す商品が属するカテゴリーと同じカテゴリーに属する蓋然性が高い。その理由は、ユーザは、ユーザが指定した画像が表す商品の外観の特徴と同じ特徴を有する商品を表す画像を選択する蓋然性が高いからである。従って、ユーザによる選択に応じて適切なカテゴリーが、選択された商品に自動的に対応付けられる。そのため、商品にカテゴリーを対応付ける手間を削減することができる。
また、この発明によれば、ユーザは身体を表す画像の上に衣服を表す画像を描く。情報処理装置は、描かれた画像が表す衣服が、表示された画像が表す身体の何れの部位をカバーするかに基づいて、形状において、描かれた画像が表す衣服に対応するカテゴリーを示すカテゴリー情報を取得する。衣服の形状は、その衣服が身体のうち何れの部分をカバーするかに関連するので、情報処理装置は、適切な形状を示すカテゴリーを、選択された商品に対応付けることができる。
請求項3に記載の発明は、ユーザにより指定された画像を取得する画像取得手段と、前記指定された画像の特徴量を抽出する抽出手段と、それぞれ商品を分類するための複数のカテゴリーが属する複数の区分の少なくとも1つの区分について、該区分に属する複数のカテゴリーのうち前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段であって、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段であって、前記取得されたカテゴリー情報が示すカテゴリーが属する区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に記憶されていない場合、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、を備えることを特徴とする。
この発明によれば、情報処理装置は、ユーザにより指定された画像の特徴量に基づいて、指定された画像に類似する画像を検索する。検索された画像の少なくとも1つが表示される。指定された画像に類似する画像が表す商品は、指定された画像が表す商品が属するカテゴリーと同じカテゴリーに属する可能性がある。その理由は、指定された画像が表す商品が属するカテゴリーはその商品の特徴に関連し、指定された画像の特徴は、その商品の外観に関する特徴を表している可能性があるからである。表示された少なくとも1の画像の中から何れかの画像がユーザにより選択された場合、情報処理装置は、指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を、選択された画像に対応する商品識別情報に対応付けて記憶手段に追加して記憶させる。指定された画像に類似する画像の中から選択された画像が表す商品は、指定された画像が表す商品が属するカテゴリーと同じカテゴリーに属する蓋然性が高い。その理由は、ユーザは、ユーザが指定した画像が表す商品の外観の特徴と同じ特徴を有する商品を表す画像を選択する蓋然性が高いからである。従って、ユーザによる選択に応じて適切なカテゴリーが、選択された商品に自動的に対応付けられる。そのため、商品にカテゴリーを対応付ける手間を削減することができる。
また、この発明によれば、選択された画像が表す商品に対して未だカテゴリーが対応付けられていない区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、指定された画像が表す商品に対応して取得された場合、情報処理装置は、取得されたカテゴリー情報を記憶手段に記憶させる。従って、複数の区分のうち少なくとも1つ区分について商品にカテゴリーが対応付けられていない場合、情報処理装置は、その区分のカテゴリーを自動的に商品に対応付けることができる。
請求項に記載の発明は、請求項1乃至3の何れか1項に記載の情報処理装置において、前記表示制御手段は、前記表示された検索結果から前記ユーザにより何れかの画像が選択された後に検索結果を再表示させるとき、該選択された画像の特徴量に基づいて、前記検索された画像のうち該選択された画像に類似する画像を優先的に表示させることを特徴とする。
選択された画像が表す商品の外観の特徴が同一又は類似する商品をユーザは更に所望する蓋然性がある。この発明によれば、情報処理装置は、指定された画像に類似する画像のうち選択された画像に類似する画像を優先的に表示させる。これにより、情報処理装置は、指定された画像に類似する画像の中でも、特にユーザが所望する蓋然性が高い商品を表す画像を優先的に表示させることができる。
請求項5に記載の発明は、請求項1乃至4の何れか1項に記載の情報処理装置において、前記記憶手段は、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶し、前記表示制御手段は、前記指定された画像に類似する画像のうち、前記取得されたカテゴリー情報に合致するカテゴリー情報に対応する画像を優先的に表示させることを特徴とする。
この発明によれば、情報処理装置は、記憶手段に記憶されたカテゴリー情報を参照して、指定された画像に類似する画像のうち、指定された画像が表す商品に対応するカテゴリーと同じカテゴリーに対応する商品の画像を優先的に表示させる。これにより、情報処理装置は、指定された画像に類似する画像の中でも、特にユーザが所望する蓋然性が高い商品を表す画像を優先的に表示させることができる。
請求項に記載の発明は、請求項1乃至の何れか1項に記載の情報処理装置において、前記記憶手段は、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶し、前記記憶制御手段は、前記取得されたカテゴリー情報が示すカテゴリーと排他的なカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に既に記憶されている場合、前記記憶手段に記憶されるカテゴリー情報を前記既に記憶されているカテゴリー情報から前記取得されたカテゴリー情報に変更することを特徴とする。
選択された画像が表す商品が互いに排他的な2つのカテゴリーの両方に属すと仮定すると矛盾が生じる。この場合、選択された画像が表す商品に既に対応付けられているカテゴリーは誤ったカテゴリーである蓋然性がある。この発明によれば、指定画像が表す商品に対応するカテゴリーと選択された画像が表す商品に既に対応付けられているカテゴリーが排他的である場合、情報処理装置は、選択された商品に対応付けられるカテゴリーを、指定画像が表す商品に対応するカテゴリーに変更する。従って、情報処理装置は、誤って商品に対応付けられたカテゴリーを修正することができる。
請求項に記載の発明は、請求項1乃至の何れか1項に記載の情報処理装置において、前記指定された画像が複数の商品を表す可能性があるか否かを判定する判定手段を更に備え、前記抽出手段は、前記指定された画像が1つの商品を表しているという仮定の下で該画像の特徴量を抽出し、前記指定された画像が複数の商品を表す可能性があると判定された場合、更に該複数の商品のそれぞれについて、前記指定された画像のうち商品を表す画像部分の特徴量を抽出し、前記検索手段は、前記指定された画像の特徴量に基づいて、前記指定された画像に類似する画像を検索し、前記指定された画像が複数の商品を表す可能性があると判定された場合、更に商品を表す画像部分ごとに、画像部分の特徴量に基づいて該画像部分に類似する画像を検索することを特徴とする。
この発明によれば、情報処理装置は、指定された画像が1つの商品を表しているという仮定の下でその画像に類似する画像を検索する。指定された画像が複数の商品を表す可能性がある場合、情報処理装置は、更にその複数の商品のそれぞれについて、商品を表す画像部分に類似する画像を検索する。従って、ユーザが複数の商品を表す画像を描いた場合であっても、情報処理装置は、ユーザが所望する蓋然性が高い商品を表す画像を検索することができる。
請求項に記載の発明は、コンピュータにより実行される情報処理方法において、ユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得ステップと、前記指定された画像の特徴量を抽出する抽出ステップと、商品を分類するための複数のカテゴリーのうち、前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得ステップと、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索ステップと、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御ステップと、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップと、前記指定された画像の特徴量と、前記選択された画像の特徴量との間に所定条件を満たす差違がある場合、該差違を小さくする補正の内容を示す補正情報を、前記ユーザを識別するユーザ識別情報に対応付けて補正情報記憶手段に記憶させる第2記憶制御ステップと、新たに描かれた画像の特徴量が前記抽出ステップにより抽出された場合、該抽出された特徴量を、前記新たな画像を描いたユーザを識別するユーザ識別情報に対応する補正情報が示す内容で補正する補正ステップと、を含み、前記検索ステップは、前記補正された特徴量に基づいて、前記新たな画像に類似する画像を検索することを特徴とする。
請求項9に記載の発明は、コンピュータにより実行される情報処理方法において、身体を表す画像を表示させる身体画像表示制御ステップと、前記表示された画像の上にユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得ステップと、前記指定された画像の特徴量を抽出する抽出ステップと、前記指定された画像が商品として表す衣服が前記表示された画像が表す前記身体の何れの部位をカバーするかに基づいて、商品としての衣服の形状を分類するための複数のカテゴリーのうち、前記指定された画像が表す前記衣服に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得ステップと、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索ステップと、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御ステップと、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップと、を含むことを特徴とする。
請求項10に記載の発明は、コンピュータにより実行される情報処理方法において、ユーザにより指定された画像を取得する画像取得ステップと、前記指定された画像の特徴量を抽出する抽出ステップと、それぞれ商品を分類するための複数のカテゴリーが属する複数の区分の少なくとも1つの区分について、該区分に属する複数のカテゴリーのうち前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得ステップと、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段であって、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索ステップと、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御ステップと、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップであって、前記取得されたカテゴリー情報が示すカテゴリーが属する区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に記憶されていない場合、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップと、を含むことを特徴とする。
請求項11に記載の発明は、コンピュータを、ユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、前記指定された画像の特徴量を抽出する抽出手段と、商品を分類するための複数のカテゴリーのうち、前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、前記指定された画像の特徴量と、前記選択された画像の特徴量との間に所定条件を満たす差違がある場合、該差違を小さくする補正の内容を示す補正情報を、前記ユーザを識別するユーザ識別情報に対応付けて補正情報記憶手段に記憶させる第2記憶制御手段と、新たに描かれた画像の特徴量が前記抽出手段により抽出された場合、該抽出された特徴量を、前記新たな画像を描いたユーザを識別するユーザ識別情報に対応する補正情報が示す内容で補正する補正手段と、として機能させ、前記検索手段は、前記補正された特徴量に基づいて、前記新たな画像に類似する画像を検索することを特徴とする。
請求項12に記載の発明は、コンピュータを、身体を表す画像を表示させる身体画像表示制御手段と、前記表示された画像の上にユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、前記指定された画像の特徴量を抽出する抽出手段と、前記指定された画像が商品として表す衣服が前記表示された画像が表す前記身体の何れの部位をカバーするかに基づいて、商品としての衣服の形状を分類するための複数のカテゴリーのうち、前記指定された画像が表す前記衣服に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、として機能させることを特徴とする。
請求項13に記載の発明は、コンピュータを、ユーザにより指定された画像を取得する画像取得手段と、前記指定された画像の特徴量を抽出する抽出手段と、それぞれ商品を分類するための複数のカテゴリーが属する複数の区分の少なくとも1つの区分について、該区分に属する複数のカテゴリーのうち前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段であって、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段であって、前記取得されたカテゴリー情報が示すカテゴリーが属する区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に記憶されていない場合、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、として機能させることを特徴とする。
本発明によれば、ユーザによる選択に応じて適切なカテゴリーが、選択された商品に自動的に対応付けられる。そのため、商品にカテゴリーを対応付ける手間を削減することができる。
一実施形態に係る情報処理システムSの概要構成の一例を示す図である。 一実施形態に係る電子商店街サーバ1の概要構成の一例を示すブロック図である。 データベースに記憶される内容の一例を示す図である。 身体部位の例を示す図である。 長袖Tシャツがカバーする身体部位の例を示す図である。 ミニスカートがカバーする身体部位の例を示す図である。 半袖ワンピースがカバーする身体部位の例を示す図である。 一実施形態に係る電子商店街サーバ1のシステム制御部14の機能ブロックの一例を示す図である。 一実施形態に係る情報処理システムSの処理概要の一例を示すシーケンス図である。 指定画像描画ページの一例を示す図である。 指定画像描画ページの一例を示す図である。 指定画像が表す衣服と身体部位との位置関係の一例を示す図である。 カテゴリーIDの取得の一例を示す図である。 検索結果ページの一例を示す図である。 カテゴリーIDの登録例を示す。 カテゴリーIDの登録例を示す。 一実施形態に係る電子商店街サーバ1のシステム制御部14の検索処理の一例を示すフローチャートである。 一実施形態に係る電子商店街サーバ1のシステム制御部14の特徴取得処理の一例を示すフローチャートである。 一実施形態に係る電子商店街サーバ1のシステム制御部14の画像検索処理の一例を示すフローチャートである。 一実施形態に係る電子商店街サーバ1のシステム制御部14の商品ページ送信処理の一例を示すフローチャートである。 一実施形態に係る電子商店街サーバ1のシステム制御部14のカテゴリー登録処理の一例を示すフローチャートである。 一実施形態に係る電子商店街サーバ1のシステム制御部14の記憶制御処理の一例を示すフローチャートである。 指定画像と選択された商品画像の例を示す図である。 新たに描かれた指定画像と、補正された特徴量が示す形状の特徴の例を示す図である。 会員DB12aに記憶される内容の一例を示す図である。 一実施形態に係る電子商店街サーバ1の商品ページ送信処理の一例を示すフローチャートである。 一実施形態に係る電子商店街サーバ1のシステム制御部14の特徴取得処理の一例を示すフローチャートである。 指定画像描画ページの描画領域110に描かれた指定画像の一例である。 指定画像が表す可能性がある商品を識別する例を示す図である。 検索結果ページの一例を示す図である。 一実施形態に係る電子商店街サーバ1の検索処理の一例を示すフローチャートである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、情報処理システムに対して本発明を適用した場合の実施形態である。
[1.第1実施形態]
[1−1.情報処理システムの構成及び機能概要]
先ず、本実施形態に係る情報処理システムSの構成及び機能概要について、図1を用いて説明する。図1は、本実施形態に係る情報処理システムSの概要構成の一例を示す図である。
図1に示すように、情報処理システムSは、電子商店街サーバ1と、複数の店舗端末2と、複数のユーザ端末3と、を含んで構成されている。そして、電子商店街サーバ1と各店舗端末2及び各ユーザ端末3とは、ネットワークNWを介して、例えば、通信プロトコルにTCP/IP等を用いて相互にデータの送受信が可能になっている。なお、ネットワークNWは、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局等を含む)、及びゲートウェイ等により構築されている。
電子商店街サーバ1は、商品の購入が可能な電子商店街に関する各種処理を実行するサーバ装置である。電子商店街を利用するユーザは、電子商店街において所望の店舗から所望の商品を購入することができる。本実施形態においては、電子商店街では衣服が販売される。しかしながら、本願発明はあらゆる商品に対して適用可能である。また、本発明が適用可能なウェブサイトは電子商店街に限られるものではない。例えば、単一の販売元から商品が販売される電子商取引のウェブサイトに本発明が適用されてもよい。
電子商店街サーバ1は、本発明における情報処理装置の一例である。電子商店街サーバ1は、店舗端末2やユーザ端末3からのリクエストに応じて、例えば電子商店街のウェブページを送信したり、商品の検索や注文等に関する処理を行ったりする。商品を検索するとき、ユーザは検索条件を指定することができる。検索条件として、例えばキーワード、商品のカテゴリー等が挙げられる。電子商店街サーバ1は、ユーザにより指定された検索条件に合致する商品を検索する。また、ユーザは、検索条件に相当する画像を指定することができる。検索条件として指定された画像を指定画像という。電子商店街サーバ1は、指定画像と類似する商品の画像を検索する。指定画像と類似する商品の画像を検索することは、指定画像が表す商品の外観における特徴と同一又は類似する特徴を有する商品を、画像に基づいて検索することでもある。例えば、電子商店街サーバ1は、指定画像の特徴と類似する特徴を有する商品画像を検索する。画像の特徴は、例えば画像に表された商品の形状、色、模様の特徴である。
店舗端末2は、電子商店街に出店している店舗の従業員等により利用される端末装置である。店舗端末2は、従業員等からの操作に基づいて電子商店街サーバ1等のサーバ装置にアクセスする。これにより、店舗端末2は、サーバ装置からウェブページを受信して表示する。店舗端末2には、ブラウザや電子メールクライアント等のソフトウェアが組み込まれている。従業員は、店舗端末2を利用することにより、例えば、販売する商品の情報を電子商店街に登録したり、商品の注文内容を確認したりする。従業員は、商品の情報の1つとしてカテゴリーを登録することができる。しかしながら店舗が複数の商品を扱っている場合、全ての商品にカテゴリーを対応付けることは従業員にとって手間である。そこで、電子商店街サーバ1は、ユーザにより指定された画像が表す商品に対応するカテゴリーを取得する。システム制御部14は、指定画像に類似する画像として検索された商品画像の中から、ユーザにより指定された商品画像に、取得したカテゴリーを対応付ける。これにより、従業員がカテゴリーを対応付ける作業をしなくても、自動的に商品にカテゴリーが対応付けられる。
ユーザ端末3は、電子商店街から商品を購入するユーザの端末装置である。ユーザ端末3は、ユーザからの操作に基づいて電子商店街サーバ1にアクセスすることにより、電子商店街サーバ1からウェブページを受信して表示する。ユーザは、ユーザ端末3を操作して、所望の商品を検索するための画像を指定する。例えばユーザは、所望の商品を表す指定画像を描くことができる。ユーザ端末3には、ブラウザや電子メールクライアント等のソフトウェアが組み込まれている。ユーザ端末3としては、例えば、パーソナルコンピュータ、PDA(Personal Digital Assistant)、スマートフォン等の携帯情報端末、携帯電話機等が用いられる。
[1−2.電子商店街サーバの構成]
次に、電子商店街サーバ1の構成について、図2乃至図5Cを用いて説明する。図2は、本実施形態に係る電子商店街サーバ1の概要構成の一例を示すブロック図である。図2に示すように、電子商店街サーバ1は、通信部11と、記憶部12と、入出力インターフェース13と、システム制御部14と、を備えている。そして、システム制御部14と入出力インターフェース13とは、システムバス15を介して接続されている。
通信部11は、ネットワークNWに接続して、店舗端末2やユーザ端末3等との通信状態を制御するようになっている。
記憶部12は、例えば、ハードディスクドライブ等により構成されている。記憶部12は、本発明における記憶手段及び補正情報記憶手段の例である。この記憶部12には、会員DB12a、形状カテゴリーDB12b、色カテゴリーDB12c、商品DB12e等のデータベースが構築されている。「DB」は、データベースの略語である。
図3は、データベースに記憶される内容の一例を示す図である。会員DB12aには、電子商店街に会員登録しているユーザに関する会員情報が記憶される。具体的に、会員DB12aには、ユーザID、パスワード、ニックネーム、氏名、生年月日、性別、郵便番号、住所、電話番号、電子メールアドレス、クレジットカード情報等のユーザの属性が、ユーザごとに対応付けて記憶される。
形状カテゴリーDB12b、色カテゴリーDB12c及び模様カテゴリーDB12dには、商品のカテゴリーに関する情報が記憶される。本実施形態におけるカテゴリーとして、形状、色及び模様の3区分又は3種類のカテゴリーが存在する。カテゴリーの区分をカテゴリー区分ともいう。本実施形態では、これらのデータベースにより電子商店街全体に共通して使用されるカテゴリーが定義される。しかしながら、店舗ごとにカテゴリーが定義されてもよい。
形状カテゴリーDB12bには、衣服の形状を分類すためのカテゴリーに関する形状カテゴリー情報が記憶されている。具体的に、形状カテゴリーDB12bには、形状カテゴリー情報として、カテゴリーID、カテゴリー名、カテゴリーのレベル、親カテゴリーID、子カテゴリーIDリスト、身体カバー情報等のカテゴリーの属性が、形状に関するカテゴリーごとに対応付けて記憶される。形状カテゴリー情報は、例えば、電子商店街の管理者により設定される。
形状に関するカテゴリーは、木構造で階層的に定義されていてもよい。具体的に、木構造の各ノードが、カテゴリーに相当する。ノードの深さが、そのノードに相当するカテゴリーのレベル(階層)に相当する。ノードの深さは、根に位置するノード(以下、「根ノード」という)からの距離である。レベルの値が大きいほど、そのノードの深さが深く、レベルの値が小さいほど、そのノードの深さが浅い。根ノードが有する子ノードに相当するカテゴリーがレベル1のカテゴリーである。レベル1のカテゴリーが最上位のカテゴリーである。レベル1の各カテゴリーに対しては、子ノードに相当するカテゴリーが、レベル2のカテゴリーとして定義されている。ここで、或るカテゴリーJ1の子ノードに相当するカテゴリーJ2を、カテゴリーJ1の「子カテゴリー」という。また、このときのカテゴリーJ1を、カテゴリーJ2の「親カテゴリー」という。子カテゴリーは、親カテゴリーを更に複数に区分したときに、同じような商品が属する範囲である。従って、子カテゴリーは親カテゴリーに属する。或るカテゴリーの祖先ノードに相当するカテゴリーを、「祖先カテゴリー」という。例えば、カテゴリーJ3がカテゴリーJ2の子カテゴリーであるとする。この場合、カテゴリーJ1及びJ2は、それぞれカテゴリーJ3の祖先カテゴリーである。カテゴリーJ3の商品は、カテゴリーJ3に属するとともに、カテゴリーJ3の祖先カテゴリーにも属する。従って、カテゴリーJ3の商品は、カテゴリーJ1〜J3の何れにも属する。或るカテゴリーの子孫ノードに相当するカテゴリーを、「子孫カテゴリー」という。カテゴリーJ2及びJ3は、カテゴリーJ1の子孫カテゴリーである。
レベル1のカテゴリーとして、例えばレディースファッション、メンズファッション等がある。レディースファッションの子カテゴリーとして、例えばトップス、ボトムス、ワンピース、アウター等がある。トップスの子カテゴリーとして、例えば、Tシャツ、ポロシャツ、カットソー等がある。Tシャツの子カテゴリーとして、例えば半袖Tシャツ、長袖Tシャツ、七分袖Tシャツ等がある。ボトムスの子カテゴリーとして、例えばスカート、パンツ、ジーンズ等がある。スカートの子カテゴリーとして、例えばミニスカート、ひざ丈スカート、ロングスカート等がある。
カテゴリーIDは、注目するカテゴリーの識別情報である。カテゴリー名は、「トップス」、「ワンピース」などの形状名である。親カテゴリーIDは、注目するカテゴリーの親カテゴリーのカテゴリーIDである。子カテゴリーIDリストは、注目するカテゴリーの子カテゴリーのカテゴリーIDのリストである。子カテゴリーIDリストは、注目するカテゴリーが子カテゴリーを有する場合に設定される。
身体カバー情報は、人間の身体のうち、注目するカテゴリーが示す形状の衣服が覆う範囲を示す情報である。身体カバー情報には、身体部位ごとに、身体部位ID及びカバーフラグが対応付けて格納されている。身体部位IDは、身体部位の識別情報である。カバーフラグは、身体部位IDが示す身体部位が衣服によって覆われるか否かを示す。衣服によって覆われる場合、カバーフラグがTRUEに設定され、衣服によって覆われていない場合、カバーフラグがFALSEに設定される。
図4は、身体部位の例を示す図である。図4に示すように、身体画像Bの上に身体部位P1〜P33の位置が定義される。身体画像Bは、人間の身体を表す画像である。商品の画像検索の際、ユーザ端末3のディスプレイに身体画像Bが表示される。ユーザは、身体画像B上に、所望の衣服を表す指定画像を描くことができる。身体部位として、例えば頭部P1、顔P2、喉P3、胴体の上部から下部までの身体部位P4〜P9、左肩から左手までの身体部位P10〜P15、右肩から右手までの身体部位P16〜P21、左太股の付け根からかかとまでの身体部位P22〜P27、右太股の付け根からかかとまでの身体部位P28〜P33がある。本実施形態においては、身体部位P1〜P33に対してカバーフラグが設定されている。しかしながら、身体部位P1〜P33以外の身体部位にカバーフラグが設定されてもよい。情報処理システムSの管理者は、何れの身体部位に対してカバーフラグを設定するかを自由に決めてもよい。
図5Aは、長袖Tシャツがカバーする身体部位の例を示す図である。長袖Tシャツは、胴体の上部P4〜下腹部P8、左肩10〜くるぶしP14、右肩P16〜くるぶしP20をカバーする。従って、身体部位P4〜P8、P10〜P14、P16〜P20のそれぞれに対応するカバーフラグはTRUEである。身体部位P1〜P3、P9、P15、P21〜P33のそれぞれに対応するカバーフラグはFALSEである。
図5Bは、ミニスカートがカバーする身体部位の例を示す図である。ミニスカートは、胴体下部P9、左太股の付け根P22、及び左太股P23、右太股の付け根P28、及び左太股P29をカバーする。
図5Cは、半袖ワンピースがカバーする身体部位の例を示す図である。半袖ワンピースは、胴体の上部P4〜下部P9、左肩P11、左上腕P12、右方P16、右上腕P17、左太股の付け根P22〜膝P24、右太股の付け根P28〜膝P30をカバーする。
色カテゴリーDB12cには、衣服の色を分類すためのカテゴリーに関する色カテゴリー情報が記憶されている。具体的に、色カテゴリーDB12cには、色カテゴリー情報として、カテゴリーID、カテゴリー名が色のカテゴリーごとに対応付けて記憶される。色カテゴリー情報は、例えば、電子商店街の管理者により設定される。カテゴリーIDは、注目するカテゴリーの識別情報である。カテゴリー名は、「赤」、「青」、「緑」などの色名である。カテゴリー名が示す色は、例えば衣服の代表的な色又は支配的な色であってもよい。衣服の代表的な色又は支配的な色は、例えば複数の色であってもよい。例えば、衣服の主な色が赤と青である場合、カテゴリー名は「赤青」であってもよい。
模様カテゴリーDB12dには、模様の色を分類すためのカテゴリーに関する模様カテゴリー情報が記憶されている。具体的に、模様カテゴリーDB12dには、模様カテゴリー情報として、カテゴリーID、カテゴリー名、模様の特徴量が模様のカテゴリーごとに対応付けて記憶される。模様カテゴリー情報は、例えば、電子商店街の管理者により設定される。カテゴリーIDは、注目するカテゴリーの識別情報である。カテゴリー名は、「無地」、「チェック」、「ストライプ」、「ボーダー」、「水玉」などの模様名である。カテゴリー名が示す模様は、例えば衣服の代表的な模様又は支配的な模様であってもよい。模様の特徴量は、画像において、注目するカテゴリーが示す模様の特徴を示す情報である。例えば、模様を表す典型的な画像が解析されることにより、その画像から特徴量が抽出される。
商品DB12eには、電子商店街で販売されている商品に関する商品情報が記憶される。商品情報は、店舗により登録される情報を含む。具体的に、商品DB12eには、商品情報として、店舗ID、商品ID、形状のカテゴリーID、色のカテゴリーID、模様のカテゴリーID、商品名、商品画像、特徴量等が、店舗が販売する商品ごとに対応付けて記憶される。店舗IDは、商品の販売元の店舗を示す。商品IDは、店舗が、販売する商品を管理するための商品の識別情報である。カテゴリーIDは、商品に割り当てられたカテゴリーを示す。情報処理システムSにおいては、1つの商品に対して、形状、色及び模様のそれぞれのカテゴリーを割り当てることが可能である。店舗は、形状、色及び模様の全てのカテゴリーIDを登録してもよいし、これらのうち少なくとも1つのカテゴリーIDを登録してもよい。或いは、店舗は、カテゴリーIDを全く登録しなくてもよい。商品画像は商品を表す画像である。特徴量は、商品画像の特徴を示す。例えば、商品DB12eに商品画像が記憶されると、システム制御部14は、記憶された商品画像を解析して特徴量を抽出する。システム制御部14は、例えば公知の方法を用いて特徴量を抽出してもよい。システム制御部14は、指定画像に類似する商品画像を、特徴量を用いて検索する。商品DB12eに記憶される特徴量は、例えば形状、色及び模様のそれぞれの特徴量であってもよい。また例えば、1つの特徴量が、複数種類の特徴を示してもよい。例えば、商品DB12eに、形状及び色の特徴を同時に示す特徴量と、模様の特徴を示す特徴量が記憶されてもよいし、形状の特徴を示す特徴量と、形状及び模様の特徴を同時に示す特徴量が記憶されてもよい。また例えば、商品DB12eに、形状、色及び模様の特徴を同時に示す特徴量が記憶されてもよい。
本実施形態においては、形状、色及び模様の3区分のカテゴリーの登録が可能であり、形状、色及び模様の3個の特徴を示す1又は複数の特徴量が画像の検索に用いられる。しかしながら、1又は2区分のカテゴリーのみが登録が可能であって、カテゴリーに対応して1又は2個の特徴のみを示す1又は複数の特徴量が画像の検索に用いられてもよい。
記憶部12には、更にウェブページを表示するための各種データ、例えばHTML(HyperText Markup Language)文書、XML(Extensible Markup Language)文書、画像データ、テキストデータ、電子文書等が記憶されている。また、記憶部12には、各種の設定値が記憶されている。
また、記憶部12には、オペレーティングシステム、DBMS(Database Management System)、サーバプログラム等の各種プログラムが記憶されている。サーバプログラムは、電子商店街に関する各種処理をシステム制御部14に実行させるプログラムである。サーバプログラムがシステム制御部14に実行させる処理は、商品の画像の検索を含む。なお、各種プログラムは、例えば、他のサーバ装置等からネットワークNWを介して取得されるようにしてもよいし、磁気テープ、光ディスク、メモリカード等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。また、サーバプログラム等は、プログラム製品であってもよい。
入出力インターフェース13は、通信部11及び記憶部12とシステム制御部14との間のインターフェース処理を行うようになっている。
システム制御部14は、CPU(Central Processing Unit)14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c等により構成されている。CPU14aは、プロセッサの一例である。なお、本発明は、CPUと異なる様々なプロセッサに対しても適用可能である。記憶部12、ROM14b及びRAM14cは、それぞれメモリの一例である。なお、本発明は、ハードディスク、ROM及びRAMと異なる様々なメモリに対しても適用可能である。
なお、電子商店街サーバ1が、複数のサーバ装置で構成されてもよい。例えば、電子商店街において商品の注文等の処理を行うサーバ装置、店舗端末2やユーザ端末3からのリクエストに応じてウェブページを送信するサーバ装置、商品を検索するサーバ装置、及びデータベースを管理するサーバ装置等が、互いにLAN等で接続されてもよい。
[1−3.システム制御部の機能概要]
次に、図6乃至図13Bを用いて、システム制御部14の機能概要について説明する。図6は、本実施形態に係る電子商店街サーバ1のシステム制御部14の機能ブロックの一例を示す図である。図7は、本実施形態に係る情報処理システムSの処理概要の一例を示すシーケンス図である。システム制御部14は、CPU14aが、サーバプログラム等のプログラムに含まれる各種プログラムコードを読み出し実行することにより、図6に示すように、指定画像取得部141、特徴量抽出部142、カテゴリー取得部143、検索部144、カテゴリー登録部145等として機能する。指定画像取得部141は、本発明における身体画像表示制御手段及び画像取得手段の例である。特徴量抽出部142は、本発明における抽出手段、第2記憶制御手段及び補正手段の例である。カテゴリー取得部143は、本発明におけるカテゴリー情報取得手段の一例である。検索部144は、本発明における検索手段、表示制御手段の例である。カテゴリー登録部145は、本発明における記憶制御手段の一例である。
指定画像取得部141は、ユーザ端末3から指定画像を取得する。例えば、指定画像取得部141は、指定画像描画ページをユーザ端末3へ送信する(図7のステップS1)。指定画像描画ページは、身体画像Bを表示するウェブページであり、商品画像の検索に用いられる指定画像をユーザが描くためのウェブページである。例えば、ユーザ端末3が電子商店街にアクセスすると、システム制御部14は、電子商店街のトップページをユーザ端末3へ送信する。トップページにおいて、ユーザは、キーワード、カテゴリー等の、商品を検索するための検索条件を指定することができる。また、トップページには、指定画像描画ページへのリンクが埋め込まれている。ユーザがこのリンクを選択すると、指定画像取得部141は、指定画像描画ページをユーザ端末3へ送信する。これにより、指定画像取得部141は、身体画像Bをユーザ端末3により表示させる。なお、指定画像取得部141は、身体画像を表示させなくてもよい。特に、本発明が衣服と異なる商品に適用される場合、身体画像の表示は不要である。
図8及び図9は、指定画像描画ページの一例を示す図である。図8に示すように、指定画像描画ページは、描画領域110、色選択領域120、太さ選択領域130、OKボタン140等を含む。描画領域110には身体画像Bが表示される。ユーザは、描画領域110内に指定画像を描くことができる。例えばユーザは、身体画像Bの上に、衣服を表す画像を指定画像として描く。色選択領域120には複数の色が表示される。ユーザは、色選択領域120に表示される複数の色の中から指定画像を描くための色を選択することができる。太さ選択領域130には、複数のブラシの太さを示す領域が表示される。ユーザは、太さ選択領域130に表示される複数の領域が示す太さの中から指定画像を描くためのブラシの太さを選択することができる。ユーザは、例えばマウス、キー、タッチパネル等を操作することにより、選択された色及び太さの点又は線を描画領域110内に描く。この動作を繰り返すことにより、ユーザは指定画像を描く(ステップS2)。例えば、図9において描かれている指定画像160は、赤と白のボーダー柄の長袖Tシャツである。少なくともユーザはそのような衣服を描いたと考えている。指定画像描画ページは、例えば複数の模様の中から指定画像の模様を選択するための領域、衣服のパーツを選択するための領域等が含まれてもよい。
OKボタン140は、描かれた指定画像で商品画像の検索を要求するためのボタンである。ユーザがOKボタン140を選択すると、ユーザ端末3は、画像検索要求を電子商店街サーバ1へ送信する(ステップS3)。画像検索要求は、指定画像、及び指定画像を描いたユーザのユーザIDを含む。こうして、指定画像取得部141は、指定画像を取得する。
なお、指定画像取得部141は、例えばカメラで撮影された画像やインターネットから取得された画像などの、ユーザが描いていない画像をユーザ端末3から指定画像として取得してもよい。
特徴量抽出部142は、指定画像取得部141により取得された指定画像から特徴量を抽出する(ステップS4)。指定画像から抽出される特徴量は、主として商品画像を検索するために用いられる。従って、特徴量抽出部142は、商品DB12eに登録されている特徴量と同じ種類の特徴量を指定画像から抽出してもよい。
カテゴリー取得部143は、複数のカテゴリーのうち、指定画像取得部141により取得された指定画像が表す商品に対応するカテゴリーを示すカテゴリーIDを取得する(ステップS5)。カテゴリー取得部143は、カテゴリー区分ごとにカテゴリーIDを取得する。本実施形態においては、カテゴリー情報としてカテゴリーIDが取得される。しかしながら、カテゴリー取得部143は、カテゴリー名をカテゴリー情報として取得してもよい。
形状の場合、カテゴリー取得部143は、例えば指定画像が表す衣服が、身体画像Bが表す身体の何れの部位をカバーするかに基づいて、指定画像が表す衣服の形状に対応するカテゴリーIDを取得してもよい。このとき、カテゴリー取得部143は、形状カテゴリーDB12bに登録されている身体カバー情報を用いてもよい。具体的に、カテゴリー取得部143は、身体部位P1〜P33のうち、指定画像が表す衣服が何れの身体部位をカバーしているかを特定する。カテゴリー取得部143は、例えばカテゴリーごとに、指定画像が表す衣服がカバーする範囲と、そのカテゴリーに対応する身体カバー情報が示す範囲とを比較する。そして、カテゴリー取得部143は、カテゴリーごとに身体をカバーする範囲の一致度を計算する。例えば、カバーフラグがTRUEである身体部位のうちカバーされている身体部位の数が多いほど一致度が高くなる。更にカバーフラグがFALSEである身体部位のうちカバーされていない身体部位の数が多いほど一致度が高くなる。カテゴリー取得部143は、一致度が最も高い身体カバー情報に対応するカテゴリーを、指定画像が表す衣服の形状に対応するカテゴリーに決定する。なお、カテゴリー取得部143は、身体をカバーする範囲の一致度が所定値以上である形状が存在しない場合、形状のカテゴリーを取得しなくてもよい。
図10は、指定画像が表す衣服と身体部位との位置関係の一例を示す図である。図9に示された指定画像160は、身体部位P1〜P33のうち、身体部位P4〜P8、P10〜P14、P16〜P20のみをカバーしている。例えば図5A〜図5Cに示す長袖Tシャツ、ミニスカート、半袖ワンピースの身体カバー情報の中では、長袖Tシャツの身体カバー情報に対する一致率が最も高くなる。従って、カテゴリー取得部143は、指定画像160に対応して、長袖TシャツのカテゴリーIDを取得する。
本実施形態では、カテゴリー取得部143は、全ユーザ共通の身体画像Bを用いて、形状を示すカテゴリーIDを取得する。しかしながら、ユーザ自らが身体画像を用意してもよい。例えばユーザ端末3に記憶されている身体画像をユーザが指定すると、ユーザ端末3は、描画領域110内に指定された身体画像を表示してもよい。ユーザが身体画像を描いてOKボタン140を選択すると、ユーザ端末3は、指定画像及び身体画像を含む画像検索要求を電子商店街サーバ1へ送信する。カテゴリー取得部143は、身体画像を解析することにより、身体画像が表す各身体部位の座標を特定する。カテゴリー取得部143は、特定した座標に基づいて、身体画像が表す身体のうち指定画像が表す衣服がカバーする範囲を特定する。
特徴量抽出部142により形状を少なくとも示す特徴量が取得されている場合、カテゴリー取得部143は、この特徴量に基づいて、指定画像が表す衣服の形状に対応するカテゴリーIDを取得してもよい。
色の場合、カテゴリー取得部143は、例えば特徴量抽出部142により取得された、色を少なくとも示す特徴量に基づいて、指定画像が表す衣服の色に対応するカテゴリーIDを取得してもよい。例えば、カテゴリー取得部143は、特徴量に基づいて、指定画像が表す衣服の代表的な色を決定する。カテゴリー取得部143は、決定した色に対応するカテゴリーIDを色カテゴリーDB12cから取得する。なお、カテゴリー取得部143は、代表的な色を特定することができなかった場合、色のカテゴリーIDを取得しなくてもよい。
模様の場合、カテゴリー取得部143は、例えば特徴量抽出部142により取得された、模様を少なくとも示す特徴量に基づいて、指定画像が表す衣服の色に対応するカテゴリーIDを取得してもよい。例えば、カテゴリー取得部143は、指定画像の模様の特徴量と、模様カテゴリーDB12dに登録されている特徴量とを比較してもよい。そしてカテゴリー取得部143は、カテゴリーごとに特徴量の一致度を計算する。カテゴリー取得部143は、特徴量の一致度が最も高いカテゴリーを、指定画像が表す衣服の模様に対応するカテゴリーに決定する。なお、カテゴリー取得部143は、特徴量の一致度が所定値以上である模様を特定することができなかった場合、色のカテゴリーIDを取得しなくてもよい。
図11は、カテゴリーIDの取得の一例を示す図である。図9に示す指定画像160の場合、カテゴリー取得部143は、形状のカテゴリーIDとして、長袖Tシャツを示すカテゴリーIDを取得する。カテゴリー取得部143は、色のカテゴリーIDとして、赤白を示すカテゴリーIDを取得する。カテゴリー取得部143は、模様のカテゴリーIDとして、ボーダーを示すカテゴリーIDを取得する。
検索部144は、特徴量抽出部142により取得された特徴量に基づいて、商品DB12eから、指定画像に類似する商品画像を検索する(ステップS6)。商品画像を検索することは、その商品画像が表す商品を検索することでもある。具体的に、検索部144は、指定画像の特徴量と商品DB12eに登録されている特徴量と比較することにより、指定画像と各商品画像との類似度を計算する。1つの商品画像に対して商品DB12eに複数種類の特徴量が登録されている場合、検索部144は、種類ごとに特徴量を比較して特徴量を計算する。そして、検索部144は種類ごとの類似度に基づいて最終的な類似度を計算する。例えば、検索部144は、計算された複数の類似度の平均値を計算してもよい。この平均値は例えば加重平均であってもよい。検索部144は、商品DB12eに登録された商品画像のうち、類似度が、予め設定された基準類似度以上である商品画像を、類似する商品画像として特定する。
検索部144は、検索された商品画像の少なくとも1つを検索結果としてユーザ端末3により表示させる。具体的に、検索部144は、検索結果ページをユーザ端末3へ送信する(ステップS7)。検索結果ページは、商品の検索結果を表示するウェブページである。図12は、検索結果ページの一例を示す図である。図12に示すように、検索結果ページは複数の商品情報表示領域210を含む。各商品情報表示領域210には、検索された商品に関する情報が表示される。商品情報表示領域210は少なくとも商品画像220を含む。商品情報表示領域210は更に商品名、価格、商品の販売元の店舗の名称等を含んでもよい。検索結果ページに表示される商品画像は、指定画像に類似する画像である。従って、表示された商品画像が示す衣服の形状、色及び模様は、ユーザが望む形状、色及び模様である蓋然性がある。しかしながら、必ずしもそうであることは限らない。例えば図9に示すような指定商品160をユーザが描いた場合、検索された商品画像の中には、赤と白のボーダー柄の長袖Tシャツを表す商品画像が多く含まれている蓋然性がある。しかしながら、検索された商品画像の中には、例えば赤と白のボーダー柄のワンピース、赤の無地の半袖Tシャツ等が含まれているかもしれない。
検索部144は、例えば指定画像との類似度が高い商品画像であるほど優先的にその商品画像が表示されるように検索結果ページを生成してもよい。例えば、検索部144は、検索された商品画像ごとに表示順位を決定してもよい。表示順位は、商品画像が検索結果として表示される優先順位を示す。検索部144は、類似度が高い商品画像であるほどその商品画像の表示順位を高くする。
検索部144は、例えば指定画像と類似する商品画像のうち、カテゴリー取得部143により取得されたカテゴリーIDに合致するカテゴリーIDに対応する商品画像を優先的にユーザ端末3により表示させてもよい。例えば、検索部144は、検索された商品画像ごとに検索スコアを計算してもよい。検索スコアは、商品画像と指定画像との関連性の高さを示す。例えば検索部144は、指定画像との類似度に応じたスコアを計算する。類似度が高いほどこのスコアは高くなる。更に検索部144は、形状、色、模様の3区分のそれぞれについて、商品画像に対応するカテゴリーIDとカテゴリー取得部143により取得されたカテゴリーIDとが一致するか否かを判定する。カテゴリーIDが一致する場合、検索部144は、計算したスコアに所定値を加算する。こうして、検索部144は、各商品画像の検索スコアを計算する。検索部144は、検索スコアが高い商品画像であるほどその商品画像の表示順位を高くする。或いは、検索部144は、対応する形状、色、模様のカテゴリーIDのうち、カテゴリー取得部143により取得されたカテゴリーIDと一致するカテゴリーIDの数が多い商品画像ほど、その商品画像の表示順位を高くしてもよい。或いは、検索部144は、指定画像と類似する商品画像のうち、形状、色、模様のカテゴリーIDの少なくとも何れか1つがカテゴリー取得部143により取得された何れかのカテゴリーIDと一致する商品画像のみをユーザ端末3により表示させてもよい。
ユーザ端末3により表示された検索結果ページに含まれる商品情報表示領域210の中から何れかの商品情報表示領域210の商品画像220又は商品名をユーザが選択する(ステップS8)。商品画像220又は商品名を選択することは、その商品画像が表す商品を選択することでもある。商品画像が選択されると、ユーザ端末3は商品ページ要求を電子商店街サーバ1へ送信する(ステップS9)。商品ページ要求は、選択された商品画像の商品ID及び選択したユーザのユーザIDを含む。検索部144は、ユーザ端末3から受信した商品ページ要求に含まれる商品IDに対応する商品ページをユーザ端末3へ送信する(ステップS10)。商品ページは、特定の商品の詳細な情報を表示するウェブページである。例えば商品ページは、商品名、商品画像、価格、商品の説明等を含む。
カテゴリー登録部145は、ユーザ端末3により表示された検索結果から何れかの商品画像がユーザにより選択された場合、検索された商品画像に対応する商品IDに対応付けて、カテゴリー取得部143により取得されたカテゴリーIDを、商品DB12eに記憶させる(ステップS11)。これにより自動的に商品にカテゴリーが対応付けられる。指定画像から抽出された特徴量は、指定画像が表す商品の外観の特徴を示す蓋然性がある。指定画像が表す商品の特徴は、ユーザが所望する蓋然性がある商品の特徴である。従って、カテゴリー取得部143により取得されたカテゴリーIDは、ユーザが所望する蓋然性がある商品の特徴を示すカテゴリーである。検索結果に含まれる商品画像は、指定画像に類似する。従って、検索された商品画像が表す商品の特徴は、指定画像が表す商品の特徴と一致又は類似する可能性がある。ユーザは検索結果から所望の特徴を有する商品を探すので、検索結果からユーザが選択した商品画像が表す商品の特徴は、ユーザが所望する蓋然性がある特徴である。従って、カテゴリー取得部143により取得されたカテゴリーIDが示すカテゴリーは、ユーザが選択した商品画像が表す商品が属するカテゴリーとして適切である蓋然性が高い。そのため、ユーザによる商品画像の選択に応じて、選択された商品画像が表す商品に、適切なカテゴリーが自動的に対応付けられる。
ユーザが商品画像を選択する前から既にその商品画像の商品IDに対応付けてカテゴリーIDが商品DB12eに記憶されているかもしれない。カテゴリー取得部143により取得されたカテゴリーIDが示すカテゴリーが属するカテゴリー区分と同じカテゴリー区分に属するカテゴリーを示すカテゴリーIDが商品DB12eに記憶されていない場合、カテゴリー登録部145は、取得されたカテゴリーIDを商品DB12eに登録してもよい。これにより、カテゴリー登録部145は、今まで不足していたカテゴリー区分のカテゴリーを商品に対応付けることができる。
図13Aは、カテゴリーIDの登録例を示す。図13Aが示す例において、選択された商品画像の商品IDに対応付けて商品DB12eには、半袖Tシャツを示すカテゴリーID、及び赤白を示すカテゴリーIDが既に登録されている。カテゴリー取得部143は、指定画像に基づいて長袖Tシャツを示すカテゴリーID、赤白を示すカテゴリーID及びボーダーを示すカテゴリーIDを取得した。商品DB12eには模様のカテゴリーIDは未だ登録されていない。従って、カテゴリー登録部145は、ボーダーを示すカテゴリーIDを新たに商品DB12eに登録する。形状のカテゴリーID及び色のカテゴリーIDは変更されない。
また、カテゴリー取得部143により取得されたカテゴリーIDが示すカテゴリーと排他的なカテゴリーを示すカテゴリーを示すカテゴリーIDが商品DB12eに既に記憶されている場合、カテゴリー登録部145は、商品DB12eに記憶されるカテゴリーIDを、既に記憶されているカテゴリーIDからカテゴリー取得部143により取得されたカテゴリーIDに変更する。これにより、店舗により商品に対応付けられたカテゴリーが誤ったカテゴリーである場合、カテゴリー取得部143は、その誤りを自動的に修正することができる。1つの商品が2つのカテゴリーに同時に属することが通常あり得ない場合、すなわち矛盾する場合、これらのカテゴリーは互いに排他的である。従って、取得されたカテゴリーIDが示すカテゴリーと排他的なカテゴリーを示すカテゴリーを示すカテゴリーIDが商品DB12eに既に記憶されている場合、既に記憶されているカテゴリーIDは店舗により誤って登録された蓋然性がある。
図13Bは、カテゴリーIDの登録例を示す。図13Bが示す例において、選択された商品画像の商品IDに対応付けて商品DB12eには、半袖Tシャツを示すカテゴリーID、赤白及びチェックを示すカテゴリーIDが既に登録されている。カテゴリー取得部143は、指定画像に基づいて長袖Tシャツを示すカテゴリーID、赤グレーを示すカテゴリーID及びボーダーを示すカテゴリーIDを取得した。選択された商品が半袖Tシャツであることと長袖Tシャツであることは矛盾する。従って、カテゴリー登録部145は、商品DB12eに記憶される形状のカテゴリーIDを、半袖Tシャツを示すカテゴリーIDから長袖Tシャツを示すカテゴリーに変更する。選択された商品の色が赤と白であることと赤とグレーであることは一般的に矛盾する。従って、カテゴリー登録部145は、商品DB12eに記憶される色のカテゴリーIDを、赤白を示すカテゴリーIDから赤グレーを示すカテゴリーに変更する。選択された商品の模様がチェックであることとボーダーであることは一般的に矛盾する。従って、カテゴリー登録部145は、商品DB12eに記憶される色のカテゴリーIDを、チェックを示すカテゴリーIDから赤グレーを示すカテゴリーに変更する。
形状のカテゴリーは、形状カテゴリーDB12bが示すように木構造で階層的に定義されている。この場合、カテゴリー登録部145は、2つのカテゴリーが排他的であるか否かを、木構造におけるこれらのカテゴリーの位置関係に基づいて判定可能である。具体的に、2つのカテゴリーの関係が祖先と子孫の関係ではない場合、これらのカテゴリーは基本的に排他的である。例えば上述の半袖Tシャツと長袖Tシャツとの関係は祖先と子孫の関係ではない。また例えば、トップスとパンツの関係は祖先と子孫の関係ではない。また例えば、Tシャツとカットソーの関係は兄弟関係であり、祖先と子孫の関係ではない。一方、2つのカテゴリーが一致するか又はこれらのカテゴリーの関係が祖先と子孫の関係である場合、これらのカテゴリーは排他的ではない。例えば、Tシャツはトップスの子であるので、これらのカテゴリーの関係は祖先と子孫の関係である。1つの商品がTシャツであることとトップスであることとは矛盾しない。ミニスカートはボトムスの孫である。これらの場合、カテゴリー登録部145は、商品DB12eに記憶されているカテゴリーIDを変更する必要はない。しかしながら、カテゴリー取得部143により取得されたカテゴリーIDが示すカテゴリーの祖先のカテゴリーを示すカテゴリーIDが既に商品DB12eに記憶されている場合、カテゴリー登録部145は、商品DB12eに記憶されるカテゴリーIDをカテゴリー取得部143により取得されたカテゴリーIDに変更してもよい。例えば、カテゴリーがトップスからTシャツに変更されてもよい。すなわち、商品に対応付けられるカテゴリーが、より具体的なカテゴリーに変更される。
色及び模様のカテゴリーは階層的には定義されていない。この場合において、カテゴリー登録部145は、2つのカテゴリーが異なるとき、これらのカテゴリーは排他的であると判定してもよい。
なお、カテゴリー登録部145は、カテゴリー取得部143により取得されたカテゴリーIDが示すカテゴリーが属するカテゴリー区分と同じカテゴリー区分に属するカテゴリーを示すカテゴリーIDが商品DB12eに記憶されている場合、無条件で、商品DB12eに記憶されカテゴリーIDを、既に記憶されているカテゴリーIDから、取得されたカテゴリーIDに変更してもよい。
ユーザ端末3がディスプレイに商品ページを表示しているとき、ユーザが検索結果ページを再表示するための操作をする。すると、ユーザ端末3は、検索結果ページ再要求を電子商店街サーバ1へ送信する(ステップS12)。検索部144は、検索結果ページ再要求に応じて、索結果ページをユーザ端末3へ送信する(ステップS13)。これにより、検索部144は、検索結果をユーザ端末3により表示させる。このとき、検索部144は、ステップS7で送信された検索結果ページと同一内容の検索結果ページを送信してもよい。すなわち、検索部144は、ステップS7で決定した表示順位と同じ表示順位で、検索された商品画像をユーザ端末3により表示させてもよい。或いは、検索部144は、ステップS8で選択された商品画像の特徴量に基づいて、検索された商品画像のうち、選択された商品画像に類似する画像が優先的にユーザ端末3により表示させてもよい。例えば検索部144は、選択された商品画像との類似度が高い商品画像であるほどその商品画像の表示順位を高くしてもよい。また例えば、検索部144は、検索された商品画像のうち、選択された商品画像に類似する商品画像のみが表示されるように検索結果ページを生成してもよい。
なお、検索部144は、カテゴリー検索も実行する。具体的に、ユーザ端末3のディスプレイにトップページが表示されているときにユーザがカテゴリーを検索条件として選択する。すると、ユーザ端末3は、選択されたカテゴリーを示すカテゴリーIDを含む検索要求を電子商店街サーバ1へ送信する。検索部144は、商品DB12eから、検索要求に含まれるカテゴリーIDと合致するカテゴリーIDに対応する商品情報を検索する。検索部144は、検索された商品情報に基づいて、検索結果ページを生成してユーザ端末3へ送信する。
[1−4.情報処理システムの動作]
次に、情報処理システムSの動作について、図14A及び図17を用いて説明する。
図14Aは、本実施形態に係る電子商店街サーバ1のシステム制御部14の検索処理の一例を示すフローチャートである。指定画像描画ページを表示しているユーザ端末3から画像検索要求を電子商店街サーバ1が受信したとき、システム制御部14は検索処理を実行する。
図14Aに示すように、指定画像取得部141は、ユーザ端末3から受信された画像検索要求から指定画像を取得する(ステップS21)。次いで、指定画像取得部141は、指定画像を基準画像に決定する(ステップS22)。基準画像は、次に述べる特徴取得処理及び画像検索処理のパラメータである。
次いで、システム制御部14は、特徴取得処理を実行する。図14Bは、本実施形態に係る電子商店街サーバ1のシステム制御部14の特徴取得処理の一例を示すフローチャートである。図14Bに示すように、カテゴリー取得部143は、基準画像において衣服が描かれている範囲と、身体カバー情報が示す範囲との一致度に基づいて、形状のカテゴリーIDを取得する(ステップS31)。例えば、カテゴリー取得部143は、基準画像から衣服の輪郭を特定して、衣服が描かれている範囲を特定する。また、カテゴリー取得部143は、衣服が描かれている範囲と各身体部位の座標とを比較することにより、各身体部位が、衣服が描かれている範囲に含まれているか否かを判定する。衣服が描かれている範囲に含まれている身体部位は、その衣服によりカバーされている。カテゴリー取得部143は、形状カテゴリーDB12bに登録されている身体カバー情報をカテゴリーIDごとに取得する。カテゴリー取得部143は、身体カバー情報において、カバーフラグがTRUEである身体部位のうち、基準画像において衣服が描かれている範囲にカバーされている身体部位のそれぞれに1ポイントを決定し、カバーされていない身体部位のそれぞれに0ポイントを決定する。また、カテゴリー取得部143は、カバーフラグがFALSEである身体部位のうち、基準画像において衣服が描かれている範囲にカバーされている身体部位のそれぞれに0ポイントを決定し、カバーされていない身体部位のそれぞれに1ポイントを決定する。カテゴリー取得部143は、全ポイントの合計を一致度として計算する。カテゴリー取得部143は、形状カテゴリーDB12bに登録されているカテゴリーIDのうち一致度が最も高いカテゴリーIDを取得する。
次いで、特徴量抽出部142は、基準画像から形状、色及び模様のそれぞれの特著量を抽出する(ステップS32)。次いで、特徴量抽出部142は、抽出された色の特徴量に基づいて、基準画像が表す代表的な色を特定する。そして、カテゴリー取得部143は、特定された色に対応するカテゴリーIDを色カテゴリーDB12cから取得する(ステップS33)。次いで、特徴量抽出部142は、模様カテゴリーDB12dに登録されている特徴量のうち、基準画像から抽出された特徴量との一致度が最も高い特徴量を特定する。カテゴリー取得部143は、特定された特徴量に対応するカテゴリーIDを模様カテゴリーDB12dから取得する(ステップS34)。
次いで、カテゴリー取得部143は、ステップS31、S33及びS34で取得されたカテゴリーIDを、画像検索要求に含まれるユーザIDに対応付RAM14cに記憶させ(ステップS35)、特徴取得処理を終了させる。
特徴取得処理を終えると、検索部144は、図14Aに示すように画像検索処を実行する。図15は、本実施形態に係る電子商店街サーバ1のシステム制御部14の画像検索処理の一例を示すフローチャートである。図15に示すように、検索部144は、特徴取得処理で抽出された特徴量と、商品DB12eに記憶されている特徴量とに基づいて、基準画像と商品DB12eに記憶されている各商品画像との類似度を計算する(ステップS41)。次いで、検索部144は、商品DB12eに記憶されている商品画像のうち、類似度が基準類似度以上である商品画像を検索する(ステップS42)。
次いで、検索部144は、検索された各商品画像の検索スコアを計算する(ステップS43)。例えば、検索部144は、指定画像との類似度が高いほど高い検索スコアを計算し、商品DB12eに登録されたカテゴリーIDのうちカテゴリー取得部143により取得されたカテゴリーIDと一致するカテゴリーIDの数が多いほど高い検索スコアを計算する。次いで、検索部144は、検索スコアに従って、特定された各商品画像の表示順位を決定して(ステップS44)、画像検索処理を終了させる。
画像検索処理を終えると、検索部144は、図14Aに示すように検索結果ページのHTML文書を生成する(ステップS25)。検索部144は、商品DB12eに基づいて、検索された商品画像ごとに、商品ID、商品名、商品画像を表示するためのイメージタグ、及び商品ページへのリンクを示すアンカータグ等を含むHTML文書を生成する。このとき検索部144は、表示順位が高い順に商品画像が表示されるようにHTML文書を生成する。検索部144は、生成したHTML文書をユーザ端末3へ送信して、検索処理を終了させる。
図16Aは、本実施形態に係る電子商店街サーバ1のシステム制御部14の商品ページ送信処理の一例を示すフローチャートである。検索結果ページを表示しているユーザ端末3から商品ページ要求を電子商店街サーバ1が受信したとき、システム制御部14は商品ページ送信処理を実行する。
図16Aに示すように、検索部144は、商品ページ要求からユーザID及び選択された商品画像に対応する商品IDを取得する(ステップS51)。次いで、検索部144は、取得した商品IDに対応する商品ページをユーザ端末3へ送信する(ステップS52)。
次いで、カテゴリー登録部145は、カテゴリー登録処理を実行する(ステップS53)。図16Bは、本実施形態に係る電子商店街サーバ1のシステム制御部14のカテゴリー登録処理の一例を示すフローチャートである。図16Bに示すように、カテゴリー登録部145は、RAM14cから、商品ページ要求に含まれるユーザIDに対応するカテゴリーIDを、指定画像のカテゴリーIDとして取得する(ステップS61)。次いで、検索部144は、商品DB12eから、選択された商品画像に対応する商品IDに対応するカテゴリーIDを、選択商品画像のカテゴリーIDとして取得する(ステップS62)。次いで、検索部144は、対象カテゴリー区分を「形状」に設定する(ステップS63)。次いで、検索部144は、記憶制御処理を実行する(ステップS64)。記憶制御処理において、対象カテゴリー区分のカテゴリーIDの記憶の制御が行われる。記憶制御処理の詳細は後述する。次いで、検索部144は、対象カテゴリー区分を「色」に設定して(ステップS65)、記憶制御処理を実行する(ステップS66)。次いで、検索部144は、対象カテゴリー区分を「模様」に設定して(ステップS67)、記憶制御処理を実行する(ステップS68)。そして、カテゴリー登録部145は、カテゴリー登録処理を終了させる。カテゴリー登録処理を終えると、検索部144は商品ページ送信処理を終了させる。
図17は、本実施形態に係る電子商店街サーバ1のシステム制御部14の記憶制御処理の一例を示すフローチャートである。図17に示すように、カテゴリー登録部145は、選択商品画像のカテゴリーIDのうち対象カテゴリー区分のカテゴリーIDが商品DB12eに既に記憶されているか否かを判定する(ステップS71)。このとき、カテゴリー登録部145は、対象カテゴリー区分のカテゴリーIDが商品DB12eに記憶されていると判定した場合には(ステップS71:YES)、ステップS72に進む。一方、カテゴリー登録部145は、対象カテゴリー区分のカテゴリーIDが商品DB12eに記憶されていないと判定した場合には(ステップS71:NO)、ステップS76に進む。
ステップS72において、カテゴリー登録部145は、指定画像のカテゴリーIDのうち対象カテゴリー区分のカテゴリーIDが、選択商品画像の対象カテゴリー区分のカテゴリーIDと一致するか否かを判定する。このとき、カテゴリー登録部145は、カテゴリーIDが一致すると判定した場合には(ステップS72:YES)、記憶制御処理を終了させる。一方、カテゴリー登録部145は、カテゴリーIDが一致しないと判定した場合には(ステップS72:NO)、ステップS73に進む。
ステップS73において、カテゴリー登録部145は、対象カテゴリー区分が「形状」であるか否かを判定する。このとき、カテゴリー登録部145は、対象カテゴリー区分が「形状」であると判定した場合には(ステップS73:YES)、ステップS74に進む。一方、カテゴリー登録部145は、対象カテゴリー区分が「形状」ではないと判定した場合には(ステップS73:NO)、ステップS75に進む。
ステップS74において、カテゴリー登録部145は、対象カテゴリー区分において、選択商品画像のカテゴリーIDが示すカテゴリーが、指定画像のカテゴリーIDが示すカテゴリーの子孫であるか否かを判定する。カテゴリー登録部145は、形状カテゴリーDB12bに登録されているカテゴリーID、親カテゴリーID及び子カテゴリーIDリストに基づいて、選択商品画像のカテゴリーIDが示すカテゴリーが子孫であるか否かを判定することができる。カテゴリー登録部145は、選択商品画像のカテゴリーIDが示すカテゴリーが子孫であると判定した場合には(ステップS74:YES)、記憶制御処理を終了させる。一方、カテゴリー登録部145は、選択商品画像のカテゴリーIDが示すカテゴリーが子孫ではないと判定した場合には(ステップS74:NO)、ステップS75に進む。
ステップS75において、カテゴリー登録部145は、商品DB12eから、選択商品画像のカテゴリーIDのうち対象カテゴリー区分のカテゴリーIDを削除して、ステップS76に進む。ステップS76において、カテゴリー登録部145は、指定画像のカテゴリーIDのうち対象カテゴリー区分のカテゴリーIDを商品DB12eに記憶させて、記憶制御処理を終了させる。
以上説明したように、本実施形態によれば、システム制御部14が指定画像を取得する。また、システム制御部14が指定画像の特徴量を抽出する。また、システム制御部14が商品を分類するための複数のカテゴリーのうち、指定画像が表す商品に対応するカテゴリーを示すカテゴリーIDを取得する。また、システム制御部14が、記憶部12から、抽出された特徴量に基づいて、指定画像に類似する商品画像を検索する。また、システム制御部14が、検索された商品画像の少なくとも1つを検索結果として表示させる。また、システム制御部14が、表示された検索結果からユーザにより何れかの商品画像が選択された場合、選択された商品画像に対応する商品IDに対応付けて、取得されたカテゴリーIDを記憶部12に記憶させる。従って、ユーザによる選択に応じて適切なカテゴリーが、選択された商品に自動的に対応付けられるので、商品にカテゴリーを対応付ける手間を削減することができる。
また、システム制御部14が、表示された検索結果からユーザにより何れかの商品画像が選択された後に検索結果を再表示させるとき、選択された商品画像の特徴量に基づいて、検索された商品画像のうち選択された商品画像に類似する商品画像を優先的に表示させてもよい。この場合、システム制御部14は、指定画像に類似する商品画像の中でも、特にユーザが所望する蓋然性が高い商品を表す商品画像を優先的に表示させることができる。
また、システム制御部14が、身体画像を表示させてもよい。また、システム制御部14が、表示された身体画像の上にユーザにより描かれた指定画像を取得してもよい。また、システム制御部14が、描かれた指定画像が表す衣服が、表示された身体画像が表す身体の何れの部位をカバーするかに基づいて、衣服の形状を分類するための複数のカテゴリーのうち、描かれた指定画像が表す衣服に対応するカテゴリーを示すカテゴリーIDを取得してもよい。この場合、システム制御部14は、適切な形状を示すカテゴリーを、選択された商品に対応付けることができる。
また、システム制御部14が、指定画像に類似する商品画像のうち、取得されたカテゴリーIDに合致するカテゴリーIDに対応する商品画像を優先的に表示させてもよい。この場合、システム制御部14は、指定画像に類似する商品画像の中でも、特にユーザが所望する蓋然性が高い商品を表す商品画像を優先的に表示させることができる。
また、システム制御部14が、それぞれ複数のカテゴリーが属する複数のカテゴリー区分の少なくとも1つのカテゴリー区分について、そのカテゴリー区分に属する複数のカテゴリーのうち指定画像が表す商品に対応するカテゴリーを示すカテゴリーIDを取得してもよい。また、システム制御部14が、取得されたカテゴリーIDが示すカテゴリーが属するカテゴリー区分と同じカテゴリー区分に属するカテゴリーを示すカテゴリーIDが、選択された商品画像に対応付けて記憶部12に記憶されていない場合、取得されたカテゴリーIDを記憶部12に記憶してもよい。この場合、複数のカテゴリー区分のうち少なくとも1つカテゴリー区分について商品にカテゴリーが対応付けられていない場合、システム制御部14は、そのカテゴリー区分のカテゴリーを自動的に商品に対応付けることができる。
また、システム制御部14が、取得されたカテゴリーIDが示すカテゴリーと排他的なカテゴリーを示すカテゴリーIDが、選択された商品画像に対応付けて記憶部12に既に記憶されている場合、記憶部12に記憶されるカテゴリーIDを既に記憶されているカテゴリーIDから取得されたカテゴリーIDに変更してもよい。この場合、システム制御部14は、誤って商品に対応付けられたカテゴリーを修正することができる。
[2.第2実施形態]
[2−1.システム制御部の機能概要]
次に、第2実施形態におけるシステム制御部14の機能概要を、図18A乃至図19を用いて説明する。以下に説明する点を除き、第2実施形態は第1実施形態と基本的に同様である。ユーザが指定画像を描く場合、指定画像が、ユーザが所望する衣服の特徴を正確に表しているとは限らない。例えばユーザによる画像の描き方の癖や傾向によって、指定画像が表す衣服の特徴と、ユーザが所望する衣服の特徴とにずれが生じるかもしれない。例えば、ユーザは長袖の衣服を表す指定画像を描いたが、ユーザは検索結果から半袖の衣服を表す商品画像を選択したと仮定する。この場合、ユーザが所望する袖の長さよりも、ユーザが描く袖は長くなる傾向があると推測される。そこで、特徴量抽出部142は、指定画像の特徴量と検索結果から選択された商品画像の特徴量との間に所定条件を満たす差違がある場合、その差違を小さくする補正の内容を示す補正情報を、そのユーザのユーザIDに対応付けて記憶部12に記憶させる。ユーザにより新たに指定画像が描かれた場合、特徴量抽出部142は、新たな指定画像から特徴量を抽出する。特徴量抽出部142は、新たに抽出された特徴量を、そのユーザのユーザIDに対応する補正情報に基づいて補正する。検索部144は、補正された特徴量に基づいて、新たな指定画像に類似する商品画像を商品DB12eから検索する。これにより、ユーザに画像の描き方の癖や傾向があったとしても、ユーザが望む特徴を有する衣服を表す商品画像が検索結果として特定される蓋然性を高めることができる。
例えば特徴量抽出部142は、指定画像の特徴量と選択された商品画像の特徴量との差を表す数値を計算する。差が所定値未満である場合、特徴量抽出部142は、例えば選択された商品画像の特徴量から指定画像の特徴量を減算して、補正情報を計算してもよい。新たに指定画像が描かれた場合、特徴量抽出部142は、新たな指定画像の特徴量に補正情報を加算して、特徴量を補正してもよい。
特徴量抽出部142は、形状、色及び模様の特徴量のうち何れの特徴量を用いてもよい。例えば形状の特徴量を用いる場合、特徴量抽出部142は、指定画像が表す衣服の形状と選択された商品画像が表す衣服の形状との差を小さくするための補正情報を生成することになる。
図18Aは、指定画像と選択された商品画像の例を示す図である。図18Aに示すように、指定画像描画ページにおいてユーザは指定画像160を描いた。指定画像160は、一般的には長袖Tシャツを表す。検索部144は、指定画像160から抽出された特徴量に基づいて、指定画像160に類似する商品画像を検索する。ユーザは、検索された商品画像の中から半袖Tシャツを表す商品画像を選択する。この場合、ユーザは半袖Tシャツを表す画像として指定画像160を描いたつもりかもしれない。特徴量抽出部142は、指定画像160の特徴量と選択された商品画像の特徴量に基づいて補正情報を生成する。図18Bは、新たに描かれた指定画像と、補正された特徴量が示す形状の特徴の例を示す図である。商品画像が選択された後、ユーザは新たに指定画像161−1を描く。指定画像161−1は、一般的には長袖ワンピースを表す。しかしながら、ユーザは半袖ワンピースを描いたつもりかもしれない。特徴量抽出部142は、補正情報に基づいて、指定画像161−1の特徴量を補正する。このとき、ユーザが描いた袖よりも短い袖を示すように特徴量が補正される。補正された特徴量は、画像161−2が表すように、半袖ワンピースを示す。
図19は、会員DB12aに記憶される内容の一例を示す図である。会員DB12aには、ユーザID〜クレジットカード情報に加えて、補正情報が記憶される。
[2−2.情報処理システムの動作]
次に、情報処理システムSの動作について、図20及び図21を用いて説明する。図20は、本実施形態に係る電子商店街サーバ1の商品ページ送信処理の一例を示すフローチャートである。図20において、図16Aと同様の処理については同様の符号が付されている。図20に示すように、先ずステップS51〜S53が実行される。次いで、特徴量抽出部142は、ユーザにより選択された商品画像の形状の特徴量を商品DB12eから取得する。特徴量抽出部142は、取得された特徴量と、指定画像の形状の特徴量との差を計算する(ステップS81)。次いで、特徴量抽出部142は、計算された差が基準値以上であるか否かを判定する(ステップS82)。このとき、特徴量抽出部142は、差が基準値以上であると判定した場合には(ステップS82:YES)、ステップS83に進む。一方、特徴量抽出部142は、差が基準値以上ではないと判定した場合には(ステップS82:NO)、商品ページ送信処理を終了させる。ステップS83において、特徴量抽出部142は、計算された差を補正情報として、商品ページ要求に含まれるユーザIDに対応付けて会員DB12aに登録する。この処理を終えると、特徴量抽出部142は、商品ページ送信処理を終了させる。
図21は、本実施形態に係る電子商店街サーバ1のシステム制御部14の特徴取得処理の一例を示すフローチャートである。図21において、図14Bと同様の処理については同様の符号が付されている。図21に示すように、先ずステップS31〜35が実行される。次いで、特徴量抽出部142は、画像検索要求に含まれるユーザIDに対応付けて商品DB12eに補正情報が記憶されているか否かを判定する(ステップS91)。このとき、特徴量抽出部142は、補正情報が記憶されていると判定した場合には(ステップS91:YES)、ステップS92に進む。一方、特徴量抽出部142は、補正情報が記憶されていないと判定した場合には(ステップS91:NO)、特徴取得処理を終了させる。ステップS92において、特徴量抽出部142は、ユーザIDに対応する補正情報を商品DB12eから取得する。そして、特徴量抽出部142は、取得された補正情報に基づいて、基準画像から抽出された形状の特徴量を補正して、特徴量抽出部142は、特徴取得処理を終了させる。図15に示す画像検索処理において検索部144は、補正された特徴量に基づいて、基準画像と類似する商品画像を検索する。
以上説明したように、本実施形態によれば、システム制御部14が、ユーザにより描かれた商品画像を指定画像として取得する。また、システム制御部14が、描かれた指定画像の特徴量と、選択された商品画像の特徴量との間に所定条件を満たす差違がある場合、その差違を小さくする補正の内容を示す補正情報を、指定画像を描いたユーザを識別するユーザIDに対応付けて記憶部12に記憶させる。また、システム制御部14が、新たに描かれた指定画像の特徴量が抽出された場合、その抽出された特徴量を、新たな指定画像を描いたユーザを識別するユーザIDに対応する補正情報が示す内容で補正する。また、システム制御部14が、補正された特徴量に基づいて、新たな指定画像に類似する商品画像を検索する。従って、癖又は傾向により所望する商品の特徴を十分に表す商品画像をユーザが描くことができなくても、システム制御部14は、ユーザが所望する特徴を有する商品を検索することができる。
[3.第3実施形態]
[2−1.システム制御部の機能概要]
次に、第3実施形態におけるシステム制御部14の機能概要を、図22A乃至図23を用いて説明する。以下に説明する点を除き、第3実施形態は第1実施形態又は第2実施形態と基本的に同様である。第1実施形態及び第2実施形態において、特徴量抽出部142は、指定画像が1つの商品を表しているという仮定の下で指定画像の特徴量を抽出した。本実施形態において特徴量抽出部142は、これに加えて、指定画像が複数の商品を表す可能性がある場合には、指定画像のうちこれら複数の商品のそれぞれを表す画像部分の特徴量を抽出する。指定画像が複数の商品を表す可能性がある場合、検索部144は、指定画像の特徴量に基づいて指定画像に類似する商品を検索するとともに、複数の商品のそれぞれを表す画像部分について、画像部分の特徴量に基づいてこの画像部分に類似する商品画像を検索する。ユーザは1つの商品を表す指定画像を描いたのかもしれないし、実際には複数の商品を表す指定画像を描いたのかもしれない。そこで、システム制御部14は、ユーザが指定画像により表したかった可能性がある商品ごとに、その商品を表す画像に類似する商品画像を検索する。これにより、システム制御部14は、ユーザが所望する商品を表す商品画像を発見する蓋然性を高めることができる。
図22Aは、指定画像描画ページの描画領域110に描かれた指定画像の一例である。図22Aに示すように、ユーザは身体画像Bの上に指定画像170を描いたとする。身体画像Bにおいて身体部位P1〜P33のうち、胴体の上部P4〜下部P9、左肩P3、左上腕P4、右方P16、右上腕P17、左太股の付け根P22〜膝P24、右太股の付け根P28〜膝P30が指定画像170によりカバーされている。従って、ユーザは1つのワンピースを描いたのかもしれない。しかしながら、指定画像170のうち、身体部位P4〜P8、P10、P11、P16及びP17をカバーする部分の色及び模様は、赤白のボーダーである。一方、指定画像170のうち、身体部位P9、P22〜P24及びP28〜P30をカバーする部分の色及び模様はピンクの無地である。従って、ユーザはTシャツなどのトップスとミニスカートなどのボトムスとを描いたのかもしれない。
特徴量抽出部142は、指定画像が複数の商品を表す可能性の有無を判定する。例えば、特徴量抽出部142は、指定画像が身体画像のどの領域をカバーしているか、または指定画像が描画領域110を予め分けた複数の領域のうち少なくとも2つの領域と重なっているかに基づいて判定を行ってもよい。例えば描画領域110が、頭を含む領域、上半身を含む領域、下半身を含む領域、足を含む領域のうち少なくとも2つの領域に分けられてもよい。図22Aにおいては、描画領域110が上半身を含む領域310と下半身を含む領域320とに分けられている。指定画像が複数の領域のうち1つの領域のみと重なっている場合、特徴量抽出部142は、指定画像が複数の商品を表す可能性はないと判定してもよい。指定画像が少なくとも2つの領域と重なっている場合、特徴量抽出部142は、指定画像が複数の商品を表す可能性があると判定してもよい。この場合、特徴量抽出部142は、指定画像がカバーする各領域から特徴量を抽出する。
特徴量抽出部142は、身体画像における色及び模様の少なくとも何れか一方の変化に基づいて、指定画像が複数の商品を表す可能性の有無を判定してもよい。例えば特徴量抽出部142は、指定画像を解析することにより、色及び模様の少なくとも何れか一方の境界を検索する。指定画像からこの境界が識別されなかった場合、特徴量抽出部142は、指定画像が複数の商品を表す可能性はないと判定してもよい。この境界が識別された場合、特徴量抽出部142は、指定画像が複数の商品を表す可能性があると判定してもよい。この場合、特徴量抽出部142は、識別された境界で指定画像を複数の画像に分割する。そして、特徴量抽出部142は、複数の画像のそれぞれから特徴量を抽出する。
特徴量抽出部142は、描画領域110を分けた複数の領域のうち少なくとも2つの領域を指定画像がカバーし、且つ、少なくとも2つの領域間で、描かれた画像の色及び模様の少なくとも何れか一方が異なる場合にのみ、指定画像が複数の商品を表す可能性があると判定してもよい。図22Bは、この判定方法を用いて、指定画像が表す可能性がある商品を識別する例を示す図である。図22Aに示すように、指定画像170は、領域310と部分的に重なっているとともに、領域320と部分的に重なっている。また、領域310及び320の間で、ユーザにより描かれた画像の色及び模様が異なる。また、色及び模様が変化する境界は、領域310と領域320との境界と略一致する。特徴量抽出部142は、指定画像170が1つの商品を表すとの仮定の下で指定画像170全体から特徴量を抽出する。また、特徴量抽出部142は、指定画像170のうち領域310をカバーする部分から特徴量を抽出する。また、特徴量抽出部142は、指定画像170のうち領域320をカバーする部分から特徴量を抽出する。
検索部144は、特徴量が抽出された指定画像及び画像部分ごとに、特徴量が抽出された商品を表す画像に類似する商品画像を検索する。そして、検索部144は、特徴量が抽出された指定画像及び画像部分ごとに、検索された商品画像の少なくとも1つを検索結果としてユーザ端末3により表示させる。例えば検索部144は、検索結果ページにおいて別々の領域に検索結果が表示されるように検索結果ページを生成してもよい。図23は、検索結果ページの一例を示す図である。図23に示すように、検索結果ページは身体全体対応検索結果領域410、上半身対応検索結果領域420及び下半身対応検索結果領域430を含む。身体全体対応検索結果領域410には、指定画像全体に類似する商品画像が検索結果として表示される。上半身対応検索結果領域420には、指定画像のうち上半身部分の画像に類似する商品画像が検索結果として表示される。下半身対応検索結果領域430には、指定画像のうち下半身部分の画像に類似する商品画像が検索結果として表示される。領域410〜430には、それぞれ類似する商品画像220を含む商品情報表示領域210が表示される。
なお、検索結果ページには、身体全体、上半身及び下半身の何れをユーザが選択可能なタブ、リストボックス等が表示されてもよい。特徴量抽出部142は、ユーザによる選択に応じて、身体全体対応検索結果領域410、上半身対応検索結果領域420及び下半身対応検索結果領域430の何れか1つが表示されるように検索結果ページを生成してもよい。
指定画像が複数の商品を表す可能性がある場合、カテゴリー取得部143は、指定画像が1つの商品を表しているという仮定の下でその商品に対応するカテゴリーを示すカテゴリーIDを取得するとともに、指定画像が表す可能性がある複数の商品のそれぞれに対応するカテゴリーを示すカテゴリーIDを取得する。
カテゴリー登録部145は、検索結果ページにおいてユーザにより商品画像が選択された場合、身体全体対応検索結果領域410、上半身対応検索結果領域420及び下半身対応検索結果領域430のうち選択された商品画像を含む領域を特定する。カテゴリー登録部145は、カテゴリー取得部143により取得されたカテゴリーIDのうち、特定した領域に対応する指定画像又は画像部分が表す商品に対応するカテゴリーIDを特定する。カテゴリー登録部145は、特定したカテゴリーIDを、選択された商品画像に対応する商品IDに対応付けて商品DB12eに記憶させる。
[3−2.情報処理システムの動作]
次に、情報処理システムSの動作について、図24を用いて説明する。図24は、本実施形態に係る電子商店街サーバ1の検索処理の一例を示すフローチャートである。図24において、図14Aと同様の処理については同様の符号が付されている。図24に示すように、先ずステップS21〜S24が実行される。指定画像が1つの商品を表しているという仮定の下で、特徴量の抽出及びカテゴリーIDの取得が行われ(ステップS23)、指定画像に類似する商品画像が検索される(ステップS24)。次いで、特徴量抽出部142は、指定画像が複数の商品を表す可能性があるか否かを判定する(ステップS101)。例えば、特徴量抽出部142は、指定画像が領域310及び320の両方に重なっており、且つ領域310及び320間で、ユーザにより描かれた画像の色及び模様の少なくとも一方が互いに異なっている場合、指定画像が複数の商品を表す可能性があると判定する(ステップS102:YES)。この場合、特徴量抽出部142は、ステップS102に進む。一方、特徴量抽出部142は、指定画像が複数の商品を表す可能性はないと判定した場合には(ステップS102:NO)。ステップS25に進む。ステップS25において、検索部144は、検索結果ページのHTML文書を生成してユーザ端末3へ送信し、検索処理を終了させる。この場合、ユーザ端末3のディスプレイには、図12に示すような検索結果ページが表示される。
ステップS102において、特徴量抽出部142は、指定画像から領域310と重複する部分を抽出して、抽出した部分を基準画像に決定する。次いで、システム制御部14は、特徴取得処理(ステップS103)及び画像検索処理(ステップS104)を実行する。これにより、指定画像のうち上半身に対応する部分に基づいて、特徴量の抽出及びカテゴリーIDの取得が行われ、上半身に対応する部分に類似する商品画像が検索される。
次いで、特徴量抽出部142は、指定画像から領域320と重複する部分を抽出して、抽出した部分を基準画像に決定する(ステップS105)。次いで、システム制御部14は、特徴取得処理(ステップS106)及び画像検索処理(ステップS107)を実行する。これにより、指定画像のうち下半身に対応する部分に基づいて、特徴量の抽出及びカテゴリーIDの取得が行われ、下半身に対応する部分に類似する商品画像が検索される。
次いで、検索部144は、検索結果ページのHTML文書を生成する(ステップS108)。検索部144は、ステップS24で検索された商品画像が身体全体対応検索結果領域410に表示され、ステップS104で検索された商品画像が上半身対応検索結果領域420に表示され、ステップS107で検索された商品画像が下半身対応検索結果領域430に表示されるように、HTML文書を生成する。検索部144は、生成したHTML文書をユーザ端末3へ送信して、検索処理を終了させる。この場合、ユーザ端末3のディスプレイには、図23に示すような検索結果ページが表示される。
以上説明したように、本実施形態によれば、システム制御部14が、指定画像が1つの商品を表しているという仮定の下でその商品画像の特徴量を抽出する。また、システム制御部14が、指定画像が複数の商品を表す可能性がある場合に、その複数の商品のそれぞれについて、指定画像のうち商品を表す画像部分の特徴量を抽出する。また、システム制御部14が、指定画像の特徴量に基づいて指定画像に類似する商品画像を検索し、且つ商品を表す画像部分ごとに、画像部分の特徴量に基づいてその画像部分に類似する商品画像を検索する。この場合、ユーザが複数の商品を表す商品画像を描いた場合であっても、システム制御部14は、ユーザが所望する蓋然性が高い商品を表す商品画像を検索することができる。
1 電子商店街サーバ
2 店舗端末
3 ユーザ端末
11 通信部
12 記憶部
12a 会員DB
12b 形状カテゴリーDB
12c 色カテゴリーDB
12d 模様カテゴリーDB
12e 商品DB
13 入出力インターフェース
14 システム制御部
14a CPU
14b ROM
14c RAM
15 システムバス
141 指定画像取得部
142 特徴量抽出部
143 カテゴリー取得部
144 検索部
145 カテゴリー登録部
NW ネットワーク
S 情報処理システム

Claims (13)

  1. ユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、
    前記指定された画像の特徴量を抽出する抽出手段と、
    商品を分類するための複数のカテゴリーのうち、前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、
    前記指定された画像の特徴量と、前記選択された画像の特徴量との間に所定条件を満たす差違がある場合、該差違を小さくする補正の内容を示す補正情報を、前記ユーザを識別するユーザ識別情報に対応付けて補正情報記憶手段に記憶させる第2記憶制御手段と、
    新たに描かれた画像の特徴量が前記抽出手段により抽出された場合、該抽出された特徴量を、前記新たな画像を描いたユーザを識別するユーザ識別情報に対応する補正情報が示す内容で補正する補正手段と、
    を備え
    前記検索手段は、前記補正された特徴量に基づいて、前記新たな画像に類似する画像を検索することを特徴とする情報処理装置。
  2. 身体を表す画像を表示させる身体画像表示制御手段と、
    前記表示された画像の上にユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、
    前記指定された画像の特徴量を抽出する抽出手段と、
    前記指定された画像が商品として表す衣服が前記表示された画像が表す前記身体の何れの部位をカバーするかに基づいて、商品としての衣服の形状を分類するための複数のカテゴリーのうち、前記指定された画像が表す前記衣服に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、
    を備えることを特徴とする情報処理装置。
  3. ユーザにより指定された画像を取得する画像取得手段と、
    前記指定された画像の特徴量を抽出する抽出手段と、
    それぞれ商品を分類するための複数のカテゴリーが属する複数の区分の少なくとも1つの区分について、該区分に属する複数のカテゴリーのうち前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段であって、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段であって、前記取得されたカテゴリー情報が示すカテゴリーが属する区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に記憶されていない場合、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、
    を備えることを特徴とする情報処理装置。
  4. 請求項1乃至3の何れか1項に記載の情報処理装置において、
    前記表示制御手段は、前記表示された検索結果から前記ユーザにより何れかの画像が選択された後に検索結果を再表示させるとき、該選択された画像の特徴量に基づいて、前記検索された画像のうち該選択された画像に類似する画像を優先的に表示させることを特徴とする情報処理装置。
  5. 請求項1乃至4の何れか1項に記載の情報処理装置において、
    前記記憶手段は、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶し、
    前記表示制御手段は、前記指定された画像に類似する画像のうち、前記取得されたカテゴリー情報に合致するカテゴリー情報に対応する画像を優先的に表示させることを特徴とする情報処理装置。
  6. 請求項1乃至5の何れか1項に記載の情報処理装置において、
    前記記憶手段は、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶し、
    前記記憶制御手段は、前記取得されたカテゴリー情報が示すカテゴリーと排他的なカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に既に記憶されている場合、前記記憶手段に記憶されるカテゴリー情報を前記既に記憶されているカテゴリー情報から前記取得されたカテゴリー情報に変更することを特徴とする情報処理装置。
  7. 請求項1乃至6の何れか1項に記載の情報処理装置において、
    前記指定された画像が複数の商品を表す可能性があるか否かを判定する判定手段を更に備え、
    前記抽出手段は、前記指定された画像が1つの商品を表しているという仮定の下で該画像の特徴量を抽出し、前記指定された画像が複数の商品を表す可能性があると判定された場合、更に該複数の商品のそれぞれについて、前記指定された画像のうち商品を表す画像部分の特徴量を抽出し、
    前記検索手段は、前記指定された画像の特徴量に基づいて、前記指定された画像に類似する画像を検索し、前記指定された画像が複数の商品を表す可能性があると判定された場合、更に商品を表す画像部分ごとに、画像部分の特徴量に基づいて該画像部分に類似する画像を検索することを特徴とする情報処理装置。
  8. コンピュータにより実行される情報処理方法において、
    ユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得ステップと、
    前記指定された画像の特徴量を抽出する抽出ステップと、
    商品を分類するための複数のカテゴリーのうち、前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得ステップと、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索ステップと、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御ステップと、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップと、
    前記指定された画像の特徴量と、前記選択された画像の特徴量との間に所定条件を満たす差違がある場合、該差違を小さくする補正の内容を示す補正情報を、前記ユーザを識別するユーザ識別情報に対応付けて補正情報記憶手段に記憶させる第2記憶制御ステップと、
    新たに描かれた画像の特徴量が前記抽出ステップにより抽出された場合、該抽出された特徴量を、前記新たな画像を描いたユーザを識別するユーザ識別情報に対応する補正情報が示す内容で補正する補正ステップと、
    を含み、
    前記検索ステップは、前記補正された特徴量に基づいて、前記新たな画像に類似する画像を検索することを特徴とする情報処理方法。
  9. コンピュータにより実行される情報処理方法において、
    身体を表す画像を表示させる身体画像表示制御ステップと、
    前記表示された画像の上にユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得ステップと、
    前記指定された画像の特徴量を抽出する抽出ステップと、
    前記指定された画像が商品として表す衣服が前記表示された画像が表す前記身体の何れの部位をカバーするかに基づいて、商品としての衣服の形状を分類するための複数のカテゴリーのうち、前記指定された画像が表す前記衣服に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得ステップと、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索ステップと、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御ステップと、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップと、
    を含むことを特徴とする情報処理方法。
  10. コンピュータにより実行される情報処理方法において、
    ユーザにより指定された画像を取得する画像取得ステップと、
    前記指定された画像の特徴量を抽出する抽出ステップと、
    それぞれ商品を分類するための複数のカテゴリーが属する複数の区分の少なくとも1つの区分について、該区分に属する複数のカテゴリーのうち前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得ステップと、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段であって、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索ステップと、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御ステップと、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップであって、前記取得されたカテゴリー情報が示すカテゴリーが属する区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に記憶されていない場合、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御ステップと、
    を含むことを特徴とする情報処理方法。
  11. コンピュータを、
    ユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、
    前記指定された画像の特徴量を抽出する抽出手段と、
    商品を分類するための複数のカテゴリーのうち、前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、
    前記指定された画像の特徴量と、前記選択された画像の特徴量との間に所定条件を満たす差違がある場合、該差違を小さくする補正の内容を示す補正情報を、前記ユーザを識別するユーザ識別情報に対応付けて補正情報記憶手段に記憶させる第2記憶制御手段と、
    新たに描かれた画像の特徴量が前記抽出手段により抽出された場合、該抽出された特徴量を、前記新たな画像を描いたユーザを識別するユーザ識別情報に対応する補正情報が示す内容で補正する補正手段と、
    として機能させ、
    前記検索手段は、前記補正された特徴量に基づいて、前記新たな画像に類似する画像を検索することを特徴とする情報処理プログラム。
  12. コンピュータを、
    身体を表す画像を表示させる身体画像表示制御手段と、
    前記表示された画像の上にユーザにより描かれた画像を該ユーザにより指定された画像として取得する画像取得手段と、
    前記指定された画像の特徴量を抽出する抽出手段と、
    前記指定された画像が商品として表す衣服が前記表示された画像が表す前記身体の何れの部位をカバーするかに基づいて、商品としての衣服の形状を分類するための複数のカテゴリーのうち、前記指定された画像が表す前記衣服に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、
    として機能させることを特徴とする情報処理プログラム。
  13. コンピュータを、
    ユーザにより指定された画像を取得する画像取得手段と、
    前記指定された画像の特徴量を抽出する抽出手段と、
    それぞれ商品を分類するための複数のカテゴリーが属する複数の区分の少なくとも1つの区分について、該区分に属する複数のカテゴリーのうち前記指定された画像が表す商品に対応するカテゴリーを示すカテゴリー情報を取得するカテゴリー情報取得手段と、
    商品ごとに、商品を識別する商品識別情報と、該商品を表す画像とを対応付けて記憶する記憶手段であって、少なくとも1つの商品について、商品に割り当てられたカテゴリーを示すカテゴリー情報を、該商品を表す画像及び該商品を識別する商品識別情報に対応付けて記憶する記憶手段から、前記抽出された特徴量に基づいて、前記指定された画像に類似する画像を検索する検索手段と、
    前記検索された画像の少なくとも1つを検索結果として表示させる表示制御手段と、
    前記表示された検索結果から前記ユーザにより何れかの画像が選択された場合、該選択された画像に対応する商品識別情報に対応付けて、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段であって、前記取得されたカテゴリー情報が示すカテゴリーが属する区分と同じ区分に属するカテゴリーを示すカテゴリー情報が、前記選択された画像に対応付けて前記記憶手段に記憶されていない場合、前記取得されたカテゴリー情報を前記記憶手段に記憶させる記憶制御手段と、
    として機能させることを特徴とする情報処理プログラム。
JP2016565712A 2015-12-28 2015-12-28 情報処理装置、情報処理方法及び情報処理プログラム Active JP6154968B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086514 WO2017115420A1 (ja) 2015-12-28 2015-12-28 情報処理装置、情報処理方法及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP6154968B1 true JP6154968B1 (ja) 2017-06-28
JPWO2017115420A1 JPWO2017115420A1 (ja) 2017-12-28

Family

ID=59218539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016565712A Active JP6154968B1 (ja) 2015-12-28 2015-12-28 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11416905B2 (ja)
JP (1) JP6154968B1 (ja)
WO (1) WO2017115420A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064227A (ja) * 2019-10-15 2021-04-22 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102396287B1 (ko) * 2021-03-31 2022-05-10 쿠팡 주식회사 전자 장치 및 그의 정보 제공 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144587B2 (en) * 2016-03-08 2021-10-12 Shutterstock, Inc. User drawing based image search
WO2018131132A1 (ja) * 2017-01-13 2018-07-19 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP6524276B1 (ja) * 2018-01-16 2019-06-05 ヤフー株式会社 端末プログラム、端末装置、情報提供方法及び情報提供システム
KR20200017306A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 카테고리에 기반하여 아이템에 관한 정보를 제공하는 전자 장치
JP2021043775A (ja) * 2019-09-12 2021-03-18 富士ゼロックス株式会社 情報処理装置及びプログラム
US11138257B2 (en) * 2020-01-16 2021-10-05 Adobe Inc. Object search in digital images
KR102399837B1 (ko) * 2020-05-11 2022-05-19 네이버 주식회사 쇼핑 검색을 위한 상품 카테고리 추출 방법
WO2023110483A1 (en) 2021-12-13 2023-06-22 Signify Holding B.V. Selecting a luminaire model by analyzing a drawing of a luminaire and an image of a room

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134344A (ja) * 1997-10-27 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> 画像分類蓄積方法および装置並びに画像検索方法および装置
JP2006209260A (ja) * 2005-01-25 2006-08-10 Fuji Xerox Co Ltd 物品検索システム及び物品検索方法、並びにコンピュータ・プログラム
JP2007188440A (ja) * 2006-01-16 2007-07-26 Canon Inc データベースの作成方法と装置、及びそのデータベース
JP2009251850A (ja) * 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
WO2010016281A1 (ja) * 2008-08-08 2010-02-11 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
JP2010262425A (ja) * 2009-05-01 2010-11-18 Palo Alto Research Center Inc 衣服を認識および分類するためのコンピュータ実行方法
JP2011039944A (ja) * 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012243126A (ja) * 2011-05-20 2012-12-10 Yasuhiko Mizoguchi 商品情報検索システム、商品情報検索方法及び商品情報検索プログラム
JP5767413B1 (ja) * 2014-03-18 2015-08-19 楽天株式会社 情報処理システム、情報処理方法、および情報処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007264747A (ja) 2006-03-27 2007-10-11 Casio Comput Co Ltd 商品取引システムおよび商品検索方法
US9324102B2 (en) * 2013-03-14 2016-04-26 Ebay Inc. System and method to retrieve relevant inventory using sketch-based query

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11134344A (ja) * 1997-10-27 1999-05-21 Nippon Telegr & Teleph Corp <Ntt> 画像分類蓄積方法および装置並びに画像検索方法および装置
JP2006209260A (ja) * 2005-01-25 2006-08-10 Fuji Xerox Co Ltd 物品検索システム及び物品検索方法、並びにコンピュータ・プログラム
JP2007188440A (ja) * 2006-01-16 2007-07-26 Canon Inc データベースの作成方法と装置、及びそのデータベース
JP2009251850A (ja) * 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
WO2010016281A1 (ja) * 2008-08-08 2010-02-11 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
JP2010262425A (ja) * 2009-05-01 2010-11-18 Palo Alto Research Center Inc 衣服を認識および分類するためのコンピュータ実行方法
JP2011039944A (ja) * 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012243126A (ja) * 2011-05-20 2012-12-10 Yasuhiko Mizoguchi 商品情報検索システム、商品情報検索方法及び商品情報検索プログラム
JP5767413B1 (ja) * 2014-03-18 2015-08-19 楽天株式会社 情報処理システム、情報処理方法、および情報処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021064227A (ja) * 2019-10-15 2021-04-22 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
KR102396287B1 (ko) * 2021-03-31 2022-05-10 쿠팡 주식회사 전자 장치 및 그의 정보 제공 방법
US11423460B1 (en) 2021-03-31 2022-08-23 Coupang Corp. Electronic apparatus and information providing method thereof
WO2022211165A1 (ko) * 2021-03-31 2022-10-06 쿠팡 주식회사 전자 장치 및 그의 정보 제공 방법

Also Published As

Publication number Publication date
US11416905B2 (en) 2022-08-16
JPWO2017115420A1 (ja) 2017-12-28
WO2017115420A1 (ja) 2017-07-06
US20190012716A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
JP6154968B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6397879B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US9990663B2 (en) Measuring shirt
US10186054B2 (en) Automatic image-based recommendations using a color palette
US9727983B2 (en) Automatic color palette based recommendations
US9652868B2 (en) Automatic color palette based recommendations
US9679532B2 (en) Automatic image-based recommendations using a color palette
US7398133B2 (en) Matching the fit of individual garments to individual consumers
US7617016B2 (en) Computer system for rule-based clothing matching and filtering considering fit rules and fashion rules
KR102045017B1 (ko) 이미지/텍스트 기반 디자인 생성 장치 및 방법
US20150379006A1 (en) Automatic image-based recommendations using a color palette
WO2015129353A1 (ja) 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体
US20150186965A1 (en) Computerized device, system, and method for coordinating an outfit
KR20200046924A (ko) 패션 코디의 자동 추천 방법 및 시스템
JP4935275B2 (ja) 情報提供システム及び情報提供方法等
US20210103970A1 (en) Systems and methods of image-based neural network apparel recommendation
CN107111592A (zh) 用于网络客户端的导航控制
JP6322781B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR101322914B1 (ko) 비주얼 아이템이 적용된 제품의 검색방법
KR20160117678A (ko) 큐레이션 커머스에서 상품 등록 및 추천 방법
JP2020095633A (ja) 端末装置、情報処理方法及びプログラム
CN111242016B (zh) 衣物管理方法、控制装置、衣柜以及计算机可读存储介质
US10771544B2 (en) Online fashion community system and method
JP2003303188A (ja) 類似画像提示システム及び方法
JP5750665B2 (ja) 商品情報検索システム、商品情報検索方法及び商品情報検索プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170602

R150 Certificate of patent or registration of utility model

Ref document number: 6154968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250