TW201411515A - 於線上商店之互動式衣服搜尋技術 - Google Patents

於線上商店之互動式衣服搜尋技術 Download PDF

Info

Publication number
TW201411515A
TW201411515A TW102120299A TW102120299A TW201411515A TW 201411515 A TW201411515 A TW 201411515A TW 102120299 A TW102120299 A TW 102120299A TW 102120299 A TW102120299 A TW 102120299A TW 201411515 A TW201411515 A TW 201411515A
Authority
TW
Taiwan
Prior art keywords
clothing
components
item
article
user
Prior art date
Application number
TW102120299A
Other languages
English (en)
Inventor
Shui-Cheng Yan
Zheng Song
Si Liu
Original Assignee
Univ Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Singapore filed Critical Univ Singapore
Publication of TW201411515A publication Critical patent/TW201411515A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0603—Catalogue ordering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0627—Directed, with specific intent or strategy using item specifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

一種衣物搜尋系統使用一以組件為基礎之影像搜尋而向使用者提供一衣物搜尋。分析零售商目錄以判定衣物影像內之衣物組件。判定與該等組件相關聯之特徵。當一使用者請求一衣物搜尋時，該衣物搜尋系統基於由該使用者請求之該等組件及該等特徵而選擇衣物。該使用者亦可將一影像提供至該衣物搜尋系統。該衣物搜尋系統判定該影像之組件及特徵，且識別具有匹配組件之衣物。

Description

於線上商店之互動式衣服搜尋技術 發明領域
本發明大體上係關於線上消費型產品搜尋，且尤其係關於線上商店中之衣服的互動式線上以內容為基礎之影像搜尋及擷取。
發明背景
線上衣物購物正成為日益風行之購物模型。在許多線上購物網站中，客戶可使用關鍵字(諸如，藉由諸如「黑色無袖雞尾酒會禮服」之關鍵字)來搜尋衣物。此等搜尋通常基於搜尋之關鍵字及與線上購物網站處之衣物相關聯之關鍵字而向使用者提供一組搜尋結果。
然而，此搜尋將使用者限於使用者可考慮之關鍵字，且常常要求使用者整理許多搜尋結果以找到使用者感興趣之項目。時尚為高度視覺藝術，且時尚外觀至關鍵字之轉換經常會遺漏所要外觀之特性。此外，使用者經常想要找到相似於由使用者看到之圖片的衣物，或相似於使用者正親身檢視之場景或人員的衣物。因此，需要一種能夠 基於相片而識別相似衣物之系統。
發明概要
現今設計出用於許多線上衣服商店之系統，以促進購買者有效率地找到其最愛衣服。衣服零售商首先提供其商店中銷售之衣服的清晰相片，且建置此等衣服之一資料庫。另外，該系統可自動地定位該等衣服之關鍵部分且辨識其設計(顏色、圖案、衣領、袖子，及褲子/裙子款式)，且將該等設計連同該等衣服相片一起儲存於該資料庫中。
該系統接著提供一網頁介面，使得該等購買者可運用其最愛衣服之一查詢相片來找到其最愛衣服，該查詢相片可能是在網頁上被找到或在街道上由相機捕獲。以與衣服商店資料集相同之方式，該系統辨識該等查詢衣服之設計，且擷取該資料庫中儲存之最相似的線上商品。
若該等購買者具有對其最愛衣服之進一步需求，則該系統亦可與該等購買者互動。在此狀況下，該系統可讓該等購買者選擇該等購買者最喜歡該等查詢衣服中之哪一部分/設計。且，該系統將相應地修訂結果以滿足該需求。
在一實施例中，提供一種用於在線上商店中互動式地搜尋衣服之方法，該方法包含：接收由一銷售者銷售之衣物物品的多個相片；對於一衣物物品之各相片，自動地偵測與該衣物物品相關聯之多個特徵組件；自一使用者接收針對一衣物物品之一查詢；以及擷取匹配於該經查詢 衣物物品之該多個特徵組件的一或多個衣物物品。
在一另外實施例中，該方法進一步包含建置用於儲存來自多個銷售者之衣物物品及其關聯特徵組件之多個相片的資料庫。
在一另外實施例中，與該衣物物品相關聯之該多個特徵組件包含：該衣物物品之類型；該衣物物品之顏色；該衣物物品之款式；該衣物物品之各組件的位置；各組件之描述；以及該衣物物品之設計資訊。
在一另外實施例中，自動地偵測與該衣物物品相關聯之該多個特徵組件包含：訓練一樹狀結構人類剖析模型以定位該等衣物物品之該多個特徵組件；以及定位及描述該等衣物物品中之該衣物物品的該多個特徵組件。在一額外實施例中，訓練該樹狀結構人類剖析模型包含：基於用於人類剖析之大量預標記訓練樣本而訓練個別人體部位之多個形狀範本；以及依據用於人類剖析之大量預標記訓練樣本而訓練人體部位之樹狀結構化組合。
在一另外實施例中，該方法進一步包括擷取一或多個衣物物品包含：自該經查詢衣物物品偵測多個特徵組件；以及判定該一或多個衣物物品之該等經偵測特徵組件的相關性。
在一另外實施例中，該方法進一步包括：註解共同衣物款式且將該註解與該等經識別衣物物品一起進行儲存；使用該等共同衣物款式之該等註解來評估該等衣物物品之該多個特徵組件；以及使用該等共同衣物款式之該等 註解而自儲存於該資料庫中之該多個衣物物品當中搜尋共同衣物款式。
在另一實施例中，一種非暫時性電腦可讀儲存媒體儲存用於根據以上方法中任一者而在線上商店中互動式地搜尋衣服之可執行電腦程式指令。
在另一實施例中，一種計算系統包括經組配以執行以上方法中任一者之一處理器。
在另一實施例中，一種非暫時性電腦可讀儲存媒體儲存用於互動式地搜尋衣服之可執行電腦程式指令，其中該等電腦程式指令包含用於進行以下各者之指令：接收由一銷售者銷售之衣物物品的多個相片；對於一衣物物品之各相片，自動地偵測與該衣物物品相關聯之多個特徵組件；自一使用者接收針對一衣物物品之一查詢；以及擷取匹配於該經查詢衣物物品之該多個特徵組件的一或多個衣服。
100‧‧‧衣物搜尋系統
102‧‧‧衣物搜尋模組/使用者搜尋模組
104‧‧‧組件偵測模組
106‧‧‧範本訓練模組
108‧‧‧特徵模組
110‧‧‧組件範本資料庫
112‧‧‧衣服資料庫/衣物資料庫
120‧‧‧網路
130‧‧‧使用者用戶端
140‧‧‧線上衣物零售商
210‧‧‧搜尋查詢
220‧‧‧上傳步驟
230‧‧‧判定步驟
240、430‧‧‧識別步驟
400‧‧‧起始步驟
410‧‧‧選擇步驟
420‧‧‧訓練步驟
500‧‧‧查詢相片
510‧‧‧組件
520A‧‧‧肩部描述
520B‧‧‧裙子描述
530‧‧‧介面
圖1為用於根據一實施例之衣物搜尋系統的環境。
圖2為展示根據一實施例之衣服搜尋系統中之資料流的異動圖。
圖3為例示衣物組件搜尋的用於使用者用戶端之使用者介面。
圖4為根據一實施例的新影像上之組件之組件範本訓練及識別的概念例示。
圖5展示根據一實施例的基於影像中識別之組件而對相似衣物之選擇。
圖6例示根據一實施例之經註解衣物屬性。
該等圖僅出於例示之目的而描繪本發明之各種實施例。熟習此項技術者將易於自以下論述認識到，在不脫離本文所描述之本發明之原理的情況下，可使用本文所例示之結構及方法的替代實施例。
較佳實施例之詳細說明
線上衣物購物正成為日益風行之購物模型。本發明描述一種衣物識別系統，其可基於由使用者用戶端捕獲之影像(諸如，街道上之人員的相片)或自網際網路而對相片之選擇而選擇相似衣物。選擇來自線上零售商或其他資料庫之相似衣物以用於呈現給使用者。
圖1為用於根據一實施例之衣物搜尋系統的環境。衣物搜尋系統100基於衣物組件之選擇或基於衣物之影像而搜尋及識別衣物。衣物搜尋系統100係經由網路120而連接至使用者用戶端130及線上衣物零售商140。
使用者用戶端130為由使用者操作之計算器件，且為用於與衣物搜尋系統100通信之任何合適系統。使用者用戶端130可為平板電腦、行動器件、桌上型電腦或其他計算系統。使用者用戶端130向使用者提供顯示，且自使用者接收輸入以用於傳輸至衣物搜尋系統100。使用者用戶端130亦可包括用於捕獲影像之相機或其他成像器 件。將由相機捕獲或可由使用者用戶端130以其他方式存取之影像傳輸至衣物搜尋系統100以用於選擇相似衣物。亦可藉由其他方式來選擇影像，諸如，藉由自諸如網際網路之網路選擇影像。
線上衣物零售商140維護用於線上銷售衣物之資料庫及其他系統。線上衣物零售商140處之衣物係與至少一影像相關聯，且可與額外資料相關聯。額外資料可包括與衣物相關聯之關鍵字，且可進一步包括款式、衣物類型、衣物描述及設計資訊。衣物搜尋系統100可與多個線上衣物零售商140連接，且存取儲存於各線上衣物零售商140處之衣物資料庫中的衣物。當使用者接收使用者感興趣之搜尋結果時，使用者可存取線上衣物零售商140以購買使用者感興趣之衣物。
衣物搜尋系統100包括用於接收及處理來自使用者用戶端130及線上衣物零售商140之資訊以向使用者用戶端130之使用者提供衣物建議的各種模組及資料庫。衣物搜尋系統100為以視覺為基礎之辨識系統，其接收具有衣服/人員之相片且輸出衣服組件之位置及特徵描述。因此，衣物搜尋系統100自線上衣物零售商140接收衣物之影像，且分析該等影像以判定衣服之組件部分以及款式及其他特徵。組件部分指示影像之對應於影像之態樣的某些部分，諸如，頸部、袖子、肩部、裙子等等。此情形允許將影像分析為若干組件之組合物。舉例來說，可將影像辨識為具有頸部、肩部、腰部，但無袖子。該等組件用以輔 助基於該等組件進行匹配。使用者可選擇一組件，且搜尋匹配組件具有相似特徵之其他衣物。用於匹配之組件可基於使用者選擇，或可基於由使用者提供之影像中的組件。衣物搜尋系統100包括衣物搜尋模組102、組件偵測模組104、範本訓練模組106、特徵模組108，以及諸如組件範本資料庫110及衣服資料庫112之資料儲存元件。圖1所例示之衣物搜尋系統100的模組及其他部分可在各種實施例中由額外或較少模組實現，且不限於圖1之實例。
組件範本資料庫110維護用於各種類型之組件的以樹狀為基礎之範本。該範本亦可被稱作分類器(classifier)，且判定影像之部分是否被辨識為該範本之影像類型。舉例來說，將影像提供至「肩部」範本，且該範本判定該影像之部分是否包括「肩部」及該影像之哪一部分包括肩部。該範本經結構化為使用影像之以形狀為基礎之組件的樹狀。具體言之，一實施例使用影像之導向式梯度直方圖(histogram of oriented gradient,HOG)以判定組件類型。各種相片可捕獲來自不同視圖且具有不同特性(例如，來自不同角度，諸如，前方、側面、後方或上方)之「肩部」組件。此等不同角度中各者可在影像中提供不同特性。藉由使用以樹狀為基礎之範本，各組共同特性可被看作樹狀中之分支，且因此允許快速地且在不干擾其他類型之「肩部」視圖之特徵的情況下識別組件。
用於組件之範本係由範本訓練模組106建立或訓練。詳細地，組件偵測系統基於經標記人類剖析資料集 及形狀描述特徵而訓練形狀範本及組件組合規則。用以訓練組件偵測方法之特徵係與用於識別如上文所描述之組件的方法相同。因而，在一實施例中，使用導向式梯度直方圖特徵。在其他實施例中，可使用其他特徵類型以定義經標記資料集。在該一實施例中，演算法運用導向式梯度直方圖(HOG)特徵來訓練BUFFY上身資料集及PARSE全身資料集上之範本。
組件偵測模組104將組件範本資料庫110中之組件範本應用於影像以判定影像內之衣物組件。由組件偵測模組104處理之影像可自使用者用戶端130獲得，或可由線上衣物零售商140提供。可將各種組件提供至特徵模組108或衣物搜尋模組102。
特徵模組108提取與由組件偵測模組偵測之組件有關的特徵。對於線上衣物零售商中之衣物，特徵模組108可存取與線上衣物零售商資料庫中之衣物相關聯的關鍵字、描述、款式及其他項目。對於影像中之組件，特徵模組108存取影像之與各組件有關的部分，且提取與該組件有關之特徵。經提取特徵用以判定一個衣物項目中之組件與另一衣物項目中之組件的相似性。舉例來說，一個衣物項目中之肩部(其為鮮紅色且完全地覆蓋該肩部)相似於另一件衣物上之另一鮮紅色完全覆蓋組件。在一實施例中，經提取特徵包括梯度直方圖、顏色直方圖、顏色矩、局域二元圖案及膚色。在其他實施例中，可使用描述經識別組件之態樣的任何合適特徵。
在額外實施例中，亦相對於經提取特徵來訓練該等關鍵字以及其他關鍵字、款式及描述。匹配衣物或組件之款式及關鍵字可用以建議一款式及關鍵字以與查詢影像相關聯。
衣服資料庫112維護與線上衣物零售商140相關聯之衣物的資料庫。線上衣物零售商140處之衣物的影像係由衣物搜尋系統擷取且被添加至衣物資料庫112。組件偵測模組104分析線上衣物零售商140處之衣物且將經識別組件以及如由特徵模組108識別的與影像之組件相關聯之特徵添加至衣服影像。另外，擷取儲存於線上衣物零售商140處之衣物的關鍵字、款式及其他態樣且使其與衣物資料庫112中之衣服相關聯。
衣物搜尋模組102自使用者用戶端130接收搜尋請求，且執行針對衣服資料庫112上之相似或匹配衣服的搜尋。當新查詢相片由衣物搜尋模組102接收時，該衣物搜尋模組將該相片提供至組件偵測模組104以判定該相片中之衣物組件。在判定衣物組件之後，將衣物組件及相片提供至特徵模組108以提取與如上文所描述之各衣物組件相關聯的特徵。
衣物搜尋模組102查詢衣服資料庫112以判定具有相同組件之衣物。衣物搜尋模組102藉由使組件與由使用者提供之影像匹配且藉由使與組件相關聯之特徵與衣服資料庫112中之衣服的特徵匹配而判定具有相似特徵之衣物。衣物搜尋模組102判定查詢影像特徵與資料庫112中 之衣服的特徵之間的特徵差異度(feature distance)。衣物搜尋模組102接著基於總特徵差異度而擷取最相似項目。在一實施例中，使用者可選擇影像之最愛組件，或以其他方式指示以高度地加權特定組件。當使用者選擇最愛組件時，與彼組件有關之相似性量測相對於針對其他組件之相似性被加權。以此方式，衣物搜尋模組102提供來自線上衣物零售商140之一組衣物，該組衣物在組件及特徵方面相似於由使用者用戶端130提供之影像中識別的衣物。衣物搜尋模組102將搜尋結果清單提供至使用者用戶端130，或為使用者用戶端130提供連結或其他指標以存取線上衣物零售商140處之所得衣物。
圖2為展示根據一實施例之衣服搜尋系統中之資料流的異動圖。使用者用戶端130最初連絡衣物搜尋模組102且上傳(220)相片或指示用於衣物搜尋模組102之特定組件或款式以定位相似衣物。當使用者搜尋模組102接收相片時，使用者搜尋模組102判定組件及關聯特徵(230)，如上文所描述。在使用由使用者指示之組件或款式或自相片提取之組件及特徵的情況下，形成搜尋查詢210。將搜尋查詢應用於衣物資料庫112，且識別(130)與該查詢相似之衣服。將相似衣服傳輸至使用者用戶端130以供使用者檢視及互動。
圖3為例示衣物組件搜尋的用於使用者用戶端130之使用者介面。選擇用於搜尋之影像且將其傳輸至衣物搜尋系統100。在使用者介面上提供所得搜尋結果，從而允 許使用者檢視匹配衣物且選擇感興趣之衣服。另外，使用者可選擇衣物以起始基於與彼衣物相關聯之影像的新搜尋，或使用者可選擇衣物之特定組件以強調基於彼組件之搜尋。當使用者請求搜尋以強調衣物之組件時，其他衣服中之組件與所強調組件的相似性被加權得較高，如上文所描述。
圖4為根據一實施例的新影像上之組件之組件範本訓練及識別(如上文進一步所描述)的概念例示。運用具有經標記組件位置之一組相片來起始(400)組件範本之訓練。選擇(410)與特定組件有關之各影像的位置且使用該等位置以由範本訓練模組106訓練用於識別組件之範本。基於影像之特徵而訓練(420)樹狀以偵測同一組件的不同類型之視圖，諸如，藉由判定同一組件之不同姿勢。在一實施例中，特徵包括導向式梯度直方圖。在受到訓練之後，組件偵測模組104使用範本以識別新影像上之組件(430)。如此圖所示，影像中偵測之組件可重疊。
圖5展示根據一實施例的基於影像中識別之組件而對相似衣物之選擇。在查詢相片500中偵測組件510，如上文所描述。藉由自組件提取特徵向量而判定組件描述520，諸如，肩部描述520A及裙子描述520B。比較組件及關聯特徵向量與儲存於衣物資料庫112中之衣服以判定匹配衣物。在諸如介面530之介面上顯示匹配衣物。
圖6例示根據一實施例之經註解衣物屬性。資料庫112中之衣物可與如圖6所示之各種衣物屬性相關聯。 衣物資料庫中之屬性可基於線上衣物零售商140處之描述予以判定，或可基於分類器而基於其他衣物描述予以判定。經註解描述可包含全域描述，諸如，顏色、圖案及材料。另外，可描述衣物之特定部分，諸如，上身組件之前方或褲子之形狀，如圖所示。使用者亦可選擇用於搜尋之衣物屬性以進一步改進使用者感興趣之衣物的選擇。
使用者介面將使用者查詢發送至資料庫伺服器，且下載及顯示自伺服器擷取之項目。查詢衣服之最愛部分/設計可由使用者互動式地選擇且亦經由介面而發送至伺服器。
因此，此系統及方法提供衣服設計之更全面描述。此描述可使衣服相似性量測之效能更好。
前述實施例之進階衣服描述帶來基於組件及款式之靈活精細衣服搜尋的新可能性，其至目前為止未在先前系統中被很好地調查。
總之，吾人所提議之衣服描述藉由處置姿勢及環境分集兩者而提供關於衣服組件局域化之更好效能，尤其是在使用者處由相機捕獲之日常相片之間的搜尋強健性及基於由使用者提供之影像而搜尋線上購物庫存的能力方面。前述系統中未解決此類交叉資料集組件級搜尋。
作為此等實施例之實例使用，使用者可運用相機來拍攝街道上任何衣著時尚女士之相片，且使用介面以在商店中查詢她的衣服。吾人亦可查詢網頁相片，同時瀏覽社交網路上之朋友的相簿。
所發明之自動衣服辨識系統亦可用於衣服資料採擷應用。在此等種類之使用中，需要首先收集及註解所要衣服款式(例如，冬季/春季/夏季衣服、具有地方或職業特徵之服裝，等等)之樣本。參考此等樣本，該系統可自動地將衣服款式標記產生至線上相片。此類資料採擷可提供關於季節時尚、地方服飾及相片內容之有幫助的統計資訊。在社交網路網站中，自使用者上傳相片預測之此類資訊可用於推薦(廣告、時尚等等)。
此外，若亦提供衣服匹配之專業指南，則衣服辨識系統可處置個人衣服管理及匹配推薦。此應用對於許多當前數位衣櫥服務有價值。
本發明之實施例的前述描述已出於例示之目的而被呈現；其並不意欲為詳盡的或將本發明限於所揭示之精確形式。熟習相關技術者可瞭解到，按照以上揭示內容，許多修改及變化係可能的。
此描述之一些部分在對資訊之操作的演算法及符號表示方面描述本發明之實施例。此等演算法描述及表示通常由熟習資料處理技術者使用以向其他熟習此項技術者有效地傳達其工作要點。此等操作在功能上、計算上或邏輯上予以描述時應被理解為由電腦程式或等效電路、微碼或其類似者實施。此外，已證明時常方便的是將此等操作配置稱為模組，而不損失一般性。所描述操作及其關聯模組可以軟體、韌體、硬體或其任何組合予以體現。
本文所描述之步驟、操作或程序中任一者可運用 一或多個硬體或軟體模組單獨地或與其他器件組合地予以執行或實施。在一實施例中，軟體模組係運用電腦程式產品予以實施，該電腦程式產品包含含有電腦程式碼之電腦可讀媒體，該電腦程式碼可由用於執行所描述步驟、操作或程序中任一者或全部之電腦處理器執行。
本發明之實施例亦可關於一種用於執行本文中之操作之裝置。此裝置可出於所需目的而被特定地建構，及/或該裝置可包含由儲存於電腦中之電腦程式選擇性地啟動或重新組配的一般用途計算器件。此類電腦程式可儲存於非暫時性有形電腦可讀儲存媒體或適合於儲存電子指令的任何類型之媒體中，該等媒體可耦接至電腦系統匯流排。此外，本說明書中提及之任何計算系統可包括單一處理器，或可為使用多個處理器設計以用於增加計算能力之架構。
本發明之實施例亦可關於一種藉由本文所描述之計算程序產生之產品。此類產品可包含由計算程序引起之資訊，其中該資訊儲存於非暫時性有形電腦可讀儲存媒體上，且此類產品可包括本文所描述之電腦程式產品或其他資料組合的任何實施例。
最後，本說明書中使用之語言主要係出於可讀性及指導目的而被選擇，且該語言可能尚未被選擇來描繪或限定發明性主題。因此，希望本發明之範疇未受到此詳細描述限制，而是受到基於此詳細描述之應用而提交之任何 申請專利範圍限制。因此，本發明之實施例的揭示內容意 欲例示而非限制本發明之範疇，該範疇在以下申請專利範圍中得以闡述。
400‧‧‧起始步驟
410‧‧‧選擇步驟
420‧‧‧訓練步驟
430‧‧‧識別步驟

Claims (8)

  1. 一種用於在線上商店中互動式地搜尋衣服之方法，該方法包含：接收由一銷售者銷售之衣物物品的多個相片；對於一衣物物品之各相片：自動地偵測與該衣物物品相關聯之多個特徵組件；自一使用者接收針對一衣物物品之一查詢；以及擷取匹配於該經查詢衣物物品之該多個特徵組件的一或多個衣物物品。
  2. 如申請專利範圍第1項之方法，其進一步包含建置用於儲存來自多個銷售者之衣物物品及其關聯特徵組件之多個相片的資料庫。
  3. 如申請專利範圍第1項之方法，其中與該衣物物品相關聯之該多個特徵組件包含：該衣物物品之類型；該衣物物品之顏色；該衣物物品之款式；該衣物物品之各組件的位置；各組件之描述；以及該衣物物品之設計資訊。
  4. 如申請專利範圍第1項之方法，其中自動地偵測與該衣物物品相關聯之該多個特徵組件包含： 訓練一樹狀結構人類剖析模型以定位該等衣物物品之該多個特徵組件；以及定位及描述該等衣物物品中之該衣物物品的該多個特徵組件。
  5. 如申請專利範圍第4項之方法，其中訓練該樹狀結構人類剖析模型包含：基於用於人類剖析之大量預標記訓練樣本而訓練個別人體部位之多個形狀範本；以及依據用於人類剖析之大量預標記訓練樣本而訓練人體部位之樹狀結構化組合。
  6. 如申請專利範圍第1項之方法，其中擷取一或多個衣物物品包含：自該經查詢衣物物品偵測多個特徵組件；以及判定該一或多個衣物物品之該等經偵測特徵組件的相關性。
  7. 如申請專利範圍第1項之方法，其進一步包含：註解共同衣物款式且將該註解與該等經識別衣物物品一起進行儲存；使用該等共同衣物款式之該等註解來評估該等衣物物品之該多個特徵組件；以及使用該等共同衣物款式之該等註解而自儲存於該資料庫中之該多個衣物物品當中搜尋共同衣物款式。
  8. 一種非暫時性電腦可讀儲存媒體，其儲存用於在線上商店中互動式地搜尋衣服之可執行電腦程式指令，該等電 腦程式指令包含用於進行以下各者之指令：接收由一銷售者銷售之衣物物品的多個相片；對於一衣物物品之各相片：自動地偵測與該衣物物品相關聯之多個特徵組件；自一使用者接收針對一衣物物品之一查詢；以及擷取匹配於該經查詢衣物物品之該多個特徵組件的一或多個衣服。
TW102120299A 2012-06-08 2013-06-07 於線上商店之互動式衣服搜尋技術 TW201411515A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261657146P 2012-06-08 2012-06-08

Publications (1)

Publication Number Publication Date
TW201411515A true TW201411515A (zh) 2014-03-16

Family

ID=49712347

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102120299A TW201411515A (zh) 2012-06-08 2013-06-07 於線上商店之互動式衣服搜尋技術

Country Status (7)

Country Link
US (2) US9817900B2 (zh)
JP (1) JP6022681B2 (zh)
CN (1) CN104584033B (zh)
GB (1) GB2518320A (zh)
SG (1) SG11201407977YA (zh)
TW (1) TW201411515A (zh)
WO (1) WO2013184073A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI623899B (zh) * 2017-03-02 2018-05-11 Object size comparison shopping system

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584033B (zh) * 2012-06-08 2018-11-06 新加坡国立大学 在线商店中的交互式服装搜索
CN104346370B (zh) * 2013-07-31 2018-10-23 阿里巴巴集团控股有限公司 图像搜索、获取图像文本信息的方法及装置
US9846904B2 (en) 2013-12-26 2017-12-19 Target Brands, Inc. Retail website user interface, systems and methods
US9600720B1 (en) * 2014-03-18 2017-03-21 Amazon Technologies, Inc. Using available data to assist in object recognition
CN105205054A (zh) * 2014-06-04 2015-12-30 阿里巴巴集团控股有限公司 用于展示图片的方法和获取图片色相特征值的方法及装置
WO2016070309A1 (en) 2014-11-03 2016-05-12 Carroll Terrence A Textile matching using color and pattern recognition and methods of use
US10671796B2 (en) * 2015-06-07 2020-06-02 Apple Inc. Article authoring, distribution and rendering architecture
CN105469087B (zh) 2015-07-13 2017-04-19 百度在线网络技术（北京）有限公司 识别服饰图片的方法、服饰图片的标注方法及装置
CN105069063A (zh) * 2015-07-29 2015-11-18 百度在线网络技术（北京）有限公司 图片搜索方法及装置
US10776860B2 (en) 2016-03-15 2020-09-15 Target Brands, Inc. Retail website user interface, systems, and methods for displaying trending looks
US10600062B2 (en) 2016-03-15 2020-03-24 Target Brands Inc. Retail website user interface, systems, and methods for displaying trending looks by location
CN105913275A (zh) * 2016-03-25 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频主角识别的服装广告投放方法及系统
US9984550B2 (en) 2016-05-24 2018-05-29 International Business Machines Corporation Smart garment that communicates at least one parameter to a receiver
CN107729910A (zh) * 2016-08-11 2018-02-23 阿里巴巴集团控股有限公司 一种图形识别的方法、装置及系统
US10586263B2 (en) 2016-11-28 2020-03-10 International Business Machines Corporation Touch and pressure-based apparel image searching
CN109284666B (zh) * 2018-07-24 2019-07-26 电子科技大学中山学院 一种基于图像识别与大数据的服饰推荐方法
CN109034977B (zh) * 2018-08-08 2021-04-16 浙江敦奴联合实业股份有限公司 一种定制化服装设计方法及系统
KR20200030999A (ko) * 2018-09-13 2020-03-23 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10904346B2 (en) 2018-12-03 2021-01-26 International Business Machines Corporation Weighted digital image object tagging
CN111581414B (zh) * 2019-02-18 2024-01-16 北京京东尚科信息技术有限公司 服饰识别、分类及检索的方法、装置、设备及存储介质
CN110232133B (zh) * 2019-05-16 2022-09-20 华中科技大学 一种基于特征融合和款式分类的服装图像检索方法和系统
CN112650878A (zh) * 2019-10-11 2021-04-13 北京声智科技有限公司 一种检索方法、系统、设备及介质
CA3162721A1 (en) * 2019-11-25 2021-06-03 Amelue Technologies Inc. Automatic item recommendations based on visual attributes and complementarity
US10769198B1 (en) 2020-02-06 2020-09-08 Caastle, Inc. Systems and methods for product identification using image analysis from image mask and trained neural network
US11907282B2 (en) 2021-04-01 2024-02-20 Find My, LLC Method, apparatus, system, and non-transitory computer readable medium for performing image search verification using an online platform
KR20230040082A (ko) * 2021-09-15 2023-03-22 박화영 패션 피팅 서비스 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2331572A1 (en) * 2000-02-29 2001-08-29 National Research Council Of Canada Electronic commerce using object characterization data sets
WO2002079942A2 (en) * 2001-03-29 2002-10-10 Artmecca.Com System for visual preference determination and predictive product selection
KR100631581B1 (ko) * 2004-08-18 2006-10-09 엘지전자 주식회사 패션 코디네이션 기능을 구비한 이동통신 단말기 및 이를이용한 코디네이션 방법
WO2006087728A1 (en) * 2005-02-15 2006-08-24 Codito Technologies System for creating parallel applications
US20090019053A1 (en) * 2007-07-13 2009-01-15 Yahoo! Inc. Method for searching for and marketing fashion garments online
JP2009251850A (ja) * 2008-04-04 2009-10-29 Albert:Kk 類似画像検索を用いた商品推薦システム
US8296330B2 (en) * 2009-06-02 2012-10-23 Microsoft Corporation Hierarchical classification
CN101819663A (zh) 2009-08-27 2010-09-01 珠海琳琅信息科技有限公司 一种服装虚拟试穿系统
JP2011081763A (ja) 2009-09-09 2011-04-21 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
CN101853299B (zh) * 2010-05-31 2012-01-25 杭州淘淘搜科技有限公司 一种基于感性认知的图像检索结果排序方法
CN104584033B (zh) * 2012-06-08 2018-11-06 新加坡国立大学 在线商店中的交互式服装搜索
USD724325S1 (en) * 2014-07-01 2015-03-17 Lynk, Inc. Scarf organizer
USD765444S1 (en) * 2014-11-21 2016-09-06 Lynk, Inc. Scarf organizer

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI623899B (zh) * 2017-03-02 2018-05-11 Object size comparison shopping system

Also Published As

Publication number Publication date
US20180096069A1 (en) 2018-04-05
WO2013184073A1 (en) 2013-12-12
SG11201407977YA (en) 2014-12-30
US9817900B2 (en) 2017-11-14
US20150127592A1 (en) 2015-05-07
GB2518320A (en) 2015-03-18
CN104584033B (zh) 2018-11-06
JP6022681B2 (ja) 2016-11-09
CN104584033A (zh) 2015-04-29
JP2015518992A (ja) 2015-07-06
US10747826B2 (en) 2020-08-18
GB201500255D0 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
US10747826B2 (en) Interactive clothes searching in online stores
Kang et al. Complete the look: Scene-based complementary product recommendation
Hadi Kiapour et al. Where to buy it: Matching street clothing photos in online shops
Hsiao et al. Learning the latent" look": Unsupervised discovery of a style-coherent embedding from fashion images
Jagadeesh et al. Large scale visual recommendations from street fashion images
Huang et al. Cross-domain image retrieval with a dual attribute-aware ranking network
US9678989B2 (en) System and method for use of images with recognition analysis
US9075825B2 (en) System and methods of integrating visual features with textual features for image searching
Di et al. Style finder: Fine-grained clothing style detection and retrieval
US20190080207A1 (en) Deep neural network visual product recognition system
JP2022179680A (ja) 検索システム
US7542610B2 (en) System and method for use of images with recognition analysis
US8732025B2 (en) System and method for enabling image recognition and searching of remote content on display
US20200342320A1 (en) Non-binary gender filter
GB2609098A (en) Visual attribute determination for content selection
KR101639657B1 (ko) 유사 상품 검색 방법 및 유사 상품 검색 서버
US10776417B1 (en) Parts-based visual similarity search
US11475500B2 (en) Device and method for item recommendation based on visual elements
JP6500374B2 (ja) 画像処理装置及び画像処理プログラム
Lasserre et al. Studio2shop: from studio photo shoots to fashion articles
Lei et al. A new clothing image retrieval algorithm based on sketch component segmentation in mobile visual sensors
Lodkaew et al. Fashion finder: A system for locating online stores on instagram from product images
Frikha et al. Semantic attributes for people’s appearance description: an appearance modality for video surveillance applications
WO2007041647A2 (en) System and method for use of images with recognition analysis
US11972466B2 (en) Computer storage media, method, and system for exploring and recommending matching products across categories