KR20240099678A - 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 - Google Patents

딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 Download PDF

Info

Publication number
KR20240099678A
KR20240099678A KR1020220181422A KR20220181422A KR20240099678A KR 20240099678 A KR20240099678 A KR 20240099678A KR 1020220181422 A KR1020220181422 A KR 1020220181422A KR 20220181422 A KR20220181422 A KR 20220181422A KR 20240099678 A KR20240099678 A KR 20240099678A
Authority
KR
South Korea
Prior art keywords
attribute
image
fashion product
style
style vector
Prior art date
Application number
KR1020220181422A
Other languages
English (en)
Inventor
박은영
임호림
정현진
Original Assignee
주식회사 인텔리시스
Filing date
Publication date
Application filed by 주식회사 인텔리시스 filed Critical 주식회사 인텔리시스
Publication of KR20240099678A publication Critical patent/KR20240099678A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0623Item investigation
    • G06Q30/0625Directed, with specific intent or strategy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations

Abstract

본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법은 입력된 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력하는 단계; 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력하는 단계; 및 상기 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출하는 단계를 포함할 수 있다.

Description

딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법{Method for Automatic Analysis of Fashion Product Attributes Using Deep Learning Similar Image Searcher and Case-Based Inference}
본 발명은 패션상품 속성 자동분석 방법 및 시스템에 관한 것이다. 보다 상세하게는, 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 및 시스템에 관한 것이다.
최근 인터넷 기술 및 스마트 기기의 발달로 인해 온라인을 통한 각종 상품의 구매가 활발히 이루어지고 있다. 특히 온라인상에서 패션 의류를 구매하고자 하는 고객은, 패션 의류를 판매하는 사이트에 접속하여 해당 사이트에서 제공하는 의류를 일일이 열람하면서 자신의 취향에 맞는 의류를 선택하고 결제함으로써 패션 의류를 구매하게 되는 과정을 거치게 된다.
그런데, 의류를 판매하는 사이트를 운용하는 사업자는 기존의 의류 아이템과 더불어 적어도 매달 수백여개에 이르는 신규 의류 아이템을 해당 사이트에 업데이트하기 때문에 고객 입장에서는 의류 선택의 범위가 넓어짐과 동시에 오히려 많아진 의류 중에서 어느 하나를 선택하여야 하는 어려움을 겪기도 한다.
그러므로, 고객의 패션 의류 선택의 편의를 도모하기 위하여 최근 의류 판매 사이트 등에서는 고객을 위해 의류를 추천해 주는 서비스를 제공하고 있다.
이러한 종래의 의류의 추천 서비스의 방법으로서 유저(user) 기반 추천 방법과 아이템(item) 기반 추천 방법이 이용되고 있는데, 대한민국 특허등록 제1502681 호의 쇼핑몰 개인 맞춤 진열제공 시스템 및 이를 이용한 쇼핑몰 개인 맞춤 진열 제공방법과, 대한민국공개특허 제 10-2014-111225 호의 전자상거래 추천분석 시스템 및 추천 분석 방법에 유저(user) 기반 추천 방법과 아이템(item) 기반 추천 방법이 각각 공지되어 있다.
i) 위의 유저 기반 추천 방법은 해당 고객의 신체 조건, 선호하는 스타일 및 취향이 유사한 다른 고객이 선택한 의류를 해당 고객에게 추천하는 방법이라 할 수 있고, ii) 위의 아이템 기반 추천 방법은 과거 해당 고객이 사이트에서 선택하였던 의류와 유사한 신체 조건, 선호하는 스타일 및 취향을 가진 의류를 해당 고객에게 추천하는 방법이다.
그런데 이와 같은 종래의 의류의 추천 방식들은 의류의 유사도의 측정 기준이 일정하지 아니하여 객관성이 매우 부족한 단점이 있으며, 상품 하나별로 일일이 해당 제품을 구매한 고객의 신체 조건, 제품의 스타일과 취향, 제품의 클릭수 등의 추가적인 정보를 부여하여야 추천 방법의 적용이 가능하므로, 의류 판매자의 관리 수요 등이 증가하는 문제점이 있었다.
한편, 최근에는 각종 패션 의류를 미리 매칭해보거나 체험해 볼 수 있는 가상 체험 서비스를 제공하는 사이트도 늘어가고 있는데, 이러한 가상 체험 서비스는 사용자가 수많은 스타일의 상품을 하나씩 선택하여 자신의 사이즈 또는 기호와 맞는지 살펴볼 수 있지만, 너무나 많은 스타일을 하나씩 고르기 때문에 자신에게 적합한 상품 정보를 찾는 시간이나 노력 등이 많이 소요되는 문제점은 해결할 수 없었다.
또한, 이와 같은 쇼핑몰 사이트가 점차 많아지고 있고 비교해 볼 수 있는 상품 정보들이 증가하고 있으므로, 사용자가 더욱더 자신에게 적합한 상품 정보를 찾기란 점점 더 어렵고, 특히 고객이 마음에 두고 있는 하나의 패션 아이템(예: 상의)에 어울리는 다른 아이템(예; 하의, 신발)을 자동으로 추천하는 방식은 현재 행하여지고 있지 않다.
즉, 종래 기술들은 HTML 데이터, 검색 키워드, 클릭 뷰 상태, 해당 고객의 과거 구매이력 등의 단편적 데이터에 의존하여 상품을 추천함으로써 고객의 관심도 및 만족도를 정확하게 충족시킬 수 없는 단점이 있었다.
따라서, 해당 고객이 호감을 갖는 패션 아이템에 대해 패션 코디네이션을 완성할 수 있도록 자동적으로 추천 아이템들을 정렬, 현시함으로써 패션 아이템을 구매하는 고객의 노력 및 시간을 최소화하고, 구매욕을 상승시킬 수 있는 패션 아이템 추천 방식이 요구되고 있다.
한편, 패션상품 이미지에 대한 자동화된 속성분석은 수요에 비하여 여전히 충분한 성능을 달성하지 못하고 있는 분야이다. 더불어, 기업마다 분석이 필요한 속성이 다른 점 또한 패션상품 속성 자동분석을 어렵게 하는 요소이다. 반면, 유사 이미지 검색은 딥러닝 기술을 통하여 비교적 우수한 성능을 보이고 있는 분야이다. 이러한 점에 착안하여, 본 발명은 딥러닝 유사 이미지 검색 기술을 응용한 패션상품 속성 자동분석 방법 및 시스템을 제안한다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 딥러닝 유사 이미지 검색 기술을 응용한 패션상품 속성 자동분석 방법 및 시스템을 제안하는 것에 그 목적이 있다.
또한, 본 발명은 다량의 속성 태깅된 패션상품 이미지 DB에 대한 검색결과를 통하여 유사검색 결과를 도출하는 것에 또 다른 목적이 있다.
또한, 본 발명은 패션상품 자동분류에 최신 기술인 딥러닝 기술과 고전적인 기계학습 방법인 사례기반추론 (Case Based Reasoning)을 결합한 아이디어를 도입하는 것에 또 다른 목적이 있다.
또한, 본 발명은 기존 CNN 기반 분류기가 분류 성능 면에서 패션업에 적용하기 충분하지 못한 상황에서 돌파구를 제공하는 것에 또 다른 목적이 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
전술한 종래기술의 문제점을 해결하기 위해 안출된 본 발명의 일 양상에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법은 입력된 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력하는 단계; 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력하는 단계; 및 상기 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출하는 단계를 포함할 수 있다.
실시 예에 따르면, 상기 방법은 속성 분석 이력 DB에 상기 패션상품 이미지와 상기 속성값과 연관된 속성 분석 결과를 저장하는 단계; 및 상기 각 분석대상 속성에 대응하는 속성값의 목록을 출력하는 단계를 더 포함할 수 있다.
실시 예에 따르면, 상기 스타일 벡터를 출력하는 단계의 이전에 상기 방법은 새로운 속성과 상기 새로운 속성의 속성값 정보가 부여된 새 이미지 데이터셋을 확보하는 단계; 및 속성 태깅된 패션상품 이미지 DB가 비어 있는지 여부를 확인하는 단계를 더 포함할 수 있다.
실시 예에 따르면, 상기 패션상품 이미지 DB가 빈 상태가 아니면, 상기 스타일 벡터를 출력하는 단계에서 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여 상기 패션상품 이미지를 상기 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력하고, 상기 유사 이미지를 출력하는 단계에서, 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일벡터에 대응되는 이미지를 출력하고, 상기 속성값을 산출하는 단계에서, 상기 k개의 유사 이미지에 대하여 새 이미지에 대응되는 속성 및 속성값 정보와 일치되면 출력 이미지에 대응되는 DB의 속성 및 속성값 정보를 갱신할 수 있다.
실시 예에 따르면, 상기 패션상품 이미지 DB가 빈 상태이면, 상기 방법은 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여, <해당 이미지, 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 새 항목을 DB에 추가하는 단계를 더 포함할 수 있다.
실시 예에 따르면, 상기 속성 분석 결과를 저장하는 단계의 이후에, 상기 방법은 상기 속성 분석 이력 DB에 저장된 미확인 결과 중 N개의 속성 분석 이력을 임의 추출하는 단계; 및 상기 N개의 속성분석 이력에 대하여, 입력 이미지와 상기 분석 결과에 대한 오류 여부를 확인하는 단계를 더 포함할 수 있다.
실시 예에 따르면, 상기 방법에서 상기 오류의 확인에 응답하여 올바른 속성 목록이 수정된 경우, 해당 입력 이미지에 대하여, <해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 상기 새 항목을 DB에 추가하는 단계가 수행될 수 있다.
전술한 종래기술의 문제점을 해결하기 위해 안출된 본 발명의 다른 양상에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석기는, 입력된 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 추출하고, 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력하는 딥러닝 유사 이미지 검색기; 및 상기 딥러닝 유사 이미지 검색기와 동작 가능하게 결합되고, 상기 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출하고, 속성 분석 이력 DB에 상기 패션상품 이미지와 상기 속성값과 연관된 속성 분석 결과를 저장하는 프로세서를 포함할 수 있다. 상기 프로세서는 상기 각 분석대상 속성에 대응하는 속성값의 목록을 디스플레이를 통해 출력할 수 있다.
실시 예에 따르면, 상기 딥러닝 유사 이미지 검색기는, 상기 스타일 벡터를 추출하기 이전에 새로운 속성과 상기 새로운 속성의 속성값 정보가 부여된 새 이미지 데이터셋을 획득하고, 속성 태깅된 상기 패션상품 이미지 DB가 비어 있는지 여부를 확인할 수 있다.
실시 예에 따르면, 상기 딥러닝 유사 이미지 검색기는, 상기 패션상품 이미지 DB가 빈 상태가 아니면, 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여 상기 패션상품 이미지를 입력 받아 스타일 벡터를 추출하는 스타일 벡터 추출기; 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 검색하는 유사 벡터 검색기; 및 상기 유사 벡터 검색기와 연동하여 상기 k개의 스타일 벡터를 검색하는 상기 패션상품 이미지 DB를 포함할 수 있다.
실시 예에 따르면 상기 프로세서는, 각각의 스타일벡터에 대응되는 이미지를 상기 디스플레이를 통해 출력하고, 상기 k개의 유사 이미지에 대하여 새 이미지에 대응되는 속성 및 속성값 정보와 일치되면 출력 이미지에 대응되는 속성 분석 이력 DB의 속성 및 속성값 정보를 갱신하도록 제어할 수 있다.
실시 예에 따르면 상기 프로세서는, 상기 패션상품 이미지 DB가 빈 상태이면, 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여, 해당 이미지, 속성/속성값, 이미지를 상기 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 새 항목이 상기 속성 분석 이력 DB에 추가되도록 제어할 수 있다.
실시 예에 따르면 상기 프로세서는, 상기 속성 분석 이력 DB에 저장된 미확인 결과 중 N개의 속성 분석 이력을 임의 추출하고, 상기 N개의 속성분석 이력에 대하여, 입력 이미지와 상기 분석 결과에 대한 오류 여부가 확인되도록 제어할 수 있다.
실시 예에 따르면 상기 프로세서는, 상기 오류의 확인에 응답하여 올바른 속성 목록이 수정된 경우, 해당 입력 이미지에 대하여, 해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 상기 새 항목이 상기 속성 분석 이력 DB에 추가되도록 제어할 수 있다.
본 발명에 따르면, 유사검색과 사례기반추론을 결합하여 동일 상품을 포함한 이미지 pair를 통하여 학습하므로, 속성값이 정확하게 태깅된 이미지 데이터 없이도 학습 데이터를 통해 우수한 성능을 갖는다는 효과가 있다.
본 발명에 따르면, 사례기반 추론 방법 자체는 고전적인 기계학습 방법 중 하나이나, 이를 최신 기술인 딥러닝과 결합한 시너지를 얻을 수 있는 효과가 있다.
본 발명에 따르면, 기존의 속성 자동분석기와는 달리 재학습 없이 패션상품 이미지 DB의 보완을 통하여 기능을 확장할 수 있으므로 확장성 면에서 우수하다는 효과가 있다.
본 발명에 따르면 비교적 부정확한 데이터셋을 활용하고도 고성능의 결과를 만들어낼 수 있다는 효과가 있다.
도 1은 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법의 흐름도를 나타낸다.
도 2는 본 발명에 따른 패션상품 속성 자동분석 방법에서 새로운 속성/속성값을 추가하는 방법의 흐름도를 나타낸다.
도 3은 본 발명에 따른 패션상품 속성 자동분석 방법에서 분석이력을 피드백 하는 방법의 흐름도를 나타낸다.
도 4는 본 발명에 따른 패션상품 속성 자동분석 방법에서 스타일 속성을 분류하는 프로세스를 도식화한 것이다.
도 5는 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 시스템의 구성을 나타낸다.
도 6은 도 5의 패션상품 속성 자동분석 시스템에서 입력 이미지 (질의 이미지)에 따라 질의 이미지 벡터에 따라 유사 이미지 벡터들을 검색하는 개념도를 나타낸다.
도 7은 실시 예에 따른 각 분석대상 속성에 대응하는 속성값의 목록을 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
본 발명은 종래기술의 문제점을 해결하기 위해, 사용자가 호감을 갖거나 관심이 있어하는 패션 아이템(질의 아이템)에 대해 딥 러닝(Deep Learning) 기술을 적용하고, 패션 아이템의 종류 및 매핑된 벡터 특질을 이용하여 유사 아이템, 레퍼런스 아이템, 추천 아이템들을 순차적으로 추출한 후, 사용자의 질의 아이템에 추천 아이템들을 결합하여 다수의 추천 코디(coordination; 이하 '코디' 또는 'cody'라 함)를 신속하게 자동적으로 제시하는 패션 코디의 자동 추천 시스템 및 자동 추천 방법을 제시한다.
이하, 도면을 참조하여 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 및 시스템에 대해 설명한다.
이와 관련하여, 본 발명의 패션상품 속성 자동분석 방법 및 시스템에서 사용되는 용어에 대해 정의하면 다음과 같다.
1) 패션상품 이미지는 패션상품을 포함하고 있는 이미지이다.
2) 스타일 벡터는CNN 등 딥러닝 기술을 이용하여 패션상품 이미지로부터 스타일 특성을 추출한 벡터이다. 패션상품 이미지 간 유사성 판별 기준이 될 수 있다.
3) 질의 이미지는 속성을 분석할 대상으로, 본 시스템의 입력일 수 있다. 질의 이미지의 속성을 분석하는 과정은 알고리즘 개요 1에 따른 도 1의 흐름도에서 구체적으로 설명한다.
4) 속성/속성값은 패션상품의 특징을 표현하는 정보이다. 각 패션상품은 각 속성에 대하여 하나 혹은 여러 개의 속성값을 가질 수 있다. 예를 들어, 한 티셔츠는 [소매길이]라는 속성에 대하여 [반팔], [긴팔], [민소매]의 속성값을 가질 수 있다. 속성/속성값은 시스템 사용자의 필요에 따라 확장될 수 있다.
한편, 시스템이 지원하는 속성/속성값의 범위는 알고리즘 개요2에 따라 설명하는 속성/속성값 추가 알고리즘에 의하여 확장된다. 추가할 속성/속성값이 라벨링된 데이터를 DB에 추가하고 기존 DB 이미지 정보 또한 업데이트 함. 자세한 프로세스는 알고리즘 개요2에 따른 도 2의 흐름도를 참조하여 설명한다.
5) 딥러닝 유사 이미지 검색기는 딥러닝 기술로 구현된 유사 이미지 검색기이다. CNN을 이용하여 구현되며, 하나의 이미지를 입력으로 받아서, 입력과 유사한 이미지 k개를 데이터베이스로부터 검색하여 반환한다. k 값은 DB 규모 및 검색기 성능을 고려하여 결정. 본 이미지 검색기는 패션상품 이미지에 대응되는 벡터 간의 유사성을 기준으로 이미지 간 유사성을 계산한다. 딥러닝 유사 이미지 검색기는 아래의 하위 모듈을 갖는다
스타일 벡터 추출기: CNN 등 딥러닝 모델을 이용하여, 이미지로부터 이미지에 포함된 패션 상품의 스타일을 표현하는 벡터를 추출한다.
벡터 유사성 판별 및 유사 벡터 검색기: 벡터 간의 유사성을 cosine similarity 등을 기준으로 판단하고, 가장 유사한 벡터 k개를 DB 내에서 검색한다. 고차원 벡터에 대한 빠른 검색을 위하여 Locality Sensitive Hashing 등의 방법이 적용될 수 있다.
속성 태깅된 패션상품 이미지 DB: 다수의 패션상품 이미지를 저장하고 있으며, 저장된 각 패션상품 이미지에 대하여 [속성]과 [속성값]이 부여되어 저장된 DB이다. 또한 스타일 벡터 추출기에 의하여 추출된 벡터 정보가 함께 저장되어 있다.
패션상품 이미지 DB에 새 항목을 추가하려면 1) 이미지, 2) 이미지에 대응되는 속성/속성값 정보 3) 이미지에서 추출한 스타일 벡터를 함께 추가하여야 한다.
속성 분석 이력 DB: 본 시스템에 입력된 이미지 및 속성분석 결과를 저장하는 DB. 시스템 관리자가 확인할 수 있다. 이러한 DB는 시스템 관리자가 추후 확인하여 속성 태깅된 패션상품 이미지 DB의 개선에 사용될 수 있다
이력에서 오작동한 케이스를 발견하여 DB에 추가하는 것으로 시스템 성능을 개선할 수 있다. 개선 프로세스는 알고리즘 개요3에 따른 도 3의 흐름도를 참조하여 설명한다.
도 1은 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법의 흐름도를 나타낸다. 도 1을 참조하면, 패션상품 속성 자동분석 방법은 사용자 단말기와 연동하는 서버에 의해 수행될 수 있다. 이와 관련하여, 알고리즘 수행 이전에 속성 태깅된 패션상품 DB는 확보될 수 있다.
도 1을 참조하면, 방법은 스타일 벡터를 출력하는 단계(S100), 유사 이미지를 출력하는 단계(S200), 속성값을 산출하는 단계(S300), 속성 분석 결과를 저장하는 단계(S400) 및 속성값의 목록을 출력하는 단계(S500)를 포함할 수 있다.
스타일 벡터를 출력하는 단계(S100)는 입력된 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력할 수 있다. 유사 이미지를 출력하는 단계(S200)는 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력할 수 있다. 속성값을 산출하는 단계(S300)는 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출할 수 있다. 속성 분석 결과를 저장하는 단계(S400)는 속성 분석 이력 DB에 상기 패션상품 이미지와 상기 속성값과 연관된 속성 분석 결과를 저장할 수 있다. 속성값의 목록을 출력하는 단계(S500)는 각 분석대상 속성에 대응하는 속성값의 목록을 출력할 수 있다.
따라서, 분석할 각 속성에 대하여, k개 검색결과의 속성값을 확인하고 가장 높은 빈도로 등장하는 속성값을 출력할 수 있다. 즉 벡터 공간에서 질의 이미지에 대응되는 벡터와 가장 가까운 k개의 벡터를 찾아서 속성값을 확인하는 것과 동일하다.
한편, 도 2는 본 발명에 따른 패션상품 속성 자동분석 방법에서 새로운 속성/속성값을 추가하는 방법의 흐름도를 나타낸다. 도 2의 단계들은 새로운 속성/속성값 정보가 부여된 새 이미지 데이터셋을 확보하기 위한 것이다.
도 1 및 도 2를 참조하면, 스타일 벡터를 출력하는 단계(S100)의 이전에 상기 방법은 새 이미지 데이터셋을 확보하는 단계(S10) 및 패션상품 이미지 DB가 비어 있는지 여부를 확인하는 단계(S20)를 더 포함할 수 있다. 이에 따라 상기 방법은 스타일 벡터를 출력하는 단계(S100), 유사 이미지를 출력하는 단계(S200) 및 속성값을 산출하는 단계(S300)에서 구체적인 동작을 수행할 수 있다. 또한, 상기 방법은 새 항목을 DB에 추가하는 단계(S400b)를 더 포함할 수 있다.
새 이미지 데이터셋을 확보하는 단계(S10)는 새로운 속성과 상기 새로운 속성의 속성값 정보가 부여된 새 이미지 데이터셋을 확보한다. 패션상품 이미지 DB가 비어 있는지 여부를 확인하는 단계(S20)는 속성 태깅된 패션상품 이미지 DB가 비어 있는지 여부를 확인할 수 있다.
패션상품 이미지 DB가 빈 상태가 아니면, 스타일 벡터를 출력하는 단계(S100)에서 새 이미지 데이터셋에 포함된 이미지 각각에 대하여 상기 패션상품 이미지를 상기 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력할 수 있다.
유사 이미지를 출력하는 단계(S200)에서, 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일벡터에 대응되는 이미지를 출력할 수 있다.
속성값을 산출하는 단계(S300)에서, k개의 유사 이미지에 대하여 새 이미지에 대응되는 속성 및 속성값 정보와 일치되면 출력 이미지에 대응되는 DB의 속성 및 속성값 정보를 갱신할 수 있다.
상기 패션상품 이미지 DB가 빈 상태이면, 단계(S20)는 새 항목을 DB에 추가하는 단계(S400b)로 진행될 수 있다. 한편, 속성값을 산출하는 단계(S300)에서 출력 이미지에 대응되는 DB의 속성 및 속성값 정보를 갱신된 이후 새 항목을 DB에 추가하는 단계(S400b)가 수행될 수도 있다.
새 항목을 DB에 추가하는 단계(S400b)는 새 이미지 데이터셋에 포함된 이미지 각각에 대하여, <해당 이미지, 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 새 항목을 DB에 추가할 수 있다.
요약하면, 속성 태깅된 패션상품 이미지 DB가 비어 있다면 단계(S400b)가 수행될 수 있다. 속성 태깅된 패션상품 이미지 DB가 빈 상태가 아니면 단계(S100)로 진행될 수 있다. 새 이미지 데이터셋에 대하여, 아래의 작업을 수행할 수 있다.
단계(S100)는 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력한다. 단계(S200)는 단계(S100)에서 추출된 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일벡터에 대응되는 이미지를 출력한다.
단계(S300)는 각각의 검색결과에 대하여 인간 관리자 판단 하에 속성/속성값 정보를 갱신할 수 있다. 즉 새로 추가할 속성/속성값을 검색결과로 출력된 상품에 대하여 인간이 해당 속성/속성값에 대하여 적절한지 여부를 판단하여 DB를 갱신할 수 있다.
단계(S400B)는 새 이미지 데이터셋에 포함된 이미지 각각을 속성 태깅된 패션상품 이미지 DB에 추가할 수 있다. 즉, 새 이미지 데이터셋에 포함된 이미지, 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 새 항목을 DB에 추가할 수 있다.
한편, 도 3은 본 발명에 따른 패션상품 속성 자동분석 방법에서 분석이력을 피드백 하는 방법의 흐름도를 나타낸다. 도 3의 단계들은 새로운 속성/속성값 정보가 부여된 새 이미지 데이터셋을 확보하기 위한 것이다.
도 1 내지 도 3을 참조하면, 상기 방법은 속성 분석 결과를 저장하는 단계(S400)의 이후에, 속성 분석 이력을 임의 추출하는 단계(S410) 및 오류 여부를 확인하는 단계(S420)를 더 포함할 수 있다. 상기 방법은 새 항목을 DB에 추가하는 단계(S430)를 더 포함할 수 있다.
속성 분석 이력을 임의 추출하는 단계(S410)는 속성 분석 이력 DB에 저장된 미확인 결과 중 N개의 속성 분석 이력을 임의 추출할 수 있다. 오류 여부를 확인하는 단계(S420)는 N개의 속성분석 이력에 대하여, 입력 이미지와 상기 분석 결과에 대한 오류 여부를 확인할 수 있다. 이와 관련하여, 임의 추출된 N개의 속성분석 이력에 대하여 아래의 프로세스를 반복할 수 있다. 구체적으로, 이력정보, 즉 [입력 이미지]와 [분석 결과]를 인간 관리자가 직접 대조하여, 분석 결과에 오류 존재 여부를 확인하고 확인 결과를 사용자 단말기를 통해 서버로 전달할 수 있다. 분석결과에 오류가 있다면, 인간 관리자가 사용자 단말기를 통해 올바른 속성 목록을 수정 작성 후, DB에 해당 [입력 이미지]를 추가할 수 있다.
오류의 확인에 응답하여 올바른 속성 목록이 수정된 경우, 새 항목을 DB에 추가하는 단계(S430)가 수행될 수 있다. 새 항목을 DB에 추가하는 단계(S430)는 해당 입력 이미지에 대하여, <해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 새 항목을 DB에 추가할 수 있다. 해당 입력 이미지, 관리자에 의해 수정된 속성/속성값 정보, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 새 항목이 DB에 추가될 수 있다. 이에 따라, <해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 항목이 확인된 것으로 표시(S440)될 수 있다.
한편, 도 4는 본 발명에 따른 패션상품 속성 자동분석 방법에서 스타일 속성을 분류하는 프로세스를 도식화한 것이다.
도 4를 참조하면, 분석할 속성이 [소매길이]와 [넥라인]이고, 4개의 검색결과에 대응되는 속성값이 아래와 같다면, [소매길이: 긴팔, 넥라인: 브이넥]을 출력한다. 즉 질의 이미지와 유사한 이미지를 DB로부터 검색하고, 그 결과 내에서 다수결 투표를 하여 결과를 산출하는 방식이라 할 수 있다. 본 예시에는 설명을 위하여 소매길이와 넥라인만을 분류하였으나, 실제로는 도 3에 제시된 속성들에 모두 적용할 수 있으며 그것에 한정되지 않는다)
ID 1: [소매길이: 긴팔, 넥라인: 브이넥]
ID 2: [소매길이: 반팔, 넥라인: 브이넥]
ID 3: [소매길이: 긴팔, 넥라인: 브이넥]
ID 4: [소매길이: 긴팔, 넥라인: 라운드넥]
이에 따라, 도 4와 같이 <입력 이미지, 속성 분석 결과>를 속성 분석 이력 DB에 저장할 수 있다. 속성 분석 결과는 도 4에 도시된 바와 같이, ID 별 소매길이, 넥라인 등과 이에 따른 스타일 벡터를 포함할 수 있지만, 이에 한정되는 것은 아니고 응용에 따라 변경 가능하다.
이상에서는 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법에 대해 설명하였다. 이하, 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 시스템을 도면을 참조하여 설명한다.
이와 관련하여, 도 5는 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 시스템의 구성을 나타낸다.
도 5를 참조하면, 패션상품 속성 자동분석 시스템은 패션상품 속성 자동 분석기에 의해 구현될 수 있다. 패션상품 속성 자동 분석기는 서버로 구현되거나 패션상품 속성 자동 분석 어플리케이션 프로그램이 실행되는 사용자 단말기로 구현될 수 있다. 한편, 도 6은 도 5의 패션상품 속성 자동분석 질의 이미지에 따라 질의 이미지 벡터에 따라 유사 이미지 벡터들을 검색하는 개념도를 나타낸다.
도 5를 참조하면, 패션상품 속성 자동 분석기(1000)는 딥러닝 유사 이미지 검색기(100), 속성 분석 이력 데이터베이스(DB)(200) 및 프로세서(300)를 포함하도록 구성될 수 있다. 딥러닝 유사 이미지 검색기(100)는 스타일 벡터 추출기(110), 벡터 유사성 판별 및 유사 벡터 검색기(120) 및 속성 태깅된 패션상품 이미지 DB(130)를 포함할 수 있다. 벡터 유사성 판별 및 유사 벡터 검색기(120)는 유사 벡터 검색기(120)로 지칭될 수 있다. 및 속성 태깅된 패션상품 이미지 DB(130)는 패션상품 이미지 DB(130)로 지칭될 수 있다.
도 5 및 도 6을 참조하면, 딥러닝 유사 이미지 검색기(100)는 입력된 패션상품 이미지를 스타일 벡터 추출기(110)에 입력하여 스타일 벡터를 추출할 수 있다. 딥러닝 유사 이미지 검색기(100)는 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB(130)에서 찾을 수 있다. 딥러닝 유사 이미지 검색기(100)는 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력할 수 있다.
도 6에 도시된 바와 같이, 입력 이미지 (질의 이미지)에 따라 질의 이미지 벡터가 2차원 공간 이상의 다차원 이미지 DB 벡터 공간 상에 표시될 수 있다. 질의 이미지 벡터에 따라 유사 이미지 벡터들을 검색되어 출력될 수 있다. 유사 이미지 벡터 1, 유사 이미지 벡터 2 및 유사 이미지 벡터 3은 질의 이미지 벡터의 좌표로부터 소정 거리 이내에 있는 이미지 벡터들로 한정될 수 있다.
유사 이미지 벡터 1, 유사 이미지 벡터 2 및 유사 이미지 벡터 3이 스타일 속성이 각각 캐주얼, 모던, 캐주얼일 수 있다. 질의 이미지 벡터의 좌표를 기준으로 임계 거리를 한정하여 유사 이미지 벡터 1 및 3을 검색하여 출력할 수 있다. 이와 관련하여, 유사 이미지 벡터 2는 질의 이미지 벡터의 좌표를 기준으로 임계 거리를 초과하여 k개의 유사 이미지에서 제외될 수 있다. 이에 따라, 유사 이미지 벡터 1 및 3에 해당하는 스타일 속성인 캐주얼만 선택되어 출력될 수 있다.
도 5 및 도 6을 참조하면, 프로세서(300)는 딥러닝 유사 이미지 검색기(100)와 동작 가능하게 결합될 수 있다. 프로세서(300)는 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출할 수 있다. 프로세서(300)는 속성 분석 이력 DB(200)에 상기 패션상품 이미지와 상기 속성값과 연관된 속성 분석 결과를 저장할 수 있다. 프로세서(300)는 각 분석대상 속성에 대응하는 속성값의 목록을 디스플레이(400)를 통해 출력할 수 있다.
한편, 도 7은 실시 예에 따른 각 분석대상 속성에 대응하는 속성값의 목록을 나타낸다. 도 7을 참조하면, 속성값의 목록은 스타일을 비롯하여 다수의 속성들의 예시를 나타낸다. 이와 관련하여, 프로세서(300)는 각 분석대상 속성에 대응하는 속성값의 목록을 디스플레이(400)를 통해 출력할 수 있다.
도 5 내지 도 7을 참조하면, 딥러닝 유사 이미지 검색기(100)는 스타일 벡터를 추출하기 이전에 새로운 속성과 상기 새로운 속성의 속성값 정보가 부여된 새 이미지 데이터셋을 획득할 수 있다. 딥러닝 유사 이미지 검색기(100)는 속성 태깅된 패션상품 이미지 DB(130)가 비어 있는지 여부를 확인할 수 있다.
전술한 바와 같이, 딥러닝 유사 이미지 검색기(100)는 스타일 벡터 추출기(110), 유사 벡터 검색기(120) 및 패션상품 이미지 DB(130)를 포함할 수 있다. 스타일 벡터 추출기(110)는 패션상품 이미지 DB(130)가 빈 상태가 아니면, 새 이미지 데이터셋에 포함된 이미지 각각에 대하여 패션상품 이미지를 입력 받아 스타일 벡터를 추출할 수 있다. 유사 벡터 검색기(120)는 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB(130)에서 검색할 수 있다. 패션상품 이미지 DB(130)는 유사 벡터 검색기(120)와 연동하여 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 검색할 수 있다.
프로세서(300)는 각각의 스타일벡터에 대응되는 이미지를 디스플레이(400)를 통해 출력할 수 있다. 프로세서(300)는 k개의 유사 이미지에 대하여 새 이미지에 대응되는 속성 및 속성값 정보와 일치되면 출력 이미지에 대응되는 속성 분석 이력 DB(200)의 속성 및 속성값 정보를 갱신하도록 제어할 수 있다.
프로세서(300)는 패션상품 이미지 DB(130)가 빈 상태이면, 새 이미지 데이터셋에 포함된 이미지 각각에 대하여, 해당 이미지, 속성/속성값, 이미지를 스타일 벡터 추출기(110)에 입력하여 얻은 스타일 벡터로 구성된 새 항목이 속성 분석 이력 DB(200)에 추가되도록 제어할 수 있다.
프로세서(300)는 속성 분석 이력 DB(200)에 저장된 미확인 결과 중 N개의 속성 분석 이력을 임의 추출할 수 있다. 프로세서(300)는 N개의 속성분석 이력에 대하여, 입력 이미지와 분석 결과에 대한 오류 여부가 확인되도록 제어할 수 있다.
프로세서(300)는 오류의 확인에 응답하여 올바른 속성 목록이 수정된 경우, 해당 입력 이미지에 대하여, 해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 새 항목이 속성 분석 이력 DB(200)에 추가되도록 제어할 수 있다.
이상에서는 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 및 시스템에 대해 설명하였다. 이와 관련하여 본 발명은 이미 높은 수준에 이른 딥러닝 유사 이미지 검색 기술을 활용하므로 성능면에서 우수함. 유사검색은 동일 상품을 포함한 이미지 pair를 통하여 학습하므로, 학습 데이터를 구하기 비교적 용이하여 우수한 성능을 갖는다. 반면 기존 CNN 기반의 분류기는 속성값이 정확하게 태깅된 이미지 데이터가 필요하므로, 패션업에 즉시 적용할 만큼의 성능을 내지 못하는 현황이었다. 이러한 면에서 유사검색과 사례기반추론을 결합한 본 방법은 진보성을 가진다고 볼 수 있다.
사례기반 추론 방법 자체는 고전적인 기계학습 방법 중 하나이나, 이를 최신 기술인 딥러닝과 결합한 시너지를 활용하는 것은 본 발명의 고유한 장점이라 할 수 있다.
기존의 속성 자동분석기와는 달리 재학습 없이 패션상품 이미지 DB의 보완을 통하여 기능을 확장할 수 있으므로 확장성 면에서 우수하다. 기존의 방법의 경우 대용량의 CNN 딥러닝 모델을 며칠~몇 주에 걸쳐 재학습해야 하는 문제가 있고, 학습 후 이전 모델에 비해 성능이 높아지는 것을 보장할 수도 없다. 하지만, 본 방법은 딥러닝 모델 전체를 재학습하지 않으므로 그러한 문제를 회피할 수 있다.
기존의 CNN 기반 딥러닝 이미지 분류기의 경우 정확한 속성값이 태깅된 상품 데이터셋이 다량 있어야 하므로 학습 데이터셋을 구하기 어렵단. 하지만, 본 방법은 다수결에 의하여 결정을 내리므로 비교적 부정확한 데이터셋을 활용하고도 고성능의 결과를 만들어낼 수 있다.
이상에서는 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 및 시스템에 대해 설명하였다. 이러한 본 발명에 따른 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 및 시스템의 기술적 효과는 다음과 같이 요약될 수 있다.
본 발명에 따르면, 유사검색과 사례기반추론을 결합하여 동일 상품을 포함한 이미지 pair를 통하여 학습하므로, 속성값이 정확하게 태깅된 이미지 데이터 없이도 학습 데이터를 통해 우수한 성능을 갖는다는 효과가 있다.
본 발명에 따르면, 사례기반 추론 방법 자체는 고전적인 기계학습 방법 중 하나이나, 이를 최신 기술인 딥러닝과 결합한 시너지를 얻을 수 있는 효과가 있다.
본 발명에 따르면, 기존의 속성 자동분석기와는 달리 재학습 없이 패션상품 이미지 DB의 보완을 통하여 기능을 확장할 수 있으므로 확장성 면에서 우수하다는 효과가 있다.
본 발명에 따르면 비교적 부정확한 데이터셋을 활용하고도 고성능의 결과를 만들어낼 수 있다는 효과가 있다.
이상 본 발명의 구체적 실시형태와 관련하여 본 발명을 설명하였으나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고 설명된 실시형태를 변경 또는 변형할 수 있으며, 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능하다.
100: 딥러닝 유사 이미지 검색기
110: 스타일 벡터 추출기
120: 유사 벡터 검색기
130: 패션상품 이미지 DB
200: 속성 분석 이력 DB
300: 프로세서
400: 디스플레이
1000: 딥러닝 유사 이미지 검색기

Claims (12)

  1. 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법에 있어서, 상기 방법은 서버에 의해 수행되고, 상기 방법은,
    입력된 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력하는 단계;
    상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력하는 단계;
    상기 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출하는 단계;
    속성 분석 이력 DB에 상기 패션상품 이미지와 상기 속성값과 연관된 속성 분석 결과를 저장하는 단계; 및
    상기 각 분석대상 속성에 대응하는 속성값의 목록을 출력하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 스타일 벡터를 출력하는 단계의 이전에
    새로운 속성과 상기 새로운 속성의 속성값 정보가 부여된 새 이미지 데이터셋을 확보하는 단계; 및
    속성 태깅된 패션상품 이미지 DB가 비어 있는지 여부를 확인하는 단계를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 패션상품 이미지 DB가 빈 상태가 아니면, 상기 스타일 벡터를 출력하는 단계에서 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여 상기 패션상품 이미지를 상기 스타일 벡터 추출기에 입력하여 스타일 벡터를 출력하고,
    상기 유사 이미지를 출력하는 단계에서, 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일벡터에 대응되는 이미지를 출력하고,
    상기 속성값을 산출하는 단계에서, 상기 k개의 유사 이미지에 대하여 새 이미지에 대응되는 속성 및 속성값 정보와 일치되면 출력 이미지에 대응되는 DB의 속성 및 속성값 정보를 갱신하는, 방법.
  4. 제3항에 있어서,
    상기 패션상품 이미지 DB가 빈 상태이면, 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여, <해당 이미지, 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 새 항목을 DB에 추가하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서,
    상기 속성 분석 결과를 저장하는 단계의 이후에,
    상기 속성 분석 이력 DB에 저장된 미확인 결과 중 N개의 속성 분석 이력을 임의 추출하는 단계; 및
    상기 N개의 속성분석 이력에 대하여, 입력 이미지와 상기 분석 결과에 대한 오류 여부를 확인하는 단계를 더 포함하는, 방법.
  6. 제5항에 있어서,
    상기 오류의 확인에 응답하여 올바른 속성 목록이 수정된 경우, 해당 입력 이미지에 대하여, <해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터>로 구성된 상기 새 항목을 DB에 추가하는 단계가 수행되는, 방법.
  7. 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석기는,
    입력된 패션상품 이미지를 스타일 벡터 추출기에 입력하여 스타일 벡터를 추출하고, 상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 찾고, 각각의 스타일 벡터에 대응되는 k개의 유사 이미지를 출력하는 딥러닝 유사 이미지 검색기; 및
    상기 딥러닝 유사 이미지 검색기와 동작 가능하게 결합되고, 상기 k개의 유사 이미지에 대응되는 속성값을 확인하여, 각 분석대상 속성별로 가장 출현 빈도가 높은 속성값을 산출하고, 속성 분석 이력 DB에 상기 패션상품 이미지와 상기 속성값과 연관된 속성 분석 결과를 저장하는 프로세서를 포함하고,
    상기 프로세서는 상기 각 분석대상 속성에 대응하는 속성값의 목록을 디스플레이를 통해 출력하는, 패션상품 속성 자동분석기.
  8. 제7항에 있어서, 상기 딥러닝 유사 이미지 검색기는,
    상기 스타일 벡터를 추출하기 이전에 새로운 속성과 상기 새로운 속성의 속성값 정보가 부여된 새 이미지 데이터셋을 획득하고,
    속성 태깅된 상기 패션상품 이미지 DB가 비어 있는지 여부를 확인하는, 패션상품 속성 자동분석기.
  9. 제8항에 있어서,
    상기 딥러닝 유사 이미지 검색기는,
    상기 패션상품 이미지 DB가 빈 상태가 아니면, 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여 상기 패션상품 이미지를 입력 받아 스타일 벡터를 추출하는 스타일 벡터 추출기;
    상기 스타일 벡터와 가장 유사성이 높은 k개의 스타일 벡터를 패션상품 이미지 DB에서 검색하는 유사 벡터 검색기; 및
    상기 유사 벡터 검색기와 연동하여 상기 k개의 스타일 벡터를 검색하는 상기 패션상품 이미지 DB를 포함하고,
    상기 프로세서는,
    각각의 스타일벡터에 대응되는 이미지를 상기 디스플레이를 통해 출력하고,
    상기 k개의 유사 이미지에 대하여 새 이미지에 대응되는 속성 및 속성값 정보와 일치되면 출력 이미지에 대응되는 속성 분석 이력 DB의 속성 및 속성값 정보를 갱신하도록 제어하는, 패션상품 속성 자동분석기.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 패션상품 이미지 DB가 빈 상태이면, 상기 새 이미지 데이터셋에 포함된 이미지 각각에 대하여, 해당 이미지, 속성/속성값, 이미지를 상기 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 새 항목이 상기 속성 분석 이력 DB에 추가되도록 제어하는, 패션상품 속성 자동분석기.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 속성 분석 이력 DB에 저장된 미확인 결과 중 N개의 속성 분석 이력을 임의 추출하고,
    상기 N개의 속성분석 이력에 대하여, 입력 이미지와 상기 분석 결과에 대한 오류 여부가 확인되도록 제어하는, 패션상품 속성 자동분석기.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 오류의 확인에 응답하여 올바른 속성 목록이 수정된 경우, 해당 입력 이미지에 대하여, 해당 이미지, 수정된 속성/속성값, 이미지를 스타일 벡터 추출기에 입력하여 얻은 스타일 벡터로 구성된 상기 새 항목이 상기 속성 분석 이력 DB에 추가되도록 제어하는, 패션상품 속성 자동분석기.
KR1020220181422A 2022-12-22 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법 KR20240099678A (ko)

Publications (1)

Publication Number Publication Date
KR20240099678A true KR20240099678A (ko) 2024-07-01

Family

ID=

Similar Documents

Publication Publication Date Title
US11775929B2 (en) Systems and methods for improving recommendation systems
US8510298B2 (en) Method for relevancy ranking of products in online shopping
US20120072405A1 (en) Simulation-assisted search
US11062379B2 (en) Automatic fashion outfit composition and recommendation system and method
US9454581B1 (en) Search with more like this refinements
JP2012529122A (ja) ユーザーのジャンル及びスタイルを学習すると共に製品をユーザーの好みにマッチングさせるシステム及び方法
US20160335693A1 (en) Information providing device, information providing method, program and non-transitory recording medium
WO2002079942A2 (en) System for visual preference determination and predictive product selection
KR102284148B1 (ko) 딥러닝을 이용한 벡터기반의 패션추천 방법 및 시스템
KR102043440B1 (ko) 이미지 내 복수의 객체들의 조화에 기반한 조화 검색 방법 및 시스템
US11037071B1 (en) Cross-category item associations using machine learning
US20230019794A1 (en) Automatic item recommendations based on visual attributes and complementarity
US11587028B2 (en) Computer system for optimizing garment inventory of retailer based on shapes of users
KR20220001616A (ko) 통합 고객 식별자 생성을 기반으로 하는 고객 빅데이터 구축 방법, 장치 및 시스템
KR20220001617A (ko) 고객 빅데이터를 활용한 상품 추천 방법, 장치 및 시스템
US11972466B2 (en) Computer storage media, method, and system for exploring and recommending matching products across categories
KR20160117678A (ko) 큐레이션 커머스에서 상품 등록 및 추천 방법
US11488223B1 (en) Modification of user interface based on dynamically-ranked product attributes
CN116308683B (zh) 基于知识图谱的服装品牌定位推荐方法、设备及存储介质
US20150206220A1 (en) Recommendation Strategy Portfolios
KR20220001618A (ko) 빅데이터 기반의 그룹 단위의 상품 추천 방법, 장치 및 시스템
KR20240099678A (ko) 딥러닝 유사 이미지 검색기 및 사례기반추론을 활용한 패션상품 속성 자동분석 방법
JP2002288216A (ja) 感性商品検索システム及び方法
KR102307095B1 (ko) 패션 코디의 자동 추천 방법 및 시스템
US20240078583A1 (en) Custom attributes for search