KR102430029B1 - 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템 - Google Patents

딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템 Download PDF

Info

Publication number
KR102430029B1
KR102430029B1 KR1020200107951A KR20200107951A KR102430029B1 KR 102430029 B1 KR102430029 B1 KR 102430029B1 KR 1020200107951 A KR1020200107951 A KR 1020200107951A KR 20200107951 A KR20200107951 A KR 20200107951A KR 102430029 B1 KR102430029 B1 KR 102430029B1
Authority
KR
South Korea
Prior art keywords
similar product
image
similarity
similar
product
Prior art date
Application number
KR1020200107951A
Other languages
English (en)
Other versions
KR20220026875A (ko
Inventor
송치영
박근한
Original Assignee
엔에이치엔클라우드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔클라우드 주식회사 filed Critical 엔에이치엔클라우드 주식회사
Priority to KR1020200107951A priority Critical patent/KR102430029B1/ko
Priority to US17/446,113 priority patent/US20220067812A1/en
Publication of KR20220026875A publication Critical patent/KR20220026875A/ko
Application granted granted Critical
Publication of KR102430029B1 publication Critical patent/KR102430029B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0627—Directed, with specific intent or strategy using item specifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0629—Directed, with specific intent or strategy for generating comparisons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 컴퓨팅 디바이스에 의하여 실행되는 상품 검색결과 정렬 어플리케이션이 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 방법으로서, 검색하고자 하는 상품을 포함하는 검색 이미지를 획득하는 단계; 상기 획득된 검색 이미지에 기초한 딥러닝을 수행하여 유사상품 이미지를 획득하는 단계; 상기 획득된 유사상품 이미지가 복수 개인 경우, 복수의 유사상품 이미지 각각에 대한 타겟 유사도에 기반하여 1차 정렬을 수행하는 단계; 상기 1차 정렬된 복수의 유사상품 이미지를 기반으로 소정의 파라미터에 기반한 딥러닝을 수행하는 단계; 상기 소정의 파라미터에 기반한 딥러닝을 기초로, 상기 복수의 유사상품 이미지 중 적어도 일부 간의 상기 소정의 파라미터에 기초한 유사도를 나타내는 상호 유사도를 획득하는 단계; 상기 획득된 상호 유사도와 상기 타겟 유사도를 기반으로 상기 복수의 유사상품 이미지 각각에 대한 통합 유사도를 획득하는 단계; 상기 획득된 통합 유사도를 기초로 상기 복수의 유사상품 이미지를 2차 정렬하는 단계; 및 상기 2차 정렬된 복수의 유사상품 이미지를 제공하는 단계를 포함한다.

Description

딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템{METHOD AND SYSTEM FOR PROVIDING SEARCH RESULTS FOR SIMILAR PRODUCTS BASED ON DEEP-LEARNING}
본 발명은 딥러닝을 기반으로 유사상품 검색 결과를 제공하는 방법 및 그 시스템에 관한 것이다. 보다 상세하게는, 이미지 딥러닝에 기반한 유사상품 검색 결과를 정렬하여 제공하는 방법 및 그 시스템에 관한 것이다.
최근 들어, 각종 정보통신기술(Information and Communications Technologies, ICT)이 발전함에 따라서, PDA(Personal Digital Assistant), 스마트 폰 및/또는 데스크 탑 등과 같은 단말기를 통해 온라인 쇼핑몰 서버에서 제공하는 상품을 확인하고 구매하는 온라인 쇼핑 활동이 활발히 수행되고 있다.
여기서, 온라인 쇼핑몰(Online shopping mall)이란, 인터넷과 같은 네트워크를 통하여 온라인 상에서 상품을 구매하고 판매할 수 있는 장소를 의미한다.
이러한 온라인 쇼핑몰은, 최근 들어 개체 수가 급격히 증가함에 따라 쇼핑몰의 경쟁력을 증대시킬 수 있는 차별화된 서비스를 요구하고 있으며, 이를 제공하기 위한 다양한 솔루션들이 개발되고 있다.
일례로, 종래의 본 기술 분야에서는, 사용자 즉, 온라인 쇼퍼(Online shopper)가 온라인 쇼핑몰에서 상품을 검색할 때, 사용자가 검색하고자 하는 특정 상품과 유사한 상품이 해당 쇼핑몰에 더 존재하는지를 확인하고 싶은 니즈(Needs)를 충족시키기 위하여, 온라인 쇼핑몰에 존재하는 방대한 양의 상품에 대하여 사용자가 원하는 상품과 관련된 유사 상품을 편리하게 검색할 수 있는 서비스를 제공하고 있다.
또한, 종래의 본 기술 분야에서는, 온라인 상에 존재하는 방대한 양의 상품에 대한 효과적인 검색 기술을 제공하기 위하여, 상품에 대한 명칭을 알지 못하거나, 기존의 검색 방법(예컨대, 카테고리, 키워드 검색 등)으로는 상품을 찾기 어렵거나 혹은 원하는 상품과 관련된 유사 상품을 편리하게 확인하고자 하는 상황에서 사용자들의 니즈(needs)를 충족시키기 위해, 사용자가 검색하고자 하는 특정 상품을 촬영한 이미지를 기반으로 유사한 상품을 검색할 수 있는 기술을 도입하고 있다.
그러나, 종래의 본 기술 분야에서의 이미지 기반 유사상품 검색 기술은, 사용자가 검색하고자 하는 특정 상품에 대한 이미지와, 쇼핑몰 서버에서 제공하는 복수의 상품 이미지의 유사도를 분석하고, 분석된 유사도를 기준으로 상기 검색하고자 하는 특정 상품에 대한 이미지와 유사하다고 판단된 적어도 일부의 상품 이미지를 일괄 나열하는 방식으로 유사상품을 제공하는 데 그치고 있다.
즉, 종래의 이미지 기반 유사상품 검색 기술은, 검색하고자 하는 특정 상품에 대한 이미지와, 쇼핑몰 서버에서 제공되는 상품 이미지 간의 1:1 유사도만을 고려하여 유사상품 검색 결과를 제공함으로써, 다수 개의 유사상품이 검출돼 제공되는 경우, 해당 다수 개의 유사상품들이 일관성 있게 정렬되어 제공되기 어렵다는 문제가 있다.
예를 들어, 일반적인 사용자들은, 이미지 간 유사성을 판단함에 있어 색상 요소에 매우 민감할 수 있다.
그러나, 종래 방식으로 이미지 기반 유사상품을 검색하면, 검색하고자 하는 특정 상품 이미지 내 색상뿐만 아니라, 다양한 특징벡터 파라미터를 기반으로 대응되는 유사상품들을 검출하고, 위와 같은 다양한 특징벡터에 기반한 유사도를 기초로 복수의 유사상품에 대한 이미지들을 나열해 제공함으로써, 다수의 유사상품 이미지들을 사용자가 민감하게 반응하는 요소(여기서, 색상 등)에 따라서 보기 좋게 시각화하여 나열해 제공하기 어렵다는 한계가 있다.
그리하여, 이러한 문제점을 해결함과 동시에 온라인 쇼핑몰에서의 이미지 기반 유사상품 검색 서비스의 품질을 향상시켜 사용자 만족도를 증대시키기 위한 기술의 도입이 필요시 되고 있다.
KR 10-2020-0010672 A
본 발명은, 상술된 문제점을 해결하기 위하여 안출된 것으로서, 검색하고자 하는 상품을 포함하는 이미지에 대한 딥러닝을 기반으로 유사상품 검색 결과를 제공할 시, 해당 검색 결과를 특정 파라미터에 따라서 정렬하여 제공하는 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템을 구현하는데 그 목적이 있다.
자세히, 본 발명은, 검색하고자 하는 상품을 포함하는 이미지(검색 대상)와 유사상품을 포함하는 이미지(검색 결과) 간의 유사도뿐만 아니라, 검색 결과로 도출된 유사상품 이미지 간의 유사도 또한 측정하여, 유사상품 검색 결과로 제공되는 복수의 유사상품 이미지들을 일관성 있게 정렬해 제공하는 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템을 구현하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 컴퓨팅 디바이스에 의하여 실행되는 상품 검색결과 정렬 어플리케이션이 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 방법으로서, 검색하고자 하는 상품을 포함하는 검색 이미지를 획득하는 단계; 상기 획득된 검색 이미지에 기초한 딥러닝을 수행하여 유사상품 이미지를 획득하는 단계; 상기 획득된 유사상품 이미지가 복수 개인 경우, 복수의 유사상품 이미지 각각에 대한 타겟 유사도에 기반하여 1차 정렬을 수행하는 단계; 상기 1차 정렬된 복수의 유사상품 이미지를 기반으로 소정의 파라미터에 기반한 딥러닝을 수행하는 단계; 상기 소정의 파라미터에 기반한 딥러닝을 기초로, 상기 복수의 유사상품 이미지 중 적어도 일부 간의 상기 소정의 파라미터에 기초한 유사도를 나타내는 상호 유사도를 획득하는 단계; 상기 획득된 상호 유사도와 상기 타겟 유사도를 기반으로 상기 복수의 유사상품 이미지 각각에 대한 통합 유사도를 획득하는 단계; 상기 획득된 통합 유사도를 기초로 상기 복수의 유사상품 이미지를 2차 정렬하는 단계; 및 상기 2차 정렬된 복수의 유사상품 이미지를 제공하는 단계를 포함한다.
이때, 상기 유사상품 이미지를 획득하는 단계는, 상기 검색 이미지와 상기 유사상품 이미지의 특징벡터에 기반하여, 상기 검색 이미지와 상기 유사상품 이미지 간의 유사도를 나타내는 상기 타겟 유사도를 획득하는 단계를 포함한다.
또한, 상기 상호 유사도를 획득하는 단계는, 제 n 유사상품 이미지와, 상기 제 n 유사상품 이미지 보다 상기 검색 이미지와의 유사도가 한 단계 높은 유사상품 이미지인 제 n-1 유사상품 이미지를 기반으로 상기 소정의 파라미터에 기반한 딥러닝을 수행하여, 상기 제 n 유사상품 이미지의 상기 상호 유사도를 획득하는 단계를 포함한다.
또한, 상기 소정의 파라미터는, 상품 색상 파라미터, 상품 형태 파라미터, 상품 질감 파라미터 또는 상품 모델 포즈 파라미터 중 적어도 하나이다.
또한, 상기 상호 유사도를 획득하는 단계는, 상기 복수의 유사상품 이미지 각각에 대하여 상기 상호 유사도를 획득하는 단계를 더 포함한다.
또한, 상기 통합 유사도는, 상기 검색 이미지와 상기 제 n 유사상품 이미지 간 유사도에 따른 상기 제 n 유사상품 이미지의 타겟 유사도 값과, 상기 제 n 유사상품 이미지와 상기 제 n-1 유사상품 이미지 간 유사도에 따른 상기 제 n 유사상품 이미지의 상호 유사도 값을 기반으로 획득된다.
또한, 상기 통합 유사도를 획득하는 단계는, 상기 1차 정렬된 복수의 유사상품 이미지 각각에 대하여 순차적으로 통합 유사도 값을 획득하는 단계를 포함한다.
또한, 상기 통합 유사도를 획득하는 단계는, 상기 제 n 유사상품 이미지의 상기 통합 유사도 값을 획득하고, 이후 상기 제 n 유사상품 이미지 보다 상기 검색 이미지와의 유사도가 한 단계 낮은 유사상품 이미지인 제 n+1 유사상품 이미지의 상기 통합 유사도 값을 획득하는 단계를 더 포함한다.
또한, 상기 통합 유사도를 기초로 상기 복수의 유사상품 이미지를 2차 정렬하는 단계는, 순차적으로 상기 제 n 유사상품 이미지와 상기 제 n+1 유사상품 이미지의 상기 통합 유사도 값이 획득될 시마다, 상기 획득된 통합 유사도 값 간의 비교를 수행하는 단계를 포함한다.
또한, 상기 복수의 유사상품 이미지를 2차 정렬하는 단계는, 상기 획득된 통합 유사도 값 간의 비교를 수행하여 상기 통합 유사도가 높은 순으로 상기 유사상품 이미지를 정렬하는 단계를 포함한다.
본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 검색하고자 하는 상품을 포함하는 이미지에 대한 딥러닝을 기반으로 유사상품 검색 결과를 제공할 시, 해당 검색 결과를 특정 파라미터에 따른 유사도를 기초로 정렬해 제공함으로써, 복수의 유사상품 이미지를 소정의 기준(예컨대, 색상 등)에 따라서 보다 편리하고 직관적으로 인식하게 할 수 있고, 이를 통해 딥러닝 기반 유사상품 검색 결과의 품질을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 검색하고자 하는 상품을 포함하는 이미지(검색 대상)와 유사상품을 포함하는 이미지(검색 결과) 간의 유사도뿐만 아니라, 검색 결과로 도출된 유사상품 이미지 간의 특정 파라미터에 기반한 유사도 또한 측정하고, 측정된 유사도들을 기초로 복수의 유사상품 이미지들을 정렬해 제공함으로써, 특징벡터에 기반한 검색 이미지와의 유사도에 더하여 소정의 기준(파라미터)에 기반한 복수의 이미지들 간의 유사도까지 더 고려한 세밀하고 정확한 유사도를 기초로 해당 검색 이미지에 대한 유사상품 이미지들을 검출하여 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 이미지 딥러닝에 기반한 유사상품 검색 결과를 소정의 파라미터에 따른 유사도를 기초로 정렬하여 제공함으로써, 검색 이미지에 대한 유사상품을 쉽고 빠르게 확인하고자 하는 사용자의 니즈 반영을 극대화함과 동시에 온라인 쇼핑몰의 경쟁력을 증대시킬 수 있는 효과가 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스의 내부 블록도이다.
도 3은 본 발명의 실시예에 따른 상품검색 서버의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 1차 정렬된 복수의 유사상품 이미지를 나타내는 모습의 일례이다.
도 7은 본 발명의 실시예에 따른 복수의 유사상품 이미지에 대한 2차 정렬을 수행하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시예에 따른 타겟 유사도를 설명하기 위한 도면의 일례이다.
도 9는 본 발명의 실시예에 따른 상호 유사도를 설명하기 위한 도면의 일례이다.
도 10은 본 발명의 실시예에 따른 통합 유사도를 설명하기 위한 도면의 일례이다.
도 11은 본 발명의 실시예에 따른 2차 정렬된 복수의 유사상품 이미지를 나타내는 모습의 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 시스템의 개념도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 시스템은, 컴퓨팅 디바이스(100), 상품검색 서버(400) 및 쇼핑몰 서버(500)를 포함할 수 있다.
실시예에서, 컴퓨팅 디바이스(100), 상품검색 서버(400) 및 쇼핑몰 서버(500)는, 상품검색 서버(400)에서 제공하는 상품 검색결과 정렬 어플리케이션(이하, 상품정렬 어플리케이션)의 구동을 통해 상호 연동하여, 검색하고자 하는 상품인 검색상품을 포함하는 이미지(즉, 검색 이미지)에 대한 딥러닝(Deep-learning)을 기반으로 유사상품 검색 결과를 제공할 시, 해당 검색 결과를 특정 파라미터에 따라서 정렬하여 제공하는 딥러닝 기반 유사상품 검색 결과 제공 서비스(이하, 유사상품 정렬 검색 서비스)를 제공할 수 있다.
자세히, 실시예에서 컴퓨팅 디바이스(100)는, 상품검색 서버(400) 또는 어플리케이션 제공서버로부터 상품정렬 어플리케이션을 다운받아 설치할 수 있으며, 상품정렬 어플리케이션의 구동을 통해 유사상품 정렬 검색 서비스를 제공할 수 있다.
이때, 실시예에서 상품정렬 어플리케이션은, 온라인 쇼핑몰에서 상품검색과 관련된 키워드 기반 검색 서비스, 카테고리 기반 검색 서비스 및/또는 이미지 기반 검색 서비스 등을 포함한 종합적인 온라인 상품검색 플랫폼을 제공할 수 있는 어플리케이션일 수 있다.
이하의 실시예에서는, 상품정렬 어플리케이션이 검색 이미지를 기반으로 온라인 쇼핑몰에서의 상품검색을 수행하는 과정에 기준하여 설명하나, 이에 한정되는 것은 아니며 다양한 실시예들이 가능할 수 있다.
자세히, 실시예에서 상품정렬 어플리케이션은, 검색상품을 촬영한 이미지인 검색 이미지를 획득할 수 있다.
또한, 상품정렬 어플리케이션은, 획득된 검색 이미지를 기반으로 딥러닝을 수행하여 유사상품 이미지를 검출할 수 있다.
또한, 실시예에서 상품정렬 어플리케이션은, 검출된 유사상품 이미지가 복수 개인 경우, 복수의 유사상품 이미지에 대한 1차 정렬을 수행할 수 있다.
이때, 상품정렬 어플리케이션은, 검색 이미지와 유사상품 이미지 간의 특징벡터에 기반하여 획득되는 유사도(실시예에서, 타겟 유사도)에 기초하여, 복수의 유사상품 이미지에 대한 1차 정렬을 수행할 수 있다.
여기서, 실시예에 따른 특징벡터란, 이미지 내의 오브젝트에 대한 특징을 특정하는 파라미터(변수)를 의미할 수 있다.
실시예로, 특징벡터는, 텍스쳐(Texture), 패브릭(Fabric), 쉐이프(Shape), 스타일(Style) 및/또는 컬러(Color) 파라미터 중 적어도 어느 하나 이상의 파라미터를 포함할 수 있으며, 각 파라미터 값은 딥러닝 뉴럴 네트워크(예컨대, 기학습된 특징벡터 추출 딥러닝 뉴럴 네트워크 등)에 기반해 도출될 수 있다.
또한, 실시예에서 상품정렬 어플리케이션은, 위와 같이 1차 정렬된 복수의 유사상품 이미지에 대한 2차 정렬을 수행할 수 있다.
자세히, 상품정렬 어플리케이션은, 소정의 파라미터(예컨대, 상품 형태, 색상, 질감 및/또는 모델 포즈 등)를 기반으로 검색 이미지 및/또는 유사상품 이미지에 대한 딥러닝을 수행할 수 있다.
그리고 상품정렬 어플리케이션은, 위와 같은 딥러닝을 수행하여 유사상품 이미지 간의 상기 소정의 파라미터에 기반한 유사도(실시예에서, 상호 유사도)를 획득할 수 있다.
또한, 상품정렬 어플리케이션은, 획득된 상기 소정의 파라미터에 기반한 유사도에 기초하여 복수의 유사상품 이미지에 대한 2차 정렬을 수행할 수 있다.
또한, 실시예에서 상품정렬 어플리케이션은, 위와 같이 2차 정렬된 유사상품 이미지를 출력하여 사용자에게 제공할 수 있다.
한편, 도 1의 컴퓨팅 디바이스(100), 상품검색 서버(400) 및 쇼핑몰 서버(500)는, 네트워크를 기반으로 연결될 수 있다.
여기서, 네트워크는, 컴퓨팅 디바이스(100), 상품검색 서버(400) 및 쇼핑몰 서버(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
- 컴퓨팅 디바이스(100: Computing Device)
본 발명의 실시예에서 컴퓨팅 디바이스(100)는, 유사상품 정렬 검색 서비스를 이용하기 위한 환경을 제공하며, 이러한 유사상품 정렬 검색 서비스 환경 내에서 검색 이미지에 대한 딥러닝을 기반으로 유사상품 검색 결과를 제공할 시, 해당 검색 결과를 특정 파라미터에 따라서 정렬하여 제공할 수 있는 상품정렬 어플리케이션을 실행할 수 있다.
실시예에서, 이와 같은 컴퓨팅 디바이스(100)는, 상품정렬 어플리케이션이 설치된 다양한 타입(예컨대, 모바일 타입 또는 데스크탑 타입)의 컴퓨팅 디바이스(100)를 포함할 수 있다.
1. 모바일 타입 컴퓨팅 디바이스(200: Mobile type computing device)
본 발명의 실시예에서 모바일 타입 컴퓨팅 디바이스(200)는, 상품정렬 어플리케이션이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다.
예를 들어, 모바일 타입 컴퓨팅 디바이스(200)는, 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC) 등이 포함될 수 있다.
도 2는 본 발명의 실시예에 따른 모바일 타입 컴퓨팅 디바이스(200)의 내부 블록도이다.
도 2를 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다.
자세히, 메모리(210)에는, 상품정렬 어플리케이션(211)이 저장되며, 상품정렬 어플리케이션(211)에는 유사상품 정렬 검색 서비스를 구현할 수 있는 환경을 제공하기 위한 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
예를 들면, 메모리(210)는, 검색 이미지, 유사상품 이미지, 특징벡터, 파라미터, 타겟 유사도, 상호 유사도 및/또는 통합 유사도 정보 등을 포함할 수 있다.
즉, 메모리(210)는 유사상품 정렬 검색 서비스 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다.
또한, 메모리(210)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(210)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(210)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다.
프로세서 어셈블리(220)는, 유사상품 정렬 검색 서비스 환경을 구현하기 위한 다양한 작업을 수행하기 위해, 메모리(210)에 저장된 상품정렬 어플리케이션(211)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다.
실시예에서 프로세서 어셈블리(220)는, 유사상품 정렬 검색 서비스를 제공하기 위하여 메모리(210)의 상품정렬 어플리케이션(211)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 프로세서 어셈블리(220)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(220)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다.
통신 모듈(230)은, 다른 컴퓨팅 장치(예컨대, 상품검색 서버(400))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(230)은, 무선 네트워크를 통해 통신할 수 있다.
자세히, 통신 모듈(230)은, 유사상품 정렬 검색 서비스 환경을 구현하기 위한 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다.
실시예에서 통신 모듈(230)은, 유사상품 정렬 검색 서비스와 관련된 각종 데이터를 상품검색 서버(400) 및/또는 다른 컴퓨팅 디바이스(100)와 송수신할 수 있다.
이러한 통신 모듈(230)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.
센서 시스템(260)은, 이미지 센서(261), 위치 센서(IMU, 263), 오디오 센서, 거리 센서, 근접 센서, 접촉 센서 등 다양한 센서를 포함할 수 있다.
이미지 센서(261)는, 모바일 타입 컴퓨팅 디바이스(200) 주위의 물리적 공간에 대한 이미지 및/또는 영상을 캡처할 수 있다.
실시예에서 이미지 센서(261)는, 유사상품 정렬 검색 서비스에 관련된 영상(실시예로, 검색 이미지 등)을 촬영하여 획득할 수 있다.
또한, 이미지 센서(261)는, 모바일 타입 컴퓨팅 디바이스(200)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 모바일 타입 컴퓨팅 디바이스(200)의 외부를 향해 배치된 카메라를 통해 물리적 공간을 촬영할 수 있다.
이러한 이미지 센서(261)는, 이미지 센서장치와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(261)는, 이미지 센서장치(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다.
또한, 이미지 센서(261)는, 영상 처리 모듈을 이용하여 이미지 센서장치를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.
이러한 이미지 센서(261)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다.
IMU(263)는 모바일 타입 컴퓨팅 디바이스(200)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(230)의 GPS와 같은 위치 통신 모듈(230)과 연동하여, 모바일 타입 컴퓨팅 디바이스(200) 주변의 물리적 공간에 대한 공간 정보를 인식할 수 있다.
또한, IMU(263)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다.
또한, 일부 구현들에서, 상품정렬 어플리케이션(211)은 이러한 IMU(263) 및 이미지 센서(261)를 사용하여 물리적 공간 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간 내의 특징 또는 객체를 인식할 수 있다.
오디오 센서(265)는, 모바일 타입 컴퓨팅 디바이스(200) 주변의 소리를 인식할 수 있다.
자세히, 오디오 센서(265)는, 모바일 타입 컴퓨팅 디바이스(200) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다.
실시예에서 오디오 센서(265)는, 유사상품 정렬 검색 서비스를 위해 필요한 음성 데이터를 사용자로부터 입력 받을 수 있다.
인터페이스 모듈(240)은, 모바일 타입 컴퓨팅 디바이스(200)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(240)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다.
이러한 인터페이스 모듈(240)을 통해 모바일 타입 컴퓨팅 디바이스(200)는, 여러 입출력 장치들과 연결될 수 있다.
예를 들어, 인터페이스 모듈(240)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다.
예시적으로 오디오 출력장치가 인터페이스 모듈(240)을 통해 연결되는 것으로 설명하였으나, 모바일 타입 컴퓨팅 디바이스(200) 내부에 설치되는 실시예도 포함될 수 있다.
이러한 인터페이스 모듈(240)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다.
입력 시스템(250)은 유사상품 정렬 검색 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다.
자세히, 입력 시스템(250)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(261)를 포함할 수 있다.
또한, 입력 시스템(250)은, 인터페이스 모듈(240)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다.
디스플레이 시스템(270)은, 유사상품 정렬 검색 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다.
이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다.
자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.
예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 모바일 타입 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
2. 데스크탑 타입 컴퓨팅 디바이스(300: Desktop type computing device)
데스크탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 모바일 타입 컴퓨팅 디바이스(200)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 모바일 타입 컴퓨팅 디바이스(200)와의 차이점을 중심으로 설명한다.
다른 예시에서 데스크탑 타입 컴퓨팅 디바이스(300)는, 상품정렬 어플리케이션(311)이 설치된 고정형 데스크탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 유사상품 정렬 검색 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.
또한, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다.
예시적으로, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템을 다양한 통신 프로토콜로 마우스, 키보드, 제스처 입력 컨트롤러, 이미지 센서(예컨대, 카메라) 및 오디오 센서 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다.
또한, 데스크탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치, 오디오 출력 장치 등에 연결될 수 있다.
또한, 예시적인 구현에 따른 데스크탑 타입 컴퓨팅 디바이스(300)는, 메모리, 프로세서 어셈블리, 통신 모듈, 유저 인터페이스 시스템 및 입력 시스템을 포함할 수 있다. 이러한 구성요소들은 데스크탑 타입 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다.
데스크탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명은 모바일 타입 컴퓨팅 디바이스(200)의 구성요소에 대한 설명으로 대체하기로 한다.
다만, 본 발명의 실시예에서 도 2에 도시된 구성요소들은, 컴퓨팅 디바이스(100)를 구현하는데 있어 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 컴퓨팅 디바이스(100)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
- 상품검색 서버(400: Product Search Server)
본 발명의 실시예에 따른 상품검색 서버(400)는, 유사상품 정렬 검색 서비스를 제공하기 위한 일련의 프로세스를 수행할 수 있다.
자세히, 상품검색 서버(400)는, 컴퓨팅 디바이스(100)에서 상품정렬 어플리케이션이 구동되게 하기 위하여 컴퓨팅 디바이스(100)와 필요한 데이터를 교환함으로써, 유사상품 정렬 검색 서비스를 제공할 수 있다.
보다 상세히, 실시예에서 상품검색 서버(400)는, 컴퓨팅 디바이스(100)에서 상품정렬 어플리케이션이 동작할 수 있는 환경을 제공할 수 있다.
또한, 상품검색 서버(400)는, 유사상품 정렬 검색 서비스에 필요한 이미지 딥러닝(Image Deep-learning)을 수행할 수 있다.
또한, 실시예에서 상품검색 서버(400)는, 소정의 이미지에 기반하여 온라인 쇼핑몰에 대한 상품검색을 수행할 수 있다.
또한, 실시예에서 상품검색 서버(400)는, 상품검색 결과로서 획득된 적어도 하나 이상의 유사상품 이미지에 대한 정렬을 수행할 수 있다.
이때, 상품검색 서버(400)는, 검색 이미지와 유사상품 이미지 간의 유사도 및/또는 복수의 유사상품 이미지 간의 유사도에 기초하여, 복수의 유사상품 이미지에 대한 정렬을 수행할 수 있다.
또한, 실시예에서 상품검색 서버(400)는, 유사상품 정렬 검색 서비스에 필요한 각종 데이터를 수집 및 관리할 수 있다.
도 3은 본 발명의 실시예에 따른 상품검색 서버(400)의 내부 블록도이다.
보다 상세히, 도 3을 참조하면, 위와 같은 상품검색 서버(400)는, 서비스 제공서버(410), 딥러닝 서버(420), 상품검출 서버(430), 상품정렬 서버(440) 및 데이터베이스 서버(450)를 포함할 수 있다.
이때, 실시예에 따라서 상기 각 구성요소는, 상품검색 서버(400)와는 별도의 장치로서 구현될 수도 있고, 상품검색 서버(400)에 포함되어 구현될 수도 있다. 이하, 각 구성요소가 상품검색 서버(400)에 포함되어 구현되는 것으로 설명하나 이에 한정되는 것은 아니다.
자세히, 서비스 제공서버(410)는, 컴퓨팅 디바이스(100)에서 상품정렬 어플리케이션이 동작할 수 있는 환경을 제공할 수 있다.
즉, 서비스 제공서버(410)는, 이미지 딥러닝에 기반한 유사상품 정렬 검색 서비스를 제공하는 상품정렬 어플리케이션이, 컴퓨팅 디바이스(100)에서 실행될 수 있는 환경을 제공할 수 있다.
이를 위해, 서비스 제공서버(410)는, 상품정렬 어플리케이션을 구현하기 위한 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있다.
또한, 딥러닝 서버(420)는, 이미지 딥러닝 뉴럴 네트워크(Image Deep-learning Neural Network)와 연동하여 유사상품 정렬 검색 서비스에 필요한 이미지 딥러닝을 수행할 수 있다.
여기서, 이미지 딥러닝 뉴럴 네트워크는, 컨볼루션 뉴럴 네트워크(CNN, Convolution Neural Network, 예컨대, 유-넷 컨볼루션 뉴럴 네트워크(U-net Convolution Neural Network)), 및 Mask R-CNN 중 적어도 하나의 딥러닝 뉴럴 네트워크를 포함할 수 있다.
실시예에서, 이미지 딥러닝 뉴럴 네트워크와 연동한 딥러닝 서버(420)는, 이미지 딥러닝 뉴럴 네트워크에 입력된 이미지에 기반하여, 오브젝트 디텍션(Object Detection), 세그멘테이션(segmentation), 특징 맵(Feature map) 추출 및/또는 특징벡터(Feature vector) 검출 등의 이미지 처리 기술에 대한 기능 동작을 수행할 수 있다.
자세히, 실시예에서 딥러닝 서버(420)는, 이미지 딥러닝 뉴럴 네트워크를 기초로, 검색 이미지에 기반한 유사상품 검출을 수행할 수 있다.
실시예로, 딥러닝 서버(420)는, 검색 이미지를 입력 데이터로 이미지 딥러닝 뉴럴 네트워크에 입력할 수 있다.
이때, 검색 이미지를 입력받은 딥러닝 뉴럴 네트워크는, 입력받은 검색 이미지에 대응되는 유사상품을 쇼핑몰 서버(500)의 복수의 상품들 중 검출하여 출력 데이터로 제공할 수 있다.
그리고 딥러닝 서버(420)는, 위와 같이 딥러닝 뉴럴 네트워크로부터 출력된 유사상품에 대한 이미지를 획득할 수 있다.
보다 상세히, 딥러닝 서버(420)는, 이미지 딥러닝 뉴럴 네트워크에 기초하여 검색 이미지 및 쇼핑몰 서버(500) 내 복수의 상품 이미지를 입력 데이터로 하는 이미지 딥러닝을 수행할 수 있다.
또한, 딥러닝 서버(420)는, 수행된 딥러닝을 통해 검색 이미지와 각 상품 이미지 간의 유사도(즉, 실시예에서 타겟 유사도)를 산출할 수 있다.
이때, 딥러닝 서버(420)는, 검색 이미지와 상품 이미지 각각에 대한 특징벡터 값을 도출할 수 있고, 도출된 특징벡터 값 간의 거리 값을 산출할 수 있다.
또한, 딥러닝 서버(420)는, 위와 같이 산출된 특징벡터 값 간의 거리 값을 기반으로 상기 검색 이미지와 상품 이미지 간의 타겟 유사도를 산출하여 제공할 수 있다.
또한, 실시예에서 딥러닝 서버(420)는, 산출된 타겟 유사도에 기초하여 쇼핑몰 서버(500) 내 복수의 상품들 중 적어도 일부를 유사상품으로 결정할 수 있고, 결정된 유사상품의 이미지를 획득할 수 있다.
더하여, 실시예에서 딥러닝 서버(420)는, 이미지 딥러닝 뉴럴 네트워크와 연동해 쇼핑몰 서버(500) 내 복수의 상품 이미지 중 적어도 일부(실시예에서, 유사상품 이미지)에 기반한 이미지 딥러닝을 수행할 수 있다.
자세히, 딥러닝 서버(420)는, 소정의 상품 이미지 페어(실시예에서, 쇼핑몰 서버(500)로부터 검출된 제 1 유사상품 이미지와 제 2 유사상품 이미지)에 기반한 딥러닝을 수행하여, 소정의 상품 이미지 페어(pair) 간의 유사도(즉, 실시예에서 상호 유사도)를 산출할 수 있다.
보다 상세히, 딥러닝 서버(420)는, 입력 데이터로 입력된 소정의 상품 이미지 페어의 각 상품 이미지에 대한 특징벡터 값을 도출할 수 있다.
또한, 딥러닝 서버(420)는, 도출된 특징벡터 값 간의 거리 값을 산출할 수 있고, 산출된 거리 값을 기반으로 상기 상품 이미지 페어의 각 상품 이미지 간 상호 유사도를 산출하여 출력 데이터로 제공할 수 있다.
한편, 실시예에서 딥러닝 서버(420)는, 패션에 관련된 오브젝트와, 오브젝트가 차지하는 영역을 인식하여, 패션 오브젝트별로 바운딩 박스를 추출해주는 패션 디텍션(fashion detection)을 수행할 수 있다.
예를 들어, 딥러닝 서버(420)는, 패션 디텍션부를 포함할 수 있고, 패션 디텍션부는, 입력된 아이템 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크(Conv 1)와, 롤 풀링 레이어와 소프트 맥스, 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크(Conv 2)를 포함할 수 있다.
자세히, 제 1 컨볼루션 뉴럴 네트워크(Conv 1)는, 전체 이미지 및 오브젝트 후보 영역을 동시에 입력으로 받아들일 수 있다.
그리고 제 1 컨볼루션 네트워크는, 컨볼루션 레이어(Convolution layer)와 맥스 풀링 레이어(max-pooling layer)을 통해 이미지 전체를 한번에 처리하여, 유의미한 오브젝트들을 각각 묶어 특징 영역들로 나타낸 특징 맵(feature map)을 생성할 수 있다.
다음으로, 제 2 컨볼루션 네트워크는, 각 오브젝트 후보 영역에 대하여 롤 풀링 레이어(RoI Pooling layer)를 통과시켜, 특징 맵(feature map)으로부터 특징벡터(fixed-length feature vector)를 추출할 수 있다.
그리고 제 2 컨볼루션 네트워크는, 추출한 특징벡터를 풀리 커넥티드 레이어(Fully-Connected Layer, FCs)에 인가를 한 뒤, 풀리 커넥티드 레이어의 출력 데이터를 최종 단에 배치된 소프트 맥스(softmax)에 인가하여 각 객체의 종류를 특정할 수 있다.
이때, 제 2 컨볼루션 네트워크는, 객체의 종류 중 패션 관련 오브젝트만을 추출하도록 학습될 수 있다.
또한, 제 2 컨볼루션 네트워크는, 풀리 커넥티드 레이어의 출력 데이터를 바운딩 박스 리그레서(bbox regressor)에 인가하여 패션 관련 오브젝트가 차지하는 영역을 개략적으로 나타내는 바운딩 박스를 추출할 수 있다.
이러한 제 1 컨볼루션 네트워크와 제 2 컨볼루션 네트워크로 구성된 패션 디텍션부는, 오브젝트의 종류가 패션 관련 아이템임을 특정하고, 해당 아이템이 차지하는 특징 영역을 바운딩 박스로 추출할 수 있다.
다시 말해서, 딥러닝 서버(420)는, 딥러닝을 기반으로 유사상품을 제공하기 위한 프로세스에서 이용되는 뉴럴 네트워크를, 패션(Fashion) 아이템에 최적화되도록 트레이닝(training)하여 사용할 수 있으며, 트레이닝된 뉴럴 네트워크를 통해 검색 이미지 상의 오브젝트의 종류가 패션 관련 상품임을 특정하고, 해당 상품이 차지하는 특징 영역을 바운딩 박스로 추출하여 이용할 수 있다.
또한, 상품검출 서버(430)는, 소정의 이미지에 기반하여 수행되는 온라인 쇼핑몰에 대한 유사상품 검색 서비스를 제공할 수 있다.
실시예에서, 상품검출 서버(430)는, 딥러닝 서버(420) 및/또는 쇼핑몰 서버(500)와 연동하여 검색 이미지 기반의 상품검색을 수행할 수 있으며, 해당 검색 이미지에 대응되는 적어도 하나 이상의 유사상품 이미지를 검출해 제공할 수 있다.
이때, 상품검출 서버(430)는, 복수의 유사상품 이미지가 검출된 경우, 해당 유사상품 이미지와 검색 이미지 간의 유사도(타겟 유사도)에 따라서 상기 복수의 유사상품 이미지를 나열해 제공할 수 있다.
실시예로, 상품검출 서버(430)는, 산출되는 유사도 값(예컨대, 각 이미지의 특징벡터 값 간의 거리 값 등)이 낮을수록 유사도가 높다고 판단할 수 있다.
그리하여 상품검출 서버(430)는, 유사도가 높은 유사상품 이미지를 우선적으로 표시하기 위하여, 복수의 유사상품 이미지 각각에 대하여 산출된 유사도 값이 오름차순으로 나열되도록, 상기 복수의 유사상품 이미지를 정렬하여 제공할 수 있다.
본 발명의 실시예에서는, 설명의 편의를 위하여 유사도 값이 낮을수록 유사도가 높다고 설정하여 설명하나, 이는 일례일 뿐 다양한 실시예들 또한 가능할 수 있다.
또한, 실시예에서 상품정렬 서버(440)는, 검색 이미지에 대하여 검출된 유사상품 이미지가 복수 개 존재하는 경우, 해당 검색 이미지와 각 유사상품 이미지 간의 타겟 유사도에 따라서 나열되어 제공되는 상기 복수의 유사상품 이미지에 대하여, 소정의 파라미터(예컨대, 상품 형태, 색상, 질감 및/또는 모델 포즈 등)를 기준으로 상기 복수의 유사상품에 대한 재정렬을 수행할 수 있다. 이에 대한 자세한 설명은 후술되는 딥러닝 기반의 유사상품 검색 결과 제공방법에서 기술하기로 한다.
또한, 데이터베이스 서버(450)는, 유사상품 정렬 검색 서비스를 구현하기 위한 각종 응용 프로그램, 어플리케이션, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.
실시예로, 데이터베이스 서버(450)는, 검색 이미지, 유사상품 이미지, 특징벡터, 파라미터, 타겟 유사도, 상호 유사도 및/또는 통합 유사도 정보 등을 저장 및 관리할 수 있다.
또한, 실시예에서 데이터베이스 서버(450)는, 쇼핑몰 서버(500)의 각 상품에 대한 특징벡터 정보를 데이터베이스화하여 저장 및 관리하는 특징벡터 데이터베이스를 포함할 수 있다.
자세히, 데이터베이스 서버(450)는, 적어도 하나 이상의 쇼핑몰 서버(500)와 연동하여, 각 쇼핑몰 서버(500)에서 제공되는 적어도 하나 이상의 상품 각각에 대한 특징벡터 정보를 데이터베이스화한 특징벡터 데이터베이스를 구축할 수 있다.
이때, 각 쇼핑몰 서버(500)에서 제공되는 적어도 하나 이상의 상품 각각에 대한 특징벡터 정보는, 해당하는 상품의 이미지에 기초한 딥러닝을 기반으로 각기 획득될 수 있다.
한편, 위와 같은 구성요소들을 포함하는 상품검색 서버(400)는, 적어도 하나 이상의 서비스 제공서버(410), 딥러닝 서버(420), 상품검출 서버(430), 상품정렬 서버(440) 및/또는 데이터베이스 서버(450)로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 유사상품 정렬 검색 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.
또한, 본 발명의 실시예에서는, 상품검색 서버(400)에서 유사상품 정렬 검색 서비스에 필요한 이미지 딥러닝을 수행하고, 소정의 이미지에 기반한 상품검색을 수행하며, 상품검색 결과로서 획득된 적어도 하나 이상의 유사상품 이미지에 대한 정렬을 수행하고, 유사상품 정렬 검색 서비스에 필요한 각종 데이터를 수집 및 관리한다고 설명하였으나, 실시예에 따라서 상품검색 서버(400)가 수행하는 기능 동작의 일부를 컴퓨팅 디바이스(100)에서 수행할 수도 있는 등 다양한 실시예 또한 가능할 수 있다.
- 쇼핑몰 서버(500: Shopping-mall Server)
본 발명의 실시예에서 쇼핑몰 서버(500)는, 온라인 쇼핑몰 서비스(Online shopping-mall service)를 제공하기 위한 일련의 프로세스를 수행할 수 있다.
자세히, 실시예에서 쇼핑몰 서버(500)는, 네트워크를 통하여 상품을 주문하고 판매할 수 있는 전자상거래 온라인 쇼핑몰 서비스를 실행하기 위한 환경을 컴퓨팅 디바이스(100)로 제공할 수 있다.
또한, 쇼핑몰 서버(500)는, 유사상품 정렬 검색 서비스에 필요한 각종 데이터를 컴퓨팅 디바이스(100) 및/또는 상품검색 서버(400) 등과 송수신할 수 있다.
실시예로, 쇼핑몰 서버(500)는, 온라인 쇼핑몰 상의 복수의 상품에 대한 상품 관련 정보(예컨대, 상품 이미지 및/또는 상품정보 등)를 컴퓨팅 디바이스(100) 및/또는 상품검색 서버(400)로 송신할 수 있고, 컴퓨팅 디바이스(100) 및/또는 상품검색 서버(400)로부터 온라인 쇼핑몰 상의 특정 상품에 대한 니즈(needs) 관련 정보(예컨대, 해당하는 온라인 쇼핑몰에 대하여 검색된 상품에 대한 정보 등)를 수신할 수 있다.
또한, 쇼핑몰 서버(500)는, 온라인 쇼핑몰 서비스와 관련된 기능 동작에 필요한 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
실시예로, 쇼핑몰 서버(500)는, 온라인 쇼핑몰에 게시된 적어도 하나 이상의 상품에 대한 상품 이미지 및/또는 상품정보 등을 저장하여 관리할 수 있다.
보다 상세히, 도 1을 더 참조하면, 위와 같은 쇼핑몰 서버(500)는, 쇼핑몰 서비스 제공서버(510), 상품관리 서버(520) 및 데이터저장 서버(530)를 포함할 수 있다.
여기서, 쇼핑몰 서비스 제공서버(510)는, 컴퓨팅 디바이스(100)에서 온라인 쇼핑몰 서비스가 동작할 수 있는 환경을 제공할 수 있다.
즉, 쇼핑몰 서비스 제공서버(510)는, 컴퓨팅 디바이스(100)에서 인터넷(Internet)　등을 이용하여 상품을 매매할 수 있는 가상의 상점인 온라인 쇼핑몰을 제공하는 온라인 쇼핑몰 서비스를 구현할 수 있는 환경을 제공할 수 있다.
실시예에서, 이러한 쇼핑몰 서비스 제공서버(510)는, 온라인 쇼핑몰 서비스와 관련하여 제공되는 서비스를 구현할 수 있는 각종 응용 프로그램, 데이터 및/또는 명령어 등을 포함할 수 있다.
또한, 상품관리 서버(520)는, 온라인 쇼핑몰 서비스에 기반하여 제공되는 적어도 하나 이상의 상품에 대한 관리 기능을 수행할 수 있다.
실시예에서, 상품관리 서버(520)는, 상품 별 상품명, 상품 이미지, 상품 가격 및/또는 잔여 수량 등을 관리할 수 있다.
또한, 데이터저장 서버(530)는, 온라인 쇼핑몰 서비스를 구현하기 위한 각종 응용 프로그램, 어플리케이션, 명령어 및/또는 데이터 등을 저장하고 관리할 수 있다.
예를 들면, 데이터저장 서버(530)는, 온라인 쇼핑몰 서비스를 이용하는 사용자별 개인 정보, 쇼핑 정보 및/또는 주문 정보 등을 각 사용자별 계정에 매칭하여 저장 및 관리할 수 있다.
위와 같은 구성요소들을 포함하는 쇼핑몰 서버(500)는, 적어도 하나 이상의 쇼핑몰 서비스 제공서버(510), 상품관리 서버(520) 및/또는 데이터저장 서버(530)로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 온라인 쇼핑몰 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다.
- 딥러닝 기반의 유사상품 검색 결과 제공방법
이하, 컴퓨팅 디바이스(100)에서 실행되는 상품정렬 어플리케이션이 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 방법을 도 4 내지 도 11을 참조하여 상세히 설명한다.
여기서의 상품정렬 어플리케이션은, 모바일 타입 컴퓨팅 디바이스(200)의 상품정렬 어플리케이션(211) 및/또는 데스크탑 타입 컴퓨팅 디바이스(300)의 상품정렬 어플리케이션을 의미할 수 있다.
이하의 설명에서는, 모바일 타입 컴퓨팅 디바이스(200)의 상품정렬 어플리케이션(211)을 기준으로 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 방법을 수행하는 과정을 상세히 설명하나 이에 한정되는 것은 아니며, 실시예에 따라서 데스크탑 타입 컴퓨팅 디바이스(300)의 상품정렬 어플리케이션이 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 방법을 수행할 수도 있다.
도 4는 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법을 설명하기 위한 흐름도이고, 도 5는 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법을 설명하기 위한 개념도이다.
도 4 및 도 5를 참조하면, 본 발명의 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지를 획득할 수 있다. (S101)
여기서, 실시예에 따른 검색 이미지란, 검색하고자 하는 상품인 검색상품을 촬영한 이미지일 수 있다.
자세히, 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지를 입력받을 수 있는 검색 인터페이스를 제공할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 제공된 검색 인터페이스에 대한 사용자 입력 등에 기반하여, 유사상품을 검출하고자 하는 검색 이미지를 획득할 수 있다.
또한, 실시예에서 상품정렬 어플리케이션(211)은, 획득된 검색 이미지를 기반으로 딥러닝을 수행하여 유사상품 이미지를 검출할 수 있다. (S103)
자세히, 실시예에서 상품정렬 어플리케이션(211)은, 이미지 딥러닝 뉴럴 네트워크와 연동하여, 입력된 검색 이미지에 기반한 적어도 하나 이상의 유사상품 이미지를 검출할 수 있다.
이때, 상기 이미지 딥러닝 뉴럴 네트워크는, 입력된 검색 이미지에 대응되는 적어도 하나 이상의 유사상품 이미지를 쇼핑몰 서버(500)의 복수의 상품 이미지 중 검출하여 출력 데이터로 제공할 수 있다.
보다 상세히, 실시예에서 상품정렬 어플리케이션(211)은, 이미지 딥러닝 뉴럴 네트워크를 기초로, 검색 이미지 및 쇼핑몰 서버(500) 내 복수의 상품 이미지를 입력 데이터로 하는 이미지 딥러닝을 수행할 수 있다.
여기서, 상품정렬 어플리케이션(211)은, 위와 같은 이미지 딥러닝에 기초하여 검색 이미지와 각 상품 이미지 간의 유사도인 타겟 유사도를 산출할 수 있다.
자세히, 상품정렬 어플리케이션(211)은, 이미지 딥러닝 뉴럴 네트워크를 기반으로 검색 이미지와 상품 이미지 각각에 대한 특징벡터 값을 도출할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 도출된 각 특징벡터 값을 기반으로, 해당 특징벡터 값 간의 거리(차이) 값을 산출할 수 있다.
그리고 상품정렬 어플리케이션(211)은, 위와 같이 산출된 특징벡터 값 간의 거리 값에 기반하여, 상기 검색 이미지와 상품 이미지 간의 타겟 유사도를 산출할 수 있다.
실시예에서, 상품정렬 어플리케이션(211)은, 검색 이미지에 대한 복수의 특징벡터 각각의 값과, 그에 대응되는 쇼핑몰 서버(500) 내 상품 이미지에 대한 복수의 특징벡터 각각의 값 간의 거리 값을 산출할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 산출된 각 거리 값에 대한 합산 값을 도출할 수 있다.
이때, 실시예에서 상품정렬 어플리케이션(211)은, 위와 같이 도출된 합산 값이 작을수록(즉, 각 이미지의 특징벡터 값 간의 거리 값이 작을수록) 유사도가 높다고 판단할 수 있다.
본 발명의 실시예에서는, 설명의 편의를 위하여 합산 값이 작을수록 유사도가 높다고 설정하여 설명하나, 이는 일례일 뿐 다양한 실시예들 또한 가능할 수 있다.
그리하여 상품정렬 어플리케이션(211)은, 도출된 합산 값에 반비례하도록 타겟 유사도를 산출할 수 있다.
또한, 실시예에서 상품정렬 어플리케이션(211)은, 산출된 타겟 유사도에 기초하여 쇼핑몰 서버(500) 내 복수의 상품들 중 적어도 일부를 유사상품으로 결정할 수 있고, 결정된 유사상품에 대한 이미지인 유사상품 이미지를 획득할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 쇼핑몰 서버(500) 내 복수의 상품 이미지 중, 소정의 퍼센트(%) 이내의 타겟 유사도를 가지는 적어도 하나 이상의 상품 이미지를 유사상품 이미지로 선정하여 획득할 수 있다.
도 6은 본 발명의 실시예에 따른 1차 정렬된 복수의 유사상품 이미지를 나타내는 모습의 일례이다.
또한, 도 6을 참조하면, 실시예에서 상품정렬 어플리케이션(211)은, 위와 같이 검출된 유사상품 이미지에 대한 1차 정렬을 수행할 수 있다. (S105)
자세히, 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지에 기반한 딥러닝을 통해 획득된 유사상품 이미지가 복수 개인 경우, 유사상품 이미지 각각과 검색 이미지 간의 유사도(타겟 유사도)에 따라서 상기 복수의 유사상품 이미지를 나열해 제공할 수 있다.
이때, 실시예에 따라서 상품정렬 어플리케이션(211)은, 딥러닝을 통해 산출된 유사도 값(예컨대, 각 이미지의 특징벡터 값 간의 거리 값 등)이 낮을수록 유사도가 높다고 판단할 수 있다.
여기서, 본 발명의 실시예에서는 설명의 편의를 위하여 유사도 값이 낮을수록 유사도가 높다고 설정하여 설명하나, 이는 일례일 뿐 다양한 실시예들 또한 가능할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 위와 같이 산출된 유사도가 높은 유사상품 이미지를 우선적으로 표시하기 위하여, 복수의 유사상품 이미지 각각에 대해 산출된 유사도 값이 오름차순으로 나열되도록, 상기 복수의 유사상품 이미지를 정렬하여 제공할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 유사도가 가장 높은 제 1 유사상품 이미지, 상기 제 1 유사상품 이미지 보다 유사도가 한 단계 낮은 제 2 유사상품 이미지 그리고 상기 제 2 유사상품 이미지 보다 유사도가 한 단계 낮은 제 3 유사상품 이미지 등의 순으로 복수의 유사상품 이미지를 나열할 수 있다.
다만, 일반적으로 검색 이미지와 쇼핑몰 서버(500)에서 제공되는 상품 이미지 간의 1:1 타겟 유사도만을 고려하여 유사상품 검색 결과를 제공하는 경우, 다수 개의 유사상품이 검출될 시 해당 다수 개의 유사상품들을 일관성 있게 정렬하여 제공하기 어렵다.
예를 들어, 일반적인 사용자들은, 이미지 간 유사성을 판단함에 있어 색상 요소에 매우 민감할 수 있다.
그러나, 검색 이미지와 상품 이미지 간의 1:1 타겟 유사도만을 고려하여 유사상품 검색 결과를 제공하면, 검색 이미지 내 검색상품의 색상뿐만 아니라, 다양한 특징벡터 파라미터를 기반으로 대응되는 유사상품들을 검출하고, 위와 같은 다양한 특징벡터에 기반한 유사도를 기초로 복수의 유사상품에 대한 이미지들을 나열해 제공함으로써, 다수의 유사상품 이미지들을 사용자가 민감하게 반응하는 요소(여기서, 색상 등)에 따라서 보기 좋게 시각화하여 나열해 제공하기 어렵다는 한계가 있다.
그리하여, 본 발명의 실시예에서 상품정렬 어플리케이션(211)은, 위와 같이 1차 정렬된 유사상품 이미지와, 검색 이미지에 기반한 딥러닝을 기초로 2차 정렬을 수행할 수 있다. (S107)
도 7은 본 발명의 실시예에 따른 복수의 유사상품 이미지에 대한 2차 정렬을 수행하는 방법을 설명하기 위한 흐름도이다.
자세히, 도 7을 참조하면, 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지에 기반한 딥러닝을 통해 획득된 유사상품 이미지가 복수 개인 경우, 검색 이미지와 각 유사상품 이미지 간의 타겟 유사도에 따라서 1차 정렬되어 있는 복수의 유사상품 이미지에 대하여, 소정의 파라미터(예컨대, 상품 형태, 색상, 질감 및/또는 모델 포즈 등)에 기반한 딥러닝을 수행해 상기 복수의 유사상품 이미지에 대한 재정렬(2차 정렬)을 수행할 수 있다.
도 8은 본 발명의 실시예에 따른 타겟 유사도를 설명하기 위한 도면의 일례이다.
보다 상세히, 도 8을 참조하면, 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지에 기반한 딥러닝을 기초로 유사상품 이미지를 검출할 시 획득될 수 있는, 검색 이미지와 제 n 유사상품 이미지 간의 유사도에 기반한 타겟 유사도를 확인할 수 있다. (S201)
즉, 상품정렬 어플리케이션(211)은, 검색 이미지와, 복수의 유사상품 이미지 중 어느 하나인 제 n 유사상품 이미지에 기반한 딥러닝을 기초로 획득될 수 있는 제 n 유사상품 이미지의 타겟 유사도를 확인할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 검색 이미지와 제 1 유사상품 이미지에 기반한 딥러닝을 기초로 획득되는 제 1 유사상품 이미지의 타겟 유사도 값(a1), 검색 이미지와 제 2 유사상품 이미지에 기반한 딥러닝을 기초로 획득되는 제 2 유사상품 이미지의 타겟 유사도 값(a2) 및 검색 이미지와 제 3 유사상품 이미지에 기반한 딥러닝을 기초로 획득되는 제 3 유사상품 이미지의 타겟 유사도 값(a3)을 확인할 수 있다.
도 9는 본 발명의 실시예에 따른 상호 유사도를 설명하기 위한 도면의 일례이다.
또한, 도 9를 참조하면, 실시예에서 상품정렬 어플리케이션(211)은, 상기 제 n 유사상품 이미지의 바로 이전에 랭크된(즉, 제 n 유사상품 이미지 보다 검색 이미지와의 유사도가 한 단계 높은) 유사상품 이미지인 제 n-1 유사상품 이미지와, 상기 제 n 유사상품 이미지 간의 유사도인 상호 유사도를 획득할 수 있다. (S203)
즉, 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지와 제 n-1 유사상품 이미지에 기반한 딥러닝을 기초로 획득될 수 있는 제 n 유사상품 이미지의 상호 유사도를 획득할 수 있다.
이때, 실시예에 따라서 제 n 유사상품 이미지가 검색 이미지와 가장 높은 유사도를 가지는 제 1 유사상품 이미지인 경우, 제 n-1 유사상품 이미지는 검색 이미지가 될 수 있다.
자세히, 실시예에서 상품정렬 어플리케이션(211)은, 소정의 파라미터(예컨대, 상품 형태, 색상, 질감 및/또는 모델 포즈 등)에 기반하는 딥러닝을 수행하여, 제 n 유사상품 이미지와 제 n-1 유사상품 이미지 간의 상호 유사도 값을 획득할 수 있다.
보다 상세히, 상품정렬 어플리케이션(211)은, 소정의 파라미터를 기반으로 제 n 유사상품 이미지와 제 n-1 유사상품 이미지에 대한 딥러닝을 수행할 수 있고, 이를 통해 상기 소정의 파라미터에 기준한 제 n 유사상품 이미지와 제 n-1 유사상품 이미지 간의 유사도 값을 산출할 수 있다.
그리고 상품정렬 어플리케이션(211)은, 위와 같이 산출된 소정의 파라미터에 기준한 제 n 유사상품 이미지와 제 n-1 유사상품 이미지 간의 유사도 값을 기반으로, 제 n 유사상품 이미지와 제 n-1 유사상품 이미지에 대한 상호 유사도 값 즉, 제 n 유사상품 이미지의 상호 유사도 값을 획득할 수 있고, 이를 기초로 제 n 유사상품 이미지의 상호 유사도를 획득할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 컬러 피처 파라미터(상품 색상 파라미터)를 기반으로, 제 n 유사상품 이미지 및 제 n-1 유사상품 이미지 간의 색상 유사도를 산출하는 딥러닝을 수행할 수 있다.
그리고 상품정렬 어플리케이션(211)은, 위와 같이 수행된 딥러닝을 통해 산출된 컬러 피처 파라미터 값 즉, 색상 유사도 값에 기초하여 제 n 유사상품 이미지와 제 n-1 유사상품 이미지 간의 상호 유사도 값 즉, 제 n 유사상품 이미지의 상호 유사도 값을 획득할 수 있다.
이하, 소정의 파라미터를 컬러 피처 파라미터에 한정하여 설명하나, 상품 형태, 질감 및/또는 모델 포즈 파라미터 등을 기준으로 수행할 수도 있는 등 다양한 실시예 또한 가능하다.
예시적으로, 상품정렬 어플리케이션(211)은, 검색 이미지, 제 1 유사상품 이미지, 제 2 유사상품 이미지 및 제 3 유사상품 이미지가 존재하는 경우, 컬러 피처 파라미터를 기반으로 검색 이미지(여기서, 제 n-1 유사상품 이미지)와 제 1 유사상품 이미지(여기서, 제 n 유사상품 이미지)에 대한 딥러닝을 수행하여 제 1 유사상품 이미지의 상호 유사도 값(b1)을 획득할 수 있다.
또한, 예시에서 상품정렬 어플리케이션(211)은, 컬러 피처 파라미터를 기반으로 제 1 유사상품 이미지(여기서, 제 n-1 유사상품 이미지)와 제 2 유사상품 이미지(여기서, 제 n 유사상품 이미지)에 대한 딥러닝을 수행하여 제 2 유사상품 이미지의 상호 유사도 값(b2)을 획득할 수 있다.
또한, 예시에서 상품정렬 어플리케이션(211)은, 컬러 피처 파라미터를 기반으로 제 2 유사상품 이미지(여기서, 제 n-1 유사상품 이미지)와 제 3 유사상품 이미지(여기서, 제 n 유사상품 이미지)에 대한 딥러닝을 수행하여 제 3 유사상품 이미지의 상호 유사도 값(b3)을 획득할 수 있다.
실시예에서, 상품정렬 어플리케이션(211)은, 상술된 타겟 유사도와 마찬가지로, 위와 같이 획득될 수 있는 상호 유사도 값이 낮을수록 해당하는 제 n 유사상품 이미지와 검색 이미지 간의 유사도가 높다고 판단할 수 있다.
본 발명의 실시예에서는, 설명의 편의를 위하여 유사도 값이 낮을수록 검색 이미지와의 유사도가 높다고 설정하여 설명하나, 이는 일례일 뿐 다양한 실시예들 또한 가능할 수 있다.
이와 같이, 상품정렬 어플리케이션(211)은, 소정의 파라미터에 기준한 이미지들 간의 상호 유사도를 획득함으로써, 추후 검색 이미지를 기반으로 검색된 복수의 유사상품 이미지를 보다 소상한 기준 파라미터(실시예에서, 통합 유사도)를 기반으로 재정렬하여 제공하게 할 수 있다.
도 10은 본 발명의 실시예에 따른 통합 유사도를 설명하기 위한 도면의 일례이다.
또한, 도 10을 참조하면, 실시예에서 상품정렬 어플리케이션(211)은, 획득된 상호 유사도와 타겟 유사도에 기초하여 통합 유사도를 획득할 수 있다. (S205)
즉, 실시예에서 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지의 타겟 유사도 값과 상호 유사도 값에 기초하여, 제 n 유사상품 이미지의 통합 유사도를 획득할 수 있다.
여기서, 실시예에 따른 통합 유사도란, 검색 이미지와 제 n 유사상품 이미지 간 유사도에 따른 제 n 유사상품 이미지의 타겟 유사도 값과, 제 n 유사상품 이미지와 제 n-1 유사상품 이미지 간 유사도에 따른 제 n 유사상품 이미지의 상호 유사도 값에 기반하여 획득될 수 있으며, 복수의 유사상품 이미지를 2차 정렬하는데 이용되는 기준 파라미터일 수 있다.
다시 말해서, 실시예에서 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지의 타겟 유사도와 상호 유사도를 모두 고려하여 복수의 유사상품 이미지를 2차 정렬할 수 있는 제 n 유사상품 이미지의 통합 유사도를 획득할 수 있다.
예시적으로, 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지의 타겟 유사도 값과 상호 유사도 값을 합산하는 방식으로 제 n 유사상품 이미지의 통합 유사도 값을 획득할 수 있고, 이를 기초로 제 n 유사상품 이미지의 통합 유사도를 획득할 수 있다.
이하의 실시예에서는, 상품정렬 어플리케이션(211)이 제 n 유사상품 이미지의 타겟 유사도 값과 상호 유사도 값을 합산하는 방식으로 제 n 유사상품 이미지의 통합 유사도를 획득하는 것에 기준하여 설명하나, 실시예에 따라서 제 n 유사상품 이미지의 타겟 유사도 값과 상호 유사도 값을 기반으로 복수의 유사상품 이미지를 효과적으로 정렬할 수 있는 방식(예컨대, 소정의 사칙연산 및/또는 알고리즘 등)이라면 어떠한 방식으로도 통합 유사도를 산출할 수 있으며, 본 발명의 실시예에서는 제 n 유사상품 이미지의 통합 유사도를 획득하는 방식에 대한 별도의 한정이나 제한은 하지 않는다.
자세히, 실시예에서 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지의 타겟 유사도 값과 상호 유사도 값을 기반으로 합산연산을 수행하여, 제 n 유사상품 이미지의 통합 유사도 값을 획득할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 검색 이미지, 제 1 유사상품 이미지, 제 2 유사상품 이미지 및 제 3 유사상품 이미지가 존재하는 경우, 제 1 유사상품 이미지의 타겟 유사도 값(a1)과 상호 유사도 값(b1)를 합산하여 제 1 유사상품 이미지의 통합 유사도 값(c1)를 획득할 수 있다.
또한, 예시에서 상품정렬 어플리케이션(211)은, 제 2 유사상품 이미지의 타겟 유사도 값(a2)과 상호 유사도 값(b2)를 합산하여 제 2 유사상품 이미지의 통합 유사도 값(c2)를 획득할 수 있다.
또한, 예시적으로 상품정렬 어플리케이션(211)은, 제 3 유사상품 이미지의 타겟 유사도 값(a3)과 상호 유사도 값(b3)를 합산하여 제 3 유사상품 이미지의 통합 유사도 값(c3)를 획득할 수 있다.
이때, 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지부터 시작하여 1차 정렬된 순으로 나열되어 있는 복수의 유사상품 이미지 각각에 대한 통합 유사도를 순차적으로 획득할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 검색 이미지와 제 1 유사상품 이미지에 기반한 딥러닝을 수행하여 제 1 유사상품 이미지의 통합 유사도를 획득하고, 이후 상기 제 1 유사상품 이미지와 제 2 유사상품 이미지에 기반한 딥러닝을 수행하여 제 2 유사상품 이미지의 통합 유사도를 획득하며, 동일한 방식으로 제 n 유사상품 이미지와 제 n-1 유사상품 이미지에 대한 딥러닝을 수행하여 제 n 유사상품 이미지의 통합 유사도를 순차적으로 획득할 수 있다.
이와 같이, 상품정렬 어플리케이션(211)은, 유사상품 이미지 각각에 대한 통합 유사도를 획득함으로써, 특징벡터에 기반한 검색 이미지와 유사상품 이미지 간의 유사도뿐만 아니라, 소정의 기준(파라미터)에 기반한 복수의 이미지들 간의 유사도까지 더 고려할 수 있고, 이를 통해 검색 이미지에 대하여 제공되는 복수의 유사상품 이미지를 더 세밀하고 정확한 유사도에 기반하여 검출해 제공할 수 있다.
도 11은 본 발명의 실시예에 따른 2차 정렬된 복수의 유사상품 이미지를 나타내는 모습의 일례이다.
또한, 도 11을 참조하면, 실시예에서 상품정렬 어플리케이션(211)은, 위와 같이 획득된 통합 유사도를 기반으로, 1차 정렬된 복수의 유사상품 이미지에 대한 2차 정렬을 수행할 수 있다. (S207)
자세히, 실시예에서 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지에 대한 통합 유사도 값이 낮을수록 해당하는 제 n 유사상품 이미지와 검색 이미지 간의 유사도가 높다고 판단할 수 있다.
본 발명의 실시예에서는, 설명의 편의를 위하여 유사도 값이 낮을수록 검색 이미지와의 유사도가 높다고 설정하여 설명하나, 이는 일례일 뿐 다양한 실시예들 또한 가능할 수 있다.
또한, 실시예에서 상품정렬 어플리케이션(211)은, 타겟 유사도 값에 기반하여 오름차순으로 나열되어 1차 정렬된 복수의 유사상품 이미지 각각에 대하여 순차적으로 산출된 통합 유사도 값을 기준으로, 상기 복수의 유사상품 이미지를 오름차순으로 재정렬하는 2차 정렬을 수행할 수 있다.
자세히, 상품정렬 어플리케이션(211)은, 제 n 유사상품 이미지의 통합 유사도 값을 획득할 수 있고, 이후 순차적으로 제 n+1 유사상품 이미지(즉, 실시예에서 제 n 유사상품 이미지 보다 검색 이미지와의 유사도가 한 단계 낮은 유사상품 이미지)의 통합 유사도 값을 획득할 수 있다.
이때, 상품정렬 어플리케이션(211)은, 획득된 제 n 유사상품 이미지와 제 n+1 유사상품 이미지의 통합 유사도 값을 상호 비교할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 위와 같은 상호 비교를 통하여 제 n 유사상품 이미지와 제 n+1 유사상품 이미지 중 더 작은 통합 유사도 값을 가지는 유사상품 이미지를 판단할 수 있다.
그리고 상품정렬 어플리케이션(211)은, 더 작은 통합 유사도 값을 가진다고 판단된 유사상품 이미지(예컨대, 제 n 유사상품 이미지)의 통합 유사도가 타 유사상품 이미지(예컨대, 제 n+1 유사상품 이미지) 보다 더 높다고 판단할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 통합 유사도가 더 높다고 판단된 유사상품 이미지(예컨대, 제 n 유사상품 이미지)를 타 유사상품 이미지(예컨대, 제 n+1 유사상품 이미지) 보다 우선적으로 나열되도록 정렬할 수 있다.
이후, 실시예에서 상품정렬 어플리케이션(211)은, 위와 동일한 방식으로 제 n+2 유사상품 이미지, 제 n+3 유사상품 이미지, …, 제 n+n(n=1, 2, 3, …) 유사상품 이미지에 대한 통합 유사도 값을 순차적으로 산출할 수 있고, 순차적으로 통합 유사도 값이 산출될 때마다 해당 통합 유사도 값에 기초한 우선순위 정렬을 수행할 수 있다.
그리하여 상품정렬 어플리케이션(211)은, 순차적으로 산출되는 통합 유사도 값에 기초하여 제 n 유사상품 이미지부터 제 n+n 유사상품 이미지까지에 대한 단계적인 정렬을 수행할 수 있다.
즉, 상품정렬 어플리케이션(211)은, 위와 같은 방식으로 복수의 유사상품 이미지에 대한 정렬을 수행하여, 통합 유사도가 높은 순으로 복수의 유사상품 이미지를 재정렬하는 2차 정렬을 수행할 수 있다.
예를 들면, 상품정렬 어플리케이션(211)은, 제 1 유사상품 이미지의 통합 유사도 값으로 4.395을 획득할 수 있고, 이후 제 2 유사상품 이미지의 통합 유사도 값으로 4.733을 획득할 수 있다.
그리고 상품정렬 어플리케이션(211)은, 획득된 제 1 및 2 유사상품 이미지의 통합 유사도 값을 비교하여, 더 작은 통합 유사도 값을 가지는 유사상품 이미지인 제 1 유사상품 이미지를 우선적으로 나열하여 정렬할 수 있다.
이후, 상품정렬 어플리케이션(211)은, 제 3 유사상품 이미지의 통합 유사도 값으로 4.503을 획득할 수 있다.
또한, 상품정렬 어플리케이션(211)은, 제 2 및 3 유사상품 이미지의 통합 유사도 값을 비교할 수 있다.
그리고 상품정렬 어플리케이션(211)은, 상기 비교를 통해 더 작은 통합 유사도 값을 가진다고 판단된 제 3 유사상품 이미지를 우선적으로 나열하는 정렬을 수행할 수 있다.
즉, 제 1 내지 3 유사상품 이미지의 통합 유사도 값에 기반한 정렬에 의하여, 1차 정렬시 제 1 유사상품 이미지, 제 2 유사상품 이미지 그리고 제 3 유사상품 이미지 순으로 나열되어 있던 복수의 유사상품 이미지를, 제 1 유사상품 이미지, 제 3 유사상품 이미지 그리고 제 2 유사상품 이미지 순으로 재정렬하는 2차 정렬을 수행할 수 있다.
이와 같이, 상품정렬 어플리케이션(211)은, 1차 정렬되어 있는 복수의 유사상품 이미지 각각에 대하여 순차적으로 통합 유사도 값을 산출하고, 순차적으로 통합 유사도 값이 산출될 때마다 통합 유사도 값 간의 비교를 통한 재정렬(2차 정렬)을 수행하여, 보다 정밀한 기준에 근거하여 산출된 유사도를 기초로 복수의 유사상품 이미지를 나열해 제공할 수 있고, 이를 통해 검색 이미지에 대하여 제공되는 복수의 유사상품 이미지를 소정의 기준(예컨대, 색상 등)에 따라서 보다 편리하고 직관적으로 인식하게 할 수 있으며, 검색 이미지 기반의 딥러닝을 통한 유사상품 제공 서비스의 품질을 향상시킬 수 있다.
또한, 실시예에서 상품정렬 어플리케이션(211)은, 위와 같이 2차 정렬된 유사상품 이미지를 출력하여 사용자에게 제공할 수 있다. (S109)
즉, 실시예에서 상품정렬 어플리케이션(211)은, 검색 이미지에 기반한 딥러닝을 통해 검출된 유사상품 이미지를, 해당 유사상품 이미지 각각에 대하여 획득되는 통합 유사도를 기반으로 정렬하여 디스플레이(271)로 출력해 사용자에게 제공할 수 있다.
이상, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 검색하고자 하는 상품을 포함하는 이미지에 대한 딥러닝을 기반으로 유사상품 검색 결과를 제공할 시, 해당 검색 결과를 특정 파라미터에 따른 유사도를 기초로 정렬해 제공함으로써, 복수의 유사상품 이미지를 소정의 기준(예컨대, 색상 등)에 따라서 보다 편리하고 직관적으로 인식하게 할 수 있고, 이를 통해 딥러닝 기반 유사상품 검색 결과의 퀄리티를 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 검색하고자 하는 상품을 포함하는 이미지(검색 대상)와 유사상품을 포함하는 이미지(검색 결과) 간의 유사도뿐만 아니라, 검색 결과로 도출된 유사상품 이미지 간의 특정 파라미터에 기반한 유사도 또한 측정하고, 측정된 유사도들을 기초로 복수의 유사상품 이미지들을 정렬해 제공함으로써, 특징벡터에 기반한 검색 이미지와의 유사도에 더하여 소정의 기준(파라미터)에 기반한 복수의 이미지들 간의 유사도까지 더 고려한 세밀하고 정확한 유사도를 기초로 해당 검색 이미지에 대한 유사상품 이미지들을 검출하여 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템은, 이미지 딥러닝에 기반한 유사상품 검색 결과를 소정의 파라미터에 따른 유사도를 기초로 정렬하여 제공함으로써, 검색 이미지에 대한 유사상품을 쉽고 빠르게 확인하고자 하는 사용자의 니즈 반영을 극대화함과 동시에 온라인 쇼핑몰의 경쟁력을 증대시킬 수 있는 효과가 있다.
또한, 이상에서 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (20)

  1. 컴퓨팅 디바이스에 의하여 실행되는 상품 검색결과 정렬 어플리케이션이 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 방법으로서,
    검색하고자 하는 상품을 포함하는 검색 이미지를 획득하는 단계;
    상기 획득된 검색 이미지에 기초한 딥러닝을 수행하여 유사상품 이미지를 획득하는 단계;
    상기 획득된 유사상품 이미지가 복수 개인 경우, 복수의 유사상품 이미지 각각에 대한 타겟 유사도에 기반하여 1차 정렬을 수행하는 단계;
    상기 1차 정렬된 복수의 유사상품 이미지를 기반으로 소정의 파라미터에 기반한 딥러닝을 수행하는 단계;
    상기 소정의 파라미터에 기반한 딥러닝을 기초로, 상기 복수의 유사상품 이미지 중 적어도 일부 간의 상기 소정의 파라미터에 기초한 유사도를 나타내는 상호 유사도를 획득하는 단계;
    상기 획득된 상호 유사도와 상기 타겟 유사도를 기반으로 상기 복수의 유사상품 이미지 각각에 대한 통합 유사도를 획득하는 단계;
    상기 획득된 통합 유사도를 기초로 상기 복수의 유사상품 이미지를 2차 정렬하는 단계; 및
    상기 2차 정렬된 복수의 유사상품 이미지를 제공하는 단계를 포함하고,
    상기 유사상품 이미지를 획득하는 단계는,
    상기 검색 이미지와 상기 유사상품 이미지의 특징벡터를 기초로 상기 검색 이미지와 상기 유사상품 이미지 간의 유사도를 나타내는 상기 타겟 유사도를 획득하는 단계를 포함하고,
    상기 상호 유사도를 획득하는 단계는,
    제 n 유사상품 이미지 및 상기 제 n 유사상품 이미지 보다 상기 타겟 유사도가 한 단계 높은 유사상품 이미지인 제 n-1 유사상품 이미지를 상기 소정의 파라미터를 기초로 1:1 비교하는 딥러닝을 수행하는 단계와, 상기 수행된 딥러닝을 기초로 상기 제 n 유사상품 이미지에 대한 상기 상호 유사도를 획득하는 단계와, 상기 복수의 유사상품 이미지 각각에 대하여 상기 상호 유사도를 획득하는 단계를 포함하고,
    상기 통합 유사도를 획득하는 단계는,
    상기 상호 유사도를 획득할 시마다 상기 획득된 상호 유사도 및 상기 타겟 유사도에 기초하여 상기 통합 유사도를 획득하는 단계를 포함하고,
    상기 통합 유사도를 획득하는 단계는,
    상기 제 n 유사상품 이미지에 대한 상기 상호 유사도 값 및 상기 제 n 유사상품 이미지와 상기 검색 이미지 간 유사도에 따른 상기 제 n 유사상품 이미지의 타겟 유사도 값을 합산하는 단계와, 상기 합산된 값에 따른 상기 통합 유사도 값을 획득하는 단계와, 상기 1차 정렬된 복수의 유사상품 이미지 각각에 대하여 순차적으로 상기 통합 유사도 값을 획득하는 단계를 더 포함하는
    딥러닝 기반 유사상품 검색 결과 제공 방법.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 소정의 파라미터는,
    상품 색상 파라미터, 상품 형태 파라미터, 상품 질감 파라미터 또는 상품 모델 포즈 파라미터 중 적어도 하나인
    딥러닝 기반 유사상품 검색 결과 제공 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제 1 항에 있어서,
    상기 통합 유사도를 획득하는 단계는,
    상기 제 n 유사상품 이미지의 상기 통합 유사도 값을 획득하고, 이후 상기 제 n 유사상품 이미지 보다 상기 검색 이미지와의 유사도가 한 단계 낮은 유사상품 이미지인 제 n+1 유사상품 이미지의 상기 통합 유사도 값을 획득하는 단계를 더 포함하는
    딥러닝 기반 유사상품 검색 결과 제공 방법.
  9. 제 8 항에 있어서,
    상기 통합 유사도를 기초로 상기 복수의 유사상품 이미지를 2차 정렬하는 단계는,
    순차적으로 상기 제 n 유사상품 이미지와 상기 제 n+1 유사상품 이미지의 상기 통합 유사도 값이 획득될 시마다, 상기 획득된 통합 유사도 값 간의 비교를 수행하는 단계를 포함하는
    딥러닝 기반 유사상품 검색 결과 제공 방법.
  10. 제 9 항에 있어서,
    상기 복수의 유사상품 이미지를 2차 정렬하는 단계는,
    상기 획득된 통합 유사도 값 간의 비교를 수행하여 상기 통합 유사도가 높은 순으로 상기 유사상품 이미지를 정렬하는 단계를 포함하는
    딥러닝 기반 유사상품 검색 결과 제공 방법.
  11. 이미지 딥러닝에 기반하여 유사상품 검색 결과를 제공하는 상품 검색결과 정렬 어플리케이션을 실행하는 컴퓨팅 디바이스;
    상기 상품 검색결과 정렬 어플리케이션이 동작하는 환경을 제공하는 상품검색 서버; 및
    온라인 쇼핑몰 서비스를 기반으로 상기 유사상품 검색에 필요한 데이터를 제공하는 쇼핑몰 서버를 포함하고,
    상기 컴퓨팅 디바이스는,
    상기 상품 검색결과 정렬 어플리케이션을 제어하여 검색하고자 하는 상품을 포함하는 검색 이미지를 획득하고, 상기 획득된 검색 이미지에 기초한 딥러닝을 수행하여 유사상품 이미지를 획득하며,
    상기 획득된 유사상품 이미지가 복수 개인 경우, 복수의 유사상품 이미지 각각에 대한 타겟 유사도에 기반하여 1차 정렬을 수행하고,
    상기 1차 정렬된 복수의 유사상품 이미지를 기반으로 소정의 파라미터에 기반한 딥러닝을 수행하여 상기 복수의 유사상품 이미지 중 적어도 일부 간의 상기 소정의 파라미터에 기초한 유사도를 나타내는 상호 유사도를 획득하며,
    상기 획득된 상호 유사도와 상기 타겟 유사도를 기반으로 상기 복수의 유사상품 이미지 각각에 대한 통합 유사도를 획득하고, 상기 획득된 통합 유사도를 기초로 상기 복수의 유사상품 이미지를 2차 정렬하며, 상기 2차 정렬된 복수의 유사상품 이미지를 제공하고,
    상기 컴퓨팅 디바이스는,
    상기 검색 이미지와 상기 유사상품 이미지의 특징벡터를 기초로 상기 검색 이미지와 상기 유사상품 이미지 간의 유사도를 나타내는 상기 타겟 유사도를 획득하고,
    제 n 유사상품 이미지 및 상기 제 n 유사상품 이미지 보다 상기 타겟 유사도가 한 단계 높은 유사상품 이미지인 제 n-1 유사상품 이미지를 상기 소정의 파라미터를 기초로 1:1 비교하는 딥러닝을 수행하고,
    상기 수행된 딥러닝을 기초로 상기 제 n 유사상품 이미지에 대한 상기 상호 유사도를 획득하고,
    상기 복수의 유사상품 이미지 각각에 대하여 상기 상호 유사도를 획득하고,
    상기 컴퓨팅 디바이스는,
    상기 상호 유사도를 획득할 시마다 상기 획득된 상호 유사도 및 상기 타겟 유사도에 기초하여 상기 통합 유사도를 획득하고,
    상기 제 n 유사상품 이미지에 대한 상기 상호 유사도 값 및 상기 제 n 유사상품 이미지와 상기 검색 이미지 간 유사도에 따른 상기 제 n 유사상품 이미지의 타겟 유사도 값을 합산하고,
    상기 합산된 값에 따른 상기 통합 유사도 값을 획득하고,
    상기 1차 정렬된 복수의 유사상품 이미지 각각에 대하여 순차적으로 상기 통합 유사도 값을 획득하는
    딥러닝 기반 유사상품 검색 결과 제공 시스템.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 컴퓨팅 디바이스는,
    상품 색상 파라미터, 상품 형태 파라미터, 상품 질감 파라미터 또는 상품 모델 포즈 파라미터 중 적어도 하나인 상기 소정의 파라미터를 획득하는
    딥러닝 기반 유사상품 검색 결과 제공 시스템.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 제 11 항에 있어서,
    상기 컴퓨팅 디바이스는,
    상기 제 n 유사상품 이미지의 상기 통합 유사도 값을 획득하고, 이후 상기 제 n 유사상품 이미지 보다 상기 검색 이미지와의 유사도가 한 단계 낮은 유사상품 이미지인 제 n+1 유사상품 이미지의 상기 통합 유사도 값을 획득하는
    딥러닝 기반 유사상품 검색 결과 제공 시스템.
  19. 제 18 항에 있어서,
    상기 컴퓨팅 디바이스는,
    순차적으로 상기 제 n 유사상품 이미지와 상기 제 n+1 유사상품 이미지의 상기 통합 유사도 값이 획득될 시마다, 상기 획득된 통합 유사도 값 간의 비교를 수행하는
    딥러닝 기반 유사상품 검색 결과 제공 시스템.
  20. 제 19 항에 있어서,
    상기 컴퓨팅 디바이스는,
    상기 획득된 통합 유사도 값 간의 비교를 수행하여 상기 통합 유사도가 높은 순으로 상기 유사상품 이미지를 정렬하는
    딥러닝 기반 유사상품 검색 결과 제공 시스템.
KR1020200107951A 2020-08-26 2020-08-26 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템 KR102430029B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200107951A KR102430029B1 (ko) 2020-08-26 2020-08-26 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템
US17/446,113 US20220067812A1 (en) 2020-08-26 2021-08-26 Method and system for providing search results for similar products based on deep-learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200107951A KR102430029B1 (ko) 2020-08-26 2020-08-26 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20220026875A KR20220026875A (ko) 2022-03-07
KR102430029B1 true KR102430029B1 (ko) 2022-08-05

Family

ID=80358784

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200107951A KR102430029B1 (ko) 2020-08-26 2020-08-26 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템

Country Status (2)

Country Link
US (1) US20220067812A1 (ko)
KR (1) KR102430029B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467010B1 (ko) * 2020-09-16 2022-11-14 엔에이치엔클라우드 주식회사 이미지 복원에 기반한 상품 검색 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519768B1 (ko) * 2002-10-14 2005-10-07 삼성전자주식회사 반복매칭을 이용한 영상 검색방법 및 장치
KR20200010672A (ko) 2018-07-06 2020-01-31 주식회사 지브이글러벌 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
KR20200023091A (ko) * 2018-08-24 2020-03-04 십일번가 주식회사 유사도에 대한 정보를 제공하는 이미지 검색 방법 및 이를 위한 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
KR20220026875A (ko) 2022-03-07
US20220067812A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
KR102246408B1 (ko) 딥러닝 기반 유사상품 제공방법
US10346684B2 (en) Visual search utilizing color descriptors
US11367281B2 (en) Systems and methods for augmented reality navigation
CN110249304B (zh) 电子设备的视觉智能管理
US11295532B2 (en) Method and apparatus for aligning 3D model
US9841877B2 (en) Utilizing color descriptors to determine color content of images
US10346893B1 (en) Virtual dressing room
WO2022016556A1 (zh) 一种神经网络蒸馏方法以及装置
US11727605B2 (en) Method and system for creating virtual image based deep-learning
US20200012920A1 (en) Method and apparatus for determining goodness of fit related to microphone placement
JP2020030795A (ja) 地図画像背景から位置を推定するためのシステム、方法、及びプログラム
US11972466B2 (en) Computer storage media, method, and system for exploring and recommending matching products across categories
CN116108267A (zh) 一种推荐方法及相关设备
KR102430029B1 (ko) 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템
US11106913B2 (en) Method and electronic device for providing object recognition result
KR102467010B1 (ko) 이미지 복원에 기반한 상품 검색 방법 및 시스템
KR102534182B1 (ko) 딥러닝 기반 상품검색 방법 및 시스템
KR102401626B1 (ko) 이미지 기반 상품검색 방법 및 그 시스템
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
Li et al. Feature Disentanglement and Adaptive Fusion for Improving Multi-modal Tracking
CN117351192A (zh) 一种对象检索模型训练、对象检索方法、装置及电子设备
JP2023108611A (ja) 画像商品検索システム及び画像商品検索方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant