KR102246408B1 - 딥러닝 기반 유사상품 제공방법 - Google Patents

딥러닝 기반 유사상품 제공방법 Download PDF

Info

Publication number
KR102246408B1
KR102246408B1 KR1020190017009A KR20190017009A KR102246408B1 KR 102246408 B1 KR102246408 B1 KR 102246408B1 KR 1020190017009 A KR1020190017009 A KR 1020190017009A KR 20190017009 A KR20190017009 A KR 20190017009A KR 102246408 B1 KR102246408 B1 KR 102246408B1
Authority
KR
South Korea
Prior art keywords
image
bounding box
item
deep learning
product
Prior art date
Application number
KR1020190017009A
Other languages
English (en)
Other versions
KR20200103182A (ko
Inventor
조명훈
Original Assignee
엔에이치엔 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔에이치엔 주식회사 filed Critical 엔에이치엔 주식회사
Priority to KR1020190017009A priority Critical patent/KR102246408B1/ko
Priority to US16/789,353 priority patent/US11544759B2/en
Priority to JP2020023644A priority patent/JP6998413B2/ja
Publication of KR20200103182A publication Critical patent/KR20200103182A/ko
Application granted granted Critical
Publication of KR102246408B1 publication Critical patent/KR102246408B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0629—Directed, with specific intent or strategy for generating comparisons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 쇼핑몰 서버의 데이터 처리부에서 딥러닝을 기반으로 유사 상품을 제공하기 위하여 수행하는 방법으로서, 쇼핑몰에 등록된 아이템에 대한 아이템 이미지와 아이템 정보를 획득하는 단계; 상기 아이템 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트에 대한 바운딩 박스를 검출하는 단계; 상기 아이템 정보를 기초로 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계; 상기 결정된 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계; 상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하는 단계; 상기 패딩 이미지에 대한 특징벡터를 추출하는 단계; 상기 특징벡터를 상기 아이템에 매칭하여 데이터베이스에 저장하는 단계; 및 상기 데이터베이스 기반 유사상품 검색 서비스를 제공하는 단계를 포함한다.

Description

딥러닝 기반 유사상품 제공방법{METHOD FOR PROVIDING SIMILAR PRODUCTS BASED ON DEEP-LEARNING}
본 발명은 딥러닝 기반 유사상품 제공방법에 관한 것이다.
보다 상세하게는, 상품 이미지의 오브젝트 영역을 딥러닝하여 유사 상품을 제공하는 방법에 관한 것이다.
훈련 데이터(Training Data)를 통해 학습된 속성을 기반으로 예측 및/또는 분류하는 알고리즘을 연구하는 분야를 우리는 머신 러닝(Machin Learning; 기계학습)이라고 한다. 즉, 뉴럴 네트워크(Neural network; 인공신경망)은 머신 러닝의 한 분야이다.
종래에는, 이러한 뉴럴 네트워크의 정확성을 높이기 위한 학자들의 연구가 많이 이루어졌다.　특히, 최적화 이론(Optimization)과 다양한 커널 함수(kernel function)를 활용해서 모델식의 정확성을 높였다. 또한, 빅데이터(Big-Data) 기술이 등장하면서 많은 데이터를 모델링에 쓸 수 있었으며 정확성도 더욱 높아지는 효과를 볼 수 있었다.
여기서 뉴럴 네트워크에 빅데이터를 결합한 것을 우리는 딥러닝(Deep-Learning)이라고 한다.
자세히, 딥러닝이란, 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는　머신 러닝 알고리즘의 집합으로 정의된다.
즉, 딥러닝은, 컴퓨터가 인간을 대체해 방대한 양의 데이터를 분석하고, 사물이나 데이터를 군집화하거나 분류할 수 있다.
한편, 현대 사회에서는 이러한 딥러닝을 포함하는 다양한 정보통신기술(ICT, Information&Communications Technologies)의 발전과 함께 온라인 쇼핑몰 산업이 나날이 성장하고 있다.
온라인 쇼핑몰(Online shopping mall)이란, 인터넷과 같은 네트워크를 통하여 온라인 상에서 상품을 구매하고 판매할 수 있는 장소를 의미한다.
이러한 온라인 쇼핑몰은, 최근 들어 개체 수가 급격히 증가함에 따라 쇼핑몰의 경쟁력을 증대시킬 수 있는 차별화된 서비스를 요구하고 있으며, 이를 제공하기 위한 다양한 솔루션을 필요로 하는 실정이다.
자세히, 온라인 쇼핑몰은, 유저가 구매하고자 하는 상품이 매진일 경우, 해당 유저의 온라인 쇼핑이 종료되는 빈도가 높아 구매율이 저감되는 문제를 가지고 있어, 이러한 문제를 해결하기 위한 서비스의 도입을 필요로 하고 있다.
또한, 온라인 쇼핑몰에서 상품을 검색할 때, 유저는 선택한 특정 상품과 유사한 상품이 해당 쇼핑몰에 더 존재하는지를 확인하고 싶은 니즈(Needs)를 가지고 있으나, 온라인 쇼핑몰에 존재하는 방대한 양의 상품에 대하여 유저가 원하는 상품과 관련된 유사 상품을 편리하게 확인할 수 있는 기술이 미흡하여 이에 대한 해결책이 요구되고 있다.
또한, 온라인 쇼핑몰 상에서 상품을 검색할 시, 상품에 대한 명칭을 알지 못하여 기존의 검색 방법(예컨대, 카테고리, 키워드 검색 등)으로는 상품을 찾기 어려운 경우가 있어, 이러한 문제를 해결할 수 있는 기술의 도입이 필요한 실정이다.
즉, 해당 기술분야에 있어서는 현재 온라인 쇼핑몰의 기본적인 사용성을 편리하게 하고, 기존의 방법과는 차별화된 검색 방법을 제공하여 온라인 쇼퍼(Online shopper)들의 만족도를 높이기 위한 기술 개발이 요구되고 있다.
10-1852598 B
본 발명은, 온라인 쇼핑몰의 기본적인 사용성을 편리하게 하고, 기존의 방법과는 차별화된 검색 방법을 제공하여 쇼핑몰의 경쟁력을 증대시킬 수 있는 딥러닝 기반의 유사상품 제공 서비스를 구현하는데 그 목적이 있다.
다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 쇼핑몰 서버의 데이터 처리부에서 딥러닝을 기반으로 유사 상품을 제공하기 위하여 수행하는 방법으로서, 쇼핑몰에 등록된 아이템에 대한 아이템 이미지와 아이템 정보를 획득하는 단계; 상기 아이템 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트에 대한 바운딩 박스를 검출하는 단계; 상기 아이템 정보를 기초로 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계; 상기 결정된 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계; 상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하는 단계; 상기 패딩 이미지에 대한 특징벡터를 추출하는 단계; 상기 특징벡터를 상기 아이템에 매칭하여 데이터베이스에 저장하는 단계; 및 상기 데이터베이스 기반 유사상품 검색 서비스를 제공하는 단계를 포함한다.
이때, 상기 오브젝트에 대한 바운딩 박스를 검출하는 단계는, 상기 아이템 이미지를 패션 디텍션 하여 적어도 하나 이상의 패션 관련 오브젝트와 상기 패션 관련 오브젝트가 차지하는 영역에 대한 바운딩 박스를 추출하는 단계를 포함한다.
또한, 상기 아이템 정보를 기초로 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계는, 상기 검출된 패션 관련 오브젝트 중 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계를 포함한다.
또한, 상기 결정된 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계는, 상기 아이템에 관련된 오브젝트로 결정된 바운딩 박스가 복수 개인 경우, 상기 복수의 바운딩 박스를 머지하는 단계와, 상기 머지된 바운딩 박스 내 이미지를 추출하는 단계를 포함한다.
또한, 상기 패딩 이미지를 생성하는 단계는, 상기 메인 바운딩 박스 이미지를 소정의 사이즈로 변경하는 단계와, 상기 사이즈 변경된 메인 바운딩 박스 이미지 상에 패드 이미지를 추가하는 패딩 처리를 수행하는 단계를 포함한다.
또한, 상기 패딩 이미지에 대한 특징벡터를 추출하는 단계는, 텍스쳐(Texture), 패브릭(Fabric), 쉐이프(Shape), 스타일(Style) 및 컬러(Color) 파라미터 중 적어도 어느 하나 이상의 파라미터에 대한 특징벡터를 딥러닝 뉴럴 네트워크를 이용하여 추출하는 단계를 포함한다.
또한, 상기 추출된 특징벡터의 차원을 축소하여 통합 특징벡터를 생성하는 단계를 더 포함하고, 상기 특징벡터를 상기 아이템에 매칭하여 데이터베이스에 저장하는 단계는, 상기 통합 특징벡터에 상기 아이템 정보를 매칭하여 데이터베이스에 저장하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 쇼핑몰 서버의 데이터 처리부에서 수행하여 딥러닝을 통해 유사 상품을 검출하여 제공하는 방법으로서, 유저가 선택한 아이템의 아이템 이미지와 아이템 정보를 획득하는 단계; 상기 아이템 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트를 검출하고 상기 오브젝트의 영역에 대한 바운딩 박스를 생성하는 단계; 상기 검출된 오브젝트를 기반으로 검색 대상 아이템을 결정하는 단계; 상기 검색 대상 아이템과 연관된 오브젝트의 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계; 상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하는 단계; 상기 패딩 이미지를 딥러닝하여 특징벡터를 추출하는 단계; 상기 특징벡터와의 유사도가 기설정된 기준 이상인 특징벡터를 가지는 아이템을 데이터베이스에서 검출하여 유사 아이템으로 선정하는 단계; 및 상기 선정된 유사 아이템을 상기 유저의 단말을 통해 제공하는 단계를 포함한다.
이때, 상기 아이템 이미지와 아이템 정보를 획득하는 단계는, 단말과 연동하여 쇼핑몰에 게시된 복수의 아이템 중 상기 유저의 입력에 따라 선택된 상기 아이템의 아이템 이미지와 아이템 정보를 획득하는 단계와, 상기 단말과 연동하여 쇼핑몰에서 제공하는 인터페이스를 통해 상기 유저가 입력한 이미지를 기초로 상기 아이템 이미지와 아이템 정보를 획득하는 단계를 포함한다.
또한, 상기 검출된 오브젝트를 기반으로 검색 대상 아이템을 결정하는 단계는, 상기 아이템 정보를 기반으로 상기 검색 대상 아이템을 자동으로 결정하는 단계를 포함한다.
또한, 상기 검출된 오브젝트를 기반으로 검색 대상 아이템을 결정하는 단계는, 단말을 통해 적어도 하나 이상의 상기 바운딩 박스를 포함하는 아이템 이미지를 표시하는 단계와, 상기 표시된 바운딩 박스를 포함하는 아이템 이미지를 기반으로 상기 유저가 선택한 바운딩 박스에 포함된 상기 오브젝트를 상기 검색 대상 아이템으로 결정하는 단계를 더 포함한다.
또한, 상기 아이템을 데이터베이스에서 검출하여 유사 아이템으로 선정하는 단계는, 상기 유사도가 기설정된 기준 이상인 상위 n개의 아이템을 상기 데이터베이스로부터 검출하는 단계를 포함한다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 쇼핑몰 서버와 쇼핑 서비스 관련 데이터를 송수신하는 통신부; 상기 쇼핑 서비스를 제공하기 위한 데이터를 저장하는 저장부; 상기 쇼핑 서비스에서 유저가 선택한 상품의 이미지를 출력하는 디스플레이부; 및 상기 쇼핑 서비스를 제공하는 과정에서 상기 상품의 이미지와 관련된 유사 상품의 이미지를 제공하는 기능을 수행하는 제어부를 포함하고, 상기 제어부는, 유저가 선택한 상품의 상품 이미지와 상품 정보를 획득하고, 상기 상품 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트를 검출하고 상기 오브젝트의 영역에 대한 바운딩 박스를 생성하며, 상기 검출된 오브젝트를 기반으로 검색 대상 상품을 결정하고, 상기 검색 대상 상품과 연관된 오브젝트의 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하며, 상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하고, 상기 패딩 이미지를 딥러닝하여 특징벡터를 추출하며, 상기 특징벡터와의 유사도가 기설정된 기준 이상인 특징벡터를 가지는 상품을 데이터베이스에서 검출하여 유사 상품으로 선정하고, 상기 선정된 유사 상품을 상기 디스플레이부를 통해 출력하도록 제어한다.
이때, 상기 제어부는, 상기 디스플레이부에 출력된 복수의 상품 이미지 중 상기 유저의 입력에 따라 선택된 상기 상품의 상품 이미지와 상품 정보를 획득하도록 제어한다.
또한, 상기 제어부는, 상기 상품 정보를 기반으로 상기 상품 이미지에 포함된 복수의 상품 중 하나를 상기 검색 대상 상품을 자동으로 결정하도록 제어한다.
또한, 상기 제어부는, 상기 디스플레이부를 통해 적어도 하나 이상의 상기 바운딩 박스를 포함하는 상품 이미지를 표시하고, 상기 표시된 바운딩 박스를 포함하는 상품 이미지를 기반으로 상기 유저가 선택한 바운딩 박스에 포함된 상기 오브젝트를 상기 검색 대상 상품으로 결정하도록 제어한다.
또한, 상기 제어부는, 상기 통신부를 통해 상기 유사도가 기설정된 기준 이상인 상위 n개의 상품을 상기 쇼핑몰 서버의 데이터베이스로부터 검출하도록 제어한다.
본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 유저가 선택한 상품의 이미지에 대한 오브젝트 영역을 딥러닝하여 해당 상품과 유사한 상품을 검출해 제공함으로써, 온라인 쇼핑몰에 대한 기본적인 사용성을 편리하게 하고, 기존의 방법과는 차별화된 검색 방법을 제공하여 쇼핑몰의 경쟁력을 증대시킬 수 있는 효과가 있다.
자세히, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 유저가 선택한 상품과 유사한 상품을 적어도 하나 이상으로 검출해 제공함으로써, 비슷한 제품으로 분류된 상품들을 편리하게 확인하도록 하여, 온라인 쇼핑몰에 대한 유저의 만족도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 유저가 선택한 상품과 유사한 상품을 검출해 제공함으로써, 선택한 상품과 유사한 상품을 쉽고 빠르게 확인하고자 하는 유저의 니즈(Needs) 반영을 극대화하고 동선은 최소화할 수 있다는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 유저가 선택한 상품과 유사한 상품을 검출해 제공함으로써, 유저가 구매하고자 하는 상품이 매진일 경우에도 해당 상품과 유사한 상품을 확인하고 구매하도록 유도할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 유저가 입력한 이미지를 기반으로 딥러닝을 수행하여 유사 상품을 검출하는 기능을 제공함으로써, 상품에 대한 명칭을 알지 못하여 기존의 검색 방법(예컨대, 카테고리, 키워드 검색 등)으로는 원하는 상품을 찾기 어려운 경우에도 차별화된 검색 방법으로 해당 상품을 쉽게 찾도록 할 수 있다.
또한, 본 발명의 실시예에 따른 딥러닝 기반 유사상품 제공방법은, 트레이닝(training)된 딥러닝 뉴럴 네트워크를 이용하여 상품 이미지에 대한 데이터 처리를 수행함으로써, 선택한 상품과 유사한 상품을 검출해 제공하는 서비스를 뉴럴 네트워크와 빅데이터에 기초하여 정확하고 빠르게 제공할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.
도 1은 본 발명의 실시예에 따른 단말의 내부 블록도를 나타낸다.
도 2는 본 발명의 실시예에 따른 쇼핑몰 서버의 내부 블록도를 나타낸다.
도 3은 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 상품을 제공하기 위한 데이터베이스를 생성하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 아이템 이미지를 오브젝트 디텍션(Object detection)하여 바운딩 박스(Bounding Box)를 생성하는 일례이다.
도 5는 본 발명의 실시예에 따른 메인 바운딩 박스(Main Bounding Box) 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 패딩 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 특징벡터를 추출하는 모습의 일례이다.
도 8은 본 발명의 실시예에 따른 딥러닝을 기반으로 데이터베이스로부터 유사 상품을 검출하여 제공하는 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 실시예에 따른 단말을 통한 유저의 입력에 따라 검색 대상 아이템을 선택하는 일례이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
- 단말
먼저, 본 발명의 실시예에서 단말은, 온라인 쇼핑몰을 이용할 수 있는 모바일 및/또는 웹 환경을 유저에게 제공할 수 있다.
또한, 단말은, 쇼핑몰 서버와 데이터를 송수신하여 딥러닝을 기반으로 유사 상품(아이템: Item)을 제공하는 서비스를 수행하는 온라인 쇼핑몰을 유저에게 제공할 수 있다.
여기서, 아이템이란, 온라인 쇼핑몰에서 판매하는 상품을 의미한다.
더하여, 실시예에서 단말은, 온라인 쇼핑몰 상에서 제공되는 각종 인터페이스(예를 들면, 아이템 선택 인터페이스, 검색 인터페이스 및/또는 바운딩 박스 선택 인터페이스 등)를 통해 유저의 입력을 받을 수 있다.
자세히, 본 발명의 실시예에서 이러한 단말은, 딥러닝에 기반하여 유저가 선택한 아이템과 유사한 아이템을 제공하는 서비스를 수행하는 쇼핑몰 어플리케이션이 설치된 휴대용 단말인 스마트 폰, 디지털방송용 단말기, 휴대폰, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC(tablet PC), 웨어러블 디바이스(wearable device) 및 스마트 글라스(smart glass) 등을 포함할 수 있다.
또한, 단말은, 고정형 단말인 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 딥러닝에 기반하여 유사 아이템을 제공하는 서비스를 수행하기 위한 어플리케이션이 설치된 장치를 더 포함할 수 있다.
이하, 실시예에서 단말은, 휴대형 단말로 한정하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 단말의 내부 블록도이다.
도 1를 참조하면, 단말(100)은, 통신부(110), 입력부(120), 디스플레이부(130), 저장부(140) 및 제어부(150)를 포함할 수 있다.
먼저, 통신부(110)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 수행하기 위한 각종 데이터 및/또는 정보 등을 송수신할 수 있다.
실시예에서, 통신부(110)는, 쇼핑몰 서버(200) 및/또는 타 유저의 단말(100)과 통신하여 딥러닝을 기반으로 유사 아이템을 제공하는 서비스와 관련된 데이터를 송수신할 수 있다.
이러한 통신부(110)는, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말(100), 임의의 서버 중 적어도 하나와 무선 신호를 송수신할 수 있다.
다음으로, 입력부(120)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스와 관련된 유저의 입력을 감지할 수 있다.
실시예로, 입력부(120)는, 온라인 쇼핑몰 상에서 아이템을 선택하는 아이템 선택 인터페이스를 통한 유저의 입력, 아이템 검색 인터페이스를 통한 유저의 입력 및/또는 바운딩 박스 선택 인터페이스를 통한 유저의 입력 등을 감지할 수 있다.
다음으로, 디스플레이부(130)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스와 관련된 다양한 정보를 그래픽 이미지를 출력할 수 있다.
실시예에서, 디스플레이부(130)는, 온라인 쇼핑몰 웹 사이트에 게시된 각종 이미지 및/또는 텍스트 등을 그래픽 이미지로 표시할 수 있다.
이러한 디스플레이부(130)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 입력부(120) 및 상기 디스플레이부(130)가 결합되어 터치스크린(touch screen)으로 구현될 수 있다.
다음으로, 저장부(140)는, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 수행하는 각종 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.
이러한 저장부(140)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 저장부(140)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
마지막으로, 제어부(150)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 수행하기 위하여 전술한 각 구성요소의 전반적인 동작을 컨트롤할 수 있다.
이러한 제어부(150)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
다만, 도 1에 도시된 구성요소들은 단말(100)을 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 단말(100)은 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
- 쇼핑몰 서버
한편, 본 발명의 실시예에서 쇼핑몰 서버(200)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 수행하는 온라인 쇼핑몰을 유저에게 제공할 수 있다.
또한, 실시예에서 쇼핑몰 서버(200)는, 딥러닝을 기반으로 유사 아이템을 검출하여 제공하기 위한 일련의 데이터 처리를 수행할 수 있다.
자세히, 쇼핑몰 서버(200)는, 아이템 이미지를 오브젝트 디텍션(object detection)하여 해당 이미지 내에서 오브젝트를 검출할 수 있고, 검출된 오브젝트를 기반으로 바운딩 박스(Bounding Box)를 생성할 수 있다.
여기서, 아이템 이미지란, 온라인 쇼핑몰에서 판매하는 상품을 촬영한 영상일 수 있다.
보다 상세히, 쇼핑몰 서버(200)는, 아이템 이미지에서 오브젝트(Object) 영역을 인식하고, 오브젝트가 있는 대략적인 영역을 사각 박스 형상으로 가지는 바운딩 박스로 추출(crop)할 수 있다.
자세히, 쇼핑몰 서버(200)는, 패션에 관련된 오브젝트와, 오브젝트가 차지하는 영역을 인식하여, 패션 오브젝트별로 바운딩 박스를 추출해주는 패션 디텍션(fashion detection)을 수행할 수 있다.
예를 들어, 쇼핑몰 서버(200)는, 패션 디텍션부를 포함할 수 있고, 패션 디텍션부는, 입력된 아이템 이미지를 적어도 1회 컨볼루션 레이어(Convolution layer)를 통과시키는 제 1 컨볼루션 뉴럴 네트워크(Conv 1)와, 롤 풀링 레이어와 소프트 맥스, 바운딩 박스 리그레서로 구성된 제 2 컨볼루션 뉴럴 네트워크(Conv 2)를 포함할 수 있다.
자세히, 제 1 컨볼루션 뉴럴 네트워크(Conv 1)는, 전체 이미지 및 오브젝트 후보 영역을 동시에 입력으로 받아들일 수 있다.
그리고 제 1 컨볼루션 네트워크는, 컨볼루션 레이어(Convolution layer)와 맥스 풀링 레이어(max-pooling layer)을 통해 이미지 전체를 한번에 처리하여, 유의미한 오브젝트들을 각각 묶어 특징 영역들로 나타낸 특징 맵(feature map)을 생성할 수 있다.
다음으로, 제 2 컨볼루션 네트워크는, 각 오브젝트 후보 영역에 대하여 롤 풀링 레이어(RoI Pooling layer)를 통과시켜, 특징 맵(feature map)으로부터 특징벡터(fixed-length feature vector)를 추출할 수 있다.
여기서, 실시예에 따른 특징벡터란, 해당 이미지 상의 오브젝트에 대한 특징을 특정하는 변수를 의미할 수 있다.
그리고 제 2 컨볼루션 네트워크는, 추출한 특징벡터를 풀리 커넥티드 레이어(Fully-Connected Layer, FCs)에 인가를 한 뒤, 풀리 커넥티드 레이어의 출력 데이터를 최종 단에 배치된 소프트 맥스(softmax)에 인가하여 각 객체의 종류를 특정할 수 있다.
이때, 제 2 컨볼루션 네트워크는, 객체의 종류 중 패션 관련 오브젝트만을 추출하도록 학습될 수 있다.
또한, 제 2 컨볼루션 네트워크는, 풀리 커넥티드 레이어의 출력 데이터를 바운딩 박스 리그레서(bbox regressor)에 인가하여 패션 관련 오브젝트가 차지하는 영역을 개략적으로 나타내는 바운딩 박스를 추출할 수 있다.
이러한 제 1 컨볼루션 네트워크와 제 2 컨볼루션 네트워크로 구성된 패션 디텍션부는, 오브젝트의 종류가 패션 관련 아이템임을 특정하고, 해당 아이템이 차지하는 특징 영역을 바운딩 박스로 추출할 수 있다.
다시 말해서, 쇼핑몰 서버(200)는, 딥러닝을 기반으로 유사 아이템을 제공하기 위한 프로세스에서 이용되는 뉴럴 네트워크를, 패션(Fashion) 아이템에 최적화되도록 트레이닝(training)하여 사용할 수 있으며, 트레이닝된 뉴럴 네트워크를 통해 아이템 이미지 상의 오브젝트의 종류가 패션 관련 아이템임을 특정하고, 해당 아이템이 차지하는 특징 영역을 바운딩 박스로 추출할 수 있다.
한편, 도 2는 본 발명의 실시예에 따른 쇼핑몰 서버(200)의 내부 블록도를 나타낸다.
도 2를 참조하면, 쇼핑몰 서버(200)는, 데이터 송수신부(210), 데이터 처리부(220) 및 데이터베이스(230)를 포함할 수 있다.
먼저, 데이터 송수신부(210)는, 단말(100) 및/또는 외부 서버와 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 수행하기 위한 각종 데이터를 네트워크를 통해 주고받을 수 있다.
또한, 데이터 처리부(220)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 수행하기 위한 일련의 데이터 처리를 수행할 수 있다.
이때, 데이터 처리부(220)는, 딥러닝 뉴럴 네트워크(Deep running neural network)와 연동하여 이미지에 기반한 딥러닝을 수행할 수 있다. 자세히, 데이터 처리부(220)는, 패션 디텍션 관련 딥러닝, 바운딩 박스 내 이미지의 특징벡터를 추출하기 위한 딥러닝 등을 수행할 수 있다.
여기서, 실시예에 따라 딥러닝 뉴럴 네트워크는, 쇼핑몰 서버(200)에 직접 설치되거나, 쇼핑몰 서버(200)와는 별개의 장치로서 이미지를 수신하여 딥러닝을 수행할 수 있다.
이하 본 발명의 실시예에서는, 딥러닝 뉴럴 네트워크가 쇼핑몰 서버(200)에 직접 설치되어 딥러닝을 수행하는 실시예를 기준으로 설명한다.
자세히, 데이터 처리부(220)는, 딥러닝 뉴럴 네트워크 구동 프로그램을 데이터베이스(230)로부터 독출할 수 있고, 독출된 구동 프로그램에 구축된 딥러닝 뉴럴 네트워크 시스템에 따라 딥러닝을 수행할 수 있다.
또한, 데이터 처리부(220)는, 유저가 단말(100)를 통해 쇼핑몰에 접속하여 상품을 보고 구매하기 위한 일련의 과정 또한 처리할 수 있다.
이때, 데이터 처리부(220)는, 유저가 쇼핑 진행 중 유사 상품 검색을 요청하거나, 특정 상품을 볼 때, 상기 상품 관련 유사상품을 딥러닝 기반으로 검색하여 제공함으로써, 유사상품 검색 기능을 유저에게 제공할 수 있다.
이러한 데이터 처리부(220)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.
한편, 데이터베이스(230)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스와 관련된 각종 데이터를 저장할 수 있다.
실시예로, 데이터베이스(230)는, 딥러닝 뉴럴 네트워크 구동 프로그램을 저장할 수 있고, 데이터 처리부(220)의 요청에 의하여 제공할 수 있다.
이러한 데이터베이스(230)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 데이터베이스(230)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.
- 딥러닝 기반 유사상품 제공방법
이하, 첨부된 도면을 참조하여 딥러닝을 기반으로 유사 아이템을 제공하는 방법에 대해 상세히 설명하고자 한다.
본 발명의 실시예에 따른 딥러닝 기반의 유사 아이템 제공 방법은, 딥러닝을 이용하여 유사 아이템을 제공하기 위한 데이터베이스(230)를 생성하는 과정과, 딥러닝을 통해 상기 생성된 데이터베이스(230)로부터 유사 아이템을 검출하여 유저에게 제공하는 과정으로 수행될 수 있다.
<유사 상품을 제공하기 위한 데이터베이스를 생성하는 방법>
먼저, 도 3은 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 상품을 제공하기 위한 데이터베이스(230)를 생성하는 방법을 설명하기 위한 흐름도이다.
이하에서 수행되는 딥러닝을 기반으로 유사 상품을 제공하기 위한 데이터베이스(230)의 생성과정은 쇼핑몰 서버(200)의 데이터 처리부(220)(예컨대, 쇼핑몰 서버(200) 컴퓨터의 프로세서)에서 수행될 수 있다.
이하에서는, 설명의 편의를 위해 쇼핑몰 서버(200)의 데이터 처리부(220)를 쇼핑몰 서버(200)로 지칭하여 설명하기로 한다.
도 3을 참조하면, 쇼핑몰 서버(200)는, 온라인 쇼핑몰(이하, 쇼핑몰)에 게시된 아이템에 대한 이미지의 특징벡터를 추출하여 데이터 베이스화하여, 이후 특정 아이템의 유사상품 검색을 위한 데이터베이스로 활용할 수 있다.
자세히, 쇼핑몰 서버(200)는, 먼저 쇼핑몰에 등록된 아이템의 이미지와 아이템 정보를 획득할 수 있다. (S101)
여기서, 아이템은, 쇼핑몰에서 판매하는 상품을 의미하며, 아이템 이미지는, 쇼핑몰에서 판매하는 상품을 촬영한 영상일 수 있다.
또한, 아이템 정보란, 아이템의 카테고리 즉, 상의, 하의, 수영복 및/또는 원피스 등과 같은 아이템이 분류된 제품군 정보를 포함할 수 있다.
계속해서, 아이템 이미지와 정보를 획득한 쇼핑몰 서버(200)는, 획득된 아이템 이미지를 오브젝트 디텍션(Object detection)하여 적어도 하나 이상의 바운딩 박스를 생성할 수 있다. (S103)
자세히, 도 4를 참조하면, 쇼핑몰 서버(200)는, 오브젝트 디텍션부를 통한 딥러닝을 기반으로, 획득된 아이템 이미지를 오브젝트 디텍션(Object detection)할 수 있고, 해당 이미지 내에서 적어도 하나 이상의 오브젝트를 검출할 수 있다.
그리고 쇼핑몰 서버(200)는, 검출된 오브젝트를 기반으로, 해당 오브젝트가 있는 대략적인 영역을 사각 박스 형상으로 가지는 바운딩 박스를 적어도 하나 이상 추출할 수 있다.
이때, 쇼핑몰 서버(200)는, 딥러닝 뉴럴 네트워크를 패션(Fashion) 아이템에 최적화되도록 트레이닝(training)하여 사용할 수 있으며, 트레이닝된 뉴럴 네트워크를 통해 아이템 이미지 상의 오브젝트의 종류가 패션 관련 아이템임을 특정하고, 해당 아이템이 차지하는 특징 영역을 바운딩 박스로 추출할 수 있다.
즉, 쇼핑몰 서버(200)는, 아이템 이미지에서 패션 관련 오브젝트를 검출할 수 있고, 검출된 오브젝트를 나타내는 이미지 영역을 포함하는 바운딩 박스를 생성할 수 있다.
예를 들어, 쇼핑몰 서버(200)는, 패션 아이템에 최적화되도록 트레이닝된 패션 디텍터(Fashion Detector)를 이용하여, 획득된 아이템 이미지를 오브젝트 디텍션(Object detection)해 적어도 하나 이상의 바운딩 박스를 생성할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 딥러닝을 이용하여 패션 아이템 이미지에 대해서만 데이터 처리를 수행함으로써, 뉴럴 네트워크와 빅데이터에 기초한 정확하고 빠른 유사 아이템 제공 서비스를 제공할 수 있다.
다음으로, 아이템 이미지에 대하여 적어도 하나 이상의 바운딩 박스를 생성한 쇼핑몰 서버(200)는, 획득된 아이템 정보를 기초로 해당 아이템에 대한 바운딩 박스를 결정할 수 있고, 결정된 바운딩 박스 내 이미지를 메인 바운딩 박스 이미지로 추출할 수 있다. (S105)
자세히 도 5를 참조하면, 쇼핑몰 서버(200)는, 패션 디텍션부를 통해 생성된 적어도 하나 이상의 바운딩 박스 중에서, 획득된 아이템 정보와 매칭되는 오브젝트를 포함하는 바운딩 박스를 검출할 수 있다.
그리고 쇼핑몰 서버(200)는, 검출된 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지로 생성할 수 있다. 즉, 메인 바운딩 박스 이미지란, 아이템 이미지로부터 생성된 복수의 바운딩 박스 중에서 해당 아이템을 나타내는 적어도 하나 이상의 바운딩 박스 내 이미지이다.
실시예로, 쇼핑몰 서버(200)는, 획득된 아이템 정보가 '상의'일 경우, '상의'와 매칭되는 상의 오브젝트를 포함하는 바운딩 박스를 검출할 수 있고, 검출된 상의 오브젝트를 포함하는 바운딩 박스 내 이미지를 메인 바운딩 박스 이미지로 추출할 수 있다.
또한, 실시예에서 쇼핑몰 서버(200)는, 획득된 아이템 정보가 '비키니 수영복' 및/또는 '투피스(Two-piece)' 등과 같이 탑 오브젝트(Top object)와 바텀 오브젝트(Bottom object)가 한 세트(Set)를 이루는 아이템을 나타내는 경우, 해당 아이템 정보와 매칭되는 탑 오브젝트와 바텀 오브젝트를 포함하는 바운딩 박스들을 함께 추출하여 머지(merge)할 수 있다.
그리고 쇼핑몰 서버(200)는, 탑 오브젝트의 바운딩 박스와 바텀 오브젝트의 바운딩 박스를 머지한 바운딩 박스 내 이미지를메인 바운딩 박스 이미지로 추출할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 아이템 이미지 상에 존재하는 복수의 오브젝트에 대한 바운딩 박스를 생성하고, 생성된 바운딩 박스 중 해당 아이템을 포함하는 바운딩 박스만을 검출함으로써, 획득된 아이템 이미지에서 아이템과 관련된 영역만을 추출할 수 있고, 추출된 영역을 기초로 딥러닝 기반의 유사 아이템 검색 기능을 제공하여, 데이터 처리부하를 감소시키고 검색 속도를 향상시킬 수 있다.
더하여, 쇼핑몰 서버(200)는, 획득된 아이템 정보에 따라 적어도 하나 이상의 바운딩 박스를 추출할 수 있고, 추출된 적어도 하나 이상의 바운딩 박스를 결합하여 해당 아이템을 나타내는 메인 바운딩 박스 이미지로 생성함으로써, 아이템의 카테고리별로 보다 정확도 높은 유사 아이템 제공 서비스를 제공할 수 있다.
다음으로, 메인 바운딩 박스 이미지를 생성한 쇼핑몰 서버(200)는, 메인 바운딩 박스 이미지를 패딩(padding) 처리하여 사이즈를 조정하여 패딩 이미지를 생성할 수 있다. (S107)
일반적으로, 이미지에 대한 특징벡터를 추출하는 딥러닝 뉴럴 네트워크는, 특정 사이즈의 이미지만을 입력 데이터로 수신할 수 있다. 그런데 아이템 별로 메인 바운딩 박스 이미지의 크기는 다를 수 있으므로, 딥러닝 뉴럴 네트워크에 입력하기 적합한 사이즈로 변환할 필요가 있다.
이때, 원본 이미지가 가지는 기존의 가로세로비(Aspect Ratio)를 유지하지 못하고 사이즈를 변환할 경우, 아이템의 스타일이나 모양에 대한 특징벡터가 왜곡될 우려가 있다.
따라서, 본 발명의 실시예에서는, 딥러닝 뉴럴 네트워크에 메인 바운딩 박스 이미지를 입력하기 위하여, 기존의 가로세로비를 유지하면서 메인 바운딩 박스 이미지의 사이즈를 조정하기 위해 패딩 처리를 수행할 수 있다.
여기서, 패딩 처리란, 원본 이미지의 가로세로 비율을 유지하면서 사이즈 크기를 조정하기 위하여 패드 이미지를 추가하는 이미지 처리를 의미한다.
이때, 패드 이미지란, 가로세로비율이 유지되며 사이즈가 조정된 원본 이미지에서 일측 크기가 입력 사이즈 크기보다 작을 경우, 부족한 크기에 맞게 생성되어 원본 이미지의 양측 또는 일측에 삽입되는 이미지로서, 딥러닝에 영향을 주지 않는 이미지일 수 있다. 예를 들어, 패드 이미지는 그레이 스케일의 단색으로 이루어진 이미지일 수 있다.
즉, 본 발명의 실시예에서 쇼핑몰 서버(200)는, 패딩 처리를 통하여, 소정의 사이즈로 조정된 메인 바운딩 박스 이미지 상에 패드 이미지를 추가하여, 메인 바운딩 박스 이미지를 특징벡터 추출을 위한 딥러닝 뉴럴 네트워크의 입력 사이즈에 맞게 조정할 수 있다.
자세히, 도 6을 참조하면, 쇼핑몰 서버(200)는, 생성된 메인 바운딩 박스 이미지(a)를 특징벡터를 추출하는 딥러닝 뉴럴 네트워크의 입력 데이터로 사용하기 위하여, 해당 이미지의 가로 및/또는 세로의 사이즈를 기설정된 제한 크기에 맞추어 변경하여 생성된 제 1 이미지(b)는 아이템의 형태가 왜곡될 수 있다.
이러한 왜곡을 방지하기 위하여, 쇼핑몰 서버(200)는, 메인 바운딩 박스 이미지의 가로 사이즈를 입력 데이터의 가로 사이즈에 맞게 가로세로 비율을 유지시키며 감소시킬 수 있다.
다음으로 쇼핑몰 서버(200)는, 메인 바운딩 박스 이미지의 세로 사이즈를 입력 데이터의 세로 사이즈에 맞추기 위하여, 패드 이미지(5)를 메인 바운딩 박스 이미지의 양측에 추가하여, 제 1 패딩 이미지(c)를 생성할 수 있다.
또는, 쇼핑몰 서버(200)는, 메인 바운딩 박스 이미지의 세로 사이즈를 입력 데이터의 세로 사이즈에 맞추기 위하여, 패드 이미지(5)를 메인 바운딩 박스 이미지의 일측에 추가하여, 제 2 패딩 이미지(d)를 생성할 수 있다.
즉, 쇼핑몰 서버(200)는, 사이즈 변경된 메인 바운딩 박스 이미지 상의 양측 또는 일측에 소정의 크기로 생성된 패드 이미지(5)를 추가하는 패딩 처리를 수행하여 패딩 이미지를 생성할 수 있다.
이러한 패딩 처리를 통해, 쇼핑몰 서버(200)는, 가로세로비를 원본 이미지와 동일하게 유지하며 사이즈가 조정된 메인 바운딩 박스 이미지와 패드 이미지(5)를 포함하는 패딩 이미지를 생성할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 패딩 처리를 통하여 이미지의 사이즈가 변경된 이후에도 원본 이미지의 가로세로비를 유지하게 함으로써, 아이템 형상의 왜곡을 방지하면서 딥러닝 뉴럴 네트워크의 입력 데이터 사이즈에 맞게 원본 이미지를 변환할 수 있다.
다음으로, 패딩 이미지를 생성한 쇼핑몰 서버(200)는, 생성된 패딩 이미지에 대한 특징벡터를 추출할 수 있다. (S109)
자세히, 쇼핑몰 서버(200)는, 생성된 패딩 이미지를 특징벡터를 추출하는 딥러닝 뉴럴 네트워크에 입력하여, 해당 이미지 상의 오브젝트에 대한 특징을 특정하는 특징벡터를 추출할 수 있다.
이때, 쇼핑몰 서버(200)는, 특징벡터를 추출하는 딥러닝 뉴럴 네트워크를 패션에 사용되는 항목들에 대한 특징추출에 최적화하기 위해 트레이닝하여 사용할 수 있다.
예를 들어, 쇼핑몰 서버(200)는, 특징벡터 추출 딥러닝 뉴럴 네트워크를 이용하여 패딩 이미지에 대한 쉐이프(Shape) 특징벡터를 도 7과 같이 추출할 수 있다.
또한, 실시예에서 쇼핑몰 서버(200)는, 텍스쳐(Texture), 패브릭(Fabric), 쉐이프(Shape), 스타일(Style) 및 컬러(Color) 파라미터 중 적어도 어느 하나 이상의 파라미터에 대한 각각의 특징벡터를, 특징벡터 추출 딥러닝 뉴럴 네트워크를 이용하여 추출할 수 있다.
예를 들어, 쇼핑몰 서버(200)는, 패딩 이미지를 텍스쳐 특징벡터 추출 딥러닝 뉴럴 네트워크에 입력하여 해당 패딩 이미지에 대한 텍스쳐 특징벡터를 획득할 수 있다. 또한, 동일한 방식으로 쇼핑몰 서버(200)는, 해당 패딩 이미지에 대한 패브릭, 쉐이프, 스타일 및/또는 컬러 특징벡터를 패브릭 특징벡터 추출 딥러닝 뉴럴 네트워크, 쉐이프 특징벡터 추출 딥러닝 뉴럴 네트워크, 스타일 특징벡터 추출 딥러닝 뉴럴 네트워크 및/또는 컬러 특징벡터 추출 딥러닝 뉴럴 네트워크를 통해 획득할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 딥러닝 뉴럴 네트워크를 이용해 아이템 오브젝트를 포함하는 패딩 이미지에 대한 특징벡터를 추출함으로써, 해당 아이템의 특징을 보다 효과적으로 특정하여 관리할 수 있는 데이터를 획득할 수 있고, 이를 통해 딥러닝을 기반으로 유사 아이템을 검출하여 제공하는 서비스를 원활하게 수행할 수 있다.
다음으로, 패딩 이미지에 대한 특징벡터를 추출한 쇼핑몰 서버(200)는, 추출된 특징벡터의 차원을 축소하여 통합 특징벡터를 생성할 수 있다. (S111)
이때, 특징벡터의 차원은, 특징벡터를 추출하기 위해 사용되는 딥러닝의 방식에 따라 다양할 수 있다.
실시예로, 특징벡터의 차원은, 특징벡터를 추출하고자 하는 파라미터의 개수에 비례할 수 있다.
예를 들어, 쇼핑몰 서버(200)가 텍스쳐(Texture), 패브릭(Fabric), 쉐이프(Shape), 스타일(Style) 및 컬러(Color) 파라미터를 기반으로 각 파라미터에 대한 특징벡터를 추출한 경우, 특징벡터의 차원은 5차원이 될 수 있다.
이러한 특징벡터의 차원은, 차원의 크기가 클수록 데이터베이스(230)에 저장되기에 부담이 될 수 있고, 데이터베이스(230) 검색을 수행할 시 소요되는 시간도 증가시킬 수 있다.
그러므로 본 발명의 실시예에서 쇼핑몰 서버(200)는, 추출된 특징벡터의 차원을 다양한 알고리즘을 통해 축소시킨 통합 특징벡터를 생성할 수 있다.
자세히, 실시예로 쇼핑몰 서버(200)는, 추출된 특징벡터의 차원을 PCA(Principle Component Analysis), ICA(Independent Component Analysis), Non-negative matrix factorization 및 SVD(Singlular Value Decomposition) 기술 중 적어도 어느 하나의 기술을 이용하여 축소시킬 수 있고, 이를 통해 통합 특징벡터를 생성할 수 있다.
예를 들어, 쇼핑몰 서버(200)는, 추출된 파라미터별 특징벡터들을 기설정된 알고리즘을 통해 하나로 결합하여 차원을 축소할 수 있고, 통합 특징벡터를 생성할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 패딩 이미지로부터 추출된 특징펙터의 차원을 축소하는 데이터 처리를 수행함으로써, 특징펙터의 데이터 베이스화를 보다 효율적으로 수행할 수 있고, 추후 데이터베이스(230)에서 유사 아이템을 검색할 때 소요되는 시간과 비용을 절감할 수 있다.
다음으로, 통합 특징벡터를 생성한 쇼핑몰 서버(200)는, 생성된 통합 특징벡터를 데이터베이스(230)에 저장할 수 있고, 이후 해당 데이터베이스(230)를 유사 아이템을 검색하기 위한 검색 데이터베이스(230)로 활용할 수 있다. (S113)
자세히, 쇼핑몰 서버(200)는, 추후에 유저의 입력에 따라 선택된 아이템을 기반으로 유사 아이템을 검출하여 제공할 시, 데이터베이스(230)에 저장된 통합 특징벡터에 기초하여 해당 유사 아이템을 검출할 수 있다.
보다 상세히, 쇼핑몰 서버(200)는, 다양한 방식의 알고리즘(예컨대, FLANN, annoy 및/또는 Brute Froce 등)을 이용하여 데이터베이스(230)에 대한 검색을 수행할 수 있고, 통합 특징벡터를 기반으로 유저가 선택한 아이템과 데이터베이스(230) 상의 아이템 간의 유사도를 측정할 수 있다.
그리고 쇼핑몰 서버(200)는, 측정된 유사도가 기설정된 기준(예컨대, 소정의 백분율 등) 이상으로 높은 상위 n개의 아이템을 데이터베이스(230)로부터 검출하여 검색 결과로 도출할 수 있다.
또한, 쇼핑몰 서버(200)는, 도출된 상위 n개의 아이템을 유사 아이템으로 선정하고, 선정된 유사 아이템을 단말(100)과 연동하여 유저에게 제공할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 딥러닝을 기반으로 유사 아이템을 제공하는 서비스를 구현함으로써, 쇼핑몰에 대한 기본적인 사용성을 편리하게 하고, 기존의 방법과는 차별화된 검색 방법을 제공하여 쇼핑몰의 경쟁력을 증대시킬 수 있다.
<딥러닝을 통해 데이터베이스로부터 유사 상품을 검출하여 제공하는 방법>
한편, 도 8은 본 발명의 실시예에 따른 딥러닝을 기반으로 데이터베이스(230)로부터 유사 상품을 검출하여 제공하는 방법을 설명하기 위한 흐름도이다.
이하에서 수행되는 딥러닝을 기반으로 유사 상품을 검출하는 과정은, 단말(100)의 제어부(150)에서 수행될 수 있다.
이하에서는, 설명의 편의를 위해 단말(100)의 제어부(150)를 단말(100)로 축약하여 설명하기로 한다.
그리고 이하 쇼핑몰 서버(200)가 주체가되어 딥러닝을 통해 유사 상품을 검색하는 것으로 설명하나, 단말(100)이 주체가 되어 유사 상품을 검색하는 실시예도 당연히 포함될 수 있을 것이다.
도 8을 참조하면, 쇼핑몰 서버(200)는, 유저가 선택한 아이템의 이미지에 대한 특징벡터를 추출하고, 추출된 특징벡터를 기반으로 데이터베이스(230)에서 유사 아이템을 검출하여 유저에게 제공할 수 있다.
이하, 효과적인 설명을 위하여, 상기 기술한 내용과 중복되는 설명을 생략할 수 있다.
자세히, 쇼핑몰 서버(200)는, 먼저 유저의 입력을 기반으로 아이템 이미지와 아이템 정보를 획득할 수 있다. (S201)
보다 상세히, 쇼핑몰 서버(200)는, 단말(100)과 연동하여 쇼핑몰에 게시된 복수의 아이템 중 유저의 입력에 따라 선택된 아이템에 대한 아이템 이미지와 아이템 정보를 획득할 수 있다.
또한, 쇼핑몰 서버(200)는, 단말(100)과 연동하여 쇼핑몰에서 제공하는 인터페이스를 통해 유저가 입력한 이미지를 기초로 아이템 이미지와 아이템 정보를 획득할 수 있다.
자세히, 쇼핑몰 서버(200)는, 쇼핑몰에서 제공하는 이미지 입력 인터페이스를 통해 유저가 입력한 이미지를 획득할 수 있고, 획득된 이미지를 기반으로 딥러닝을 수행하여 해당 쇼핑몰에 해당 이미지에 포함된 아이템과 동일하거나 유사한 아이템이 존재하는지 판단할 수 있다.
그리고 쇼핑몰 서버(200)는, 동일하거나 유사하다고 판단된 아이템에 기반하여 아이템 이미지와 아이템 정보를 획득할 수 있다.
즉, 쇼핑몰 서버(200)는, 이미지 입력 인터페이스를 통하여 이미지에 기반한 아이템 검색기능을 제공함으로써, 유저가 검색하고자 하는 아이템에 대한 명칭이나 해당 아이템이 분류된 카테고리를 알지 못하는 경우에도 이미지를 통해 아이템 검색을 수행하게 할 수 있다.
다음으로, 아이템 이미지와 아이템 정보를 획득한 쇼핑몰 서버(200)는, 획득된 아이템 이미지를 오브젝트 디텍션(Object detection)하여 적어도 하나 이상의 바운딩 박스를 생성할 수 있다. (S203)
자세히, 쇼핑몰 서버(200)는, 패션 디텍션부를 통한 딥러닝을 기반으로, 획득된 아이템 이미지를 오브젝트 디텍션(Object detection)할 수 있고, 해당 이미지 내에서 적어도 하나 이상의 오브젝트를 검출할 수 있다.
그리고 쇼핑몰 서버(200)는, 검출된 오브젝트를 기반으로, 해당 오브젝트가 있는 대략적인 영역을 사각 박스 형상으로 가지는 바운딩 박스를 적어도 하나 이상 생성할 수 있다.
다음으로, 바운딩 박스를 생성한 쇼핑몰 서버(200)는, 검출된 적어도 하나 이상의 오브젝트를 기반으로 검색 대상 아이템을 선택할 수 있다. (S205)
자세히, 실시예에서 쇼핑몰 서버(200)는, 획득된 아이템 정보 즉, 유저의 입력에 따라 선택된 아이템의 아이템 정보를 기반으로 검색 대상 아이템을 자동으로 선택할 수 있다.
보다 상세히, 쇼핑몰 서버(200)는, 패션 디텍션부를 통해 검출된 적어도 하나 이상의 오브젝트 중에서, 획득된 아이템 정보와 매칭되는 오브젝트를 딥러닝을 이용해 검출할 수 있다.
그리고 쇼핑몰 서버(200)는, 검출된 오브젝트를 검색 대상 아이템으로 선택할 수 있다.
다른 실시예에서, 도 9를 참조하면, 쇼핑몰 서버(200)는, 단말(100)을 통해 적어도 하나 이상의 바운딩 박스를 포함하는 아이템 이미지를 표시할 수 있다.
그리고 쇼핑몰 서버(200)는, 표시된 아이템 이미지를 기반으로 유저가 선택한 바운딩 박스에 포함된 오브젝트를 검색 대상 아이템으로 선택할 수 있다.
즉, 쇼핑몰 서버(200)는, 아이템 이미지로부터 검출된 복수의 오브젝트에 기초하여, 유저가 유사 아이템을 검색하고자 하는 오브젝트에 대한 선택 폭을 넓힘으로써, 쇼핑몰을 이용하는 유저에게 보다 활용도 높은 유사 아이템 검출 서비스를 제공할 수 있다.
또한, 쇼핑몰 서버(200)는, 상황에 따라(예컨대, 유저의 설정 등) 검색 대상 아이템을 자동으로 선정하기도 하고, 유저의 선택에 따라 선정하기도 함으로써, 차별화된 검색 서비스를 통한 유저의 만족도 향상을 도모할 수 있다.
다음으로, 검색 대상 아이템을 선택한 쇼핑몰 서버(200)는, 선택된 아이템에 대하여 메인 바운딩 박스 이미지를 생성할 수 있고, 생성된 메인 바운딩 박스 이미지를 기반으로 패딩 이미지를 생성할 수 있다. (S207)
자세히, 쇼핑몰 서버(200)는, 먼저 선택된 검색 대상 아이템을 포함하는 바운딩 박스를 추출할 수 있고, 추출된 바운딩 박스를 기초로 메인 바운딩 박스 이미지를 생성할 수 있다.
즉, 여기서 메인 바운딩 박스 이미지는, 아이템 이미지로부터 생성된 복수의 바운딩 박스 중에서 검색 대상 아이템을 나타내는 적어도 하나 이상의 바운딩 박스 내 이미지이다.
또한, 메인 바운딩 박스 이미지를 생성한 쇼핑몰 서버(200)는, 생성된 메인 바운딩 박스 이미지를 패딩 처리하여 사이즈를 조정해 패딩 이미지를 생성할 수 있다.
자세히, 쇼핑몰 서버(200)는, 패딩 이미지를 생성하기 위하여, 메인 바운딩 박스 이미지의 가로 사이즈를 입력 데이터의 가로 사이즈에 맞게 가로세로 비율을 유지시키며 감소시킬 수 있다.
다음으로 쇼핑몰 서버(200)는, 메인 바운딩 박스 이미지의 세로 사이즈를 입력 데이터의 세로 사이즈에 맞추기 위하여, 패드 이미지(5)를 메인 바운딩 박스 이미지의 양측 또는 일측에 추가하여 패딩 이미지를 생성할 수 있다.
즉, 쇼핑몰 서버(200)는, 사이즈 변경된 메인 바운딩 박스 이미지 상의 양측 또는 일측에 소정의 크기로 생성된 패드 이미지(5)를 추가하는 패딩 처리를 수행하여 패딩 이미지를 생성할 수 있다.
이러한 패딩 처리를 통해, 쇼핑몰 서버(200)는, 가로세로비를 원본 이미지와 동일하게 유지하며 사이즈가 조정된 메인 바운딩 박스 이미지와 패드 이미지(5)를 포함하는 패딩 이미지를 생성할 수 있다.
계속해서, 쇼핑몰 서버(200)는, 생성된 패딩 이미지에 대한 특징벡터를 추출할 수 있다. (S209)
자세히, 쇼핑몰 서버(200)는, 생성된 패딩 이미지를 특징벡터 추출 딥러닝 뉴럴 네트워크에 입력하여, 해당 이미지 상의 오브젝트에 대한 특징을 특정하는 특징벡터를 추출할 수 있다.
이때, 쇼핑몰 서버(200)는, 텍스쳐(Texture), 패브릭(Fabric), 쉐이프(Shape), 스타일(Style) 및 컬러(Color) 파라미터 중 적어도 어느 하나 이상의 파라미터에 대한 각 특징벡터를, 각 파라미터별 특징벡터 추출 딥러닝 뉴럴 네트워크를 이용하여 추출할 수도 있다.
다음으로, 패딩 이미지에 대한 특징벡터를 추출한 쇼핑몰 서버(200)는, 추출된 특징벡터의 차원을 축소하여 통합 특징벡터를 생성할 수 있다. (S211)
자세히, 쇼핑몰 서버(200)는, 추출된 특징벡터의 차원을 PCA(Principle Component Analysis), ICA(Independent Component Analysis), Non-negative matrix factorization 및 SVD(Singlular Value Decomposition) 기술 중 적어도 어느 하나의 기술을 이용하여 축소시킬 수 있고, 이를 통해 통합 특징벡터를 생성할 수 있다.
즉, 쇼핑몰 서버(200)는, 특징펙터의 차원을 축소하는 데이터 처리를 통하여, 특징펙터의 데이터 베이스화를 보다 효율적으로 수행할 수 있고, 추후 데이터베이스(230)에서 유사 아이템을 검색할 때 소요되는 시간과 비용을 절감할 수 있다.
다음으로, 통합 특징벡터를 생성한 쇼핑몰 서버(200)는, 생성된 통합 특징벡터와 유사도가 기설정된 기준(예컨대, 소정의 백분율 등) 이상으로 높은 통합 특징벡터를 가지는 아이템을 데이터베이스(230)에서 검출할 수 있다. (S213)
자세히, 쇼핑몰 서버(200)는, 다양한 방식의 알고리즘(예컨대, FLANN, annoy 및/또는 Brute Froce 등)을 이용하여 데이터베이스(230)에 대한 검색을 수행할 수 있고, 통합 특징벡터를 기반으로 유저가 선택한 아이템과 데이터베이스(230) 상의 아이템 간의 유사도를 측정할 수 있다.
그리고 쇼핑몰 서버(200)는, 측정된 유사도가 기설정된 기준(예컨대, 소정의 백분율 등) 이상으로 높은 상위 n(1<=n)개의 아이템을 데이터베이스(230)로부터 검출할 수 있고, 검출된 상위 n개의 아이템을 유사 아이템으로 선정할 수 있다.
이와 같이, 쇼핑몰 서버(200)는, 통합 특징벡터에 기반하여 유저가 선택한 아이템과 유사한 아이템을 검색함으로써, 객관적 데이터를 기반으로 추출된 신뢰성 높은 유사 아이템을 선정할 수 있고, 효율적인 데이터 처리를 통한 딥러닝 기반의 유사 아이템 제공 서비스를 수행할 수 있다.
또한, 유사 아이템을 선정한 쇼핑몰 서버(200)는, 선정된 유사 아이템을 단말(100)과 연동하여 유저에게 제공할 수 있다. (S215)
즉, 쇼핑몰 서버(200)는, 유저가 선택한 아이템과 유사한 아이템을 적어도 하나 이상 검출하여 단말(100)을 통해 제공함으로써, 쇼핑몰의 경쟁력과 유저의 만족도를 향상시킬 수 있다.
이상, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 방법은, 유저가 선택한 아이템의 이미지에 대한 오브젝트 영역을 딥러닝하여 해당 아이템과 유사한 아이템을 검출해 제공함으로써, 온라인 쇼핑몰에 대한 기본적인 사용성을 편리하게 하고, 기존의 방법과는 차별화된 검색 방법을 제공하여 쇼핑몰의 경쟁력을 증대시킬 수 있는 효과가 있다.
자세히, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 방법은, 유저가 선택한 아이템과 유사한 아이템을 적어도 하나 이상으로 검출해 제공함으로써, 비슷한 제품으로 분류된 아이템들을 편리하게 확인하도록 하여, 온라인 쇼핑몰에 대한 유저의 만족도를 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 방법은, 유저가 선택한 아이템과 유사한 아이템을 검출해 제공함으로써, 선택한 아이템과 유사한 아이템을 쉽고 빠르게 확인하고자 하는 유저의 니즈(Needs) 반영을 극대화하고 동선은 최소화할 수 있다는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 방법은, 유저가 선택한 아이템과 유사한 아이템을 검출해 제공함으로써, 유저가 구매하고자 하는 아이템이 매진일 경우에도 해당 아이템과 유사한 아이템을 확인하고 구매하도록 유도할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 방법은, 유저가 입력한 이미지를 기반으로 딥러닝을 수행하여 유사 아이템을 검출하는 기능을 제공함으로써, 아이템에 대한 명칭을 알지 못하여 기존의 검색 방법(예컨대, 카테고리, 키워드 검색 등)으로는 원하는 아이템을 찾기 어려운 경우에도 차별화된 검색 방법으로 해당 아이템을 쉽게 찾도록 할 수 있다.
또한, 본 발명의 실시예에 따른 딥러닝을 기반으로 유사 아이템을 제공하는 방법은, 트레이닝(training)된 딥러닝 뉴럴 네트워크를 이용하여 아이템 이미지에 대한 데이터 처리를 수행함으로써, 선택한 아이템과 유사한 아이템을 검출해 제공하는 서비스를 뉴럴 네트워크와 빅데이터에 기초하여 정확하고 빠르게 제공할 수 있다.
또한, 이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (17)

  1. 쇼핑몰 서버의 데이터 처리부에서 딥러닝을 기반으로 유사 상품을 제공하기 위하여 수행하는 방법으로서,
    쇼핑몰에 등록된 아이템에 대한 아이템 이미지와 아이템 정보를 획득하는 단계;
    상기 아이템 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트에 대한 바운딩 박스를 검출하는 단계;
    상기 아이템 정보를 기초로 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계;
    상기 결정된 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계;
    상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하는 단계;
    상기 패딩 이미지에 대한 특징벡터를 추출하는 단계;
    상기 특징벡터를 상기 아이템에 매칭하여 데이터베이스에 저장하는 단계; 및
    상기 데이터베이스 기반 유사상품 검색 서비스를 제공하는 단계를 포함하고,
    상기 패딩 이미지를 생성하는 단계는,
    상기 메인 바운딩 박스 이미지를 소정의 사이즈로 변경하는 단계와,
    상기 사이즈 변경된 메인 바운딩 박스 이미지 상에 패드 이미지를 추가하는 패딩 처리를 수행하는 단계를 포함하고,
    상기 메인 바운딩 박스 이미지를 소정의 사이즈로 변경하는 단계는,
    상기 메인 바운딩 박스 이미지의 가로세로비를 유지한 상태에서 상기 메인 바운딩 박스 이미지의 가로 사이즈를 상기 딥러닝 뉴럴 네트워크의 입력 사이즈의 가로 크기가 되도록 조정하는 단계를 포함하고,
    상기 패드 이미지를 추가하는 패딩 처리를 수행하는 단계는,
    상기 메인 바운딩 박스 이미지가 상기 입력 사이즈가 되도록 상기 패드 이미지를 생성하고 상기 메인 바운딩 박스 이미지에 추가하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  2. 제 1 항에 있어서,
    상기 오브젝트에 대한 바운딩 박스를 검출하는 단계는,
    상기 아이템 이미지를 패션 디텍션 하여 적어도 하나 이상의 패션 관련 오브젝트와 상기 패션 관련 오브젝트가 차지하는 영역에 대한 바운딩 박스를 추출하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  3. 제 2 항에 있어서,
    상기 아이템 정보를 기초로 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계는,
    상기 검출된 패션 관련 오브젝트 중 상기 아이템에 관련된 오브젝트에 대한 바운딩 박스를 결정하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  4. 제 3 항에 있어서,
    상기 결정된 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계는,
    상기 아이템에 관련된 오브젝트로 결정된 바운딩 박스가 복수 개인 경우, 상기 복수의 바운딩 박스를 머지하는 단계와, 상기 머지된 바운딩 박스 내 이미지를 추출하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 패딩 이미지에 대한 특징벡터를 추출하는 단계는,
    텍스쳐(Texture), 패브릭(Fabric), 쉐이프(Shape), 스타일(Style) 및 컬러(Color) 파라미터 중 적어도 어느 하나 이상의 파라미터에 대한 특징벡터를 딥러닝 뉴럴 네트워크를 이용하여 추출하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  7. 제 1 항에 있어서,
    상기 추출된 특징벡터의 차원을 축소하여 통합 특징벡터를 생성하는 단계를 더 포함하고,
    상기 특징벡터를 상기 아이템에 매칭하여 데이터베이스에 저장하는 단계는,
    상기 통합 특징벡터에 상기 아이템 정보를 매칭하여 데이터베이스에 저장하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  8. 쇼핑몰 서버의 데이터 처리부에서 수행하여 딥러닝을 통해 유사 상품을 검출하여 제공하는 방법으로서,
    유저가 선택한 아이템의 아이템 이미지와 아이템 정보를 획득하는 단계;
    상기 아이템 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트를 검출하고 상기 오브젝트의 영역에 대한 바운딩 박스를 생성하는 단계;
    상기 검출된 오브젝트를 기반으로 검색 대상 아이템을 결정하는 단계;
    상기 검색 대상 아이템과 연관된 오브젝트의 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하는 단계;
    상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하는 단계;
    상기 패딩 이미지를 딥러닝하여 특징벡터를 추출하는 단계;
    상기 특징벡터와의 유사도가 기설정된 기준 이상인 특징벡터를 가지는 아이템을 데이터베이스에서 검출하여 유사 아이템으로 선정하는 단계; 및
    상기 선정된 유사 아이템을 상기 유저의 단말을 통해 제공하는 단계를 포함하고,
    상기 패딩 이미지를 생성하는 단계는,
    상기 메인 바운딩 박스 이미지를 소정의 사이즈로 변경하는 단계와,
    상기 사이즈 변경된 메인 바운딩 박스 이미지 상에 패드 이미지를 추가하는 패딩 처리를 수행하는 단계를 포함하고,
    상기 메인 바운딩 박스 이미지를 소정의 사이즈로 변경하는 단계는,
    상기 메인 바운딩 박스 이미지의 가로세로비를 유지한 상태에서 상기 메인 바운딩 박스 이미지의 세로 사이즈를 상기 딥러닝 뉴럴 네트워크의 입력 사이즈의 세로 크기가 되도록 조정하는 단계를 포함하고,
    상기 패드 이미지를 추가하는 패딩 처리를 수행하는 단계는,
    상기 메인 바운딩 박스 이미지가 상기 입력 사이즈가 되도록 상기 패드 이미지를 생성하고 상기 메인 바운딩 박스 이미지에 추가하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  9. 제 8 항에 있어서,
    상기 아이템 이미지와 아이템 정보를 획득하는 단계는,
    단말과 연동하여 쇼핑몰에 게시된 복수의 아이템 중 상기 유저의 입력에 따라 선택된 상기 아이템의 아이템 이미지와 아이템 정보를 획득하는 단계와,
    상기 단말과 연동하여 쇼핑몰에서 제공하는 인터페이스를 통해 상기 유저가 입력한 이미지를 기초로 상기 아이템 이미지와 아이템 정보를 획득하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  10. 제 8 항에 있어서,
    상기 검출된 오브젝트를 기반으로 검색 대상 아이템을 결정하는 단계는,
    상기 아이템 정보를 기반으로 상기 검색 대상 아이템을 자동으로 결정하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  11. 제 10 항에 있어서,
    상기 검출된 오브젝트를 기반으로 검색 대상 아이템을 결정하는 단계는,
    단말을 통해 적어도 하나 이상의 상기 바운딩 박스를 포함하는 아이템 이미지를 표시하는 단계와,
    상기 표시된 바운딩 박스를 포함하는 아이템 이미지를 기반으로 상기 유저가 선택한 바운딩 박스에 포함된 상기 오브젝트를 상기 검색 대상 아이템으로 결정하는 단계를 더 포함하는
    딥러닝 기반 유사상품 제공방법.
  12. 제 8 항에 있어서,
    상기 아이템을 데이터베이스에서 검출하여 유사 아이템으로 선정하는 단계는,
    상기 유사도가 기설정된 기준 이상인 상위 n개의 아이템을 상기 데이터베이스로부터 검출하는 단계를 포함하는
    딥러닝 기반 유사상품 제공방법.
  13. 쇼핑몰 서버와 쇼핑 서비스 관련 데이터를 송수신하는 통신부;
    상기 쇼핑 서비스를 제공하기 위한 데이터를 저장하는 저장부;
    상기 쇼핑 서비스에서 유저가 선택한 상품의 이미지를 출력하는 디스플레이부; 및
    상기 쇼핑 서비스를 제공하는 과정에서 상기 상품의 이미지와 관련된 유사 상품의 이미지를 제공하는 기능을 수행하는 제어부를 포함하고,
    상기 제어부는,
    상기 유저가 선택한 상품의 상품 이미지와 상품 정보를 획득하고,
    상기 상품 이미지를 오브젝트 디텍션하여 적어도 하나 이상의 오브젝트를 검출하고 상기 오브젝트의 영역에 대한 바운딩 박스를 생성하며,
    상기 검출된 오브젝트를 기반으로 검색 대상 상품을 결정하고,
    상기 검색 대상 상품과 연관된 오브젝트의 바운딩 박스 내 이미지를 추출하여 메인 바운딩 박스 이미지를 생성하며,
    상기 메인 바운딩 박스 이미지를 패딩 처리하여 패딩 이미지를 생성하고,
    상기 패딩 이미지를 딥러닝하여 특징벡터를 추출하며,
    상기 특징벡터와의 유사도가 기설정된 기준 이상인 특징벡터를 가지는 상품을 데이터베이스에서 검출하여 유사 상품으로 선정하고,
    상기 선정된 유사 상품을 상기 디스플레이부를 통해 출력하도록 제어하며,
    상기 제어부는,
    상기 메인 바운딩 박스 이미지를 소정의 사이즈로 변경하고, 상기 사이즈 변경된 메인 바운딩 박스 이미지 상에 패드 이미지를 추가하는 패딩 처리를 수행하며,
    상기 제어부는,
    상기 메인 바운딩 박스 이미지의 가로세로비를 유지한 상태에서 상기 메인 바운딩 박스 이미지의 가로 사이즈를 상기 딥러닝 뉴럴 네트워크의 입력 사이즈의 가로 크기가 되도록 조정하고,
    상기 제어부는,
    상기 메인 바운딩 박스 이미지가 상기 입력 사이즈가 되도록 상기 패드 이미지를 생성하여 상기 메인 바운딩 박스 이미지에 추가하는
    딥러닝 기반 유사상품 제공장치.
  14. 제 13 항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 출력된 복수의 상품 이미지 중 상기 유저의 입력에 따라 선택된 상기 상품의 상품 이미지와 상품 정보를 획득하도록 제어하는
    딥러닝 기반 유사상품 제공장치.
  15. 제 13 항에 있어서,
    상기 제어부는,
    상기 상품 정보를 기반으로 상기 상품 이미지에 포함된 복수의 상품 중 하나를 상기 검색 대상 상품을 자동으로 결정하도록 제어하는
    딥러닝 기반 유사상품 제공장치.
  16. 제 15 항에 있어서,
    상기 제어부는,
    상기 디스플레이부를 통해 적어도 하나 이상의 상기 바운딩 박스를 포함하는 상품 이미지를 표시하고,
    상기 표시된 바운딩 박스를 포함하는 상품 이미지를 기반으로 상기 유저가 선택한 바운딩 박스에 포함된 상기 오브젝트를 상기 검색 대상 상품으로 결정하도록 제어하는
    딥러닝 기반 유사상품 제공장치.
  17. 제 13 항에 있어서,
    상기 제어부는,
    상기 통신부를 통해 상기 유사도가 기설정된 기준 이상인 상위 n개의 상품을 상기 쇼핑몰 서버의 데이터베이스로부터 검출하도록 제어하는
    딥러닝 기반 유사상품 제공장치.
KR1020190017009A 2019-02-14 2019-02-14 딥러닝 기반 유사상품 제공방법 KR102246408B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190017009A KR102246408B1 (ko) 2019-02-14 2019-02-14 딥러닝 기반 유사상품 제공방법
US16/789,353 US11544759B2 (en) 2019-02-14 2020-02-12 System and method for providing similar or related products based on deep-learning
JP2020023644A JP6998413B2 (ja) 2019-02-14 2020-02-14 ディープラーニング基盤の類似商品提供方法、ディープラーニング基盤の類似商品提供装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190017009A KR102246408B1 (ko) 2019-02-14 2019-02-14 딥러닝 기반 유사상품 제공방법

Publications (2)

Publication Number Publication Date
KR20200103182A KR20200103182A (ko) 2020-09-02
KR102246408B1 true KR102246408B1 (ko) 2021-05-18

Family

ID=72041919

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190017009A KR102246408B1 (ko) 2019-02-14 2019-02-14 딥러닝 기반 유사상품 제공방법

Country Status (3)

Country Link
US (1) US11544759B2 (ko)
JP (1) JP6998413B2 (ko)
KR (1) KR102246408B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544759B2 (en) 2019-02-14 2023-01-03 Nhn Cloud Corporation System and method for providing similar or related products based on deep-learning

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157692B2 (en) * 2019-03-29 2021-10-26 Western Digital Technologies, Inc. Neural networks using data processing units
US11972466B2 (en) * 2019-05-20 2024-04-30 Adobe Inc Computer storage media, method, and system for exploring and recommending matching products across categories
CN110516099A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
US11373095B2 (en) * 2019-12-23 2022-06-28 Jens C. Jenkins Machine learning multiple features of depicted item
JP6795243B1 (ja) * 2020-09-15 2020-12-02 株式会社華和結ホールディングス 鼻紋照合装置および方法並びにプログラム
KR102467010B1 (ko) * 2020-09-16 2022-11-14 엔에이치엔클라우드 주식회사 이미지 복원에 기반한 상품 검색 방법 및 시스템
KR102534182B1 (ko) * 2020-09-25 2023-05-18 엔에이치엔클라우드 주식회사 딥러닝 기반 상품검색 방법 및 시스템
WO2022097102A1 (en) 2020-11-06 2022-05-12 Buyaladdin.com, Inc. Vertex interpolation in one-shot learning for object classification
KR102561734B1 (ko) * 2021-02-15 2023-07-31 엔에이치엔클라우드 주식회사 이미지 복원 기반 상품검색 방법 및 시스템
KR20220119898A (ko) 2021-02-22 2022-08-30 주식회사 케이티 상품 이미지를 인식하는 장치, 방법 및 컴퓨터 프로그램
KR102541871B1 (ko) * 2021-04-02 2023-06-12 노대균 머신 러닝 모델을 이용한 이사견적 제공 시스템 및 그 방법
US11823490B2 (en) * 2021-06-08 2023-11-21 Adobe, Inc. Non-linear latent to latent model for multi-attribute face editing
JP2023035676A (ja) * 2021-09-01 2023-03-13 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
KR102703455B1 (ko) 2022-01-25 2024-09-06 엔에이치엔 주식회사 이미지 상품 검색 시스템 및 그 방법
JPWO2023152809A1 (ko) * 2022-02-08 2023-08-17

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템
JP2018194842A (ja) * 2017-05-19 2018-12-06 株式会社半導体エネルギー研究所 機械学習方法、機械学習システム、及び表示システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908962B2 (en) * 2011-09-30 2014-12-09 Ebay Inc. Item recommendations using image feature data
WO2016018488A2 (en) * 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
WO2016162963A1 (ja) 2015-04-08 2016-10-13 株式会社日立製作所 画像検索装置、システム及び方法
KR101801846B1 (ko) * 2015-08-26 2017-11-27 옴니어스 주식회사 상품 영상 검색 및 시스템
US10977748B2 (en) * 2015-09-24 2021-04-13 International Business Machines Corporation Predictive analytics for event mapping
US10789525B2 (en) * 2015-10-02 2020-09-29 Adobe Inc. Modifying at least one attribute of an image with at least one attribute extracted from another image
US10810252B2 (en) * 2015-10-02 2020-10-20 Adobe Inc. Searching using specific attributes found in images
JP2017220019A (ja) 2016-06-07 2017-12-14 日本電信電話株式会社 画像検索装置、方法、及びプログラム
US10959702B2 (en) * 2016-06-20 2021-03-30 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
KR101852598B1 (ko) 2016-11-18 2018-04-26 설영석 사물 인식을 이용한 상품 검색 시스템
EP3549063A4 (en) 2016-12-05 2020-06-24 Avigilon Corporation APPEARANCE SEARCH SYSTEM AND METHOD
US9990687B1 (en) * 2017-01-19 2018-06-05 Deep Learning Analytics, LLC Systems and methods for fast and repeatable embedding of high-dimensional data objects using deep learning with power efficient GPU and FPGA-based processing platforms
JP6751684B2 (ja) 2017-03-28 2020-09-09 株式会社Ｎｔｔドコモ 類似画像検索装置
WO2018193354A1 (en) * 2017-04-17 2018-10-25 Cerebras Systems Inc. Wavelet representation for accelerated deep learning
US10380650B2 (en) * 2017-07-26 2019-08-13 Jehan Hamedi Systems and methods for automating content design transformations based on user preference and activity data
US10956928B2 (en) * 2018-05-17 2021-03-23 International Business Machines Corporation Cognitive fashion product advertisement system and method
KR102246408B1 (ko) 2019-02-14 2021-05-18 엔에이치엔 주식회사 딥러닝 기반 유사상품 제공방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템
JP2018194842A (ja) * 2017-05-19 2018-12-06 株式会社半導体エネルギー研究所 機械学習方法、機械学習システム、及び表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11544759B2 (en) 2019-02-14 2023-01-03 Nhn Cloud Corporation System and method for providing similar or related products based on deep-learning

Also Published As

Publication number Publication date
US11544759B2 (en) 2023-01-03
US20200265495A1 (en) 2020-08-20
JP2020135888A (ja) 2020-08-31
KR20200103182A (ko) 2020-09-02
JP6998413B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
KR102246408B1 (ko) 딥러닝 기반 유사상품 제공방법
KR101768521B1 (ko) 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템
KR102585234B1 (ko) 전자 기기를 위한 비전 인텔리전스 관리
US20170109615A1 (en) Systems and Methods for Automatically Classifying Businesses from Images
US20120308121A1 (en) Image ranking based on attribute correlation
US20210141826A1 (en) Shape-based graphics search
CN111291765A (zh) 用于确定相似图片的方法和装置
JP6527275B1 (ja) イメージ内の複数の客体の調和に基づく調和検索方法、コンピュータ装置およびコンピュータプログラム
CN113987119B (zh) 一种数据检索方法、跨模态数据匹配模型处理方法和装置
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
KR102430029B1 (ko) 딥러닝 기반 유사상품 검색 결과 제공 방법 및 그 시스템
US11972466B2 (en) Computer storage media, method, and system for exploring and recommending matching products across categories
CN111967924A (zh) 商品推荐方法、商品推荐装置、计算机设备和介质
US20130332440A1 (en) Refinements in Document Analysis
KR102467010B1 (ko) 이미지 복원에 기반한 상품 검색 방법 및 시스템
Aliprantis et al. Linked open data as universal markers for mobile augmented reality applications in cultural heritage
CN112446214A (zh) 广告关键词的生成方法、装置、设备及存储介质
CN116975359A (zh) 资源处理方法、资源推荐方法、装置和计算机设备
Li et al. Feature Disentanglement and Adaptive Fusion for Improving Multi-modal Tracking
Wang et al. Toward enhancing room layout estimation by feature pyramid networks
KR101910825B1 (ko) 이미지 검색 모델을 제공하는 방법, 장치, 시스템 및 컴퓨터 프로그램
US11907280B2 (en) Text adjusted visual search
US20230260006A1 (en) System and method for searching image of goods
US20240330381A1 (en) User-Specific Content Generation Using Text-To-Image Machine-Learned Models
Wang et al. An Efficient Method for Indoor Layout Estimation with FPN

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right