KR102444498B1 - 이미지 기반 제품 매매 서비스 제공 시스템 및 방법 - Google Patents

이미지 기반 제품 매매 서비스 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102444498B1
KR102444498B1 KR1020190067414A KR20190067414A KR102444498B1 KR 102444498 B1 KR102444498 B1 KR 102444498B1 KR 1020190067414 A KR1020190067414 A KR 1020190067414A KR 20190067414 A KR20190067414 A KR 20190067414A KR 102444498 B1 KR102444498 B1 KR 102444498B1
Authority
KR
South Korea
Prior art keywords
product
image
target product
target
feature vector
Prior art date
Application number
KR1020190067414A
Other languages
English (en)
Other versions
KR20200140588A (ko
Inventor
김익재
남기표
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190067414A priority Critical patent/KR102444498B1/ko
Publication of KR20200140588A publication Critical patent/KR20200140588A/ko
Application granted granted Critical
Publication of KR102444498B1 publication Critical patent/KR102444498B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

실시예들은 타겟 제품의 매매 요청을 사용자 디바이스로부터 수신하는 단계 - 상기 매매 요청은 타겟 제품(target product)의 이미지를 포함함; 상기 타겟 제품의 이미지로부터 제품을 인식하기 위한 특징을 추출하고, 추출된 특징에 기초하여 상기 타겟 제품을 인식하는 단계; 및 상기 타겟 제품의 매매를 위한 매매 서비스를 제공하는 단계를 포함하는 이미지 기반 제품 매매 서비스 제공 방법 및 이를 수행하는 시스템에 관련된다.

Description

이미지 기반 제품 매매 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING IMAGE-BASED SERVICE TO SELL AND BUY PRODUCT}
본 발명의 실시예들은 제품을 매매(selling and buying)하기 위한 온라인 서비스 제공 기술에 관한 것으로서, 보다 상세하게는 인공지능을 통해 추출된 이미지 특성(characteristic)을 이용하여 이미지로부터 제품을 인식하고, 사용자가 해당 제품을 구매 또는 판매하게 하는 서비스를 제공하는 이미지 기반 제품 매매 서비스 제공 시스템 및 방법에 관련된다.
최근 전자상거래 등의 사용도가 높아짐에 따라 효율적인 관심 제품 검색 방법 혹은 이미지 검색을 통한 원하는 제품 검색에 대한 기술이 발전되고 있다.
종래의 일 실시예에 따른 이미지 기반 제품 검색 기술은 촬영된 제품의 이미지와 태그 정보를 함께 이동통신망 시스템으로 전송한 이후, 이미지 정보 및 태그 정보에 기초하여 촬영된 이미지 내 제품을 검색하고, 해당 제품의 최저가 및 다양한 관련 정보를 이동통신 단말로 전송함으로써, 이미지 기반 제품 판매 서비스를 제공한다.
종래의 다른 일 실시예에 따른 이미지 기반 제품 검색 기술은 이미지 내 문자나 기호 등을 추출하여 이미지로부터 제품을 인식한 뒤, 해당 제품을 검색하는 서비스를 제공한다.
이러한 종래의 실시예들은 이미지 정보뿐만 아니라 태그 정보 또한 필요로 하거나, 또는 문자나 기호만을 활용한 이미지 검색을 수행함에 따른 인식 성능이 부정확성에 대한 한계를 가지고 있다.
특허공개공보 제 10-2012-0083060호 특허공개공보 제10-2009-0072774호
본 발명의 일 측면에 따르면 인공지능을 통해 추출된 이미지 특성(characteristic)을 이용하여 이미지로부터 제품을 인식하고, 사용자가 해당 제품을 구매 또는 판매하게 하는 서비스를 제공하는 이미지 기반 제품 매매 서비스 제공 시스템을 제공할 수 있다.
이 외에도, 이미지 기반 제품 매매 서비스 제공 방법 및 이를 기록한 컴퓨터 판독가능 기록매체를 제공할 수 있다.
본 발명의 일 측면에 따른 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 이미지 기반 제품 매매 서비스 제공 방법은, 타겟 제품의 매매 요청을 사용자 디바이스로부터 수신하는 단계 - 상기 매매 요청은 타겟 제품(target product)의 이미지를 포함함; 상기 타겟 제품의 이미지로부터 제품을 인식하기 위한 특징을 추출하고, 추출된 특징에 기초하여 상기 타겟 제품을 인식하는 단계; 및 상기 타겟 제품의 매매를 위한 매매 서비스를 제공하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타겟 제품을 인식하는 단계는,
상기 타겟 제품의 이미지로부터 상기 타겟 제품의 상품유형과 관련된 특징벡터를 추출하여 상기 이미지 내 타겟 제품이 해당하는 상품유형을 결정하는 단계; 상기 타겟 제품의 이미지로부터 상기 타겟 제품의 상품군과 관련된 특징벡터를 추출하여, 결정된 상품유형 내에서 상기 타겟 제품이 해당하는 상품군을 결정하는 단계; 상기 타겟 제품의 이미지로부터 상기 타겟 제품의 특징벡터를 추출한 뒤, 상기 타겟 제품의 특징벡터에 매칭하는 특징벡터를 갖는 제품을 결정된 상품군 내에서 검색하여 상기 타겟 제품을 인식하는 단계를 포함할 수 있다.
일 실시예에서, 상기 이미지 내 타겟 제품이 해당하는 상품유형을 결정하는 단계는, 상품유형과 관련된 특징벡터를 추출하도록 미리 학습된 제1 분류 모델에 상기 타겟 제품의 이미지를 적용하여, 상기 타겟 제품의 상품유형과 관련된 특징벡터를 상품유형 클래스로 분류하는 단계; 및 분류된 상품유형 클래스를 상기 타겟 제품이 해당하는 상품유형으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타겟 제품이 해당하는 상품군을 결정하는 단계는, 상품군과 관련된 특징벡터를 추출하도록 미리 학습된 제1 분류 모델에 상기 타겟 제품의 이미지를 적용하여 상기 타겟 제품의 상품군과 관련된 특징벡터를 상품군 클래스로 분류하는 단계; 및 분류된 상품군 클래스를 상기 타겟 제품이 해당하는 상품군으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타겟 제품이 해당하는 상품군을 결정하는 단계는, 결정된 상품유형에 기초하여 상기 타겟 제품의 상품군을 결정하기 위한 분류 모델을 선택하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 타겟 제품의 상품군을 결정하기 위한 분류 모델은 상기 결정된 상품유형 내에 포함된 상품군을 분류하도록 미리 학습될 수 있다.
일 실시예에서, 상기 타겟 제품의 상품군을 결정하기 위한 분류 모델은 다수의 훈련 샘플(training sample)을 이용하여 기계 학습된 모델로서, 각 훈련 샘플은 동일한 상품유형에 포함된 훈련 제품(training product)을 각각 포함한 이미지, 및 각 훈련 제품이 해당하는 상품군 정보를 포함할 수 있다.
일 실시예에서, 상기 타겟 제품의 특징벡터에 매칭하는 특징벡터를 갖는 제품을 결정된 상품군 내에서 검색하여 상기 타겟 제품을 인식하는 단계는, 상기 타겟 제품의 이미지를 제품의 특징벡터를 추출하도록 미리 학습된 제3 분류 모델에 적용하여 타겟 제품의 특징벡터를 추출하는 단계; 및 미리 저장된, 결정된 상품군 내에 포함된 제품의 특징벡터와 상기 타겟 제품의 특징벡터를 비교하여, 상기 타겟 제품에 매칭하는, 미리 저장된 제품을 검색하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타겟 제품에 매칭하는, 미리 저장된 제품을 검색하는 단계는, 상기 타겟 제품의 특징벡터와 미리 저장된, 상기 상품군에 포함된 제품의 특징벡터 간의 유사도를 산출하는 단계; 및 미리 설정된 임계치 보다 큰 유사도를 갖는 미리 저장된 제품을 상기 타겟 제품에 매칭하는 제품으로 결정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 이미지 기반 제품 매매 서비스 제공 방법 은 사용자의 매매가 판매 또는 구매인지를 나타내는 매매유형을 수신하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 매매 서비스를 제공하는 단계는, 상기 구매를 나타내는 매매유형을 수신한 경우, 상기 타겟 제품을 판매하는 것으로 미리 등록된 판매 희망자를 검색하는 단계; 및 검색된 판매 희망자의 액세스 정보를 상기 사용자 디바이스에 전송하는 단계를 포함할 수 있다.
일 실시예에서, 상기 이미지 기반 제품 매매 서비스 제공 방법은 검색된 판매 희망자에서 최저가로 판매하는 판매 희망자를 필터링하는 단계; 및 필터링된 판매 희망자의 액세스 정보를 사용자 디바이스에 전송하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 매매 서비스를 제공하는 단계는, 상기 판매를 나타내는 매매유형을 수신한 경우, 상기 타겟 제품의 구매 의사를 미리 등록한 구매 희망자를 검색하는 단계; 및 검색된 구매 희망자의 액세스 정보를 상기 사용자 디바이스에 전송하는 단계를 포함할 수 있다.
일 실시예에서, 상기 매매유형은 중고 또는 비-중고를 포함한 서브 매매유형을 포함하고, 상기 판매 희망자를 검색하는 단계는, 상기 판매유형에 대응하는 제품을 판매하는 판매 희망자를 검색하는 것일 수 있다.
일 실시예에서, 상기 이미지 기반 제품 매매 서비스 제공 방법은 상기 타겟 제품의 이미지로부터 속성을 추출하여 사용자의 제품 검색 이력을 업데이트하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 속성은 색상, 재질, 및 외형 중 하나 이상을 포함할 수 있다.
일 실시예에서, 상기 사용자의 제품 검색 이력을 업데이트하는 단계는,
상기 타겟 제품의 이미지로부터 타겟 제품의 속성벡터(property vector)를 추출하는 단계; 및 추출된 속성벡터의 구성요소의 벡터 값 및 해당 구성요소의 추출 횟수를 업데이트하는 단계를 포함할 수 있다.
일 실시예에서, 상기 타겟 제품의 이미지로부터 제품 인식을 위한 특징을 추출하여 사용자의 제품 검색 이력을 업데이트하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 타겟 제품의 이미지로부터 제품 인식을 위한 특징벡터를 추출하도록 미리 학습된 분류 모델 중 적어도 하나는 상기 속성벡터를 추출하도록 더 학습된다.
일 실시예에서, 상기 이미지 기반 제품 매매 서비스 제공 방법은 상기 사용자의 제품 검색 이력에 포함된, 이전 타겟 제품의 이미지로부터 추출된 속성벡터에 기초하여 맞춤형 추천 제품에 대한 정보를 제공하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 맞춤형 추천 제품에 대한 정보를 제공하는 단계는, 상기 사용자의 제품 검색 이력에서 소정 횟수 이상 추출되거나 또는 소정 빈도 이상 추출된 적어도 하나의 속성을 조회하는 단계; 조회된 속성을 나타내는 벡터값을 갖는 제품을 맞춤형 추천 제품으로 검색하는 단계; 및 검색된 맞춤형 추천 제품에 대한 정보를 제공하는 단계를 포함할 수 있다.
일 실시예에서, 상기 맞춤형 추천 제품의 검색은 상기 타겟 제품에 매칭하는 제품이 없는 경우에 수행될 수 있다.
본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는, 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 여기서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상술한 실시예들에 따른 이미지 기반 제품 매매 서비스 제공 방법을 수행하게 한다.
본 발명의 일 측면에 따른 이미지 기반 제품 매매 서비스 제공 시스템은 다른 기타 장비 없이 스마트폰과 같은 사용자 디바이스에 의해 획득된 이미지로부터 인공지능을 통해 이미지 내 타겟 제품의 특징(features)을 추출하여 이미지 내 타겟 제품을 인식할 수 있다. 즉, 이미지만을 이용하여 제품의 상품항목, 명칭 등의 상세 정보를 획득할 수 있다.
또한, 상기 매매 서비스 제공 시스템은 이미지로부터 타겟 제품을 인식함으로써, 다양한 제품 매매 서비스를 제공할 수 있다.
일 실시예에서, 인식된 타겟 제품을 판매하고 있는 제품 판매자를 가격별로 안내하는 검색 서비스(예컨대, 최저가 검색 서비스)를 제공하거나, 인식된 타겟 제품과 동일한 상품항목 내 제품을 추천하는 유사 제품 추천 서비스를 제공하거나, 인식된 타겟 제품을 사용자가 중고로 판매하는 것 또는 중고로 구매하는 것을 지원하는 중고 매매 지원 서비스를 제공할 수 있다.
이로 인해, 이미지 내 타겟 제품의 구매를 원하는 사용자는 한 장의 이미지만으로 쉽게 이미지 내 타겟 제품을 구매할 수 있다. 한편, 이미지 내 타겟 제품의 판매를 원하는 사용자는 이미지 내 타겟 제품의 중고 구매를 희망하는 중고 구매자를 손쉽게 매칭할 수 있다. 즉, 상기 제품 매매 서비스 제공 시스템은 이미지만을 이용하여 사용자의 편의성을 극대화할 수 있다.
나아가, 제품 매매 서비스 제공 시스템은 이미지 내 타겟 제품의 속성(property)을 추출하여 구축된 사용자 검색 이력에 기초하여, 이미지 이외의 추가적인 입력 없이 사용자의 검색 이력에 맞춤화된 제품을 추천할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 위한 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 시스템을 개략적으로 도시한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 시스템의 일 측면을 구성하는 사용자 디바이스를 개략적으로 도시한 블록도이다.
도 3은, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 시스템의 다른 일 측면을 구성하는 서버를 개략적으로 도시한 블록도이다.
도 4는, 본 발명의 일 실시예에 따른, 데이터베이스의 내부 구성을 개략적으로 설명하는 내부 구성도이다.
도 5는, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 방법을 개략적으로 설명하는 흐름도이다.
도 6은, 본 발명의 일 실시예에 따른, 이미지 내 타겟 제품을 인식하는 이미지 인식 과정을 개략적으로 설명하는 흐름도이다.
도 7은, 본 발명의 일 실시예에 따른, 사용자의 제품 검색 내역에서 맞춤형 추천 제품을 제공하는 추천 서비스 과정을 개략적으로 설명하는 흐름도이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 부품을 구체화하려는 것이며, 다른 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 부품의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 시스템을 개략적으로 도시한 도면이다.
도 1을 참조하면, 제품 매매 서비스 제공 시스템(1)은 네트워크를 통해 유선 또는 무선으로 연결된 사용자 디바이스(10) 및 서버(20)을 포함한다. 이미지 기반 제품 매매 서비스 제공 시스템(1)은 사용자 디바이스(10) 및 서버(20)를 통해, 이미지를 분석하여 제품을 인식하고, 인식된 제품에 대한 매매를 진행하게 하는 환경(즉, 제품 매매 서비스)을 사용자에게 제공할 수 있다.
실시예들에 따른 이미지 기반 제품 매매 서비스 제공 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대 이미지 기반 제품 매매 서비스 제공 시스템(1)은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
사용자 디바이스(10)는 서버(20)에 액세스하여 제품 매매와 관련된 다양한 동작을 수행할 수 있다.
일 실시예에서, 사용자 디바이스(10)는 타겟 제품을 촬영하여 타겟 제품을 포함한 이미지를 타겟 제품의 이미지로 생성하고, 상기 타겟 제품의 이미지를 포함한 검색 요청을 서버(20)로 전송하도록 구성된다.
도 2는, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 시스템의 일 측면을 구성하는 사용자 디바이스를 개략적으로 도시한 블록도이다.
도 2를 참조하면, 사용자 디바이스(10)는 인터페이스부(110), 촬영부(120), 통신부(130), 제어부(140), 및 표시부(150)를 포함한다.
실시예들에서, 사용자 디바이스(10)는 모바일 기기에 포함되거나, 또는 매매 서비스 애플리케이션이 설치된 모바일 기기로 구현될 수 있다. 상기 모바일 기기는 사용자가 휴대할 수 있는 통신 가능한 전자 기기로서, 예를 들어, 스마트 폰, 셀룰러 폰, 스마트 글래스, 스마트 워치, 웨어러블 장치, 디지털 카메라, 태블릿 등을 포함한다.
인터페이스부(110)는 사용자 디바이스(10)의 동작 제어를 위한 입력을 사용자 인터페이스(UI)를 통해 수신하도록 구성된다. 예를 들어, 인터페이스부(110)는 터치 입력을 수신하는 터치 패널을 포함함으로써, 사용자의 터치 입력을 수신할 수 있다. 상기 터치 입력은 (예컨대, 사용자의 신체, 또는 도구 등을 포함한) 포인팅 객체에 의해 입력된다.
그러나, 사용자의 입력은 터치 입력에 제한되지 않으며, 상기 사용자의 입력은, 음성, 제스쳐 등과 같은 다양한 입력을 포함할 수 있다.
일 실시예에서, 사용자 디바이스(10)는 (예컨대, 인터페이스부(110)에 의해) 제품 매매 서비스에 접속하기 위한 사용자 로그인 입력을 수신할 수 있다. 또한, 사용자 디바이스(10)는 사용자가 타겟 제품에 대하여 진행을 희망하는 매매 관련 정보 입력을 수신할 수 있다.
상기 매매 관련 정보는 매매유형, 판매유형, 또는 제품 상세 정보를 포함한다. 상기 매매유형은 판매 또는 구매 여부를 나타내고, 판매유형은 중고판매 또는 비-중고판매(예컨대, 신품) 여부를 나타낸다. 제품 상세 정보는 제품의 명칭, 년식, 스펙, 가격 등을 포함한다.
일부 실시예에서, 상기 매매 관련 정보는 판매자로서의 사용자 정보 또는 구매자로서의 사용자 정보를 포함할 수 있다.
상기 판매자로서의 사용자 정보와 구매자로서의 사용자 정보는 상이할 수 있다. 예를 들어, 판매자로서의 사용자 정보는 사용자 식별정보와 더불어, 판매자 신원보증, 입금계좌, 연락처, 주소 등을 포함하나, 구매자로서의 사용자 정보는 사용자 식별정보, 주소, 결제수단 등을 포함할 수 있다.
촬영부(120)는 사용자 디바이스(10)에 구비거나, 또는 결합된 촬영 장치로서, 타겟 제품의 이미지를 생성한다.
통신부(130)는 정보를 송수신하도록 구성된다. 사용자 디바이스(10)는 (예컨대, 통신부(130)에 의해) 서버(20)와 매매 서비스와 관련된 정보를 송수신할 수 있다. 예를 들어, 사용자 디바이(10)는 타겟 제품의 이미지를 (예컨대, 통신부(130)에 의해) 서버(20)로 전송한다.
제어부(140)는 하나 이상의 프로세서를 포함하며, 상기 프로세서에 의해 사용자 디바이스(10)의 전반적인 동작을 제어하도록 구성된다. 제어부(140)에 의해 수행되는 사용자 디바이스(10)의 전반적인 동작은 아래의 도 5 를 참조하여 보다 상세하게 서술한다.
표시부(150)는 사용자 디바이스(10)가 수신 및/또는 처리한 정보를 표시하도록 구성된다. 표시부(150)는, 예를 들어, LCD, OLED, 플렉서블 스크린 등과 같은 다양한 표시 장치를 포함하나, 이에 제한되지 않는다.
일 실시예에서, 표시부(150)는 제품 매매 서비스를 위한 웹페이지를 표시할 수 있다. 사용자 디바이스(10)는 상기 웹 사이트를 통해 제품 관련 정보, 사용자 정보를 입력할 수 있고, 이미지 내 타겟 제품 인식에 의한 매매 관련 정보를 상기 웹 사이트를 통해 사용자에게 표시할 수 있다.
도 2에서는 인터페이스부(110)와 표시부(150)가 분리되어 있지만, 일 실시예에서, 인터페이스부(110)와 표시부(150)는 입력 수신 및 정보 출력을 수행하도록 하나의 구성요소로 구현될 수 있다. 예를 들어, 인터페이스부(110)와 표시부(150)는 터치 패널이 스크린과 레이어 구조를 이루는 터치 스크린으로 구현될 수 있다.
서버(20)는 사용자 디바이스(10)에 사용자가 액세스할 수 있는 온라인 매매 서비스를 위한 웹 사이트를 제공할 수 있고, 웹 사이트를 통해 사용자에게 제품 매매 서비스를 제공할 수 있다.
일 실시예에서, 서버(20)는 사용자 디바이스(10)로부터 수신한 타겟 제품의 이미지에 기초하여 제품을 인식하고, 다양한 제품 매매 서비스를 제공한다. 여기서, 상기 제품 매매 서비스는 인식된 타겟 제품을 판매하고 있는 제품 판매자를 가격별로 안내하는 검색 서비스(예컨대, 최저가 검색 서비스), 인식된 타겟 제품과 동일한 상품항목 내 제품을 추천하는 유사 제품 추천 서비스, 인식된 타겟 제품을 사용자가 중고로 판매하는 것 또는 중고로 구매하는 것을 지원하는 중고 매매 지원 서비스 등을 포함한다. 또한, 상기 제품 매매 서비스는 검색 이력에 기초하여 맞춤형 추천 제품을 안내하는 추천 서비스를 더 포함할 수 있다.
서버(20)는 네트워크 서버로 구현되는 다수의 컴퓨터 시스템 또는 컴퓨터 소프트웨어로서, 다양한 정보를 웹 사이트로 구성하여 제공할 수 있다. 여기서, 네트워크 서버란, 사설 인트라넷 또는 인터넷과 같은 컴퓨터 네트워크를 통해 다른 네트워크 서버와 통신할 수 있는 하위 장치와 연결되어 작업 수행 요청을 접수하고 그에 대한 작업을 수행하여 수행 결과를 제공하는 컴퓨터 시스템 및 컴퓨터 소프트웨어(네트워크 서버 프로그램)를 의미한다. 그러나 이러한 네트워크 서버 프로그램 이외에도, 네트워크 서버 상에서 동작하는 일련의 응용 프로그램과 경우에 따라서는 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.
도 3은, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 시스템의 일 측면을 구성하는 서버를 개략적으로 도시한 블록도이다.
도 3을 참조하면, 서버(20)는 통신부(210), 제어부(220) 및 데이터베이스(230)를 포함한다.
통신부(210)는 정보를 송수신하도록 구성된다. 서버(20)는 (예컨대, 통신부(210)에 의해) 이미지에 기초한 매매를 진행하기 위한 정보를 사용자 디바이스(10)로부터 수신하고, 제품 매매 서비스를 제공하기 위한 정보를 사용자 디바이스(10)로 전송할 수 있다.
제어부(220)는 서버(20)가 제공하는 매매 서비스와 관련된 전반적인 동작을 제어하도록 구성된다. 일 실시예에서, 제어부(220)는 사용자 디바이스(10)로부터 수신한 이미지로부터 타겟 제품의 특성(characteristic)을 추출하여 타겟 제품을 인식하거나, 또는 검색 내역에서 맞춤형 제품을 추천할 수 있다. 제어부(220)의 동작에 대해서는 아래의 도 5를 참조하여 보다 상세하게 서술한다.
데이터베이스(230)는 제품 매매 서비스에 연관된 상품 관련 정보 및/또는 사용자 관련 정보를 저장하도록 구성된다. 데이터베이스(230)에 저장되는 정보는 대량의 정형, 비정형 또는 반정형 데이터의 집합을 의미하며, 정형 데이터는 고정된 필드에 저장된 데이터로서, 예컨대, 관계형 데이터베이스, 스프레드쉬트 등이 있다. 또한, 비정형 데이터는 고정된 필드에 저장되어 있지 않는 데이터로서, 예컨대, 텍스트 문서, 이미지, 동영상, 음성 데이터 등이 있다. 또한, 반정형 데이터는 고정된 필드에 저장되어 있지 않지만 메타데이터나 스키마를 포함하는 데이터로서, 예컨대, XML, HTML, 텍스트 등이 있다.
도 4는, 본 발명의 일 실시예에 따른, 데이터베이스의 내부 구성을 개략적으로 설명하는 내부 구성도이다.
도 4를 참조하면, 데이터베이스(230)는 제품 매매 서비스에 연관된 상품 DB(231), 및 제품 매매 서비스에 연관된 사용자 DB(236)를 포함한다.
상품 DB(231)는 시스템(1)을 통해 사용자가 판매 또는 구매를 위해 등록된 다양한 제품에 대한 다양한 정보를 포함한다. 상품 DB(231)는 제품이 상품 카테고리별로 분류되어 구축된 데이터베이스로서, 제품은 하나 이상의 상품 카테고리에 해당될 수 있다. 상품 카테고리는 시장상황에 비추어 유사한 상품들끼리 분류할 수 있는 기준으로서, 각 상품 카테고리에 속하는 하위 카테고리는 다양한 기준에 의해 정의될 수 있다. 예를 들어, 상품 카테고리는 시장에서 사용되는 분류체계(예컨대, 한국분류, 국제분류 등) 또는 제품 매매 서비스 업자에 의해 정의된 분류체계를 포함한다.
일 실시예에서, 상품 카테고리는 상품유형, 및 상품군을 포함한다. 여기서, 상품군은 상품유형의 하위 개념으로서, 하나의 상품유형은 복수의 상품군을 포함한다. 일부 실시예에서, 상품 카테고리는 상품항목을 더 포함할 수 있다. 이 경우, 상품항목은 상품군의 하위 개념 및 제품의 상위 개념으로서, 하나의 상품군은 복수의 상품항목을 포함하고, 하나의 상품항목은 복수의 제품을 포함한다.
제품의 상품유형은, 예를 들어, 주방용품, 장난감, 등으로 분류될 수 있다. 그리고, 예를 들어, 주방용품 상품유형의 경우, 세재, 타올 등의 상품군으로 분류될 수 있다. 또한, 의류에서 오리지널 디자인을 갖는 제품 및 상기 오리지널 디자인을 갖는 제품을 카피한 제품이 모두 판매되는 경우, 두 제품의 상품항목은 동일할 수 있다.
상품 DB(231)내 제품은 해당하는 상품 카테고리 관련 정보, 및 각 제품의 상세정보로 데이터베이스화된다.
일 실시예에서, 상품 카테고리 관련 정보는 상품 카테고리 식별정보(예컨대, 상품유형 식별정보, 또는 상품군 식별정보) 및 상품 카테고리 특징벡터(예컨대, 상품유형 특징벡터 또는 상품군 특징벡터)를 포함한다.
예를 들어, 도 4에 도시된 바와 같이, 각 제품의 상세정보는, 제품의 명칭, 가격, 판매처 등을 포함한다. 또한, 각 제품의 상세정보는, 제품의 특징 또는 속성을 나타내는 정보를 더 포함할 수 있다. 상기 제품의 특징 또는 속성에 대해서는 아래의 도 6을 참조하여 보다 상세하게 서술한다.
사용자 DB(236)는 제품 매매 서비스의 사용자의 서비스 이용 이력(history)이 사용자별로 분류되어 구축된 데이터베이스로서, 서비스 이용 이력은 이미지 검색 이력을 포함한다. 일부 실시예에서, 서비스 이용 이력은 판매/구매 신청 현황을 더 포함할 수 있다.
도 3에서 데이터베이스(230)는 서버(20) 내부에 포함되는 것으로 도시되어 있으나, 이에 제한되지 않는다. 예를 들어, 데이터베이스(230)는 클라우드 서버와 같은 외부 데이터베이스 정보를 이용할 수 있는 컴퓨팅 장치일 수도 있다. 이 경우, 상기 서버(20)는 사용자의 명령에 따라 외부의 데이터베이스(230)에 접속하여 데이터 통신하도록 더 구성될 수 있다.
이미지 기반 제품 매매 서비스 제공 시스템(1) 또는 구성요소(10, 20)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 데이터 입력 장치, 디스플레이, 인쇄와 같은 출력 장치, 메모리와 같은 저장장치, 네트워크, 네트워크 인터페이스 및 프로토콜 등을 더 포함할 수 있다.
도 5는, 본 발명의 일 실시예에 따른, 제품 매매 서비스 제공 방법을 개략적으로 설명하는 흐름도이다.
사용자 디바이스(10)는 로그인 입력에 응답하여 사용자가 제품 매매 서비스에 액세스하는 사용자 로그인 동작을 수행한다(S100). 사용자 로그인 동작이 완료되면, 사용자는 사용자 디바이스(10)를 통해 서버(20)가 제공하는 다양한 제품 매매 서비스를 이용할 수 있다.
일 실시예에서, 사용자 디바이스(10)는 사용자의 매매 요청을 서버(20)에 전송한다(S200). 상기 매매 요청은 사용자가 매매(예컨대, 판매 또는 구매)를 희망하는 타겟 제품의 적어도 일부가 촬영된 이미지(이하, “타겟 제품의 이미지”) 및 상기 타겟 제품에 대한 검색 요청을 포함한다.
서버(20)는 매매 요청을 수신하고, 이에 응답하여, 타겟 제품의 구매 또는 판매가 가능한지 여부를 검색한다(S200). 이를 위해, 서버(20)는 수신한 타겟 제품의 이미지를 미리 기계학습된 제품 인식 모델에 적용하여 이미지 내 타겟 제품을 인식할 수 있다(S300).
일 실시예에서, 제품 인식 모델은 상위 상품 카테고리에서 하위 상품 카테고리 순으로 타겟 제품의 이미지를 분석하여 타겟 제품을 인식하도록 구성될 수 있다.
예를 들어, 제품 인식 모델은 최상위 상품 카테고리인 상품유형에서 타겟 제품에 해당하는 상품유형을 식별하고 이어서 상품군을 식별함으로써, 타겟 제품을 인식할 수 있다.
일 실시예에서, 제품 인식 모델은 타겟 제품에 해당하는 상품유형을 결정하기 위한 상품유형 분류 모델, 상기 상품유형 분류 모델에 의해 결정된 상품유형에 포함된 상품군에서 상기 타겟 제품에 해당하는 상품군을 결정하기 위한 상품군 분류 모델, 및 상기 상품군 분류 모델에 의해 결정된 상품군에 포함된 상품항목에서 상기 타겟 제품에 매칭하는 제품을 결정하기 위한 제품 인식 모델을 포함할 수 있다.
이하, 설명의 명료성을 위해, 제품 인식 모델은 N개의 상품유형을 식별하고, 각 상품유형은 M개의 상품군을 각각 포함하고, 각 상품군은 P개의 제품을 각각 포함하는 것으로 가정하자. 상기 N, M, P는 1 이상의 정수이다. 그러나, 본 발명의 상품 카테고리 식별이 상기 가정에 제한되지 않는 것이 통상의 기술자에게 명백할 것이다.
도 6은, 본 발명의 일 실시예에 따른, 이미지 내 타겟 제품을 인식하는 이미지 인식 과정을 개략적으로 설명하는 흐름도이다.
도 6을 참조하면, 서버(20)는 (예컨대, 제어부(220)에 의해) 단계(S100)의 타겟 제품의 이미지를 상기 상품유형 분류 모델에 적용하여 타겟 제품이 해당하는 상품유형을 결정한다(S310). 상기 상품유형 분류 모델은 타겟 제품의 상품유형과 관련된 특징벡터를 추출하고, 추출된 특징벡터를 상품유형 클래스로 분류하도록 구성된다(S310). 여기서, 상품유형과 관련된 특징벡터는 상품유형을 분류하기 위해 사용되는 특징벡터를 포함한다.
상기 상품유형 분류 모델은 하나 이상의 컨볼루션 레이어(convolution layer), 풀링 레이어(pooling layer) 및 최종 판별을 담당하는 완전 연결 레이어(full-connected layer)를 포함하는 CNN(convolutional neural network) 구조로 구성될 수 있다.
CNN 구조를 갖는 상품유형 분류 모델은, 다수의 훈련 샘플(training sample)을 이용하여, 입력 데이터를 N개의 상품유형을 나타내는 N개의 클래스 중 어느 하나로 분류하도록, 미리 기계 학습된다. 각각의 훈련 샘플은 훈련 제품(training product)을 각각 포함한 이미지, 및 각 훈련 제품이 해당하는 상품유형 정보를 포함한다. 상기 상품유형 분류 모델은 훈련 제품의 이미지를 수신하여 이미지 내 훈련 제품이 어떤 상품유형에 해당하는지 결정하는 기능을 기계학습하여 모델링된다. 이를 위해, 상품유형 분류 모델은 상품유형을 결정하기 위한 특징벡터를 추출하도록 학습된다.
상기 상품유형 분류 모델의 파라미터는 해당 모델의 비용함수가 최소화되는 방향으로 모델링된다. 여기서, 비용 함수는 모델에서 내놓는 결과 값과 실제 결과 값의 차이를 나타낸다. 이러한 파라미터의 업데이트는 통상적으로 최적화로 지칭된다. 일 예에서, 파라미터 최적화는 ADAM(Adaptive Moment Estimation)을 통해 수행될 수 있으나, 이에 제한되지 않으며, Momentum, NAG(Nesterov Accelerated Gradient), Adagrad(Adaptive Gradient), RMSProp 등과 같은 다양한 경사 하강(gradient discent) 방식에 의해 수행될 수도 있다.
컨볼루션 레이어 및 완전 연결 레이어에 대한 학습 과정은 전향 계산(bias calucation), 오류 역전파, 가중치 업데이트의 3단계로 구성된다. 반면, 풀링 레이어는 연결선에 가중치가 할당되어 있지 않으므로, 전향 계산과 오류 역전파의 두 단계로만 구성된다. 이는 CNN 구조의 학습 모델에 대해 통상적으로 사용되는 학습 과정이므로, 자세한 설명은 생략한다.
이러한 기계 학습 과정에 의해, 상품유형 분류 모델은 상품유형을 분류하기 위해 사용되는 상품유형 특징벡터를 입력 이미지로부터 추출하고, 추출된, 입력 이미지에 대한 상품유형 특징벡터에 기초하여 입력 이미지의 제품이 어떤 상품유형 클래스에 해당하는지 결정할 수 있다.
서버(20)는, 예를 들어, 특정 세제 제품을 포함한 이미지를 이와 같이 미리 학습된 상품유형 분류 모델에 입력하면, 세제에 해당하는 상품유형(예컨대, 주방용품)을 결정할 수 있다(S310).
단계(S310)에 이어서, 서버(20)는 상품군 분류 모델을 이용하여 이미지 내 타겟 제품이 해당하는 상품군을 결정한다(S330).
일 실시예에서, 서버(20)는 상기 타겟 제품의 이미지를 상품군 분류 모델에 적용하여 이미지 내 타겟 제품이 해당하는 상품군을 결정한다(S330). 이를 위해, 일 실시예에서, 서버(20)는 타겟 제품이 해당하는 상품군을 결정하기 위해, 단계(S310)의 결정 결과에 기초하여 단계(S330)에서 이용할 상품군 분류 모델을 우선 선택한다.
단계(S330)에서 적용되는 상품군 분류 모델은 단계(S310)에서 결정된 상품유형 내에 포함된 상품군을 분류하도록 미리 학습된 모델이다. 상기 상품군 분류 모델의 구조는 CNN 구조로서, 전술한 상품유형 분류 모델과 유사한 구조를 가지며, 유사한 방식에 의해 모델링된다. 일부 실시예에서, 상품군 분류 모델은 상품유형 분류 모델 보다 깊은 구조를 가진다.
상품군 분류 모델은 다수의 훈련 샘플을 이용하여, 입력 데이터를 동일한 상품유형에 포함된 M개의 상품군을 나타내는 M개의 클래스 중 어느 하나로 분류하도록, 기계 학습된다. 예를 들어, 장난감이 블록, 로봇, 피규어, RC 카 등을 하위 상품군으로 갖는 경우, 상품군 분류 모델은 입력 데이터를 블록, 로봇, 피규어, RC 카 등으로 분류할 수 있도록, 연관된 동일 상품유형(즉, 장난감)에 속하는 제품의 이미지를 이용하여 기계 학습된다.
일 실시예에서, 상품군 분류 모델의 각각의 훈련 샘플은 동일한 상품유형에 속하는 훈련 제품을 각각 포함한 이미지, 및 각 훈련 제품이 해당하는 상품군 정보를 포함한다. 상품군 분류 모델은 CNN 구조의 학습 모델에 통상적으로 사용되는 학습 방식에 의해 학습될 수 있다. 또한, 상품군 분류 모델이 깊은 구조인 경우, 깊은 구조에 보다 적합한 학습 방식(예컨대, 잔차 학습(Residual Learning) 방식)에 의해 학습될 수 있다. 이로 인해, 단계(S330)에서는 단계(S310)에서 이미 결정된 상품유형에 포함된 상품군 중 어느 하나가 타겟 제품이 해당하는 상품군으로 결정된다.
단계(S330)에 이어서, 서버(20)는 제품 인식 모델을 이용하여 이미지 내 타겟 제품에 매칭하는 제품을 결정한다. 서버(20)는 상기 타겟 제품의 이미지를 제품 인식 모델에 적용하여 이미지 내 타겟 제품에 매칭하는 제품을 결정함으로써, 이미지 내 타겟 제품을 인식한다.
일 실시예에서, 서버(20)는 상기 타겟 제품의 이미지로부터 상기 타겟 제품의 특징벡터를 추출한 뒤, 상기 타겟 제품의 특징벡터에 매칭하는 특징벡터를 갖는 제품을 결정된 상품군 내에서 검색하여 상기 타겟 제품을 인식한다.
서버(20)는 단계(S330) 이후 상기 타겟 제품의 이미지를 제품 인식 모델에 적용하여 타겟 제품의 특징벡터를 추출한다(S350).
단계(S350)에서 적용되는 제품 인식 모델은, 단계(S330)과 유사하게, 단계(S330)에서 결정된 상품군 내에 포함된 제품을 검색하기 위해 미리 학습된 모델이다. 상기 제품 인식 모델의 구조는 CNN 구조로서, 전술한 상품유형 분류 모델과 유사한 구조를 가지며, 유사한 방식에 의해 모델링된다. 일부 실시예에서, 제품 인식 모델은 상품군 분류 모델 보다 깊은 구조를 가진다.
제품 인식 모델은 다수의 훈련 샘플을 이용하여 기계 학습된다. 예를 들어, 블록 장난감이 레고 심슨, 레고 마블 등을 하위 제품으로 갖는 경우, 제품 인식 모델은 타겟 제품과 매칭하는 미리 저장된 제품을 검색할 수 있도록, 입력 데이터로부터 제품의 특징벡터를 추출하기 위해, 연관된 동일 상품군(즉, 블록)에 속하는 제품의 이미지를 이용하여 기계 학습된다.
일 실시예에서, 제품 인식 모델의 훈련 샘플은 동일한 상품군에 속하는 복수의 훈련 제품의 적어도 일부를 촬영한 이미지를 포함한다. 즉, 상기 가정과 같이 상품유형 N개, 각 상품유형별 상품군이 M개로 구성된 경우, 제품 인식 모델의 개수는 N×M개일 수 있다. 일부 실시예에서, 서버(20)는 단계(S330)의 결과에 기초하여 단계(S350)에서 이용할 제품 인식 모델을 선택할 수 있다.
제품 인식 모델은 CNN 구조의 학습 모델에 통상적으로 사용되는 학습 방식에 의해 학습될 수 있다. 또한, 제품 인식 모델이 깊은 구조인 경우, 깊은 구조에 보다 적합한 학습 방식(예컨대, 잔차 학습(Residual Learning) 방식)에 의해 학습될 수 있다.
서버(20)는 데이터베이스(230)에 미리 저장된, 단계(S310) 및 단계(S330)에서 미리 결정된 상품유형 및 상품군에 속하는 복수의 제품 중 적어도 하나의 제품의 특징벡터와 비교하여 미리 저장된 제품과 타겟 제품 간의 특징 유사도를 산출한다(S360). 상기 특징 유사도 산출은 벡터 간의 차이를 산출하는 것과 같은, 벡터 간의 유사도를 산출하는 다양한 방식이 이용될 수 있다.
서버(20)는 산출된 유사도에 기초하여 미리 저장된 복수의 제품 중에서 타겟 제품에 매칭하는 제품을 검색한다. 상기 미리 저장된 복수의 제품은 타겟 제품의 상품유형 및 상품군과 동일한 상품유형 및 상품군에 속한다.
일 실시예에서, 서버(20)는 산출된 유사도를 미리 설정된 임계치와 비교하고(S370), 미리 저장된, 상기 동일 상품군에 포함된 제품 중에서 미리 설정된 임계치 보다 큰 유사도를 갖는 제품을 상기 타겟 제품에 매칭하는 제품으로 결정한다(S380).
여기서, 임계치는, 제품이 매칭되는 것을 나타내도록 설정된 수치로서, 예를 들어, 제품 인식과 관련된 통계적 자료에 기초하여 설정될 수 있다.
그러면, 매칭하는 미리 저장된 제품이 타겟 제품으로 검색되고, 상기 매칭하는 제품의 정보가 타겟 제품의 정보로 활용된다. 예를 들어, 매칭하는 제품의 명칭이 타겟 제품의 명칭으로 결정되어 사용자 디바이스(10)에서 표시될 수 있다(S380).
또한, 서버(20)는 유사도를 산출하기 위해 사용되는 제품을 필터링하도록 더 구성될 수 있다.
일 실시예에서, 상기 제품 인식 모델은 입력 데이터에서 특징벡터를 추출하고, 추출된 특징벡터를 상기 상품군에 포함된 상품항목을 나타내는 클래스로 분류하도록 더 구성될 수 있다. 이 경우, 서버(20)는 동일한 상품항목에 해당하는 미리 저장된 제품의 특징벡터를 추출된 타겟 제품의 특징벡터와 비교한다. 예를 들어, 타겟 제품이 펩시 콜라인 경우, 상품군은 음료(또는 탄산음료), 상품항목은 콜라일 수 있다. 이 경우 데이터베이스(230)에는 펩시 콜라 제품의 특징벡터, 코카 콜라의 제품의 특징벡터가 저장될 수 있다.
이와 같이, 제품 인식 과정은 연관된 분류 모델로 진행하며, 연관되지 않는 분류 모델이 이용되지 않는다. 예를 들어, 타겟 제품이 레고 마블인 경우, 레고 마블에 연관된 상품군 분류 모델만이 이용되며, 연관되지 않은 상품군 분류 모델(예컨대, 주방용품에 연관된 상품군 분류 모델)은 이용되지 않는다. 그 결과, 레고 마블을 촬영한 이미지가 입력되면, 블록, 로봇, 피규어, RC카 등에 해당하는지 분석하는 동작만이 수행되며, 세제, 타올 등에 해당하는지 분석하는 동작이 수행되지 않는다.
일 실시예에서, 이미지 기반 제품 매매 서비스 제공 시스템(1)은 제품 인식 모델(예컨대, 상품유형 분류 모델)에 타겟 제품의 이미지를 적용하기 이전에, 타겟 제품의 이미지에서 타겟 제품을 인식하는데 필수적이지 않은 배경을 필터링하는 전처리 동작을 더 수행할 수 있다.
예를 들어, 상기 전처리 동작은 사용자 디바이스(10)에 의해 획득된 이미지에서 배경 영역을 설정하고, 배경 영역을 제거함으로써 타겟 제품이 나타나는 영역을 필터링할 수 있다. 또는, 타겟 제품이 나타난 영역을 설정하고, 상기 설정된 영역을 추출함으로써 타겟 제품이 나타나는 영역을 필터링할 수 있다. 상기 전처리 동작은 이미지 내 색상 분포, 엣지 분포, 궤적 등에 기초하여 수행될 수 있다.
이로 인해 생성된 상기 타겟 제품이 나타난 영역만을 포함한 이미지를 타겟 제품의 이미지로서 제품 매매 서비스를 위한 동작(예컨대, 인식 동작 등)에 이용할 수 있다.
일 실시예에서, 상기 전처리 동작은 사용자 디바이스(10)에 의해 서버(20)로 타겟 제품의 이미지를 전송하기 이전에 수행될 수 있으나, 다른 일 실시예에서, 상기 전처리 동작은 서버(20)에 의해 타겟 제품을 포함한 이미지를 제품 인식 모델에 적용하기 이전에 수행될 수 있다.
이미지 기반 제품 매매 서비스 제공 시스템(1)은 단계(S310 내지 S380)를 포함한 단계(S300)에 의해 이미지 내 타겟 제품을 인식할 수 있다. 타겟 제품의 인식이 완료되면, 인식된 타겟 제품에 대한 제품 매매 서비스가 제공된다.
서버(20)는 사용자가 타겟 제품에 대하여 진행하고자 하는 매매의 형태가 판매인지 구매인지에 따라 해당하는 제품 매매 서비스(즉, 판매 또는 구매 프로세스)를 수행한다. 일 실시예에서, 서버(20)는 판매 또는 구매를 나타내는 매매유형을 사용자 디바이스(10)로부터 수신하고(S400), 수신된 매매유형에 기초하여 구매를 위한 프로세스, 또는 판매를 위한 프로세스를 수행한다(S411 내지 S416, 또는 S421 내지 S423).
일부 실시예에서, 도 5에 도시된 바와 같이, 서버(20)는 단계(S300) 이후에 매매유형을 수신할 수 있다(S400). 예를 들어, 타겟 제품의 인식이 완료된 이후(S300), 인식된 타겟 제품의 매매유형에 대한 질의를 사용자 디바이스(10)에 전송하고, 질의 답변을 수신하여 해당하는 구매 또는 판매 프로세스를 진행한다.
다른 일부 실시예에서, 서버(20)는 단계(S300) 이전에 매매유형을 수신할 수 있다(S400). 예를 들어, 타겟 제품의 이미지, 및 검색 요청을 포함한 매매 요청은 매매유형을 더 포함할 수 있다. 이 경우, 타겟 제품을 촬영하기 이전에 또는 이후에 사용자 디바이스(10)는 매매유형에 대한 입력을 유도하도록 더 구성된다.
서버(20)가 수신한 매매유형이 타겟 제품의 구매인 경우, 서버(20)는 다양한 구매 프로세스를 제공할 수 있다. 일 실시예에서, 구매 프로세스는 타겟 제품(또는 타겟 제품에 매칭하는 제품)을 판매하기 위해 온라인 상에 (예컨대 웹 상에) 미리 등록된 판매 희망자를 검색하고, 검색된 판매 희망자의 액세스 정보를 사용자 디바이스(10)에 전송하여, 사용자와 판매 희망자를 중계해줄 수 있다(S413).
또한, 서버(20)는 검색된 판매 희망자를 다양한 기준으로 필터링하고, 필터링된 판매 희망자의 액세스 정보를 사용자 디바이스(10)에 전송할 수 있다.
일 실시예에서, 서버(20)는 검색된 판매 희망자를 가격 순위으로 랭크한 뒤, 최저가로 판매하는 판매 희망자(또는 최저가로부터 소정 범위 내 판매가를 갖는 판매 희망자)를 필터링하고, 필터링된 판매 희망자(예컨대, 최저가 판매 희망자)의 액세스 정보를 사용자 디바이스(10)에 전송할 수 있다(S411).
다른 일 실시예에서, 서버(20)는 검색된 판매 희망자에서 리뷰 개수 순위로 랭크한 뒤, 최대 리뷰를 갖는 판매 희망자(또는 최대 리뷰의 개수로부터 소정 범위 내 리뷰 개수를 갖는 판매 희망자)의 액세스 정보를 사용자에게 제공할 수 있다(S412).
또 다른 일 실시예에서, 서버(20)는 동일한 상품 카테고리 내에서 유사 제품을 판매하는 판매 희망자를 필터링할 수 있다. 예를 들어, 서버(20)는 검색된 판매 희망자의 리뷰에 기재된 텍스트(예컨대, 제품명 중 일부 또는 전부, 판매자, 생산자, 키워드 등) 등에 기초하여 유사 제품을 결정할 수 있다.
또는, 동일한 상품항목 내의 다른 제품을 유사 제품으로 결정하고, 동일 상품항목 내의 다른 제품을 판매하는 판매 희망자의 액세스 정보를 사용자 디바이스(10)에 전송할 수 있다. 예를 들어, 타겟 제품이 펩시 콜라인 경우, 서버(20)는 코카 콜라를 판매하는 판매 희망자의 액세스 정보를 제공할 수 있다.
이미지 기반 제품 매매 서비스 제공 시스템(1)은 중고 제품을 매매할 수 있는 환경을 더 제공할 수 있다(S414). 이 경우, 서버(20)가 수신하는 매매유형은 중고 또는 비-중고를 나타내는 구매유형을 더 포함할 수 있다. 서버(20)는 중고를 나타내는 구매유형을 수신할 경우(S414), 중고로 타겟 제품을 판매하는 판매 희망자를 검색하고, 검색된 판매 희망자의 액세스 정보를 사용자 디바이스(10)에 전송한다(S415).
중고를 나타내는 구매유형을 수신한 서버(20)가 타겟 제품을 중고로 판매하는 판매 희망자를 검색하지 못한 경우 (예컨대, 중고 판매 희망자의 부재), 서버(20)는 사용자 디바이스(10)를 통해 타겟 제품을 중고로 구매하고자 하는 구매 의사를 등록하도록 유도할 수 있다(S416). 예를 들어, 서버(20)는 중고 구매 의사를 포스트할 수 있는 웹 사이트를 사용자 디바이스(10)에 전송하고, 사용자는 사용자 관련 정보(연락처, 주소 등), 구매하고자 하는 타겟 제품 관련 정보(명칭, 제품번호), 중고 관련 정보(예컨대, 년식, 원하는 제품 상태) 등을 포함한 중고 구매 의사를 사용자 디바이스(10)를 통해 서버(20)에 전송할 수 있다(S416).
한편, 서버(20)가 수신한 매매유형이 타겟 제품의 판매인 경우, 서버(20)는 다양한 판매 프로세스를 제공할 수 있다.
일 실시예에서, 서버(20)는 상기 타겟 제품의 구매 희망자를 검색한다. 상기 타겟 제품의 판매유형이 중고인 경우, 서버(20)는 중고 제품의 구매 희망자 내에서 상기 타겟 제품의 구매 희망자를 검색한다(S421). 타겟 제품을 중고로 구매하길 희망하는 구매 희망자가 검색되면, 서버(20)는 검색된 구매 희망자의 액세스 정보를 사용자 디바이스(10)에 전송하여, 중고 구매 희망자와 사용자를 중계한다(S422).
중고를 나타내는 판매유형을 수신한 서버(20)가 타겟 제품을 중고로 구매하고자 하는, 미리 등록된 구매 희망자를 검색하지 못한 경우 (예컨대, 타겟 제품의 중고 구매 희망자의 부재), 서버(20)는 사용자 디바이스(10)를 통해 타겟 제품을 중고로 판매하고자 하는 판매 의사를 온라인 상에 등록하도록 유도할 수 있다(S423). 예를 들어, 서버(20)는 중고 구매 의사를 포스트할 수 있는 웹 사이트를 사용자 디바이스(10)에 전송하고, 사용자는 사용자 관련 정보(연락처, 주소 등), 판매하고자 하는 타겟 제품 관련 정보(명칭, 제품번호), 중고 관련 정보(예컨대, 타겟 제품의 년식, 현재 제품 상태) 등을 포함한 중고 판매 의사를 사용자 디바이스(10)를 통해 서버(20)에 전송할 수 있다(S423).
또한, 이미지 기반 제품 매매 서비스 제공 시스템(1)은 사용자의 예전의 타겟 제품의 이미지에 기초하여 사용자의 제품 검색 이력을 구축할 수 있다. 예를 들어, 예전의 타겟 제품의 이미지의 특징 및/또는 속성에 기초하여 사용자의 제품 검색 이력을 구축할 수 있다.
일 실시예에서, 이미지 기반 제품 매매 서비스 제공 시스템(1)은 제품 인식을 위해 추출된 특징(예컨대, 상품군 특징벡터, 상품유형 특징벡터, 및/또는 제품의 특징벡터)에 기초하여 사용자의 제품 검색 이력을 구축할 수 있다. 기존에 특정 이미지에 대한 인식 동작이 수행되고, 추출된 특징에 기초하여 검색 이력을 구축함으로써, 상기 특정 이미지의 검색 이력이 구축된다.
일 실시예에서, 사용자 DB(236)는 단계(S300)의 적어도 일부 단계의 결과를 이용하여 사용자의 검색 이력을 업데이트할 수 있다. 일 예에서, 상품군을 나타내는 값(예컨대, 식별자) 및 검색 횟수를 포함하도록 업데이트될 수 있다.
일 실시예에서, 이미지 기반 제품 매매 서비스 제공 시스템(1)은 이미지 내 타겟 제품의 속성을 추출하여, 사용자의 제품 검색 이력을 구축할 수 있다. 상기 속성은 시각적 측면에서 제품을 표현할 수 있는 고유한 특성으로서, 예를 들어 색상, 재질, 외형 등을 포함하나, 이에 제한되지 않는다.
일 실시예에서, 서버(20)는 타겟 제품을 인식하기 위한 모델 중 적어도 하나를 이용하여 타겟 제품의 이미지로부터 타겟 제품의 속성을 추출한다.
예를 들어, 도 6에 도시된 바와 같이, 서버(20)는 상품유형 분류 모델을 이용하여 타겟 제품의 이미지로부터 타겟 제품의 속성을 추출한다. 이 경우, 상품유형 분류 모델은 입력 이미지의 상품유형을 분류하기 위한 특징벡터(즉, 상품유형 특징벡터) 및 속성을 나타내는 특징벡터를 추출하도록 구성된다. 즉, 상품유형 분류 모델의 특징 추출 레이어에서 출력되는 최종 아웃풋은 상품유형과 관련된 제1 서브 특징벡터 및 속성과 관련된 제2 서브 특징벡터를 포함한다.
이를 위해, 타겟 제품을 인식하기 위한 모델 중 적어도 하나는 타겟 제품의 이미지로부터 타겟 제품의 이미지의 속성을 나타내는 속성벡터를 추출하도록 더 학습된다. 예를 들어, 도 6의 상품유형 분류 모델은, 제1 서브 특징벡터가 상품유형을 나타내는 클래스 정보(예컨대, 한개의 정수값)를 의미하고, 제2 서브 특징벡터가 다수의 요소(즉, 속성)을 갖는 정보를 의미할 수 있도록 학습된다. 예컨대, 제2 서브 특징벡터가 색상, 재질, 형태 3가지만 의미하도록 가정한 경우, 상품유형 분류 모델(예컨대, 특징 추출 레이어)은 색상, 재질, 외형의 정보(예컨대, 색상에 해당하는 벡터 값(예컨대, 실수값), 재질에 해당하는 벡터 값(예컨대, 실수 값), 형태에 해당하는 벡터 값(예컨대, 실수 값))를 더 포함한 훈련 샘플을 이용하여 학습된다.
이로 인해, 이미지가 입력되면 컨볼루션 레이어 등을 포함한 특징 추출 레이어에 의해 제1 서브 특징벡터 및 3가지 벡터 값으로 구성된 제2 서브 특징벡터가 출력된다. 제2 서브 특징벡터의 제1 구성요소(component)는 타겟 제품의 색상, 제2 구성요소는 타겟 제품의 재질, 제3 구성요소는 타겟 제품의 외형을 의미한다.
서버(20)는 사용자가 예전에 타겟 제품의 이미지를 전송하여 제품 매매 서비스를 이용할 때마다, 해당 타겟 제품의 이미지의 속성을 추출하여(S550), 검색 내역을 업데이트한다(S560). 예를 들어, 사용자가 최초로 매매 서비스 이용 시 속성벡터로 {1, 1, 1}이 추출되면, 사용자 DB(236)에는 색상 이력은 “색상 벡터 값 1이 1회”를 의미하도록 업데이트된다. 재질 및 외형 이력 또한 “재질/외형 벡터 값 1이 1회”를 의미하도록 각각 업데이트된다. 이후 사용자가 다음 매매 서비스 이용시 속성벡터로 {1, 2, 100}이 추출되면, 색상 이력은 “색상 벡터 값1이 2회”를 의미하도록 업데이트된다. 반면, 재질 이력은 “재질 벡터값 1이 1회, 2가 1회”를 의미하도록 업데이트되고, 외형 이력은 “외형 벡터값 1이 1회, 100이 1회”를 의미하도록 업데이트된다.
이와 같이, 사용자 DB(236)는 각 속성의 벡터값과 해당 속성의 벡터 값이 추출된 횟수를 포함하도록 구축된다.
상기 속성의 예시(색상, 재질, 외형)는 단지 예시적인 것으로서, 다양한 속성을 더 포함할 수 있는 것이 통상의 기술자에게 명백할 것이다.
사용자 DB(236)는 인식을 위한 이미지의 특징, 그리고 맞춤형 제품 추천을 위한 속성에 기초하여 사용자의 제품 검색 이력을 구축할 경우, “타겟 제품의 명칭(즉, 인식 결과), 인식에 사용된 특징(예컨대, 제품의 특징벡터), 속성(예컨대, 각 속성의 벡터 값)”을 포함할 수 있다. 또한, 상기 인식된 타겟 제품(예컨대, 타겟 제품 명칭)의 검색 횟수 및/또는 속성의 검색 횟수를 더 포함할 수 있다.
서버(20)는 이와 같이 구축된 사용자의 제품 검색 이력과 타겟 제품 이미지의 속성을 이용하여 사용자에게 맞춤화된 추천 제품에 대한 정보를 제공할 수 있다(S500).
상기 맞춤형 제품 추천 서비스는 인식된 타겟 제품에 대한 매매 서비스와 함께 제공되거나, 이미지 내 타겟 제품이 인식되지 않는 경우 제공될 수 있다. 이하, 설명의 명료성을 위해, 사용자가 현재 매매를 원하는 타겟 제품의 이미지를 서버(20)로 전송하였으나, 상기 타겟 제품의 이미지가 인식되지 않았다고 가정한다.
도 7은, 본 발명의 일 실시예에 따른, 사용자의 제품 검색 내역에서 맞춤형 추천 제품을 제공하는 추천 서비스 과정을 개략적으로 설명하는 흐름도이다.
서버(20)는 사용자의 제품 검색 이력 내에서 사용자가 높은 선호도를 갖는 속성을 조회한다. 높은 선호도는 최다 검색, 또는 최대 빈도, 또는 소정의 검색 횟수 이상, 소정의 검색 빈도 이상으로 표현될 수 있다.
도 7을 참조하면, 최다 검색된 (즉, 추출 횟수가 가장 높은) 색상, 재질 및 외형 중 적어도 하나가 조회될 수 있다. 이와 같이 서버(20)는 사용자가 가장 많이 검색한 (즉, 추출 횟수가 가장 높은) 속성을 사용자 DB(236)에서 조회되면, 서버(20)는 조회 결과에 기초하여 맞춤형 추천 제품을 검색한다.
예를 들어, 임의의 색상을 나타내는 색상 벡터 값 1000이 최대 추출되었다고 사용자 DB(236)에 저장된 경우, 서버(20)는 색상 벡터 값으로 1000을 갖는 제품을 맞춤형 추천 제품으로 검색할 수 있다.
그러면, 서버(20)는 검색된 맞춤형 추천 제품에 대한 정보를 제공한다.
이와 같이, 이미지 기반 제품 매매 서비스 제공 시스템(1)은 인공지능을 이용하여 타겟 제품의 이미지를 분석함으로써 해당 타겟 제품을 인식하고, 다양한 매매 관련 서비스를 제공할 수 있다.
이상에서 설명한 실시예들에 따른 이미지 기반 제품 매매 서비스 제공 시스템(1) 및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
본 발명의 일 측면에 따른 이미지 기반 제품 매매 서비스 제공 시스템은, 4차원 산업 기술 중 하나인 머신 러닝(machine learning)을 이용하여 촬영된 이미지를 이용하여 이미지 내 제품을 인식하고, 인식된 제품에 대한 다양한 매매 서비스를 제공할 수 있다.
그 결과, 사용자는 이미지 촬영 이외에 다른 입력을 최소화하면서도, 해당 제품의 구매 또는 판매를 손쉽게 진행할 수 있다.

Claims (23)

  1. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 이미지 기반 제품 매매 서비스 제공 방법에 있어서,
    타겟 제품의 매매 요청을 사용자 디바이스로부터 수신하는 단계 - 상기 매매 요청은 타겟 제품(target product)의 이미지를 포함함;
    상기 타겟 제품의 이미지로부터 제품을 인식하기 위한 특징을 추출하고, 추출된 특징에 기초하여 상기 타겟 제품을 인식하는 단계; 및
    상기 타겟 제품의 매매를 위한 매매 서비스를 제공하는 단계를 포함하되,
    상기 타겟 제품을 인식하는 단계는,
    제1 분류 모델을 사용해 상기 타겟 제품의 이미지로부터 상기 타겟 제품의 상품유형과 관련된 특징벡터를 추출하여 상기 이미지 내 타겟 제품이 해당하는 상품유형을 결정하는 단계;
    제2 분류 모델을 사용해 상기 타겟 제품의 이미지로부터 상기 타겟 제품의 상품군과 관련된 특징벡터를 추출하여, 결정된 상품유형 내에서 상기 타겟 제품이 해당하는 상품군을 결정하는 단계; 및
    제3 분류 모델을 사용해 상기 타겟 제품의 이미지로부터 상기 타겟 제품의 특징벡터를 추출한 뒤, 상기 타겟 제품의 특징벡터에 매칭하는 특징벡터를 갖는 제품을 결정된 상품군 내에서 검색하여 상기 타겟 제품을 인식하는 단계를 포함하고,
    상기 제2 분류 모델은 상기 제1 분류 모델 보다 깊은 구조를 가지고, 상기 제3 분류 모델은 상기 제2 분류 모델 보다 깊은 구조를 갖는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 이미지 내 타겟 제품이 해당하는 상품유형을 결정하는 단계는,
    상품유형과 관련된 특징벡터를 추출하도록 미리 학습된 상기 제1 분류 모델에 상기 타겟 제품의 이미지를 적용하여, 상기 타겟 제품의 상품유형과 관련된 특징벡터를 상품유형 클래스로 분류하는 단계; 및
    분류된 상품유형 클래스를 상기 타겟 제품이 해당하는 상품유형으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  4. 제1항에 있어서, 상기 타겟 제품이 해당하는 상품군을 결정하는 단계는,
    상품군과 관련된 특징벡터를 추출하도록 미리 학습된 상기 제2 분류 모델에 상기 타겟 제품의 이미지를 적용하여 상기 타겟 제품의 상품군과 관련된 특징벡터를 상품군 클래스로 분류하는 단계; 및
    분류된 상품군 클래스를 상기 타겟 제품이 해당하는 상품군으로 결정하는 단계를 포함하는 이미지 기반 제품 매매 서비스 제공 방법.
  5. 제4항에 있어서, 상기 타겟 제품이 해당하는 상품군을 결정하는 단계는,
    결정된 상품유형에 기초하여 상기 타겟 제품의 상품군을 결정하기 위한 분류 모델을 선택하는 단계를 더 포함하는 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  6. 제4항에 있어서,
    상기 타겟 제품의 상품군을 결정하기 위한 분류 모델은 상기 결정된 상품유형 내에 포함된 상품군을 분류하도록 미리 학습된 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  7. 제6항에 있어서,
    상기 타겟 제품의 상품군을 결정하기 위한 분류 모델은 다수의 훈련 샘플(training sample)을 이용하여 기계 학습된 모델로서, 각 훈련 샘플은 동일한 상품유형에 포함된 훈련 제품(training product)을 각각 포함한 이미지, 및 각 훈련 제품이 해당하는 상품군 정보를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  8. 제1항에 있어서, 상기 타겟 제품의 특징벡터에 매칭하는 특징벡터를 갖는 제품을 결정된 상품군 내에서 검색하여 상기 타겟 제품을 인식하는 단계는,
    상기 타겟 제품의 이미지를 제품의 특징벡터를 추출하도록 미리 학습된 상기 제3 분류 모델에 적용하여 타겟 제품의 특징벡터를 추출하는 단계; 및
    미리 저장된, 결정된 상품군 내에 포함된 제품의 특징벡터와 상기 타겟 제품의 특징벡터를 비교하여, 상기 타겟 제품에 매칭하는, 미리 저장된 제품을 검색하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  9. 제8항에 있어서, 상기 타겟 제품에 매칭하는, 미리 저장된 제품을 검색하는 단계는,
    상기 타겟 제품의 특징벡터와 미리 저장된, 상기 상품군에 포함된 제품의 특징벡터 간의 유사도를 산출하는 단계; 및
    미리 설정된 임계치 보다 큰 유사도를 갖는 미리 저장된 제품을 상기 타겟 제품에 매칭하는 제품으로 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  10. 제1항에 있어서,
    사용자의 매매가 판매 또는 구매인지를 나타내는 매매유형을 수신하는 단계를 더 포함하는 이미지 기반 제품 매매 서비스 제공 방법.
  11. 제10항에 있어서, 상기 매매 서비스를 제공하는 단계는,
    상기 구매를 나타내는 매매유형을 수신한 경우, 상기 타겟 제품을 판매하는 것으로 미리 등록된 판매 희망자를 검색하는 단계; 및
    검색된 판매 희망자의 액세스 정보를 상기 사용자 디바이스에 전송하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  12. 제11항에 있어서,
    검색된 판매 희망자에서 최저가로 판매하는 판매 희망자를 필터링하는 단계; 및
    필터링된 판매 희망자의 액세스 정보를 사용자 디바이스에 전송하는 단계를 더 포함하는 이미지 기반 제품 매매 서비스 제공 방법.
  13. 제10항에 있어서, 상기 매매 서비스를 제공하는 단계는,
    상기 판매를 나타내는 매매유형을 수신한 경우, 상기 타겟 제품의 구매 의사를 미리 등록한 구매 희망자를 검색하는 단계; 및
    검색된 구매 희망자의 액세스 정보를 상기 사용자 디바이스에 전송하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  14. 제11항에 있어서, 상기 매매유형은 중고 또는 비-중고를 포함한 서브 매매유형을 포함하고,
    상기 판매 희망자를 검색하는 단계는,
    상기 매매유형에 대응하는 제품을 판매하는 판매 희망자를 검색하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  15. 제1항에 있어서,
    상기 타겟 제품의 이미지로부터 속성을 추출하여 사용자의 제품 검색 이력을 업데이트하는 단계를 더 포함하는 이미지 기반 제품 매매 서비스 제공 방법.
  16. 제15항에 있어서, 상기 속성은
    색상, 재질, 및 외형 중 하나 이상을 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  17. 제15항에 있어서, 상기 사용자의 제품 검색 이력을 업데이트하는 단계는,
    상기 타겟 제품의 이미지로부터 타겟 제품의 속성벡터(property vector)를 추출하는 단계; 및
    추출된 속성벡터의 구성요소의 벡터 값 및 해당 구성요소의 추출 횟수를 업데이트하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  18. 제1항에 있어서,
    상기 타겟 제품의 이미지로부터 제품 인식을 위한 특징을 추출하여 사용자의 제품 검색 이력을 업데이트하는 단계를 더 포함하는 이미지 기반 제품 매매 서비스 제공 방법.
  19. 제15항에 있어서,
    상기 타겟 제품의 이미지로부터 제품 인식을 위한 특징벡터를 추출하도록 미리 학습된 분류 모델 중 적어도 하나는 상기 타겟 제품의 이미지로부터 타겟 제품의 속성벡터를 추출하도록 더 학습된 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  20. 제15항에 있어서,
    상기 사용자의 제품 검색 이력에 포함된, 이전 타겟 제품의 이미지로부터 추출된 속성벡터에 기초하여 맞춤형 추천 제품에 대한 정보를 제공하는 단계를 더 포함하는 이미지 기반 제품 매매 서비스 제공 방법.
  21. 제20항에 있어서, 상기 맞춤형 추천 제품에 대한 정보를 제공하는 단계는,
    상기 사용자의 제품 검색 이력에서 소정 횟수 이상 추출되거나 또는 소정 빈도 이상 추출된 적어도 하나의 속성을 조회하는 단계;
    조회된 속성을 나타내는 벡터값을 갖는 제품을 맞춤형 추천 제품으로 검색하는 단계; 및
    검색된 맞춤형 추천 제품에 대한 정보를 제공하는 단계를 포함하는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  22. 제21항에 있어서,
    상기 맞춤형 추천 제품의 검색은 상기 타겟 제품에 매칭하는 제품이 없는 경우에 수행되는 것을 특징으로 하는 이미지 기반 제품 매매 서비스 제공 방법.
  23. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항, 제3항 내지 제22항 중 어느 하나의 항에 따른 이미지 기반 제품 매매 서비스 제공 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
KR1020190067414A 2019-06-07 2019-06-07 이미지 기반 제품 매매 서비스 제공 시스템 및 방법 KR102444498B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190067414A KR102444498B1 (ko) 2019-06-07 2019-06-07 이미지 기반 제품 매매 서비스 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190067414A KR102444498B1 (ko) 2019-06-07 2019-06-07 이미지 기반 제품 매매 서비스 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200140588A KR20200140588A (ko) 2020-12-16
KR102444498B1 true KR102444498B1 (ko) 2022-09-20

Family

ID=74042106

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190067414A KR102444498B1 (ko) 2019-06-07 2019-06-07 이미지 기반 제품 매매 서비스 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102444498B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102525353B1 (ko) * 2022-04-08 2023-04-25 주식회사 도그지어 사용자 취향 데이터 기반 커뮤니티를 이용한 콘텐츠 구매 서비스 제공 방법 및 장치
WO2024005242A1 (ko) * 2022-07-01 2024-01-04 주식회사 투게더아트 미술품 거래 관련 데이터 처리 방법
KR102617055B1 (ko) * 2022-09-05 2023-12-27 주식회사 지어소프트 무인 매장 상품 계산 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018190293A (ja) * 2017-05-10 2018-11-29 ヤフー株式会社 検索装置、検索方法および検索プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100907342B1 (ko) 2007-12-28 2009-07-13 엔에이치엔(주) 이미지 입력기를 사용하여 검색을 수행하기 위한 방법,장치 및 컴퓨터 판독 가능한 기록 매체
KR20120083060A (ko) 2011-01-17 2012-07-25 주식회사 인스프리트 실시간 이미지 인식 및 태그 정보를 통한 증강현실구매기능이 구비된 이동통신시스템 및 그 제어방법
KR20170022502A (ko) * 2015-08-20 2017-03-02 김기준 Sns 기반 중고물품 매매 중개 서비스 방법
KR102024818B1 (ko) * 2018-04-30 2019-09-24 오드컨셉 주식회사 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018190293A (ja) * 2017-05-10 2018-11-29 ヤフー株式会社 検索装置、検索方法および検索プログラム

Also Published As

Publication number Publication date
KR20200140588A (ko) 2020-12-16

Similar Documents

Publication Publication Date Title
US11775844B2 (en) Visual aspect localization presentation
JP6867479B2 (ja) 画像解析および予測に基づく視覚検索
US20240037626A1 (en) Intelligent online personal assistant with multi-turn dialog based on visual search
US20230401839A1 (en) Intelligent online personal assistant with offline visual search database
KR20190095333A (ko) 앵커식 검색
US10733658B2 (en) Methods and systems of discovery of products in E-commerce
KR102444498B1 (ko) 이미지 기반 제품 매매 서비스 제공 시스템 및 방법
US20180107682A1 (en) Category prediction from semantic image clustering
KR20180002944A (ko) 개인 선호별 최적의 상품 제안을 위한 빅데이터 추천시스템 및 추천방법
US11200273B2 (en) Parallel prediction of multiple image aspects
KR20190047656A (ko) 스마트 매치 자동 완성 시스템
US20180053233A1 (en) Expandable service architecture with configurable orchestrator
US11238515B1 (en) Systems and method for visual search with attribute manipulation
JP2019133620A (ja) イメージ内の複数の客体の調和に基づく調和検索方法、コンピュータ装置およびコンピュータプログラム
CN111292168B (zh) 数据处理方法、装置及设备
CN111967924A (zh) 商品推荐方法、商品推荐装置、计算机设备和介质
US11461824B2 (en) Systems and methods of product recommendation and integrated language modelling
CN108197980A (zh) 个性化购物者的肖像生成方法/系统、存储介质及终端
US20230410183A1 (en) Systems and methods for generating price comparisons
KR20230137861A (ko) 고객 맞춤 준비로 구매 편의성을 제공하는 오프라인 구매 서비스 제공 방법 및 장치
Wahsheh et al. E-Commerce Product Retrieval Using Knowledge from GPT-4
Goel Shopbot: an image based search application for e-commerce domain
US11507996B1 (en) Catalog item selection based on visual similarity
Gupta et al. Assessing the Impact of Artificial Intelligence in e-Commerce Portal: A Comparative Study of Amazon and Flipkart
KR20200029647A (ko) 사용자 개인화에 의한 큐레이터 전자상거래 시스템의 일반화 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant