KR102354395B1 - 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법 - Google Patents

인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법 Download PDF

Info

Publication number
KR102354395B1
KR102354395B1 KR1020200054710A KR20200054710A KR102354395B1 KR 102354395 B1 KR102354395 B1 KR 102354395B1 KR 1020200054710 A KR1020200054710 A KR 1020200054710A KR 20200054710 A KR20200054710 A KR 20200054710A KR 102354395 B1 KR102354395 B1 KR 102354395B1
Authority
KR
South Korea
Prior art keywords
product
machine learning
learning model
information associated
keyword
Prior art date
Application number
KR1020200054710A
Other languages
English (en)
Other versions
KR20210121990A (ko
Inventor
이길호
치동 탕
아난 후
Original Assignee
쿠팡 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 쿠팡 주식회사 filed Critical 쿠팡 주식회사
Publication of KR20210121990A publication Critical patent/KR20210121990A/ko
Priority to KR1020220007288A priority Critical patent/KR20220012396A/ko
Application granted granted Critical
Publication of KR102354395B1 publication Critical patent/KR102354395B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/258—Heading extraction; Automatic titling; Numbering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

AI를 이용하여 제품을 통합하고 중복제거하기 위한 시스템 및 방법이 제공된다. 하나의 방법으로서 제1 제품을 등록하도록 적어도 하나의 요청을 수신하는 단계; 제2 제품에 대한 적어도 하나의 데이터 저장소를 검색하는 단계; 기계 학습 모델을 이용하여, 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태깅하고 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태깅하는 단계; 기계 학습 모델을 이용하여, 제1 제품과 제2 제품 간의 매칭 스코어를 결정하는 단계; 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 기계 학습 모델을 이용하여, 제1 제품은 제2 제품과 동일한 것으로 결정하는 단계; 및 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 기계 학습 모델을 이용하여, 제1 제품은 제2 제품이 아닌 것으로 결정하는 단계를 포함한다.

Description

인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법{COMPUTERIZED SYSTEMS AND METHODS FOR PRODUCT INTEGRATION AND DEDUPLICATION USING ARTIFICIAL INTELLIGENCE}
본 개시는 일반적으로 인공 지능(AI)을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법에 관한 것이다. 특히, 본 개시의 실시예는 제1 제품과 연관된 제품 정보를 수신하고, 제2 제품과 연관된 제품 정보를 수집하며, 제1 제품 및 제2 제품 간의 매칭 스코어를 결정하고, 매칭 스코어에 기초하여 제1 및 제2 제품이 동일한지 여부를 결정하며, 그 결정에 기초하여 제1 및 제2 제품을 통합하고 중복제거하며, 제1 제품을 등록하는 것에 관한 창의적이고 독특한 시스템에 관한 것이다.
소비자는 보통 컴퓨터 및 스마트 디바이스를 통해서 온라인에서 다양한 아이템을 쇼핑하고 구매한다. 이들 온라인 쇼핑객은 보통 구매할 제품을 찾기 위해 검색 엔진을 이용한다. 그러나, 일반적인 온라인 쇼핑 경험은 같은 제품을 별개의 제품으로서 여러 번 표시하는 검색 결과 웹페이지에 의해 지장을 받는다.
매일 수백만의 제품이 판매자에 의해 온라인으로 등록된다. 판매자들은 판매를 위해 온라인에서 그들의 제품을 등록할 때 그들 제품을 정확하게 라벨링하도록 요구받는다. 그러나, 수많은 서로 다른 판매자들은 그들 제품이 다른 판매자와는 별개인 제품으로서 등록되도록 실수로 또는 의도적으로 그들 제품에 무관한 단어 혹은 고유한 구절로 라벨링한다. 예를 들어, 제1 판매자는 그들 제품을 "한정판"으로서 라벨링하는 반면, 제2 판매자는 같은 제품을 "한정 판매"로서 라벨링할 수 있다. 두 제품을 동일한 제품으로 식별할 능력이 없는 제품 등록 시스템은 소비자의 제품 검색을 연장시키고 온라인 플랫폼의 추천 품질을 떨어뜨림으로써 소비자의 사용자 경험을 심각하게 줄일 수 있다. 게다가, 제품을 수동적으로 통합하고 중복제거하는 것은 매일 수백만의 제품이 등록되기 때문에 보통 어렵고 시간이 걸린다. 만일 온라인 플랫폼이, 한번의 검색 결과로 동일한 제품들을 자동적으로 중복제거하고 통합하여, 같은 제품의 판매자들이 리스트된 제품에 대해 추천한 "베스트셀러"를 두고 경쟁할 수 있게 하면, 소비자의 사용자 경험은 크게 개선될 것이다.
그러므로, 소비자가 온라인 쇼핑하는 동안 제품을 빠르게 찾아 구매할 수 있도록 제품 통합 및 중복제거를 위한 개선된 방법 및 시스템이 필요하다.
본 개시의 일 형태는 AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 구현 시스템에 관한 것이다. 이 시스템은 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 스텝을 수행하게 하는 명령을 포함하는 적어도 하나의 비일시적 저장 매체를 포함할 수 있다. 스텝은 제1 제품을 등록하도록 적어도 하나의 요청을 수신하고; 제1 제품과 연관된 제품 정보를 수신하고; 제2 제품에 대해서 적어도 하나의 데이터 저장소를 검색하고; 기계 학습 모델을 이용하여, 제2 제품과 연관된 제품 정보를 수집하고; 기계 학습 모델을 이용하여, 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하고 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하며; 기계 학습 모델을 이용하여, 제1 제품 및 제2 제품과 연관된 태그된 키워드를 이용함으로써, 제1 제품 및 제2 제품 간의 매칭 스코어를 결정하고; 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 기계 학습 모델을 이용하여, 제1 제품은 제2 제품과 동일한 것임을 결정하고, 제1 제품이 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 적어도 하나의 데이터 저장소를 수정하며; 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 기계 학습 모델을 이용하여, 제1 제품은 제2 제품이 아님을 결정하고, 제1 제품이 제2 제품이 아님을 나타내는 데이터를 포함하도록 적어도 하나의 데이터 저장소를 수정하며; 제1 제품을 등록하고; 그리고 제1 제품의 등록을 포함하도록 웹페이지를 수정하는 것을 포함할 수 있다.
본 개시의 다른 형태는 AI를 이용하여 제품을 통합하고 중복제거하는 방법에 관한 것이다. 이 방법은 제1 제품을 등록하도록 적어도 하나의 요청을 수신하는 스텝; 제1 제품과 연관된 제품 정보를 수신하는 스텝; 제2 제품에 대해서 적어도 하나의 데이터 저장소를 검색하는 스텝; 기계 학습 모델을 이용하여, 제2 제품과 연관된 제품 정보를 수집하는 스텝; 기계 학습 모델을 이용하여, 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하고 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하는 스텝; 기계 학습 모델을 이용하여, 제1 제품 및 제2 제품과 연관된 태그된 키워드를 이용함으로써, 제1 제품 및 제2 제품 간의 매칭 스코어를 결정하는 스텝; 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 기계 학습 모델을 이용하여, 제1 제품은 제2 제품과 동일한 것임을 결정하고, 제1 제품이 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 적어도 하나의 데이터 저장소를 수정하는 스텝; 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 기계 학습 모델을 이용하여, 제1 제품은 제2 제품이 아님을 결정하고, 제1 제품이 제2 제품이 아님을 나타내는 데이터를 포함하도록 적어도 하나의 데이터 저장소를 수정하는 스텝; 제1 제품을 등록하는 스텝; 및 제1 제품의 등록을 포함하도록 웹페이지를 수정하는 스텝을 포함할 수 있다.
본 개시의 또 다른 형태는 AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 구현 시스템에 관한 것이다. 이 시스템은 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서가 스텝을 수행하게 하는 명령을 포함하는 적어도 하나의 비일시적 저장 매체를 포함할 수 있다. 스텝은 제1 제품을 등록하도록 적어도 하나의 요청을 수신하고; 제1 제품과 연관된 제품 정보를 수신하고; 제2 제품에 대해서 적어도 하나의 데이터 저장소를 검색하고; 제1 기계 학습 모델을 이용하여, 제2 제품과 연관된 제품 정보를 수집하고; 제1 기계 학습 모델을 이용하여, 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하고 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하며; 제1 기계 학습 모델을 이용하여, 제1 제품 및 제2 제품과 연관된 태그된 키워드를 이용함으로써, 제1 제품 및 제2 제품 간의 매칭 스코어를 결정하고; 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 제1 기계 학습 모델을 이용하여, 제1 제품은 제2 제품과 동일한 것임을 결정하고, 제1 제품이 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 적어도 하나의 데이터 저장소를 수정하며; 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 제1 기계 학습 모델을 이용하여, 제1 제품은 제2 제품이 아님을 결정하고, 제1 제품이 제2 제품이 아님을 나타내는 데이터를 포함하도록 적어도 하나의 데이터 저장소를 수정하며; 제1 제품을 등록하고; 그리고 제1 제품의 등록을 포함하도록 웹페이지를 수정하는 것을 포함할 수 있다. 스텝은 추가로 제2 기계 학습 모델을 이용하여, 복수의 제3 제품과 연관된 제품 정보를 수집하고; 제2 기계 학습 모델을 이용하여, 복수의 제3 제품과 연관된 제품 정보로부터 복수의 키워드를 태그하고; 제2 기계 학습 모델을 이용하여, 복수의 제3 제품과 연관된 태그된 키워드를 이용함으로써, 복수의 제3 제품 간의 복수의 제2 매칭 스코어를 결정하고; 복수의 제2 매칭 스코어 중 어느 하나가 미리 결정된 제1 임계값보다 높은 경우, 제2 기계 학습 모델을 이용하여, 제2 매칭 스코어와 연관된 제3 제품들은 동일한 것임을 결정하고, 동일한 제3 제품들을 중복제거하며; 그리고 동일한 제3 제품들의 중복제거를 포함하도록 웹페이지를 수정하는 것을 포함할 수 있다.
또한 다른 시스템, 방법, 및 컴퓨터 판독 가능 매체가 여기서 논의된다.
도 1a는 개시된 실시예에 따른, 배송, 운송, 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 1b는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 검색 요청을 만족시키는 하나 이상의 검색 결과를 포함하는 검색 결과 페이지(SRP; Search Result Page)의 샘플을 나타낸 도면이다.
도 1c는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 제품 및 제품에 대한 정보를 포함하는 싱글 디스플레이 페이지(SDP; Single Display Page)의 샘플을 나타낸 도면이다.
도 1d는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라 가상의 쇼핑 장바구니에 아이템을 포함하는 장바구니 페이지의 샘플을 나타낸 도면이다.
도 1e는 개시된 실시예에 따른, 상호 동작 사용자 인터페이스 요소에 따라, 가상의 쇼핑 장바구니로부터 구매 및 배송에 관한 정보에 따른 아이템을 포함하는 주문 페이지의 샘플을 나타낸 도면이다.
도 2는 개시된 실시예에 따른, 개시된 컴퓨터 시스템을 활용하도록 구성된 예시적인 풀필먼트 센터의 개략적인 도면이다.
도 3은 개시된 실시예에 따른, 제품 통합 및 중복제거 시스템 없이 생성된 하나 이상의 검색 결과를 포함하는 SRP의 샘플을 나타낸 도면이다.
도 4는 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 5는 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도이다.
도 6은 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 후보 검색 시스템의 예시적인 실시예를 나타낸 프로세스이다.
도 7은 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 카테고리 예측 시스템의 예시적인 실시예를 나타낸 프로세스이다.
도 8a는 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 카테고리 예측 시스템의 예시적인 실시예를 나타낸 프로세스이다.
도 8b는 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 토큰 벡터(token vector) 계산의 예시적인 실시예를 나타낸 프로세스이다.
도 8ca - 도 8f는 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위해 특징들을 하나의 벡터로 통합하는 예시적인 실시예를 나타낸 프로세스이다.
도 9는 개시된 실시예에 따른, AI 기반 제품 통합 및 중복제거를 위한 태그된 데이터의 샘플을 나타낸 도면이다.
도 10은 개시된 실시예에 따른, AI를 이용하여 제품을 통합하고 중복제거하는 프로세스를 나타낸 도면이다.
이어서 첨부된 도면을 참조하여 자세하게 설명된다. 가능하면, 다음의 설명에서 같거나 유사한 부분에 대해 참조되도록 도면에서 같은 도면 부호가 사용된다. 여기에 몇몇 예시적인 실시예가 설명되지만, 변경, 조정 및 다른 구현도 가능하다. 예를 들면, 도면 내의 구성 및 스텝에 대해 교체, 추가, 또는 변경이 이루어질 수 있고, 여기에 설명된 예시적인 방법은 개시된 방법에 대해 스텝을 교체, 순서 변경, 제거 또는 추가함으로써 변경될 수 있다. 따라서, 다음의 자세한 설명은 개시된 실시예 및 예시로 제한되는 것은 아니다. 대신에 본 발명의 적절한 범위는 청구범위에 의해 규정된다.
본 개시의 실시예는 AI를 이용한 제품 통합 및 중복제거를 위해 구성된 시스템 및 방법에 관한 것이다. 개시된 실시예는 오프라인의 다량의 제품과 함께 온라인에서 실시간으로 제품을 자동적으로 통합하고 중복제거할 수 있는 이점이 있다. 예를 들어, 온라인 매칭 시스템은 사용자 디바이스를 통해서 사용자(예로써, 판매자)로부터 제1 제품을 등록하도록 새 요청을 수신할 수 있다. 새 요청은 등록될 제1 제품과 연관된 제품 정보 데이터(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)를 포함할 수 있다. 온라인 매칭 시스템은 제1 제품과 연관된 제품 정보 데이터로부터 키워드를 이용하여 제2 제품에 대해 데이터베이스를 검색할 수 있다. 일부 실시예에서, 온라인 매칭 시스템은 제1 제품의 키워드, 구절, 구절 내 키워드의 위치 등의 정해진 키워드를 포함하는 데이터베이스의 역 인덱스(inverted index)를 검색하도록 검색 엔진(예로써, 엘라스틱서치)을 이용할 수 있다.
일부 구현에서, 온라인 매칭 시스템은 제1 제품과 각각의 제2 제품 간의 매칭 스코어를 결정하기 위해 기계 학습 모델을 이용할 수 있다. 매칭 스코어는 제1 제품 및 제2 제품과 연관된 태그된 키워드를 이용하여 계산될 수 있다. 매칭 스코어는 임의 방법의 조합들(예로써, 엘라스틱서치, 자카드(Jaccard), 나이브 베이즈(naive Bayes), W-CODE, ISBN 등)을 이용하여 계산될 수 있다. 예를 들어, 매칭 스코어는 제1 제품의 키워드와 제2 제품의 키워드 간에 스펠링 유사도를 측정함으로써 계산될 수 있다. 일부 실시예에서, 매칭 스코어는 제1 제품 및 제2 제품 간에 공유된 키워드의 수에 기초하여 계산될 수 있다. 온라인 매칭 시스템의 기계 학습 모델은 매칭 스코어가 미리 결정된 임계값을 넘는 경우(예로써, 최고 매칭 스코어를 가지고 최소 매칭 속성수를 가지는 제2 제품, 최고 매칭 스코어와 연관된 제2 제품, 최고 매칭 스코어를 가지고 특정 가격 범위 내의 가격을 가지는 제2 제품 등), 제1 제품은 제2 제품 중 하나와 동일한 것임을 결정할 수 있다. 기계 학습 모델은 그때에 제1 제품이 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 데이터베이스를 수정하여, 해당 제품을 단일 리스트로 합쳐서 제품 중복을 방지할 수 있다. 기계 학습 모델은 매칭 스코어가 미리 결정된 임계값을 충족하지 않는 경우 제1 제품은 제2 제품 중 어느 것도 아님을 결정할 수 있다. 기계 학습 모델은 그때에 제1 제품은 제2 제품 중 어느 것도 아님을 나타내는 데이터를 포함하도록 데이터베이스를 수정하여, 제1 제품을 별개의 새로운 리스트로서 리스트화할 수 있다.
일부 실시예에서, 오프라인 매칭 시스템은 온라인 매칭 시스템이 동작하고 있지 않을 때 동작할 수 있다. 예를 들어, 오프라인 매칭 시스템은 주기적으로(예로써, 매일) 그리고 온라인 매칭 시스템과 독립적으로 동작할 수 있다. 온라인 매칭 시스템은 판매자가 지연 없이 새 제품을 등록할 수 있도록 시간적 제약(예로써, 15분) 하에서 동작할 수 있다. 오프라인 매칭 시스템은 시간적 제약 없이 동작할 수 있어서, 매칭 스코어는 제1 배치(batch)의 복수의 제품 및 제2 배치의 복수의 제품에 대해 계산될 수 있다. 오프라인 매칭 시스템은, 시간적 제약 없이 동작할 수 있기 때문에, 더 비싼 계산 로직(예로써, 그래디언트 부스팅(gradient boosting), 콘볼루션 신경망 등)을 이용할 수 있다. 온라인 매칭 시스템과 유사하게, 오프라인 매칭 시스템은 제1 및 제2 배치의 제품과 연관된 제품 정보로부터 복수의 키워드를 태그하고, 제1 및 제2 배치의 제품들의 임의의 조합 간의 복수의 매칭 스코어를 결정하도록 기계 학습 모델을 이용할 수 있다. 매칭 스코어는 태그된 키워드를 이용함으로써 결정될 수 있다. 기계 학습 모델은 매칭 스코어가 미리 결정된 임계값보다 높은 경우 매칭 스코어와 연관된 제품들이 동일한 것임을 결정할 수 있다. 기계 학습 모델은 제품을 통합하고 중복제거하기 위해서 제1의 동일한 제품을 연관 리스트로부터 제거하고, 제1의 동일한 제품을 제2의 동일한 제품과 연관된 리스트에 추가할 수 있다.
도 1a를 참조하면, 배송, 운송 및 물류 운영을 가능하게 하는 통신을 위한 컴퓨터 시스템을 포함하는 예시적인 시스템의 실시예를 나타낸 개략적인 블록도(100)가 도시되어 있다. 도 1a에 나타낸 바와 같이, 시스템(100)은 다양한 시스템을 포함할 수 있으며, 이들 각각은 하나 이상의 네트워크를 통해 서로 연결될 수 있다. 시스템은 (예를 들어, 케이블을 사용한) 직접 연결을 통해 서로 연결될 수 있다. 도시된 시스템은 배송 기관 기술(shipment authority technology, SAT) 시스템(101), 외부 프론트 엔드 시스템(103), 내부 프론트 엔드 시스템(105), 운송 시스템(107), 모바일 디바이스(107A, 107B, 107C), 판매자 포털(109), 배송 및 주문 트래킹(shipment and order tracking, SOT) 시스템(111), 풀필먼트 최적화(fulfillment optimization, FO) 시스템(113), 풀필먼트 메시징 게이트웨이(fulfillment messaging gateway, FMG)(115), 공급 체인 관리(supply chain management, SCM) 시스템(117), 창고 관리 시스템(119), 모바일 디바이스(119A, 119B, 119C)(풀필먼트 센터(fulfillment center, FC)(200) 내부에 있는 것으로 도시됨), 제3자 풀필먼트 시스템(121A, 121B, 121C), 풀필먼트 센터 인증 시스템(fulfillment center authorization system, FC Auth)(123), 및 노동 관리 시스템(labor management system, LMS)(125)을 포함한다.
일부 실시예에서, SAT 시스템(101)은 주문 상태와 배달 상태를 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SAT 시스템(101)은 주문이 약속된 배달 날짜(Promised Delivery Date, PDD)를 지났는지를 결정할 수 있고, 새로운 주문을 개시시키고, 배달되지 않은 주문의 아이템을 다시 배송하며, 배달되지 않은 주문을 취소하고, 주문 고객과 연락을 시작하는 것 등을 포함하는 적합한 조치를 취할 수 있다. SAT 시스템(101)은 또한, (특정 기간 동안 배송된 패키지의 개수와 같은) 출력, 및 (배송시 사용하기 위해 수신된 빈 카드보드 박스의 개수와 같은) 입력을 포함하는 다른 데이터를 감시할 수 있다. SAT 시스템(101)은 또한, 외부 프론트 엔드 시스템(103) 및 FO 시스템(113)과 같은 장치들 간의 (예를 들면, 저장 전달(store-and-forward) 또는 다른 기술을 사용하는) 통신을 가능하게 하는 시스템(100) 내의 상이한 장치들 사이의 게이트웨이로서 동작할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 사용자가 시스템(100) 내의 하나 이상의 시스템과 상호 동작할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 시스템의 프레젠테이션을 가능하게 하여 사용자가 아이템에 대한 주문을 할 수 있도록 하는 실시예에서, 외부 프론트 엔드 시스템(103)은 검색 요청을 수신하고, 아이템 페이지를 제시하며, 결제 정보를 요청하는 웹 서버로서 구현될 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 외부 프론트 엔드 시스템(103)은 외부 디바이스(예를 들어, 모바일 디바이스(102A) 또는 컴퓨터(102B))로부터 요청을 수신 및 처리하고, 이들 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 설계된 커스텀 웹 서버 소프트웨어를 실행할 수 있다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 또는 결제 시스템 중 하나 이상을 포함할 수 있다. 일 양상에서, 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 외부 프론트 엔드 시스템(103)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
도 1b, 1c, 1d 및 1e에 의해 나타낸 단계들의 예시적인 세트는 외부 프론트 엔드 시스템(103)의 일부 동작을 설명하는 것에 도움이 될 것이다. 외부 프론트 엔드 시스템(103)은 프레젠테이션 및/또는 디스플레이를 위해 시스템(100) 내의 시스템 또는 디바이스로부터 정보를 수신할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 검색 결과 페이지(Search Result Page, SRP)(예를 들면, 도 1b), 싱글 디테일 페이지(Single Detail Page, SDP)(예를 들면, 도 1c), 장바구니 페이지(Cart page)(예를 들면, 도 1d), 또는 주문 페이지(예를 들면, 도 1e)를 포함하는 하나 이상의 웹페이지를 호스팅하거나 제공할 수 있다. (예를 들면, 모바일 디바이스(102A) 또는 컴퓨터(102B)를 사용하는) 사용자 디바이스는 외부 프론트 엔드 시스템(103)으로 이동하고 검색 박스에 정보를 입력함으로써 검색을 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 시스템(100) 내의 하나 이상의 시스템으로부터 정보를 요청할 수 있다. 예를 들면, 외부 프론트 엔드 시스템(103)은 FO 시스템(113)으로부터 검색 요청을 만족하는 정보를 요청할 수 있다. 외부 프론트 엔드 시스템(103)은 또한, (FO 시스템(113)으로부터) 검색 결과에 포함된 각 제품에 대한 약속된 배달 날짜(Promised Delivery Date) 또는 "PDD"를 요청하고 수신할 수 있다. 일부 실시예에서, PDD는 제품이 들어있는 패키지가 특정 기간 이내, 예를 들면, 하루의 끝(PM 11:59)까지 주문되면 언제 사용자가 원하는 장소에 도착할 것인지에 대한 추정 또는 제품이 사용자가 원하는 장소에 배달될 약속된 날짜를 나타낼 수 있다(PDD는 FO 시스템(113)과 관련하여 이하에서 더 논의된다).
외부 프론트 엔드 시스템(103)은 정보에 기초하여 SRP(예를 들면, 도 1b)를 준비할 수 있다. SRP는 검색 요청을 만족하는 정보를 포함할 수 있다. 예를 들면, 이는 검색 요청을 만족하는 제품의 사진을 포함할 수 있다. SRP는 또한, 각 제품에 대한 각각의 가격, 또는 각 제품, PDD, 무게, 크기, 오퍼(offer), 할인 등에 대한 개선된 배달 옵션에 관한 정보를 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 (예를 들면, 네트워크를 통해) SRP를 요청 사용자 디바이스로 전송할 수 있다.
사용자 디바이스는 SRP에 나타낸 제품을 선택하기 위해, 예를 들면, 사용자 인터페이스를 클릭 또는 탭핑하거나, 다른 입력 디바이스를 사용하여 SRP로부터 제품을 선택할 수 있다. 사용자 디바이스는 선택된 제품에 관한 정보에 대한 요청을 만들어 내고 이를 외부 프론트 엔드 시스템(103)으로 전송할 수 있다. 이에 응답하여, 외부 프론트 엔드 시스템(103)은 선택된 제품에 관한 정보를 요청할 수 있다. 예를 들면, 정보는 각각의 SRP 상에 제품에 대해 제시된 것 이상의 추가 정보를 포함할 수 있다. 이는, 예를 들면, 유통 기한, 원산지, 무게, 크기, 패키지 내의 아이템 개수, 취급 지침, 또는 제품에 대한 다른 정보를 포함할 수 있다. 정보는 또한, (예를 들면, 이 제품 및 적어도 하나의 다른 제품을 구입한 고객의 빅 데이터 및/또는 기계 학습 분석에 기초한) 유사한 제품에 대한 추천, 자주 묻는 질문에 대한 답변, 고객의 후기, 제조 업체 정보, 사진 등을 포함할 수 있다.
외부 프론트 엔드 시스템(103)은 수신된 제품 정보에 기초하여 SDP(Single Detail Page)(예를 들면, 도 1c)를 준비할 수 있다. SDP는 또한, "지금 구매(Buy Now)" 버튼, "장바구니에 추가(Add to Cart)" 버튼, 수량 필드, 아이템 사진 등과 같은 다른 상호 동작 요소를 포함할 수 있다. SDP는 제품을 오퍼하는 판매자의 리스트를 포함할 수 있다. 이 리스트는 최저가로 제품을 판매하는 것으로 오퍼하는 판매자가 리스트의 최상단에 위치하도록, 각 판매자가 오퍼한 가격에 기초하여 순서가 정해질 수 있다. 이 리스트는 또한 최고 순위 판매자가 리스트의 최상단에 위치하도록, 판매자 순위에 기초하여 순서가 정해질 수 있다. 판매자 순위는, 예를 들어, 약속된 PPD를 지켰는지에 대한 판매자의 과거 추적 기록을 포함하는, 복수의 인자에 기초하여 만들어질 수 있다. 외부 프론트 엔드 시스템(103)은 (예를 들면, 네트워크를 통해) SDP를 요청 사용자 디바이스로 전달할 수 있다.
요청 사용자 디바이스는 제품 정보를 나열하는 SDP를 수신할 수 있다. SDP를 수신하면, 사용자 디바이스는 SDP와 상호 동작할 수 있다. 예를 들면, 요청 사용자 디바이스의 사용자는 SDP의 "장바구니에 담기(Place in Cart)" 버튼을 클릭하거나, 이와 상호 동작할 수 있다. 이렇게 하면 사용자와 연계된 쇼핑 장바구니에 제품이 추가된다. 사용자 디바이스는 제품을 쇼핑 장바구니에 추가하기 위해 외부 프론트 엔드 시스템(103)으로 이러한 요청을 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 장바구니 페이지(예를 들면, 도 1d)를 생성할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 가상의 "쇼핑 장바구니(shopping cart)"에 추가한 제품을 나열한다. 사용자 디바이스는 SRP, SDP, 또는 다른 페이지의 아이콘을 클릭하거나, 상호 동작함으로써 장바구니 페이지를 요청할 수 있다. 일부 실시예에서, 장바구니 페이지는 사용자가 장바구니에 추가한 모든 제품 뿐 아니라 각 제품의 수량, 각 제품의 품목당 가격, 관련 수량에 기초한 각 제품의 가격, PDD에 관한 정보, 배달 방법, 배송 비용, 쇼핑 장바구니의 제품을 수정(예를 들면, 수량의 삭제 또는 수정)하기 위한 사용자 인터페이스 요소, 다른 제품의 주문 또는 제품의 정기적인 배달 설정에 대한 옵션, 할부(interest payment) 설정에 대한 옵션, 구매를 진행하기 위한 사용자 인터페이스 요소 등과 같은 장바구니의 제품에 관한 정보를 나열할 수 있다. 사용자 디바이스의 사용자는 쇼핑 장바구니에 있는 제품의 구매를 시작하기 위해 사용자 인터페이스 요소(예를 들면, "지금 구매(Buy Now)"라고 적혀있는 버튼)를 클릭하거나, 이와 상호 동작할 수 있다. 그렇게 하면, 사용자 디바이스는 구매를 시작하기 위해 이러한 요청을 외부 프론트 엔드 시스템(103)으로 전송할 수 있다.
외부 프론트 엔드 시스템(103)은 구매를 시작하는 요청을 수신하는 것에 응답하여 주문 페이지(예를 들면, 도 1e)를 생성할 수 있다. 일부 실시예에서, 주문 페이지는 쇼핑 장바구니로부터의 아이템을 재나열하고, 결제 및 배송 정보의 입력을 요청한다. 예를 들면, 주문 페이지는 쇼핑 장바구니의 아이템 구매자에 관한 정보(예를 들면, 이름, 주소, 이메일 주소, 전화번호), 수령인에 관한 정보(예를 들면, 이름, 주소, 전화번호, 배달 정보), 배송 정보(예를 들면, 배달 및/또는 픽업 속도/방법), 결제 정보(예를 들면, 신용 카드, 은행 송금, 수표, 저장된 크레딧), 현금 영수증을 요청하는 사용자 인터페이스 요소(예를 들면, 세금 목적) 등을 요청하는 섹션을 포함할 수 있다. 외부 프론트 엔드 시스템(103)은 사용자 디바이스에 주문 페이지를 전송할 수 있다.
사용자 디바이스는 주문 페이지에 정보를 입력하고 외부 프론트 엔드 시스템(103)으로 정보를 전송하는 사용자 인터페이스 요소를 클릭하거나, 상호 동작할 수 있다. 그로부터, 외부 프론트 엔드 시스템(103)은 정보를 시스템(100) 내의 다른 시스템으로 전송하여 쇼핑 장바구니의 제품으로 새로운 주문을 생성하고 처리할 수 있도록 한다.
일부 실시예에서, 외부 프론트 엔드 시스템(103)은 판매자가 주문과 관련된 정보를 전송 및 수신할 수 있도록 추가로 구성될 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자(예를 들면, 시스템(100)을 소유, 운영 또는 임대하는 조직의 직원)가 시스템(100) 내의 하나 이상의 시스템과 상호작용할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 시스템(100)이 사용자가 아이템에 대한 주문을 할 수 있게 하는 시스템의 프레젠테이션을 가능하게 하는 실시예에서, 내부 프론트 엔드 시스템(105)은 내부 사용자가 주문에 대한 진단 및 통계 정보를 볼 수 있게 하고, 아이템 정보를 수정하며, 또는 주문에 대한 통계를 검토할 수 있게 하는 웹 서버로서 구현될 수 있다. 예를 들면, 내부 프론트 엔드 시스템(105)은 Apache HTTP 서버, Microsoft Internet Information Services(IIS), NGINX 등과 같은 소프트웨어를 실행하는 컴퓨터 또는 컴퓨터들로서 구현될 수 있다. 다른 실시예에서, 내부 프론트 엔드 시스템(105)은 (도시되지 않은 다른 디바이스뿐 아니라) 시스템(100) 내에 나타낸 시스템 또는 디바이스로부터 요청을 수신 및 처리하고, 그러한 요청에 기초하여 데이터베이스 및 다른 데이터 저장 장치로부터 정보를 획득하며, 획득한 정보에 기초하여 수신된 요청에 대한 응답을 제공하도록 (설계된 커스텀 웹 서버 소프트웨어를 실행)할 수 있다.
일부 실시예에서, 내부 프론트 엔드 시스템(105)은 웹 캐싱 시스템, 데이터베이스, 검색 시스템, 결제 시스템, 분석 시스템, 주문 모니터링 시스템 등 중 하나 이상을 포함할 수 있다. 일 양상에서, 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상을 포함할 수 있는 반면, 다른 양상에서는 내부 프론트 엔드 시스템(105)은 이들 시스템 중 하나 이상에 연결된 인터페이스(예를 들면, 서버 대 서버, 데이터베이스 대 데이터베이스, 또는 다른 네트워크 연결)를 포함할 수 있다.
일부 실시예에서, 운송 시스템(107)은 시스템(100) 내의 시스템 또는 디바이스와 모바일 디바이스(107A-107C) 간의 통신을 가능하게 하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 운송 시스템(107)은 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 예를 들면, 일부 실시예에서, 모바일 디바이스(107A-107C)는 배달원에 의해 동작되는 디바이스를 포함할 수 있다. 정규직, 임시적 또는 교대 근무일 수 있는 배달원은 사용자에 의해 주문된 제품들이 들어 있는 패키지의 배달을 위해 모바일 디바이스(107A-107C)를 이용할 수 있다. 예를 들면, 패키지를 배달하기 위해, 배달원은 배달할 패키지와 배달할 위치를 나타내는 모바일 디바이스 상의 알림을 수신할 수 있다. 배달 장소에 도착하면, 배달원은 (예를 들면, 트럭의 뒤나 패키지의 크레이트에) 패키지를 둘 수 있고, 모바일 디바이스를 사용하여 패키지 상의 식별자와 관련된 데이터(예를 들면, 바코드, 이미지, 텍스트 문자열, RFID 태그 등)를 스캔하거나, 캡처하며, (예를 들면, 현관문에 놓거나, 경비원에게 맡기거나, 수령인에게 전달하는 것 등에 의해) 패키지를 배달할 수 있다. 일부 실시예에서, 배달원은 모바일 디바이스를 사용하여 패키지의 사진(들)을 찍거나 및/또는 서명을 받을 수 있다. 모바일 디바이스는, 예를 들면, 시간, 날짜, GPS 위치, 사진(들), 배달원에 관련된 식별자, 모바일 디바이스에 관련된 식별자 등을 포함하는 배달에 관한 정보를 포함하는 정보를 운송 시스템(107)에 전송할 수 있다. 운송 시스템(107)은 시스템(100) 내의 다른 시스템에 의한 접근을 위해 데이터베이스(미도시)에 이러한 정보를 저장할 수 있다. 일부 실시예에서, 운송 시스템(107)은 다른 시스템에 특정 패키지의 위치를 나타내는 트래킹 데이터를 준비 및 전송하기 위해 이러한 정보를 사용할 수 있다.
일부 실시예에서, 특정 사용자는, 한 종류의 모바일 디바이스를 사용할 수 있는 반면(예를 들면, 정규 직원은 바코드 스캐너, 스타일러스 및 다른 장치와 같은 커스텀 하드웨어를 갖는 전문 PDA를 사용할 수 있음), 다른 사용자는 다른 종류의 모바일 디바이스를 사용할 수 있다(예를 들면, 임시 또는 교대 근무 직원이 기성 휴대 전화 및/또는 스마트폰을 사용할 수 있음).
일부 실시예에서, 운송 시스템(107)은 사용자를 각각의 디바이스와 연관시킬 수 있다. 예를 들면, 운송 시스템(107)은 사용자(예를 들면, 사용자 식별자, 직원 식별자, 또는 전화번호에 의해 표현됨)와 모바일 디바이스(예를 들면, International Mobile Equipment Identity(IMEI), International Mobile Subscription Identifier(IMSI), 전화번호, Universal Unique Identifier(UUID), 또는 Globally Unique Identifier(GUID)에 의해 표현됨) 간의 연관성(association)을 저장할 수 있다. 운송 시스템(107)은, 다른 것들 중에 작업자의 위치, 작업자의 효율성, 또는 작업자의 속도를 결정하기 위해 데이터베이스에 저장된 데이터를 분석하기 위해 배달시 수신되는 데이터와 관련하여 이러한 연관성을 사용할 수 있다.
일부 실시예에서, 판매자 포털(109)은 판매자 또는 다른 외부 엔터티(entity)가 시스템(100) 내의 하나 이상의 시스템과 전자 통신할 수 있게 하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 판매자는 판매자 포털(109)을 사용하여 시스템(100)을 통해 판매하고자 하는 제품에 대하여, 제품 정보, 주문 정보, 연락처 정보 등을 업로드하거나 제공하는 컴퓨터 시스템(미도시)을 이용할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객(예를 들면, 디바이스(102A-102B)를 사용하는 사용자)에 의해 주문된 제품들이 들어 있는 패키지의 위치에 관한 정보를 수신, 저장 및 포워딩하는 컴퓨터 시스템으로서 구현될 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 고객에 의해 주문된 제품들이 들어 있는 패키지를 배달하는 배송 회사에 의해 운영되는 웹 서버(미도시)로부터 정보를 요청하거나 저장할 수 있다.
일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 시스템(100)에 나타낸 시스템들로부터 정보를 요청하고 저장할 수 있다. 예를 들면, 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107)으로부터 정보를 요청할 수 있다. 전술한 바와 같이, 운송 시스템(107)은 사용자(예를 들면, 배달원) 또는 차량(예를 들면, 배달 트럭) 중 하나 이상과 연관된 하나 이상의 모바일 디바이스(107A-107C)(예를 들면, 휴대 전화, 스마트폰, PDA 등)로부터 정보를 수신할 수 있다. 일부 실시예에서, 배송 및 주문 트래킹 시스템(111)은 또한, 풀필먼트 센터(예를 들면, 풀필먼트 센터(200)) 내부의 개별 제품의 위치를 결정하기 위해 창고 관리 시스템(WMS)(119)으로부터 정보를 요청할 수 있다. 배송 및 주문 트래킹 시스템(111)은 운송 시스템(107) 또는 WMS(119) 중 하나 이상으로부터 데이터를 요청하고, 이를 처리하며, 요청시 디바이스(예를 들면, 사용자 디바이스(102A, 102B))로 제공할 수 있다.
일부 실시예에서, 풀필먼트 최적화(FO) 시스템(113)은 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103) 및/또는 배송 및 주문 트래킹 시스템(111))으로부터의 고객 주문에 대한 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. FO 시스템(113)은 또한, 특정 아이템이 유지 또는 저장되는 곳을 나타내는 정보를 저장할 수 있다. 예를 들면, 소정 아이템은 하나의 풀필먼트 센터에만 저장될 수 있는 반면, 소정 다른 아이템은 다수의 풀필먼트 센터에 저장될 수 있다. 또 다른 실시예에서, 특정 풀필먼트 센터는 아이템의 특정 세트(예를 들면, 신선한 농산물 또는 냉동 제품)만을 저장하도록 구성될 수 있다. FO 시스템(113)은 이러한 정보뿐 아니라 관련 정보(예를 들면, 수량, 크기, 수령 날짜, 유통 기한 등)를 저장한다.
FO 시스템(113)은 또한, 각 제품에 대해 대응하는 PDD(약속된 배달 날짜)를 계산할 수 있다. 일부 실시예에서, PDD는 하나 이상의 요소에 기초할 수 있다. 예를 들면, FO 시스템(113)은 제품에 대한 과거 수요(예를 들면, 그 제품이 일정 기간 동안 얼마나 주문되었는지), 제품에 대한 예측된 수요(예를 들면, 얼마나 많은 고객이 다가오는 기간 동안 제품을 주문할 것으로 예상되는지), 일정 기간 동안 얼마나 많은 제품이 주문되었는지를 나타내는 네트워크 전반의 과거 수요, 다가오는 기간 동안 얼마나 많은 제품이 주문될 것으로 예상되는지를 나타내는 네트워크 전반의 예측된 수요, 각각의 제품을 저장하는 각 풀필먼트 센터(200)에 저장된 제품의 하나 이상의 개수, 그 제품에 대한 예상 또는 현재 주문 등에 기초하여 제품에 대한 PDD를 계산할 수 있다.
일부 실시예에서, FO 시스템(113)은 주기적으로(예를 들면, 시간별로) 각 제품에 대한 PDD를 결정하고, 검색하거나 다른 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로 전송하기 위해 이를 데이터베이스에 저장할 수 있다. 다른 실시예에서, FO 시스템(113)은 하나 이상의 시스템(예를 들면, 외부 프론트 엔드 시스템(103), SAT 시스템(101), 배송 및 주문 트래킹 시스템(111))으로부터 전자 요청을 수신하고 요구에 따라 PDD를 계산할 수 있다.
일부 실시예에서, 풀필먼트 메시징 게이트웨이(FMG)(115)는 FO 시스템(113)과 같은 시스템(100) 내의 하나 이상의 시스템으로부터 하나의 포맷 또는 프로토콜로 요청 또는 응답을 수신하고, 그것을 다른 포맷 또는 프로토콜로 변환하여, 변환된 포맷 또는 프로토콜로 된 요청 또는 응답을 WMS(119) 또는 제3자 풀필먼트 시스템(121A, 121B, 또는 121C)과 같은 다른 시스템에 포워딩하며, 반대의 경우도 가능한 컴퓨터 시스템으로서 구현될 수 있다.
일부 실시예에서, 공급 체인 관리(SCM) 시스템(117)은 예측 기능을 수행하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, SCM 시스템(117)은, 예를 들어 제품에 대한 과거 수요, 제품에 대한 예측된 수요, 네트워크 전반의 과거 수요, 네트워크 전반의 예측된 수요, 각각의 풀필먼트 센터(200)에 저장된 제품 개수, 각 제품에 대한 예상 또는 현재 주문 등에 기초하여, 특정 제품에 대한 수요의 수준을 예측할 수 있다. 이러한 예측된 수준과 모든 풀필먼트 센터를 통한 각 제품의 수량에 응답하여, SCM 시스템(117)은 특정 제품에 대한 예측된 수요를 만족시키기에 충분한 양을 구매 및 비축하기 위한 하나 이상의 구매 주문을 생성할 수 있다.
일부 실시예에서, 창고 관리 시스템(WMS)(119)은 작업 흐름을 모니터링하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, WMS(119)는 개개의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))로부터 개별 이벤트를 나타내는 이벤트 데이터를 수신할 수 있다. 예를 들면, WMS(119)는 패키지를 스캔하기 위해 이들 디바이스 중 하나를 사용한 것을 나타내는 이벤트 데이터를 수신할 수 있다. 풀필먼트 센터(200) 및 도 2에 관하여 이하에서 논의되는 바와 같이, 풀필먼트 프로세스 동안, 패키지 식별자(예를 들면, 바코드 또는 RFID 태그 데이터)는 특정 스테이지의 기계(예를 들면, 자동 또는 핸드헬드 바코드 스캐너, RFID 판독기, 고속 카메라, 태블릿(119A), 모바일 디바이스/PDA(119B), 컴퓨터(119C)와 같은 디바이스 등)에 의해 스캔되거나 판독될 수 있다. WMS(119)는 패키지 식별자, 시간, 날짜, 위치, 사용자 식별자, 또는 다른 정보와 함께 대응하는 데이터베이스(미도시)에 패키지 식별자의 스캔 또는 판독을 나타내는 각 이벤트를 저장할 수 있고, 이러한 정보를 다른 시스템(예를 들면, 배송 및 주문 트래킹 시스템(111))에 제공할 수 있다.
일부 실시예에서, WMS(119)는 하나 이상의 디바이스(예를 들면, 디바이스(107A-107C 또는 119A-119C))와 시스템(100)과 연관된 하나 이상의 사용자를 연관시키는 정보를 저장할 수 있다. 예를 들면, 일부 상황에서, (파트 타임 또는 풀 타임 직원과 같은) 사용자는 모바일 디바이스(예를 들면, 모바일 디바이스는 스마트폰임)를 소유한다는 점에서, 모바일 디바이스와 연관될 수 있다. 다른 상황에서, 사용자는 임시로 모바일 디바이스를 보관한다는 점에서(예를 들면, 하루의 시작에서부터 모바일 디바이스를 대여받은 사용자가, 하루 동안 그것을 사용하고, 하루가 끝날 때 그것을 반납할 것임), 모바일 디바이스와 연관될 수 있다.
일부 실시예에서, WMS(119)는 시스템(100)과 연관된 각각의 사용자에 대한 작업 로그를 유지할 수 있다. 예를 들면, WMS(119)는 임의의 할당된 프로세스(예를 들면, 트럭에서 내리기, 픽업 구역에서 아이템을 픽업하기, 리비닝 월(rebin wall) 작업, 아이템 패킹하기), 사용자 식별자, 위치(예를 들면, 풀필먼트 센터(200)의 바닥 또는 구역), 직원에 의해 시스템을 통해 이동된 유닛의 수(예를 들면, 픽업된 아이템의 수, 패킹된 아이템의 수), 디바이스(예를 들면, 디바이스(119A-119C))와 관련된 식별자 등을 포함하는, 각 직원과 관련된 정보를 저장할 수 있다. 일부 실시예에서, WMS(119)는 디바이스(119A-119C)에서 작동되는 계시(timekeeping) 시스템과 같은 계시 시스템으로부터 체크-인 및 체크-아웃 정보를 수신할 수 있다.
일부 실시예에서, 제3자 풀필먼트 (3PL) 시스템(121A-121C)은 물류 및 제품의 제3자 제공자와 관련된 컴퓨터 시스템을 나타낸다. 예를 들면, (도 2와 관련하여 이하에서 후술하는 바와 같이) 일부 제품이 풀필먼트 센터(200)에 저장되는 반면, 다른 제품은 오프-사이트(off-site)에 저장될 수 있거나, 수요에 따라 생산될 수 있으며, 달리 풀필먼트 센터(200)에 저장될 수 없다. 3PL 시스템(121A-121C)은 FO 시스템(113)으로부터 (예를 들면, FMG(115)를 통해) 주문을 수신하도록 구성될 수 있으며, 고객에게 직접 제품 및/또는 서비스(예를 들면, 배달 또는 설치)를 제공할 수 있다. 일부 구현예에서, 하나 이상의 3PL 시스템(121A-121C)은 시스템(100)의 일부일 수 있지만, 다른 구현예에서는, 하나 이상의 3PL 시스템(121A-121C)이 시스템(100)의 외부에 있을 수 있다(예를 들어, 제3자 제공자에 의해 소유 또는 운영됨)일 수 있다.
일부 실시예에서, 풀필먼트 센터 인증 시스템(FC Auth)(123)은 다양한 기능을 갖는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, 일부 실시예에서, FC Auth(123)는 시스템(100) 내의 하나 이상의 다른 시스템에 대한 단일-사인 온(single-sign on, SSO) 서비스로서 작동할 수 있다. 예를 들면, FC Auth(123)는 내부 프론트 엔드 시스템(105)을 통해 사용자가 로그인하게 하고, 사용자가 배송 및 주문 트래킹 시스템(111)에서 리소스에 액세스하기 위해 유사한 권한을 갖고 있다고 결정하며, 두 번째 로그인 프로세스 요구 없이 사용자가 그러한 권한에 액세스할 수 있게 한다. 다른 실시예에서, FC Auth(123)는 사용자(예를 들면, 직원)가 자신을 특정 작업과 연관시킬 수 있게 한다. 예를 들면, 일부 직원은 (디바이스(119A-119C)와 같은) 전자 디바이스를 갖지 않을 수 있으며, 대신 하루 동안 풀필먼트 센터(200) 내에서 작업들 사이 및 구역들 사이에서 이동할 수 있다. FC Auth(123)는 이러한 직원들이 상이한 시간 대에 수행 중인 작업과 속해 있는 구역을 표시할 수 있도록 구성될 수 있다.
일부 실시예에서, 노동 관리 시스템(LMS)(125)은 직원(풀-타임 및 파트-타임 직원을 포함함)에 대한 출근 및 초과 근무 정보를 저장하는 컴퓨터 시스템으로서 구현될 수 있다. 예를 들면, LMS(125)는 FC Auth(123), WMS(119), 디바이스(119A-119C), 운송 시스템(107), 및/또는 디바이스(107A-107C)로부터 정보를 수신할 수 있다.
도 1a에 나타낸 특정 구성은 단지 예시일 뿐이다. 예를 들면, 도 1a는 FO 시스템(113)에 연결된 FC Auth 시스템(123)을 나타낸 반면, 모든 실시예가 이러한 특정 구성을 필요로 하는 것은 아니다. 실제로, 일부 실시예에서, 시스템(100) 내의 시스템은 인터넷, 인트라넷, WAN(Wide-Area Network), MAN(Metropolitan-Area Network), IEEE 802.11a/b/g/n 표준을 따르는 무선 네트워크, 임대 회선 등을 포함하는 하나 이상의 공공 또는 사설 네트워크를 통해 서로 연결될 수 있다. 일부 실시예에서, 시스템(100) 내의 시스템 중 하나 이상은 데이터 센터, 서버 팜 등에서 구현되는 하나 이상의 가상 서버로서 구현될 수 있다.
도 2는 풀필먼트 센터(200)를 나타낸다. 풀필먼트 센터(200)는 주문시 고객에게 배송하기 위한 아이템을 저장하는 물리적 장소의 예시이다. 풀필먼트 센터(FC)(200)는 다수의 구역으로 분할될 수 있으며, 각각이 도 2에 도시된다. 일부 실시예에서, 이러한 "구역(zones)"은 아이템을 수령하고, 아이템을 저장하고, 아이템을 검색하고, 아이템을 배송하는 과정의 상이한 단계 사이의 가상 구분으로 생각될 수 있다. 따라서, "구역"이 도 2에 나타나 있으나, 일부 실시예에서, 구역의 다른 구분도 가능하고, 도 2의 구역은 생략, 복제, 또는 수정될 수 있다.
인바운드 구역(203)은 도 1a의 시스템(100)을 사용하여 제품을 판매하고자 하는 판매자로부터 아이템이 수신되는 FC(200)의 영역을 나타낸다. 예를 들면, 판매자는 트럭(201)을 사용하여 아이템(202A, 202B)을 배달할 수 있다. 아이템(202A)은 자신의 배송 팔레트(pallet)를 점유하기에 충분히 큰 단일 아이템을 나타낼 수 있으며, 아이템(202B)은 공간을 절약하기 위해 동일한 팔레트 상에 함께 적층되는 아이템의 세트를 나타낼 수 있다.
작업자는 인바운드 구역(203)의 아이템을 수령하고, 선택적으로 컴퓨터 시스템(미도시)을 사용하여 아이템이 손상되었는지 및 정확한지를 체크할 수 있다. 예를 들면, 작업자는 아이템(202A, 202B)의 수량을 아이템의 주문 수량과 비교하기 위해 컴퓨터 시스템을 사용할 수 있다. 수량이 일치하지 않는다면, 해당 작업자는 아이템(202A, 202B) 중 하나 이상을 거부할 수 있다. 수량이 일치한다면, 작업자는 그 아이템들을 (예를 들면, 짐수레(dolly), 핸드트럭(handtruck), 포크리프트(forklift), 또는 수작업으로) 버퍼 구역(205)으로 운반할 수 있다. 버퍼 구역(205)은, 예를 들면, 예측된 수요를 충족시키기 위해 픽업 구역에 그 아이템이 충분한 수량만큼 있기 때문에, 픽업 구역에서 현재 필요하지 않은 아이템에 대한 임시 저장 영역일 수 있다. 일부 실시예에서, 포크리프트(206)는 버퍼 구역(205) 주위와 인바운드 구역(203) 및 드롭 구역(207) 사이에서 아이템을 운반하도록 작동한다. (예를 들면, 예측된 수요로 인해) 픽업 구역에 아이템(202A, 202B)이 필요하면, 포크리프트는 아이템(202A, 202B)을 드롭 구역(207)으로 운반할 수 있다.
드롭 구역(207)은 픽업 구역(209)으로 운반되기 전에 아이템을 저장하는 FC(200)의 영역일 수 있다. 픽업 동작에 할당된 작업자("피커(picker)")는 픽업 구역의 아이템(202A, 202B)에 접근하고, 픽업 구역에 대한 바코드를 스캔하며, 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A, 202B)과 관련된 바코드를 스캔할 수 있다. 그 다음 피커는 (예를 들면, 카트에 놓거나 운반함으로써) 픽업 구역(209)에 아이템을 가져갈 수 있다.
픽업 구역(209)은 아이템(208)이 저장 유닛(210)에 저장되는 FC(200)의 영역일 수 있다. 일부 실시예에서, 저장 유닛(210)은 물리적 선반, 책꽂이, 박스, 토트(tote), 냉장고, 냉동고, 저온 저장고 등 중 하나 이상을 포함할 수 있다. 일부 실시예에서, 픽업 구역(209)은 다수의 플로어로 편성될 수 있다. 일부 실시예에서, 작업자 또는 기계는, 예를 들면, 포크리프트, 엘리베이터, 컨베이어 벨트, 카트, 핸드트럭, 짐수레, 자동화된 로봇 또는 디바이스, 또는 수작업을 포함하는 다양한 방식으로 아이템을 픽업 구역(209)으로 운반할 수 있다. 예를 들면, 피커는 아이템(202A, 202B)을 드롭 구역(207)의 핸드트럭 또는 카트에 놓을 수 있으며, 아이템(202A, 202B)을 픽업 구역(209)으로 가져갈 수 있다.
피커는 저장 유닛(210) 상의 특정 공간과 같은 픽업 구역(209)의 특정 스팟에 아이템을 배치(또는 "적재(stow)")하라는 명령을 수신할 수 있다. 예를 들면, 피커는 모바일 디바이스(예를 들면, 디바이스(119B))를 사용하여 아이템(202A)을 스캔할 수 있다. 디바이스는, 예를 들면, 통로, 선반 및 위치를 나타내는 시스템을 사용하여, 아이템(202A)을 적재해야 하는 위치를 나타낼 수 있다. 그 다음 디바이스는 그 위치에 아이템(202A)을 적재하기 전에 피커가 그 위치에서 바코드를 스캔하도록 할 수 있다. 디바이스는 도 1a의 WMS(119)와 같은 컴퓨터 시스템에 아이템(202A)이 디바이스(119B)를 사용하는 사용자에 의해 그 위치에 적재되었음을 나타내는 데이터를 (예를 들면, 무선 네트워크를 통해) 전송할 수 있다.
일단 사용자가 주문을 하면, 피커는 저장 유닛(210)으로부터 하나 이상의 아이템(208)을 검색하기 위해 디바이스(119B)에 명령을 수신할 수 있다. 피커는 아이템(208)을 검색하고, 아이템(208) 상의 바코드를 스캔하며, 운송 기구(214) 상에 놓을 수 있다. 일부 실시예에서, 운송 기구(214)가 슬라이드로서 표현되지만, 운송 기구는 컨베이어 벨트, 엘리베이터, 카트, 포크리프트, 핸드트럭, 짐수레, 카트 등 중 하나 이상으로서 구현될 수 있다. 그 다음 아이템(208)은 패킹 구역(211)에 도착할 수 있다.
패킹 구역(211)은 아이템이 픽업 구역(209)으로부터 수령되고 고객에게 최종 배송하기 위해 박스 또는 가방에 패킹되는 FC(200)의 영역일 수 있다. 패킹 구역(211)에서, 아이템을 수령하도록 할당된 작업자("리비닝 작업자(rebin worker)")는 픽업 구역(209)으로부터 아이템(208)을 수령하고, 그것이 어느 주문에 대응하는지를 결정할 것이다. 예를 들면, 리비닝 작업자는 아이템(208) 상의 바코드를 스캔하기 위해 컴퓨터(119C)와 같은 디바이스를 사용할 수 있다. 컴퓨터(119C)는 아이템(208)이 어느 주문과 관련이 있는지를 시각적으로 나타낼 수 있다. 이는, 예를 들면, 주문에 대응하는 월(216) 상의 공간 또는 "셀(cell)"을 포함할 수 있다. (예를 들면, 셀에 주문의 모든 아이템이 포함되어 있기 때문에) 일단 주문이 완료되면, 리비닝 작업자는 패킹 작업자(또는 "패커(packer)")에게 주문이 완료된 것을 알릴 수 있다. 패커는 셀로부터 아이템을 검색하고, 배송을 위해 이들을 박스 또는 가방에 놓을 수 있다. 그 다음 패커는, 예를 들면, 포크리프트, 카트, 짐수레, 핸드트럭, 컨베이어 벨트, 수작업 또는 다른 방법을 통해, 박스 또는 가방을 허브 구역(213)으로 보낼 수 있다.
허브 구역(213)은 패킹 구역(211)으로부터 모든 박스 또는 가방("패키지(packages)")을 수신하는 FC(200)의 영역일 수 있다. 허브 구역(213)의 작업자 및/또는 기계는 패키지(218)를 검색하고, 각 패키지가 배달 영역의 어느 부분으로 배달되도록 되어 있는지를 결정하며, 패키지를 적합한 캠프 구역(215)으로 보낼 수 있다. 예를 들면, 배달 영역이 2개의 작은 하위 영역을 갖는다면, 패키지는 2개의 캠프 구역(215) 중 하나로 보내질 것이다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해 (예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 패키지를 캠프 구역(215)으로 보내는 것은, 예를 들면, (우편 번호에 기초하여) 패키지가 향하는 지리적 영역의 부분을 결정하고, 지리적 영역의 부분과 관련된 캠프 구역(215)을 결정하는 것을 포함할 수 있다.
일부 실시예에서, 캠프 구역(215)은 루트 및/또는 서브-루트로 분류하기 위해 허브 구역(213)으로부터 패키지가 수령되는 하나 이상의 빌딩, 하나 이상의 물리적 공간, 또는 하나 이상의 영역을 포함할 수 있다. 일부 실시예에서, 캠프 구역(215)은 FC(200)로부터 물리적으로 분리되어 있는 반면, 다른 실시예에서는 캠프 구역(215)은 FC(200)의 일부를 형성할 수 있다.
캠프 구역(215)의 작업자 및/또는 기계는, 예를 들면, 목적지와 기존 루트 및/또는 서브-루트의 비교, 각각의 루트 및/또는 서브-루트에 대한 작업량의 계산, 하루 중 시간, 배송 방법, 패키지(220)를 배송하기 위한 비용, 패키지(220)의 아이템과 관련된 PDD 등에 기초하여 패키지(220)가 어느 루트 및/또는 서브-루트와 연관되어야 하는지를 결정할 수 있다. 일부 실시예에서, 작업자 또는 기계는 최종 목적지를 결정하기 위해 (예를 들면, 디바이스(119A-119C) 중 하나를 사용하여) 패키지를 스캔할 수 있다. 일단 패키지(220)가 특정 루트 및/또는 서브-루트에 할당되면, 작업자 및/또는 기계는 배송될 패키지(220)를 운반할 수 있다. 예시적인 도 2에서, 캠프 구역(215)은 트럭(222), 자동차(226), 배달원(224A, 224B)을 포함한다. 일부 실시예에서, 배달원(224A)이 트럭(222)을 운전할 수 있는데, 이 때 배달원(224A)은 FC(200)에 대한 패키지를 배달하는 풀-타임 직원이며, 트럭은 FC(200)를 소유, 임대 또는 운영하는 동일한 회사에 의해 소유, 임대, 또는 운행된다. 일부 실시예에서, 배달원(224B)이 자동차(226)를 운전할 수 있는데, 이 때 배달원(224B)은 필요에 따라(예를 들면, 계절에 따라) 배달하는 "플렉스(flex)" 또는 비상시적인 작업자이다. 자동차(226)는 배달원(224B)에 의해 소유, 임대 또는 운행될 수 있다.
도 3을 참조하면, 제품 통합 및 중복제거 시스템 없이 생성된 하나 이상의 검색 결과를 포함하는 SRP(300)의 샘플이 도시된다. 예를 들어, 제품(310)은 8명의 다른 판매자에 의해 판매될 수 있으며, SRP(300)는 동일한 제품(310)에 대해서 8개의 구별되는 제품 결과를 표시할 수 있다. 개시된 실시예를 이용하여, 제품(310)은 베스트셀러를 추천하는 단일의 제품 결과로 통합될 수 있다.
도 4를 참조하면, AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도가 도시된다. 도 4에 도시된 바와 같이, 시스템(400)은 네트워크(450)를 통해서 사용자(460A)와 연관된 사용자 디바이스(460)와 각각 통신할 수 있는, 온라인 매칭 트레이닝 데이터 시스템(410), 온라인 매칭 전처리 시스템(420), 온라인 매칭 모델 트레이너(430), 및 온라인 매칭 모델 시스템(440)을 포함할 수 있다. 시스템은 자신의 제품을 등록 중인 한명 이상의 판매자와 함께 동작하는 경우 온라인에서 동작할 수 있다. 일부 실시예에서, 온라인 매칭 트레이닝 데이터 시스템(410), 온라인 매칭 전처리 시스템(420), 온라인 매칭 모델 트레이너(430), 및 온라인 매칭 모델 시스템(440)은 직접 접속을 통해서, 예를 들면, 케이블을 이용하여 서로 통신할 수 있으며, 시스템(400)의 다른 컴포넌트와 통신할 수 있다. 일부 다른 실시예에서, 시스템(400)은 도 1a의 시스템(100)의 일부분일 수 있으며, 네트워크(450)를 통해서 또는 직접 접속을 통해서, 예를 들면, 케이블을 이용하여 시스템(100)의 다른 컴포넌트(예로써, 외부 프론트 엔드 시스템(103) 또는 내부 프론트 엔드 시스템(105))와 통신할 수 있다. 온라인 매칭 트레이닝 데이터 시스템(410), 온라인 매칭 전처리 시스템(420), 온라인 매칭 모델 트레이너(430), 및 온라인 매칭 모델 시스템(440)은 각각 단일의 컴퓨터를 포함하거나, 또는 각각 개시된 예시들과 연관된 하나 이상의 프로세스 및 기능을 수행하도록 상호 동작하는 다수의 컴퓨터를 포함하는 분산 컴퓨터 시스템으로 구성될 수 있다.
도 4에 도시된 바와 같이, 온라인 매칭 트레이닝 데이터 시스템(410)은 프로세서(412), 메모리(414), 및 데이터베이스(416)를 포함할 수 있다. 온라인 매칭 전처리 시스템(420)은 프로세서(422), 메모리(424), 및 데이터베이스(426)를 포함할 수 있다. 온라인 매칭 모델 트레이너 시스템(430)은 프로세서(432), 메모리(434), 및 데이터베이스(436)를 포함할 수 있다. 온라인 매칭 모델 시스템(440)은 프로세서(442), 메모리(444), 및 데이터베이스(446)를 포함할 수 있다. 프로세서(412, 422, 432, 및 442)는 인텔(등록상표)에 의해 제조된 펜티엄(등록상표) 계열 또는 AMD(등록상표)에 의해 제조된 튜리온(등록상표) 계열의 마이크로프로세서와 같은, 하나 이상의 알려진 프로세싱 디바이스일 수 있다. 프로세서(412, 422, 432, 및 442)는 단일 코어 혹은 동시에 병렬 프로세스를 실행하는 다중 코어 프로세서로 구성될 수 있다. 예를 들면, 프로세서(412, 422, 432, 및 442)는 다중 프로세스를 동시에 실행하고 제어하기 위한 논리 프로세서를 사용할 수 있다. 프로세서(412, 422, 432, 및 442)는 다수의 소프트웨어 프로세스, 애플리케이션, 프로그램 등을 실행, 제어, 작동, 조작, 저장하는 능력 등을, 제공하도록 가상 머신 기술이나 다른 알려진 기술을 구현할 수 있다. 또 다른 예에서, 프로세서(412, 422, 432, 및 442)는 온라인 매칭 트레이닝 데이터 시스템(410), 온라인 매칭 전처리 시스템(420), 온라인 매칭 모델 트레이너 시스템(430), 및 온라인 매칭 모델 시스템(440)이 동시에 다중 프로세스를 실행 가능하게 하기 위해 병렬 프로세싱 기능을 제공하도록 구성된 다중 코어 프로세서 구성을 포함할 수 있다. 당해 기술분야의 통상의 기술자는, 여기에 개시된 능력을 제공하는 다른 타입의 프로세서 구성이 구현될 수 있음을 이해할 것이다.
메모리(414, 424, 434, 및 444)는, 각각, 프로세서(412, 422, 432, 및 442)에 의해 실행될 때 알려진 운영 체제 기능을 수행하는 하나 이상의 운영 체제(operating system)를 저장할 수 있다. 일례로써, 운영 체제는 마이크로소프트 윈도우즈, 유닉스, 리눅스, 안드로이드, 맥 OS, iOS, 또는 다른 타입의 운영 체제를 포함할 수 있다. 이에 따라, 개시된 발명의 예시는 임의 타입의 운영 체제로 작동하는 컴퓨터 시스템으로 동작하고 기능할 수 있다. 메모리(414, 424, 434, 및 444)는 휘발성 혹은 비휘발성, 자기, 반도체, 테이프, 광학, 이동식, 고정형 또는 다른 타입의 저장 장치 혹은 유형(tangible)의 컴퓨터 판독가능 매체일 수 있다.
데이터베이스(416, 426, 436, 및 446)는, 예를 들면, 오라클(등록상표) 데이터베이스, 사이베이스(등록상표) 데이터베이스, 또는 다른 관계형 데이터베이스나 하둡(Hadoop)(등록상표) 시퀀스 파일, HBase(등록상표), 혹은 카산드라(Cassandra)(등록상표)와 같은, 비관계형 데이터베이스를 포함할 수 있다. 데이터베이스(516, 526, 및 536)는 데이터베이스(들)의 메모리 디바이스에 저장된 데이터에 대한 요청을 수신하고 처리하며, 데이터베이스(들)로부터의 데이터를 제공하도록 구성된 컴퓨팅 컴포넌트(예로써, 데이터베이스 관리 시스템, 데이터베이스 서버 등)를 포함할 수 있다. 데이터베이스(416, 426, 436, 및 446)는 HBase, MongoDB(등록상표) 혹은 카산드라(등록상표)와 같은 NoSQL 데이터베이스를 포함할 수 있다. 또는, 데이터베이스(416, 426, 436, 및 446)는 오라클, MySQL 및 마이크로소프트 SQL 서버와 같은 관계형 데이터베이스를 포함할 수 있다. 일부 실시예에서, 데이터베이스(416, 426, 436, 및 446)는 서버, 범용 컴퓨터, 메인프레임 컴퓨터, 또는 이들 컴포넌트의 임의의 조합 형태를 취할 수 있다.
데이터베이스(416, 426, 436, 및 446)는, 각각, 개시된 예시들과 연관된 방법 및 프로세스를 수행하는 프로세서(412, 422, 432, 및 442)에 의해 이용될 수 있는 데이터를 저장할 수 있다. 데이터베이스(416, 426, 436, 및 446)는, 각각, 도 4에 도시된 바와 같이, 온라인 트레이닝 데이터 시스템(410), 온라인 전처리 시스템(420), 온라인 매칭 모델 트레이너 시스템(430), 및 온라인 매칭 모델 시스템(440)에 위치될 수 있으며, 또는 대안적으로, 온라인 트레이닝 데이터 시스템(410), 온라인 전처리 시스템(420), 온라인 매칭 모델 트레이너 시스템(430), 및 온라인 매칭 모델 시스템(440) 외부에 위치한 외부 저장 디바이스에 있을 수 있다. 데이터베이스(416)에 저장된 데이터는 제품과 연관된 임의의 적합한 온라인 매칭 트레이닝 데이터(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드, 최상위 카테고리 레벨, 카테고리 서브레벨 등)를 포함할 수 있고, 데이터베이스(426)에 저장된 데이터는 온라인 매칭 전처리된 트레이닝 데이터와 연관된 임의의 적합한 데이터를 포함할 수 있으며, 데이터베이스(436)에 저장된 데이터는 온라인 매칭 모델을 트레이닝하는 것과 연관된 임의의 적합한 데이터를 포함할 수 있고, 그리고 데이터베이스(446)에 저장된 데이터는 다양한 쌍의 제품들의 매칭 스코어와 연관된 임의의 적합한 데이터를 포함할 수 있다.
사용자 디바이스(460)는 태블릿, 모바일 디바이스, 컴퓨터 등 일 수 있다. 사용자 디바이스(460)는 디스플레이를 포함할 수 있다. 디스플레이는, 예를 들면, LCD(liquid crystal displays), LED(light emitting diode) 스크린, OLED(organic light emitting diode) 스크린, 터치 스크린, 및 다른 알려진 디스플레이 디바이스를 포함할 수 있다. 디스플레이는 사용자에게 다양한 정보를 보여줄 수 있다. 예를 들면, 그것은 제품 정보(예로써, 제품 식별 번호, 최상위 카테고리 레벨, 카테고리 서브레벨, 제품명, 제품 이미지, 제품 브랜드, 제품 설명 등)를 포함하는, 트레이닝 데이터 또는 제품 정보 데이터를 입력하기 위해 내부 사용자(예로써, 시스템(100)을 소유하거나, 운용하거나, 또는 임대하는 조직의 직원) 또는 외부 사용자를 위한 입력 텍스트 상자를 포함하는, 트레이닝 데이터를 입력하거나 생성하기 위한 온라인 플랫폼을 표시할 수 있다. 사용자 디바이스(460)는 하나 이상의 입력/출력(I/O) 디바이스를 포함할 수 있다. I/O 디바이스는 사용자 디바이스(460)가 사용자(460A) 또는 또 다른 디바이스로부터의 정보를 보내거나 받도록 할 수 있는 하나 이상의 디바이스를 포함할 수 있다. I/O 디바이스는 다양한 입력/출력 디바이스, 카메라, 마이크로폰, 키보드, 마우스 타입 디바이스, 제스처 센서, 액션 센서, 물리 버튼, 음성(oratory) 입력장치 등을 포함할 수 있다. 또한 I/O 디바이스는, 예를 들면, 사용자 디바이스(460)와 네트워크(450) 간에 유선 혹은 무선 연결을 확립함으로써, 온라인 매칭 트레이닝 데이터 시스템(410), 온라인 매칭 전처리 시스템(420), 온라인 매칭 모델 트레이너 시스템(430), 또는 온라인 매칭 모델 시스템(440)으로부터의 정보를 전송하거나 수신하는 하나 이상의 통신 모듈(미도시)을 포함할 수 있다.
온라인 매칭 트레이닝 데이터 시스템(410)은 하나 이상의 제품과 연관된 제품 정보를 포함하는 초기의 트레이닝 데이터를 수신할 수 있다. 온라인 매칭 트레이닝 데이터 시스템(410)은 제품 쌍들에 대한 인간 라벨링에 의해 트레이닝 데이터를 수집할 수 있다. 예를 들면, 사용자(460A)는 제1 제품의 제품 정보(예로써, 제품 카테고리, 이름, 브랜드, 모델 넘버 등)를 제2 제품의 제품 정보와 비교하고, 그 쌍의 제품들이 동일한지 여부를 결정하며, 그리고 제품들이 동일한 경우에는 "매칭됨"으로 혹은 제품들이 동일하지 않은 경우에는 "서로 다름"으로 그 제품의 쌍에 라벨링할 수 있다. 사용자(예로써, 사용자(460A))는 주기적으로(예로써, 매일) 제품 쌍들에 "매칭됨" 또는 "서로 다름"으로 라벨링하기 위해 그 쌍들을 샘플링할 수 있어서, 온라인 매칭 트레이닝 데이터 시스템(410)에 트레이닝 데이터를 제공할 수 있다.
온라인 매칭 전처리 시스템(420)은 온라인 매칭 트레이닝 데이터 시스템(410)에 의해 수집된 초기 트레이닝 데이터를 수신하고, 초기 트레이닝 데이터를 전처리함으로써 합성 트레이닝 데이터를 생성할 수 있다. 온라인 매칭 전처리 시스템(420)은 한 쌍의 제품으로부터 키워드를 태그할 수 있다. 키워드를 태그하는 것은 키워드를 추출하고, 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 것을 포함할 수 있다. 예를 들어, 온라인 매칭 전처리 시스템(420)은 한 쌍의 제1 및 제2 제품과 연관된 제품 정보로부터 키워드를 추출하고, 미리 결정된 조건에 따라서 브랜드 이름과 연관된 키워드를 걸러내고, 브랜드 이름을 제외한 제1 및 제2 제품의 키워드를 저장할 수 있다. 온라인 매칭 전처리 시스템(420)은 데이터베이스(426)에 저장된 토큰 딕셔너리(token dictionary)를 참조하고 키워드를 다수의 키워드로 분할할지 여부를 결정하도록 아호 코라식(Aho-Corasick) 알고리즘을 실행함으로써 키워드를 토큰화할 수 있다. 예를 들어, 특정 언어(예로써, 한국어)로 쓰여진 키워드는 공백 없이 하나의 텍스트 스트링으로 저장될 수 있다. (능숙한 화자라면 이러한 텍스트 스트링이 다양한 단어 조합들로 분할될 수 있음을 이해할 것이다.) 온라인 매칭 전처리 시스템(420)은 제1 및 제2 제품과 연관된 텍스트 내의 스트링의 한정된 세트(예로써, "딕셔너리")의 엘리먼트의 위치를 찾아내는, 딕셔너리 매칭 알고리즘인 아호 코라식 알고리즘을 실행할 수 있다. 이 알고리즘은, 온라인 매칭 전처리 시스템(420)이 저장된 딕셔너리에 리스트되지 않은 "스플릿(split)" 단어들을 제거하면서 텍스트의 실제 키워드를 수집함으로써 키워드들을 추출할 수 있도록, 동시에 모든 스트링을 매칭시킨다. 키워드 토큰화는 기계 학습 모델을 둔화시키는 불필요한 단어들을 제거함으로써 제품 통합 및 중복제거를 증가시킬 수 있다.
온라인 매칭 모델 트레이너(430)는 온라인 매칭 전처리 시스템(420)으로부터 생성된 합성 트레이닝 데이터를 수신할 수 있다. 온라인 매칭 모델 트레이너(430)는 제품 매칭을 위해 그 수신된 합성 데이터를 이용하여 적어도 하나의 온라인 매칭 모델을 생성하고 트레이닝할 수 있다. 예를 들어, 모델은 각각의 상위 계층 제품 카테고리에 대해 생성될 수 있다. 각 모델은 한 쌍의 제품이 그 쌍의 제품 정보에 기초하여 동일한 것일 가능성을 결정하도록 트레이닝될 수 있는, 나이브 베이즈 모델일 수 있다. 온라인 매칭 모델 트레이너(430)는 각 제품 특성이 서로 독립되어 있는 것임을 가정하고 다음의 식을 이용하여 매칭 스코어를 계산하도록 수신된 합성 트레이닝 데이터를 이용할 수 있다.
수학식 (1):
Figure 112021002188916-pat00001
합성 트레이닝 데이터를 이용하는 것은, 한 쌍의 제품의 태그된 특성(예로써, 컬러, 사이즈, 브랜드 등) 및 한 쌍의 제품의 토큰화된 키워드(예로써, XL, 레드, 블랙 등) 양쪽이 제품 쌍에 대한 매칭 스코어를 계산하고 동일한 제품을 자동적으로 합치도록 이용될 수 있다는 점에서 유리할 수 있다.
예를 들어, 합성 트레이닝 데이터는 10,000개의 제품 쌍을 포함할 수 있다. 합성 트레이닝 데이터의 60 퍼센트가 "매칭된" 제품 쌍일 수 있고 반면에 합성 트레이닝 데이터의 40 퍼센트가 "서로 다른" 제품 쌍일 수 있다. "매칭된" 쌍의 83 퍼센트가 같은 컬러를 가질 수 있고 반면에 "서로 다른" 쌍의 50 퍼센트가 같은 컬러를 가질 수 있다. 온라인 매칭 모델 트레이너(430)는 다음과 같이 수학식 (1)을 이용하여 한 쌍의 제품이 같은 컬러를 가질 때 그것들이 동일할 가능성을 계산할 수 있다.
Figure 112021002188916-pat00002
온라인 매칭 모델 트레이너(430)는 합성 트레이닝 데이터 중 어느 것에 대해 수학식 (1)을 이용하여 한 쌍의 제품이 복수의 제품 정보를 공유할 때 그것들이 동일할 가능성을 계산할 수 있다.
온라인 매칭 모델 시스템(440)은 판매자가 제품을 등록할 때 실시간으로 동작을 수행할 수 있다. 예를 들어, 온라인 매칭 모델 시스템(440)은 사용자 디바이스(460)를 통해서 사용자(460A)(예로써, 판매자)로부터 제1 제품을 등록하도록 새 요청을 수신할 수 있다. 새 요청은 등록될 제1 제품과 연관된 제품 정보 데이터(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)를 포함할 수 있다. 온라인 매칭 모델 시스템(440)은 제1 제품과 연관된 제품 정보 데이터로부터의 키워드를 이용하여 제2 제품에 대해 데이터베이스(446)를 검색할 수 있다. 예를 들어, 온라인 매칭 모델 시스템(440)은 제1 제품의 키워드, 구절, 구절 내 키워드의 위치 등의 정해진 키워드를 포함하는 데이터베이스(446)의 역 인덱스를 검색하도록 검색 엔진(예로써, 엘라스틱서치)을 이용할 수 있다. 역 인덱스는 임의의 제품 정보에 있어서 나타난 모든 키워드, 구절, 구절 내 키워드의 위치 등의 리스트와, 각각의 키워드, 구절, 구절 내 키워드의 위치 등에 대해, 그것들이 나타난 제품의 리스트를 포함할 수 있다. 온라인 매칭 모델 시스템(440)은 임의의 방법들의 조합을 이용하여 제1 제품의 키워드를 처리할 수 있다. 예를 들어, 온라인 매칭 모델 시스템(440)은 각 키워드를 그 기본형으로 줄임으로써 각 키워드에 대한 스테밍(stemming) 프로세스를 수행할 수 있다. 예를 들어, 단어 "비(rain)", "비 옴(raining)" 및 "비 내림(rainfall)"은 공통 기본 형 "비"를 가진다. 키워드가 인덱싱될 때, 기본형이 인덱스에 저장되어, 키워드의 검색 관련성을 증가시킬 수 있다. 데이터베이스(446)에 저장된 키워드는 인덱싱되고 스테밍된 키워드이다. 추가적으로, 온라인 매칭 모델 시스템(440)은 각 키워드에 대한 유의어 검색을 수행하여, 키워드 검색 품질을 향상시킬 수 있다.
온라인 매칭 모델 시스템(440)은 제1 및 제2 제품의 공유된 혹은 유사한 키워드에 기초하여 데이터베이스(446) 내의 적어도 하나의 제2 제품(예로써, 100개의 제2 제품)이 제1 제품과 유사한 것임을 결정하도록 온라인 매칭 모델 트레이너(430)에 의해 트레이닝된 기계 학습 모델을 이용할 수 있다. 온라인 매칭 모델 시스템(440)의 기계 학습 모델은 적어도 하나의 제2 제품과 연관된 제품 정보(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)를 수집할 수 있다. 데이터베이스(446) 내의 제2 제품은, 현재 적어도 한 명의 판매자에 등록되어 있는 제품일 수 있다.
그 다음에 기계 학습 모델은 제1 및 제2 제품으로부터 키워드를 태그할 수 있다. 키워드를 태그하는 것은 키워드를 추출하고, 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 것을 포함할 수 있다. 예를 들어, 기계 학습 모델은 제1 및 제2 제품과 연관된 제품 정보로부터 키워드를 추출하고, 미리 결정된 조건에 따라서 브랜드 이름과 연관된 키워드를 걸러내고, 브랜드 이름을 제외한 제1 및 제2 제품의 키워드를 저장할 수 있다. 기계 학습 모델은 데이터베이스(446)에 저장된 토큰 딕셔너리를 참조하고 키워드를 다수의 키워드로 분할할지 여부를 결정하도록 아호 코라식 알고리즘을 실행함으로써 키워드를 토큰화할 수 있다. 예를 들어, 특정 언어(예로써, 한국어)로 쓰여진 키워드는 공백 없이 하나의 텍스트 스트링으로 저장될 수 있다. (능숙한 화자라면 이러한 텍스트 스트링이 다양한 단어 조합들로 분할될 수 있음을 이해할 것이다.) 기계 학습 모델은 제1 및 제2 제품과 연관된 텍스트 내의 스트링의 한정된 세트(예로써, "딕셔너리")의 엘리먼트의 위치를 찾아내는, 딕셔너리 매칭 알고리즘인 아호 코라식 알고리즘을 실행할 수 있다. 알고리즘은, 기계 학습 모델이 저장된 딕셔너리에 리스트되지 않은 "스플릿" 단어들을 제거하면서 텍스트의 실제 키워드를 수집함으로써 키워드들을 추출할 수 있도록, 동시에 모든 스트링을 매칭시킨다. 키워드 토큰화는 기계 학습 모델을 둔화시키는 불필요한 단어들을 제거함으로써 제품 통합 및 중복제거를 증가시킬 수 있다.
온라인 매칭 모델 시스템(440)은 제1 제품과 각각의 제2 제품 간의 매칭 스코어를 결정하기 위해 기계 학습 모델을 이용할 수 있다. 매칭 스코어는 트레이닝된 기계 학습 모델에 대해서 제1 제품 및 제2 제품과 연관된 태그된 키워드 및 데이터베이스(446)에 저장된 확률 스코어를 이용함으로써 계산될 수 있다. 매칭 스코어는 임의 방법들(예로써, 엘라스틱서치, 자카드, 나이브 베이즈, W-CODE, ISBN 등)의 조합을 이용하여 계산될 수 있다. 예로써, 매칭 스코어는 제1 제품의 키워드와 제2 제품의 키워드 간에 스펠링 유사도를 측정함으로써 계산될 수도 있다. 일부 실시예에서, 매칭 스코어는 제1 제품 및 제2 제품 간에 공유된 키워드의 수에 기초하여 계산될 수 있다.
온라인 매칭 모델 시스템(440)의 기계 학습 모델은 제1 및 제2 제품으로부터 키워드를 식별하고, 해당 키워드들을 벡터 표시로 변형시키도록 라이브러리(예로써, 패스트텍스트(fastText))를 이용할 수 있다. 기계 학습 모델은 각 키워드의 캐릭터 n-그램(character n-gram)에 대한 표시를 학습하기 위해 라이브러리를 이용할 수 있다. 그 다음에 각 키워드는 캐릭터 n-그램의 그룹으로 표시될 수 있으며, 전체의 워드 임베딩(word embedding)은 캐릭터 n-그램의 합이다. 예를 들어, 내부 사용자 또는 외부 사용자(예로써, 사용자(460A))가 n-그램을 3으로 수동 설정할 수 있고 또는 기계 학습 모델이 n-그램을 3으로 자동 설정할 수 있으며, 이 경우에 워드 "where"에 대한 벡터는 트리그램(trigrams): <wh, whe, her, ere, re>의 합으로 나타내질 것이며, 여기서 괄호 <, >는 워드의 시작과 끝을 나타내는 경계 심볼이다. 각 워드가 n-그램의 합으로 나타내진 후, 잠재적 텍스트 임베딩이 워드 임베딩의 평균으로서 얻어지고, 그 때에 텍스트 임베딩은 라벨을 예측하기 위해 기계 학습 모델에 의해 이용될 수 있다. 이 프로세스는 드문 키워드 혹은 데이터베이스(446)에 포함되지 않은 키워드를 식별하는데 유리할 수 있다. 예를 들어, 흔하지 않은 워드의 벡터 표시는 보다 흔한 워드의 벡터 표시보다 더 큰 가중치를 가질 수 있다. 기계 학습 모델은 유사 키워드의 관련성을 커스터마이즈할 수 있다.
일부 실시예에서, 온라인 매칭 모델 시스템(440)은 제1 및 제2 제품 간의 키워드 교차 퍼센티지에 기초하여 매칭 스코어를 계산할 수 있다. 예를 들어, 매칭 스코어는 키워드 교차 수를 키워드의 총수로 나눔으로써 계산될 수 있다. 매칭 스코어는 키워드 교차 수에 따라 증가할 수 있다.
일부 실시예에서, 온라인 매칭 모델 시스템(440)은 기계 학습 모델에 의해 결정된 확률 스코어에 기초하여 매칭 스코어를 계산할 수 있다. 예를 들어, 기계 학습 모델은 제1 제품의 키워드가 공유된 제품 정보(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)에 기초하여 제2 제품의 키워드와 관련될 가능성을 결정할 수 있다. 이러한 매칭 스코어 계산 방법은 기계 학습 모델이 보다 적은 트레이닝 데이터를 필요로 하며, 그 모델은 키워드의 각 특징이 해당 키워드의 어느 다른 특징과 독립적인 것을 가정할 수 있다는 점에서 기계 학습 모델의 강건성(robustness)을 증가시키는데 유리할 수 있다.
기계 학습 모델은 매칭 스코어가 미리 결정된 임계값을 넘는 경우(예로써, 최고 매칭 스코어를 가지고 최소 수의 매칭 속성을 가지는 제2 제품, 최고 매칭 스코어와 연관된 제2 제품, 최고 매칭 스코어를 가지고 특정 가격 범위 내의 가격을 가지는 제2 제품 등), 제1 제품은 제2 제품 중 하나와 동일한 것임을 결정할 수 있다. 기계 학습 모델은 제1 제품이 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 데이터베이스(446)를 수정하여, 해당 제품을 단일 리스트로 합쳐서 제품 중복을 방지할 수 있다. 기계 학습 모델은 매칭 스코어가 미리 결정된 임계값을 충족하지 않는 경우 제1 제품은 제2 제품 중 어느 것도 아님을 결정할 수 있다. 기계 학습 모델은 그때에 제1 제품은 제2 제품 중 어느 것도 아님을 나타내는 데이터를 포함하도록 데이터베이스(446)를 수정하여, 제1 제품을 별개의 새로운 리스트로서 리스트화할 수 있다.
온라인 매칭 모델 시스템(440)의 기계 학습 모델은 제1 제품을 등록하고, 사용자(460A)와 연관된 사용자 디바이스(460) 상에 제1 제품의 등록을 나타내는 데이터를 표시하고, 그리고 제1 제품과 연관된 제품 정보, 제2 제품과 연관된 제품 정보, 및 매칭 스코어에 기초하여 기계 학습 모델을 업데이트할 수 있다. 기계 학습 모델은 각각의 새 요청의 각 제품과 데이터베이스(446)로부터의 적어도 하나의 제품 간에 매칭 스코어를 계산하여, 복수의 사용자로부터의 복수의 요청을 동시에 처리할 수 있다.
도 5를 참조하면, AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 시스템을 포함하는 네트워크의 예시적인 실시예를 나타낸 개략적인 블록도가 도시된다. 도 5에 도시된 바와 같이, 시스템(500)은 단일 제품 오프라인 매칭 시스템(520) 및 배치 제품 오프라인 매칭 시스템(530)을 포함할 수 있으며, 그 각각은 네트워크(550)를 통해서 데이터베이스(516) 및 사용자(560A)와 연관된 사용자 디바이스(560)와 통신할 수 있다. 매칭 시스템은 자신의 제품을 등록하고 있는 한 명 이상의 판매자와 함께 동작하지 않는 경우 오프라인에서 동작할 수 있다. 일부 실시예에서, 단일 제품 오프라인 매칭 시스템(520) 및 배치 제품 오프라인 매칭 시스템(530)은 직접 접속을 통해서, 예를 들면, 케이블을 이용하여 서로 통신할 수 있으며, 또는 시스템(500)의 다른 컴포넌트와 통신할 수 있다. 일부 다른 실시예에서, 시스템(500)은 도 1a의 시스템(100)의 일부분일 수 있으며, 네트워크(550)를 통해서 또는 직접 접속을 통해서, 예를 들면, 케이블을 이용하여 시스템(100)의 다른 컴포넌트(예로써, 외부 프론트 엔드 시스템(103), 내부 프론트 엔드 시스템(105), 또는 시스템(400))와 통신할 수 있다. 단일 제품 오프라인 매칭 시스템(520) 및 배치 제품 오프라인 매칭 시스템(530)은 각각 하나의 컴퓨터를 포함하거나, 또는 각각 개시된 예시들과 연관된 하나 이상의 프로세스 및 기능을 수행하도록 호환되는 다수의 컴퓨터를 포함하는 분산 컴퓨터 시스템으로 구성될 수 있다.
데이터베이스(516)는 개시된 예시들과 연관된 방법 및 프로세스를 수행하는 시스템(520 및 530)에 의해 이용될 수 있는 데이터를 저장할 수 있다. 데이터베이스(516)는 상술한 데이터베이스들과 유사할 수 있으며, 도 5에 도시된 바와 같이, 시스템(520 및 530)의 외부에 위치된 외부 저장 디바이스에 존재할 수 있으며, 또는 대안적으로, 시스템(520 또는 530) 내에 위치할 수도 있다. 데이터베이스(516)에 저장된 데이터는 제품과 연관된 임의의 적합한 데이터(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드, 최상위 카테고리 레벨, 카테고리 서브레벨, 매칭 스코어 등)를 포함할 수 있다. 사용자 디바이스(560) 및 사용자(560A)는 상술한 사용자 디바이스 및 사용자와 유사할 수 있다.
오프라인 매칭 시스템(520 및 530)은 상술한 온라인 매칭 모델 시스템(440)과 유사한 방식으로 스텝을 수행할 수 있다. 오프라인 매칭 시스템(520 및 530)은 온라인 매칭 모델 시스템(440)이 동작하고 있지 않을 때 동작할 수 있다. 예를 들어, 오프라인 매칭 시스템(520 및 530)은 주기적으로(예로써, 매일) 및 온라인 매칭 모델 시스템(440)과 독립적으로 동작할 수 있다. 온라인 매칭 모델 시스템(440)은 판매자가 지연 없이 새 제품을 등록할 수 있도록 시간적 제약(예로써, 15분) 하에서 동작할 수 있다. 오프라인 매칭 시스템(520 및 530)은 시간적 제약 없이 동작할 수 있어서, 온라인 매칭 모델 시스템(440)의 기계 학습 모델 또는 다른 기계 학습 모델과 같을 수 있는, 오프라인 매칭 시스템(520 및 530)의 기계 학습 모델은 하나의 제품 쌍에 대한 단일 매칭 스코어 또는 제1 배치의 복수의 제품 및 제2 배치의 복수의 제품에 대한 매칭 스코어를 계산할 수 있다. 제품과 연관된 제품 정보(예로써, 제1 및 제2 배치)는 데이터베이스(516)에 저장될 수 있다. 데이터베이스(516)는 데이터베이스(416, 426, 436, 또는 446)에서와 같거나 유사한 데이터를 저장할 수 있다.
단일 제품 오프라인 매칭 시스템(520)은 후보 검색 시스템(640) 및 카테고리 예측 시스템(700)(도 7에 관하여 아래에 논의됨)을 포함할 수 있다. 일부 실시예에서, 후보 검색 시스템(600)은 사용자(예로써, 사용자(560A))에 의해 제출된 단일 제품 요청에 대한 후보를 생성하기 위해 검색 엔진(예로써, 엘라스틱서치)을 이용할 수 있다. 배치 제품 오프라인 매칭 시스템(530)은 후보 검색 시스템(650) 및 카테고리 예측 시스템(800)(도 8a에 관하여 아래에 논의됨)을 포함할 수 있다.
도 6을 참조하면, AI 기반 제품 통합 및 중복제거를 위한 후보 검색 시스템(640 및 650)의 예시적인 실시예를 나타낸 프로세스가 도시된다. 일부 실시예로써 도 4 또는 도 5에 도시된 하나 이상의 시스템이 여기에 설명된 여러 스텝들을 수행할 수 있지만, 다른 구현도 가능하다. 예를 들면, 본 명세서에서 설명되고 도시된 임의의 시스템 및 컴포넌트(예로써, 시스템(100) 등에 도시된 구성)가 이 개시에 설명된 스텝들을 수행할 수 있다.
스텝 601에서, 후보 검색 시스템(600)(예로써, 후보 검색 시스템(640 또는 650))은 사용자(예로써, 사용자 디바이스(560)를 통한 사용자(560A))로부터 하나 이상의 제품을 등록하도록 하나 이상의 새 요청을 수신할 수 있다. 후보 검색 시스템(600)은, 새 요청(들)과 함께, 등록될 제품(들)과 연관된 제품 정보 데이터(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)를 수신할 수 있다.
스텝 602에서, 후보 검색 시스템(600)은 등록될 제품(들)의 이미지를 추출할 수 있으며, 그리고, 스텝 603에서, 시스템(600)은 데이터베이스(620)에서 매칭 제품을 검색할 수 있다. 데이터베이스(620)는 상술한 데이터베이스들과 유사할 수 있으며, 인덱스된 제품 이미지를 포함할 수 있다.
스텝 611에서, 시스템(600)은 기존의 제품들로부터 모든 이미지를 추출할 수 있다. 스텝 612에서, 시스템(600)은 미리 결정된 임계값(예로써, 이미지 사이즈, 이미지가 연관될 수 있는 제품 수 등)에 기초하여 개개의 이미지 특징(예로써, 이미지 빈도 통계, 이미지 관련성 통계, 이미지 위치 빈도 통계, 이미지 사이즈 등)을 이용하여 비제품 이미지(예로써, 광고 이미지)를 걸러낼 수 있다. 스텝 613에서, 남은 이미지들은 데이터베이스(620)에서 인덱스되고 저장될 수 있다.
스텝 604에서, 시스템(600)은 데이터베이스(620)로부터 잠재적 매칭 제품을 검색할 수 있다. 스텝 605에서, 시스템(600)은 요청 제품(들) 및 잠재적 매칭 제품들의 이미지 특징을 계산하고 데이터베이스(630) 내에 그 특징을 저장할 수 있다. 데이터베이스(630)는 상술한 데이터베이스들과 유사할 수 있으며, 제품과 연관된 이미지 속성 및 특징을 포함할 수 있다. 유사하게, 스텝 614에서, 시스템(600)은 데이터베이스(620)에 저장된 이미지에 대한 이미지 특징을 계산하고 데이터베이스(630) 내에 그 이미지 특징을 저장할 수 있다.
계산될 수 있는 이미지 특징은 이미지의 중심점으로부터의 제곱 거리의 합, 이미지의 중심점으로부터의 제곱 거리의 평균, 이미지가 제1 이미지인지 여부, 이미지가 중간 이미지인지 여부, 이미지가 마지막 이미지인지 여부, 또는 위치 스코어(예로써, 총 이미지 수로 나뉜 이미지의 위치)를 포함한다. 이미지 특징은 또한 이미지 콘텐츠 사이즈(예로써, 이미지 해상도)의 로그, 이미지를 포함하는 제품의 총수, 이미지를 포함하는 판매자의 총수, 제품 수로 나뉜 콘텐츠 사이즈, 또는 판매자 수로 나뉜 콘텐츠 사이즈를 포함할 수 있다.
스텝 605에서, 매칭된 이미지 특징은 요청 제품(들)과 각각의 잠재적 매칭 제품의 쌍에 대해 계산될 수 있다. 예를 들어, 매칭된 이미지 특징은 총 이미지 수, 매칭된 이미지 수, 매칭된 이미지 퍼센티지, 총 콘텐츠 사이즈, 매칭된 콘텐츠 사이즈, 매칭된 콘텐츠 사이즈 퍼센티지, 또는 평균 제품 가격을 포함할 수 있다. 매칭된 특징의 수가 클수록, 요청 제품(들)과 잠재적 매칭 제품이 동일할 가능성이 높아진다.
스텝 606에서, 시스템(600)은 요청 제품(들)과 매칭될 수 있는 제품 후보를 예측하기 위해서 기계 학습 모델을 이용할 수 있다. 시스템(600)은 기존 제품의 계산된 특징을 이용하여 모델을 트레이닝시킬 수 있다. 예를 들어, 시스템(600)은 그 모델을 트레이닝시키기 위해 매칭된 이미지 콘텐츠 사이즈, 평균 이미지 위치 스코어, 또는 최고 특징값의 합을 이용할 수 있다. 그 모델은 분류 및 회귀 분석에 사용된 데이터를 분석하는, 연관 학습 알고리즘을 가지는 지도 학습 모델(예로써, 서포트 벡터 머신)일 수 있다. 시스템(600)은 동일함 또는 서로 다름으로 마크된 트레이닝 데이터 쌍에 기초하여 새로운 표본을 어느 하나의 카테고리에 할당하며, 그것이 비확률적인 이항 선형 분류자가 되게 하는 모델을 개발할 수 있다. 이 모델은 독립된 카테고리의 표본이 가능한 한 넓은 분명한 갭으로 나뉘도록, 공간 내 포인트로서 매핑된 표본을 나타낼 수 있다. 그 다음에 새로운 표본은 같은 공간에 매핑되고, 그것들이 놓인 갭 사이드에 기초하여 하나의 카테고리에 속하도록 예측된다. 이 모델은 고차원 특징 공간에 입력을 암묵적으로 매핑함으로써 비선형 분류를 효율적으로 수행할 수 있다.
스텝 607에서, 시스템(600)은 요청 제품(들)을 매칭시키도록 그 모델에 의해 예측된, 잠재적 제품 매칭 후보를, 카테고리 예측 시스템(700) 또는 사용자 디바이스(560)를 통한 사용자(560A)(예로써, 내부 직원)에게 전송할 수 있다. 사용자(예로써, 사용자(560A))는 제품 쌍을 랜덤으로 표본 추출하고 해당 제품이 동일함 또는 서로 다름으로 라벨링하며 그 모델을 재트레이닝시키기 위해 라벨링된 데이터를 이용할 수 있다.
일부 실시예에서, 데이터베이스(620 및 630) 및 스텝 611-614는 오프라인에서 그리고 스텝 601-607과 함께 동작할 수 있다.
도 7을 참조하면, AI 기반 제품 통합 및 중복제거를 위한 카테고리 예측 시스템(700)의 예시적인 실시예를 나타낸 프로세스가 도시된다. 일부 실시예로써 도 4 또는 도 5에 도시된 하나 이상의 시스템이 여기에 설명된 여러 스텝들을 수행할 수 있지만, 다른 구현도 가능하다. 예를 들면, 본 명세서에서 설명되고 도시된 임의의 시스템 및 컴포넌트(예로써, 시스템(100) 등에 도시된 구성)가 이 개시에 설명된 스텝들을 수행할 수 있다.
일부 실시예에서, 분류 모델(702)은 후보 검색 시스템(640)으로부터 매칭 텍스트 특징 또는 매칭 이미지 특징을 가지는 후보(701)를 수신할 수 있다. 트레이닝 데이터(703)는 모델 트레이너(704)를 이용하여 모델(702)을 트레이닝시키도록 이용될 수 있다. 트레이닝 데이터(703)는 시스템(410)의 트레이닝 데이터와 유사할 수 있으며 상술한 바와 같이 시스템(520)과 유사한 방식으로 전처리될 수 있다. 모델 트레이너(704)는 상술한 모델 트레이너(430)와 유사한 방식으로 모델(702)을 트레이닝시킬 수 있다.
예를 들어, 모델 트레이너(704)는 전처리된 트레이닝 데이터(703)로부터 합성 트레이닝 데이터를 수신할 수 있다. 시스템(700)은 한 쌍의 제품으로부터 키워드를 태그할 수 있다. 키워드를 태그하는 것은 키워드를 추출하고, 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 것을 포함할 수 있다. 예를 들어, 시스템(700)은 한 쌍의 제1 및 제2 제품과 연관된 제품 정보로부터 키워드를 추출하고, 미리 결정된 조건에 따라서 브랜드 이름과 연관된 키워드를 걸러내고, 브랜드 이름을 제외한 제1 및 제2 제품의 키워드를 저장할 수 있다. 시스템(700)은 데이터베이스(예로써, 데이터베이스(426))에 저장된 토큰 딕셔너리를 참조하고 키워드를 다수의 키워드로 분할할지 여부를 결정하도록 아호 코라식 알고리즘을 실행함으로써 키워드를 토큰화할 수 있다. 예를 들어, 특정 언어(예로써, 한국어)로 쓰여진 키워드는 공백 없이 하나의 텍스트 스트링으로 저장될 수 있다. (능숙한 화자라면 이러한 텍스트 스트링이 다양한 단어 조합들로 분할될 수 있음을 이해할 것이다.) 시스템(700)은 제1 및 제2 제품과 연관된 텍스트 내의 스트링의 한정된 세트(예로써, "딕셔너리")의 엘리먼트의 위치를 찾아내는, 딕셔너리 매칭 알고리즘인 아호 코라식 알고리즘을 실행할 수 있다. 이 알고리즘은, 시스템(700)이 저장된 딕셔너리에 리스트되지 않은 "스플릿" 단어들을 제거하면서 텍스트의 실제 키워드를 수집함으로써 키워드들을 추출할 수 있도록, 동시에 모든 스트링을 매칭시킨다. 키워드 토큰화는 기계 학습 모델을 둔화시키는 불필요한 단어들을 제거함으로써 제품 통합 및 중복제거를 증가시킬 수 있다.
시스템(700)은 임의의 방법들의 조합을 이용하여 제1 제품의 키워드를 처리할 수 있다. 예를 들어, 시스템(700)은 각 키워드를 그 기본형으로 줄임으로써 각 키워드에 대한 스테밍 프로세스를 수행할 수 있다. 예를 들어, 단어 "비(rain)", "비 옴(raining)" 및 "비 내림(rainfall)"은 공통 기본 형 "비"를 가진다. 키워드가 인덱싱될 때, 기본형이 인덱스에 저장되어, 키워드의 검색 관련성을 증가시킬 수 있다. 데이터베이스에 저장된 키워드는 인덱싱되고 스테밍된 키워드이다. 추가적으로, 시스템(700)은 각 키워드에 대한 유의어 검색을 수행하여, 키워드 검색 품질을 향상시킬 수 있다.
분류 모델(702)은 미리 결정된 임계값 보다 높은 후보(701)로 요청 제품의 매칭 스코어(705)(예로써, 시스템(400)의 매칭 스코어)를 결정할 수 있다. 비록 분류 모델(702)이 모든 제품 카테고리에 대해 학습하고 예측할 수 있는 단일 모델로서 도시되었지만, 분류 모델(702)은 각 모델이 서로 다른 제품 카테고리에 대해 트레이닝되는 복수의 모델을 포함할 수 있다. 분류 모델(702)은 회귀 및 분류 문제를 위해, 약한 예측 모델들의 조합(예로써, 의사 결정 트리(decision trees))의 형태로 예측 모델을 만들어 내는 그래디언트 부스팅 프레임워크(예로써, XGBoost, CatBoost 등)를 제공할 수 있다. 시스템(700)은 임의적인 디퍼런셜 손실 함수의 최적화(optimization)를 가능하게 함으로써 단계적 방식(stage-wise manner)으로 모델(702)을 개발하고 그 모델을 일반화할 수 있다.
시스템(700)은 매칭 스코어(705)에 기초하여 요청 제품이 기존의 제품과 동일한지 여부를 결정할 수 있다. 만일 요청 제품의 매칭 스코어(705)가 미리 결정된 임계값보다 높은 경우, 시스템(700)은 그때에 요청 제품이 기존의 제품과 동일하여 그 제품의 리스트와 합쳐져야 하는 것임을 결정할 수 있다. 만일 요청 제품의 매칭 스코어(705)가 미리 결정된 임계값보다 낮은 경우, 시스템(700)은 그때에 요청 제품이 기존의 어느 제품과도 다른 것임을 결정하고 요청 제품을 새로 등록된 제품으로서 리스트화를 진행할 수 있다.
도 8a를 참조하면, AI 기반 제품 통합 및 중복제거를 위한 카테고리 예측 시스템(800)의 예시적인 실시예를 나타낸 프로세스가 도시된다. 일부 실시예로써 도 4 또는 도 5에 도시된 하나 이상의 시스템이 여기에 설명된 여러 스텝들을 수행할 수 있지만, 다른 구현도 가능하다. 예를 들면, 본 명세서에서 설명되고 도시된 임의의 시스템 및 컴포넌트(예로써, 시스템(100) 등에 도시된 구성)가 이 개시에 설명된 스텝들을 수행할 수 있다.
시스템(800)은 후보 검색 시스템(650)으로부터 후보(801)를 수신하고 제품 클러스터(802)를 구성할 수 있다. 각 클러스터(802)의 제품들은 유사할 수 있다(예로써, 적어도 하나의 제품 이미지를 공유함). 시스템(800)은 상술한 토큰화와 유사한 방식으로 제품 클러스터(802)를 토큰화할 수 있다.
시스템(800)은 그 다음에 토큰 벡터(804)를 계산할 수 있다. 각 특징은 토큰 벡터(804)에 대한 차원(dimension)를 나타낼 수 있다. 특징은 캐릭터(예로써, "a", "b", "c" 등), 콘텍스트(예로써, 외국, 제품 클러스터에서 토큰의 그룹 스코어, 위치 스코어, 토큰을 포함하는 기존의 제품의 퍼센티지, 캐릭터 배치, 영숫자 이름공간에 포함된 서로 다른 판매자의 수, 영숫자 이름공간 신뢰도 스코어), 포맷(예로써, 금지 제품, 연령대, 성별, 옷 사이즈, 부동 소수점 수(floating number), 디지트, 영숫자 디지트, 영어 단어, 한국어 단어, 단어 길이, 무게, 길이, 볼륨, 수량 등), 통계(예로써, 요청 제품에 대한 공개된 속성에 토큰이 존재하는지, 토큰이 공개된 속성에 사용된 횟수, 이 토큰을 가진 판매자의 수, 이 토큰을 가진 제품의 수, 이 토큰을 가진 카테고리의 수, 토큰이 가장 많이 나타나는 위치, 공개된 속성 내 토큰의 퍼센티지 등), 위치(예로써, 브랜드 필드, 모델 넘버 필드, 검색 태그, 제조 필드, SKU 필드, 바코드 필드, CQI 브랜드 필드, 컬러 필드 등에서 얼마나 자주 표시되는가), 통계 비율(예로써, 글로벌 공개 수의 증가 속도, 평균 전체 위치 스코어의 증가 속도 등), 상대적 통계 비율(제품의 모든 토큰에 대한 평균 글로벌 토큰 수, 제품의 모든 토큰에 대한 최소 글로벌 토큰 수 등), 또는 일반 제품 쌍 레벨 특징(예로써, 정규화된 제품 식별 갭, 판매 가격 차이, 제품 클러스터의 전체 제품 수, 공유된 한국어 텍스트의 퍼센티지 등)을 포함할 수 있다.
도 8b를 참조하면, AI 기반 제품 통합 및 중복제거를 위한 토큰 벡터(804) 계산의 예시적인 실시예를 나타낸 프로세스가 도시된다.
도 8b에 도시된 바와 같이, 셀(820)은 요청 제품 및 후보 제품 양쪽으로부터의 7개의 매칭된 토큰을 나타내고, 셀(821)은 요청 제품으로부터의 10개의 매칭되지 않은 토큰을 나타내고, 그리고 셀(822)은 후보 제품 중 하나로부터의 5개의 매칭되지 않은 토큰을 나타낼 수 있다. 셀(823)은 요청 제품과 후보 제품 간에 매칭되는 상위 16개의 토큰을 나타낼 수 있다. 셀(823)은 16개 미만의 토큰이 매칭되는 경우 "널(NULL)" 셀을 포함할 수 있다. 셀(824)은 요청 제품으로부터 상위 8개의 매칭되지 않은 토큰을 나타내고, 셀(825)은 후보 제품으로부터 상위 8개의 매칭되지 않은 토큰을 나타낼 수 있다. 셀(824 및 825)는 8개 미만의 토큰이 매칭되지 않는 경우 "널"셀을 포함할 수 있다.
시스템(800)은 16×164 토큰 벡터(804)를 계산할 수 있다. 셀(826)은 각 차원이 하나의 토큰의 특징을 나타내는 경우의 164개의 차원을 포함할 수 있다. 셀(827)은 각 로우가 토큰의 벡터인 경우의 매칭된 토큰에 대한 차원을 나타낼 수 있다. 셀(828)은 각 로우가 토큰의 벡터인 경우의 매칭되지 않은 토큰에 대한 차원을 나타낼 수 있다. 셀(827 및 828)은 유사한 토큰들이 대략 같은 위치에 위치되도록 미리 결정된 룰에 의해 정렬될 수 있다. 시스템(800)은 1×5253 차원 벡터를 계산하도록 토큰 벡터(804)의 일반 아이템 쌍 레벨 특징을 평탄화(flatten) 하여 전치 부가(pre-append)할 수 있다.
도 8a를 다시 참조하여, 시스템(800)은 제품 쌍 레벨 토큰 매칭 텐서(805) 및 제품 쌍 레벨 일반 특징 벡터 텐서(806)를 구성할 수 있다.
도 8ca, 8cb, 8cc, 8d, 8e, 및 8f를 참조하면, AI 기반 제품 통합 및 중복제거를 위해 특징들을 하나의 벡터(807)로 통합하는 예시적인 실시예를 나타낸 프로세스가 도시된다.
도 8ca, 8cb, 및 8cc는 프로세스 800CA, 801CA, 800CB, 및 800CC를 포함할 수 있다. 도 8d, 8e, 및 8f는 각각 프로세스 800D, 800E, 및 800F를 포함할 수 있다. 도 8ca, 8cb, 8cc 및 8d에 도시된 바와 같이, 텐서(805)는 중요 토큰에 포커싱하기 위한 쿼리 콘텍스트 어텐션(query-context attention)을 가질 수 있다. 텐서(805)의 제1 레이어는 커널 1×124를 가지는 콘볼루션 레이어를 사용하고, 토큰 벡터를 보다 밀도가 높은 벡터로 임베딩시킬 수 있다. 시스템(800)은 요청 제품과 후보 제품의 매칭되지 않은 토큰에 대한 중요 토큰을 찾기 위해 커스터마이즈된 쿼리 콘텍스 어텐션 레이어를 이용할 수 있다. 시스템(800)은 최종 1차원 출력을 만들어내기 위해 보다 많은 콘볼루션 레이어를 이용하여, 요청 제품과 후보 제품의 어텐션 결과의 중요도를 조정하도록 하이웨이 레이어(highway layer)를 이용할 수 있다.
예를 들면, 프로세스 800CA에서, 시스템(800)은 차원 벡터(예로써, 도 8b의 1×5253 차원 벡터)를 두 개의 토큰 벡터(예로써, 1×5 벡터 및 32×164 벡터)로 리샤프(resharpen) 할 수 있다. 프로세스 801CA에서, 시스템(800)은 하나의 토큰 벡터를 밀도가 높은 벡터(예로써, 1×32 벡터)로 임베딩시킬 수 있다. 프로세스 801CA에서, 시스템(800)은 차원(예로써, 164 차원)을 포함할 수 있는 토큰 벡터(예로써, 32×164 벡터)를 계산할 수 있으며, 여기서 토큰 벡터의 각 컬럼은 토큰 벡터의 차원을 나타내는 토큰의 특징이다. 토큰 벡터는, 각 로우가 토큰의 벡터인 경우, 한 쌍의 제품에 대한 매칭 콘텍스트를 갖는 매칭된 토큰에 대한 차원(예로써, 16개의 차원)을 포함할 수 있다. 토큰 벡터는 또한, 각 로우가 토큰의 벡터인 경우, 요청 제품의 토큰에 대한 차원(예로써, 8개의 차원) 및 후보 제품의 토큰에 대한 차원(예로써, 8개의 차원)을 갖는 매칭되지 않은 토큰에 대한 차원(예로써, 16개의 차원)을 포함할 수 있다.
프로세스 800CB에서, 시스템(800)은 x-방향 콘볼루션 신경망(X-CNN) 및 y-방향 콘볼루션 신경망(Y-CNN)을 포함할 수 있다. X-CNN은 토큰 벡터 레벨 상의 중요 토큰에 포커싱하기 위한 쿼리-콘텍스트 어텐션을 포함할 수 있다. X-CNN은 토큰 벡터를 보다 밀도가 높은 벡터로 임베딩시킬 수 있는 큰 커널(big kernel)(예로써, 1×124)을 가지는 제1 콘볼루션 레이어를 포함할 수 있다. X-CNN은 요청 제품 및 후보 제품의 매칭되지 않은 토큰에 대해 포커싱해야 하는 중요 토큰을 찾기 위해 커스터마이즈된 쿼리-콘텍스트 어텐션 레이어를 이용할 수 있다.
Y-CNN은 특징 레벨 매칭에 대한 중요 특징에 포커싱할 수 있다. 프로세스 800CB에서, 시스템(800)은 y-방향에서 큰 커널(예로써, 32×1, 124×1)을 가지는 콘볼루션 레이어를 이용할 수 있다. 첫 두 개의 콘볼루션 레이어는 큰 커널 사이즈(예로써, 32×1, 124×1)를 가지고, 반면에 나머지 레이어는 작은 커널 사이즈(예로써, 2×2, 3×3, 4×4 등)를 가질 수 있다. Y-CNN은 요청 제품 및 후보 제품의 매칭되지 않은 토큰에 대해 포커싱해야 하는 중요 토큰을 찾기 위해 커스터마이즈된 쿼리-콘텍스트 어텐션 레이어를 이용할 수 있다. 프로세스 800CC에서, 시스템(800)은 X-CNN 및 Y-CNN의 결과를 이용하여 결합된 벡터를 계산할 수 있다. 시스템(800)은 쿼리-콘텍스트 어텐션 결과의 중요도를 조정하기 위해 하이웨이 레이어를 이용하고, 최종 1차원 출력을 계산하기 위해 보다 많은 콘볼루션 레이어를 이용할 수 있다.
프로세스 800D 및 800E는 상술한 프로세스 800CA, 801CA, 800CB, 및 800CC와 유사한 방식으로 동작하는 프로세스를 포함할 수 있다. 도 8e에 도시된 바와 같이, 텐서(806)는 수직(예로써, y) 방향에서 큰 커널(예로써, 32×1, 124×1)을 가지는 콘볼루션 레이어를 이용함으로써 중요 특징에 포커싱할 수 있다. 첫 두 개의 콘볼루션 레이어는 큰 커널을 가지고, 반면에 나머지 레이어는 작은 커널(예로써, 2×2, 3×3, 4×4 등)을 가질 수 있다.
도 8f에 도시된 바와 같이, 시스템(800)은 프로세스 800F에서 어텐션을 위한 가중치 매트릭스 WC 및 WD 및 게이팅 메커니즘(gating mechanism)을 위한 가중치 매트릭스 WG and WT를 이용함으로써 쿼리-콘텍스트 어텐션을 행할 수 있다. 도 8f에 도시된 바와 같이, 시스템(800)은 변환 콘텍스트 매트릭스(예로써, 16×32)를 산출하기 위해 콘텍스트 매트릭스(예로써, 16×32)와 가중치 매트릭스 Wc(예로써, 32×32)의 내적(dot product)을 계산할 수 있다. 시스템(800)은 쿼리(예로써, 요청 제품) 매트릭스(예로써, 8×32)의 각 로우 및 변환 콘텍스트 매트릭스의 각 로우의 내적을 계산하고, 매트릭스(예로써, 8×16)를 산출하기 위해 각 로우의 길이 "K"로 나눌 수 있다. 시스템(800)은 매트릭스의 각 로우에 대해 소프트맥스(softmax)를 적용할 수 있다. 시스템(800)은, 매트릭스의 각 로우의 모든 값에 대해, 변환 콘텍스트 매트릭스에서 대응하는 로우를 곱할 수 있다. 예를 들어, 제1 값은 변환 콘텍스트 매트릭스의 제2 로우가 곱해질 수 있고, 콘텍스트 매트릭스는 (예로써, 32 컬럼을 가지는) 하나의 로우를 만들어 내기 위해 수직 방향으로 합해질 수 있다. 모든 로우의 프로세싱 결과로 새 매트릭스(예로써, 8×32)가 발생할 수 있다.
프로세스 800F에서, 시스템(800)은 변환 쿼리 매트릭스(예로써, 8×32)를 산출하기 위해 쿼리 매트릭스와 매트리스 Wd (예로써, 32×32)의 내적을 계산할 수 있다. 시스템(800)은 변환 쿼리 매트릭스의 각 로우 및 후보 매트릭스의 각 로우의 내적을 계산하고, 새 매트릭스(예로써, 8×8)를 산출하기 위해 각 로우의 길이 "K"로 나눌 수 있다. 시스템(800)은 매트릭스의 각 로우에 대해 소프트맥스를 적용할 수 있다. 시스템(800)은, 각 로우의 모든 값에 대해, 변환 쿼리 매트릭스에서 대응하는 로우를 곱할 수 있다. 예를 들어, 제1 값은 변환 콘텍스트 매트릭스의 제1 로우가 곱해질 수 있고, 제2 값은 변환 쿼리 매트릭스의 제2 로우가 곱해질 수 있으며, 매트릭스(예로써, 8×32)는 (예로써, 32 컬럼을 가지는) 하나의 로우를 만들어 내기 위해 수직 방향으로 합해질 수 있다. 모든 로우의 프로세싱 결과로 새 매트릭스(예로써, 8×32)가 발생할 수 있다. 시스템(800)은 단일 매트릭스(예로써, 8×64)를 산출하기 위해 처리된 변환 콘텍스트 매트리스와 처리된 변환 쿼리 매트릭스를 결합할 수 있다. 시스템(800)은 단일 매트릭스에서 가중치를 조정하기 위해 추가 게이트 레이어를 추가할 수 있다.
도 8a를 다시 참조하여, 예측 모델(808)은 통합된 벡터(807)에 기초하여 복수의 요청 제품 및 복수의 후보 제품 간에 매칭 스코어를 결정할 수 있다. 시스템(800)은 미리 결정된 임계값보다 높은 매칭 스코어에 기초하여 예측된 제품 쌍(809)을 결정할 수 있다. 시스템(800)은 매칭 스코어에 기초하여 요청 제품이 기존의 제품과 동일한지 여부를 결정할 수 있다. 만일 매칭 스코어가 미리 결정된 임계값보다 높은 경우, 시스템(800)은 그때에 요청 제품이 기존의 제품과 동일하여 그 제품의 리스트와 합쳐져야 하는 것임을 결정할 수 있다. 만일 매칭 스코어가 미리 결정된 임계값보다 낮은 경우, 시스템(800)은 그때에 요청 제품이 기존의 어느 제품과도 다른 것임을 결정하고 요청 제품을 새로 등록된 제품으로서 리스트화를 진행할 수 있다.
일부 실시예에서, 온라인 매칭 모델 시스템(440)과 달리, 오프라인 매칭 시스템(520 및 530)은 시간적 제약 없이 동작할 수 있기 때문에, 더 비싼 계산 로직(예로써, 그래디언트 부스팅, 콘볼루션 신경망 등)을 이용할 수 있다. 상술한 온라인 매칭 모델 시스템(440)과 유사하게, 오프라인 매칭 시스템(420)의 기계 학습 모델은 제1 및 제2 배치의 제품과 연관된 제품 정보로부터 복수의 키워드를 태그하고, 제1 및 제2 배치의 제품들의 임의의 조합 간에 복수의 매칭 스코어를 결정할 수 있다. 매칭 스코어는, 온라인 매칭 시스템(410)에 대해 상술한 바와 같이, 태그된 키워드를 이용하여 계산될 수 있다. 기계 학습 모델은 매칭 스코어가 (온라인 매칭 시스템(410)에 대해 상술한 바와 같이) 미리 결정된 임계값보다 높은 경우 매칭 스코어와 연관된 제품들이 동일한 것임을 결정할 수 있다. 기계 학습 모델은 제품을 통합하고 중복제거하기 위해서 연관 리스트로부터 제1의 동일한 제품을 제거하고, 제1의 동일한 제품을 제2의 동일한 제품과 연관된 리스트에 추가할 수 있다. 기계 학습 모델은 제품의 임의 수 또는 조합을 위해 이러한 스텝을 동시에 수행할 수 있다.
도 9를 참조하면, AI 기반 제품 통합 및 중복제거를 위한 태그된 데이터(900)의 샘플이 도시된다. 시스템(예로써, 시스템(100), 시스템(400), 시스템(500) 등)은 제품의 브랜드(910), 성별(912), 슈 타입(914), 컬러(916), 사이즈(918) 및 모델 넘버(920)와 연관된 키워드를 추출할 수 있다. 시스템은 모델 넘버와 연관된 키워드를 걸러내기 위한 미리 결정된 조건에 따라서 모델 넘버(920)와 연관된 키워드를 걸러낼 수 있다. 추출된 키워드(910, 912, 914, 916, 및 918)는 제품 통합 및 중복제거를 위해 이용될 수 있다. 도 9에 도시된 특정 키워드는 예시일 뿐이며; 보다 많거나, 보다 적거나, 또는 다른 키워드가 다양한 실시예에서 이용될 수 있다.
도 10을 참조하면, AI를 이용하여 제품을 통합하고 중복제거하는 프로세스가 도시된다. 일부 실시예로써 도 4 또는 도 5에 도시된 하나 이상의 시스템이 여기에 설명된 여러 스텝들을 수행할 수 있지만, 다른 구현도 가능하다. 예를 들면, 본 명세서에서 설명되고 도시된 임의의 시스템 및 컴포넌트(예로써, 시스템(100) 등에 도시된 구성)가 이 개시에 설명된 스텝들을 수행할 수 있다.
스텝 1001에서, 시스템(400)은 사용자 디바이스(460)를 통한 사용자(460A)로부터 제1 제품을 등록하도록 적어도 하나의 새 요청을 수신할 수 있다. 시스템(400)은, 새 요청과 함께, 등록될 제1 제품과 연관된 제품 정보 데이터(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)를 수신할 수 있다. 시스템(400)은 제1 제품과 연관된 제품 정보 데이터로부터 키워드를 이용하여 제2 제품에 대해 데이터베이스(446)를 검색할 수 있다. 시스템(400)은 그 다음에 제1 및 제2 제품의 공유된 또는 유사한 키워드에 기초하여 데이터베이스(446)에서의 적어도 하나의 제2 제품(예로써, 100개의 제2 제품)이 제1 제품과 유사한 것임을 결정할 수 있다. 시스템(400)의 기계 학습 모델은 적어도 하나의 제2 제품과 연관된 제품 정보(예로써, 제품 식별 번호, 카테고리 ID, 제품명, 제품 이미지 URL, 제품 브랜드, 제품 설명, 제조자, 판매자, 속성, 모델 넘버, 바코드 등)를 수집할 수 있다. 데이터베이스(446) 내의 제2 제품은, 현재 적어도 한 명의 판매자에 등록되어 있는 제품일 수 있다.
스텝 1003에서, 기계 학습 모델은 그 다음에 제1 및 제2 제품으로부터 키워드를 태그할 수 있다. 키워드를 태그하는 것은 키워드를 추출하고 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 것을 포함할 수 있다. 예를 들어, 기계 학습 모델은 제1 및 제2 제품과 연관된 제품 정보로부터 키워드를 추출하고, 미리 결정된 조건에 따라서 브랜드 이름과 연관된 키워드를 걸러내고, 브랜드 이름을 제외한 제1 및 제2 제품의 키워드를 저장할 수 있다.
스텝 1005에서, 기계 학습 모델은 제1 제품과 각각의 제2 제품 간의 매칭 스코어를 결정할 수 있다. 매칭 스코어는 제1 제품 및 제2 제품과 연관된 태그된 키워드를 이용함으로써 결정될 수 있다. 매칭 스코어는 임의 조합의 방법들(예로써, 엘라스틱서치, 자카드, 나이브 베이즈, W-CODE, ISBN, 등)을 이용하여 계산될 수 있다. 예를 들어, 매칭 스코어는 제1 제품의 키워드와 제2 제품의 키워드 간에 스펠링 유사도를 측정함으로써 계산될 수 있다. 일부 실시예에서, 매칭 스코어는 제1 제품 및 제2 제품 간에 공유된 키워드의 수에 기초하여 계산될 수 있다.
스텝 1007에서, 기계 학습 모델은 매칭 스코어가 미리 결정된 임계값을 넘는 경우(예로써, 최고 매칭 스코어를 가지고 최소 수의 매칭 속성을 가지는 제2 제품, 최고 매칭 스코어와 연관된 제2 제품, 최고 매칭 스코어를 가지고 특정 가격 범위 내의 가격을 가지는 제2 제품 등), 제1 제품은 제2 제품 중 하나와 동일한 것임을 결정할 수 있다. 기계 학습 모델은 제1 제품이 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 데이터베이스(446)를 수정하여, 해당 제품을 단일 리스트로 합쳐서 제품 중복을 방지할 수 있다.
스텝 1009에서, 기계 학습 모델은 매칭 스코어가 미리 결정된 임계값을 충족하지 않는 경우 제1 제품은 제2 제품 중 어느 것도 아님을 결정할 수 있다. 기계 학습 모델은 그때에 제1 제품은 제2 제품 중 어느 것도 아님을 나타내는 데이터를 포함하도록 데이터베이스(446)를 수정하여, 제1 제품을 별개의 새로운 리스트로서 리스트화할 수 있다.
스텝 1011에서, 기계 학습 모델은 그 다음에 제1 제품을 등록하고, 제1 제품의 등록을 나타내는 웹페이지를 수정하고, 그리고 제1 제품과 연관된 제품 정보, 제2 제품과 연관된 제품 정보, 및 매칭 스코어에 기초하여 기계 학습 모델을 업데이트할 수 있다.
본 개시는 그 특정 실시예를 참조하여 도시되고 설명되었지만, 본 개시는 다른 환경에서, 변경없이, 실시될 수 있음을 이해할 것이다. 전술한 설명은 예시의 목적으로 제시되었다. 그것은 개시된 정확한 형태나 실시예에 대해 총망라된 것이 아니며 이것으로 한정되는 것은 아니다. 개시된 실시예의 설명 및 실시를 고려하는 것으로부터 변경 및 조정이 통상의 기술자에게 명백할 것이다. 추가적으로, 비록 개시된 실시예의 형태가 메모리에 저장되는 것으로서 설명되었지만, 통상의 기술자는 이들 형태가 2차 저장 디바이스, 예를 들면, 하드디스크나 CD ROM, 또는 다른 형태의 RAM이나 ROM, USB 매체, DVD, 블루레이, 또는 다른 광 드라이브 매체와 같이, 다른 형태의 컴퓨터 판독 가능한 매체에 저장될 수도 있는 것을 이해할 것이다.
상술한 설명 및 개시된 방법에 기초한 컴퓨터 프로그램은 숙련된 개발자의 기술 내에 있다. 여러 프로그램 혹은 프로그램 모듈은 통상의 기술자에게 알려진 어느 기술을 이용하여 생성되거나, 또는 기존의 소프트웨어와 연결하여 설계될 수 있다. 예를 들면, 프로그램 섹션 혹은 프로그램 모듈은 닷넷 프레임워크, 닷넷 컴팩트 프레임워크(및 비주얼 베이식, C 등과 같은, 관련 언어), 자바, C++, 오브젝티브 C, HTML, HTML/AJAX 조합, XML, 또는 자바 애플릿이 포함된 HTML 내에서 혹은 그것들에 의해서 설계될 수 있다.
게다가, 여기에서는 예시적인 실시예가 설명되었지만, 본 개시에 기초하여 통상의 기술자가 이해할 수 있는 바와 같이, 일부 또는 모든 실시예의 범위는 동등한 요소, 변경, 생략, 조합(예로써, 여러 실시예에 걸치는 형태의 조합), 조정 및/또는 수정을 가질 수 있다. 청구범위 내의 제한 사항은 그 청구범위 내에 적용된 언어에 기초하여 폭넓게 이해되도록 하는 것이며, 응용의 수행 동안 혹은 본 명세서 내에 설명된 예시로 한정되는 것은 아니다. 그 예시는 비배타적으로 해석되도록 하기 위한 것이다. 추가로, 개시된 방법의 스텝은 어떤 다른 방법으로 변경되거나, 스텝을 재배열 및/또는 스텝을 삽입하거나 삭제하는 것을 포함할 수 있다. 그러므로, 설명 및 예시는 오직 예시적으로 고려되는 것이며, 진정한 범위 및 기술 사상은 다음의 청구범위 및 그 동등한 전체 범위에 의해 나타내지는 것으로 의도된다.

Claims (20)

  1. AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 구현 시스템으로서,
    명령을 저장하는 메모리; 및
    상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하며,
    상기 명령은:
    제1 제품을 등록하도록 적어도 하나의 요청을 수신하고;
    상기 제1 제품과 연관된 제품 정보를 수신하고;
    제2 제품에 대해 적어도 하나의 데이터 저장소를 검색하고;
    기계 학습 모델을 이용하여, 상기 제2 제품과 연관된 제품 정보를 수집하고;
    상기 기계 학습 모델을 이용하여, 상기 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하고 상기 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하며 - 상기 태그하는 것은 상기 제1 및 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 것을 포함함 - ;
    상기 기계 학습 모델을 이용하여, 상기 태그된 키워드를 벡터 표시로 변환하고 - 상기 벡터 표시는 상기 태그된 키워드의 영숫자 문자와 연관됨 - ;
    상기 기계 학습 모델을 이용하여, 상기 태그된 키워드의 분류화에 기초하여 상기 벡터 표시에 서로 다른 가중치를 할당하고;
    상기 기계 학습 모델을 이용하여, 상기 제1 제품 및 상기 제2 제품과 연관된 상기 태그된 키워드의 상기 가중치가 할당된 벡터 표시를 이용함으로써, 상기 제1 제품 및 상기 제2 제품 간의 매칭 스코어를 결정하고;
    상기 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 상기 기계 학습 모델을 이용하여, 상기 제1 제품은 상기 제2 제품과 동일한 것임을 결정하고, 상기 제1 제품이 상기 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 상기 적어도 하나의 데이터 저장소를 수정하며;
    상기 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 상기 기계 학습 모델을 이용하여, 상기 제1 제품은 상기 제2 제품이 아님을 결정하고, 상기 제1 제품이 상기 제2 제품이 아님을 나타내는 데이터를 포함하도록 상기 적어도 하나의 데이터 저장소를 수정하며;
    상기 제1 제품을 등록하고; 그리고
    상기 제1 제품의 등록을 포함하도록 웹페이지를 수정하는 것인 컴퓨터 구현 시스템.
  2. 청구항 1에 있어서,
    상기 제1 제품과 연관된 제품 정보 및 상기 제2 제품과 연관된 제품 정보는 제조자, 판매자, 제품명, 브랜드, 가격, 이미지 URL, 모델 넘버, 또는 카테고리 ID 중 적어도 하나를 포함하는 컴퓨터 구현 시스템.
  3. 청구항 1에 있어서,
    상기 제1 제품과 연관된 제품 정보는 적어도 하나의 제품 정보 데이터를 상기 제2 제품과 연관된 제품 정보와 공유하는 컴퓨터 구현 시스템.
  4. 삭제
  5. 청구항 1에 있어서,
    상기 추출하는 것은 적어도 하나의 키워드를 토큰화하는 것을 포함하는 컴퓨터 구현 시스템.
  6. 청구항 1에 있어서,
    상기 매칭 스코어를 계산하는 것은 키워드의 스펠링에 기초하는 것인 컴퓨터 구현 시스템.
  7. 청구항 1에 있어서,
    상기 매칭 스코어를 계산하는 것은 상기 제1 및 제2 제품에 의해 공유된 키워드의 수에 기초하는 것인 컴퓨터 구현 시스템.
  8. 청구항 1에 있어서,
    상기 매칭 스코어를 계산하는 것은 상기 제1 제품과 연관된 확률 스코어 및 상기 제2 제품과 연관된 확률 스코어에 기초하는 것인 컴퓨터 구현 시스템.
  9. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는 상기 제1 제품과 연관된 제품 정보, 상기 제2 제품과 연관된 제품 정보, 및 상기 매칭 스코어에 기초하여 상기 기계 학습 모델을 업데이트하기 위한 명령을 실행하도록 더 구성되는 컴퓨터 구현 시스템.
  10. AI를 이용하여 제품을 통합하고 중복제거하는 방법으로서,
    제1 제품을 등록하도록 적어도 하나의 요청을 수신하는 스텝;
    상기 제1 제품과 연관된 제품 정보를 수신하는 스텝;
    제2 제품에 대해 적어도 하나의 데이터 저장소를 검색하는 스텝;
    기계 학습 모델을 이용하여, 상기 제2 제품과 연관된 제품 정보를 수집하는 스텝;
    상기 기계 학습 모델을 이용하여, 상기 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하고 상기 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하는 스텝 - 상기 태그하는 스텝은 상기 제1 및 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 추출하는 스텝, 및 상기 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 스텝을 포함함 - ;
    상기 기계 학습 모델을 이용하여, 상기 태그된 키워드를 벡터 표시로 변환하는 스텝 - 상기 벡터 표시는 상기 태그된 키워드의 영숫자 문자와 연관됨 - ;
    상기 기계 학습 모델을 이용하여, 상기 태그된 키워드의 분류화에 기초하여 상기 벡터 표시에 서로 다른 가중치를 할당하고;
    상기 기계 학습 모델을 이용하여, 상기 제1 제품 및 상기 제2 제품과 연관된 상기 태그된 키워드의 상기 가중치가 할당된 벡터 표시를 이용함으로써, 상기 제1 제품 및 상기 제2 제품 간의 매칭 스코어를 결정하는 스텝;
    상기 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 상기 기계 학습 모델을 이용하여, 상기 제1 제품은 상기 제2 제품과 동일한 것임을 결정하고, 상기 제1 제품이 상기 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 상기 적어도 하나의 데이터 저장소를 수정하는 스텝;
    상기 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 상기 기계 학습 모델을 이용하여, 상기 제1 제품은 상기 제2 제품이 아님을 결정하고, 상기 제1 제품이 상기 제2 제품이 아님을 나타내는 데이터를 포함하도록 상기 적어도 하나의 데이터 저장소를 수정하는 스텝;
    상기 제1 제품을 등록하는 스텝; 및
    상기 제1 제품의 등록을 포함하도록 웹페이지를 수정하는 스텝을 포함하는 방법.
  11. 청구항 10에 있어서,
    상기 제1 제품과 연관된 제품 정보 및 상기 제2 제품과 연관된 제품 정보는 제조자, 판매자, 제품명, 브랜드, 가격, 이미지 URL, 모델 넘버, 또는 카테고리 ID 중 적어도 하나를 포함하는 방법.
  12. 청구항 10에 있어서,
    상기 제1 제품과 연관된 제품 정보는 적어도 하나의 제품 정보 데이터를 상기 제2 제품과 연관된 제품 정보와 공유하는 방법.
  13. 삭제
  14. 청구항 10에 있어서,
    상기 추출하는 스텝은 적어도 하나의 키워드를 토큰화하는 스텝을 포함하는 방법.
  15. 청구항 10에 있어서,
    상기 매칭 스코어를 계산하는 것은 키워드의 스펠링에 기초하는 것인 방법.
  16. 청구항 10에 있어서,
    상기 매칭 스코어를 계산하는 것은 상기 제1 및 제2 제품에 의해 공유된 키워드의 수에 기초하는 것인 방법.
  17. 청구항 10에 있어서,
    상기 매칭 스코어를 계산하는 것은 상기 제1 제품과 연관된 확률 스코어 및 상기 제2 제품과 연관된 확률 스코어에 기초하는 것인 방법.
  18. 청구항 10에 있어서,
    상기 제1 제품과 연관된 제품 정보, 상기 제2 제품과 연관된 제품 정보, 및 상기 매칭 스코어에 기초하여 상기 기계 학습 모델을 업데이트하는 스텝을 더 포함하는 방법.
  19. AI 기반 제품 통합 및 중복제거를 위한 컴퓨터 구현 시스템으로서,
    명령을 저장하는 메모리; 및
    상기 명령을 실행하도록 구성된 적어도 하나의 프로세서를 포함하며,
    상기 명령은:
    제1 제품을 등록하도록 적어도 하나의 요청을 수신하고;
    상기 제1 제품과 연관된 제품 정보를 수신하고;
    제2 제품에 대해 적어도 하나의 데이터 저장소를 검색하고;
    제1 기계 학습 모델을 이용하여, 상기 제2 제품과 연관된 제품 정보를 수집하고;
    상기 제1 기계 학습 모델을 이용하여, 상기 제1 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하고 상기 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 태그하며 - 상기 태그하는 것은 상기 제1 및 제2 제품과 연관된 제품 정보로부터 적어도 하나의 키워드를 추출하고, 상기 추출된 키워드를 미리 결정된 조건에 기초하여 필터링하는 것을 포함함 - ;
    상기 제1 기계 학습 모델을 이용하여, 상기 태그된 키워드를 벡터 표시로 변환하고 - 상기 벡터 표시는 상기 태그된 키워드의 영숫자 문자와 연관됨 - ;
    상기 제1 기계 학습 모델을 이용하여, 상기 태그된 키워드의 분류화에 기초하여 상기 벡터 표시에 서로 다른 가중치를 할당하고;
    상기 제1 기계 학습 모델을 이용하여, 상기 제1 제품 및 상기 제2 제품과 연관된 상기 태그된 키워드의 상기 가중치가 할당된 벡터 표시를 이용하여 제1 유사도 스코어를 계산함으로써, 상기 제1 제품 및 상기 제2 제품 간의 제1 매칭 스코어를 결정하고;
    상기 제1 매칭 스코어가 미리 결정된 제1 임계값보다 높은 경우, 상기 제1 기계 학습 모델을 이용하여, 상기 제1 제품은 상기 제2 제품과 동일한 것임을 결정하고, 상기 제1 제품이 상기 제2 제품과 동일한 것임을 나타내는 데이터를 포함하도록 상기 적어도 하나의 데이터 저장소를 수정하며;
    상기 제1 매칭 스코어가 미리 결정된 제1 임계값보다 낮은 경우, 상기 제1 기계 학습 모델을 이용하여, 상기 제1 제품은 상기 제2 제품이 아님을 결정하고, 상기 제1 제품이 상기 제2 제품이 아님을 나타내는 데이터를 포함하도록 상기 적어도 하나의 데이터 저장소를 수정하며;
    상기 제1 제품을 등록하고;
    상기 제1 제품의 등록을 포함하도록 웹페이지를 수정하며;
    제2 기계 학습 모델을 이용하여, 복수의 제3 제품과 연관된 제품 정보를 수집하고;
    상기 제2 기계 학습 모델을 이용하여, 상기 복수의 제3 제품과 연관된 제품 정보로부터 복수의 키워드를 태그하고;
    상기 제2 기계 학습 모델을 이용하여, 상기 복수의 제3 제품과 연관된 태그된 키워드를 이용함으로써, 상기 복수의 제3 제품 간의 복수의 제2 매칭 스코어를 결정하고;
    상기 복수의 제2 매칭 스코어 중 어느 하나가 상기 미리 결정된 제1 임계값보다 높은 경우, 상기 제2 기계 학습 모델을 이용하여, 상기 제2 매칭 스코어와 연관된 제3 제품들은 동일한 것임을 결정하고, 동일한 제3 제품들을 중복제거하며; 그리고
    상기 동일한 제3 제품들의 중복제거를 포함하도록 상기 웹페이지를 수정하는 것인 컴퓨터 구현 시스템.
  20. 청구항 19에 있어서,
    상기 중복제거는:
    연관 리스트로부터 제1의 동일한 제3 제품을 제거하고; 그리고
    상기 제1의 동일한 제3 제품을 제2의 동일한 제3 제품과 연관된 리스트에 추가하는 것을 포함하는 컴퓨터 구현 시스템.
KR1020200054710A 2020-03-30 2020-05-07 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법 KR102354395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220007288A KR20220012396A (ko) 2020-03-30 2022-01-18 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/834,051 US20210304121A1 (en) 2020-03-30 2020-03-30 Computerized systems and methods for product integration and deduplication using artificial intelligence
US16/834,051 2020-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020220007288A Division KR20220012396A (ko) 2020-03-30 2022-01-18 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210121990A KR20210121990A (ko) 2021-10-08
KR102354395B1 true KR102354395B1 (ko) 2022-01-21

Family

ID=77856257

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200054710A KR102354395B1 (ko) 2020-03-30 2020-05-07 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법
KR1020220007288A KR20220012396A (ko) 2020-03-30 2022-01-18 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020220007288A KR20220012396A (ko) 2020-03-30 2022-01-18 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법

Country Status (6)

Country Link
US (1) US20210304121A1 (ko)
JP (1) JP2023519031A (ko)
KR (2) KR102354395B1 (ko)
SG (1) SG11202104711PA (ko)
TW (2) TW202248929A (ko)
WO (1) WO2021198761A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210342761A1 (en) * 2020-04-30 2021-11-04 Hexagon Technology Center Gmbh System for mapping model, cost, and schedule of large-scale capital project
US11847106B2 (en) * 2020-05-12 2023-12-19 Hubspot, Inc. Multi-service business platform system having entity resolution systems and methods
US11361147B2 (en) * 2020-06-26 2022-06-14 Davide De Guz Method and system for automatic customization of uniform resource locators (URL) by extracting a URL or a content containing one or more URLs and replacing with one or more customized URLs
US20220067280A1 (en) * 2020-08-25 2022-03-03 Microsoft Technology Licensing, Llc Multi-token embedding and classifier for masked language models
US11797590B2 (en) * 2020-09-02 2023-10-24 Microsoft Technology Licensing, Llc Generating structured data for rich experiences from unstructured data streams
US20220138772A1 (en) * 2020-10-30 2022-05-05 Ncr Corporation Platform-Based Cross-Retail Product Categorization
US20220245677A1 (en) * 2021-01-30 2022-08-04 Pubwise, LLLP De-duplication of online advertising requests
US20230136886A1 (en) * 2021-10-29 2023-05-04 Maplebear Inc. (Dba Instacart) Incrementally updating embeddings for use in a machine learning model by accounting for effects of the updated embeddings on the machine learning model
CN114090526B (zh) * 2022-01-19 2022-04-08 广东省出版集团数字出版有限公司 一种云教育资源管理系统
KR20230162351A (ko) * 2022-05-20 2023-11-28 쿠팡 주식회사 아이템 관련 상세 정보를 제공하는 이미지 관리를 위한 전자 장치 및 그 방법
KR102607872B1 (ko) * 2022-12-29 2023-11-29 주식회사 바이스퀘어 인공지능을 이용한 광고주 상품의 포털 사이트별 핵심 키워드 및 연관 키워드 추천 시스템

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082426B2 (en) * 1993-06-18 2006-07-25 Cnet Networks, Inc. Content aggregation method and apparatus for an on-line product catalog
US6728695B1 (en) * 2000-05-26 2004-04-27 Burning Glass Technologies, Llc Method and apparatus for making predictions about entities represented in documents
KR100490442B1 (ko) * 2002-03-16 2005-05-17 삼성에스디에스 주식회사 벡터문서모델을 이용한 동일/유사제품 클러스트링 장치 및그 방법
US8671120B1 (en) * 2003-01-22 2014-03-11 Amazon Technologies, Inc. Method and system for manually maintaining item authority
US8868554B1 (en) * 2004-02-26 2014-10-21 Yahoo! Inc. Associating product offerings with product abstractions
CN102193936B (zh) * 2010-03-09 2013-09-18 阿里巴巴集团控股有限公司 一种数据分类的方法及装置
US8666984B2 (en) * 2011-03-18 2014-03-04 Microsoft Corporation Unsupervised message clustering
US8930307B2 (en) * 2011-09-30 2015-01-06 Pure Storage, Inc. Method for removing duplicate data from a storage array
CN103106585B (zh) * 2011-11-11 2016-05-04 阿里巴巴集团控股有限公司 产品信息的实时去重方法和装置
CN103577989B (zh) * 2012-07-30 2017-11-14 阿里巴巴集团控股有限公司 一种基于产品识别的信息分类方法及信息分类系统
US10210553B2 (en) * 2012-10-15 2019-02-19 Cbs Interactive Inc. System and method for managing product catalogs
KR102215436B1 (ko) * 2014-02-26 2021-02-16 십일번가 주식회사 쇼핑몰의 동일 상품 판별 장치 및 방법
CN104915440B (zh) * 2015-06-26 2018-12-11 苏宁易购集团股份有限公司 一种商品排重方法和系统
US9858481B2 (en) * 2015-11-23 2018-01-02 Lexmark International, Inc. Identifying consumer products in images
US10867336B2 (en) * 2016-12-14 2020-12-15 Facebook, Inc. Method, media, and system for product clustering
KR102179890B1 (ko) * 2017-12-07 2020-11-17 최윤진 텍스트 데이터 수집 및 분석을 위한 시스템
CN108388555A (zh) * 2018-02-01 2018-08-10 口碑(上海)信息技术有限公司 基于行业类别的商品去重方法及装置
US10949475B2 (en) * 2018-05-14 2021-03-16 Ebay Inc. Search system for providing web crawling query prioritization based on classification operation performance
CN109584006B (zh) * 2018-11-27 2020-12-01 中国人民大学 一种基于深度匹配模型的跨平台商品匹配方法

Also Published As

Publication number Publication date
KR20220012396A (ko) 2022-02-03
JP2023519031A (ja) 2023-05-10
US20210304121A1 (en) 2021-09-30
TW202137109A (zh) 2021-10-01
SG11202104711PA (en) 2021-11-29
WO2021198761A1 (en) 2021-10-07
KR20210121990A (ko) 2021-10-08
TWI778481B (zh) 2022-09-21
TW202248929A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
KR102354395B1 (ko) 인공 지능을 이용한 제품 통합 및 중복제거를 위한 컴퓨터 시스템 및 방법
KR102350982B1 (ko) 인공 지능을 이용한 제품 분류를 위한 컴퓨터 시스템 및 방법
KR20220102551A (ko) 인공지능을 사용하여 데이터베이스 파라미터를 최적화하기 위한 컴퓨터화된 시스템 및 방법
KR102330819B1 (ko) 경합하는 신경 캐릭터 언어 모델에 기초한 단어 분할을 위한 시스템 및 방법
KR20220116028A (ko) 피처 저장소에 저장하고 기계 학습에 사용하기 위한 데이터를 처리하기 위한 시스템 및 방법
US20220215452A1 (en) Systems and method for generating machine searchable keywords
US20220164359A1 (en) Systems and method for generating search terms
KR20240007737A (ko) 제품 추천을 생성하기 위해 인공 지능을 사용하는 컴퓨터 시스템 및 방법
KR20230107496A (ko) 제품 타이틀로부터 속성을 지능적으로 추출하기 위한시스템 및 방법
KR20230139285A (ko) 결정론적 또는 추론적 접근에 기초한 최고의 대안 제품을 식별하는 시스템 및 방법
KR102459120B1 (ko) 제품 타이틀을 이용한 지능적 제품 분류를 위한 시스템 및 방법
KR102425536B1 (ko) 컨텍스트 관련 검색 결과 생성을 위한 시스템 및 방법
KR102354732B1 (ko) 제품 타이틀 부정확성을 검출하기 위한 컴퓨터화된 시스템 및 방법
KR102466233B1 (ko) 제품 타이틀로부터 수량의 지능적 추출을 위한 시스템 및 방법
KR20210146835A (ko) 사기 검출 및 사용자 계정 중복 제거를 위한 컴퓨터화된 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant