KR102639021B1 - 오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템 - Google Patents
오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR102639021B1 KR102639021B1 KR1020230048263A KR20230048263A KR102639021B1 KR 102639021 B1 KR102639021 B1 KR 102639021B1 KR 1020230048263 A KR1020230048263 A KR 1020230048263A KR 20230048263 A KR20230048263 A KR 20230048263A KR 102639021 B1 KR102639021 B1 KR 102639021B1
- Authority
- KR
- South Korea
- Prior art keywords
- review
- predefined
- reviews
- open market
- nth
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012552 review Methods 0.000 claims abstract description 404
- 238000013528 artificial neural network Methods 0.000 claims abstract description 134
- 238000012549 training Methods 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0282—Rating or review of business operators or products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템이 개시된다. 적어도 하나의 서버에 의해 수행되는 오픈마켓 게시 제품 평점 개선을 위한 방법은, 오픈마켓 게시 제품의 리뷰들 중 미리 정의된 평점 이하의 검토 대상 리뷰들 및 각각의 검토 대상 리뷰를 작성한 사용자의 미리 정의된 정보를 획득하는 단계; 각각의 검토 대상 리뷰에 대하여, 제n 검토 대상 리뷰의 제1-n 입력을 생성하는 단계; 미리 학습된 제1 인공 신경망에 제1-n 입력을 적용하여 제1-n 출력을 획득하는 단계; 제1-n 출력이 미리 정의된 제1 분류에 속하는 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송하는 단계; 및 제1-n 출력이 미리 정의된 제1 분류에 속하지 않는 경우, 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송하는 단계를 포함한다. 미리 정의된 요청은 오픈마켓 게시 제품의 대표 평점 집계 시 제n 검토 대상 리뷰의 평점을 제외하는 요청을 포함한다.
Description
아래 실시예들은 오픈마켓 판매자를 위한 오픈마켓 게시 제품의 키워드 마케팅, 리뷰, 컨텐츠 등을 개선하는 기술에 관한 것이다. 구체적으로, 실시예들은 오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템에 관한 것이다.
오픈마켓을 이용하는 소비자들은 제품 구매 의사결정을 위해 게시 제품에 대한 리뷰 및 평점을 활발하게 이용하고 있다. 소비자는 오픈마켓에서 구매한 제품에 대한 리뷰를 작성하고 평점을 매길 수 있다. 리뷰 및 평점은 오픈마켓에 표시된다. 오픈마켓은 소비자들의 평점을 집계하여 게시 제품의 대표 평점을 산정하여 표시한다.
게시 제품의 대표 리뷰는 게시 제품의 매출에 큰 영향을 미치므로, 일반적으로 오픈마켓들은 판매자를 위한 리뷰 검토 요청 시스템을 구비하고 있다. 오픈마켓은 게시 제품의 대표 평점에 반영하는 리뷰들에 대한 정책을 가지고 있다. 판매자가 리뷰 검토를 요청할 경우, 오픈마켓은 해당 리뷰가 배송 불만 관련 리뷰, 제품의 품질과 관련 없는 악성 리뷰 등인지를 검토할 수 있다. 리뷰가 제품 품질과 직접적으로 관련이 없는 내용일 경우, 해당 리뷰의 평점을 게시 제품의 대표 평점 산정 시 제외할 수 있다. 종래에는 판매자의 인력을 통해 게시 제품들에 대한 리뷰들을 일일이 체크하여 리뷰 검토 요청이 이루어져 왔다. 이에 따라 수많은 제품을 관리하는 판매자의 경우, 악성 리뷰에 발빠르게 대처하지 못하는 한계가 있었다.
한편, 실시예들과 관련된 배경기술로, 대한민국 등록특허공보 KR 10-2351745 B1은 사용자 리뷰 기반 평점 재산정 장치 및 방법을 개시한다. 선행문헌의 방법은 분석 대상에 존재하는 사용자 리뷰 및 제1 평점을 포함하는 리뷰 데이터를 수집하는 리뷰 데이터 수집부와, 상기 리뷰 데이터 수집부에서 수집된 리뷰 텍스트 데이터 중 사용자 리뷰에서 문장 분리 및 형태소 분석을 수행하여, 불용어 처리가 된 문장을 세트로 분리하는 전처리부와, 상기 전처리부에서 분리된 각 세트당 수식어를 추출해 똑같은 수식어가 들어간 데이터베이스에 있는 리뷰들의 평점을 모은 뒤, 그 평균을 산출하는 용어사전 처리부와, 상기 용어사전 처리부에서 산출된 평균을 기준으로 긍정/부정을 분류하는 리뷰 유닛 분류부와, 상기 리뷰 유닛 분류부에서 분류된 긍정/부정정보를 이용하여 긍정 및 부정의 개수를 기반으로 제2 평점을 생성하는 평점 생성부를 포함한다. 문장 단위의 분석을 사용하되 사용자의 평점을 추가 적용하여 문장을 선별적으로 사용함으로써, 분석의 용이성과 결과의 신뢰성을 향상시킨다.
또한, 대한민국 등록특허공보 KR 10-2020756 B1은 머신러닝을 이용한 리뷰 분석 방법을 개시한다. 선행문헌의 방법은 앱 리뷰에 대한 감성분석과 감성을 나타내게 한 원인요인을 도출하며, 앱 스토어 리뷰에 최적화된 처리방법을 제공하는 머신러닝을 이용한다. 이를 통해, 모바일 앱의 특성과 속성을 반영할 수 있는 분류체계가 확보되어 모바일 서비스에 특화된 리뷰 분석이 가능하며, 카테고리에 따른 앱 속성 분석 및 분류를 반영한 리뷰 감성분석 알고리즘을 적용하여 신뢰도가 향상된 리뷰 분석 방법을 제공한다.
그러나 선행문헌들은 판매자의 인력을 통해 게시 제품들에 대한 리뷰들을 일일이 체크하여 오픈마켓 운영자에게 리뷰 검토 요청을 진행하는 방식을 자동화하는 방법 및 시스템을 개시하지 않는다. 또한, 선행문헌들은 평점이 낮은 리뷰 중 제품 품질과 관련 없는 리뷰(배송 불만 리뷰, 악성 리뷰 등)와 제품 품질에 불만을 가진 리뷰를 구별할 수 있는 인공 신경망의 학습 방법 및 시스템을 개시하지 않는다. 나아가, 선행문헌들은 제품 품질에 불만이 있어 평점이 낮은 리뷰를 작성한 소비자들에게 자동으로 환불 제안을 발송하고, 환불을 희망하는 소비자가 있을 경우 자동 알림을 받을 수 있는 방법 및 시스템을 개시하지 않는다. 이에 따라, 상기 선행문헌들에 개시·시사·암시되지 않은 기술적 과제를 해결하기 위한 기술의 구현이 요청된다.
실시예들은 판매자의 인력을 통해 게시 제품들에 대한 리뷰들을 일일이 체크하여 오픈마켓 운영자에게 리뷰 검토 요청을 진행하는 방식을 자동화하는 방법 및 시스템을 제공하고자 한다.
실시예들은 평점이 낮은 리뷰 중 제품 품질과 관련 없는 리뷰(배송 불만 리뷰, 악성 리뷰 등)와 제품 품질에 불만을 가진 리뷰를 구별할 수 있는 인공 신경망의 학습 방법 및 시스템을 제공하고자 한다.
실시예들은 제품 품질에 불만이 있어 평점이 낮은 리뷰를 작성한 소비자들에게 자동으로 환불 제안을 발송하고, 환불을 희망하는 소비자가 있을 경우 자동 알림을 받을 수 있는 방법 및 시스템을 제공하고자 한다.
이외에도, 실시예들은 본 명세서에서 드러나는 기술분야의 과제들을 해결하기 위한 방법 및 장치를 제공하고자 한다.
일실시예에 따른 적어도 하나의 서버에 의해 수행되는 오픈마켓 게시 제품 평점 개선을 위한 방법은, 오픈마켓 게시 제품의 리뷰들 중 미리 정의된 평점 이하의 검토 대상 리뷰들 및 각각의 검토 대상 리뷰를 작성한 사용자의 미리 정의된 정보를 획득하는 단계; 상기 각각의 검토 대상 리뷰에 대하여, 제n 검토 대상 리뷰의 제1-n 입력을 생성하는 단계; 미리 학습된 제1 인공 신경망에 상기 제1-n 입력을 적용하여 제1-n 출력을 획득하는 단계; 상기 제1-n 출력이 미리 정의된 제1 분류에 속하는 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송하는 단계; 및 상기 제1-n 출력이 상기 미리 정의된 제1 분류에 속하지 않는 경우, 상기 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송하는 단계를 포함하고, 상기 미리 정의된 요청은 상기 오픈마켓 게시 제품의 대표 평점 집계 시 상기 제n 검토 대상 리뷰의 평점을 제외하는 요청을 포함할 수 있다.
일실시예에 따르면, 상기 오픈마켓 게시 제품 평점 개선을 위한 방법은 상기 제n 사용자의 환불 제안에 대한 응답을 획득하는 단계; 상기 응답을 기초로 제2-n 입력을 생성하는 단계; 미리 학습된 제2 인공 신경망에 상기 제2-n 입력을 적용하여 제2-n 출력을 획득하는 단계; 및 상기 제2-n 출력이 미리 정의된 제2 분류에 속하는 경우, 상기 오픈마켓 게시 제품의 게사자에게 미리 정의된 알림을 전송하는 단계를 더 포함할 수 있다.
일실시예에 따르면, 상기 제1 인공 신경망은 오픈마켓 게시 제품의 리뷰를 기초로 생성된 입력을 적용했을 때, 리뷰가 배송 불만 관련 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 추론하여 출력하도록 학습되고, 상기 미리 정의된 제1 분류는 상기 배송 불만 관련 리뷰 및 상기 제품과 관련 없는 악성 리뷰를 포함할 수 있다.
일실시예에 따르면, 상기 제2 인공 신경망은 환불 제안에 대한 사용자의 응답을 기초로 생성된 입력을 적용했을 때, 상기 사용자가 환불을 원하는지 여부를 추론하여 출력하도록 학습되고, 상기 미리 정의된 제2 분류는 환불을 원하는 사용자를 포함하고, 상기 미리 정의된 알림은 상기 제n 사용자가 환불을 원한다는 내용을 포함할 수 있다.
일실시예에 따른 오픈마켓 게시 제품 평점 개선을 위한 시스템은 적어도 하나의 서버를 포함하고, 상기 적어도 하나의 서버가 수행하는 동작은, 오픈마켓 게시 제품의 리뷰들 중 미리 정의된 평점 이하의 검토 대상 리뷰들 및 각각의 검토 대상 리뷰를 작성한 사용자의 미리 정의된 정보를 획득하고, 상기 각각의 검토 대상 리뷰에 대하여, 제n 검토 대상 리뷰의 제1-n 입력을 생성하고, 미리 학습된 제1 인공 신경망에 상기 제1-n 입력을 적용하여 제1-n 출력을 획득하고, 상기 제1-n 출력이 미리 정의된 제1 분류에 속하는 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송하고, 상기 제1-n 출력이 상기 미리 정의된 제1 분류에 속하지 않는 경우, 상기 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송하는 동작을 포함하고, 상기 미리 정의된 요청은 상기 오픈마켓 게시 제품의 대표 평점 집계 시 상기 제n 검토 대상 리뷰의 평점을 제외하는 요청을 포함할 수 있다.
실시예들은 판매자의 인력을 통해 게시 제품들에 대한 리뷰들을 일일이 체크하여 오픈마켓 운영자에게 리뷰 검토 요청을 진행하는 방식을 자동화하는 방법 및 시스템을 제공할 수 있다.
실시예들은 평점이 낮은 리뷰 중 제품 품질과 관련 없는 리뷰(배송 불만 리뷰, 악성 리뷰 등)와 제품 품질에 불만을 가진 리뷰를 구별할 수 있는 인공 신경망의 학습 방법 및 시스템을 제공할 수 있다.
실시예들은 제품 품질에 불만이 있어 평점이 낮은 리뷰를 작성한 소비자들에게 자동으로 환불 제안을 발송하고, 환불을 희망하는 소비자가 있을 경우 자동 알림을 받을 수 있는 방법 및 시스템을 제공할 수 있다.
한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일실시예에 따른 시스템의 구성의 예시도이다.
도 2는 일실시예에 따른 시스템의 오픈마켓 게시 제품 평점 개선 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 시스템의 환불 요청 확인 및 알림 동작 설명하기 위한 도면이다.
도 4는 일실시예에 따른 제1 인공 신경망 학습 및 적용 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 제2 인공 신경망 학습 및 적용 동작을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 인공 신경망 학습을 설명하기 위한 도면이다.
도 7은 일실시예 따른 장치의 구성의 예시도이다.
도 2는 일실시예에 따른 시스템의 오픈마켓 게시 제품 평점 개선 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 시스템의 환불 요청 확인 및 알림 동작 설명하기 위한 도면이다.
도 4는 일실시예에 따른 제1 인공 신경망 학습 및 적용 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 제2 인공 신경망 학습 및 적용 동작을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 인공 신경망 학습을 설명하기 위한 도면이다.
도 7은 일실시예 따른 장치의 구성의 예시도이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용 시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓일 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일실시예에 따른 시스템의 구성의 예시도이다.
일실시예에 따른 시스템은 오픈마켓 서버(101), 제1 단말(111), 제2 단말(112) 및 적어도 하나의 서버(131)를 포함할 수 있다. 오픈마켓 서버(101), 적어도 하나의 서버(131) 및 단말들(111, 112)은 네트워크에 연결되어 유무선 통신을 통해 데이터를 교환할 수 있다.
오픈마켓 서버(101)는 오픈마켓 운영자에 의해 운영될 수 있다. 오픈마켓 서버(131)는 단말들(111, 112) 및 적어도 하나의 서버(131)와 유무선으로 통신하도록 구성될 수 있다. 오픈마켓 서버(101)는 오픈마켓 운영을 위한 통상의 기능을 수행할 수 있다.
오픈마켓 서버(101)는 오픈마켓 웹사이트 또는 어플리케이션(102)과 연동될 수 있다. 오픈마켓 웹사이트 또는 어플리케이션(102)은 판매자 계정이 업로드한 게시 제품 및 그에 대한 리뷰와 평점을 표시할 수 있다. 오픈마켓 웹사이트 또는 어플리케이션(102)은 게시 제품 검색, 제품 구매 및 구매 제품 배송 조회 등을 위한 통상의 기능을 포함할 수 있다. 오픈마켓 웹사이트 또는 어플리케이션(102)은 리뷰 및 평점 작성 기능을 포함할 수 있다.
적어도 하나의 서버(131)는 일실시예 따른 방법을 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고; 클라우드 서버일 수도 있고; 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 적어도 하나의 서버(131)는 단일한 물리적 장치가 아닐 수 있으며, 복수의 물리적 장치로 구성되어 있을 수 있다. 이하에서는 설명의 편의를 위해 적어도 하나의 서버(131)를 서버(131)로 약칭한다.
서버(131)는 통상의 컴퓨터가 가지는 연산 기능, 저장/조회 기능, 입출력 기능, 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 서버(131)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망 또는 머신러닝 모델을 구비할 수 있다. 서버(131)는 오픈마켓 서버(101) 및 제2 단말(112)과 유무선으로 통신하도록 구성될 수 있다.
서버(131)는 웹사이트 또는 어플리케이션(132)과 연동될 수 있다. 판매자 계정은 웹사이트 또는 어플리케이션(132)을 통해 오픈마켓 게시 제품의 키워드 마케팅, 리뷰, 컨텐츠 등을 개선하기 위한 기능을 제공받을 수 있다. 서버(131) 및 웹사이트 또는 어플리케이션(132)을 통해 이루어지는 구체적인 동작은 도 2 내지 6을 참조하여 후술된다.
단말들(111, 112)은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 가령, 도 1과 같이, 제1 단말(111)은 스마트폰일 수 있고, 제2 단말(112)은 데스크탑일 수 있다. 그러나 이는 예시일 뿐이며, 단말들(111, 112)의 종류는 실시예에 따라 얼마든지 달라질 수 있다.
사용자들(121, 122)은 사람 또는 단체가 사용하는 계정을 의미한다. 제1 사용자(121)는 오픈마켓 웹사이트 또는 어플리케이션(102)을 이용하는 소비자 계정일 수 있다. 제2 사용자(122)는 오픈마켓 웹사이트 또는 어플리케이션(102)에 제품을 게재하고, 웹사이트 또는 어플리케이션(132)에서 제공하는 서비스를 이용하는 판매자 계정일 수 있다.
이하, 제1 사용자(121)가 로그인한 단말을 제1 단말(111), 제2 사용자(122)가 로그인한 단말을 제2 단말(112)이라고 부른다. 제1 단말(111)과 제2 단말(112)은 어떤 종류의 계정이 로그인해 있는지에 따라 단말들을 구분하는 것일 뿐이며, 서로 구분되는 하드웨어적 구성을 가질 필요는 없다. 제1 단말(111)과 제2 단말(112)의 하드웨어 종류는 동일하여도 무방하다.
단말들(111, 112)은 각 서버(101, 131)와 연동된 웹사이트에 접속하거나, 각 서버(101, 131)와 연동된 어플리케이션이 설치될 수 있다. 사용자들(121, 122)은 각 웹사이트 또는 어플리케이션(102, 132)에 회원가입 및 로그인할 수 있다. 로그인 상태의 사용자들(121, 122)은 각 웹사이트 또는 어플리케이션(102, 132)에서 각 사용자별로 제공하는 기능 및 각 서버(101, 131)에 저장된 사용자 고유 정보에 접근할 권한을 가진다. 단말들(111, 112)은 각 웹사이트 또는 어플리케이션(102, 132)을 거치지 않고도, 알림 설정 또는 API 등의 수단을 통해 각 서버(101, 131)로부터 데이터를 받을 수 있다.
제1 사용자(121)는 오픈마켓에서 제품을 구매할 수 있다. 제1 사용자(121)는 구매한 제품에 대한 리뷰를 작성하고 평점을 매길 수 있다. 리뷰 및 평점은 오픈마켓 웹사이트 또는 어플리케이션(102)에 표시될 수 있다. 오픈마켓 서버(101)는 소비자 계정들의 평점을 집계하여 게시 제품의 대표 평점을 산정할 수 있다.
제2 사용자(122)는 오픈마켓 웹사이트 또는 어플리케이션(102)을 통해 오픈마켓에 제품을 게시할 수 있다. 오픈마켓 게시 제품 정보는 오픈마켓 서버(101)에 저장될 수 있다. 오픈마켓 게시 제품 정보는 제품명, 제품 카테고리, 이미지/영상/텍스트를 포함한 컨텐츠, 가격 등의 정보를 포함할 수 있다. 또한, 제2 사용자(122)는 게시 제품들의 마케팅 캠페인을 진행할 수 있다.
한편, 설명의 편의를 위해 도 1에서는 두 단말(111, 112) 및 사용자(121, 122)만을 도시했으나, 단말 및 사용자의 수는 얼마든지 많아질 수 있다. 각 서버(101, 131)의 처리 용량이 허용하는 한, 단말 및 사용자의 수는 특별한 제한이 없다.
이하에서, 서버(131)의 동작을 중심으로 실시예가 기술되며, 실시예들은 통신의 주체나 양상에 의해 제한되지 않고 다양한 응용예가 채용될 수 있다. 도 2를 참조하여, 시스템의 오픈마켓 게시 제품 평점 개선 동작과 관련된 실시예가 설명된다. 도 3을 참조하여, 시스템의 환불 요청 확인 및 알림 동작과 관련된 실시예가 설명된다. 도 4를 참조하여, 제1 인공 신경망 학습 및 적용 동작과 관련된 실시예가 설명된다. 도 5를 참조하여, 제2 인공 신경망 학습 및 적용 동작과 관련된 실시예가 설명된다. 도 6을 참조하여, 인공 신경망의 학습 동작과 관련된 실시예가 설명된다.
도 2는 일실시예에 따른 시스템의 오픈마켓 게시 제품 평점 개선 동작을 설명하기 위한 도면이다.
우선, 서버(131)는 제2 사용자(122)가 로그인한 제2 단말(112)로부터 오픈마켓 게시 제품의 리뷰 분석 요청을 수신할 수 있다(210).
제1 사용자(121)는 오픈마켓에서 제품을 구매할 수 있다. 제1 사용자(121)는 구매한 제품에 대한 리뷰를 작성하고 평점을 매길 수 있다. 리뷰 및 평점은 오픈마켓 웹사이트 또는 어플리케이션(102)에 표시될 수 있다.
오픈마켓 서버(101)는 소비자 계정들의 평점을 집계하여 게시 제품의 대표 평점을 산정할 수 있다. 게시 제품의 대표 리뷰는 게시 제품의 매출에 큰 영향을 미치므로, 오픈마켓 웹사이트 또는 어플리케이션(102)은 일반적으로 판매자 계정을 위한 리뷰 검토 요청 시스템을 구비하고 있으며, 게시 제품의 대표 평점에 반영하는 리뷰들을 선별하는 정책을 가지고 있다. 가령, 오픈마켓 웹사이트 또는 어플리케이션(102)는 판매자 계정이 리뷰 검토를 요청할 경우, 해당 리뷰가 배송 불만 관련 리뷰 또는 제품의 품질과 관련 없는 악성 리뷰인지를 검토할 수 있다. 해당 리뷰가 배송 불만 관련 리뷰 또는 제품의 품질과 관련 없는 악성 리뷰로 판단될 경우, 해당 리뷰의 평점을 대표 평점 산정 시 제외할 수 있다. 종래에는 판매자의 인력을 통해 게시 제품들에 대한 리뷰들을 일일이 체크하여 리뷰 검토 요청이 이루어져 왔다.
서버(131)는 종래 인력으로 이루어지던 작업의 자동화를 제공할 수 있다. 제2 사용자(122)는 웹사이트 또는 어플리케이션(132)를 통해 오픈마켓 게시 제품에 대한 리뷰 분석을 요청할 수 있다. 서버(131)는 오픈마켓 게시 제품에 대한 리뷰 분석 요청을 수신하고, 제2 사용자(122)로부터 오픈마켓 게시 제품에 대한 리뷰 및 관련 정보를 수집할 권한을 획득할 수 있다.
다음으로, 서버(131)는 오픈마켓 서버(101)로부터 오픈마켓 게시 제품의 리뷰 및 관련 정보를 획득할 수 있다(220).
구체적으로, 서버(131)는 오픈마켓 서버(101)로부터 오픈마켓 게시 제품의 리뷰들 중 미리 정의된 평점 이하의 검토 대상 리뷰들을 획득할 수 있다. 미리 정의된 평점은, 가령, 5점 만점 중 3점 이하일 수 있다. 미리 정의된 평점은 실시예에 따라 달리 채용될 수 있다. 서버(131)는 각각의 검토 대상 리뷰를 작성한 사용자의 미리 정의된 정보도 함께 획득할 수 있다. 미리 정의된 정보는 사용자 아이디, 연락처 등을 포함할 수 있다.
서버(131)는 오픈마켓 서버(101)에서 판매자 계정의 오픈마켓 게시 제품에 대한 리뷰 및 관련 정보를 수집할 권한을 제2 사용자(122)로부터 미리 승인받을 수 있다. 제2 사용자(122)로부터 권한을 얻은 서버(131)는 오픈마켓 서버(101)에서 제공하는 API 등을 통해 판매자 계정의 오픈마켓 게시 제품의 리뷰 및 관련 정보를 획득할 수 있다. 또는, 서버(131)는 오픈마켓 웹사이트 또는 어플리케이션(102)을 크롤링하여 판매자 계정의 오픈마켓 게시 제품의 리뷰 및 관련 정보를 획득할 수 있다.
이하, 서버(131)는 각각의 검토 대상 리뷰에 대하여, 도 2 및 3을 참조하여 후술되는 동작들을 반복 수행할 수 있다. 설명의 편의를 위해, 총 N개의 검토 대상 리뷰가 있다고 했을 때, 서버(131)가 임의의 제 n번째 검토 대상 리뷰에 대해 수행하는 동작을 설명한다.
이어서, 서버(131)는 각각의 검토 대상 리뷰에 대하여, 제n 검토 대상 리뷰의 제1-n 입력을 생성할 수 있다(230).
제1-n 입력은 제1 인공 신경망에 적용하기 위한 입력일 수 있다. 제1 인공 신경망은 리뷰 문장 또는 문단을 구성하는 형태소들을 입력받아, 리뷰가 배송 불만 관련 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 추론하여 출력할 수 있다.
제1-n 입력은 리뷰 문장 또는 문단을 형태소 단위로 분해한 형태소의 리스트일 수 있다. 서버(131)는 리뷰 문장 또는 문단을 형태소 단위로 분해하는 룰(rule), 머신러닝 모델, 인공 신경망 등 통상의 기술을 통해 제n 검토 대상 리뷰를 제1-n 입력으로 정리할 수 있다. 보다 구체적인 인공 신경망 학습 동작은 도 4 및 6을 참조하여 후술된다.
이어지는 순서로, 서버(131)는 미리 학습된 제1 인공 신경망에 제1-n 입력을 적용하여 제1-n 출력을 획득할 수 있다(240).
서버(131)는 제1 인공 신경망에 형태소 리스트인 제1-n 입력을 적용할 수 있다. 형태소들은 순차적으로 입력될 수도 있고, 한꺼번에 입력될 수도 있다. 제1 인공 신경망은 형태소 리스트를 입력 받고 내부 추론값을 연산할 수 있다. 내부 추론값은 다른 형태소들과 함께 제1 인공 신경망의 입력으로 사용될 수 있다. 제1 인공 신경망은 모든 형태소들을 입력 받은 후 최종 추론값을 출력할 수 있다. 제1 인공 신경망은 리뷰가 배송 불만 관련 리뷰일 확률, 제품과 관련 없는 악성 리뷰일 확률, 또는 그 외 리뷰일 확률에 대한 각각의 추론값을 제1-n 출력으로 반환할 수 있다. 보다 구체적인 인공 신경망 적용 동작은 도 4를 참조하여 후술된다.
다음으로, 서버(131)는 제1-n 출력이 미리 정의된 제1 분류에 속하는 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송할 수 있다(250).
미리 정의된 제1 분류는 오픈마켓 운영자가 오픈마켓 게시 제품의 대표 리뷰 산정 시 제외하는 리뷰의 범주들일 수 있다. 구체적으로, 제1 분류는 배송 불만 관련 리뷰와 제품의 품질과 관련 없는 악성 리뷰를 포함할 수 있다. 제1 분류는 오픈마켓 운영자가 오픈마켓 게시 제품의 대표 리뷰 산정 시 제외하는 리뷰 범주들이 어떻게 되는지에 따라 달라질 수 있다.
제1-n 출력은 리뷰가 배송 불만 관련 리뷰일 확률, 제품과 관련 없는 악성 리뷰일 확률, 또는 그 외 리뷰일 확률에 대한 각각의 추론값일 수 있다. 서버(131)는 제1-n 출력 중 가장 큰 값을 제n 검토 대상 리뷰의 범주로 추정할 수 있다. 서버(131)는 제n 검토 대상 리뷰의 범주가 제1 분류에 속할 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송할 수 있다. 미리 정의된 요청은 오픈마켓 게시 제품의 대표 평점 집계 시 제n 검토 대상 리뷰의 평점을 제외하는 요청을 포함할 수 있다.
오픈마켓 운영자는 제n 검토 대상 리뷰를 검토할 수 있다. 제n 검토 대상 리뷰가 “오픈마켓 운영자가 오픈마켓 게시 제품의 대표 리뷰 산정 시 제외하는 리뷰 범주들”에 속하는 것으로 판단된 경우, 오픈마켓 운영자는 오픈마켓 게시 제품의 대표 평점 집계 시 제n 검토 대상 리뷰의 평점을 제외하게 된다. 제n 검토 대상 리뷰가 제1 분류에 속하는 것으로 추정되므로, 제2 사용자(122)는 오픈마켓 게시 제품의 대표 평점 집계 시 평점이 낮은 제n 검토 대상 리뷰의 평점은 제외될 것으로 기대할 수 있다.
한편, 서버(131)는 제1-n 출력이 미리 정의된 제1 분류에 속하지 않는 경우, 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송할 수 있다(260).
제1-n 출력이 미리 정의된 제1 분류에 속하지 않는 경우, 검토 대상 리뷰를 작성한 소비자는 제품 하자에 불만이 있는 것으로 해석될 수 있다. 이에 대응하기 위해, 서버(131)는 제1-n 출력이 제1 분류에 속하지 않는 경우, 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송할 수 있다. 서버(131)는 오픈마켓 서버(101)로 환불 제안을 전송할 수 있다. 오픈마켓 서버(101)는 오픈마켓 웹사이트 또는 어플리케이션(102)에 갖추어진 통상의 판매자-소비자 커뮤니케이션 기능을 통해 제n 사용자에게 제2 사용자(122)의 환불 제안을 전달할 수 있다.
이상을 통해, 종래 판매자의 인력을 통해 게시 제품들에 대한 리뷰들을 일일이 체크하여 오픈마켓 운영자에게 리뷰 검토 요청을 진행하던 방식을 자동화할 수 있다. 서버(131)는 오픈마켓 게시 제품의 제n 검토 대상 리뷰가 제1 분류에 속하는 것으로 추정될 경우, 오픈마켓 운영자에게 오픈마켓 게시 제품의 대표 평점 집계 시 제n 검토 대상 리뷰의 평점을 제외하는 요청을 전송할 수 있다. 제n 검토 대상 리뷰는 “오픈마켓 운영자가 오픈마켓 게시 제품의 대표 리뷰 산정 시 제외하는 리뷰 범주들”에 속할 확률이 높으므로, 제2 사용자(122)는 오픈마켓 게시 제품의 대표 평점 집계 시 평점이 낮은 제n 검토 대상 리뷰의 평점은 제외될 것으로 기대할 수 있다. 이를 통해, 오픈마켓 게시 제품의 대표 평점이 개선될 것으로 기대할 수 있다.
한편, 제n 검토 대상 리뷰가 제1 분류에 속하지 않는 경우, 제n 사용자는 환불을 원할 수 있으므로, 서버(131)는 환불 제안을 자동으로 발송할 수 있다. 이를 통해, 판매자는 종래 인력으로 일일이 작업해야 하던 사항을 자동으로 해결할 수 있어 업무 효율성을 높일 수 있다.
도 3은 일실시예에 따른 시스템의 환불 요청 확인 및 알림 동작 설명하기 위한 도면이다.
우선, 서버(131)는 제n 사용자의 환불 제안에 대한 응답을 획득할 수 있다(310).
제n 사용자는 오픈마켓 웹사이트 또는 어플리케이션(102)에 갖추어진 통상의 판매자-소비자 커뮤니케이션 기능을 통해 제2 사용자(122)의 환불 제안을 확인할 수 있다. 제n 사용자는 텍스트 입력 방식으로 환불 제안에 대한 응답을 입력할 수 있다. 서버(131)는 오픈마켓 웹사이트 또는 어플리케이션(102)에 입력된 제n 사용자의 환불 제안에 대한 응답을 API 등을 통해 획득할 수 있다.
다음으로, 서버(131)는 제n 사용자의 응답을 기초로 제2-n 입력을 생성할 수 있다(320).
제2-n 입력은 제2 인공 신경망에 적용하기 위한 입력일 수 있다. 제2 인공 신경망은 문장 또는 문단으로 이루어진 환불 제안에 대한 응답을 구성하는 형태소들을 입력받아, 사용자가 환불을 원하는지를 추론하여 출력할 수 있다.
제2-n 입력은 문장 또는 문단으로 이루어진 환불 제안에 대한 응답을 형태소 단위로 분해한 형태소의 리스트일 수 있다. 서버(131)는 문장 또는 문단으로 이루어진 환불 제안에 대한 응답을 형태소 단위로 분해하는 룰(rule), 머신러닝 모델, 인공 신경망 등 통상의 기술을 통해 환불 제안에 대한 응답을 제2-n 입력으로 정리할 수 있다. 보다 구체적인 인공 신경망 학습 동작은 도 5 및 6을 참조하여 후술된다.
이어서, 서버(131)는 미리 학습된 제2 인공 신경망에 제2-n 입력을 적용하여 제2-n 출력을 획득할 수 있다(330).
서버(131)는 제2 인공 신경망에 형태소 리스트인 제2-n 입력을 적용할 수 있다. 형태소들은 순차적으로 입력될 수도 있고, 한꺼번에 입력될 수도 있다. 제2 인공 신경망은 형태소 리스트를 입력 받고 내부 추론값을 연산할 수 있다. 내부 추론값은 다른 형태소들과 함께 제2 인공 신경망의 입력으로 사용될 수 있다. 제2 인공 신경망은 모든 형태소들을 입력 받은 후 최종 추론값을 출력할 수 있다. 제2 인공 신경망은 제n 사용자가 환불을 원할 확률 및 환불을 원하지 않을 확률에 대한 각각의 추론값을 제2-n 출력으로 반환할 수 있다. 보다 구체적인 인공 신경망 적용 동작은 도 5를 참조하여 후술된다.
이어지는 순서로, 서버(131)는 제2-n 출력이 미리 정의된 제2 분류에 속하는 경우, 제2 사용자(122)에게 미리 정의된 알림을 전송할 수 있다(340).
미리 정의된 제2 분류는 환불을 원하는 소비자들일 수 있다. 제2-n 출력은 제n 사용자가 환불을 원할 확률 및 환불을 원하지 않을 확률에 대한 각각의 추론값일 수 있다. 서버(131)는 제2-n 출력 중 제n 사용자가 환불을 원할 확률이 더 클 경우, 제2-n 출력이 제2 분류에 속하는 것으로 분류할 수 있다. 서버(131)는 제2-n 출력이 제2 분류에 속할 경우, 제2 사용자(122)에게 미리 정의된 알림을 전송할 수 있다. 미리 정의된 알림은 제n 사용자가 환불을 원한다는 내용을 포함할 수 있다.
이상을 통해, 판매자는 제품에 불만에 있는 소비자에게 발빠르게 대처할 수 있다. 오픈마켓 게시 제품에 대한 평점이 낮은 리뷰 중에서, 배송 불만 리뷰 또는 제품과 관련 없는 악성 리뷰가 아닌 리뷰를 작성한 소비자는 제품에 대한 불만을 가지는 것으로 해석될 수 있다. 판매자는 서버(131)를 이용하여 이러한 소비자들에게 자동으로 환불 제안을 발송하고, 환불을 희망하는 소비자가 있을 경우 자동 알림을 받음으로써, 제품 하자를 개선할 수 있다. 환불을 받고 난 소비자가 제품 리뷰 및 평점을 수정할 경우, 게시 제품의 대표 평점이 개선되는 효과까지 누릴 수 있다.
도 4는 일실시예에 따른 제1 인공 신경망 학습 및 적용 동작을 설명하기 위한 도면이다.
단말(111, 112)에 표시되는 오픈마켓 웹사이트 또는 어플리케이션(102) 화면(410)은 제품 설명 영역(411)과 사용자 리뷰 영역(416)를 포함할 수 있다.
제품 설명 영역(411)은 제품 이미지 및 영상 영역(412), 제목 및 대표 평점 영역(413), 텍스트 컨텐츠 영역(415)을 포함할 수 있다. 제목 및 대표 평점 영역(413)은 오픈마켓 게시 제품의 대표 평점(414)을 포함할 수 있다. 사용자 리뷰 영역(416)은 사용자 리뷰들을 표시할 수 있다. 각각의 사용자 리뷰는 리뷰 게시 사용자(417), 리뷰 평점(418) 및 리뷰(419)를 포함할 수 있다. 리뷰(419)는 텍스트를 포함할 수 있다.
서버(131)는 판매자 계정들로부터 오픈마켓 게시 제품들의 리뷰들 및 리뷰 관련 정보들을 수집할 권한을 받을 수 있다. 서버(131)는 미리 정의된 평점 이하의 리뷰 게시 사용자(417), 리뷰 평점(418) 및 리뷰(419)들을 획득할 수 있다. 또한, 판매자 및/또는 오픈마켓 운영자는 미리 정의된 평점 이하의 리뷰들 중 적어도 일부에 대하여, 리뷰가 배송 불만 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 미리 범주화해 둘 수 있다. 서버(131)는 제2 단말(112) 또는 오픈마켓 서버(101)로부터 이들 리뷰들(419)이 어느 범주에 속하는지도 획득할 수 있다.
이어서, 서버(131)는 미리 정의된 평점 이하의 리뷰 문장 또는 문단을 구성하는 형태소들을 트레이닝 데이터(422)로 하고; 리뷰가 배송 불만 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 범주화해 둔 것을 레이블(426)로 하여 제1 인공 신경망(422)을 학습시킬 수 있다(420).
서버(131)는 미리 정의된 평점 이하의 리뷰들 중 판매자 및/또는 오픈마켓 운영자가 미리 범주화(배송 불만 리뷰, 제품과 관련 없는 악성 리뷰, 그 외 리뷰) 둔 리뷰들을 형태소 단위로 분해한 형태소 리스트들을 트레이닝 데이터(421)로 정리할 수 있다. 또한, 서버(131)는 판매자 및/또는 오픈마켓 운영자가 리뷰의 범주를 트레이닝 데이터(421)에 대응하는 레이블(426)로 정리할 수 있다.
트레이닝 데이터(421)는 미리 정의된 평점 이하의 리뷰 문장 또는 문단을 구성하는 형태소들이고; 레이블(426)은 리뷰가 배송 불만 리뷰인지(423), 제품과 관련 없는 악성 리뷰인지(424), 또는 그 외 리뷰인지(425)를 범주화해 둔 것일 수 있다. 따라서, 레이블(426)은 미리 정의된 평점 이하의 리뷰가 “오픈마켓 운영자가 오픈마켓 게시 제품의 대표 리뷰 산정 시 제외하는 리뷰 범주들”에 속하는지 또는 “제품의 품질에 대한 불만 리뷰”인지 구분하는 지표가 될 수 있다.
제1 인공 신경망(422)은 미리 정의된 평점 이하의 리뷰 문장 또는 문단을 구성하는 형태소들을 트레이닝 데이터(421)로 하고; 리뷰의 범주를 레이블(426)로 하여 학습될 수 있다. 트레이닝 데이터(421)를 입력받은 제1 인공 신경망(422)의 출력(423-425)은 레이블(426)과 점점 가까워지도록 학습될 수 있다. 학습을 마친 제1 인공 신경망(422)은 리뷰를 입력 받아 리뷰가 어느 범주에 속할 확률을 출력할 수 있다. 구체적으로, 출력은 리뷰가 배송 불만 리뷰일 확률, 제품과 관련 없는 악성 리뷰일 확률, 그 외 리뷰일 확률에 대한 각각의 추정값일 수 있다. 보다 구체적인 인공 신경망 학습 동작은 도 6을 참조하여 후술된다.
이렇게 학습을 마친 제1 인공 신경망(422)을 이용하여, 서버(131)는 제1 인공 신경망(422)에 검토 대상 리뷰를 기초로 생성한 입력을 적용하여 출력(423-425)을 획득할 수 있다(430).
예를 들어, 서버(131)는 제1 인공 신경망(422)에 검토 대상 리뷰(431)의 형태소 리스트를 입력으로 적용할 수 있다. 형태소들은 순차적으로 입력될 수도 있고, 한꺼번에 입력될 수도 있다. 제1 인공 신경망(422)은 형태소 리스트를 입력 받고 내부 추론값을 연산할 수 있다. 내부 추론값은 다른 형태소들과 함께 제1 인공 신경망의 입력으로 사용될 수 있다. 제1 인공 신경망은 모든 형태소들을 입력 받은 후 최종 추론값을 출력(423-425)할 수 있다. 출력(423-425)는 검토 대상 리뷰(431)가 배송 불만 관련 리뷰일 확률, 제품과 관련 없는 악성 리뷰일 확률, 또는 그 외 리뷰일 확률에 대한 각각의 추론값일 수 있다.
서버(131)는 출력(423-425) 중 가장 큰 값을 검토 대상 리뷰(431)의 범주로 추론할 수 있다. 서버(131)는 리뷰가 제1 분류(432)(배송 불만 관련 리뷰 범주 또는 제품과 관련 없는 악성 리뷰 범주)에 속하는 것으로 추론된 경우, 오픈마켓 운영자에게 오픈마켓 게시 제품의 대표 평점 집계 시 검토 대상 리뷰(431)의 평점을 제외하는 요청을 포함할 수 있다. 오픈마켓 운영자는 판매자 계정에게 오픈마켓 게시 제품의 대표 평점 집계 시 검토 대상 리뷰(431)의 평점을 제외 여부와 더불어, 검토 대상 리뷰(431)가 실제로 어떤 범주(423-425)에 속하는지를 알릴 수 있다. 서버(131)는 미리 획득한 권한을 통해 판매자 계정에게 전달된 오픈마켓 운영자의 알림을 획득할 수 있다.
서버(131)는 제1 인공 신경망(422)이 제1 분류(432)라고 추론한 검토 대상 리뷰들(431)을 트레이닝 데이터(421)로 추가할 수 있다. 또한, 서버(131)는 오픈마켓 운영자가 검토 대상 리뷰(431)에 대해서 실제로 내린 결정(리뷰 범주가 배송 불만 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지)을 트레이닝 데이터에 대응하는 레이블(426)로 추가로 정리할 수 있다.
서버(131)는 업데이트된 트레이닝 데이터와 레이블을 기초로 제1 인공 신경망(422)을 정기적으로 학습시킬 수 있다. 이러한 과정을 통해, 제1 인공 신경망(422)은 미리 정의된 평점 이하의 리뷰들이 축적됨에 따라 리뷰가 어느 범주에 속하는지 추론하는 성능이 향상될 수 있다. 특히, 서버(131)는 제1 인공 신경망(422)이 제1 분류(432)라고 판단했지만, 오픈마켓 운영자가 검토한 결과 그 외 리뷰 범주(425)에 속하는 것으로 판단된 어려운 난이도의 리뷰들을 트레이닝 데이터로 이용하여 제1 인공 신경망(422) 학습을 진행할 수 있게 된다. 이를 통해, 제1 인공 신경망(422)의 더욱 개선된 추론 성능을 기대할 수 있다.
이상을 통해, 판매자는 오픈마켓 게시 제품의 대표 평점을 개선하기 위해 리뷰들을 일일이 확인하지 않아도 된다. 평점이 낮은 리뷰 중 배송 불만 관련 리뷰는 또는 제품과 관련 없는 악성 리뷰는 게시 제품의 대표 평점에 집계되지 않게 하는 작업을 서버(131)에서 자동으로 수행함으로써, 판매자는 인력을 투입하여 작업하던 때와 비교하여 노력, 시간 및 실수를 줄일 수 있다.
도 5는 일실시예에 따른 제2 인공 신경망 학습 및 적용 동작을 설명하기 위한 도면이다.
단말(111, 112)에 표시되는 오픈마켓 웹사이트 또는 어플리케이션(102) 내 판매자-소비자 커뮤니케이션 화면(510)은 판매자 계정(511)의 환불 제안(512)과 소비자 계정(513)의 환불 제안에 대한 응답(514)을 포함할 수 있다.
서버(131)는 판매자 계정들로부터 소비자 계정(513)의 환불 제안에 대한 응답(514)을 수집할 권한을 받을 수 있다. 서버(131)는 소비자 계정(513)의 환불 제안에 대한 응답(514)을 획득할 수 있다. 또한, 서버(131)는 제2 단말(112) 또는 오픈마켓 서버(101)로부터 게시 제품에 대한 환불이 실제로 이루어졌는지에 대한 처리 결과를 획득할 수 있다.
이어서, 서버(131)는 환불 제안에 대한 사용자의 응답을 기초로 생성된 입력을 트레이닝 데이터로 하고, 게시 제품의 실제 환불 여부를 레이블로 하여 제2 인공 신경망을 학습시킬 수 있다(520).
서버(131)는 환불 제안에 대한 응답(514)을 형태소 단위로 분해한 형태소 리스트를 트레이닝 데이터(521)로 정리할 수 있다. 또한, 서버(131)는 게시 제품에 대한 환불이 실제로 이루어졌는지에 대한 처리 결과를 트레이닝 데이터(521)에 대응하는 레이블(525)로 정리할 수 있다.
트레이닝 데이터(521)는 문장 또는 문단으로 이루어진 환불 제안에 대한 응답을 구성하는 형태소들이고, 레이블(525)은 리뷰가 게시 제품에 대한 환불이 실제로 이루어졌는지에 대한 처리 결과일 수 있다. 따라서, 레이블(525)은 소비자가 환불 제안에 대한 응답을 어떤 식으로 작성했을 때 환불을 원하는지를 알려주는 지표가 될 수 있다.
제2 인공 신경망(522)은 환불 제안에 대한 사용자의 응답을 기초로 생성된 입력을 트레이닝 데이터로 하고, 게시 제품의 실제 환불 여부를 레이블로 하여 학습될 수 있다. 트레이닝 데이터(521)를 입력받은 제2 인공 신경망(522)의 출력(523, 524)은 레이블(525)과 점점 가까워지도록 학습될 수 있다. 학습을 마친 제2 인공 신경망(522)은 환불 제안에 대한 응답을 입력 받아 사용자가 환불을 원할 확률을 출력할 수 있다. 구체적으로, 출력은 사용자가 환불을 원할 확률 및 원하지 않을 확률에 대한 각각의 추정값일 수 있다. 보다 구체적인 인공 신경망 학습 동작은 도 6을 참조하여 후술된다.
이렇게 학습을 마친 제2 인공 신경망(522)을 이용하여, 서버(131)는 제2 인공 신경망(522)에 환불 제안에 대한 응답을 기초로 생성한 입력을 적용하여 출력(523, 524)을 획득할 수 있다(530).
예를 들어, 서버(131)는 제2 인공 신경망(522)에 환불 제안에 대한 응답(531)의 형태소 리스트를 입력으로 적용할 수 있다. 형태소들은 순차적으로 입력될 수도 있고, 한꺼번에 입력될 수도 있다. 제2 인공 신경망(522)은 형태소 리스트를 입력 받고 내부 추론값을 연산할 수 있다. 내부 추론값은 다른 형태소들과 함께 제2 인공 신경망의 입력으로 사용될 수 있다. 제2 인공 신경망은 모든 형태소들을 입력 받은 후 최종 추론값을 출력(523, 524)할 수 있다. 출력(523, 524)는 환불 제안에 대한 응답(531) 사용자가 환불을 원할 확률(523) 및 환불을 원하지 않을 확률(524)에 대한 각각의 추론값일 수 있다.
서버(131)는 출력(523, 524) 중 사용자가 환불을 원할 확률(523)이 더 클 경우, 출력이 제2 분류(532)에 속하는 것으로 분류할 수 있다. 서버(131)는 출력이 제2 분류(532)에 속하는 것으로 추론된 경우, 판매자 계정에게 미리 정의된 알림을 전송할 수 있다. 미리 정의된 알림은 환불 제안에 대안 응답(531)을 작성한 소비자가 환불을 원한다는 내용을 포함할 수 있다.
서버(131)는 제2 인공 신경망(522)이 제2 분류(532)라고 추론한 환불 제안에 대한 응답들(531)을 트레이닝 데이터(521)로 추가할 수 있다. 또한, 서버(131)는 게시 제품의 실제 환불 처리 결과를 트레이닝 데이터에 대응하는 레이블(525)로 추가로 정리할 수 있다.
서버(131)는 업데이트된 트레이닝 데이터와 레이블을 기초로 제2 인공 신경망(522)을 정기적으로 학습시킬 수 있다. 이러한 과정을 통해, 제2 인공 신경망(522)은 환불 제안에 대한 응답들이 축적됨에 따라 소비자가 환불을 원하는지를 추론하는 성능이 향상될 수 있다. 특히, 서버(131)는 제2 인공 신경망(522)이 제2 분류(532)라고 판단했지만, 실제로는 제품 환불이 이루어지지 않은 어려운 난이도의 환불 제안에 대한 응답들을 트레이닝 데이터로 이용하여 제2 인공 신경망(522) 학습을 진행할 수 있게 된다. 이를 통해, 제2 인공 신경망(522)의 더욱 개선된 추론 성능을 기대할 수 있다.
이상을 통해, 판매자는 제품에 불만에 있는 소비자에게 발빠르게 대처할 수 있다. 소비자가 텍스트로 작성한 환불 제안에 대한 응답을 서버(131)가 자동으로 해석하고, 환불을 원하는 것으로 추론된 경우 판매자 계정에게 알림을 보냄으로써, 판매자는 인력을 투입하여 작업하던 때와 비교하여 노력, 시간 및 실수를 줄일 수 있다.
도 6은 일실시예에 따른 인공 신경망 학습을 설명하기 위한 도면이다.
인공 신경망은 학습 장치를 통해서 학습될 수 있다. 학습 장치는 적어도 하나의 서버(131) 내 구성일 수도 있고, 서버(131)와 별도의 장치일 수도 있다. 학습을 마친 인공 신경망은 서버(131)에 포함될 수 있다.
제1 인공 신경망은 리뷰 문장 또는 문단을 구성하는 형태소들을 입력받아, 리뷰가 배송 불만 관련 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 추론하여 출력할 수 있다. 형태소들은 순차적으로 입력될 수도 있고, 한꺼번에 입력될 수도 있다.
제2 인공 신경망은 문장 또는 문단으로 이루어진 환불 제안에 대한 응답을 구성하는 형태소들을 입력받아, 사용자가 환불을 원하는지를 추론하여 출력할 수 있다. 형태소들은 순차적으로 입력될 수도 있고, 한꺼번에 입력될 수도 있다.
제1 및 2 인공 신경망은 지도 학습(supervised learning)으로 학습되는 모델일 수 있다. 제1 및 2 인공 신경망은 통상적인 딥 러닝 모델이 가지는 구성을 차용하여 설계될 수 있다. 특히, 제1 및 2 인공 신경망은 자연어 처리에 적합한 RNN 모델 또는 트랜스포머를 차용하여 설계될 수 있다. 인공 신경망이 RNN 모델일 경우, 형태소들은 순차적으로 입력될 수 있다. 인공 신경망이 트랜스포머일 경우, 형태소들은 한꺼번에 입력될 수 있다.
이하에서는 학습 장치를 통해 인공 신경망이 학습되는 과정을 설명한다.
우선, 학습 장치는 트레이닝 데이터(training data)와 레이블(label)을 획득할 수 있다(610).
제1 인공 신경망 학습을 위한 트레이닝 데이터 및 레이블은 도 4를 참조하여 전술한 것과 같이 획득할 수 있다. 요약하면, 서버(131)는 미리 정의된 평점 이하의 리뷰들 중 판매자 및/또는 오픈마켓 운영자가 미리 범주화(배송 불만 리뷰, 제품과 관련 없는 악성 리뷰, 그 외 리뷰) 둔 리뷰들을 형태소 단위로 분해한 형태소 리스트들을 트레이닝 데이터(421)로 정리할 수 있다. 또한, 서버(131)는 판매자 및/또는 오픈마켓 운영자가 리뷰의 범주를 트레이닝 데이터(421)에 대응하는 레이블(426)로 정리할 수 있다. 또한, 서버(131)는 제1 인공 신경망(422)이 제1 분류(432)라고 추론한 검토 대상 리뷰들(431)을 트레이닝 데이터(421)로 추가할 수 있다. 또한, 서버(131)는 오픈마켓 운영자가 검토 대상 리뷰(431)에 대해서 실제로 내린 결정(리뷰 범주가 배송 불만 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지)을 트레이닝 데이터에 대응하는 레이블(426)로 추가로 정리할 수 있다. 서버(131)는 트레이닝 데이터와 레이블을 학습 장치로 전달할 수 있다.
제2 인공 신경망 학습을 위한 트레이닝 데이터 및 레이블은 도 5를 참조하여 전술한 것과 같이 획득할 수 있다. 요약하면, 서버(131)는 환불 제안에 대한 응답(514)을 형태소 단위로 분해한 형태소 리스트를 트레이닝 데이터(521)로 정리할 수 있다. 또한, 서버(131)는 게시 제품에 대한 환불이 실제로 이루어졌는지에 대한 처리 결과를 트레이닝 데이터(521)에 대응하는 레이블(525)로 정리할 수 있다. 또한, 서버(131)는 제2 인공 신경망(522)이 제2 분류(532)라고 추론한 환불 제안에 대한 응답들(531)을 트레이닝 데이터(521)로 추가할 수 있다. 또한, 서버(131)는 게시 제품의 실제 환불 처리 결과를 트레이닝 데이터에 대응하는 레이블(525)로 추가로 정리할 수 있다. 서버(131)는 트레이닝 데이터와 레이블을 학습 장치로 전달할 수 있다.
이제, 학습 장치는 인공 신경망에 트레이닝 데이터를 적용할 수 있다(620).
학습 장치는 트레이닝 데이터를 인공 신경망의 입력으로 그대로 사용하거나, 인공 신경망이 받아들일 수 있는 입력 형태에 맞추어 트레이닝 데이터를 보다 작은 단위로 구분하는 등의 통상의 프로세스를 거칠 수 있다. 학습 장치는 학습 효율을 위해 인공 신경망 최적화 단계(650)에서 확률론적 경사하위법(stochastic gradient descent)을 사용할 수 있으며, 이를 위해 배치(batch)별로 트레이닝 데이터를 나누어 인공 신경망의 입력을 생성할 수 있다. 트레이닝 데이터들은 학습 에포크(epoch)마다 배치 내 재분배가 이루어질 수 있다.
이어서, 학습 장치는 인공 신경망으로부터 출력을 획득할 수 있다(630).
제1 및 2 인공 신경망은 형태소 리스트를 입력 받고 내부 추론값을 연산할 수 있다. 내부 추론값은 다른 형태소들과 함께 제1 및 2 인공 신경망의 입력으로 사용될 수 있다. 제1 및 2 인공 신경망은 모든 형태소들을 입력 받은 후 최종 추론값을 출력할 수 있다. 제1 인공 신경망의 출력은 리뷰가 배송 불만 관련 리뷰일 확률, 제품과 관련 없는 악성 리뷰일 확률, 또는 그 외 리뷰일 확률에 대한 추론값일 수 있다. 제2 인공 신경망의 출력은 사용자가 환불을 원할 확률에 대한 추론값일 수 있다.
이후, 학습 장치는 출력과 레이블을 비교할 수 있다(640).
구체적으로, 학습 장치는 인공 신경망의 출력과 레이블을 비교할 수 있다. 추론에 해당하는 인공 신경망의 출력과 정답에 해당하는 레이블을 비교하는 과정은 손실함수(loss function)를 계산하여 이루어질 수 있다. 손실함수는 기 알려진 평균 제곱 오차(mean squared error, MSE), 교차 엔트로피 오차(cross entropy error, CEE) 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 인공 신경망의 출력과 레이블 간의 편차, 오차 내지는 차이를 측정할 수 있다면, 다양한 인공 신경망 모델들에서 이용되는 손실함수들이 이용될 수 있다.
다음으로, 학습 장치는 비교값을 기초로 인공 신경망을 최적화할 수 있다(650).
학습 장치 비교값이 점점 작아지도록 인공 신경망 모델의 노드(node)들의 웨이트(weight)를 갱신함으로써, 추론에 해당하는 인공 신경망의 출력과 정답에 해당하는 레이블을 점점 일치시킬 수 있고, 이를 통해 인공 신경망은 정답에 가까운 추론을 출력하도록 최적화될 수 있다. 구체적으로, 학습 장치는 비교값에 해당하는 손실함수가 최소값의 추정치에 가까워지도록 인공 신경망의 웨이트(weight)를 재설정하는 과정을 반복함으로써 인공 신경망을 최적화할 수 있다. 인공 신경망의 최적화를 위해 기 알려진 확률론적 경사하위법(stochastic gradient descent), 역전파(backpropagation) 알고리즘 등이 이용될 수 있다. 그러나, 이에 제한되는 것은 아니며, 다양한 인공 신경망 모델들에서 이용되는 웨이트의 최적화 알고리즘이 이용될 수 있다.
학습 장치는 이와 같은 과정을 반복함으로써 제1 및 2 인공 신경망을 학습시킬 수 있다. 제1 인공 신경망의 출력은 도 2 및 4를 참조하여 전술한 오픈마켓 게시 제품 평점 개선 동작에 사용될 수 있다. 제2 인공 신경망의 출력은 도 3 및 5를 참조하여 전술한 환불 요청 확인 및 알림 동작에 사용될 수 있다.
도 7은 일실시예에 따른 장치의 구성의 예시도이다.
일실시예에 따른 장치(701)는 프로세서(702) 및 메모리(703)를 포함한다. 장치(701)는 도 1 내지 6을 참조하여 전술된 장치이거나, 도 1 내지 6을 참조하여 전술된 동작 중 적어도 하나 이상을 수행할 수 있는 장치일 수 있다. 구체적으로, 장치(701)는 적어도 하나의 서버(131)를 구성하는 하나의 장치 또는 도 6을 참조하여 설명한 학습 장치 등일 수 있다. 장치(701)를 이용하는 자 또는 단체는 도 1 내지 도 6을 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.
메모리(703)는 전술된 방법들과 관련된 정보를 저장하거나 전술된 방법들이 구현된 프로그램을 저장할 수 있다. 메모리(703)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(702)는 프로그램을 실행하고, 장치(701)를 제어할 수 있다. 프로세서(702)에 의하여 실행되는 프로그램의 코드는 메모리(703)에 저장될 수 있다. 장치(701)는 입출력 장치(도시 생략)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.
장치(701)는 인공 신경망 또는 머신러닝 모델을 학습시키거나, 학습된 인공 신경망 또는 머신러닝 모델을 이용하는데 사용될 수 있다. 메모리(703)는 학습 중인 또는 학습된 인공 신경망 또는 머신러닝 모델을 포함할 수 있다. 프로세서(702)는 메모리(703)에 저장된 인공 신경망 또는 머신러닝 모델 알고리즘을 학습시키거나 실행시킬 수 있다. 인공 신경망 또는 머신러닝 모델을 학습시키는 장치(701)와 학습된 인공 신경망 또는 머신러닝 모델을 이용하는 장치(701)는 동일할 수도 있고 개별적일 수도 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 이를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
101: 오픈마켓 서버
102: 오픈마켓 웹사이트 또는 어플리케이션
111, 112: 단말
121, 122: 사용자
131: 서버
132: 웹사이트 또는 어플리케이션
422: 제1 인공 신경망
522: 제2 인공 신경망
102: 오픈마켓 웹사이트 또는 어플리케이션
111, 112: 단말
121, 122: 사용자
131: 서버
132: 웹사이트 또는 어플리케이션
422: 제1 인공 신경망
522: 제2 인공 신경망
Claims (5)
- 적어도 하나의 서버에 의해 수행되는 오픈마켓 게시 제품 평점 개선을 위한 방법은,
오픈마켓 게시 제품의 리뷰들 중 미리 정의된 평점 이하의 검토 대상 리뷰들 및 각각의 검토 대상 리뷰를 작성한 사용자의 미리 정의된 정보를 획득하는 단계;
상기 각각의 검토 대상 리뷰에 대하여,
제n 검토 대상 리뷰의 제1-n 입력을 생성하는 단계;
미리 학습된 제1 인공 신경망에 상기 제1-n 입력을 적용하여 제1-n 출력을 획득하는 단계;
상기 제1-n 출력이 미리 정의된 제1 분류에 속하는 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송하는 단계; 및
상기 제1-n 출력이 상기 미리 정의된 제1 분류에 속하지 않는 경우, 상기 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송하는 단계
를 포함하고,
상기 미리 정의된 제1 분류는 상기 오픈마켓 운영자가 상기 오픈마켓 게시 제품의 대표 평점 집계 시 제외하는 리뷰들로, 상기 오픈마켓 운영자가 배송 불만 관련 리뷰 또는 제품과 관련 없는 악성 리뷰라고 결정한 리뷰들이고,
상기 미리 정의된 요청은 상기 오픈마켓 게시 제품의 대표 평점 집계 시 상기 제n 검토 대상 리뷰의 평점을 제외하는 요청을 포함하고,
상기 제1 인공 신경망은
리뷰들을 형태소 단위로 분해한 형태소 리스트들을 트레이닝 데이터로 하고,
배송 불만 관련 리뷰 범주, 제품과 관련 없는 악성 리뷰 범주, 그 외 리뷰 범주를 범주화해 둔 것을 상기 트레이닝 데이터의 레이블로 하는
학습 데이터를 이용하여 학습되고,
오픈마켓 게시 제품의 리뷰를 기초로 생성된 입력을 적용했을 때, 리뷰가 배송 불만 관련 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 추론하도록 학습되고,
리뷰가 배송 불만 관련 리뷰 또는 제품과 관련 없는 악성 리뷰로 추론되는 경우, 리뷰가 상기 미리 정의된 제1 분류에 속한다고 출력하고,
상기 제1 인공 신경망이 상기 미리 정의된 제1 분류에 속한다고 출력했지만, 상기 오픈마켓 운영자가 상기 미리 정의된 제1 분류에 속하지 않는다고 판단한 검토 대상 리뷰들을 상기 학습 데이터에 포함시키기 위하여,
상기 제1 인공 신경망이 상기 미리 정의된 제1 분류에 속한다고 출력한 검토 대상 리뷰들을 추가 트레이닝 데이터로 추가하는 단계; 및
상기 추가 트레이닝 데이터의 레이블은 그 외 리뷰 범주로 설정하는 단계
를 더 포함하는
오픈마켓 게시 제품 평점 개선을 위한 방법.
- 제1항에 있어서,
상기 제n 사용자의 환불 제안에 대한 응답을 획득하는 단계;
상기 응답을 기초로 제2-n 입력을 생성하는 단계;
미리 학습된 제2 인공 신경망에 상기 제2-n 입력을 적용하여 제2-n 출력을 획득하는 단계; 및
상기 제2-n 출력이 미리 정의된 제2 분류에 속하는 경우, 상기 오픈마켓 게시 제품의 게사자에게 미리 정의된 알림을 전송하는 단계
를 더 포함하는
오픈마켓 게시 제품 평점 개선을 위한 방법.
- 삭제
- 제2항에 있어서,
상기 제2 인공 신경망은
환불 제안에 대한 사용자의 응답을 기초로 생성된 입력을 적용했을 때, 상기 사용자가 환불을 원하는지 여부를 추론하여 출력하도록 학습되고,
상기 미리 정의된 제2 분류는 환불을 원하는 사용자를 포함하고,
상기 미리 정의된 알림은 상기 제n 사용자가 환불을 원한다는 내용을 포함하는
오픈마켓 게시 제품 평점 개선을 위한 방법.
- 오픈마켓 게시 제품 평점 개선을 위한 시스템은 적어도 하나의 서버를 포함하고,
상기 적어도 하나의 서버가 수행하는 동작은,
오픈마켓 게시 제품의 리뷰들 중 미리 정의된 평점 이하의 검토 대상 리뷰들 및 각각의 검토 대상 리뷰를 작성한 사용자의 미리 정의된 정보를 획득하고,
상기 각각의 검토 대상 리뷰에 대하여,
제n 검토 대상 리뷰의 제1-n 입력을 생성하고,
미리 학습된 제1 인공 신경망에 상기 제1-n 입력을 적용하여 제1-n 출력을 획득하고,
상기 제1-n 출력이 미리 정의된 제1 분류에 속하는 경우, 오픈마켓 운영자에게 미리 정의된 요청을 전송하고,
상기 제1-n 출력이 상기 미리 정의된 제1 분류에 속하지 않는 경우, 상기 제n 검토 대상 리뷰에 대응하는 제n 사용자에게 환불 제안을 전송하는
동작을 포함하고,
상기 미리 정의된 제1 분류는 상기 오픈마켓 운영자가 상기 오픈마켓 게시 제품의 대표 평점 집계 시 제외하는 리뷰들로, 상기 오픈마켓 운영자가 배송 불만 관련 리뷰 또는 제품과 관련 없는 악성 리뷰라고 결정한 리뷰들이고,
상기 미리 정의된 요청은 상기 오픈마켓 게시 제품의 대표 평점 집계 시 상기 제n 검토 대상 리뷰의 평점을 제외하는 요청을 포함하고,
상기 제1 인공 신경망은
리뷰들을 형태소 단위로 분해한 형태소 리스트들을 트레이닝 데이터로 하고,
배송 불만 관련 리뷰 범주, 제품과 관련 없는 악성 리뷰 범주, 그 외 리뷰 범주를 범주화해 둔 것을 상기 트레이닝 데이터의 레이블로 하는
학습 데이터를 이용하여 학습되고,
오픈마켓 게시 제품의 리뷰를 기초로 생성된 입력을 적용했을 때, 리뷰가 배송 불만 관련 리뷰인지, 제품과 관련 없는 악성 리뷰인지, 또는 그 외 리뷰인지를 추론하도록 학습되고,
리뷰가 배송 불만 관련 리뷰 또는 제품과 관련 없는 악성 리뷰로 추론되는 경우, 리뷰가 상기 미리 정의된 제1 분류에 속한다고 출력하고,
상기 적어도 하나의 서버가 수행하는 동작은,
상기 제1 인공 신경망이 상기 미리 정의된 제1 분류에 속한다고 출력했지만, 상기 오픈마켓 운영자가 상기 미리 정의된 제1 분류에 속하지 않는다고 판단한 검토 대상 리뷰들을 상기 학습 데이터에 포함시키기 위하여,
상기 제1 인공 신경망이 상기 미리 정의된 제1 분류에 속한다고 출력한 검토 대상 리뷰들을 추가 트레이닝 데이터로 추가하고,
상기 추가 트레이닝 데이터의 레이블은 그 외 리뷰 범주로 설정하는
동작을 더 포함하는
오픈마켓 게시 제품 평점 개선을 위한 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230048263A KR102639021B1 (ko) | 2023-04-12 | 2023-04-12 | 오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230048263A KR102639021B1 (ko) | 2023-04-12 | 2023-04-12 | 오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102639021B1 true KR102639021B1 (ko) | 2024-02-21 |
Family
ID=90052590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230048263A KR102639021B1 (ko) | 2023-04-12 | 2023-04-12 | 오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102639021B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101876371B1 (ko) * | 2017-01-03 | 2018-07-09 | (주)복스유니버스 | 고객 민원/불만에 대한 사전방어 가능한 콜 라우팅 시스템 및 방법 |
| KR101990895B1 (ko) * | 2018-01-23 | 2019-06-19 | 주식회사 두유비 | 온라인 게시물 및 댓글 자동 응답용 인공지능 대화형 댓글 제공 시스템 |
| KR102344804B1 (ko) * | 2021-10-19 | 2021-12-29 | 주식회사 큐로드 | 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법 |
| KR20220117677A (ko) * | 2021-02-17 | 2022-08-24 | 주식회사 스마트캐스트 | 리뷰 큐레이션 제공 장치 및 방법 |
| KR20230000119A (ko) * | 2021-06-24 | 2023-01-02 | (주)에이치엔에스커뮤니케이션 | 고객 후기 선별 맞춤형 추천 방법 및 시스템 |
-
2023
- 2023-04-12 KR KR1020230048263A patent/KR102639021B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101876371B1 (ko) * | 2017-01-03 | 2018-07-09 | (주)복스유니버스 | 고객 민원/불만에 대한 사전방어 가능한 콜 라우팅 시스템 및 방법 |
| KR101990895B1 (ko) * | 2018-01-23 | 2019-06-19 | 주식회사 두유비 | 온라인 게시물 및 댓글 자동 응답용 인공지능 대화형 댓글 제공 시스템 |
| KR20220117677A (ko) * | 2021-02-17 | 2022-08-24 | 주식회사 스마트캐스트 | 리뷰 큐레이션 제공 장치 및 방법 |
| KR20230000119A (ko) * | 2021-06-24 | 2023-01-02 | (주)에이치엔에스커뮤니케이션 | 고객 후기 선별 맞춤형 추천 방법 및 시스템 |
| KR102344804B1 (ko) * | 2021-10-19 | 2021-12-29 | 주식회사 큐로드 | 인공지능 기반 모니터링 기술을 이용한 유저 피드백 정보 관리방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11941691B2 (en) | Dynamic business governance based on events | |
| EP3706053A1 (en) | Cognitive system | |
| US20220005125A1 (en) | Systems and methods for collecting and processing alternative data sources for risk analysis and insurance | |
| US11321759B2 (en) | Method, computer program product and system for enabling personalized recommendations using intelligent dialog | |
| JP2023511601A (ja) | テキストベースの会話におけるユーザへの意図提案を提供するためのユーザインターフェイス、及びプロセスフロー | |
| WO2017190610A1 (zh) | 目标用户定向方法、装置和计算机存储介质 | |
| CN110147925B (zh) | 一种风险决策方法、装置、设备及系统 | |
| Mirghafoori et al. | Analysis of the barriers affecting the quality of electronic services of libraries by VIKOR, FMEA and entropy combined approach in an intuitionistic-fuzzy environment | |
| US9798788B1 (en) | Holistic methodology for big data analytics | |
| US20210263978A1 (en) | Intelligent interface accelerating | |
| US11570214B2 (en) | Crowdsourced innovation laboratory and process implementation system | |
| US20230023630A1 (en) | Creating predictor variables for prediction models from unstructured data using natural language processing | |
| Barnes | Microsoft Azure essentials Azure machine learning | |
| CN111639696A (zh) | 一种用户分类方法及装置 | |
| US11983230B2 (en) | Systems and methods for data aggregation and cyclical event prediction | |
| KR102601446B1 (ko) | 인공지능 모델을 활용한 인플루언서 기반 판매 제품매칭 플랫폼 서비스 제공 방법, 장치 및 시스템 | |
| KR102585895B1 (ko) | 오픈마켓에서의 키워드 마케팅 효율 증가를 위한 방법 및 시스템 | |
| US20230162278A1 (en) | Generation and delivery of funding opportunities using artificial intelligence (ai) based techniques | |
| KR102639021B1 (ko) | 오픈마켓 게시 제품 평점 개선을 위한 방법 및 시스템 | |
| CN116308641A (zh) | 产品推荐方法、训练方法、装置、电子设备和介质 | |
| WO2020018392A1 (en) | Monitoring and controlling continuous stochastic processes based on events in time series data | |
| US20230206114A1 (en) | Fair selective classification via a variational mutual information upper bound for imposing sufficiency | |
| US20190197585A1 (en) | Systems and methods for data storage and retrieval with access control | |
| KR102585901B1 (ko) | 오픈마켓 게시 제품 컨텐츠 개선을 위한 방법 및 시스템 | |
| Bai et al. | Prioritizing user requirements for digital products using explainable artificial intelligence: A data-driven analysis on video conferencing apps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |