KR102337502B1 - 온라인 상의 비정상 상품 후기 검출 방법 및 장치 - Google Patents

온라인 상의 비정상 상품 후기 검출 방법 및 장치 Download PDF

Info

Publication number
KR102337502B1
KR102337502B1 KR1020210042260A KR20210042260A KR102337502B1 KR 102337502 B1 KR102337502 B1 KR 102337502B1 KR 1020210042260 A KR1020210042260 A KR 1020210042260A KR 20210042260 A KR20210042260 A KR 20210042260A KR 102337502 B1 KR102337502 B1 KR 102337502B1
Authority
KR
South Korea
Prior art keywords
product review
online
model
abnormal
vector
Prior art date
Application number
KR1020210042260A
Other languages
English (en)
Inventor
이성우
Original Assignee
오브젠 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오브젠 주식회사 filed Critical 오브젠 주식회사
Priority to KR1020210042260A priority Critical patent/KR102337502B1/ko
Application granted granted Critical
Publication of KR102337502B1 publication Critical patent/KR102337502B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 실시예는 급증하는 온라인 기반의 쇼핑몰과 배달 플랫폼 등에서 소비자의 상품 구매에 중요한 영향을 미치는 상품 후기의 질을 개선하기 위해 악의적으로 작성된 비정상 후기 후보를 자동으로 검출하는 온라인 상의 비정상 상품 후기 검출 방법 및 장치에 관한 것으로, 본 발명의 일 측면에 따른 온라인 상의 비정상 상품 후기 검출 방법은, (a) 특정 상품 후기의 실제 사용자 점수를 획득하기 위한 단계; (b) 상기 특정 상품 후기의 텍스트를 추출하고, NLP(Natural Language Processing) 감성 분석 모델을 통하여 상기 추출된 텍스트에 대한 감성 벡터를 도출하기 위한 단계; (c) 상기 도출된 감성 벡터에 대응하는 사용자 점수를 예측하기 위한 단계; 및 (d) 상기 획득된 실제 사용자 점수와 상기 예측된 사용자 점수 간의 차이 값을 기초로 상기 특정 상품 후기에 대한 비정상 여부를 판단하기 위한 단계를 포함할 수 있다.

Description

온라인 상의 비정상 상품 후기 검출 방법 및 장치{Method and apparatus for detecting abnormal product reviews online}
본 발명은 온라인 상의 비정상 상품 후기 검출 기술에 관한 것으로서, 보다 상세하게는 급증하는 온라인 기반의 쇼핑몰과 배달 플랫폼 등에서 소비자의 상품 구매에 중요한 영향을 미치는 상품 후기(또는 리뷰라 칭함)의 질을 개선하기 위해 악의적으로 작성된 비정상 후기 후보를 자동으로 검출하기 위한, 온라인 상의 비정상 상품 후기 검출 방법 및 장치에 관한 것이다.
일반적으로, 상품에 대한 사용자의 의견을 공유할 수 있도록 하는 사용자 리뷰가 여러 구매자들에 의해 상품 리뷰로 작성되고, SNS, 블로그 등 다양한 경로를 통해서 공유되어 활성화되고 있다.
이러한 상품 리뷰에는 해당 상품에 관해 사용자가 갖고 있는 선호에 대한 보다 상세하고 신뢰할 수 있는 정보를 담고 있어 추천 시스템에 유용한 활용이 가능하여 실제로 많은 연구가 진행되고 있다.
또한, 개방적인 웹의 특성에 의해 소비자들이 온라인상에서 작성한 상품 리뷰 데이터의 양이 급격하게 증가하였고, 자연스럽게 상품 리뷰에 담긴 방대한 양의 의견 정보를 분석하는 여러 방법이 제안되었다.
또한, 사용자의 입장에서 온라인 플랫폼에서 상품을 구입한 후 해당 상품에 대한 후기를 작성하는 것은 꽤나 번거롭고 까다로운 일이기 때문에 플랫폼 업체에서는 포인트 등을 지급해가며 구매자의 후기 작성을 유도하고 있다.
그러나, 악성 구매자의 경우 보상만을 얻기 위해 후기를 엉망으로 적기도 하고, 도박이나 성인사이트 홍보를 위해 불법 광고를 후기 대신 게재하기도 하는데, 이러한 비정상 후기 글은 이어지는 새로운 구매자의 상품 판단에 악영향을 미치므로 관리가 필요하고, 따라서 온라인 상의 비정상 상품 후기를 자동으로 검출할 수 있는 기술의 개발이 필요한 실정이다.
공개특허공보 제10-2020-0133439호(2020.11.30.)
본 발명은 전술한 종래의 필요성에 따라 창작된 것으로, 그 목적은 급증하는 온라인 기반의 쇼핑몰과 배달 플랫폼 등에서 소비자의 상품 구매에 중요한 영향을 미치는 상품 후기의 질을 개선하기 위해 악의적으로 작성된 비정상 후기 후보를 자동으로 검출하는, 온라인 상의 비정상 상품 후기 검출 방법 및 장치를 제공하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 온라인 상의 비정상 상품 후기 검출 방법은, (a) 특정 상품 후기의 실제 사용자 점수를 획득하기 위한 단계; (b) 상기 특정 상품 후기의 텍스트를 추출하고, NLP(Natural Language Processing) 감성 분석 모델을 통하여 상기 추출된 텍스트에 대한 감성 벡터를 도출하기 위한 단계; (c) 상기 도출된 감성 벡터에 대응하는 사용자 점수를 예측하기 위한 단계; 및 (d) 상기 획득된 실제 사용자 점수와 상기 예측된 사용자 점수 간의 차이 값을 기초로 상기 특정 상품 후기에 대한 비정상 여부를 판단하기 위한 단계를 포함할 수 있고, (e) 해당 상품에 대한 사용자 정보, 주문 지역, 주문 금액 중 적어도 하나를 포함하는 부가 정보를 벡터화 하기 위한 단계; 및 (f) 해당 부가 정보 벡터와 상기 도출된 감성 벡터를 결합하여 최종 특징 벡터를 도출하기 위한 단계를 더 포함할 수 있으며, 상기 단계 (c)는 상기 도출된 최종 특징 벡터에 대응하는 사용자 점수를 예측할 수 있다.
상기 NLP 감성 분석 모델은 자연어처리 전이학습 기법으로 학습된 BERT(Bidirectional Encoder Representations from Transformers) 모델 및 ALBERT(A Lite BERT) 모델 중 하나를 사용하여 구축될 수 있고, 상기 단계 (c)는 선형 모델 또는 부스팅 기반의 모델을 이용하여 구축된 회기 모델로서의 별점 예측 모델을 통해 사용자 점수를 예측할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 온라인 상의 비정상 상품 후기 검출 장치는, 특정 상품 후기의 실제 사용자 점수를 획득하기 위한 점수획득부; 상기 특정 상품 후기의 텍스트를 추출하고, NLP(Natural Language Processing) 감성 분석 모델을 통하여 상기 추출된 텍스트에 대한 감성 벡터를 도출하기 위한 텍스트분석부; 상기 도출된 감성 벡터에 대응하는 사용자 점수를 예측하기 위한 점수예측부; 및 상기 획득된 실제 사용자 점수와 상기 예측된 사용자 점수 간의 차이 값을 기초로 상기 특정 상품 후기에 대한 비정상 여부를 판단하기 위한 판단부를 포함할 수 있고, 해당 상품에 대한 사용자 정보, 주문 지역, 주문 금액 중 적어도 하나를 포함하는 부가 정보를 획득하여 벡터화 하기 위한 정보획득부; 및 해당 부가 정보 벡터와 상기 도출된 감성 벡터를 결합하여 최종 특징 벡터를 도출하기 위한 특징도출부를 더 포함할 수 있으며, 상기 점수예측부는 상기 도출된 최종 특징 벡터에 대응하는 사용자 점수를 예측할 수 있다.
상기 NLP 감성 분석 모델은 자연어처리 전이학습 기법으로 학습된 BERT(Bidirectional Encoder Representations from Transformers) 모델 및 ALBERT(A Lite BERT) 모델 중 하나를 사용하여 구축될 수 있고, 상기 점수예측부는 선형 모델 또는 부스팅 기반의 모델을 이용하여 구축된 회기 모델로서의 별점 예측 모델을 통해 사용자 점수를 예측할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면 상기 온라인 상의 비정상 상품 후기 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면 상기 온라인 상의 비정상 상품 후기 검출 방법을 하드웨어와 결합하여 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 애플리케이션을 제공할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면 상기 온라인 상의 비정상 상품 후기 검출 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터에서 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
이상에서 설명한 바와 같이 본 발명의 다양한 측면에 따르면, 급증하는 온라인 기반의 쇼핑몰과 배달 플랫폼 등에서 소비자의 상품 구매에 중요한 영향을 미치는 상품 후기의 질을 개선하기 위해 악의적으로 작성된 비정상 후기 후보를 자동으로 검출할 수 있다.
따라서 비정상 리뷰(후기)를 필터링한 뒤 리뷰 검색 시스템을 구축하면 상품 구매자들이 양질의 리뷰를 통해 상품에 관한 정확한 정보를 제공받을 수 있게 되기 때문에 환불이나 교환 등의 소모적인 비용 등을 줄일 수 있고 저질 제품을 판매하는 판매자는 자연스레 판매량이 줄어들어 플랫폼 전반의 상품들의 질을 끌어올릴 수 있다.
뿐만 아니라 본 발명의 시스템 모형을 사용할수록 비정상 리뷰들을 계속 모을 수 있기 때문에 나중에 데이터가 쌓이게 되면 현재 전이학습과 약한 지도학습을 기반으로 하는 모형 학습 방법 대신에 직접 비정상 데이터를 학습시켜서 성능이 더 나은 종단간 모델을 구축할 수 있다. 따라서, 궁극적으로는 목적에 맞는 데이터를 사용해 모형을 학습할 수 있도록 하므로 약한 지도학습 기법보다 모형의 정확도를 더욱 향상시킬 수 있다.
도 1은 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 시스템의 구성도,
도 2는 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 장치의 구성도,
도 3은 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 방법의 흐름도,
도 4는 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 장치 및 방법의 예시도이다.
이하, 첨부도면을 참조하여 본 발명의 실시예에 대해 구체적으로 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 한다. 또한, 본 발명의 실시예에 대한 설명 시 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 시스템의 구성도로서, 동 도면에 도시된 바와 같이, 관리 서버(1), 검출 서버(2), 사용자 단말(3), 및 통신망(4)을 포함할 수 있다.
관리 서버(1)는 온 라인 기반의 쇼핑몰과 배달 플랫폼 등의 서버 장치를 나타내는 것으로, 특히 온라인 기반의 쇼핑몰과 배달 플랫폼 등에서 소비자의 상품 구매에 중요한 영향을 미치는 상품 후기를 관리하는 기능을 가진다.
검출 서버(2)는 온라인 기반의 쇼핑몰과 배달 플랫폼 등에서 소비자의 상품 구매에 중요한 영향을 미치는 상품 후기의 질을 개선하기 위해 악의적으로 작성된 비정상 후기 후보를 자동으로 검출할 수 있다.
본 실시예에서 관리 서버(1)와 검출 서버(2)는 도 1에 도시된 바와 같이 물리적으로 각각 별도의 장치로 구성되거나 또는 다른 예로 서로 결합된 하나의 장치로 구성될 수 있다.
사용자 단말(3)은 사용자의 단말 장치로서, 사용자의 의도에 따라 상품 후기를 작성하기 위한 것으로, 예를 들어, 음성 통신, 데이터 통신, 및 인터넷 통신 등이 가능한 이동통신 단말기, PDA, 스마트 폰, 노트북/태블릿/개인 PC(Personal Computer) 등을 포함할 수 있다.
통신망(4)은 관리 서버(1), 검출 서버(2), 및 사용자 단말(3) 간을 유선, 무선 및/또는 인터넷 등으로 연결하여 통신할 수 있도록 하기 위한 단독 또는 복합의 통신망을 나타낸다.
도 2는 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 장치(20)의 구성도로서, 동 도면에 도시된 바와 같이, 장치(20)는 도 1의 검출 서버(2)에 포함될 수 있고, 점수획득부(21), 텍스트분석부(22), 정보획득부(23), 특징도출부(24), 점수예측부(25), 및 판단부(26)를 포함할 수 있다.
이하, 도 4에 예시된 초밥 세트에 대한 상품 후기에 대해 정상 또는 비정상 여부를 판단하는 과정을 예로 들어 도 2의 각 구성에 대해 설명하기로 한다.
점수획득부(21)는 특정 상품 후기의 실제 사용자 점수를 획득하기 위한 것으로, 예를 들어, 관리 서버(1)를 통해 관리되고 있는 도 4에 예시된 바와 같은 상품 후기 중 초밥 세트에 대한 상품 후기로부터 실제 사용자 점수로서의 사용자 별점으로 5.0 점을 획득할 수 있고, 다른 예로 햄거버에 대한 상품 후기로부터 실제 사용자 점수로서의 사용자 별점으로 4.0 점을 획득할 수 있다.
텍스트분석부(22)는 특정 상품 후기의 텍스트를 추출하고 그 추출된 텍스트에 대한 감성 (특징) 벡터를 도출하기 위한 것으로, NLP(Natural Language Processing) 감성 분석 모델을 통하여 특정 상품 후기의 텍스트에 대한 감성 (특징) 벡터를 도출할 수 있다.
예를 들어, 텍스트분석부(22)는 도 4에 예시된 초밥 세트에 대한 상품 후기의 텍스트 즉, "생선 맛도 이상하고 초밥도 다 식어서 완전 딱딱합니다. 이런 끔찍한 맛을 혼자 경험할 수 없어서 5점 주고 갑니다"에 대하여 NLP 감성 분석 모델을 적용하여 감성 (특징) 벡터를 도출할 수 있다.
자연어처리(NLP) 감성 분석 모델(또는 모형이라 칭함)로 상품 후기 글(텍스트)에 대한 감성 벡터를 도출해 해당 후기의 감성 특징 벡터로 활용한다.
본 실시예에서 NLP 감성 분석 모델은 자연어처리 전이학습 기법으로 학습된 BERT(Bidirectional Encoder Representations from Transformers) 모델 및 ALBERT(A Lite BERT) 모델 중 하나를 사용하여 구축될 수 있다.
자연어 처리 전이학습(transfer learning)은 대량의 범용 데이터에 언어모형의 전반적인 특성들을 학습시키고 이를 기초모델로 사용해 특정한 작업에 세밀하게 재학습시켜(fine tuning) 적은 데이터로도 높은 성능을 얻을 수 있도록 하는 기법이다.
상품 리뷰데이터가 많을 경우 즉시 별점 예측을 하는 종단간(end-to-end) 모델을 만드는 게 더 좋지만 리뷰(후기) 데이터는 특수한 목적의 데이터로써 쉽게 많은 양을 구하기 어렵다.
따라서, 약한 지도학습(weakly supervised learning) 기법을 사용해 이미 대량의 데이터가 구축되어 있는 감성분석 모델 데이터를 이용해 문제를 해결할 수 있다. 감성분석 분야는 예전부터 자연어 처리 분야의 주요 문제였기 때문에 양질의 데이터를 쉽게 구할 수 있다. 약한 지도학습(weakly supervised learning) 기법은 상대적으로 구하기 쉬운 다른 목적의 데이터를 이용해 문제를 비틀어 해결하는 기계학습 방법론이다.
상품/음식 등의 후기(리뷰) 글에는 자연스레 사용자의 감정이 녹아 들어가 있기 때문에 자연스럽게 글에서 느낄 수 있는 좋은 감정은 높은 리뷰 별점과 유의미한 연관이 있다. 이런 특징 덕분에 여러 도메인에서 양질의 데이터를 얻을 수 있는 감성분석 데이터는 후기(리뷰) 별점 예측을 위한 전이학습 모형의 학습 데이터로 매우 의미 있게 사용할 수 있다.
정보획득부(23)는 사용자의 프로필(나이, 성별 등)과 주문 지역, 주문 금액 등 부가 정보를 벡터화 하기 위한 것으로, 감성분석 된 해당 후기의 해당 상품에 대한 사용자 정보, 주문 지역, 주문 금액 중 적어도 하나를 포함하는 부가 정보를 획득하여 벡터화 할 수 있고, 사용자 정보는 사용자의 연령 및 성별 중 적어도 하나를 포함할 수 있다.
특징도출부(24) 텍스트분석부(22)를 통해 도출된 감성 (특징) 벡터 및 정보획득부(23)를 통해 도출된 부가 정보 벡터를 결합(concatenate)하여 최종 특징 벡터를 도출하기 위한 것으로, 다른 예로 텍스트분석부(22)를 통해 도출된 감성 (특징) 벡터만을 최종 특징 벡터로 사용할 수도 있다.
점수예측부(25)는 도출된 최종 특징 벡터에 대응하는 사용자 점수를 예측하기 위한 것으로, 일 예로 감성 벡터만을 사용한 최종 특징 벡터에 대응하는 사용자 점수를 예측하거나, 다른 예로 감성 벡터와 부가 정보 벡터를 결합하여 도출한 최종 특징 벡터에 대응하는 사용자 점수를 예측할 수 있다.
점수예측부(25)는 선형 모델 또는 부스팅 기반의 모델을 이용하여 구축된 회기 모델로서의 별점 예측 모델을 통해 사용자 점수를 예측할 수 있다.
판단부(26)는 점수획득부(21)를 통해 획득된 실제 사용자 점수와 점수예측부(25)를 통해 예측된 사용자 점수 간의 차이 값을 기초로 해당 상품 후기에 대한 비정상 여부를 판단하기 위한 것으로, 해당 차이 값의 크기가 기 설정된 기준 값을 초과하는 경우 비정상 상품 후기 후보로 판별할 수 있다.
예를 들어, 판단부(26)는 도 4에 예시된 초밥 세트에 대한 상품 후기에 대해 살펴 보면, 점수획득부(21)를 통해 획득된 실제 사용자 별점은 5.0인 반면 점수예측부(25)를 통해 예측된 별점은 1.1인 경우, 사용자 별점 5.0과 예측 별점 1.1 간의 차이 값(5.0-1.1 = 3.9)이 기 설정된 기준 값(예를 들어, 기준값= 3.5)을 초과하므로 해당 상품 후기를 비정상 상품 후기로 판별할 수 있다.
도 3은 본 발명의 예시적인 실시예에 따른 온라인 상의 비정상 상품 후기 검출 방법의 흐름도로서, 도 1-2의 검출 서버(2)의 비정상 상품 후기 검출 장치(20)에 적용되므로 해당 장치(20)의 동작과 병행하여 설명하되, 설명의 편의를 위해 도 4에 예시된 초밥 세트에 대한 상품 후기에 대해 정상 또는 비정상 여부를 판단하는 과정을 예로 들어 설명하기로 한다.
먼저, 검출 서버(2)의 장치(2)는 관리 서버(1)를 통해 관리되고 있는 상품 후기 중 도 4에 예시된 바와 같은 초밥 세트에 대한 상품 후기에 대해 정상 또는 비정상 여부를 판단하고자 하는 경우(S301), 도 4에 예시된 초밥 세트에 대한 상품 후기로부터 실제 사용자 점수로서의 사용자 별점으로 5.0 점을 획득하고(S303), 초밥 세트에 대한 상품 후기의 텍스트 즉, "생선 맛도 이상하고 초밥도 다 식어서 완전 딱딱합니다. 이런 끔찍한 맛을 혼자 경험할 수 없어서 5점 주고 갑니다"를 추출한 후(S305), 단계 S305에서 추출된 텍스트에 대해 NLP 감성 분석 모델을 적용하여 감성 (특징) 벡터를 도출한다(S307).
이어, 단계 S307에서 감성분석 된 초밥 세트에 대한 상품 후기에 대응하는 사용자 정보(연령, 성별 등), 주문 지역, 주문 금액 중 적어도 하나 이상을 포함하는 부가 정보를 획득하고 그 획득된 부가 정보에 대응하는 부가 정보 벡터를 도출한다(S309).
이어, 단계 S307에서 도출된 감성 (특징) 벡터 및 단계 S309에서 도출된 부가 정보 벡터를 결합(concatenate)하여 최종 특징 벡터를 도출하되, 다른 예로 단계 S307에서 도출된 감성 (특징) 벡터만을 최종 특징 벡터로 도출하여 사용할 수도 있다(S311).
이어, 선형 모델 또는 부스팅 기반의 모델을 이용하여 구축된 회기 모델로서의 별점 예측 모델을 사용하여 단계 S311에서 도출된 최종 특징 벡터에 대응하는 사용자 점수를 예측한다(S313).
이어, 단계 S303에서 획득된 실제 사용자 점수와 단계 S313에서 예측된 사용자 점수 간의 차이 값을 산출하는데, 도 4에 예시된 초밥 세트에 대한 상품 후기에 대해 살펴 보면, 단계 S303에서 획득된 실제 사용자 점수로서의 별점은 5.0이고 단계 S313에서 예측된 사용자 점수로서의 별점은 1.1이므로, 실제 사용자 별점 5.0과 예측 별점 1.1 간의 차이 값은 5.0 - 1.1 = 3.9가 된다(S315).
마지막으로, 단계 S315에서 산출한 차이 값이 기 설정된 기준 값을 초과하는 지의 여부(S317)를 기초로 해당 상품 후기에 대한 비정상 여부를 판단하는데, 도 4에 예시된 초밥 세트에 대한 상품 후기의 경우 실제 사용자 별점과 예측 별점 간의 차이 값 3.9가 기 설정된 기준 값(예를 들어, 기준값= 3.5)을 초과하므로 해당 상품 후기를 비정상 상품 후기로 판정하고(S319), 만일 단계 S315에서 산출한 차이 값이 기 설정된 기준 값을 초과하지 않는 경우에는 해당 상품 후기를 정상 상품 후기로 판정하고 종료한다(S321).
한편, 전술한 본 발명의 실시예의 온라인 상의 비정상 상품 후기 검출 방법에 따르면 해당 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 구현할 수 있다.
다른 한편, 전술한 본 발명의 실시예의 온라인 상의 비정상 상품 후기 검출 방법에 따르면 해당 방법을 하드웨어와 결합하여 실행시키기 위하여 컴퓨터에서 읽을 수 있는 기록 매체에 저장된 애플리케이션을 구현할 수 있다.
또 다른 한편, 전술한 본 발명의 실시예의 온라인 상의 비정상 상품 후기 검출 방법에 따르면 해당 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터에서 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램을 구현할 수 있다.
예를 들어, 전술한 바와 같이 예시적인 실시예에 따른 본 발명의 온라인 상의 비정상 상품 후기 검출 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체 또는 이러한 기록 매체에 저장된 애플리케이션으로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
1: (후기) 관리 서버
2: (후기) 검출 서버
3: 사용자 단말
4: 통신망
20: 비정상 상품 후기 검출 장치
21: 점수획득부
22: 텍스트분석부
23: 정보획득부
24: 특징도출부
25: 점수예측부
26: 판단부

Claims (13)

  1. 온라인 상의 비정상 상품 후기 검출 장치에서 수행하는 온라인 상의 비정상 상품 후기 검출 방법에 있어서,
    (a) 특정 상품 후기의 실제 사용자 점수를 획득하기 위한 단계;
    (b) 상기 특정 상품 후기의 텍스트를 추출하고, NLP(Natural Language Processing) 감성 분석 모델을 통하여 상기 추출된 텍스트에 대한 감성 벡터를 도출하기 위한 단계;
    (c) 해당 상품에 대한 사용자 정보, 주문 지역 정보, 및 주문 금액 정보를 포함하는 부가 정보를 벡터화 하여 부가 정보 벡터를 도출하기 위한 단계;
    (d) 상기 도출된 부가 정보 벡터와 상기 도출된 감성 벡터를 결합하여 최종 특징 벡터를 도출하기 위한 단계;
    (e) 상기 도출된 최종 특징 벡터에 대응하는 사용자 점수를 예측하기 위한 단계; 및
    (f) 상기 획득된 실제 사용자 점수와 상기 예측된 사용자 점수 간의 차이 값을 기초로 상기 특정 상품 후기에 대한 비정상 여부를 판단하되, 상기 차이값의 크기가 기 설정된 기준값을 초과하는 경우 상기 특정 상품 후기를 비정상 상품 후기 후보로 판별하기 위한 단계;
    를 포함하는 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 방법.
  2. 제1항에 있어서,
    상기 NLP 감성 분석 모델은 자연어처리 전이학습 기법으로 학습된 BERT(Bidirectional Encoder Representations from Transformers) 모델 및 ALBERT(A Lite BERT) 모델 중 하나를 사용하여 구축된 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 사용자 정보는 사용자의 연령 및 성별 중 적어도 하나를 포함하는 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 방법.
  5. 제1항에 있어서,
    상기 단계 (c)는 선형 모델 또는 부스팅 기반의 모델을 이용하여 구축된 회기 모델로서의 별점 예측 모델을 통해 사용자 점수를 예측하는 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 방법.
  6. 특정 상품 후기의 실제 사용자 점수를 획득하기 위한 점수획득부;
    상기 특정 상품 후기의 텍스트를 추출하고, NLP(Natural Language Processing) 감성 분석 모델을 통하여 상기 추출된 텍스트에 대한 감성 벡터를 도출하기 위한 텍스트분석부;
    해당 상품에 대한 사용자 정보, 주문 지역 정보, 및 주문 금액 정보를 포함하는 부가 정보를 벡터화 하여 부가 정보 벡터를 도출하기 위한 정보획득부;
    상기 도출된 부가 정보 벡터와 상기 도출된 감성 벡터를 결합하여 최종 특징 벡터를 도출하기 위한 특징도출부;
    상기 도출된 최종 특징 벡터에 대응하는 사용자 점수를 예측하기 위한 점수예측부; 및
    상기 획득된 실제 사용자 점수와 상기 예측된 사용자 점수 간의 차이 값을 기초로 상기 특정 상품 후기에 대한 비정상 여부를 판단하되, 상기 차이값의 크기가 기 설정된 기준값을 초과하는 경우 상기 특정 상품 후기를 비정상 상품 후기 후보로 판별하기 위한 판단부;
    를 포함하는 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 장치.
  7. 제6항에 있어서,
    상기 NLP 감성 분석 모델은 자연어처리 전이학습 기법으로 학습된 BERT(Bidirectional Encoder Representations from Transformers) 모델 및 ALBERT(A Lite BERT) 모델 중 하나를 사용하여 구축된 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 장치.
  8. 삭제
  9. 제6항에 있어서,
    상기 사용자 정보는 사용자의 연령 및 성별 중 적어도 하나를 포함하는 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 장치.
  10. 제6항에 있어서,
    상기 점수예측부는 선형 모델 또는 부스팅 기반의 모델을 이용하여 구축된 회기 모델로서의 별점 예측 모델을 통해 사용자 점수를 예측하는 것을 특징으로 하는 온라인 상의 비정상 상품 후기 검출 장치.
  11. 제1항 내지 제2항 및 제4항 내지 제5항 중 어느 한 항의 상기 온라인 상의 비정상 상품 후기 검출 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  12. 제1항 내지 제2항 및 제4항 내지 제5항 중 어느 한 항의 상기 온라인 상의 비정상 상품 후기 검출 방법을 하드웨어와 결합하여 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록 매체에 저장된 애플리케이션.
  13. 제1항 내지 제2항 및 제4항 내지 제5항 중 어느 한 항의 상기 온라인 상의 비정상 상품 후기 검출 방법을 컴퓨터에서 실행시키기 위하여 컴퓨터에서 읽을 수 있는 기록 매체에 저장된 컴퓨터 프로그램.
KR1020210042260A 2021-03-31 2021-03-31 온라인 상의 비정상 상품 후기 검출 방법 및 장치 KR102337502B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210042260A KR102337502B1 (ko) 2021-03-31 2021-03-31 온라인 상의 비정상 상품 후기 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210042260A KR102337502B1 (ko) 2021-03-31 2021-03-31 온라인 상의 비정상 상품 후기 검출 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102337502B1 true KR102337502B1 (ko) 2021-12-10

Family

ID=78865340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210042260A KR102337502B1 (ko) 2021-03-31 2021-03-31 온라인 상의 비정상 상품 후기 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102337502B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102505204B1 (ko) * 2022-04-01 2023-03-03 주식회사 애자일소다 사용자 후기 분석 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877161B1 (ko) * 2017-01-09 2018-07-10 포항공과대학교 산학협력단 문서 문맥정보를 고려하는 상황기반 추천 방법 및 장치
KR20200133439A (ko) 2019-05-20 2020-11-30 배재대학교 산학협력단 사용자 구매 기준을 반영한 상품 추천 시스템 및 방법
KR20210014998A (ko) * 2019-07-31 2021-02-10 에이치에스오 주식회사 가격기준 검색을 이용한 가성비 맛집 검색 서비스 제공 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101877161B1 (ko) * 2017-01-09 2018-07-10 포항공과대학교 산학협력단 문서 문맥정보를 고려하는 상황기반 추천 방법 및 장치
KR20200133439A (ko) 2019-05-20 2020-11-30 배재대학교 산학협력단 사용자 구매 기준을 반영한 상품 추천 시스템 및 방법
KR20210014998A (ko) * 2019-07-31 2021-02-10 에이치에스오 주식회사 가격기준 검색을 이용한 가성비 맛집 검색 서비스 제공 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102505204B1 (ko) * 2022-04-01 2023-03-03 주식회사 애자일소다 사용자 후기 분석 장치 및 방법

Similar Documents

Publication Publication Date Title
US20200272917A1 (en) Method, apparatus, and computer program product for determining a provider return rate
Park et al. Measuring web site quality for online travel agencies
Chen et al. Measuring switching costs and the determinants of customer retention in Internet-enabled businesses: A study of the online brokerage industry
US10558922B2 (en) Method, apparatus, and computer program product for determining a provider return rate
CN109685610A (zh) 产品推送方法、装置、计算机设备和存储介质
KR102174206B1 (ko) 상품의 신뢰도를 고려한 온라인 상품 추천 방법 및 장치
US20190251626A1 (en) Utilizing artificial intelligence to make a prediction about an entity based on user sentiment and transaction history
Mittal et al. Determining banking service attributes from online reviews: text mining and sentiment analysis
WO2018071234A1 (en) Content recommendation and display
RU2012127407A (ru) Система, устройство и способы использования вероятностных технологий при определении тенденции, составлении профиля и основанных на шаблонах предсказаний поведения пользователя с целью предложения рекомендаций
Wright et al. Some philosophical problems for service-dominant logic in marketing
CN108846724A (zh) 数据分析方法和系统
CN107633416B (zh) 一种业务对象的推荐方法、装置和系统
Chen et al. Exploring determinants of attraction and helpfulness of online product review: A consumer behaviour perspective
Sarantidou Enriching the ECSI model using brand strength in the retail setting
Xiong The impact of artificial intelligence and digital economy consumer online shopping behavior on market changes
Kim et al. Computing the user experience via big data analysis: a case of Uber services
KR102337502B1 (ko) 온라인 상의 비정상 상품 후기 검출 방법 및 장치
Powell et al. Developing artwork pricing models for online art sales using text analytics
Alquhtani et al. Analytics in support of e-commerce systems using machine learning
CN110889716A (zh) 识别潜在注册用户的方法及装置
Park Estimating the effect of online consumer reviews: an application of count data models
Chen et al. [Retracted] Credit Risk Assessment of e‐Commerce Supply Chain Finance of SMEs Based on Dynamic Reward and Punishment Perspective
Purohit et al. Product review opinion based on sentiment analysis
KR20220087390A (ko) 구매 품목 정보를 이용한 상품 추천 서비스 제공 서버 및 그 방법

Legal Events

Date Code Title Description
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant