KR20220097630A - Machine learning-based fake review detection system and method, computer program and computer readable recording medium - Google Patents

Machine learning-based fake review detection system and method, computer program and computer readable recording medium Download PDF

Info

Publication number
KR20220097630A
KR20220097630A KR1020200187628A KR20200187628A KR20220097630A KR 20220097630 A KR20220097630 A KR 20220097630A KR 1020200187628 A KR1020200187628 A KR 1020200187628A KR 20200187628 A KR20200187628 A KR 20200187628A KR 20220097630 A KR20220097630 A KR 20220097630A
Authority
KR
South Korea
Prior art keywords
review
manipulation
prediction model
machine learning
probability prediction
Prior art date
Application number
KR1020200187628A
Other languages
Korean (ko)
Inventor
송근일
김도엽
이인섭
Original Assignee
주식회사 프리딕션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 프리딕션 filed Critical 주식회사 프리딕션
Priority to KR1020200187628A priority Critical patent/KR20220097630A/en
Publication of KR20220097630A publication Critical patent/KR20220097630A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

The present invention relates to a fake review detection system and a method thereof. The system includes: a machine learning unit constructing a first fake probability prediction model for a review by performing machine learning for review data; a determination unit determining whether input review data is fake by using the constructed first fake probability prediction model; and a display unit visually displaying the determination of whether input review data is fake and reason of the determination. Accordingly, the present invention enables accurate selection by a user by determining whether input review data is fake and displaying reason of the determination to be easily understood by the user.

Description

기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법, 컴퓨터 프로그램 및 컴퓨터 판독가능 기록 매체{Machine learning-based fake review detection system and method, computer program and computer readable recording medium} Machine learning-based fake review detection system and method, computer program and computer readable recording medium, computer program and computer readable recording medium

본 발명은 기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법에 관한 것으로서, 보다 상세하게는 조작 여부를 판단하고 그 판단 근거를 사용자가 용이하게 이해할 수 있도록 시각적으로 보여주는, 기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법에 관한 것이다. The present invention relates to a machine learning-based manipulation review detection system and a method for detecting the same, and more particularly, to a machine learning-based manipulation review detection method that determines whether a manipulation has been performed and visually shows the reason for the decision to be easily understood by a user. It relates to a system and a method for detecting the same.

구매 전 정보탐색 차원에서, 대다수의 소비자들은 구매하고자 하는 상품 또는 서비스에 대한 사용후기(이하, 리뷰로 지칭함)를 웹 상에서 찾아보고 있다. 이로 인해, 온라인 쇼핑몰, 블로그 등에 등장하는 리뷰가 중요해졌고, 이에 따라 리뷰를 이용한 마케팅이 증가했다. In terms of information search before purchase, the majority of consumers are looking for reviews (hereinafter referred to as reviews) on the product or service they want to purchase on the web. For this reason, reviews appearing in online shopping malls and blogs have become more important, and marketing using reviews has increased accordingly.

특히, 코로나19 여파로 배달 및 비대면 전자상거래 시장이 커지는 가운데, 매출을 증가시키기 위해 리뷰 조작이 빈번하게 발생하고 있다. 이로 인해, 신뢰할 수 있는 리뷰에 기초한 소비자들의 정확한 선택은 어렵게 되고 있고, 이러한 조작 리뷰는 시장 자체를 교란시키고 있다. In particular, as the delivery and non-face-to-face e-commerce market grows in the aftermath of COVID-19, review manipulation is frequently occurring to increase sales. For this reason, it is becoming difficult for consumers to make an accurate selection based on reliable reviews, and such manipulation reviews are disturbing the market itself.

따라서, 조작 여부를 판단하고 그 판단 근거를 사용자가 용이하게 이해할 수 있도록 시각적으로 보여주어, 소비자로 하여금 정확한 선택을 가능하게 해주는, 조작 리뷰 검출 시스템이 필요하다. Therefore, there is a need for a manipulation review detection system that determines whether a manipulation has been performed and visually shows the reason for the decision to be easily understood by the user, thereby enabling the consumer to make an accurate selection.

KR 2019-0123397 AKR 2019-0123397 A KR 2080344 B1KR 2080344 B1

이로써, 본 발명의 목적은 조작 여부를 판단하고 그 판단 근거를 사용자가 용이하게 이해할 수 있도록 시각적으로 보여주는, 기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법을 제공하는 데 있다. Accordingly, it is an object of the present invention to provide a machine learning-based operation review detection system and a detection method for determining whether an operation has been performed and visually showing the basis for the determination so that the user can easily understand the operation.

본 발명의 다른 목적은 조작 여부를 판단하고 그 판단 근거를 사용자가 용이하게 이해할 수 있도록 시각적으로 보여주어, 소비자로 하여금 정확한 선택을 가능하게 해주는, 기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법을 제공하는 데 있다. Another object of the present invention is to provide a machine learning-based operation review detection system and a detection method, which determine whether an operation has been performed and visually show the basis for the determination so that the user can easily understand it, thereby enabling the consumer to make an accurate selection. is to provide

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 목적은, 본 발명의 제1 측면에 따라, The object is, according to a first aspect of the present invention,

리뷰 데이터를 기계학습시켜서 리뷰에 대한 제1 조작 확률 예측 모델을 구축하는 기계학습부; a machine learning unit for constructing a first manipulation probability prediction model for a review by machine learning the review data;

상기 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 판단부; 및a determination unit for judging whether to manipulate the input review data using the constructed first manipulation probability prediction model; and

상기 조작 여부의 판단 및 그 판단 근거를 시각적으로 보여주는 표시부를 포함하는, Comprising a display unit for visually showing the determination of whether the operation and the basis for the determination,

조작 리뷰 검출 시스템에 의해 달성된다.This is achieved by an operation review detection system.

이때, 상기 기계학습부는, At this time, the machine learning unit,

상기 리뷰 데이터를 저장하는 데이터베이스; a database for storing the review data;

상기 데이터베이스에 저장된 리뷰 데이터에 적용될 다수의 특징들을 추출하는 특징추출부; 및a feature extraction unit for extracting a plurality of features to be applied to the review data stored in the database; and

상기 데이터베이스에 저장된 리뷰 데이터에 상기 추출된 다수의 특징들을 적용하여 제1 조작 확률 예측 모델을 구축하는 모델구축부를 포함할 수 있다. It may include a model building unit for constructing a first manipulation probability prediction model by applying the plurality of extracted features to the review data stored in the database.

또한, 상기 표시부는, In addition, the display unit,

상기 조작 여부의 판단 근거를 분석하는 판단근거분석부를 포함할 수 있다.It may include a decision basis analysis unit for analyzing the basis for determining whether the manipulation.

한편, 상기 기계학습부는 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제2 조작 확률 예측 모델을 더 구축하고, On the other hand, the machine learning unit further constructs a second manipulation probability prediction model for the review by machine learning the review data,

이때 상기 판단부는 상기 구축된 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 것을 특징으로 할 수 있다. In this case, the determination unit may be characterized in that it determines whether to manipulate the input review data using the constructed first operation probability prediction model and the second operation probability prediction model.

나아가, 상기 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델은, 각각 LightGBM 및 Depp SVDD일 수 있다. Furthermore, the first manipulation probability prediction model and the second manipulation probability prediction model may be LightGBM and Depp SVDD, respectively.

상기 목적은, 또한 본 발명의 제2 측면에 따라, Said object is also according to a second aspect of the invention,

기계학습부, 판단부 및 표시부를 포함하는 조작 리뷰 검출 시스템에서 수행될 수 있는 조작 리뷰 검출 방법에 있어서, A manipulation review detection method that can be performed in a manipulation review detection system including a machine learning unit, a determination unit, and a display unit, the method comprising:

상기 기계학습부에서, 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제1 조작 확률 예측 모델을 구축하는 단계; constructing, in the machine learning unit, a first manipulation probability prediction model for a review by machine learning the review data;

상기 판단부에서, 상기 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 단계; 및determining, by the determination unit, whether to manipulate the input review data using the constructed first manipulation probability prediction model; and

상기 표시부에서, 상기 조작 여부의 판단 및 그 판단 근거를 시각적으로 보여주는 단계를 포함하는, In the display unit, comprising the step of visually showing the determination of whether the operation and the basis for the determination,

조작 리뷰 검출 방법에 의해 달성된다.This is achieved by a manipulation review detection method.

나아가, 상기 목적은, 또한 본 발명의 제3 측면에 따라, Furthermore, the object is also according to a third aspect of the invention,

상기의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체에 의해 달성된다.It is achieved by a computer-readable recording medium recording a program for performing the above method.

또한, 상기 목적은, 또한 본 발명의 제4 측면에 따라, Further, the object is also according to a fourth aspect of the present invention,

상기의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램에 의해 달성된다. It is achieved by a computer program stored in a medium for executing the above method through combination with hardware.

상기한 바와 같은 본 발명의 기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법에 따르면, 조작 여부를 판단하고 그 판단 근거를 사용자가 용이하게 이해할 수 있도록 시각적으로 보여준다는 장점이 있다. According to the machine learning-based operation review detection system and the detection method of the present invention as described above, there is an advantage in that it is determined whether the operation has been performed and the reason for the determination is visually displayed so that the user can easily understand the operation.

또한 본 발명의 기계학습에 기초한 조작 리뷰 검출 시스템 및 그 검출 방법에 따르면 조작 여부를 판단하고 그 판단 근거를 사용자가 용이하게 이해할 수 있도록 시각적으로 보여주어, 소비자로 하여금 정확한 선택을 가능하게 해준다는 장점이 있다. In addition, according to the machine learning-based operation review detection system and the detection method of the present invention, it is determined whether the operation has been performed and the reason for the determination is visually displayed so that the user can easily understand, thereby enabling the consumer to make an accurate selection. There is this.

도 1은 본 발명에 따른 조작 리뷰 검출 시스템의 구성도이다.
도 2는 도 1의 기계학습부의 일 예를 보여주는 도면이다.
도 3은 도 1의 표시부의 일 예를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 표시화면을 보여주는 도면이다. 1 is a block diagram of an operation review detection system according to the present invention.
FIG. 2 is a diagram illustrating an example of the machine learning unit of FIG. 1 .
FIG. 3 is a view showing an example of the display unit of FIG. 1 .
4 is a view showing a display screen according to an embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the exemplary embodiments. The same reference numerals provided in the respective drawings indicate members that perform substantially the same functions.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예컨대, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Terms including an ordinal number such as 1st, 2nd, etc. may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

도 1은 본 발명에 따른 조작 리뷰 검출 시스템의 구성도이다. 도 2는 도 1의 기계학습부의 일 예를 보여주는 도면이다. 도 3은 도 1의 표시부의 일 예를 보여주는 도면이다. 1 is a block diagram of an operation review detection system according to the present invention. FIG. 2 is a diagram illustrating an example of the machine learning unit of FIG. 1 . 3 is a diagram illustrating an example of the display unit of FIG. 1 .

먼저, 도 1을 참조하면, 본 발명의 조작 리뷰 검출 시스템(1)은 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제1 조작 확률 예측 모델을 구축하는 기계학습부(10), 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 판단부(20), 및 조작 여부의 판단 및 그 판단 근거를 시각적으로 보여주는 표시부(30)를 포함한다. First, referring to Figure 1, the operation review detection system 1 of the present invention machine learning unit 10 to build a first operation probability prediction model for the review by machine learning the review data, the constructed first operation probability It includes a determination unit 20 that determines whether the input review data has been manipulated by using the predictive model, and a display unit 30 that visually displays the determination of whether or not the operation has been performed and the basis for the determination.

여기서, 기계학습부(10)는 도 2를 참조하면, 리뷰 데이터를 저장하는 데이터베이스(11); 데이터베이스(11)에 저장된 리뷰 데이터에 적용될 다수의 특징들을 추출하는 특징추출부(12); 및 데이터베이스(11)에 저장된 리뷰 데이터에 추출된 다수의 특징들을 적용하여 제1 조작 확률 예측 모델을 구축하는 모델구축부(13)를 포함한다. Here, the machine learning unit 10 includes a database 11 for storing review data, referring to FIG. 2 ; a feature extraction unit 12 for extracting a plurality of features to be applied to the review data stored in the database 11; and a model building unit 13 for constructing a first manipulation probability prediction model by applying a plurality of features extracted to the review data stored in the database 11 .

데이터베이스(11)에는, 기존의 리뷰 데이터가 저장될 수 있다. 이는 실제 조작 리뷰로 판명된 조작 리뷰 데이터를 포함할 수 있는데, 각각의 리뷰 데이터는, 아이디 등을 포함하는 리뷰어 정보, 작성일시, 상품명, 주문 가게 번호, 리뷰 내용, 주문 지역 정보, 리뷰어가 업로드한 이미지 등이 포함될 수 있다. In the database 11, existing review data may be stored. This may include operation review data that is determined to be an actual operation review, and each review data includes reviewer information including ID, writing date and time, product name, order shop number, review contents, order area information, and uploaded by the reviewer. Images and the like may be included.

특징추출부(12)는, 머신러닝 알고리즘을 돌려서 신뢰할 만한 결과를 얻기 위해 취해야 하는 특징을 선정하는 데이터 전처리 모듈로서, 데이터베이스(11)에 저장된 리뷰 데이터 또는 입력 리뷰 데이터의 조작 여부를 판단하는 데 인자가 될 수 있는 다수의 특징들, 예를 들어 아이디 중복 여부, 리뷰어의 기존 리뷰 작성 비율, 리뷰어의 기존 리뷰 별점 평균, 리뷰 작성 시간 차, 리뷰 퀄리티, 이미지 리뷰 여부 등을 추출한다. The feature extraction unit 12 is a data preprocessing module that selects features to be taken to obtain reliable results by running a machine learning algorithm, and is a factor in determining whether the review data stored in the database 11 or the input review data is manipulated. A number of features that can be, for example, ID overlap, reviewer's existing review writing ratio, reviewer's existing review star rating average, review writing time difference, review quality, image review, etc. are extracted.

데이터 전처리가 완료되면, 모델구축부(13)는, 머신러닝 알고리즘에 데이터베이스(11)에 저장된 리뷰 데이터를 적용하여 제1 조작 확률 예측 모델을 학습시킨다. 이때, 제1 조작 확률 예측 모델은, LSTM 모델 뿐만 아니라, RNN, DNN 및 CNN과 같이 LSTM 모델이 아닌 다른 인공지능 모델, 예를 들어 1D-CNN, DNN, Xgb, lightgbm, linear-regression, Xgb & LSTM Emsemble, AE-denoising 등일 수 있다. 본 발명에서는 머신러닝 부스팅 알고리즘의 성능을 높인 lightgbm을 사용하였다. When the data pre-processing is completed, the model building unit 13 applies the review data stored in the database 11 to the machine learning algorithm to learn the first manipulation probability prediction model. At this time, the first manipulation probability prediction model is not only the LSTM model, but also other artificial intelligence models other than LSTM models such as RNN, DNN and CNN, for example, 1D-CNN, DNN, Xgb, lightgbm, linear-regression, Xgb & LSTM Emsemble, AE-denoising, or the like. In the present invention, lightgbm, which improved the performance of the machine learning boosting algorithm, was used.

한편, 기계학습부(10)는 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제2 조작 확률 예측 모델을 더 생성할 수 있다. 다시 말하면, 모델구축부(13)는, 딥러닝 알고리즘에 데이터베이스(11)에 저장된 리뷰 데이터를 적용하여 제2 조작 확률 예측 모델을 학습시킨다. 본 발명에서는 정상 데이터들의 특성을 통해 비정상 데이터를 탐지하는 기술인 Deep SVDD를 사용하였다. Meanwhile, the machine learning unit 10 may further generate a second manipulation probability prediction model for the review by machine learning the review data. In other words, the model building unit 13 applies the review data stored in the database 11 to the deep learning algorithm to learn the second manipulation probability prediction model. In the present invention, Deep SVDD, a technique for detecting abnormal data through characteristics of normal data, is used.

물론, 제1 조작 확률 예측 모델과 제2 조작 확률 예측 모델 각각에 적합한 특징을 추출하기 위해, 특징추출부(12)는 각각의 예측 모델에 독립적으로 수행될 수 있다. Of course, in order to extract features suitable for each of the first manipulation probability prediction model and the second manipulation probability prediction model, the feature extraction unit 12 may be independently performed for each prediction model.

다시 도 1을 참조하면, 판단부(20)는, 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단한다. 이때 조작 여부의 판단은, 조작 리뷰일 확률로 나타낼 수 있다. Referring back to FIG. 1 , the determination unit 20 determines whether the input review data is manipulated using the constructed first manipulation probability prediction model. In this case, the determination of whether the operation is performed may be expressed as a probability of operation review.

나아가, 기계학습부(10)가 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제2 조작 확률 예측 모델을 더 구축하는 경우에 있어서, 판단부(20)는, 구축된 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단한다. 이때 조작 여부의 판단은, 제1 조작 확률 예측 모델로부터 출력된 제1 조작 리뷰일 확률 및 제2 조작 확률 예측 모델로부터 출력된 제2 조작 리뷰일 확률의 조합일 수 있다. 여기서 조합은, 예를 들어 단순평균, 가중평균 등으로 표현될 수 있고, 가중평균에 적용되는 각각의 가중치는 필요에 따라 정해질 수 있다. Furthermore, in the case where the machine learning unit 10 further constructs a second operation probability prediction model for the review by machine learning the review data, the determination unit 20 includes the constructed first operation probability prediction model and the first operation probability prediction model 2 It is determined whether the input review data is manipulated using the manipulation probability prediction model. In this case, the determination of whether the manipulation is performed may be a combination of the probability of the first manipulation review outputted from the first manipulation probability prediction model and the probability of the second manipulation review outputted from the second manipulation probability prediction model. Here, the combination may be expressed as, for example, a simple average, a weighted average, or the like, and each weight applied to the weighted average may be determined as necessary.

도 1 및 도 3을 참조하면, 표시부(30)는, 구축된 제1 조작 확률 예측 모델(31)을 분석하여 그 조작 리뷰 확률 및 그 판단 근거를 시각적으로 표시하는 판단근거분석부(32)를 더 포함할 수 있다. 이때 보다 상세하게는, 기계학습된 모델의 가중치를 분석하여 어떤 변수가 확률 결과에 어떠한 영향을 미치는지를 분석하게 된다. 1 and 3 , the display unit 30 analyzes the constructed first operation probability prediction model 31 and visually displays the operation review probability and the determination basis. may include more. At this time, in more detail, the weights of the machine-learning model are analyzed to analyze which variables affect the probability results.

이때 그 판단 근거는 제1 조작 확률 예측 모델을 구축할 때 선정된 각 특징들을 이용하여 산출될 수 있고, 이는 각 특징별로 부여된 가중치 및 입력 데이터의 특징 값에 기초하여 산출될 수 있다. 이러한 시각적인 표시화면은 도 4에 예시적으로 도시되어 있다. 도 4는, 조작 여부의 판단을 조작 건일 확률로 표시하는 경우에 있어서, 예를 들어 조작 건일 확률 17%로 판단된 예를 보여준다. 리뷰 내용의 중복이 존재하였으며, 리뷰 제목과 내용의 유사도가 높아서 조작 건일 확률이 증가되었고, 상품에 매긴 별점으로 인해 조작 건일 확률은 다소 감소되었다. 이로써, 입력 데이터의 어떠한 특징이 조작 리뷰로 판단되도록 야기시켰는지에 대한 그 판단 근거를 일목요연하게 볼 수 있게 된다. In this case, the basis for the determination may be calculated using each feature selected when constructing the first manipulation probability prediction model, which may be calculated based on a weight assigned to each feature and a feature value of input data. Such a visual display screen is exemplarily shown in FIG. 4 . 4 shows an example in which, for example, the probability of manipulation is 17% in the case of displaying the determination of whether or not manipulation is a manipulation key. There was overlap of review content, and the similarity between the review title and the content was high, so the probability of a manipulation case increased. Thereby, it is possible to see at a glance the basis of the judgment as to which characteristic of the input data caused the judgment to be judged by the manipulation review.

본 발명의 일 실시예에 따른 조작 리뷰 검출 방법은, 본 발명의 일 실시예에 따른 조작 리뷰 검출 방법을 보여주는 흐름도인 도 5를 참조하여 설명하기로 한다. 상기에서 본 발명의 일 실시예에 따른 조작 리뷰 검출 시스템에서 이미 언급된 내용은 중복을 회피하기 위해 이하에서 그 설명을 생략하기로 한다.A method for detecting a manipulation review according to an embodiment of the present invention will be described with reference to FIG. 5 , which is a flowchart showing a method for detecting a manipulation review according to an embodiment of the present invention. In order to avoid duplication of the content already mentioned in the manipulation review detection system according to an embodiment of the present invention, the description thereof will be omitted below.

본 발명의 조작 리뷰 검출 방법은, 기계학습부, 판단부 및 표시부를 포함하는 조작 리뷰 검출 시스템에서 수행될 수 있는데, 이 조작 리뷰 검출 방법은, 기계학습부에서, 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제1 조작 확률 예측 모델을 구축하는 단계(S100); 판단부에서, 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 단계(S200); 및 표시부에서, 상기 조작 여부의 판단 및 그 판단 근거를 시각적으로 보여주는 단계(S300)를 포함한다. The operation review detection method of the present invention may be performed in an operation review detection system including a machine learning unit, a determination unit, and a display unit. This operation review detection method is performed by machine learning review data in the machine learning unit Building a first manipulation probability prediction model for (S100); In the determination unit, determining whether to manipulate the input review data using the constructed first manipulation probability prediction model (S200); and a step (S300) of visually showing the determination of whether the operation is performed and the basis for the determination in the display unit.

실시예들에 따른 조작 리뷰 검출 시스템(1)은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대 시스템은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”,“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 가능한 컴퓨팅 장치일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.The manipulation review detection system 1 according to the embodiments may have an aspect that is entirely hardware, entirely software, or partly hardware and partly software. For example, the system may collectively refer to hardware equipped with data processing capability and operating software for driving the same. As used herein, terms such as “unit”, “module,” “device,” or “system” are intended to refer to a combination of hardware and software run by the hardware. For example, the hardware may be a data processing capable computing device including a central processing unit (CPU), a graphic processing unit (GPU), or another processor. In addition, software may refer to a running process, an object, an executable file, a thread of execution, a program, and the like.

한편, 본 발명의 실시예에 따른 방법들은 적어도 부분적으로 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다. Meanwhile, the methods according to an embodiment of the present invention may be at least partially implemented in the form of program instructions and recorded in a computer-readable recording medium. For example, embodied with a program product consisting of a computer-readable medium containing program code, which may be executed by a processor for performing any or all steps, operations, or processes described.

상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 유사한 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.The computer may be any device that may be incorporated into or may be a computing device such as a desktop computer, laptop computer, notebook, smart phone, or the like. A computer is a device having one or more alternative and special purpose processors, memory, storage, and networking components (either wireless or wired). The computer may run, for example, an operating system compatible with Microsoft's Windows, an operating system such as Apple OS X or iOS, a Linux distribution, or Google's Android OS.

상기 프로그램 명령 형태는, 소프트웨어로 통칭될 수 있고, 이는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The program instruction form may be collectively referred to as software, which may include a computer program, code, instructions, or a combination of one or more of these, and configure the processing device to operate as desired. may be configured or independently or collectively instruct the processing device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be permanently or temporarily embody in The software may be distributed over networked computing devices, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시 예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded in the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

일반적으로 본 명세서에서 사용된 용어는, 특히 청구항에서(예를 들어, 청구항의 본문) 일반적으로 "개방적인" 용어로 의도된다(예를 들어, "포함하는"은 "포함하나 이에 제한되지 않는"으로, "가지다"는 "적어도 그 이상으로 가지다"로, "포함하다"는 "포함하나 이에 제한되지 않는다"로 해석되어야 함) 도입된 청구항 기재에 대하여 특정한 개수가 의도되는 경우, 이러한 의도는 해당 청구항에서 명시적으로 기재되며, 이러한 기재가 부재하는 경우 이러한 의도는 존재하지 않는 것으로 이해된다. Terms used in this specification generally are intended to be "open-ended" terms, particularly in claims (eg, the body of claims) (eg, "comprising" means "including but not limited to" , "having" should be construed as "having at least more" and "comprising" as "including but not limited to" It is expressly recited in the claims, and in the absence of such recitation, no such intent is understood.

본 발명의 특정 특징만이 본 명세서에서 도시되고 설명되었으며, 다양한 수정 및 변경이 당업자에 대하여 발생할 수 있다. 그러므로 청구항은 본 발명의 사상 내에 속하는 변경 및 수정을 포함하는 것으로 의도된다는 점이 이해된다.Only specific features of the invention have been shown and described herein, and various modifications and variations will occur to those skilled in the art. It is therefore to be understood that the claims are intended to cover changes and modifications that fall within the spirit of the invention.

10: 기계학습부 20: 판단부
30: 표시부10: machine learning unit 20: judgment unit
30: display

Claims (12)

리뷰 데이터를 기계학습시켜서 리뷰에 대한 제1 조작 확률 예측 모델을 구축하는 기계학습부;
상기 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 판단부; 및
상기 조작 여부의 판단 및 그 판단 근거를 시각적으로 보여주는 표시부를 포함하는,
조작 리뷰 검출 시스템. a machine learning unit for constructing a first manipulation probability prediction model for a review by machine learning the review data;
a determination unit for judging whether to manipulate the input review data using the constructed first manipulation probability prediction model; and
Comprising a display unit visually showing the determination of whether the operation and the basis for the determination,
Manipulation Review Detection System. 제 1 항에 있어서, 상기 기계학습부는,
상기 리뷰 데이터를 저장하는 데이터베이스;
상기 데이터베이스에 저장된 리뷰 데이터에 적용될 다수의 특징들을 추출하는 특징추출부; 및
상기 데이터베이스에 저장된 리뷰 데이터에 상기 추출된 다수의 특징들을 적용하여 제1 조작 확률 예측 모델을 구축하는 모델구축부를 포함하는,
조작 리뷰 검출 시스템. According to claim 1, wherein the machine learning unit,
a database for storing the review data;
a feature extraction unit for extracting a plurality of features to be applied to the review data stored in the database; and
Comprising a model building unit for building a first manipulation probability prediction model by applying the plurality of extracted features to the review data stored in the database,
Manipulation Review Detection System. 제 2 항에 있어서, 상기 표시부는,
상기 조작 여부의 판단 근거를 분석하는 판단근거분석부를 포함하는,
조작 리뷰 검출 시스템. According to claim 2, wherein the display unit,
Comprising a judgment basis analysis unit to analyze the basis for the determination of whether the manipulation,
Manipulation Review Detection System. 제 1 항에 있어서,
상기 기계학습부는 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제2 조작 확률 예측 모델을 더 구축하고,
이때 상기 판단부는 상기 구축된 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 것을 특징으로 하는,
조작 리뷰 검출 시스템. The method of claim 1,
The machine learning unit further builds a second manipulation probability prediction model for the review by machine learning the review data,
In this case, the determination unit is characterized in that it determines whether to manipulate the input review data using the constructed first operation probability prediction model and the second operation probability prediction model,
Manipulation Review Detection System. 제 4 항에 있어서,
상기 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델은, 각각 LightGBM 및 Depp SVDD인 것을 특징으로 하는,
조작 리뷰 검출 시스템. 5. The method of claim 4,
The first manipulation probability prediction model and the second manipulation probability prediction model are LightGBM and Depp SVDD, respectively,
Manipulation Review Detection System. 기계학습부, 판단부 및 표시부를 포함하는 조작 리뷰 검출 시스템에서 수행될 수 있는 조작 리뷰 검출 방법에 있어서,
상기 기계학습부에서, 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제1 조작 확률 예측 모델을 구축하는 단계;
상기 판단부에서, 상기 구축된 제1 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 단계; 및
상기 표시부에서, 상기 조작 여부의 판단 및 그 판단 근거를 시각적으로 보여주는 단계를 포함하는,
조작 리뷰 검출 방법. A manipulation review detection method that can be performed in a manipulation review detection system including a machine learning unit, a determination unit, and a display unit, the method comprising:
constructing, in the machine learning unit, a first manipulation probability prediction model for a review by machine learning the review data;
determining, by the determination unit, whether to manipulate the input review data using the constructed first manipulation probability prediction model; and
In the display unit, comprising the step of visually showing the determination of whether the operation and the basis for the determination,
How to detect tampering reviews. 제 6 항에 있어서, 상기 기계학습부는,
상기 리뷰 데이터를 저장하는 데이터베이스;
상기 데이터베이스에 저장된 리뷰 데이터에 적용될 다수의 특징들을 추출하는 특징추출부; 및
상기 데이터베이스에 저장된 리뷰 데이터에 상기 추출된 다수의 특징들을 적용하여 제1 조작 확률 예측 모델을 구축하는 모델구축부를 포함하는,
조작 리뷰 검출 방법. The method of claim 6, wherein the machine learning unit,
a database for storing the review data;
a feature extraction unit for extracting a plurality of features to be applied to the review data stored in the database; and
Comprising a model building unit for building a first manipulation probability prediction model by applying the plurality of extracted features to the review data stored in the database,
How to detect tampering reviews. 제 7 항에 있어서, 상기 표시부는,
상기 조작 여부의 판단 근거를 분석하는 판단근거분석부를 포함하는,
조작 리뷰 검출 방법. The method of claim 7, wherein the display unit,
Comprising a judgment basis analysis unit to analyze the basis for the determination of whether the manipulation,
How to detect tampering reviews. 제 6 항에 있어서,
상기 기계학습부는 리뷰 데이터를 기계학습시켜서 리뷰에 대한 제2 조작 확률 예측 모델을 더 구축하고,
이때 상기 판단부는 상기 구축된 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델을 이용해 입력 리뷰 데이터에 대하여 조작 여부를 판단하는 것을 특징으로 하는,
조작 리뷰 검출 방법. 7. The method of claim 6,
The machine learning unit further builds a second manipulation probability prediction model for the review by machine learning the review data,
In this case, the determination unit is characterized in that it determines whether to manipulate the input review data using the constructed first operation probability prediction model and the second operation probability prediction model,
How to detect tampering reviews. 제 9 항에 있어서,
상기 제1 조작 확률 예측 모델 및 상기 제2 조작 확률 예측 모델은, 각각 LightGBM 및 Depp SVDD인 것을 특징으로 하는,
조작 리뷰 검출 방법.10. The method of claim 9,
The first manipulation probability prediction model and the second manipulation probability prediction model are LightGBM and Depp SVDD, respectively,
How to detect tampering reviews. 제 6 항 내지 제 10 항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체. A computer-readable recording medium recording a program for performing the method of any one of claims 6 to 10. 제 6 항 내지 제 10 항 중 어느 한 항의 방법을 하드웨어와의 결합을 통해 실행시키기 위한 매체에 저장된 컴퓨터 프로그램. A computer program stored in a medium for executing the method of any one of claims 6 to 10 through combination with hardware.
KR1020200187628A 2020-12-30 2020-12-30 Machine learning-based fake review detection system and method, computer program and computer readable recording medium KR20220097630A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200187628A KR20220097630A (en) 2020-12-30 2020-12-30 Machine learning-based fake review detection system and method, computer program and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200187628A KR20220097630A (en) 2020-12-30 2020-12-30 Machine learning-based fake review detection system and method, computer program and computer readable recording medium

Publications (1)

Publication Number Publication Date
KR20220097630A true KR20220097630A (en) 2022-07-08

Family

ID=82407404

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200187628A KR20220097630A (en) 2020-12-30 2020-12-30 Machine learning-based fake review detection system and method, computer program and computer readable recording medium

Country Status (1)

Country Link
KR (1) KR20220097630A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590271B1 (en) 2023-07-24 2023-10-17 주식회사 알앤알스퀘어 Method, device and system for providing product review content verification solution based on artificial intelligence model
CN117076812B (en) * 2023-10-13 2023-12-12 西安康奈网络科技有限公司 Intelligent monitoring management system of network information release and propagation platform

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190123397A (en) 2018-04-24 2019-11-01 성균관대학교산학협력단 Classification model selection method for discriminating fake review
KR102080344B1 (en) 2018-12-21 2020-02-21 (주)망고플레이트 An apparatus and method for detecting fraud evaluation of online contents that distinguish heavy user from fraud user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190123397A (en) 2018-04-24 2019-11-01 성균관대학교산학협력단 Classification model selection method for discriminating fake review
KR102080344B1 (en) 2018-12-21 2020-02-21 (주)망고플레이트 An apparatus and method for detecting fraud evaluation of online contents that distinguish heavy user from fraud user

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102590271B1 (en) 2023-07-24 2023-10-17 주식회사 알앤알스퀘어 Method, device and system for providing product review content verification solution based on artificial intelligence model
CN117076812B (en) * 2023-10-13 2023-12-12 西安康奈网络科技有限公司 Intelligent monitoring management system of network information release and propagation platform

Similar Documents

Publication Publication Date Title
CN107609116B (en) Method and equipment for creating cross-domain migration deep network
US20170200205A1 (en) Method and system for analyzing user reviews
EP3786855A1 (en) Automated data processing and machine learning model generation
US10565703B2 (en) Image inspection device, image inspection method, and image inspection program
KR20220097630A (en) Machine learning-based fake review detection system and method, computer program and computer readable recording medium
US20200372298A1 (en) Model reselection for accommodating unsatisfactory training data
CN114648392B (en) Product recommendation method and device based on user portrait, electronic equipment and medium
CN111125529A (en) Product matching method and device, computer equipment and storage medium
JP7291419B2 (en) Method and apparatus for providing information about machine learning-based similar items
JP7287699B2 (en) Information provision method and device using learning model through machine learning
WO2015175738A1 (en) Detecting conformance of graphical output data from an application to a convention
US9477966B2 (en) Accurately estimating the audience of digital content
US20210166080A1 (en) Utilizing object oriented programming to validate machine learning classifiers and word embeddings
CN114116441A (en) UI (user interface) testing method and device, electronic equipment and storage medium
US20210182701A1 (en) Virtual data scientist with prescriptive analytics
CN110544166A (en) Sample generation method, device and storage medium
CN112424784A (en) Systems, methods, and computer-readable media for improved table identification using neural networks
US20230052101A1 (en) Learning apparatus, learning method, and recording medium
JP2018067215A (en) Data analysis system, control method thereof, program, and recording medium
US20210012390A1 (en) Contextual information insertion in context with content
WO2020225902A1 (en) Detector, detection method, and detection program
CN113538002A (en) Method and device for auditing texts
EP3836069A1 (en) Electronic device and control method therefor
WO2020056286A1 (en) System and method for predicting average inventory with new items
JP5098632B2 (en) Activity management device, activity management system, and activity management program