KR101393154B1 - 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템 - Google Patents

신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템 Download PDF

Info

Publication number
KR101393154B1
KR101393154B1 KR1020120084000A KR20120084000A KR101393154B1 KR 101393154 B1 KR101393154 B1 KR 101393154B1 KR 1020120084000 A KR1020120084000 A KR 1020120084000A KR 20120084000 A KR20120084000 A KR 20120084000A KR 101393154 B1 KR101393154 B1 KR 101393154B1
Authority
KR
South Korea
Prior art keywords
reputation
rating
reliability
user
flat plate
Prior art date
Application number
KR1020120084000A
Other languages
English (en)
Other versions
KR20140017266A (ko
Inventor
김상욱
오현교
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020120084000A priority Critical patent/KR101393154B1/ko
Publication of KR20140017266A publication Critical patent/KR20140017266A/ko
Application granted granted Critical
Publication of KR101393154B1 publication Critical patent/KR101393154B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 온라인 평판 시스템의 신뢰도를 높이기 위해, 평판을 보정하는 상호 강화 방법 및 그 시스템에 관한 것이다. 온라인 평판 시스템의 평판과 평점의 상호 강화 방법에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 단계; 및 평점의 신뢰도를 온라인 평판 시스템에 적용하여 평판의 신뢰도를 정량화하는 단계를 포함하는 상호 강화 방법이 제공될 수 있다.

Description

신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템{MUTUAL REINFORCEMENT METHOD AND SYSTEM FOR THE TRUSTABLE ONLINE RATING SYSTEM}
본 발명은 온라인 평판 시스템의 신뢰도를 높이기 위해, 평판을 보정하는 상호 강화 방법 및 그 시스템에 관한 것이다.
인터넷의 발달과 함께 온라인상에서 상품을 구매하는 것이 매우 일상적인 일이 되었다. 이와 더불어 구매한 상품의 평가를 통해 소비자의 경험을 공유하려는 온라인 문화가 자연스럽게 형성되었다. 특히, 상품에 대한 만족도를 점수로 나타내는 평점평가를 통해 소비자들은 자신의 만족도를 손쉽게 표현할 수 있다. 상품에 대한 소비자 전반의 만족도는 소비자들이 매긴 평점들의 평균값으로 점수화되며, 본 발명에서는 이 평균값을 평판(Reputation)이라고 한다. 평판은 예비 소비자들의 상품 선택의 가이드 역할을 해주며, 실제로 상품의 최종구매 결정시 큰 영향을 주는 요소이다.
평점평가를 통해 상품에 대한 소비자 전반의 만족도를 수치로 측정하려는 활동은 일종의 크라우드 소싱(Crowd Sourcing)이다. 크라우드 소싱은 불특정 다수의 대중들의 참여를 통해 문제해결의 효율을 높이는 활동이다. 평판은 크라우드 소싱을 통해 모인 수많은 사람들의 능력과 지혜를 이용하여 얻게 된 신뢰 할 수 있는 결과 값이라고 할 수 있다. 이러한 관점에서 평판은 다수의 소비자가 성실하게 상품의 평가에 참여했을 때 그 값의 신뢰도가 높아질 수 있다.
그러나, 이와 반대 상황으로 악의를 가지고 평판조작을 시도하려는 사용자나 비정상적인 평점으로 평판을 왜곡하려는 사용자들이 평점평가에 참가했을 경우 또는 평점평가에 참가한 사용자수가 굉장히 적은 경우에는 평판을 신뢰하기가 어렵다. 이러한 상황에서 형성된 평판으로 인해 예비 소비자들이 상품을 구매할 때 잘못된 판단을 하게 될 수 있다.
예를 들면, 어떤 상품의 출시단계에서 상품의 프로모션을 위해 회사에서 사람들을 고용해서 해당 상품에 의도적으로 높은 평점을 매기는 경우 등의 경우, 이때의 평판은 신뢰 할 수 없는 거짓 평판이며, 예비 소비자들이 상품 구매를 결정하는데 악영향을 줄 수 있다.
한국 공개특허공보 제2009-0080857호
본 발명에서는 평판을 신뢰하기 어려운 상황을 거짓 평판 문제로 정의하고, 거짓 평판 문제가 발생할 수 있는 경우를 구체적으로 명시하여 해결함으로써 예비 소비자들에게 신뢰할 수 있는 평판을 제공하는 프레임워크를 제공하고자 한다.
평판의 가중치를 동일하게 부여하는 산술평균 대신, 사용자의 객관성과 활동성을 계량화한 값과 사용자가 평가한 평판들을 대상으로 일관성 분석을 실시하고 이에 가중치를 적용하여 수치화하고자 한다.
온라인 평판 시스템의 평판과 평점의 상호 강화 방법에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 단계; 및 평점의 신뢰도를 온라인 평판 시스템에 적용하여 평판의 신뢰도를 정량화하는 단계를 포함하는 상호 강화 방법이 제공될 수 있다.
일측에 있어서, 상호 강화 방법은 평판에 거짓 평판 문제가 발생함을 식별하는 단계를 포함할 수 있고, 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며, 평판에 거짓 평판 문제가 발생함을 식별하는 단계에서는 평점의 신뢰도가 낮아짐을 식별할 수 있다.
또 다른 측면에 있어서, 신뢰할 수 있는 정보는 온라인 평판 시스템 사용자의 객관성, 활동성, 일관성의 개념에 해당하며, 평점의 신뢰도를 계산하는 단계에서는 각각의 개념을 수치화하여 평점의 신뢰도를 계산할 수 있다.
또 다른 측면에 있어서, 사용자의 객관성은 사용자가 작성한 모든 평점과 평판의 근접성이 측정되어 수치화된 후, 수치화된 값의 평균을 나타내며, 평판의 신뢰도 계산을 위해 정규화 과정을 거치게 될 수 있다.
또 다른 측면에 있어서, 사용자의 활동성은 사용자가 작성한 평점의 개수를 기준으로 수치화되며, 평판의 신뢰도 계산을 위해 정규화 과정을 거치게 될 수 있다.
또 다른 측면에 있어서, 사용자의 일관성은 일관성에서 벗어난 평점을 분석하기 위해 박스플롯(Box plot)이 이용되며, 일관성에서 벗어난 평점일수록 평판의 신뢰도 계산 시에 강한 페널티가 부여될 수 있다.
또 다른 측면에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 단계와 평점의 신뢰도를 온라인 평점 시스템에 적용하여 평판의 신뢰도를 정량화하는 단계는 평점의 신뢰도를 기반으로 평판을 보정하는데 계산된 값이 안정된 상태에 도달할 때까지 반복적 계산을 수행할 수 있다.
또 다른 측면에 있어서, 평판을 보정하는데 있어서, 평판의 벡터 변화를 코사인(Cosine) 유사도 계산으로 측정하며, 코사인 유사도 값이 일정 값 이하로 나타나면 이를 안정된 상태로 식별하여 평판의 보정을 멈출 수 있다.
온라인 평판 시스템의 평판과 평점의 상호 강화 시스템에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 평점 신뢰도 계산부; 및 평점의 신뢰도를 온라인 평판 시스템에 적용하여 평판의 신뢰도를 정량화하는 평판 계산부를 포함하는 상호 강화 시스템이 제공될 수 있다.
일측에 있어서, 상호 강화 시스템은 평판에 거짓 평판 문제가 발생함을 식별하는 문제 식별부를 포함할 수 있고, 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며, 문제 식별부는 평점의 신뢰도가 낮아짐을 식별할 수 있다.
본 발명의 실시예에 있어서, 온라인 평점 시스템의 상호 강화 방법 및 시스템을 제안함으로써, 온라인에서 제공되는 상품 등에 대한 평판의 신뢰성을 보장할 수 있으며, 거짓 평판 문제가 발생하는 상황에서도 사용자가 신뢰할 수 있는 평판을 제공할 수 있다. 따라서, 예비 소비자의 상품 구매 결정에 영향을 줄 수 있는 요소를 신뢰할 수 있게 하는데 도움이 된다.
본 발명은 상품, 서비스 등의 평판을 제공하는 모든 사이트의 평판 시스템에 적용할 수 있다.
도 1은 본 발명의 일실시예에 있어서, 온라인 평점 시스템을 위한 상호 강화 방법의 각 단계를 도시한 순서도이다.
도 2는 본 발명의 일실시예에 있어서, 평점의 신뢰도를 적용하여 평판을 계산하는 알고리즘을 도시한 것이다.
도 3은 본 발명의 일실시예에 있어서, 온라인 평점 시스템을 위한 상호 강화 시스템의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 있어서, 평점을 인위적으로 조작하는 사용자(평점 공격자)로 인해 나타나는 거짓 평판 문제에 대해 본 발명을 적용한 평판 변화율을 나타낸 그래프이다.
도 5는 본 발명의 일실시예에 있어서, 평균 평점 공격자에 대해 본 발명을 적용한 평판 변화율을 나타낸 그래프이다.
이하, 온라인 평판 시스템의 평판과 평점의 상호 강화 방법 및 시스템에 대해서 첨부된 도면을 참조하여 자세히 설명한다.
온라인에서 판매되는 상품에 대한 소비자들의 전반적인 만족도를 나타내는 평판은 상품 구매 결정의 큰 영향을 주는 요소이다. 그러나 평판의 신뢰성은 누구도 보장해주지 않는다. 본 발명에서는 조작되거나 왜곡된 평판으로 인해 소비자가 잘못된 판단을 하게 되는 문제를 거짓평판문제라고 정의하고, 거짓 평판 문제가 발생하는 상황에서도 사용자가 신뢰할 수 있는 평판을 제공하는 프레임워크와 평판을 보정하는 알고리즘을 제안하도록 한다.
본 발명의 실시예에 있어서, 온라인 평판 시스템의 평판과 평점의 상호 강화 방법은 거짓 평판 문제가 발생하는 시나리오들을 구체적으로 정의하고 평판을 신뢰하기 어려운 상황들을 명시하여 식별하도록 할 수 있다.
거짓 평판 문제는 비정상적으로 평판이 조작되거나 왜곡되는 것으로, 상황에 따라 일반 소비자들 이외에 평판을 조작하려는 사용자가 존재할 수 있다. 예컨대, 금전적인 대가를 받고 인위적으로 평점을 조작하는 사용자(평점 공격자)가 있는가 하면, 비정상적인 기준으로 온라인 평점을 작성하는, 구매 여부와 상관없이 높거나 낮게 평점을 주는 사용자(비정상사용자)가 있다.
또한, 사용자의 평점 작성이 충분히 이루어지지 않은 대상의 평판은 쉽게 조작 및 왜곡될 가능성이 높다. 예를 들어, 상품 발매 전의 실질적인 평점 평가가 이루어지지 못하는 상황이나, 대상이 출시 단계에 있어서 평점 평가가 충분히 이루어지지 않은 상황, 또는 인기가 없어서 다양한 사용자의 평가가 이루어지지 않은 상황 등에 대해서는 거짓 평판 문제가 쉽게 발생할 수 있다.
이렇게 발생할 수 있는 평판의 거짓 평판 문제를 식별할 수 있다(S110). 거짓 평판 문제는 사용자가 작성한 평점의 신뢰도를 기준으로 판단할 수 있으며, 따라서 거짓 평판 문제는 평점의 신뢰도를 이용하여 평판을 수정함으로써 문제를 극복할 수 있다. 단계(S110)는 발명의 실시예에 있어서 생략될 수 있다.
평점의 신뢰도를 구하고 평판을 보정하기 위해서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산할 수 있다(S120). 온라인 상에서 신뢰할 수 있는 정보의 특징은 사용자의 객관성과 활동성, 그리고 일관성의 개념에 해당할 수 있고 상기 개념을 시스템에 적용하여 평점의 신뢰도를 구하고, 이 신뢰도를 바탕으로 평판을 보정할 수 있다.
이에, 사용자의 평점의 신뢰도 계산에 필요한 사용자의 객관성, 활동성과 일관성을 측정하는데, 사용자의 활동성과 객관성을 사용자마다 다르게 측정되고, 일관성 분석의 페널티는 사용자가 가진 평점마다 다 다르게 측정될 수 있다. 이하, 평점의 신뢰도를 구하고 평판을 보정하는데 수학식을 참조하여 설명할 수 있다.
먼저, 사용자의 활동성
Figure 112012061376662-pat00001
는 사용자의 평점 개수를 이용하여 계산될 수 있다. 사용자는 각기 다양한 평점 개수를 가지고 있기 때문에, 변환함수
Figure 112012061376662-pat00002
를 통한 정규화가 필요하다.
Figure 112012061376662-pat00003
Figure 112012061376662-pat00004
는 사용자
Figure 112012061376662-pat00005
의 평점이며, 수학식 1의
Figure 112012061376662-pat00006
는
Figure 112012061376662-pat00007
의 정규화를 위해 사용되는 시그모이드(Sigmoid) 함수이다. Sigmoid 함수는
Figure 112012061376662-pat00008
을 0부터 1사이의 값으로 변환할 수 있다.
Figure 112012061376662-pat00009
는 기울기를 결정하며,
Figure 112012061376662-pat00010
는 Sigmoid 곡선의 중심점을 조정한다. 사용자의 평점개수
Figure 112012061376662-pat00011
가 많을수록 1에 가깝게 변환하기 위해
Figure 112012061376662-pat00012
값을 양수로 할 수 있는데, 이때
Figure 112012061376662-pat00013
를 0-1범위 내에 가능한 골고루 분포시키기 위해 실험을 통해 찾아낸 0.02를
Figure 112012061376662-pat00014
값으로 정할 수 있다.
Figure 112012061376662-pat00015
는 사용자의 평점개수 순 상위 30%의 사용자를 제외한 나머지 사용자들의 평균 평점 개수로 정할 수 있다.
또한, 사용자의 객관성은 평점의 객관성을 이용하여 계산된다. 평점의 객관성을 사용자가 작성한 평점과 평판과의 근접성의 측정을 통해 도출될 수 있다. 이때, 대부분의 평판은 집단지성을 통해 산출된 사용자들의 객관적인 평가라고 가정한다.
Figure 112012061376662-pat00016
평점
Figure 112012061376662-pat00017
(
Figure 112012061376662-pat00018
,
Figure 112012061376662-pat00019
은 상품
Figure 112012061376662-pat00020
에 대한 평점)의 객관성은 평판에 대한 평점의 표준점수의 절대값으로 측정되며, 이때 상품에 대한 평판(평균)
Figure 112012061376662-pat00021
과 표준편차
Figure 112012061376662-pat00022
가 사용된다. 평점의 객관성
Figure 112012061376662-pat00023
은 위와 같이 정의된다.
Figure 112012061376662-pat00024
사용자의 객관성
Figure 112012061376662-pat00025
은 위와 같이 정의된다. 사용자의 객관성은 사용자의 모든 평점의 객관성
Figure 112012061376662-pat00026
들의 평균으로 계산되며, 그 값이 0에 가까울수록 사용자가 객관적인 평판에 근접했음을 의미한다.
Figure 112012061376662-pat00027
을 평점의 신뢰도 계산에 이용하기 위해서는 정규화 과정이 필요하다. 따라서, 객관성
Figure 112012061376662-pat00028
을 정규화하기 위해 사용되는 변환함수
Figure 112012061376662-pat00029
는 다음과 같다.
Figure 112012061376662-pat00030
수학식 4의
Figure 112012061376662-pat00031
와 파라미터
Figure 112012061376662-pat00032
를 통해
Figure 112012061376662-pat00033
가 계산된다. 사용자 객관성
Figure 112012061376662-pat00034
가 0에 가까울수록
Figure 112012061376662-pat00035
은 1에 가깝게 변환하기 위해
Figure 112012061376662-pat00036
값을 음수로 하며,
Figure 112012061376662-pat00037
는 수학식 3에서 동일한 이유로 실험을 통하여 찾아낸 -2.5로 정한다.
Figure 112012061376662-pat00038
는 모든 사용자 객관성의 평균으로 한다.
세 번째, 사용자의 일관성 분석을 통해 이상성을 지닌 평점
Figure 112012061376662-pat00039
(
Figure 112012061376662-pat00040
,
Figure 112012061376662-pat00041
는 사용자
Figure 112012061376662-pat00042
의 평점) 즉, 사용자의 일관성에서 벗어난 평점을 찾아 낼 수 있으며 이상성을 지닌
Figure 112012061376662-pat00043
은 평점의 신뢰도 계산 시에 페널티
Figure 112012061376662-pat00044
을 부여 받게 된다. 본 발명에서는 사용자의 일관성 분석을 위해 박스플롯(Box plot)을 이용할 수 있다.
Figure 112012061376662-pat00045
수학식 5에 따라서 평점에 페널티가 부여될 수 있다. Box plot 분석을 위해 각 사용자의
Figure 112012061376662-pat00046
들을 오름차순으로 정렬한 후 중간 값(Median)과 1사분위수(Q1) 그리고 3사분위수(Q3)에 해당하는
Figure 112012061376662-pat00047
들을 선택할 수 있다. 이때, Q3와 Q1의 값의 차이를 사분위수(Interquartile range, IQR)라고 한다. 일반적으로, Box plot에서 데이터 값이 Q3+1.5IQR 이상 또는 Q1-1.5IQR 이하일 때의 값을 극단 값(Outlier)으로 간주한다.
본 발명에서는 Box plot 분석을 통해
Figure 112012061376662-pat00048
이 극단 값으로 간주될 때의
Figure 112012061376662-pat00049
을 이상성을 지닌 평점으로 선택하고 평점의 신뢰도 계산 시에 해당 평점에 페널티를 부여한다. 즉,
Figure 112012061376662-pat00050
이 IQR범위 내에 속할 때의
Figure 112012061376662-pat00051
은 사용자의 일관성에 부합하는 평점으로 정한다. 그리고, 그 외의 범위에 속한
Figure 112012061376662-pat00052
들은 중간 값에서 멀어지면 멀어질수록 사용자의 일관성에서 벗어난 평점으로 간주하여 더 강한 페널티를 부여할 수 있다.
도 2는 평점의 신뢰도를 산출하고, 산출된 평점의 신뢰도를 기반으로 기존의 평판을 보정하기 위해 반복적 계산 방법을 채택한 알고리즘을 도시하고 있다. 알고리즘의 시작 단계에서의 평판은 평점에 페널티를 적용하지 않은 산술평균으로 산정되며, 이때의 평점들은 모두 동일한 신뢰도를 가진다. 도 2의 알고리즘은 평점의 신뢰도를 계산하고 평판을 보정하는데, 계산이 안정된 상태에 도달할 때까지 반복적 계산을 수행할 수 있다.
앞서 수학식을 통해 설명한 바와 같이, 도 2의 알고리즘은 평점 개수를 이용하여 사용자 활동성
Figure 112012061376662-pat00053
를 계산한 후, 각 반복 단계에서 평점
Figure 112012061376662-pat00054
(
Figure 112012061376662-pat00055
)과 평판
Figure 112012061376662-pat00056
과의 근접성 측정을 기반으로 사용자 객관성
Figure 112012061376662-pat00057
을 계산하고
Figure 112012061376662-pat00058
로 변환하며, 사용자의 일관성 분석을 통해 평점
Figure 112012061376662-pat00059
(
Figure 112012061376662-pat00060
)의 페널티
Figure 112012061376662-pat00061
를 계산할 수 있다. 평점의 신뢰도
Figure 112012061376662-pat00062
은 앞서 구한 사용자의 활동성
Figure 112012061376662-pat00063
, 사용자의 객관성
Figure 112012061376662-pat00064
, 그리고 페널티
Figure 112012061376662-pat00065
의 연산으로 계산되며 식은 다음과 같다.
Figure 112012061376662-pat00066
또한, 마지막으로 도 2의 알고리즘을 통해 모든 상품에 대한 평판들은 평점의 신뢰도를 기반으로 보정되며, 보정된 평판에 대한 수학식은 다음과 같다.
Figure 112012061376662-pat00067
알고리즘의 계산은 계산된 평판이 안정된 상태에 도달하면 멈추게 된다. 안정된 상태, 즉 안정성(Stableness)은 반복적인 연산을 하면서 모든 상품의 평판이 얼마나 변했는가를 측정함으로써 알 수 있다. 계산한 평판의 안정성을 측정하기 위해, 전체 상품의 평판을 표현하는 벡터
Figure 112012061376662-pat00068
를 구성할 수 있다. 여기서, 전체 상품 p개에 대해서
Figure 112012061376662-pat00069
는 k번 째 상품의 평판을 의미한다.
평판의 안정성은 생성된 벡터
Figure 112012061376662-pat00070
와 이전 단계에서 생성된 벡터
Figure 112012061376662-pat00071
의 변화를 측정함으로써 알 수 있다. 벡터의 변화 측정은 벡터
Figure 112012061376662-pat00072
와 벡터
Figure 112012061376662-pat00073
의 코사인 유사도(Cosine Similarity) 계산으로 측정되는데, 만약 반복 계산 이후의 벡터 변화 정도가 매우 적다면, 코사인 유사도가 일정 값 이하로 낮아지게 되면 알고리즘의 계산을 멈출 수 있다. 일례로, 두 벡터의 차이를 나타내는 값 δ를 0.000001로 정할 수 있다.
본 발명의 일실시예에 있어서, 도 3은 온라인 평판 시스템의 평판과 평점을 상호 강화하는 방법을 실시하는 상호 강화 시스템(300)의 구조를 도시한 것이다. 상호 강화 시스템(300)은 평판에 거짓 평판 문제가 발생했는지 식별할 수 있는 문제 식별부(310)와 신뢰할 수 있는 정보의 특징을 이용해서 사용자가 작성한 평점의 신뢰도를 계산하는 평점 신뢰도 계산부(320), 그리고 평점의 신뢰도를 적용하여 평판을 정량화하는, 즉 보정하여 다시 계산하는 평판 계산부(330)를 포함할 수 있다.
실시예에 있어서, 상호 강화 시스템(300)은 도 1에 도시한 상호 강화 방법을 실시할 수 있는 구성을 포함하며, 각 구성은 둘 이상의 구성이 합쳐지거나, 하나 이상의 구성이 생략될 수 있으나, 발명의 효과, 결과 등은 같게 나타날 수 있다. 일례에 있어서, 문제 식별부(310)가 생략되어 거짓 평판 문제를 식별하지 않더라도 평점의 신뢰도를 계산하여 대상의 평판을 보정하여, 보다 신뢰할 수 있는 평판을 제공할 수 있다.
문제 식별부(310)에서 식별하는 거짓 평판 문제는 평판이 조작되거나 왜곡된 상태를 말하며, 거짓 평판 문제에 대해서는 상기에 자세히 설명하였으며, 신뢰도를 기준으로 판단할 수 있다.
평점의 신뢰도를 구하고 평판을 보정하기 위해서, 평점 신뢰도 계산부(320)에서는 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산할 수 있다. 온라인 상에서 신뢰할 수 있는 정보의 특징은 사용자의 객관성과 활동성, 그리고 일관성의 개념에 해당할 수 있고, 각 개념을 수치화한 후 시스템에 적용하여 평점의 신뢰도를 구하고, 이 신뢰도를 바탕으로 잘못된 평판을 보정할 수 있다.
사용자의 활동성은 사용자가 얼마나 많은 평점을 작성했는지, 사용자의 평점 개수를 이용하여 계산될 수 있다. 사용자마다 작성한 평점의 개수는 다르기 때문에, 수치화된 값을 평균하고, 시그모이드(Sigmoid) 함수를 이용한 변환함수를 통하여 각 사용자를 대상으로 정규화를 거칠 필요가 있다. 이에 대한 자세하게는 수학식 1을 참조할 수 있다.
나아가, 사용자의 객관성은 사용자가 작성한 객관성들을 이용해 계산될 수 있다. 평점의 객관성은 사용자의 평점과 상품의 평판과의 근접성, 즉 얼마나 유사도를 가지는지 측정을 통해 수치화될 수 있다. 그리고, 도출된 수치의 평균을 나타내며, 신뢰도 계산을 위해서 정규화 과정을 거칠 수 있다. 여기서, 가정해야 할 것은 대부분의 평판은 집단지성을 통해 산출된 객관적인 평가라는 것이다. 수학식 2 내지 수학식 4를 참조하여, 보다 자세한 객관성 수치화 방법을 알 수 있다.
더불어, 사용자의 일관성을 분석함으로써 이상성이 나타나는 평점, 즉 사용자의 일관성에서 벗어난 평점을 찾아낼 수 있고, 이상성을 지닌 평점의 신뢰도를 계산할 때는 페널티가 부여되는데, 사용자의 일관성에서 벗어날수록 더 강한 페널티가 부여될 수 있다. 본 발명에서는 사용자의 일관성 분석을 위해 박스플롯(Box plot)을 이용하며, 이상성을 지닌 평점은 수학식 6에 따라서 페널티를 부여 받는다.
평점 신뢰도 계산부(320)에서 사용자의 활동성과 객관성 및 일관성을 이용해 평점의 신뢰도를 산출할 수 있으며, 최종적으로 구할 수 있는 신뢰도는 활동성과 객관성 및 일관성의 곱으로 나타날 수 있다. 최종적으로 구한 평점의 신뢰도를 기반으로 평판 계산부(330)에서 평판을 보정할 수 있다. 이때, 평판의 보정을 위해서 반복적 계산 방법을 사용할 수 있다.
평판의 보정 시작 단계에서의 평판은 평점의 단순 산술평균으로 산정하며, 이때의 평점들은 동일한 신뢰도를 가진다. 계산 시에 평점의 신뢰도를 기반으로 평판을 보정하는데, 계산이 안정된 상태에 도달할 때까지 반복적으로 계산을 수행한다.
안정성은 반복 연산을 하면서 모든 상품의 평판이 얼마나 변했는가를 측정함으로써 알 수 있다. 따라서, 평판을 표현하는 벡터를 구성하여 현재 평판의 벡터와 이전 단계에서 생성된 벡터의 변화를 코사인 유사도를 계산함으로써 평판이 얼마나 변했는지 측정할 수 있다. 만약, 반복적 계산 이후 벡터의 변화 정도가 일정 값 이하로 나타나면 이를 안정된 상태로 식별할 수 있다. 일례로, 0.000001 정도의 값으로 정할 수 있다.
본 발명에 대한 실험의 결과로서 도 4와 도 5를 참조하여 평판의 변화율을 살펴볼 수 있다. 이하, 각 그래프에 나타나는 식별자로, 본 발명의 우수성을 입증하기 위해 총 네 가지 기준을 각각 평판 보정 알고리즘에 적용한 것으로 그래프를 통해 비교할 수 있다.
ARITHMETIC-MEAN는 모든 평점에게 동일한 신뢰도를 부여하는 기본적인 알고리즘으로 평판을 측정하는데 사용되는 가장 보편적이며, 성능평가의 Baseline이 될 수 있다. USER-OBJECTIVITY는 사용자의 객관성을 평점의 신뢰도로 사용하는 알고리즘을 적용한 그래프이며, USER-ACTIVITY는 사용자의 활동성을 평점의 신뢰도로 사용하는 알고리즘, USER-OBJECTIVITY&USER-ACTIVITY는 사용자의 객관성과 사용자의 활동성을 곱한 값을 평점의 신뢰도로 사용하는 알고리즘을 각각 적용한 그래프를 나타내며, 본 발명의 알고리즘을 적용한 알고리즘을 TRUEREPUTATION으로 표시한다.
도 4는 공격자가 삽입한 평점 개수에 따른 평판 보정 알고리즘의 평판 변화율을 나타낸다. ARITHMETIC-MEAN의 평판 변화율은 다른 그래프의 성능을 판단하는 베이스라인(Baseline)으로 사용된다. 공격자가 삽입한 평점 수에 따른 TRUEREPUTATION 평판 변화율이 ARITHMETIC-MEAN의 평판 변화율 보다 현저하게 적은 것을 도 4에서 확인 할 수 있다. 그 이유는 ARITHMETIC-MEAN의 모든 평점의 신뢰도를 동일하게 여기는 반면 알고리즘을 적용하면 평점 공격자의 평점 신뢰도를 낮추어 영향력을 줄이기 때문으로 볼 수 있다.
다만, 인위적인 공격 시나리오의 경우 TRUEREPUTATION을 적용한 것보다 USER-OBJECTIVITY&USER-ACTIVITY의 성능이 약간 우수하다. 평점 공격자의 경우 '일관되게' 부당한 평점을 작성하기 때문에 사용자의 일관성 평가에서 평점 공격자의 평점은 페널티를 부여 받지 않을 수 있기 때문이다.
도 4의 (a), (c)와 (b), (d)를 비교해 보면, 평점 공격자의 프로필의 크기가 증가할 수록 평점 공격자의 영향력이 강해지는 것을 확인 할 수 있다.
도 5에서는 앞서 도 4에서 평점 공격자의 공격에 가장 견고하게 나타났던 두 개의 알고리즘, USER-OBJECTIVITY&USER-ACTIVITY와 TRUEREPUTATION의 평균 평점 공격자의 평점 삽입 개수에 따른 평판 변화율과 baseline를 비교한 결과를 확인 할 수 있다. USER-OBJECTIVITY&USER-ACTIVITY는 취약점을 드러내는데, 특히 평균 공격자의 프로필 크기가 클수록 성능은 급격히 떨어진다.
반면에 사용자의 일관성 분석을 이용하는 TRUEREPUTATION은 평균 평점 공격 삽입 개수나 프로필의 크기에 상관없이 공격의 영향을 거의 받지 않음을 그래프를 통해 확인할 수 있다.
앞서 설명한 기술적 내용들, 즉 온라인 평판 시스템의 평판과 평점의 상호 강화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
300: 상호 강화 시스템
310: 문제 식별부
320: 평점 신뢰도 계산부
330: 평판 계산부

Claims (10)

  1. 온라인 평판 시스템의 평판과 평점의 상호 강화 방법에 있어서,
    상호 강화 시스템의 평점 신뢰도 계산부에서, 신뢰할 수 있는 정보의 특징을 이용하여 평점의 신뢰도를 계산하는 단계; 및
    상기 상호 강화 시스템의 평판 계산부에서, 상기 평점의 신뢰도를 상기 온라인 평판 시스템에 적용하여 상기 평판을 정량화하는 단계
    를 포함하고,
    상기 신뢰할 수 있는 정보의 특징을 이용하여 상기 평점의 신뢰도를 계산하는 단계; 및
    상기 평점의 신뢰도를 상기 온라인 평점 시스템에 적용하여 상기 평판을 정량화하는 단계는,
    상기 상호 강화 시스템의 평판 계산부에서 상기 평점의 신뢰도를 기반으로 평판을 보정하는데 계산된 값이 안정된 상태에 도달할 때까지 반복적으로 계산을 수행하는 것
    을 특징으로 하는 상호 강화 방법.
  2. 제1항에 있어서,
    상기 상호 강화 방법은,
    상기 상호 강화 시스템의 문제 식별부에서, 상기 평판에 거짓 평판 문제가 발생함을 식별하는 단계를 포함하고,
    상기 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며,
    상기 평판에 거짓 평판 문제가 발생함을 식별하는 단계는, 상기 평점의 신뢰도가 낮아짐을 식별하는 것
    을 특징으로 하는 상호 강화 방법.
  3. 제1항에 있어서,
    상기 신뢰할 수 있는 정보는 상기 온라인 평판 시스템 사용자의 객관성, 활동성, 일관성의 개념에 해당하며,
    상기 평점의 신뢰도를 계산하는 단계에서는 상기 각각의 개념을 수치화하여 상기 평점의 신뢰도를 계산하는 것
    을 특징으로 하는 상호 강화 방법.
  4. 제3항에 있어서,
    상기 사용자의 객관성은, 사용자가 작성한 모든 평점과 상기 평판의 근접성이 측정되어 수치화된 후, 수치화된 값의 평균을 나타내며,
    상기 평판의 신뢰도 계산을 위해 정규화 과정을 거치는 것
    을 특징으로 하는 상호 강화 방법.
  5. 제3항에 있어서,
    상기 사용자의 활동성은 사용자가 작성한 평점의 개수를 기준으로 수치화되며,
    상기 평판의 신뢰도 계산을 위해 정규화 과정을 거치는 것
    을 특징으로 하는 상호 강화 방법.
  6. 제3항에 있어서,
    상기 사용자의 일관성은 일관성에서 벗어난 평점을 분석하기 위해 박스플롯(Box plot)이 이용되며,
    일관성에서 벗어난 평점일수록 상기 평판의 신뢰도 계산 시에 강한 페널티가 부여되는 것
    을 특징으로 하는 상호 강화 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 평판을 보정하는데 있어서, 평판의 벡터 변화를 코사인(Cosine) 유사도 계산으로 측정하며,
    상기 코사인 유사도 값이 일정 값 이하로 나타나면 이를 안정된 상태로 식별하여 상기 평판의 보정을 멈추는 것
    을 특징으로 하는 상호 강화 방법.
  9. 온라인 평판 시스템의 평판과 평점의 상호 강화 시스템에 있어서,
    신뢰할 수 있는 정보의 특징을 이용하여 평점의 신뢰도를 계산하는 평점 신뢰도 계산부; 및
    상기 평점의 신뢰도를 상기 온라인 평판 시스템에 적용하여 상기 평판을 정량화하는 평판 계산부
    를 포함하고,
    상기 평점 신뢰도 계산부 및 상기 평판 계산부는,
    상기 평점의 신뢰도를 기반으로 평판을 보정하는데 계산된 값이 안정된 상태에 도달할 때까지 반복적으로 계산을 수행하는 것
    을 특징으로 하는 상호 강화 시스템.
  10. 제9항에 있어서,
    상기 상호 강화 시스템은 상기 평판에 거짓 평판 문제가 발생함을 식별하는 문제 식별부를 포함하고,
    상기 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며,
    상기 문제 식별부는, 상기 평점의 신뢰도가 낮아짐을 식별하는 것
    을 특징으로 하는 상호 강화 시스템.
KR1020120084000A 2012-07-31 2012-07-31 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템 KR101393154B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120084000A KR101393154B1 (ko) 2012-07-31 2012-07-31 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120084000A KR101393154B1 (ko) 2012-07-31 2012-07-31 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20140017266A KR20140017266A (ko) 2014-02-11
KR101393154B1 true KR101393154B1 (ko) 2014-05-09

Family

ID=50265952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120084000A KR101393154B1 (ko) 2012-07-31 2012-07-31 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101393154B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869265B1 (ko) * 2016-06-22 2018-06-20 숭실대학교산학협력단 시빌 공격의 탐지 및 방어를 위한 비지도 제어 시스템
KR102156332B1 (ko) * 2018-07-13 2020-09-15 중앙대학교 산학협력단 블록체인 기반 전자 상거래 시스템 상에서 발생한 거래 내역으로부터 사용자의 신뢰도 및 평판 도출 장치 및 방법
KR102666172B1 (ko) * 2023-12-29 2024-05-14 주식회사 티맥스핀테크 리뷰 평점을 조절하는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858605B1 (ko) 2007-03-09 2008-09-17 김평원 퍼지기반 보정을 이용한 메타 평가 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100858605B1 (ko) 2007-03-09 2008-09-17 김평원 퍼지기반 보정을 이용한 메타 평가 시스템

Also Published As

Publication number Publication date
KR20140017266A (ko) 2014-02-11

Similar Documents

Publication Publication Date Title
Kurtz et al. Cross-entropy-based adaptive importance sampling using Gaussian mixture
KR102061987B1 (ko) 위험 평가 방법 및 시스템
Lahdelma et al. Prospect theory and stochastic multicriteria acceptability analysis (SMAA)
WO2017140222A1 (zh) 机器学习模型的建模方法及装置
EP3852019A1 (en) Optimizing neural networks for risk assessment
Gai et al. Anti-counterfeit scheme using Monte Carlo simulation for E-commerce in cloud systems
JPWO2017159403A1 (ja) 予測システム、方法およびプログラム
Beyer et al. On the design of constraint covariance matrix self-adaptation evolution strategies including a cardinality constraint
KR101393154B1 (ko) 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템
WO2017159402A1 (ja) 共クラスタリングシステム、方法およびプログラム
WO2017157165A1 (zh) 信用分数模型训练方法、信用分数计算方法、装置及服务器
Gallagher et al. On Weighted Portmanteau Tests for Time‐Series Goodness‐Of‐Fit
JP6065297B2 (ja) 特許評価装置および発明者評価装置
US20180052441A1 (en) Simulation system, simulation method, and simulation program
CN115174250B (zh) 网络资产安全评估方法、装置、电子设备及存储介质
Gupta et al. Ddos attack detection through digital twin technique in metaverse
CN105608460A (zh) 多分类器融合方法和系统
JP5804363B2 (ja) 特許評価装置
JP7211196B2 (ja) 誤り判定装置、誤り判定方法、及びプログラム
Hoiles et al. PAC algorithms for detecting Nash equilibrium play in social networks: from Twitter to energy markets
CN112116224A (zh) 一种基于全过程工程咨询的风险评估方法及装置
Kashirin et al. A heuristic optimization method for mitigating the impact of a virus attack
Wu et al. The total return swap pricing model under fuzzy random environments
KR101567683B1 (ko) 기업 신용 평가를 위한 가중치 설정 방법 및 이를 포함하는 기업 신용 평가 방법
Chang et al. A grey silhouette coefficient for the small sample forecasting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 6