KR101393154B1

KR101393154B1 - 신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템

Info

Publication number: KR101393154B1
Application number: KR1020120084000A
Authority: KR
Inventors: 김상욱; 오현교
Original assignee: 한양대학교 산학협력단
Priority date: 2012-07-31
Filing date: 2012-07-31
Publication date: 2014-05-09
Also published as: KR20140017266A

Abstract

본 발명은 온라인 평판 시스템의 신뢰도를 높이기 위해, 평판을 보정하는 상호 강화 방법 및 그 시스템에 관한 것이다. 온라인 평판 시스템의 평판과 평점의 상호 강화 방법에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 단계; 및 평점의 신뢰도를 온라인 평판 시스템에 적용하여 평판의 신뢰도를 정량화하는 단계를 포함하는 상호 강화 방법이 제공될 수 있다.

Description

신뢰할 수 있는 온라인 평판 시스템을 위한 상호 강화 방법 및 시스템{MUTUAL REINFORCEMENT METHOD AND SYSTEM FOR THE TRUSTABLE ONLINE RATING SYSTEM}

본 발명은 온라인 평판 시스템의 신뢰도를 높이기 위해, 평판을 보정하는 상호 강화 방법 및 그 시스템에 관한 것이다.

인터넷의 발달과 함께 온라인상에서 상품을 구매하는 것이 매우 일상적인 일이 되었다. 이와 더불어 구매한 상품의 평가를 통해 소비자의 경험을 공유하려는 온라인 문화가 자연스럽게 형성되었다. 특히, 상품에 대한 만족도를 점수로 나타내는 평점평가를 통해 소비자들은 자신의 만족도를 손쉽게 표현할 수 있다. 상품에 대한 소비자 전반의 만족도는 소비자들이 매긴 평점들의 평균값으로 점수화되며, 본 발명에서는 이 평균값을 평판(Reputation)이라고 한다. 평판은 예비 소비자들의 상품 선택의 가이드 역할을 해주며, 실제로 상품의 최종구매 결정시 큰 영향을 주는 요소이다.

평점평가를 통해 상품에 대한 소비자 전반의 만족도를 수치로 측정하려는 활동은 일종의 크라우드 소싱(Crowd Sourcing)이다. 크라우드 소싱은 불특정 다수의 대중들의 참여를 통해 문제해결의 효율을 높이는 활동이다. 평판은 크라우드 소싱을 통해 모인 수많은 사람들의 능력과 지혜를 이용하여 얻게 된 신뢰 할 수 있는 결과 값이라고 할 수 있다. 이러한 관점에서 평판은 다수의 소비자가 성실하게 상품의 평가에 참여했을 때 그 값의 신뢰도가 높아질 수 있다.

그러나, 이와 반대 상황으로 악의를 가지고 평판조작을 시도하려는 사용자나 비정상적인 평점으로 평판을 왜곡하려는 사용자들이 평점평가에 참가했을 경우 또는 평점평가에 참가한 사용자수가 굉장히 적은 경우에는 평판을 신뢰하기가 어렵다. 이러한 상황에서 형성된 평판으로 인해 예비 소비자들이 상품을 구매할 때 잘못된 판단을 하게 될 수 있다.

예를 들면, 어떤 상품의 출시단계에서 상품의 프로모션을 위해 회사에서 사람들을 고용해서 해당 상품에 의도적으로 높은 평점을 매기는 경우 등의 경우, 이때의 평판은 신뢰 할 수 없는 거짓 평판이며, 예비 소비자들이 상품 구매를 결정하는데 악영향을 줄 수 있다.

한국 공개특허공보 제2009-0080857호

본 발명에서는 평판을 신뢰하기 어려운 상황을 거짓 평판 문제로 정의하고, 거짓 평판 문제가 발생할 수 있는 경우를 구체적으로 명시하여 해결함으로써 예비 소비자들에게 신뢰할 수 있는 평판을 제공하는 프레임워크를 제공하고자 한다.

평판의 가중치를 동일하게 부여하는 산술평균 대신, 사용자의 객관성과 활동성을 계량화한 값과 사용자가 평가한 평판들을 대상으로 일관성 분석을 실시하고 이에 가중치를 적용하여 수치화하고자 한다.

온라인 평판 시스템의 평판과 평점의 상호 강화 방법에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 단계; 및 평점의 신뢰도를 온라인 평판 시스템에 적용하여 평판의 신뢰도를 정량화하는 단계를 포함하는 상호 강화 방법이 제공될 수 있다.

일측에 있어서, 상호 강화 방법은 평판에 거짓 평판 문제가 발생함을 식별하는 단계를 포함할 수 있고, 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며, 평판에 거짓 평판 문제가 발생함을 식별하는 단계에서는 평점의 신뢰도가 낮아짐을 식별할 수 있다.

또 다른 측면에 있어서, 신뢰할 수 있는 정보는 온라인 평판 시스템 사용자의 객관성, 활동성, 일관성의 개념에 해당하며, 평점의 신뢰도를 계산하는 단계에서는 각각의 개념을 수치화하여 평점의 신뢰도를 계산할 수 있다.

또 다른 측면에 있어서, 사용자의 객관성은 사용자가 작성한 모든 평점과 평판의 근접성이 측정되어 수치화된 후, 수치화된 값의 평균을 나타내며, 평판의 신뢰도 계산을 위해 정규화 과정을 거치게 될 수 있다.

또 다른 측면에 있어서, 사용자의 활동성은 사용자가 작성한 평점의 개수를 기준으로 수치화되며, 평판의 신뢰도 계산을 위해 정규화 과정을 거치게 될 수 있다.

또 다른 측면에 있어서, 사용자의 일관성은 일관성에서 벗어난 평점을 분석하기 위해 박스플롯(Box plot)이 이용되며, 일관성에서 벗어난 평점일수록 평판의 신뢰도 계산 시에 강한 페널티가 부여될 수 있다.

또 다른 측면에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 단계와 평점의 신뢰도를 온라인 평점 시스템에 적용하여 평판의 신뢰도를 정량화하는 단계는 평점의 신뢰도를 기반으로 평판을 보정하는데 계산된 값이 안정된 상태에 도달할 때까지 반복적 계산을 수행할 수 있다.

또 다른 측면에 있어서, 평판을 보정하는데 있어서, 평판의 벡터 변화를 코사인(Cosine) 유사도 계산으로 측정하며, 코사인 유사도 값이 일정 값 이하로 나타나면 이를 안정된 상태로 식별하여 평판의 보정을 멈출 수 있다.

온라인 평판 시스템의 평판과 평점의 상호 강화 시스템에 있어서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산하는 평점 신뢰도 계산부; 및 평점의 신뢰도를 온라인 평판 시스템에 적용하여 평판의 신뢰도를 정량화하는 평판 계산부를 포함하는 상호 강화 시스템이 제공될 수 있다.

일측에 있어서, 상호 강화 시스템은 평판에 거짓 평판 문제가 발생함을 식별하는 문제 식별부를 포함할 수 있고, 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며, 문제 식별부는 평점의 신뢰도가 낮아짐을 식별할 수 있다.

본 발명의 실시예에 있어서, 온라인 평점 시스템의 상호 강화 방법 및 시스템을 제안함으로써, 온라인에서 제공되는 상품 등에 대한 평판의 신뢰성을 보장할 수 있으며, 거짓 평판 문제가 발생하는 상황에서도 사용자가 신뢰할 수 있는 평판을 제공할 수 있다. 따라서, 예비 소비자의 상품 구매 결정에 영향을 줄 수 있는 요소를 신뢰할 수 있게 하는데 도움이 된다.

본 발명은 상품, 서비스 등의 평판을 제공하는 모든 사이트의 평판 시스템에 적용할 수 있다.

도 1은 본 발명의 일실시예에 있어서, 온라인 평점 시스템을 위한 상호 강화 방법의 각 단계를 도시한 순서도이다.
도 2는 본 발명의 일실시예에 있어서, 평점의 신뢰도를 적용하여 평판을 계산하는 알고리즘을 도시한 것이다.
도 3은 본 발명의 일실시예에 있어서, 온라인 평점 시스템을 위한 상호 강화 시스템의 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 있어서, 평점을 인위적으로 조작하는 사용자(평점 공격자)로 인해 나타나는 거짓 평판 문제에 대해 본 발명을 적용한 평판 변화율을 나타낸 그래프이다.
도 5는 본 발명의 일실시예에 있어서, 평균 평점 공격자에 대해 본 발명을 적용한 평판 변화율을 나타낸 그래프이다.

이하, 온라인 평판 시스템의 평판과 평점의 상호 강화 방법 및 시스템에 대해서 첨부된 도면을 참조하여 자세히 설명한다.

온라인에서 판매되는 상품에 대한 소비자들의 전반적인 만족도를 나타내는 평판은 상품 구매 결정의 큰 영향을 주는 요소이다. 그러나 평판의 신뢰성은 누구도 보장해주지 않는다. 본 발명에서는 조작되거나 왜곡된 평판으로 인해 소비자가 잘못된 판단을 하게 되는 문제를 거짓평판문제라고 정의하고, 거짓 평판 문제가 발생하는 상황에서도 사용자가 신뢰할 수 있는 평판을 제공하는 프레임워크와 평판을 보정하는 알고리즘을 제안하도록 한다.

본 발명의 실시예에 있어서, 온라인 평판 시스템의 평판과 평점의 상호 강화 방법은 거짓 평판 문제가 발생하는 시나리오들을 구체적으로 정의하고 평판을 신뢰하기 어려운 상황들을 명시하여 식별하도록 할 수 있다.

거짓 평판 문제는 비정상적으로 평판이 조작되거나 왜곡되는 것으로, 상황에 따라 일반 소비자들 이외에 평판을 조작하려는 사용자가 존재할 수 있다. 예컨대, 금전적인 대가를 받고 인위적으로 평점을 조작하는 사용자(평점 공격자)가 있는가 하면, 비정상적인 기준으로 온라인 평점을 작성하는, 구매 여부와 상관없이 높거나 낮게 평점을 주는 사용자(비정상사용자)가 있다.

또한, 사용자의 평점 작성이 충분히 이루어지지 않은 대상의 평판은 쉽게 조작 및 왜곡될 가능성이 높다. 예를 들어, 상품 발매 전의 실질적인 평점 평가가 이루어지지 못하는 상황이나, 대상이 출시 단계에 있어서 평점 평가가 충분히 이루어지지 않은 상황, 또는 인기가 없어서 다양한 사용자의 평가가 이루어지지 않은 상황 등에 대해서는 거짓 평판 문제가 쉽게 발생할 수 있다.

이렇게 발생할 수 있는 평판의 거짓 평판 문제를 식별할 수 있다(S110). 거짓 평판 문제는 사용자가 작성한 평점의 신뢰도를 기준으로 판단할 수 있으며, 따라서 거짓 평판 문제는 평점의 신뢰도를 이용하여 평판을 수정함으로써 문제를 극복할 수 있다. 단계(S110)는 발명의 실시예에 있어서 생략될 수 있다.

평점의 신뢰도를 구하고 평판을 보정하기 위해서, 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산할 수 있다(S120). 온라인 상에서 신뢰할 수 있는 정보의 특징은 사용자의 객관성과 활동성, 그리고 일관성의 개념에 해당할 수 있고 상기 개념을 시스템에 적용하여 평점의 신뢰도를 구하고, 이 신뢰도를 바탕으로 평판을 보정할 수 있다.

이에, 사용자의 평점의 신뢰도 계산에 필요한 사용자의 객관성, 활동성과 일관성을 측정하는데, 사용자의 활동성과 객관성을 사용자마다 다르게 측정되고, 일관성 분석의 페널티는 사용자가 가진 평점마다 다 다르게 측정될 수 있다. 이하, 평점의 신뢰도를 구하고 평판을 보정하는데 수학식을 참조하여 설명할 수 있다.

먼저, 사용자의 활동성

는 사용자의 평점 개수를 이용하여 계산될 수 있다. 사용자는 각기 다양한 평점 개수를 가지고 있기 때문에, 변환함수

를 통한 정규화가 필요하다.

는 사용자

의 평점이며, 수학식 1의

는

의 정규화를 위해 사용되는 시그모이드(Sigmoid) 함수이다. Sigmoid 함수는

을 0부터 1사이의 값으로 변환할 수 있다.

는 기울기를 결정하며,

는 Sigmoid 곡선의 중심점을 조정한다. 사용자의 평점개수

가 많을수록 1에 가깝게 변환하기 위해

값을 양수로 할 수 있는데, 이때

를 0-1범위 내에 가능한 골고루 분포시키기 위해 실험을 통해 찾아낸 0.02를

값으로 정할 수 있다.

는 사용자의 평점개수 순 상위 30%의 사용자를 제외한 나머지 사용자들의 평균 평점 개수로 정할 수 있다.

또한, 사용자의 객관성은 평점의 객관성을 이용하여 계산된다. 평점의 객관성을 사용자가 작성한 평점과 평판과의 근접성의 측정을 통해 도출될 수 있다. 이때, 대부분의 평판은 집단지성을 통해 산출된 사용자들의 객관적인 평가라고 가정한다.

평점

(

,

은 상품

에 대한 평점)의 객관성은 평판에 대한 평점의 표준점수의 절대값으로 측정되며, 이때 상품에 대한 평판(평균)

과 표준편차

가 사용된다. 평점의 객관성

은 위와 같이 정의된다.

사용자의 객관성

은 위와 같이 정의된다. 사용자의 객관성은 사용자의 모든 평점의 객관성

들의 평균으로 계산되며, 그 값이 0에 가까울수록 사용자가 객관적인 평판에 근접했음을 의미한다.

을 평점의 신뢰도 계산에 이용하기 위해서는 정규화 과정이 필요하다. 따라서, 객관성

을 정규화하기 위해 사용되는 변환함수

는 다음과 같다.

수학식 4의

와 파라미터

를 통해

가 계산된다. 사용자 객관성

가 0에 가까울수록

은 1에 가깝게 변환하기 위해

값을 음수로 하며,

는 수학식 3에서 동일한 이유로 실험을 통하여 찾아낸 -2.5로 정한다.

는 모든 사용자 객관성의 평균으로 한다.

세 번째, 사용자의 일관성 분석을 통해 이상성을 지닌 평점

(

,

는 사용자

의 평점) 즉, 사용자의 일관성에서 벗어난 평점을 찾아 낼 수 있으며 이상성을 지닌

은 평점의 신뢰도 계산 시에 페널티

을 부여 받게 된다. 본 발명에서는 사용자의 일관성 분석을 위해 박스플롯(Box plot)을 이용할 수 있다.

수학식 5에 따라서 평점에 페널티가 부여될 수 있다. Box plot 분석을 위해 각 사용자의

들을 오름차순으로 정렬한 후 중간 값(Median)과 1사분위수(Q1) 그리고 3사분위수(Q3)에 해당하는

들을 선택할 수 있다. 이때, Q3와 Q1의 값의 차이를 사분위수(Interquartile range, IQR)라고 한다. 일반적으로, Box plot에서 데이터 값이 Q3+1.5IQR 이상 또는 Q1-1.5IQR 이하일 때의 값을 극단 값(Outlier)으로 간주한다.

본 발명에서는 Box plot 분석을 통해

이 극단 값으로 간주될 때의

을 이상성을 지닌 평점으로 선택하고 평점의 신뢰도 계산 시에 해당 평점에 페널티를 부여한다. 즉,

이 IQR범위 내에 속할 때의

은 사용자의 일관성에 부합하는 평점으로 정한다. 그리고, 그 외의 범위에 속한

들은 중간 값에서 멀어지면 멀어질수록 사용자의 일관성에서 벗어난 평점으로 간주하여 더 강한 페널티를 부여할 수 있다.

도 2는 평점의 신뢰도를 산출하고, 산출된 평점의 신뢰도를 기반으로 기존의 평판을 보정하기 위해 반복적 계산 방법을 채택한 알고리즘을 도시하고 있다. 알고리즘의 시작 단계에서의 평판은 평점에 페널티를 적용하지 않은 산술평균으로 산정되며, 이때의 평점들은 모두 동일한 신뢰도를 가진다. 도 2의 알고리즘은 평점의 신뢰도를 계산하고 평판을 보정하는데, 계산이 안정된 상태에 도달할 때까지 반복적 계산을 수행할 수 있다.

앞서 수학식을 통해 설명한 바와 같이, 도 2의 알고리즘은 평점 개수를 이용하여 사용자 활동성

를 계산한 후, 각 반복 단계에서 평점

(

)과 평판

과의 근접성 측정을 기반으로 사용자 객관성

을 계산하고

로 변환하며, 사용자의 일관성 분석을 통해 평점

(

)의 페널티

를 계산할 수 있다. 평점의 신뢰도

은 앞서 구한 사용자의 활동성

, 사용자의 객관성

, 그리고 페널티

의 연산으로 계산되며 식은 다음과 같다.

또한, 마지막으로 도 2의 알고리즘을 통해 모든 상품에 대한 평판들은 평점의 신뢰도를 기반으로 보정되며, 보정된 평판에 대한 수학식은 다음과 같다.

알고리즘의 계산은 계산된 평판이 안정된 상태에 도달하면 멈추게 된다. 안정된 상태, 즉 안정성(Stableness)은 반복적인 연산을 하면서 모든 상품의 평판이 얼마나 변했는가를 측정함으로써 알 수 있다. 계산한 평판의 안정성을 측정하기 위해, 전체 상품의 평판을 표현하는 벡터

를 구성할 수 있다. 여기서, 전체 상품 p개에 대해서

는 k번 째 상품의 평판을 의미한다.

평판의 안정성은 생성된 벡터

와 이전 단계에서 생성된 벡터

의 변화를 측정함으로써 알 수 있다. 벡터의 변화 측정은 벡터

와 벡터

의 코사인 유사도(Cosine Similarity) 계산으로 측정되는데, 만약 반복 계산 이후의 벡터 변화 정도가 매우 적다면, 코사인 유사도가 일정 값 이하로 낮아지게 되면 알고리즘의 계산을 멈출 수 있다. 일례로, 두 벡터의 차이를 나타내는 값 δ를 0.000001로 정할 수 있다.

본 발명의 일실시예에 있어서, 도 3은 온라인 평판 시스템의 평판과 평점을 상호 강화하는 방법을 실시하는 상호 강화 시스템(300)의 구조를 도시한 것이다. 상호 강화 시스템(300)은 평판에 거짓 평판 문제가 발생했는지 식별할 수 있는 문제 식별부(310)와 신뢰할 수 있는 정보의 특징을 이용해서 사용자가 작성한 평점의 신뢰도를 계산하는 평점 신뢰도 계산부(320), 그리고 평점의 신뢰도를 적용하여 평판을 정량화하는, 즉 보정하여 다시 계산하는 평판 계산부(330)를 포함할 수 있다.

실시예에 있어서, 상호 강화 시스템(300)은 도 1에 도시한 상호 강화 방법을 실시할 수 있는 구성을 포함하며, 각 구성은 둘 이상의 구성이 합쳐지거나, 하나 이상의 구성이 생략될 수 있으나, 발명의 효과, 결과 등은 같게 나타날 수 있다. 일례에 있어서, 문제 식별부(310)가 생략되어 거짓 평판 문제를 식별하지 않더라도 평점의 신뢰도를 계산하여 대상의 평판을 보정하여, 보다 신뢰할 수 있는 평판을 제공할 수 있다.

문제 식별부(310)에서 식별하는 거짓 평판 문제는 평판이 조작되거나 왜곡된 상태를 말하며, 거짓 평판 문제에 대해서는 상기에 자세히 설명하였으며, 신뢰도를 기준으로 판단할 수 있다.

평점의 신뢰도를 구하고 평판을 보정하기 위해서, 평점 신뢰도 계산부(320)에서는 신뢰할 수 있는 정보의 특징을 이용하여 각 사용자가 작성한 평점의 신뢰도를 계산할 수 있다. 온라인 상에서 신뢰할 수 있는 정보의 특징은 사용자의 객관성과 활동성, 그리고 일관성의 개념에 해당할 수 있고, 각 개념을 수치화한 후 시스템에 적용하여 평점의 신뢰도를 구하고, 이 신뢰도를 바탕으로 잘못된 평판을 보정할 수 있다.

사용자의 활동성은 사용자가 얼마나 많은 평점을 작성했는지, 사용자의 평점 개수를 이용하여 계산될 수 있다. 사용자마다 작성한 평점의 개수는 다르기 때문에, 수치화된 값을 평균하고, 시그모이드(Sigmoid) 함수를 이용한 변환함수를 통하여 각 사용자를 대상으로 정규화를 거칠 필요가 있다. 이에 대한 자세하게는 수학식 1을 참조할 수 있다.

나아가, 사용자의 객관성은 사용자가 작성한 객관성들을 이용해 계산될 수 있다. 평점의 객관성은 사용자의 평점과 상품의 평판과의 근접성, 즉 얼마나 유사도를 가지는지 측정을 통해 수치화될 수 있다. 그리고, 도출된 수치의 평균을 나타내며, 신뢰도 계산을 위해서 정규화 과정을 거칠 수 있다. 여기서, 가정해야 할 것은 대부분의 평판은 집단지성을 통해 산출된 객관적인 평가라는 것이다. 수학식 2 내지 수학식 4를 참조하여, 보다 자세한 객관성 수치화 방법을 알 수 있다.

더불어, 사용자의 일관성을 분석함으로써 이상성이 나타나는 평점, 즉 사용자의 일관성에서 벗어난 평점을 찾아낼 수 있고, 이상성을 지닌 평점의 신뢰도를 계산할 때는 페널티가 부여되는데, 사용자의 일관성에서 벗어날수록 더 강한 페널티가 부여될 수 있다. 본 발명에서는 사용자의 일관성 분석을 위해 박스플롯(Box plot)을 이용하며, 이상성을 지닌 평점은 수학식 6에 따라서 페널티를 부여 받는다.

평점 신뢰도 계산부(320)에서 사용자의 활동성과 객관성 및 일관성을 이용해 평점의 신뢰도를 산출할 수 있으며, 최종적으로 구할 수 있는 신뢰도는 활동성과 객관성 및 일관성의 곱으로 나타날 수 있다. 최종적으로 구한 평점의 신뢰도를 기반으로 평판 계산부(330)에서 평판을 보정할 수 있다. 이때, 평판의 보정을 위해서 반복적 계산 방법을 사용할 수 있다.

평판의 보정 시작 단계에서의 평판은 평점의 단순 산술평균으로 산정하며, 이때의 평점들은 동일한 신뢰도를 가진다. 계산 시에 평점의 신뢰도를 기반으로 평판을 보정하는데, 계산이 안정된 상태에 도달할 때까지 반복적으로 계산을 수행한다.

안정성은 반복 연산을 하면서 모든 상품의 평판이 얼마나 변했는가를 측정함으로써 알 수 있다. 따라서, 평판을 표현하는 벡터를 구성하여 현재 평판의 벡터와 이전 단계에서 생성된 벡터의 변화를 코사인 유사도를 계산함으로써 평판이 얼마나 변했는지 측정할 수 있다. 만약, 반복적 계산 이후 벡터의 변화 정도가 일정 값 이하로 나타나면 이를 안정된 상태로 식별할 수 있다. 일례로, 0.000001 정도의 값으로 정할 수 있다.

본 발명에 대한 실험의 결과로서 도 4와 도 5를 참조하여 평판의 변화율을 살펴볼 수 있다. 이하, 각 그래프에 나타나는 식별자로, 본 발명의 우수성을 입증하기 위해 총 네 가지 기준을 각각 평판 보정 알고리즘에 적용한 것으로 그래프를 통해 비교할 수 있다.

ARITHMETIC-MEAN는 모든 평점에게 동일한 신뢰도를 부여하는 기본적인 알고리즘으로 평판을 측정하는데 사용되는 가장 보편적이며, 성능평가의 Baseline이 될 수 있다. USER-OBJECTIVITY는 사용자의 객관성을 평점의 신뢰도로 사용하는 알고리즘을 적용한 그래프이며, USER-ACTIVITY는 사용자의 활동성을 평점의 신뢰도로 사용하는 알고리즘, USER-OBJECTIVITY&USER-ACTIVITY는 사용자의 객관성과 사용자의 활동성을 곱한 값을 평점의 신뢰도로 사용하는 알고리즘을 각각 적용한 그래프를 나타내며, 본 발명의 알고리즘을 적용한 알고리즘을 TRUEREPUTATION으로 표시한다.

도 4는 공격자가 삽입한 평점 개수에 따른 평판 보정 알고리즘의 평판 변화율을 나타낸다. ARITHMETIC-MEAN의 평판 변화율은 다른 그래프의 성능을 판단하는 베이스라인(Baseline)으로 사용된다. 공격자가 삽입한 평점 수에 따른 TRUEREPUTATION 평판 변화율이 ARITHMETIC-MEAN의 평판 변화율 보다 현저하게 적은 것을 도 4에서 확인 할 수 있다. 그 이유는 ARITHMETIC-MEAN의 모든 평점의 신뢰도를 동일하게 여기는 반면 알고리즘을 적용하면 평점 공격자의 평점 신뢰도를 낮추어 영향력을 줄이기 때문으로 볼 수 있다.

다만, 인위적인 공격 시나리오의 경우 TRUEREPUTATION을 적용한 것보다 USER-OBJECTIVITY&USER-ACTIVITY의 성능이 약간 우수하다. 평점 공격자의 경우 '일관되게' 부당한 평점을 작성하기 때문에 사용자의 일관성 평가에서 평점 공격자의 평점은 페널티를 부여 받지 않을 수 있기 때문이다.

도 4의 (a), (c)와 (b), (d)를 비교해 보면, 평점 공격자의 프로필의 크기가 증가할 수록 평점 공격자의 영향력이 강해지는 것을 확인 할 수 있다.

도 5에서는 앞서 도 4에서 평점 공격자의 공격에 가장 견고하게 나타났던 두 개의 알고리즘, USER-OBJECTIVITY&USER-ACTIVITY와 TRUEREPUTATION의 평균 평점 공격자의 평점 삽입 개수에 따른 평판 변화율과 baseline를 비교한 결과를 확인 할 수 있다. USER-OBJECTIVITY&USER-ACTIVITY는 취약점을 드러내는데, 특히 평균 공격자의 프로필 크기가 클수록 성능은 급격히 떨어진다.

반면에 사용자의 일관성 분석을 이용하는 TRUEREPUTATION은 평균 평점 공격 삽입 개수나 프로필의 크기에 상관없이 공격의 영향을 거의 받지 않음을 그래프를 통해 확인할 수 있다.

앞서 설명한 기술적 내용들, 즉 온라인 평판 시스템의 평판과 평점의 상호 강화 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

300: 상호 강화 시스템
310: 문제 식별부
320: 평점 신뢰도 계산부
330: 평판 계산부

Claims

온라인 평판 시스템의 평판과 평점의 상호 강화 방법에 있어서,
상호 강화 시스템의 평점 신뢰도 계산부에서, 신뢰할 수 있는 정보의 특징을 이용하여 평점의 신뢰도를 계산하는 단계; 및
상기 상호 강화 시스템의 평판 계산부에서, 상기 평점의 신뢰도를 상기 온라인 평판 시스템에 적용하여 상기 평판을 정량화하는 단계
를 포함하고,
상기 신뢰할 수 있는 정보의 특징을 이용하여 상기 평점의 신뢰도를 계산하는 단계; 및
상기 평점의 신뢰도를 상기 온라인 평점 시스템에 적용하여 상기 평판을 정량화하는 단계는,
상기 상호 강화 시스템의 평판 계산부에서 상기 평점의 신뢰도를 기반으로 평판을 보정하는데 계산된 값이 안정된 상태에 도달할 때까지 반복적으로 계산을 수행하는 것
을 특징으로 하는 상호 강화 방법.
제1항에 있어서,
상기 상호 강화 방법은,
상기 상호 강화 시스템의 문제 식별부에서, 상기 평판에 거짓 평판 문제가 발생함을 식별하는 단계를 포함하고,
상기 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며,
상기 평판에 거짓 평판 문제가 발생함을 식별하는 단계는, 상기 평점의 신뢰도가 낮아짐을 식별하는 것
을 특징으로 하는 상호 강화 방법.
제1항에 있어서,
상기 신뢰할 수 있는 정보는 상기 온라인 평판 시스템 사용자의 객관성, 활동성, 일관성의 개념에 해당하며,
상기 평점의 신뢰도를 계산하는 단계에서는 상기 각각의 개념을 수치화하여 상기 평점의 신뢰도를 계산하는 것
을 특징으로 하는 상호 강화 방법.
제3항에 있어서,
상기 사용자의 객관성은, 사용자가 작성한 모든 평점과 상기 평판의 근접성이 측정되어 수치화된 후, 수치화된 값의 평균을 나타내며,
상기 평판의 신뢰도 계산을 위해 정규화 과정을 거치는 것
을 특징으로 하는 상호 강화 방법.
제3항에 있어서,
상기 사용자의 활동성은 사용자가 작성한 평점의 개수를 기준으로 수치화되며,
상기 평판의 신뢰도 계산을 위해 정규화 과정을 거치는 것
을 특징으로 하는 상호 강화 방법.
제3항에 있어서,
상기 사용자의 일관성은 일관성에서 벗어난 평점을 분석하기 위해 박스플롯(Box plot)이 이용되며,
일관성에서 벗어난 평점일수록 상기 평판의 신뢰도 계산 시에 강한 페널티가 부여되는 것
을 특징으로 하는 상호 강화 방법.
삭제
제1항에 있어서,
상기 평판을 보정하는데 있어서, 평판의 벡터 변화를 코사인(Cosine) 유사도 계산으로 측정하며,
상기 코사인 유사도 값이 일정 값 이하로 나타나면 이를 안정된 상태로 식별하여 상기 평판의 보정을 멈추는 것
을 특징으로 하는 상호 강화 방법.
온라인 평판 시스템의 평판과 평점의 상호 강화 시스템에 있어서,
신뢰할 수 있는 정보의 특징을 이용하여 평점의 신뢰도를 계산하는 평점 신뢰도 계산부; 및
상기 평점의 신뢰도를 상기 온라인 평판 시스템에 적용하여 상기 평판을 정량화하는 평판 계산부
를 포함하고,
상기 평점 신뢰도 계산부 및 상기 평판 계산부는,
상기 평점의 신뢰도를 기반으로 평판을 보정하는데 계산된 값이 안정된 상태에 도달할 때까지 반복적으로 계산을 수행하는 것
을 특징으로 하는 상호 강화 시스템.
제9항에 있어서,
상기 상호 강화 시스템은 상기 평판에 거짓 평판 문제가 발생함을 식별하는 문제 식별부를 포함하고,
상기 거짓 평판 문제는 평판이 조작되거나 왜곡되는 것을 신뢰도를 기준으로 판단하며,
상기 문제 식별부는, 상기 평점의 신뢰도가 낮아짐을 식별하는 것
을 특징으로 하는 상호 강화 시스템.