KR20190000351A - 허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 - Google Patents
허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 Download PDFInfo
- Publication number
- KR20190000351A KR20190000351A KR1020180167364A KR20180167364A KR20190000351A KR 20190000351 A KR20190000351 A KR 20190000351A KR 1020180167364 A KR1020180167364 A KR 1020180167364A KR 20180167364 A KR20180167364 A KR 20180167364A KR 20190000351 A KR20190000351 A KR 20190000351A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- evaluation information
- false
- user
- false evaluation
- Prior art date
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 411
- 238000000034 method Methods 0.000 title abstract description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 238000012216 screening Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 13
- 238000012552 review Methods 0.000 description 84
- 238000009826 distribution Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 17
- 230000006399 behavior Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 235000004936 Bromus mango Nutrition 0.000 description 4
- 241001093152 Mangifera Species 0.000 description 4
- 235000014826 Mangifera indica Nutrition 0.000 description 4
- 235000009184 Spondias indica Nutrition 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000011888 foil Substances 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 235000005979 Citrus limon Nutrition 0.000 description 2
- 244000131522 Citrus pyriformis Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 241001474374 Blennius Species 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 231100000870 cognitive problem Toxicity 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0278—Product appraisal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Mathematical Analysis (AREA)
- Tourism & Hospitality (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 특정 서비스 제공자, 특정 서비스, 글, 사진, 책, 음식점이나 카페와 같은 맛집을 포함한 상점, 영화 등과 관련된 온라인 콘텐츠의 허위 평가 정보 적발 시스템, 장치, 방법 및 프로그램에 관한 것이다. 이를 위하여, 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고, 온라인 콘텐츠의 허위 평가 정보의 적발을 위하여, 특정 온라인 콘텐츠 또는 특정 사용자에 대응되는 판정 보조 정보를 생성하는 판정 보조 정보 생성 모듈; 및 플랫폼 서비스에 구성되고, 판정 보조 정보 생성 모듈과 연결되어 판정 보조 정보를 수신받고, 판정 보조 정보를 토대로 온라인 콘텐츠에 허위 평가 정보가 입력되었는지 여부 또는 사용자가 허위 평가 정보를 입력하였는지 여부를 판정하는 허위 평가 정보 판정 모듈;을 포함하는, 허위 평가 정보 적발 장치가 제공될 수 있다. 이에 따르면, 플랫폼 서비스에서 온라인 콘텐츠에 대한 허위 평가 정보가 자동으로 적발될 수 있게 되는 효과가 발생된다.
Description
본 발명은 겹치는 평가 온라인 콘텐츠의 수를 이용하여 허위 평가 사용자 집단을 판정하는 온라인 콘텐츠의 허위 평가 정보 적발 시스템, 장치, 방법 및 프로그램에 관한 것으로, 보다 구체적으로는 특정 서비스 제공자, 특정 서비스, 글, 사진, 책, 음식점이나 카페와 같은 맛집을 포함한 상점, 영화 등과 관련된 온라인 콘텐츠의 허위 평가 정보 적발 시스템, 장치, 방법 및 프로그램에 관한 것이다.
최근, 인터넷에는 온라인 콘텐츠를 업로드하여 사용자(user)를 획득하려는 서비스 제공자들과 이러한 온라인 콘텐츠를 이용하려고 하는 사용자들이 모이는 양면 네트워크의 플랫폼 서비스들이 많이 발달되고 있다. 이러한 플랫폼 서비스에는 예를 들어 이베이(ebay)나 아마존닷컴(Amazon.com)과 같은 오픈 마켓(open market), 우버(Uber)나 에어비앤비(Airbnb)와 같은 공유 서비스, 옐프(Yelp)나 망고플레이트(Mangoplate)와 같은 맛집 정보제공 서비스 등을 의미할 수 있다. 특히 스마트폰 덕분에 기존의 web 시대보다 서비스 제공자가 되는 것이 간편해졌고, 사용자의 스마트폰의 플랫폼 서비스를 통한 온라인 콘텐츠에의 접근성이 상당히 향상되었다. 이는 인터넷상에서의 온라인 콘텐츠 및 플랫폼 서비스의 폭발적인 증가를 야기하였다. 사용자들은 이런 온라인 콘텐츠가 집적되어 있는 장과 같은 플랫폼 서비스를 모바일 애플리케이션, 모바일 웹 등을 통해 이용하여 자신이 원하는 정보를 충분히 얻을 수 있으며, 이를 통해 선택, 결정 또는 판단을 하는데 도움을 받고 있다.
특히 사용자의 결정에 도움을 주는 것은 특정 온라인 콘텐츠에 대한 평점 또는 댓글을 이용한 다른 사용자들의 평가에 대한 정보인 평가 정보의 제공이다. 이러한 평가 정보의 제공은 이베이에서 크게 효과를 본 뒤, 아마존닷컴, 우버, 에어비앤비, 옐프 등의 플랫폼 서비스에서 사용자의 경험을 향상시키기 위해 대부분 이용하고 있는 서비스이다.
이러한 평가 정보는 특정 온라인 콘텐츠에 대한 평점 정보, 코멘트 정보(사용자 리뷰 정보, 사용자 댓글 정보를 포함), '좋아요'나 '나빠요'와 같은 호감 정보, 공유 여부 정보, 추천 정보, 조회 정보를 포함할 수 있다. 사용자는 플랫폼 서비스에 업로드 된 적어도 하나 이상의 온라인 콘텐츠를 제공받게 되는데, 온라인 콘텐츠에 대한 평가 정보가 사용자의 결정에 매우 큰 도움을 주게 되고, 이는 사용자 경험(User experience)의 향상으로 이어지게 된다.
하지만, 이러한 온라인 콘텐츠가 모여져 있는 장인 플랫폼 서비스에 평가 정보를 제공하게 되면, 경쟁자의 악의적 평가 또는 관련자의 호의적 평가 등과 같은 특정 사용자의 허위 평가에 의해 플랫폼 서비스 자체가 레몬 마켓이 될 위험에 노출되게 된다. 특정 사용자의 허위 평가 정보는, 온라인 콘텐츠를 제공받는 사용자의 온라인 콘텐츠의 평가 정보에 대한 신뢰를 상실하게 함으로써, 온라인 콘텐츠의 생태계 자체를 위협하게 되는 것이다.
하지만, 기존의 온라인 콘텐츠에 대한 평점 정보 제공은 단순히 하나의 온라인 콘텐츠에 기록된 모든 평점의 산술평균으로 수행되고 있어서 특정 사용자의 허위 평가 정보를 적발하기 어려웠다. 또한, 기존의 온라인 콘텐츠에 대한 코멘트 정보 제공이나 호감 정보 제공은 허위 평가 정보의 적발이 실질적으로 수행되고 있지 않았고, 사용자들이 자체적으로 신고하는 '신고' 기능이 이용되는 정도에 불과하였다.
따라서, 기존에는 특정 사용자의 허위 평가 정보를 적발하기 위해 각각의 온라인 콘텐츠에 대해 사람이 수동으로 해당 온라인 콘텐츠의 평점 정보, 코멘트 정보 및 호감 정보의 허위 평가 정보 여부를 판단하여 평점 산출 시 포함 여부, 사용자에게 출력 여부 등을 결정하였다.
위와 같이 사람이 수동으로 수행하는 허위 평가 정보의 적발 방법은 엄청난 비용(특히, 인력 비용)을 야기하고, 신속하지 못하며, 지속 가능하지 못하여 온라인 콘텐츠와 트래픽이 폭발적으로 증가하는 플랫폼 서비스의 레몬 마켓화를 막기에는 역부족이었다.
게다가, 특정 상점의 홀릭(holic)과 같은 헤비 사용자(heavy user)가 급증함에 따라, 특정 평가 정보를 입력한 사용자가 헤비 사용자인지 아니면 허위 평가 정보를 입력하는 허위 평가 사용자인지를 구분하고 분류하는 것은 기존의 방법으로는 여전히 역부족이었다. 왜냐하면, 헤비 사용자와 허위 평가 사용자의 평가 정보 입력 빈도 등의 서비스 내 사용 행태가 매우 유사하기 때문이다.
또한, 허위 평가 사용자의 행동은 더욱 영악해져서, 허위 평가 사용자 집단을 구성하여 복수개의 온라인 콘텐츠에 대한 허위 평가를 입력하기도 한다. 이러한 경우, 기존의 방법으로 허위 평가 사용자를 판정하는 것이 역부족이었다.
따라서 본 발명의 목적은, 특정 서비스 제공자, 특정 서비스, 글, 사진, 책, 음식점이나 카페와 같은 맛집을 포함한 상점, 영화 등과 관련된 온라인 콘텐츠의 허위 평가 정보를 신속하게 자동으로 적발하기 위해 겹치는 평가 온라인 콘텐츠의 수를 이용하여 허위 평가 사용자 집단을 판정하는 온라인 콘텐츠의 허위 평가 정보 적발 시스템, 장치, 방법 및 프로그램을 제공하는 데에 있다.
이하 본 발명의 목적을 달성하기 위한 구체적 수단에 대하여 설명한다.
본 발명의 목적은, 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고, 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 위하여, 특정 사용자에 대응되는 판정 보조 정보를 생성하는 판정 보조 정보 생성 모듈; 및 상기 플랫폼 서비스에 구성되고, 상기 판정 보조 정보 생성 모듈과 연결되어 상기 판정 보조 정보를 수신받고, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 집단을 판정하는 허위 평가 정보 판정 모듈;을 포함하고, 상기 판정 보조 정보는, 상기 사용자의 다른 사용자와 겹치는 평가한 온라인 콘텐츠의 개수인 것을 특징으로 하는, 허위 평가 정보 적발 장치를 제공하여 달성될 수 있다.
본 발명의 다른 목적은, 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고, 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 위하여, 특정 사용자에 대응되는 판정 보조 정보를 생성하는 판정 보조 정보 생성 모듈; 및 상기 플랫폼 서비스에 구성되고, 상기 판정 보조 정보 생성 모듈과 연결되어 상기 판정 보조 정보를 수신받고, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 집단을 판정하는 허위 평가 정보 판정 모듈;을 포함하고, 상기 판정 보조 정보는, 상기 사용자의 다른 사용자와 겹치는 평가한 온라인 콘텐츠의 개수와 상기 사용자가 평가한 온라인 콘텐츠의 총 개수의 비율인 것을 특징으로 하는, 허위 평가 정보 적발 장치를 제공하여 달성될 수 있다.
본 발명의 다른 목적은, 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 수행하는 허위 평가 정보 적발 장치가, 상기 클라이언트에서 특정 온라인 콘텐츠에 관한 특정 사용자의 평가 정보를 수신하는 평가 정보 수신 단계; 상기 허위 평가 정보 적발 장치의 일구성인 판정 보조 정보 생성 모듈이, 상기 사용자에 대한 판정 보조 정보를 생성하는 판정 보조 정보 생성 단계; 및 상기 허위 평가 정보 적발 장치의 일구성인 허위 평가 정보 판정 모듈이, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 집단을 판정하는 허위 평가 정보 판정 단계;를 포함하고, 상기 판정 보조 정보는, 상기 사용자의 다른 사용자와 겹치는 평가한 온라인 콘텐츠의 개수인 것을 특징으로 하는, 허위 평가 정보 적발 방법을 제공하여 달성될 수 있다.
본 발명의 다른 목적은, 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 수행하는 허위 평가 정보 적발 장치가, 상기 클라이언트에서 특정 온라인 콘텐츠에 관한 특정 사용자의 평가 정보를 수신하는 평가 정보 수신 단계; 상기 허위 평가 정보 적발 장치의 일구성인 판정 보조 정보 생성 모듈이, 상기 사용자에 대한 판정 보조 정보를 생성하는 판정 보조 정보 생성 단계; 및 상기 허위 평가 정보 적발 장치의 일구성인 허위 평가 정보 판정 모듈이, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 집단을 판정하는 허위 평가 정보 판정 단계;를 포함하고, 상기 판정 보조 정보는, 상기 사용자의 다른 사용자와 겹치는 평가한 온라인 콘텐츠의 개수와 상기 사용자가 평가한 온라인 콘텐츠의 총 개수의 비율인 것을 특징으로 하는, 허위 평가 정보 적발 방법을 제공하여 달성될 수 있다.
본 발명의 다른 목적은, 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 수행하는 허위 평가 정보 적발 장치가, 상기 클라이언트에서 특정 온라인 콘텐츠에 관한 특정 사용자의 평가 정보를 수신하는 평가 정보 수신 단계; 상기 허위 평가 정보 적발 장치의 일구성인 판정 보조 정보 생성 모듈이, 상기 사용자에 대한 판정 보조 정보를 생성하는 판정 보조 정보 생성 단계; 및 상기 허위 평가 정보 적발 장치의 일구성인 허위 평가 정보 판정 모듈이, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 집단을 판정하는 허위 평가 정보 판정 단계;를 포함하고, 상기 판정 보조 정보는, 상기 사용자의 다른 사용자와 겹치는 평가한 온라인 콘텐츠의 개수인 것을 특징으로 하는, 허위 평가 정보 적발 방법을 컴퓨터상에서 수행하는 기록매체에 저장된 프로그램을 제공하여 달성될 수 있다.
상기한 바와 같이, 본 발명에 의하면 이하와 같은 효과가 있다.
첫째, 본 발명의 일실시예에 따르면, 겹치는 평가 온라인 콘텐츠의 수를 이용하여 허위 평가 사용자 집단을 판정하기 때문에, 허위 평가 사용자 집단 자체를 적발할 수 있는 효과가 발생된다.
둘째, 본 발명의 일실시예에 따르면, 플랫폼 서비스에서 온라인 콘텐츠에 대한 허위 평가 정보의 적발이 자동으로 이루어지게 됨으로써 인력 비용을 절감할 수 있게 되는 효과가 발생된다.
셋째, 본 발명의 일실시예에 따라 HHI(Herfindahl-Hirschman Index) 지수를 이용하는 경우, 적은 정보로 신속하게 허위 평가 정보를 자동으로 적발할 수 있게 되는 효과가 발생된다. 허위 평가 정보의 적발에서 적은 정보를 이용하여 높은 확률로 허위 평가 정보를 적발하게 되는 것은 데이터 분석의 활용성 측면에서 매우 중요한 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 시스템을 도시한 블럭도,
도 2는 본 발명의 일실시예에 따른 플랫폼 서비스를 도시한 블럭도,
도 3은 본 발명의 일실시예에 따른 허위 평가 정보 적발 장치(107)를 도시한 블럭도,
도 4는 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 방법을 도시한 것,
도 5는 식당 902의 온라인 콘텐츠에 입력된 표 1의 실제 리뷰내용을 도시한 것,
도 6은 식당 137445의 온라인 콘텐츠에 입력된 표 2의 실제 리뷰내용 일부를 도시한 것,
도 7은 실제 사용자 데이터 중 316개의 랜덤 샘플에 대한 코멘트를 입력한 식당 개수/총 코멘트 입력 개수의 비율의 분포를 나타낸 것이다.
도 1은 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 시스템을 도시한 블럭도,
도 2는 본 발명의 일실시예에 따른 플랫폼 서비스를 도시한 블럭도,
도 3은 본 발명의 일실시예에 따른 허위 평가 정보 적발 장치(107)를 도시한 블럭도,
도 4는 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 방법을 도시한 것,
도 5는 식당 902의 온라인 콘텐츠에 입력된 표 1의 실제 리뷰내용을 도시한 것,
도 6은 식당 137445의 온라인 콘텐츠에 입력된 표 2의 실제 리뷰내용 일부를 도시한 것,
도 7은 실제 사용자 데이터 중 316개의 랜덤 샘플에 대한 코멘트를 입력한 식당 개수/총 코멘트 입력 개수의 비율의 분포를 나타낸 것이다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있는 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작원리를 상세하게 설명함에 있어서 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다. 명세서 전체에서, 특정 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고, 간접적으로 연결되어 있는 경우도 포함한다. 또한, 특정 구성요소를 포함한다는 것은 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에서 '온라인 콘텐츠'는 특정 서비스 제공자의 프로필, 특정 서비스의 프로필, 글, 사진, 책, 음식점이나 카페와 같은 맛집을 포함한 상점, 영화 등과 관련된 정보를 의미할 수 있다. 사용자들은 PC 또는 스마트폰의 애플리케이션이나 웹을 통해서 이러한 온라인 콘텐츠들을 브라우징 및 탐색할 수 있다. 사용자들은 이러한 온라인 콘텐츠들에 대해 평가 정보를 제공할 수 있다.
본 발명에서 '평가 정보'는 특정 온라인 콘텐츠에 대한 평점 정보, 코멘트 정보(사용자 리뷰 정보, 사용자 댓글 정보를 포함), '좋아요'나 '나빠요'와 같은 호감 정보, 공유 여부 정보, 추천 정보, 조회 정보를 포함한 사용자가 특정 온라인 콘텐츠에 대해 제공하는 정보를 의미할 수 있다. 이러한 평가 정보는 특정 온라인 콘텐츠에 대해 등급을 매기거나, 평가하거나, 제안하거나, 호감을 표시하거나, 비호감을 표시하거나, 추천하거나 비추천하는 모든 정보를 의미할 수 있다.
본 발명에서 '플랫폼 서비스'는 온라인 콘텐츠를 업로드하여 사용자를 획득하려는 서비스 제공자들과 이러한 온라인 콘텐츠를 이용하려고 하는 사용자들이 모이는 온라인 상의 양면 네트워크를 의미할 수 있다.
온라인 콘텐츠의 허위 평가 정보 적발 시스템
온라인 콘텐츠의 허위 평가 정보 적발 시스템에 관하여, 도 1은 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 시스템을 도시한 블럭도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 시스템(100)은 클라이언트(101), 네트워크(102), 플랫폼 서비스(103)를 포함할 수 있다.
클라이언트(101)는 적어도 하나 이상의 클라이언트 장치들, 예를 들어, 하나 이상의 스마트폰, 태블릿과 같은 모바일 장치, 랩탑(laptop)이나 데스크탑 PC를 포함할 수 있다. 사용자는 클라이언트(101)를 통해 온라인 콘텐츠를 브라우징/탐색하거나 특정 온라인 콘텐츠의 평가 정보를 입력하게 된다.
네트워크(102)는 데이터 프로세싱 시스템들, 컴퓨터들, 서버들, 모바일 장치들간의 무선 혹은 유선 통신 연결을 제공하는 커넥션들을 포함할 수 있다. 본 발명의 일실시예에 따른 네트워크(102)는 클라이언트(101)와 플랫폼 서비스(103)의 유무선 통신 연결을 제공하는 커넥션으로 구성될 수 있다. 본 발명의 일실시예에 따른 네트워크(102)는 서로 통신하기 위해 TCP/IP를 사용하는 네트워크들 및 게이트웨이들의 World Wide Collection, 인트라넷, LAN, WAN을 포함할 수 있고, 인터넷을 의미할 수 있다.
플랫폼 서비스(103)는 클라이언트(101)와 네트워크(102)를 통해 연결되어 클라이언트(101)에 온라인 콘텐츠를 송신하고, 클라이언트(101)에 의해 평가 정보를 수신받는 구성을 의미하고, 플랫폼 서비스(103)의 인터페이스는 스마트폰/Mac OS의 애플리케이션 또는 스마트폰/PC의 웹 브라우저를 통해 사용자가 이용할 수 있는 웹 페이지일 수 있다. 본 발명의 일실시예에 따른 플랫폼 서비스(103)는 각종 컴퓨터들, 서버들, 데이터베이스들, 라우터들, 스위치들, 커넥션 들 및 다른 장치를 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 플랫폼 서비스를 도시한 블럭도이다. 도 2에 도시된 바와 같이 본 발명의 일실시예에 따른 플랫폼 서비스(103)는 온라인 콘텐츠 제공 모듈(104), 온라인 콘텐츠 데이터베이스(105), 평가 정보 수신 모듈(106), 허위 평가 정보 적발 장치(107)를 포함할 수 있다.
온라인 콘텐츠 제공 모듈(104)은 온라인 콘텐츠 데이터베이스(105)에서 온라인 콘텐츠를 수신하여 클라이언트(101)에 제공하는 구성이다. 온라인 콘텐츠 제공 모듈(104)에 의해 클라이언트(101)는 플랫폼 서비스(103)에서 온라인 콘텐츠를 브라우징/탐색할 수 있게 된다.
온라인 콘텐츠 데이터베이스(105)는 클라이언트(101)를 통해 사용자가 제공하거나 플랫폼 서비스 제공자가 입력한 온라인 콘텐츠를 저장하는 구성을 의미할 수 있다.
평가 정보 수신 모듈(106)은 클라이언트(101)에서 평가 정보를 수신하여 허위 평가 정보 적발 장치(107)로 평가 정보를 전달하는 모듈이다.
허위 평가 정보 적발 장치(107)는 평가 정보 수신 모듈(106)에서 특정 사용자의 평가 정보를 수신하여 허위 평가 정보의 적발을 수행하는 구성이다. 도 3은 본 발명의 일실시예에 따른 허위 평가 정보 적발 장치(107)를 도시한 블럭도이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 허위 평가 정보 적발 장치(107)는 판정 보조 정보 생성 모듈(108), 평가 정보 데이터베이스(109), 허위 평가 정보 판정 모듈(110), 페널티 처리 모듈(111)을 포함할 수 있다.
판정 보조 정보 생성 모듈(108)은 허위 평가 정보 판정 모듈(110)에서 평가 정보를 허위 평가 정보로 분류하거나 예측하기 위해 수신된 평가 정보를 가공하여 평가를 용이하게 하는 판정 보조 정보를 생성하는 모듈이다. 판정 보조 정보 생성 모듈(108)는 평가 정보 수신 모듈(106)에서 평가 정보 및 평가 정보에 대응되는 사용자의 정보를 수신하고, 평가 정보 데이터베이스(109) 또는 허위 평가 정보 판정 모듈(110)로 용이한 평가를 위해 평가 정보를 가공한 판정 보조 정보를 송신하게 된다.
평가 정보 데이터베이스(109)는 판정 보조 정보 생성 모듈(108), 평가 정보 수신 모듈(106), 페널티 처리 모듈(111)과 연결되어 판정 보조 정보, 평가 정보, 페널티 처리 정보를 저장하게 된다. 특히 페널티 처리 정보는 온라인 콘텐츠 제공 모듈(104), 온라인 콘텐츠 데이터베이스(105)에 전달될 수 있다.
허위 평가 정보 판정 모듈(110)은 판정 보조 정보 생성 모듈(108) 및 평가 정보 수신 모듈(106)과 연결되어 판정 보조 정보 및 평가 정보를 수신하고, 이를 분석하여 허위 평가 정보 여부를 판정하는 모듈이다. 허위 평가 정보 여부는, 해당 평가 정보가 허위 평가 정보라는 것을 적발하거나, 해당 온라인 콘텐츠에 허위 평가 정보가 입력되었음을 적발하는 것을 의미할 수 있다. 특정 사용자의 평가 정보가 허위 평가 정보로 판정되는 경우, 페널티 처리 모듈(111)로 해당 평가 정보 및 대응되는 사용자 정보를 전송할 수 있다.
페널티 처리 모듈(111)은 허위 평가 정보 판정 모듈(110)에서 허위 평가 정보로 판정된 평가 정보 및 대응되는 사용자 정보를 수신하여 이에 페널티 처리를 한 페널티 처리 정보를 생성하는 모듈이다.
온라인 콘텐츠의 허위 평가 정보 적발 방법
온라인 콘텐츠의 허위 평가 정보 적발 방법에 관하여, 도 4는 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 방법을 도시한 것이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 방법은, 평가 정보 수신 단계(S10), 판정 보조 정보 생성 단계(S20), 허위 평가 정보 판정 단계(S30), 페널티 처리 단계(S40)를 포함할 수 있다.
평가 정보 수신 단계(S10)는 클라이언트(101)에서 송신한 평가 정보를 평가 정보 수신 모듈(106)이 수신하는 단계이다.
판정 보조 정보 생성 단계(S20)는 평가 정보 수신 모듈(106)이 수신한 평가 정보를 허위 평가 정보 적발 장치(107)에 송신하고, 허위 평가 정보 적발 장치(107)의 일구성인 판정 보조 정보 생성 모듈(108)에서 수신된 평가 정보 및 사용자 정보 등을 토대로 판정 보조 정보를 생성하는 단계이다.
허위 평가 정보 판정 단계(S30)는 판정 보조 정보 생성 모듈(108)에서 생성된 판정 보조 정보를 토대로 허위 평가 정보 판정 모듈(110)이 해당 평가 정보가 허위 평가 정보라는 것을 판정하거나, 특정 온라인 콘텐츠에 대한 평가 정보가 허위 평가 정보일 확률이 높다는 것을 판정하는 단계이다. 허위 평가 정보는 온라인 콘텐츠의 평가를 상향시키려는 포지티브(positive) 허위 평가 정보, 온라인 콘텐츠의 평가를 하향시키려는 네거티브(negative) 허위 평가 정보로 구분될 수 있다.
페널티 처리 단계(S40)는 허위 평가 정보 판정 모듈(110)이 해당 평가 정보 또는 해당 온라인 콘텐츠의 평가 정보 중 적어도 일부가 허위 평가 정보라는 것을 판정하는 경우, 해당 사용자, 해당 평가 정보 또는 해당 온라인 콘텐츠의 평가 정보 중 적어도 일부에 대해 페널티 처리를 하는 단계이다. 포지티브 허위 평가 정보의 경우 페널티 처리는 해당 평가 정보를 전송한 사용자의 계정을 중단 또는 취소하는 것, 해당 평가 정보에 대한 weight를 0(평가 정보 합산의 배제) 또는 음수로 주는 것을 포함할 수 있다. 네거티브 허위 평가 정보의 경우 페널티 처리는 해당 평가 정보를 전송한 사용자의 계정을 중단 또는 취소하는 것, 해당 평가 정보에 대한 weight를 0(평가 정보 합산의 배제) 또는 양수로 주는 것을 포함할 수 있다.
본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 방법이 컴퓨터 상에서 수행되는 HDD, SSD, CD-ROM, USB 등의 기록매체에 저장된 프로그램으로 구성될 수 있다.
실시예
이하에서는 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 시스템, 장치, 방법 및 프로그램의 구체적인 실시예를 기재한다.
판정 보조 정보와 관련하여, 본 발명의 일실시예에 따른 온라인 콘텐츠의 허위 평가 정보 적발 시스템의 일구성인 판정 보조 정보 생성 모듈(108)에서 생성될 수 있는 판정 보조 정보는, 코멘트 정보(댓글 정보, 리뷰 정보 등)의 텍스트 마이닝 정보, 평가 정보의 빈도 정보, 사용자 간 네트워크 정보, 사용자의 사용행태 정보를 포함할 수 있다.
(1) 코멘트/리뷰 정보
텍스트 마이닝 정보를 판정 보조 정보로 제공하는 것과 관련하여, 평가 정보 중 코멘트/리뷰 정보의 텍스트 마이닝을 통해 코멘트/리뷰 정보의 포지티브 및 네거티브 정도에 대해 감성 분석(Sentimental analysis)할 수 있고, 이러한 코멘트/리뷰 정보의 감성 분석 결과를 통해 특정 감성의 코멘트/리뷰의 빈도 정보가 판정 보조 정보로 허위 평가 정보 판정 모듈(110)에 제공될 수 있다.
또는 기존에 허위 평가 정보로 판정되었던 코멘트/리뷰 정보에 여러 속성(attribute)을 부여하여 유사한 패턴을 보이는 코멘트/리뷰 정보를 허위 평가 정보로 판정할 수 있고, 이를 위해 여러 분류 모델에서 Supervised Machine Learning 중 하나가 이용될 수 있다. 이러한 경우, 기존의 허위 평가 정보와 입력된 평가 정보가 동일한 그룹으로 분류되면 이러한 분류 정보가 판정 보조 정보로 허위 평가 정보 판정 모듈(110)에 제공될 수 있다. 코멘트/리뷰 정보에 포함될 수 있는 속성으로는, 코멘트/리뷰의 길이, 코멘트/리뷰의 감성 분석 정보, 코멘트/리뷰의 입력에 걸린 시간, 코멘트/리뷰에의 이모티콘 사용 여부 등이 있을 수 있다.
또는, 기존의 평가 정보와 새롭게 수신된 평가 정보에 여러 속성을 부여한 뒤 클러스터링하고, 해당 평가 정보가 포함된 클러스터의 허위 평가 정보의 확률을 이용할 수 있다. 이를 위해 Unsupervised Machine Learning의 여러 모델 중 하나가 활용될 수 있다. 이에 따르면 특정 평가 정보가 수신되는 경우, 해당 평가 정보가 속하는 클러스터의 허위 평가 정보의 확률값이 판정 보조 정보로서 허위 평가 정보 판정 모듈(110)에 제공될 수 있다. 이러한 경우, 허위 평가 정보 판정 모듈(110)에서는 해당 평가 정보가 속하는 클러스터의 허위 평가 정보의 확률값의 컷오프 값(cut-off value)을 설정하여 허위 평가 정보를 판정할 수 있다.
또는, 평가 정보 중 코멘트/리뷰 정보의 텍스트 마이닝을 통해 특정 단어의 빈도/유무를 파악하여 판정 보조 정보로 허위 평가 정보 판정 모듈(110)에 제공할 수 있다. 예를 들어, 식당 주인이, 자신이 운영하는 식당과 관련된 온라인 콘텐츠에 대해 작성한 코멘트 정보에는 "보증합니다", "보장합니다" 등의 일반 사용자들이 쓰지 않는 단어들이 나오는 경우가 많고, "정성을 다하겠습니다"와 같이 자신도 모르는 사이에 존댓말을 사용하는 경우가 많다. 이러한 코멘트/리뷰의 구체적인 표현 방식에 대한 정보가 허위 평가 정보 판정 모듈(11)에 판정 보조 정보로 제공될 수 있다.
(2) 평가 정보의 빈도 정보
평가 정보의 빈도 정보를 판정 보조 정보로 제공하는 것과 관련하여, 허위 평가 정보 판정 모둘(110)에 평가 정보의 빈도 정보가 판정 보조 정보로 제공되면 급격하게 평가 정보의 빈도가 상승되는 경우, 해당 온라인 콘텐츠에 대한 적어도 일부의 평가 정보를 허위 평가 정보로 판정할 수 있다. 이는 예를 들어, 평가 정보의 빈도에 대응되는 정규분포를 구하고, 각 온라인 콘텐츠에 대해 평균적으로 평가 정보가 얼마나 나오는지에 대해 정규분포의 어느 위치인지를 분석할 수 있다. 평가 정보의 빈도가 급격하게 변화하면 해당 정규분포에서의 위치가 달라지게 된다. 본 발명의 일실시예에 따르면 이러한 빈도 정보는 날짜별 평가 정보의 개수를 예로 들 수 있다. 본 발명의 다른 실시예에 따르면, 정규분포가 아닌 확률분포, t분포, 카이분포 등의 통계 분포를 이용할 수 있다.
(3) 사용자 간 네트워크 정보
사용자 간 네트워크 정보를 판정 보조 정보로 제공하는 것과 관련하여, 네트워크 정보는 사용자 간의 소셜 네트워크 정보를 의미할 수 있다. 예를 들어, 특정 온라인 콘텐츠에 평가 정보를 입력한 사용자 간에 위치정보가 매우 유사하다면 해당 정보가 판정 보조 정보로서 허위 평가 정보 판정 모듈(110)에 제공될 수 있다. 또는, 특정 온라인 콘텐츠에 평가 정보를 입력한 사용자들끼리 모두 소셜 네트워크의 친구 관계인 경우나 입력한 사용자들끼리의 소셜 네트워크의 상호 친구(mutual friend)가 많은 경우에는 해당 정보가 판정 보조 정보로서 허위 평가 정보 판정 모듈(110)에 제공될 수 있다.
헌데, 허위 평가 정보를 입력하는 허위 평가 사용자들의 수법은 날로 진화하고 있다. 허위 평가 정보에 관한 적발 및 페널티가 이어지게 되자, 허위 평가 사용자들은 단기간에 모든 허위 평가 정보의 입력하지 않고, 장기간에 걸쳐서 식당과 같은 특정 온라인 콘텐츠에 허위 평가 정보를 입력하고 있는 실정이다. 이러한 상황에서 가장 적합한 문제해결 방식 중 하나로 위의 소셜 네트워크 친구 정보(연결 정보)가 이용될 수 있다. 본 발명의 일실시예에 따르면 특정 온라인 콘텐츠에 평가 정보를 입력한 사용자끼리의 연결 개수 정보가, 허위 평가 사용자의 적발에 이용될 수 있다. 이에 따르면, 허위 평가 사용자의 적발에 현저한 정확도가 발생되게 된다.
식당에 대한 온라인 콘텐츠의 예를 들면, 특정 식당 정보에 실제 평가 정보를 입력한 A, B, C, D, E가 있고, 허위 평가 정보를 입력한 ㄱ, ㄴ, ㄷ, ㄹ, ㅁ이 있다고 가정한다. 이때, 정당 평가 사용자인 A, B, C, D, E 중 친구 관계로 연결되는 커넥션 수는 2개가 있고, 가능한 최대 커넥션 수는 10개, 전체 네트워크의 친구 수는 150명, 전체 네트워크의 distinct한 친구 수는 140명(겹치지 않는 친구의 수)이라고 가정한다. 또한, 허위 평가 사용자인 ㄱ, ㄴ, ㄷ, ㄹ, ㅁ 중 친구 관계로 연결되는 커넥션 수는 8개가 있고, 가능한 최대 커넥션 수는 10개, 전체 네트워크의 친구 수는 30명, 전체 네트워크의 distinct한 친구 수는 29명이라고 가정한다. 평가 정보를 입력한 사용자끼리의 관계가 가까울수록 허위 평가 정보를 입력한 하나의 그룹이 있다고 가정할 수 있게 된다.
위의 경우에서, ㄱ, ㄴ, ㄷ, ㄹ, ㅁ을 허위 평가 사용자로 적발하기 위해서, 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 가능한 최대 커넥션의 수의 비(ratio)가 판정 보조 정보로 이용될 수 있다. 또는, 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 전체 네트워크의 distinct한 친구 수의 비(ratio)가 판정 보조 정보로 이용될 수 있다. 또는, 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 전체 네트워크의 총 친구 수의 비(ratio)가 판정 보조 정보로 이용될 수 있다. 또는, 평가 정보를 입력한 사용자끼리의 전체 네트워크의 총 친구 수와 전체 네트워크의 distinct한 친구 수의 비(ratio)가 판정 보조 정보로 이용될 수 있다.
이를 위해서 본 발명의 일실시예에 따르면, 판정 보조 정보 생성 모듈(108)에서 특정 온라인 콘텐츠에 평가 정보를 업로드 한 사용자 집단에 대해 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 가능한 최대 커넥션의 수의 비(ratio), 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 전체 네트워크의 distinct한 친구 수의 비(ratio), 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 전체 네트워크의 총 친구 수의 비(ratio) 또는 평가 정보를 입력한 사용자끼리의 전체 네트워크의 총 친구 수와 전체 네트워크의 distinct한 친구 수의 비(ratio) 중 적어도 하나를 판정 보조 정보로 생성할 수 있다. 이러한 판정 보조 정보를 토대로 허위 평가 정보 여부를 판단하는 방법으로는, ratio의 분포 또는 HHI의 분포를 이용하는 방법이 이용될 수 있다.
본 발명의 일실시예에 따라, 특정 온라인 콘텐츠에 평가 정보를 업로드 한 사용자 집단에 대해 평가 정보를 입력한 사용자끼리의 친구 관계 커넥션 수와 가능한 최대 커넥션의 수의 비(ratio)를 판정 보조 정보로 이용하게 되는 경우, 허위 평가 정보를 입력하려는 여러 명의 사용자로 구성된 허위 평가 정보 입력 단체가 하루가 아닌 특정 기간에 걸쳐서 특정 온라인 콘텐츠에 허위 평가 정보를 입력하는 경우도 적발할 수 있게 되는 효과가 발생된다.
(4) 사용자의 행태 정보
사용자의 행태 정보를 판정 보조 정보로 제공하는 것과 관련하여, 사용자가 플랫폼 서비스에 유입된지 몇 초내에 평가 정보를 입력하는지, 다른 온라인 콘텐츠를 브라우징하다가 평가 정보를 입력하는지, 당일 몇 번째 세션에서 평가 정보를 입력하는지, 어떤 페이지에서 평가 정보 입력으로 유입되는지 등을 분석하여 판정 보조 정보로 이용할 수 있다. 이에 따르면 특정 평가 정보가 수신되는 경우, 해당 평가 정보를 입력한 사용자의 행태 정보가 판정 보조 정보로서 허위 평가 정보 판정 모듈(110)에 제공될 수 있다. 또는, 예를 들어, 사용자가 해당 식당의 리뷰를 모두 like하면서 평가 정보를 입력하는 경우, 사용자가 특정 식당은 포지티브 평가 정보를 입력하면서 동시에 근처의 같은 종류의 식당에 대해서는 네거티브 평가 정보를 입력한 경우, 사용자가 평가 정보를 활발히 입력하는 다른 사용자들의 댓글에 전화번호/이메일 등의 연락처를 남기며 보상을 약속하는 경우 등의 사용자 행태 정보가 판정 보조 정보로서 허위 평가 정보 판정 모듈(110)에 제공될 수 있다.
(5) 가입일부터 특정 평가 정보를 업로드할 때까지의 기간
특히, 특정 상점의 홀릭(holic)과 같은 헤비 사용자(heavy user)가 급증함에 따라, 특정 평가 정보를 입력한 사용자가 헤비 사용자인지 아니면 허위 평가 정보를 입력하는 허위 평가 사용자인지를 구분하고 분류하는 것은 기존의 방법으로는 여전히 역부족이었다. 왜냐하면, 헤비 사용자와 허위 평가 사용자의 평가 정보 입력 빈도 등의 서비스 내 사용 행태가 매우 유사하기 때문이다. 하지만, 본 발명의 일실시예에 따라 특정 사용자가 해당 플랫폼 서비스에 가입한 뒤 특정 평가 정보를 업로드 할 때까지의 기간에 대한 정보를 판정 보조 정보로 이용하는 경우, 헤비 사용자와 허위 평가 사용자의 구분이 용이하게 가능해지는 효과가 발생된다. 본 발명의 일실시예에 따르면, 특정 온라인 콘텐츠에 대한 평가 정보의 빈도 정보를 판정 보조 정보로 이용하는 경우 가입일과 해당 평가 정보의 입력일까지의 기간에 대한 정보도 함께 판정 보조 정보로 이용할 수 있는 것이다. 또는, 가입입부터의 리뷰 개수 정보도 가입일과 해당 평가 정보의 입력일까지의 기간에 대한 정보와 동일한 효과를 가져올 수 있다.
예를 들어, 가입 후 특정 평가 정보의 업로드까지의 기간이 짧을수록 허위 평가 사용자일 확률이 높다는 통계적 결과가 도출된다는 것을 가정하는 경우, 아래와 같이 본 발명의 일실시예에 따른 기술적 특징이 수행될 수 있다. 특정 온라인 콘텐츠에 관한 평가 정보의 빈도 정보에 의해 구성되는 분포에서 특정 기간에 유독 평가 정보의 빈도가 높았다면, 단순히 빈도 정보만을 이용하는 경우에는 해당 기간이 무조건 허위 평가 정보가 입력된 기간으로 판단되게 된다. 이러한 경우, 헤비 사용자들에 의한 평가 정보를 허위 평가 정보로 오인할 수 있는 문제가 발생된다. 또한 허위 평가 정보 적발 장치에 의해 적발된 평가 정보가 허위 평가 정보가 아님을 관리자가 직접 확인해야 하므로, 인적 자원의 소모가 발생되는 문제가 발생된다.
하지만, 본 발명의 일실시예에 따라 특정 온라인 콘텐츠에 관한 평가 정보의 빈도 정보와 함께 가입 후 해당 평가 정보의 업로드까지의 기간에 대한 정보가 함께 판정 보조 정보로 이용되는 경우, 헤비 사용자들에 의한 평가 정보를 허위 평가 정보로 오인하는 비율이 낮아질 수 있다. 즉, 이러한 판정 보조 정보에 따르면, 본 발명의 일실시예에 따른 허위 평가 정보 적발 장치에 의해 적발된 허위 평가 정보 중 헤비 사용자들에 의한 평가 정보의 비율이 저감될 수 있다.
이를 위해서 본 발명의 일실시예에 따르면, 판정 보조 정보 생성 모듈(108)에서 각각의 평가 정보에 대해 해당 사용자가 가입 후 해당 평가 정보의 업로드까지 얼마나 기간이 지났는지에 대한 정보를 판정 보조 정보로 생성할 수 있다.
본 발명의 다른 실시예에 따르면, 가입일부터 현재까지의 리뷰/코멘트 개수가 판정 보조 정보로서 이용될 수 있고, 위와 동일한 효과를 나타낼 수 있다.
[실시예]
이하 표 1, 2는 가입일부터 특정 평가 정보를 업로드할 때까지의 기간을 판정 보조 정보로 이용하는 경우, 발생되는 효과를 입증하기 위한 실시예이다. 출원인의 실제 데이터를 근거로 하였으며, 출원인의 실제 애플리케이션 서비스인 망고플레이트에서 바로 확인할 수 있다. 개인정보 보호를 위해 닉네임은 일부 삭제하였다.
| 식당 ID | 식당명 | 사용자 ID | 닉네임 | 가입일 | 리뷰 작성일 | 총 리뷰수 |
| 902 | 란*** | 556755 | n***** | 2016-05-16 4:38:43 AM | 2016-05-16 4:58:01 AM | 1 |
| 902 | 란*** | 556763 | 김***** | 2016-05-16 4:54:29 AM | 2016-05-16 5:03:00 AM | 1 |
| 902 | 란*** | 556786 | 박***** | 2016-05-16 4:41:07 AM | 2016-05-16 5:11:59 AM | 1 |
| 902 | 란*** | 556785 | 정***** | 2016-05-16 6:17:23 AM | 2016-05-16 7:09:40 AM | 1 |
| 902 | 란*** | 556802 | 오***** | 2016-05-16 7:03:27 AM | 2016-05-16 7:25:09 AM | 1 |
| 902 | 란*** | 557005 | J***** | 2016-05-16 2:17:43 PM | 2016-05-18 2:50:43 PM | 1 |
위 표 1은 식당 ID 902인 특정 식당에 7일 이내에 6개의 리뷰가 작성된 경우를 나타낸 것이다. 리뷰 작성일을 토대로 리뷰의 빈도를 검토하면 2016.05.16에 5개의 리뷰, 2016.05.18에 1개의 리뷰가 작성된 것을 확인할 수 있다. 식당 ID 902의 리뷰 빈도를 이하에서 서술할 HHI로 나타내면 다음과 같다. HHI902 = (1/6)^2 + (5/6)^2 = 26/36
| 식당 ID | 식당명 | 아이디 | 닉네임 | 가입일 | 리뷰 작성일 | 총 리뷰수 |
| 137445 | 경******** | 27907 | L***** | 2014-08-01 4:18:26 AM | 2016-01-25 4:31:46 AM | 279 |
| 137445 | 경******** | 52544 | A***** | 2015-01-05 9:50:19 AM | 2016-01-26 7:50:14 AM | 245 |
| 137445 | 경******** | 435605 | 한***** | 2015-11-14 11:16:59 AM | 2016-01-26 2:36:45 PM | 107 |
| 137445 | 경******** | 114662 | 모***** | 2015-04-27 2:37:10 AM | 2016-01-26 2:44:13 PM | 498 |
| 137445 | 경******** | 65460 | K***** | 2015-03-02 10:04:04 AM | 2016-01-26 3:48:08 PM | 222 |
| 137445 | 경******** | 68 | Z***** | 2012-11-21 9:25:29 PM | 2016-01-29 1:03:08 PM | 571 |
위 표 2는 식당 ID 137445인 특정 식당에 7일 이내에 6개의 리뷰가 작성된 경우를 나타낸 것이다. 리뷰 작성일을 토대로 리뷰의 빈도를 검토하면 2016.01.25에 1개의 리뷰, 2016.01.26에 4개의 리뷰, 2016.01.29에 1개의 리뷰가 작성된 것을 확인할 수 있다. 식당 ID 137445의 리뷰 빈도를 이하에서 서술할 HHI로 나타내면 다음과 같다. HHI137445 = (1/6)^2 + (4/6)^2 + (1/6)^2 = 18/36
위에서 HHI902와 HHI137445의 값이 상당히 높고, 상호 유사한 것을 확인할 수 있다. 따라서, 본 발명의 일실시예에 따라 리뷰의 빈도 정보를 판정 보조 정보로 생성하여 허위 평가 정보를 판정하게 되면 식당 902와 식당 137445는 모두 허위 평가 정보가 입력된 온라인 콘텐츠로 판정될 수 있고, 두 식당 모두 육안 분석의 대상으로 분류될 수 있다. 빈도 정보만 가지고도 관리자가 모든 식당의 정보를 보지 않아도 되므로, 인적 자원 절감이라는 상당한 효과를 발생시키게 된다.
허나, 실제 리뷰 내용을 검토해보면, 식당 902가 식당 137445 보다 더 허위 평가 정보가 입력된 온라인 콘텐츠에 가깝다는 것을 확인할 수 있다.
도 5는 식당 902의 온라인 콘텐츠에 입력된 표 1의 실제 리뷰내용을 도시한 것이다. 도 5에 도시된 바와 같이, 표 1의 실제 리뷰 내용은 "한번 먹으면 잊을수 없는 그맛", "^^"과 같은 인위적이고 작위적인 문구를 포함하고, "란나타이"라는 식당의 이름을 작위적으로 노출하며, "꿍팟퐁커리"와 같이 메뉴의 이름을 정확하게 인위적으로 노출하고, "맛집 찾으시는 분들 적극 추천해드립니다!"와 같이 다른 사람에게 적극적으로 추천하는 행태를 보이고 있다. 또한, 촬영된 사진의 수준이 전문가 수준인 것을 확인할 수 있다. 이러한 리뷰나 코멘트는 허위 평가 정보로 육안 판정될 수 있다.
도 6은 식당 137445의 온라인 콘텐츠에 입력된 표 2의 실제 리뷰내용 일부를 도시한 것이다. 도 6에 도시된 바와 같이, 표 2의 실제 리뷰 내용은 문장을 끝까지 완결하지 않는 특징이 있고, 해당 식당의 장단점이 모두 기재되어 있으며, 일반적으로 시니컬한 문제를 갖고 있고, 촬영된 사진의 수준이 일반인 수준인 것을 확인할 수 있다. 이러한 리뷰나 코멘트는 허위 평가 정보가 아닌 것으로 육안 판정될 수 있다.
결국, 본 발명의 일실시예에 따라 리뷰 빈도 정보를 판정 보조 정보로 이용하는 경우, 수많은 식당 온라인 콘텐츠 중에서 허위 평가 정보가 입력되어 있을 확률이 높은 온라인 콘텐츠 그룹(식당 902, 식당 137445 등을 포함하는 그룹)을 판정 할수 있게 된다. 하지만, 이처럼 허위 평가 정보가 입력되어 있을 확률이 높은 온라인 콘텐츠 그룹에는 실제로 허위 평가 정보가 입력된 경우(올바른 판정, 예를 들어 식당 902)가 있고, 그렇지 않은 경우(에러 판정, 예를 들어 식당 137445)가 있다.
본 발명의 일실시예에 따라 특정 온라인 콘텐츠에 관한 평가 정보의 빈도 정보와 함께 가입 후 해당 평가 정보의 업로드까지의 기간에 대한 정보가 함께 판정 보조 정보로 이용되는 경우, 헤비 사용자들에 의한 평가 정보를 허위 평가 정보로 오인하는 비율이 낮아질 수 있다.
식당 902의 경우, 리뷰 작성일을 토대로 리뷰의 빈도를 검토하면 2016.05.16에 5개의 리뷰가 모두 가입일로부터 24시간 이내에 작성되었고, 2016.05.18에 1개의 리뷰가 24시간 이후에 작성된 것을 위에서 확인할 수 있다. 식당 ID 902의 리뷰 빈도의 HHI 값은 위에서 26/36이었으나, 가입일로부터 24시간 이내에 작성된 리뷰를 허위 평가 정보로 간주하여 허위 평가 정보가 아닌 평가 정보를 무효화(nulling)하면 아래와 같은 HHI 값이 나온다. 이하에서는 허위 평가 정보가 아닌 평가 정보의 무효화가 이루어진 HHI 값을 HHI'로 명명한다.
HHI'902 = 0*(1/6)^2 + 1*(5/6)^2 = 25/36
식당 902의 경우 평가 정보의 빈도 정보 및 가입일로부터 평가일까지의 기간 정보를 이용하는 경우(HHI'), 여전히 높은 HHI 값이 나오게 되어 허위 평가 정보가 입력된 온라인 콘텐츠로 판정될 수 있다.
식당 137445의 경우, 리뷰 작성일을 토대로 리뷰의 빈도를 검토하면 2016.01.25에 1개의 리뷰, 2016.01.26에 4개의 리뷰, 2016.01.29에 1개의 리뷰 모두가 24시간 이후(특히 10일 이상)가 작성된 것을 확인할 수 있다. 식당 ID 137445의 리뷰 빈도의 HHI 값은 위에서 18/36이었으나, 가입일로부터 24시간 이내에 작성된 리뷰를 허위 평가 정보로 간주하여 허위 평가 정보가 아닌 평가 정보를 무효화(nulling)하면 아래와 같은 HHI' 값이 나온다.
HHI'137445 = 0*(1/6)^2 + 0*(4/6)^2 + 0*(1/6)^2 = 0/36
식당 137445의 경우, 평가 정보의 빈도 정보만을 이용한 HHI 값이 18/36으로 높았던 것에 비하여, 평가 정보의 빈도 정보 및 가입일로부터 평가일까지의 기간 정보를 이용하는 경우(HHI') 상당히 낮은 HHI 값이 나오게 되어 허위 평가 정보가 입력된 온라인 콘텐츠로 판정되지 않을 수 있다.
결국, 평가 정보의 빈도 정보만을 이용한 HHI 값보다, 평가 정보의 빈도 정보 및 가입일로부터 평가일까지의 기간 정보를 함께 이용한 HHI 값이 특정 온라인 콘텐츠에 대한 허위 평가 정보의 판정 효과가 훨씬 정확해지는 효과가 발생된다. 본 실시예에서는 본 발명의 개념에 대한 설명의 편의를 위해 HHI를 적용한 것이고, 본 발명의 내용을 한정하지 않는다.
(5) 평가 개수와 평가한 식당 개수의 비율 또는 차이
본 발명의 일실시예에 따르면, 판정 보조 정보는 특정 사용자가 남긴 평가 정보의 각각의 온라인 콘텐츠에 대한 빈도 분포 정보일 수 있다. 온라인 콘텐츠가 식당 정보인 경우를 예로 설명하면, 헤비 사용자는 다양한 식당에 많은 평가 정보를 입력하는 패턴을 보이는 반면, 허위 평가 사용자는 특정 식장에만 많은 평가 정보를 입력하는 패턴을 보인다. 따라서, 각각의 사용자별로 적어도 하나 이상의 온라인 콘텐츠에 대한 평가 정보의 입력 빈도의 분포 또는 비율을 확인하면, 해당 사용자가 헤비 사용자인지 아니면 허위 평가 사용자인지를 명백하게 분석할 수 있게 되는 효과가 발생된다. 따라서 본 발명의 다른 실시예에 따르면 판정 보조 정보는 특정 사용자에 대해 적어도 하나 이상의 온라인 콘텐츠에 대한 평가 정보의 입력 빈도의 분포 또는 비율일 수 있다.
[실시예]
이하 표 3은 총 코멘트(특정 리뷰에 입력되는 댓글을 코멘트라 정의한다.)의 입력 개수와 코멘트를 입력한 식당 개수(코멘트를 입력한 온라인 콘텐츠 개수)의 비율을 판정 보조 정보로 이용하는 경우, 발생되는 효과를 입증하기 위한 실제 실시예이다. 출원인의 실제 데이터를 근거로 하였으며, 출원인의 실제 애플리케이션 서비스인 망고플레이트에서 바로 확인할 수 있다. 개인정보 보호를 위해 닉네임은 일부 삭제하였다. 본 발명의 일실시예에 따른 총 코멘트 입력 개수와 코멘트를 입력한 식당 개수의 비율은 0에서 1 사이에 정의될 수 있다.
| 사용자 ID | 닉네임 | 총 코멘트 입력 개수 |
식당 개수 | 비율 (식당 개수/총 코멘트 입력 개수) |
| 449089 | 오****** | 15 | 1 | 0.067 |
| 520630 | 신****** | 14 | 1 | 0.071 |
| 523323 | 이****** | 7 | 1 | 0.143 |
| 199760 | J****** | 6 | 1 | 0.167 |
| 261309 | Y****** | 6 | 1 | 0.167 |
| 494654 | 길****** | 6 | 1 | 0.167 |
| 541606 | 김****** | 12 | 5 | 0.417 |
표 3에 도시된 바와 같이, 사용자 449089는 본 발명의 일실시예에 따른 플랫폼 서비스에 총 15개의 코멘트를 입력하였는데, 모두 1개의 식당에 입력한 것이었다. 그에 따라 비율(식당 개수/총 코멘트 입력 개수)는 0.067이 도출되었다. 그에 반해 사용자 541606는 본 발명의 일실시예에 따른 플랫폼 서비스에 총 12개의 코멘트를 6개의 식당에 입력하였다. 이 경우 비율은 0.417이 도출되었다.본 발명의 일실시예에 따르면, 각각의 특정 사용자별로 코멘트를 입력한 식당 개수/총 코멘트의 입력 개수의 비율이 낮으면 낮을수록 허위 평가 정보를 입력한 사용자 그룹에 가까운 것을 확인할 수 있었다. 이하의 표 4는 허위 평가 정보를 입력한 것으로 판정되는 사용자 449089의 리뷰 예를 기재한 것이다. 사용자 ID는 사용자의 식별 코드, review ID는 해당 코멘트가 달린 리뷰의 식별 코드를 의미한다.
| 사용자 ID | review ID | 식당명 | 코멘트를 입력한 식당 개수/총 코멘트의 입력 개수의 비율 | 코멘트 내용 |
| 449089 | 1645232 | 오****** | 0.067 | 안녕하세요. 오******입니다^^ 저희 매장을 찾아주시고 좋은 의견 남겨주셔서 감사드립니다. 더 맛있고 건강하게 준비하도록 항상 노력하겠습니다. 앞으로도 많은 애용과 관심 부탁드립니다^^ |
| 449089 | 1604497 | 오****** | 0.067 | 안녕하세요. 오******입니다^^ 매장 방문해 주시고 감사 리뷰까지 남겨주셔서 감사드립니다. 고객님의 의견에 힘입어 더나은 서비스 제공해 힘쓰겠습니다. 앞으로도 많은 애용 부탁드립니다. 감사합니다^^ |
| 449089 | 1592723 | 오****** | 0.067 | 안녕하세요. 오******입니다. 먼저, 고객님의 소중한 의견 감사드립니다. 의견 하나하나 놓치지 않고 귀담아 듣는 오키포키가 되도록 노력하겠습니다. 앞으로도 많은 애용 부탁드립니다. 감사합니다^^ |
| 199760 | 957686 | 그****** | 0.15 | 더욱더 노력해서 개선하겠습니다^^ 조언 감사합니다! |
| 253973 | 1143288 | 동****** | 0.25 | 한번 드시러 오세요 :) |
| 375720 | 2158748 | 겁****** | 0.25 | 서비스교육을 어서 준비하도록 하겠습니다 죄송합니다.. |
| 494654 | 1622487 | 코****** | 0.15 | 많이들 오세요 맛있고 이모님들 서비스 최?ㅋ |
| 520630 | 1885488 | 신****** | 0.05 | 선물 드릴께요 제게 문자한통 주세요^^ 010******** |
표 4에는 사용자 449089의 전체 코멘트 중 3개만 기재하였고, 나머지 코멘트 모두 같은 형식을 나타내고 있다. 표 4에 기재된 바와 같이, 사용자 449089는 해당 식당 관계자(대표적인 허위 평가 정보 입력 사용자)인 것이 명백하다. 결국, 사용자 449089가 해당 식당(온라인 콘텐츠)에 대해 평가한 평가 정보(예를 들어 평점, 별점)는 허위 평가 정보로 판정하고, 평점이나 별점의 합산에 패널티를 적용하는 것이 합리적이다. 본 발명의 일실시예에 따라, 코멘트를 입력한 식당 개수/총 코멘트의 입력 개수의 비율을 이용하는 경우, 위와 같이 허위 평가 정보를 입력하는 사용자를 쉽게 분류해낼 수 있다. 사용자 449089뿐만 아니라, 표 4의 다른 예시인 사용자 199760, 사용자 253973, 사용자 376720, 사용자 494654, 사용자 520630도 코멘트의 내용을 읽어보면 해당 식당 관계자인 것을 명백하게 육안 판정할 수 있다.도 7은 실제 사용자 데이터 중 316개의 랜덤 샘플에 대한 코멘트를 입력한 식당 개수/총 코멘트 입력 개수의 비율의 분포를 나타낸 것이다. 도 7에 도시된 바와 같이, 허위 평가 정보를 입력한 그룹과 허위 평가 정보가 아닌 일반 평가 정보를 입력한 그룹이 분포상에서 명확하게 구분되는 것을 확인할 수 있다. 따라서, 본 발명의 일실시예에 따르면, 각각의 특정 사용자별로 코멘트를 입력한 식당 개수/총 코멘트 입력 개수의 비율을 계산하고, 이를 분포도 상에 plot 한 뒤, 특정 cutoff value를 정의하거나, 클러스터링을 이용하여 허위 평가 정보를 입력한 사용자 그룹을 분류할 수 있다.
(6) HHI를 이용한 허위 평가 정보의 판정
허위 평가 정보의 판정과 관련하여, 본 발명의 일실시예에 따른 허위 정보 평가 정보 판정 모듈(110)에서의 허위 평가 정보의 판정은 HHI (HerfindahlHirschman Index)를 이용할 수 있다. 온라인 콘텐츠의 허위 평가 정보의 판정을 이용하는데, HHI 값을 사용하면 단순히 정규분포에 도시하는 것보다도 눈에 띄는 차이가 발생하게 된다. 따라서 이에 따르면 사람이 모든 온라인 콘텐츠의 평가 정보를 검토할 필요도 없이, 급격하게 평가 정도 빈도가 변화하는 온라인 콘텐츠를 찾을 수 있게 된다.
HHI는 특정 산업에서의 시장 집중 정도를 측정하는 방법의 하나로서, 전체 시장을 100으로 할 때 각 기업(조직)이 차지하는 시장 점유율에 제곱을 한 후 모두 더한 값이다. 이는 각 기업의 시장 점유율 자체를 가중치로 하는 시장 점유율의 가중 합이라고 할 수 있으며, 상위 기업의 시장 점유가 독점에 가까우면 가까울수록 HHI 값도 높아지고, 자유경쟁에 가까우면 가까울수록 HHI 값이 낮아진다. 일반적으로 1,800 이상을 고집중, 1,000 이하를 저집중, 그 중간을 중집중 산업이라고 한다.
HHI를 평가 정보의 빈도 정보를 이용한 허위 평가 정보의 판정에 이용하는 경우, 다음 수학식 1과 같이 표현될 수 있다.
위 수학식 1에서, HHI는 HHI 값, N은 해당 온라인 콘텐츠에 평가 정보가 입력된 날(Day)의 수, Si는 날짜 i의 평가 정보 개수 점유율을 의미할 수 있다. 이러한 HHI 값으로 정규분포를 그리고, 각각의 온라인 콘텐츠를 그 정규분포에서 플로팅한 뒤, 정규분포에서의 HHI 변화를 살피면 급격하게 평가 정보 빈도가 변동하는 온라인 콘텐츠를 알아낼 수 있다. 예를 들어, 평균 하루에 1번 평가 정보가 입력되던 온라인 콘텐츠의 평가 정보 빈도가 갑자기 늘어날 때, 기존의 어떠한 방식보다도 HHI 값을 이용하는 방식에서 눈에 띄는 차이가 발생하게 된다. 수학식 1에서는 설명의 편의을 위해 Si에 대해 제곱을 취하나, n 제곱이 가능하다.
예를 들어, 총 10회의 평가 정보가 특정 온라인 콘텐츠에 입력되는 경우를 가정할 때, 만일 하루에 1회씩 평가 정보가 입력되어 총 10회가 입력되는 경우, HHI는 0.1이 된다. 하지만, 6일 동안 하루에 1회씩 평가 정보가 6회 입력되고, 2일 동안 하루에 2회씩 평가 정보가 4회 입력되면 HHI는 0.14가 된다. 1일 동안 1회의 평가 정보가 입력, 1일 동안 6회의 평가 정보가 입력, 1일 동안 3회의 평가 정보가 입력되게 되면 HHI는 0.46으로 급격하게 상승하게 된다. 이렇게 되면, 사람이 모든 식당의 평가 정보를 검토할 필요 없이, 급격하게 평가 정보 빈도가 변동하는 식당을 찾아낼 수 있게 되는 효과가 발생된다.
다른 판정 보조 정보에 대해서도 HHI가 이용될 수 있다. 예를 들어, 사용자 A는 30개의 식당에 30개의 리뷰를 남겼고, 사용자 B는 15개의 식당에 30개의 리뷰를 남긴 상황을 가정할 때, 특정 사용자에 대해 적어도 하나 이상의 온라인 콘텐츠에 대한 평가 정보의 입력 빈도의 분포 또는 점유율이 HHI로 표현되는 경우 그 차이가 극명해지는 것을 확인할 수 있다.
(7) 평가된 온라인 콘텐츠 중 겹치는 콘텐츠의 비율
또한, 본 발명의 다른 실시예에 따르면, 문제되는 온라인 콘텐츠에 평가 정보를 업로드 한 사용자 집단에 대해, 평가 정보를 입력한 온라인 콘텐츠의 겹치는 수가 판정 보조 정보로 이용될 수 있다. 보다 구체적으로 온라인 콘텐츠가 식당 정보인 경우에, 특정 식당 정보에 평가 정보를 업로드한 특정 사용자 집단이 평가한 복수개의 식당 중에서 겹치는 식당의 비율(ratio)이 판정 보조 정보가 될 수 있다. 이러한 판정 보조 정보를 토대로 허위 평가 정보 여부를 판단하는 방법으로는, 이러한 판정 보조 정보를 토대로 군집 분석이 이루어지거나 ratio의 분포 또는 HHI의 분포를 이용하는 방법이 이용될 수 있다.
본 발명의 다른 실시예에 따라, 특정 식당 정보에 평가 정보를 업로드한 특정 사용자 집단이 평가한 복수개의 식당 중에서 겹치는 식당의 비율(ratio)이 판정 보조 정보로 이용되는 경우, 복수의 사용자가 상호 협력하여 허위 평가 정보를 입력하는 허위 평가 집단을 적발할 수 있는 효과가 발생된다. 이러한 허위 평가 집단은 상호 네트워크가 존재하지 않아 본 발명의 일실시예에 따른 네트워크 정보를 이용해서는 적발하기가 어렵다. 또한, 이러한 허위 평가 집단은 장기적으로 허위 평가 정보를 입력하기 때문에, 본 발명의 일실시예에 따른 빈도 정보를 이용해서는 적발하기가 어렵다. 따라서, 이러한 허위 평가 집단에 대해서는 본 발명의 다른 실시예에 따라 특정 식당 정보에 평가 정보를 업로드한 특정 사용자 집단이 평가한 복수개의 식당 중에서 겹치는 식당의 비율(ratio)을 이용하여 허위 평가 집단이라 적발하는 것이 가장 높은 정확도를 나타낼 수 있다.
본 발명의 다른 실시예에 따라, 특정 식당 정보에 평가 정보를 업로드한 특정 사용자 집단이 평가한 복수개의 식당 중에서 겹치는 식당의 비율(ratio)이 판정 보조 정보로 이용되는 경우, 다음과 같은 단계로, 허위 평가 정보를 입력하는 사용자 집단의 적발 방법이 수행될 수 있다. 모든 사용자 중에서 평가 정보를 입력한 3개 이상의 온라인 콘텐츠가 겹치는 사용자 집단을 찾는 것은 서버나 DB에 굉장한 부하가 될 수 있다. 하지만, 이하의 방법에 따르면 서버나 DB에 발생하는 부하를 상당히 줄일 수 있는 효과가 발생된다.
첫째, 사용자별로 평가 정보를 입력한 온라인 콘텐츠가 다른 사용자와 몇 개가 겹치는지 계산 (2인으로 그룹화)
둘째, 겹치는 온라인 콘텐츠가 특정 개수 이상인 사용자 그룹을 선별하거나 겹치는 온라인 콘텐츠의 개수/총 평가 정보 입력 개수가 사용자 2인 모두 특정 비율 이상을 만족하는 사용자 그룹을 선별 (샘플 크기 축소)
셋째, 2인으로 구성된 사용자 그룹의 평가 정보의 입력이 겹치는 온라인 콘텐츠의 적어도 일부와 평가한 온라인 콘텐츠가 겹치는 제3의 사용자를 n회 반복 탐색 (3인 이상의 그룹화)
본 발명의 다른 실시예에 따라 2인으로 허위 평가 정보를 입력하는 사용자 집단을 2인으로 그룹화 하고, 샘플 크기를 축소한 뒤, 2인 그룹과 평가 정보가 입력된 온라인 콘텐츠가 일부 겹치는 제3의 사용자를 탐색하여 3인 이상으로 그룹화 하는 순서로 사용자 집단을 탐색하는 경우, 서버나 DB에 발생하는 부하가 상당히 저감되어 허위 평가 정보 입력 사용자 집단의 적발이 용이해지는 효과가 발생된다.
[실시예]
이하, 표 5는 서로 리뷰를 업로드 한 식당이 겹치는 특정 사용자 집단의 상세 정보를 기재한 것이다. 표 5는 특정 사용자 집단에서 리뷰를 기재한 식당 정보의 겹치는 수를 판정 보조 정보로 이용하는 경우, 발생되는 효과를 입증하기 위한 실제 실시예이다. 출원인의 실제 데이터를 근거로 하였으며, 출원인의 실제 애플리케이션 서비스인 망고플레이트에서 바로 확인할 수 있다. 개인정보 보호를 위해 닉네임은 일부 삭제하였다.
| 사용자 ID | 닉네임 | 리뷰 날짜 | 사용자 총 리뷰수 | 대표 리뷰 내용 |
| 557404 | 박****** | 2016-05-17 12:28:02 PM 등 3회 | 3 | 보쌈이 기가막힌집푸짐한 쌈채소와 막삶은 수육에 동동주한잔그리고 마무리로 막국수 한그릇난 여기면 행복해 |
| 557432 | 승****** | 2016-05-17 1:25:12 PM 등 3회 | 3 | 더운날엔 여기보쌈에다가 얼음동동주와 오무술막국수면 끝. |
| 557735 | 박****** | 2016-05-18 9:00:50 AM 등 3회 | 3 | 진짜 먹어본 보쌈중에 역대급으로 맛있어요! 막국수도 짱짱짱 |
| 6557735 | 이****** | 2016-05-18 9:05:29 AM 등 3회 | 3 | 살아있는 홍게 25000원 무한리필! 25000원으러 배터지게먹고 왔어요. 부담스러울땐 점심특선으로 홍게라면도 짱! 화장실도 너무 깨끗해서 좋아요♡ |
| 558123 | *찬***** | 2016-05-19 7:04:46 AM 등 3회 | 3 | 시골풍경이참좋은맛집 |
| 588272 | *채***** | 2016-05-19 12:13:43 PM 등 3회 | 3 | 우리식구 단골집 오수물막국수 다이어트의 최대강적 하지만 난 보쌈과 막국수면 돼지가되어도행복해 ㅋㅋ |
| 588899 | *혜***** | 2016-05-21 1:56:34 AM 등 3회 | 3 | 춘천여행의 단골 막국수집 보쌈이 맛있는집막국수는 당연 짱이요 |
| 588912 | 사****** | 2016-05-21 2:02:18 AM 등 3회 |
3 | 풍성한 쌈채소에 따끈한 수육 아삭한 무채의환상콜라보 보쌈의 진리 |
표 5에 도시된 바와 같이, 8명의 사용자로 이루어진 사용자 집단이 3개의 식당에 대해서 돌아가면서 서로 다른 날짜에 각각의 식당에 대한 좋은 평가를 남겨주고 있는 것을 확인할 수 있다. 3개의 식당은 각각 식당 ID 141464의 오수물 막국수, 식당 ID 141642의 샘밭촌놈, 식당 ID 258706의 오수물막국수이다. 표 5에 기재된 사용자 집단은, 각각의 사용자가 모두 사용자 총 리뷰수와 겹치는 식당의 수가 같을 정도로 목적이 분명한 것을 확인할 수 있다. 그 목적은 바로 해당 식당 그룹에 좋은 평가를 입력하기 위해서이다.
위에서 검토한 평가 정보의 빈도 정보를 이용하게 되면, 해당 리뷰들이 하루에 모두 작성된 것이 아니라 다른 날짜에 분산되어 작성된 것이므로, 허위 평가 정보를 잡아내기 어려운 집단행동이다. 하지만, 본 발명의 다른 실시예에 따라 서로 리뷰를 업로드 한 식당이 겹치는 특정 사용자 집단의 정보를 분석하게 되면, 허위 평가 정보가 다양한 날짜에 입력된다고 하더라도 허위 평가 정보로 판정할 수 있게 되는 효과가 발생된다.
표 5에 기재된 리뷰 각각을 읽어보면 허위 평가 정보인지 여부를 판단하기 매우 어렵게 기재되어 있다. 본 발명의 다른 실시예에 따라 서로 리뷰를 업로드 한 식당이 겹치는 특정 사용자 집단의 상세 정보를 검토하게 되면, 실제 리뷰를 보고도 허위 평가 정보인지 판정하기 어려운 경우에도 허위 평가 정보를 잡아낼 수 있는 효과가 발생된다.
이상에서 설명한 바와 같이, 본 발명이 속하는 기술 분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함하는 것으로 해석되어야 한다.
100: 온라인 콘텐츠의 허위 평가 정보 적발 시스템
101: 클라이언트
102: 네트워크
103: 플랫폼 서비스
104: 온라인 콘텐츠 제공 모듈
105: 온라인 콘텐츠 데이터베이스
106: 평가 정보 수신 모듈
107: 허위 평가 정보 적발 장치
108: 판정 보조 정보 생성 모듈
109: 평가 정보 데이터베이스
110: 허위 평가 정보 판정 모듈
111: 페널티 처리 모듈
101: 클라이언트
102: 네트워크
103: 플랫폼 서비스
104: 온라인 콘텐츠 제공 모듈
105: 온라인 콘텐츠 데이터베이스
106: 평가 정보 수신 모듈
107: 허위 평가 정보 적발 장치
108: 판정 보조 정보 생성 모듈
109: 평가 정보 데이터베이스
110: 허위 평가 정보 판정 모듈
111: 페널티 처리 모듈
Claims (2)
- 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고, 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 위하여, 특정 사용자에 대응되는 판정 보조 정보를 생성하는 판정 보조 정보 생성 모듈; 및
상기 플랫폼 서비스에 구성되고, 상기 판정 보조 정보 생성 모듈과 연결되어 상기 판정 보조 정보를 수신받고, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 그룹을 선별하여 특정 평가 정보에 대한 허위 여부를 판정하는 허위 평가 정보 판정 모듈;
을 포함하고,
상기 판정 보조 정보는, 특정 온라인 콘텐츠에 상기 평가 정보를 입력한 상기 사용자 중 평가 정보를 기입력한 온라인 콘텐츠의 상호 겹치는 수가 3개 이상인 상기 사용자의 집단에 대한 정보인 사용자 집단 정보를 포함하며,
상기 허위 평가 정보 판정 모듈은, 상기 사용자 집단 정보를 기초로 상기 허위 평가 사용자 집단을 선별하고, 상기 허위 평가 사용자 집단의 상기 특정 온라인 콘텐츠에 대한 상기 평가 정보의 입력 여부를 기초로 상기 특정 온라인 콘텐츠에 대한 상기 허위 평가 정보의 입력 여부를 판정하는 것을 특징으로 하는,
허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치.
- 온라인 콘텐츠가 업로드 되고 사용자가 접근하여 상기 온라인 콘텐츠에 대한 평가 정보를 입력할 수 있도록 상기 사용자의 클라이언트와 연결되는 플랫폼 서비스에 구성되고 상기 온라인 콘텐츠의 허위 평가 정보의 적발을 수행하는 허위 평가 정보 적발 장치가, 상기 클라이언트에서 특정 온라인 콘텐츠에 관한 특정 사용자의 평가 정보를 수신하는 평가 정보 수신 단계;
상기 허위 평가 정보 적발 장치의 일구성인 판정 보조 정보 생성 모듈이, 상기 사용자에 대한 판정 보조 정보를 생성하는 판정 보조 정보 생성 단계; 및
상기 허위 평가 정보 적발 장치의 일구성인 허위 평가 정보 판정 모듈이, 상기 판정 보조 정보를 토대로 복수개의 온라인 콘텐츠에 허위 평가 정보를 입력한 사용자의 집단인 허위 평가 사용자 집단을 판정하여 특정 평가 정보에 대한 허위 여부를 판정하는 허위 평가 정보 판정 단계;
를 포함하고,
상기 판정 보조 정보는, 특정 온라인 콘텐츠에 상기 평가 정보를 입력한 상기 사용자 중 평가 정보를 기입력한 온라인 콘텐츠의 상호 겹치는 수가 3개 이상인 상기 사용자의 집단에 대한 정보인 사용자 집단 정보를 포함하며,
상기 허위 평가 정보 판정 단계에서 상기 허위 평가 정보 판정 모듈은, 상기 사용자 집단 정보를 기초로 상기 허위 평가 사용자 집단을 선별하고, 상기 허위 평가 사용자 집단의 상기 특정 온라인 콘텐츠에 대한 상기 평가 정보의 입력 여부를 기초로 상기 특정 온라인 콘텐츠에 대한 상기 허위 평가 정보의 입력 여부를 판정하는 것을 특징으로 하는,
허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180167364A KR102080345B1 (ko) | 2018-12-21 | 2018-12-21 | 허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180167364A KR102080345B1 (ko) | 2018-12-21 | 2018-12-21 | 허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160079968A Division KR20180001168A (ko) | 2016-06-27 | 2016-06-27 | 겹치는 평가 온라인 콘텐츠의 수를 이용하여 허위 평가 사용자 집단을 판정하는 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190000351A true KR20190000351A (ko) | 2019-01-02 |
| KR102080345B1 KR102080345B1 (ko) | 2020-02-21 |
Family
ID=65021684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180167364A KR102080345B1 (ko) | 2018-12-21 | 2018-12-21 | 허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102080345B1 (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220079106A (ko) | 2020-12-04 | 2022-06-13 | 주식회사 오투오 | 평가 정보 필터링 방법, 전자기기 및 컴퓨터에서 판독가능한 저장매체에 저장된 프로그램 |
| KR20220081624A (ko) | 2020-12-09 | 2022-06-16 | 주식회사 오투오 | 진정 리뷰 선별 방법, 전자기기 및 컴퓨터에서 판독가능한 저장매체에 저장된 프로그램 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120101188A (ko) | 2011-02-01 | 2012-09-13 | 케이비에스인터넷 주식회사 | 스마트폰을 이용한 맛집 정보 제공 시스템 및 방법 |
| KR20130113038A (ko) | 2012-04-05 | 2013-10-15 | 신광윤 | 지도 에이피아이를 이용한 위치기반 맛집 검색서비스 시스템 및 방법 |
| KR20140101697A (ko) * | 2013-02-11 | 2014-08-20 | 구글 인코포레이티드 | 애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출 |
-
2018
- 2018-12-21 KR KR1020180167364A patent/KR102080345B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120101188A (ko) | 2011-02-01 | 2012-09-13 | 케이비에스인터넷 주식회사 | 스마트폰을 이용한 맛집 정보 제공 시스템 및 방법 |
| KR20130113038A (ko) | 2012-04-05 | 2013-10-15 | 신광윤 | 지도 에이피아이를 이용한 위치기반 맛집 검색서비스 시스템 및 방법 |
| KR20140101697A (ko) * | 2013-02-11 | 2014-08-20 | 구글 인코포레이티드 | 애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102080345B1 (ko) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220253493A1 (en) | Distributed personal information aggregator | |
| CN105653636B (zh) | 一种信息处理方法和装置、一种用于信息处理的装置 | |
| EP3288275B1 (en) | Methods and systems of providing visual content editing functions | |
| CN105612514B (zh) | 通过将语境线索与图像关联进行图像分类的系统和方法 | |
| US8874727B2 (en) | Methods, apparatus, and articles of manufacture to rank users in an online social network | |
| US8631122B2 (en) | Determining demographics based on user interaction | |
| WO2017202006A1 (zh) | 数据处理方法和装置、计算机存储介质 | |
| JP2016177764A (ja) | 施設推定方法、デバイス及びプログラム | |
| Bombak et al. | Fat acceptance 101: Midwestern American women’s perspective on cultural body acceptance | |
| CN109377328B (zh) | 商家门店地理位置的推荐方法及装置 | |
| CN105190683A (zh) | 照片的提示共享 | |
| KR101450526B1 (ko) | 친구 추천 장치 및 방법 | |
| US20190261863A1 (en) | System and method for providing an indication of the well-being of an individual | |
| CN104838380A (zh) | 将视觉内容与地理位置数据关联 | |
| US20170371869A1 (en) | Crowd-matching translators | |
| KR20190000351A (ko) | 허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 | |
| Shanks et al. | Do incidental environmental anchors bias consumers’ price estimations? | |
| KR20190000350A (ko) | 헤비 사용자와 허위 평가 사용자를 구분하는 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 | |
| KR20140062651A (ko) | 유사도 산출 방법 및 그 장치 | |
| KR101785288B1 (ko) | 온라인 콘텐츠의 허위 평가 정보 적발 장치, 방법 및 프로그램 | |
| KR101976056B1 (ko) | 추천 시스템 및 추천 방법 | |
| US9691093B2 (en) | System and method of matching a consumer with a sales representative | |
| KR20180001168A (ko) | 겹치는 평가 온라인 콘텐츠의 수를 이용하여 허위 평가 사용자 집단을 판정하는 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 | |
| KR20180001167A (ko) | 사용자 간 친구관계 커넥션 정보를 이용하여 허위 평가를 판정하는 온라인 콘텐츠의 허위 평가 정보 적발 장치, 방법 및 프로그램 | |
| KR20180001163A (ko) | 사용 기간 정보를 이용하여 헤비 사용자와 허위 평가 사용자를 구분하는 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |