KR101491627B1 - 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템 - Google Patents

모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR101491627B1
KR101491627B1 KR20130090407A KR20130090407A KR101491627B1 KR 101491627 B1 KR101491627 B1 KR 101491627B1 KR 20130090407 A KR20130090407 A KR 20130090407A KR 20130090407 A KR20130090407 A KR 20130090407A KR 101491627 B1 KR101491627 B1 KR 101491627B1
Authority
KR
South Korea
Prior art keywords
keyword
evaluation index
review
rating
application
Prior art date
Application number
KR20130090407A
Other languages
English (en)
Inventor
이지형
김희라
이재동
조하나
김경민
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR20130090407A priority Critical patent/KR101491627B1/ko
Application granted granted Critical
Publication of KR101491627B1 publication Critical patent/KR101491627B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명의 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법은 애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하는 키워드 추출 단계, 상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하는 키워드 사전 생성 단계 및 상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 평점 산출 단계를 포함한다. 따라서, 정성적 데이터인 애플리케이션 리뷰를 분석하여 사용자에게 정량적 정보를 제공할 수 있도록 하여, 구매 예정자는 모바일 애플리케이션에 대한 구체적인 평가를 보다 편리하게 판단할 수 있고, 상품에 대한 구매자들의 주요 의견을 구매예정자에게 효과적으로 전달할 수 있다.

Description

모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템{QUANTIFICATION METHOD, APPARATUS AND SYSTEM OF REVIEWS FOR MOBILE APPLICATION EVALUATION}
본 발명은 리뷰 정량화 방법, 장치 및 시스템에 관한 것으로, 보다 상세하게는 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템에 관한 것이다.
현재 대부분의 모바일 애플리케이션은 기존 사용자들의 평가 점수로 평가되고 있으며, 대표적인 사이트로 Google Play에서 애플리케이션 구매예정자에게 다른 사용자의 평점 및 사용자 리뷰를 제공하고 있다. 하지만, 현재의 애플리케이션 평점은 단순히 사용자가 지정한 평점들의 전체 평균으로 계산되기 때문에, 평가의 지표나 사유에 대한 구체적인 정보를 알 수 없다. 이렇게 산출된 평점은 구매예정자에게 애플리케이션에 대한 정확한 평가이고, 다양항 정보가 포함되어 있을 것으로 간주될 수 있기에, 사용자가 지정한 평점들의 전체 평균으로 계산된 평점은 구매예정자를 포함한 타 사용자에게 부정확한 정보를 제공하게 되는 문제점이 있다.
상술한 문제점을 해결하기 위한 본 발명의 목적은 모바일 애프릴케이션 평가 지표의 세분화와 애플리케이션 카테고리 정보의 활용을 통해, 모바일 애플리케이션에 적합한 평점을 제공하는 것이다.
이를 통해, 구매예정자에게 정량화된 모바일 애플리케이션 리뷰 평점을 제공하고, 애플리케이션에 대한 다른 사용자의 평가를 보다 편리하게 파악할 수 있게 할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법은 애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하는 키워드 추출 단계, 상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하는 키워드 사전 생성 단계 및 상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 평점 산출 단계를 포함할 수 있다.
상기 키워드 추출 단계는 특정 카테고리와 관련된 애플리케이션 리뷰 데이터를 기반으로 단어의 출현 빈도를 산출하는 단계 및 특정 카테고리에 대해 출현 빈도가 높은 단어를 카테고리별 주요 키워드로 추출하는 단계를 포함할 수 있다.
상기 카테고리의 항목은 커뮤니케이션, 게임 및 생산성 항목을 포함할 수 있다.
상기 키워드 사전 생성 단계는 상기 추출된 카테고리별 주요 키워드를 기반으로 흥미도, 생산성 및 디자인의 평가지표로 세분화하는 단계를 포함할 수 있다.
상기 키워드 사전 생성 단계는 사용자 인터페이스를 통해, 상기 추출된 주요 키워드를 상기 적어도 하나의 평가지표로 세분화시키는 키워드 분류 입력을 수신하여 평가지표별 키워드 사전을 생성하는 단계를 포함할 수 있다.
상기 키워드 사전 생성 단계는 상기 사용자 인터페이스를 통해 최초 키워드 분류 입력을 수신하거나 또는 상기 추출된 주요 키워드를 기반으로 하여 최초 평가지표별 키워드 사전을 생성하는 단계 및 상기 최초 평가지표별 키워드 사전에 포함된 최초 키워드의 연관 단어를 연관 단어 사전을 이용하여 자동으로 추가 확장하여 상기 확장된 키워드 사전을 생성하는 단계를 포함할 수 있다.
상기 대상 애플리케이션 리뷰는 평점 산출 전에 불용어 제거 및 키워드 추출이 수행될 수 있다.
각 평가지표별 평점은 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 상기 대상 애플리케이션 리뷰의 평점 평균을 통해 산출될 수 있다.
상기 평점 산출 단계는 상기 각 평가지표별 평점의 합산을 통해 상기 애플리케이션 평점을 산출하는 단계를 포함할 수 있다.
상기 평점 산출 단계는 상기 애플리케이션 평점을 산출할 때, 상기 대상 애플리케이션의 카테고리를 고려하여 상기 평가지표별 평점에 가중치를 부여하여 합산하는 단계를 포함할 수 있다.
상기 평점 산출 단계는 게임 관련 애플리케이션에 대해서는 흥미도 평가 지표에 상대적으로 높은 가중치를, 커뮤니케이션 관련 애플리케이션에 대해서는 흥미도 및 디자인 평가 지표에 상대적으로 높은 가중치를, 그리고 생산성 관련 애플리케이션에 대해서는 생산성 평가 지표에 상대적으로 높은 가중치를 부여하는 단계를 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치는 애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하는 키워드 추출부, 상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하는 키워드 사전 생성부 및 상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 평점 산출부를 포함할 수 있다.
상기 키워드 추출부는 특정 카테고리와 관련된 애플리케이션 리뷰 데이터를 기반으로 단어의 출현 빈도를 산출하는 출현빈도 산출부 및 특정 카테고리에 대해 출현 빈도가 높은 단어를 카테고리별 주요 키워드로 추출하는 추출부를 포함할 수 있다.
상기 키워드 사전 생성부는 사용자 인터페이스를 통해, 상기 추출된 주요 키워드를 상기 적어도 하나의 평가지표로 세분화시키는 키워드 분류 입력을 수신하여 평가지표별 키워드 사전을 생성할 수 있다.
상기 키워드 사전 생성부는 상기 사용자 인터페이스를 통해 최초 키워드 분류 입력을 수신하거나 또는 상기 추출된 주요 키워드를 기반으로 하여 최초 평가지표별 키워드 사전을 생성하는 최초 사전 생성부 및 상기 최초 평가지표별 키워드 사전에 포함된 최초 키워드의 연관 단어를 연관 단어 사전을 이용하여 자동으로 추가 확장하여 상기 키워드 사전을 생성하는 사전 확장부를 포함할 수 있다.
각 평가지표별 평점은 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 상기 대상 애플리케이션 리뷰의 평점 평균을 통해 산출될 수 있다.
상기 평점 산출부는 상기 각 평가지표별 평점의 합산을 통해 상기 애플리케이션 평점을 산출할 수 있다.
상기 평점 산출부는 상기 애플리케이션 평점을 산출할 때, 상기 대상 애플리케이션의 카테고리를 고려하여 상기 평가지표별 평점에 가중치를 부여하여 합산할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 시스템은 애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하고, 상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하며, 상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 리뷰 정량화 장치, 상기 애플리케이션의 리뷰 데이터를 저장하는 데이터베이스 및 상기 애플리케이션의 리뷰 데이터를 상기 리뷰 정량화 장치 또는 상기 데이터베이스에 제공하는 사용자 디바이스를 포함할 수 있다.
상기 리뷰 정량화 장치는 각 평가지표별 평점을 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 상기 대상 애플리케이션 리뷰의 평점 평균을 통해 산출하되, 상기 대상 애플리케이션의 카테고리를 고려하여 상기 평가지표별 평점에 가중치를 부여하여 합산함으로써 상기 애플리케이션 평점을 산출할 수 있다.
본 발명의 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템에 따르면, 정성적 데이터인 애플리케이션 리뷰를 분석하여 사용자에게 정량적 정보를 제공할 수 있도록 하여, 구매 예정자는 모바일 애플리케이션에 대한 구체적인 평가를 보다 편리하게 판단할 수 있고, 상품에 대한 구매자들의 주요 의견을 구매예정자에게 효과적으로 전달할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 리뷰 정량화 방법이 적용되는 시스템을 개략적으로 나타낸 블록도,
도 2는 본 발명의 일 실시예에 따른 리뷰 정량화 방법을 개략적으로 나타낸 흐름도,
도 3은 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 주요 키워드 추출 단계를 구체적으로 나타낸 상세흐름도,
도 4는 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 평가지표별 키워드 사전 생성 단계를 구체적으로 나타낸 상세흐름도,
도 5는 본 발명의 일 실시예에 따른 리뷰 정량화 방법에 의해 생성되는 평가지표별 키워드 사전의 개념을 설명하기 위한 도면,
도 6은 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 평점 산출 단계를 구체적으로 나타낸 상세흐름도,
도 7은 본 발명의 일 실시예에 따른 리뷰 정량화 장치를 개략적으로 나타낸 블록도,
도 8은 본 발명의 일 실시예에 따른 리뷰 정량화 장치의 키워드 추출부를 구체적으로 나타낸 상세블록도,
도 9는 본 발명의 일 실시예에 따른 리뷰 정량화 장치의 키워드 사전 생성부를 구체적으로 나타낸 상세블록도,
도 10은 본 발명의 일 실시예에 따른 리뷰 정량화 장치의 평점 산출부를 구체적으로 나타낸 상세블록도,
도 11은 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 시뮬레이션 결과를 나타낸 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
리뷰 정량화 시스템
도 1은 본 발명의 일 실시예에 따른 리뷰 정량화 방법이 적용되는 시스템을 개략적으로 나타낸 블록도이다. 본 발명의 일 실시예에 따른 리뷰 정량화 시스템은 리뷰 정량화 장치(10), 사용자 디바이스(20) 및 데이터베이스(30)를 포함할 수 있다.
도 1을 참조하면, 리뷰 정량화 장치(10)는 모바일 애플리케이션 사용자 리뷰 데이터를 분석하여 애플리케이션 평점을 제공한다. 이를 위해 사용자 리뷰 분석을 통해 카테고리별 주요 평가 키워드를 추출하고, 이에 가중치를 설명하며, 이를 기반으로 애플리케이션 카테고리의 특성을 고려한 평점을 제공할 수 있다. 여기서, 애플리케이션은 인터넷 접속, 개인정보 관리, 휴대용 멀티플레이어 기능을 갖춘 스마트 폰, 휴대용 미디어 플레이어, 또는 태블릿 PC 등과 같은 모바일 디바이스를 통해 구동되는 소프트웨어를 의미한다. 리뷰 정량화 장치(10)는 애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하고, 추출된 주요 키워드를 기반으로 사용자 인터페이스를 통해 평가지표별로 세분화시키는 키워드 분류 입력을 수신하거나 또는 장치에서의 자동 전환을 통해 평가지표별 키워드 사전을 생성하고, 생성된 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출할 수 있다. 리뷰 정량화 장치(10)는 애플리케이션과 관련된 정보, 예컨대, 리뷰 텍스트, 사용자 평점, 애플리케이션의 카테고리 관련 정보 등을 데이터베이스(30)로부터 수신할 수 있다. 리뷰 정량화 장치(10)는 사용자 디바이스(20)로부터 애플리케이션 평점 산출 요청을 수신할 수 있고, 요청에 대응하여 산출된 애플리케이션 평점 정보를 사용자 디바이스(20)에 전송할 수 있다.
사용자 디바이스(20)는 모바일 애플리케이션을 실행하고, 실행된 애플리케이션에 대한 리뷰 정보를 리뷰 정량화 장치(10) 또는 데이터베이스(30)에 제공하는 디바이스이다. 사용자 디바이스(20)는 스마트 폰, 휴대용 미디어 플레이어 또는 태블릿 PC일 수 있으나, 반드시 이에 국한되는 것은 아니다.
데이터베이스(30)는 애플리케이션 관련 정보를 저장하고 있다. 데이터베이스(30)는 리뷰 텍스트 정보, 사용자 평점 정보, 카테고리 정보 등을 포함할 수 있다. 데이터베이스(30)는 리뷰 관련 정보를 사용자 디바이스(20)로부터 수신할 수 있다. 또한, 리뷰 정량화 장치(10)로부터의 요청에 의해 보유하고 있는 데이터를 검색하고 검색 결과를 반환할 수 있다.
본 발명의 다른 실시예에 따르면, 리뷰 정량화 장치(10)는 데이터베이스(30)를 포함할 수 있다. 즉, 리뷰 정량화 장치(10)는 애플리케이션과 관련된 서버로서 클라이언트 장치인 사용자 디바이스(20)로부터 직접 리뷰 데이터를 비롯한 애플리케이션 관련 정보를 수신하여 데이터베이스(30)에 저장하고, 데이터베이스(30)를 이용하여 자료 검색 및 데이터 분석을 직접 수행할 수 있다.
리뷰 정량화 방법
도 2는 본 발명의 일 실시예에 따른 리뷰 정량화 방법을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 리뷰 정량화 장치는 애플리케이션 리뷰 데이터를 수집한다(S210). 이때, 카테고리를 정하여 카테고리에 대응되는 애플리케이션의 리뷰 데이터를 수집할 수 있다. 사용자 디바이스를 통한 평점 산출 요청에 의해 평점 산출을 수행하는 경우, 평점 산출 요청에 카테고리를 특정하는 정보가 포함될 수 있다.
그리고는, 리뷰 정량화 장치는 수집된 리뷰 데이터로부터 주요 키워드를 추출한다(S220). 주요 키워드는 카테고리별로 추출될 수 있다. 즉, 카테고리별로 애플리케이션 리뷰 데이터를 분류하고, 분류된 범주 내에서 단어의 출현 빈도를 계산하여 주요 키워드를 추출할 수 있다.
다음, 리뷰 정량화 장치는 추출된 주요 키워드를 기반으로 평가지표별 키워드 사전을 생성할 수 있다(S230). 평가지표별 키워드 사전이란 애플리케이션을 평가할 수 있는 지표를 적어도 하나로 세분화하여 각 지표에 대응되는 키워드를 사전 형식으로 생성한 것으로, 이를 통해 실제 대상 애플리케이션의 리뷰 데이터를 분석하여 정확한 평점을 산출할 수 있다. 리뷰 정량화 장치는 최초에는 추출된 키워드를 기반으로 자동 생성 또는 사용자 키워드 분류 입력을 통해 세분화된 이니셜(initial) 키워드를 설정하고, 이후 연관 단어를 추가하여 평가지표별 키워드 사전을 생성할 수 있다.
마지막으로, 리뷰 정량화 장치는 상기 평가지표별 키워드 사전을 이용하여 대상 애플리케이션의 리뷰 및 평점 정보를 분석하여 애플리케이션의 최종 평점을 산출한다(S240). 이때, 최종 평점은 각 평가지표에 대한 애플리케이션 평점의 선형 결합을 통해 계산될 수 있다. 이때, 카테고리의 특성을 반영할 수 있는 가중치를 설정하여 최종 애플리케이션 평점을 계산할 수 있다. 각 평가지표별 평점은 평가지표별 키워드 사전에 등록된 키워드를 포함하는 대상 애플리케이션 리뷰의 평점 평균을 통해 산출될 수 있다.
도 3은 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 주요 키워드 추출 단계(S210)를 구체적으로 나타낸 상세흐름도이다.
도 3을 참조하면, 리뷰 정량화 장치는 수집된 애플리케이션 리뷰 데이터를 카테고리별로 분류한다(S310). 이미 카테고리별로 애플리케이션 리뷰 데이터를 검색한 경우에는 별도의 분류 작업 없이 리뷰 데이터를 카테고리별로 수집할 수 있다. 여기서, 카테고리는 축구, 농구, 카드 게임 등을 포함하는 게임 카테고리, 메신저와 같은 커뮤니케이션 카테고리 및 지하철 노선 애플리케이션, 버스 관련 애플리케이션 등 사용자에게 유용한 데이터를 제공하기 위한 생산성 카테고리로 나눌 수 있다. 다만, 반드시 이에 국한되는 것은 아니다.
이후, 리뷰 정량화 장치는 분류된 리뷰 데이터를 기반으로 단어의 출현 빈도를 산출한다(S320). 리뷰 정량화 장치는 출현 빈도 산출을 위해 TF-IDF(Term-Frequency-Inverse Document Frequency)를 사용할 수 있다. TF는 단어 빈도로 하나의 문서에서의 단어의 출현 횟수이다. 이는 "해당 단어가 하나의 문서에 출현한 횟수/하나의 문서 안에 출현한 모든 단어가 나타나는 횟수(출현 sum)"로 구할 수 있다. IDF는 한 단어가 전체 문서 중 몇개의 문서에서 출현했는지를 나타낸다. IDF는 "전체 문서의 개수/해당 단어가 출현한 문서의 갯수"로 구할 수 있다. 본 발명에서는 문서는 하나의 리뷰 텍스트에 대응될 수 있다. TF와 IDF를 가지고, TF-IDF는 TF와 IDF의 곱으로 산출될 수 있다.
그리고는, 리뷰 정량화 장치는 각 카테고리별로 출현 빈도 산출에 의해 산출된 키워드 중 상위 N개의 키워드를 카테고리별 주요 키워드로 추출한다(S330). 이때, 추출되는 키워드의 수(N)는 설정을 통해 사용자가 변경할 수 있다.
도 4는 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 평가지표별 키워드 사전 생성 단계(S230)를 구체적으로 나타낸 상세흐름도이다.
도 4를 참조하면, 리뷰 정량화 장치는 카테고리별 주요 키워드를 기반으로 최초 평가지표별 키워드 사전을 생성한다(S410). 본 발명의 일 실시예에 따르면, 리뷰 정량화 장치는 사용자 인터페이스를 통해 카테고리별 주요 키워드를 기반으로 하는 평가지표별로 최초 키워드 분류 입력을 수신한다. 리뷰 정량화 장치는 사용자 인터페이스를 포함할 수 있다. 리뷰 정량화 장치는 사용자 인터페이스를 통해 사용자로부터 전문적인 지식을 기반으로 이니셜 키워드 몇 가지를 설정할 수 있다. 예컨대, 평가지표 '디자인'에 '예쁘다'라는 키워드를 배치시킬 수 있다. 세분화되는 평가지표는 사용자가 설정할 수 있다. 평가지표의 개수도 사용자가 설정할 수 있다. 본 발명의 일 실시예에 따르면, 평가지표는 얼마나 재미있는가를 나타내는 흥미도 지표, 애플리케이션의 실행을 통한 결과 자료가 얼마나 유용한가를 나타내는 생산성 지표 및 애플리케이션의 구현 디자인이 세련되고 시각적으로 즐거움을 줄 수 있는지에 대한 지표인 디자인 지표를 포함할 수 있다. 다만, 반드시 이에 국한되는 것은 아니고, 더 많은 또는 더 적은 지표를 설정할 수도 있다. 카테고리별 주요 키워드와 평가지표별 키워드는 서로 정확히 대응되는 관계는 아니지만, 생산성 카테고리 주요 키워드는 생산성 평가지표 키워드에 대응될 수 있고, 게임 카테고리는 흥미도 평가지표와, 커뮤니케이션 카테고리는 디자인 및 흥미도 평가지표와 연관될 수 있다.
본 발명의 다른 실시예에 따르면, 리뷰 정량화 장치는 사용자 설정을 자동 키워드 사전 생성을 수행하는 모드로 하여, 사용자의 최초 키워드 분류 입력을 수신하지 않고 이니셜 키워드를 설정할 수 있다. 예컨대, 리뷰 정량화 장치는 생산성 카테고리 주요 키워드는 생산성 평가지표 키워드로, 게임 카테고리 키워드는 흥미도 평가지표 키워드로 또한 커뮤니케이션 카테고리 키워드는 디자인 및 흥미도 평가지표 키워드로 전환하여 자동으로 최초 평가지표별 키워드 사전을 생성할 수도 있다. 각각의 카테고리와 평가지표와의 연관 관계는 사용자 설정을 통해 조정할 수 있다. 이와 같이, 리뷰 정량화 장치는 평가지표별 이니셜 키워드를 통해 최초 키워드 사전을 생성할 수 있다.
사용자 인터페이스를 통해 최초 키워드 분류 입력을 수신한 후에는, 리뷰 정량화 장치는 연관 단어 사전(450)을 통해 최초 생성된 키워드 사전을 확장할 수 있다(S420). 즉, 이니셜 키워드를 등록한 후 확장해야 하는 번거로움을 해결하기 위해, 연관 단어 사전을 활용하여 이니셜 키워드의 연관 단어를 상기 최초 키워드 사전에 추가할 수 있다. 여기서, 연관 단어는 유의어, 동의어 등을 포함할 수 있다. 예컨대, 평가지표 '디자인'에 이니셜 키워드 '예쁘다'가 설정되어 있을 경우, 연관 단어 검색을 통해 '곱다, 귀엽다, 예쁘장하다' 등의 단어가 자동으로 추가되게 할 수 있다. 이를 통해 키워드 사전을 확장할 수 있다.
도 5는 본 발명의 일 실시예에 따른 리뷰 정량화 방법에 의해 생성되는 평가지표별 키워드 사전의 개념을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 평가지표별 키워드 사전은 흥미도, 생산성 및 디자인으로 평가지표를 세분화하여 각각에 대응하는 키워드를 포함하고 있다. 흥미도와 관련된 키워드로는 키워드 1, 키워드 2, 키워드 3 등이 있으며, 생산성은 키워드 4, 키워드 5, 키워드 6 등이 있고, 디자인과 관련된 키워드로는 키워드 7, 키워드 8 및 키워드 9 등이 있다. 여기서, 동일한 키워드가 서로 다른 평가지표별 키워드에 속해 있어도 문제되지 않을 수 있다.
도 6은 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 평점 산출 단계를 구체적으로 나타낸 상세흐름도이다.
도 6을 참조하면, 리뷰 정량화 장치는 평가지표별 키워드 사전을 생성한 후에, 대상 애플리케이션의 평점 산출을 위해 대상 애플리케이션의 리뷰, 평점 정보를 수집한다(S610). 이때, 대상 애플리케이션의 카테고리 관련 정보도 수집할 수 있다. 카테고리 관련 정보를 대상 애플리케이션이 어느 카테고리에 속하는지에 대한 정보를 포함할 수 있다.
그리고는, 대상 애플리케이션의 리뷰 텍스트에서 불용어를 제거하고, 키워드만을 추출한다(S620). 이는 데이터 전처리 과정을 통해 문장의 내용을 나타내는데 큰 역할을 하지 않는 불용어 및 URL 등 불필요한 요인을 제거하여 정제된 데이터를 획득하기 위함이다. 이때, 문장 내용을 나타내는지에 대한 판단은 불용어 처리를 위한 불용어 사전 등을 이용할 수 있다. 판단 후, 불용어를 제외시키고, 평가지표별 키워드에 속해있는 키워드만을 추출할 수 있다.
그 다음, 리뷰 정량화 장치는 평가지표별 키워드 사전에 등록된 키워드를 포함하는 대상 애플리케이션 리뷰의 평점을 통해 평가지표별 평점을 산출할 수 있다(S630). 본 발명의 일 실시예에 따르면, 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 대상 애플리케이션 리뷰의 평점의 평균을 산출하여 상기 평균 점수를 해당 평가지표의 평점으로 산출할 수 있다. 예컨대, "배경이 예쁜 거 같아요"라는 리뷰 텍스트에 사용자 평점이 8점인 리뷰 데이터가 존재하는 경우, 상기 리뷰 텍스트에 평가지표별 키워드 사전에 등록된 키워드에 대응되는 단어가 있는지 판단한다. 위 예에서는, 디자인 평가지표에 "예쁘다"라는 키워드가 등록되어 있으므로, 이 리뷰 데이터는 디자인 평가지표의 평점에 반영될 수 있고, 이때, 8점이라는 평점이 반영될 수 있다. 이렇게, 디자인 평가지표에 대해 복수 개의 리뷰와 관련된 평점을 수집하고 수집된 평점을 통해 평균 점수를 구하면, 디자인 평가지표의 평점을 산출할 수 있다. 이를 통해, 디자인, 생산성, 흥미도 등의 의미 있는 평가지표와 관련성이 떨어지는 리뷰와 관련된 평점은 리뷰를 남긴 사용자가 평가 지표나 사유에 대한 구체적 정보 없이 남긴 부정확한 리뷰 평점일 가능성이 높으므로, 배제시켜 리뷰 평점 산출의 정확도를 제고시킬 수 있다.
평가지표별 평점을 산출하고 나면, 대상 애플리케이션의 카테고리를 파악한다(S640). 이는 수집되는 애플리케이션 관련 정보 중 카테고리 관련 정보를 통해 파악할 수 있다.
그리고는, 파악된 카테고리에 대응되는 가중치 정보를 이용하여 평가지표별 평점에 가중치를 부여한다(S650). 예컨대, 대상 애플리케이션이 게임 애플리케이션이면, 상대적으로 흥미도 평점에 가중치를 높게 주어, 흥미도 평점에는 0.5의 가중치를, 디자인 평점에는 0.3을, 생산성 평점에는 0.2의 가중치를 부여할 수 있다. 본 발명의 다른 실시예에 있어서, 대상 애플리케이션이 생산성 애플리케이션이면, 상대적으로 생산성 평가지표 평점에 가중치를 높게 주고, 대상 애플리케이션이 커뮤니케이션 애플리케이션이면, 상대적으로 디자인 및 흥미도 평가지표 평점에 가중치를 높게 줄 수 있다. 또는, 커뮤니케이션 애플리케이션에 대해 디자인 평가지표평점에만 높은 가중치를 부여할 수 있다. 이러한 가중치 부여와 관련된 정보는 사용자 설정을 통해 변경할 수 있으며, 경우에 따라 특정 애플리케이션 카테고리에 적합한 가중치 정보를 데이터베이스로부터 획득할 수 있다.
마지막으로, 리뷰 정량화 장치는 가중치를 부여한 후, 각 평가지표별 평점을 합산하여 대상 애플리케이션의 최종 평점을 산출한다(S660). 예컨대, 흥미도 평점에는 α가중치가, 생산성 평점에는 β의 가중치가, 디자인 평점에는 γ의 가중치가 부여된 경우, 최종 평점은 다음과 같이 산출될 수 있다.
[수학식 1]
애플리케이션 최종 평점 = α×흥미도 평점 + β×생산성 평점 + γ×디자인 평점
위와 같이 산출된 최종 평점은 대상 애플리케이션 각각의 리뷰의 평가지표별 특성 및 카테고리 특성을 반영할 수 있는 가중치를 고려하여 평점을 산출한 것이므로, 각 애플리케이션 카테고리에 적합한 애플리케이션 평점을 제공할 수 있다.
리뷰 정량화 장치
도 7은 본 발명의 일 실시예에 따른 리뷰 정량화 장치를 개략적으로 나타낸 블록도이다. 도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 리뷰 정량화 장치는 키워드 추출부(710), 키워드 사전 생성부(720) 및 평점 산출부(730)를 포함할 수 있다.
도 7을 참조하면, 키워드 추출부(710)는 애플리케이션 리뷰 데이터를 수집한다. 이때, 카테고리를 정하여 카테고리에 대응되는 애플리케이션의 리뷰 데이터를 수집할 수 있다. 사용자 디바이스를 통한 평점 산출 요청에 의해 평점 산출을 수행하는 경우, 평점 산출 요청에 카테고리를 특정하는 정보가 포함될 수 있다. 키워드 추출부(710)는 수집된 리뷰 데이터로부터 주요 키워드를 추출한다. 주요 키워드는 카테고리별로 추출될 수 있다. 즉, 카테고리별로 애플리케이션 리뷰 데이터를 분류하고, 분류된 범주 내에서 단어의 출현 빈도를 계산하여 주요 키워드를 추출할 수 있다.
키워드 사전 생성부(720)는 추출된 주요 키워드를 기반으로 평가지표별 키워드 사전을 생성할 수 있다. 키워드 사전 생성부(720)는 최초에는 추출된 키워드를 기반으로 자동 생성 또는 사용자 키워드 분류 입력을 통해 세분화된 이니셜(initial) 키워드를 설정하고, 이후 연관 단어를 추가하여 평가지표별 키워드 사전을 확장할 수 있다.
평점 산출부(730)는 상기 평가지표별 키워드 사전을 이용하여 대상 애플리케이션의 리뷰 및 평점 정보를 분석하여 애플리케이션의 최종 평점을 산출한다. 이때, 최종 평점은 각 평가지표에 대한 애플리케이션 평점의 선형 결합을 통해 계산될 수 있다. 이때, 카테고리의 특성을 반영할 수 있는 가중치를 설정하여 최종 애플리케이션 평점을 계산할 수 있다. 각 평가지표별 평점은 평가지표별 키워드 사전에 등록된 키워드를 포함하는 대상 애플리케이션 리뷰의 평점 평균을 통해 산출될 수 있다.
도 8은 본 발명의 일 실시예에 따른 리뷰 정량화 장치의 키워드 추출부(710)를 구체적으로 나타낸 상세블록도이다. 도 8에 도시된 바와 같이, 본 발명의 키워드 추출부(710)는 카테고리 분류부(810), 빈도 산출부(820) 및 추출부(830)를 포함할 수 있다.
도 3을 참조하면, 카테고리 분류부(810)는 수집된 애플리케이션 리뷰 데이터를 카테고리별로 분류한다. 이미 카테고리별로 애플리케이션 리뷰 데이터를 검색한 경우에는 별도의 분류 작업 없이 리뷰 데이터를 카테고리별로 수집할 수 있다. 여기서, 카테고리는 게임 카테고리, 커뮤니케이션 카테고리 및 생산성 카테고리로 나눌 수 있다. 다만, 반드시 이에 국한되는 것은 아니다.
빈도 산출부(820)는 분류된 리뷰 데이터를 기반으로 단어의 출현 빈도를 산출한다. 빈도 산출부(820)는 출현 빈도 산출을 위해 TF-IDF(Term-Frequency-Inverse Document Frequency)를 사용할 수 있다. TF는 단어 빈도로 하나의 문서에서의 단어의 출현 횟수이다. 이는 "해당 단어가 하나의 문서에 출현한 횟수/하나의 문서 안에 출현한 모든 단어가 나타나는 횟수(출현 sum)"로 구할 수 있다. IDF는 한 단어가 전체 문서 중 몇개의 문서에서 출현했는지를 나타낸다. IDF는 "전체 문서의 개수/해당 단어가 출현한 문서의 갯수"로 구할 수 있다. 본 발명에서는 문서는 하나의 리뷰 텍스트에 대응될 수 있다. TF와 IDF를 가지고, TF-IDF는 TF와 IDF의 곱으로 산출될 수 있다.
추출부(830)는 각 카테고리별로 출현 빈도 산출에 의해 산출된 키워드 중 상위 N개의 키워드를 카테고리별 주요 키워드로 추출한다(S330). 이때, 추출되는 키워드의 수(N)는 설정을 통해 사용자가 변경할 수 있다.
도 9는 본 발명의 일 실시예에 따른 리뷰 정량화 장치의 키워드 사전 생성부를 구체적으로 나타낸 상세블록도이다. 도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 키워드 사전 생성부(720)는 사용자 인터페이스(910), 최초 사전 생성부(920) 및 사전 확장부(930)를 포함할 수 있다.
도 9를 참조하면, 사용자 인터페이스(910)는 평가지표별 사전 생성을 위한 사용자 입력을 수신한다. 사용자는 사용자 인터페이스(910)를 통해 사전 생성을 자동으로, 즉 사용자의 입력 없이 카테고리별 주요 키워드를 평가지표별 키워드로의 전환을 통해 수행하는 자동 모드로 할지 사용자의 수동 입력을 통해 사전 생성을 하는 수동 모드로 할지 결정할 수 있다. 또한, 사용자는 수동 모드로 설정하는 경우, 사용자 인터페이스(910)를 통해 카테고리별 주요 키워드를 기반으로 하여 사용자가 직접 평가지표별 최초 키워드를 세분화하여 설정하는 평가지표별 최초 키워드 분류 입력을 입력할 수 있다.
최초 사전 생성부(920)는 카테고리별 주요 키워드를 기반으로 최초 평가지표별 키워드 사전을 생성한다. 본 발명의 일 실시예에 따르면, 최초 사전 생성부(920)는 사용자 인터페이스(910)를 통해 카테고리별 주요 키워드를 기반으로 하는 평가지표별로 최초 키워드 분류 입력을 수신한다(수동 모드). 최초 사전 생성부(920)는 사용자 인터페이스(910)를 통해 사용자로부터 전문적인 지식을 기반으로 이니셜 키워드 몇 가지를 설정할 수 있다. 예컨대, 평가지표 '디자인'에 '예쁘다'라는 키워드를 배치시킬 수 있다. 세분화되는 평가지표는 사용자가 설정할 수 있다. 평가지표의 개수도 사용자가 설정할 수 있다. 본 발명의 일 실시예에 따르면, 평가지표는 흥미도 지표, 생산성 지표 및 디자인 지표를 포함할 수 있다. 다만, 반드시 이에 국한되는 것은 아니고, 더 많은 또는 더 적은 지표를 설정할 수도 있다.
본 발명의 다른 실시예에 따르면, 최초 사전 생성부(920)는 사용자 설정을 자동 키워드 사전 생성을 수행하는 모드(자동 모드)로 하여, 사용자의 최초 키워드 분류 입력을 수신하지 않고 이니셜 키워드를 설정할 수 있다. 예컨대, 최초 사전 생성부(920)는 생산성 카테고리 주요 키워드는 생산성 평가지표 키워드로, 게임 카테고리 키워드는 흥미도 평가지표 키워드로 또한 커뮤니케이션 카테고리 키워드는 디자인 및 흥미도 평가지표 키워드로 전환하여 자동으로 최초 평가지표별 키워드 사전을 생성할 수도 있다. 각각의 카테고리와 평가지표와의 연관 관계는 사용자 설정을 통해 조정할 수 있다. 이와 같이, 최초 사전 생성부(920)는 평가지표별 이니셜 키워드를 통해 최초 키워드 사전을 생성할 수 있다.
사전 확장부(930)는 연관 단어 사전을 통해 최초 생성된 키워드 사전을 확장할 수 있다. 즉, 이니셜 키워드를 등록한 후 확장해야 하는 번거로움을 해결하기 위해, 연관 단어 사전을 활용하여 이니셜 키워드의 연관 단어를 상기 최초 키워드 사전에 추가할 수 있다. 여기서, 연관 단어는 유의어, 동의어 등을 포함할 수 있다. 예컨대, 평가지표 '디자인'에 이니셜 키워드 '예쁘다'가 설정되어 있을 경우, 연관 단어 검색을 통해 '곱다, 귀엽다, 예쁘장하다' 등의 단어가 자동으로 추가되게 할 수 있다. 이를 통해 키워드 사전을 확장할 수 있다.
도 10은 본 발명의 일 실시예에 따른 리뷰 정량화 장치의 평점 산출부(730)를 구체적으로 나타낸 상세블록도이다. 본 발명의 일 실시예에 따른 평점 산출부(730)는 정보 수집부(1010), 단어 제외부(1020), 평가지표별 평점 산출부(1030), 가중치 부여부(1040) 및 애플리케이션 평점 산출부(1050)를 포함할 수 있다.
도 10을 참조하면, 정보 수집부(1010)는 평가지표별 키워드 사전을 생성한 후에, 대상 애플리케이션의 평점 산출을 위해 대상 애플리케이션의 리뷰, 평점 정보를 수집한다. 이때, 대상 애플리케이션의 카테고리 관련 정보도 수집할 수 있다. 카테고리 관련 정보를 대상 애플리케이션이 어느 카테고리에 속하는지에 대한 정보를 포함할 수 있다.
단어 제외부(1020)는 대상 애플리케이션의 리뷰 텍스트에서 불용어를 제거하고, 키워드만을 추출한다. 이는 데이터 전처리 과정을 통해 문장의 내용을 나타내는데 큰 역할을 하지 않는 불용어 및 URL 등 불필요한 요인을 제거하여 정제된 데이터를 획득하기 위함이다. 이때, 문장 내용을 나타내는지에 대한 판단은 불용어 처리를 위한 불용어 사전 등을 이용할 수 있다. 판단 후, 불용어를 제외시키고, 평가지표별 키워드에 속해있는 키워드만을 추출할 수 있다.
평가지표별 평점 산출부(1030)는 평가지표별 키워드 사전에 등록된 키워드를 포함하는 대상 애플리케이션 리뷰의 평점을 통해 평가지표별 평점을 산출할 수 있다. 본 발명의 일 실시예에 따르면, 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 대상 애플리케이션 리뷰의 평점의 평균을 산출하여 상기 평균 점수를 해당 평가지표의 평점으로 산출할 수 있다. 특정 평가지표에 대해 복수 개의 리뷰와 관련된 평점을 수집하고 수집된 평점을 통해 평균 점수를 구하면, 상기 특정 평가지표의 평점을 산출할 수 있다. 이를 통해, 디자인, 생산성, 흥미도 등의 의미 있는 평가지표와 관련성이 떨어지는 리뷰와 관련된 평점은 리뷰를 남긴 사용자가 평가 지표나 사유에 대한 구체적 정보 없이 남긴 부정확한 리뷰 평점일 가능성이 높으므로, 배제시켜 리뷰 평점 산출의 정확도를 제고시킬 수 있다.
가중치 부여부(1040)는 대상 애플리케이션의 카테고리를 파악하여 각 평가지표별 평점에 가중치를 부여한다. 먼저 카테고리의 파악은 수집되는 애플리케이션 관련 정보 중 카테고리 관련 정보를 통해 파악할 수 있다. 가중치 부여부(1040)는 파악된 카테고리에 대응되는 가중치 정보를 이용하여 평가지표별 평점에 가중치를 부여한다. 예컨대, 대상 애플리케이션이 게임 애플리케이션이면, 상대적으로 흥미도 평점에 가중치를 높게 주어, 흥미도 평점에는 0.5의 가중치를, 디자인 평점에는 0.3을, 생산성 평점에는 0.2의 가중치를 부여할 수 있다. 본 발명의 다른 실시예에 있어서, 대상 애플리케이션이 생산성 애플리케이션이면, 상대적으로 생산성 평가지표 평점에 가중치를 높게 주고, 대상 애플리케이션이 커뮤니케이션 애플리케이션이면, 상대적으로 디자인 및 흥미도 평가지표 평점에 가중치를 높게 줄 수 있다. 또는, 커뮤니케이션 애플리케이션에 대해 디자인 평가지표평점에만 높은 가중치를 부여할 수 있다. 이러한 가중치 부여와 관련된 정보는 사용자 설정을 통해 변경할 수 있으며, 경우에 따라 특정 애플리케이션 카테고리에 적합한 가중치 정보를 데이터베이스로부터 획득할 수 있다.
애플리케이션 평점 산출부(1050)는 가중치를 부여된 각 평가지표별 평점을 합산하여 대상 애플리케이션의 최종 평점을 산출한다. 예컨대, 흥미도 평점에는 α가중치가, 생산성 평점에는 β의 가중치가, 디자인 평점에는 γ의 가중치가 부여된 경우, 최종 평점은 "α×흥미도 평점 + β×생산성 평점 + γ×디자인 평점"으로 산출될 수 있다.
시뮬레이션 결과
(1) 실험 설계
실험은 Google Play에 등록되어 있는 카테고리 항목 3개(커뮤니케이션, 게임, 생산성)을 이용하여 진행되었으며, 2013년 3월 28일 기준 각 카테고리별 인기 순위 Top10에 등록되어있는 10개 애플리케이션을 사용하였다. 실험을 위해 애플리케이션 30개의 사용자 리뷰 11,295개가 수집되었다.
수집된 애플리케이션 리뷰를 분석하여 Google Play의 애플리케이션 평점 평균, 리뷰 분석을 통해 얻은 평점 그리고 본 발명의 리뷰 정량화 방법을 통해 가중치를 부여한 평점을 계산하였다. 얻어진 세 가지 애플리케이션 평점에 각각 nDCG(normalized Discounted Cumulative Gain) 기법을 적용하여 Google 인기 순위와의 유사도(relavnace)를 측정하였다. nDCG는 다음 수학식과 같이 표현된다.
[수학식 2]
Figure 112013069243620-pat00001
여기서, 수학식 2의 relevance를 구하기 위해 사용된 distance(i) 값은 인기 애플리케이션 순위와 비교 대상 순위의 차이 값을 의미한다. 여기서, i는 애플리케이션 인덱스를 나타내고, p는 전체 애플리케이션의 개수를 나타낸다. reli는 전체 p개의 애플리케이션 중 i번째 애플리케이션에 해당하는 relavance 값을 나타낸다. relevance 값은 최저 0.1 최대 1.0의 값을 가질 수 있으며, 1에 가까울수록 유사도가 높은 것을 의미한다. 수학식 2의 IDCG는 DCG의 normalize를 위해 사용된 값으로, 애플리케이션 10개를 대상으로 계산한 IDCG값은 5.254이다.
(2) 실험 결과
도 11은 본 발명의 일 실시예에 따른 리뷰 정량화 방법의 시뮬레이션 결과를 나타낸 그래프이다.
도 11에 도시된 바와 같이, 시뮬레이션 결과 그래프는 Google Play의 애플리케이션 인기 순위를 정답으로 하여 Google의 평점 순위, 리뷰 키워드 분석을 통해 얻은 순위 그리고 본 발명의 리뷰 정량화 방법을 통해 얻은 평점 순위 간의 유사도를 nDCG 기법을 통해 측정하고, 그 결과를 나타낸 것이다.
실험 결과, 모든 카테고리에서 본 발명의 리뷰 정량화 방법의 효용성을 검증 할 수 있다. 본 실험에서 가중치는 0.2에서 0.5 사이의 값으로 휴리스틱하게 지정되었고, 생산성 카테고리의 경우 흥미도 0.2, 생산성 0.5, 디자인 0.3의 평가지표 가중치를 적용하였다. 생산성 카테고리에서는 리뷰 분석을 통해 얻은 평점이 기존의 Google 평점보다 낮은 결과 값을 나타내었지만, 위와 같은 가중치를 설정함에 따라 정답과 비교했을 때 가장 높은 유사도 값을 얻을 수 있었다. 이 케이스를 통해 카테고리의 특성을 반영하기 위한 가중치 설정 역시 유의미한 결과를 나타낸다는 결론을 얻을 수 있었다.
이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법에 있어서,
    애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하는 키워드 추출 단계;
    상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하는 키워드 사전 생성 단계; 및
    상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 평점 산출 단계를 포함하되,
    대상 애플리케이션 리뷰는 평점 산출 전에 불용어 제거 및 키워드 추출이 수행되는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  2. 제 1 항에 있어서, 상기 키워드 추출 단계는
    특정 카테고리와 관련된 애플리케이션 리뷰 데이터를 기반으로 단어의 출현 빈도를 산출하는 단계; 및
    특정 카테고리에 대해 출현 빈도가 상대적으로 높은 소정 개수의 단어를 카테고리별 주요 키워드로 추출하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  3. 제 2 항에 있어서,
    상기 카테고리의 항목은 커뮤니케이션, 게임 및 생산성 항목을 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  4. 제 1 항에 있어서, 상기 키워드 사전 생성 단계는
    상기 추출된 카테고리별 주요 키워드를 기반으로 흥미도, 생산성 및 디자인의 평가지표로 세분화하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  5. 제 1 항에 있어서, 상기 키워드 사전 생성 단계는
    사용자 인터페이스를 통해, 상기 추출된 주요 키워드를 상기 적어도 하나의 평가지표로 세분화시키는 키워드 분류 입력을 수신하여 평가지표별 키워드 사전을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  6. 제 5 항에 있어서, 상기 키워드 사전 생성 단계는
    상기 사용자 인터페이스를 통해 최초 키워드 분류 입력을 수신하거나 또는 상기 추출된 주요 키워드를 기반으로 하여 최초 평가지표별 키워드 사전을 생성하는 단계; 및
    상기 최초 평가지표별 키워드 사전에 포함된 최초 키워드의 연관 단어를 연관 단어 사전을 이용하여 자동으로 추가 확장하여 상기 확장된 키워드 사전을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  7. 삭제
  8. 제 1 항에 있어서,
    각 평가지표별 평점은 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 상기 대상 애플리케이션 리뷰의 평점 평균을 통해 산출되는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  9. 제 8 항에 있어서, 상기 평점 산출 단계는
    상기 각 평가지표별 평점의 합산을 통해 상기 애플리케이션 평점을 산출하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  10. 제 9 항에 있어서, 상기 평점 산출 단계는
    상기 애플리케이션 평점을 산출할 때, 상기 대상 애플리케이션의 카테고리를 고려하여 상기 평가지표별 평점에 가중치를 부여하여 합산하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  11. 제 10 항에 있어서, 상기 평점 산출 단계는
    게임 관련 애플리케이션에 대해서는 흥미도, 디자인 및 생산성의 3개 평가지표 중에서 흥미도 평가 지표에 상대적으로 높은 가중치를, 커뮤니케이션 관련 애플리케이션에 대해서는 상기 3개의 평가지표 중 흥미도 및 디자인 평가지표에 상대적으로 높은 가중치를, 그리고 생산성 관련 애플리케이션에 대해서는 상기 3개의 평가 지표 중 생산성 평가 지표에 상대적으로 높은 가중치를 부여하는 단계를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 방법.
  12. 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치에 있어서,
    애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하는 키워드 추출부;
    상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하는 키워드 사전 생성부; 및
    상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 평점 산출부를 포함하되,
    대상 애플리케이션 리뷰는 평점 산출 전에 불용어 제거 및 키워드 추출이 수행되는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  13. 제 12 항에 있어서, 상기 키워드 추출부는
    특정 카테고리와 관련된 애플리케이션 리뷰 데이터를 기반으로 단어의 출현 빈도를 산출하는 출현빈도 산출부; 및
    특정 카테고리에 대해 출현 빈도가 상대적으로 높은 소정 개수의 단어를 카테고리별 주요 키워드로 추출하는 추출부를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  14. 제 12 항에 있어서, 상기 키워드 사전 생성부는
    사용자 인터페이스를 통해, 상기 추출된 주요 키워드를 상기 적어도 하나의 평가지표로 세분화시키는 키워드 분류 입력을 수신하여 평가지표별 키워드 사전을 생성하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  15. 제 14 항에 있어서, 상기 키워드 사전 생성부는
    상기 사용자 인터페이스를 통해 최초 키워드 분류 입력을 수신하거나 또는 상기 추출된 주요 키워드를 기반으로 하여 최초 평가지표별 키워드 사전을 생성하는 최초 사전 생성부; 및
    상기 최초 평가지표별 키워드 사전에 포함된 최초 키워드의 연관 단어를 연관 단어 사전을 이용하여 자동으로 추가 확장하여 상기 키워드 사전을 생성하는 사전 확장부를 포함하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  16. 제 12 항에 있어서,
    각 평가지표별 평점은 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 상기 대상 애플리케이션 리뷰의 평점 평균을 통해 산출되는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  17. 제 16 항에 있어서, 상기 평점 산출부는
    상기 각 평가지표별 평점의 합산을 통해 상기 애플리케이션 평점을 산출하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  18. 제 17 항에 있어서, 상기 평점 산출부는
    상기 애플리케이션 평점을 산출할 때, 상기 대상 애플리케이션의 카테고리를 고려하여 상기 평가지표별 평점에 가중치를 부여하여 합산하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 장치.
  19. 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 시스템에 있어서,
    애플리케이션의 리뷰 데이터를 수집하여 주요 키워드를 추출하고, 상기 추출된 주요 키워드를 적어도 하나의 평가지표로 세분화하여 평가지표별 키워드 사전을 생성하며, 상기 평가지표별 키워드 사전을 기반으로 대상 애플리케이션의 사용자 리뷰를 분석하여 애플리케이션 평점을 산출하는 리뷰 정량화 장치;
    상기 애플리케이션의 리뷰 데이터를 저장하는 데이터베이스; 및
    상기 애플리케이션의 리뷰 데이터를 상기 리뷰 정량화 장치 또는 상기 데이터베이스에 제공하는 사용자 디바이스를 포함하되,
    대상 애플리케이션 리뷰는 평점 산출 전에 불용어 제거 및 키워드 추출이 수행되는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 시스템.
  20. 제 19 항에 있어서, 상기 리뷰 정량화 장치는
    각 평가지표별 평점을 상기 평가지표별 키워드 사전에 등록된 키워드를 포함하는 상기 대상 애플리케이션 리뷰의 평점 평균을 통해 산출하되,
    상기 대상 애플리케이션의 카테고리를 고려하여 상기 평가지표별 평점에 가중치를 부여하여 합산함으로써 상기 애플리케이션 평점을 산출하는 것을 특징으로 하는 모바일 애플리케이션의 평점을 계산하기 위한 리뷰 정량화 시스템.
KR20130090407A 2013-07-30 2013-07-30 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템 KR101491627B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130090407A KR101491627B1 (ko) 2013-07-30 2013-07-30 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130090407A KR101491627B1 (ko) 2013-07-30 2013-07-30 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR101491627B1 true KR101491627B1 (ko) 2015-02-11

Family

ID=52591812

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130090407A KR101491627B1 (ko) 2013-07-30 2013-07-30 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR101491627B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101775424B1 (ko) * 2016-03-28 2017-09-06 주식회사 필드솔루션 수 처리 설비의 이상 유무 모니터링 시스템
KR20190056946A (ko) * 2017-11-17 2019-05-27 주식회사 바이널익스피리언스 이동 단말기의 사용을 제한하고, 상기 이동 단말기에 설치된 애플리케이션의 유해 점수를 계산하는 디지털 디톡스 프로그램과 디지털 디톡스 서비스 제공 방법
KR20190101718A (ko) * 2018-02-23 2019-09-02 국민대학교산학협력단 사용자 리뷰 기반 평점 재산정 장치 및 방법, 이를 기록한 기록매체
KR20190102905A (ko) * 2018-02-27 2019-09-04 울산과학기술원 콘텐츠 평점 산출 방법
CN110276065A (zh) * 2018-03-15 2019-09-24 北京京东尚科信息技术有限公司 一种处理物品评论的方法和装置
KR20200016464A (ko) * 2018-08-07 2020-02-17 인천대학교 산학협력단 사용자 가치 평가 장치 및 방법
CN113807717A (zh) * 2021-09-23 2021-12-17 深圳市易平方网络科技有限公司 一种应用程序功能评价方法、装置、终端设备及存储介质
CN116303979A (zh) * 2023-05-18 2023-06-23 北京及时语智能科技有限公司 一种智能客服对话模型构建方法及系统
CN117196394A (zh) * 2023-09-14 2023-12-08 上海鱼尔网络科技有限公司 评价指标处理方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098095A (ko) * 2009-02-27 2010-09-06 한국전자통신연구원 평점 계산 방법 및 그 시스템
JP2013033391A (ja) 2011-08-02 2013-02-14 Fuji Electric Co Ltd レビュー評価システムおよび方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100098095A (ko) * 2009-02-27 2010-09-06 한국전자통신연구원 평점 계산 방법 및 그 시스템
JP2013033391A (ja) 2011-08-02 2013-02-14 Fuji Electric Co Ltd レビュー評価システムおよび方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101775424B1 (ko) * 2016-03-28 2017-09-06 주식회사 필드솔루션 수 처리 설비의 이상 유무 모니터링 시스템
KR102029045B1 (ko) * 2017-11-17 2019-10-07 주식회사 바이널익스피리언스 이동 단말기의 사용을 제한하고, 상기 이동 단말기에 설치된 애플리케이션의 유해 점수를 계산하는 디지털 디톡스 프로그램과 디지털 디톡스 서비스 제공 방법
KR20190056946A (ko) * 2017-11-17 2019-05-27 주식회사 바이널익스피리언스 이동 단말기의 사용을 제한하고, 상기 이동 단말기에 설치된 애플리케이션의 유해 점수를 계산하는 디지털 디톡스 프로그램과 디지털 디톡스 서비스 제공 방법
KR20190101718A (ko) * 2018-02-23 2019-09-02 국민대학교산학협력단 사용자 리뷰 기반 평점 재산정 장치 및 방법, 이를 기록한 기록매체
KR102119083B1 (ko) * 2018-02-23 2020-06-04 국민대학교산학협력단 사용자 리뷰 기반 평점 재산정 장치 및 방법, 이를 기록한 기록매체
KR102053858B1 (ko) * 2018-02-27 2019-12-09 울산과학기술원 콘텐츠 평점 산출 방법
KR20190102905A (ko) * 2018-02-27 2019-09-04 울산과학기술원 콘텐츠 평점 산출 방법
CN110276065A (zh) * 2018-03-15 2019-09-24 北京京东尚科信息技术有限公司 一种处理物品评论的方法和装置
KR20200016464A (ko) * 2018-08-07 2020-02-17 인천대학교 산학협력단 사용자 가치 평가 장치 및 방법
KR102130035B1 (ko) * 2018-08-07 2020-07-06 인천대학교 산학협력단 사용자 가치 평가 장치 및 방법
CN113807717A (zh) * 2021-09-23 2021-12-17 深圳市易平方网络科技有限公司 一种应用程序功能评价方法、装置、终端设备及存储介质
CN116303979A (zh) * 2023-05-18 2023-06-23 北京及时语智能科技有限公司 一种智能客服对话模型构建方法及系统
CN117196394A (zh) * 2023-09-14 2023-12-08 上海鱼尔网络科技有限公司 评价指标处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
KR101491627B1 (ko) 모바일 애플리케이션 평가를 위한 리뷰 정량화 방법, 장치 및 시스템
CN103699625B (zh) 基于关键词进行检索的方法及装置
JP6007088B2 (ja) 大量のコメント文章を用いた質問回答プログラム、サーバ及び方法
CN108628833B (zh) 原创内容摘要确定方法及装置，原创内容推荐方法及装置
CN106445963B (zh) App平台的广告索引关键词自动生成方法和装置
CN106095949A (zh) 一种基于混合推荐的数字化图书馆资源个性化推荐方法与系统
CN103870973A (zh) 基于电子信息的关键词提取的信息推送、搜索方法及装置
CN110334356A (zh) 文章质量的确定方法、文章筛选方法、以及相应的装置
JP5494126B2 (ja) 文書推薦システム、文書推薦装置、文書推薦方法、及びプログラム
KR101735312B1 (ko) 소셜 미디어 분석을 기반으로 복합이슈를 탐지하기 위한 장치, 시스템 및 그 방법
CN103577452A (zh) 用于丰富网站内容的方法和装置、网站服务器
CN105468649B (zh) 一种待展示对象匹配的判断方法及其装置
CN103744887A (zh) 一种用于人物搜索的方法、装置和计算机设备
Kiran et al. User specific product recommendation and rating system by performing sentiment analysis on product reviews
CN114021577A (zh) 内容标签的生成方法、装置、电子设备及存储介质
CN108280081B (zh) 生成网页的方法和装置
CN111753526A (zh) 一种相似竞品数据分析方法及系统
JP5986687B2 (ja) データ分別システム、データ分別方法、データ分別のためのプログラム、及び、このプログラムの記録媒体
CN115827956A (zh) 一种数据信息检索方法、装置、电子设备及存储介质
TWI556128B (zh) Forensic system, forensic method and evidence collection program
CN111460327A (zh) 兴趣地搜索方法及装置、存储介质、计算机设备
CN107908649B (zh) 一种文本分类的控制方法
US20130268833A1 (en) Apparatus and method for visualizing hyperlinks using color attribute values
JP2010092357A (ja) 施設関連情報検索方法および施設関連情報検索システム
JP5138621B2 (ja) 情報処理装置及び不満解決商品発見方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 5