KR102180495B1 - 애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출 - Google Patents

애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출 Download PDF

Info

Publication number
KR102180495B1
KR102180495B1 KR1020140015381A KR20140015381A KR102180495B1 KR 102180495 B1 KR102180495 B1 KR 102180495B1 KR 1020140015381 A KR1020140015381 A KR 1020140015381A KR 20140015381 A KR20140015381 A KR 20140015381A KR 102180495 B1 KR102180495 B1 KR 102180495B1
Authority
KR
South Korea
Prior art keywords
statement
application
target application
statements
rating
Prior art date
Application number
KR1020140015381A
Other languages
English (en)
Other versions
KR20140101697A (ko
Inventor
니콜라우스 토드 모트
샤론 리
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20140101697A publication Critical patent/KR20140101697A/ko
Application granted granted Critical
Publication of KR102180495B1 publication Critical patent/KR102180495B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시 내용은 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 하나 이상의 시스템들, 방법들, 루틴들 및/또는 기술들을 기술한다. 본 개시 내용은 합법적인 진술들, 예를 들어, 애플리케이션의 실제 사용자들에 의한 진술들로부터 허위 진술들(예를 들어, 등급들, 코멘트들, 리뷰들 등)을 구별하는 각종 방법들을 기술한다. 이 각종 방법들은 진술이 허위임을 나타낼 수 있는 중간 신호들을 생성하는 데 사용될 수 있다. 하나 이상의 중간 신호들은 진술에 대한 검출 결론을 생성하기 위해 자동으로 조합 또는 종합될 수 있다. 허위 진술이 검출되면, 본 발명은 (예를 들어, 자동으로 또는 수동으로) 진행될 각종 방법들, 예를 들어, 허위 진술이 무시될 수 있거나, 또는 허위 진술과 연관된 사람 또는 계정이 페널티를 받을 수 있는 것을 기술한다. 본 명세서에 제공된 각종 기술들은 사용자 등급들 및/또는 코멘트들을 수용하는 각종 다른 서비스들을 대체로 망라하는 것으로 이해되어야만 한다.

Description

애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출{AUTOMATIC DETECTION OF FRAUDULENT RATINGS/COMMENTS RELATED TO AN APPLICATION STORE}
본 개시 내용은 사용자-제시 등급들 및/또는 코멘트들에 관한 것으로, 특히, 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 하나 이상의 시스템들, 방법들, 루틴들 및/또는 기술들에 관한 것이다.
사용자들은 온라인 애플리케이션 시장(달리 "애플리케이션 스토어"라고 공지됨)과 연관된 인터페이스를 통해 소프트웨어 애플리케이션들을 발견 및 다운로드할 수 있다. 소프트웨어 애플리케이션들은 컴퓨팅 장치들(예를 들어, 모바일 장치들, PC들 등)에 의해 실행되는 운영 체제와 호환될 수 있다. 사용자들은 (예를 들어, 애플리케이션 스토어를 통해) 가용한 애플리케이션들의 카탈로그를 브라우징 및 탐색할 수 있다. 애플리케이션 스토어는 카탈로그의 각각의 애플리케이션과 관련된 정보, 예를 들어, 사용자 등급, 리뷰들 및 코멘트들을 제공할 수 있다. 애플리케이션을 다운로드 및 설치할지를 고려중인 사용자들은 애플리케이션이 우량 애플리케이션인지를 결정하기 위해 이 정보를 볼 수 있다. 애플리케이션 스토어는 사용자들(예를 들어, 애플리케이션을 이전에 사용한 사용자들)이 애플리케이션과 관련된 정보, 예를 들어, 사용자 등급들, 리뷰들 및 코멘트들을 제시할 수 있게 할 수 있다.
종래의 전형적인 방식들의 다른 한계들 및 단점들은, 이러한 시스템들과 도면들을 참조해서 본 출원의 나머지에 기재된 본 발명의 일부 양상들과의 비교를 통해, 당업자에게 명백해질 것이다.
본 개시 내용은 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 하나 이상의 시스템들, 방법들, 루틴들 및/또는 기술들을 기술한다. 본 개시 내용은 합법적인 진술들, 예를 들어, 애플리케이션의 실제 사용자들에 의한 진술들로부터 허위 진술들(예를 들어, 등급들, 코멘트들, 리뷰들 등)을 구별하는 각종 방법들을 기술한다. 이 각종 방법들은 진술이 허위임을 나타낼 수 있는 중간 신호들을 생성하는 데 사용될 수 있다. 하나 이상의 중간 신호들은 진술에 대한 검출 결론을 생성하기 위해 자동으로 조합 또는 종합될 수 있다. 허위 진술이 검출되면, 본 개시 내용은 (예를 들어, 자동으로 또는 수동으로) 진행될 각종 방법들, 예를 들어, 허위 진술이 무시될 수 있거나, 또는 허위 진술과 연관된 사람 또는 계정이 페널티를 받을 수 있는 것을 기술한다. 본 명세서에 제공된 각종 기술들은 사용자 등급들 및/또는 코멘트들을 수용하는 각종 다른 서비스들을 대체로 망라하는 것으로 이해되어야만 한다.
본 개시 내용의 이들 및 여타 장점들, 양상들 및 신규 특징들뿐만 아니라 예시된 실시예의 세부 사항들은 이하의 설명 및 도면들로부터 더 완전히 이해될 것이다. 상술된 일반적인 기술들은 예들이고 오직 설명하기 위한 것이며 청구된 개시 내용을 제한하는 것이 아님을 알 것이다.
이하의 도면들을 예로 사용해서, 몇몇 실시예들이 설명된 이하의 개시 내용에 몇몇 특징들 및 장점들이 기술된다.
도 1은 본 개시 내용의 하나 이상의 실시예들이 유용할 수 있는, 네트워크 셋업의 예시적인 컴포넌트들, 커넥션들 및 상호 작용들을 도시한 블록도를 도시한다.
도 2는 본 개시 내용의 하나 이상의 실시예들에 따른, 예시적인 애플리케이션 서비스의 예시적인 컴포넌트들, 모듈들, 루틴들, 커넥션들 및 상호 작용들을 도시한 블록도를 도시한다.
도 3은 본 개시 내용의 하나 이상의 실시예들에 따른, 예시적인 허위 진술 검출기의 예시적인 컴포넌트들, 모듈들, 루틴들, 커넥션들 및 상호 작용들을 도시한 블록도를 도시한다.
도 4는 본 개시 내용의 하나 이상의 실시예들에 따른, 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 방법의 예시적인 단계들을 도시한 흐름도를 도시한다.
도 5는 본 명세서에 기술된 바와 같이 하나 이상의 클라이언트 장치들 내에 포함되고/포함되거나 애플리케이션 서비스 내에 포함될 수 있는 예시적인 데이터 프로세싱 시스템의 블록도를 도시한다.
각종 애플리케이션 스토어들은 사용자들이 소프트웨어 애플리케이션들(예를 들어, 생산성 앱들, 게임들 등) 및/또는 다른 콘텐츠(예를 들어, 음악, 책, 영화 등)와 관련된 정보를 제시할 수 있게 할 수 있다. 사용자들에 의해 제시된 정보(즉, 진술들)는, 예를 들어, 사용자 등급들, 리뷰들, 코멘트들, 사용자 플래그들 또는 연관된 애플리케이션의 리뷰 또는 호감도를 표현하는 다른 정보일 수 있다. 제시된 정보는 좋은 애플리케이션들을 등급을 매기거나, 평가하거나, 또는 제안하고/하거나 나쁜 또는 바람직하지 않은 애플리케이션들을 강등, 무시 또는 제거하기 위해 애플리케이션 스토어에 의해(또는 탐색 엔진들 또는 다른 서비스들에 의해) 사용될 수 있다. 예를 들어, 사용자가 키워드로 애플리케이션 스토어를 탐색하거나 또는 카테고리에 의해 애플리케이션들을 브라우징하면, 더 높게 평가되는 애플리케이션들은 더 높게 등급이 매겨질 수 있다. 이상적으로, 애플리케이션에 대한 정보를 제시한 사용자들은 애플리케이션 또는 콘텐츠를 실제로 사용한, 또는 애플리케이션 또는 콘텐츠와 관련된 실제 이벤트를 어떤 식으로든 경험한 사용자들일 것이다. 이상적으로, 이 사용자들은 애플리케이션/콘텐츠에 대한 경험에 대해 정직할 것이며, 애플리케이션 스토어와 연관된 등급 평가 시스템을 게임하기 위해 단지 정보를 제시하지는 않을 것이다. 다시 말해서, 이상적으로, 이 사용자들은 "합법적인" 사용자들일 것이다. 불행히도, 애플리케이션 또는 다른 콘텐츠에 대해 제시된 모든 정보가 합법적이거나 신용할 만한 것은 아니다. 일부 실례들에서, 부도덕한 개발자들이 (예를 들어, 브라우징 또는 탐색 평가 프로세스 중에) 자신의 애플리케이션들이 더 좋게 보이게 하기 위해 또는 경쟁 애플리케이션들이 더 나쁘게 보이게 하기 위해 거짓 리뷰들 또는 코멘트들을 제시할 수 있다.
본 개시 내용은 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 하나 이상의 시스템들, 방법들, 루틴들 및/또는 기술들을 기술한다. 본 개시 내용은 합법적인 진술들, 예를 들어, 애플리케이션의 실제 사용자들에 의한 진술들로부터 허위 진술들(예를 들어, 등급들, 코멘트들, 리뷰들 등)을 구별하는 각종 방법들을 기술한다. 이 각종 방법들은 진술이 허위임을 나타낼 수 있는 중간 신호들을 생성하는 데 사용될 수 있다. 하나 이상의 중간 신호들은 진술에 대한 검출 결론을 생성하기 위해 자동으로 조합 또는 종합될 수 있다. 허위 진술이 검출되면, 본 개시 내용은 (예를 들어, 자동으로 또는 수동으로) 진행될 각종 방법들, 예를 들어, 허위 진술이 무시될 수 있거나, 또는 허위 진술과 연관된 사람 또는 계정이 페널티를 받을 수 있거나, 또는 허위 긍정 진술의 후원자(예를 들어, 애플리케이션 또는 개발자)가 페널티를 받을 수 있는 것을 기술한다. 본 명세서에서 각종 기술들이 애플리케이션 스토어를 통해 제시된 정보와 관련될 수 있더라도, 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 시스템들, 방법들, 루틴들 및/또는 기술들이, 사용자들이 온라인으로 뭔가를 평가하거나 리뷰하는 임의의 서비스(예를 들어, 온라인 상품 쇼핑, 제공된 서비스들의 온라인 리뷰, 시설 또는 로케이션들의 온라인 리뷰 등)에 사용될 수 있음을 알아야만 한다. 따라서, 후술되는 기술들은 사용자 등급들 및/또는 코멘트들을 수용하는 각종 다른 서비스들을 대체로 망라하는 것으로 이해되어야만 한다. 허위 등급들 및/또는 코멘트들의 검출은 애플리케이션들 및/또는 콘텐츠의 더 정확한 등급 등의 이점들을 제공할 수 있다. 또한, 허위 등급들/코멘트들은 다른 양심적인 온라인 행태와 관련될 수 있다. 예를 들어, 악성 코드 개발자는 허위로 등급을 올림으로써 악성 코드 애플리케이션의 배포를 증가시키고자 시도할 수 있다. 따라서, 허위 등급들 및/또는 코멘트들의 검출은 바람직하지 않은 콘텐츠로부터 사용자들을 보호할 수 있다.
도 1은 본 개시 내용의 하나 이상의 실시예들이 유용할 수 있는, 네트워크 셋업(100)의 예시적인 컴포넌트들, 커넥션들 및 상호 작용들을 도시한 블록도를 도시하고 있다. 네트워크 셋업(100)은 도 1에 도시된 것보다 더 많거나 또는 더 적은 컴포넌트들, 커넥션들 및 상호 작용들을 포함할 수 있음을 알아야만 한다. 도 1은 컴포넌트들, 커넥션들 및 상호 작용들의 더 큰 네트워크일 수 있는 것의 일부에 초점을 맞추고 있다. 네트워크 셋업(100)은 하나 이상의 클라이언트 장치들, 예를 들어, 하나 이상의 모바일 장치들(예를 들어, 모바일 장치(102)) 및/또는 하나 이상의 컴퓨터들(예를 들어, 퍼스널 컴퓨터(104))을 포함할 수 있다. 네트워크 셋업(100)은, 더 상세히 후술된 바와 같이, 다른 타입들의 클라이언트 장치들을 포함할 수 있다. 네트워크 셋업(100)은 애플리케이션 서비스(106)를 포함할 수 있으며, 애플리케이션 서비스는 각종 컴퓨터들, 서버들, 데이터베이스들, 라우터들, 스위치들, 커넥션들 및 다른 회로, 장치들 등을 포함할 수 있다. 네트워크 셋업(100)은 네트워크, 예를 들어, 네트워크(108)를 포함할 수 있다. 각종 클라이언트 장치들(예를 들어, 클라이언트 장치들(102, 104))은 네트워크(108)를 통해 애플리케이션 서비스(106)와 통신할 수 있다. 네트워크(108)는 데이터 프로세싱 시스템들, 컴퓨터들, 서버들, 모바일 장치들 및 아마도 다른 장치들 등의 각종 장치들 간의 통신 링크들을 제공하는 데 사용되는 매체일 수 있다. 네트워크(108)는 무선 또는 유선 통신 링크들 등의 커넥션들을 포함할 수 있다. 일부 예들에서, 네트워크(108)는 서로 통신하기 위해 TCP/IP(Transmission Control Protocol Internet Protocol) 프로토콜 스위트(suite of protocols)를 사용하는 네트워크들 및 게이트웨이들의 월드와이드 컬렉션을 나타낼 수 있다. 일부 예들에서, 네트워크(108)는 인트라넷, LAN(local area network) 또는 WAN(wide area network)을 포함하거나 또는 그 일부일 수 있다. 일부 예들에서, 네트워크(108)는 인터넷의 일부일 수 있다.
네트워크 셋업(100)은 하나 이상의 클라이언트 장치들, 예를 들어, 하나 이상의 모바일 장치들(예를 들어, 모바일 장치(102)) 및/또는 하나 이상의 컴퓨터들(예를 들어, 데스크탑 또는 랩탑 등의 퍼스널 컴퓨터(104))을 포함할 수 있다. 도 1의 모바일 장치(102)는 스마트폰으로서 도시될 수 있지만, 본 개시 내용의 시스템들, 방법들, 루틴들 및/또는 기술들은 일반적으로 다른 모바일 장치들(예를 들어, 셀 폰, 태블릿, 스마트 시계, PDA, 랩탑 컴퓨터 등) 또는 다른 컴퓨터들 또는 데이터 프로세싱 시스템들과 함께 작동할 수 있다. 네트워크 셋업(100)은, 데이터 프로세싱 기능들을 가진 다른 클라이언트 장치들, 예를 들어, 스마트 TV, 스마트 셋탑 박스 등을 포함할 수 있다. 본 명세서에서 각종 기술들은 모바일 장치들의 하드웨어, 소프트웨어, 애플리케이션들 등을 참조할 수 있다; 그러나, 본 기술들은 다른 장치들 및/또는 다른 컴퓨터들, 예를 들어, 애플리케이션 및/또는 소프트웨어 프로그램을 다운로드, 설치 및/또는 실행할 수 있는 임의의 장치에 적용될 수 있음을 알아야만 한다. 클라이언트 장치들(102, 104)은, 애플리케이션들, 애플리케이션 패키지들, 소프트웨어 프로그램들, 실행 파일 등을 다운로드하기 위해, 각종 서버들, 예를 들어, 애플리케이션 서버들(예를 들어, 애플리케이션 서비스(106)의 일부)과 통신할 수 있다. 클라이언트 장치들(102, 104)은 또한 애플리케이션들과 관련된 페이지들(예를 들어, 웹페이지들 또는 애플리케이션 페이지들) 또는 다른 인터페이스들을 보고 액세스할 수 있으며, 페이지들은 애플리케이션 서비스(106)에 의해(예를 들어, 애플리케이션 스토어에 의해) 호스팅 또는 서빙된다. 클라이언트 장치들의 사용자들은 이 페이지들 또는 다른 인터페이스들을 사용하여 애플리케이션에 대한 정보를 수신하거나 또는 애플리케이션에 대한 정보를 제시할 수 있다.
네트워크 셋업(100)은 하나 이상의 애플리케이션 서비스들, 예를 들어, 애플리케이션 서비스(106)를 포함할 수 있다. 애플리케이션 서비스(106)는 컴퓨터들, 서버들, 데이터 스토어들, 라우터들, 스위치들, 커넥션들 및 다른 회로, 장치들, 모듈들 등을 포함할 수 있다. 애플리케이션 서비스(106)의 이러한 각종 컴포넌트들은 각종 클라이언트 장치들이 액세스할 수 있는 통합된 서비스를 제공하기 위해 함께 통신 및 동작할 수 있다. 예를 들어, 애플리케이션 서비스는 하나 이상의 공지된 네트워크 어드레스들, 예를 들어, IP 어드레스들에서 클라이언트 장치에 액세스할 수 있다. 애플리케이션 서비스(106)는 각종 애플리케이션들, 애플리케이션 패키지들, 소프트웨어 프로그램들, 실행 파일 등을 호스팅 또는 저장할 수 있어서, 클라이언트 장치들(102, 104)은 애플리케이션들, 애플리케이션 패키지들, 소프트웨어 프로그램들, 실행 파일 등을 다운로드할 수 있다. 애플리케이션 서비스(106)는 애플리케이션들과 관련된 각종 페이지들(예를 들어, 웹페이지들 또는 애플리케이션 페이지들)을 (예를 들어, 애플리케이션 스토어를 통해) 호스팅 또는 서빙할 수 있어서, 클라이언트 장치들(102, 104)은 페이지들을 보고 액세스할 수 있다. 페이지들은 애플리케이션에 대한 정보를 제공할 수 있으며, 또는 애플리케이션에 대한 정보, 예를 들어, 클라이언트 장치의 사용자에 의해 제시된 정보를 수신할 수 있다.
도 2는 본 개시 내용의 하나 이상의 실시예들에 따른, 예시적인 애플리케이션 서비스(204)의 예시적인 컴포넌트들, 모듈들, 루틴들, 커넥션들 및 상호 작용들을 도시한 블록도를 도시한다. 애플리케이션 서비스(204)는, 예를 들어, 도 1의 애플리케이션 서비스(104)와 유사할 수 있다. 애플리케이션 서비스(204)는 허위 진술 검출기(206)를 포함할 수 있다. 애플리케이션 서비스(204)는, 애플리케이션 기억 장치(210)와 통신중일 수 있는, 애플리케이션 스토어 서비스(또는 단지 애플리케이션 스토어(208))를 포함할 수 있다. 애플리케이션 서비스(204)는 하나 이상의 클라이언트 장치들, 예를 들어, 클라이언트 장치(202)와 통신중일 수 있다. 클라이언트 장치(202)는, 예를 들어, 도 1의 클라이언트 장치(102) 및/또는 클라이언트 장치(104)와 유사할 수 있다. 클라이언트 장치(202) 및 애플리케이션 서비스(204) 간의 통신의 하나의 특정 예로서, 클라이언트 장치(202)는, 예를 들어, 애플리케이션들을 다운로드하거나 또는 애플리케이션의 등급/코멘트/리뷰/사용자-플래그를 제시하기 위해, 애플리케이션 스토어(208)와의 통신 링크(212)를 설정할 수 있다. 클라이언트 장치(202) 및 애플리케이션 서비스(204) 간의 통신의 다른 특정 예로서, 애플리케이션 서비스(204)는 애플리케이션들과 관련된 사용자 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 (예를 들어, 통신 링크(214)를 통해) 수신할 수 있다. 이 셋업에서, 클라이언트 장치(202)의 사용자는 애플리케이션 스토어(208)와 상호 작용할 수 있지만, 클라이언트 장치에 의해 송신된 진술들은, 진술들이 애플리케이션 스토어(208)에서 효력을 나타내도록 허용되기 전에, 허위 진술 검출기(206)에 의해 인터셉트되고 분석될 수 있다.
애플리케이션 스토어(208)(애플리케이션 시장이라고도 함)는, 사용자들이 애플리케이션 스토어(208)와 연관된 인터페이스를 통해 소프트웨어 애플리케이션들을 발견 및 다운로드할 수 있게 해주는 온라인 서비스일 수 있다. 인터페이스는, 예를 들어, 웹 브라우저(예를 들어, 데스크탑 브라우저 또는 모바일 브라우저)를 통해 사용자가 시청할 수 있는 웹페이지일 수 있다. 다른 예로서, 인터페이스는 모바일 장치 또는 다른 컴퓨팅 장치에서 선천적으로 실행되는 모바일 애플리케이션일 수 있다. 인터페이스는, 사용자들이 가용한 애플리케이션들의 카탈로그 또는 데이터베이스(예를 들어, 애플리케이션 기억 장치(210))를 브라우징 및 탐색할 수 있게 할 수 있다. 인터페이스는, 사용자들이 다운로드 및 설치할 애플리케이션을 선택할 수 있게 할 수 있다. 인터페이스는, 사용자들이 애플리케이션과 관련된 정보, 예를 들어, 애플리케이션의 일반적인 기술, 다른 사용자들에 의해 제시된 애플리케이션의 리뷰들 및/또는 애플리케이션의 등급(예를 들어, 5개 별 중의 [1-5]개 별, 또는 제2 최대 수 중의 제1 수[정수 또는 소수])을 볼 수 있게 할 수 있다. 인터페이스는, 사용자들이 애플리케이션과 관련된 정보(즉, 진술들), 예를 들어, 애플리케이션의 리뷰들 및/또는 애플리케이션의 등급을 제시할 수 있게 할 수 있다. 본 명세서에서 각종 기술들이 모바일 장치들을 위한 애플리케이션 스토어와 관련될 수 있더라도, 일부 실시예들에서, 애플리케이션 스토어(208)는 논-모바일 장치들을 서비스하는 애플리케이션 스토어일 수 있음을 알아야만 한다.
허위 진술 검출기(206)는 하나 이상의 클라이언트 장치들(예를 들어, 클라이언트 장치(202))로부터 및/또는 애플리케이션 스토어(208)로부터 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 수신할 수 있다. 한 예로서, 등급 또는 코멘트는 (예를 들어, 클라이언트 장치(202)에 의해) 애플리케이션 스토어(208)에 제시될 수 있으며, 그 후, 허위 진술 검출기(206)는 애플리케이션 스토어(208)와 통신함으로써 제시된 정보를 수신할 수 있다. 이러한 상황에서, 애플리케이션 스토어(208)는 등급/코멘트가 효력을 나타내게 할 수 있으며, 그 후, 등급/코멘트가 허위라고 허위 진술 검출기(206)가 결정하면 등급/코멘트를 취소할 수 있다. 대안으로, 허위 진술 검출기가 등급/코멘트에 대해 결정/결론을 내릴 때까지, 애플리케이션 스토어(208)는 제시된 등급/코멘트를 불확실 상태로 유지할 수 있다. 다른 예로서, 등급 또는 코멘트는 클라이언트 장치(202)에 의해 제시될 수 있으며, 등급/코멘트는 애플리케이션 스토어(208)로 나아가기 전에 허위 진술 검출기(206)를 경유할 수 있다. 허위 진술 검출기(206)는 등급/코멘트를 분석할 수 있으며, 등급/코멘트가 허위가 아니라고 결정되면, 등급/코멘트를 애플리케이션 스토어(208)에 전달할 수 있다.
허위 진술 검출기(206)는 현재(예를 들어, 최근에 수신된) 진술들 및/또는 과거(예를 들어, 로그 또는 저장된) 진술들을 포함하는, 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 분석할 수 있다. 과거 진술들은 각종 장소들에, 예를 들어, 다음: 허위 진술 검출기(206), 애플리케이션 스토어(208) 및 애플리케이션 기억 장치(210) 중 하나에 저장될 수 있다. 현재 진술 정보 과거/로그된 진술 정보를 사용해서, 허위 진술 검출기(206)는 합법적인 정보, 예를 들어, 애플리케이션의 실제 사용자에 의해 제시된 합법적인 정보로부터 허위 정보 또는 스팸을 구별할 수 있다. 허위 진술이 검출되면, 허위 진술 검출기(206)는 검출 결론을 사용할 수 있는 각종 서비스들에 검출 결론(예를 들어, 허위 등급/코멘트 신호)을 송신할 수 있다. 예를 들어, 애플리케이션 스토어(208)는 등급/코멘트를 무시하기 위해, 또는 허위 등급/코멘트와 연관된 사용자 또는 계정에 페널티를 주기 위해, 또는 허위 긍정 진술의 후원자(예를 들어, 애플리케이션 또는 그 개발자)에 페널티를 주기 위해 검출 결론을 사용할 수 있다.
도 3은 본 개시 내용의 하나 이상의 실시예들에 따른, 예시적인 허위 진술 검출기(306)의 예시적인 컴포넌트들, 모듈들, 루틴들, 커넥션들 및 상호 작용들을 도시한 블록도를 도시한다. 허위 진술 검출기(306)는, 예를 들어, 도 2의 허위 진술 검출기(206)와 유사할 수 있다. 허위 진술 검출기(306)는 진술 정보 수신기(320)를 포함할 수 있다. 허위 진술 검출기(306)는 진술 정보 로그(322)를 포함할 수 있다. 허위 진술 검출기(306)는 진술 분석기(324)를 포함할 수 있다. 허위 진술 검출기(306)는 하나 이상의 클라이언트 장치들(참조 부호 326으로 일반적으로 표시됨)로부터 및/또는 애플리케이션 스토어(참조 부호 328로 일반적으로 표시됨)로부터 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 수신할 수 있다. 클라이언트 장치들(326)은, 예를 들어, 도 2의 클라이언트 장치(202)와 유사한 클라이언트 장치들을 포함할 수 있다. 애플리케이션 스토어(328)는, 예를 들어, 도 2의 애플리케이션 스토어(208)와 유사할 수 있다.
진술 정보 수신기(320)는 하나 이상의 클라이언트 장치들(참조 부호 326으로 일반적으로 표시됨)로부터 및/또는 애플리케이션 스토어(참조 부호 328로 일반적으로 표시됨)로부터 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 수신할 수 있다. 진술들은 진술(예를 들어, 등급, 코멘트 등)의 핵심 외에 각종 진술 정보들을 포함할 수 있다. 진술 정보는 진술과 관련된 각종 정보들, 예를 들어, 코멘트/리뷰의 콘텐츠/텍스트, 코멘트/리뷰의 길이, 등급(예를 들어, [최대 정수] 중의 [정수 또는 소수] 별), 등급/코멘트가 발신된 IP 어드레스, 등급/코멘트가 발신된 지리적 로케이션, 진술을 입력한 사용자와 연관된 계정 정보(예를 들어, 사용자명, 계정 연령(age of account) 등), 및 각종 다른 정보들일 수 있다. 진술 정보 수신기(320)는, 예를 들어, 진술들에서 추세들, 패턴들 등을 검출하기 위해 진술들/진술 정보가 더 최근에 수신된 진술들/진술 정보와 관련하여 차후에 사용될 수 있도록, 수신하는 진술들/진술 정보를 (예를 들어, 진술 정보 로그(322)에) 저장하거나 또는 저장되게 할 수 있다. 일부 실시예들에서, 진술 정보 로그(322)에 진술들/진술 정보를 저장하는 대신(또는 그와 함께), 진술들/진술 정보는 다른 곳에, 예를 들어, 애플리케이션 스토어(208) 또는 애플리케이션 기억 장치(210)에 저장될 수 있다.
(예를 들어, 진술 정보 로그(322)에 저장된) 진술들/진술 정보는 진술 분석기(324)가 각종 추세들, 패턴들 등을 검출하는 것을 도울 수 있는 각종 방법들로 인덱싱 또는 조직될 수 있다. 예를 들어, 진술들/진술 정보는 특정 사용자 또는 계정에 의해 인덱싱되거나 또는 그와 연관될 수 있다. 사용자-연관 데이터는 나쁜 행위자들/사용자들을 검출하는 것을 도울 수 있다. 다른 예로서, 진술들/진술 정보는 특정 애플리케이션, 게임, 또는 영화, 음악 등의 다른 콘텐츠에 의해 인덱싱되거나 또는 그와 연관될 수 있다. 다른 예로서, 진술들/진술 정보는 콘텐츠의 개발자에 의해 인덱싱되거나 또는 그와 연관될 수 있다. 애플리케이션-연관 데이터는 허위 등급들/코멘트들의 대상인 애플리케이션들을 검출하는 것을 도울 수 있다. 진술들/진술 정보는 또한 사용자들 및/또는 애플리케이션들과의 연관성과 무관하게 유용할 수 있다. 예를 들어, 진술들/진술 정보는, 특정 사용자들 및/또는 애플리케이션들과 관련된 또는 관련되지 않은, 허위 상호 작용들 또는 거래들을 검출하는 데 사용될 수 있다.
진술 분석기(324)는 각종 진술들 및/또는 진술 정보들을 분석 또는 비교하기 위해 방금 기술된 인덱싱 방식들(예를 들어, 사용자에 의해, 애플리케이션에 의해, 사용자/애플리케이션과 무관하게) 중 하나 또는 그 이상을 고려할 수 있다. 이와 관련하여, 진술 분석기(324)는, 예를 들어, 사용자마다, 애플리케이션마다, 및/또는 상호 작용마다, 진술들에서 추세들, 패턴들, 유사성 등을 검출할 수 있다. 사용자마다 추세들, 패턴들, 유사성 등을 검출하는 것은 (예를 들어, 그들의 상호 작용들의 타입 또는 빈도에서) 벗어난 사용자들을 검출하는 것을 도울 수 있다. 애플리케이션마다 추세들, 패턴들, 유사성 등을 검출하는 것은 허위 등급들/코멘트들의 대상인 특정 애플리케이션들을 검출하는 것을 도울 수 있다(아마도 애플리케이션이 악성 코드이거나 어떤 다른 타입의 바람직하지 못한 애플리케이션임을 나타냄). 상호 작용마다 추세들, 패턴들, 유사성 등을 검출하는 것은, 예를 들어, 오직 콘텐츠 때문에, 수상한 상이한 타입들의 사용자 상호 작용들 또는 진술들을 검출하는 것을 도울 수 있다. 또한, 진술 분석기(324)는 관련된(예를 들어, 동일한 사람에 의해 소유될 가능성이 있는) 계정들 또는 사용자들을 검출하는 서비스, 알고리즘, 루틴 등을 사용할 수 있다. 관련된 사용자들/계정들은 수상한 방법으로 생성되었을 수 있으며, 또는 허위로 알려질 수 있다. 관련된 사용자들/계정들은 반드시 나쁜 것은 아니지만, 다른 수상한 요인들이 특정 사용자 진술들에 관하여 존재하면, 진술들이 관련된 계정들에 얽매인다는 사실이 의심을 증가시킬 수 있다. 따라서, 사용자마다 결정을 하는 것을 기술하는 본 명세서의 각종 기술들에 관하여, 대안의 실시예들은 관련된 사용자들/계정들이 동일한 사용자라고 생각하는 유사한 결정들을 포함할 수 있다는 것을 이해해야 한다.
진술 분석기(324)는 진술 정보 수신기(320)로부터의 진술들/진술 정보(예를 들어, 현재 또는 최근 수신 진술 정보) 및, 선택적으로, (예를 들어, 진술 정보 로그(322)로부터) 이전에 수신된 진술들/진술 정보를 수신 및 분석할 수 있다. 진술 분석기(324)는 진술이 허위임을 나타낼 수 있는 추세들, 패턴들 등을 자동으로 검출하기 위해 진술 정보를 분석할 수 있다. 진술 분석기(324)는 진술이 허위임을 나타낼 수 있는 하나 이상의 중간 신호들을 자동으로 생성할 수 있다. 진술 분석기(324)는 진술에 대한 검출 결론(예를 들어, 330)을 생성하기 위해 하나 이상의 중간 신호들을 자동으로 조합 또는 종합할 수 있다. 이하는 진술이 허위(예를 들어, 합법적인 사용자에 의해 제시되지 않음)인지를 결정할 때 진술 정보 분석기(324)가 검출 또는 고려할 수 있는 각종 요인들 또는 신호들을 기술한다.
진술 분석기(324)는 코멘트들/리뷰들의 콘텐츠 또는 출처를 고려할 수 있다. 진술 분석기(324)는 코멘트가 허위일 수 있음을 나타내는 표시들을 찾기 위해 현재 또는 들어오는 코멘트를 분석할 수 있다. 진술 분석기(324)는 사용자 코멘트들에 관한 과거 경험 및/또는 전문가 지식에 기초하여 각종 규칙들 및/또는 임계값들을 사용할 수 있다. 예를 들어, 규칙은, 예를 들어, 코멘트가 애플리케이션이 왜 좋은지/나쁜지에 관한 특정 기술을 포함하면, 합법적인 코멘트일 가능성이 더 높기 때문에, 긴 코멘트가 스팸일 가능성이 더 작다고 말할 수 있다. 진술 분석기(324)는 코멘트/리뷰의 길이를 하나 이상의 정의된 임계값들과 비교할 수 있으며, 길이가 임계값(들)을 초과하면, 코멘트/리뷰는 허위일 가능성이 더 클 수 있다. 진술 분석기(324)는 스팸일 가능성이 있는 코멘트들을 식별하는 각종 루틴들, 알고리즘들 등을 사용할 수 있다. 예를 들어, 루틴들, 알고리즘들 등은 상이한 타입들의 스팸 메시지들을 검출하기 위해 훈련된(예를 들어, 기계-학습) 모델들을 사용할 수 있다. 한 특정 일례로서, 루틴들, 알고리즘들 등은 일반적인 타입들의 스팸, 예를 들어, 특정 타입들의 웹사이트들(예를 들어, 성인 및 제약 웹사이트들)을 홍보하는 링크들을 검출할 수 있다. 다른 특정 예로서, 루틴들, 알고리즘들 등은 오직 스팸을 위해서만 생성된 사용자 계정들을 검출할 수 있으며, 이 계정들과 연관된 코멘트들은 허위일 가능성이 매우 높을 수 있다. 진술 분석기(324)는 코멘트/리뷰에 대한 의심 스코어를 생성할 수 있다. 의심 스코어가 정의된 임계값보다 더 크면, 진술 분석기(324)는 현재 코멘트/리뷰가 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
진술 분석기(324)는 매우 유사한 사용자 진술들을 검출할 수 있다. 다른 (또는 몇몇 다른) 사용자 진술들과 (예를 들어, 정의된 임계값 내에서) 매우 유사한 사용자 진술(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)은, 사용자 진술이 너무 반복적이어서 합법적이지 않음을 나타낼 수 있다. 진술 분석기(324)는 현재 진술을 하나 이상의 이전에 수신된 진술들(예를 들어, 진술 정보 로그(322)에 저장/로그된 진술들)과 비교할 수 있다. 진술들 간의 유사성은 진술들과 연관된 각종 정보들/데이터, 예를 들어, 코멘트/리뷰의 콘텐츠/텍스트(예를 들어, 코멘트들에서 사용된 단어들의 유사성), 코멘트/리뷰의 길이, 등급(예를 들어, [최대 정수] 중의 [정수 또는 소수] 별), 진술이 발산된 IP 어드레스, 진술이 발신된 지리적 로케이션, 진술을 입력한 사용자와 연관된 계정 정보(예를 들어, 계정 연령), 및 각종 다른 정보들을 검토함으로써 결정될 수 있다. 코멘트들/리뷰들의 콘텐츠/텍스트 간의 유사성의 특정 예로서, 다수의 코멘트/리뷰들 간에 수상하게 반복적인 표현이 있으면(예를 들어, 동일한 또는 유사한 코멘트들이 거듭거듭 나타나면), 이는, 코멘트들/리뷰들이 허위임을 나타낼 수 있다. 진술 분석기(324)는 상술한 정보들 중 하나 또는 그 이상을 고려해서, 진술들 간의 유사성을 결정할 수 있다. 2개의 진술들이 "너무 유사한"지를 진술 분석기(324)가 결정할 수 있는 방법의 한 특정 예로서, 진술 분석기(324)는 2개의 진술들 간에 얼마나 많은 정보들이 일치하는지에 기초하여 유사성 스코어를 생성할 수 있다. 이전 진술이 현재 진술과 동일한 사용자 및/또는 동일한 애플리케이션에 대한 것이면, 유사성 스코어는 증가될 수 있다. 유사성 스코어가 정의된 임계값보다 높으면, 진술 분석기(324)는 현재 진술이 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
진술 분석기(324)는 등급들의 분포를 고려할 수 있다. 사용자 등급은 다른 최대 수 "중의" 어떤 수일 수 있다. 예를 들어, 사용자 등급은 5개 별 중의 [1-5]개 별, 또는 제2 최대 수 중의 제1 수(정수 또는 소수)일 수 있다. 사용자 등급의 각각의 증분(예를 들어, 하나의 정수)은 어떤 아이콘, 예를 들어, 별로 표시될 수 있다. 다수의 사용자들은 특정 애플리케이션(예를 들어, 게임 또는 영화 또는 개발자 등)에 대한 사용자 등급을 제시할 수 있고, 다수의 사용자들로부터의 사용자 등급들은 종합되어(예를 들어, 평균화되어) 전체 사용자 등급, 예를 들어, 동일한 최대 정수 "중의" 수(정수 또는 소수)(예를 들어, 5개 별 중의 3.5개 별)를 생성할 수 있다. 관련 등급들(예를 들어, 동일한 애플리케이션에 대한 등급들 또는 동일한 사용자로부터의 등급들)의 그룹의 등급들의 분포는, 등급이 불법임을 나타낼 수 있다. 예를 들어, 등급들의 그룹이 과도한 양(예를 들어, 결정된 백분율보다 큼)의 최대 등급들(예를 들어, 5개 별) 또는 최소 등급들(예를 들어, 1개 별)을 포함하면, 등급들의 그룹은 본래 등급 그룹이 등급들의 더 전형적인 분포(예를 들어, 각각의 등급 값의 특정 %)를 포함한 경우보다 더 수상할 수 있다. 또한, 수상한 등급 그룹에 따라 정렬된 임의의 현재 또는 들어오는 등급들은 수상할 수 있다. 진술 분석기(324)는, 현재 또는 들어오는 등급이 수상한지를 결정할 수 있고, 현재 등급이 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
진술 분석기(324)는 사용자 진술들의 수를 애플리케이션 다운로드들/설치들의 수의 분수로서 생각할 수 있다. 진술 분석기(324)는 연관된 애플리케이션의 다운로드들/설치들의 수에 대한(즉, 이 수의 분수로서) 사용자 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)의 수의 비율(예를 들어, 애플리케이션마다 및/또는 사용자마다)을 계산 또는 유지할 수 있다. 아이디어는, 애플리케이션을 다운로드/설치하는 사용자들의 적은 백분율이 애플리케이션을 평가하거나 리뷰하는데 실제로 시간을 내는 것일 수 있다. 특정 애플리케이션을 다운로드하는 모든 사용자가 평가한다면, 이는 허위 행태를 나타낼 수 있다. 유사하게, 특정 사용자가 그 사용자가 다운로드/설치한 모든 애플리케이션을 평가하거나 리뷰하면, 이는 허위 행태를 나타낼 수 있다. 대안으로, 이는, 사용자가 매우 활동적임을 나타낼 수 있어서, 문제가 되지 않을 수 있다. 따라서, 본 명세서에 기술된 각종 신호들/요인들을 종합하는 것으로 임의의 한 신호/요인에 너무 많은 역점을 할당하는 것을 방지할 수 있음을 알 수 있다. 진술 분석기(324)는 진술의 비율이 너무 높은지를 결정하기 위해 계산된 비율을 임계값과 비교할 수 있다. 임계값은, 예를 들어, 애플리케이션을 다운로드한 사용자들의 오직 10%만이 평가하고/평가하거나 코멘트함을 보여주는 연구 또는 계산된 통계에 기초할 수 있다. 진술 분석기(324)는, 예를 들어, 현재 사용자 또는 애플리케이션이 다른 애플리케이션들/사용자들의 평균 비율에서 멀리 있는지를(예를 들어, 결정된 임계값을 훨씬 능가하는지를) 결정하기 위해, 다른 애플리케이션들 또는 사용자들의 진술의 비율들과 계산된 비율을 비교할 수 있다. 진술 분석기(324)는 현재 또는 들어오는 등급/코멘트가 수상한지를 결정할 수 있고(예를 들어, 그것은 허용 범위 밖의 계산된 진술 비율을 밀어내기 때문에), 현재 등급/코멘트가 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
진술 분석기(324)는 사용자 진술들과 관련하여 각종 클라이언트 장치 사용 표시들을 고려할 수 있다. 예를 들어, 진술 분석기(324)(또는 허위 진술 검출기(306)의 어떤 다른 모듈)는 클라이언트 장치들(326)로부터 사용 정보를 수신할 수 있다. 사용 정보는 애플리케이션들이 크래시(crash)하는지 및 언제 크래시하는지의 표시들, 애플리케이션들이 설치 및/또는 개시되었는지 및 언제 설치 및/또는 개시되었는지의 표시들, 및 다른 사용 표시들을 포함할 수 있다. 진술 분석기가 사용 정보를 사용할 수 있는 방법의 한 예로서, 진술이 애플리케이션이 내내 어떻게 크래시하는지에 대한 불평들을 포함하지만, 진술 분석기가 결코 어떠한 크래시 보고들도 수신하지 않았으면, 이는 진술이 허위임을 나타낼 수 있다. 다른 예로서, 진술이 애플리케이션에 대한 코멘트들을 포함하지만, 애플리케이션이 결코 개시되지 않았으면, 이는 진술이 허위임을 나타낼 수 있다.
진술 분석기(324)는 수상한 진술 타이밍 또는 양(volume) 패턴들을 검출할 수 있다. 예로서, 진술 분석기(324)는 진술들의 많은 양 및/또는 비율들을 검출할 수 있다. 진술 분석기(324)는, 예를 들어, 현재 또는 들어오는 진술에 응답해서, 사용자에 대한 및/또는 애플리케이션에 대한 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 분석할 수 있다. 진술 분석기(324)는, 예를 들어, 단일 사용자가 과도한 많은 양(예를 들어, 정의된 임계값보다 높음)의 진술들을 제시했고/했거나 과도하게 높은 비율(예를 들어, 정의된 임계값보다 큼)로 진술들을 입력했는지를 검출할 수 있다. 한 특정 예로서, 사용자가 하루에 1,000 앱들에 대한 등급들을 제시했으면, 사용자 등급들은 허위일 가능성이 있다. 진술 분석기(324)는 (예를 들어, 많은 양/비율 때문에) 현재 또는 들어오는 등급/코멘트가 수상한지를 결정할 수 있고, 현재 등급/코멘트가 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
수상한 진술 타이밍 또는 양 패턴들을 검출하는 다른 예로서, 진술 분석기(324)는 현재 진술을 하나 이상의 이전에 수신된 진술들(예를 들어, 진술 정보 로그(322)에 저장/로그된 진술들)과 비교할 수 있다. 진술 분석기(324)는 이전에 수신된 진술들과 관련된 정보(예를 들어, 진술이 수신된 때와 관련된 타임스탬프)를 검토할 수 있다. 진술 분석기(324)는 애플리케이션들 및/또는 사용자들과 관련된 수상한 진술 타이밍을 검출할 수 있다. 예를 들어, 특정 사용자가 많은 수의 애플리케이션들을 바로 잇따라 평가한다면, 이는 진술이 허위임을 나타낼 수 있다. 다른 예로서, 특정 애플리케이션이 많은 수의 진술들을 바로 잇따라 수신하면, 이는 진술이 허위임을 나타낼 수 있다. 진술 분석기(324)는 진술들의 공지된 "정상" 양들 또는 비율들을 사용하여 검출된 패턴 또는 진술이 수상한지를 결정할 수 있다. 진술 분석기(324)는 일련의 진술들(예를 들어, Y[시간 기간] 내의 X[정수 또는 소수] 진술들)이 공지된 또는 정의된 임계값보다 더 큰지를 검출할 수 있고, 임계값이 초과되면, 진술 분석기(324)는 최근 진술이 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
수상한 진술 타이밍 또는 양 패턴들을 검출하는 다른 예로서, 진술 분석기(324)는 진술들 간의 수상한 간격들을 검출할 수 있다. 예를 들어, 특정 애플리케이션에 대한 진술들이 각각 정확하게 5분 간격(또는 다른 고정된 간격)을 두고 제시되었으면, 이는 진술들이 허위임을 나타낼 수 있다(예를 들어, 컴퓨터 또는 기계가 진술들을 입력중일 수 있음). 다른 예로서, 특정 사용자로부터의 진술들이 각각 정확하게 5분 간격(또는 다른 고정된 간격)을 두고 제시되었으면, 이는 진술들이 허위임을 나타낼 수 있다. 진술 분석기(324)는 더 고급의 또는 스마트한 검출 알고리즘들을 사용하여, 더 복잡한 또는 작위적(non-random) 진술 간격들을 검출할 수 있다. 예를 들어, 기계가 변하는 간격을 두고 진술들을 입력하지만, 간격들이 잠시 후에 반복되면, 진술 분석기(324)는 이러한 종류의 수상한 진술 패턴들도 검출할 수 있다. 진술 분석기(324)는 진술 시퀀스에 자동 스코어를 할당함으로써 진술 패턴이 너무 "자동화"되어 있는지를(예를 들어, 반복하는 또는 어떤 다른 작위적 패턴) 검출할 수 있다. 자동 스코어가 정의된 임계값을 초과하면, 진술 분석기(324)는 최근 진술이 허위일 증가된 가능성을 나타내는 중간 신호를 생성할 수 있다. 이 중간 신호는 현재 진술이 허위임을 나타내는 검출 결론(예를 들어, 330)을 생성 및 출력하는 데 사용될 수 있다.
더 상세히 상술된 바와 같이, 진술 분석기(324)는 각종 검출 결론들(예를 들어, 330)을 생성할 수 있으며, 각각의 검출 결론은 사용자 진술이 허위임을 나타낼 수 있다. 각각의 검출 결론은 상술된 중간 신호들 또는 요인들 중 하나 또는 그 이상에 기초할 수 있다. 진술 분석기(324)는, 예를 들어, 검출 결론의 중요성 및/또는 검출 결론이 전체 단일 검출 결론에 끼칠 영향에 기초하여, 검출 결론들 중 하나 또는 그 이상을 가중 또는 강조(또는 경시)할 수 있다. 강조/경시에서 사용되는 가중치들은 자동으로(예를 들어, 예들로부터의 기계 학습을 통해) 또는 사람 경험 정보를 통해 유도될 수 있다. 진술 분석기(324)는 알고리즘 또는 공식을 사용해서 전체 단일 검출 결론을 생성할 수 있다. 알고리즘 또는 공식은 종합 기술, 예를 들어, 가중된 선형 조합 또는 곱셈 조합을 사용해서 일부 또는 모든 검출 결론들(예를 들어, 가중된)을 조합할 수 있다. 가중치들은 선형 회귀, 로지스틱 회귀, 또는 다른 회귀 모델을 사용해서 유도될 수 있다. 일부 실시예들에서, 진술 분석기(324)는 수상한 진술들 대 수상하지 않은 진술들의 비율들을 고려할 수 있다. 예를 들어, 진술 분석기(324)는, 특정 사용자에 대해, 수상한 진술들 대 수상하지 않은 진술들의 비율을 고려할 수 있다. 다른 예로서, 진술 분석기(324)는, 특정 애플리케이션에 대해, 수상한 진술들 대 수상하지 않은 진술들의 비율을 고려할 수 있다. 이러한 비율들을 고려해서, 허위 진술 검출기(306)의 정확성을 증가시킬 수 있다. 일부 상황들에서, 아마도 본 명세서에 기술된 각종 검출 루틴들은 진술을 허위라고 잘못 표시할 수 있다. 이러한 비율들을 고려함으로써, 합법적인 사용자들 및 수상하지 않은 애플리케이션들이 거짓 검출들 때문에 페널티를 받는 것을 방지할 수 있다.
각각의 검출 결론(예를 들어, 330)은 각종 다른 서비스들에 유용할 수 있는 각종 정보들을 포함할 수 있다. 예를 들어, 검출 결론은 진술에 대해 책임이 있는 사용자(들) 또는 계정(들)에 대한 정보를 포함할 수 있다. 다른 예로서, 검출 결론은 어떤 애플리케이션(들)이 진술들의 대상인지에 대한 정보를 포함할 수 있다. 다른 예로서, 검출 결론은 연관된 진술에 대한 의심 레벨의 표시를 포함할 수 있다. 의심 레벨들은, 예를 들어, "수상한", "매우 수상한", 및 아마도 다른 레벨들을 포함할 수 있다.
진술 분석기(324)는 검출 결론들을 사용할 수 있는 각종 다른 서비스들, 모듈들 등에 각종 검출 결론들(예를 들어, 330)을 출력할 수 있다. 일부 실시예들에서, 검출 결론들은 (예를 들어, 사람에 의해) 수동으로 리뷰될 수 있고, 페널티들은 수동으로 부과될 수 있다(예를 들어, 데이터베이스를 수동으로 변경함으로써). 일부 실시예들에서, 검출 결론들은 자동으로 리뷰될 수 있고, 페널티들은 자동으로 부과될 수 있다. 검출 결론들의 리뷰 또는 분석을 기술하는 본 명세서에 기술된 각종 기술들이 수동으로 또는 자동으로 실행될 수 있음을 알아야만 한다. 페널티들의 부과를 기술하는 본 명세서에 기술된 각종 기술들이 수동으로 또는 자동으로 실행될 수 있음을 알아야만 한다.
한 예로서, 애플리케이션 스토어(208)는 허위 진술들과 관련된 각종 검출 결론들을 수신할 수 있다. 애플리케이션 스토어(208)는 어떤 소프트웨어 애플리케이션들(예를 들어, 애플리케이션 스토어에 의해 호스팅됨) 및/또는 어떤 사용자들/계정들이 허위 진술들과 연관되는지를 결정할 수 있다. 애플리케이션 스토어(208)는 허위 진술들과 연관된 애플리케이션들 및/또는 사용자들에게 페널티들을 부과할 수 있다. 페널티들은 허위 진술들과 연관된 비용을 증가할 수 있으며, 이러한 동작들을 억제할 수 있다. 또한, 페널티들은 허위 진술의 영향을 교정할 수 있다.
사용자들에 대한 페널티들은 사용자에 경고, 사용자 계정 중단(예를 들어, 일시적), 사용자 계정 취소(예를 들어, 영구적), 및 아마도 사용자 계정과 관련된 계정들의 페널티 부과를 포함할 수 있다. 애플리케이션들에 대한 페널티들은 대상 애플리케이션들과 연관된 호스팅된 웹페이지로부터의 수상한 진술들(예를 들어, 등급들, 리뷰들, 코멘트들 등)의 제거를 포함할 수 있다. 이와 관련하여, 애플리케이션 스토어의 사용자들은 허위 등급/코멘트들을 볼 수 없다. 애플리케이션들에 대한 페널티들은 탐색 결과들, 등급들, 제안들 등에 대상 애플리케이션들이 나타나는 방식의 변경을 포함할 수 있다. 예를 들어, 사용자가 키워드로 애플리케이션 스토어(208)를 탐색하거나 카테고리에 의해 애플리케이션들을 브라우징하면, 페널티를 받은 애플리케이션들은 페널티를 받지 않은 경우보다 더 낮게 나타날 수 있다(예를 들어, 더 낮게 등급이 매겨질 수 있음). 예를 들어, 평가 알고리즘들은 허위 등급들 및/또는 코멘트들을 무시할 수 있다. 일부 상황들에서, 페널티를 받은 애플리케이션은 탐색 결과들, 등급들, 제안들 등으로부터 제거될 수 있다. 일부 상황들에서, 페널티를 받은 애플리케이션은, 예를 들어, 애플리케이션(예를 들어, 애플리케이션 기억 장치(210) 내의) 및 애플리케이션과 연관된 웹페이지를 삭제함으로써, 애플리케이션 스토어로부터 완전히 제거될 수 있다.
일부 실시예들에서, 애플리케이션 스토어는 허위 진술이 대상 애플리케이션들의 인기 또는 등급을 증가시키도록 의도된 것인지 감소시키도록 의도된 것인지를 결정할 수 있다. 허위 진술들의 대상인 모든 애플리케이션들이 페널티를 받을 만한 것은 아니다. 예를 들어, 대상 애플리케이션에 대한 허위 진술들이 대상 애플리케이션의 인기 등급을 감소시키기 위해 경쟁자에 의해 제시되었으면, 대상 애플리케이션은 페널티를 받지 않을 수 있다. 한 예로서, 긍정적인 허위 등급들은 애플리케이션들이 페널티를 받게 할 가능성이 더 높다.
본 명세서에서 다양한 설명들은 애플리케이션 스토어 및 애플리케이션 스토어가 진술들(예를 들어, 등급들, 코멘트들 등)을 수신할 수 있는 방법 및 애플리케이션 스토어가 각종 검출 결론들(예를 들어, 330)을 사용할 수 있는 방법을 기술하지만, 다른 서비스들이 유사한 기술들을 구현할 수 있음을 알아야만 한다. 예를 들어, 소셜 네트워킹 서비스 또는 클라우드 비디오 서비스는 허위 진술들을 검출하기 위해 수신된 코멘트들, 유사한 것들, +1들 등을 분석할 수 있으며, 진술들 및/또는 진술들의 대상인 페이지들, 계정들 등에 책임이 있는 사용자들/계정들에 페널티를 줄 수 있다. 사용자 진술들(예를 들어, 등급들, 코멘트들 등)을 수용하는 각종 다른 서비스들(예를 들어, 온라인 상품 쇼핑, 제공된 서비스들의 온라인 리뷰, 시설들의 온라인 리뷰 등)이 유사한 기술들을 구현할 수 있다.
본 개시 내용의 특정 실시예들은 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 하나 이상의 방법들에서 발견될 수 있다. 본 명세서에 기술되고 연관된 도면들에 도시된 각종 방법들과 관련하여, 일부 실시예들에서, 기술 및/또는 도시된 단계들 중 하나 이상의 단계들이 상이한 순서로 실행될 수 있음을 알아야만 한다. 또한, 일부 실시예들에서, 방법은 기술 및/또는 도시된 단계들보다 더 많은 또는 더 적은 단계들을 포함할 수 있다.
도 4는 본 개시 내용의 하나 이상의 실시예들에 따른, 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 방법의 예시적인 단계들을 도시한 흐름도(400)를 도시한다. 단계(402)에서, 애플리케이션 서비스(예를 들어, 애플리케이션 서비스(206))는 (예를 들어, 애플리케이션 기억 장치(210)를 사용해서) 복수의 소프트웨어 애플리케이션들을 호스팅할 수 있다. 단계(404)에서, 허위 진술 검출기(예를 들어, 206)는 복수의 사용자 진술들(예를 들어, 등급들, 코멘트들, 리뷰들, 남용 플래그들, 공유들, 유사한 것들, +1들 또는 다른 소셜 네트워킹 상호 작용들 등)을 수신할 수 있다. 단계(406)에서, 허위 진술 검출기는 대상 애플리케이션(예를 들어, 애플리케이션 서비스에 의해 호스팅된 애플리케이션들 중 하나)과 관련된 나쁜 또는 바람직하지 않은 진술(예를 들어, 허위, 스팸이 들끓는 또는 달리 합법적이지 않은 진술)을 검출하기 위해 진술들 중 하나 또는 그 이상을 분석할 수 있다. 단계(408)에서, 본 명세서에서 상세히 설명된 바와 같이, 허위 진술 검출기는 대상 애플리케이션들과 관련된 검출 결론을 생성할 수 있다. 단계(410)에서, 각종 서비스들, 모듈들, 루틴들 등은 검출 결론을 사용해서, 그들의 행태를 변경할 수 있다. 예를 들어, 서비스는 나쁜 또는 바람직하지 않은 진술과 연관된 대상 애플리케이션 및/또는 사용자 계정(들)에 하나 이상의 페널티들을 부과할 수 있다. 특정 예로서, 본 명세서에 기술된 바와 같이, 애플리케이션 스토어(예를 들어, 애플리케이션 서비스의 일부)는 검출 결론들을 사용하여 애플리케이션들의 등급들 및/또는 제안들에 영향을 줄 수 있다.
도 5는 본 명세서에 기술된 바와 같이 하나 이상의 클라이언트 장치들(예를 들어, 모바일 장치(502)) 내에 포함되고/포함되거나 애플리케이션 서비스(예를 들어, 506)에 포함된 각종 컴퓨터들, 서버들, 라우터들, 스위치들, 장치들 등 중 하나 또는 그 이상 내에 포함될 수 있는 예시적인 데이터 프로세싱 시스템(500)의 블록도를 도시한다. 데이터 프로세싱 시스템(500)은 본 개시 내용의 방법들, 루틴들 및/또는 해결책들 중 하나 또는 그 이상을, 부분적으로 또는 전체적으로, 실행하는 데 사용될 수 있다. 본 개시 내용의 일부 실시예들에서, 하나보다 더 많은 데이터 프로세싱 시스템, 예를 들어, 데이터 프로세싱 시스템들(500)이 본 명세서에 기술된 방법들, 루틴들, 기술들 및/또는 해결책들을 구현하는 데 사용될 수 있다. 도 5의 예에서, 데이터 프로세싱 시스템(500)은 컴포넌트들, 예를 들어, 프로세서 유닛(504), 메모리(507), 영구 기억 장치(508), 통신 유닛(510), 입력/출력(I/O) 유닛(512) 및 디스플레이(514) 간의 통신들을 제공하는 통신 패브릭(501)을 포함할 수 있다. 버스 시스템이 통신 패브릭(501)을 구현하는 데 사용될 수 있고, 시스템 버스 또는 입력/출력 버스 등의 하나 이상의 버스들로 구성될 수 있다. 버스 시스템은 버스 시스템에 부착된 상이한 컴포넌트들 또는 장치들 간의 데이터의 전송을 제공하는 임의의 적합한 타입의 아키텍처를 사용해서 구현될 수 있다.
프로세서 유닛(504)은 데이터 프로세싱 시스템(500), 예를 들어, 메모리(507) 내에 로드될 수 있는 명령들(예를 들어, 소프트웨어 프로그램/애플리케이션, 프로그램/애플리케이션을 위한 소스 코드, 원시 OS 코드 등)을 실행하도록 작용할 수 있다. 프로세서 유닛(504)은 특정 구현에 따라 하나 이상의 프로세서들의 집합이거나 또는 멀티프로세서 코어일 수 있다. 프로세서 유닛(504)은 메인 프로세서가 단일 칩에 보조 프로세서들과 함께 존재하는 하나 이상의 이종 프로세서 시스템들을 사용해서 구현될 수 있다. 다른 예시적인 예로서, 프로세서 유닛(504)은 동일한 타입의 다수의 프로세서들을 포함하는 대칭적인 멀티-프로세서 시스템일 수 있다.
메모리(507)는, 예를 들어, 랜덤 액세스 메모리 또는 임의의 다른 적합한 휘발성 또는 비휘발성 기억 장치일 수 있다. 메모리(507)는 캐시 메모리의 하나 이상의 층들을 포함할 수 있다. 영구 기억 장치(508)는 특정 구현에 따라 각종 형태들을 취할 수 있다. 예를 들어, 영구 기억 장치(508)는 하나 이상의 컴포넌트들 또는 장치들을 포함할 수 있다. 예를 들어, 영구 기억 장치(508)는 하드 드라이브, 솔리드-스테이트 드라이브, 플래시 메모리 또는 상술한 것의 어떤 조합일 수 있다.
운영 체제에 대한 명령들은 영구 기억 장치(508)에 위치할 수 있다. 한 특정 실시예에서, 운영 체제는 모바일 장치들 또는 스마트폰들을 위한 다수의 공지된 운영 체제들(예를 들어, 안드로이드, iOS 등)의 어떤 버전일 수 있다. 애플리케이션들 및/또는 프로그램들을 위한 명령들이 또한 영구 기억 장치(508)에 위치할 수 있다. 이 명령들은 프로세서 유닛(504)에 의한 실행을 위해 메모리(507)에 로드될 수 있다. 예를 들어, 본 명세서에 기술된 상이한 실시예들의 방법들 및/또는 프로세스들은 메모리(507) 등의 메모리에 로드될 수 있는 컴퓨터 구현 명령들을 사용해서 프로세서 유닛(504)에 의해 실행될 수 있다. 이 명령들은 프로그램 코드, 컴퓨터 사용 가능 프로그램 코드, 또는 프로세서 유닛(504)의 프로세서에 의해 판독 및 실행될 수 있는 컴퓨터 판독 가능 프로그램 코드라고 한다.
디스플레이(514)는, 예를 들어, LCD 스크린 또는 모니터, 또는 다른 타입의 디스플레이를 통해, 사용자에게 정보를 디스플레이하기 위한 메커니즘을 제공할 수 있다. 본 설명에 걸쳐, 용어 "디스플레이(display)"는 물리적인 스크린 등의 물리적 디스플레이, 또는 물리적 장치의 스크린에서 사용자가 보는 이미지를 언급하기 위해 유연한 방식으로 사용될 수 있음을 알아야만 한다. 입력/출력(I/O) 유닛(512)은 데이터 프로세싱 시스템(500)에 연결될 수 있는 다른 장치들과의 데이터의 입력 및 출력을 허용한다. 입력/출력 장치들은 직접 또는 개재하는 I/O 제어기들을 통해 시스템에 연결될 수 있다.
통신 유닛(510)은, 예를 들어, 하나 이상의 네트워크들을 통해, 다른 데이터 프로세싱 시스템들 또는 장치들과의 통신들을 제공할 수 있다. 통신 유닛(510)은 네트워크 인터페이스 카드일 수 있다. 통신 유닛(510)은 유선 및/또는 무선 통신 링크들을 사용해서 통신들을 제공할 수 있다. 일부 실시예들에서, 통신 유닛은 각종 무선 통신 표준들, 예를 들어, 셀룰러 표준들, WIFI 표준들, 블루투스 표준들 등에 따라 통신하도록 설계 및/또는 적응된 회로를 포함할 수 있다.
데이터 프로세싱 시스템(500)에 대해 도시된 상이한 컴포넌트들은 상이한 실시예들이 구현될 수 있는 방식에 구조적 제한들을 제공하기 위한 것이 아니다. 상이한 예시적인 실시예들은 데이터 프로세싱 시스템(500)에 대해 도시된 컴포넌트들 외의 또는 그 대신의 컴포넌트들을 포함하는 데이터 프로세싱 시스템에서 구현될 수 있다. 도 5에 도시된 다른 컴포넌트들은 도시된 예시적인 예들로부터 변경될 수 있다.
본 개시 내용의 각종 실시예들은 애플리케이션 스토어와 관련된 허위 등급들 및/또는 코멘트들의 자동 검출을 위한 하나 이상의 시스템들, 방법들, 루틴들 및/또는 기술들을 기술한다. 하나 이상의 실시예들에서, 한 방법은 복수의 호스팅된 애플리케이션에 관한 진술들을 사용자들이 입력할 수 있게 해주는 애플리케이션 서비스를 호스팅하는 단계를 포함한다. 본 방법은, 애플리케이션 서비스를 통해, 복수의 호스팅된 애플리케이션 중 대상 애플리케이션과 관련된 진술을 수신하는 단계를 포함할 수 있으며, 진술은 대상 애플리케이션의 리뷰 또는 호감도를 표현한다. 본 방법은 진술이 바람직하지 않음을 검출하기 위해 진술을 분석하는 단계를 포함할 수 있으며, 분석은 진술이 대상 애플리케이션의 합법적인 사용자에 의해 입력되지 않았음을 나타내는 복수의 신호들을 종합하는 단계를 포함할 수 있다. 복수의 신호들 각각은 진술의 내용 및/또는 진술과 애플리케이션 서비스를 통해 수신된 다른 진술들 간의 관계 및/또는 애플리케이션 서비스 또는 클라이언트 장치로부터의 정보를 고려함으로써 생성될 수 있다. 본 방법은 바람직하지 않은 진술과 연관된 대상 애플리케이션 또는 사용자 계정(들)에 하나 이상의 페널티들을 자동으로 부과하는 단계를 포함할 수 있다. 일부 실시예들에서, 분석은 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것인지 감소시키도록 의도된 것인지를 결정하는 단계를 포함할 수 있다.
복수의 신호들 중 하나 이상의 신호들은 대상 애플리케이션에 대한 수신된 진술의 수를 대상 애플리케이션이 다운로드된 횟수로 나눔으로써 계산된 비율에 기초할 수 있다. 복수의 신호들 중 하나 이상의 신호들은 바람직하지 않은 진술과 하나 이상의 이전에 수신된 진술들 간의 유사성들에 기초할 수 있으며, 유사성들은 진술의 내용, 계정 관련 진술의 연령, 및 진술이 발신된 IP 어드레스 또는 지리적 로케이션을 포함한다. 복수의 신호들 중 하나 이상의 신호들은 바람직하지 않은 진술과 연관된 사용자 계정으로부터의 많은 양 또는 비율의 진술의 검출에 기초할 수 있다. 복수의 신호들 중 하나 이상의 신호들은 바람직하지 않은 진술과 연관된 사용자 계정으로부터의 진술들 간의 시간 간격들의 반복 패턴의 검출에 기초할 수 있다.
하나 이상의 페널티들은, 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 탐색 결과들 또는 제안 리스트들에 대상 애플리케이션이 나타나는 방식에 부정적인 영향을 주는 것, 및 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 바람직하지 않은 진술을 제거하거나 또는 애플리케이션 서비스를 통해 사용자들에게 바람직하지 않은 진술이 디스플레이되는 것을 방지하는 것을 포함한다. 하나 이상의 페널티들은, 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 애플리케이션 서비스로부터 대상 애플리케이션을 제거하는 것, 및 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 바람직하지 않은 진술을 제거하거나 또는 애플리케이션 서비스를 통해 사용자들에게 바람직하지 않은 진술이 디스플레이되는 것을 방지하는 것을 포함한다. 하나 이상의 페널티들은, 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 바람직하지 않은 진술과 연관된 사용자 계정을 중단 또는 취소하는 것, 및 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 바람직하지 않은 진술을 제거하거나 또는 애플리케이션 서비스를 통해 사용자들에게 바람직하지 않은 진술이 디스플레이되는 것을 방지하는 것을 포함한다.
본 개시 내용의 하나 이상의 실시예들은 컴퓨터 코드를 저장한 하나 이상의 메모리 유닛들, 및 하나 이상의 메모리 유닛들에 연결된 하나 이상의 프로세서 유닛들을 포함하는 컴퓨팅 장치를 기술할 수 있다. 하나 이상의 프로세서 유닛들은, 복수의 호스팅된 애플리케이션에 관한 진술들을 사용자들이 입력할 수 있게 해주는 애플리케이션 서비스를 호스팅하도록 컴퓨팅 장치를 적응시키기 위해 하나 이상의 메모리 유닛들에 저장된 컴퓨터 코드를 실행한다. 컴퓨팅 장치는, 애플리케이션 서비스를 통해, 복수의 호스팅된 애플리케이션들의 대상 애플리케이션과 관련된 진술을 수신하도록 더 적응될 수 있으며, 진술은 대상 애플리케이션의 리뷰 또는 호감도를 표현한다. 컴퓨팅 장치는 진술이 바람직하지 않음을 검출하기 위해 진술을 분석하도록 더 적응될 수 있으며, 분석은 진술이 대상 애플리케이션의 합법적인 사용자에 의해 입력되지 않았음을 나타내는 복수의 신호들을 종합하는 단계를 포함한다. 복수의 신호들 각각은 진술의 내용 및/또는 진술과 애플리케이션 서비스를 통해 수신된 다른 진술들 간의 관계 및/또는 애플리케이션 서비스 또는 클라이언트 장치로부터의 정보를 고려함으로써 생성될 수 있다. 컴퓨팅 장치는 바람직하지 않은 진술과 연관된 대상 애플리케이션 또는 사용자 계정(들)에 하나 이상의 페널티들을 자동으로 부과하도록 더 적응될 수 있다. 분석은 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것인지 감소시키도록 의도된 것인지의 결정을 포함할 수 있다.
복수의 신호들 중 하나 이상의 신호들은 대상 애플리케이션에 대한 수신된 진술의 수를 대상 애플리케이션이 다운로드된 횟수로 나눔으로써 계산된 비율에 기초할 수 있다. 복수의 신호들 중 하나 이상의 신호들은 바람직하지 않은 진술과 하나 이상의 이전에 수신된 진술들 간의 유사성들에 기초하고, 유사성들은 진술의 내용, 계정 관련 진술의 연령, 및 진술이 발신된 IP 어드레스 또는 지리적 로케이션을 포함한다. 복수의 신호들 중 하나 이상의 신호들은 바람직하지 않은 진술과 연관된 사용자 계정으로부터의 진술들 간의 시간 간격들의 반복 패턴의 검출에 기초한다.
하나 이상의 페널티들은, 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 탐색 결과들 또는 제안 리스트들에 대상 애플리케이션이 나타나는 방식에 대한 부정적인 영향, 및 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 바람직하지 않은 진술의 제거 또는 애플리케이션 서비스를 통해 사용자들에게 바람직하지 않은 진술이 디스플레이되는 것의 방지를 포함한다. 하나 이상의 페널티들은, 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 애플리케이션 서비스로부터 대상 애플리케이션의 제거, 및 바람직하지 않은 진술이 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 바람직하지 않은 진술의 제거 또는 애플리케이션 서비스를 통해 사용자들에게 바람직하지 않은 진술이 디스플레이되는 것의 방지를 포함한다.
본 개시 내용의 하나 이상의 실시예들은, 온라인 웹사이트를 통해 사용자-제시 등급 또는 코멘트를 수신하는 단계를 포함하는 방법을 기술할 수 있으며, 사용자-제시 등급 또는 코멘트는 제품, 서비스, 시설 또는 로케이션과 관련된다. 본 방법은 사용자-제시 등급 또는 코멘트가 웹사이트의 합법적인 사용자에 의해 제시되지 않았음을 나타내는 복수의 신호들을 결정하는 단계를 포함할 수 있으며, 결정은 사용자-제시 등급 또는 코멘트와 하나 이상의 이전에 제시된 등급들 또는 코멘트들 간의 추세들 또는 패턴들을 검출하는 단계를 포함한다. 본 방법은 복수의 신호들을 조합함으로써 사용자-제시 등급 또는 코멘트가 허위인지를 결정하는 단계를 포함할 수 있다. 본 방법은 사용자-제시 등급 또는 코멘트와 연관된 사용자 계정에 하나 이상의 페널티들을 자동으로 부과하는 단계를 포함할 수 있다. 본 방법은 제품, 서비스, 시설 또는 로케이션이 웹사이트에서 등급이 매겨지거나 제안되는 방식에 부정적인 영향을 자동으로 부과하는 단계를 포함할 수 있다. 본 방법은 웹사이트로부터의 제품, 서비스, 시설 또는 로케이션을 자동으로 중단 또는 제거하는 단계를 포함할 수 있다.
상이한 유익한 실시예들의 기술은 예시 및 설명을 목적으로 제시되었으며, 하나도 빠뜨리는 것 없이 철저하거나 기술된 형태의 실시예들로 제한되도록 의도된 것이 아니다. 다수의 변경들 및 변형들이 당업자에게 명백해질 것이다. 다른 상이한 유익한 실시예들은 다른 유익한 실시예들과 비교해 볼 때 상이한 장점들을 제공할 수 있다. 선택된 실시예 또는 실시예들은 실현 가능한 애플리케이션의 실시예들의 원리들을 가장 잘 설명하기 위해 그리고 다른 당업자가 고려되는 특정 사용에 적합한 각종 변경들과 함께 각종 실시예들에 대한 설명을 이해할 수 있게 하기 위해 선택 및 기술된 것이다.

Claims (20)

  1. 복수의 호스팅된 애플리케이션에 관한 진술들(submissions)을 사용자들이 입력할 수 있게 해주는 애플리케이션 서비스를 호스팅하는 단계;
    상기 애플리케이션 서비스를 통해, 상기 복수의 호스팅된 애플리케이션 중 대상 애플리케이션(targeted application)과 관련된 진술을 수신하는 단계 - 상기 진술은 상기 대상 애플리케이션의 리뷰 또는 호감도(a review or amount of favorability)를 표현함 - ;
    상기 진술이 바람직하지 않은지를 결정하기 위해 상기 진술을 분석하는 단계 - 상기 진술을 분석하는 단계는 상기 진술이 상기 대상 애플리케이션의 합법적인 사용자에 의해 입력되지 않았음을 나타내는 복수의 신호들을 종합(aggregating)하는 단계를 포함하고, 상기 복수의 신호들 각각은 상기 진술의 내용 및/또는 상기 진술과 상기 애플리케이션 서비스를 통해 수신된 다른 진술들 간의 관계 또는 상기 애플리케이션 서비스 또는 클라이언트 장치로부터의 정보 중 하나 이상에 기초하여 생성됨 - ; 및
    상기 진술이 바람직하지 않다는 결정에 응답하여, 상기 진술과 연관된 상기 대상 애플리케이션 또는 사용자 계정(들)에 하나 이상의 페널티들을 자동으로 부과하는 단계를 포함하며,
    상기 복수의 신호들 중 하나 이상의 신호들은, 상기 대상 애플리케이션에 대한 수신된 진술의 수를 상기 대상 애플리케이션이 다운로드된 횟수로 나눔으로써 계산된 비율에 기초하는 방법.
  2. 제1항에 있어서,
    상기 진술을 분석하는 단계는 상기 바람직하지 않은 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것인지 감소시키도록 의도된 것인지를 결정하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    상기 하나 이상의 페널티들은,
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 탐색 결과들 또는 제안 리스트들에 상기 대상 애플리케이션이 나타나는 방식에 부정적인 영향을 주는 것; 및
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 상기 진술을 제거하거나, 또는 상기 애플리케이션 서비스를 통해 사용자들에게 상기 진술이 디스플레이되는 것을 방지하는 것
    을 포함하는 방법.
  4. 제2항에 있어서,
    상기 하나 이상의 페널티들은,
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 상기 애플리케이션 서비스로부터 상기 대상 애플리케이션을 제거하는 것; 및
    상기 바람직하지 않은 진술이 상기 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 상기 진술을 제거하거나, 또는 상기 애플리케이션 서비스를 통해 사용자들에게 상기 진술이 디스플레이되는 것을 방지하는 것
    을 포함하는 방법.
  5. 제2항에 있어서,
    상기 하나 이상의 페널티들은,
    상기 바람직하지 않은 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 상기 진술과 연관된 사용자 계정을 중단 또는 취소하는 것; 및
    상기 바람직하지 않은 진술이 상기 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 상기 진술을 제거하거나, 또는 상기 애플리케이션 서비스를 통해 사용자들에게 상기 진술이 디스플레이되는 것을 방지하는 것
    을 포함하는 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 복수의 신호들 중 하나 이상의 신호들은, 상기 진술과 하나 이상의 이전에 수신된 진술들 간의 유사성들(similarities)에 기초하고, 상기 유사성들은 진술의 내용, 계정 관련 진술의 연령(age of account associated submission), 및 진술이 발신된 IP 어드레스 또는 지리적 로케이션을 포함하는 방법.
  8. 제1항에 있어서,
    상기 복수의 신호들 중 하나 이상의 신호들은 상기 진술과 연관된 사용자 계정으로부터의 양 또는 비율의 진술(volume or rate of submission)의 검출에 기초하는 방법.
  9. 제1항에 있어서,
    상기 복수의 신호들 중 하나 이상의 신호들은 상기 진술과 연관된 상기 사용자 계정으로부터의 진술들 간의 시간 간격들의 반복 패턴의 검출에 기초하는 방법.
  10. 컴퓨팅 장치로서,
    컴퓨터 코드를 저장한 하나 이상의 메모리 유닛들; 및
    상기 하나 이상의 메모리 유닛들에 연결된 하나 이상의 프로세서 유닛들
    을 포함하며,
    상기 하나 이상의 프로세서 유닛들은,
    복수의 호스팅된 애플리케이션에 관한 진술들을 사용자들이 입력할 수 있게 해주는 애플리케이션 서비스를 호스팅하고;
    상기 애플리케이션 서비스를 통해, 상기 복수의 호스팅된 애플리케이션 중 대상 애플리케이션과 관련된 진술을 수신하며 - 상기 진술은 상기 대상 애플리케이션의 리뷰 또는 호감도를 표현함 - ;
    상기 진술이 바람직하지 않은지를 결정하기 위해 상기 진술을 분석하고 - 상기 진술을 분석하는 것은 상기 진술이 상기 대상 애플리케이션의 합법적인 사용자에 의해 입력되지 않았음을 나타내는 복수의 신호들을 종합하는 것을 포함하고, 상기 복수의 신호들 각각은 상기 진술의 내용 및/또는 상기 진술과 상기 애플리케이션 서비스를 통해 수신된 다른 진술들 간의 관계 또는 상기 애플리케이션 서비스 또는 클라이언트 장치로부터의 정보 중에서 하나 이상에 기초하여 생성됨 - ; 및
    상기 진술이 바람직하지 않다는 결정에 응답하여, 상기 진술과 연관된 상기 대상 애플리케이션 또는 사용자 계정(들)에 하나 이상의 페널티들을 자동으로 부과하도록
    상기 컴퓨팅 장치를 적응시키기 위해 상기 하나 이상의 메모리 유닛들에 저장된 상기 컴퓨터 코드를 실행하며,
    상기 복수의 신호들 중 하나 이상의 신호들은 상기 대상 애플리케이션에 대한 수신된 진술의 수를 상기 대상 애플리케이션이 다운로드된 횟수로 나눔으로써 계산된 비율에 기초하는 컴퓨팅 장치.
  11. 제10항에 있어서,
    상기 진술을 분석하는 것은 상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것인지 감소시키도록 의도된 것인지의 결정을 포함하는 컴퓨팅 장치.
  12. 제11항에 있어서,
    상기 하나 이상의 페널티들은,
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 탐색 결과들 또는 제안 리스트들에 상기 대상 애플리케이션이 나타나는 방식에 대한 부정적인 영향; 및
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 상기 진술의 제거, 또는 상기 애플리케이션 서비스를 통해 사용자들에게 상기 진술이 디스플레이되는 것의 방지
    를 포함하는 컴퓨팅 장치.
  13. 제11항에 있어서,
    상기 하나 이상의 페널티들은,
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 증가시키도록 의도된 것이면, 상기 애플리케이션 서비스로부터의 상기 대상 애플리케이션의 제거; 및
    상기 진술이 상기 대상 애플리케이션의 인기 또는 등급을 감소시키도록 의도된 것이면, 상기 진술의 제거, 또는 상기 애플리케이션 서비스를 통해 사용자들에게 상기 진술이 디스플레이되는 것의 방지
    를 포함하는 컴퓨팅 장치.
  14. 삭제
  15. 제10항에 있어서,
    상기 복수의 신호들 중 하나 이상의 신호들은 상기 진술과 하나 이상의 이전에 수신된 진술들 간의 유사성들에 기초하고, 상기 유사성들은 진술의 내용, 계정 관련 진술의 연령, 및 진술이 발신된 IP 어드레스 또는 지리적 로케이션을 포함하는 컴퓨팅 장치.
  16. 제10항에 있어서,
    상기 복수의 신호들 중 하나 이상의 신호들은 상기 진술과 연관된 상기 사용자 계정으로부터의 진술들 간의 시간 간격들의 반복 패턴의 검출에 기초하는 컴퓨팅 장치.
  17. 온라인 웹사이트를 통해 사용자-제시(user-submitted) 등급 또는 코멘트를 수신하는 단계 - 상기 사용자-제시 등급 또는 코멘트는 제품, 서비스, 시설(establishment) 또는 로케이션과 관련됨 - ;
    상기 사용자-제시 등급 또는 코멘트가 상기 웹사이트의 합법적인 사용자에 의해 제시되지 않았음을 나타내는 복수의 신호들을 결정하는 단계 - 상기 결정은 상기 사용자-제시 등급 또는 코멘트와 하나 이상의 이전에 제시된 등급들 또는 코멘트들 간의 추세들 또는 패턴들을 검출하는 것을 포함함 - ; 및
    상기 복수의 신호들을 조합함으로써 상기 사용자-제시 등급 또는 코멘트가 허위인지를 결정하는 단계를 포함하며,
    상기 복수의 신호들 중 하나 이상의 신호들은, 상기 대상 애플리케이션에 대한 수신된 진술의 수를 상기 대상 애플리케이션이 다운로드된 횟수로 나눔으로써 계산된 비율에 기초하는 방법.
  18. 제17항에 있어서,
    상기 사용자-제시 등급 또는 코멘트와 연관된 사용자 계정에 하나 이상의 페널티들을 자동으로 부과하는 단계를 더 포함하는 방법.
  19. 제17항에 있어서,
    상기 제품, 서비스, 시설 또는 로케이션이 상기 웹사이트에서 등급이 매겨지거나 제안되는 방식에 부정적인 영향을 자동으로 부과하는 단계를 더 포함하는 방법.
  20. 제17항에 있어서,
    상기 웹사이트로부터 상기 제품, 서비스, 시설 또는 로케이션을 자동으로 중단 또는 제거하는 단계를 더 포함하는 방법.
KR1020140015381A 2013-02-11 2014-02-11 애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출 KR102180495B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/764,290 US9479516B2 (en) 2013-02-11 2013-02-11 Automatic detection of fraudulent ratings/comments related to an application store
US13/764,290 2013-02-11

Publications (2)

Publication Number Publication Date
KR20140101697A KR20140101697A (ko) 2014-08-20
KR102180495B1 true KR102180495B1 (ko) 2020-11-18

Family

ID=50112717

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140015381A KR102180495B1 (ko) 2013-02-11 2014-02-11 애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출

Country Status (4)

Country Link
US (1) US9479516B2 (ko)
EP (1) EP2765550A1 (ko)
KR (1) KR102180495B1 (ko)
CN (1) CN103984673A (ko)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9844729B2 (en) * 2012-12-26 2017-12-19 Sony Interactive Entertainment America Llc Systems and methods for managing video game titles and user play metrics for video game titles executing on a game cloud system
KR20140107713A (ko) * 2013-02-25 2014-09-05 한국전자통신연구원 통합 앱스토어 장치, 상기 장치에서의 애플리케이션 제공 방법 및 통합 앱스토어 시스템
CN103530796B (zh) * 2013-10-10 2016-06-01 北京智谷睿拓技术服务有限公司 应用程序的活跃期检测方法和活跃期检测系统
CN103559208B (zh) * 2013-10-10 2017-03-01 北京智谷睿拓技术服务有限公司 应用程序的排名欺诈检测方法和排名欺诈检测系统
US9721087B1 (en) * 2014-09-30 2017-08-01 EMC IP Holding Company LLC User authentication
WO2016141510A1 (en) * 2015-03-06 2016-09-15 Nokia Technologies Oy Method and apparatus for mutual-aid collusive attack detection in online voting systems
US10382476B1 (en) * 2015-03-27 2019-08-13 EMC IP Holding Company LLC Network security system incorporating assessment of alternative mobile application market sites
US10229219B2 (en) * 2015-05-01 2019-03-12 Facebook, Inc. Systems and methods for demotion of content items in a feed
CN106294355A (zh) * 2015-05-14 2017-01-04 阿里巴巴集团控股有限公司 一种业务对象属性的确定方法及设备
CN104867017A (zh) * 2015-05-16 2015-08-26 成都数联铭品科技有限公司 电子商务客户虚假评价识别系统
CN104867019A (zh) * 2015-05-16 2015-08-26 成都数联铭品科技有限公司 基于id相似性识别的电商评价鉴别系统
CN104881796A (zh) * 2015-05-16 2015-09-02 成都数联铭品科技有限公司 基于评价内容和id识别的虚假评价判断系统
CN104867032A (zh) * 2015-05-16 2015-08-26 成都数联铭品科技有限公司 电子商务客户评价鉴别系统
CN104867033A (zh) * 2015-05-16 2015-08-26 成都数联铭品科技有限公司 电子商务客户评价判断标记系统
CN104867018A (zh) * 2015-05-16 2015-08-26 成都数联铭品科技有限公司 基于评价内容和id相似性识别的电商评价判断系统
CN104867020A (zh) * 2015-05-16 2015-08-26 成都数联铭品科技有限公司 一种虚假评价id判断识别系统
CN104881795A (zh) * 2015-05-16 2015-09-02 成都数联铭品科技有限公司 一种电商虚假评价的判断识别方法
CN106485507B (zh) * 2015-09-01 2019-10-18 阿里巴巴集团控股有限公司 一种软件推广作弊的检测方法、装置及系统
US10235699B2 (en) * 2015-11-23 2019-03-19 International Business Machines Corporation Automated updating of on-line product and service reviews
US10607233B2 (en) 2016-01-06 2020-03-31 International Business Machines Corporation Automated review validator
CN105869022B (zh) * 2016-04-07 2020-10-23 腾讯科技（深圳）有限公司 一种应用流行度预测方法和装置
US10460298B1 (en) 2016-07-22 2019-10-29 Intuit Inc. Detecting and correcting account swap in bank feed aggregation system
US20180121830A1 (en) * 2016-11-02 2018-05-03 Facebook, Inc. Systems and methods for classification of comments for pages in social networking systems
RU2634182C1 (ru) * 2016-12-12 2017-10-24 Акционерное общество "Лаборатория Касперского" Способ противодействия несправедливым оценкам приложений
US10387968B2 (en) 2017-01-26 2019-08-20 Intuit Inc. Method to determine account similarity in an online accounting system
US10331436B2 (en) 2017-03-20 2019-06-25 International Business Machines Corporation Smart reviews for applications in application stores
US10726501B1 (en) 2017-04-25 2020-07-28 Intuit Inc. Method to use transaction, account, and company similarity clusters derived from the historic transaction data to match new transactions to accounts
US10956986B1 (en) 2017-09-27 2021-03-23 Intuit Inc. System and method for automatic assistance of transaction sorting for use with a transaction management service
KR101960960B1 (ko) * 2017-09-28 2019-03-22 (주)망고플레이트 Hhi를 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법
KR101960962B1 (ko) * 2017-09-28 2019-03-22 (주)망고플레이트 빈도의 변화 정보를 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법
US10824721B2 (en) 2018-05-22 2020-11-03 International Business Machines Corporation Detecting and delaying effect of machine learning model attacks
US11093985B2 (en) * 2018-09-25 2021-08-17 Valideck International System, devices, and methods for acquiring and verifying online information
KR102181891B1 (ko) * 2018-12-03 2020-11-23 박정식 검증형 온라인 다중 토론 방법
KR102080345B1 (ko) * 2018-12-21 2020-02-21 (주)망고플레이트 허위 평가 사용자 집단의 선별을 이용한 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법
KR102080344B1 (ko) * 2018-12-21 2020-02-21 (주)망고플레이트 헤비 사용자와 허위 평가 사용자를 구분하는 온라인 콘텐츠의 허위 평가 정보 적발 장치 및 방법
US11373220B2 (en) * 2019-05-07 2022-06-28 Capital One Services, Llc Facilitating responding to multiple product or service reviews associated with multiple sources
US12026790B2 (en) * 2019-05-13 2024-07-02 Google Llc Methods, systems, and media for identifying abusive content items
US11258741B2 (en) * 2019-08-15 2022-02-22 Rovi Guides, Inc. Systems and methods for automatically identifying spam in social media comments
US11677703B2 (en) 2019-08-15 2023-06-13 Rovi Guides, Inc. Systems and methods for automatically identifying spam in social media comments based on context
US11086948B2 (en) 2019-08-22 2021-08-10 Yandex Europe Ag Method and system for determining abnormal crowd-sourced label
US11710137B2 (en) 2019-08-23 2023-07-25 Yandex Europe Ag Method and system for identifying electronic devices of genuine customers of organizations
RU2757007C2 (ru) 2019-09-05 2021-10-08 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для определения вредоносных действий определенного вида
US11108802B2 (en) 2019-09-05 2021-08-31 Yandex Europe Ag Method of and system for identifying abnormal site visits
US11128645B2 (en) 2019-09-09 2021-09-21 Yandex Europe Ag Method and system for detecting fraudulent access to web resource
US11334559B2 (en) 2019-09-09 2022-05-17 Yandex Europe Ag Method of and system for identifying abnormal rating activity
RU2752241C2 (ru) 2019-12-25 2021-07-23 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для выявления вредоносной активности предопределенного типа в локальной сети
US11438289B2 (en) * 2020-09-18 2022-09-06 Khoros, Llc Gesture-based community moderation
KR102644685B1 (ko) * 2021-02-17 2024-03-11 주식회사 스마트캐스트 리뷰 신뢰도 검증 장치 및 방법
KR102496823B1 (ko) * 2021-04-13 2023-02-08 주식회사 알파플러스 성형 플랫폼의 허위 후기 검증을 기반으로 하는 올바른 의료기관 정보 공유 시스템 및 그를 이용한 의료기관 정보 공유 방법
KR102670060B1 (ko) * 2021-06-24 2024-06-03 (주)에이치엔에스커뮤니케이션 고객 후기 선별 맞춤형 추천 방법 및 시스템
US11545138B1 (en) * 2021-09-07 2023-01-03 Instreamatic, Inc. Voice review analysis
KR102565105B1 (ko) * 2022-12-14 2023-08-09 주식회사 맥스테일 가짜리뷰 필터링을 이용한 온라인 마케팅 서비스 제공 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7519562B1 (en) * 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
US8056128B1 (en) * 2004-09-30 2011-11-08 Google Inc. Systems and methods for detecting potential communications fraud
US20110321072A1 (en) 2010-06-29 2011-12-29 Google Inc. Self-Service Channel Marketplace

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6182059B1 (en) * 1997-04-03 2001-01-30 Brightware, Inc. Automatic electronic message interpretation and routing system
US6516056B1 (en) * 2000-01-07 2003-02-04 Vesta Corporation Fraud prevention system and method
US20060149821A1 (en) * 2005-01-04 2006-07-06 International Business Machines Corporation Detecting spam email using multiple spam classifiers
CN101399683B (zh) * 2007-09-25 2011-05-11 中国科学院声学研究所 一种信誉系统中的信誉计算方法
CN101334787B (zh) * 2008-07-22 2011-11-23 刘宜云 一种对象评价信息的查询系统及方法
US8424091B1 (en) * 2010-01-12 2013-04-16 Trend Micro Incorporated Automatic local detection of computer security threats
US10474752B2 (en) 2011-04-07 2019-11-12 Infosys Technologies, Ltd. System and method for slang sentiment classification for opinion mining
KR20130012174A (ko) * 2011-06-20 2013-02-01 삼성전자주식회사 통신 시스템에서 사용 후기 서비스 제공 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8056128B1 (en) * 2004-09-30 2011-11-08 Google Inc. Systems and methods for detecting potential communications fraud
US7519562B1 (en) * 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
US20110321072A1 (en) 2010-06-29 2011-12-29 Google Inc. Self-Service Channel Marketplace

Also Published As

Publication number Publication date
EP2765550A1 (en) 2014-08-13
CN103984673A (zh) 2014-08-13
US20140230053A1 (en) 2014-08-14
US9479516B2 (en) 2016-10-25
KR20140101697A (ko) 2014-08-20

Similar Documents

Publication Publication Date Title
KR102180495B1 (ko) 애플리케이션 스토어와 관련된 허위 등급들/코멘트들의 자동 검출
Iqbal et al. The ad wars: retrospective measurement and analysis of anti-adblock filter lists
TWI727202B (zh) 用於識別欺詐的發布商網路之方法與系統
CN107592930B (zh) 应用的自动爬取
US11146586B2 (en) Detecting a root cause for a vulnerability using subjective logic in social media
US20150324868A1 (en) Query Categorizer
US20150347585A1 (en) Personalized Search Results
WO2016168037A1 (en) Nexus determination in a computing device
KR101851254B1 (ko) 애플리케이션-맞춤형 객체 재-사용 및 리사이클링
CN106899549B (zh) 一种网络安全检测方法及装置
CN109034867B (zh) 点击流量检测方法、装置及存储介质
US9946794B2 (en) Accessing special purpose search systems
EP3908945A1 (en) Systems and methods for enhanced host classification
Hieu et al. Cv-inspector: Towards automating detection of adblock circumvention
CN103973635A (zh) 页面访问控制方法和相关装置及系统
WO2023160446A1 (zh) 恶意网址识别方法、装置、存储介质及电子设备
WO2015167999A1 (en) Application spam detector
US10157210B2 (en) Searching and accessing software application functionality using application connections
US20230188437A1 (en) Methods and apparatus to determine main pages from network traffic
CN110457632A (zh) 网页加载的处理方法及装置
US11645346B2 (en) System and method of generating individual content for a user of a service
US20170171292A1 (en) Generating Software Application Search Results Using Shared Application Connections
CN112732542A (zh) 信息处理方法、信息处理装置及终端设备
US10146879B2 (en) Generating software application search results using application connection keywords
US12026211B2 (en) System and method of training a model to identify a user to a predetermined degree of reliability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant