KR101881647B1 - 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램 - Google Patents

온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR101881647B1
KR101881647B1 KR1020160112693A KR20160112693A KR101881647B1 KR 101881647 B1 KR101881647 B1 KR 101881647B1 KR 1020160112693 A KR1020160112693 A KR 1020160112693A KR 20160112693 A KR20160112693 A KR 20160112693A KR 101881647 B1 KR101881647 B1 KR 101881647B1
Authority
KR
South Korea
Prior art keywords
bot
group
clustering
game data
game
Prior art date
Application number
KR1020160112693A
Other languages
English (en)
Other versions
KR20180025692A (ko
Inventor
이세희
김수아
김다해
이지형
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160112693A priority Critical patent/KR101881647B1/ko
Publication of KR20180025692A publication Critical patent/KR20180025692A/ko
Application granted granted Critical
Publication of KR101881647B1 publication Critical patent/KR101881647B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5566—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history by matching opponents or finding partners to build a team, e.g. by skill level, geographical area, background, play style

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 봇 탐지 장치 및 컴퓨터 프로그램을 제공한다. 상기 방법은 봇 탐지를 위한 서버에서, 수집된 게임 데이터를 이용하여 상기 온라인 게임 상에서의 사용자들의 위치에 기반하여 사용자들을 군집화하는 단계와 상기 봇 탐지를 위한 서버에서, 상기 군집화하는 단계에서 산출된 사용자 그룹들을 봇 그룹과 사람 그룹으로 분류하는 단계를 포함한다.

Description

온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램{METHOD, APPARATUS, AND COMPUTER PROGRAM FOR DETECTING BOT PROGRAM BASED ON GROUP USING LOCATION INFORMATION IN ONLINE GAME}
본 발명은 온라인 게임에서의 봇 탐지 방법에 관한 것이며, 더 구체적으로는 온라인 게임상의 위치에 기반한 봇 탐지 방법에 관한 것이다.
'봇'이란 로봇의 줄인 말로 다른 프로그램을 위해 반복작업을 수행하는 프로그램을 의미한다. 온라인 게임에서는 일반적으로 멀티 플레이 게임 모드 등에서 등장하는 '인공지능 플레이어'를 말한다. 봇은 온라인 게임 클라이언트 실행시 함께 실행되어 마우스나 키보드 이벤트를 발생시켜 사냥, 제작, 채집 등을 자동으로 수행하는 프로그램을 말한다.
온라인 게임 중 RPG(Role Playing Game)는 플레이어들이 각각의 캐릭터를 맡아 퀘스트(Quest)를 수행하거나 경험치를 쌓아 자신의 캐릭터의 레벨을 올리는 방식을 취한다. 따라서, 게임의 진행을 위해 아이템이나 게임 머니 등의 재화가 필요한 경우가 일반적이다.
게임 봇의 경우 인공지능이 플레이어 대신 자동 명령을 수행하기 때문에 자동 사냥 혹은 자동 채집으로 게임 내 재화를 쉽게 얻을 수 있고 캐릭터의 성장도 쉽고 빠르게 할 수 있다. 게임 봇은 다른 사용자의 플레이를 방해하고 불법적으로 상대적으로 적은 노력과 시간을 투자하여 게임 내 재화를 취득하기 때문에, 다른 사용자들의 의욕을 상실하게 하며 게임 운영을 어렵게 한다. 이러한 게임 봇이 생기는 이유는 게임 내 재화를 현금으로 바꿀 수 있기 때문이다. 이를 위해 불법 사용자들은 조직적, 전문적으로 시설을 차려 '작업장'을 운영하여 대규모로 부당한 수익을 얻고 있다. 이러한 게임 봇에 의한 무분별한 이득활동은 일반 사용자에게 불쾌감을 줄 뿐만 아니라 게임 속 시장 구조에 큰 영향을 끼쳐 게임 시장을 붕괴시키고 결국에는 게임의 수명을 단축시키는 등 게임 회사 및 사용자에게 큰 피해를 발생시키는 문제점이 있다.
이러한 게임 봇을 탐지하기 위해, 일반 사용자와 게임 봇 간의 게임 패턴의 차이로 게임 봇을 탐지하는 기술이 제안되었다.
한국 등록 특허 10-1267725호는 봇 프로그램으로 의심되는 파일들을 분류한 후 각 파일들의 패턴을 서버로 전송하여 봇 프로그램 여부를 판단하는 봇 프로그램 패턴 수집 방법에 대해 개시하고 있다.
한국 등록 특허 10-1237161호는 봇 제작시의 디버깅 이벤트, 보안 제품 무력화 시도 또는 마우스 및 키보드 입력 이벤트 발생처리, 코드 인젝션 등의 징후를 포착하여 비공개 봇 프로그램을 검출하는 방법을 개시하고 있다.
상기와 같이 캐릭터의 행위 시퀀스를 보거나 플레이 스타일을 보고 봇을 탐지하는 기술들이 제안되었지만, 봇들의 행동이 갈수록 지능화되어 사람의 패턴과 비슷해져 탐지가 어려워지고 있다. 또한, 행위 기반 로그를 실시간으로 필요로 한다는 점에서 필요 이상의 많은 로그를 수집해야 하기 때문에 서버에 무리를 주는 등 한계점을 보이고 있다.
본 발명의 목적은 사용자들의 온라인 게임 상의 위치, 상태, 로그 데이터를 사용하는 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 봇 탐지 장치 및 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지를 위해 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 일 측면에 따르면, 본 발명은 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법을 제공한다. 상기 방법은 봇 탐지를 위한 서버에서, 수집된 게임 데이터를 이용하여 상기 온라인 게임 상에서의 사용자들의 위치에 기반하여 사용자들을 군집화하는 단계와 상기 봇 탐지를 위한 서버에서, 상기 군집화하는 단계에서 산출된 사용자 그룹들을 봇 그룹과 사람 그룹으로 분류하는 단계를 포함한다.
상기 방법은 상기 봇 탐지를 위한 서버에서 관리자가 지정한 소정 기간의 게임 데이터를 수집하는 단계를 더 포함할 수 있다.
상기 게임 데이터를 수집하는 단계는 초기 설정 사항인 상기 게임 데이터 수집 기간, 수집할 게임 데이터 종류, 상기 군집화 간격, 및 상기 분류를 위한 특징들과 상기 특징들을 측정하기 위한 수학식들 중 적어도 하나를 설정하거나 변경하기 위해 상기 관리자로부터 입력받는 단계와 상기 초기 설정에 따라 게임 데이터를 수집하는 단계를 포함할 수 있다.
상기 수집할 게임 데이터 종류는 레벨 로그, 접속 로그, 위치 로그, 및 파티 로그 중 적어도 하나를 포함할 수 있다.
상기 사용자들을 군집화하는 단계는 군집화 모델을 기반으로 소정의 시간 간격당 한 번씩 상기 사용자들의 좌표 정보를 이용하여 상기 사용자들을 군집화할 수 있다.
상기 군집화 모델은 가우시안 혼합 모델, k-평균 클러스터링(k-means clustering), 및 계층적 클러스터링(hierarchical clustering) 중 어느 하나일 수 있다.
상기 군집화하는 단계는 상기 소정 시간 간격당 한 번씩 군집화하였을 때 한 사용자를 기준으로 같은 곳에 분류된 횟수가 가장 높은 사용자를 상기 기준이 된 사용자의 그룹으로 간주할 수 있다.
상기 분류하는 단계는 봇 그룹과 사람 그룹을 구분할 수 있는 특징을 추출하는 단계와 분류 알고리즘을 통해 봇 그룹과 사람 그룹으로 분류하는 단계를 포함할 수 있다.
상기 특징을 추출하는 단계는 동시 접속률, 서로의 거리, 레벨 차이, 및 파티 정보 중 적어도 하나에 대한 특징을 추출하는 것을 포함할 수 있다.
상기 동시 접속률은 수학식
Figure 112016085534466-pat00001
(
Figure 112016085534466-pat00002
: 동시 접속 시간,
Figure 112016085534466-pat00003
: 기준 사용자 접속 시간,
Figure 112016085534466-pat00004
: 짝 사용자 접속 시간)을 이용하여 구할 수 있다.
상기 서로의 거리는 수학식
Figure 112016085534466-pat00005
(
Figure 112016085534466-pat00006
: 시간에 대한 평균,
Figure 112016085534466-pat00007
: 기준 사용자 x 좌표,
Figure 112016085534466-pat00008
: 기준 사용자 y 좌표,
Figure 112016085534466-pat00009
: 짝 사용자 x 좌표,
Figure 112016085534466-pat00010
: 짝 사용자 y 좌표)을 이용하여 구할 수 있다.
상기 레벨 차이는 수학식
Figure 112016085534466-pat00011
(
Figure 112016085534466-pat00012
: 기준 사용자 레벨,
Figure 112016085534466-pat00013
: 짝 사용자 레벨)을 이용하여 구할 수 있다.
상기 파티 정보는 수학식
Figure 112016085534466-pat00014
(party time: 둘 다 파티 중인 시간,
Figure 112016085534466-pat00015
: 동시 접속 시간)을 이용하여 구할 수 있다.
상기 분류 알고리즘은 로지스틱 회귀분석, 서포트 벡터 머신, 로지스틱 회귀분석, 의사 결정 트리, 랜덤 포레스트(random forest), k-nn, 선형 회귀, 및 뉴럴 네트워크(Neural Network) 중 어느 하나일 수 있다.
본 발명의 또 다른 측면에 따르면, 본 발명은 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지를 위해 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램을 제공한다. 상기 프로그램은 컴퓨팅 시스템이 제1항 내지 제14항 중 어느 한 항의 방법을 수행하도록 하는 명령들을 포함한다.
본 발명의 또 다른 측면에 따르면, 본 발명은 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 장치를 제공한다. 상기 장치는 수신된 게임 데이터를 이용하여 상기 온라인 게임 상에서의 사용자들의 위치에 기반하여 사용자들을 군집화하는 군집화 모듈과 상기 군집화 모듈에서 산출된 사용자 그룹들을 봇 그룹과 사람 그룹으로 분류하는 분류 모듈을 가지는 처리부를 포함한다.
상기 장치는 관리자가 지정한 소정 기간의 게임 데이터를 수신하는 입력부와 상기 봇 그룹과 상기 사람 그룹을 분류한 결과를 출력하는 출력부를 더 포함할 수 있다.
상기 입력부는 상기 관리자가 입력한 초기 설정 사항인 상기 게임 데이터 수집 기간, 수집할 게임 데이터 종류, 상기 군집화 간격, 및 상기 분류를 위한 특징들과 상기 특징들을 측정하기 위한 수학식들 중 적어도 하나를 수신하고, 상기 초기 설정에 따라 게임 데이터를 수신할 수 있다.
상기 수집할 게임 데이터 종류는 레벨 로그, 접속 로그, 위치 로그, 및 파티 로그 중 적어도 하나를 포함할 수 있다.
상기 군집화 모듈은 군집화 모델을 기반으로 소정의 시간 간격당 한 번씩 사용자들의 좌표 정보를 이용하여 군집화를 수행할 수 있다.
상기 분류 모듈은 봇 그룹과 사람 그룹을 구분할 수 있는 특징을 추출하고, 분류 알고리즘을 통해 봇 그룹과 사람 그룹으로 분류하는 것을 수행할 수 있다.
상기 특징은 동시 접속률, 서로의 거리, 레벨 차이, 및 파티 정보 중 적어도 하나에 대한 특징을 포함할 수 있다.
관리자가 지정한 초기 설정, 게임 데이터, 군집화 결과, 분류 결과 중 적어도 하나를 저장하는 데이터베이스를 더 포함할 수 있다.
본 발명의 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 봇 탐지 장치, 및 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지를 위해 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램은 그룹단위 추출로 더욱 효과적으로 봇을 탐지할 수 있다. 또한, 특정 게임에 국한된 것이 아닌 보다 범용적으로 적용될 수 있다.
도 1a는 본 발명의 일 실시 예에 따른 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법의 순서도이다.
도 1b는 본 발명의 일 실시 예에 따른 그룹 분류 방법의 순서도이다
도 2는 본 발명의 일 실시 예에 따른 그룹 분류 방법을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 장치의 개략도이다.
도 4는 본 발명의 일 실시 예에 따른 봇 탐지 실험 결과 그래프이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등을 포함하는 용어가 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여 본 발명에 바람직한 실시 예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다.
온라인게임의 큰 특징 중 하나는 협동으로, 게임을 진행하기 위해서 여럿이 움직이는 것이 가장 효과적이다. 대부분의 플레이어들은 자신의 레벨에 맞는 구간에서 다른 플레이어들과 비슷한 행동 양상을 보인다. 또, 다른 플레이어와의 협동 및 친목활동으로 함께 행동하는 특징을 보인다. 이에 따라 사람 그룹과 봇 그룹은 매우 다른 양상을 보인다. 플레이어들은 플레이어들과 어울리고 봇들과 어울리지 않는다. 봇들은 봇들과 파티를 지어 지능적으로 사냥 및 작업을 한다.
기존 탐지 방법을 사용하면 작업장들이 여러 캐릭터들을 바꿔가며 수많은 계정을 키워내기 때문에 큰 효과를 보기 어렵다. 그러나 사람 그룹과 봇 그룹이 다른 양상을 보이는 점을 이용하여 그룹 단위 탐지를 하게 되면 더욱 효과적으로 봇을 탐지할 수 있을 것이다.
기존에도 봇 길드, 봇 파티 등 그룹으로 하는 탐지에 대한 연구가 일부 진행되어 왔다. 그러나 파티나 길드와 같은 그룹으로 탐지를 했을 때는 활강 특성을 사용하거나 길드 내부 정보와 같은 기존 로그 데이터를 이용하여 범용적으로 적용할 수 없는 한계가 있었다.
본 발명은 상기와 같은 문제를 해결하기 위해 종래와 같이 사냥 패턴을 이용하지 않고 온라인 게임 상의 위치, 상태, 로그를 사용하여 봇을 탐지한다.
이하 본 발명의 일 실시 예인 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 그룹 탐지 방법에 관해 설명한다.
도 1a는 본 발명의 일 실시 예에 따른 온라인 게임 위치 기반 그룹 분류를 통한 봇 탐지 방법의 순서도이다. 도 1a를 참조하면, 상기 방법은 게임 로그로부터 사용자들의 위치, 레벨, 접속시간, 파티 여부 등을 포함하는 게임 데이터를 수집하는 단계(S1), 사용자들을 군집화하는 단계(S2), 상기 그룹들로부터 봇과 사람 그룹을 분류하는 단계(S3)를 포함한다.
상기 게임 데이터를 수집하는 단계(S1)는 게임 로그로부터 사용자들의 좌표(예를 들어, x, y 좌표)를 이용한 게임상에서의 위치, 사용자의 현재 레벨, 파티 여부, 및 게임 접속 시간에 대한 로그를 각각의 사용자에 대해 일정 시간 간격(예를 들어, 5분 단위)로 수집하는 단계이다. 상기 시간 간격은 관리자(즉, 봇 탐지를 하고자 하는 관리자)에 의해 설정되거나 변경될 수 있다.
상기 사용자들을 군집화하는 단계(S2)는 군집화 모델(예를 들어, k-평균 클러스터링(k-means clustering), 계층적 클러스터링(hierarchical clustering), 가우시안 혼합 모델 등)을 기반으로 일정 시간 간격(예를 들어, 5분 단위)당 한 번씩 사용자들의 좌표 정보를 이용하여 군집화를 하는 단계이다. 상기 시간 간격은 관리자에 의해 설정되거나 변경될 수 있다.
상기 군집화 모델은 데이터마이닝 기법, 통계적 기법, 유사도 패턴 매칭 기법 등 여러 기법 중 하나의 모델을 선택하여 사용할 수 있다.
본 발명의 일 실시 예에서 사용한 상기 군집화 모델 중 하나인 가우시안 혼합 모델은 주어진 표본 데이터 집합의 분포 밀도를 단 하나의 확률밀도 함수로 모델링하는 방법을 개선한 밀도 추정방법으로 복수의 가우시안 확률밀도함수로 데이터의 분포를 모델링하는 방법이다. 상기 가우시안 혼합 모델은 모델 스스로 최적의 k 값을 구할 수 있어 모델 자동화가 가능하다. 도 2는 본 발명의 일 실시 예에 따른 그룹 분류 방법을 도시한 도면이다. 도 2를 참조하면, 상기 군집화하는 단계(S2)에서 일정 시간 간격당 한 번씩 군집화하였을 때 같은 곳에 분류된 횟수를 사용자들 간의 연관성 정도에 대한 스코어(score)로 정의한다. 이 때 한 사용자를 기준으로 스코어가 가장 높은 다른 사용자를 기준이 된 사용자의 그룹으로 간주한다. 사용자 사이의 관련 점수
Figure 112016085534466-pat00016
는 수학식 1과 같을 수 있다.
Figure 112016085534466-pat00017
Figure 112016085534466-pat00018
(
Figure 112016085534466-pat00019
: 시간 t에서 i번째 사용자의 그룹 정보)
상기 설명에서는 한 사용자를 기준으로 스코어가 가장 높은 다른 사용자만 기준이 된 사용자의 그룹으로 간주하였으나, 스코어가 가장 높은 한 명의 다른 사용자만이 아닌 여러 명의 다른 사용자를 기준이 된 사용자의 그룹으로 간주할 수도 있다.
도 1a 및 도 1b를 참조하면, 사용자들의 군집화가 완료된 후 상기 봇 그룹과 사람 그룹을 분류하는 단계(S3)에서 봇 그룹과 사람 그룹을 구분할 수 있는 특징을 추출하고 분류 알고리즘(예를 들어, 로지스틱 회귀분석(Logistic Regression), 서포트 벡터 머신(Support Vector Machine, SVM), 의사 결정 트리, 랜덤 포레스트(random forest), k-nn, 선형 회귀, 뉴럴 네트워크 등)을 사용하여 봇 그룹을 탐지한다. 상기 특징들은 개인 활동보다는 그룹 내의 상태 차이를 중심으로 추출한다.
같은 작업장의 봇들은 사냥 및 활동을 위해 서로 그룹을 지어 다니고, 사람들은 보다 효율적이고 사회적인 플레이를 위해 사람들과 그룹을 지어서 다닌다. 봇 그룹과 사용자 그룹을 분류하고 그 분류가 어느 정도 정확한지 알기 위해 위치정보를 이용한다.
봇 그룹과 사람 그룹을 분류하기 위한 행동 패턴 차이의 특성으로 표 1과 같은 특징을 사용할 수 있다.
검출 속성 행동 패턴
사람 그룹 봇 그룹
동시 접속률 접속시간이 비슷한 사람끼리 짝을 이룸 같이 다니는 봇과 접속시간이 많이 겹치지 않음
서로의 거리 서로의 거리 차가 다양함 서로의 거리 차가 일정함
레벨 차이 비슷한 레벨과 짝을 이룸 레벨 차가 큼
파티 정보 개인시간이 존재함 개인시간이 존재하지 않음
분류 시 사용하기 위한 이러한 특징과 각 특징 별 분석을 위한 하기 수학식들(수학식 2 내지 수학식 5)은 관리자에 의해 설정되거나 변경될 수 있다.
작업장들은 감시를 피하고 계정 수를 늘리기 위해 여러 캐릭터들을 돌아가면서 키운다. 레벨이 높은 한 캐릭터를 중심으로 다른 캐릭터들과 파티를 맺어 사냥을 한다. 또한, 주로 레벨이 높은 캐릭터가 사냥을 하며 레벨이 낮은 캐릭터는 파티 경험치로 쉽게 레벨을 올리는 특징이 있다.
이때 사람 그룹의 동시 접속률과 봇 그룹의 동시 접속률은 차이를 보인다. 사람 그룹의 동시접속률은 매우 높은 반면 봇 그룹은 한 캐릭터가 다른 여러 봇들과 번갈아 가면서 함께 다니므로 동시접속률이 낮다. 동시 접속률을 측정하기 위한 식을 예를 들어, 수학식 2와 같을 수 있다.
Figure 112016085534466-pat00020
(
Figure 112016085534466-pat00021
: 동시 접속 시간,
Figure 112016085534466-pat00022
: 기준 사용자 접속 시간,
Figure 112016085534466-pat00023
: 짝 사용자 접속 시간)
봇 그룹은 서로의 거리가 일정하고 개인시간이 존재하지 않으므로, 서로 모든 활동을 같이하며 일정한 간격을 유지하면서 활동할 것이다. 그에 비해 사람 그룹은 서로 간의 거리가 일정하지 않고 개인시간을 보냄으로써 더욱 다양한 거리를 보일 것이다. 그룹 사용자 간의 거리를 측정하기 위한 식은 예를 들어, 수학식 3과 같을 수 있다.
Figure 112016085534466-pat00024
(
Figure 112016085534466-pat00025
: 시간에 대한 평균,
Figure 112016085534466-pat00026
: 기준 사용자 x 좌표,
Figure 112016085534466-pat00027
: 기준 사용자 y 좌표,
Figure 112016085534466-pat00028
: 짝 사용자 x 좌표,
Figure 112016085534466-pat00029
: 짝 사용자 y 좌표)
봇 그룹은 레벨이 높은 캐릭터가 다른 캐릭터들을 키워서 수를 늘리는 방식을 채택하고 있기 때문에 봇 그룹 내의 레벨 차가 크다. 반면에, 사람 그룹은 레벨이 비슷한 사람끼리 같이 활동하므로 레벨 차가 크지 않고 비슷하다. 그룹 사용자 간의 레벨 차이를 측정하기 위한 식은 예를 들어, 수학식 4와 같을 수 있다.
Figure 112016085534466-pat00030
(
Figure 112016085534466-pat00031
: 기준 사용자 레벨,
Figure 112016085534466-pat00032
: 짝 사용자 레벨)
사람 그룹은 항상 서로 파티 상태를 유지하고 활동하지 않지만 봇 그룹은 항상 서로 파티 상태를 유지하고 활동한다. 봇들과 달리 사람들은 상점을 들르거나 개인 퀘스트를 깨는 등 개인 활동이 있기 때문이다. 사람들은 사냥 활동이 아닌 개인 활동을 할 때 파티를 해제하기 때문에 동시 접속 중일 때 둘 다 파티를 맺고 있을 확률로 봇 그룹과 사람 그룹을 판별할 수 있다. 파티 정보를 측정하기 위한 식은 예를 들어, 수학식 5와 같을 수 있다.
Figure 112016085534466-pat00033
(party time: 둘 다 파티 중인 시간,
Figure 112016085534466-pat00034
: 동시 접속 시간)
상기 표 1의 봇 그룹과 사람 그룹을 분류하기 위한 특징들은 하나의 예시로 봇들의 행동이 갈수록 지능화되어 가는 상황에 맞춰 다른 특징들이 더 추가되거나 변경될 수 있다.
상기 봇 그룹과 사람 그룹을 분류하기 위한 특징들을 추출하여 분류 알고리즘(예를 들어, 로지스틱 회귀분석, 서포트 벡터 머신, 의사 결정 트리, 랜덤 포레스트(random forest), k-nn, 선형 회귀, 뉴럴 네트워크 등)을 통해 기계 학습된 분류 모델을 생성하고, 이를 이용하여 봇 그룹과 사람 그룹으로 분류한다.
이상 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법에 관해 설명하였다.
본 발명의 또 다른 측면에 따르면 상기 방법을 실행하는 장치를 제공한다.
도 3은 상기 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법을 사용하는 봇 탐지 장치(10)의 개략도이다. 도 3을 참조하면, 상기 봇 탐지 장치는 입력부(100), 처리부(200), 데이터베이스(300), 및 출력부(400)를 포함한다.
상기 입력부(100)는 관리자가 봇 탐지를 위해 입력한 필요한 초기 설정 및 게임 데이터를 수신한다. 상기 초기 설정시 관리자는 봇 탐지를 위해 게임 데이터 추출 간격을 설정할 수 있고, 상기 봇 그룹과 사람 그룹을 구분하기 위한 특징을 선택 또는 입력할 수 있다. 또한, 관리자는 군집화 기법과 분류 기법을 선택할 수 있다.
상기 처리부(200)는 상기 게임 데이터로 사용자들을 그룹화하는 군집화 모듈(201) 및 군집화 결과 그룹들을 봇 그룹과 사람 그룹으로 분류하는 분류 모듈(202)을 포함할 수 있다.
상기 군집화 모듈(201)은 군집화 모델(예를 들어, k-평균 클러스터링(k-means clustering), 계층적 클러스터링(hierarchical clustering), 가우시안 혼합 모델 등)을 기반으로 일정 시간 간격(즉, 관리자가 입력한 데이터 추출 간격)당 한 번씩 사용자들의 좌표 정보를 이용하여 군집화를 수행한다. 상기 군집화 모델은 데이터마이닝 기법, 통계적 기법, 유사도 패턴 매칭 기법 등 여러 기법 중 하나의 모델을 선택하여 사용할 수 있다.
상기 분류 모듈(202)은 사용자들의 군집화가 완료되면 봇 그룹과 사람 그룹을 구분할 수 있는 특징(즉, 상기 관리자가 선택 또는 입력한 특징)을 추출하고 분류 알고리즘(예를 들어, 로지스틱 회귀분석(Logistic Regression), 서포트 벡터 머신(Support Vector Machine, SVM), 의사 결정 트리, 랜덤 포레스트(random forest), k-nn, 선형 회귀, 뉴럴 네트워크 등)을 사용하여 기계 학습된 분류 모델을 생성하고, 상기 분류 모델을 기반으로 봇 그룹을 탐지한다.
상기 데이터베이스(300)는 관리자가 지정한 초기 설정, 게임 데이터, 군집화 결과, 분류 결과 등을 저장한다.
상기 출력부(400)는 상기 봇 그룹과 사람 그룹을 분류한 결과를 관리자가 확인할 수 있도록 출력한다. 상기 출력 방법으로는 단순 봇 그룹 아이디 등의 정보를 문자 또는 표로 제시할 수도 있다. 또한 전체 사용자 중 봇 그룹 분포 정도, 활동 시간, 레벨, 획득 재화 등에 관한 상세 정보를 그래프, 색상, 아이콘 등을 포함하는 인포그래픽 등으로 제시할 수도 있다.
이상 봇 탐지 장치에 관해 설명하였다.
본 발명의 또 다른 측면에 의하면, 상기 온라인 게임 위치 기반 그룹 분류를 통한 봇 탐지 방법이 다양한 컴퓨터 실행가능 명령 형태(즉, 컴퓨터 프로그램)로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 프로그램은 범용 또는 전용 프로세서에 의해 판독되어 컴퓨터 상에서 실행될 수 있다. 상기 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, 솔리드 스테이트 메모리(solid state memory) 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.
본 발명의 다수의 실시 예가 기술되었다. 그럼에도 불구하고, 전술한 설명은 예시를 위한 것이며 다음의 청구항들의 범위에 의해 정의되는 본 발명의 범위를 한정하는 것이 아니다. 따라서 다른 실시 예들이 다음 청구항들의 범위 내에 있을 수 있으며, 다양한 변형이 본 발명의 범위를 벗어남 없이 만들어질 수 있다. 부가적으로, 전술된 단계들의 일부는 순서 독립적이므로 기술된 것과 다른 순서로 수행될 수 있다.
이하에서는 본 발명의 일 실시 예인 봇 탐지 방법을 평가한 실험 예를 설명한다.
실험 예
상기 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법을 이용하여 그 효용성을 평가하였다.
평가 데이터로는 국내 온라인 게임인 열혈강호의 실제 데이터를 사용하였다. 한 달 동안 게임 서버에서 얻은 로그 데이터를 사용하였고, 상기 로그 데이터는 각 사용자에 대해 5분에 한 번씩 획득되었다.
표 2는 실험에서 사용된 사용자와 로그의 수이다.
그룹 로그의 수 사용자의 수
사람 로그 754201 584
봇 로그 608122 824
합계 1362323 1408
게임 데이터에서 수집한 좌표 정보에 따라 그룹을 지었다. 게임 상에서의 이동 정보를 기반으로 하기 때문에 전처리 과정을 통해 이동을 하지 않는 데이터는 제거하였다. 위치 정보의 분산을 기준으로 데이터를 제거한 뒤 같은 그룹에 있었던 횟수로 짝을 지었다. 이때 사람은 사람끼리, 봇은 봇끼리 짝을 지을 확률을 측정하였고 그 결과는 도 4와 같다.
도 4를 참조하면, 가로축은 같은 그룹에 있던 횟수를 의미한다. 약 한 달 간의 로그에서 같은 그룹으로 분류된 스코어가 300이 넘으면 봇은 봇끼리, 사람은 사람끼리 분류될 확률이 약 97%이다.
이렇게 분류된 그룹들을 통해 상기 표 1의 특성들을 기반으로 봇 탐지 모델을 생성하고 이를 평가하였다.
게임 데이터에서 수집한 레벨, 좌표, 접속 정보, 위치 정보로부터 특성을 추출하여 로지스틱 회귀분석, 서포트 벡터 머신의 분류 알고리즘을 통해 분류 모델을 생성하였고, 데이터 셋을 랜덤하게 10 등분하여 9개의 서브 셋으로 학습하고 나머지 1개 서브 셋으로 평가를 수행하는 10-fold cross validation 기법을 이용하였다.
더 큰 움직임을 보이는 데이터를 뽑을수록, 더 높은 스코어의 그룹을 채택할수록 정확도가 높아지는 것을 볼 수 있다. 좌표의 분산이 100이하인 데이터를 제거한 것과 분산이 200이하인 데이터를 제거한 것에 대하여 실험을 수행하였다. 또한, 스코어에 따른 영향을 측정하기 위해 스코어가 100이상인 것과 200이상인 것에 대한 두 가지 실험을 하였다.
표 3과 표 4는 실험 결과이다.
Figure 112016085534466-pat00035
표 3에서는 각 특성에 대한 정확도(Accuracy)를 볼 수 있다. 상기 정확도는 전체 그룹에서 봇 그룹은 봇 그룹으로, 사람 그룹은 사람 그룹으로 예측할 비율을 말한다. 각각의 특성들의 정확도도 높지만 여러 특성들을 동시에 사용했을 때 가장 높은 정확도를 보였다. 특히 레벨 차이 특성과 파티 정보 특성이 가장 큰 영향을 주는 것을 확인할 수 있다.
Figure 112016085534466-pat00036
표 4는 각 분류기에 대한 Precision과 Recall을 나타낸다. Precision은 봇 그룹으로 예측한 것들 중 실제 봇 그룹일 확률을 의미한다. Recall은 실제 봇 그룹 중 봇으로 예측한 비율을 의미한다. 실험 결과 두 가지 기법 모두 높은 성능을 보였으나, 로지스틱 회귀 분석을 사용했을 때 더 좋은 성능을 보였다.
10: 봇 탐지 장치
100: 입력부 200: 처리부
300: 데이터베이스 400: 출력부

Claims (23)

  1. 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법에 있어서, 상기 방법은
    봇 탐지를 위한 서버에서, 수집된 게임 데이터를 이용하여 상기 온라인 게임 상에서의 사용자들의 위치에 기반하여 사용자들을 군집화하는 단계; 및
    상기 봇 탐지를 위한 서버에서, 상기 군집화하는 단계에서 산출된 사용자 그룹들을 봇 그룹과 사람 그룹으로 분류하는 단계를 포함하고,
    상기 분류하는 단계는
    봇 그룹과 사람 그룹을 구분할 수 있는 특징을 추출하는 단계; 및
    분류 알고리즘을 통해 봇 그룹과 사람 그룹으로 분류하는 단계를 포함하는, 봇 탐지 방법.
  2. 제 1항에 있어서,
    상기 봇 탐지를 위한 서버에서 관리자가 지정한 소정 기간의 게임 데이터를 수집하는 단계를 더 포함하는, 봇 탐지 방법.
  3. 제2항에 있어서, 상기 게임 데이터를 수집하는 단계는
    초기 설정 사항인 상기 게임 데이터 수집 기간, 수집할 게임 데이터 종류, 상기 군집화 간격, 및 상기 분류를 위한 특징들과 상기 특징들을 측정하기 위한 수학식들 중 적어도 하나를 설정하거나 변경하기 위해 상기 관리자로부터 입력받는 단계; 및
    상기 초기 설정에 따라 게임 데이터를 수집하는 단계를 포함하는, 봇 탐지 방법.
  4. 제 3항에 있어서,
    상기 수집할 게임 데이터 종류는 레벨 로그, 접속 로그, 위치 로그, 및 파티 로그 중 적어도 하나를 포함하는, 봇 탐지 방법.
  5. 제1항에 있어서, 상기 사용자들을 군집화하는 단계는
    군집화 모델을 기반으로 소정의 시간 간격당 한 번씩 상기 사용자들의 좌표 정보를 이용하여 상기 사용자들을 군집화하는, 봇 탐지 방법.
  6. 제5항에 있어서,
    상기 군집화 모델은 가우시안 혼합 모델, k-평균 클러스터링(k-means clustering), 및 계층적 클러스터링(hierarchical clustering) 중 어느 하나인, 봇 탐지 방법.
  7. 제6항에 있어서, 상기 군집화하는 단계는
    상기 소정 시간 간격당 한 번씩 군집화하였을 때 한 사용자를 기준으로 같은 곳에 분류된 횟수가 가장 높은 사용자를 상기 기준이 된 사용자의 그룹으로 간주하는, 봇 탐지 방법.
  8. 삭제
  9. 제1항에 있어서, 상기 특징을 추출하는 단계는
    동시 접속률, 서로의 거리, 레벨 차이, 및 파티 정보 중 적어도 하나에 대한 특징을 추출하는 것을 포함하는, 봇 탐지 방법.
  10. 제9항에 있어서, 상기 동시 접속률은 하기 수학식
    Figure 112016085534466-pat00037

    (
    Figure 112016085534466-pat00038
    : 동시 접속 시간,
    Figure 112016085534466-pat00039
    : 기준 사용자 접속 시간,
    Figure 112016085534466-pat00040
    : 짝 사용자 접속 시간)
    을 이용하여 구하는, 봇 탐지 방법.
  11. 제9항에 있어서, 상기 서로의 거리는 하기 수학식
    Figure 112016085534466-pat00041

    (
    Figure 112016085534466-pat00042
    : 시간에 대한 평균,
    Figure 112016085534466-pat00043
    : 기준 사용자 x 좌표,
    Figure 112016085534466-pat00044
    : 기준 사용자 y 좌표,
    Figure 112016085534466-pat00045
    : 짝 사용자 x 좌표,
    Figure 112016085534466-pat00046
    : 짝 사용자 y 좌표)
    을 이용하여 구하는, 봇 탐지 방법.
  12. 제9항에 있어서, 상기 레벨 차이는 하기 수학식
    Figure 112016085534466-pat00047

    (
    Figure 112016085534466-pat00048
    : 기준 사용자 레벨,
    Figure 112016085534466-pat00049
    : 짝 사용자 레벨)
    을 이용하여 구하는, 봇 탐지 방법.
  13. 제9항에 있어서, 상기 파티 정보는 하기 수학식
    Figure 112016085534466-pat00050

    (party time: 둘 다 파티 중인 시간,
    Figure 112016085534466-pat00051
    : 동시 접속 시간)
    을 이용하여 구하는, 봇 탐지 방법.
  14. 제9항에 있어서,
    상기 분류 알고리즘은 로지스틱 회귀분석, 서포트 벡터 머신, 로지스틱 회귀분석, 의사 결정 트리, 랜덤 포레스트(random forest), k-nn, 선형 회귀, 및 뉴럴 네트워크(Neural Network) 중 어느 하나인, 봇 탐지 방법.
  15. 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지를 위해 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램에 있어서, 상기 프로그램은 컴퓨팅 시스템이 제1항 내지 제7항, 제9항 내지 제14항 중 어느 한 항의 방법을 수행하도록 하는 명령들을 포함하는, 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램.
  16. 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 장치에 있어서, 상기 장치는
    수신된 게임 데이터를 이용하여 상기 온라인 게임 상에서의 사용자들의 위치에 기반하여 사용자들을 군집화하는 군집화 모듈; 및
    상기 군집화 모듈에서 산출된 사용자 그룹들을 봇 그룹과 사람 그룹으로 분류하는 분류 모듈을 가지는 처리부를 포함하고,
    상기 분류 모듈은
    봇 그룹과 사람 그룹을 구분할 수 있는 특징을 추출하고,
    분류 알고리즘을 통해 봇 그룹과 사람 그룹으로 분류하는 것을 수행하는, 봇 탐지 장치.
  17. 제16항에 있어서,
    관리자가 지정한 소정 기간의 게임 데이터를 수신하는 입력부; 및
    상기 봇 그룹과 상기 사람 그룹을 분류한 결과를 출력하는 출력부를 더 포함하는, 봇 탐지 장치.
  18. 제 17항에 있어서, 상기 입력부는
    상기 관리자가 입력한 초기 설정 사항인 상기 게임 데이터 수집 기간, 수집할 게임 데이터 종류, 상기 군집화 간격, 및 상기 분류를 위한 특징들과 상기 특징들을 측정하기 위한 수학식들 중 적어도 하나를 수신하고,
    상기 초기 설정에 따라 게임 데이터를 수신하는, 봇 탐지 장치.
  19. 제 18항에 있어서,
    상기 수집할 게임 데이터 종류는 레벨 로그, 접속 로그, 위치 로그, 및 파티 로그 중 적어도 하나를 포함하는, 봇 탐지 장치.
  20. 제16항에 있어서, 상기 군집화 모듈은
    군집화 모델을 기반으로 소정의 시간 간격당 한 번씩 사용자들의 좌표 정보를 이용하여 군집화를 수행하는, 봇 탐지 장치.
  21. 삭제
  22. 제16항에 있어서, 상기 특징은
    동시 접속률, 서로의 거리, 레벨 차이, 및 파티 정보 중 적어도 하나에 대한 특징을 포함하는, 봇 탐지 장치.
  23. 제16항에 있어서,
    관리자가 지정한 초기 설정, 게임 데이터, 군집화 결과, 분류 결과 중 적어도 하나를 저장하는 데이터베이스를 더 포함하는, 봇 탐지 장치.
KR1020160112693A 2016-09-01 2016-09-01 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램 KR101881647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160112693A KR101881647B1 (ko) 2016-09-01 2016-09-01 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160112693A KR101881647B1 (ko) 2016-09-01 2016-09-01 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20180025692A KR20180025692A (ko) 2018-03-09
KR101881647B1 true KR101881647B1 (ko) 2018-08-24

Family

ID=61728195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160112693A KR101881647B1 (ko) 2016-09-01 2016-09-01 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR101881647B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198339B1 (ko) * 2018-10-05 2021-01-05 넷마블 주식회사 이상 케이스 탐지 방법 및 장치
KR101998294B1 (ko) * 2018-10-08 2019-07-11 넷마블 주식회사 작업장 계정 검출 장치 및 방법
WO2021126436A1 (en) * 2019-12-17 2021-06-24 modl.ai ApS Game analysis platform with ai-based detection of game bots and cheating software
KR102517835B1 (ko) * 2021-01-06 2023-04-05 (주)지엔에이컴퍼니 Ａｉ 기반의 사용자 게임 플레이 예측 시스템
WO2023157994A1 (ko) * 2022-02-21 2023-08-24 (주)지엔에이컴퍼니 Ａｉ 기반의 사용자 게임 플레이 예측 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100070623A (ko) * 2008-12-18 2010-06-28 한국인터넷진흥원 봇 수집ㆍ분석시스템 및 그 방법
KR101267725B1 (ko) * 2010-08-30 2013-05-24 주식회사 엔씨소프트 온라인 게임의 봇 프로그램 패턴 수집방법
KR101237161B1 (ko) * 2010-08-30 2013-02-25 주식회사 엔씨소프트 온라인 게임의 비공개 봇 검출방법

Also Published As

Publication number Publication date
KR20180025692A (ko) 2018-03-09

Similar Documents

Publication Publication Date Title
KR101881647B1 (ko) 온라인 게임에서의 위치 기반 그룹 분류를 통한 봇 탐지 방법, 장치, 및 컴퓨터 프로그램
CN111773732B (zh) 目标游戏用户的检测方法、装置及设备
CN111886059B (zh) 自动减少在在线游戏环境中使用欺骗软件
Aung et al. Predicting skill learning in a large, longitudinal moba dataset
Drachen et al. Game data mining
US11484778B2 (en) Game tendency analysis system, and computer program and analysis method
Chen et al. Game bot identification based on manifold learning
Lee et al. In-game action sequence analysis for game bot detection on the big data analysis platform
Mishima et al. An analysis of players and bots behaviors in MMORPG
CN107335220A (zh) 一种消极用户的识别方法、装置及服务器
Oh et al. Bot detection based on social interactions in MMORPGs
Lee et al. I know what the BOTs did yesterday: Full action sequence analysis using Naïve Bayesian algorithm
Choi et al. Detecting and monitoring game bots based on large-scale user-behavior log data analysis in multiplayer online games
CN115438102A (zh) 时空数据异常识别方法、装置和电子设备
KR20120080400A (ko) 클러스터링 기법을 이용한 온라인 게임 내 비정상 캐릭터 검출 시스템 및 그 방법
KR101998294B1 (ko) 작업장 계정 검출 장치 및 방법
KR20150100993A (ko) 자기유사도 값을 이용한 봇 검출시스템 및 그 방법
Merritt et al. Detecting friendship within dynamic online interaction networks
KR101872345B1 (ko) 온라인 게임 내 위치 특성 분석을 이용한 비정상 캐릭터 검출 시스템 및 방법
Roy et al. The ones that got away: False negative estimation based approaches for gold farmer detection
Edwards et al. Footstep pressure signal analysis for human identification
Cavadenti et al. When cyberathletes conceal their game: Clustering confusion matrices to identify avatar aliases
Chung et al. A behavior analysis-based game bot detection approach considering various play styles
Zhang et al. Detection of illegal players in massively multiplayer online role playing game by classification algorithms
Kim et al. Justice League: Time-series Game Player Pattern Detection to Discover Rank-Skill Mismatch

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant