WO2023128139A1 - 게임 아이템 획득 확률의 이상 탐지 방법 및 장치 - Google Patents

게임 아이템 획득 확률의 이상 탐지 방법 및 장치 Download PDF

Info

Publication number
WO2023128139A1
WO2023128139A1 PCT/KR2022/013843 KR2022013843W WO2023128139A1 WO 2023128139 A1 WO2023128139 A1 WO 2023128139A1 KR 2022013843 W KR2022013843 W KR 2022013843W WO 2023128139 A1 WO2023128139 A1 WO 2023128139A1
Authority
WO
WIPO (PCT)
Prior art keywords
game item
acquisition probability
anomaly detection
probability
score
Prior art date
Application number
PCT/KR2022/013843
Other languages
English (en)
French (fr)
Inventor
김성훈
박진혁
방대환
Original Assignee
넷마블 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넷마블 주식회사 filed Critical 넷마블 주식회사
Publication of WO2023128139A1 publication Critical patent/WO2023128139A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/69—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor by enabling or updating specific game elements, e.g. unlocking hidden features, items, levels or versions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Definitions

  • Embodiments of the present disclosure relate to a technology for detecting an anomaly in a game item acquisition probability.
  • a method for detecting an anomaly in a game item acquisition probability includes collecting log data related to acquisition of a game item; Calculating a game item acquisition probability for each game item based on the log data; determining an ideal score for a game item acquisition probability of the target game item based on a change in a current acquisition probability of the target game item with respect to a previous acquisition probability of the target game item; and determining whether or not a game item acquisition probability of the target game item is abnormal based on a comparison result between the abnormal score and a threshold value.
  • the previous acquisition probability represents a game item acquisition probability of the target game item in a previous time interval
  • the current acquisition probability represents a game item acquisition probability of the target game item in a current time interval that is a time interval following the previous time interval. It represents a probability, and the previous time interval and the current time interval may have the same time interval.
  • the log data may include at least one of the type of acquired game item, the number of acquired game items, the type of content or product from which the game item was acquired, and the number of attempts to acquire the game item.
  • the determining of the abnormal score may include calculating a change in the current acquisition probability with respect to the previous acquisition probability based on at least one of user, game item, and time; and calculating the abnormal score based on a change in the current acquisition probability with respect to the previous acquisition probability calculated based on at least one of per user, per game item, and per time period.
  • the calculating of the probability of acquiring the game item may include extracting the number of attempts by the user to acquire the target game item and the number of times of acquiring the target game item from the log data; and calculating the probability of obtaining the game item based on the number of times the user has attempted to acquire the target game item and the number of times the user has acquired the target game item.
  • Determining the abnormality score may include calculating the abnormality score using at least one of a T-test technique, a chi-square test technique, and a long short-term memory (LSTM) model.
  • LSTM long short-term memory
  • Determining the abnormal score may include determining the abnormal score using a T-Statistic technique when an expected probability for a game item acquisition probability is not defined in the game service. .
  • the step of determining the ideal score is a reconstruction error value (reconstruction error value); and determining the reconstruction error value as the abnormality score.
  • the determining whether the abnormality is present may include performing a comparison between the abnormality score and a plurality of threshold values having different sizes; determining an abnormal risk level based on the comparison result; and providing a notification message corresponding to the determined risk level among notification messages for the target game item set for each risk level.
  • An anomaly detection apparatus includes a memory and a processor, the memory stores instructions executable by the processor, and when the instructions are executed by the processor, the processor detects the anomaly.
  • the device collects log data related to acquisition of the game item, calculates a game item acquisition probability for the game item based on the log data, and calculates the current acquisition probability of the target game item relative to the previous acquisition probability of the target game item. Determine an abnormal score for the game item acquisition probability of the target game item based on a change in , and determine whether or not the game item acquisition probability of the target game item is abnormal based on a comparison result between the abnormal score and a threshold value.
  • An anomaly detection device can be controlled.
  • the processor calculates a change in the current acquisition probability with respect to the previous acquisition probability based on at least one of user, game item, and time, and at least among users, game items, and time.
  • the anomaly detection device may be controlled to calculate the anomaly score based on a change in the current acquisition probability with respect to the previous acquisition probability calculated based on one.
  • FIG. 1 is a diagram showing an overview of an anomaly detection system for detecting anomaly in a game item acquisition probability according to an embodiment.
  • FIG. 2 is a flowchart illustrating an anomaly detection method for detecting anomaly in a game item acquisition probability according to an embodiment.
  • 3 and 4 are flow charts illustrating an anomaly detection method for detecting anomaly in game item acquisition probability according to an embodiment.
  • 5 and 6 are diagrams illustrating log data according to an exemplary embodiment.
  • FIGS. 7 to 9 are diagrams illustrating examples of dashboards related to detected anomalies according to an embodiment.
  • FIG. 10 is a diagram illustrating a configuration of an anomaly detection device for detecting anomaly in a game item acquisition probability according to an embodiment.
  • FIG. 1 is a diagram showing an overview of an anomaly detection system for detecting anomaly in a game item acquisition probability according to an embodiment.
  • the anomaly detection system described in the present disclosure may perform a method for early detection of an anomaly in game item acquisition probability caused by an in-game bug, abusing, or human error caused by a user's manipulation. .
  • the anomaly detection system may monitor changes in acquisition probabilities of game items obtainable from gacha and contents in relation to the operation of a specific game program.
  • the anomaly detection system may check the game item acquisition probability by specific region, by server, by user, by game item, and by time.
  • the anomaly detection system calculates and monitors the game item acquisition probability based on near real-time, so that it can detect an anomaly in the game item acquisition probability at an early stage. can do.
  • the anomaly detection system can dynamically calculate the previous and current acquisition probabilities of game items, and can function as an automatic probability calculation comparison system.
  • the anomaly detection system described in this specification may calculate a game item acquisition probability based on the number of times a user attempts to acquire a game item. Also, the anomaly detection system may classify the game item category in more detail in order to calculate an accurate game item acquisition probability.
  • the anomaly detection system may include an anomaly detection device 110 , a network 120 , a plurality of user terminals 132 and 134 , and a game service server 140 .
  • the game service server 140 may provide a game service to the user terminals 132 and 134 through the network 120 .
  • the game service server 140 may operate and manage game programs played by users of the user terminals 132 and 134 .
  • the game service server 140 may provide, for example, content such as missions and quests for which game items are rewards to the user terminals 132 and 134 .
  • the anomaly detection device 110 may collect log data related to acquisition of game items from the game service server 140 through the network 120 .
  • the anomaly detection device 110 may calculate a game item acquisition probability for a game item based on the log data.
  • the anomaly detection device 110 may set an abnormality score for a game item acquisition probability based on a change in a current acquisition probability of a game item relative to a previous acquisition probability of a game item subject to anomaly detection of the game item acquisition probability. can decide
  • the anomaly detection device 110 may determine whether a game item acquisition probability of a game item is abnormal based on a comparison result between an abnormality score and a threshold value.
  • the anomaly detection device 110 may transmit information about whether or not the game item has an abnormality to the game service server 140 through the network 120 .
  • the anomaly detection device 110 may be included in the game service server 140 and operated, or may be separately present and operated outside the game service server 140 .
  • FIG. 2 is a flowchart illustrating an anomaly detection method for detecting anomaly in a game item acquisition probability according to an embodiment.
  • an anomaly detection device may collect log data related to acquisition of a game item in step 210 .
  • the log data may include, for example, at least one of the type of game item acquired by the user during game play, the number of acquired game items, the type of content or product from which the user obtained the game item, and the number of attempts to obtain the game item.
  • the user's game character may acquire a game item as a reward by participating in content such as a game quest or mission, or may obtain a game item as a reward by purchasing a product.
  • the number of attempts to acquire the game item may include, for example, the number of times the user's game character participates in content or purchases a product in order to acquire the game item.
  • the anomaly detection device may calculate a game item acquisition probability for the game item based on the log data.
  • the anomaly detection device may extract, for example, the number of times the user attempts to acquire a target game item and the number of times the target game item is obtained from log data.
  • the anomaly detection device may calculate a game item acquisition probability based on the number of times the user has attempted to acquire the target game item and the number of times the user has acquired the target game item.
  • the anomaly detecting apparatus may calculate a game item acquisition probability based on a ratio of the number of times the user acquires the target game item to the number of times the user attempts to acquire the target game item. For example, if the number of attempts by the user to acquire the target game item is 10 and the number of acquisition of the target game item is 2, the probability of acquiring the game item may be 20%.
  • the anomaly detection apparatus may determine an abnormality score for the game item acquisition probability of the target game item based on a change in the current acquisition probability of the target game item with respect to the previous acquisition probability of the target game item.
  • the game item acquisition probability may be calculated based on a predetermined time interval (or time window) with a predetermined interval.
  • the interval of the time interval may be, for example, 24 hours, but is not limited thereto.
  • the previous acquisition probability may represent the game item acquisition probability of the target game item in the previous time interval
  • the current acquisition probability may represent the game item acquisition probability of the target game item in the current time interval, which is the next time interval of the previous time interval.
  • the previous time interval and the current time interval may have the same time interval.
  • the anomaly detection apparatus may calculate a change in the current acquisition probability relative to the previous acquisition probability based on at least one of user, game item, and time.
  • the anomaly detection apparatus may calculate an anomaly score based on a change in a current acquisition probability to a previous acquisition probability calculated based on at least one of user, game item, and time.
  • the anomaly detection device can more accurately detect the anomaly and find the anomaly without omission by calculating the change in the current acquisition probability relative to the anomaly score and the previous acquisition probability based on at least one of user, game item, and time.
  • the abnormality is determined based on the change in the current acquisition probability and the abnormal score with respect to the previous acquisition probability calculated for each game item and for each time. It may not be. In this case, the change in the current acquisition probability with respect to the previous acquisition probability for each user and the abnormality score may be calculated as a numerical value enough to detect the abnormality.
  • the anomaly detection apparatus may calculate an anomaly score using at least one of a T-test technique, a chi-square test technique, and a long short-term memory (LSTM) model.
  • LSTM long short-term memory
  • the expected probability of the game item acquisition probability may be predefined on the game service. If the expected probability of the game item acquisition probability is not defined on the game service, the anomaly detection device An abnormality score can be determined using the T-Statistic technique.
  • the anomaly detection device may calculate a T-statistic using a T-test technique, and calculate an anomaly score for determining whether a current acquisition probability relative to a previous acquisition probability of a target game item is an outlier based on a confidence interval. there is.
  • the anomaly detection device calculates a chi-square statistic using a chi-square test technique and calculates an anomaly score for determining whether the current acquisition probability relative to the previous acquisition probability of a non-independent target game item is an outlier using a confidence interval can do.
  • the anomaly detection device may calculate an anomaly score T using a T-test technique based on Equation 1 below.
  • p 1 may be the previous acquisition probability of the target game item
  • p 2 may be the current acquisition probability of the target game item
  • n 1 is a previous sample for which the previous acquisition probability was calculated
  • n 2 may indicate a current sample for which the current acquisition probability was calculated.
  • the anomaly detection device may determine an anomaly score using a chi-square test technique.
  • An equation for determining an anomaly score (score chi ) using a chi-square test technique may be, for example, Equation 2.
  • O i may represent an observed probability of a game item acquisition probability
  • E i may represent an expected probability of a game item acquisition probability
  • O i may correspond to the actually calculated game item acquisition probability
  • E i may correspond to the predicted game item acquisition probability
  • the anomaly detection device may also determine an anomaly score using an LSTM model. For example, the anomaly detection device may obtain a reconstruction error value by using an auto encoder based on an LSTM model that has learned a change in the probability of acquiring a game item over time for each game item. . The anomaly detection device may determine the reconstruction error value as an anomaly score. That is, when the reconstruction error value is greater than a threshold value of the reconstruction error value, the anomaly detection device may determine the reconstruction error value as an anomaly score.
  • the anomaly detection apparatus may determine whether the game item acquisition probability of the target game item is abnormal based on the comparison result between the abnormality score and the threshold value.
  • the anomaly detection device may perform a comparison between an anomaly score and a plurality of threshold values of different magnitudes.
  • the anomaly detection device may determine a risk level of the abnormality based on the comparison result, and may provide a notification message corresponding to the determined risk level among notification messages for a target game item set for each risk level. For example, features that determine the risk level of an anomaly may be detailed in FIG. 4 .
  • 3 and 4 are flow charts illustrating an anomaly detection method for detecting anomaly in game item acquisition probability according to an embodiment.
  • log data 310 related to game item acquisition and log data 320 related to the source of game item acquisition may exist.
  • the log data 320 related to the acquisition source of the game item may include log data related to content performance and log data related to game item purchase.
  • the content may include quests provided in the game, participation in events, and the like.
  • a reward for performing content may be, for example, a randomly provided game item.
  • the anomaly detection device determines the user's information from log data related to content execution and log data related to game item purchase. The number of game item purchases and the number of content executions can be extracted.
  • the anomaly detection apparatus may calculate the number of game item purchases/content game items obtained from the log data 310 related to game item acquisition and the number of game item purchases/content performance.
  • the anomaly detection device may join the log data 310 related to game item acquisition and the number of game item purchases/content execution by using the mapping key.
  • the anomaly detection device may calculate the number of game item purchases/content game items acquired from the log data 310 related to mapped game item acquisition and the number of game item purchases/content performance.
  • the anomaly detection apparatus may calculate a game item purchase/acquisition probability for each content.
  • the anomaly detecting device may calculate the probability of acquiring the game item by purchasing the game item by dividing the number of game item acquisition by the number of game item purchases.
  • the anomaly detection apparatus may calculate a probability of obtaining a game item by performing content by dividing the number of game items obtained by performing content by the number of performing content.
  • the anomaly detection apparatus may perform the process of FIG. 3 with respect to the previous acquisition probability and the current acquisition probability, and may create a comparison table for comparing the previous acquisition probability and the current acquisition probability.
  • the anomaly detection apparatus may load log data with data related to acquisition of game items by purchasing game items and performing contents for each user.
  • the anomaly detection device may load data based on a predetermined time interval.
  • an example of loaded data may be as shown in FIG. 5 .
  • the anomaly detection device may calculate the previous acquisition probability and the current acquisition probability of the game item based on the time interval. Some of the log data required to calculate the game item acquisition probability may be as shown in FIG. 6 .
  • the anomaly detection apparatus may perform a change test of a current acquisition probability with respect to a previous acquisition probability of a game item based on a time interval.
  • the change test may be performed using at least one of a T-test technique, a chi-square test technique, and an LSTM model.
  • the anomaly detection device may calculate an anomaly score based on statistics or a deep learning model.
  • the statistical base may correspond to a T-test technique or a chi-square test technique
  • the deep learning model may correspond to an LSTM model.
  • the anomaly detection device or administrator may define a confidence interval.
  • the confidence interval may represent an interval in which the population parameter value is likely to be included.
  • there may be a possibility of false positives In this case, 99 out of 100 samples may fall within the confidence interval, but one may fall outside. That is, in this case, the possibility of false positives may always exist.
  • An anomaly detection device or manager may set a confidence interval to 99.99...% in order to overcome the limit that there is always a possibility of false positives.
  • the anomaly detection device or manager may further add a threshold value condition for the variation %p value of the probability.
  • the abnormality detection device may determine that an abnormality has occurred in the game item acquisition probability, and may determine a risk level of the abnormality that has occurred in three steps.
  • the abnormality detecting device may determine that an abnormality has occurred in the game item acquisition probability, and may determine a risk level of the abnormality that has occurred in a second step.
  • the abnormality detection device may determine that an abnormality has occurred in the game item acquisition probability, and may determine a risk level of the abnormality that has occurred as a first step.
  • the anomaly detection device may transmit a notification message to the administrator based on the risk level of the anomaly of the detected game item probability. For example, notification messages corresponding to each risk level may exist, and the anomaly detection device may transmit a notification message corresponding to the detected risk level to a manager.
  • the notification message may include, for example, content for warning that an abnormality is detected.
  • the anomaly detection device may provide a dashboard related to the detected anomaly.
  • Dashboards related to detected anomalies may be as shown in FIGS. 7 to 9 , for example.
  • 5 and 6 are diagrams illustrating log data according to an exemplary embodiment.
  • a table representing data related to game item acquisition that is loaded in log data when a user attempts to acquire a game item or acquires a game item includes, for example, identification information (user id) of data related to game item acquisition, It may include identification information (server id, server id) of the server from which the user acquired the game item, content name (or content type), group description (group_description), and region identification information (region id, regionid).
  • the table of FIG. 6 may include a part of log data necessary for the anomaly detection apparatus according to an embodiment to calculate a game item acquisition probability.
  • the table of FIG. 6 includes, for example, a group description, the number of game item acquisitions in the previous time interval, the number of game item acquisition attempts in the previous time interval, the previous acquisition probability of the game item, the number of game item acquisitions in the current time interval, It may include the number of game item acquisition attempts in the current time interval and the current acquisition probability of the game item.
  • the anomaly detection apparatus may calculate a previous acquisition probability of a game item and a current acquisition probability of a game item based on the data included in FIG. 6 .
  • FIGS. 7 to 9 are diagrams illustrating examples of dashboards related to detected anomalies according to an exemplary embodiment.
  • reference number 710 indicates the previous acquisition probability of the target game item corresponding to the previous 23 hours
  • reference number 720 indicates the current acquisition probability of the target game item corresponding to the previous 24 hours.
  • the manager can check the change in the current acquisition probability of the target game item relative to the previous acquisition probability of the target game item for each game item at a glance through FIG. 7 .
  • delta is an abnormality score calculated by the chi-square test technique
  • the T-test may be an abnormality score calculated by the T-test technique.
  • Suspicion may indicate whether or not the user is suspected of manipulating the game item acquisition probability based on the abnormal score.
  • reference number 810 is a 24-hour game item acquisition probability as of September 6, 2021 at 5:00 pm and a 24-hour game item acquisition probability as of September 7, 2021 at 2:00 pm It may be a graph for comparing probabilities.
  • the manager can check the change in the game item acquisition probability for each time section based on 24 hours at a glance through FIG. 8 .
  • reference numeral 910 may be a graph representing a game item acquisition probability for each user.
  • FIG. 10 is a diagram illustrating a configuration of an anomaly detection device for detecting anomaly in a game item acquisition probability according to an embodiment.
  • an anomaly detection device 1000 may include a communicator 1010 , a processor 1020 , and a memory 1030 .
  • the anomaly detection apparatus 1000 may further include a database 1040 .
  • the memory 1030 is connected to the processor 1020 and may store instructions executable by the processor 1020, data to be calculated by the processor 1020, or data processed by the processor 1020.
  • Memory 1030 may include non-transitory computer readable media such as high-speed random access memory and/or non-volatile computer readable storage media (e.g., one or more disk storage devices, flash memory devices, or other non-volatile solid state memory devices).
  • non-transitory computer readable media such as high-speed random access memory and/or non-volatile computer readable storage media (e.g., one or more disk storage devices, flash memory devices, or other non-volatile solid state memory devices).
  • the communicator 1010 provides an interface for communication with external devices (eg, a game service server and a user terminal).
  • the communicator 1010 may communicate with an external device through a wired or wireless network.
  • the database 1040 may store data necessary for the anomaly detection device 1000 to perform an anomaly detection method.
  • the database 1040 may store log data.
  • the processor 1020 executes functions and instructions to be executed in the anomaly detection device 1000 and controls the overall operation of the anomaly detection device 1000 .
  • the processor 1020 may perform one or more operations related to the operation of the anomaly detection device described in this specification.
  • the processor 1020 may allow the anomaly detection device 1000 to collect log data related to acquisition of a game item, calculate a game item acquisition probability for the game item based on the log data, and transfer the target game item.
  • the anomaly detection apparatus 1000 may be controlled to determine an abnormal score for the game item acquisition probability of the target game item based on a change in the current acquisition probability of the target game item with respect to the acquisition probability.
  • the anomaly detection apparatus 1000 calculates a change in the current acquisition probability relative to the previous acquisition probability based on at least one of user, game item, and time, and calculates a change in the current acquisition probability for each user, game item, and time.
  • the anomaly detection apparatus 1000 may be controlled to calculate an anomaly score based on a change in a current acquisition probability with respect to a previous acquisition probability calculated based on at least one of the above.
  • the processor 1020 may control the anomaly detection device 1000 to determine whether the game item acquisition probability of the target game item is abnormal based on the comparison result between the abnormality score and the threshold value.
  • a bug occurring in content based on probability-type compensation or an error caused by a user may be detected, and a notification message for warning an administrator that an abnormality has occurred may be provided.
  • occurrence of a probability change in content based on a stochastic reward may be detected early, and a change in probability of reward payment based on quasi-real time may be monitored.
  • a user who excessively acquires a specific game item compared to other users may be detected.
  • Various embodiments may be implemented as software or machine readable instructions that may include one or more instructions stored in a non-transitory storage medium (e.g., memory 1030) readable by a machine.
  • a processor eg. the processor 1020 of a device (eg, the anomaly detection device 1000) may call at least one command among one or more instructions stored from a storage medium and execute it. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium. 'Non-transitory' only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves). It does not differentiate between cases where it can be temporarily stored.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations are executed in a different order; may be omitted, or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Pinball Game Machines (AREA)

Abstract

게임 아이템 획득 확률의 이상 탐지 방법 및 장치가 개시된다. 게임 아이템 획득 확률의 이상 탐지 방법은 게임 아이템의 획득과 관련된 로그 데이터를 수집하는 단계, 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출하는 단계, 대상 게임 아이템의 이전 획득 확률에 대한 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정하는 단계 및 이상 스코어와 임계 값 간의 비교 결과에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하는 단계를 포함할 수 있다.

Description

게임 아이템 획득 확률의 이상 탐지 방법 및 장치
본 개시의 실시예들은 게임 아이템 획득 확률의 이상 탐지 기술에 관한 것이다.
게임을 플레이하는 사용자들 간에 커뮤니티가 활성화되면서, 게임에 대한 공략이나 편법 등을 공유하는 경우가 늘어나고 있다. 심지어, 게임 상에서 가챠(Gacha)에 의한 보상을 획득하는 확률에 오류나 버그를 발생시켜 게임 아이템을 합법적이지 않은 방법으로 획득하는 방법을 사용자들 간에 공유하는 경우도 있다. 게임에서 보상이란 매우 중요한 요소로, 보상이 잘못 지급되는 경우, 재화 인플레이션, 컨텐츠 소모 속도의 가속을 유발할 수 있다. 고정된 보상이 지급되는 컨텐츠에 대해서는 규칙 기반 모델에 기초하여 모니터링이 가능하지만, 확률형 보상을 지급하는 컨텐츠나 가챠에 대해서는 어떠한 오류나 버그가 발생하였는지 확인하는 것이 어려울 수 있다.
일 실시예에 따른 게임 아이템 획득 확률의 이상 탐지 방법은 게임 아이템의 획득과 관련된 로그 데이터를 수집하는 단계; 상기 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출하는 단계; 대상 게임 아이템의 이전 획득 확률에 대한 상기 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정하는 단계; 및 상기 이상 스코어와 임계 값 간의 비교 결과에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하는 단계를 포함할 수 있다.
상기 이전 획득 확률은 이전 시간 구간에서의 상기 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고, 상기 현재 획득 확률은, 상기 이전 시간 구간의 다음 시간 구간인 현재 시간 구간에서의 상기 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고, 상기 이전 시간 구간과 상기 현재 시간 구간은 동일한 시간 간격을 가질 수 있다.
상기 로그 데이터는 획득한 게임 아이템의 종류, 획득한 게임 아이템의 개수, 게임 아이템을 획득한 컨텐츠 또는 상품의 종류 및 게임 아이템을 획득하기 위해 시도한 횟수 중 적어도 하나를 포함할 수 있다.
상기 이상 스코어를 결정하는 단계는 상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출하는 단계; 및 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출된 상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화에 기초하여 상기 이상 스코어를 산출하는 단계를 포함할 수 있다.
상기 게임 아이템 획득 확률을 산출하는 단계는, 상기 로그 데이터로부터 사용자가 상기 대상 게임 아이템을 획득하기 위해 시도한 횟수와 상기 대상 게임 아이템을 획득한 횟수를 추출하는 단계; 및 상기 사용자가 상기 대상 게임 아이템을 획득하기 위해 시도한 횟수와 상기 대상 게임 아이템을 획득한 횟수에 기초하여 상기 게임 아이템 획득 확률을 산출하는 단계를 포함할 수 있다.
상기 이상 스코어를 결정하는 단계는 T-검정 기법, 카이 제곱 검정 기법 및 LSTM(long short-term memory) 모델 중 적어도 하나를 이용하여 상기 이상 스코어를 산출하는 단계를 포함할 수 있다.
상기 이상 스코어를 결정하는 단계는 게임 서비스 상에서 게임 아이템 획득 확률에 대한 기대 확률이 정의되어 있지 않은 경우, T-검정(T-Statistic) 기법을 사용하여 상기 이상 스코어를 결정하는 단계를 포함할 수 있다.
상기 이상 스코어를 결정하는 단계는 게임 아이템 별로 시간 경과에 따른 게임 아이템 획득 확률의 변화를 학습한 LSTM(long short-term memory) 모델 기반의 오토인코더(auto encoder)를 이용하여 재구성 에러 값(reconstruction error value)을 획득하는 단계; 및 상기 재구성 에러 값을 상기 이상 스코어로 결정하는 단계를 포함할 수 있다.
상기 이상 여부를 결정하는 단계는 상기 이상 스코어와 복수의 서로 다른 크기의 임계 값들 간의 비교를 수행하는 단계; 상기 비교 결과에 기초하여 이상의 위험도 레벨을 결정하는 단계; 및 위험도 레벨 별로 설정된 상기 대상 게임 아이템에 대한 알림 메시지들 중 상기 결정된 위험도 레벨에 대응하는 알림 메시지를 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 이상 탐지 장치는 메모리 및 프로세서를 포함하고, 상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고, 상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는 상기 이상 탐지 장치가, 게임 아이템의 획득과 관련된 로그 데이터를 수집하고, 상기 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출하고, 대상 게임 아이템의 이전 획득 확률에 대한 상기 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정하고, 상기 이상 스코어와 임계 값 간의 비교 결과에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하도록 상기 이상 탐지 장치를 제어할 수 있다.
상기 프로세서는 상기 이상 탐지 장치가 상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출하고, 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출된 상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화에 기초하여 상기 이상 스코어를 산출하도록 상기 이상 탐지 장치를 제어할 수 있다.
도 1은 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 시스템의 개요를 도시하는 도면이다.
도 2는 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 방법을 설명하기 위한 흐름도이다.
도 3 및 도 4는 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 방법을 설명하기 위한 흐름도들이다.
도 5 및 도 6은 일 실시예에 따른 로그 데이터를 도시하는 도면들이다.
도 7 내지 도 9는 일 실시예에 따른 탐지된 이상(anomaly)과 관련된 대시보드의 일례를 도시하는 도면들이다.
도 10은 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 장치의 구성을 도시하는 도면이다.
첨부된 도면들을 참조하여, 아래의 설명들은, 청구범위 및 그 균등범위에 의하여 정해지는 개시의 다양한 실시예들을 충분히 이해할 수 있도록 돕기 위하여 제공된다. 이는 이해를 돕기 위한 다양한 구체적인 상세들을 포함하지만, 이는 단순히 예시적인 것으로 이해되어야 한다. 따라서, 기술분야에서 통상의 지식을 가진 자는, 개시의 기술사상 및 범위로부터 벗어나지 않으면서, 여기에 설명된 다양한 실시예들에 대하여 다양한 변경들 및 변형들이 가능하다는 것을 알 수 있다. 또한, 잘 알려진 기능들과 구조들의 설명은 명확성 및 간결성을 위하여 생략될 수 있다.
아래의 설명 및 청구범위에서 사용된 용어들 및 단어들은 사전적 의미(bibliographical meanings)에 제한되지 않으며, 단지 개시의 명확하고 일관된 이해를 위하여 발명자에 의하여 사용된다. 따라서, 개시의 다양한 실시예들의 아래의 설명은 단지 설명의 목적으로 제공된 것이며, 첨부된 청구범위와 그 균등범위들에 의하여 정해지는 개시를 제한하기 위한 목적은 아니다.
도 1은 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 시스템의 개요를 도시하는 도면이다.
본 개시에서 설명하는 이상 탐지 시스템은 게임 내 버그, 어뷰징(abusing) 또는 사용자의 조작에 의한 휴먼 에러(human error)로 발생한 게임 아이템 획득 확률의 이상 현상을 조기에 탐지하기 위한 방법을 수행할 수 있다. 일 실시예에서, 이상 탐지 시스템은 특정한 게임 프로그램의 운용과 관련하여 가챠 및 컨텐츠로부터 획득이 가능한 게임 아이템들에 대한 획득 확률의 변화를 모니터링할 수 있다. 이상 탐지 시스템은 특정 지역 별, 서버 별, 사용자 별, 게임 아이템 별 및 시간 별로 게임 아이템 획득 확률을 확인할 수 있다. 이상 탐지 시스템은 준실시간성에 기반하여 게임 아이템 획득 확률을 산출하고 모니터링하여 게임 아이템의 획득 확률에 이상 현상이 발생한 것을 조기에 탐지할 수 있고 이상이 탐지된 경우, 관리자 등에게 알려 유지보수가 용이하도록 할 수 있다. 이상 탐지 시스템은 동적으로 게임 아이템의 이전 및 현재의 획득 확률을 산정할 수 있으며, 확률 산정 비교 자동 시스템으로서 기능할 수 있다.
게임 아이템 획득 확률의 이상(anomaly 또는 abnormality)을 탐지할 때 단순 확률의 변화 값을 이용하는 경우, 샘플의 수가 적은 희귀한 게임 아이템의 게임 아이템 획득 확률은 샘플 별로 획득 확률의 변화량이 클 수 있기 때문에, 게임 아이템 획득 확률을 잘못 탐지할 가능성이 높을 수 있다. 이를 방지하기 위하여 본 명세서에서 설명되는 이상 탐지 시스템은 사용자가 게임 아이템을 획득하기 위하여 시도한 횟수에 기초하여 게임 아이템 획득 확률을 산출할 수 있다. 또한, 이상 탐지 시스템은 정확한 게임 아이템 획득 확률을 산출하기 위해 게임 아이템의 카테고리를 보다 상세하게 분류할 수 있다.
도 1을 참조하면 이상 탐지 시스템은 이상 탐지 장치(110), 네트워크(120), 복수의 사용자 단말들(132, 134) 및 게임 서비스 서버(140)를 포함할 수 있다.
게임 서비스 서버(140)는 네트워크(120)를 통해 사용자 단말들(132, 134)에 게임 서비스를 제공할 수 있다. 게임 서비스 서버(140)는 사용자 단말들(132, 134)의 사용자들이 플레이하는 게임 프로그램을 운용하고, 관리할 수 있다. 게임 서비스 서버(140)는 예를 들어 사용자 단말들(132, 134)에 게임 아이템이 보상인 미션, 퀘스트 등의 컨텐츠를 제공할 수 있다.
이상 탐지 장치(110)는 게임 서비스 서버(140)로부터 네트워크(120)를 통해 게임 아이템의 획득과 관련된 로그 데이터를 수집할 수 있다. 이상 탐지 장치(110)는 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출할 수 있다. 일 실시예에서, 이상 탐지 장치(110)는 게임 아이템 획득 확률의 이상 탐지의 대상이 되는 게임 아이템의 이전 획득 확률에 대한 게임 아이템의 현재 획득 확률의 변화에 기초하여 게임 아이템 획득 확률에 대한 이상 스코어를 결정할 수 있다. 이상 탐지 장치(110)는 이상 스코어와 임계 값 간의 비교 결과에 기초하여 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정할 수 있다. 게임 아이템의 게임 아이템 획득 확률에 이상이 발생한 것으로 결정된 경우, 이상 탐지 장치(110)는 네트워크(120)를 통해 게임 서비스 서버(140)에 게임 아이템에 발생한 이상 여부에 대한 정보를 전송할 수 있다. 실시예에 따라 이상 탐지 장치(110)는 게임 서비스 서버(140)에 포함되어 동작할 수도 있고, 또는 게임 서비스 서버(140)의 외부에 별개로 존재하여 동작할 수도 있다.
도 2는 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 이상 탐지 장치(예: 도 1의 이상 탐지 장치(110), 도 10의 이상 탐지 장치(1000))는 단계(210)에서 게임 아이템의 획득과 관련된 로그 데이터를 수집할 수 있다. 로그 데이터는, 예를 들어, 사용자가 게임 플레이 중에 획득한 게임 아이템의 종류, 획득한 게임 아이템의 개수, 게임 아이템을 획득한 컨텐츠 또는 상품의 종류 및 게임 아이템을 획득하기 위해 시도한 횟수 중 적어도 하나를 포함할 수 있다. 일 실시예에서 사용자의 게임 캐릭터는 게임 퀘스트, 미션 등과 같은 컨텐츠에 참여하여 보상으로 게임 아이템을 획득할 수 있고, 또는 상품을 구매하여 보상으로 게임 아이템을 획득할 수 있다. 게임 아이템을 획득하기 위해 시도한 횟수는 예를 들어 사용자의 게임 캐릭터가 게임 아이템을 획득하기 위하여 컨텐츠에 참여하거나 상품을 구매한 횟수를 포함할 수 있다.
단계(220)에서, 이상 탐지 장치는 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출할 수 있다. 이상 탐지 장치는 예를 들어, 로그 데이터로부터 사용자가 대상(target) 게임 아이템을 획득하기 위해 시도한 횟수와 대상 게임 아이템을 획득한 횟수를 추출할 수 있다. 이상 탐지 장치는 사용자가 대상 게임 아이템을 획득하기 위해 시도한 횟수와 대상 게임 아이템을 획득한 횟수에 기초하여 게임 아이템 획득 확률을 산출할 수 있다. 이상 탐지 장치는 사용자가 대상 게임 아이템을 획득하기 위해 시도한 횟수에 대한 대상 게임 아이템을 획득한 횟수의 비에 기초하여 게임 아이템 획득 확률을 산출할 수 있다. 예를 들어, 사용자가 대상 게임 아이템을 획득하기 위해 시도한 횟수가 10이고 대상 게임 아이템을 획득한 횟수가 2인 경우, 게임 아이템 획득 확률은 20%가 될 수 있다.
단계(230)에서, 이상 탐지 장치는 대상 게임 아이템의 이전 획득 확률에 대한 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정할 수 있다. 여기서, 게임 아이템 획득 확률은 간격이 미리 정해진 일정한 시간 구간(또는 시간 윈도우)을 기준으로 산출될 수 있다. 시간 구간의 간격은 예를 들어 24시간일 수 있으나, 이에 한정되는 것은 아니다. 이전 획득 확률은 이전 시간 구간에서의 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고, 현재 획득 확률은 이전 시간 구간의 다음 시간 구간인 현재 시간 구간에서의 대상 게임 아이템의 게임 아이템 획득 확률을 나타낼 수 있다. 이전 시간 구간과 현재 시간 구간은 동일한 시간 간격을 가질 수 있다.
이상 탐지 장치는 이전 획득 확률에 대한 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출할 수 있다. 이상 탐지 장치는 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출된 이전 획득 확률에 대한 현재 획득 확률의 변화에 기초하여 이상 스코어를 산출할 수 있다. 이상 탐지 장치는 이상 스코어와 이전 획득 확률에 대한 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출함으로써, 보다 정확하게 이상을 탐지해낼 수 있고, 이상을 누락 없이 찾아낼 수 있다. 예를 들어, 일 사용자가 일 사용자에게 지급되는 게임 아이템 획득 확률에 한해서만 조작을 한다면, 게임 아이템 별 및 시간 별로 산출된 이전 획득 확률에 대한 현재 획득 확률의 변화 및 이상 스코어에 기초하여 이상 여부가 결정되지 않을 수도 있다. 이 경우, 사용자 별로 이전 획득 확률에 대한 현재 획득 확률의 변화 및 이상 스코어가 이상이 감지될 정도의 수치로써 산출될 수 있다.
일 실시예에서, 이상 탐지 장치는 T-검정 기법, 카이 제곱 검정 기법 및 LSTM(long short-term memory) 모델 중 적어도 하나를 이용하여 이상 스코어를 산출할 수 있다.
이상 스코어를 결정하는 단계는, 게임 서비스 상에서 게임 아이템 획득 확률에 대한 기대 확률이 미리 정의되어 있을 수 있는데, 만약 게임 서비스 상에서 게임 아이템 획득 확률에 대한 기대 확률이 정의되어 있지 않은 경우, 이상 탐지 장치는 T-검정(T-Statistic) 기법을 사용하여 이상 스코어를 결정할 수 있다. 이상 탐지 장치는 T-검정 기법을 이용하여 T-통계량을 계산하고, 및 신뢰 구간에 기초하여 대상 게임 아이템의 이전 획득 확률에 대한 현재 획득 확률이 이상치인지 여부를 결정하기 위한 이상 스코어를 산출할 수 있다. 이상 탐지 장치는, 카이 제곱 검정 기법을 이용하여 카이 제곱 통계량을 계산하고 신뢰 구간을 이용하여 독립적이지 않은 대상 게임 아이템의 이전 획득 확률에 대한 현재 획득 확률이 이상치인지 여부를 결정하기 위한 이상 스코어를 산출할 수 있다.
예를 들어, 이상 탐지 장치는 다음의 수학식 1에 기초하는 T-검정 기법을 사용하여 이상 스코어(scoreT)를 산출할 수 있다.
Figure PCTKR2022013843-appb-img-000001
위 식에서 p1은 대상 게임 아이템의 이전 획득 확률이고 p2는 대상 게임 아이템의 현재 획득 확률일 수 있다. n1은 이전 획득 확률이 산출된 이전 샘플이고, n2는 현재 획득 확률이 산출된 현재 샘플을 나타낼 수 있다. 게임 서비스 상에서 게임 아이템 획득 확률에 대한 기대 확률이 미리 정의되어 있는 경우, 이상 탐지 장치는 카이 제곱 검정 기법을 사용하여 이상 스코어를 결정할 수 있다. 카이 제곱 검정 기법을 사용하여 이상 스코어(scorechi)를 결정하기 위한 식은 예를 들어 수학식 2와 같을 수 있다.
Figure PCTKR2022013843-appb-img-000002
위 식에서 Oi는 게임 아이템 획득 확률에 대한 관찰된 확률을 나타내고, Ei는 게임 아이템 획득 확률에 대한 기대 확률을 나타낼 수 있다. Oi는 실제 산출된 게임 아이템 획득 확률에 대응하고, Ei는 예측된 게임 아이템 획득 확률에 대응할 수 있다.
일 실시예에서, 이상 탐지 장치는 또한 LSTM 모델을 이용하여 이상 스코어를 결정할 수도 있다. 예를 들어, 이상 탐지 장치는 게임 아이템 별로 시간 경과에 따른 게임 아이템 획득 확률의 변화를 학습한 LSTM 모델 기반의 오토인코더(auto encoder)를 이용하여 재구성 에러 값(reconstruction error value)을 획득할 수 있다. 이상 탐지 장치는 재구성 에러 값을 이상 스코어로 결정할 수 있다. 즉, 이상 탐지 장치는 재구성 에러 값이 재구성 에러 값의 임계 값보다 큰 경우 재구성 에러 값을 이상 스코어로 결정할 수 있다.
단계(240)에서, 이상 탐지 장치는 이상 스코어와 임계 값 간의 비교 결과에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정할 수 있다. 이상 탐지 장치는 일 실시예에서, 이상 스코어와 복수의 서로 다른 크기의 임계 값들 간의 비교를 수행할 수 있다. 이상 탐지 장치는 비교 결과에 기초하여 이상의 위험도 레벨을 결정하고, 위험도 레벨 별로 설정된 대상 게임 아이템에 대한 알림 메시지들 중 결정된 위험도 레벨에 대응하는 알림 메시지를 제공할 수 있다. 예를 들어, 이상의 위험도 레벨을 결정하는 특징은 도 4에서 자세히 설명될 수 있다.
도 3 및 도 4는 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 방법을 설명하기 위한 흐름도들이다.
도 3을 참조하면, 게임 아이템 획득과 관련된 로그 데이터(310)와 게임 아이템의 획득 출처와 관련된 로그 데이터(320)가 존재할 수 있다. 게임 아이템의 획득 출처와 관련된 로그 데이터(320)는 컨텐츠 수행과 관련된 로그 데이터 및 게임 아이템 구매와 관련된 로그 데이터를 포함할 수 있다. 여기서 컨텐츠는 게임 상에서 제공되는 퀘스트나 이벤트 참여 등을 포함할 수 있다. 컨텐츠 수행의 보상은 예를 들어, 랜덤으로 제공되는 게임 아이템일 수 있다.
단계(330)에서, 이상 탐지 장치(예: 도 1의 이상 탐지 장치(110), 도 10의 이상 탐지 장치(1000))는 컨텐츠 수행과 관련된 로그 데이터 및 게임 아이템 구매와 관련된 로그 데이터로부터 사용자의 게임 아이템 구매 횟수와 컨텐츠 수행 횟수를 추출할 수 있다.
단계(340)에서, 이상 탐지 장치는 게임 아이템 획득과 관련된 로그 데이터(310) 및 게임 아이템 구매/컨텐츠 수행 횟수로부터 게임 아이템 구매/컨텐츠 별 게임 아이템의 획득 횟수를 산출할 수 있다. 이때, 이상 탐지 장치는 매핑 키를 이용하여 게임 아이템 획득과 관련된 로그 데이터(310) 및 게임 아이템 구매/컨텐츠 수행 횟수를 조인할 수 있다. 이상 탐지 장치는 맵핑(mapping)된 게임 아이템 획득과 관련된 로그 데이터(310) 및 게임 아이템 구매/컨텐츠 수행 횟수로부터 게임 아이템 구매/컨텐츠 별 게임 아이템의 획득 횟수를 산출할 수 있다.
단계(350)에서, 이상 탐지 장치는 게임 아이템 구매/컨텐츠 별 게임 아이템의 획득 확률을 산출할 수 있다. 이상 탐지 장치는 게임 아이템 구매에 의한 게임 아이템의 획득 횟수를 게임 아이템을 구매한 횟수로 나눠서 게임 아이템 구매에 의한 게임 아이템의 획득 확률을 산출할 수 있다. 이상 탐지 장치는 컨텐츠 수행에 의한 게임 아이템의 획득 횟수를 컨텐츠 수행 횟수로 나눠서 컨텐츠 수행에 의한 게임 아이템의 획득 확률을 산출할 수 있다. 이상 탐지 장치는 도 3의 과정을 이전 획득 확률 및 현재 획득 확률에 대해서 수행하고, 이전 획득 확률과 현재 획득 확률에 대해 비교를 하기 위한 비교용 테이블을 생성할 수도 있다.
도 4를 참조하면, 단계(410)에서 이상 탐지 장치는 사용자 별 게임 아이템 구매 및 컨텐츠 수행에 의한 게임 아이템 획득과 관련된 데이터를 로그 데이터에 적재할 수 있다. 이상 탐지 장치는 미리 정해진 시간 간격에 기초하여 데이터를 적재할 수 있다. 여기서, 적재된 데이터의 예시는 도 5와 같을 수 있다.
도 4로 돌아오면, 단계(420)에서 이상 탐지 장치는 시간 구간을 기준으로 게임 아이템의 이전 획득 확률과 현재 획득 확률을 산출할 수 있다. 게임 아이템 획득 확률을 산출하기 위해 필요한 로그 데이터의 일부는 도 6과 같을 수 있다.
다시 도 4로 돌아오면, 단계(430)에서, 이상 탐지 장치는 시간 구간을 기준으로 게임 아이템의 이전 획득 확률에 대한 현재 획득 확률의 변화 검정을 수행할 수 있다. 변화 검정은 T-검정 기법, 카이 제곱 검정 기법 및 LSTM 모델 중 적어도 하나를 이용하여 수행될 수 있다.
단계(440)에서 이상 탐지 장치는 통계 기반 또는 딥러닝 모델에 기반하여 이상 스코어를 산출할 수 있다. 여기서, 통계 기반은 T-검정 기법, 카이 제곱 검정 기법에 대응할 수 있고, 딥러닝 모델은 LSTM 모델에 대응할 수 있다.
이상 스코어에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하고 위험도 레벨을 결정하기 위한 임계 값이 존재할 수 있다. 이상 탐지 장치 또는 관리자는 신뢰 구간을 정의할 수 있다. 이때 신뢰 구간은 모집단 모수 값이 포함될 가능성이 있는 구간을 나타낼 수 있다. 신뢰 구간을 99% 사용하는 경우, 오탐의 가능성이 존재할 수 있다. 이 경우, 샘플 100개 중 99개가 신뢰 구간 내에 포함될 수 있지만 한 개는 벗어나게 될 수 있다. 즉, 이 경우에 오탐의 가능성이 항상 존재할 수 있다. 이상 탐지 장치 또는 관리자는 오탐의 가능성이 항상 존재한다는 한계를 극복하기 위하여, 신뢰 구간을 99.99...%로 설정할 수 있다. 또한, 이상 탐지 장치 또는 관리자는 확률에 대한 변동 %p 값에 대한 임계 값 조건을 더 추가할 수도 있다.
일 예에서 이상 스코어가 임계 값의 3배보다 큰 경우, 이상 탐지 장치는 게임 아이템 획득 확률에 이상이 발생한 것으로 결정할 수 있고, 발생한 이상의 위험도 레벨을 3단계로 결정할 수 있다. 또한, 이상 스코어가 임계 값의 2배보다 큰 경우, 이상 탐지 장치는 게임 아이템 획득 확률에 이상이 발생한 것으로 결정할 수 있고, 발생한 이상의 위험도 레벨을 2단계로 결정할 수 있다. 이상 스코어가 임계 값보다 큰 경우, 이상 탐지 장치는 게임 아이템 획득 확률에 이상이 발생한 것으로 결정할 수 있고, 발생한 이상의 위험도 레벨을 1단계로 결정할 수 있다.
단계(450)에서, 이상 탐지 장치는 탐지된 게임 아이템 확률의 이상의 위험도 단계에 기초하여 관리자에게 알림 메시지를 전송할 수 있다. 예를 들어, 위험도 단계 각각에 대응하는 알림 메시지들이 존재할 수 있고, 이상 탐지 장치는 탐지된 이상의 위험도 단계에 대응하는 알림 메시지를 관리자에게 전송할 수 있다. 알림 메시지는 예를 들어, 이상이 탐지된 것에 대해 경고하기 위한 내용을 포함할 수 있다.
단계(460)에서, 이상 탐지 장치는 탐지된 이상과 관련된 대시보드를 제공할 수 있다. 탐지된 이상과 관련된 대시보드는 예를 들어 도 7 내지 도 9와 같을 수 있다.
도 5 및 도 6은 일 실시예에 따른 로그 데이터를 도시하는 도면들이다.
도 5는 일 실시예에 따른 사용자가 게임 아이템을 획득하기 위해 시도하거나 게임 아이템을 획득한 경우에 로그 데이터에 적재되는 게임 아이템 획득과 관련된 데이터를 나타내는 표일 수 있다. 사용자가 게임 아이템을 획득하기 위해 시도하거나 게임 아이템을 획득한 경우에 로그 데이터에 적재되는 게임 아이템 획득과 관련된 데이터를 나타내는 표는 예를 들어, 게임 아이템 획득과 관련된 데이터의 식별 정보(사용자 id), 사용자가 게임 아이템을 획득한 서버의 식별 정보(서버 id, server id), 컨텐츠 명(또는 컨텐츠 종류), 그룹 설명(group_description) 및 영역 식별 정보(영역 id, regionid)를 포함할 수 있다.
도 6의 표는 일 실시예에 따른 이상 탐지 장치가 게임 아이템 획득 확률을 산출하기 위해 필요한 로그 데이터의 일부를 포함할 수 있다. 도 6의 표는 예를 들어, 그룹 설명, 이전 시간 구간에서의 게임 아이템 획득 횟수, 이전 시간 구간에서의 게임 아이템 획득 시도 횟수, 게임 아이템의 이전 획득 확률, 현재 시간 구간에서의 게임 아이템 획득 횟수, 현재 시간 구간에서의 게임 아이템 획득 시도 횟수 및 게임 아이템의 현재 획득 확률을 포함할 수 있다. 이상 탐지 장치는 도 6에 포함된 데이터에 기초하여 게임 아이템의 이전 획득 확률 및 게임 아이템의 현재 획득 확률을 산출할 수 있다.
도 7 내지 도 9는 일 실시예에 따른 탐지된 이상과 관련된 대시보드의 일례를 도시하는 도면들이다.
도 7은 일 실시예에 따른 게임 아이템 별 게임 아이템 획득 확률의 변화를 나타내는 대시보드의 일례이다. 도 7을 참조하면 참조번호(710)은 이전 23시간에 대응하는 대상 게임 아이템의 이전 획득 확률이고, 참조번호(720)은 이전 24시간에 대응하는 대상 게임 아이템의 현재 획득 확률을 나타낼 수 있다. 관리자는 도 7을 통해 게임 아이템 별 대상 게임 아이템의 이전 획득 확률에 대한 대상 게임 아이템의 현재 획득 확률의 변화를 한 눈에 확인할 수 있다.
도 7의 표에서 델타는 카이 제곱 검정 기법에 의해 산출된 이상 스코어이고 T-검정은 T-검정 기법에 의해 산출된 이상 스코어일 수 있다. 의심여부는 이상 스코어에 기초하여 사용자가 게임 아이템 획득 확률을 조작한 것으로 의심되는지 여부를 나타낼 수 있다.
도 8은 일 실시예에 따른 시간 구간 별 게임 아이템 획득 확률의 변화를 나타내는 대시보드의 일례이다. 도 8을 참조하면, 참조번호(810)은 2021년 9월 6일 오후 5시를 기준으로 24시간의 게임 아이템 획득 확률과 2021년 9월 7일 오후 2시를 기준으로 24시간의 게임 아이템 획득 확률의 비교하기 위한 그래프일 수 있다. 관리자는 도 8을 통해 24시간을 기준으로 한 시간 구간 별 게임 아이템 획득 확률의 변화를 한 눈에 확인할 수 있다.
도 9는 일 실시예에 따른 사용자 별 게임 아이템 획득 확률의 변화를 나타내는 대시보드의 일례이다. 도 9를 참조하면 참조번호(910)은 사용자 별 게임 아이템 획득 확률을 나타내는 그래프일 수 있다.
도 10은 일 실시예에 따른 게임 아이템 획득 확률의 이상을 탐지하는 이상 탐지 장치의 구성을 도시하는 도면이다.
도 10을 참조하면, 이상 탐지 장치(1000)(예: 도 1의 이상 탐지 장치(110))는 통신기(1010), 프로세서(1020), 메모리(1030)를 포함할 수 있다. 실시예에 따라, 이상 탐지 장치(1000)는 데이터베이스(1040)를 더 포함할 수도 있다.
메모리(1030)는 프로세서(1020)에 연결되고, 프로세서(1020)에 의해 실행가능한 인스트럭션들, 프로세서(1020)가 연산할 데이터 또는 프로세서(1020)에 의해 처리된 데이터를 저장할 수 있다. 메모리(1030)는 비일시적인 컴퓨터 판독가능 매체, 예컨대 고속 랜덤 액세스 메모리 및/또는 비휘발성 컴퓨터 판독가능 저장 매체(예컨대, 하나 이상의 디스크 저장 장치, 플래쉬 메모리 장치, 또는 기타 비휘발성 솔리드 스테이트 메모리 장치)를 포함할 수 있다.
통신기(1010)는 외부 장치(예를 들어, 게임 서비스 서버 및 사용자 단말)와 통신하기 위한 인터페이스를 제공한다. 통신기(1010)는 유선 또는 무선 네트워크를 통해 외부 장치와 통신할 수 있다.
데이터베이스(1040)는 이상 탐지 장치(1000)가 이상 탐지 방법을 수행하는 데 필요한 데이터를 저장할 수 있다. 예를 들어, 데이터베이스(1040)는 로그 데이터를 저장하고 있을 수 있다.
프로세서(1020)는 이상 탐지 장치(1000) 내에서 실행하기 위한 기능 및 인스트럭션들을 실행하고, 이상 탐지 장치(1000)의 전체적인 동작을 제어한다. 프로세서(1020)는 본 명세서에서 설명된 이상 탐지 장치의 동작과 관련된 하나 이상의 동작을 수행할 수 있다.
예를 들어, 프로세서(1020)는 이상 탐지 장치(1000)가 게임 아이템의 획득과 관련된 로그 데이터를 수집하고, 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출하고, 대상 게임 아이템의 이전 획득 확률에 대한 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정하도록 이상 탐지 장치(1000)를 제어할 수 있다.
프로세서(1020)는 이상 탐지 장치(1000)가 이전 획득 확률에 대한 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출하고, 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출된 이전 획득 확률에 대한 현재 획득 확률의 변화에 기초하여 이상 스코어를 산출하도록 이상 탐지 장치(1000)를 제어할 수 있다. 프로세서(1020)는 이상 탐지 장치(1000)가 이상 스코어와 임계 값 간의 비교 결과에 기초하여 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하도록 이상 탐지 장치(1000)를 제어할 수 있다.
본 개시의 다양한 실시예들에 따르면, 확률형 보상에 기반한 컨텐츠에 발생한 버그 또는 사용자에 의해 발생한 오류를 감지하고 관리자에게 이상이 발생하였음을 경고하기 위한 알림 메시지를 제공할 수 있다.
본 개시의 다양한 실시예들에 따르면, 확률형 보상에 기초한 컨텐츠에서 확률 변동이 발생한 것을 조기에 탐지할 수 있고, 준실시간성에 기반한 보상 지급의 확률 변화를 모니터링할 수 있다.
본 개시의 다양한 실시예들에 따르면, 다른 사용자들에 비해 특정한 게임 아이템을 과도하게 획득한 사용자를 탐지할 수 있다.
본 개시의 다양한 실시예들에 따르면, 게임 아이템 획득 확률에 대한 이상 여부를 특정 지역 별, 서버 별, 사용자 별, 시간 별 및 게임 아이템 별로 탐지할 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
다양한 실시예들은 기기(machine) 의해 읽을 수 있는 비일시적 저장 매체(storage medium)(예: 메모리(1030))에 저장된 하나 이상의 명령어들을 포함할 수 있는 소프트웨어 또는 기기 판독 가능 명령어(machine readable instructions)로서 구현될 수 있다. 예를 들면, 기기(예: 이상 탐지 장치(1000))의 프로세서(예: 프로세서(1020))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장될 수 있는 경우와 임시적으로 저장될 수 있는 경우를 구분하지 않는다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 다른 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
개시는 다양한 실시예들을 참조하여 설명되고 제시되었지만, 기술분야에서 통상의 지식을 가진 자는 첨부된 청구범위 및 이의 균등범위들에 의하여 정해진 개시의 기술사상 및 범위로부터 벗어나지 않고 형태 및 상세에 있어서 다양한 변경이 될 수 있다는 것을 이해할 것이다.

Claims (14)

  1. 이상 탐지 장치에 의해 수행되는, 게임 아이템 획득 확률의 이상 탐지 방법(anomaly detection method)에 있어서,
    게임 아이템의 획득과 관련된 로그 데이터를 수집하는 단계;
    상기 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출하는 단계;
    대상 게임 아이템의 이전 획득 확률에 대한 상기 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정하는 단계; 및
    상기 이상 스코어와 임계 값 간의 비교 결과에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하는 단계
    를 포함하는 이상 탐지 방법.
  2. 제1항에 있어서,
    상기 이전 획득 확률은,
    이전 시간 구간에서의 상기 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고,
    상기 현재 획득 확률은,
    상기 이전 시간 구간의 다음 시간 구간인 현재 시간 구간에서의 상기 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고,
    상기 이전 시간 구간과 상기 현재 시간 구간은 동일한 시간 간격을 가지는,
    이상 탐지 방법.
  3. 제1항에 있어서,
    상기 로그 데이터는,
    획득한 게임 아이템의 종류, 획득한 게임 아이템의 개수, 게임 아이템을 획득한 컨텐츠 또는 상품의 종류 및 게임 아이템을 획득하기 위해 시도한 횟수 중 적어도 하나를 포함하는,
    이상 탐지 방법.
  4. 제1항에 있어서,
    상기 이상 스코어를 결정하는 단계는,
    상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출하는 단계; 및
    사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출된 상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화에 기초하여 상기 이상 스코어를 산출하는 단계
    를 포함하는 이상 탐지 방법.
  5. 제1항에 있어서,
    상기 게임 아이템 획득 확률을 산출하는 단계는,
    상기 로그 데이터로부터 사용자가 상기 대상 게임 아이템을 획득하기 위해 시도한 횟수와 상기 대상 게임 아이템을 획득한 횟수를 추출하는 단계; 및
    상기 사용자가 상기 대상 게임 아이템을 획득하기 위해 시도한 횟수와 상기 대상 게임 아이템을 획득한 횟수에 기초하여 상기 게임 아이템 획득 확률을 산출하는 단계
    를 포함하는 이상 탐지 방법.
  6. 제1항에 있어서,
    상기 이상 스코어를 결정하는 단계는,
    T-검정 기법, 카이 제곱 검정 기법 및 LSTM(long short-term memory) 모델 중 적어도 하나를 이용하여 상기 이상 스코어를 산출하는 단계
    를 포함하는 이상 탐지 방법.
  7. 제6항에 있어서,
    상기 이상 스코어를 결정하는 단계는,
    게임 서비스 상에서 게임 아이템 획득 확률에 대한 기대 확률이 정의되어 있지 않은 경우, T-검정(T-Statistic) 기법을 사용하여 상기 이상 스코어를 결정하는 단계
    를 포함하는 이상 탐지 방법.
  8. 제6항에 있어서,
    상기 이상 스코어를 결정하는 단계는,
    게임 아이템 별로 시간 경과에 따른 게임 아이템 획득 확률의 변화를 학습한 LSTM(long short-term memory) 모델 기반의 오토인코더(auto encoder)를 이용하여 재구성 에러 값(reconstruction error value)을 획득하는 단계; 및
    상기 재구성 에러 값을 상기 이상 스코어로 결정하는 단계
    를 포함하는 이상 탐지 방법.
  9. 제1항에 있어서,
    상기 이상 여부를 결정하는 단계는,
    상기 이상 스코어와 복수의 서로 다른 크기의 임계 값들 간의 비교를 수행하는 단계;
    상기 비교 결과에 기초하여 이상의 위험도 레벨을 결정하는 단계; 및
    위험도 레벨 별로 설정된 상기 대상 게임 아이템에 대한 알림 메시지들 중 상기 결정된 위험도 레벨에 대응하는 알림 메시지를 제공하는 단계
    를 포함하는 이상 탐지 방법.
  10. 이상 탐지 장치에 있어서,
    메모리 및 프로세서를 포함하고,
    상기 메모리는 상기 프로세서에 의해 실행 가능한 인스트럭션들(instructions)을 저장하고,
    상기 인스트럭션들이 상기 프로세서에 의해 실행될 때, 상기 프로세서는,
    게임 아이템의 획득과 관련된 로그 데이터를 수집하고,
    상기 로그 데이터에 기초하여 게임 아이템에 대한 게임 아이템 획득 확률을 산출하고,
    대상 게임 아이템의 이전 획득 확률에 대한 상기 대상 게임 아이템의 현재 획득 확률의 변화에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률에 대한 이상 스코어를 결정하고,
    상기 이상 스코어와 임계 값 간의 비교 결과에 기초하여 상기 대상 게임 아이템의 게임 아이템 획득 확률의 이상 여부를 결정하는,
    이상 탐지 장치.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화를 사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출하고,
    사용자 별, 게임 아이템 별 및 시간 별 중 적어도 하나에 기초하여 산출된 상기 이전 획득 확률에 대한 상기 현재 획득 확률의 변화에 기초하여 상기 이상 스코어를 산출하는,
    이상 탐지 장치.
  12. 제10항에 있어서,
    상기 이전 획득 확률은,
    이전 시간 구간에서의 상기 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고,
    상기 현재 획득 확률은,
    상기 이전 시간 구간의 다음 시간 구간인 현재 시간 구간에서의 상기 대상 게임 아이템의 게임 아이템 획득 확률을 나타내고,
    상기 이전 시간 구간과 상기 현재 시간 구간은 동일한 시간 간격을 가지는,
    이상 탐지 장치.
  13. 제10항에 있어서,
    상기 프로세서는,
    상기 로그 데이터로부터 사용자가 상기 대상 게임 아이템을 획득하기 위해 시도한 횟수와 상기 대상 게임 아이템을 획득한 횟수를 추출하고,
    상기 사용자가 상기 대상 게임 아이템을 획득하기 위해 시도한 횟수와 상기 대상 게임 아이템을 획득한 횟수에 기초하여 상기 게임 아이템 획득 확률을 산출하는,
    이상 탐지 장치.
  14. 제10항에 있어서,
    상기 프로세서는,
    상기 이상 스코어와 복수의 서로 다른 크기의 임계 값들 간의 비교를 수행하고,
    상기 비교 결과에 기초하여 이상의 위험도 레벨을 결정하고,
    위험도 레벨 별로 설정된 상기 대상 게임 아이템에 대한 알림 메시지들 중 상기 결정된 위험도 레벨에 대응하는 알림 메시지를 제공하는,
    이상 탐지 장치.
PCT/KR2022/013843 2022-01-03 2022-09-16 게임 아이템 획득 확률의 이상 탐지 방법 및 장치 WO2023128139A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0000427 2022-01-03
KR1020220000427A KR102645190B1 (ko) 2022-01-03 2022-01-03 게임 아이템 획득 확률의 이상 탐지 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2023128139A1 true WO2023128139A1 (ko) 2023-07-06

Family

ID=86999606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/013843 WO2023128139A1 (ko) 2022-01-03 2022-09-16 게임 아이템 획득 확률의 이상 탐지 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102645190B1 (ko)
WO (1) WO2023128139A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119454A (ko) * 2018-04-12 2019-10-22 주식회사 넥슨코리아 가챠 시스템의 확률 정보를 획득하는 방법, 장치 및 컴퓨터 프로그램
CN110781021A (zh) * 2019-10-29 2020-02-11 腾讯科技（深圳）有限公司 异常检测方法、装置、计算机设备及存储介质
US20200211325A1 (en) * 2018-12-31 2020-07-02 Playtika Ltd. System and method for outlier detection in gaming
KR20210093108A (ko) * 2020-01-17 2021-07-27 그랜드코리아레저(주) 게임 데이터를 기초로 비정상 사용자를 검출하는 방법 및 장치
WO2021150724A1 (en) * 2020-01-24 2021-07-29 Nvidia Corporation Cheating detection using one or more neural networks

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198339B1 (ko) * 2018-10-05 2021-01-05 넷마블 주식회사 이상 케이스 탐지 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190119454A (ko) * 2018-04-12 2019-10-22 주식회사 넥슨코리아 가챠 시스템의 확률 정보를 획득하는 방법, 장치 및 컴퓨터 프로그램
US20200211325A1 (en) * 2018-12-31 2020-07-02 Playtika Ltd. System and method for outlier detection in gaming
CN110781021A (zh) * 2019-10-29 2020-02-11 腾讯科技（深圳）有限公司 异常检测方法、装置、计算机设备及存储介质
KR20210093108A (ko) * 2020-01-17 2021-07-27 그랜드코리아레저(주) 게임 데이터를 기초로 비정상 사용자를 검출하는 방법 및 장치
WO2021150724A1 (en) * 2020-01-24 2021-07-29 Nvidia Corporation Cheating detection using one or more neural networks

Also Published As

Publication number Publication date
KR102645190B1 (ko) 2024-03-07
KR20230105185A (ko) 2023-07-11

Similar Documents

Publication Publication Date Title
CN109587008B (zh) 检测异常流量数据的方法、装置及存储介质
WO2012002635A1 (ko) 시스템 테스트 장치
WO2013077538A1 (ko) Ａｐｉ 기반 어플리케이션 분석 장치 및 방법
WO2017155292A1 (ko) 비정상행위 탐색방법 및 탐색프로그램
CN109359003A (zh) 游戏服务器压力测试方法、装置及设备
CN107209829A (zh) 数据判定装置、数据判定方法及程序
US20210049477A1 (en) Anomaly detection device
WO2021125517A1 (ko) 전용 인공 지능 시스템
WO2018088664A1 (ko) 러프 셋을 이용한 형태소 품사 태깅 코퍼스 오류 자동 검출 장치 및 그 방법
WO2022114654A1 (ko) 공정 모니터링 시스템 및 방법
CN115729815A (zh) 基于加权随机的模糊测试方法、装置、设备及存储介质
WO2023128139A1 (ko) 게임 아이템 획득 확률의 이상 탐지 방법 및 장치
WO2018062614A1 (ko) 계량데이터 관리 시스템 및 컴퓨터 판독가능 기록 매체
WO2019098423A1 (ko) 메시지의 대화 흐름을 파악하기 위한 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
WO2018093189A1 (ko) 급성뇌경색 발생시점 추정시스템, 방법 및 프로그램
WO2014098372A1 (ko) 유해 사이트 수집 장치 및 방법
WO2023090825A1 (ko) Ai 모델 드리프트 모니터링 장치 및 방법
CN113821443B (zh) 应用程序的功能检测方法、装置、设备及存储介质
WO2018043936A1 (ko) 공정/장비 계측 데이터의 미세 변동 감지 방법 및 시스템
CN115473740A (zh) 一种基于异构流程的异常检测方法与系统
WO2022131404A1 (ko) 온디바이스 기반 데이터 분석 시스템 및 방법
WO2023282612A1 (ko) 복수의 진단 키트의 검사 결과를 자동으로 판독하는 ai 장치 및 그 방법
WO2009151211A2 (ko) 발 특징 정보를 이용한 사용자 식별 시스템 및 방법
CN116069939A (zh) 一种对象预警方法、装置、计算机设备、存储介质和产品
WO2016159622A1 (ko) 사용자 학습 등급에 따라 단어 학습 내용을 제공하는 방법과 시스템 및 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916293

Country of ref document: EP

Kind code of ref document: A1