KR102165494B1 - 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램 - Google Patents

온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102165494B1
KR102165494B1 KR1020180172711A KR20180172711A KR102165494B1 KR 102165494 B1 KR102165494 B1 KR 102165494B1 KR 1020180172711 A KR1020180172711 A KR 1020180172711A KR 20180172711 A KR20180172711 A KR 20180172711A KR 102165494 B1 KR102165494 B1 KR 102165494B1
Authority
KR
South Korea
Prior art keywords
behavior
usage
image
abnormal
user
Prior art date
Application number
KR1020180172711A
Other languages
English (en)
Other versions
KR20200087325A (ko
Inventor
신보람
남원구
정성원
박형석
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020180172711A priority Critical patent/KR102165494B1/ko
Priority to US16/727,238 priority patent/US11562553B2/en
Priority to JP2019237635A priority patent/JP6928073B2/ja
Publication of KR20200087325A publication Critical patent/KR20200087325A/ko
Application granted granted Critical
Publication of KR102165494B1 publication Critical patent/KR102165494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 온라인 서비스의 사용자가 수행한 행위의 종류와 순서를 패턴으로 형성하여 이미지를 구성한 후, 상기 이미지를 분석하여 사용자 활동의 비정상 여부를 판단함으로써, 사용자의 비정상 사용 행위를 보다 정확하고 효과적으로 식별할 수 있는 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 비정상 사용 행위 식별 장치가 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하는 사용 행위 정보 수집 단계; 미리 정해진 상기 사용 행위의 종류를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 순서에 따라 배열하여 이미지를 구성하는 이미지 구성 단계; 및 상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하는 비정상 사용 행위 식별 단계;를 포함하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법을 개시한다.

Description

온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR DETECTING ABUSING ACTIVITY IN ONLINE SERVICE}
본 발명은 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램에 대한 것으로서, 보다 구체적으로는 온라인 서비스의 사용자가 수행한 행위의 종류와 순서를 패턴으로 형성하여 이미지를 구성한 후, 상기 이미지를 분석하여 사용자 활동의 비정상 여부를 판단함으로써, 사용자의 비정상 사용 행위를 보다 정확하고 효과적으로 식별할 수 있는 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램에 대한 것이다.
정보통신 기술의 발달과 함께 사용자가 스마트폰이나 개인용 컴퓨터(PC) 등 다양한 단말을 이용하여 소셜 네트워크(SNS)나 포털 사이트 등에 접속하여 글을 게시하거나 메일을 송부하는 등 다양한 온라인 서비스가 폭넓게 이루어지고 있다.
그런데, 통상적인 정상 사용자들과 달리 온라인에서 소셜 네트워크나 포털 사이트의 까페 등에 접속하여 상기 소셜 네트워크 또는 카페 등의 목적과 전혀 무관한 광고 등을 목적으로 하는 글을 게시(도 1 참조)하거나 광고 이메일로 발송하는 등 일부 사용자들의 비정상적인 사용 행위도 빠르게 늘어나고 있으며, 이에 따라 이를 식별하고 제제하기 위한 여러 기술도 시도되고 있다.
그런데, 종래에는 통상적으로 위와 같은 사용자들의 비정상 사용 행위(=어뷰징, abusing)를 식별하기 위하여 사용자에 대한 단편적인 정보나 특정한 행위를 분석하여 비정상 사용 행위를 식별하였다. 예를 들어, 사용자의 로그인 정보나 IP 주소 등을 사용하거나, 작성된 문서의 텍스트를 기계학습을 이용하여 분석해 어뷰징을 탐지하기도 하였고, 나아가 사용자에 의해 작성된 문서에 포함된 이미지나 URL 등을 분석하여 어뷰징을 식별하기도 하였다.
그러나, 이러한 종래 기술로서는 비정상적인 사용 행위와 정상적인 사용 행위의 구별이 쉽지 못한 경우가 많아 정확도가 떨어질 수 있을 뿐만 아니라, 나아가 사용자가 비교적 손쉽게 회피하는 것이 가능하다는 문제점을 가지고 있었다.
더 나아가, 최근 사용자들의 온라인 서비스 사용 현황을 고려할 때 단순히 특정 사용자의 비정상적인 사용 행위를 식별하는 데에서 그치는 것이 아니라, 수십 또는 수백만명 이상 다수의 사용자가 수시로 수행하는 사용 행위를 분석하여 효과적으로 비정상적인 사용 행위를 식별할 수 있어야 한다는 점에서 더욱 쉽지 않은 문제가 된다.
이에 따라, 사용자의 비정상적인 사용 행위를 정확하고 효과적으로 식별할 수 있는 방안에 대한 요구가 지속되고 있으나, 아직 이를 위한 적절한 솔루션은 제공되지 못하고 있는 상황이다.
대한민국 공개특허 제 10-2009-0043629호(2009년 5월 7일 공개)
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 온라인 서비스 사용자의 비정상 사용 행위를 보다 정확하고 효과적으로 식별할 수 있는 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다.
그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법은, 온라인 서비스를 사용하는 사용자의 비정상 사용 행위를 식별하는 방법으로서, 비정상 사용 행위 식별 장치가, 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하는 사용 행위 정보 수집 단계; 미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하는 이미지 구성 단계; 및 상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하는 비정상 사용 행위 식별 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 컴퓨터 프로그램은 상기 기재된 온라인 서비스에서의 비정상 사용 행위 식별 방법의 각 단계를 컴퓨터에서 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.
또한, 본 발명의 또 다른 측면에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치는, 온라인 서비스를 사용하는 사용자의 비정상 사용 행위를 식별하는 장치로서, 단말에서 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하는 사용 행위 정보 수집부; 미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하는 이미지 구성부; 및 상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하는 비정상 사용 행위 식별부;를 포함하는 것을 특징으로 한다.
이에 따라, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램에서는, 온라인 서비스의 사용자가 수행한 사용 행위의 종류와 순서를 패턴으로 형성하여 이미지를 구성한 후, 상기 이미지를 분석하여 사용자가 수행하는 사용 행위의 비정상 여부를 판단함으로써, 사용자의 비정상 사용 행위를 보다 정확하고 식별할 수 있으며, 나아가 다수의 사용자가 수시로 수행하는 사용 행위를 분석하여 효과적으로 비정상 사용 행위를 식별할 수 있게 된다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 사용자의 비정상 사용 행위에 의한 게시물을 예시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에 의해 구성된 이미지의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서의 사용자의 사용 행위 종류를 예시하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서의 정상 사용 행위에 대하여 구성된 이미지의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서의 비정상 사용 행위에 대하여 구성된 이미지의 예시도이다.
도 8내지 도 10은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서 사용자의 어뷰징 연관 정보가 추가된 이미지를 설명하는 도면이다.
도 11 및 도 12는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서 신경망을 이용하여 이미지를 분석하는 과정을 설명하는 도면이다.
도 13은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서 정상 사용 행위와 비정상 사용 행위가 혼재된 이미지를 예시하는 도면이다.
도 14는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서 정상 사용 행위와 비정상 사용 행위를 분류하여 군집화한 경우의 예시도이다.
도 15는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에 의한 분석 정확도를 보여주는 그래프이다.
도 16은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 장치의 구성도이다.
도 17은 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 장치의 동작 흐름을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램의 예시적인 실시형태들을 첨부된 도면을 참조하여 상세히 설명한다.
먼저, 도 2에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 시스템(100)의 구성도를 보여주고 있다. 도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 시스템(100)은, 온라인 서비스의 사용자가 수행한 사용 행위에 대한 정보를 비정상 사용 행위 식별 장치(120)로 전송하는 단말(110)과, 상기 단말(110)로부터 상기 사용자가 수행한 행위의 종류와 순서를 패턴으로 형성하여 이미지를 구성한 후, 상기 이미지를 분석하여 사용자 활동의 비정상 여부를 판단하는 비정상 사용 행위 식별 장치(120) 및 상기 단말(110)과 비정상 사용 행위 식별 장치(120)를 연결하는 네트워크(130)를 포함하여 구성될 수 있다.
이때, 상기 단말(110)로서는 스마트폰, 태블릿 PC, PDA, 휴대전화 등 다양한 휴대 단말기가 사용될 수 있고, 그외에도 퍼스널 컴퓨터(PC), 노트북 PC 등 사용자가 수행한 사용 행위에 대한 정보를 네트워크(130)를 통해 상기 비정상 사용 행위 식별 장치(120)로 전송할 수 있는 다양한 종류의 단말들이 채택될 수 있다.
또한, 상기 비정상 사용 행위 식별 장치(120)는 하나 또는 복수의 서버를 이용하여 구현될 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 전용 장치로 구현되는 등 다양한 형태로 구현하는 것이 가능하다.
나아가, 본 발명의 일 실시예로서 상기 비정상 사용 행위 식별 장치(120)가 컴퓨터 프로그램이나 앱(App) 등의 형태로 상기 단말(110)에서 구동되어 사용자의 비정상 사용 행위를 상기 단말(110)에서 식별하도록 할 수도 있다.
또한, 상기 단말(110)과 비정상 사용 행위 식별 장치(120)를 연결하는 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크 또는 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다.
또한, 도 3에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법의 순서도를 도시하고 있다. 도 3에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법은, 온라인 서비스를 사용하는 사용자의 비정상 사용 행위를 식별하는 방법으로서, 비정상 사용 행위 식별 장치(120)가, 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하는 사용 행위 정보 수집 단계(S110), 미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하는 이미지 구성 단계(S120) 및 상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하는 비정상 사용 행위 식별 단계(S130)를 포함할 수 있다.
아래에서는 도 2와 도 3을 참조하여 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법을 각 단계별로 나누어 자세하게 검토한다.
먼저, 상기 사용 행위 정보 수집 단계(S110)에서는, 비정상 사용 행위 식별 장치(120)가 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하게 된다.
이때, 상기 사용 행위라 함은 사용자가 상기 온라인 서비스를 사용하면서 수행하게 되는 다양한 행위들을 포함한다. 예를 들어, 상기 사용 행위에는 카페 가입 및 탈퇴, 프로필 설정 및 수정, 게시물의 생성, 수정 및 삭제 등이 포함될 수 있다.
이에 대하여, 비정상 사용 행위라 함은 사용자가 상기 온라인 서비스를 사용하면서 통상적인 사용자들과 달리 상기 온라인 서비스의 취지와 무관하게 자신의 목적을 이루기 위하여 수행하는 행위를 말한다. 예를 들어, 상기 비정상 사용 행위에는 소셜 네트워크나 포털 사이트의 까페 등 온라인 서비스에 접속하여 상기 여행 정보 소셜 네트워크 또는 맛집 카페 등의 취지(여행 정보 공유, 맛집 정보 공유 등)와 무관하게 광고 등을 목적으로 하는 글을 게시하거나 광고 이메일로 발송하는 등의 사용 행위가 포함될 수 있다.
또한, 상기 비정상 사용 행위 식별 장치(120)는 상기 단말(110)에서 생성된 사용자의 사용 행위 정보를 전송 받을 수도 있겠으나, 본 발명이 반드시 이에 한정되는 것은 아니며 상기 비정상 사용 행위 식별 장치(120)에서 직접 상기 사용자의 사용 행위 정보를 생성하여 사용할 수도 있으며, 또는 상기 단말(110)로 온라인 서비스를 제공하는 다른 서버 등으로부터 상기 사용자의 사용 행위 정보를 전송 받을 수도 있다.
이어서, 상기 이미지 구성 단계(S120)에서는, 상기 비정상 사용 행위 식별 장치(120)가 미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하게 된다.
보다 구체적인 예를 들어, 도 4에서는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에 의해 구성된 이미지를 예시하고 있다.
도 4에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는, 사용자가 수행한 사용 행위의 종류(예를 들어, 게시물의 생성 등)를 Y축(제1 축)으로 하고, 사용자에 의해 수행된 사용 행위의 시간 순서를 X축(제2 축)으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하게 된다.
예를 들어, 도 4를 참조하여 살펴보면, 사용자는 첫번째로 제i 사용 행위를 수행(도 4의 401)하였고, 두번째로 제m 사용행위를 수행(도 4의 402)하였으며, 세번째로 다시 제i 사용 행위를 수행(도 4의 401)하였고, 네번째로 제j 사용 행위를 수행(도 4의 403)하였음을 알 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는, 사용자가 수행한 사용 행위의 종류를 제1 축으로 하고, 사용자에 의해 수행된 사용 행위의 시간 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하게 된다.
또한, 도 5에서는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서의 사용자의 사용 행위 종류를 예시하고 있다.
도 5에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서의 사용자의 사용 행위 종류로서 포스트 조회(제1 사용 행위), 검색(제2 사용 행위), 사진 상세(제3 사용 행위), 동영상 재생(제4 사용 행위) 등을 포함할 수 있으며, 도 5에서는 30개의 사용 행위 종류로 분류하고 있는 바, 상기 이미지의 Y축(제1축)에는 30개 종류의 사용 행위가 할당되게 된다. 그러나, 본 발명이 이에 한정되는 것은 아니며 상기 온라인 서비스의 특성 등을 고려하여 상기 사용 행위의 종류 및 개수는 적절하게 조정할 수 있다.
나아가, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는, 직전의 사용 행위에 대한 당해 사용 행위의 시간 간격을 제3 축으로 하여 상기 이미지를 구성할 수 있다.
보다 구체적으로, 도 6에서 볼 수 있는 바와 같이, 직전의 사용 행위에 대한 시간 간격을 당해 사용 행위의 색상으로 형성하여 상기 이미지를 구성하는 것도 가능하다.
이때, 상기 색상은 직전 사용 행위와의 시간 간격이 짧을수록 제1 색상(예를 들어 적색)에 가까운 색상을 할당하고 상기 시간 간격이 길수록 제2 색상(예를 들어 파랑색)에 가까운 색상을 할당하여, 이미지에 사용 행위 간의 시간 간격에 대한 정보를 포함할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는 상기 사용 행위 간의 시간 간격도 함께 고려하여 비정상 사용 행위를 식별하도록 함으로써, 사용자의 비정상 사용 행위를 보다 정확하게 식별할 수 있게 된다.
반면, 도 7에서는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서 광고 업자 등과 같은 어뷰저(abuser)의 비정상 사용 행위에 대하여 구성된 이미지를 예시하고 있다.
보다 구체적으로 광고 업자 등과 같은 어뷰저는 광고물 게시, 발송 등 특정한 목적을 위하여 미리 정해진 일련의 사용 행위를 수행하게 되며, 이에 따라 특정한 패턴과 특정한 시간 간격으로 일련의 사용 행위를 수행하게 된다.
나아가, 광고 업자 등 어뷰저는 통상적으로 매크로(macro) 프로그램을 사용하여 미리 정해진 일련의 사용 행위를 자동 수행하는 경우가 많으므로, 위와 같은 특정한 패턴과 특정한 시간 간격이 보다 명확하게 나타날 수 있다.
이에 따라, 도 7(a)와 도 7(b)에서는 어뷰저가 매크로 프로그램을 이용하여 광고 등의 게시물을 올리는 경우에 대하여 생성된 이미지를 도시한다.
도 4의 정상 사용 행위에 대한 이미지가 상당히 복잡한 형태와 색상을 가지는 반면, 도 7(a) 및 도 7(b)에서 볼 수 있는 바와 같이, 비정상 사용 행위에 대한 이미지는 특정한 목적을 위하여 미리 정해진 일련의 사용 행위를 수행하게 되면서 단순한 형태와 색상을 가지게 된다는 점을 알 수 있다.
특히, 종래 기술에서는 사용자의IP 주소나 사용자가 작성한 게시물 등과 같이 사용자에 대한 단편적인 정보나 특정한 사용 행위를 분석하여 비정상 사용 행위를 식별하게 되므로 비정상 사용 행위를 정확하게 식별하는데 한계가 있었으나, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는 사용자가 수행한 일련의 사용행위의 종류와 순서, 나아가 시간 간격을 이미지로 형성하고, 상기 이미지를 분석하여 사용자 활동의 비정상 여부를 판단함으로써 사용자의 비정상 사용 행위를 보다 정확하게 식별할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에서는, 상기 이미지 구성 단계(S120)에서 상기 사용자에 대한 어뷰징 연관 정보를 패턴으로 형성하여 상기 이미지에 추가할 수 있다.
이때, 사용자의 사용 행위로부터 제1 패턴(Nx1 패턴)을 형성하고 상기 제1 패턴을 시간 순서에 따라 배열하여 이미지를 형성하는 경우, 상기 이미지에서 복수의 제1 패턴 중 일부 또는 전부의 사이에 상기 사용자에 대한 어뷰징 연관 정보로부터 형성된 제2 패턴(Nx1 패턴)을 삽입하여 상기 이미지를 구성할 수 있다.
나아가, 상기 사용자의 사용 행위로부터 형성된 제1 패턴(Nx1 패턴)에 상기 어뷰징 연관 정보로부터 형성된 제2 패턴(Nx1 패턴)을 부착하여 제3 패턴(Nx2 패턴)을 형성하고, 상기 제3 패턴을 상기 사용 행위의 순서로 배열하여 상기 이미지를 구성할 수 있다.
이때, 사용자의 어뷰징 연관 정보라 함은 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 판단하는데 고려될 수 있는 정보를 말한다. 예를 들어, 상기 사용자의 어뷰징 연관 정보에는 온라인 서비스의 가입 시기, 사용자의 단말(110)이 중복 사용되는 정도에 대한 수치, 사용자의 IP 주소가 중복 사용되는 정도에 대한 수치, 사용자의 전화번호가 중복 사용되는 정도에 대한 수치, 휴대폰 본인 인증 여부, 특정 SNS 에 대한 계정 연동 여부, 가입 이메일의 불량 등록 여부 등이 포함될 수 있다.
보다 구체적인 예를 들어, 도 8에서 볼 수 있는 바와 같이, 사용자의 사용 행위로부터 제1 패턴(10x1 패턴)을 형성하고 상기 제1 패턴을 시간 순서에 따라 배열하여 이미지를 형성하는 경우(도 8(a)), 상기 이미지에서 복수의 제1 패턴 중 일부 또는 전부의 사이에 상기 사용자에 대한 어뷰징 연관 정보로부터 형성된 제2 패턴(10x1 패턴)을 삽입하여(도 8(b)의 (A)) 상기 이미지를 구성할 수 있다.
나아가, 도 8에서 볼 수 있는 바와 같이, 상기 사용자의 사용 행위로부터 형성된 제1 패턴(10x1 패턴)(도 8의 801)에 상기 어뷰징 연관 정보로부터 형성된 제2 패턴(10x1 패턴) (도 8의 802)을 부착하여 제3 패턴(10x2 패턴) (도 8의 803)을 형성하고, 상기 제3 패턴(도 8의 803)을 상기 사용 행위의 순서로 배열하여 상기 이미지를 구성할 수 있다.
이에 따라, 도 9에서는 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서 구성된 이미지를 예시하고 있다. 도 9에서 볼 수 있는 바와 같이, 30 종류의 사용 행위 종류가 Y축에 할당되고, 100개의 사용 행위가 시간 순서에 따라 나열되고 있으며, 각 사용 행위 사이에 상기 사용자에 대한 어뷰징 연관 정보가 삽입되어 30 x 200 크기의 이미지가 구성됨을 알 수 있다.
또한, 도 10(a)에서는, 도 8(a)에서와 같이, 사용자의 사용 행위로부터 제1 패턴을 형성하고 상기 제1 패턴을 시간 순서에 따라 배열하여 이미지를 구성한 경우를 예시하고 있으며, 도 10(b)에서는, 도 8(b)에서와 같이, 상기 이미지에서 상기 각 제1 패턴의 사이에 상기 사용자에 대한 어뷰징 연관 정보로부터 형성된 제2 패턴을 삽입하여 상기 이미지를 구성한 경우를 예시하고 있다.
이에 따라, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는 상기 사용자에 대한 어뷰징 관련 정보도 함께 고려하여 비정상 사용 행위를 식별하도록 함으로써, 사용자의 비정상 사용 행위를 보다 정확하게 식별할 수 있게 된다.
또한, 상기 비정상 사용 행위 식별 단계(S130)에서는 상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하게 된다.
이때, 본 발명의 일 실시예에 따른 비정상 사용 행위 식별 방법에서는, 미리 학습된 신경망에 상기 이미지를 입력하여 상기 사용자의 사용 행위가 비정상적인 사용 행위인지 여부를 식별함으로써, 다수의 사용자가 수시로 수행하는 사용 행위를 분석하여 효과적으로 비정상적인 사용 행위를 식별할 수 있게 된다.
이때, 상기 미리 학습된 신경망으로 콘볼루션 신경망(Convolution Neural Network, CNN)을 사용함으로써, 다수의 이미지를 분석하여 효과적으로 비정상적인 사용 행위를 식별할 수 있다.
그러나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 콘볼루션 신경망(CNN) 외에 순환 신경망(Recurrent Neural Network, RNN)이나 다른 신경망을 사용할 수도 있으며, 나아가 신경망 외에도 상기 이미지를 분석하여 비정상적인 사용 행위를 식별할 수 있는 다양한 방법들을 적용하는 것도 가능하다.
보다 구체적으로, 도 11에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에서 콘볼루션 신경망(CNN)을 사용하여 이미지를 분석하여 비정상적인 사용 행위를 식별하는 경우를 예시하고 있다.
이때, 도 11에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 온라인 서비스에서는, 다수의 30 x 200 이미지(도 9 참조)를 콘볼루션 신경망(CNN)으로 입력(도 11의 1001)하여 비정상 사용 행위를 식별하고 있다.
이때, 상기 콘볼루션 신경망(CNN)은 3층의 레이어(L1(1002), L2(1003), L3(1004))를 구비할 수 있으며, 상기 각 레이어에서는 콘볼루션(convolution) 함수를 거친 후 풀링(max-pooling)을 통해 레이어를 샘플링하여 다음 레이어로 전달하게 된다.
이때, 본 발명의 일 실시예에서는, 도 12에서 볼 수 있는 바와 같이, 콘볼루션 신경망(CNN)에서 풀링(pooling) 수행 시 사용자의 사용 행위 정보와 어뷰징 연관 정보가 결합되어 처리될 수 있도록 함으로써, 상기 사용자의 사용 행위 정보와 어뷰징 연관 정보 모두를 고려하여 비정상 사용 행위를 보다 정확하게 식별할 수 있게 된다.
나아가, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에서는, 상기 신경망을 이용하여 상기 이미지 내에 미리 정해진 어뷰징 패턴이 포함되는지 여부를 판단하여 상기 사용자의 사용 행위가 비정상적인 사용 행위인지 여부를 보다 효과적으로 식별할 수 있게 된다.
보다 구체적으로, 어뷰저가 자신의 계정을 사용하여 광고 등의 비정상 사용 행위를 수행하는 경우에는, 도 7에서와 같이 이미지 전체가 어뷰징 패턴으로 구성되어 판별이 용이할 수 있으나, 어뷰저가 다른 사용자의 계정을 도용하여 비정상 사용 행위를 수행하는 경우 등에는, 도 13에서 볼 수 있는 바와 같이 이미지의 일부 영역(도 13의 (C) 영역)에서는 정상 패턴을 구성하면서 일부 영역(도 13의 (D) 영역)에는 어뷰징 패턴이 함께 포함될 수 있다. 보다 구체적으로 도 13의 (C) 영역에서는 사용 행위 사이에 불규칙한 시간 간격이 있으며(다양한 색상), 행위의 순서가 일정하지도 않을 뿐만 아니라, 사용 행위의 종류도 다양 하다는 점(글쓰기 등을 포함하여 다양한 사용 행위를 수행)을 볼 때 광고 등 게재하기 위한 비정상 사용 행위가 아닌 정상 사용 행위로 판단될 수 있는 반면, 도 13의 (D) 영역에서는 사용 행위 간의 시간 간격이 일정하여(색상이 일률적) 매크로 등의 사용이 의심되고, 나아가 광고 등을 게재하기 위한 특정한 사용 행위 위주로 작업이 수행되면서 패턴이 단순하게 구성된 점 등을 고려할 때 어뷰저가 정상 사용자의 계정을 도용하여 비정상 사용 행위를 수행한 것으로 판단할 수 있다.
이러한 경우에 대해서도, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에서는, 상기 신경망을 이용하여 상기 이미지 내에 어뷰징 패턴이 포함되는지 여부를 판단하여 상기 사용자의 사용 행위가 비정상적인 사용 행위인지 여부를 보다 효과적으로 식별할 수 있게 된다.
이에 따라, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에서, 상기 신경망은 입력된 이미지를 분석하여 사용자가 수행한 사용 행위가 비정상 사용 행위 혹은 정상 사용 행위인지 여부를 식별(도 11의 1005)하게 된다.
또한, 도 14에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에서 정상 사용 행위와 비정상 사용 행위를 분류한 그래프를 예시하고 있다. 도 14에서 상기 신경망에서 출력된 출력치 중 적색은 비정상 사용 행위를 나타내며 녹색은 정상 사용 행위를 나타낸다.
이에 따라 다수의 학습 데이터에 대한 학습 과정을 거쳐 구현된 신경망은, 도 14에서 볼 수 있는 바와 같이, 입력된 이미지의 출력치를 바탕으로 비정상 사용 행위 혹은 정상 사용 행위인지 여부를 식별하게 된다. 나아가, 상기 학습 데이터가 부족한 경우에는 클러스터링(clustering)을 등 통해 학습 데이터를 추가 확보하여 학습을 수행할 수도 있다.
또한, 도 15에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법의 분석 정확도를 예시하고 있다.
먼저, 도 15에서 X축의 v1은 사용자의 사용 행위 정보 만으로 이미지를 구성하고 콘볼루션 신경망(CNN)으로 학습하여 비정상 사용 행위를 식별한 경우의 정확도를 나타낸다.
도 15에서 볼 수 있는 바와 같이, v1의 경우에는 광고 업자 등 어뷰저를 정확하게 식별한 비율이 약 72% 수준이었고, 정상 사용자에 대해서는 약 97%의 정확도로 식별할 수 있었다.
이에 대하여, 도 15에서 v2는 상기 사용 행위 정보의 배열, 색상 등을 조절해 최적화한 이미지를 구성하고 콘볼루션 신경망(CNN)으로 학습하여 비정상 사용 행위를 식별한 경우의 정확도를 나타낸다.
이에 따라, v2의 경우에는 광고 업자 등 어뷰저를 정확하게 식별한 비율이 약 82% 수준까지 개선되었고, 정상 사용자에 대해서도 약 97%의 정확도를 유지하였다.
나아가, 도 15에서 v3는 상기 사용 행위 정보에 더하여 사용자의 어뷰징 연관 정보를 결합하여 이미지를 구성하고 콘볼루션 신경망(CNN)으로 학습하여 비정상 사용 행위를 식별한 경우의 정확도를 나타낸다.
이에 따라, v3의 경우에는 광고 업자 등 어뷰저를 정확하게 식별한 비율이 약 87% 수준까지 개선되었고, 정상 사용자에 대해서도 약 97%의 정확도를 유지하였다.
이에 대하여, 도 15에서 v4는 상기 v3에서 상기 어뷰징 연관 정보의 순서를 조절하고 학습 변수를 조정해 최적화한 이미지를 구성하고 콘볼루션 신경망(CNN)으로 학습하여 비정상 사용 행위를 식별한 경우의 정확도를 나타낸다.
이에 따라, v4의 경우에는 광고 업자 등 어뷰저를 정확하게 식별한 비율이 약 91% 수준까지 개선되었고, 정상 사용자에 대해서도 약 98%로 정확도가 개선되었다.
나아가, 상기 v4에 대한 성능 테스트 결과를 정리하면, 아래 표에서 볼 수 있는 바와 같이, 어뷰저 및 정상 사용자 모두에 대하여 높은 정확도로 식별이 가능함을 확인할 수 있다.
전체 정확도 Precision Recall F1 score 어뷰저
정확도		 정상사용자
정확도
0.972 0.981 0.969 0.975 0.91 0.983
또한, 본 발명의 일 측면에 따른 컴퓨터 프로그램은 앞서 살핀 온라인 서비스에서의 비정상 사용 행위 식별 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등 중앙처리장치(CPU)를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다. 또한, 상기 상기 컴퓨터로 판독 가능한 매체는 전자적 기록 매체(예를 들면, 롬, 플래시 메모리, 등), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같이 컴퓨터로 판독이 가능한 일체의 저장매체를 포함한다.
또한, 도 16에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치(120)의 구성도를 예시하고 있다.
도 16에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치(120)는 사용 행위 정보 수집부(121), 이미지 구성부(122) 및 비정상 사용 행위 식별부(123)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치(120)를 각 구성요소 별로 나누어 살핀다. 다만, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치(120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 상기 사용 행위 정보 수집부(121)에서는, 단말에서 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하게 된다.
또한, 상기 이미지 구성부(122)에서는, 미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하게 된다.
이때, 상기 이미지 구성부(122)에서는, 직전의 사용 행위에 대한 당해 사용 행위의 시간 간격을 제3 축으로 하여 상기 이미지를 구성할 수 있다.
또한, 상기 이미지 구성부(122)에서는, 상기 사용자에 대한 어뷰징 연관 정보를 패턴으로 형성하여 상기 이미지에 추가할 수 있다.
마지막으로, 상기 비정상 사용 행위 식별부(123)에서는, 상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하게 된다.
또한, 도 17에서는 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치(120)의 동작을 보다 자세히 예시하고 있다.
도 17에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 장치(120)에서는, 먼저 사용자의 사용 행위 정보 (또는, 이와 함께 사용자의 어뷰징 연관 정보)를 전송 받은 후, 비동기 처리를 거쳐(도 17의 1101) 데이터 저장부에 캐싱된 후(도 17의 1102), 실시간으로 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 탐지하게 된다(도 17의 1103).
또한, 상기 사용자의 사용 행위 정보는 비동기 처리를 거친 후에 학습 용도로 상기 사용자의 사용 행위 정보(또는, 이와 함께 사용자의 어뷰징 연관 정보)를 가공하여 저장한 후(도 17의 1104), 학습 과정을 거쳐 학습된 신경망 모델을 배포하여(도 17의 1106) 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 탐지하는데 적용된다.
나아가, 상기 사용자의 사용 행위 정보(또는, 이와 함께 사용자의 어뷰징 연관 정보)를 가공함에 있어서, 다른 사용자의 어뷰저 신고 정보를 반영할 수 있으며(도 17의 1105), 상기 가공된 사용자의 사용 행위 정보(또는, 이와 함께 사용자의 어뷰징 연관 정보)는 시각화 처리를 거쳐(도 17의 1107) 관리자 등에게 제공될 수도 있다.
이에 따라, 본 발명의 일 실시예에 따른 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램에서는, 온라인 서비스의 사용자가 수행한 사용 행위의 종류와 순서를 패턴으로 형성하여 이미지를 구성한 후, 상기 이미지를 분석하여 사용자가 수행하는 사용 행위의 비정상 여부를 판단함으로써, 사용자의 비정상 사용 행위를 보다 정확하고 식별할 수 있으며, 나아가 다수의 사용자가 수시로 수행하는 사용 행위를 분석하여 효과적으로 비정상 사용 행위를 식별할 수 있게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 비정상 사용 행위 식별 시스템
110, 110a, 110b : 단말
120 : 비정상 사용 행위 식별 장치
121 : 사용 행위 정보 수집부
122 : 이미지 구성부
123 : 비정상 사용 행위 식별부
130 : 네트워크

Claims (13)

  1. 온라인 서비스를 사용하는 사용자의 비정상 사용 행위를 식별하는 방법에 있어서,
    비정상 사용 행위 식별 장치가, 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하는 사용 행위 정보 수집 단계;
    미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하는 이미지 구성 단계; 및
    상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하는 비정상 사용 행위 식별 단계;
    를 포함하며,
    상기 이미지 구성 단계에서는,
    상기 사용자의 사용 행위의 종류에 따른 제1 패턴(Nx1 패턴)을 형성하고 상기 제1 패턴을 시간 순서에 따라 배열하여 이미지를 형성하면서,
    상기 이미지의 복수의 제1 패턴 중 일부 또는 전부의 사이에 상기 사용자에 대한 어뷰징 연관 정보로부터 형성된 제2 패턴(Nx1 패턴)을 삽입하여 상기 이미지를 구성하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  2. 제1항에 있어서,
    상기 이미지 구성 단계에서는,
    직전의 사용 행위에 대한 당해 사용 행위의 시간 간격을 제3 축으로 하여 상기 이미지를 구성하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  3. 제2항에 있어서,
    상기 이미지 구성 단계에서는,
    직전의 사용 행위에 대한 시간 간격을 당해 사용 행위의 색상으로 형성하여 상기 이미지를 구성하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 이미지 구성 단계에서는,
    상기 사용 행위의 종류에 따라 형성된 제1 패턴(Nx1 패턴)에 상기 어뷰징 연관 정보로부터 형성된 제2 패턴(Nx1 패턴)을 부착하여 제3 패턴(Nx2 패턴)을 형성하고,
    상기 제3 패턴을 상기 사용 행위의 순서로 배열하여 상기 이미지를 구성하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  7. 제1항에 있어서,
    상기 비정상 사용 행위 식별 단계에서는,
    미리 학습된 신경망에 상기 이미지를 입력하여 상기 사용자의 사용 행위가 비정상적인 사용 행위인지 여부를 식별하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  8. 제7항에 있어서,
    상기 신경망에서는,
    상기 이미지 내에 미리 정해진 어뷰징 패턴이 포함되는지 여부를 판단하여 상기 사용자의 사용 행위가 비정상적인 사용 행위인지 여부를 식별하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  9. 제7항에 있어서,
    상기 미리 학습된 신경망은 콘볼루션 신경망(CNN)인 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 방법.
  10. 컴퓨터에서 제1항 내지 제3항, 제6항 내지 제9항 중 어느 한 항에 기재된 온라인 서비스에서의 비정상 사용 행위 식별 방법의 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  11. 온라인 서비스를 사용하는 사용자의 비정상 사용 행위를 식별하는 장치에 있어서,
    단말에서 사용자에 의해 수행된 하나 이상의 사용 행위의 종류와 순서를 포함하는 사용 행위 정보를 수집하는 사용 행위 정보 수집부;
    미리 정해진 상기 사용 행위의 종류(N개 종류)를 제1 축으로 하고, 상기 사용 행위의 순서를 제2 축으로 하여, 상기 사용자에 의해 수행된 상기 하나 이상의 사용 행위의 종류를 시간 순서에 따라 배열하여 이미지를 구성하는 이미지 구성부; 및
    상기 이미지를 이용하여 상기 사용자의 사용 행위가 비정상 사용 행위인지 여부를 식별하는 비정상 사용 행위 식별부;
    를 포함하며,
    상기 이미지 구성부에서는,
    상기 사용자의 사용 행위의 종류에 따른 제1 패턴(Nx1 패턴)을 형성하고 상기 제1 패턴을 시간 순서에 따라 배열하여 이미지를 형성하면서,
    상기 이미지의 복수의 제1 패턴 중 일부 또는 전부의 사이에 상기 사용자에 대한 어뷰징 연관 정보로부터 형성된 제2 패턴(Nx1 패턴)을 삽입하여 상기 이미지를 구성하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 장치.
  12. 제11항에 있어서,
    상기 이미지 구성부에서는,
    직전의 사용 행위에 대한 당해 사용 행위의 시간 간격을 제3 축으로 하여 상기 이미지를 구성하는 것을 특징으로 하는 온라인 서비스에서의 비정상 사용 행위 식별 장치.
  13. 삭제
KR1020180172711A 2018-12-28 2018-12-28 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램 KR102165494B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180172711A KR102165494B1 (ko) 2018-12-28 2018-12-28 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램
US16/727,238 US11562553B2 (en) 2018-12-28 2019-12-26 Method, apparatus, and computer program for detecting abusing act in online service
JP2019237635A JP6928073B2 (ja) 2018-12-28 2019-12-27 オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172711A KR102165494B1 (ko) 2018-12-28 2018-12-28 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20200087325A KR20200087325A (ko) 2020-07-21
KR102165494B1 true KR102165494B1 (ko) 2020-10-14

Family

ID=71123264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172711A KR102165494B1 (ko) 2018-12-28 2018-12-28 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램

Country Status (3)

Country Link
US (1) US11562553B2 (ko)
JP (1) JP6928073B2 (ko)
KR (1) KR102165494B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396387B1 (ko) * 2021-12-14 2022-05-10 한국인터넷진흥원 범죄 은어 변이 추적 방법, 이를 수행하는 장치 및 컴퓨터 프로그램

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135711B2 (en) * 2002-02-04 2012-03-13 Cataphora, Inc. Method and apparatus for sociological data analysis
JP2005222216A (ja) 2004-02-04 2005-08-18 Mitsubishi Electric Corp システム監査方法、およびシステム監査装置
KR20080048185A (ko) * 2006-11-28 2008-06-02 엔에이치엔(주) 유무선 네트워크를 통해 제공되는 광고를 관리하는 방법 및상기 방법을 수행하는 시스템
KR100902466B1 (ko) 2007-10-30 2009-06-11 엔에이치엔비즈니스플랫폼 주식회사 키워드 검색 어뷰저 추적 방법 및 시스템
CN102573652A (zh) 2010-08-11 2012-07-11 株式会社东芝 医用图像诊断装置、图像处理装置及方法
CN102831218B (zh) * 2012-08-17 2014-05-07 北京国双科技有限公司 热力图中的数据确定方法及装置
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
WO2017172790A1 (en) 2016-03-29 2017-10-05 Bossa Nova Robotics Ip, Inc. Planogram assisted inventory system and method
US11146578B2 (en) * 2016-12-16 2021-10-12 Patternex, Inc. Method and system for employing graph analysis for detecting malicious activity in time evolving networks
JP2018130183A (ja) 2017-02-13 2018-08-23 エンゼルプレイングカード株式会社 遊技用代用貨幣トレイ、テーブルゲームの管理システム、遊技用代用貨幣トレイシステム、及び遊技用代用貨幣管理方法
KR101866556B1 (ko) * 2017-03-03 2018-06-11 주식회사 인피니그루 비정상행위 탐색방법 및 탐색프로그램
US11153332B2 (en) * 2018-12-10 2021-10-19 Bitdefender IPR Management Ltd. Systems and methods for behavioral threat detection

Also Published As

Publication number Publication date
JP2020109664A (ja) 2020-07-16
US20200210752A1 (en) 2020-07-02
JP6928073B2 (ja) 2021-09-01
US11562553B2 (en) 2023-01-24
KR20200087325A (ko) 2020-07-21

Similar Documents

Publication Publication Date Title
Shen et al. Everyday algorithm auditing: Understanding the power of everyday users in surfacing harmful algorithmic behaviors
Shi et al. Detecting malicious social bots based on clickstream sequences
CN104462292B (zh) 社交协同过滤
US10592074B2 (en) Systems and methods for analyzing visual content items
Ravindran et al. Mastering social media mining with R
CN108804567A (zh) 提高智能客服应答率的方法、设备、存储介质及装置
CN104317959A (zh) 基于社交平台的数据挖掘方法及装置
CN101789887A (zh) 网络用户分类方法、装置和网络业务监控系统
Xia et al. Socially aware conference participant recommendation with personality traits
US9329842B1 (en) Method and system for providing a user interface
CN102365637A (zh) 表征用户信息
US10417443B2 (en) Data management for combined data using structured data governance metadata
CN104283769B (zh) 面向用户的基于感兴趣的项目的即时消息服务
CN106127535A (zh) 基于移动终端的广告推送系统及方法
US20190251584A1 (en) Evaluating and displaying feedback for an item distributed to a group of users at a collaborative event
US20230222190A1 (en) Systems and methods for providing user validation
US20200097992A1 (en) Systems and methods for hashtag embedding based on user generated content for creating user specific loyalty identifiers
Rahman et al. To catch a fake: Curbing deceptive yelp ratings and venues
CN109478219A (zh) 用于显示网络分析的用户界面
US10510014B2 (en) Escalation-compatible processing flows for anti-abuse infrastructures
KR102165494B1 (ko) 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램
CN112989158A (zh) 一种识别网页爬虫行为的方法、装置及存储介质
Mtsweni et al. A profile-aware microtasking approach for improving task assignment in crowdsourcing services
Bhattacharyya et al. Segmenting an online reviewer community: Empirical detection and comparison of reviewer clusters
CN104378329A (zh) 安全验证的方法、装置及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant