JP6928073B2 - オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラム - Google Patents

オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラム Download PDF

Info

Publication number
JP6928073B2
JP6928073B2 JP2019237635A JP2019237635A JP6928073B2 JP 6928073 B2 JP6928073 B2 JP 6928073B2 JP 2019237635 A JP2019237635 A JP 2019237635A JP 2019237635 A JP2019237635 A JP 2019237635A JP 6928073 B2 JP6928073 B2 JP 6928073B2
Authority
JP
Japan
Prior art keywords
image
act
user
different
usage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019237635A
Other languages
English (en)
Other versions
JP2020109664A (ja
Inventor
シン，ボラム
ナム，ウォング
ジョン，ソンウォン
パク，ヒョンソク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naver Corp
Original Assignee
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naver Corp filed Critical Naver Corp
Publication of JP2020109664A publication Critical patent/JP2020109664A/ja
Application granted granted Critical
Publication of JP6928073B2 publication Critical patent/JP6928073B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/102—Entity profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラムに関し、より具体的には、オンラインサービスのユーザが行った行為の種類および順序をパターンに形成してイメージを構成した後、前記イメージを分析してユーザ活動の不正可否を判断することによって、ユーザの不正使用行為をより正確で効果的に識別することができる、オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラムに関する。
情報通信技術の発達と共にユーザがスマートフォンや個人用コンピュータ（ＰＣ）などのような様々な端末を用いてソーシャルネットワーク（ＳＮＳ）やポータルサイトなどに接続して書き込みしたりＥメールを送付したりするなどの様々なオンラインサービスが幅広く行われている。
しかし、通常の正常ユーザとは異なり、オンラインでソーシャルネットワークやポータルサイトのカフェなどに接続して、前記ソーシャルネットワークまたはカフェなどの目的とは全く関係のない広告などを目的としたメッセージの投稿（図１参照）をしたり、広告をＥメールで発送したりするなど、一部のユーザの不正な使用行為も速く増えており、それを識別して制裁するための様々な技術も試みられている。
ところで、従来には、通常、上記のようなユーザの不正使用行為（アビューズ、ａｂｕｓｉｎｇ）を識別するために、ユーザに対する断片的な情報や特定の行為を分析して不正使用行為を識別した。例えば、ユーザのログイン情報やＩＰアドレスなどを使用するか、または作成された文書のテキストを機械学習を用いて分析してアビューズを探知したりもし、さらにはユーザにより作成された文書に含まれたイメージやＵＲＬなどを分析してアビューズを識別したりもした。
しかし、このような従来技術では、不正な使用行為と正常な使用行為の区別が容易ではない場合が多くて正確度が落ちるだけでなく、さらにはユーザが比較的に容易に回避することができるという問題があった。
さらには、最近、ユーザのオンラインサービスの使用現況を考慮する時、単に特定ユーザの不正な使用行為を識別するのに留まるのではなく、数十または数百万人以上の複数のユーザが随時に行う使用行為を分析して効果的に不正な使用行為を識別しなければならないという点で容易ではない問題である。
そのため、ユーザの不正な使用行為を正確で効果的に識別できる方案に対する要求が持続しているが、そのための適切な解決策は未だに提供されていない状況である。
大韓民国公開特許第１０−２００９−００４３６２９号（２００９年５月７日に公開）
本発明は、前記のような従来技術の問題を解決するために導き出されたものであり、オンラインサービスでのユーザの不正使用行為をより正確で効果的に識別することができる、オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラムを提供することを目的とする。
その他の本発明の詳しい目的は、以下にて記載される具体的な内容を通じて、本技術分野の専門家や研究者に明らかに把握されて理解できるものであろう。
前記課題を解決するための本発明の一側面によるオンラインサービスでの不正使用行為の識別方法は、オンラインサービスを使用するユーザの不正使用行為を識別する方法であって、不正使用行為識別装置が、ユーザにより行われた一つ以上の使用行為の種類および順序を含む使用行為情報を収集する使用行為情報収集ステップ、予め定められた前記使用行為の種類（Ｎ個の種類）及び前記使用行為の順序に基づいて、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成するイメージ構成ステップ、および前記イメージを用いて前記ユーザの使用行為が不正使用行為であるか否かを識別する不正使用行為識別ステップを含むことを特徴とする。
また、本発明の他の側面によるコンピュータプログラムは、前記記載されたオンラインサービスでの不正使用行為の識別方法の各ステップをハードウェアと結合されて実行させるためのコンピュータプログラムであることを特徴とする。
なお、本発明のまた他の側面によるオンラインサービスでの不正使用行為識別装置は、オンラインサービスを使用するユーザの不正使用行為を識別する装置であって、端末においてユーザにより行われた一つ以上の使用行為の種類および順序を含む使用行為情報を収集する使用行為情報収集部、予め定められた前記使用行為の種類（Ｎ個の種類）及び前記使用行為の順序に基づいて、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成するイメージ構成部、および前記イメージを用いて前記ユーザの使用行為が不正使用行為であるか否かを識別する不正使用行為識別部を含むことを特徴とする。
本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラムは、オンラインサービスのユーザが行った使用行為の種類および順序をパターンに形成してイメージを構成した後、前記イメージを分析してユーザが行う使用行為の不正可否を判断することによって、ユーザの不正使用行為をより正確に識別することができ、さらには複数のユーザが随時に行う使用行為を分析して効果的に不正使用行為を識別できるようになる。
本発明に関する理解を助けるために詳細な説明の一部として含まれる添付図面は、本発明に対する実施形態を提供し、詳細な説明と共に本発明の技術的思想を説明する。
ユーザの不正使用行為による掲示物を例示する図である。 本発明の一実施形態による不正使用行為識別システムの構成図である。 本発明の一実施形態による不正使用行為の識別方法のフローチャートである。 本発明の一実施形態による不正使用行為の識別方法により構成されたイメージの例示図である。 本発明の一実施形態による不正使用行為の識別方法におけるユーザの使用行為の種類を例示する図である。 本発明の一実施形態による不正使用行為の識別方法における正常使用行為に対して構成されたイメージの例示図である。 本発明の一実施形態による不正使用行為の識別方法における不正使用行為に対して構成されたイメージの例示図である。 本発明の一実施形態による不正使用行為の識別方法においてユーザのアビューズ関連情報が追加されたイメージを説明する図である。 本発明の一実施形態による不正使用行為の識別方法においてユーザのアビューズ関連情報が追加されたイメージを説明する図である。 本発明の一実施形態による不正使用行為の識別方法においてユーザのアビューズ関連情報が追加されたイメージを説明する図である。 本発明の一実施形態による不正使用行為の識別方法においてニューラルネットワークを用いてイメージを分析する過程を説明する図である。 本発明の一実施形態による不正使用行為の識別方法においてニューラルネットワークを用いてイメージを分析する過程を説明する図である。 本発明の一実施形態による不正使用行為の識別方法において正常使用行為と不正使用行為が混在したイメージを例示する図である。 本発明の一実施形態による不正使用行為の識別方法において正常使用行為と不正使用行為を分類して群集化した場合の例示図である。 本発明の一実施形態による不正使用行為の識別方法による分析正確度を示すグラフである。 本発明の一実施形態による不正使用行為識別装置の構成図である。 本発明の一実施形態による不正使用行為識別装置の動作流れを説明するための図である。
本発明は、様々な変換を加えてもよく、種々の実施形態を有してもよいところ、以下では、特定の実施形態を添付された図面に基づいて詳細に説明することにする。
以下の実施形態は、本明細書に記述された方法、装置および／またはシステムに関する包括的な理解を助けるために提供される。但し、これは例示に過ぎず、本発明がこれに制限されるものではない。
本発明の実施形態を説明するにおいて、本発明と関連した公知技術に関する具体的な説明が本発明の要旨を不要に濁す恐れがあると判断される場合にはその詳細な説明は省略する。そして、後述する用語は本発明での機能を考慮して定義された用語であって、これは使用者、運用者の意図または慣例などに応じて異なりうる。よって、その定義は本明細書の全般にわたった内容に基づいて下されなければならない。詳細な説明で用いられる用語は、単に本発明の実施形態を記述するためのものであり、決して制限的であってはならない。特に言及しない限り、単数形態の表現は複数形態の意味を含む。本説明において、「含む」または「備える」のような表現は、ある特性、数字、ステップ、動作、要素、これらの一部または組み合わせを表すためのものであり、記述したもの以外に一つまたはそれ以上の他の特性、数字、ステップ、動作、要素、これらの一部または組み合わせの存在または可能性を排除するように解釈してはならない。
また、第１、第２などの用語は様々な構成要素を説明するのに用いられるが、前記構成要素は前記用語によって限定されるものではなく、前記用語は一つの構成要素を他の構成要素から区別する目的にのみ用いられる。
以下では、本発明に係るオンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラムの例示的な実施形態を添付図面を参照して詳細に説明する。
先ず、図２は、本発明の一実施形態によるオンラインサービスでの不正使用行為識別システム１００の構成図を示している。図２に示すように、本発明の一実施形態によるオンラインサービスでの不正使用行為識別システム１００は、オンラインサービスのユーザが行った使用行為に対する情報を不正使用行為識別装置１２０に伝送する端末１１０、前記端末１１０から前記ユーザが行った行為の種類および順序をパターンに形成してイメージを構成した後、前記イメージを分析してユーザ活動の不正可否を判断する不正使用行為識別装置１２０、および前記端末１１０と不正使用行為識別装置１２０を連結するネットワーク１３０を含んで構成されることができる。
この時、前記端末１１０としてはスマートフォン、タブレットＰＣ、ＰＤＡ、携帯電話などのような様々な携帯端末が用いられても良く、その他にもパーソナルコンピュータ（ＰＣ）、ノートブックＰＣなどのように、ユーザが行った使用行為に対する情報をネットワーク１３０を介して前記不正使用行為識別装置１２０に伝送できる様々な種類の端末が採択されてもよい。
また、前記不正使用行為識別装置１２０は、一つまたは複数のサーバを用いて実現してもよいが、本発明は、必ずしもこれに限定されるものではなく、その他にも専用装置により実現されるなど、様々な形態に実現することができる。
さらには、本発明の一実施形態として、前記不正使用行為識別装置１２０がコンピュータプログラムやアプリ（Ａｐｐ）などの形態で前記端末１１０において駆動され、ユーザの不正使用行為を前記端末１１０において識別するようにすることもできる。
また、前記端末１１０と不正使用行為識別装置１２０を連結するネットワーク１３０としては、有線ネットワークおよび無線ネットワークを含み、具体的には、ローカル・エリア・ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ：Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのような様々な通信網を含むことができる。また、前記ネットワーク１３０は、公知のワールド・ワイド・ウェブ（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）を含むこともできる。但し、本発明に係る通信ネットワーク１３０は、上記で列挙されたネットワークに限定されず、公知の無線データネットワークや公知の電話ネットワークまたは公知の有無線テレビネットワークを少なくとも一部として含むこともできる。
また、図３は、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法のフローチャートを示している。図３に示すように、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法は、オンラインサービスを使用するユーザの不正使用行為を識別する方法であって、不正使用行為識別装置１２０が、ユーザにより行われた一つ以上の使用行為の種類および順序を含む使用行為情報を収集する使用行為情報収集ステップ（Ｓ１１０）、予め定められた前記使用行為の種類（Ｎ個の種類）及び前記使用行為の順序に基づいて、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成するイメージ構成ステップ（Ｓ１２０）、および前記イメージを用いて前記ユーザの使用行為が不正使用行為であるか否かを識別する不正使用行為識別ステップ（Ｓ１３０）を含むことができる。
以下では、図２と図３を参照して、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法を各ステップ別に分けて詳しく検討する。
先ず、前記使用行為情報収集ステップ（Ｓ１１０）においては、不正使用行為識別装置１２０が、ユーザにより行われた一つ以上の使用行為の種類および順序を含む使用行為情報を収集する。
この時、前記使用行為とは、ユーザが前記オンラインサービスを使用しつつ行うようになる様々な行為を含む。例えば、前記使用行為には、カフェへの加入および脱退、プロファイルの設定および修正、掲示物の生成、修正および削除などが含まれる。
これに対し、不正使用行為とは、ユーザが前記オンラインサービスを使用しつつ、通常のユーザとは異なり、前記オンラインサービスの趣旨に関係なく自身の目的を果たすために行う行為をいう。例えば、前記不正使用行為には、ソーシャルネットワークやポータルサイトのカフェなどのようなオンラインサービスに接続して、前記旅行情報ソーシャルネットワークまたは美味しいお店探しカフェなどの趣旨（旅行情報の共有、美味しいお店情報の共有など）に関係なく、広告などを目的としたメッセージの投稿をしたり広告をＥメールで発送したりするなどの使用行為が含まれる。
また、前記不正使用行為識別装置１２０は、前記端末１１０で生成されたユーザの使用行為情報の伝送を受けることもできるが、本発明が必ずしもこれに限定されるものではなく、前記不正使用行為識別装置１２０は、直接前記ユーザの使用行為情報を生成して使用してもよく、または前記端末１１０にオンラインサービスを提供する他のサーバなどから前記ユーザの使用行為情報の伝送を受けてもよい。
次に、前記イメージ構成ステップ（Ｓ１２０）においては、前記不正使用行為識別装置１２０が予め定められた前記使用行為の種類（Ｎ個の種類）及び前記使用行為の順序に基づいて、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成する。
より具体的な例を挙げれば、図４は、本発明の一実施形態による不正使用行為の識別方法により構成されたイメージを例示している。
図４に示すように、本発明の一実施形態による不正使用行為の識別方法においては、ユーザが行った使用行為の種類（例えば、掲示物の生成など）をＹ軸（第１軸）にし、ユーザにより行われた使用行為の時間順をＸ軸（第２軸）にして、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成する。
例えば、図４を参照すれば、ユーザは１番目に第ｉ使用行為を行い（図４の４０１）、２番目に第ｍ使用行為を行い（図４の４０２）、３番目に再び第ｉ使用行為を行い（図４の４０１）、４番目に第ｊ使用行為を行った（図４の４０３）ことが分かる。
このように、本発明の一実施形態による不正使用行為の識別方法においては、ユーザが行った使用行為の種類を第１軸にし、ユーザにより行われた使用行為の時間順を第２軸にして、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成する。
また、図５は、本発明の一実施形態による不正使用行為の識別方法におけるユーザの使用行為の種類を例示している。
図５に示すように、本発明の一実施形態による不正使用行為の識別方法におけるユーザの使用行為の種類として、メッセージ投稿の照会（第１使用行為）、検索（第２使用行為）、写真詳細（第３使用行為）、動画再生（第４使用行為）などを含み、図５では３０個の使用行為の種類に分類しているところ、前記イメージのＹ軸（第１軸）には３０種類の使用行為が割り当てられる。しかし、本発明はこれに限定されるものではなく、前記オンラインサービスの特性などを考慮して前記使用行為の種類および個数は適切に調整できる。
さらに、本発明の一実施形態による不正使用行為の識別方法においては、直前の使用行為に対する当該使用行為の時間間隔を第３軸にして前記イメージを構成することができる。
より具体的には、図６に示すように、直前の使用行為に対する時間間隔を当該使用行為の色で形成して前記イメージを構成することもできる。
この時、前記色は、直前使用行為との時間間隔が短いほど第１色（例えば、赤色）に近い色を割り当て、前記時間間隔が長いほど第２色（例えば、青色）に近い色を割り当て、イメージに使用行為間の時間間隔に対する情報を含むことができる。
それにより、本発明の一実施形態による不正使用行為の識別方法においては、前記使用行為間の時間間隔も共に考慮して不正使用行為を識別するようにすることによって、ユーザの不正使用行為をより正確に識別できるようになる。
その反面、図７は、本発明の一実施形態による不正使用行為の識別方法において広告業者などのようなアビューザ（ａｂｕｓｅｒ）の不正使用行為に対して構成されたイメージを例示している。
より具体的には、広告業者などのようなアビューザは、広告物の掲示、発送などのような特定の目的のために予め定められた一連の使用行為を行い、このため、特定のパターンと特定の時間間隔で一連の使用行為を行うことになる。
さらに、広告業者などのようなアビューザは、通常、マクロ（ｍａｃｒｏ）プログラムを用いて予め定められた一連の使用行為を自動的に行う場合が多いため、上記のような特定のパターンと特定の時間間隔がより明らかに現れる。
図７（ａ）と図７（ｂ）は、アビューザがマクロプログラムを用いて広告などの掲示物を掲示する場合に対して生成されたイメージを示す。
図４の正常使用行為に対するイメージは、相当複雑な形態と色を有する反面、図７（ａ）および図７（ｂ）に示すように、不正使用行為に対するイメージは、特定の目的のために予め定められた一連の使用行為を行うため、単純な形態と色を有することが分かる。
特に、従来技術においては、ユーザのＩＰアドレスやユーザが作成した掲示物などのようにユーザに対する断片的な情報や特定の使用行為を分析して不正使用行為を識別するため、不正使用行為を正確に識別するのに限界があったが、本発明の一実施形態による不正使用行為の識別方法においては、ユーザが行った一連の使用行為の種類および順序、さらには時間間隔をイメージに形成し、前記イメージを分析してユーザ活動の不正可否を判断することによって、ユーザの不正使用行為をより正確に識別できるようになる。
また、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法においては、前記イメージ構成ステップ（Ｓ１２０）において、前記ユーザに対するアビューズ関連情報をパターンに形成して前記イメージに追加することができる。
この時、ユーザの使用行為から第１パターン（Ｎｘ１パターン）を形成し前記第１パターンを時間順に配列してイメージを形成する場合、前記イメージにおいて複数の第１パターンのうち一部または全部の間に前記ユーザに対するアビューズ関連情報から形成された第２パターン（Ｎｘ１パターン）を挿入して前記イメージを構成することができる。
さらに、前記ユーザの使用行為から形成された第１パターン（Ｎｘ１パターン）に前記アビューズ関連情報から形成された第２パターン（Ｎｘ１パターン）を付着して第３パターン（Ｎｘ２パターン）を形成し、前記第３パターンを前記使用行為の順に配列して前記イメージを構成することができる。
この時、ユーザのアビューズ関連情報とは、前記ユーザの使用行為が不正使用行為であるか否かを判断するのに考慮される情報をいう。例えば、前記ユーザのアビューズ関連情報には、オンラインサービスへの加入時期、ユーザの端末１１０が重複使用される程度に対する数値、ユーザのＩＰアドレスが重複使用される程度に対する数値、ユーザの電話番号が重複使用される程度に対する数値、携帯電話の本人認証有無、特定のＳＮＳに対するアカウント連動有無、加入したＥメールの不良登録有無などが含まれる。
より具体的な例を挙げれば、図８に示すように、ユーザの使用行為から第１パターン（１０ｘ１パターン）を形成し前記第１パターンを時間順に配列してイメージを形成する場合（図８（ａ））、前記イメージにおいて複数の第１パターンのうち一部または全部の間に前記ユーザに対するアビューズ関連情報から形成された第２パターン（１０ｘ１パターン）を挿入して（図８（ｂ）の（Ａ））前記イメージを構成することができる。
さらに、図８に示すように、前記ユーザの使用行為から形成された第１パターン（１０ｘ１パターン）（図８の８０１）に前記アビューズ関連情報から形成された第２パターン（１０ｘ１パターン）（図８の８０２）を付着して第３パターン（１０ｘ２パターン）（図８の８０３）を形成し、前記第３パターン（図８の８０３）を前記使用行為の順に配列して前記イメージを構成することができる。
図９は、本発明の一実施形態による不正使用行為の識別方法において構成されたイメージを例示している。図９に示すように、３０種類の使用行為種類がＹ軸に割り当てられ、１００個の使用行為が時間順に羅列しており、各使用行為の間に前記ユーザに対するアビューズ関連情報が挿入されて３０×２００大きさのイメージが構成されることが分かる。
また、図１０（ａ）は、図８（ａ）のように、ユーザの使用行為から第１パターンを形成し前記第１パターンを時間順に配列してイメージを構成した場合を例示し、図１０（ｂ）は、図８（ｂ）のように、前記イメージにおいて前記各第１パターンの間に前記ユーザに対するアビューズ関連情報から形成された第２パターンを挿入して前記イメージを構成した場合を例示している。
それにより、本発明の一実施形態による不正使用行為の識別方法においては、前記ユーザに対するアビューズ関連情報も共に考慮して不正使用行為を識別するようにすることによって、ユーザの不正使用行為をより正確に識別できるようになる。
また、前記不正使用行為識別ステップ（Ｓ１３０）においては、前記イメージを用いて前記ユーザの使用行為が不正使用行為であるか否かを識別する。
この時、本発明の一実施形態による不正使用行為の識別方法においては、予め学習されたニューラルネットワークに前記イメージを入力して前記ユーザの使用行為が不正な使用行為であるか否かを識別することによって、複数のユーザが随時に行う使用行為を分析して効果的に不正な使用行為を識別できるようになる。
この時、前記予め学習されたニューラルネットワークとして畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）を用いることによって、複数のイメージを分析して効果的に不正な使用行為を識別することができる。
しかし、本発明が必ずしもこれに限定されるものではなく、前記畳み込みニューラルネットワーク（ＣＮＮ）の他に再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＲＮＮ）や他のニューラルネットワークを用いることもでき、さらには、ニューラルネットワークの他にも前記イメージを分析して不正な使用行為を識別できる様々な方法を適用することができる。
より具体的には、図１１は、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法において、畳み込みニューラルネットワーク（ＣＮＮ）を用いてイメージを分析して不正な使用行為を識別する場合を例示している。
この時、図１１に示すように、本発明の一実施形態によるオンラインサービスにおいては、複数の３０×２００イメージ（図９参照）を畳み込みニューラルネットワーク（ＣＮＮ）に入力（図１１の１００１）して不正使用行為を識別している。
この時、前記畳み込みニューラルネットワーク（ＣＮＮ）は、３層のレイヤ（Ｌ１（１００２）、Ｌ２（１００３）、Ｌ３（１００４））を備えることができ、前記各レイヤにおいては、コンボリューション（ｃｏｎｖｏｌｕｔｉｏｎ）関数を経た後、ｍａｘ−ｐｏｏｌｉｎｇを通じてレイヤをサンプリングして次のレイヤに伝達する。
この時、本発明の一実施形態においては、図１２に示すように、畳み込みニューラルネットワーク（ＣＮＮ）においてプーリング（ｐｏｏｌｉｎｇ）の実行時にユーザの使用行為情報とアビューズ関連情報が結合されて処理されるようにすることによって、前記ユーザの使用行為情報とアビューズ関連情報の両方を考慮して不正使用行為をより正確に識別できるようになる。
さらに、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法においては、前記ニューラルネットワークを用いて前記イメージ内に予め定められたアビューズパターンが含まれるか否かを判断して前記ユーザの使用行為が不正な使用行為であるか否かをより効果的に識別できるようになる。
より具体的には、アビューザが自身のアカウントを使用して広告などの不正使用行為を行う場合には、図７のようにイメージ全体がアビューズパターンで構成されて判別が容易であるが、アビューザが他ユーザのアカウントを盗用して不正使用行為を行う場合には、図１３に示すように、イメージの一部領域（図１３の（Ｃ）領域）では正常パターンを構成しつつ、一部領域（図１３の（Ｄ）領域）にはアビューズパターンが共に含まれる。より具体的には、図１３の（Ｃ）領域では、使用行為の間に不規則な時間間隔があり（様々な色）、行為の順序が一定でないだけでなく、使用行為の種類も様々であるということ（書き込みなどを含めて様々な使用行為を実行）から、広告などを掲載するための不正使用行為でない正常使用行為であると判断できる反面、図１３の（Ｄ）領域では、使用行為間の時間間隔が一定して（色が一律的）マクロなどの使用が疑われ、さらには広告などを掲載するための特定の使用行為を中心に作業が行われてパターンが単純に構成されるということから、アビューザが正常ユーザのアカウントを盗用して不正使用行為を行ったと判断できる。
このような場合に対しても、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法においては、前記ニューラルネットワークを用いて前記イメージ内にアビューズパターンが含まれるか否かを判断して、前記ユーザの使用行為が不正な使用行為であるか否かをより効果的に識別できるようになる。
それにより、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法において、前記ニューラルネットワークは、入力されたイメージを分析してユーザが行った使用行為が不正使用行為であるかまたは正常使用行為であるかを識別（図１１の１００５）する。
また、図１４は、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法において正常使用行為と不正使用行為を分類したグラフを例示している。図１４において、前記ニューラルネットワークにおいて出力された出力値のうち赤色は不正使用行為を示し、緑色は正常使用行為を示す。
それにより、複数の学習データに対する学習過程を経て実現されたニューラルネットワークは、図１４に示すように、入力されたイメージの出力値に基づいて不正使用行為であるかまたは正常使用行為であるかを識別する。さらに、前記学習データが不足した場合には、クラスタリング（ｃｌｕｓｔｅｒｉｎｇ）をなどを通じて学習データをさらに確保して学習を実行することもできる。
また、図１５は、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法の分析正確度を例示している。
先ず、図１５において、Ｘ軸のｖ１は、ユーザの使用行為情報だけでイメージを構成し、畳み込みニューラルネットワーク（ＣＮＮ）で学習して不正使用行為を識別した場合の正確度を示す。
図１５に示すように、ｖ１の場合は、広告業者などのアビューザを正確に識別した比率が約７２％レベルであり、正常ユーザに対しては約９７％の正確度で識別することができた。
これに対し、図１５において、ｖ２は、前記使用行為情報の配列、色などを調節して最適化したイメージを構成し、畳み込みニューラルネットワーク（ＣＮＮ）で学習して不正使用行為を識別した場合の正確度を示す。
それにより、ｖ２の場合は、広告業者などのアビューザを正確に識別した比率が約８２％レベルまで改善され、正常ユーザに対しても約９７％の正確度を維持した。
さらに、図１５において、ｖ３は、前記使用行為情報に加えてユーザのアビューズ関連情報を結合してイメージを構成し、畳み込みニューラルネットワーク（ＣＮＮ）で学習して不正使用行為を識別した場合の正確度を示す。
それにより、ｖ３の場合は、広告業者などのアビューザを正確に識別した比率が約８７％レベルまで改善され、正常ユーザに対しても約９７％の正確度を維持した。
これに対し、図１５において、ｖ４は、前記ｖ３において前記アビューズ関連情報の順序を調節し学習変数を調整して最適化したイメージを構成し、畳み込みニューラルネットワーク（ＣＮＮ）で学習して不正使用行為を識別した場合の正確度を示す。
それにより、ｖ４の場合は、広告業者などのアビューザを正確に識別した比率が約９１％レベルまで改善され、正常ユーザに対しても約９８％で正確度が改善された。
さらに、前記ｖ４に対する性能テストの結果を整理すれば、以下の表に示すように、アビューザおよび正常ユーザの全てに対して高い正確度で識別が可能であることを確認することができる。
Figure 0006928073
 また、本発明の一側面によるコンピュータプログラムは、前述したオンラインサービスでの不正使用行為の識別方法の各ステップをハードウェアと結合されて実行させるためのコンピュータプログラムであることを特徴とする。前記コンピュータプログラムは、コンパイラによって作られる機械語コードを含むコンピュータプログラムだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードを含むコンピュータプログラムであってもよい。この時、前記コンピュータとしては、パーソナルコンピュータ（ＰＣ）やノートブックコンピュータなどに限定されず、サーバ、スマートフォン、タブレットＰＣ、ＰＤＡ、携帯電話など、中央処理処置（ＣＰＵ）を備えてコンピュータプログラムを実行できる一切の情報処理装置を含む。また、前記コンピュータプログラムはコンピュータ読み取り可能な媒体に格納されてもよく、前記媒体は電子記録媒体（例えば、ＲＯＭ、フラッシュメモリなど）、磁気ストレージ媒体（例えば、フロッピーディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のようにコンピュータ読み取り可能な一切のストレージ媒体を含む。
また、図１６は、本発明の一実施形態によるオンラインサービスでの不正使用行為識別装置１２０の構成図を例示している。
図１６に示すように、本発明の一実施形態によるオンラインサービスでの不正使用行為識別装置１２０は、使用行為情報収集部１２１、イメージ構成部１２２および不正使用行為識別部１２３を含んで構成されることができる。
以下では、本発明の一実施形態によるオンラインサービスでの不正使用行為識別装置１２０を各構成要素別に分けて説明する。但し、本発明の一実施形態によるオンラインサービスでの不正使用行為識別装置１２０に関するより詳しい内容は、前述した本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法に関する説明から類推できるところ、以下ではより詳しい説明は省略する。
先ず、前記使用行為情報収集部１２１は、端末においてユーザにより行われた一つ以上の使用行為の種類および順序を含む使用行為情報を収集する。
また、前記イメージ構成部１２２は、予め定められた前記使用行為の種類（Ｎ個の種類）及び前記使用行為の順序に基づいて、前記ユーザにより行われた前記一つ以上の使用行為の種類を時間順に配列してイメージを構成する。
この時、前記イメージ構成部１２２は、直前の使用行為に対する当該使用行為の時間間隔を第３軸にして前記イメージを構成することができる。
また、前記イメージ構成部１２２は、前記ユーザに対するアビューズ関連情報をパターンに形成して前記イメージに追加することができる。
最後に、前記不正使用行為識別部１２３は、前記イメージを用いて前記ユーザの使用行為が不正使用行為であるか否かを識別する。
また、図１７は、本発明の一実施形態によるオンラインサービスでの不正使用行為識別装置１２０の動作をより詳しく例示している。
図１７に示すように、本発明の一実施形態によるオンラインサービスでの不正使用行為識別装置１２０は、先ず、ユーザの使用行為情報（または、それと共にユーザのアビューズ関連情報）の伝送を受けた後、非同期処理を経て（図１７の１１０１）データ格納部にキャッシュされた後（図１７の１１０２）、リアルタイムで前記ユーザの使用行為が不正使用行為であるか否かを探知する（図１７の１１０３）。
また、前記ユーザの使用行為情報は非同期処理を経た後に学習用途として前記ユーザの使用行為情報（または、それと共にユーザのアビューズ関連情報）を加工して格納した後（図１７の１１０４）、学習過程を経て学習されたニューラルネットワークモデルを配布して（図１７の１１０６）、前記ユーザの使用行為が不正使用行為であるか否かを探知するのに適用される。
さらに、前記ユーザの使用行為情報（または、それと共にユーザのアビューズ関連情報）を加工するにおいて、他ユーザのアビューザ申告情報を反映することができ（図１７の１１０５）、前記加工されたユーザの使用行為情報（または、それと共にユーザのアビューズ関連情報）は、視覚化処理を経て（図１７の１１０７）管理者などに提供されることもできる。
それにより、本発明の一実施形態によるオンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラムは、オンラインサービスのユーザが行った使用行為の種類および順序をパターンに形成してイメージを構成した後、前記イメージを分析してユーザが行う使用行為の不正可否を判断することによって、ユーザの不正使用行為をより正確に識別することができ、さらには複数のユーザが随時に行う使用行為を分析して効果的に不正使用行為を識別できるようになる。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野における通常の知識を有した者であれば、本発明の本質的な特性から逸脱しない範囲内で様々な修正および変形が可能である。したがって、本発明に記載された実施形態は、本発明の技術思想を限定するためのものではなく説明するためのものであって、このような実施形態に限定されるものではない。本発明の保護範囲は以下の請求範囲によって解釈しなければならず、それと同等な範囲内にある全ての技術思想は本発明の権利範囲に含まれるものとして解釈しなければならない。
１００ ・・・不正使用行為識別システム
１１０、１１０ａ、１１０ｂ ・・・端末
１２０ ・・・不正使用行為識別装置
１２１ ・・・使用行為情報収集部
１２２ ・・・イメージ構成部
１２３ ・・・不正使用行為識別部
１３０ ・・・ネットワーク

Claims (17)

  1. オンラインサービスを使用するユーザの不正使用行為を識別する方法であって、
    不正使用行為識別装置が、ユーザにより行われた複数の異なる使用行為の複数の異なる種類および順序を含む使用行為情報を収集する使用行為情報収集ステップ、
    予め定められた前記複数の異なる使用行為の複数の異なる種類(N個の種類)及び前記複数の異なる使用行為の順序に基づいて、前記ユーザにより行われた前記複数の異なる使用行為の複数の異なる種類を時間順に配列することによって、複数の異なる時間点について複数の異なる種類の前記使用行為を示すイメージを構成するイメージ構成ステップ、および
    前記イメージを使用することによって、前記複数の異なる時間点についての複数の異なる種類の前記使用行為に基づいて、前記ユーザの使用行為が不正使用行為であるか否かを識別する不正使用行為識別ステップ
    を含むことを特徴とする、オンラインサービスでの不正使用行為の識別方法。
  2. 前記複数の異なる使用行為は、カフェへの加入および脱退、プロファイルの設定および修正、掲示物の生成、修正および削除を含む、請求項1に記載の不正使用行為の識別方法。
  3. 前記イメージ構成ステップにおいては、
    予め定められた前記複数の異なる使用行為の複数の異なる種類(N個の種類)を第1軸にし、前記複数の異なる使用行為の順序を第2軸にして、前記ユーザにより行われた前記複数の異なる使用行為の種類を時間順に配列してイメージを構成することを特徴とする、請求項1及び2のうちのずれか1項に記載のオンラインサービスでの不正使用行為の識別方法。
  4. 前記イメージ構成ステップにおいては、
    直前の使用行為に対する当該使用行為の時間間隔を第3軸にして前記イメージを構成することを特徴とする、請求項3に記載のオンラインサービスでの不正使用行為の識別方法。
  5. 前記イメージ構成ステップにおいては、
    直前の使用行為に対する時間間隔を当該使用行為の色で形成して前記イメージを構成することを特徴とする、請求項4に記載のオンラインサービスでの不正使用行為の識別方法。
  6. 前記イメージ構成ステップにおいては、
    前記ユーザに対するアビューズ関連情報をパターンに形成して前記イメージに追加することを特徴とする、請求項1乃至4のうちのいずれか1項に記載のオンラインサービスでの不正使用行為の識別方法。
  7. 前記イメージ構成ステップにおいては、
    前記ユーザの複数の異なる使用行為から第1パターン(Nx1パターン)を形成し前記第1パターンを時間順に配列してイメージを形成しつつ、
    前記イメージの複数の第1パターンのうち一部または全部の間に前記ユーザに対するアビューズ関連情報から形成された第2パターン(Nx1パターン)を挿入して前記イメージを構成することを特徴とする、請求項6に記載のオンラインサービスでの不正使用行為の識別方法。
  8. 前記イメージ構成ステップにおいては、
    前記複数の異なる使用行為から形成された第1パターン(Nx1パターン)に前記アビューズ関連情報から形成された第2パターン(Nx1パターン)を付着して第3パターン(Nx2パターン)を形成し、
    前記第3パターンを前記使用行為の順に配列して前記イメージを構成することを特徴とする、請求項6または7に記載のオンラインサービスでの不正使用行為の識別方法。
  9. 前記不正使用行為識別ステップにおいては、
    予め学習されたニューラルネットワークに前記イメージを入力して前記ユーザの使用行為が不正な使用行為であるか否かを識別することを特徴とする、請求項1乃至4または6のいずれか1項に記載のオンラインサービスでの不正使用行為の識別方法。
  10. 前記ニューラルネットワークにおいては、
    前記イメージ内に予め定められたアビューズパターンが含まれるか否かを判断して、前記ユーザの使用行為が不正な使用行為であるか否かを識別することを特徴とする、請求項9に記載のオンラインサービスでの不正使用行為の識別方法。
  11. 前記予め学習されたニューラルネットワークは、畳み込みニューラルネットワーク(CNN)であることを特徴とする、請求項9または10に記載のオンラインサービスでの不正使用行為の識別方法。
  12. ハードウェアと結合されて、請求項1〜11のいずれか1項に記載のオンラインサービスでの不正使用行為の識別方法の各ステップを実行させるためのコンピュータプログラム。
  13. オンラインサービスを使用するユーザの不正使用行為を識別する装置であって、
    端末においてユーザにより行われた複数の異なる使用行為の複数の異なる種類および順序を含む使用行為情報を収集する使用行為情報収集部、
    予め定められた前記複数の異なる使用行為の複数の異なる種類(N個の種類)及び前記複数の異なる使用行為の順序に基づいて、前記ユーザにより行われた前記複数の異なる使用行為の複数の異なる種類を時間順に配列することによって、複数の異なる時間点について複数の異なる種類の前記使用行為を示すイメージを構成するイメージ構成部、および
    前記イメージを使用することによって、前記複数の異なる時間点についての複数の異なる種類の前記使用行為に基づいて、前記ユーザの使用行為が不正使用行為であるか否かを識別する不正使用行為識別部
    を含むことを特徴とする、オンラインサービスでの不正使用行為識別装置。
  14. 前記複数の異なる使用行為は、カフェへの加入および脱退、プロファイルの設定および修正、掲示物の生成、修正および削除を含む、請求項13に記載のオンラインサービスでの不正使用行為識別装置。
  15. 前記イメージ構成部は、
    予め定められた前記複数の異なる使用行為の複数の異なる種類(N個の種類)を第1軸にし、前記複数の異なる使用行為の順序を第2軸にして、前記ユーザにより行われた前記複数の異なる使用行為の複数の異なる種類を時間順に配列してイメージを構成することを特徴とする、請求項13及び14のうちのいずれか1項に記載のオンラインサービスでの不正使用行為識別装置。
  16. 前記イメージ構成部は、
    直前の使用行為に対する当該使用行為の時間間隔を第3軸にして前記イメージを構成することを特徴とする、請求項15に記載のオンラインサービスでの不正使用行為識別装置。
  17. 前記イメージ構成部は、
    前記ユーザに対するアビューズ関連情報をパターンに形成して前記イメージに追加することを特徴とする、請求項13乃至16のうちのいずれか1項に記載のオンラインサービスでの不正使用行為識別装置。
JP2019237635A 2018-12-28 2019-12-27 オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラム Active JP6928073B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180172711A KR102165494B1 (ko) 2018-12-28 2018-12-28 온라인 서비스에서의 비정상 사용 행위 식별 방법, 장치 및 컴퓨터 프로그램
KR10-2018-0172711 2018-12-28

Publications (2)

Publication Number Publication Date
JP2020109664A JP2020109664A (ja) 2020-07-16
JP6928073B2 true JP6928073B2 (ja) 2021-09-01

Family

ID=71123264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019237635A Active JP6928073B2 (ja) 2018-12-28 2019-12-27 オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US11562553B2 (ja)
JP (1) JP6928073B2 (ja)
KR (1) KR102165494B1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396387B1 (ko) * 2021-12-14 2022-05-10 한국인터넷진흥원 범죄 은어 변이 추적 방법, 이를 수행하는 장치 및 컴퓨터 프로그램

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135711B2 (en) * 2002-02-04 2012-03-13 Cataphora, Inc. Method and apparatus for sociological data analysis
JP2005222216A (ja) 2004-02-04 2005-08-18 Mitsubishi Electric Corp システム監査方法、およびシステム監査装置
KR20080048185A (ko) * 2006-11-28 2008-06-02 엔에이치엔(주) 유무선 네트워크를 통해 제공되는 광고를 관리하는 방법 및상기 방법을 수행하는 시스템
KR100902466B1 (ko) 2007-10-30 2009-06-11 엔에이치엔비즈니스플랫폼 주식회사 키워드 검색 어뷰저 추적 방법 및 시스템
JP5868067B2 (ja) 2010-08-11 2016-02-24 株式会社東芝 医用画像診断装置、画像処理装置及び方法
CN102831218B (zh) * 2012-08-17 2014-05-07 北京国双科技有限公司 热力图中的数据确定方法及装置
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
AU2017245132A1 (en) 2016-03-29 2018-10-11 Bossa Nova Robotics Ip, Inc. System and method for locating, identifying and counting ltems
US11146578B2 (en) * 2016-12-16 2021-10-12 Patternex, Inc. Method and system for employing graph analysis for detecting malicious activity in time evolving networks
JP2018130183A (ja) 2017-02-13 2018-08-23 エンゼルプレイングカード株式会社 遊技用代用貨幣トレイ、テーブルゲームの管理システム、遊技用代用貨幣トレイシステム、及び遊技用代用貨幣管理方法
KR101866556B1 (ko) * 2017-03-03 2018-06-11 주식회사 인피니그루 비정상행위 탐색방법 및 탐색프로그램
US11153332B2 (en) * 2018-12-10 2021-10-19 Bitdefender IPR Management Ltd. Systems and methods for behavioral threat detection

Also Published As

Publication number Publication date
KR20200087325A (ko) 2020-07-21
US11562553B2 (en) 2023-01-24
KR102165494B1 (ko) 2020-10-14
US20200210752A1 (en) 2020-07-02
JP2020109664A (ja) 2020-07-16

Similar Documents

Publication Publication Date Title
US11503129B2 (en) Method and apparatus for dynamically presenting content using an interface for setting conditional network destinations
US10305997B2 (en) Method and apparatus for dynamically presenting content using an interface for setting conditional network destinations
US9201975B2 (en) Exchange of dynamically updated data using matrix bar codes
US8639570B2 (en) User advertisement click behavior modeling
CN106156251A (zh) 一种微信信息分类推送方法及系统
CN104283769B (zh) 面向用户的基于感兴趣的项目的即时消息服务
CN110351226A (zh) 信息交互方法、装置、用户终端及可读存储介质
US20090024460A1 (en) Cursor path vector analysis for detecting click fraud
CN107341384A (zh) 一种业务验证方法及系统
CN106127535A (zh) 基于移动终端的广告推送系统及方法
US20200097992A1 (en) Systems and methods for hashtag embedding based on user generated content for creating user specific loyalty identifiers
Hernandez et al. Fraud de-anonymization for fun and profit
US20110173453A1 (en) Capability and Behavior Signatures
CN109313541A (zh) 用于显示和比较攻击遥测资源的用户界面
CN106131604A (zh) 一种多媒体信息的传输方法及装置
JP6928073B2 (ja) オンラインサービスでの不正使用行為の識別方法、装置、およびコンピュータプログラム
US20200013074A1 (en) Digital marketing system, information processing apparatus, and method of assisting digital marketing
US20140351931A1 (en) Methods, systems and media for detecting non-intended traffic using co-visitation information
CN109478219A (zh) 用于显示网络分析的用户界面
US9189799B2 (en) Method and apparatus for determining an effect of characteristics of a message on interaction with the message
CN107623624A (zh) 提供通知消息的方法及装置
Eijk Web privacy measurement in real-time bidding systems. A graph-based approach to RTB system classification
CN112364676A (zh) 图像码的处理方法、装置、电子设备及存储介质
US9485242B2 (en) Endpoint security screening
WO2020072988A1 (en) Marketing campaign collaboration system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210805

R150 Certificate of patent or registration of utility model

Ref document number: 6928073

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150