JPWO2020202327A1 - 学習システム、学習方法、及びプログラム - Google Patents
学習システム、学習方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2020202327A1 JPWO2020202327A1 JP2019563306A JP2019563306A JPWO2020202327A1 JP WO2020202327 A1 JPWO2020202327 A1 JP WO2020202327A1 JP 2019563306 A JP2019563306 A JP 2019563306A JP 2019563306 A JP2019563306 A JP 2019563306A JP WO2020202327 A1 JPWO2020202327 A1 JP WO2020202327A1
- Authority
- JP
- Japan
- Prior art keywords
- rule
- learning
- data
- machine learning
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/046—Forward inferencing; Production systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
以下、本発明に係る学習システムの実施形態の例を説明する。図1は、学習システムの全体構成を示す図である。図1に示すように、学習システムSは、サーバ10、ユーザ端末20、及び管理者端末30を含み、これらは、インターネットなどのネットワークNに接続可能である。なお、図1では、サーバ10、ユーザ端末20、及び管理者端末30の各々を1台ずつ示しているが、これらは複数台あってもよい。
本実施形態では、サーバ10が、ニュースや動画などのウェブサイトをユーザに提供し、ウェブサイトにアクセスしたユーザの行動を分析する場面を例に挙げて、学習システムSの処理を説明する。例えば、学習システムSは、ユーザがウェブサイトにアクセスした場合に行動データを生成し、機械学習モデル及びルールを利用して行動データを分析し、正常ユーザ又は不正ユーザの何れかに分類する。
(ルール1)利用中心地からの距離が100km以上である場合には、不正ユーザとする。
(ルール2)IPアドレスが日本以外の国である場合には、不正ユーザとする。
(ルール3)ホワイトリストにユーザ名が登録されている場合には、正常ユーザとする。
図2は、学習システムSで実現される機能の一例を示す機能ブロック図である。図2に示すように、サーバ10では、データ記憶部100、受付部101、第1分類部102、第2分類部103、判定部104、第1評価部105、学習部106、除外部107、第2評価部108、及び切替部109が実現される。
データ記憶部100は、記憶部12を主として実現される。データ記憶部100は、本実施形態で説明する処理を実行するために必要なデータを記憶する。ここでは、データ記憶部100が記憶するデータの一例として、機械学習モデルM、行動データベースDB、及びルールリストLについて説明する。
受付部101は、制御部11を主として実現される。受付部101は、複数のルールのうち、学習対象となるルールの指定を受け付ける。学習対象とは、機械学習モデルに学習させる対象となるルールであり、例えば、ルールの作成者により指定されてもよいし、他の者により指定されてもよい。例えば、管理者は管理者端末30を操作して新たなルールを作成する際に、当該ルールを学習対象とするか否かを指定する。また例えば、管理者は、登録済みのルールについて、学習対象とするか否かを事後的に指定してもよい。受付部101は、管理者端末30から管理者による指定結果を受信することによって、学習対象となるルールの指定を受け付ける。
第1分類部102は、制御部11を主として実現される。第1分類部102は、機械学習モデルに基づいて、行動データに関する分類を行う。行動データに関する分類とは、行動データそのものの分類を意味してもよいし、データに関連付けられた情報の分類を意味してもよい。本実施形態では、ユーザが正常ユーザ又は不正ユーザに分類されるので、行動データそのものが分類されるというよりは、行動データに関連付けられたユーザIDやユーザ名などが分類されることになる。なお、分類は、種類又は属性ということもできるし、機械学習モデルにより付与されたラベルということもできる。
第2分類部103は、制御部11を主として実現される。第2分類部103は、所定のルールに基づいて、行動データに関する分類を行う。本実施形態では、複数のルールが定められているので、第2分類部103は、複数のルールの各々に基づいて、行動データに関する分類を行う。例えば、第2分類部103は、ルールリストLに格納されたルールごとに、行動データが当該ルールを満たすか否かを判定し、行動データに関する分類を行う。
判定部104は、制御部11を主として実現される。判定部104は、ルールを満たす行動データに関する統計情報に基づいて、ルールを学習させるか否かを判定する。
第1評価部105は、制御部11を主として実現される。第1評価部105は、機械学習モデルにおけるルールの不確かさを評価する。ここでの機械学習モデルとは、第1分類部102が利用する機械学習モデルであり、ルールを学習させる前の既存の機械学習モデルである。
学習部106は、制御部11を主として実現される。学習部106は、判定部104により学習させると判定されたルールの学習処理を実行する。
除外部107は、制御部11を主として実現される。除外部107は、第1評価部105により不確かではないと評価されたルールが用いられないように除外する。第1評価部105により不確かではないと評価されたルールについては、機械学習モデルで既に判断できる内容の可能性があるので、除外部107は、ルールを除外することによって、行動データとの判定対象にならないようにする。
第2評価部108は、制御部11を主として実現される。第2評価部108は、学習処理によりルールが学習された機械学習モデルにおける当該ルールの不確かさを評価する。不確かさの評価方法は、機械学習モデルに応じた方法を利用すればよく、第1評価部105と同様の方法であってもよいし、第1評価部105とは異なる方法であってもよい。
切替部109は、制御部11を主として実現される。切替部109は、第2評価部108の評価結果に基づいて、学習処理によりルールが学習された機械学習モデルに切り替える。例えば、切替部109は、第2評価部108により不確かであると評価された場合には、機械学習モデルを切り替えずに既存の機械学習モデルのまま運用し、第2評価部108により不確かであると評価されない場合に、機械学習モデルを切り替える。切替部109は、機械学習モデルを切り替える場合、データ記憶部100から古い機械学習モデルを削除し、学習部106により学習済みの機械学習モデルに置き換える。
次に、学習システムSにおいて実行される処理について説明する。ここでは、ユーザを正常ユーザ又は不正ユーザに分類するための分類処理と、機械学習モデルにルールを学習させるための学習処理と、について説明する。
図9は、分類処理の一例を示すフロー図である。図9に示す分類処理は、制御部11,21が、それぞれ記憶部12,22に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図2に示す機能ブロックにより実行される処理の一例である。なお、分類処理が実行されるにあたり、ユーザは、利用登録を済ませており、サーバ10にログイン済みであるものとする。
図10は、学習処理の一例を示すフロー図である。図10に示す学習処理は、制御部11が記憶部12に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図2に示す機能ブロックにより実行される処理の一例である。なお、学習処理が実行されるにあたり、管理者が作成したルールがルールデータベースに格納されているものとする。学習処理は、任意のタイミングで実行されるようにすればよく、例えば、管理者が所定の操作をした場合に実行されてもよいし、所定の日時が訪れた場合に実行されてもよい。
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
Claims (11)
- 機械学習モデルに基づいて、データに関する分類を行う第1分類手段と、
所定のルールに基づいて、前記データに関する分類を行う第2分類手段と、
前記ルールを満たすデータに関する統計情報に基づいて、前記ルールを学習させるか否かを判定する判定手段と、
前記判定手段により学習させると判定されたルールの学習処理を実行する学習手段と、
を含むことを特徴とする学習システム。 - 前記統計情報は、前記ルールを満たすデータの数を示し、
前記判定手段は、
前記ルールを満たすデータの数が閾値未満である場合には、前記ルールを学習させると判定せず、
前記ルールを満たすデータの数が前記閾値以上である場合に、前記ルールを学習させると判定する、
ことを特徴とする請求項1に記載の学習システム。 - 前記統計情報は、前記ルールを満たすデータの分布を示し、
前記判定手段は、
前記ルールを満たすデータの分布が所定の分布ではない場合には、前記ルールを学習させると判定せず、
前記ルールを満たすデータの分布が前記所定の分布である場合に、前記ルールを学習させると判定する、
ことを特徴とする請求項1又は2に記載の学習システム。 - 前記学習システムは、前記機械学習モデルにおける前記ルールの不確かさを評価する評価手段を更に含み、
前記学習手段は、前記評価手段の評価結果に基づいて、前記学習処理を実行する、
ことを特徴とする請求項1〜3の何れかに記載の学習システム。 - 学習システムは、前記評価手段により不確かではないと評価されたルールが用いられないように除外する除外手段を更に含む、
ことを特徴とする請求項4に記載の学習システム。 - 前記学習システムは、前記学習処理により学習されたルールが用いられないように除外する除外手段を更に含む、
ことを特徴とする請求項1〜5の何れかに記載の学習システム。 - 前記学習システムは、
前記学習処理によりルールが学習された機械学習モデルにおける当該ルールの不確かさを評価する評価手段と、
前記評価手段の評価結果に基づいて、前記学習処理によりルールが学習された機械学習モデルに切り替える切替手段と、
を更に含むことを特徴とする請求項1〜6の何れかに記載の学習システム。 - 前記第2分類手段は、複数の前記ルールの各々に基づいて、前記データに関する分類を行い、
前記学習システムは、前記複数のルールのうち、学習対象となるルールの指定を受け付ける受付手段を更に含み、
前記判定手段は、前記複数のルールのうち、前記学習対象として指定されたルールを満たすデータに関する統計情報に基づいて、前記学習対象として指定されたルールを学習させるか否かを判定する、
ことを特徴とする請求項1〜7の何れかに記載の学習システム。 - 前記データは、ユーザの行動に関する行動データであり、
前記機械学習モデルは、不正ユーザであるか否かを分類するための機械学習モデルであり、
前記ルールは、不正ユーザであるか否か分類するためのルールである、
ことを特徴とする請求項1〜8の何れかに記載の学習システム。 - 機械学習モデルに基づいて、データに関する分類を行う第1分類ステップと、
所定のルールに基づいて、前記データに関する分類を行う第2分類ステップと、
前記ルールを満たすデータに関する統計情報に基づいて、前記ルールを学習させるか否かを判定する判定ステップと、
前記判定ステップにより学習させると判定されたルールの学習処理を実行する学習ステップと、
を含むことを特徴とする学習方法。 - 機械学習モデルに基づいて、データに関する分類を行う第1分類手段、
所定のルールに基づいて、前記データに関する分類を行う第2分類手段、
前記ルールを満たすデータに関する統計情報に基づいて、前記ルールを学習させるか否かを判定する判定手段、
前記判定手段により学習させると判定されたルールの学習処理を実行する学習手段、
としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/014212 WO2020202327A1 (ja) | 2019-03-29 | 2019-03-29 | 学習システム、学習方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6706397B1 JP6706397B1 (ja) | 2020-06-03 |
JPWO2020202327A1 true JPWO2020202327A1 (ja) | 2021-04-30 |
Family
ID=70858109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563306A Active JP6706397B1 (ja) | 2019-03-29 | 2019-03-29 | 学習システム、学習方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210216910A1 (ja) |
EP (1) | EP3783543A4 (ja) |
JP (1) | JP6706397B1 (ja) |
WO (1) | WO2020202327A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7302107B1 (ja) * | 2022-01-07 | 2023-07-03 | 楽天グループ株式会社 | 学習システム、学習方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110289025A1 (en) * | 2010-05-19 | 2011-11-24 | Microsoft Corporation | Learning user intent from rule-based training data |
US9594907B2 (en) * | 2013-03-14 | 2017-03-14 | Sas Institute Inc. | Unauthorized activity detection and classification |
GB2521406A (en) * | 2013-12-18 | 2015-06-24 | Ibm | Transforming rules into generalised rules in a rule management system |
US10885593B2 (en) * | 2015-06-09 | 2021-01-05 | Microsoft Technology Licensing, Llc | Hybrid classification system |
CN106506454B (zh) * | 2016-10-10 | 2019-11-12 | 江苏通付盾科技有限公司 | 欺诈业务识别方法及装置 |
US11063836B2 (en) * | 2017-03-21 | 2021-07-13 | Cisco Technology, Inc. | Mixing rule-based and machine learning-based indicators in network assurance systems |
WO2019049210A1 (ja) | 2017-09-05 | 2019-03-14 | 楽天株式会社 | 推定システム、推定方法及びプログラム |
-
2019
- 2019-03-29 WO PCT/JP2019/014212 patent/WO2020202327A1/ja unknown
- 2019-03-29 JP JP2019563306A patent/JP6706397B1/ja active Active
- 2019-03-29 US US17/056,413 patent/US20210216910A1/en active Pending
- 2019-03-29 EP EP19922572.3A patent/EP3783543A4/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20210216910A1 (en) | 2021-07-15 |
EP3783543A1 (en) | 2021-02-24 |
EP3783543A4 (en) | 2021-10-06 |
WO2020202327A1 (ja) | 2020-10-08 |
JP6706397B1 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11023823B2 (en) | Evaluating content for compliance with a content policy enforced by an online system using a machine learning model determining compliance with another content policy | |
US10432562B2 (en) | Reducing photo-tagging spam | |
US9959412B2 (en) | Sampling content using machine learning to identify low-quality content | |
US10936952B2 (en) | Detecting content items in violation of an online system policy using templates based on semantic vectors representing content items | |
US10599774B1 (en) | Evaluating content items based upon semantic similarity of text | |
CN105051719B (zh) | 用于使得众包内容动态失效的装置和方法 | |
US11195099B2 (en) | Detecting content items in violation of an online system policy using semantic vectors | |
CN110019790B (zh) | 文本识别、文本监控、数据对象识别、数据处理方法 | |
CN105894028B (zh) | 用户识别方法和装置 | |
CN108932646B (zh) | 基于运营商的用户标签验证方法、装置和电子设备 | |
CN108985048B (zh) | 模拟器识别方法及相关装置 | |
CN109583228B (zh) | 一种隐私信息管理方法、装置和系统 | |
CN111324370A (zh) | 用于对待上线小程序进行风险处理的方法及装置 | |
WO2018068664A1 (zh) | 网络信息识别方法和装置 | |
JP7015927B2 (ja) | 学習モデル適用システム、学習モデル適用方法、及びプログラム | |
JP6706397B1 (ja) | 学習システム、学習方法、及びプログラム | |
CN112052399B (zh) | 一种数据处理方法、装置和计算机可读存储介质 | |
US11363064B2 (en) | Identifying spam using near-duplicate detection for text and images | |
CN113763057A (zh) | 用户身份画像的数据处理方法和装置 | |
CN115329214A (zh) | 一种用户推荐方法、装置、电子设备及存储介质 | |
KR101323535B1 (ko) | 전자상거래 사이트의 신뢰도 계산 방법 | |
CN111860655A (zh) | 用户的处理方法、装置和设备 | |
CN112131607B (zh) | 资源数据处理方法、装置、计算机设备和存储介质 | |
CN116915893A (zh) | 信息展示方法、装置、计算机设备和存储介质 | |
CN116433286A (zh) | 基于lfm算法的异常用户监测、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191114 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191114 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200319 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200421 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6706397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |