JP7015927B2 - 学習モデル適用システム、学習モデル適用方法、及びプログラム - Google Patents
学習モデル適用システム、学習モデル適用方法、及びプログラム Download PDFInfo
- Publication number
- JP7015927B2 JP7015927B2 JP2020539117A JP2020539117A JP7015927B2 JP 7015927 B2 JP7015927 B2 JP 7015927B2 JP 2020539117 A JP2020539117 A JP 2020539117A JP 2020539117 A JP2020539117 A JP 2020539117A JP 7015927 B2 JP7015927 B2 JP 7015927B2
- Authority
- JP
- Japan
- Prior art keywords
- learning model
- feature amount
- calculation
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 60
- 238000004364 calculation method Methods 0.000 claims description 174
- 238000007781 pre-processing Methods 0.000 claims description 152
- 230000008569 process Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 13
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 3
- 230000006399 behavior Effects 0.000 description 99
- 238000012545 processing Methods 0.000 description 73
- 238000004519 manufacturing process Methods 0.000 description 72
- 238000011156 evaluation Methods 0.000 description 57
- 238000013500 data storage Methods 0.000 description 34
- 238000003860 storage Methods 0.000 description 31
- 230000009471 action Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 21
- 238000001514 detection method Methods 0.000 description 15
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000003542 behavioural effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
- G06F21/121—Restricting unauthorised execution of programs
- G06F21/128—Restricting unauthorised execution of programs involving web programs, i.e. using technology especially used in internet, generally interacting with a web browser, e.g. hypertext markup language [HTML], applets, java
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Description
以下、本発明の実施形態に係る学習モデル適用システムの例を説明する。図1は、学習モデル適用システムの全体構成を示す図である。図1に示すように、学習モデル適用システムSは、データベースサーバ10、バックグラウンドサーバ20、前処理サーバ30、リアルタイムサーバ40、サービス提供サーバ50、及びユーザ端末60を含み、これらは、インターネットなどのネットワークNに接続可能である。
図2は、学習モデル適用システムSの概要を示す図である。本実施形態では、サービス提供サーバ50が、ニュースや動画などのウェブサイトをユーザに提供し、ウェブサイトにアクセスしたユーザの行動を分析する場面を例に挙げて、学習モデル適用システムSの処理を説明する。例えば、学習モデル適用システムSは、ユーザがウェブサイトにアクセスした場合に行動データを生成し、学習モデルを利用して行動データを分析し、正常ユーザ又は不正ユーザの何れかに分類する。
図3は、学習モデル適用システムSで実現される機能の一例を示す機能ブロック図である。ここでは、データベースサーバ10、バックグラウンドサーバ20、前処理サーバ30、及びリアルタイムサーバ40の各々で実現される機能について説明する。
図3に示すように、データベースサーバ10では、データ記憶部100が実現される。データ記憶部100は、記憶部12を主として実現される。データ記憶部100は、学習に必要なデータを記憶する。本実施形態では、データ記憶部100が記憶するデータの一例として、行動データベースDBについて説明する。
図3に示すように、バックグラウンドサーバ20では、データ記憶部200、選択部201、適用部202、設定部203、及び通知部204が実現される。選択部201、適用部202、及び設定部203の各々の処理は、リアルタイムサーバ40における推定部401の処理とは異なるバックグラウンド処理として実行される。
データ記憶部200は、記憶部22を主として実現される。データ記憶部200は、特徴量を選択して学習モデルを適用するために必要なデータを記憶する。本実施形態では、データ記憶部200が記憶するデータの一例として、評価用の学習モデルM1、評価用の教師データセットDS1、本番用の学習モデルM2、及び本番用の教師データセットDS2について説明する。
選択部201は、制御部21を主として実現される。選択部201は、学習モデルにおける各特徴量の影響に基づいて、複数の特徴量のうちの少なくとも1つを選択する。本実施形態では、評価用の学習モデルM1が用意されているので、選択部201は、評価用の学習モデルM1に基づいて、各特徴量の影響を評価する。
適用部202は、制御部21を主として実現される。適用部202は、選択部201により選択された特徴量に基づいて学習された学習済みの学習モデルを適用する。学習済みの学習モデルは、選択部201により選択されたk種類の特徴量を含む教師データに基づいて学習されたモデルである。本実施形態では、本番用の学習モデルM2が学習済みの学習モデルに相当する。このため、本実施形態で本番用の学習モデルM2と記載した箇所は、学習済みの学習モデルと読み替えることができる。
設定部203は、制御部21を主として実現される。設定部203は、選択部201により選択された特徴量に基づいて、本番用の学習モデルM2に入力される特徴量の計算に関する設定を行う。
通知部204は、制御部21を主として実現される。本実施形態の学習モデルは、ウェブサイトにおける不正を検知するためのモデルなので、通知部204は、ウェブサイトの管理者に対し、選択部201により選択された特徴量に関する情報を通知する。ウェブサイトの管理者は、サービスの提供者であり、例えば、学習モデルの分析を行うデータサイエンティストではなく、ビジネス側の担当者である。通知は、任意の媒体を利用可能であり、例えば、電子メール、メッセージアプリ、SNS、SMS、チャット、又は電子掲示板等を利用すればよい。
図3に示すように、前処理サーバ30では、データ記憶部300、入力部301、及び計算部302が実現される。
データ記憶部300は、記憶部32を主として実現される。データ記憶部300は、特徴量の計算に必要なデータを記憶する。本実施形態では、データ記憶部300が記憶するデータの一例として、計算設定データDと前処理コンポーネントCmについて説明する。なお、図3では、前処理コンポーネントCmを1つだけ示しているが、実際には、m個の前処理コンポーネントCmが記憶される。データ記憶部300は、前処理コンポーネントCmに含まれるプログラムや計算式などを記憶する。
入力部301は、制御部31を主として実現される。入力部301は、前処理コンポーネントCmに対し、特徴量の計算に必要なデータを入力する。本実施形態では、各行動データが同じ形式であり、入力部301は、各前処理コンポーネントCmに対し、互いに同じ形式のデータを入力する。例えば、入力部301は、処理対象の行動データをそのままの形式で各前処理コンポーネントCmに入力する。また例えば、行動データを加工する場合には、入力部301は、同じ加工が施された行動データを、各前処理コンポーネントCmに入力する。
計算部302は、制御部31を主として実現される。計算部302は、学習モデルの学習で用いられる学習用データに基づいて、複数の特徴量を計算する。学習用データは、学習モデルを学習させるために用いられるデータであればよく、教師データそのものを意味してもよいし、教師データを作成する元となるデータを意味してもよい。本実施形態では、行動データが学習用データに相当する。このため、本実施形態で行動データと記載した箇所は、学習用データと読み替えることができる。
図3に示すように、リアルタイムサーバ40では、データ記憶部400及び推定部401が実現される。
データ記憶部400は、記憶部42を主として実現される。データ記憶部400は、本番用の学習モデルM2を記憶する。データ記憶部400に記憶される本番用の学習モデルM2は、データ記憶部200に記憶される本番用の学習モデルM2と同様のため、説明を省略する。適用部203により新たな本番用の学習モデルM2が適用されると、データ記憶部400に記憶された本番用の学習モデルM2が差し替えられることになる。
推定部401は、制御部41を主として実現される。本実施形態の学習モデルは、ウェブサイトにおける不正を検知するためのモデルであり、推定部401は、ウェブサイトにユーザがアクセスした場合に、学習済みの学習モデルと、設定部203により行われた設定と、に基づいて、当該ユーザの不正を推定する。例えば、サービス提供サーバ50は、ウェブサイトにアクセスしたユーザの行動データを生成し、リアルタイムサーバ40に送信する。推定部401は、ウェブサイトにアクセスしたユーザの行動データの特徴量の計算を、前処理サーバ30に依頼する。推定部401は、前処理サーバ30から受信したk種類の特徴量を、本番用の学習モデルM2に入力する。本番用の学習モデルM2は、入力された特徴量に基づいて、ユーザを不正ユーザ又は正常ユーザの何れかに分類する。推定部401は、本番用の学習モデルM2から出力された分類結果を取得し、ユーザの不正を推定する。
次に、学習モデル適用システムSにおいて実行される処理について説明する。本実施形態では、特徴量を選択して本番用の学習モデルM2を適用するバックグラウンド処理と、ウェブサイトにアクセスしたユーザの不正を検知するリアルタイム処理と、について説明する。
図8は、バックグラウンド処理の一例を示すフロー図である。図8に示すバックグラウンド処理は、制御部21,31が、それぞれ記憶部22,32に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図3に示す機能ブロックにより実行される処理の一例である。なお、バックグラウンド処理が実行されるのは、任意のタイミングであればよく、所定の日時が訪れた場合に実行されてもよいし、現状の本番用の学習モデルM2の精度が低下した場合に実行されてもよい。
図9は、リアルタイム処理の一例を示すフロー図である。図9に示すリアルタイム処理は、制御部31,41,51,61が、それぞれ記憶部32,42,52,62に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図3に示す機能ブロックにより実行される処理の一例である。
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
Claims (13)
- 学習モデルの学習で用いられる学習用データと、複数の前処理コンポーネントと、に基づいて、複数の特徴量を計算する計算手段と、
前記学習モデルにおける各特徴量の影響に基づいて、前記複数の特徴量のうちの少なくとも1つを選択する選択手段と、
前記選択手段により選択された特徴量に基づいて学習された学習済みの学習モデルを適用する適用手段と、
前記複数の前処理コンポーネントのうち、前記選択手段により選択された特徴量の計算で用いられる前処理コンポーネントを、前記学習済みの学習モデルに入力される特徴量の計算で用いるように設定することによって、前記選択手段により選択された特徴量を計算し、前記選択手段により選択されなかった特徴量を計算しないように、前記学習済みの学習モデルに入力される特徴量の計算に関する設定を行う設定手段と、
を含むことを特徴とする学習モデル適用システム。 - 前記計算手段は、複数の計算式に基づいて、前記複数の特徴量を計算し、
前記設定手段は、前記複数の計算式のうち、前記選択手段により選択された特徴量の計算で用いられる計算式を、前記学習済みの学習モデルに入力される特徴量の計算で用いるように設定する、
ことを特徴とする請求項1に記載の学習モデル適用システム。 - 前記計算手段は、集計処理を実行することによって、前記複数の特徴量のうちの少なくとも1つを計算し、
前記設定手段は、前記選択手段により前記少なくとも1つの特徴量が選択された場合に、前記集計処理が実行されるように設定する、
ことを特徴とする請求項1又は2に記載の学習モデル適用システム。 - 前記計算手段は、平均値の算出処理、標準偏差の算出処理、確率分布の作成処理、又は統計値の算出処理を実行することによって、前記複数の特徴量のうちの少なくとも1つを計算し、
前記設定手段は、前記選択手段により前記少なくとも1つの特徴量が選択された場合に、前記平均値の算出処理、前記標準偏差の算出処理、前記確率分布の作成処理、又は前記統計値の算出処理が実行されるように設定する、
ことを特徴とする請求項1~3の何れかに記載の学習モデル適用システム。 - 前記学習モデル適用システムは、各前処理コンポーネントに対し、互いに同じ形式のデータを入力する入力手段を更に含み、
各前処理コンポーネントは、他の前処理コンポーネントに入力されるデータと同じ形式のデータに基づいて、計算処理を実行する、
ことを特徴とする請求項1~4の何れかに記載の学習モデル適用システム。 - 前記学習モデル適用システムは、新たな特徴量を計算するための新たな前処理コンポーネントを追加する追加手段を更に含み、
前記計算手段は、前記新たな前処理コンポーネントに基づいて、前記新たな特徴量を計算し、
前記設定手段は、前記選択手段により前記新たな特徴量が選択された場合には、前記新たな前処理コンポーネントを、前記学習済みの学習モデルに入力される特徴量の計算で用いるように設定する、
ことを特徴とする請求項1~5の何れかに記載の学習モデル適用システム。 - 前記学習モデル適用システムは、各特徴量の計算時間を取得する取得手段を更に含み、
前記選択手段は、前記学習モデルにおける各特徴量の影響と、各特徴量の計算時間と、に基づいて、前記複数の特徴量のうちの少なくとも1つを選択する、
ことを特徴とする請求項1~6の何れかに記載の学習モデル適用システム。 - 前記学習モデル適用システムは、前記複数の特徴量の中から、互いに関連する特徴量の組み合わせを特定する特定手段を更に含み、
前記選択手段は、前記互いに関連する特徴量の組み合わせが存在する場合には、当該組み合わせのうちの一部を選択する、
ことを特徴とする請求項1~7の何れかに記載の学習モデル適用システム。 - 前記学習モデル適用システムは、
各特徴量の計算時間を取得する取得手段と、
各特徴量の計算時間が所定時間以上であるか否かを判定する判定手段と、
を更に含み
前記選択手段は、計算時間が所定時間以上の特徴量が存在する場合には、当該特徴量を欠損値として扱い、前記学習モデルにおける影響を評価する、
ことを特徴とする請求項1~8の何れかに記載の学習モデル適用システム。 - 前記学習モデルは、ウェブサイトにおける不正を検知するためのモデルであり、
前記学習モデル適用システムは、前記ウェブサイトにユーザがアクセスした場合に、前記学習済みの学習モデルと、前記設定手段により行われた設定と、に基づいて、当該ユーザの不正を推定する推定手段を更に含み、
前記選択手段、前記適用手段、及び前記設定手段の各々の処理は、前記推定手段の処理とは異なるバックグラウンド処理として実行される、
ことを特徴とする請求項1~9の何れかに記載の学習モデル適用システム。 - 前記学習モデルは、ウェブサイトにおける不正を検知するためのモデルであり、
前記学習モデル適用システムは、前記ウェブサイトの管理者に対し、前記選択手段により選択された特徴量に関する情報を通知する通知手段、
を更に含むことを特徴とする請求項1~10の何れかに記載の学習モデル適用システム。 - コンピュータが、
学習モデルの学習で用いられる学習用データと、複数の前処理コンポーネントと、に基づいて、複数の特徴量を計算する計算ステップと、
前記学習モデルにおける各特徴量の影響に基づいて、前記複数の特徴量のうちの少なくとも1つを選択する選択ステップと、
前記選択ステップにより選択された特徴量に基づいて学習された学習済みの学習モデルを適用する適用ステップと、
前記複数の前処理コンポーネントのうち、前記選択ステップにより選択された特徴量の計算で用いられる前処理コンポーネントを、前記学習済みの学習モデルに入力される特徴量の計算で用いるように設定することによって、前記選択ステップにより選択された特徴量を計算し、前記選択ステップにより選択されなかった特徴量を計算しないように、前記学習済みの学習モデルに入力される特徴量の計算に関する設定を行う設定ステップと、
を実行することを特徴とする学習モデル適用方法。 - 学習モデルの学習で用いられる学習用データと、複数の前処理コンポーネントと、に基づいて、複数の特徴量を計算する計算手段、
前記学習モデルにおける各特徴量の影響に基づいて、前記複数の特徴量のうちの少なくとも1つを選択する選択手段、
前記選択手段により選択された特徴量に基づいて学習された学習済みの学習モデルを適用する適用手段、
前記複数の前処理コンポーネントのうち、前記選択手段により選択された特徴量の計算で用いられる前処理コンポーネントを、前記学習済みの学習モデルに入力される特徴量の計算で用いるように設定することによって、前記選択手段により選択された特徴量を計算し、前記選択手段により選択されなかった特徴量を計算しないように、前記学習済みの学習モデルに入力される特徴量の計算に関する設定を行う設定手段、
としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/035376 WO2021048902A1 (ja) | 2019-09-09 | 2019-09-09 | 学習モデル適用システム、学習モデル適用方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021048902A1 JPWO2021048902A1 (ja) | 2021-09-27 |
JP7015927B2 true JP7015927B2 (ja) | 2022-02-03 |
Family
ID=74866230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020539117A Active JP7015927B2 (ja) | 2019-09-09 | 2019-09-09 | 学習モデル適用システム、学習モデル適用方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220083910A1 (ja) |
EP (1) | EP3882825A4 (ja) |
JP (1) | JP7015927B2 (ja) |
TW (1) | TWI778411B (ja) |
WO (1) | WO2021048902A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11588830B1 (en) * | 2020-06-30 | 2023-02-21 | Sequoia Benefits and Insurance Services, LLC | Using machine learning to detect malicious upload activity |
JP7273942B1 (ja) | 2021-12-28 | 2023-05-15 | 尚承科技股▲フン▼有限公司 | ネットワーク行為特徴を学習するネットワーク機器、処理システムおよび方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019102960A (ja) | 2017-12-01 | 2019-06-24 | 日本電信電話株式会社 | サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041317A (ja) * | 2013-08-23 | 2015-03-02 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する方法、当該ユーザの習熟度を推定する方法、及び、当該ユーザの習熟度に応じたユーザ支援をする方法、並びに、それらのコンピュータ及びコンピュータ・プログラム |
US20150213376A1 (en) * | 2014-01-30 | 2015-07-30 | Shine Security Ltd. | Methods and systems for generating classifiers for software applications |
US10366346B2 (en) * | 2014-05-23 | 2019-07-30 | DataRobot, Inc. | Systems and techniques for determining the predictive value of a feature |
JP6680714B2 (ja) * | 2017-03-30 | 2020-04-15 | ファナック株式会社 | ワイヤ放電加工機の制御装置及び機械学習装置 |
JP6969177B2 (ja) * | 2017-06-28 | 2021-11-24 | 富士通株式会社 | 特定行動検知プログラム、特定行動検知方法及び特定行動検知システム |
JP2019036865A (ja) * | 2017-08-17 | 2019-03-07 | 沖電気工業株式会社 | 通信解析装置、通信解析プログラム、及び通信解析方法 |
US20200272849A1 (en) | 2017-09-05 | 2020-08-27 | Rakuten, Inc. | Estimating system, estimating method and program |
-
2019
- 2019-09-09 WO PCT/JP2019/035376 patent/WO2021048902A1/ja unknown
- 2019-09-09 JP JP2020539117A patent/JP7015927B2/ja active Active
- 2019-09-09 EP EP19944677.4A patent/EP3882825A4/en active Pending
- 2019-09-09 US US17/415,742 patent/US20220083910A1/en active Pending
-
2020
- 2020-09-04 TW TW109130412A patent/TWI778411B/zh active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019102960A (ja) | 2017-12-01 | 2019-06-24 | 日本電信電話株式会社 | サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
TW202111592A (zh) | 2021-03-16 |
WO2021048902A1 (ja) | 2021-03-18 |
JPWO2021048902A1 (ja) | 2021-09-27 |
US20220083910A1 (en) | 2022-03-17 |
TWI778411B (zh) | 2022-09-21 |
EP3882825A4 (en) | 2022-01-05 |
EP3882825A1 (en) | 2021-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10938927B2 (en) | Machine learning techniques for processing tag-based representations of sequential interaction events | |
US9600834B2 (en) | Aggregating data from multiple devices belonging to one user for directed ad targeting | |
CN110163647B (zh) | 一种数据处理方法及装置 | |
JP6501855B1 (ja) | 抽出装置、抽出方法、抽出プログラム及びモデル | |
CN111522724B (zh) | 异常账号的确定方法、装置、服务器及存储介质 | |
CN107305611A (zh) | 恶意账号对应的模型建立方法和装置、恶意账号识别的方法和装置 | |
WO2019061664A1 (zh) | 电子装置、基于用户上网数据的产品推荐方法及存储介质 | |
JP7015927B2 (ja) | 学習モデル適用システム、学習モデル適用方法、及びプログラム | |
CN112508638B (zh) | 数据处理的方法、装置及计算机设备 | |
WO2023000491A1 (zh) | 一种应用推荐方法、装置、设备及计算机可读存储介质 | |
TW202105303A (zh) | 違規推定系統、違規推定方法及程式產品 | |
CN111461778A (zh) | 广告推送的方法和装置 | |
CN112258238A (zh) | 用户生命价值周期检测方法、装置和计算机设备 | |
CN112784168B (zh) | 信息推送模型训练方法以及装置、信息推送方法以及装置 | |
JP5209089B2 (ja) | 投稿情報評価装置及び投稿情報評価方法 | |
JP6706397B1 (ja) | 学習システム、学習方法、及びプログラム | |
US20210201177A1 (en) | Prediction system, prediction method, and information storage medium | |
US11947643B2 (en) | Fraud detection system, fraud detection method, and program | |
CN114357292A (zh) | 模型训练方法、设备和存储介质 | |
JP7238214B1 (ja) | 不正検知システム、不正検知方法、及びプログラム | |
TWI798719B (zh) | 違規檢知系統、違規檢知方法及程式產品 | |
CN113407859B (zh) | 一种资源推荐方法、装置、电子设备及存储介质 | |
CN112131607B (zh) | 资源数据处理方法、装置、计算机设备和存储介质 | |
JP2022147013A (ja) | 情報処理装置、制御方法、及びプログラム | |
CN114254181A (zh) | 资源推荐方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200715 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200715 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200901 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210226 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210226 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210312 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210316 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20210416 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20210420 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210727 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210907 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20211124 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220104 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220124 |