TW202111592A - 學習模型應用系統、學習模型應用方法及程式產品 - Google Patents

學習模型應用系統、學習模型應用方法及程式產品 Download PDF

Info

Publication number
TW202111592A
TW202111592A TW109130412A TW109130412A TW202111592A TW 202111592 A TW202111592 A TW 202111592A TW 109130412 A TW109130412 A TW 109130412A TW 109130412 A TW109130412 A TW 109130412A TW 202111592 A TW202111592 A TW 202111592A
Authority
TW
Taiwan
Prior art keywords
learning model
feature
mentioned
calculation
learning
Prior art date
Application number
TW109130412A
Other languages
English (en)
Other versions
TWI778411B (zh
Inventor
友田恭輔
Original Assignee
日商樂天股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商樂天股份有限公司 filed Critical 日商樂天股份有限公司
Publication of TW202111592A publication Critical patent/TW202111592A/zh
Application granted granted Critical
Publication of TWI778411B publication Critical patent/TWI778411B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/12—Protecting executable software
    • G06F21/121—Restricting unauthorised execution of programs
    • G06F21/128—Restricting unauthorised execution of programs involving web programs, i.e. using technology especially used in internet, generally interacting with a web browser, e.g. hypertext markup language [HTML], applets, java
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本發明之學習模型應用系統(S)之計算機構(302)基於學習模型之學習所使用之學習用資料，計算複數個特徵量。選擇機構(201)基於學習模型之各特徵量之影響，選擇複數個特徵量中之至少1者。應用機構(202)應用基於藉由選擇機構(201)選擇之特徵量學習之學習完畢之學習模型。設定機構(203)基於藉由選擇機構(201)選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。

Description

學習模型應用系統、學習模型應用方法及程式產品
本發明係關於一種學習模型應用系統、學習模型應用方法及程式產品。
先前，於機械學習領域中，已知有一種計算資料之特徵量並使學習模型學習之技術。例如，於專利文獻1，記載有使學習模型學習輸入自關於對網站進行存取之使用者之行動之行動資料擷取之特徵量，輸出該使用者之正當性之判定結果之教師資料，且製作檢測不正當使用者之學習模型之系統。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2019/049210號公報
[發明所欲解決之問題]
然而，於先前之技術，因即使有惡意之第三者之行動變化，關於輸入至學習模型之特徵量之計算之設定亦不改變，故無法應對行動之變化，而有學習模型之精度降低之可能性。關於該點，亦考慮使資料科學家分析行動之變化，改變關於特徵量之計算之設定。但，於該情形時，因資料科學家之分析或設定之反映非常耗費工夫，故預想學習模型之應用將延遲。
本發明係鑑於上述問題而完成者，其目的在於提供一種可迅速應用學習模型之學習模型應用系統、學習模型應用方法及程式產品。 [解決問題之技術手段]
為了解決上述問題，本發明之學習模型應用系統之特徵在於包含：計算機構，其基於學習模型之學習所使用之學習用資料，計算複數個特徵量；選擇機構，其基於上述學習模型之各特徵量之影響，選擇上述複數個特徵量中之至少1者；應用機構，其應用基於藉由上述選擇機構選擇之特徵量學習之學習完畢之學習模型；及設定機構，其基於藉由上述選擇機構選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。
本發明之學習模型應用方法之特徵在於包含：計算步驟，其基於學習模型之學習所使用之學習用資料，計算複數個特徵量；選擇步驟，其基於上述學習模型之各特徵量之影響，選擇上述複數個特徵量中之至少1者；應用步驟，其應用基於藉由上述選擇步驟選擇之特徵量學習之學習完畢之學習模型；及設定步驟，其基於藉由上述選擇步驟選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。
本發明之程式產品使電腦作為以下機構發揮功能：計算機構，其基於學習模型之學習所使用之學習用資料，計算複數個特徵量；選擇機構，其基於上述學習模型之各特徵量之影響，選擇上述複數個特徵量中之至少1者；應用機構，其應用基於藉由上述選擇機構選擇之特徵量學習之學習完畢之學習模型；及設定機構，其基於藉由上述選擇機構選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。
根據本發明之一態樣，其特徵在於上述計算機構基於複數個前處理組件，計算上述複數個特徵量，上述設定機構以由輸入至上述學習完畢之學習模型之特徵量之計算使用之方式，設定上述複數個前處理組件中藉由上述選擇機構選擇之特徵量之計算所使用之前處理組件。
根據本發明之一態樣，其特徵在於上述學習模型應用系統進而包含對各前處理組件輸入彼此相同形式之資料之輸入機構，且各前處理組件基於與輸入至其他前處理組件之資料相同形式之資料，執行計算處理。
根據本發明之一態樣，其特徵在於上述學習模型應用系統進而包含追加用於計算新的特徵量之新的前處理組件之追加機構，且上述計算機構基於上述新的前處理組件，計算上述新的特徵量，上述設定機構於藉由上述選擇機構選擇上述新的特徵量之情形時，以由輸入至上述學習完畢之學習模型之特徵量之計算使用之方式，設定上述新的前處理組件。
根據本發明之一態樣，其特徵在於上述學習模型應用系統進而包含取得各特徵量之計算時間之取得機構，且上述選擇機構基於上述學習模型之各特徵量之影響、與各特徵量之計算時間，選擇上述複數個特徵量中之至少1者。
根據本發明之一態樣，其特徵在於上述學習模型應用系統進而包含自上述複數個特徵量中特定相互關聯之特徵量之組合之特定機構，且上述選擇機構於存在上述相互關聯之特徵量之組合之情形時，選擇該組合中之一部分。
根據本發明之一態樣，其特徵在於上述學習模型應用系統進而包含取得各特徵量之計算時間之取得機構、與判定各特徵量之計算時間是否為特定時間以上之判定機構，且上述選擇機構於存在計算時間為特定時間以上之特徵量之情形時，將該特徵量作為缺損值處理，並評估上述學習模型之影響。
根據本發明之一態樣，其特徵在於上述學習模型係用於檢測網站上之不正當之模型，上述學習模型應用系統進而包含：推定機構，其於使用者對上述網站進行存取之情形時，基於上述學習完畢之學習模型、與藉由上述設定機構進行之設定，推定該使用者之不正當；且上述選擇機構、上述應用機構、及上述設定機構之各者之處理作為與上述推定機構之處理不同之後台處理執行。
根據本發明之一態樣，其特徵在於上述學習模型係用於檢測網站上之不正當之模型，且上述學習模型應用系統進而包含：通知機構，其對上述網站之管理者，通知關於藉由上述選擇機構選擇之特徵量之資訊。 [發明之效果]
根據本發明，可迅速應用學習模型。
[1.學習模型應用系統之整體構成] 以下，說明本發明之實施形態之學習模型應用系統之例。圖1係顯示學習模型應用系統之整體構成之圖。如圖1所示，學習模型應用系統S包含資料庫伺服器10、後台伺服器20、前處理伺服器30、即時伺服器40、服務提供伺服器50、及使用者終端60，該等可連接於網際網路等之網路N。
資料庫伺服器10係記憶各種資料之伺服器電腦。資料庫伺服器10包含控制部11、記憶部12、及通信部13。控制部11包含至少1個處理器。控制部11根據記憶於記憶部12之程式或資料執行處理。記憶部12包含主記憶部及輔助記憶部。例如，主記憶部為RAM(Random Access Memory：隨機存取記憶體)等揮發性記憶體，輔助記憶部為ROM(Read Only Memory：唯讀記憶體)、EEPROM(Electrically Erasable Programmable Read-Only Memory：電子可抹除可程式化唯讀記憶體)、快閃記憶體、或硬碟等非揮發性記憶體。通信部13係有線通信或無線通信用之通信介面，經由網路N進行資料通信。
後台伺服器20係選擇稍後敘述之特徵量或使學習模型學習之伺服器電腦。後台伺服器20包含控制部21、記憶部22、及通信部23。控制部21、記憶部22、及通信部23之物理構成可分別與控制部11、記憶部12、及通信部13同樣。
前處理伺服器30係計算稍後敘述之特徵量之伺服器電腦。前處理伺服器30包含控制部31、記憶部32、及通信部33。控制部31、記憶部32、及通信部33之物理構成亦可分別與控制部11、記憶部12、及通信部13同樣。
即時伺服器40係應用稍後敘述之學習模型之伺服器電腦。即時伺服器40包含控制部41、記憶部42、及通信部43。控制部41、記憶部42、及通信部43之物理構成亦可分別與控制部11、記憶部12、及通信部13同樣。
服務提供伺服器50係經由網站提供任意服務之伺服器電腦。服務提供伺服器50包含控制部51、記憶部52、及通信部53。控制部51、記憶部52、及通信部53之物理構成亦可分別與控制部11、記憶部12、及通信部13同樣。
使用者終端60係使用者操作之電腦。例如，使用者終端60係行動電話(包含智慧型手機)、行動資訊終端(包含平板型電腦)、或個人電腦等。於本實施形態，使用者終端60包含控制部61、記憶部62、通信部63、操作部64、及顯示部65。控制部61、記憶部62、及通信部63之物理構成亦可分別與控制部11、記憶部12、及通信部13同樣。
操作部64係輸入裝置，即例如觸控面板或滑鼠等指向裝置、鍵盤、或按鈕等。操作部64將使用者之操作內容傳達至控制部61。顯示部65係例如液晶顯示部或有機EL(Electro Luminescence：電致發光)顯示部等。顯示部65根據控制部61之指示顯示圖像。
另，作為記憶於記憶部12、22、32、42、52、62者說明之程式及資料亦可經由網路N供給。又，上述說明之各電腦之硬體構成不限定於上述之例，可應用各種硬體。例如，亦可包含讀取可電腦讀取之資訊記憶媒體之讀取部(例如，光碟驅動或記憶卡插槽)或用於與外部機器進行資料之輸入輸出之輸入輸出部(例如，USB(Universal Serial Bus：通用串列匯流排)埠)。例如，記憶於資訊記憶媒體之程式或資料亦可經由讀取部或輸入輸出部供給至各電腦。
[2.學習模型應用系統之概要] 圖2係顯示學習模型應用系統S之概要之圖。於本實施形態，列舉服務提供伺服器50對使用者提供新聞或動畫等之網站，並分析對網站進行存取之使用者之行動之場景為例，說明學習模型應用系統S之處理。例如，學習模型應用系統S於使用者對網站進行存取之情形時產生行動資料，利用學習模型分析行動資料，並分類為正常使用者或不正當使用者之任一者。
行動資料係關於使用者之行動之資料。行動資料包含至少1個項目，儲存使用者之行動內容。可針對對網站進行存取之使用者全員產生行動資料，亦可僅針對一部分使用者產生行動資料。於行動資料，可顯示某一時點之行動，亦可顯示一定期間之行動之歷程。例如，行動資料顯示對網站進行存取之時間、對網站進行存取時之使用者之場所、或網站上之使用者之操作內容等。
正常使用者係進行正常之行動之使用者，即並非不正當使用者之使用者。不正當使用者係進行不正當之行動之使用者，即並非正常使用者之使用者。不正當之行動係對服務提供者或其他使用者等不利之行動，例如竊取、破解、有惡意之投稿、刻意進行大量存取、對其他使用者之打擾行為、違反服務規約之行為、或違反法律之行為等。
例如，不限制對正常使用者之服務，而限制對不正當使用者之服務。但，於分類為不正當使用者之情形時，無需立即限制服務，可於進行管理者之審查之後限制服務，亦可於進行對使用者之追加認證之後限制服務。
學習模型係利用機械學習之模型。學習模型有時亦稱為學習器、分類器、或分類學習器。於本實施形態，使用用於分類是否為不正當使用者之學習模型。機械學習本身可利用周知之各種技術，可利用例如神經網路、強化學習、或深度學習等技術。機械學習不限定於監督學習，可使用半監督學習，亦可使用基於無監督學習之學習模型。
於學習模型，雖可直接輸入行動資料，但於本實施形態，將基於行動資料計算之複數個特徵量輸入至學習模型。學習模型基於輸入之複數個特徵量，將使用者分類為正常使用者或不正當使用者之任一者。
特徵量係顯示成為學習模型之處理對象之資料之特徵的資訊。於本實施形態，因行動資料成為處理對象，故特徵量可稱為顯示使用者之行動之特徵之資訊。特徵量可以數值顯示，亦可以文字等其他資訊顯示。特徵量為可自行動資料計算之特徵即可，為例如距使用者之平均存取場所之距離、距使用者上一次存取之經過時間、使用者之存取頻率、或使用者之服務之利用狀況(例如，結算金額或結算頻率)等。此外例如，特徵量亦可為以如是否為來自國外之存取、或自利用登錄服務起是否經過一定期間之2值表現之資訊。
如圖2所示，於前處理伺服器30，準備有特徵量之計算所使用之m個(m：自然數)之前處理組件Cm 。前處理組件Cm 不僅使用於後台伺服器20，亦使用於即時伺服器40。於本實施形態，因即時伺服器40謀求較後台伺服器20更迅速之處理，故於即時伺服器40之處理中不進行不及時之特徵量計算。即，即時伺服器40之處理之界限成為後台伺服器20之處理之界限。
於本實施形態，將可由m個前處理組件Cm 計算之特徵量設為n種(n：自然數)。雖所有n種特徵量亦可使用於學習，但於n種特徵量中，亦存在學習模型之影響較小(於不正當檢測時不重要)之特徵量。若學習此種特徵量，則有時學習模型之精度降低，或處理需要時間。因此，於本實施形態，選擇影響相對較大之k種(k：n以下之自然數)之特徵量，並由學習模型學習。
於本實施形態，資料庫伺服器10蓄積過去對網站進行存取之各種使用者之行動資料之歷程、與該使用者是否為不正當使用者之診斷結果。後台伺服器20為了製作應用於即時伺服器40之學習模型，而自資料庫伺服器10取得最近之一定期間之行動資料。後台伺服器20將自資料庫伺服器10取得之行動資料發送至前處理伺服器30。後台伺服器20使前處理伺服器30循環地計算特徵量，並取得n種特徵量(S1)。
後台伺服器20評估學習模型之特徵量之影響，並自n種特徵量中選擇k種特徵量(S2)。特徵量之選擇本身可應用周知之特徵量選擇技術，可利用例如不使用學習模型而僅以資料組完結之Filter-Method(過濾法)、使用學習模型探索最佳之特徵量之組合之Wrapper-Method(包裝法)、或於學習時進行特徵量選擇之Embedded-Method(嵌入法)。
於本實施形態，對基於n種特徵量之各者之影響度(重要度)，選擇k種特徵量之情形進行說明。列舉特徵量之影響度利用周知之技術(例如，於僅使評估對象之特徵量變化時，評估對預測之結果帶來多少差異之技術，所謂Permutation Importance(排列重要性))之情形。根據該技術，對每個特徵量，輸出顯示學習模型之影響度之數值。例如，後台伺服器20自n種特徵量中以影響度由高至低之順序選擇k種特徵量。
後台伺服器20基於所選擇之k種特徵量使學習模型學習(S3)。n種特徵量中，所選擇之k種特徵量以外之特徵量之學習模型之影響較小。因此，於本實施形態，影響較小之特徵量雖設為不使用於學習者，但影響較小之特徵量並非完全不使用於學習，亦可降低學習係數等而稍微進行學習。
後台伺服器20對即時伺服器40發送學習完畢之學習模型並應用(S4)。因對學習完畢之學習模型輸入k種特徵量，故於不正當檢測時，無需計算所有n種特徵。因此，後台伺服器20以對前處理伺服器30，並非計算n種所有特徵量，而僅計算k種特徵量之方式，對前處理伺服器30進行關於特徵量之計算之設定(S5)。學習模型之應用與關於特徵量之計算之設定可同時進行，亦可先進行任一者。
藉由以上之處理，即時伺服器40可利用應用之學習模型進行不正當檢測。例如，若使用者對服務提供伺服器50之網站進行存取，則服務提供伺服器50基於網站上之使用者之行動而產生行動資料。即時伺服器40收集所產生之行動資料並發送至前處理伺服器30。即時伺服器40使前處理伺服器30計算k種特徵量並取得(S6)。前處理伺服器30與自後台伺服器20請求計算之情形不同，不計算所有n種特徵量，而僅計算k種特徵。於圖2之例，n種特徵量之計算所利用之前處理組件c2 或cm 不利用於k種特徵量之計算。於S5中進行此種特徵量計算之設定。
即時伺服器40對所應用之學習模型，輸入自前處理伺服器30接收之k種特徵量並進行不正當檢測(S7)。即時伺服器40於自學習模型取得不正當使用者之主旨之輸出之情形時，對使用者謀求追加認證，或限制服務之提供。
於如上所述之不正當檢測中，因有惡意之第三者之行動每天變化，故有時學習模型之影響較大之特徵量之種類改變。例如，即使於某時期之不正當檢測較重要之特徵量為「距平均存取場所之距離」，若有惡意之第三者之行動改變，則於不正當檢測較重要之特徵量有時亦改變為「距上一次存取之經過時間」。於該情形時，因於較早之學習模型中無法應對行動之變化，而無法檢測使用者之不正當，故較佳為不使學習模型學習「距平均存取場所之距離」之特徵量，而取代其，使之學習「距上一次存取之經過時間」之特徵量。
因此，學習模型應用系統S定期評估學習模型之特徵量之影響，並重新選擇使學習模型學習之特徵量。於後台伺服器20選擇之特徵量之種類改變之情形時，需根據此而亦改變前處理伺服器30之特徵量計算之設定。因此，後台伺服器20變更前處理伺服器30之設定，以計算最新之特徵量。
例如，為了計算某時期t1 中選擇之k1 種特徵量，需要前處理組件c1 、c2 、c5 。於該情形時，時期t1 之前處理伺服器30之設定以利用前處理組件c1 、c2 、c5 ，計算k1 種特徵量之方式設定。於時期t1 中應用之學習模型，輸入利用前處理組件c1 、c2 、c5 計算之k1 種特徵量。
於之後之時期t2 中，設為有惡意之第三者之行動變化，k2 種特徵量之影響變大。於該情形時，k1 種特徵量之組合、與k2 種特徵量之組合不完全一致，為了計算k2 種特徵量，需要前處理組件c1 、c3 、c4 。時期t2 之前處理伺服器30之設定以利用前處理組件c1 、c3 、c4 ，計算k2 種特徵量之方式變更設定。於時期t2 中應用之學習模型，輸入利用前處理組件c1 、c3 、c4 計算之k2 種特徵量。
如以上，本實施形態之學習模型應用系統S係即使有惡意之第三者之行動變化，亦選擇與此相應之特徵量使學習模型學習，而應對行動之變化。再者，學習模型應用系統S應用學習完畢之學習模型，且以可計算最新之學習模型所需之特徵量之方式進行設定，藉此迅速進行學習模型之應用。之後，說明該技術之細節。
[3.於學習模型應用系統中實現之功能] 圖3係顯示由學習模型應用系統S實現之功能之一例之功能方塊圖。此處，對由資料庫伺服器10、後台伺服器20、前處理伺服器30、及即時伺服器40之各者實現之功能進行說明。
[3-1.於資料庫伺服器中實現之功能] 如圖3所示，於資料庫伺服器10，實現資料記憶部100。資料記憶部100主要實現記憶部12。資料記憶部100記憶學習所需之資料。於本實施形態，作為資料記憶部100記憶之資料之一例，對行動資料庫DB進行說明。
圖4係顯示行動資料庫DB之資料儲存例之圖。如圖4所示，行動資料庫DB係蓄積過去進行之行動之歷程之資料庫。例如，於行動資料庫DB，將過去產生之行動資料、與顯示是否為不正當使用者之不正當旗標建立關聯並儲存。
另，圖4所示之「No」係識別行動資料庫DB之各個資料錄之資料錄編號。於本實施形態，設為藉由資料錄編號，唯一識別資料庫內之資料者。又，於本實施形態，雖說明於行動資料庫DB中儲存有不正當旗標之情形，但亦可不於行動資料庫DB儲存不正當旗標。於該情形時，於製作稍後敘述之評估用之教師資料組DS1時，賦予不正當旗標即可。
於行動資料，亦可儲存任意資訊，儲存例如使用者ID、使用者名、IP(Internet Protocol：網際網路協定)位址、存取之網站之URL(Uniform Resource Locator：統一資源定位符)、存取場所、存取時日、結算金額、或結算時日等。如上所述，行動資料亦可儲存有該等歷程。於在行動資料儲存行動之歷程之情形時，可藉由1個行動資料，計算距使用者之平均存取場所之距離、距使用者上一次存取之經過時間、或使用者之存取頻率等統計之特徵量。於在行動資料未儲存行動之歷程之情形時，藉由複數個行動資料，計算該等之統計之特徵量。另，行動資料所包含之資訊不限定於該等，亦可包含來自操作部64之輸入內容等其他資訊。
使用者ID係唯一識別使用者之資訊。使用者名係使用者於利用登錄時輸入之名字。IP位址係使用者對服務提供伺服器50進行存取時使用之使用者終端60之IP位址。存取場所係關於使用者對服務提供伺服器50進行存取時使用之使用者終端60之場所之資訊。存取場所係利用IP位址、GPS(Global Positioning System：全球定位系統)資訊(緯度經度資訊或座標資訊)、無線基地台資訊、或存取點資訊等推定。存取時日係使用者對服務提供伺服器50進行存取時之時日。結算金額係使用者之支付額，即例如利用有償服務，或購入商品時之金額。結算時日係進行結算之時日，即例如服務之利用時日、或商品之購入時日。
不正當旗標係顯示是否為不正當使用者之資訊。若不正當旗標為第1值(接通)，則意為不正當使用者，若不正當旗標為第2值(斷開)，則意為正當使用者(非不正當使用者)。不正當旗標之值係對學習模型而言成為正解之資訊，例如藉由管理者指定。管理者可對所有行動資料輸入不正當旗標之值，亦可閱覽學習模型之判定結果，僅修正錯誤之值。
例如，資料庫伺服器10自即時伺服器40或服務提供伺服器50取得行動資料，發行新的資料錄編號並儲存於行動資料庫DB。管理者閱覽儲存於行動資料庫DB之行動資料之內容，指定不正當旗標之值。資料庫伺服器10於產生對服務提供伺服器之存取之情形時，取得行動資料，並與管理者指定之不正當旗標一起儲存於行動資料庫DB。行動資料庫DB之內容對後台伺服器20提供。
[3-2.於後台伺服器中實現之功能] 如圖3所示，於後台伺服器20，實現資料記憶部200、選擇部201、應用部202、設定部203、及通知部204。選擇部201、應用部202、及設定部203之各者之處理係作為與即時伺服器40之推定部401之處理不同之後台處理而執行。
於本實施形態，後台處理係由與應用實操用之學習模型M2之電腦不同之電腦執行之處理。即，後台處理與即時處理由互不相同之電腦執行。另，雖後台處理亦可由與即時處理相同之電腦執行，但於該情形時，即時處理較後台處理優先執行。例如，於執行即時處理之頻率相對較低之時間帶等執行後台處理。
[資料記憶部] 資料記憶部200主要實現記憶部22。資料記憶部200記憶為了選擇特徵量並應用學習模型所需之資料。於本實施形態，作為資料記憶部200記憶之資料之一例，對評估用之學習模型M1、評估用之教師資料組DS1、實操用之學習模型M2、及實操用之教師資料組DS2進行說明。
評估用之學習模型M1係用於評估n種特徵量之各者之模型。換言之，評估用之學習模型M1係用於自n種特徵量中選擇影響相對較大之k種特徵量之模型。於本實施形態，因評估用之學習模型M1僅用於選擇特徵量，故不應用於即時伺服器40。另，如Filter-Method般，於為了評估特徵量之影響而不利用學習模型之情形時，評估用之學習模型M1設為不記憶於資料記憶部200者。
資料記憶部200記憶評估用之學習模型M1之程式(演算法)或參數。於評估用之學習模型M1，學習評估用之教師資料組DS1，例如評估用之學習模型M1之參數藉由評估用之教師資料組DS1調整。學習方法本身可利用周知之技術，可利用例如神經網路之學習手法。評估用之學習模型M1以可獲得稍後敘述之評估用之教師資料之輸入與輸出之關係之方式學習。
圖5係顯示評估用之教師資料組DS1之資料儲存例之圖。如圖5所示，於評估用之教師資料組DS1，儲存使評估用之學習模型M1學習之教師資料。教師資料之數量可為任意，例如可為十個～數百個左右，亦可為千個以上。於本實施形態，將儲存於評估用之教師資料組DS1之各個教師資料記載為評估用之教師資料。評估用之教師資料為圖5之各個資料錄，且評估用之教師資料組DS1係評估用之教師資料之集合。
於評估用之教師資料，顯示評估用之學習模型M1之輸入與輸出之關係。於本實施形態，於評估用之教師資料顯示有n種所有特徵量、與不正當旗標之關係。於本實施形態，評估用之教師資料設為對儲存於行動資料庫DB之每個行動資料製作者。因此，儲存於行動資料庫DB之行動資料、與儲存於評估用之教師資料組DS1之教師資料以1對1對應。
例如，自圖4之行動資料庫DB之「No」為「1」之行動資料計算n種特徵量，並作為圖5之評估用資料庫之「No」為「1」之教師資料之特徵量儲存。儲存於行動資料之不正常旗標直接作為教師資料之不正當旗標儲存。如此，針對行動資料庫DB中最近之一定期間之行動資料，製作顯示n種特徵量與不正當旗標之關係之評估用之教師資料。
另，於本實施形態，雖說明針對行動資料庫DB中最近之一定期間之行動資料，製作評估用之教師資料之情形，但亦可針對行動資料庫DB之所有行動資料，製作評估用之教師資料。此外例如，可僅針對自行動資料庫DB中隨機選擇之一部分行動資料，製作評估用之教師資料，亦可僅針對顯示特定之使用者之行動之行動資料，製作評估用之教師資料。
實操用之學習模型M2係藉由利用選擇部201選擇之k種特徵量學習之學習模型。換言之，實操用之學習模型M2係自此應用於即時伺服器40之學習模型、或已應用於即時伺服器40之學習模型。實操用之學習模型M2亦可稱為最新之學習模型。
資料記憶部200記憶實操用之學習模型M2之程式(演算法)或參數。實操用之學習模型M2學習實操用之教師資料組DS2，例如實操用之學習模型M2之參數藉由實操用之教師資料組DS2調整。學習方法本身可利用周知之技術，可利用例如神經網路之學習手法。實操用之學習模型M2以可獲得稍後敘述之實操用之教師資料之輸入與輸出之關係之方式學習。
圖6係顯示實操用之教師資料組DS2之資料儲存例之圖。如圖6所示，於實操用之教師資料組DS2，儲存使實操用之學習模型M2學習之教師資料。教師資料之數量可為任意，例如可為十個～數百個左右，亦可為千個以上。於本實施形態，將儲存於實操用之教師資料組DS2之各個資料錄記載為實操用之教師資料。實操用之教師資料為圖6之各個資料錄，且實操用之教師資料組DS2係實操用之教師資料之集合。
於實操用之教師資料，顯示有實操用之學習模型M2之輸入與輸出之關係。於本實施形態，於實操用之教師資料，顯示有k種特徵量、與不正當旗標之關係。於本實施形態，實操用之教師資料設為對儲存於評估用之教師資料組DS1之每個評估用之教師資料製作者。因此，實操用之教師資料與評估用之教師資料以1對1對應。
例如，圖5之評估用之教師資料組DS1之「No」為「1」之教師資料之n種特徵量中之k種特徵量作為實操用之教師資料之特徵量而儲存。儲存於評估用之教師資料之不正當旗標直接作為實操用之教師資料之不正當旗標儲存。如此，針對儲存於評估用之教師資料組DS1之所有教師資料，製作顯示k種特徵量與不正當旗標之關係之實操用之教師資料。
另，於本實施形態，雖說明針對儲存於評估用之教師資料組DS1之所有評估用之教師資料，製作實操用之教師資料之情形，但亦可僅針對評估用之教師資料組DS1之一部分，製作實操用之教師資料。此外例如，亦可基於未包含於評估用之教師資料組DS1之行動資料，製作實操用之教師資料。例如，亦可於基於數十個左右之評估用之教師資料，選擇k種特徵量之後，自數百個～數千個左右之行動資料製作實操用之評估資料。
[選擇部] 選擇部201主要實現控制部21。選擇部201基於學習模型之各特徵量之影響，選擇複數個特徵量中之至少1者。於本實施形態，因準備有評估用之學習模型M1，故選擇部201基於評估用之學習模型M1，評估各特徵量之影響。
特徵量之影響係對學習模型之輸出之影響。換言之，特徵量之影響亦可稱為學習模型著眼之程度、學習模型之輸出之重要性、或學習模型決定輸出內容時之根據。例如，特徵量之影響藉由利用Permutation Importance或Gini Importance(吉尼重要性)等周知之特徵量選擇技術計算之影響度顯示。於本實施形態，雖說明藉由數值顯示影響度之情形，但特徵量之影響亦可藉由文字等其他資訊顯示。影響度顯示之數值越大則意為影響越大。例如，藉由計算使特徵量之值變化時對輸出造成何種程度影響，而計算特徵量之影響度。對輸出之影響越大則影響度顯示之數值越大。
選擇部201可選擇任意數量之特徵量，例如可僅選擇1個特徵量，亦可選擇複數個特徵量。再者，選擇部201可選擇n種特徵量之全部(於該情形時，n之數值與k之數值相同)，亦可僅選擇n種特徵量之一部分(於該情形時，k之數值小於n之數值)。
選擇部201於n種特徵量中，選擇學習模型之影響相對較高之k種特徵量。例如，選擇部201取得儲存於評估用之教師資料組DS1之n種特徵量之各者之影響度，並基於取得之影響度，選擇k種特徵量。例如，選擇部201以影響度由高至低之順序選擇k種特徵量。又例如，選擇部201亦可選擇所有影響度為閾值以上之特徵量。於該情形時，影響度為閾值以上之特徵量之數量成為k之數值。又例如，選擇部201亦可選擇影響度為上階特定百分比之特徵量。於該情形時，影響度為上階特定百分比之特徵量之數量成為k之數值。
[應用部] 應用部202主要實現控制部21。應用部202應用基於藉由選擇部201選擇之特徵量學習之學習完畢之學習模型。學習完畢之學習模型係基於包含藉由選擇部201選擇之k種特徵量之教師資料學習之模型。於本實施形態，實操用之學習模型M2相當於學習完畢之學習模型。因此，於本實施形態記載為實操用之學習模型M2之部位可改記為學習完畢之學習模型。
應用係替換學習模型。因此，應用亦可稱為輸出、切換、覆寫、或有效化。於本實施形態，因將實操用之學習模型M2應用於即時伺服器40，故應用部202藉由將學習了實操用之教師資料組DS2之實操用之學習模型M2發送至即時伺服器40，而應用實操用之學習模型M2。
[設定部] 設定部203主要實現控制部21。設定部203基於藉由選擇部201選擇之特徵量，進行關於輸入至實操用之學習模型M2之特徵量之計算之設定。
關於特徵量之計算之設定係設定是否計算特徵量。換言之，關於特徵量之計算之設定係計算藉由選擇部201選擇之特徵量，不計算未藉由選擇部201選擇之特徵量。於本實施形態，因選擇n種特徵量中之k種，故設定部203以自計算之對象排除之方式設定k種以外之特徵量。識別是否計算各特徵量之資訊顯示於稍後敘述之計算設定資料D。因此，設定部203藉由設定儲存於計算設定資料D之資訊，而進行是否計算特徵量之設定。
於本實施形態，因利用前處理組件Cm 計算特徵量，故設定部203以由輸入至學習完畢之學習模型之特徵量之計算使用之方式，設定複數個前處理組件Cm 中藉由選擇部201選擇之特徵量之計算所使用之前處理組件Cm 。顯示是否利用前處理組件Cm 之資訊顯示於稍後敘述之計算設定資料D。因此，設定部203藉由設定儲存於計算設定資料D之資訊，設定利用之前處理組件Cm 。設定部203將藉由選擇部201選擇之特徵量之計算所需之前處理組件Cm 設定為利用者，將除此以外之前處理組件Cm 設定為不利用者。
[通知部] 通知部204主要實現控制部21。因本實施形態之學習模型係用於檢測網站上之不正當之模型，故通知部204對網站之管理者，通知關於藉由選擇部201選擇之特徵量之資訊。網站之管理者係服務之提供者，即例如業務側之負責人，而非進行學習模型之分析之資料科學家。通知可利用任意媒體，利用例如電子郵件、訊息應用、SNS(Social Network Service：社交網路服務)、SMS(Short Message Service：簡訊服務)、會話輸入、或電子告示牌等即可。
關於特徵量之資訊係顯示藉由選擇部201選擇之特徵量之內容之資訊。例如，於選擇「距平均存取場所之距離」之特徵量之情形時，通知部204通知選擇「距平均存取場所之距離」，於選擇「距上一次存取之經過時間」之特徵量之情形時，通知部204通知選擇「距上一次存取之經過時間」。網站之管理者觀察通知之特徵量之內容而變更網站之設計，或進行提供服務時之規格變更。
[3-3.於前處理組件中實現之功能] 如圖3所示，於前處理伺服器30，實現資料記憶部300、輸入部301、及計算部302。
[資料記憶部] 資料記憶部300主要實現記憶部32。資料記憶部300記憶特徵量之計算所需之資料。於本實施形態，作為資料記憶部300記憶之資料之一例，對計算設定資料D與前處理組件Cm 進行說明。另，於圖3，雖僅顯示1個前處理組件Cm ，但實際上記憶m個前處理組件Cm 。資料記憶部300記憶前處理組件Cm 所包含之程式或計算式等。
圖7係顯示計算設定資料D之資料儲存例之圖。如圖7所示，於計算設定資料D，對前處理伺服器30可計算之每個特徵量儲存其計算方法、與選擇旗標。換言之，於計算設定資料D，針對n種特徵量之各者，儲存計算方法與選擇旗標。
例如，作為計算方法，儲存識別特徵量之計算所使用之前處理組件Cm 之資訊。於本實施形態，因前處理組件Cm 執行特徵量之計算所需之前處理，故作為計算方法，儲存用於根據自前處理組件Cm 輸出之值計算特徵量之計算式。於前處理組件Cm 計算特徵量本身之情形時，因取得自前處理組件Cm 輸出之特徵量即可，故計算式不特別顯示於計算設定資料D。
選擇旗標係顯示是否藉由選擇部201選擇之資訊。換言之，選擇旗標係顯示是否包含於k種特徵量之資訊。若選擇旗標為第1值(接通)，則意為藉由選擇部201選擇，若選擇旗標為第2值(斷開)，則意為未藉由選擇部201選擇。選擇旗標之值藉由稍後敘述之設定部203設定。
[輸入部] 輸入部301主要實現控制部31。輸入部301對前處理組件Cm ，輸入特徵量之計算所需之資料。於本實施形態，各行動資料為相同形式，輸入部301對各前處理組件Cm ，輸入彼此相同形式之資料。例如，輸入部301將處理對象之行動資料以原樣之形式輸入至各前處理組件Cm 。又例如，於加工行動資料之情形時，輸入部301將實施相同之加工後之行動資料輸入至各前處理組件Cm 。
各前處理組件Cm 基於與輸入至其他前處理組件Cm 之資料相同形式之資料，執行計算處理。前處理組件Cm 基於預先對自身確定之計算式執行計算處理即可，執行例如合計處理、平均值之算出處理、標準偏差之算出處理、機率分佈之製作處理、或其他統計值之算出處理等。於前處理組件Cm 計算特徵量本身之情形時，前處理組件Cm 執行特徵量之計算處理。
[計算部] 計算部302主要實現控制部31。計算部302基於學習模型之學習所使用之學習用資料，計算複數個特徵量。學習用資料為用於使學習模型學習之資料即可，可意為教師資料本身，亦可意為成為製作教師資料之基礎之資料。於本實施形態，行動資料相當於學習用資料。因此，於本實施形態記載為行動資料之部位可改記為學習用資料。
計算部302基於預先確定之計算式計算特徵量即可。於本實施形態，因於計算設定資料D確定有特徵量之計算方法，故計算部302基於顯示於計算設定資料D之計算方法計算特徵量。於本實施形態，因準備有複數個前處理組件Cm ，故計算部302基於複數個前處理組件Cm 計算複數個特徵量。
例如，計算部302於自後台伺服器20接收到計算之要求之情形時，計算所有n種特徵量。即，計算部302利用前處理組件Cm 循環地計算可計算之特徵量。另一方面，計算部302於自即時伺服器40接收到計算之要求之情形時，計算k種特徵量，不計算除此以外之特徵量。因應計算哪一特徵量顯示於計算設定資料D，故計算部302參照計算設定資料D特定應計算之特徵量，並計算該特定之特徵量。
[3-4.於即時伺服器中實現之功能] 如圖3所示，於即時伺服器40，實現資料記憶部400及推定部401。
[資料記憶部] 資料記憶部400主要實現記憶部42。資料記憶部400記憶實操用之學習模型M2。因記憶於資料記憶部400之實操用之學習模型M2與記憶於資料記憶部200之實操用之學習模型M2同樣，故省略說明。若藉由應用部203應用新的實操用之學習模型M2，則替換記憶於資料記憶部400之實操用之學習模型M2。
[推定部] 推定部401主要實現控制部41。本實施形態之學習模型係用於檢測網站上之不正當之模型，推定部401於使用者對網站進行存取之情形時，基於學習完畢之學習模型、與藉由設定部203進行之設定，推定該使用者之不正當。例如，服務提供伺服器50產生對網站進行存取之使用者之行動資料，並發送至即時伺服器40。推定部401對前處理伺服器30請求對網站進行存取之使用者之行動資料之特徵量之計算。推定部401將自前處理伺服器30接收之k種特徵量輸入至實操用之學習模型M2。實操用之學習模型M2基於所輸入之特徵量，將使用者分類為不正當使用者或正常使用者之任一者。推定部401取得自實操用之學習模型M2輸出之分類結果，推定使用者之不正當。
[4.於本實施形態中執行之處理] 其次，對學習模型應用系統S中執行之處理進行說明。於本實施形態，對選擇特徵量並應用實操用之學習模型M2之後台處理、與檢測對網站進行存取之使用者之不正當之即時處理進行說明。
[4-1.後台處理] 圖8係顯示後台處理之一例之流程圖。圖8所示之後台處理藉由控制部21、31分別根據記憶於記憶部22、32之程式進行動作而執行。下述說明之處理係藉由圖3所示之功能區塊執行之處理之一例。另，執行後台處理可於任意時序，可於特定之時日到來之情形時執行，亦可於當前之實操用之學習模型M2之精度降低之情形時執行。
如圖8所示，首先，後台伺服器20自資料庫伺服器10取得儲存於行動資料庫DB之行動資料(S100)。於S100中，後台伺服器20對資料庫伺服器10發送行動資料之取得要求。資料庫伺服器10若接收取得要求，則於行動資料庫DB中取得最近之特定期間之行動資料，並對後台伺服器20發送。
後台伺服器20基於步驟S100中取得之行動資料，對前處理伺服器30發送特徵量之計算請求(S101)。S101之計算請求藉由發送特定形式之資料進行即可，例如設為包含有S100中取得之行動資料者。
前處理伺服器30若自後台伺服器20接收計算請求，則對所有前處理組件Cm 輸入計算請求所包含之複數個行動資料之各者(S102)。於S102中，因前處理伺服器30對所有前處理組件Cm 直接輸入行動資料，故將彼此相同形式之行動資料輸入至所有前處理組件Cm 。
前處理伺服器30基於定義於計算設定資料D之計算方法、與自前處理組件Cm 輸出之值，計算n種所有特徵量(S103)。於S103中，前處理伺服器30對每個特徵量，將自前處理組件Cm 輸出之值代入特定之計算式，藉此計算特徵量之值。另，於前處理組件Cm 計算特徵量本身之情形時，前處理伺服器30不進行計算式之代入，而直接取得自前處理組件Cm 輸出之值作為特徵量。
前處理伺服器30對後台伺服器20發送S103中計算之n種特徵量(S104)。
後台伺服器20若接收n種特徵量，則製作評估用之教師資料，並追加至評估用之教師資料組DS1(S105)。於S105中，後台伺服器20製作輸入自前處理伺服器30接收之n種特徵量，輸出行動資料之不正當旗標之教師資料。
後台伺服器20針對S100中取得之所有行動資料，判定是否取得n種特徵量(S106)。於判定存在尚未取得特徵量之行動資料之情形時(S106；否(N))，返回S101之處理，計算下一行動資料之特徵量。
另一方面，於判定已取得所有行動資料之特徵量之情形時(S106；是(Y))，後台伺服器20基於評估用之教師資料組DS1，使評估用之學習模型M1學習(S107)。於S107中，後台伺服器20基於周知之學習演算法，以可獲得評估用之教師資料組DS1顯示之輸入與輸出之關係之方式，調整評估用之學習模型M1之參數。
後台伺服器20基於評估用之學習模型M1之各特徵量之影響，自n種特徵量中選擇k種特徵量(S108)。於S108中，後台伺服器20取得n種特徵量之各者之影響度，並以影響度由高至低之順序選擇k種特徵量。
後台伺服器20基於S108中選擇之k種特徵量，製作實操用之教師資料(S109)。於S109中，後台伺服器20對每個評估用之教師資料，製作輸入該教師資料之n種特徵量中之k種特徵量，輸出該教師資料之不正當旗標之教師資料。
後台伺服器20基於實操用之教師資料組DS2，使實操用之學習模型M2學習(S110)。於S110中，後台伺服器20基於周知之學習演算法，以可獲得實操用之教師資料組DS2顯示之輸入與輸出之關係之方式，調整實操用之學習模型M2之參數。
後台伺服器20對即時伺服器40應用實操用之學習模型M2(S111)。於S111中，後台伺服器20對即時伺服器40發送實操用之學習模型M2。即時伺服器40若接收實操用之學習模型M2，則將至此使用之實操用之學習模型M2替換為新接收之實操用之學習模型M2。
後台伺服器20對前處理伺服器30進行關於k種特徵量之計算之設定(S112)，本處理結束。於S112中，後台伺服器20對前處理伺服器30發送包含識別k種特徵量之各者之資訊之設定指示。前處理伺服器30若接收設定指示，則更新計算設定資料D之選擇旗標之值。藉此，於自即時伺服器40接收到計算要求時，計算k種特徵量。
[4-2.即時處理] 圖9係顯示即時處理之一例之流程圖。圖9所示之即時處理藉由控制部31、41、51、61分別根據記憶於記憶部32、42、52、62之程式進行動作而執行。下述說明之處理係藉由圖3所示之功能區塊執行之處理之一例。
如圖9所示，首先，使用者終端60對服務提供伺服器50提供之網站進行存取(S200)。於S200中，若使用者操作操作部64輸入網站之URL，或指定包含URL之鏈路，則使用者終端60對網站進行存取。另，使用者對服務提供伺服器50登入完畢，服務提供伺服器50可特定哪一使用者進行存取。
之後，於服務提供伺服器50與使用者終端60之間，執行服務之提供處理(S201)。於S201中，根據使用者之操作，經由網站對使用者提供新聞或動畫等。於使用者進行有償服務之購入操作之情形時，基於預先登錄於服務提供伺服器50之信用卡等結算資訊，執行結算處理。服務提供伺服器50若自使用者終端60接收使用者之操作內容等，則作為使用者之行動記錄。
服務提供伺服器50基於S201之處理結果，產生對網站進行存取之使用者之行動資料，並對即時伺服器40發送行動資料之解析要求(S202)。
即時伺服器40若接收解析要求，則對前處理伺服器30發送特徵量之計算請求(S203)。S203之計算請求藉由發送特定形式之資料進行即可，例如設為包含有自服務提供伺服器50接收之行動資料者。
前處理伺服器30若自即時伺服器40接收計算請求，則基於計算設定資料D，對用於計算k種特徵量之特定之前處理組件Cm 輸入計算請求所包含之行動資料(S204)。於S204中，因前處理伺服器30對用於計算k種特徵量之前處理組件Cm 直接輸入行動資料，故將彼此相同形式之行動資料輸入至前處理組件Cm 。
前處理伺服器30基於定義於計算設定資料D之計算方法、與自前處理組件Cm 輸出之值，計算k種特徵量(S205)。於S205中，前處理伺服器30對每個特徵量，將自前處理組件Cm 輸出之值代入特定之計算式，藉此計算特徵量之值。另，於前處理組件Cm 計算特徵量本身之情形時，前處理伺服器30不進行計算式之代入，而直接取得自前處理組件Cm 輸出之值作為特徵量。
前處理伺服器30對即時伺服器40發送S205中計算之k種特徵量(S206)。
後台伺服器20若接收計算請求之行動資料之k種特徵量，則輸入至當前之實操用之學習模型M2，並取得來自學習模型之輸出(S207)。於S207中，後台伺服器20將k種特徵量作為k維之向量輸入至實操用之學習模型M2。實操用之學習模型M2基於所輸入之k維之向量，輸出顯示不正當使用者或正常使用者之任一者之值。
控制部41基於來自實操用之學習模型M2之輸出，執行特定之處理(S208)，本處理結束。於S208中，控制部41於來自實操用之學習模型M2之輸出顯示不正當使用者之情形時，對管理者通知其主旨，或對使用者謀求追加認證。另一方面，於來自實操用之學習模型M2之輸出顯示正常使用者之情形時，不特別進行服務之限制等。
根據本實施形態之學習模型應用系統S，基於學習模型之各特徵量之影響，選擇至少1個特徵量並應用實操用之學習模型M2，進行關於輸入至實操用之學習模型M2之特徵量之計算之設定，藉此可迅速應用實操用之學習模型M2。例如，可節省使資料科學家進行特徵量之分析或設定作業之工夫，並可迅速應對有惡意之第三者之行動之變化等。又，於自學習之對象排除學習模型之影響相對較小之特徵量之情形時，可集中學習學習模型之影響相對較大之特徵量。其結果，可提高學習模型之精度。再者，因學習模型之影響相對較小之特徵量未輸入至實操用之學習模型M2，故可自計算對象排除。其結果，無需計算不需要之特徵量，可減輕前處理伺服器30之處理負荷。又，藉由集中輸入至學習模型之特徵量之數量，亦可使學習模型之處理速度高速化。
又，學習模型應用系統S可藉由以由輸入至學習完畢之學習模型之特徵量之計算使用之方式，設定複數個前處理組件Cm 中所選擇之特徵量之計算所使用之前處理組件Cm ，而準確地進行用於計算需要之特徵量之設定。又，針對不需要之前處理組件Cm ，以不執行處理之方式進行設定，藉此可防止執行不需要之處理，可減輕前處理伺服器30之處理負荷。
又，學習模型應用系統S藉由對各前處理組件Cm 輸入彼此相同形式之資料，而可使特徵量之計算高速化。例如，若對每個前處理組件Cm ，所輸入之資料之形式不同，則需執行加工資料之處理，但學習模型應用系統S無需執行此種處理，故可使特徵量之計算高速化。
又，學習模型應用系統S藉由執行特徵量之選擇、學習模型之應用、及特徵量計算之設定之各者作為後台處理，可不對即時處理帶來障礙地執行該等處理。其結果，例如無需停止由即時處理執行之不正當檢測地製作匹配最新傾向之學習模型，可提高即時處理之精度(不正當檢測之精度)。
又，學習模型應用系統S藉由對網站之管理者，通知關於所選擇之特徵量之資訊，而可促進管理者之對策。例如，於有惡意之第三者之行動變化，且學習模型之影響較大之特徵量變化之情形時，可採取藉由將其變化傳遞至管理者，而使網站之內容變更，或使服務提供伺服器50執行之程式之設計變更等對策。
[5.變化例] 另，本發明並非限定於以上說明之實施形態者。於不脫離本發明之主旨之範圍內可適當變更。
圖10係變化例之功能方塊圖。如圖10所示，於之後說明之變化例，除實施形態所說明之功能以外，亦實現取得部205、特定部206、判定部207、及追加部303。
(1)例如，於有惡意之第三者之行動變化之情形時，有時利用現有之特徵量無法實現精度較高之不正當檢測。於該情形時，需計算利用現有之前處理組件Cm 無法計算之新的特徵量，並應對有惡意之第三者之行動之變化。因此，亦可將用於計算新的特徵量之新的前處理組件追加至前處理伺服器30。
變化例(1)之前處理伺服器30包含追加部303。追加部303主要實現控制部31。追加部303追加用於計算新的特徵量之新的前處理組件。
新的特徵量係利用現有之前處理組件Cm 無法計算之特徵量。換言之，新的特徵量係不包含於n種特徵量之特徵量。新的前處理組件係藉由負責學習模型應用系統S之不正當檢測之負責者製作，並執行與現有之前處理組件Cm 不同之處理之組件。新的前處理組件可計算新的特徵量本身，亦可執行為了計算新的特徵量所需之合計處理等。
例如，追加部303於資料記憶部300記錄新的前處理組件。又例如，追加部303對計算設定資料進行用於計算新的特徵量之設定。追加部303將新的特徵量之計算方法儲存於計算設定資料。新的前處理組件及新的特徵量之計算方法自不正當檢測之負責者之終端等上傳即可。另，因未將新的特徵量輸入至應用中之實操用之學習模型M2，故選擇旗標斷開。
若追加部303之設定完成，則可利用新的前處理組件計算新的特徵量。計算部302基於新的前處理組件，計算新的特徵量。特徵量之計算本身係如實施形態所說明般。計算部302於後台處理中，計算新的特徵量。計算部302計算之新的特徵量可為1種，亦可為複數種。若將新的特徵量設為p種(p：自然數)，則於後台處理計算n+p種特徵量。
設定部203於藉由選擇部201選擇新的特徵量之情形時，以由輸入至實操用之學習模型M2之特徵量之計算使用之方式，設定新的前處理組件。設定部203之處理本身係如實施形態所說明般，例如設定部203於藉由選擇部201選擇新的特徵量之情形時，接通計算設定資料D之選擇旗標，藉此進行設定即可。
根據變化例(1)，於選擇新的特徵量之情形時，可藉由以由輸入至學習完畢之學習模型之特徵量之計算使用之方式設定新的前處理組件，而提高學習模型之精度。例如，即使有惡意之第三者之行動變化，而難以利用現有之特徵量進行不正當檢測，若追加前處理組件進行新的特徵量之計算設定，則亦因於後台處理中判定影響之大小並選擇，故可容易製作應對行動之變化之學習模型。
(2)又例如，因於即時處理，謀求迅速之處理，故若於特徵量之計算耗費時間，則有時對即時處理帶來障礙。因此，亦可不僅考慮學習模型之特徵量之影響，亦考慮為了計算特徵量所需之計算時間，而選擇特徵量。例如，於存在多個影響為相同程度之特徵量之情形時，亦可優先選擇計算時間較短之特徵量。
變化例(2)之後台伺服器20包含取得部205。取得部205主要實現控制部21。取得部205取得各特徵量之計算時間。特徵量之計算時間係開始特徵量之計算至結束之時間。例如，取得部205使前處理伺服器30計測各特徵量之計算時間，並自前處理伺服器30取得計測結果。
前處理伺服器30藉由利用即時時脈等執行計時處理，而計測各特徵量之計算時間。例如，前處理伺服器30於對前處理組件Cm 輸入行動資料之情形時開始計時。前處理伺服器30對每個特徵量，計測開始計時至特徵量之計算完成之時間，並對後台伺服器20發送各特徵量之計算時間。
若藉由取得部205取得各特徵量之計算時間，則選擇部201基於學習模型之各特徵量之影響、與各特徵量之計算時間，選擇複數個特徵量中之至少1者。例如，選擇部201計算綜合性評估學習模型之影響與計算時間之得分，基於各特徵量之得分，選擇k種特徵量。基於特定之計算式計算得分即可。影響越大計算時間越短則得分越高。
例如，選擇部201以得分由高至低之順序選擇k種特徵量。又例如，選擇部201亦可選擇所有得分為閾值以上之特徵量。於該情形時，得分為閾值以上之特徵量之數量成為k之數值。又例如，選擇部201亦可選擇得分為上階特定百分比之特徵量。於該情形時，得分為上階特定百分比之特徵量之數量成為k之數值。另，選擇部201之特徵量之選擇方法不限定於上述之例。例如，選擇部201於學習模型之影響度為閾值以上之特徵量存在一定數量之情形時，亦可以計算時間由短至長之順序取得特定個數之特徵量。
根據變化例(2)，基於學習模型之各特徵量之影響、與各特徵量之計算時間，選擇複數個特徵量中之至少1者，藉此可使即時處理高速化。又，亦可減輕即時處理之前處理伺服器30之處理負荷。
(3)又例如，若複數個特徵量之各者之內容相互關聯，則有時即使無某一者亦不對學習模型之輸出結果造成影響。例如，於存在「距平均存取場所之距離是否未達1 km」之特徵量、與「距平均存取場所之距離是否未達5 km」之特徵量之情形時，該等特徵量之內容相互關聯。即使乍看之下該等2個特徵量之影響彷若較大，實際上針對相互關聯之特徵量僅選擇任一者亦足夠。因此，於變化例(3)，針對相互關聯之特徵量僅選擇其一部分。
變化例(3)之後台伺服器20包含特定部206。特定部206主要實現控制部21。特定部206自複數個特徵量中特定相互關聯之特徵量之組合。相互關聯之特徵量係特徵量顯示之內容相似。利用相同之前處理組件Cm 計算之特徵量亦稱為相互關聯之特徵量。例如，特定部206不僅取得每個特徵量之影響度，亦取得每個任意特徵量之組合之影響度，而判定於影響度相對較高之組合中是否存在相互關聯之特徵量。例如，特定部206將影響度相對較高之組合中之任意之特徵量作為缺損值處理並計算輸出之影響，且將影響較小之特徵量彼此特定為相互關聯之特徵量之組合。
選擇部201於存在相互關聯之特徵量之組合之情形時，選擇該組合中之一部分。若存在q種(q：2以上之自然數)相互關聯之特徵量，則選擇部201自該等q種特徵量中選擇未達q之個數之特徵量即可。例如，選擇部201自q種特徵量中，選擇影響度相對較高之特徵量。又例如，選擇部201亦可自q種特徵量中隨機選擇特徵量。
根據變化例(3)，於自複數個特徵量中，特定相互關聯之特徵量之組合，且存在相互關聯之特徵量之組合之情形時，選擇該組合中之一部分，藉此可減少計算之特徵量，亦可減輕前處理伺服器30之處理負荷。
(4)又例如，若特徵量之計算時間過長，則有時對即時處理帶來障礙。另一方面，若重視即時處理之處理速度，則有時不正當檢測之精度降低。為了評估不正當檢測之精度與處理速度之間之折衷，亦可將計算時間較長之特徵量作為缺損值進行處理，並評估學習模型之影響。
例如，於即時處理中，於處理某1個前處理組件Cm 需要時間之情形時，亦可逾時以不進行不正當檢測本身，但針對需要時間之前處理組件Cm 中斷處理作為缺損值有時於不正當檢測之運用上較佳。因此，於本變化例，評估將成為對象之特徵量作為缺損值處理之情形之精度降低。即，於僅將成為對象之特徵量視為缺損值進行不正當檢測之情形時，評估為何種程度之精度降低。
變化例(4)之後台伺服器20包含取得部205與判定部207。關於取得部205，如變化例(2)所說明般。判定部207主要實現控制部21。判定部207判定各特徵量之計算時間是否為特定時間以上。特定時間可為可能成為閾值之任意時間，例如可為0.5秒～數秒左右，亦可允許10秒～30秒左右。特定時間之數值設為預先記錄於資料記憶部200者。
選擇部201於存在計算時間為特定時間以上之特徵量之情形時，將該特徵量作為缺損值處理，並評估學習模型之影響。例如，選擇部201視為無計算時間為特定時間以上之特徵量者，並評估學習模型之精度。選擇部201比較有該特徵量之情形之精度與無之情形之精度，若精度之差未達閾值，則不選擇該特徵量。另一方面，若精度之差為閾值以上，則選擇部201選擇該特徵量。
例如，於獲得關於相對於TP(True Positive：真陽性)、TN(True Negative：真陰性)、FP(False Positive：假陽性)、及FN(False Negative：假陰性)之精度轉換之資訊的情形時，選擇部201亦可算出正規之學習模型之每1件之預測精度、與成為缺損之學習模型之每1件之預測精度，以實際之處理速度之驗證中之逾時之比例，算出輸入成為對象之特徵量之情形之預測精度。
又例如，於可獲得相對於預測精度之誤差之精度降低之資訊之情形時，選擇部201亦可於以一定間隔(例如，標準偏差之常數倍等)將成為對象之特徵量之值作為缺損分配參數之情形時，驗證對預測對象有何種程度之影響度，並算出缺損之情形時最大或平均產生何種程度之誤差，且以實際之處理速度之驗證中之逾時之比例，算出輸入成為對象之特徵量之情形之預測精度。
另，於上述之例中，亦考慮複數個特徵量相互依存。因此，亦可藉由Grid Serch(網格搜索)等對複數個特徵量之組合分配參數。例如，於Grid Serch之對象包含缺損值，藉此正確地評估因缺損帶來之精度降低。關於該點，因學習製程所需之時間組合性增大，故藉由後台伺服器20之資源或計算時間等適當確定即可。
根據變化例(4)，於存在計算時間為特定時間以上之特徵量之情形時，將該特徵量作為缺損值處理，並評估學習模型之影響，藉此可正當地評估如對即時處理帶來障礙之計算時間較長之特徵量。
(5)又例如，亦可組合上述變化例。
又例如，輸入至前處理組件Cm 之資料之形式亦可相互不同。又例如，亦可不特別準備前處理組件Cm ，而對每個特徵量，準備計算該特徵量之程式或計算式。又例如，於實施形態，雖已對檢測對網站進行存取之使用者之不正當之情形進行說明，但學習模型應用系統S可應用於應用新製作之學習模型之情形，亦可應用於其他場景。例如，於檢測使用者之不正當之場景以外之場景亦可應用學習模型應用系統S，且亦可應用於使用自然語言處理、機械翻譯、文章轉換、或聊天機器人等之學習模型之情形。
又例如，於檢測出使用者於網際網路上購入商品之情形之不正當行為之場景亦可應用學習模型應用系統S。於該情形時，服務提供伺服器50對使用者提供線上購物中心之網站。使用者進行利用登錄，將卡號等結算資訊預先登錄於服務提供伺服器50。作為結算資訊，亦可包含購入商品之店舖之店舖ID、店舖名、商品之商品ID、商品名、數量、結算金額、及卡號等資訊。例如，若使用者購入商品，則服務提供伺服器50產生包含使用者之結算資訊等之行動資料。學習模型應用系統S基於包含使用者之結算資訊等之行動資料，計算n種特徵量，並選擇學習模型之影響較大之k種特徵量。學習模型應用系統S使學習模型學習所選擇之k種特徵量並應用即可。
又例如，雖已說明進行關於行動資料之分類之情形，但亦可進行關於使用者之行動以外之資料之分類。例如，亦可於分類拍攝於圖像資料之被攝體之場景使用學習模型應用系統S。又例如，亦可於基於氣象資料顯示之溫度或濕度等分類氣候之場景使用學習模型應用系統S。又例如，亦可於製作文章資料之要點之畫面使用學習模型應用系統S。此外，於進行關於任意內容之資料之分類之場景可應用學習模型應用系統S。
又例如，學習模型應用系統S所包含之電腦不限定於圖1之例。於學習模型應用系統S包含至少1台電腦即可，例如亦可以相同之電腦實現後台處理與即時處理。同樣地，計算特徵量之電腦、與製作學習模型之電腦亦可相同。又例如，由圖3及圖10說明之功能由任意之電腦實現即可，且可由1台電腦實現各功能，亦可由任意數量之電腦分擔各功能。又例如，由實施形態及變化例說明之資料亦可藉由學習模型應用系統S外之電腦記憶。
10:資料庫伺服器 11:控制部 12:記憶部 13:通信部 20:後台伺服器 21:控制部 22:記憶部 23:通信部 30:前處理伺服器 31:控制部 32:記憶部 33:通信部 40:即時伺服器 41:控制部 42:記憶部 43:通信部 50:服務提供伺服器 51:控制部 52:記憶部 53:通信部 60:使用者終端 61:控制部 62:記憶部 63:通信部 64:操作部 65:顯示部 100:資料記憶部 200:資料記憶部 201:選擇部 202:應用部 203:設定部 204:通知部 205:取得部 206:特定部 207:判定部 300:資料記憶部 301:輸入部 302:計算部 303:追加部 400:資料記憶部 401:推定部 c1 :前處理組件 c2 :前處理組件 c3 :前處理組件 c4 :前處理組件 c5 :前處理組件 Cm :前處理組件 D:計算設定資料 DB:行動資料庫 DS1:評估用之教師資料組 DS2:實操用之教師資料組 M1:評估用之學習模型 M2:實操用之學習模型 N:網路 S:學習模型應用系統 S1~S7:步驟 S100~S112:步驟 S200~S208:步驟
圖1係顯示學習模型應用系統之整體構成之圖。 圖2係顯示學習模型應用系統之概要之圖。 圖3係顯示由學習模型應用系統實現之功能之一例之功能方塊圖。 圖4係顯示行動資料庫之資料儲存例之圖。 圖5係顯示評估用之教師資料組之資料儲存例之圖。 圖6係顯示實操用之教師資料組之資料儲存例之圖。 圖7係顯示計算設定資料之資料儲存例之圖。 圖8係顯示後台處理之一例之流程圖。 圖9係顯示即時處理之一例之流程圖。 圖10係變化例之功能方塊圖。
10:資料庫伺服器
20:後台伺服器
30:前處理伺服器
40:即時伺服器
100:資料記憶部
200:資料記憶部
201:選擇部
202:應用部
203:設定部
204:通知部
300:資料記憶部
301:輸入部
302:計算部
400:資料記憶部
401:推定部
Cm:前處理組件
D:計算設定資料
DB:行動資料庫
DS1:評估用之教師資料組
DS2:實操用之教師資料組
M1:評估用之學習模型
M2:實操用之學習模型

Claims (11)

  1. 一種學習模型應用系統，其特徵在於包含： 計算機構，其基於學習模型之學習所使用之學習用資料，計算複數個特徵量； 選擇機構，其基於上述學習模型之各特徵量之影響，選擇上述複數個特徵量中之至少1者； 應用機構，其應用基於藉由上述選擇機構選擇之特徵量學習之學習完畢之學習模型；及 設定機構，其基於藉由上述選擇機構選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。
  2. 如請求項1之學習模型應用系統，其中 上述計算機構基於複數個前處理組件，計算上述複數個特徵量，且 上述設定機構以由輸入至上述學習完畢之學習模型之特徵量之計算使用之方式，設定上述複數個前處理組件中藉由上述選擇機構選擇之特徵量之計算所使用之前處理組件。
  3. 如請求項2之學習模型應用系統，其中 上述學習模型應用系統進而包含對各前處理組件輸入彼此相同形式之資料之輸入機構，且 各前處理組件基於與輸入至其他前處理組件之資料相同形式之資料，執行計算處理。
  4. 如請求項2或3之學習模型應用系統，其中 上述學習模型應用系統進而包含追加用於計算新的特徵量之新的前處理組件之追加機構，且 上述計算機構基於上述新的前處理組件，計算上述新的特徵量， 上述設定機構於藉由上述選擇機構選擇上述新的特徵量之情形時，以由輸入至上述學習完畢之學習模型之特徵量之計算使用之方式，設定上述新的前處理組件。
  5. 如請求項1至3中任一項之學習模型應用系統，其中 上述學習模型應用系統進而包含取得各特徵量之計算時間之取得機構，且 上述選擇機構基於上述學習模型之各特徵量之影響、與各特徵量之計算時間，選擇上述複數個特徵量中之至少1者。
  6. 如請求項1至3中任一項之學習模型應用系統，其中 上述學習模型應用系統進而包含自上述複數個特徵量中特定相互關聯之特徵量之組合之特定機構，且 上述選擇機構於存在上述相互關聯之特徵量之組合之情形時，選擇該組合中之一部分。
  7. 如請求項1至3中任一項之學習模型應用系統，其中 上述學習模型應用系統進而包含： 取得機構，其取得各特徵量之計算時間；及 判定機構，其判定各特徵量之計算時間是否為特定時間以上；且 上述選擇機構於存在計算時間為特定時間以上之特徵量之情形時，將該特徵量作為缺損值處理，並評估上述學習模型之影響。
  8. 如請求項1至3中任一項之學習模型應用系統，其中 上述學習模型係用於檢測網站上之不正當之模型，且 上述學習模型應用系統進而包含：推定機構，其於使用者對上述網站進行存取之情形時，基於上述學習完畢之學習模型、與藉由上述設定機構進行之設定，推定該使用者之不正當； 上述選擇機構、上述應用機構、及上述設定機構之各者之處理作為與上述推定機構之處理不同之後台處理執行。
  9. 如請求項1至3中任一項之學習模型應用系統，其中 上述學習模型係用於檢測網站上之不正當之模型，且 上述學習模型應用系統進而包含：通知機構，其對上述網站之管理者，通知關於藉由上述選擇機構選擇之特徵量之資訊。
  10. 一種學習模型應用方法，其特徵在於包含： 計算步驟，其基於學習模型之學習所使用之學習用資料，計算複數個特徵量； 選擇步驟，其基於上述學習模型之各特徵量之影響，選擇上述複數個特徵量中之至少1者； 應用步驟，其應用基於藉由上述選擇步驟選擇之特徵量學習之學習完畢之學習模型；及 設定步驟，其基於藉由上述選擇步驟選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。
  11. 一種程式產品，其用於使電腦作為以下機構發揮功能： 計算機構，其基於學習模型之學習所使用之學習用資料，計算複數個特徵量； 選擇機構，其基於上述學習模型之各特徵量之影響，選擇上述複數個特徵量中之至少1者； 應用機構，其應用基於藉由上述選擇機構選擇之特徵量學習之學習完畢之學習模型；及 設定機構，其基於藉由上述選擇機構選擇之特徵量，進行關於輸入至上述學習完畢之學習模型之特徵量之計算之設定。
TW109130412A 2019-09-09 2020-09-04 學習模型應用系統、學習模型應用方法及程式產品 TWI778411B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2019/035376 2019-09-09
PCT/JP2019/035376 WO2021048902A1 (ja) 2019-09-09 2019-09-09 学習モデル適用システム、学習モデル適用方法、及びプログラム

Publications (2)

Publication Number Publication Date
TW202111592A true TW202111592A (zh) 2021-03-16
TWI778411B TWI778411B (zh) 2022-09-21

Family

ID=74866230

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109130412A TWI778411B (zh) 2019-09-09 2020-09-04 學習模型應用系統、學習模型應用方法及程式產品

Country Status (5)

Country Link
US (1) US20220083910A1 (zh)
EP (1) EP3882825A4 (zh)
JP (1) JP7015927B2 (zh)
TW (1) TWI778411B (zh)
WO (1) WO2021048902A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11588830B1 (en) * 2020-06-30 2023-02-21 Sequoia Benefits and Insurance Services, LLC Using machine learning to detect malicious upload activity
JP7273942B1 (ja) 2021-12-28 2023-05-15 尚承科技股▲フン▼有限公司 ネットワーク行為特徴を学習するネットワーク機器、処理システムおよび方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041317A (ja) * 2013-08-23 2015-03-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 電子機器の操作についてのユーザの習熟度を推定するためのモデルを構築する方法、当該ユーザの習熟度を推定する方法、及び、当該ユーザの習熟度に応じたユーザ支援をする方法、並びに、それらのコンピュータ及びコンピュータ・プログラム
US20150213376A1 (en) * 2014-01-30 2015-07-30 Shine Security Ltd. Methods and systems for generating classifiers for software applications
US10366346B2 (en) * 2014-05-23 2019-07-30 DataRobot, Inc. Systems and techniques for determining the predictive value of a feature
JP6680714B2 (ja) * 2017-03-30 2020-04-15 ファナック株式会社 ワイヤ放電加工機の制御装置及び機械学習装置
JP6969177B2 (ja) * 2017-06-28 2021-11-24 富士通株式会社 特定行動検知プログラム、特定行動検知方法及び特定行動検知システム
JP2019036865A (ja) * 2017-08-17 2019-03-07 沖電気工業株式会社 通信解析装置、通信解析プログラム、及び通信解析方法
US20200272849A1 (en) 2017-09-05 2020-08-27 Rakuten, Inc. Estimating system, estimating method and program
JP6835703B2 (ja) * 2017-12-01 2021-02-24 日本電信電話株式会社 サイバー攻撃検知システム、特徴量選定システム、サイバー攻撃検知方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2021048902A1 (ja) 2021-09-27
EP3882825A1 (en) 2021-09-22
US20220083910A1 (en) 2022-03-17
WO2021048902A1 (ja) 2021-03-18
EP3882825A4 (en) 2022-01-05
JP7015927B2 (ja) 2022-02-03
TWI778411B (zh) 2022-09-21

Similar Documents

Publication Publication Date Title
CN110399925B (zh) 账号的风险识别方法、装置及存储介质
US11659050B2 (en) Discovering signature of electronic social networks
US9721253B2 (en) Gating decision system and methods for determining whether to allow material implications to result from online activities
JP6501855B1 (ja) 抽出装置、抽出方法、抽出プログラム及びモデル
CN110442712B (zh) 风险的确定方法、装置、服务器和文本审理系统
US20160132904A1 (en) Influence score of a brand
JP2018526710A (ja) 情報推薦方法および情報推薦装置
WO2019084922A1 (zh) 信息处理方法和系统、服务器、终端、计算机存储介质
CN108416616A (zh) 投诉举报类别的排序方法和装置
CN108491714A (zh) 验证码的人机识别方法
WO2019061664A1 (zh) 电子装置、基于用户上网数据的产品推荐方法及存储介质
CN109064217B (zh) 基于用户等级的核身策略确定方法、装置及电子设备
CN111522724B (zh) 异常账号的确定方法、装置、服务器及存储介质
WO2019153589A1 (zh) 消息数据处理方法、装置、计算机设备和存储介质
TW202111592A (zh) 學習模型應用系統、學習模型應用方法及程式產品
CN111324370A (zh) 用于对待上线小程序进行风险处理的方法及装置
CN112819611A (zh) 欺诈识别方法、装置、电子设备和计算机可读存储介质
Shi et al. Selection bias mitigation in recommender system using uninteresting items based on temporal visibility
US20230118341A1 (en) Inline validation of machine learning models
CN114357292A (zh) 模型训练方法、设备和存储介质
JP6706397B1 (ja) 学習システム、学習方法、及びプログラム
CN112581250B (zh) 模型生成方法、装置、计算机设备和存储介质
CN111309706A (zh) 模型训练方法、装置、可读存储介质及电子设备
CN114329187B (zh) 内容对象的推荐方法、装置、电子设备以及可读介质
US20220247780A1 (en) Information processing apparatus, information processing method, and computer readable medium

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent