TW201730766A - 異常訪問檢測方法及設備 - Google Patents

異常訪問檢測方法及設備 Download PDF

Info

Publication number
TW201730766A
TW201730766A TW106101584A TW106101584A TW201730766A TW 201730766 A TW201730766 A TW 201730766A TW 106101584 A TW106101584 A TW 106101584A TW 106101584 A TW106101584 A TW 106101584A TW 201730766 A TW201730766 A TW 201730766A
Authority
TW
Taiwan
Prior art keywords
access request
abnormal
sample
sample access
detection parameter
Prior art date
Application number
TW106101584A
Other languages
English (en)
Inventor
zi-hao Fu
Kai Zhang
Ning Cai
Xu Yang
Wei Chu
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201730766A publication Critical patent/TW201730766A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明揭示了一種異常訪問檢測方法，透過基於各個樣本訪問請求對應的時序資料特徵的提取，獲取對應的標籤的取值，然後根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生檢測參數，故在獲取待檢測的訪問請求的屬性資料之後，根據屬性資料以及檢測參數而產生與訪問請求對應的異常機率，在判斷異常機率是否大於預設的異常閾值之後，即可基於二者的大小而確認訪問請求是否為異常訪問請求。從而能夠在大量的訪問請求中準確地針對異常訪問請求進行識別處理，確保了網路的穩定性與安全性。

Description

異常訪問檢測方法及設備
本發明係有關互聯網技術領域，特別有關一種異常訪問檢測方法。本發明同時還有關一種異常訪問檢測設備。
資料挖掘是從大規模的資料集中提取潛在的、隱含的、有價值的知識、模式或規則的過程。從大規模的資料集中挖掘的模式一般可以分為五類：關聯規則、分類和預測、聚類、演變分析以及異常點檢測等。異常點資料的挖掘包括異常點資料檢測和異常點資料分析兩個部分。異常點資料是與資料的一般行為或模型不一致的資料，它們是資料集中與眾不同的資料，這些資料並非隨機偏差，而是產生於完全不同的機制。異常點資料挖掘有著廣泛的應用，如欺詐檢測，用異常點檢測來探測不尋常的信用卡使用或者電信服務；預測市場動向；在市場分析中分析客戶的流失等異常行為；或者在醫療分析中發現對多種治療方式的不尋常的反應等等；透過對這些資料進行研究，發現不正常的行為和模式，實現異常資料挖掘功能。
如圖1所示，為現有的異常點監測技術手段解決服務 回應問題的示意圖，異常點監測技術手段目前有著廣泛的應用。在該問題中，多個用戶會向伺服器提交相應的服務申請，在這些申請中，有的申請是正常申請，有的申請是異常申請。如果伺服器接受了異常申請，那麼將會嚴重影響伺服器操作，也會對其他正常的申請造成一定的影響。
為了解決上述技術問題，現有技術中使系統根據用戶的請求以及用戶的資訊記錄而決定是否回應用戶請求。在判定過程中，會引入一些機器學習的演算法進行學習，現在常用的方法包括根據用戶屬性構造馬氏距離挖掘處於離群點的用戶、以及根據用戶提交請求的頻率來進行異常點判別等方法，具體判別過程如下：
(1)在根據馬氏距離來進行異常點判別的過程中，首先計算用戶屬性間的協方差矩陣，其定義如下：Σ=E{(X-E[X])(X-E[X]) T }
隨後根據該協方差矩陣來計算馬氏距離，其定義如下：M a =(X-μ) T Σ -1(X-μ)
最後根據該距離的大小來進行判別，一些距離過大的點將被判定為離群點。
(2)在根據用戶提交請求的頻率來進行異常點判別的方法中，用戶單位時間提交請求的次數超過一定閾值之後，將會直接被判定為異常點。
因此，如何利用已有的訪問資料和用戶資訊，更加準確地鑒別出異常請求，並採取相應措施，切實關係到服務 資源分配的穩定性和經濟性，是服務回應策略中的一個非常重要的問題。
然而，發明人在實現本發明的過程中發現，現有帶時序資料的異常點檢測演算法或者只利用了訪問用戶本身的特徵資料，進行聚類，只能反映訪問用戶屬性上的特徵；或者只利用了訪問的時序資料，手動設定閾值來發現一些異常點(亦即，確認目前的訪問為異常)。這兩種方式都沒有充分發揮資料的價值，得出的結果往往並不十分的準確以及有效。
本發明提供了一種異常方法檢測方法，用以提高針對異常訪問的檢測效率以及準確性。該方法包括以下步驟：獲取待檢測的訪問請求的屬性資料；根據所述屬性資料以及檢測參數而產生與所述訪問請求對應的異常機率，所述檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生；判斷所述異常機率是否大於預設的異常閾值；若是，確認所述訪問請求為異常訪問請求；若否，確認所述訪問請求為正常訪問請求。
較佳地，在獲取待檢測的訪問請求的屬性資料之前，還包括：根據各所述樣本訪問請求的訪問頻次資訊而確定各所述樣本訪問請求是否異常； 分別為正常樣本訪問請求以及異常樣本訪問請求賦予不同取值的標籤；根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生原始檢測參數；根據所述原始檢測參數而產生所述檢測參數。
較佳地，所述訪問頻次資訊包括所述樣本訪問請求對應的用戶標識以及訪問時間，根據各所述樣本訪問請求的訪問頻次資訊而確定各所述樣本訪問請求是否異常，具體為：根據所述用戶標識而獲取在所述訪問時間之前的時間視窗內由相同用戶提交的樣本訪問請求的第一數量，以及獲取在所述訪問時間之後的所述時間視窗內由相同用戶提交的樣本訪問請求的第二數量；判斷所述第一數量與所述第二數量之和是否大於預設的次數閾值；若是，確認所述樣本訪問請求為異常樣本訪問請求；若否，確認所述樣本訪問請求為正常樣本訪問請求。
較佳地，具體根據以下公式而產生原始檢測參數：
其中，為所述原始檢測參數的取值函數，w為所述原始檢測參數，且w為求和項對應的最小值，N為所述樣本訪問請求的個數，為各所述樣本訪問請求的標籤的取值。
較佳地，所述異常閾值具體透過以下方式而產生：獲取異常樣本訪問請求占所有樣本訪問請求的百分 比；根據所述檢測參數而獲取與各所述樣本訪問請求對應的異常機率；將各所述樣本訪問請求對應的異常機率從小至大進行排序處理；根據所述排序結果而確定與所述百分比對應的異常機率，並將所述異常機率作為所述異常閾值。
相應地，本發明還提出了一種異常訪問檢測設備，其特徵在於，包括：獲取模組，獲取待檢測的訪問請求的屬性資料；第一產生模組，根據所述屬性資料以及檢測參數而產生與所述訪問請求對應的異常機率，所述檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生；判斷模組，判斷所述異常機率是否大於預設的異常閾值；若是，所述判斷模組確認所述訪問請求為異常訪問請求；若否，所述判斷模組確認所述訪問請求為正常訪問請求。
較佳地，還包括：確定模組，根據各所述樣本訪問請求的訪問頻次資訊而確定各所述樣本訪問請求是否異常；分配模組，分別為正常樣本訪問請求以及異常樣本訪問請求賦予不同取值的標籤； 第二產生模組，根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生原始檢測參數；第三產生模組，根據所述原始檢測參數而產生所述檢測參數。
較佳地，所述訪問頻次資訊包括所述樣本訪問請求對應的用戶標識ID以及訪問時間，所述確定模組具體用以：根據所述用戶ID而獲取在所述訪問時間之前的時間視窗內由相同用戶提交的樣本訪問請求的第一數量，以及獲取在所述訪問時間之後的所述時間視窗內由相同用戶提交的樣本訪問請求的第二數量；判斷所述第一數量與所述第二數量之和是否大於預設的次數閾值；若是，確認所述樣本訪問請求為異常樣本訪問請求；若否，確認所述樣本訪問請求為正常樣本訪問請求。
較佳地，具體根據以下公式而產生原始檢測參數：
其中，argmin w 為所述原始檢測參數的取值函數，w為所述原始檢測參數，且w為求和項對應的最小值，N為所述樣本訪問請求的個數，V i 為各所述樣本訪問請求的標籤的取值。
較佳地，所述異常閾值具體透過以下方式而產生：獲取異常樣本訪問請求占所有樣本訪問請求的百分比； 根據所述檢測參數而獲取與各所述樣本訪問請求對應的異常機率；將各所述樣本訪問請求對應的異常機率從小至大進行排序處理；根據所述排序結果而確定與所述百分比對應的異常機率，並將所述異常機率作為所述異常閾值。
由此可見，透過應用本發明的技術方案，在獲取待檢測的訪問請求的屬性資料之後，根據屬性資料以及檢測參數而產生與訪問請求對應的異常機率，由於檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生，因此在判斷異常機率是否大於預設的異常閾值之後，即可基於二者的大小來確認訪問請求是否為異常訪問請求。從而能夠在大量的訪問請求中準確地針對異常訪問請求進行識別處理，保證了網路的穩定性與安全性。
610‧‧‧獲取模組
620‧‧‧第一產生模組
630‧‧‧判斷模組
圖1為現有技術中異常檢測在服務回應上的應用示意圖；圖2為本發明提出的一種異常訪問檢測方法的流程示意圖；圖3為本發明具體實施例中基於時序特徵提取的異常點檢測流程圖；圖4為本發明具體實施例中時序資料的特徵提取示意圖； 圖5為本發明具體實施例中閾值計算流程示意圖；圖6為本發明提出的一種異常訪問檢測設備的結構示意圖。
如先前技術中所述，針對含時序申請資料的特點，進一步提高異常點檢測的準確性以及有效性，是關係到系統準確有效運行的一個關鍵問題，也是本發明所要解決的技術問題。
為了解決上述技術問題，本發明提出了一種異常點檢測方法，將用戶統計資料和時序訪問資料結合起來，透過時序資料按規則給出一個初步的標籤並採用邏輯回歸的方法對初步標籤和用戶屬性進行訓練而得出最終結果，從而使異常點判定的結果得以進一步提高。
如圖2所示，為本發明提出的一種異常點檢測方法的流程示意圖，包括以下步驟：
S201獲取待檢測的訪問請求的屬性資料。
在本發明的實施例中，在模型以及檢測參數產生之後，對於每一次新訪問請求預測的過程中，亦即在判斷訪問請求是否異常的過程中，僅由該次訪問請求的屬性決定，異常檢測問題轉化成為分類問題，對於該分類問題，僅需獲取待檢測的訪問請求的屬性資料得到全部屬性向量即可，也就是說，在此步驟中不需要再獲取新訪問請求的時序資料。
因此，本發明的實施例在進行新訪問請求異常預測之前，還需要透過對各所述樣本訪問請求對應的初步標籤和用戶屬性進行邏輯回歸訓練，以獲得分類模型並得到檢測參數，進而可以實現將用戶資料和時序訪問資料結合起來的目的。本發明邏輯回歸訓練以及檢測參數獲取的方式具體如下：a)根據各所述樣本訪問請求的訪問頻次資訊而確定各所述樣本訪問請求是否異常；b)分別為正常樣本訪問請求以及異常樣本訪問請求賦予不同取值的標籤；c)根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生原始檢測參數；d)根據所述原始檢測參數而產生所述檢測參數。
另外，透過上述步驟可以看出，如何準確判斷樣本訪問請求是否異常是決定分類模型以及檢測參數精度的重要參數，故本發明的具體實施例提出了確定各所述樣本訪問請求是否異常的具體步驟：a)根據所述用戶標識而獲取在所述訪問時間之前的時間視窗內由相同用戶提交的樣本訪問請求的第一數量，以及獲取在所述訪問時間之後的所述時間視窗內由相同用戶提交的樣本訪問請求的第二數量；b)判斷所述第一數量與所述第二數量之和是否大於預設的次數閾值；c)若是，確認所述樣本訪問請求為異常樣本訪問請 求；d)若否，確認所述樣本訪問請求為正常樣本訪問請求。
在本發明的實施例中，所述訪問頻次資訊包括所述樣本訪問請求對應的用戶標識以及訪問時間。其中，用戶標識是作為區分不同用戶的憑證，只要確保不同用戶對應有不同的用戶標識即可，故可能會出現多種形式和內容。舉例來說，用戶標識可以為用戶對應終端的MAC位址，也可以為用戶在服務終端的註冊ID。訪問時間為由伺服器記錄的該訪問請求的訪問時間點。
需要說明的是，以上用戶標識的具體實例僅為本發明之較佳實施例所提出的示例，在此基礎上還可以選擇其他類型的用戶標識，以使本發明適用於更多的應用領域，這些改進都屬於本發明的保護範圍。
需要說明的是，以上確定樣本訪問請求是否異常的方法僅為本發明之具體實施例所提出的一種較佳方案，在保證具有一定確定精度的前提下，本領域技術人員也可以採用其他方式來進行確定，這些都屬於本發明的保護範圍。
S202根據所述屬性資料以及檢測參數而產生與所述訪問請求對應的異常機率，所述檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生。
在本發明的實施例中，異常閾值應該根據長期的經驗來進行調整，以達到一個合適的數值範圍。如果異常閾值的取值較大，則會將部分異常點其判斷為正常訪問，故可 能會漏掉很多異常點；相反的，如果異常閾值的取值過小，則會將部分正常點判斷為異常點，影響正常用戶的使用。因此，如何通調整獲得合適的異常閾值對以提高異常點檢測的精度是至關重要的，故本發明透過以下方式來產生異常閾值：a)獲取異常樣本訪問請求占所有樣本訪問請求的百分比；b)根據所述檢測參數而獲取與各所述樣本訪問請求對應的異常機率；c)將各所述樣本訪問請求對應的異常機率從小至大進行排序處理；d)根據所述排序結果而確定與所述百分比對應的異常機率，並將所述異常機率作為所述異常閾值。
在本發明的具體實施例中，產生原始檢測參數一個參考公式如下：
其中，argmin w 為所述原始檢測參數的取值函數，w為所述原始檢測參數，且w為求和項對應的最小值，N為所述樣本訪問請求的個數，V i 為各所述樣本訪問請求的標籤的取值。
透過上述產生原始檢測參數的參考公式，計算結果是參數w就是所述原始檢測參數。在後續過程中即可利用原始檢測參數w對所有新訪問請求進行計算，透過對計算結果與異常閾值進行判斷，進而實現對新訪問請求是否異常 進行預測。
需要說明的是，以上公式僅為本發明具體實施例提出的一種較佳方案，然而，在確保計算結果能夠作為原始檢測參數的前提下，本領域技術人員也可以對該公式進行修改或者變形，這些都屬於本發明的保護範圍。
S203判斷所述異常機率是否大於預設的異常閾值。
在本發明的實施例中，在新訪問請求到達時，透過分類模型來預測新訪問請求是否為異常訪問請求。具體上，首先透過將新訪問請求的屬性資料代入分類模型，可以得到該次訪問為異常訪問請求的機率，即異常機率，透過將該常訪問請求的異常機率與預設的異常閾值進行比較，判斷所述異常機率是否大於預設的異常閾值。若該新訪問請求的異常機率大於異常閾值時，則判定為異常訪問請求，即執行S204；若該新訪問請求的異常機率小於異常閾值時，則判定為正常訪問請求，即執行S205。
S204若是，確認所述訪問請求為異常訪問請求。
S205若否，確認所述訪問請求為正常訪問請求。
由此可見，透過應用以上技術方案，在獲取待檢測的訪問請求的屬性資料之後，根據屬性資料以及檢測參數產生與訪問請求對應的異常機率，由於檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生，因此在判斷異常機率是否大於預設的異常閾值之後，即可基於二者的大小確認訪問請求是否為異常訪問請求。從而能夠在大量的訪問請求中準確地針對異常訪問請求進行識別處 理，確保了網路的穩定性與安全性。
為了進一步闡述本發明的技術思想，現結合如圖2所示的具體的應用場合，對本發明的技術方案進行說明。該基於時序特徵所提取的異常點檢測流程透過時序序列分析、線性分類器訓練和預測三個步驟而實現了異常點的檢測，這三個不同步驟的具體介紹如下：
(1)透過時序序列產生標籤
根據時序序列的特點，在訓練集中，首先將所有用戶訪問資料按照時間順序來進行排序，排序完成之後，我們對比每次一訪問的用戶ID，設定一個滑動視窗向後移動，按序遍歷每一次訪問。對於每一次訪問，如果在它的前半個視窗和後半個視窗中由相同用戶提交的訪問次數大於一定閾值，則標記為異常點。那麼異常點的標籤的集合可記作：
其中，Vi表示第i個訪問的標籤，，w 為窗口大小參數，，t h 是閾值參數，其示意圖如圖3所示。
(2)線性分類器訓練
在所有訪問標籤產生完畢之後，對於每一次訪問，我 們認為該次訪問是否是異常的，完全由該次訪問的屬性所決定，問題轉變為一個分類問題，對於該分類問題來講，不需要在使用時序的資料。根據每次訪問的其他屬性特徵和標籤，進行邏輯回歸訓練，得到一個分類模型。該模型的結果是參數w，滿足：
其中，argmin w 是一個參數w的取值函數，w的值使得右邊求和項取最小值。N代表總的學習樣本個數，V i 表示上一步的異常點標籤。w T 表示w的轉置。在實際進行邏輯回歸訓練的時候，採用L-BFGS演算法而對其進行加速。
(3)新訪問預測
當有新的訪問到達時，能透過分類模型來預測新的訪問是否是異常點。將新的訪問資料代入分類模型後，能得到該次訪問是異常點的機率，設定一個閾值，當該訪問為異常的機率大於該閾值時，則判定為異常點，所有異常新訪問的集合係表示為：{V i |w T x i >p t }
其中，V i 表示第i次訪問，x i 表示該次訪問的所有屬性向量，p t 為判斷異常點的閾值。在這裏，閾值應該根據長期的經驗來進行調整，直到一個合適的數字為止。如果該閾值取值太大，則會漏掉很多異常點，將其判為正常訪問；如果該閾值取值太小，則會將很多正常點判定為異常點，影響正常用戶使用。因此調整一個合適的閾值是非常 必要的，在這裏可以根據百分比的方式來予以設定，首先找到異常點占總體訓練資料的百分比，然後將訓練資料帶入模型按模型而計算出機率，接著對該機率進行排序，找到在異常點占總體百分比位置的機率，將其設為閾值。具體示意圖如圖5所示。
上述應用場合的技術方案，透過樣本資料的時序特徵而分類模型提供訓練標籤，再根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生檢測參數；在獲取待檢測的訪問請求的屬性資料之後，根據屬性資料以及檢測參數而產生與訪問請求對應的異常機率，因此在判斷異常機率是否大於預設的異常閾值之後，即可基於二者的大小確認訪問請求是否為異常訪問請求。從而能夠在大量的訪問請求中準確地針對異常訪問請求進行識別處理，確保了網路的穩定性與安全性。
為了達到以上技術目的，本發明還提出了一種異常訪問檢測設備，如圖6所示，包括以下模組：獲取模組610，獲取待檢測的訪問請求的屬性資料；第一產生模組620，根據所述屬性資料以及檢測參數而產生與所述訪問請求對應的異常機率，所述檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生；判斷模組630，判斷所述異常機率是否大於預設的異常閾值；若是，所述判斷模組630確認所述訪問請求為異常訪 問請求；若否，所述判斷模組630確認所述訪問請求為正常訪問請求。
在具體的應用場合中，還包括：確定模組，根據各所述樣本訪問請求的訪問頻次資訊而確定各所述樣本訪問請求是否異常；分配模組，分別為正常樣本訪問請求以及異常樣本訪問請求賦予不同取值的標籤；第二產生模組，根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生原始檢測參數；第三產生模組，根據所述原始檢測參數而產生所述檢測參數。
在具體的應用場合中，所述訪問頻次資訊包括所述樣本訪問請求對應的用戶標識ID以及訪問時間，所述確定模組具體用以：根據所述用戶ID而獲取在所述訪問時間之前的時間視窗內由相同用戶提交的樣本訪問請求的第一數量，以及獲取在所述訪問時間之後的所述時間視窗內由相同用戶提交的樣本訪問請求的第二數量；判斷所述第一數量與所述第二數量之和是否大於預設的次數閾值；若是，確認所述樣本訪問請求為異常樣本訪問請求；若否，確認所述樣本訪問請求為正常樣本訪問請求。
在具體的應用場合中，具體根據以下公式而產生原始 檢測參數：
其中，argmin w 為所述原始檢測參數的取值函數，w為所述原始檢測參數，且w為求和項對應的最小值，N為所述樣本訪問請求的個數，V i 為各所述樣本訪問請求的標籤的取值。
在具體的應用場合中，所述異常閾值具體透過以下方式而產生：獲取異常樣本訪問請求占所有樣本訪問請求的百分比；根據所述檢測參數而獲取與各所述樣本訪問請求對應的異常機率；將各所述樣本訪問請求對應的異常機率從小至大進行排序處理；根據所述排序結果而確定與所述百分比對應的異常機率，並將所述異常機率作為所述異常閾值。
透過應用本發明的技術方案，在獲取待檢測的訪問請求的屬性資料之後，根據屬性資料以及檢測參數而產生與訪問請求對應的異常機率，由於檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生，因此在判斷異常機率是否大於預設的異常閾值之後，即可基於二者的大小確認確認訪問請求是否為異常訪問請求。從而能夠在大量的訪問請求中準確地針對異常訪問請求進行識別處理，確保了網路的穩定性與安全性。
透過以上的實施例的描述，本領域的技術人員可以清楚地瞭解到本發明可以透過硬體來實現，也可以借助軟體加必要的通用硬體平臺的方式來實現。基於這樣的理解，本發明的技術方案可以以軟體產品的形式而體現出來，該軟體產品可以儲存在一個非易失性儲存媒體(可以是CD-ROM，U碟，移動硬碟等)中，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本發明之各個實施例所述的方法。
本領域技術人員可以理解附圖只是一個較佳實施例的示意圖，附圖中的模組或流程並不一定是實施本發明所必須的。
本領域技術人員可以理解實施例中的裝置中的模組可以按照實施例描述進行分佈於實施例的裝置中，也可以進行相應變化位於不同於本實施例的一個或多個裝置中。上述實施例的模組可以合併為一個模組，也可以進一步拆分成多個子模組。
上述本發明序號僅僅為了描述，不代表實施例的優劣。
以上揭示的僅為本發明的幾個具體實施例，但是，本發明並非局限於此，任何本領域的技術人員能思之的變化都應落入本發明的保護範圍。

Claims (10)

  1. 一種異常訪問檢測方法，其特徵在於，包括：獲取待檢測的訪問請求的屬性資料；根據該屬性資料以及檢測參數而產生與該訪問請求對應的異常機率，該檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生；以及判斷該異常機率是否大於預設的異常閾值；若是，確認該訪問請求為異常訪問請求；若否，確認該訪問請求為正常訪問請求。
  2. 如申請專利範圍第1項所述的方法，其中，在獲取待檢測的訪問請求的屬性資料之前，還包括：根據各該樣本訪問請求的訪問頻次資訊而確定各該樣本訪問請求是否異常；分別為正常樣本訪問請求以及異常樣本訪問請求賦予不同取值的標籤；根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生原始檢測參數；以及根據該原始檢測參數而產生該檢測參數。
  3. 如申請專利範圍第2項所述的方法，其中，該訪問頻次資訊包括該樣本訪問請求對應的用戶標識以及訪問時間，根據各該樣本訪問請求的訪問頻次資訊而確定各該樣本訪問請求是否異常，具體為：根據該用戶標識而獲取在該訪問時間之前的時間視窗內由相同用戶提交的樣本訪問請求的第一數量，以及獲取 在該訪問時間之後的該時間視窗內由相同用戶提交的樣本訪問請求的第二數量；以及判斷該第一數量與該第二數量之和是否大於預設的次數閾值；若是，確認該樣本訪問請求為異常樣本訪問請求；若否，確認該樣本訪問請求為正常樣本訪問請求。
  4. 如申請專利範圍第2項所述的方法，其中，具體根據以下公式而產生原始檢測參數： 其中，argmin w 為該原始檢測參數的取值函數，w為該原始檢測參數，且w為求和項對應的最小值，N為該樣本訪問請求的個數，V i 為各該樣本訪問請求的標籤的取值。
  5. 如申請專利範圍第1至4項中任一項所述的方法，其中，該異常閾值具體透過以下方式而產生：獲取異常樣本訪問請求占所有樣本訪問請求的百分比；根據該檢測參數而獲取與各該樣本訪問請求對應的異常機率；將各該樣本訪問請求對應的異常機率從小至大進行排序處理；以及根據該排序結果而確定與該百分比對應的異常機率，並將該異常機率作為該異常閾值。
  6. 一種異常訪問檢測設備，其特徵在於，包括：獲取模組，獲取待檢測的訪問請求的屬性資料； 第一產生模組，根據該屬性資料以及檢測參數而產生與該訪問請求對應的異常機率，該檢測參數根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生；以及判斷模組，判斷該異常機率是否大於預設的異常閾值；若是，該判斷模組確認該訪問請求為異常訪問請求；若否，該判斷模組確認該訪問請求為正常訪問請求。
  7. 如申請專利範圍第6項所述的設備，其中，還包括：確定模組，根據各該樣本訪問請求的訪問頻次資訊而確定各該樣本訪問請求是否異常；分配模組，分別為正常樣本訪問請求以及異常樣本訪問請求賦予不同取值的標籤；第二產生模組，根據各個樣本訪問請求對應的標籤的取值以及屬性資料而產生原始檢測參數；以及第三產生模組，根據該原始檢測參數而產生該檢測參數。
  8. 如申請專利範圍第7項所述的設備，其中，該訪問頻次資訊包括該樣本訪問請求對應的用戶標識ID以及訪問時間，該確定模組具體用以：根據該用戶ID而獲取在該訪問時間之前的時間視窗內由相同用戶提交的樣本訪問請求的第一數量，以及獲取在該訪問時間之後的該時間視窗內由相同用戶提交的樣本訪問請求的第二數量； 判斷該第一數量與該第二數量之和是否大於預設的次數閾值；若是，確認該樣本訪問請求為異常樣本訪問請求；若否，確認該樣本訪問請求為正常樣本訪問請求。
  9. 如申請專利範圍第7項所述的設備，其中，具體根據以下公式而產生原始檢測參數： 其中，argmin w 為該原始檢測參數的取值函數，w為該原始檢測參數，且w為求和項對應的最小值，N為該樣本訪問請求的個數，V i 為各該樣本訪問請求的標籤的取值。
  10. 如申請專利範圍第6至10項中任一項所述的設備，其中，該異常閾值具體透過以下方式而產生：獲取異常樣本訪問請求占所有樣本訪問請求的百分比；根據該檢測參數而獲取與各該樣本訪問請求對應的異常機率；將各該樣本訪問請求對應的異常機率從小至大進行排序處理；根據該排序結果而確定與該百分比對應的異常機率，並將該異常機率作為該異常閾值。
TW106101584A 2016-01-19 2017-01-17 異常訪問檢測方法及設備 TW201730766A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610035487.6A CN106982196B (zh) 2016-01-19 2016-01-19 一种异常访问检测方法及设备

Publications (1)

Publication Number Publication Date
TW201730766A true TW201730766A (zh) 2017-09-01

Family

ID=59341062

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106101584A TW201730766A (zh) 2016-01-19 2017-01-17 異常訪問檢測方法及設備

Country Status (3)

Country Link
CN (1) CN106982196B (zh)
TW (1) TW201730766A (zh)
WO (1) WO2017124942A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700578B (zh) * 2018-02-12 2020-08-01 香港商阿里巴巴集團服務有限公司 異常檢測的方法及裝置
TWI789075B (zh) * 2021-10-26 2023-01-01 中華電信股份有限公司 偵測應用程式的異常執行的電子裝置及方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659566B (zh) * 2017-09-20 2021-01-19 深圳市创梦天地科技股份有限公司 对服务器异常访问的识别频率确定方法、装置及服务器
US11797668B2 (en) * 2017-10-11 2023-10-24 Mitsubishi Electric Corporation Sample data generation apparatus, sample data generation method, and computer readable medium
CN107678928B (zh) * 2017-10-31 2021-06-01 聚好看科技股份有限公司 应用程序的处理方法及服务器
CN107819631B (zh) * 2017-11-23 2021-03-02 东软集团股份有限公司 一种设备异常检测方法、装置及设备
CN108200008A (zh) * 2017-12-05 2018-06-22 阿里巴巴集团控股有限公司 异常数据访问的识别方法和装置
CN108268632A (zh) * 2018-01-16 2018-07-10 中国人民解放军海军航空大学 异常情报数据识别机器学习方法
CN108449342B (zh) * 2018-03-20 2020-11-27 北京云站科技有限公司 恶意请求检测方法及装置
CN109145030B (zh) * 2018-06-26 2022-07-22 创新先进技术有限公司 一种异常数据访问的检测方法和装置
CN110516170B (zh) * 2018-07-06 2020-04-28 北京白山耘科技有限公司 一种检查异常web访问的方法及装置
CN108667855B (zh) * 2018-07-19 2021-12-03 百度在线网络技术（北京）有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN109194539B (zh) * 2018-08-13 2022-01-28 中国平安人寿保险股份有限公司 数据管控方法、装置、计算机设备及存储介质
CN109543404B (zh) * 2018-12-03 2019-10-25 北京芯盾时代科技有限公司 一种访问行为的风险评估方法和装置
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式系统cpu异常检测方法、装置和存储介质
CN109873812B (zh) * 2019-01-28 2020-06-23 腾讯科技（深圳）有限公司 异常检测方法、装置及计算机设备
CN111835696B (zh) * 2019-04-23 2023-05-09 阿里巴巴集团控股有限公司 一种检测异常请求个体的方法及装置
CN110417744B (zh) * 2019-06-28 2021-12-24 平安科技（深圳）有限公司 网络访问的安全判定方法和装置
CN112148763A (zh) * 2019-06-28 2020-12-29 京东数字科技控股有限公司 无监督数据异常检测方法、装置及存储介质
CN110351299B (zh) * 2019-07-25 2022-04-22 新华三信息安全技术有限公司 一种网络连接检测方法和装置
CN110515796B (zh) * 2019-07-30 2022-07-01 平安科技（深圳）有限公司 一种基于皮质学习的异常检测方法、装置及终端设备
CN110675228B (zh) * 2019-09-27 2021-05-28 支付宝(杭州)信息技术有限公司 用户购票行为检测方法以及装置
CN111177513B (zh) * 2019-12-31 2023-10-31 北京百度网讯科技有限公司 异常访问地址的确定方法、装置、电子设备及存储介质
CN113076349B (zh) * 2020-01-06 2024-06-11 阿里巴巴集团控股有限公司 数据异常检测方法、装置、系统及电子设备
CN111476610B (zh) * 2020-04-16 2023-06-09 腾讯科技（深圳）有限公司 一种信息检测方法、装置及计算机可读存储介质
CN112001596B (zh) * 2020-07-27 2023-10-31 北京科技大学 一种时间序列数据异常点检测方法及系统
CN112511538B (zh) * 2020-11-30 2022-10-18 杭州安恒信息技术股份有限公司 一种基于时间序列的网络安全检测方法及相关组件
CN115277439B (zh) * 2021-04-30 2023-09-19 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN113282433B (zh) * 2021-06-10 2023-04-28 天翼云科技有限公司 集群异常检测方法、装置和相关设备
CN113360348B (zh) * 2021-06-30 2022-09-09 北京字节跳动网络技术有限公司 异常请求处理方法、装置、电子设备和存储介质
CN114500004A (zh) * 2022-01-05 2022-05-13 北京理工大学 一种基于条件扩散概率生成模型的异常检测方法
CN116016274B (zh) * 2022-12-29 2023-11-24 天航长鹰(江苏)科技有限公司 一种异常通讯检测方法和系统
CN117424764B (zh) * 2023-12-19 2024-02-23 中关村科学城城市大脑股份有限公司 系统资源访问请求信息处理方法、装置、电子设备和介质
CN117579400B (zh) * 2024-01-17 2024-03-29 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4852124B2 (ja) * 2009-06-18 2012-01-11 株式会社東芝 異常データ検出装置、異常データ検出方法及び異常データ検出プログラム
US8683591B2 (en) * 2010-11-18 2014-03-25 Nant Holdings Ip, Llc Vector-based anomaly detection
CN103198711B (zh) * 2013-03-21 2014-12-17 东南大学 一种降低不同严重程度交通事故概率的车辆调控方法
CN105187242B (zh) * 2015-08-20 2018-11-27 中国人民解放军国防科学技术大学 一种基于变长序列模式挖掘的用户异常行为检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700578B (zh) * 2018-02-12 2020-08-01 香港商阿里巴巴集團服務有限公司 異常檢測的方法及裝置
TWI789075B (zh) * 2021-10-26 2023-01-01 中華電信股份有限公司 偵測應用程式的異常執行的電子裝置及方法

Also Published As

Publication number Publication date
WO2017124942A1 (zh) 2017-07-27
CN106982196B (zh) 2020-07-31
CN106982196A (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
TW201730766A (zh) 異常訪問檢測方法及設備
US10686829B2 (en) Identifying changes in use of user credentials
Lorenz et al. Machine learning methods to detect money laundering in the bitcoin blockchain in the presence of label scarcity
CN113574838B (zh) 通过客户端指纹过滤互联网流量的系统和方法
CN109670049B (zh) 图谱路径查询方法、装置、计算机设备和存储介质
US11516240B2 (en) Detection of anomalies associated with fraudulent access to a service platform
CN105590055B (zh) 用于在网络交互系统中识别用户可信行为的方法及装置
US10140576B2 (en) Computer-implemented system and method for detecting anomalies using sample-based rule identification
US20170063893A1 (en) Learning detector of malicious network traffic from weak labels
US11741132B2 (en) Cluster-based scheduling of security operations
CN111177714A (zh) 异常行为检测方法、装置、计算机设备和存储介质
US12107883B2 (en) Multimodal modelling for systems using distance metric learning
CN110855648B (zh) 一种网络攻击的预警控制方法及装置
EP3660719A1 (en) Method for detecting intrusions in an audit log
CN112348321A (zh) 风险用户的识别方法、装置及电子设备
CN111145006A (zh) 基于用户画像的汽车金融反欺诈模型训练方法和装置
TWI778411B (zh) 學習模型應用系統、學習模型應用方法及程式產品
Jordaney et al. Misleading metrics: On evaluating machine learning for malware with confidence
WO2016188334A1 (zh) 一种用于处理应用访问数据的方法与设备
US20180181611A1 (en) Methods and apparatus for detecting anomalies in electronic data
Shukla et al. UInDeSI4. 0: An efficient Unsupervised Intrusion Detection System for network traffic flow in Industry 4.0 ecosystem
CN115952492A (zh) 一种电力工控系统入侵检测方法、装置及存储介质
US20210209067A1 (en) Network activity identification and characterization based on characteristic active directory (ad) event segments
CN114298563A (zh) 一种告警信息的分析方法、装置及计算机设备
CN114285596A (zh) 基于机器学习的变电站终端账号异常检测方法