TWI595375B - 使用適應性行爲輪廓之異常檢測技術 - Google Patents

Description

使用適應性行為輪廓之異常檢測技術 相關申請案之交互參照

本申請案主張2015年1月30日申請的美國申請案第62/110,031號之權益，且該美國申請案以引用方式併入本文。

本發明係有關於使用適應性行為輪廓之異常檢測技術。

快速檢測安全威脅對於組織預防其電腦系統、資料、網路及應用程式受到危害起著關鍵作用。組織，不論商業、教育或政府組織，及其他企業將其大部分資料以數位形式在電腦系統及資料庫中儲存並傳輸。很多此類資料是不希望公眾檢視的有價值的機密商業資訊或關於個別雇員或成員之私人資訊，並且此類資料之任何暴露或操縱可導致組織及個體遭受極大的財務或名譽損害。組織始終受到旨在偷竊、暴露或操縱此數位資料之威脅的挑戰。很多此等攻擊，如藉由新聞媒體報的攻擊，涉及詐欺、資料破壞、智慧財產盜竊或國家安全。可獲得民族國家或具有政治計劃之組織支持的一些攻擊者已經開始從事旨在獲得控 制或破壞關鍵基礎設施的更險惡的攻擊。

組織通常使用多層網路拓撲來將其IT基礎設施之各種部件與網際網路分離。工作站及伺服器總體上藉由網路代理伺服器保護以避免經由網際網路或其他外部網路之直接存取；網際網路訊務通常終止於「非軍事網路區域」(DMZ)；並且輸入訊務經由防火牆來過濾。外部攻擊者通常試圖滲透在組織之網路周界處建立的組織防禦，並且存在解決外部攻擊的許多安全解決方案。然而，一旦外部攻擊者破壞周界並進入內部網路，其通常藉由劫持現有使用者帳戶或建立新使用者來假裝內部使用者進行操作。內部攻擊者更隱匿並且更難以防範，因為其為組織之電腦網路系統之使用者。其具有合法的IT帳戶，並且其未經授權的或違法的活動可總體上屬於其責任範圍，但是超出所謂正常行為。攻擊可甚至涉及外部與內部攻擊者之間之關連。例如，檢測藉由內部客戶服務代表之違法活動諸如授與客戶不適當地較大退回款可能非常難以檢測。

大多數安全解決方案主要利用已知攻擊之特徵來識別並提防類似攻擊。為了定義任何新威脅之特徵，相關威脅向量之潛在分量必須詳細地加以研究並且此等威脅向量之特徵必須變得可為威脅檢測系統所利用。此等基於特徵之威脅檢測方法存在若干重大缺點。逐漸獲得新威脅之特徵需要對於受感染系統進行深入分析，其為耗費時間的及資源密集的，並且可太慢而不能解決快速演進之威脅。特徵不能使其本身針對威脅向量之變化來作出調適。 此外，基於特徵之方法對於利用先前未知漏洞之零時差攻擊而言是無效的，並且不可用於檢測來源於組織內之內部人員威脅。識別內部人員攻擊通常涉及構建內部人員之正常行為之各種輪廓、檢測此等輪廓之異常偏差，並且估計此等異常之威脅風險。然而，構建精確地表徵正常內部人員行為之輪廓是很難的並且不是一種準確的技術。舉例而言，許多輪廓使用可觀察量的統計方法來構建，該等可觀察量在其原本並非正常分佈時被不正確地認為是正常分佈的。使用此等輪廓來檢測行為異常可產生錯誤的結果並且導致許多假陽性警報，使安全分析師難以應付。在為了將假陽性減少到最低限度而使用較高檢測置信水準，從而漏掉實際威脅的風險與使用使安全分析師難以應付警報的過度地非約束性方法的風險之間進行平衡是一種很艱難的權衡過程。

存在對於在保護組織避免資料破壞及其他損失的過程中解決此等及其他異常檢測問題的系統及方法的需要。具體而言，存在對於主動、可靠的適應性防禦能力之需要，用以檢測組織之IT基礎設施內之異常活動以便在將假陽性警報減少到最低限度的同時識別威脅。本發明針對此等目標。

本發明提供一種系統及方法，其用於自動產生與企業之電腦網路(IT)基礎設施中之資源狀態及事件相關之可觀察量之適應性行為輪廓並且檢測表示偏離正常行為之 潛在惡意活動及威脅的異常。可對於每個行為指標，以及每個時間序列之量測結果來建立單獨輪廓，並且將其聚合以產生總體行為概況。自行為概況來判定異常概率並且將其用於評估可觀察量之資料值。偏離正常行為超過預定概率臨界值之離群資料值藉由風險分析來識別為可能的威脅，而正常行為範圍內之內群值用於更新行為概況。基於在預定時間週期內量測之可觀察量、使用利用對於任何類型資料分佈起作用之統計分析方法的演算法來建立行為指標之行為輪廓，並且隨著時間的推移使用資料老化來調適輪廓以更準確地表示當前行為。用於建立輪廓之演算法參數基於資料之類型，即，其元資料。

102‧‧‧狀態資料來源

104‧‧‧上下文資訊

106‧‧‧過程

108‧‧‧同儕群組分析

110‧‧‧身份聚合

112‧‧‧事件資料來源

114‧‧‧時間序列之可觀察量

120‧‧‧行為指標

122‧‧‧行為輪廓

124‧‧‧檢測異常

126‧‧‧風險評分過程

200‧‧‧實心平滑曲線

302~308‧‧‧曲線

402‧‧‧異常概率

404‧‧‧行為概況

502‧‧‧行為概況

504‧‧‧同儕群組概況

506‧‧‧特定客戶概況

圖1是給出根據本發明的用於建立行為輪廓並檢測異常之資料來源及過程之總體視圖的圖表；圖2是例示根據本發明的用於產生行為概況之過程的繪圖；圖3例示根據本發明的適應性概況老化過程之作用之實例；圖4例示重疊於圖2之行為概況繪圖上的根據本發明之異常概率特性的表示；並且圖5例示根據本發明的使用異常概率之異常檢測之實例。

本發明尤其良好適合於在企業之電腦網路基礎 設施中用於風險評估之適應性概況產生及異常檢測，並且在該環境中予以描述。然而，應瞭解此僅例示本發明之一個效用，並且本發明在其他情境中具有更大適用性及效用。

本發明提供機器學習系統及方法，其包含組織之電腦網路基礎設施之電腦及儲存在電腦可讀非暫時性媒體中之可執行指令，該等指令控制電腦基於時間序列之可觀察事件及/或網路資源狀態來產生行為輪廓及異常概率特性以評估活動來檢測異常。如更詳細地描述，可針對任何實體之活動之每個行為指標來建立行為概況，不論其為個人、電腦系統或應用程式。身份聚合監測與活動關聯之所有實體以捕獲實體活動，否則該等實體活動可由於多個實體識別符或別名而模糊或掩蔽。建立概況以包含根據行為所表示的時間序列來組織之過去行為之精簡循環表示。例如，簡單每日概況包含任何給定日之資料之統計描述，而平常日概況是七日輪廓之集合，其中每一個輪廓針對每一個平常日。統計描述取決於資料之分佈。它可為均勻的，如對於一系列資料，它可為具有單一峰之單峰的，或具有多個峰之多峰的。不論資料分佈多麼複雜，本發明能夠對於實際上無限數目之觀察結果來自動產生行為輪廓。適應性概況老化使得能夠為輪廓提供逐漸增加的即時更新以適應改變的行為模式。

圖1是例示藉由本發明進行的用於建立輪廓並評估事件以檢測異常的一些資料來源及操作之圖表。如所示，對於包括同儕群組分析108及身份聚合110之過程106而 言，組織的例如尤其包含目錄、HR系統、資產庫存及發現服務的狀態資料來源102可提供上下文資訊104。同樣地，組織的例如像電腦系統、企業應用程式、雲端應用程式、資料庫、中間軟體、網路服務及安全控制的事件資料來源112可為身份聚合過程110提供時間序列之可觀察量114。

同儕群組分析108識別物件(使用者或資源)的功能類似群組，該識別是基於其藉由庫存系統及預定義分組規則所提供的屬性來進行的。舉例而言，使用者可藉由其工作職稱、組織階層或位置，或指示工作職能之相似性之屬性的任何組合來分組。系統及裝置可藉由其進行之功能(例如，資料庫、應用程式或網路伺服器)、網路位置(例如，DMZ或其他網路段)或組織環境(例如，生產、測試、研發等)來分組。同儕群組可藉由基於授與之存取權利或實際記錄資源存取來觀察存取模式之相似性來進一步細化。需要精確地識別同儕群組以便在檢測存取或行為離群值的過程中確保較低的假陽性率。

以如下描述之方式自行為指標120(圖1)之量測結果來建立行為輪廓122(圖1)。行為指標包含在具體時間週期內與活動關聯之可觀察量之一系列獨立量測結果。舉例而言，對於客戶服務交易而言，可觀察量可為按照小時及工作日計算的交易計數，以及每個交易的數量。對於監測資料庫活動而言，可觀察量可為每小時同時發生的使用者之數目及由每個使用者對於具體使用情形所消耗的每日資料量。適當時間週期可基於許多不同因子中之任一者，如， 例如，觀察結果之量及預期波動性來選擇。反映真實模式之時間週期，如工作小時或工作日亦可為較佳的。為了避免概況偏差，較佳使用彼此獨立(不相關)，或至少不密切相關的行為指標。

根據本發明，在122處針對每個行為指標120來建立行為概況，不論其為個體、同儕群組、物件或資源，然後該概況用於產生供檢測異常124(圖1)的正規化異常概率，如所描述。然後，異常可經受風險評分過程126以判定其作為威脅之潛在風險。行為概況是根據其表示之具體時間週期來組織的過去行為之精簡循環表示。簡單每日概況包含任何給定日之資料之統計描述，而平常日概況是七日輪廓之集合，其中每一個輪廓針對每一個平常日。統計描述取決於資料之特定分佈。分佈可為均勻的，對應於一系列資料，它可為具有單一峰之單峰的，或具有多個峰之多峰的。如所描述，本發明之概況產生及異常檢測過程對於任何類型之資料分佈亦同樣起作用。

本發明使用演算法過程，其藉由將較大一組觀察結果，不論分佈為何，減小至較小一組統計參數來使行為概況之產生自動化，並且使用當前資料來連續地更新並調適概況以改良異常檢測。行為概況建立哪些項目被視為正常行為之基線，並且異常被偵測為該正常行為之偏離。根據較佳實施例，本發明使用高斯核密度估計來建立行為概況，但是亦可使用其他分析方法。圖2例示自實際可觀察量來建立行為概況之過程。

如圖2之繪圖所示，可觀察量之每日計數之實際量測結果在繪圖之橫坐標上在4、6、7、10、12及13之計數處藉由垂直線來展示，該等量測結果一起形成直方圖。每個垂直線之高度指示該計數在繪圖之縱坐標上出現之數目，並且圍繞每個垂直線集中之虛線曲線表示該計數之正常核分佈。實心平滑曲線200對應於總體行為概況。它對應於藉由將針對每一個量測結果之個別核加總所形成的核密度估計。可圍繞每個點(每日計數)，v使用實際量測觀察結果及高斯核密度函數，在滑動時窗τ=+4.5h內估計核密度： 其中h是控制引入多少模糊或雜訊的核帶寬。帶寬，h，可基於資料之類型，即，描述資料之類型特性的元資料來選擇。最小帶寬可基於資料之最大分解度來選擇，例如，事件計數包含離散數量並且具有1之增量。因此，對於計數類型資料，1應為最小帶寬。對於具有無界範圍之資料，諸如交易中之位元組之計數，帶寬較佳線性取決於保持常差範圍之計數值。例如，為了允許資料中之10%變化，帶寬應以0.1之值來遞增，即h=1+0.1v。對於具有有界範圍之資料，如事件頻率，帶寬應較佳為恆定的並且可藉由實際帶寬、使用例如中間絕對偏差(MAD)及Silverman定律來判定，但是較佳為至少10%變化。假設0.5之中列數頻率，最 小帶寬將為0.05： 其中N是資料點之數目並且MAD是中間絕對偏差。

本發明較佳使用適應性概況老化過程，其藉由使概況青睞於最近資料來調適該概況，其中在選定老化週期之後，較舊的觀察結果最終不再使用。此舉允許概況隨著時間的推移而變化以便保持變化行為的有效性。本發明之概況老化過程較佳藉由使用指數衰減因子以便在調適至新的行為的同時逐漸地遺忘舊的資料，從而調適概況。指數衰減因子可自以下形式之函數來判定：N(t)=N₀2^-t/h，其中h是原始行為之權重減小一半時的衰減之所需半衰期。較佳地，適應性概況老化過程在每個循環開始時進行，其中該過程將先前概況乘以衰減因子以在添加任何新觀察結果之前降低較舊資料之重要性。圖3例示半衰期為14天的概況老化之作用之實例。該圖展示四個曲線302、304、306及308，其表示由於適應性老化引起的在相應連續時間週期內的行為概況之連續變化。本發明之此適應性概況老化過程在計算上是高效的，因為其僅需要在連續數日內將每個概況乘以相同衰減因子。此外，老化過程具有過去觀察結果之較長記憶，從而有助於概況之穩定性。概況可最初在訓練階段期間自所有可用資料建立，然後定期地使用針對正規性來審核之新的觀察結果進行更新並調適，如所描述。

如上所述，異常可藉由判定其自相關正常行為輪廓之偏差來偵測。由於輪廓未正規化，不同行為指標之輪廓不能彼此直接比較，從而使表徵不同指標之偏差複雜化。因此，本發明引入檢測異常之新方法，其藉由定義並使用異常概率函數來正規化概況之偏差，該函數量測正常行為概況之偏差是異常的概率。根據本發明，異常概率函數P(v)可定義為行為概況之勞侖茲函數： 其中φ ^* (v)是行為概況，並且k是概率為0.5時的觀察結果之數目。異常概率函數具有0與1之間之值，其指示偏差是異常的概率。異常概率函數產生特徵概況，其為行為概況之大致上正規化逆元，如可以在圖4中看出。

圖4例示異常概率402，其藉由重疊於行為概況404上之異常概率函數及k=1之圖2之實際量測結果來判定。如所示，在右邊縱坐標刻度上指示之異常概率在0.0與1.0之間變化。異常概率函數使得即時資料能夠與當前異常概率比較以便檢測離群值，其偏離行為概況超過預定量，並且，因此，具有作為異常的相應地較高概率。此等離群值可表示惡意攻擊，並且對應活動可使用風險計算過程126(圖1)來進一步調查以判定其與實際威脅相關之可能性。另一方面，內群值是不顯著偏離正常概況之觀察結果之資料值。其具有小於預置臨界值，並且被視為正常變化而非威脅的異常概率。因此，此等內群值用於即時更新行 為概況。此舉使得概況能夠保持為當前的並且其精確度增加，從而提供及時的異常檢測。

個別行為指標之異常，P _I ，可定義為正常概況之偏差，並且是正規性之相反態(P _N =1-P _I )，其可量測為來自與藉由行為概況所描述人群相同之人群的新觀察結果之統計概率。因此，若觀察結果在統計判定誤差邊際內擬合概況，則P _N =1並且P _I =0。若觀察結果顯著偏離概況，則P _N 趨向0並且P _I 接近1。然後，個別異常可與對應同儕群組異常P _G 比較。若所觀察的行為對於同儕而言是正常的(P _G 較低)，並且實際異常可得到低估以減少假陽性： 並且實際異常可與資源概況比較。在此情況下，任何資源異常P _R’ 將為放大因子，即：

圖5例示在退回款交易的情況下使用異常概率之異常檢測之實例。在實例中，藉由個別客戶服務代表(CSR)授予之退回款量之行為概況502可與他的同儕群組概況504以及特定客戶概況506比較。雖然對於此個別CSR而言，$230可為不正常的退回款量(P _I =0.85)，但是對於他的同儕而言，其在可接受範圍內(P _G =0.03)，並且所得異常概率較 低(．0.03=0.026)。然而，授予此具體客戶之量是非常不正常的(P _R =1.0)。因此，此交易可以較高程度概率()標記為異常。

如自前述瞭解，根據本發明的使用適應性行為輪廓之異常檢測過程使得能夠即時進行自動異常檢測。它易於實施，在計算上是高效的並且容易適應不同用途。它具有對於在組織之電腦網路內的內部及外部活動以及個體、群組及資源之事件的廣泛適用性。此外，該過程可用於異常之精確以及大規模檢測，具有良好精確度，並且提供較低假陽性率。

雖然前述鑒於本發明之特定實施例，但是應認識到可產生此等實施例之變化而不脫離本發明之原則，其範圍藉由附加申請專利範圍來定義。

102‧‧‧狀態資料來源

104‧‧‧上下文資訊

106‧‧‧過程

108‧‧‧同儕群組分析

110‧‧‧身份聚合

112‧‧‧事件資料來源

114‧‧‧時間序列之可觀察量

120‧‧‧行為指標

122‧‧‧行為輪廓

124‧‧‧檢測異常

126‧‧‧風險評分過程

Claims (17)

1. 一種自動檢測一組織之一電腦網路中之異常活動的方法，其包含：在多個點處，在一預定時間週期內，量測對應於與一活動相關之行為指標的可觀察量的值；基於在該等點處之可觀察量之該等量測值來形成圍繞該等多個點之估計值之分佈；藉由使用一核密度估計過程將該等分佈與該等量測值組合，建立一系列點上的該等行為指標中之每一者之一行為概況，其中該使用該核密度估計過程來建立一行為概況包含基於所量測的資料之類型來選擇一核帶寬；基於該行為概況之一正規化逆元來形成一異常概率；藉由將該行為指標與該異常概率比較來判定偏離該行為指標之該行為概況超過一預定量的一行為指標是一異常的一概率；並且當該判定概率超過一預定臨界值時，則識別該活動是一異常。
2. 如請求項1之方法，其進一步包含將與該活動關聯的具有類似功能的實體聚合成群組，並且其中該量測包含量測與該等分組實體關聯的可觀察量。
3. 如請求項2之方法，其中該聚合包含將具有多個身份或 別名之實體識別為同一實體。
4. 如請求項1之方法，其中該形成估計值之分佈包含形成圍繞該等點之分佈值之核。
5. 如請求項1之方法，其中建立該行為概況包含將該等分佈加總，並且其中該核密度估計過程包含使用一高斯核密度函數來估計量測點之間之值以產生該行為概況。
6. 如請求項5之方法，其中該異常概率藉由該高斯核密度函數之一勞侖茲函數來建立。
7. 如請求項1之方法，其中選擇一核帶寬包含針對具有一無界範圍之資料來選擇隨著一量測點之該值而漸增地增加的一帶寬，並且針對具有一有界範圍之資料來選擇恆定的並且基於該實際資料分佈的一帶寬。
8. 如請求項1之方法，其進一步包含使用老化來定期地調適該行為概況以降低較舊資料的重要性，該老化包含在用當前資料更新該行為概況之前，藉由一預定衰減因子來減小一先前行為概況之值。
9. 如請求項8之方法，其進一步包含使用具有小於該預定臨界值之一概率的所量測的可觀察值來更新該行為概況，並且將具有大於該預定值之一概率的值表徵為用於威脅分析之離群值。
10. 一種體現可執行指令之非暫時性電腦可讀媒體，該等指令用於控制一電腦來進行一電腦網路中之異常活動之自動檢測，包含；在多個點處，在一預定時間週期內，量測對應於與 一活動相關之行為指標的可觀察量的值；基於在該等點處之可觀察量之該等量測值來形成圍繞該等多個點之估計值之分佈；藉由使用一核密度估計過程將該等分佈與該等量測值組合，建立一系列點上的該等行為指標中之每一者之一行為概況，其中該使用該核密度估計過程來建立一行為概況包含基於所量測的資料之類型來選擇一核帶寬；基於該行為概況之一正規化逆元來形成一異常概率；藉由將該行為指標與該異常概率比較來判定偏離該行為指標之該行為概況超過一預定量的一行為指標是一異常的一概率；並且當該判定概率超過一預定臨界值時，則識別該活動是一異常。
11. 如請求項10之非暫時性電腦可讀媒體，其進一步包含將與該活動關聯的具有類似功能的實體聚合成群組，並且其中該量測包含量測與該等分組實體關聯的可觀察量。
12. 如請求項10之暫時性電腦可讀媒體，其中該形成估計值之分佈包含形成圍繞該等點之分佈值之核。
13. 如請求項10之非暫時性電腦可讀媒體，其中建立該行為概況包含將該等分佈加總，並且其中該核密度估計過程包含使用一高斯核密度函數來估計量測點之間之值 以產生該行為概況。
14. 如請求項13之非暫時性電腦可讀媒體，其中該異常概率藉由該高斯核密度函數之一勞侖茲函數來建立。
15. 如請求項10之非暫時性電腦可讀媒體，其中選擇一核帶寬包含針對具有一無界範圍之資料來選擇隨著一量測點之該值而漸增地增加的一帶寬，並且針對具有一有界範圍之資料來選擇恆定的並且基於該實際資料分佈的一帶寬。
16. 如請求項10之非暫時性電腦可讀媒體，其進一步包含使用老化來定期地調適該行為概況以降低較舊資料的重要性，該老化包含在用當前資料更新該行為概況之前，藉由一預定衰減因子來減小一先前行為概況之值。
17. 如請求項10之非暫時性電腦可讀媒體，其進一步包含使用具有小於該預定臨界值之一概率的所量測的可觀察值來更新該行為概況，並且將具有大於該預定值之一概率的值表徵為用於威脅分析之離群值。