TWI476585B - 兩階段式偵測記憶體不當使用之方法與系統 - Google Patents

Description

兩階段式偵測記憶體不當使用之方法與系統

本發明係關於在資訊系統環境中，一種記憶體資源使用狀況之監控偵測方法與系統，特別係指以離線統計分析資源使用情況，挑選監控目標進行線上即時監控，以偵測不當使用記憶體資源的潛在問題。

記憶體不當使用之問題(亦稱為記憶體洩漏問題)是軟體工程師長久以來面臨的最大困擾與挑戰之一。傳統的解決方案都是離線偵測，軟體工程師必須在系統上線之前盡可能地找到並修正問題。常見之離線偵測記憶體不當使用之方法是記錄物件生成、回收之歷史；這種方法在下列先前的專利技術中有提及類似的概念：US7,770,153比較多次執行待測程式之堆積(Heap)變化，找出記憶體不當使用之可能物件。

實際運作的結果顯示，部分記憶體洩漏的問題無法在離線時檢測到，需在系統上線運作一段時間後才會察覺，嚴重者可能使運作到一半的系統當機，造成難以預料的損失。為解決此問題，線上記憶體洩漏偵測技術的研製勢在必行。

常見之線上記憶體洩漏偵測技術是以特定之監測平台執行待測程式，需改寫原待測程式造成測試不便、不合實際。同時，由於需要監控待測程式中全部的物件，線上記憶體洩漏偵測技術耗費之時間及空間資源十分龐大；這種方法在下列先前的專利技術中有提及類似的概念：US6,560,773、US6,658,652記錄記憶體使用狀況之歷史，比較記憶體配置(memory allocation)及記憶體解除配置(memory deallocation)情況之差異；US2008/0243968、US2009/0328007從物件之存活時間判斷記憶體洩漏。

本發明之目的在主動監控偵測記憶體資源使用情況，並進一步分析資源是否有潛在不當使用。本發明之主要訴求是「降低線上偵測的監控範圍，因而降低其對線上系統的影響」；以兩階段之監控偵測方式，第一階段離線統計分析各類型物件使用資源情況，藉此挑選可能造成記憶體資源耗盡之物件類別；第二階段針對挑選出之物件類別進行即時監控，以偵測不當使用記憶體資源的潛在問題，進而提升資訊系統營運的穩定度，降低系統當機的可能性。

達成上述發明目的之兩階段式偵測記憶體不當使用之系統，包括二大元件：記憶體堆疊分析元件及物件監控元件。記憶體堆疊分析元件負責離線分析記憶體堆疊中各物件使用記憶體之情況，該記憶體堆疊可以是任何單一時刻之記憶體取樣。物件監控元件負責即時監控指定物件使用記憶體之情況，分析記憶體資源是否有潛在不當使用情形。物件之指定方式係利用記憶體堆疊分析元件之分析結果，選擇可能造成記憶體不當使用之物件類別。

一種兩階段式偵測記憶體不當使用之方法，係利用兩階段式偵測記憶體不當使用之系統，以偵測不當使用記憶體資源，其步驟包括：步驟一.利用堆疊取樣元件，進行記憶體堆疊內容的取樣，取得一次或多次程式執行過程之系統之該記憶體堆疊內容的取樣；步驟二.利用物件掃瞄與統計元件，將該堆疊取樣元件之取樣結果進行掃瞄、分析與統計，取得各物件類別使用記憶體資源的情況；步驟三.利用資料匯整元件，將該各物件類別使用記憶體資源的情況進行資料匯整，以收集物件類別資料；步驟四.利用該物件類別選取主控台，根據該資料匯整元件所提供之資料，選取監控目標，選取結果以監控規則型式儲存在物件類別監控規則庫；步驟五.利用即時 監控元件從該物件類別監控規則庫取得監控規則，依監控規則起始監控程序，並將監控所獲得之資料提供給即時分析元件；步驟六.利用該即時分析元件分析各物件存取動作，判斷是否有疑似記憶體洩漏問題；以及步驟七.利用分析主控台顯示分析結果。

其中該堆疊取樣元件之取樣流程係包括：步驟一.確認所指定程式在記憶體中的堆疊範圍；步驟二.讀取該堆疊範圍之內容，並寫入檔案。

該物件掃瞄與統計元件之掃瞄與統計流程係包括：步驟一.從該堆疊取樣元件取得該記憶體堆疊內容；步驟二.擷取該堆疊中之物件資訊；步驟三.依該物件類別及參照關係分別進行統計與排序；步驟四.將統計資料提供給資料匯整元件。

其中該資料匯整元件係為物件掃瞄與統計元件的資料暫存區，該物件類別選取主控台之類別選取流程係包括：步驟一.驅動該堆疊取樣元件進行該記憶體堆疊的取樣；步驟二.從該資料匯整元件取得該物件類別資料；步驟三.依該物件類別資料選取可疑物件類別；步驟四.將該可疑物件類別及參照關係資訊儲存在物件類別監控規則庫。

其中該物件類別監控規則庫係為物件類別規則資料的暫存區，該即時監控元件之即時監控流程係包括：步驟一.從該物件類別監控規則庫取得監控規則；步驟二.依該監控規則起始監控程序；步驟三.紀錄被監控物件之被存取時間、被存取位置及參照關係；步驟四.將該物件存取資料及參照關係提供給該即時分析元件。

其中該即時分析元件之即時分析流程係包括：步驟一.從該即時監控元件取得該物件存取資料及參照關係之資料；步驟二.選取下一個分析標的物件；步驟三.判斷該物件是否過久未被存取，若是則於該分析主控台顯示告警訊息；步驟四.判 斷是否已檢查完所有物件，若仍有物件尚未檢查完，則選取下一個分析標的物件繼續分析；步驟五.若已檢查完所有物件，則完成該即時資料分析。

其中該分析主控台係於顯示告警訊息，並提供被監控物件之被存取時間、被存取位置及參照關係資訊。

一種兩階段式偵測記憶體不當使用之系統，係以偵測不當使用記憶體資源，其中包括：一記憶體堆疊分析元件，係將一次或多次程式執行過程之系統之該記憶體堆疊內容進行取樣，以掃瞄並分析該記憶體堆疊中之物件資訊，制訂監控規則；以及一物件監控元件，係根據該記憶體堆疊分析元件產生之監控規則，即時監控符合規則之物件，判斷是否有記憶體洩漏問題。

其中該記憶體堆疊分析元件更包含：一堆疊取樣元件，係將一次或多次程式執行過程之系統之記憶體堆疊內容進行該記憶體堆疊內容的取樣；一物件掃瞄與統計元件，係將該堆疊取樣元件之取樣結果進行掃瞄、分析與統計，以掃瞄並統計堆疊中之物件類別資料；一資料匯整元件，係將該物件掃瞄與統計元件所掃瞄與統計各物件類別資料進行匯整，以收集物件類別資料；及一物件類別選取主控台，係根據該資料匯整元件所提供之資料，選取監控目標，選取結果以監控規則型式儲存在物件類別監控規則庫。

其中該物件監控元件更包含：一物件類別監控規則庫，儲存物件類別規則；一即時監控元件，係從該物件類別監控規則庫取得監控規則，係以監控符合該物件類別規則之物件產生及存取動作，並將監控所獲得之資料提供給即時分析元件；一即時分析元件，係分析該各物件存取動作，判斷是否有疑似記憶體洩漏問題；及一分析主控台，係顯示即時分析元件之分析結果。

本發明所提供之兩階段式偵測記憶體不當使用之方法與系統，與其他習用技術相互比較時，更具備下列優點：

1.本發明之記憶體堆疊分析元件採用離線分析，不影響線上執行之應用程式效能。分析結果用以選擇可能造成記憶體資源不當使用之物件類別，供物件監控元件使用。

2.本發明之物件監控元件僅即時監控被選擇出之物件類別，可大大降低對整體系統之影響。

3.本發明可用以監控符合特定參照關係之類別物件，有效縮小即時監控範圍。

4.本發明可輔以軟體工程師及系統維運人員之專業知識，更有效縮小即時監控範圍，快速鎖定造成記憶體不當使用之物件類別及程式區段。

請參閱圖1所示，為本發明兩階段式偵測記憶體不當使用之系統元件架構圖，其組成包括兩大部份：記憶體堆疊分析元件100，負責離線分析記憶體堆疊中各物件使用記憶體之情況、物件監控元件200，負責即時監控指定物件使用記憶體之情況，分析記憶體資源是否有潛在不當使用情形。記憶體堆疊分析元件100以四種元件組成，分別為堆疊取樣元件110、物件掃瞄與統計元件120、資料匯整元件130、物件類別選取主控台140；而物件監控元件200以四種元件組成，分別為物件類別監控規則庫210、即時監控元件220、即時分析元件230、分析主控台240。

在第一階段中，物件類別選取主控台140驅動堆疊取樣元件110進行記憶體堆疊的取樣。程式執行時物件之生成、 參照、回收都會表現在系統之記憶體堆疊中，堆疊取樣元件110即是將一次或多次程式執行過程之系統之記憶體堆疊作為本專利之分析目標。

取樣結果交由物件掃瞄與統計元件120進行掃瞄、分析與統計各物件類別使用記憶體資源的情況，擷取堆疊中之物件資訊可透過執行環境(例如Java應用程式所在之Java虛擬機)提供之標準介面(例如Java虛擬機所提供之Java虛擬機工具介面JVMTI)取得，包括確認所指定程式在記憶體中的堆疊範圍，讀取該堆疊範圍之內容並寫入檔案等。

請參閱圖2所示，為本發明物件掃瞄與統計元件120之步驟流程，負責掃瞄、分析與統計各物件類別使用記憶體資源的情況。從堆疊取樣元件110取得記憶體堆疊內容之後，擷取堆疊中之物件資訊121，包括各物件之類別、大小及參照關係，依物件類別統計記憶體使用情形122之後，將統計資料提供給資料匯整元件130。

資料匯整元件130匯整各物件類別使用記憶體資源的情況，擷取完堆疊中之物件資訊之後，物件掃瞄與統計元件120會先將系統相關物件類別過濾掉(即與Java虛擬機相關之物件類別)，將未被過濾掉之應用程式物件依類別及參照關係分別進行統計與排序，並將統計資料提供給資料匯整元件。舉例來說，物件a屬於類別A，大小為a’，物件b屬於類別B，大小為b’，物件c1及c2屬於類別C，大小分別為c1’及c2’，物件a參照至物件c1，物件b參照至物件c2，則類別大小分別為(A,a’)、(B,b’)及(C,c1’+c2’)，參照關係大小分別為(A,C,a’+c1’)以及(B,C,b’+c2’)。

物件類別選取主控台140從資料匯整元件130取得物件類別資料後，依物件類別資料選取可疑物件類別，然後將可疑物件類別資料儲存在物件類別監控規則庫210。

請參閱圖3所示，為本發明物件類別選取主控台140之步驟流程，首先驅動堆疊取樣元件110進行記憶體堆疊的取樣，待取樣完成，從資料匯整元件130取得物件類別資料，包括各物件之類別、大小及參照關係。依物件類別資料選取可疑物件類別141，選取方式可依物件類別資料自動選取，或將資料呈現於選取主控台畫面，由軟體工程師手動選取，然後將可疑物件類別儲存在物件類別監控規則庫210。

選取主控台140提供多種類別及參照關係資訊供軟體工程師選取可疑物件類別，亦可設定條件自動選擇，比方說「大小最大之三組參照關係」及「物件總數量最多之類別」。一或多筆選擇結果即可組成一監控規則，存放於物件類別監控規則庫210。

在第二階段中，即時監控元件220從物件類別監控規則庫210取得監控規則，依監控規則起始監控程序，僅監控符合監控規則之物件，並將監控所獲得之資料提供給即時分析元件230。若有物件太久未被存取，則於分析主控台240顯示告警訊息。

請參閱圖4所示，為本發明即時監控元件220之步驟流程，首先從物件類別監控規則庫210取得監控規則，依監控規則起始監控程序221，紀錄被監控物件之被存取時間、被存取位置及參照關係222，將物件存取資料及參照關係提供給即時分析元件230。

即時監控是透過執行環境提供之標準介面(如JVMTI)來達成。透過該標準介面，即時監控程式的編寫不影響被監控程式的編寫(不需改寫被監控程式)。以本案之實作與測試環境為例，被監控程式是以Java語言編寫，執行在Java虛擬機上；即時監控程式是以C語言編寫(不需變更被監控之Java程式)，透過JVMTI所提供之函式呼叫與Java虛擬機溝通，獲得記憶 體堆疊中之即時物件資訊。

起始監控程序包括資料結構的初始化與監控事件的設定，監控事件包括新物件的生成與被監控物件的存取及回收。當新物件生成時，先比對該物件是否符合監控規則，若符合則將該物件加入被監控物件清單。當被監控物件被存取時，記錄被存取時間、被存取位置及參照關係等資訊。當被監控物件被回收時，將該物件自被監控物件清單移除。

請參閱圖5所示，為本發明即時分析元件230之步驟流程，其主要步驟為：從即時監控元件220取得物件存取資料及參照關係資料，自該資料中選取下一個分析標的物件231，判斷該物件是否過久未被存取，若是則於分析主控台240顯示告警訊息；若否則進一步判斷是否已檢查完所有物件，若是則完成即時資料分析232，若仍有物件尚未檢查完，則選取下一個分析標的物件231繼續分析。

上列詳細說明乃針對本發明之一可行實施例進行具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

100‧‧‧記憶體堆疊分析元件

110‧‧‧堆疊取樣元件

120‧‧‧物件掃瞄與統計元件

121‧‧‧擷取堆疊中之物件資訊

122‧‧‧依物件類別統計記憶體使用情形

130‧‧‧資料匯整元件

140‧‧‧物件類別選取主控台

141‧‧‧選取可疑物件類別

200‧‧‧物件監控元件

210‧‧‧物件類別監控規則庫

220‧‧‧即時監控元件

221‧‧‧依監控規則起始監控程序

222‧‧‧紀錄被監控物件之被存取時間、被存取位置及參照關係

230‧‧‧即時分析元件

231‧‧‧選取下一個分析標的物件

232‧‧‧完成即時資料分析

240‧‧‧分析主控台

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為： 圖1為本發明兩階段式偵測記憶體不當使用之方法的系統運作流程圖；圖2為該兩階段式偵測記憶體不當使用之方法之物件掃瞄與統計元件執行流程；圖3為該兩階段式偵測記憶體不當使用之方法之物件類別選取主控台執行流程；圖4為該兩階段式偵測記憶體不當使用之方法之即時監控元件執行流程；以及圖5為該兩階段式偵測記憶體不當使用之方法之即時分析元件執行流程。

100‧‧‧記憶體堆疊分析元件

110‧‧‧堆疊取樣元件

120‧‧‧物件掃瞄與統計元件

130‧‧‧資料匯整元件

140‧‧‧物件類別選取主控台

200‧‧‧物件監控元件

210‧‧‧物件類別監控規則庫

220‧‧‧即時監控元件

230‧‧‧即時分析元件

240‧‧‧分析主控台

Claims (12)

1. 一種兩階段式偵測記憶體不當使用之方法，係利用兩階段式偵測記憶體不當使用之系統，以偵測不當使用記憶體資源，其步驟包括：步驟一. 利用堆疊取樣元件，進行記憶體堆疊內容的取樣，取得一次或多次程式執行過程之系統之該記憶體堆疊內容的取樣；步驟二. 利用物件掃瞄與統計元件，將該堆疊取樣元件之取樣結果進行掃瞄、分析與統計，取得各物件類別使用記憶體資源的情況；步驟三. 利用資料匯整元件，將該各物件類別使用記憶體資源的情況進行資料匯整，以收集物件類別資料；步驟四. 利用該物件類別選取主控台，根據該資料匯整元件所提供之資料，選取監控目標，選取結果以監控規則型式儲存在物件類別監控規則庫；步驟五. 利用即時監控元件從該物件類別監控規則庫取得監控規則，依監控規則起始監控程序，並將監控所獲得之資料提供給即時分析元件；步驟六. 利用該即時分析元件分析各物件存取動作，判斷是否有疑似記憶體洩漏問題；以及 步驟七. 利用分析主控台顯示分析結果。
2. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該堆疊取樣元件之取樣流程係包括：步驟一. 確認所指定程式在記憶體中的堆疊範圍；步驟二. 讀取該堆疊範圍之內容，並寫入檔案。
3. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該物件掃瞄與統計元件之掃瞄與統計流程係包括：步驟一. 從該堆疊取樣元件取得該記憶體堆疊內容；步驟二. 擷取該堆疊中之物件資訊；步驟三. 依該物件類別及參照關係分別進行統計與排序；步驟四. 將統計資料提供給資料匯整元件。
4. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該資料匯整元件係為物件掃瞄與統計元件的資料暫存區。
5. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該物件類別選取主控台之類別選取流程係包括：步驟一. 驅動該堆疊取樣元件進行該記憶體堆疊的取樣；步驟二. 從該資料匯整元件取得該物件類別資料；步驟三. 依該物件類別資料選取可疑物件類別； 步驟四. 將該可疑物件類別及參照關係資訊儲存在物件類別監控規則庫。
6. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該物件類別監控規則庫係為物件類別規則資料的暫存區。
7. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該即時監控元件之即時監控流程係包括：步驟一. 從該物件類別監控規則庫取得監控規則；步驟二. 依該監控規則起始監控程序；步驟三. 紀錄被監控物件之被存取時間、被存取位置及參照關係；步驟四. 將該物件存取資料及參照關係提供給該即時分析元件。
8. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該即時分析元件之即時分析流程係包括：步驟一. 從該即時監控元件取得該物件存取資料及參照關係之資料；步驟二. 選取下一個分析標的物件；步驟三. 判斷該物件是否過久未被存取，若是則於該分析主控台顯示告警訊息；步驟四. 判斷是否已檢查完所有物件，若仍有物件尚未 檢查完，則選取下一個分析標的物件繼續分析；步驟五. 若已檢查完所有物件，則完成該即時資料分析。
9. 如申請專利範圍第1項所述之兩階段式偵測記憶體不當使用之方法，其中該分析主控台係於顯示告警訊息，並提供被監控物件之被存取時間、被存取位置及參照關係資訊。
10. 一種兩階段式偵測記憶體不當使用之系統，係以偵測不當使用記憶體資源，其中包括：一記憶體堆疊分析元件，係將一次或多次程式執行過程之系統之該記憶體堆疊內容進行取樣，以掃瞄並分析該記憶體堆疊中之物件資訊，制訂監控規則；以及一物件監控元件，係根據該記憶體堆疊分析元件產生之監控規則，即時監控符合規則之物件，判斷是否有記憶體洩漏問題。
11. 如申請專利範圍第10項所述之兩階段式偵測記憶體不當使用之系統，其中該記憶體堆疊分析元件更包含：一堆疊取樣元件，係將一次或多次程式執行過程之系統之記憶體堆疊內容進行該記憶體堆疊內容的取樣；一物件掃瞄與統計元件，係將該堆疊取樣元件之取樣結果進行掃瞄、分析與統計，以掃瞄並統計堆疊中之物件類別資料； 一資料匯整元件，係將該物件掃瞄與統計元件所掃瞄與統計各物件類別資料進行匯整，以收集物件類別資料；及一物件類別選取主控台，係根據該資料匯整元件所提供之資料，選取監控目標，選取結果以監控規則型式儲存在物件類別監控規則庫。
12. 如申請專利範圍第10項所述之兩階段式偵測記憶體不當使用之系統，其中該物件監控元件更包含：一物件類別監控規則庫，儲存物件類別規則；一即時監控元件，係從該物件類別監控規則庫取得監控規則，係以監控符合該物件類別規則之物件產生及存取動作，並將監控所獲得之資料提供給即時分析元件；一即時分析元件，係分析該各物件存取動作，判斷是否有疑似記憶體洩漏問題；及一分析主控台，係顯示即時分析元件之分析結果。