TWI536184B - Application Method and System of Statistical Table Based on OLTP Environment - Google Patents

Description

基於OLTP環境的統計表應用方法及系統

本發明涉及電腦網路應用領域，尤其涉及一種基於OLTP環境的統計表應用方法及系統。

電腦應用早已涉足各領域，運用電腦網路進行電子商務以及進行統計表的應用已是時代潮流。統計表是建立在對基表的統計基礎上的一個匯總表，在OLTP(On Line Transaction Processing，線上事務處理)的高可用的環境下，基表資料量通常比較龐大，且資料還在不斷的發生著變化，統計表中的記錄會根據相應的原則進行更新，以達到滿足應用的訪問需求。統計表可以方便快捷地獲取即時資訊，並進行即時監控，由此對統計表應用也提出了更高的要求。

在OLTP的環境下，系統基表是基礎表，用於實際存儲特定資料庫的元資料，用戶通常需要對一些記錄數比較多的基表按一定的規則即時進行統計。剛開始時，此統計策略可以滿足應用的需求，性能也可以被接受，但隨著用戶數的增加，網站訪問量成指數級的增長，該統計SQL(Structured Query Language，結構化查詢語言)語句的執行頻率也迅速升高。另外，平均每次統計要掃描的記錄數不斷增加，因而導致單次執行統計功能的SQL語句的平均代價COST也在不斷增加。像大型電子商務網站，對於會員評價的統計，這種統計在面對一些星級較高的用戶時，將變得異常困難。如果一個用戶的評價數較多，那麼其他一定數量的用戶同時來查看該用戶的評價展示頁面時或者惡意刷新此評價頁面時，這時就出現了資料庫性能問題，用戶請求的頁面長時間無法打開，用戶體驗不好。還有比如說要監控用戶的異常登入行為次數，在遭受登入攻擊的情況下，記錄用戶登入操作行為的基表記錄數在短時間就很有可能達到十萬的水準，那麼此時即時判斷用戶登入是否正常的統計SQL執行將會越來越慢，資料庫伺服器佇列越來越長，應用伺服器因不能快速得到資料庫的返回結果，導致連接池佇列變深，最終導致應用伺服器crash。所以傳統的採用直接對基表即時進行統計的方法，越來越不能滿足業務發展的需要，這種統計方式迫切需要改變。

現有技術中OLTP有一個顯著的特點，就是SQL語句的執行非常頻繁，而有些SQL語句則是完成統計功能的語句，這些語句的特點是：a.耗CPU(Central Processing Unit，中央處理器)b.邏輯讀或者物理讀特別高，如果這一類的語句執行達到一定頻率後，就會使資料庫系統的性能下降，進而導致應用系統回應客戶請求變慢。

在OLTP的環境裏，用戶不可避免的要面對較高的訪問量page view。如上所述，採用直接對基表即時進行統計的資料庫系統由於消耗了大量的CPU和較高的邏輯讀或者物理讀，而使資料庫伺服器的負載居高不下。而且採 這種方法的還有一個比較大的缺點是：系統抗攻擊能力弱，對於大型電子商務網站來說，如果用戶頻繁刷新統計頁面，或者不斷惡意登入，都會使資料庫系統迅速出現性能問題，降低了整個業務系統的可靠性與連續性。

本發明提供一種基於OLTP環境的統計表應用方法及系統，以提高整個業務系統的可靠性與連續性，給用戶優質的體驗。

為達到上述目的，本發明提供了一種基於OLTP環境的統計表應用方法，包括以下步驟：應用伺服器查詢資料庫；根據所述統計記錄的關鍵字在統計表中查詢統計記錄，如果統計記錄存在且沒有過期，則將所述統計記錄返回給用戶；如果沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄。

所述應用伺服器查詢資料庫之前還包括：判斷所述統計記錄是否存在於應用伺服器的緩存中，如果是且沒有過期，則直接返回給用戶；如果沒有在緩存中或已過期，則進行統計表查詢。

藉由設置在所述應用伺服器的緩存中與統計記錄關鍵字對應的時間過期標誌判斷是否過期。

還包括：預先在統計表中設置與所述統計記錄關鍵字對應的時間過期標誌。

所述調用SQL語句對基表進行掃描，重新計算統計之後還包括：

將計算結果插入或更新到所述統計表，並緩存到應用伺服器。

本發明還提供了一種基於OLTP環境的統計表應用系統，包括：

應用伺服器，用於查詢資料庫，並將查詢結果返回用戶端；

資料庫，用於根據所述統計記錄的關鍵字在統計表中查詢統計記錄，如果統計記錄存在且沒有過期，則將所述統計記錄返回給用戶；如果沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄。

所述資料庫具體包括：

期限判斷單元，用於根據統計記錄中的關鍵字判斷統計表中對應的期限是否超出；

回饋單元，用於當統計記錄存在且沒有過期，則將所述統計記錄返回給用戶；

計算單元，用於沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄。

所述資料庫還包括：

期限設置單元，與所述期限判斷單元連接，用於預先在統計表中設置與所述統計記錄關鍵字對應的時間過期標誌。

所述資料庫還包括：

統計表更新單元，與所述期限判斷單元連接，用於將計算結果插入或更新到所述統計表，並緩存到應用伺服器。

所述應用服務器具體包括：

暫存單元，用於緩存統計記錄；

判斷單元，用於判斷所述統計記錄是否存在於應用伺服器的緩存中，如果是且沒有過期，則直接返回給用戶；如果沒有在緩存中或已過期，則進行統計表查詢。

與現有技術相比，本發明具有以下優點：

本發明是建立在統計表之上的統計策略，將使OLTP的資料庫系統負載降低；抗攻擊能力增強，提高整個系統的可靠性。

下面結合附圖和實施例，對本發明的具體實施方式作進一步詳細描述：

本發明實施例一提供了一種基於OLTP環境的統計表應用方法，如圖1所示，包括以下步驟：

步驟s101，用戶向應用伺服器發出請求，要求調用統計記錄。

步驟s102，應用伺服器進行處理。判斷所述統計記錄是否存在於應用伺服器的緩存中，如果是且該統計記錄沒有過期(可以藉由設置在所述應用伺服器的緩存中與統計記錄關鍵字對應的時間過期標誌判斷是否過期)，則直接將該統計記錄返回給用戶；如果沒有在緩存中或該統計記錄已過期，則到資料庫中進行統計表查詢。

本發明可以在應用伺服器設置高速緩衝記憶體Cache，直接返還給用戶的統計策略，該方法具體包括：根據要統計的結果物件的屬性確定統計表的欄位，並增加另外一個時間欄位Update_Time，此欄位表示此統計的更新時間，作為確定此統計記錄是否失效的時間依據，如下表1中所示：

在表1中，主鍵可以看成一個要統計物件的ID，是對這條統計記錄的唯一確定；統計欄位A、B、C、D只是一個示例，可以根據具體的業務需求增加其他統計欄位。

步驟s103，資料庫伺服器進行處理。資料庫伺服器預先在統計表中設置與所述統計記錄關鍵字對應的時間過期標誌，根據所述統計記錄的關鍵字在統計表中查詢統計記錄，如果統計記錄存在且沒有過期(可以藉由設置在所述資料庫的統計表中的與統計記錄關鍵字對應的時間過期標誌判斷是否過期)，則將所述統計記錄返回給用戶；如果沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄，將計算結果插入或更新到所述統計表，並緩存到應用伺服器。同理，資料庫伺服器中的統計表與表1相同，應用伺服器中的時間過期標誌與資料庫伺服器中的時間過期標誌應該保持一致。

本發明實施例二中，如果滿足一定條件，統計記錄可以只經過應用伺服器處理，直接返回用戶結果，不用再去訪問資料庫伺服器，這是在應用伺服器設置了相應的Cache取得的效果，具體過程如圖2所示，包括以下步驟：

步驟s201，首先判斷用戶請求的統計記錄是否在應用伺服器的Cache中。

步驟s202，如果存在，則判斷資料是否過期，如果過期，則轉步驟s203，如果沒有過期，則轉步驟s204。這個過期時間是一個閥值，其中只要與資料庫裏面統計表的Update_Time欄位用於計算統計記錄過期的邏輯判斷保持一致，則統計伺服器可以靈活設置。

步驟s203，查詢資料庫。

步驟s204，將該統計記錄返回給用戶。

對應上述應用伺服器細化的處理流程可以用偽代碼表示如下：

if統計計錄存在於應用伺服器Cache then

{

if系統當前時間-此統計記錄的生成時間

Update_Time>=閥值then

此統計記錄過期，緩存無效，訪問資料庫；

else

此緩存的統計記錄有效，返回給用戶；

end if;

}

else

訪問資料庫；

end if;

如果在應用伺服器緩存的資料過期或者資料根本就不在應用伺服器Cache中，需要查詢資料庫的統計策略。如圖3所示，具體包括以下步驟：

步驟s301，統計伺服器根據主鍵欄位在統計表中查找統計記錄，如果統計記錄存在，則轉步驟s302，如果統計記錄不存在，則轉步驟s307。

步驟s302，判斷統計記錄是否過期，如果過期，轉步驟s303，如果不過期，則轉步驟s305。

步驟s303，調用統計SQL重新計算。

步驟s304，在統計表中更新該記錄。

步驟s305，在應用伺服器緩存該統計記錄，轉步驟s306。

步驟s306，將該統計記錄返回給用戶。

步驟s307，調用統計SQL重新計算。

步驟s308，插入該統計記錄到統計表中，轉步驟s305。

現有技術中，在整個處理過程，調用統計SQL語句的步驟最消耗系統資源，但使用上述方法後，首先在統計表上設立時間過期欄位，揭示了統計記錄有效性的生命週期，其次建立在此設計方法上對統計資訊的訪問方式，先是應用伺服器對已訪問過的統計資訊進行Cache，很多重複性訪問在應用伺服器就可以完成，不用再訪問資料庫，減少資料庫壓力；如果進入資料庫訪問，那麼可以訪問統計表，如果統計表中的記錄不存在或者統計記錄過期，才會調用統計SQL語句對基表掃描進行統計運算，此運算結果返回應用伺服器Cache。整個系統相當於有兩層Cache，一層在應用伺服器，另外一層可以把資料庫層的統計表看成是一層Cache，如果在這兩層都失效，才會調用統計SQL掃描基表進行統計計算，大大減少統計SQL語句的執行次數。而對於大部份的訪問，基本上都會在應用伺服器Cache中命中，這樣可以極大的提高資料庫系統的抗攻擊能力。

使用本實施例中的方法，還有一個特點就是，比如說會員評價的統計表，舉一個極端的例子，如果一個會員的評價資訊從來不被任何人訪問，那麼統計表中不會有他的統計記錄；如果一個會員的評價很久都不被人訪問，那麼他的評價統計記錄肯定是早就過期了，但不會更新他的統計記錄，直到有人訪問為止。

本發明還提供了一種基於OLTP環境的統計表應用系統，如圖4所示，包括：應用伺服器100，用於接收來自用戶的統計記錄，並轉發至資料庫；資料庫200，用於根據所述統計記錄的關鍵字在統計表中查詢統計記錄，如果統計記錄存在且沒有過期，則將所述統計記錄返回給用戶；如果沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄。

所述資料庫200具體包括：期限判斷單元210，用於根據統計記錄中的關鍵字判斷統計表中對應的期限是否超出；回饋單元220，用於當統計記錄存在且沒有過期，則將所述統計記錄返回給用戶；計算單元230，用於沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄。期限設置單元240，與所述期限判斷單元210連接，用於預先在統計表中設置與所述統計記錄關鍵字對應的時間過期標誌。統計表更新單元250，與所述期限判斷單元210連接，用於將計算結果插入或更新到所述統計表，並緩存到應用伺服器。

所述應用伺服器100具體包括：暫存單元110，用於緩存統計記錄；判斷單元120，用於判斷所述統計記錄是否存在於應用伺服器的緩存中，如果是且沒有過期，則直接返回給用戶；如果沒有在緩存中或已過期，則進行統計表查詢。

藉由以上實施例的描述，本領域的技術人員可以清楚地瞭解到本發明可借助軟體加必需的通用硬體平臺的方式來實現，當然也可以藉由硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品存儲在一個存儲媒體中，包括若干指令用以使得一台網路設備執行本發明各個實施例所述的方法。

以上公開的僅為本發明的幾個具體實施例，但是，本發明並非局限於此，任何本領域的技術人員能思及的變化都應落入本發明的保護範圍。

100．．．應用伺服器

110．．．暫存單元

120．．．判斷單元

200．．．資料庫

210．．．期限判斷單元

220．．．回饋單元

230．．．計算單元

240．．．期限設置單元

250．．．統計表更新單元

圖1為本發明實施例中基於OLTP環境的統計表應用方法流程圖；

圖2為本發明實施例中應用伺服器處理流程圖；

圖3為本發明實施例中資料庫處理流程圖；

圖4為本發明實施例中基於OLTP環境的統計表應用系統結構圖。

Claims (7)

1. 一種基於OLTP環境的統計表應用方法，其特徵在於，包括以下步驟：應用伺服器查詢資料庫；預先在統計表中設置與統計記錄關鍵字對應的時間過期標誌；根據該統計記錄關鍵字在統計表中查詢統計記錄，如果統計記錄存在且沒有過期，則將該統計記錄返回給用戶；如果沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄。
2. 如申請專利範圍第1項之基於OLTP環境的統計表應用方法，其中該應用伺服器查詢資料庫之前還包括：判斷該統計記錄是否存在於應用伺服器的緩存中，如果是且沒有過期，則直接返回給用戶；如果沒有在緩存中或已過期，則進行統計表查詢。
3. 如申請專利範圍第2項之基於OLTP環境的統計表應用方法，其中藉由設置在該應用伺服器的緩存中與統計記錄關鍵字對應的時間過期標誌判斷是否過期。
4. 如申請專利範圍第1項之基於OLTP環境的統計表應用方法，其中該調用SQL語句對基表進行掃描，重新計算統計之後還包括：將計算結果插入或更新到該統計表，並緩存到應用伺服器。
5. 一種基於OLTP環境的統計表應用系統，其特徵 在於，包括：應用伺服器，用於查詢資料庫，並將查詢結果返回給用戶端；資料庫，用於根據統計記錄關鍵字在統計表中查詢統計記錄，如果統計記錄存在且沒有過期，則將該統計記錄返回給用戶；如果沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄，其中該資料庫包括：期限判斷單元，用於根據該統計記錄關鍵字判斷統計表中對應的期限是否超出：回饋單元，用於當統計記錄存在且沒有過期，則將該統計記錄返回給用戶；計算單元，用於沒有統計記錄或統計記錄已過期，則調用SQL語句對基表進行掃描，重新獲取統計記錄；期限設置單元，與該期限判斷單元連接，用於預先在統計表中設置與該統計記錄關鍵字對應的時間過期標誌。
6. 如申請專利範圍第5項之基於OLTP環境的統計表應用系統，其中該資料庫還包括：統計表更新單元，與該期限判斷單元連接，用於將計算結果插入或更新到該統計表，並緩存到應用伺服器。
7. 如申請專利範圍第5項之基於OLTP環境的統計表應用系統，其中該應用伺服器具體包括： 暫存單元，用於緩存統計記錄；判斷單元，用於判斷該統計記錄是否存在於應用伺服器的緩存中，如果是且沒有過期，則直接返回給用戶；如果沒有在緩存中或已過期，則進行統計表查詢。