TW200837584A - Peer-to-peer based secondary key search method and system for cluster database - Google Patents

Description

200837584 九、發明說明： 【發明所屬之技術領域】 本發明係是—财㈣料尋的技術領域，更明 柄說，是—種用於叢集資料庫之次要金鑰（sec〇ndary key )搜尋方法和系統。 【先前技術】 現代化的電信服務，例如預付服務和可攜帶號碼，在 〇 服務資料庫（例如：ISCP資料庫）中需要高的生產力和低 的潛在因素響應。服務資料庫處理即時的要求，例如消費 10者記錄建立、更新和查詢。這些所有的操作需要搜尋時都 要根據-些使用者的識別。利用執行雜凑函數（hash)於 -個被指定為主要金鑰（primarykey)(例如：SSN)之 獨一的屬性，這個搜尋能夠有效的被執行。然而，常常這 些搜尋需要再根據其他的識別，例如電話號碼、生日、姓 15名等等，這些被稱為次要金鑰。大部份的網路服務平台（包 =ISCP)為了比較好的效能和費用，都提議採用這個新的 資料庫叢集（duster·)結構。-個資料庫叢集包括許多節點 (例如，緊岔輕合之刀鋒伺服器或大量網路連接之個人電 腦/工作站伺服器）並在節點之間分割消費者記錄。雜湊函 20數通常被使用在利用主要金鑰來決定記錄應該被儲存或者 被定位在那一個位置。在使用現行已知的方案中要利用次 要金鑰在資料庫叢集中搜尋是不足夠的。 為應付此需求’目前市場上有三個主要的資料庫叢集 產品·· Apertio、MySQL Cluster和 ClustRa。 5 200837584 5 Ο 10 15 ί， 20

Apertio的技術是使用LDAP-based B-tree索引結構去分 割和搜尋使用者記錄。Apertio的技術必需根據LDAP路徑沿 樹狀結構來回移動和找出記錄被儲存在那一個節點上來搜 尋記錄。 ClustRa是市場上第一個記憶體内（in-memory )叢集 資料庫產品。ClustRa是在叢集節點之間使用基於雜湊 (cluster-based )分割的資料庫之方法。然而，它只有對表 格使用主要的金鑰存取和連續的掃描。ClustRa並沒有支援 次要金鑰存取的方法。 MySQL藉由運用一個雜湊函數於被指定之主要金鑰， 而允許分割於儲存節點之間的資料。相似於ClustRa ’ MySQL也沒有支援次要金鑰存取，所以查詢需被廣播和執 行在所有節點上。 為了解決上述所提及到的問題，下列有兩種技術能夠 在資料庫叢集中支援次要金鑰搜尋：多重次要金鑰索引 (Replicated Secondary Key Index )和廣播搜尋 (Broadcasting Search) 〇 在 Replicated Secondary Key Index的技術上，在次要金 鑰建立一個索引D，以使得對於一個被給定的次要金鑰值， 這個索引能快速的回傳其中具有搜尋記錄之儲存節點。在 形式上，D是被給定的對映，以使得僅當記錄r是被儲存在 儲存節點Si時D (r.b) =1。索引D是可以在雜湊表或樹狀 結構（如同B-tree )被實現。最重要的是，這個索引必需可 被複製的（replicated)。當接收到一個次要金鍮搜尋要求， 6 200837584

Rephcated Secondary Key Index技術將會以這個索引杳詢 實際上儲存該記錄的儲存節點。然後，它將轉送這個要求 給目標儲存節點去檢索相符合的記錄。 在Broadcasting Search技術上，當接收到一個次要金鑰 5搜尋的要求，這個要求將被廣播到所有的儲存器節點。於 是，每一個儲存器節點在它們所擁有的内部表中執行内邻 搜尋。如果一個相符合的記錄被發現，這個記錄會被L傳， 反之，則回傳一沒有發現的訊息。 0 上述的技術不足以完全的解決問題。它們是利用在叢 10集中散佈這個要求到所有的節點上來查詢一個被給定的次 要金鑰記錄。於是每一個節點查詢它所擁有的内部資料是 否有任何§己錄是和金鑰相符合的。在如此的做法中，即使 是只有一個節點將會回傳確信的值，所有的節點都還是必 需去執行内部的搜尋。因此所有的通訊和計算量是正比於 15叢集中N個節點數，即〇 (N)。因此，本發明提供點對點 (P^r to peer)次要金鑰搜尋方法和叢集資料庫系統來解 C 進上述的缺點。 【發明内容】 本發明之一目的為提供一種用於叢集資料庫之點對點 20 ( 、peer to peer )次要金鑰（secondary key )搜尋方法和系統， 以減少儲存節點之間的頻寬而可提高搜尋速度。 本發明之另一目的為提供一種用於叢集資料庫之點對 點（peertopeer)次要金鑰（secondarykey)搜尋方法和系 7 200837584 Λ以於记錄插入、次要金鑰搜尋和支援資料結構之 供較佳的花費平衡。 偁之間k Ο 15 20 依據本發明之一觀點，係提出一種用於叢集 點對點次要金鑰搜尋方法，該叢集資料庫有多個儲存2 且母一個儲存節點有一個節點數及儲存多個記錄，該方法 j下列步驟：（A)根據—次要金鑰之—雜凑來計算出第 節2數，（B)利用一次要金鑰來查詢對應第一節點數之 存節點’以榻取一對應的主要金瑜；（c)根據該 主要金輪之雜凑函數來計算出—第二節點數；以及（D)利 用該主要錢來查詢對應於第二節點數之—第二節點，以 擷取一相對應的記錄。 p依據本發明之另—觀點’係提出-種點對點次要金鑰 ，尋系統’其包含：多個儲存節點，每—個儲存節點有一 即點數及儲存多個記錄；以及一個搜尋項目輸入手段，耦 接到該多=儲存節點，以操取一儲存節點上的一記錄；其 —搜哥項目輸入手段根據一次要金鑰之一雜凑來計算 即點數’利用一次要金繪來查詢對應第—節點數之 二第一健存節點，以擷取-對應的主要金餘，根據該主要 金鑰之雜湊函數來計算出U點數，及利用該主要金 錄來查詢對應於第二節點數之—第二節點，以擷取一相對 應的記錄。 /、他^明的目的、利益和新的特徵在下列詳細的描述 將利用附錄的圖式而使其更加顯而易見。 8 200837584 【實施方式】 圖1為依照本發明之叢集中之表格τ的示意圖。為了解 釋方便，表格T包含7個記錄，rl，r2，r3 ···，〇。每一個記錄都 有多個屬性（攔），其中屬性a被選作為主要金鑰，屬性b 5 被選作為次要金鑰。 一金鑰為一屬性，其值可在表格T中獨一地識別一記 =。主要金鑰是一個金鑰，其被選取作為在表格丁識別及搜 0 己錄之主要的手段。表格T中的每一個記錄可以唯一擁 有而且只有一個主要金鑰。在叢集資料庫中，主要金鑰也 1〇被用於決定介於儲存節點的記錄的分佈。索引及/或搜尋的 方法可被建立以促進依據主要金鑰之高效率的搜尋。次要 金鑰疋個可選擇的金鑰，其也可以被用於查詢表格T中的 獨Z錄。根據次要金鑰的搜尋通常效率會較依據主要金 =的搜4低’ 疋因為表格τ之實際佈局是大部分依據 15 金鑰。 f 如圖1所7""，雜凑函數hl()分別因應屬性a和b而建立。 C t凑㈣hl()將屬性之領域對應至集合（似，3,〜N-U， =的N疋在叢集中儲存節點的數量。在此實施例，雌選 二3任何均句及隨機之雜湊函數都可為雜湊函數hi (a) |、選者。在這個實施例中，雜凑函數函數⑽諸， 廷裡的。 Ί依照本發明之對等次要金鑰搜尋系統之示意 :個餹二：系統中’叢集包括一個搜尋項目輸入手段210及 子印點Si’搜哥項目輸入手段21〇擁有⑽祠服器節 9 200837584 點 錄 金 5 每一個儲存節點Si都有-個節點數泣儲存有多個記 。另外每-個储存節㈣包含—個對應表奶以便將次要 鑰對應至相應的主要金鑰。

10 15 叟尋項目輸人手段21蝴接到該多數個儲存節點Si ,以 操取在儲存節點Si上的記錄。搜尋項目輸人手段2聰據次 ，金錄之雜湊函數計算出第—節點數，利用次要金錄查詢 第一儲存節點以掏取—相對應的主要金餘，根據主要金錄 雜凑函數以„}·异出—第二節點數，然後利用主要金錄來 查珣第二儲存節點以擷取相對應的記錄。 如圖2所示，伺服器從客戶端（圖未示）取得和處理要 求並且回傳相對應的結果。健存節點狀―個實際儲存一 部份資料庫記錄的節點。伺服器節點和儲存節點可共置， 不需在分開的機器上。 每一個儲存節點Si維護一個儲存有表格τ的記錄之次 集合的區域查詢表Ti，即是T〇UT1 UT2==T，這裡的识旨 的是聯集運算。如果主要金鑰『經由雜湊函數Μ ()可對應 到i，記錄r將被儲存在儲存節點Si。亦即，若且唯若w (主 要金鍮r) =i ，則r屬於Ti。 雜湊分割被廣泛使用在平行資料庫中。藉由雜湊分 割，根據主要金鑰能夠有效的進行搜尋。利用一個被給定 的主要金鑰A去查詢記錄，搜尋系統只需要搜尋儲存節點hl (A)，而不需搜尋全部儲存的節點。 20 200837584 本表月的目的疋根據次要金鑰促使更有效的搜尋 了這樣的目的…個新的對應表格Mi被建立和維 j _存節點Si之中，。對應表格崎每—個記錄都儲存了 — 5 Ο 10 15 c， 20 對（M) |’其經由^錢錢料制至節點^ 即’若且唯若hl(r.g)=i，對於表格τ中任何記錄r，（rb 都屬於Mi。 ^ ,r-a) 輪 圖3為依照本發明中插入記錄至資料庫叢集之流 圖:在步驟S3H)中，搜尋項目輸人手段2職受來自客= 之-要求，以插人記錄料庫。在圖2卜搜尋項目 入手段210可以是伺服器節點 、 在y驟8320中，搜哥項目輸入手段21〇將記錄的主要 金鑰進行料純hl ()運算，㈣定應儲存在那一個儲 存節點Si。根據雜湊函數hl ()，結果為hi (r2 a) =hi (2) #2 mod 3 - 2，亦即：r2應該被儲存在儲存節點S2。於是搜 尋項目輸人手段21G轉送記錄d給儲存節點S2並將記錄_ 存在區域查詢表格Τ2。 在y驟8330中，搜尋項目輸入手段21〇將記錄的次要 金鑰值進行雜湊函數hl ()運算，以決㈣對值（r2b，r2a) 應該被儲存在那-個健存節點⑴。根據雜湊函數^ )，結 果為 hl( r2.b)- hl( 5)= 5 mod 3 = 2。因此，該對值（r2.b，r2.a) =(5.2)被儲存在儲存器82的對應表格M2中。 根據主要金鑰來搜尋一記錄，係可以簡單地依循上述 的步驟S320來找出儲存有該記錄之儲存節點以。 11 200837584 长圖為依照本务明中執行基於次要金输之記錄搜尋的 机程=。® 5為依照本發明巾執行基於次要金鑰之記錄搜尋 的不思圖。睛參考圖4和圖5，在步驟“⑺中，搜尋項目輸 #又210接*個來自於客戶端的要求，以根據給定的次 5要金输值來查询—記錄。在此範例中，我們可得到|^2。在 圖5中4叟尋項目輸入手段21〇可為飼服器節點^_1。 在v驟8420中，搜尋項目輸入手段21〇根據具有次要金 鑰^雜凑函數hl㈠而計算第-節點數。舰器節點Ck]將 、’、口疋之次要金鑰值b=2執行雜湊函數hi ()運算，以計算出 1〇其需要聯繫那一個健存節點以得到更多的資訊。結果為hl (b) -hi (2) =2 mod 3 = 2。HU匕，伺服器節點轉送參 數b給儲存節點S2。 —在步驟S430中，搜尋項目輸入手段21〇以次要金鑰值 =來檢索對應於該第—節點數的第—健存節賴，以操取 15 -對應之主要金錄。在接收到參數b=2後，儲存節點立即 ^旬其區域對應表格M2，以找出—項目（b，a)，其^搁能 i 符合2。在這個例子中，第二項目（2,4)被發現能夠符合。 因此，對應的主要金餘之值（第二攔a=4)被回傳到發出要 求的伺服器節點Ck」。 20 在步驟S440中，搜尋項目輸入手段210根據具有主要金 鑰之=凑函數而計算出一第二節點數。在接收從儲存節點 S2所得到的主要金餘a=4後，根據具有主要金餘值w之雜 凑函數hl ()，搜尋項目輸人手段21G於是運用雜凑函數hl 12 200837584 ()以計算出一第二節點數。結果hi ( a ) =hl ( 4 ) = 4 mod 3 = 1。因此，儲存節點SI實際儲存該記錄。 在步驟S450中，搜尋項目輸入手段210以主要金鑰值 a=4查詢一對應於第二節點數之第二節點S1，以擷取一對應 5 的記錄。在接收主要金鑰值a=4後，儲存節點S1立即查詢其 區域表格T1以找出是否有相符之處。在這個例子中，因為 r4.a=4，在表格T中第一個記錄r4被發現能夠符合。因此， 記錄r4被回傳到搜尋項目輸入手段210，其接著將該記錄r4 〇 回傳至客戶端作為結果。 10 圖 6 和圖 7 為 Replicated Secondary Key Index、

Broadcasting Search和本發明之間在結構上及操作上不同 之比較圖。如圖7所示，有K個伺服器節點和N個儲存節點 在該叢集中，且Μ是表格中所有記錄的數量。如圖所示， 本發明的累計時間費用幾乎是和Replicated Secondary Key 15 Index相同的，但是本發明的空間花費是比Repiicated

Secondary Key Index少很多的。本發明的空間花費是和 Broadcasting Search幾乎相同，但是累計時間費用是比 Broadcasting Search為少 ° 從上述的說明可知，相較於習知技術，本發明在記錄 20 插入、基於次要金鑰之搜尋及支援之資料結構之間有較好 的花費平衡。如圖6和圖7所示，本發明依靠著儲存節點之 間的對應表格Mi之分佈，並使用它們來將要求（於次要金 鑰）重行導向至目標儲存節點。這個對等 (peer-to-peer) 和重行導向的技術不只提供一個有效的次要金鑰搜尋方法 13 200837584 而且減少了搜尋項目輸入手段210和多個儲存節點Si間的 頻寬。它只需要兩個儲存節點的存取和兩個在搜尋項目輸 入手段210和多個儲存節點Si之間的來回訊息傳輸。 5 Ο 10 15 20 上述實施例僅係為了方便說明而舉例而已，本發明所 主張之權利範圍自應以申請專利範圍所述為準，而非僅限 於上述實施例。 【圖式簡單說明】 圖1係依照本發明之叢集中的表格T之示意圖。 圖2係依照本發明之對等次要金鑰搜尋系統之示意圖。 圖3為依照本發明之插入記錄至資料庫叢集之流程圖。 圖4為依照本發明之執行次要金鑰記錄搜尋之流程圖。 圖5為依照本發明之執行次要金鑰記錄搜尋之示意圖。 圖 6和圖 7為 Replicated Secondary Key Index、Broadcasting Search和本發明之間在結構上及操作上不同之比較圖。 【主要元件符號說明】 210搜尋項目輸入手段 SO, Sl，S2儲存節點 TO, Tl，T2查詢表 M0, Ml，M2對應表 S310, S320, S330, S410, S420, S430, S440, S450 步驟 14

Claims (1)

1. 200837584 十、申請專利範圍： "“種:二叢集資料庫之點對點:欠要金鑰搜尋方 ^叢集_貝料庫有多個儲存節點且每—個儲存節點有一個 節點數及儲存多個記錄，該方法包括下列步驟· (Α)根據一次要金鑰之一雜湊來計算出第一節點數； (Β)利用一次要金鑰來查詢對應第—節點數之ρ三第j 儲存節點，以擷取一對應的主要金鑰； 5 Ο (C)根據該主要金鑰之雜湊函數來計算出一—鲛點 數；以及 一即”、、 10 (D)利用該主要金鑰來查詢對應於第二節點數之一第 二節點，以擷取一相對應的記錄。 2·如申請專利範圍第1項所述之點對點次要金鑰搜尋 方法，其中，每一個儲存節點更包含一個對應表，以將次 要金鑰對應至一相對應的主要金鑰。 15 3·如申請專利範圍第2項所述之點對點次要金鑰搜尋 方法其中，该第一健存節點根據一次要金鑰而由該對應 ' 表來榻取一個對應的主要金鑰。 4·如申請專利範圍第1項所述之點對點次要金鑰搜尋 方法，其中，該雜凑函數係用來對輸入之金鑰執行一個模 2〇 數運算。 、 5· —種點對點次要金鑰搜尋系統，包含·· 夕數個儲存節點，每一個儲存節點有一節點數及儲存 多個記錄；以及 15 200837584 技哥項目輸入手段，耦接到該多個儲存節點，以擷 取一儲存節點上的一記錄； 5 Ο 10 15 c 其中，該搜尋項目輸入手段根據一次要金鑰之一雜湊 來計算出第一節點數，利用一次要金鑰來查詢對應第一節 點數之一第一儲存節點，以擷取一對應的主要金鑰，根據 該主要金鑰之雜湊函數來計算出一第二節點數，及利用該 主要金鑰來查珣對應於第二節點數之一第二節點，以擷取 一相對應的記錄。 6.如申請專利範圍第5項所述之點對點次要金鑰搜尋 系統’其中，每一個儲存節點更包含一個對應表，以將次 要金鑰對應至一相對應的主要金鑰。 7·如專利申請範圍第6項所述之點對點次要金鑰搜尋 系統’其中，該第一儲存節點根據一次要金鑰而由該對應 表來擷取一個對應的主要金鑰。 8·如專利申請範圍第6項所述之點對點次要金鑰搜尋 系統’其中，該雜湊函數係用來對輸入之金鑰執行一個模 數運算。 16