TWI278749B - Support for single-node quorum in a two-node nodeset for a shared disk parallel file system - Google Patents

Description

1278749 九、發明說明： 【發明所屬之技術領域】 本發明一般而言係關於一種用於一共用磁碟之平行稽案 資料處理系統中控制資料存取之方法。更特定而言，本發 明係關於一種方法，其可防止在一以兩節點仲裁（qu〇rum) 為基礎的系統中，由於節點之間協調資料存取的通訊失效 而導致發生系統關機。 共用磁碟槽案系統允許同時共用存取儲存區域網路 (SAN)所附接之磁碟上的資料。SAN為數個系統提供實體層 級存取磁碟上的資料。共用磁碟被分成多分割區 (partitions) ’其可提供沒有共同存取的一共用實體儲存集 區，或藉由一共用磁碟檔案系統及資料庫管理員之協助， 由SAN提供自所有系統一貫存取所有資料。的 GPFS(G_ral Parailel File System)為一種檔案系統，其用 於橫跨數個系統來管理一磁碟集區及多個磁碟分割區，因 而允許從任何系統進行高速直接絲，而1還提供跨越一 單:檔·案系統的彙總效能，超過由一單一系統所管理的檔 案系統所能提供的效能。本發明提出—項特點，即將這種 多重系統能力用於檔案系統操作之情形。 在GPFS共用磁碟槽案系統中，每個節點（每個節點各具有 -或多個處理器)皆可獨立存取磁碟，而透過使用一分散 鎖定管理員（或權杖（tQken);f理㈣維護資料及轉資料 (metadata)-致性。這f要所有參與的節點皆按照此一鎖定 協定通訊及參與。無法按照一鎖定協定參與的節點就不能 74546-930817.doc 1278749 存取資料，並且還必須有適用於於其它節點的機制，藉以 重新取得已經失效或已經喪失節點間通訊能力的節點處所 修正的詮釋資料之控制權。GPFS使用一仲裁（quorum)機制 來提供此能力以供具三個或多個節點之叢集使用。期望若 兩個節點滿足操作需求，則該等兩個節點之間能夠共用資 料。此外，還希望當其它節點失效的狀況或在該等兩個節 點之間的網路通訊中斷時，另一個節點需能夠繼續地操 作。如需詳細的背景資訊，可參見’’獨立詮釋資料登入之平 行槽案系統及方法’’（"Parallel File System and Method for Independent Metadata Loggin”）（於2000年 2月 1 日頒發之美 國專利號碼6,021，508)。 一組仲裁（quorum)節點仲裁（quorum)之觀念為既有GPFS 復原模型的一部份，其可避免權杖管理員為相同目標提供 多個權杖或做出衝突的鎖定決策等多重例項。GPFS目前要 求仲裁（quorum)節點（通常為該GPFS節點組中節點數目的 一半加一）必須先成為群組中的成員，之後才允准任何資料 存取操作。此要求可保證在每個GPFS檔案系統中，皆存在 一有效的單一權杖管理網域。在一仲裁（quorum)節點存在 之前，會使用一指示該仲裁（quorum)節點不存在之訊息來 拒絕大多數的請求仲裁（quorum)仲裁（quorum)。若一既有的 仲裁（quorum)節點消失時，GPFS即結束所有節點，藉此保 護資料完整性。 在一種兩節點型系統中，多重節點之仲裁（quorum)節點 需求為2，其代表該等兩個參與的節點皆必須先成為該群組 74546-930817.doc 1278749 的成員，之後才能進行GPF_案系統操作。& 了放寬此需-求而使侍當單-即點可用時亦可操作，gpfs提供在兩節點. 型節點組中支援單節點仲裁（q_m)操作仲裁（q_m)。在 兩節點型節點組中之單節點仲裁（qu〇rum)操作的主要問題 為，要保證共用磁碟檔㈣統僅個鎖定f理貢（即僅有 —個權杖管理網域），才可保護資料一致性及完整性。 外解決此問題的簡單方式為透過產生—第三（決定勝負者) ^點，其裁定某節點似乎停機之狀況。此方式雖比較容易 實施’但-個仲裁（qu_)節點需要兩個節點或—個節點 加上該決定勝負節點。因為並無一第三節點可用，所以並 未解決兩節點型節點组問題。 本文中所描述的方隸正了具有三節點或更多的節點組 之既有仲裁__)行為，以支援在兩節點型節點組中的 單節點仲裁行為。其可達到當—個節點失效時， 另一個節點仍能繼續存取該檔案系統中的資料之目的。 有兩種方法可以解決共用資料的需求。—種是類似於基 本GPFS設計的某類型仲裁（qu(mim)。另—個方法為將一個 節點：定為「具特殊權限」’而任何包含此節點的群組可繼 續。第二種方法可能發生共用資料的整個節點叢集之單一 點失效’或需要人為干預來移動該具特殊權限節點，並持 續追蹤於高度可㈣存區中的移動L月可避免所有這 些問題。 【發明内容】 種用以控制存取共用 根據本發明一具體實施例，提供一 74546-930817.doc 1278749 症碟平：檔案系統中資料之方法，其包含一第一步驟，用 乂在=點型系統中判^與某節點之通訊是否失效。然後 由未又衫響的節點來判定該節點是否已經啟用單節點仲裁 ㈣⑽叫操作。如果判定已啟用單節點仲裁（q_m)操作， 則❹影響節點的資料存取即被隔開。此操作模式允許該 剩餘系統即點繼續操作，並避免關閉整個系統來處理通訊 失效問題。 口此本發明的目㈣為保證資料處理系統的可用性。 本I明另-目的係保證_共用磁碟平行檔案系統中所 相關資料檔案之資料完整性及一致性。 又月亦有目的係提供按照—仲裁（料_)為基礎的 存取協定來繼續存取資料。 本务明仍有_目的係擴充多重節點電腦系統的操作時間 =特別是其中—辨識的兩個節點之群組存取相同的 資料及資料檔案。 本發明另一目的在於提供， 節點一有效的操作模式。 由於通訊失效而已被隔離之 本毛月又目的在於提供—繼續操作的隔離節點，因而 可，更便利的時間來處理因通訊失敗相關之問題。 最:吏’但並不為限制’本發明還有—目的在於提供一群 ^中節點的—新狀態’其可視需要允許仲裁（q瞻職）單一 節點操作按照仲裁（叫orum)協定存取資料。 此處所描述本發明的許多具體實施例可達到—系列所需 要的目的，其並不表示隱含或提議所有這些目的係存在為 74546-930817.doc 1278749 其存在於 更為特定的 基本的特徵，其中該等目的可為個別或共同性 本么明的更為通用的具體實施例，或任何其它 具體實施例中。 【圖式簡單說明】 士關於本發明的内容將於說明書中說明。但是，本 =於組織及實施方法’以及其進一步的目的及好處，; μ地藉由參考以下說明，並配合圖式來加以瞭解， 圖1所示為由一通訊交換器連接的一多重節點系統之巧 塊圖； g 圖2所示為一多重節點資料處理系統中一節點 之方塊圖； ”、"構 圖3所示為詮釋資料結構之方塊圖； 圖4所示為内節點（in〇de)資料結構之方塊圖，·及 圖5所示為檔案系統元件的方塊圖。 【實施方式】 完整瞭解本發明的操作最好是先瞭解本發明之背景資訊 來達成。如圖1所示，此為熟知Scalable Parallel (sp)系統架 構（RS/6000 IBM產品），其具有複數個獨立節點1〇〇，該等 節點透過訊息之交換以經由一交換器1 〇5通信。所有描述均 於 IBM 出版物 sG24-5145-00(http://www.redbooks· ibm.com/redbooks/SG24514.html)中。參見圖2，節點#n 包括 記憶體130、處理器11〇、配接器12〇及磁碟機15〇。節點#n 經由配接器120而連接至交換器105。檔案系統22〇為一電腦 程式’用於允許其它應用程式儲存及擷取媒體（例如磁碟機 74546-930817.doc -10- 1278749 150)上之貧料。一檔案為一任意大小之已命名的資料物 件。此檔案系統允許應用程式來建立檔案並命名檔案名 稱、儲存資料至該檔案（或寫入）、讀取該檔案的資料、刪除 該檔案的資料及在執行該檔案的其它操作。檔案結構16〇 為磁碟機上的資料組織。記憶體13〇包括一耦合至磁碟機 150(或DASD)之DMA135，及一楷案系統核心奶，而該播 案系統核心225僅僅屬於RAM中所保留之作業系統的檔案 系統部分，該檔案系統核心225係用來鏈結讀/寫/加/修正/ :除/定義等請求至碟片上之資料。此等觀減成本發明之 背景材料且不直接相關於本發明，除熟知之根本觀念及/或 裝置外。 /在-共用磁碟檑案系統中，在單獨電腦（或節點⑽)上執 行的多個檔案系統會存取一或多個磁碟上所駐存的檔案結 構16 0。-共用磁碟檔案系統允許—使用該檔案結構的計算 被細分成可在多個節點上以平行方式執行的多個片段。 請參見圖3，除了該槽案資料本身，㈣結構16〇還包含 ㈣諸17〇:例如’目錄171 ’用於對應檀案名稱至相對 應檔案m釋資料18G(包含内節點（_)19()及間接區 塊200)，其包含有關檔案的資訊，更重要地是包含磁碟上 該檔案資料的位置(即保存檔案資料之磁碟區塊”配置對應 (aUocati⑽map)! 73，用於記錄目前正在用來儲存给釋㈣ 及檀案貧料的磁碟區塊；以及超區塊m，包含關於該 結構的整體資訊(例如該目錄的位置、配置對應及其它：釋 資料結構）。.請參閱圖3。 74546-930817.doc 1278749 本毛明較佳具體實施例中的檔案系統為ΑΙχ的gpfs通用 平行^案系統。GPFS允許共用存取可跨距（印抓）多個 RS/600G電腦上多個磁碟機的播案。㈣資料更新係利用以 下々方式如果節點先提出適當鎖定其正在讀取及寫入的 區段貝“亥即點讀取及寫入該檔案的不同區域，但所有的 即點必須存取相同的詮釋資料。詮釋資料檔案大小 才田案存取-人數192、檔案修正次數193及該檔案的資料 區鬼位址194。睛簽見圖4。在GpFS中，構建了—用於管理 1資料㈣釋資料節點（或中繼節點），藉此在—共用磁碟 %境中平仃地碩取及寫入。對於每個檔案，一單一節點被 =擇=該«的中繼節點。豸中繼節點保有關於該槽案的 金釋^料之資訊，並負責處理给釋資料輸入至及輸出自該 全釋貝料所駐存之磁碟（或多個磁碟）15〇的所有工·動。所 有”匕的4點與该中繼節點通訊，藉以提取或更新言全釋資 =， 仁疋這些節點並不直接地存取磁碟上的给釋資 料資Λ itb可防止大量的磁碟活動，這對於一平行槽案系 統為：可觀的效能改善。寫入共用作業係以如下方式進 订4寸別的疋，GPFS提供小範圍資料點寫入共用作業支 棱’所以只要兩個操作更新—個㈣的分離位元組範圍， 即允許其平行地繼續進行。 」亥GPFS復原模型22〇實施以下的觀念（參見間。—群組 監視服務230(像是IBM讓_叢集技術（rsct)群組服務） 監視所有節點上的處理序，仏貞測節點及通訊失效。此服 務係由結合，，處理序群組”來提供；當群組中—成員失效或 74546-930817.doc -12 - 1278749 當—新處理序嘗試加入一群組時，群組内所有成員會被告 知:在啟始時間期間，所有節點被強迫加人該處理序群組口。 透過分散式鎖定2 4 〇來協調群組成員之間的所有磁碟存 取，其中一成員先取得-鎖定，之後才能讀取或變更一共 用磁碟上特以段的資料及/或㈣資料。其巾該群έ且的二 成員為一鎖定管理員；該鎖定管理員知道那一個鎖定被保 持在那-個節點。此方法具有容錯移轉之能力，其可允 將该鎖定管理員移至一存活的節點，即使在只 的案例中亦可持續地有效。 即”"占 =外’也使麟裁（qUGnim)規則以在系統啟動期間保證 可靠度及可用性，而當有通訊失效時，其有可能形成一個 =上^组、。此將造成不同群組中敎管理員做出衝突的鎖 疋决策。為了防止這種狀況’如果能夠存取磁碟的大多數 處理器都不是相關”處理序群組，，的成員，或除非發生本發 明=特殊兩節點需求時，則不允許播案系統操作。還會採 用異動（transaction)記錄26〇。舉例而言，在記錄—項失效 之後，所有資料/中繼資料更新可能造成不—致性。每個節 點各具有所屬記錄檔（lGg)，但其它記錄槽也被儲存在一丘 用磁碟上’所讀使失效，職節點仍可存取料記錄播 亦提供隔離謂面臨問題之系統。因此有能力阻隔一給定處 理器存取一給定磁碟。有一些特定形式的磁碟能力，藉此 允。午即點佔有磁碟的控制權；例如scsi(小電腦系統介 面）保留或SSA(串列健存架構）隔離。阻障係用來辅助復 原。因為復原步驟本質上為連續，且因為其需要在所有節 74546-930817.doc -13- 1278749 點上執行某些復原步驟，”阻障”係暫時用來保證在所有節 點上完成一步驟後，才可繼續執行下一個步驟。 現在明確考慮使用仲裁（quorum)250操作，特別是在Gpps 中實施仲裁（quorum)時。每節點組有一個組態管理員 (Confguration Manager)。該組態管理員選擇檔案系統管理 員（File System Manager)節點，並決定是否存在一仲裁 (quorum)組仲裁（quorum)節點。一組仲裁（quorum)節點為該 才當案系統（GPFS)節點組中必須執行的最小數目節點，才能 使該槽案系統協助程式（daemon)啟動，並繼續檐案系統操 作。仲裁（quorum)係在一節點組内實施，以防止多個節點 皆認為其為檔案系統管理員。由於該權杖管理功能通常駐 存在該檔案系統管理員節點，所以多重節點認為其為系統 管理員可能造成潛在的資料毀損問題。 仲裁（quorum)由群組監視服務（例如IBM RSCT群組服務） 來追縱該仲裁（quorum)狀態係。當一節點加入一 GPFS群組 時，如果尚無仲裁（quorum)，該群組狀態即設定為 INITIAL(起始）。當在該群組中有足夠的節點而得以滿足該 仲裁（quorum)需求時，該群組狀態即改變成ACTIVE(作用中） 狀態。當一GPFS節點處於ACTIVE(作用中）狀態時，可提供 資料。當一節點已經失效時，其狀態被設定為FAILED(失 效），且所有存活的節點終止與其通訊。該檔案系統管理員 隔離該失效節點，其會使得磁碟子系統停止接受來自該失 效節點的磁碟請求。即使其尚未偵測到該通訊失效，該失 效節點亦不能存取該共用磁碟。 74546-930817.doc -14- 1278749 現在將討論本發明之特定細節，其係關於一啟用仲裁 (quorum)功能之單節點型節點組仲裁（quorum)操作時引發 的案例。GPFS於一節點組中實施仲裁（quorum)，藉此防止 兩個節點同時做為一槽案系統的權杖伺服器（token server) 的可能性，這會造成資料毀損。對於具有三個節點或以上 之節點組中實施仲裁（quorum)的情形，其並無改變。在兩 節點型節點組中，提供一種允許多重節點仲裁（quorum)或 單節點仲裁（quomm)等操作的選項。選擇單節點仲裁 (quorum)行為，促使甚至發生對等節點失效，仍然允許兩 節點型節點組中的剩餘節點仍然能繼續發揮功能。 如果實施了多重節點仲裁（quorum)操作，則需維持一仲 裁（quorum)，以便復原失效的節點。如果因節點失效而無 法維護多重節點仲裁（quorum)操作，則重新啟動所有的 GPFS節點，進行復原後嘗試再次達到仲裁（quorum)操作狀 態。因此，在三節點型系統中，某節點失效仍允許兩個剩 餘節點進行復原及繼續操作。這通常是一節點失效仍可能 繼續地操作的最小組態。也就是說，在兩節點型系統中， 如果尚未啟動單節點仲裁（quorum)操作狀態，一節點的失 效意謂著兩個節點重新啟動、進行復原並再次嘗試達到仲 裁（quorum)。此處的失效未必意謂著一整個節點的失效， 而是僅意謂著與該節點之通訊鏈結失效。 然而，如果啟用單節點仲裁（quorum)操作時，則某節點 失效會促使GPFS隔離該失效節點。該目的在於僅有一個節 點繼續操作，而該第二節點在完成復原後，仍可繼續運作， 74546-930817.doc -15- 1278749 此時，兩個節點即可合作操作。只要該隔離操作成功，該 剩餘的節點即可繼續處理。 在單節點仲裁（quorum)操作中，一節點在所屬群組狀態 為ACTIVE(作用中）或SINGLENODE(單節點）時即供應資 料。先前的系統並未利用具有一 SINGLENODE(單節點）狀 態的可能性。具有兩個可用節點的行為並未改變。現在， 僅具有一個可用節點的行為係根據該問題如何發生而定。 如果群組監視服務230回報該GPFS群組中一個成員失效， GPFS即啟動一協定來改變該群組的狀態到 SINGLENODE(單節點）。當該協定成功時，其即隔離另一 個節點並繼續。由SINGLENODE(單節點）狀態轉變到 ACTIVE(作用中）狀態係在其它GPFS回傳時發生。此狀況涵 蓋在該失效節點上與其它軟體通訊之GPFS軟體失效。在本 發明的較佳具體實施例中，在該節點組中的節點之一係指 定為該主要節點，而另一節點則指定為次要節點。如果該 群組監視服務230回報該GPFS群組的一個成員失效，其中 包含該節點的失效，GPFS即提出將成功的主要節點狀態改 變為SINGLENODE(單節點）。然後該主要節點可隔離該次 要節點，並且只要該隔離操作成功即可繼續。如果僅某些 操作成功而其它操作失效，則不能夠被完全隔離的檔案系 統會被卸除（unmount)。該次要節點等待一段時間（例如3分 鐘，其較佳地是任意地選擇一數目），然後決定是否其已經 被隔離。在兩個節點上按相同順序來完成隔離檢查，以達 到一致的決定。在該次要節點上的延遲可防止發生下列狀 74546-930817.doc -16- 1278749 況：當一系列的通訊路徑已經失效的狀況，但是兩個節點 實際上皆已啟動，而且每個節點皆需進行隔離兩個節點 時，因此造成沒有節點會得到服務。如果該次要節點被隔 離，其卸除所有檔案系統，並等待可重新開始兩個節點操 作之通訊。如果其並未隔離時，其假想自己為上述的主要 角色，並隔離其它的節點。有一小段時間發生於，如果該 主要節點被延遲的時間完全相同於兩個節點被隔離的等待 時間，但此可能性相當地小。 當GPFS在一節點上啟動時，其通常會等待一仲裁 (quorum)。如果允許單一節點行為時，在三分鐘之後等待 逾時。如果自動掛上（mount)之任何檔案系統上的GPFS未被 隔離，則該GPFS會隔離其它節點且以SINGLENODE(單節 點）模式繼續操作。如果該GPFS被隔離，則會等待一仲裁 (quorum)。此提供該系統管理員一種方法，藉此在通訊路 徑中斷時啟動一節點。該管理員可手動解除隔離該等節點 之一，並重新啟動GPFS。隔離通常在當兩個節點啟動時即 被清除。 當在一節點上啟動GPFS時，如果其可形成兩節點型群組 時則可自行解除隔離。這意謂著，啟動GPFS需要兩個節點 皆可用，或需要先前已解除隔離該節點。如果GPFS已啟 動，但找不到協力節點（partner)且未被解除隔離，則會延遲 一段時間，再隔離其它的節點，並啟動單一節點操作。在 該多重節點仲裁（quorum)行為中，除了仲裁（quorum)三個狀 態：INITIAL(起始）、ACTIVE(作用中）及 FAILED(失效）， 74546-930817.doc -17- 1278749 還有一新的群組狀態singlen〇de(單節點）被加入來支援 單節點仲裁（quorum)操作。在多重節點仲裁（qU〇nim)操作 中，一節點可在其處於ACTIVE(作用中）狀態時安全地供應 資料’然而在單節點仲裁（qUOrum)操作中，一節點可在該 ACTIVE(作用中）狀態（兩個節點皆可用）及該 SINGLENODE(單節點）狀態（僅有一個節點可用）下來供應 資料。在單節點仲裁（qU〇rum)操作中，該兩節點型節點組 在節點第一次加入該群組時進入一 INITIAL(起始）狀態。如 果仲裁（quorum)在預先定義的延遲内已達成一仲裁 (quorum)，該狀態即轉變到該ACTIVE(作用中）狀態，否則 即嘗試該SINGLENODE(單節點）狀態。 如果一節點能夠隔離其協力節點存取該磁碟，該節點即 成功地從該ACTIVE(作用中）狀態（即在損失該協力節點的 情況下）轉變到該INITIAL(起始）狀態（在起始時間逾期之 後），或轉變到該SINGLENODE(單節點）狀態。一節點狀態 在當其離開該GPFS群組（自願地或由於一些失效）時，從 ACTIVE(作用中）改變到FAILED(失效），並在當隔離該協力 郎點失效’而不能夠實施該單節點仲裁（quorum)協定失效 來隔離該協力節點時，即由SINGLENODE(單節點）改變到 FAILED(失效）。一節點在當該協力節點已經成功地加入該 群組時，也從SINGLENODE(單節點）狀態轉變成ACTIVE(作 用中）狀態。 在兩節點型節點組中，參與的節點具有不同的角色。一 個節點係指定為主要節點，而另一個則指定為次要節點。 74546-930817.doc -18- 1278749 如果兩個節點嘗試彼此隔離，指定主要節點和次要節點允 許對每個節點實施不同的延遲時。該主要節點在瞭解到另 一個節點失效時（透過群組服務通知或通訊到期）之後，即立 即隔離該協力節點，然而該次要節點先延遲一段時間後， 才會嘗試隔離該協力節點。 當本發日月已根據其某些較佳4體實施例來在此處詳細說 明之後，本技藝專業人士可在其中進行許多修正及改變。 因此，所附申請專利範圍係要涵蓋所有落在本發明真正精 神及範圍内的這些修正及改變。 【主要元件符號說明】 100獨立電腦（或節點） 105獨立交換器 110 處理器 120配接器 130記憶體

135 DMA 15 0磁碟機 160檔案結構 170詮釋資料 171目錄 172位置 173配置對應 174超區塊 180檔案给.釋資料 74546-930817.doc -19- 1278749

190 内節點 191 槽案大小 192 存取次數 193 修正次數 194 貧料區塊位址 200 間接區塊 210 資料 220 檔案系統 225 檔案系統核心 230 群組監視服務 240 分散式鎖定 250 特定系統 260 記錄 270 隔離 280 阻障

74546-930817.doc 20-

Claims (1)

1278749 十、申請專利範圍： 1. 一種用以控制存取在一共用 方法’其包含以下步驟： 磁碟平行資料檔案 中資料之 在兩 效； 節點型系統中決定對於一 個郎點的通訊 已經失 決定是否該尚未失效的 (quorum)操作；及 節點已經被啟用為 單節點仲裁 隔離與該失效節點的資 在该測到單節點啟用狀態時 料存取。 2. 步驟之 藉以指 如申請專利範圍第丨項之方法，其中在該等決定 間’該未受影響節點之檔案狀態指示器被切換， 示單節點操作。 3. 如申請專利範圍第丨項之方法，其中該等兩個節點分別被 指定為主要節點及次要節點，而其中當該次要節點偵測 到其已經被隔離時，該次要節點即等待一段預定的日, 間，然後設定一資料位元來指示其已經被隔離。 4. 如申請專利範圍第3項之方法，其中在設定該資料仅元來 指示該次要節點已經被隔離時，該次要節點即卸除所有 的稽案系統，並等待一指示兩節點操作可能的信號。 74546-930817.doc