TWI544342B - 伺服器品質驗證方法及其系統 - Google Patents

伺服器品質驗證方法及其系統 Download PDF

Info

Publication number
TWI544342B
TWI544342B TW102146708A TW102146708A TWI544342B TW I544342 B TWI544342 B TW I544342B TW 102146708 A TW102146708 A TW 102146708A TW 102146708 A TW102146708 A TW 102146708A TW I544342 B TWI544342 B TW I544342B
Authority
TW
Taiwan
Prior art keywords
server
servers
computing platform
mapping
operations
Prior art date
Application number
TW102146708A
Other languages
English (en)
Other versions
TW201525707A (zh
Inventor
江敏魁
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW102146708A priority Critical patent/TWI544342B/zh
Priority to CN201410004696.5A priority patent/CN104717091B/zh
Priority to US14/165,464 priority patent/US9537941B2/en
Publication of TW201525707A publication Critical patent/TW201525707A/zh
Application granted granted Critical
Publication of TWI544342B publication Critical patent/TWI544342B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Environmental & Geological Engineering (AREA)

Description

伺服器品質驗證方法及其系統
本發明是有關於一種伺服器品質驗證方法及其系統，且特別是有關於一種用於驗證建構於伺服器叢集中的多個伺服器的伺服器品質驗證方法及其系統。
近年來，隨著網際網路的快速發展、軟體與硬體的技術提升，許多企業對於資訊服務的需求越來越高，因此透過網際網路(Internet)結合大量的伺服器以形成高速運算與具備大量儲存能力的整合式電腦廣為各企業所使用。對於伺服器的製造商而言，伺服器也進入量產化的趨勢。亦即，在伺服器的功能與結構上也越來越複雜，相對在驗證伺服器品質上的困難度也越來越高。
傳統上，當伺服器仍以單台獨自運作時，在伺服器品質的驗證上，每一伺服器的功能驗證方式皆是獨立設計的，因此在同樣一個機房運行多台伺服器時，也不會有問題出現。然而，現今的伺服器主要是以刀鋒伺服器(Blade Server)或機架式(Rack Mount)的伺服器類型為主，伺服器之間往往有許多資源是互相連 結與分享的，也就是說，伺服器上的服務不再是單台伺服器就可以完成，然而，目前，在伺服器驗證產業上，伺服器品質驗證仍停留在單台的硬體、韌體以及軟體的驗證。據此，如何在大量伺服器運作下，維持每一伺服器的穩定性，並且在驗證伺服器叢集中的大量伺服器下，提供更高的品質驗證效能，已成為現今伺服器驗證產業的重要課題。
本發明提供一種伺服器品質驗證方法及其系統，其能夠透過雲端運算平台，同時對伺服器叢集中之大量的伺服器進行驗證，以確保伺服器的品質。
本發明提出一種用於驗證建構於一伺服器叢集中的多個伺服器的伺服器品質驗證方法，此方法包括：在此伺服器叢集中的伺服器安裝雲端運算平台，其中此雲端運算平台包括雲端運算平台檔案系統以及映射化簡框架；在此雲端運算平台檔案系統內建立輸入檔案資料夾並且儲存運算資料至輸入檔案資料夾；透過此些伺服器建立對應其運算工作的多個映射化簡運算工作，存取輸入檔案資料夾的運算資料，並分散式地利用映射化簡框架執行映射化簡運算工作，以獲得多個運算結果；以及儲存與分析此些運算結果以驗證每一伺服器的品質。
在本發明的一實施例中，上述的伺服器更包括主伺服器與多個節點伺服器，其中透過此些伺服器建立對應其運算工作的 多個映射化簡運算工作，存取輸入檔案資料夾的運算資料，並分散式地利用映射化簡框架執行映射化簡運算工作，以獲得多個運算結果的步驟包括：透過主伺服器將運算工作拆解為多個映射化簡運算工作；將此些映射化簡運算工作分配給主伺服器與多個節點伺服器；以及透過主伺服器與多個節點伺服器來分別地執行此些映射化簡運算工作。
在本發明的一實施例中，上述的伺服器品質驗證方法更包括：在伺服器叢集中的伺服器安裝雲端運算平台之後，將主伺服器的名稱與多個節點伺服器的名稱寫入至對應設定檔；重新啟動安裝於此些伺服器中的雲端運算平台；判斷多個節點伺服器是否與主伺服器連線；以及倘若此些多個節點伺服器與主伺服器未連線時，則重新啟動雲端運算平台。
在本發明的一實施例中，上述的雲端運算平台更包括分散式資料儲存系統，其中儲存運算結果的步驟包括將運算結果傳送至分散式資料儲存系統以及將運算結果存入資料庫。
在本發明的一實施例中，上述的分析運算結果以驗證每一伺服器之品質的步驟包括根據伺服器叢集執行完運算工作後所產生的登錄檔，判斷運算工作被執行時每一伺服器的運作狀況。
在本發明的一實施例中，上述的透過主伺服器與多個節點伺服器來分別地執行此些映射化簡運算工作的步驟包括：透過主伺服器與多個節點伺服器來從輸入檔案資料夾讀取運算資料並對此運算資料執行此些映射化簡運算工作中的多個映射運算；以 及透過主伺服器與多個節點伺服器來依據運算結果執行此些映射化簡運算工作中的多個化簡程序。
在本發明的一實施例中，上述的運算工作為開根號運算。
本發明提出一種用於驗證建構於一伺服器叢集中的多個伺服器的伺服器品質驗證系統，其包括運算平台安裝模組、檔案與資料建立模組、伺服器運算模組、運算結果處理模組以及運算結果分析模組，其中運算平台安裝模組用以將雲端運算平台安裝於多個伺服器中且此雲端運算平台包括雲端運算平台檔案系統與映射化簡框架；檔案與資料建立模組用以在雲端運算平台檔案系統內建立輸入檔案資料夾並且用以儲存運算資料於此輸入檔案資料夾中；伺服器運算模組用以控制每一伺服器建立對應運算工作的多個映射化簡運算工作，以存取輸入檔案資料夾的運算資料，並且分散式地利用映射化簡框架執行映射化簡運算工作，以獲得多個運算結果；運算結果處理模組用以處理與儲存運算結果；以及運算結果分析模組用以分析運算結果以驗證每一伺服器的品質。
在本發明的一實施例中，上述的伺服器包括主伺服器與多個節點伺服器。
在本發明的一實施例中，上述的伺服器運算模組更用以控制主伺服器將映射化簡運算工作分配給主伺服器與多個節點伺服器，以及伺服器運算模組更用以控制主伺服器與多個節點伺服器分別地執行映射化簡運算工作。
在本發明的一實施例中，上述的伺服器品質驗證系統更 包括伺服器設定模組，其中此伺服器設定模組用以在伺服器叢集中的多個伺服器安裝雲端運算平台之後，將主伺服器與多個節點伺服器的名稱寫入對應的設定檔，並且伺服器設定模組更用以重新啟動安裝於多個伺服器中的雲端運算平台以及判斷多個節點伺服器是否與主伺服器連線，其中倘若多個節點伺服器與主伺服器未連線時，則伺服器設定模組會重新啟動雲端運算平台。
在本發明的一實施例中，上述的雲端運算平台更包括分 散式資料儲存系統。
在本發明的一實施例中，上述的運算結果處理模組更用 以將運算結果傳送至分散式資料儲存系統以及將運算結果存入資料庫。
在本發明的一實施例中，上述的運算結果分析模組更用 以根據伺服器叢集執行完運算工作後所產生的登錄檔，判斷運算工作被執行時每一伺服器的運作狀況。
在本發明的一實施例中，上述的伺服器運算模組更用以 控制主伺服器與多個節點伺服器從輸入檔案資料夾讀取運算資料並對運算資料執行映射化簡運算工作中的多個映射運算，以及控制主伺服器與多個節點伺服器依據此運算結果執行映射化簡運算工作中的多個化簡程序。
在本發明的一實施例中，上述的運算工作為開根號運算。
基於上述，本發明的伺服器品質驗證方法及其系統透過 雲端運算平台將大量的伺服器串接，以達到同時地對伺服器叢集中之大量的伺服器進行整合性地品質驗證，並且有效地提升驗證伺服器品質的效能。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧伺服器品質驗證系統與架構
102‧‧‧微處理器
104‧‧‧暫存記憶體
106‧‧‧通訊模組
110‧‧‧伺服器叢集
112‧‧‧主伺服器
114-1‧‧‧第一節點伺服器
114-2‧‧‧第二節點伺服器
114-3‧‧‧第三節點伺服器
114-4‧‧‧第四節點伺服器
120‧‧‧伺服器品質驗證系統
122‧‧‧運算平台安裝模組
124‧‧‧檔案與資料建立模組
126‧‧‧伺服器運算模組
128‧‧‧運算結果處理模組
130‧‧‧運算結果分析模組
132‧‧‧伺服器設定模組
140‧‧‧網路
200‧‧‧雲端運算平台
202‧‧‧雲端運算平台檔案系統
202a‧‧‧名稱節點
202b‧‧‧次名稱節點
202c‧‧‧資料節點
204‧‧‧映射化簡框架
204a‧‧‧作業追蹤模組
204b‧‧‧工作追蹤模組
206‧‧‧分散式資料儲存系統
S401、S403、S405‧‧‧伺服器品與雲端運算平台的設定檔的設定方法的步驟
S501、S503、S505‧‧‧伺服器品質驗證的運算工作分配方法的步驟
S601、S603、S605、S607、S609‧‧‧伺服器品質驗證方法的步驟
圖1是根據本發明一範例實施例所繪示之伺服器品質驗證系統與架構的方塊圖。
圖2是根據本發明一範例實施例所繪示之雲端運算平台的方塊圖。
圖3是根據本發明一範例實施例所繪示之安裝有雲端運算平台的伺服器叢集架構的方塊圖。
圖4是根據本發明一範例實施例所繪示之伺服器品與雲端運算平台的設定檔的設定方法的流程圖。
圖5是根據本發明一範例實施例所繪示之伺服器品質驗證的運算工作分配方法的流程圖。
圖6是根據本發明一範例實施例所繪示之伺服器品質驗證方法的流程圖。
為了能夠提升伺服器叢集的驗證品質及效能，本發明使用雲端運算平台將大量的伺服器串接，由此可對伺服器叢集中多台伺服器同時地進行品質驗證。基此，使得伺服器品質驗證的效能得以提升，並且透過整合性的驗證以確保每一伺服器的品質。
圖1是根據本發明一範例實施例所繪示之伺服器品質驗證系統與架構的方塊圖。必須了解的是，圖1的範例僅是為了方便說明，並不用以限制本發明。
請參照圖1，伺服器品質驗證系統與架構100包括伺服器叢集110以及伺服器品質驗證系統120。伺服器叢集110包括一個主伺服器112、第一節點伺服器114-1、第二節點伺服器114-2、第三節點伺服器114-3以及第四節點伺服器114-4。必須了解的是，本範例一個主伺服器與4個節點伺服器為例進行說明，但本發明並不限於此。例如，伺服器品質驗證系統與架構100可包括多個伺服器叢集，且每一伺服器叢集可具有更多個伺服器。
主伺服器112、第一節點伺服器114-1、第二節點伺服器114-2、第三節點伺服器114-3以及第四節點伺服器114-4是透過網路140與彼此連接。在此，網路140可以是有線網路或無線網路。
伺服器品質驗證系統120透過網路140連接至主伺服器112、第一節點伺服器114-1、第二節點伺服器114-2、第三節點伺服器114-3以及第四節點伺服器114-4，並且用以驗證建構於伺服器叢集110中的第一節點伺服器114-1、第二節點伺服器114-2、 第三節點伺服器114-3以及第四節點伺服器114-4。
伺服器品質驗證系統120包括微處理器102、暫存記憶體104、通訊模組106、運算平台安裝模組122、檔案與資料建立模組124、伺服器運算模組126、運算結果處理模組128、運算結果分析模組130以及伺服器設定模組132。
微處理器102用以控制伺服器品質驗證系統120的整體運作。例如，微處理器102為中央處理器(Central Processing Unit，CPU)。特別是，微處理器102會下達指令給伺服器品質驗證系統120，以對伺服器群集110進行品質驗證。
暫存記憶體104耦接至微處理器102，並且用以暫存微處理器102所執行的指令或資料。例如，在本範例實施例中，暫存記憶體102可以是動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)、靜態隨機存取記憶體(Static Random Access Memory，SRAM)等。然而，必須瞭解的是，本發明不限於此，暫存記憶體104也可以是其他適合的記憶體。
通訊模組106耦接至微處理器102，用以與伺服器叢集110的的伺服器通訊。例如，通訊模組106可以是有線或無線通訊模組。
圖2是根據本發明一範例實施例所繪示之雲端運算平台的方塊圖。
請參照圖2，雲端運算平台200是以Hadoop為基礎之可提供大量資料之分散式運算的環境。雲端運算平台200包括雲端 運算平台檔案系統(Hadoop Distributed File System，HDFS)202、映射化簡框架(MapReduce)204以及分散式資料儲存系統(Hive)206。
具體而言，雲端運算平台檔案系統202提供大量的儲存空間，並且用以存放雲端運算平台200中大量的資料或運算時所產生的暫存檔案。
映射化簡框架204建構在雲端運算平台檔案系統202之上，用以對伺服器叢集中儲存於雲端運算平台檔案系統202的大量資料執行分散式運算，例如，搜尋、索引與排序，大型資料集的資料採礦，以及大型網站的網站存取分析等應用。
分散式資料儲存系統206用以管理存放於雲端運算平台檔案系統202的資料，例如，透過對分散式資料儲存系統206執行根據SQL發展的查詢語言可查詢存放於雲端運算平台檔案系統202的資料。
在本範例實施例中，運算平台安裝模組122用以將圖2所示的雲端運算平台200安裝於伺服器叢集中的主伺服器112、第一節點伺服器114-1、第二節點伺服器114-2、第三節點伺服器114-3以及第四節點伺服器114-4。
圖3是根據本發明一範例實施例所繪示之安裝有雲端運算平台的伺服器叢集架構的方塊圖。
請參照圖3，在運算平台安裝模組122將雲端運算平台200安裝於伺服器叢集110中的每一伺服器後，主伺服器112與每 一節點伺服器(114-1~114-4)上會具有如圖3所示的架構。具體而言，主伺服器112會包括由雲端運算平台檔案系統202所提供的名稱節點(NameNode)202a與次名稱節點(Secondary NameNode)以及由映射化簡框架204所提供的作業追蹤(JobTracker)204a。並且，每一節點伺服器(114-1~114-4)會包括由雲端運算平台檔案系統202所提供的資料節點(DataNode)202c與由映射化簡框架204所提供的工作追蹤模組(TaskTracker)204b。
請再參照圖1，檔案與資料建立模組124用以在雲端運算平台檔案系統202內建立一輸入檔案資料夾並且儲存運算資料在此輸入檔案資料夾內。
伺服器運算模組126用以控制每一節點伺服器(114-1~114-4)來建立對應一運算工作的多個映射化簡運算工作，並存取輸入檔案資料夾內的運算資料以分散式地利用映射化簡框架204執行映射化簡運算工作，來獲得多個運算結果。
運算結果處理模組128用以處理與儲存上述的運算結果。
運算結果分析模組130用以分析上述的運算結果以驗證每一節點伺服器(114-1~114-4)的品質。
圖4是根據本發明一範例實施例所繪示之伺服器品與雲端運算平台的設定檔的設定方法的流程圖。
請參照圖4，在步驟S401中，伺服器設定模組132會在伺服器叢集110中的所有伺服器安裝完雲端運算平台200之後，將主伺服器112與節點伺服器(114-1~114-4)的名稱寫入對應的設 定檔。舉例來說，伺服器設定模組132會將主伺服器112與每一節點伺服器(114-1~114-4)的IP位址與名稱寫入位於主伺服器112中%WinDir%\system32\drivers\etc路徑下的hosts檔案，並且在C：\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\路徑下的master與slaves檔案中分別地寫入主伺服器112的名稱與每一節點伺服器(114-1~114-4)的名稱。
在本範例實施例中，雲端運算平台的設定檔更包括同樣 位於C：\Hadoop\hadoop-1.1.0-SNAPSHOT\conf\路徑下的core-site.xml、mapred-site.xml及hdfs-site.xml。因此，在步驟S401中，伺服器設定模組132還會將主伺服器112與每一節點伺服器(114-1~114-4)中的此些設定檔中所有的本地主機(localhost)名稱，皆設成主伺服器112的名稱。
接著，在步驟S403中，伺服器設定模組132會重新啟動 安裝於每一伺服器中的雲端運算平台200。
之後，在步驟S405中，伺服器設定模組132會判斷每一 節點伺服器(114-1~114-4)是否與主伺服器112連線。倘若伺服器設定模組132判斷每一節點伺服器(114-1~114-4)與主伺服器112未連線時，則返回步驟S403中，伺服器設定模組132會重新啟動每一伺服器中的雲端運算平台200。
圖5是根據本發明一範例實施例所繪示之伺服器品質驗證的運算工作分配方法的流程圖。
請參照圖5，在步驟S501中，伺服器運算模組126會控 制主伺服器112將運算工作拆解為多個映射化簡運算工作。
在步驟S503中，伺服器運算模組126更用以控制主伺服 器中的作業追蹤模組204a將多個映射化簡運算工作分配給每一節點伺服器(114-1~114-4)中的工作追蹤模組204b。
接著，在步驟S505中，伺服器運算模組126會控制每一 節點伺服器(114-1~114-4)中的工作追蹤模組204b分別地執行所分配到的映射化簡運算工作。
值得一提的是，在本範例實施例中，在步驟S505中的映 射化簡運算工作是由映射運算(Mapper)與化簡程序(Reducer)所組成。特別是，伺服器運算模組126會控制每一節點伺服器(114-1~114-4)從輸入檔案資料夾讀取運算資料並對運算資料執行映射化簡運算工作中的多個映射運算，以及控制每一節點伺服器(114-1~114-4)依據運算結果執行映射化簡運算工作中的多個化簡程序。
在本範例實施例中，運算結果處理模組128更用以將運 算結果傳送至分散式資料儲存系統206以及將運算結果存入資料庫。具體而言，分散式資料儲存系統206可更包括一資料庫(Hbase)(未繪示)，此資料庫為架構在分散式資料儲存系統206上的分散式資料庫，用以儲存分散式資料及運算結果。
在本發明的另一範例實施例中，運算結果分析模組130 更用以根據伺服器叢集110執行完運算工作後所產生的登錄檔，判斷運算工作被執行時每一節點伺服器(114-1~114-4)的運作狀 況。
圖6是根據本發明一範例實施例所繪示之伺服器品質驗 證方法的流程圖。
請參照圖6，首先，在步驟S601中，運算平台安裝模組 122會在伺服器叢集110中的每一伺服器上安裝一雲端運算平台200。
接著，在步驟S603中，檔案與資料建立模組124會在雲 端運算平台檔案系統202內建立輸入檔案資料夾並且儲存運算資料至輸入檔案資料夾內。例如，檔案與資料建立模組124會使用雲端運算平台外殼指令(Hadoop shell)“hadoop fs-mkdir Input/sqrt”在雲端運算平台檔案系統202上建立輸入檔案資料夾，以及使用“hadoop fs-put‘filelist’Input/sqrt”將運算資料儲存在此輸入檔案資料夾內。此時，輸入檔案資料夾會分散在每一伺服器的雲端運算平台檔案系統202上。
在步驟S605中，伺服器運算模組126會控制每一節點伺 服器(114-1~114-4)來建立對應一運算工作的多個映射化簡運算工作，並存取輸入檔案資料夾內的運算資料以分散式地利用映射化簡框架204執行映射化簡運算工作，來獲得多個運算結果。
例如，在本發明一範例實施例中，伺服器運算模組126 利用映射化簡框架204執行運算資料的開根號運算。具體來說，伺服器運算模組126會控制每一節點伺服器(114-1~114-4)的資料節點202c來存取輸入檔案資料夾內的運算資料。特別是，映射化 簡運算工作是由映射運算與化簡程序所組成，在執行映射運算時，伺服器運算模組126會控制每一節點伺服器(114-1~114-4)的工作追蹤模組204b執行輸入檔案資料夾內數字資料的開根號運算，並且在化簡程序中，將運算結果做統計與排列。值得一提的是，運算資料的分配是透過伺服器運算模組126控制主伺服器中的作業追蹤模組204a將多個映射化簡運算工作分配給每一節點伺服器(114-1~114-4)中的工作追蹤模組204b，以使得每一節點伺服器(114-1~114-4)有均勻的工作量。
在步驟S607中，運算結果處理模組128會儲存此些運算 結果。具體而言，運算結果處理模組128會使用分散式資料儲存系統指令(Hive command)“LOAD DATA INPATH‘Output/sqrt’INTO TABLE SquireRoot”把運算結果寫入位於分散式資料儲存系統206上的資料庫。特別是，透過對分散式資料儲存系統206執行根據SQL發展的查詢語言可查詢存放於資料庫內的運算結果。例如，運算結果處理模組128會使用指令“SELECT * FROM SquireRoot SORT BY key”來讀取運算結果，以確定運算結果有被正確的寫入。
之後，在步驟S609中，運算結果分析模組132會透過分析此些運算結果來驗證每一節點伺服器(114-1~114-4)的品質。
綜上所述，本發明的伺服器品質驗證方法會將運算資料先存放於雲端運算平台上的雲端運算平台檔案系統，因此運算資料可被分散在伺服器叢集中的各個伺服器上，使得每一伺服器必 須不斷地透過網路來交換訊息，基此，透過此方法可測試整個大量伺服器叢集內每一伺服器的運算、網路溝通、記憶體存取以及儲存裝置讀寫等綜合性的驗證，以確保伺服器的品質。此外，本發明透過雲端運算平台將大量的伺服器串接，來同時地對伺服器叢集中之大量的伺服器進行整合性地品質驗證，可有效地提升驗證的效能，並且更透過運算執行完成後所產生的登錄檔取得每一伺服器的運作狀況，以提升伺服器的運作品質。
S601、S603、S605、S607、S609‧‧‧伺服器品質驗證方法的步驟

Claims (14)

  1. 一種伺服器品質驗證方法，用於驗證建構於一伺服器叢集中的多個伺服器，該伺服器品質驗證方法包括：在該伺服器叢集中的該些伺服器安裝一雲端運算平台，其中該雲端運算平台包括一雲端運算平台檔案系統以及一映射化簡框架；在該雲端運算平台檔案系統內建立一輸入檔案資料夾並且儲存一運算資料至該輸入檔案資料夾；透過該些伺服器建立對應一運算工作的多個映射化簡運算工作，存取該輸入檔案資料夾的該運算資料，並分散式地利用該映射化簡框架執行該些映射化簡運算工作，以獲得多個運算結果；儲存該些運算結果；以及分析該些運算結果以驗證每一該些伺服器的一品質。
  2. 如申請專利範圍第1項所述之伺服器品質驗證方法，其中該些伺服器包括一主伺服器與多個節點伺服器，其中透過該些伺服器建立對應該運算工作的該些映射化簡運算工作，存取該輸入檔案資料夾的該運算資料，並分散式地利用該映射化簡框架執行該些映射化簡運算工作，以獲得該些運算結果的步驟包括：透過該主伺服器將該運算工作拆解為該些映射化簡運算工作；將該些映射化簡運算工作分配給該些節點伺服器；以及 透過該些節點伺服器來分別地執行該些映射化簡運算工作。
  3. 如申請專利範圍第2項所述之伺服器品質驗證方法，更包括：在該伺服器叢集中的該些伺服器安裝該雲端運算平台之後，將該主伺服器的名稱與該些節點伺服器的名稱寫入至一對應設定檔；重新啟動安裝於該些伺服器中的該雲端運算平台；判斷該些節點伺服器是否與該主伺服器連線；以及倘若該些節點伺服器與該主伺服器未連線時，則重新啟動該雲端運算平台。
  4. 如申請專利範圍第3項所述之伺服器品質驗證方法，其中該雲端運算平台更包括一分散式資料儲存系統，其中儲存該些運算結果的步驟包括：將該運算結果傳送至該分散式資料儲存系統以及將該些運算結果存入一資料庫。
  5. 如申請專利範圍第4項所述之伺服器品質驗證方法，其中分析該些運算結果以驗證每一該些伺服器的品質的步驟包括：根據該伺服器叢集執行完該運算工作後所產生之一登錄檔，判斷該運算工作被執行時每一該些伺服器的運作狀況。
  6. 如申請專利範圍第2項所述之伺服器品質驗證方法，其中透過該主伺服器與該些節點伺服器來分別地執行該些映射化簡運算工作的步驟包括： 透過該些節點伺服器來從該輸入檔案資料夾讀取該運算資料並對該運算資料執行該些映射化簡運算工作中的多個映射運算；以及透過該些節點伺服器來依據該運算結果執行該些映射化簡運算工作中的多個化簡程序。
  7. 如申請專利範圍第6項所述之伺服器品質驗證方法，其中該運算工作為一開根號運算。
  8. 一種伺服器品質驗證系統，用於驗證建構於一伺服器叢集中的多個伺服器，該系統包括：一運算平台安裝模組，用以將一雲端運算平台安裝於該些伺服器中，其中該雲端運算平台包括一雲端運算平台檔案系統以及一映射化簡框架；一檔案與資料建立模組，用以在該雲端運算平台檔案系統內建立一輸入檔案資料夾並且儲存一運算資料在該輸入檔案資料夾；一伺服器運算模組，用以控制每一該些伺服器建立對應一運算工作的多個映射化簡運算工作，以存取該輸入檔案資料夾的該運算資料，並且分散式地利用該映射化簡框架執行該些映射化簡運算工作，以獲得多個運算結果；一運算結果處理模組，用以處理與儲存該些運算結果；以及一運算結果分析模組，用以分析該些運算結果以驗證每一該些伺服器的一品質。
  9. 如申請專利範圍第8項所述之伺服器品質驗證系統，其中該些伺服器包括一主伺服器與多個節點伺服器，其中該伺服器運算模組更用以控制該主伺服器將該運算工作拆解為該些映射化簡運算工作，其中該伺服器運算模組更用以控制該主伺服器將該些映射化簡運算工作分配給該些節點伺服器，其中該伺服器運算模組更用以控制該些節點伺服器分別地執行該些映射化簡運算工作。
  10. 如申請專利範圍第9項所述之伺服器品質驗證系統，該系統更包括一伺服器設定模組，其中該伺服器設定模組用以在該伺服器叢集中的該些伺服器安裝該雲端運算平台之後，將該主伺服器與該些節點伺服器的名稱寫入對應的設定檔，其中該伺服器設定模組更用以重新啟動安裝於該些伺服器中的該雲端運算平台，其中該伺服器設定模組更用以判斷該些節點伺服器是否與該主伺服器連線，其中倘若該些節點伺服器與該主伺服器未連線時，則該伺服器設定模組重新啟動該雲端運算平台。
  11. 如申請專利範圍第10項所述之伺服器品質驗證系統，其中該雲端運算平台更包括一分散式資料儲存系統，其中該運算結果處理模組更用以將該運算結果傳送至該分散式資料儲存系統以及將該些運算結果存入一資料庫。
  12. 如申請專利範圍第11項所述之伺服器品質驗證系統，其中該運算結果分析模組更用以根據該伺服器叢集執行完該運算工作後所產生之一登錄檔，判斷該運算工作被執行時每一該些伺服器的一運作狀況。
  13. 如申請專利範圍第9項所述之伺服器品質驗證系統，其中該伺服器運算模組更用以控制該些節點伺服器從該輸入檔案資料夾讀取該運算資料並對該運算資料執行該些映射化簡運算工作中的多個映射運算，其中該伺服器運算模組更用以控制該些節點伺服器依據該運算結果執行該些映射化簡運算工作中的多個化簡程序。
  14. 如申請專利範圍第13項所述之伺服器品質驗證系統，其中該運算工作為一開根號運算。
TW102146708A 2013-12-17 2013-12-17 伺服器品質驗證方法及其系統 TWI544342B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102146708A TWI544342B (zh) 2013-12-17 2013-12-17 伺服器品質驗證方法及其系統
CN201410004696.5A CN104717091B (zh) 2013-12-17 2014-01-06 服务器品质验证方法及其系统
US14/165,464 US9537941B2 (en) 2013-12-17 2014-01-27 Method and system for verifying quality of server

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102146708A TWI544342B (zh) 2013-12-17 2013-12-17 伺服器品質驗證方法及其系統

Publications (2)

Publication Number Publication Date
TW201525707A TW201525707A (zh) 2015-07-01
TWI544342B true TWI544342B (zh) 2016-08-01

Family

ID=53369830

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102146708A TWI544342B (zh) 2013-12-17 2013-12-17 伺服器品質驗證方法及其系統

Country Status (3)

Country Link
US (1) US9537941B2 (zh)
CN (1) CN104717091B (zh)
TW (1) TWI544342B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6129290B1 (ja) 2015-12-24 2017-05-17 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 分散計算におけるアプリケーションパラメータ設定およびシステム仕様設定を推奨する方法およびシステム
CN111176567B (zh) * 2019-12-25 2023-11-03 上海新沄信息科技有限公司 分布式云存储的存储供应量验证方法及装置
CN113343185B (zh) * 2021-08-02 2021-10-22 统信软件技术有限公司 一种客户端应用的授权方法、计算设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6745310B2 (en) * 2000-12-01 2004-06-01 Yan Chiew Chow Real time local and remote management of data files and directories and method of operating the same
US20020124137A1 (en) * 2001-01-29 2002-09-05 Ulrich Thomas R. Enhancing disk array performance via variable parity based load balancing
US20020138559A1 (en) * 2001-01-29 2002-09-26 Ulrich Thomas R. Dynamically distributed file system
JP2003140988A (ja) 2001-10-30 2003-05-16 Ando Electric Co Ltd 動画配信サーバ負荷試験装置
WO2005091141A1 (en) * 2004-03-19 2005-09-29 Zakrytoe Aktsionernoe Obschestvo 'intel A/O' Failover and load balancing
US8280994B2 (en) * 2006-10-27 2012-10-02 Rockstar Bidco Lp Method and apparatus for designing, updating and operating a network based on quality of experience
US7904508B2 (en) 2008-10-24 2011-03-08 Microsoft Corporation Providing functionality to client services by implementing and binding contracts
US9449090B2 (en) * 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US8402250B1 (en) * 2010-02-03 2013-03-19 Applied Micro Circuits Corporation Distributed file system with client-side deduplication capacity
US9026499B1 (en) * 2011-03-31 2015-05-05 Emc Corporation System and method for recovering file systems by restoring partitions
US8713282B1 (en) * 2011-03-31 2014-04-29 Emc Corporation Large scale data storage system with fault tolerance
US8756249B1 (en) * 2011-08-23 2014-06-17 Emc Corporation Method and apparatus for efficiently searching data in a storage system
US8825626B1 (en) * 2011-08-23 2014-09-02 Emc Corporation Method and system for detecting unwanted content of files
US20130124483A1 (en) 2011-11-10 2013-05-16 Treasure Data, Inc. System and method for operating a big-data platform
US8639669B1 (en) * 2011-12-22 2014-01-28 Emc Corporation Method and apparatus for determining optimal chunk sizes of a deduplicated storage system
US8712963B1 (en) * 2011-12-22 2014-04-29 Emc Corporation Method and apparatus for content-aware resizing of data chunks for replication
US9207988B2 (en) * 2012-06-29 2015-12-08 Intel Corporation Method, system, and device for managing server hardware resources in a cloud scheduling environment
US8862818B1 (en) * 2012-09-27 2014-10-14 Emc Corporation Handling partial stripe writes in log-structured storage
US9298726B1 (en) * 2012-10-01 2016-03-29 Netapp, Inc. Techniques for using a bloom filter in a duplication operation
CN103064728A (zh) * 2012-12-13 2013-04-24 河南工业大学 一种MapReduce任务的容错调度方法
CN103414761B (zh) * 2013-07-23 2017-02-08 北京工业大学 一种基于Hadoop架构的移动终端云资源调度方法

Also Published As

Publication number Publication date
CN104717091B (zh) 2018-04-17
US20150172131A1 (en) 2015-06-18
TW201525707A (zh) 2015-07-01
US9537941B2 (en) 2017-01-03
CN104717091A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN109416643B (zh) 应用程序迁移系统
US10169413B2 (en) Scalable acceleration of database query operations
US10212031B2 (en) Intelligent configuration discovery techniques
CN107818112B (zh) 一种大数据分析作业系统及任务提交方法
US20170337224A1 (en) Targeted Processing of Executable Requests Within A Hierarchically Indexed Distributed Database
WO2017072933A1 (ja) 計算機システムの管理システム及び管理方法
JP2018088293A (ja) 単一テナント及び複数テナント環境を提供するデータベースシステム
US20140032595A1 (en) Contention-free multi-path data access in distributed compute systems
Essa et al. Mobile agent based new framework for improving big data analysis
CN109063077B (zh) 一种基于弹性搜索的数据访问方法及装置
WO2020052379A1 (zh) 分布式存储系统中处理对象的元数据的方法及装置
CN111917587B (zh) 利用服务系统进行网络服务管理的方法及服务系统
CN112204544B (zh) 动态分布式数据聚类
JP2001134526A (ja) 論理区画クラスタに資源を割り当てる方法および装置
CN108958744B (zh) 大数据分布式集群的部署方法、装置、介质及电子设备
CN108287894B (zh) 数据处理方法、装置、计算设备及存储介质
US9747333B2 (en) Querying operating system state on multiple machines declaratively
US11228490B1 (en) Storage management for configuration discovery data
US9898273B1 (en) Dynamically updating APIS based on updated configuration file of a computing system
TWI544342B (zh) 伺服器品質驗證方法及其系統
US20090313230A1 (en) Computing job information managing device, terminal, and computing job information managing system
US11222072B1 (en) Graph database management system and method for a distributed computing environment
JP2020191100A (ja) システム及びその制御方法並びにプログラム
US10824640B1 (en) Framework for scheduling concurrent replication cycles
US20240004750A1 (en) Remote scalable machine check architecture

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees