TW202132990A - 記錄信息量方法及其系統 - Google Patents

記錄信息量方法及其系統 Download PDF

Info

Publication number
TW202132990A
TW202132990A TW109105736A TW109105736A TW202132990A TW 202132990 A TW202132990 A TW 202132990A TW 109105736 A TW109105736 A TW 109105736A TW 109105736 A TW109105736 A TW 109105736A TW 202132990 A TW202132990 A TW 202132990A
Authority
TW
Taiwan
Prior art keywords
monitoring data
storage
adjustment mechanism
monitoring
recording
Prior art date
Application number
TW109105736A
Other languages
English (en)
Other versions
TWI778329B (zh
Inventor
楊伯安
Original Assignee
香港商希瑞科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商希瑞科技股份有限公司 filed Critical 香港商希瑞科技股份有限公司
Priority to TW109105736A priority Critical patent/TWI778329B/zh
Priority to CN202010307334.9A priority patent/CN113296596A/zh
Priority to US16/867,327 priority patent/US11593019B2/en
Publication of TW202132990A publication Critical patent/TW202132990A/zh
Application granted granted Critical
Publication of TWI778329B publication Critical patent/TWI778329B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0754—Error or fault detection not based on redundancy by exceeding limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/78—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure storage of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申請公開了一種記錄信息量方法及其系統，適用於一資料儲存系統。監測單元用以偵測和監視資料儲存系統中儲存節點的運作，以產生相應的一或多個監測資料；經由記錄處理單元用以接收一或多個監測資料，並根據一或多個監測資料的內容差異，給予一或多個標識記錄，根據所存放的標識記錄進行調節機制，進而有效地減少監控所產生的大量資料。

Description

記錄信息量方法及其系統
本申請有關於一種記錄信息量方法及其系統，特別是一種在資料儲存系統中記錄信息量的記錄信息量方法及其系統。
圖1顯示習知的儲存系統1的系統方塊圖，儲存系統1包括控制管理介面10和複數儲存節點(例如，圖1中所示第一儲存節點11、第二儲存節點12和第三儲存節點13)，每個儲存節點包括複數個儲存元件，用以儲存檔案、資料或軟體等，上述儲存元件可為SSD、IDE或SATA等類型的硬碟。其中，複數儲存節點之集合，稱之為叢集(cluster)。當控制管理介面10接收到一儲存信息時，會根據各節點的儲存狀態，將儲存信息存放於較為空閒的儲存節點當中。上述之控制管理介面通常會用SAMBA（是種用來讓UNIX系列的作業系統與微軟Windows作業系統的SMB/CIFS（Server Message Block/Common Internet File System）網路協定做連結的自由軟體）、RBD（ Distributed Block Device）、SWIFT等監控及管理方式來最佳化調節上述複數儲存節點和儲存信息間的儲存狀態，且控制管理介面10更根據每個儲存節點的儲存狀態，以在各儲存節點間進行檔案、資料或物件間的轉存、複製或壓縮等運作，更進一步而言是作重新配重(reweight)，並監控和記錄每個運作以產生系統監控資料，同時，維持每個儲存節點的最佳運作狀態。上述儲存信息包含不同類型的檔案、資料或物件(object)等。
在系統監控儲存的維運重點主要在系統監控資料，而系統監控資料係用於預測目前儲存的效能與容量是否滿足未來的需求，以及偵測系統的異常存取行為時能及時讓維運人員收到通知並及時反應。長久以來，處理及保留系統監控所產生的大量資料，是儲存系統的難題，監控資料保留過多，不僅僅是讓佔用儲存系統的儲存空間，而後續監控資料的壓縮儲存更會持續的消耗儲存系統的運算資源。
習知解決的方式，通常是在系統內設定多個周期參數，監控資料超過一部分周期參數後會對所有系統監控資料進行減低採樣率，且/或進行壓縮，且/或刪除。習知的方法雖然可減低監控資料的量，因缺乏彈性，因而無法保留較久之前監控資料。此外，對大量監控資料進行減低採樣率，且/或進行壓縮也會消耗系統資源，從而減損儲存系統的儲存效能。
本申請提供一種在儲存系統中記錄信息量方法及其系統，藉由資料儲存系統中之一或多個監控資料，調整或關閉監控的採樣，進而有效地減少監控所產生的大量資料。
根據本申請的實施例，本申請提供一種記錄信息量方法，適用於一資料儲存系統，包括：偵測和監視儲存系統中一儲存節點的運作，以產生一或多個監測資料，儲存節點更包括一記憶體、一或多個儲存元件、一中央處理器、一或多個散熱元件、內部網路及外部網路介面，內部網路耦接記憶體、一或多個儲存元件、中央處理器、一或多個散熱元件及外部網路介面；以及接收一或多個監測資料，並根據一或多個監測資料的內容差異，給予一或多個標識記錄。
於一實施例，本申請之記錄信息量方法，還包括：分別對監測資料給予相應的標識記錄；依據時間的差異不同而儲存相同類型的標識記錄，進而產生相同類型的標識記錄的一歷史監測資料；以及根據所存放的標識記錄進行調節機制。
於一實施例，根據所存放的標識記錄進行調節機制的步驟更包括複數調節機制，其中，複數調節機制包括取樣率調節機制、記錄臨界值調節機制、優先權調節機制之其中一者。
根據本申請的實施例，本申請提供一種記錄信息量系統，適用於資料儲存系統，包括監測單元以及記錄處理單元，監測單元連接資料儲存系統中儲存節點，用以偵測和監視儲存節點的運作，以產生相應的一或多個監測資料；記錄處理單元用以耦接監測單元，接收一或多個監測資料，並根據一或多個監測資料的內容差異，給予一或多個標識記錄。
於一實施例，記錄處理單元還包括標識記錄模組、儲存模組以及調節模組，標識記錄模組分別對監測資料給予相應的標識記錄；儲存模組耦接標識記錄模組，儲存模組用以依據時間的不同而儲存相同類型的標識記錄，進而產生相同類型的標識記錄的一歷史監測資料；調節模組耦接儲存模組，調節模組根據所存放在儲存模組的標識記錄進行調節機制。
於一實施例，調節模組更包括複數調節機制，其中複數調節機制包括取樣率調節機制、記錄臨界值調節機制、優先權調節機制之其中一者。
本申請提出一種記錄信息量方法及其系統，可減少紀錄的信息量，並藉由系統中一或多個監控資料，調整或關閉監控的採樣，進而有效地減少監控所產生的大量資料。
以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。
如在說明書及申請專利範圍當中使用了某些詞彙來指稱特定元件。本領域技術人員應可理解，硬體製造商可能會用不同名詞來稱呼同一個元件。本說明書及申請專利範圍並不以名稱的不同來作為區分元件的方式，而是以元件在功能上的不同來作為區分的準則。如在通篇說明書及申請專利範圍當中所提及的“包含”或“包括”為一開放式用語，故應解釋成“包含但不限定於”或者“包括但不限定於”。“大致”是指在可接收的誤差範圍內，本領域技術人員能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，“耦接”一詞在此包含任何直接及間接的電性耦接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表所述第一裝置可直接電性耦接於所述第二裝置，或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書後續描述為實施本申請的較佳實施方式，然所述描述乃以說明本申請的一般原則為目的，並非用以限定本申請的範圍。本申請的保護範圍當視所附申請專利範圍所界定者為准。
還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者系統不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者系統所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括所述要素的過程、方法、商品或者系統中還存在另外的相同要素。
在以下所列舉的各實施例中，將以相同的標號代表相同或相似的元件或物件。
圖2為本申請的記錄信息量系統的系統方塊圖。如圖所示，記錄信息量系統，適用於資料儲存系統 21，資料儲存系統 21包括有多個儲存節點，圖示中以一個儲存節點211作為示例性說明。記錄信息量系統包括監測單元 22以及記錄處理單元 23。
在一個示例性的實施例中，資料儲存系統21可為CEPH儲存架構的儲存系統。所謂CEPH儲存架構是以單一架構，同時提供物件、區塊、檔案的儲存，藉由RADOS函式庫為中介，程式可直接存取底層叢集，並提供物件儲存閘道、區塊儲存裝置來對應存取，也可搭配元資料伺服器來提供檔案系統服務，而底層則是由多個RADOS節點組成的叢集所構成，可橫向擴充數千個節點。
監測單元 22連接資料儲存系統21中儲存節點211，用以偵測和監視儲存節點211的運作，以產生一或多個相應於前述運作的監測資料，前述運作包括儲存資訊或分流資訊等等；記錄處理單元23耦接監測單元22，接收一或多個監測資料，並根據一或多個監測資料的內容差異，給予一或多個標識記錄，前述的內容差異包括監測資料的儲存資料的不同、運轉時間的不同或其他系統或儲存狀態間資料的不同。
儲存節點211更包括但不限於一或多個儲存元件211a、中央處理器211b、一或多個散熱元件211c、內部網路211d及外部網路介面211e。其中，一或多個監測資料內容可包括儲存元件211a的監測資料、中央處理器211b的監測資料、散熱元件211c的監測資料、內部網路211d的監測資料和外部網路介面211e的監測資料之其中一者，或者上述二種以上監測資料。儲存節點211可為伺服器，並且儲存節點211更包括記憶體211f，記憶體211f可和內部網路211d進行訊息傳遞。上述儲存元件211a可為SSD、IDE或SATA等類型的硬碟，儲存元件211a的監測資料可為SSD、IDE或SATA中任何一種存取運作狀態、儲存空間容量、存取效能等，例如讀取錯誤率、搜尋錯誤率、寫入錯誤率或啟動重試錯誤率。中央處理器211b的監測資料可為運作狀態，例如，功耗、溫度、實際執行速度，或者也可為中央處理器211b中的內部系統程式運作狀態。散熱元件211c的監測資料可為中央處理器211b的運作溫度。內部網路211d的監測資料可為內部流量統計。外部網路介面211e的監測資料可為流量統計等。
承接上段說明，請同時參閱圖3，為本申請的記錄處理單元23內部詳細結構的示意圖。如圖所示，記錄處理單元23包括標識記錄模組231、儲存模組232與調節模組233。
標識記錄模組231分別對監測資料內容給予相對的標識記錄。更詳細而言，標識記錄模組231會對儲存元件211a的監測資料內容給予第一標識記錄、對中央處理器211b的監測資料內容給予第二標識記錄、對散熱元件211c的監測資料內容給予第三標識記錄、對內部網路211d的監測資料內容給予第四標識記錄和對外部網路211e的監測資料內容給予第五標識記錄。
儲存模組232耦接標識記錄模組231，用以依據時間的不同而儲存相同類型的標識記錄，進而產生標識記錄的歷史監測資料。例如，會在一段時間內儲存標識記錄，像是會將第一標識記錄以每七天為一組進行儲存，並持續進行每七天儲存一次的行為，過一段時間儲存後(例如49天後)，以產生對第一標識記錄的歷史監測資料。或者，同時進行將第一、第二、第三、第四和第五標識記錄每7天分別進行儲存，也是經過一段時間的儲存後，以分別產生第一、第二、第三、第四和第五標識記錄的歷史監測資料。又例如，儲存模組用更細微的時間單位，例如用小時為每一單位來儲存第一標識或其他的標識，以讓使用者能詳細而明白異常狀況發生的在某一天的某個小時，進而有效率的排除儲存節點211或儲存系統21的問題。
調節模組233耦接儲存模組232，調節模組233根據所儲存的標識記錄進行調節，例如，優先權調節，當調節模組233或使用者會發覺第一標識記錄有異常狀態的發生，會調升第一標識記錄的優先權，以讓資料儲存系統21或使用者可優先處理及修正第一標識所代表的儲存元件211a的異常，進而維護儲存節點211的運作。其中，調節模組233更包括複數調節機制，亦可根據實際的標識記錄的需求增加調節機制，複數調節機制包括取樣率調節機制、記錄臨界值調節機制、優先權調節機制等等。前述優先權調節機制，是使用者發覺目前使用的標識記錄有異常狀態時，會給予異常狀態較其他狀態較高的優先權，以讓資料儲存系統21或使用者可優先處理此異常狀態。前述記錄臨界值調節機制是資料儲存系統21會記錄每個狀態的運作的情況，並設定臨界值，若設定臨界值為80，而狀態正常運作是0，而狀態異常運作是20，當狀態異常運作累加超過臨界值80時，則系統會對異常狀態進行處理。前述取樣率調節機制是資料儲存系統21或使用者可於一定周期或時間內，取樣狀態情況隨機取樣，若在取樣的樣本有異常狀態時，資料儲存系統21會進行處理。前述優先權調節機制、臨界值調節機值及取樣率調節機制並不受限於前述之運用的例子。
根據本申請之另一實施例，資料儲存系統21中可具有多個儲存節點211，每一個儲存節點211都應用其外部網路介面211e相連，以進行互相通訊與傳輸，而多個儲存節點211還可應用一閘道器(gateway)(圖中未示)與監測單元 22連絡，以讓監測單元22和記錄處理單元23對多個儲存節點211進行偵測、監控及建立標識記錄，其多個儲存節點211和監測單元22與記錄處理單元23間的運作和關聯，和前述單個節點211和監測單元22與記錄處理單元23間的運作和關聯亦相同，於此不再贅述。
請同時參閱圖2及圖4，圖4為本申請一實施例之記錄信息量的方法流程圖。在本實施例中，適用於資料儲存系統21的記錄信息量方法，如步驟S401，透過一監測單元22用以偵測和監視儲存系統21中儲存節點211的運作，以產生相應的一或多個監測資料；再如步驟S402，經由一記錄處理單元23用以接收一或多個監測資料，並根據一或多個監測資料的內容差異，給予一或多個標識記錄。其中，儲存節點211更包括一或多個儲存元件211a、一中央處理器211b、一或多個散熱元件211c、內部網路211d及外部網路介面211e，但不受限於此。其中，一或多個監測資料內容可包括儲存元件211a的監測資料、中央處理器211b的監測資料、散熱元件211c的監測資料、內部網路211d的監測資料和外部網路介面211e的監測資料之其中一者，或者上述二種監測資料以上。前述儲存節點211可為伺服器，並且儲存節點211更包括記憶體211f，記憶體211f可和內部網路211d進行訊息傳遞。上述儲存元件211a可為SSD、IDE或SATA等類型的硬碟。
於本實施例，記錄信息量方法，還包括步驟S403，分別對監測資料給予相應的標識記錄；再如步驟S404，依據時間的不同而儲存相同類型的標識記錄，進而產生相同類型的標識記錄的一歷史監測資料；最後如步驟S405，根據所存放在儲存模組232的標識記錄進行調節機制。其中，根據所存放在儲存模組232的標識記錄進行調節機制的步驟更包括複數調節機制，其中，複數調節機制包括取樣率調節機制、記錄臨界值調節機制、優先權調節機制之其中一者。前述優先權調節機制，是使用者發覺目前使用的標識記錄有異常狀態時，會給予異常狀態較其他狀態較高的優先權，以讓資料儲存系統21或使用者可優先處理此異常狀態。前述記錄臨界值調節機制是資料儲存系統21會記錄每個狀態的運作的情況，並設定臨界值，若設定臨界值為80，而狀態正常運作是0，而狀態異常運作是20，當狀態異常運作累加超過臨界值80時，則資料儲存系統21會對異常狀態進行處理。前述取樣率調節機制是資料儲存系統21或使用者可於一定周期或時間內隨機取樣標識記錄，若在取樣的標識記錄有異常狀態時，資料儲存系統21會進行處理此異常狀態。前述優先權調節機制、臨界值調節機值及取樣率調節機制並不受限於前述之運用的例子。
於另一實施例，採用CEPH儲存架構，多個儲存伺服器內具有多個儲存單元及儲存節點，多個儲存伺服器會成為群集，並用內部網路211d(儲存網路)進行溝通、偵測及監控，進而得到大量的系統監控資料。於本實施例，由監測單元22所得到的監控資料可為即時或歷史的監控資料，並可將一或多個即時或歷史的監控資料作為指標。可將內部網路211d與其他監測器一同作為指標，更好的是以內部網路211d做為指標，再用判斷方法來調整或關閉其他對其他監測器的監控採樣，進而有效地減少監控所產生的的大量資料。此外，監測單元22所得到的監控資料可來自內部網路監測器、外部網路介面監測器、儲存監測器、中央處理器監測器、記憶體監測器、溫度監測器或通常知識者習知的監測器，但不受限於此。前述判斷方法可為設定閾值、模式基礎或機器學習等等，而前述調整或關閉其他對其他監測器的判斷方法，可為通常知識者習知的設定方法，而不受限於此。於本實施例，內部網路監測器做為指標，再以設定閾值方法來調整或關閉其他對其他監測器的監控採樣標識記錄，進而有效地減少監控所產生的大量資料。
又一實施例，採用全快閃儲存架構(All Flash Array)，採用SSD做為儲存媒體、儲存速度更快、中央處理運算資源運用更多。於本實施例，由監測單元22所得到的監控資料可為即時或歷史的監控資料，並可將一或多個即時或歷史的監控資料作為指標。可將內部網路211d與其他監測器一同作為指標，更好的是以內部網路211d做為指標，再用判斷方法來調整或關閉其他對其他監測器的監控採樣標識記錄，進而有效地減少監控所產生的的大量資料。此外，監測單元22所得到的監控資料可來自內部網路監測器、外部網路介面監測器、儲存監測器、中央處理器監測器、記憶體監測器、溫度監測器或通常知識者習知的監測器，但不受限於此。前述判斷方法可為設定閾值、模式基礎或機器學習等等，而前述調整或關閉其他對其他監測器的判斷方法，可為通常知識者習知的設定方法，而不受限於此。以中央處理器監測器做為指標，再以設定閾值方法來調整或關閉其他對其他監測器的監控採樣標識記錄，進而有效地減少監控所產生的大量資料。
又一實施例，採用CEPH儲存架構及SSD做為儲存媒體。於本實施例，由監測單元22所得到的監控資料可為即時或歷史的監控資料，並可將一或多個即時或歷史的監控資料作為指標。可將內部網路211d與其他監測器一同作為指標，更好的是以內部網路211d做為指標，再用判斷方法來調整或關閉其他對其他監測器的監控採樣標識記錄，進而有效地減少監控所產生的的大量資料。此外，監測單元22所得到的監控資料可來自內部網路監測器、外部網路監測器、儲存監測器、中央處理器監測器、記憶體監測器、溫度監測器或通常知識者習知的監測器，但不受限於此。前述判斷方法可為設定閾值、模式基礎或機器學習等等，而前述調整或關閉其他對其他監測器的判斷方法，可為通常知識者習知的設定方法，而不受限於此。以中央處理器監測器做為指標，再以設定閾值方法來調整或關閉其他對其他監測器的監控採樣，進而有效地減少監控所產生的大量資料。於本實施例，內部網路監測器且/或中央處理監測器做為指標，再以設定閾值方法來調整或關閉其他對其他監測器的監控採樣標識記錄，進而有效地減少監控所產生的大量資料。
本申請提出一種記錄信息量方法及其系統，可減少紀錄的訊息量，並藉由系統中一或多個監控資料，調整或關閉監控的採樣，進而有效地減少監控所產生的大量資料。
雖然本申請以前述之實施例揭露如上，然其並非用以限定本申請。上述的具體實施方式僅僅是示意性的，而不是限制性的。在不脫離本創作之精神和範圍內，所為之更動與潤飾，均屬本創作之專利保護範圍。關於本創作所界定之保護範圍請參考所附之申請專利範圍。
1:儲存系統 10:控制管理介面 11:第一儲存節點 12:第二儲存節點 13:第三儲存節點 21:儲存系統 22:監測單元 23:記錄處理單元 211:儲存節點 211a:儲存元件 211b:中央處理器 211c:散熱元件 211d:內部網路 211e:外部網路介面 211f:記憶體 231:標識記錄模組 232:儲存模組 233:調節模組 S401~S405:步驟
此處所說明的圖式用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用於解釋本申請，並不構成對本申請的不當限定。在圖式中： 圖1為習知的儲存系統的系統方塊圖。 圖2為本申請的記錄信息量系統的系統方塊圖。 圖3為本申請的記錄處理單元內部詳細結構的示意圖。 圖4為本申請的記錄信息量方法的步驟流程圖。
S401~S405:步驟

Claims (13)

  1. 一種記錄信息量的方法，適於一資料儲存系統，包括： 透過一監測單元偵測和監視該資料儲存系統中一儲存節點的運作，以產生相應的一或多個監測資料，該儲存節點包括一記憶體、一或多個儲存元件、一中央處理器、一或多個散熱元件、內部網路及外部網路介面，該內部網路耦接該記憶體、一或多個儲存元件、該中央處理器、一或多個散熱元件及該外部網路介面；以及 經由一記錄處理單元接收一或多個該監測資料，並根據一或多個該監測資料的內容差異，給予一或多個標識記錄。
  2. 如請求項1所述之記錄信息量方法，還包括： 分別對該監測資料給予相應的該標識記錄； 依據時間的不同而儲存相同類型的該標識記錄，進而產生相同類型的該標識記錄的一歷史監測資料；以及 根據所存放的該標識記錄進行調節機制。
  3. 如請求項2所述之記錄信息量方法，其中根據所存放的該標識記錄進行調節的步驟更包括複數調節機制，該些調節機制包括取樣率調節機制、記錄臨界值調節機制、優先權調節機制之其中一者。
  4. 如請求項3所述之記錄信息量方法，其中該優先權調節機制是於該標識記錄有異常狀態時，設定該標識記錄為優先處理該異常狀態。
  5. 如請求項3所述之記錄信息量方法，其中該取樣率調節機制是於一定周期或時間內隨機取樣該標識記錄，若取樣得到該標識記錄有異常狀態時，則進行處理該異常狀態。
  6. 如請求項3所述之記錄信息量方法，其中該記錄臨界值調節機制，是分別將該資料儲存系統的正常狀態及異常狀態設有數值，當該異常狀態的該數值超過一臨界值，則進行處理該異常狀態。
  7. 如請求項1所述之記錄信息量方法，其中一或多個該監測資料內容是包括該儲存元件的監測資料、該中央處理器的監測資料、該散熱元件的監測資料、該內部網路的監測資料和該外部網路介面的監測資料之其中一者，或者上述二種該監測資料以上。
  8. 一種記錄信息量系統，適用於一資料儲存系統，包括： 一監測單元，連接該儲存系統中一儲存節點，用以偵測和監視該儲存節點的運作，以產生一或多個監測資料；以及 一記錄處理單元 ，用以耦接該監測單元，接收一或多個該監測資料，並根據一或多個該監測資料的內容差異，給予一或多個標識記錄。
  9. 如請求項8所述之記錄信息量系統，其中，該記錄處理單元還包括： 一標識記錄模組，分別對該監測資料給予相應的該標識記錄； 一儲存模組，耦接該標識記錄模組，用以依據時間的不同而儲存相同類型的該標識記錄，進而產生相同類型的該標識記錄的一歷史監測資料；以及 一調節模組，耦接該儲存模組，根據所存放在該儲存模組的該標識記錄進行調節機制。
  10. 如請求項8所述之記錄信息量系統，其中，該調節模組更包括複數調節機制，其中該複數調節機制包括邏輯切換調節機制、取樣率調節機制、記錄臨界值調節機制、優先權調節機制之其中一者。
  11. 如請求項10所述之記錄信息量系統，其中，該優先權調節機制是將異常狀態設為優先，該取樣率調節機制是取樣系統狀態，若取樣得到該異常狀態則進行處理，該記錄臨界值調節機制，是分別將正常狀態及該異常狀態設有數值，當該異常狀態的數值超過一臨界值，則進行處理。
  12. 如請求項8所述之記錄信息量系統，其中，該儲存節點更包括一或多個儲存元件、一中央處理器、一或多個散熱元件、內部網路及外部網路介面。
  13. 如請求項12所述之記錄信息量系統，其中，一或多個該監測資料內容可包括該儲存元件的監測資料、該中央處理器的監測資料、該散熱元件的監測資料、該內部網路的監測資料和該外部網路介面的監測資料之其中一者，或者上述二種該監測資料以上。
TW109105736A 2020-02-21 2020-02-21 記錄信息量方法及其系統 TWI778329B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109105736A TWI778329B (zh) 2020-02-21 2020-02-21 記錄信息量方法及其系統
CN202010307334.9A CN113296596A (zh) 2020-02-21 2020-04-17 记录信息量的方法及其系统
US16/867,327 US11593019B2 (en) 2020-02-21 2020-05-05 Method and system for information storage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109105736A TWI778329B (zh) 2020-02-21 2020-02-21 記錄信息量方法及其系統

Publications (2)

Publication Number Publication Date
TW202132990A true TW202132990A (zh) 2021-09-01
TWI778329B TWI778329B (zh) 2022-09-21

Family

ID=77318498

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109105736A TWI778329B (zh) 2020-02-21 2020-02-21 記錄信息量方法及其系統

Country Status (3)

Country Link
US (1) US11593019B2 (zh)
CN (1) CN113296596A (zh)
TW (1) TWI778329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11550955B1 (en) * 2021-07-20 2023-01-10 Red Hat, Inc. Automatically anonymizing data in a distributed storage system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7266729B2 (en) * 2002-12-27 2007-09-04 Intel Corporation Managing a wireless platform
TWI469573B (zh) * 2011-12-21 2015-01-11 Inventec Corp 系統錯誤處理方法與使用其之伺服器系統
TWI463833B (zh) 2012-10-31 2014-12-01 Delta Electronics Inc 感測器資料的快取裝置及其快取方法
US9753796B2 (en) * 2013-12-06 2017-09-05 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
TWI516886B (zh) * 2013-12-10 2016-01-11 財團法人工業技術研究院 智能學習節能調控系統與方法
EP2947424A3 (en) * 2014-05-22 2015-12-02 Nxp B.V. A sensor apparatus and associated methods
CN105335384B (zh) * 2014-06-30 2019-06-18 中国航发商用航空发动机有限责任公司 用于监测数据的存储方法和复现方法及其装置
JP6659384B2 (ja) * 2016-02-02 2020-03-04 株式会社神戸製鋼所 回転機の異常検知装置および回転機の異常検知システム
EP3554018A4 (en) * 2016-12-06 2019-12-18 Panasonic Intellectual Property Corporation of America INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
KR101981310B1 (ko) * 2016-12-27 2019-05-22 주식회사 씨에스리 데이터베이스 시스템의 이상을 탐지하는 장치 및 방법
US10887167B2 (en) * 2018-04-30 2021-01-05 At&T Intellectual Property I, L.P. Adaptive software-defined storage for cloud storage workloads
CN109145648A (zh) * 2018-08-01 2019-01-04 冼汉生 一种基于区块链的水质监测数据存储系统及存储方法

Also Published As

Publication number Publication date
US11593019B2 (en) 2023-02-28
TWI778329B (zh) 2022-09-21
CN113296596A (zh) 2021-08-24
US20210263669A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
CN107015872B (zh) 监控数据的处理方法及装置
US7533181B2 (en) Apparatus, system, and method for data access management
CN104965850B (zh) 一种基于开源技术的数据库高可用实现方法
US7961594B2 (en) Methods and systems for history analysis for access paths in networks
US7428622B2 (en) Managing disk storage media based on access patterns
JP3997061B2 (ja) 記憶サブシステムおよび記憶サブシステムの制御方法
US20150362983A1 (en) Selective storage resource powering for data transfer management
US11228504B2 (en) Systems and method for replaying and debugging live states of network devices
US10838830B1 (en) Distributed log collector and report generation
CN100561447C (zh) 将存储卷呈现为虚拟卷的装置、系统和方法
US8473676B2 (en) Controlling replication of data among storage devices
CN102291256B (zh) 一种监控数据的查询方法和设备
US8521700B2 (en) Apparatus, system, and method for reporting on enterprise data processing system configurations
CN107979636B (zh) 冷热数据分介质存储平台设计系统及方法
EP2811410B1 (en) Monitoring record management method and device
CN111522499A (zh) 运维数据读取装置及其读取方法
TW202132990A (zh) 記錄信息量方法及其系統
US20200177482A1 (en) Methods for monitoring performance of a network fabric and devices thereof
JP2006085321A (ja) データ管理システム及び方法
JP4669728B2 (ja) データ記憶媒体を所望のブロックフォーマットにフォーマットする方法およびシステム
US20180246673A1 (en) Method and storage system for storing a multiplicity of data units
CN112015337A (zh) 基于区块链技术连接分布式nas存储设备的系统
CN116594571B (zh) 一种存储故障修复方法、系统、设备及介质
US20220405306A1 (en) Database replication system and method, source end device, and destination end device
CN116027991B (zh) Raid阵列管理方法、装置、raid卡及存储介质

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent