TW201416881A - 分散式記憶體磁碟群集儲存系統運作方法 - Google Patents
分散式記憶體磁碟群集儲存系統運作方法 Download PDFInfo
- Publication number
- TW201416881A TW201416881A TW102145155A TW102145155A TW201416881A TW 201416881 A TW201416881 A TW 201416881A TW 102145155 A TW102145155 A TW 102145155A TW 102145155 A TW102145155 A TW 102145155A TW 201416881 A TW201416881 A TW 201416881A
- Authority
- TW
- Taiwan
- Prior art keywords
- memory
- disk
- data
- operating
- storage system
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本發明係有關於一種分散式記憶體磁碟群集儲存系統運作方法,其採用分散式記憶體儲存系統,可以滿足四種需求的擴充,即網路頻寬傳輸的擴充、磁碟容量的擴充、IOPS速度的擴充、記憶體I/O傳輸速度增加的擴充,同時可以做到滿足跨區域、資料中心、WAN的使用,讓用戶需求可以在當地的群集記憶體磁碟集中提供服務、也可以漸進式的擴充群集記憶體磁碟容量,進一步提供跨區域或跨國的資料服務。
Description
本發明係關於一種分散式記憶體磁碟群集儲存系統運作方法,特指一種具備快速多對多傳輸、高擴充性及穩定性等多特徵之網路資訊交流儲存系統。
在近年來中,隨著網路應用的快速普及與行動裝置的網路需求增長,讓企業訊息系統有了很大的改變。計算機資源的需求從未達到如此的高度,在面對同時間暴增的用戶量下,以目前的儲存設備是無法應付這樣龐大數量用戶的連線與頻寬需求。
首先,於習知的網路處理伺服器硬體系統中,電子資訊需透過網路橋接做為彼此之間相互對傳之途徑,然而於資訊量位於正常水平之時,網路傳輸量雖然足以應付,但在資訊量突增之時,因為網路橋接傳輸之傳輸率有其上限值,因此無論伺服器計算機本身硬體等級為何,亦無法增加龐大資訊之處理速度,而會使大眾使用網路系統時面對資訊延遲或者中斷等等窘境,此為一目前技術之缺失。
此外,於現有技術中,因為記憶體之技術發
展未至現今之高度,因此其儲存量受限之故,僅能做為暫存之用,故傳統之伺服器主機硬體規格皆是以硬碟設備做為主要之儲存以及主運作系統之配置空間。
而於硬體與硬體間之資訊傳輸而言,處理單元與記憶體之資訊對傳速度遠遠高於處理單元與硬碟設備間之傳輸速度,亦即,習知技術中以硬碟設備為主要儲存空間來做運算的支援,是一導致處理效能無法達到最佳之主因,尤其於處理資訊量大時此問題更是突顯放大,此外更遑論硬碟設備於使用壽命上更是遠遠不能與記憶體相比,透過硬碟設備做為主要的儲存方式對於整體系統而言,於應用上之保障有限,非為一最佳之模式。
綜上可知,於現有技術中網路資訊之處理設備處理龐大的資訊時,其效能無法發揮處理器之真實處理效率之問題可見一斑,故綜觀前所述,本發明之發明人思索並設計一種分散式記憶體磁碟群集儲存系統運作方法,以期針對現有技術之缺失加以改善,進而增進產業上之實施利用。
有鑒於前述之現有技術的不足點,本發明係設計一種具備新穎性、進步性及產業利用性等專利要件之分散式記憶體磁碟群集儲存系統運作方法,以期克服現有技術之難點。
為達到上述目的,本發明所採用的技術手段為設計一種分散式記憶體磁碟群集儲存系統運作方法,其為:首先做分散記憶體式儲存設備之建置,其係包含將複數台的電腦單元組成群集架構而形成群集記憶體磁碟;而後在電腦單元安裝系統虛擬機器平台作業系統,藉此安裝令電腦單元形成多個虛擬機器,而該電腦單元設定利用作業系統或程式軟體來設定記憶體容量占用之方式,將該記憶體規劃成儲存裝置,做成複數個區塊記憶體磁碟;進而將每一個檔案拆成一到多份的資料,保持一到多份的複本複製平均分散在所有區塊記憶體磁碟上,並使用多通道的記憶體匯流排平行存取記憶體模組,而將記憶體模組之容量規劃成磁碟使用,而其中該記憶體模組之存取支援所有作業系統檔案格式,並且採用分散式存放架構,將資料可以複製複本一份以上;當虛擬機器之作業系統在記憶體模組中直接由CPU存取需要的檔案,處理資料後存回記憶體模組中,虛擬機器做計算使用的記憶體也在記憶體模組中,計算完依然直接存回在所存放虛擬機器作業系統的記憶體模組位置,讓這個儲存系統內資料可以在電腦單元中以平行運算的方式在區塊記憶體磁碟處理資料;其他沒有在電腦單元的資料係透過網路卡連接一連接埠群組現用鏈以存取其他電腦單元的區塊記憶體磁碟;而各電腦單元進一步依功能性區分為一第一資料中心、至少一個第二資料中心及一備份中心;其中該第一資料備份中心係以一虛擬群集資料主控站控管,其中各該第二資料中心係以
一虛擬群集資料備份站控管,且其中該備份中心係以虛擬群集資料備份站控管,而其中該第一資料中心與該第二資料中心共同形成一分散式記憶體檔案系統;此外,更進一步是為形成堆疊架構擴展儲存容量架構,其使用網路層介面的存取方式將一台電腦單元中多個區塊記憶體磁碟規劃成一個群集概念的群集記憶體磁碟單元資源池,同步使用所有區塊記憶體磁碟取得資料;當群集架構產生後,每一個群集架構都可以獨立使用,並且可以將每一個群集架構當作分散記憶體式儲存設備單元,同時使用網路層介面堆疊,可以將每個分散記憶體式儲存設備單元模擬成大型的記憶體磁碟,並採用新的群集資料主控站與群集資料備份站來控制資料的處理量分散在所有大型的記憶體磁碟。
其中,各該區塊記憶體磁碟係分別電性連接於至少一硬碟儲存裝置,該硬碟儲存裝置係可於一間隔時間將該區塊記憶體磁碟之資料做備份。
其中,所有的電腦單元中的區塊記憶體磁碟,都會使用連續資料保護方式,無間斷的連續將資料備份到統一的大型物理硬碟群集磁碟陣列中備份。
其中,該電腦單元係俱備了CPU、記憶體、硬碟、網路卡、主機板、I/O介面卡、連接線、外殼之計算機設備。
其中,每份複本都可以採用1-4096位元AES
與RSA混用加密資料存放在記憶體上,每當要存取資料時,資料在記憶體與CPU之間流動,虛擬機器係以檔案形式存在於記憶體模組中,虛擬記憶體所規劃使用的記憶體容量也在同一區塊。
其中,各該區塊記憶體磁碟透過一監控單元來做其運作情況之監控,該偵測單元利用Splunk或者是其他搜索引擎之軟體程式來監控之,當檢測到問題時更可以配置重新啟動應用程式服務,達到一回復之功能。
其中,虛擬機器平台作業系統採用VMware vSphere ESXi 4.1之後的版本、Microsoft Server 2012 R2 Hyper-V之後的版本、Citrix XenServer Oracle VM、Oeacle VM、Red Hat KVM或Linux-Base KVM。其中虛擬機器作業系統採用Linux、FreeBSD、OpenSolaris或MacOS X。
其中,虛擬機器之記憶體間係使用存儲區域網路架構運行,採取軟體虛擬出來的網路層介面,將所有的區塊記憶體磁碟連接在一起協同運作。
其中,該網路層介面,係使用SAN、SANiSCSI、SAN FC、SAN FCoE、NFS、NAS、JBOD、CIFS或FUSE介面進行伺服器和磁碟驅動器設備之間的通信,並且開發有RAMSTORAGETM API作為應用程式支援用。其中該RAMSTORAGETM API係採用REST、Restful、C++、PHP、Python、Java、Perl或Javascript程式開發
軟體所形成的RAMSTORAGETM API,存取分散記憶體式儲存設備單元API功能,其包含容錯、備份、移轉、快速佈署虛擬機器、管理磁碟大小、自動依照實際需求容量自動增加區塊記憶體磁碟、區塊間資料負載平衡移轉、備份回復的功能、連續資料保護、快照、監控資源等。
其中,未使用的CPU、記憶體、實際物理硬碟的資源,係使用虛擬機器平台作業系統將所有資源規劃成統一的資源池,令每一個所需要電腦資源,可以調整移轉到其他資源較充裕的電腦單元。
其中,多個分散記憶體式儲存設備單元之連接方式依照實體的網路協定傳送,並且採用SSL VPN、VPN或加密演算方式傳送封包,每當網路連線不通時,每個區域都可以單獨運作,當連線回復時,資料將完整同步到每個分散記憶體式儲存設備單元中的每個區塊記憶體磁碟。
其中,該CPU係為x86、x86-64、IA-64、Alpha、ARM、SPARC 32 and 64、PowerPC、MIPS、Tilera其中之一種處理器。
其中,該電腦單元之記憶體使用方式是直接由CPU的記憶體控制器直接以三通多或多通道以800MHz到1333MHz以上的速度直接存取記憶體資料。
其中,記憶體容量為1MB至16ZB。其中所採用的記憶體種類為動態異步記憶體DRAM、動態同步
記憶體DRAM、動態移動平台記憶體、動態繪圖處理記憶體、動態Rambus記憶體、靜態隨機存取存儲器、唯讀記憶體或快閃記憶體。
其中,動態異步記憶體DRAM為FPM RAM或EDO RAM。其中動態同步記憶體DRA為SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、DDR4 SDRAM或DDR5 SDRAM。其中動態移動平台記憶體為LPDDR、LPDDR2、LPDDR3或LPDDR4。其中動態繪圖處理記憶體為VRAM、WRAM、MDRAM、SGRAM、SDRAM、GDDR、GDDR2、GDDR3、GDDR4、GDDR5、GDDR6或GDDR7。其中動態Rambus記憶體為RDRAM、XDR DRAM或XDR2 DRAM。其中快閃記憶體為NOR Flash、NAND Flash、3D NAND Flash、V-Flash、SLC、MLC、eMMC或TLC。
其中,硬碟儲存裝置為傳統磁頭、磁片的硬碟、固態硬碟、網路硬碟、SAS介面硬碟、SATA介面硬碟、mSATA介面硬碟、mPCIE介面硬碟、FC介面硬碟、SCSI介面硬碟、ATA介面硬碟、NAND Flash外接卡或FCoE介面硬碟。
其中,網路卡為乙太網路、快速乙太網路、千兆乙太網路、光纖、令牌環網、InfiniBand、FCoE或無線網路。
其中,網路速度採用2Mbit/s、10Mbit/s、11Mbit/s、40Mbit/s、54Mbit/s、80Mbit/s、100Mbit/s、150Mbit/s、300Mbit/s、433Mbit/s、1000
Mbit/s、1Gbit/s、8Gbit/s、10Gbit/s、16Gbit/s、32Gbit/s、40Gbit/s、56Gbit/s、100Gbit/s、160Gbit/s或1000Gbit/s以上的網路速度。
其中,主機板相容x86、x86-64、IA-64、Alpha、ARM、SPARC32 and 64、PowerPC、MIPS、Tilera中任何一種處理器。
其中,作業系統檔案格式是AdvFS、BFS、Btrfs、Coda、CrossDOS、DFS、Episode、EFS、exFAT、ext、FAT、GFS、HFS、HFSPlus、高效能檔案系統、IBM通用並列檔案系統、JFS、Macintosh檔案系統、MINIX、NetWare檔案系統、NILFS、Novell儲存服務、NTFS、QFS、QNX4FS、ReiserFS、SpadFS、UBIFS、Unix檔案系統、VeritasVXFS、VFAT、WAFL、XFS、Xsan、ZFS、CHFS、FFS2、F2FS、JFFS、JFFS2、LogFS、NVFS、YAFFS、UBIFS、DCE/DFS、MFS、CXFS、GFS2、Google檔案系統、OCFS、OCFS2、QFS、Xsan、AFS、OpenAFS、AFP、MS-DFS、GPFS、Lustre、NCP、NFS、POHMELFS、Hadoop、HAMMER、SMB(CIFS)、cramfs、FUSE、SquashFS、UMSDOS、UnionFS、configfs、devfs、procfs、specfs、sysfs、tmpfs、WinFS、EncFS、EFS、ZFS、RAW、ASM、LVM、SFS、MPFS或MGFS。
本發明之分散式記憶體磁碟群集儲存系統運作方法於設計上係透過本發明所提出之系統架構方法之下,我們採用分散式記憶體儲存系統,可以滿足四種需求的擴充,即網路頻寬傳輸的擴充、磁碟容量
的擴充、IOPS速度的擴充、記憶體I/O傳輸速度增加的擴充。同時可以做到滿足跨區域、資料中心、WAN的使用,讓用戶需求可以在當地的群集記憶體磁碟(Memory Disk Cluster)集中提供服務、也可以漸進式的擴充群集記憶體磁碟容量,進一步提供跨區域或跨國的資料服務。
在隨著儲存器的增加,每增加一台伺服器就累加一台機器的網路頻寬與磁碟容量,當形成一個資源池(Resource Pool)時,這分散記憶體式儲存設備單元就像一顆實體硬碟,其中一台實體主機故障時不會影響整體運作,複本中區塊記憶體磁碟會重新複製資料到新的區塊記憶體磁碟,維持一定資料備份基礎,同時也採取連續資料複製(Continuous Data Protector,CDP)為企業資料的備份和回復提供創新技術,以破除磁帶備份經常失敗,一天只能備份一次問題。
也讓複本產生資料可以由不同區塊記憶體磁碟送出達到多對一傳輸資料,當用戶數量增加,只要增加區塊記憶體磁碟數量,可以達到多對多的傳輸,讓RAID的多數硬碟崩潰造成整體資料遺失的缺點,儲存器網路介面數量與速度的限制造成用戶過多的資料擁擠造成的延遲,LUN擴充數量的問題,資料中心無法跨區使用的問題,因為採用記憶體式磁碟方式,每個檔案或是每個虛擬機都可以用檔案形式存在於記憶體,直接使用記憶體匯流排最高的I/O高速度,資料在CPU與記憶體中搬遷移動,I/O次數、距離、
速度都是最高的,綜觀上述優勢,是為習知技術所不能及者,故可見其增益性所在。
而為了讓上述目的、技術特徵以及實際實施後之增益性更為明顯易懂,於下文中將係以較佳之實施範例輔佐對應相關之圖式來進行更詳細之說明。
(1)‧‧‧群集架構
(1A)‧‧‧分散記憶體式儲存設備單元
(10)‧‧‧電腦單元
(101)‧‧‧第一資料中心
(1011)‧‧‧群集資料主控站
(102)‧‧‧第二資料中心
(1021)‧‧‧群集資料備份站
(103)‧‧‧備份中心
(11)‧‧‧區塊記憶體磁碟
(12)‧‧‧硬碟儲存裝置
(13)‧‧‧網路卡
(20)‧‧‧連接埠群組現用鏈
(40)‧‧‧分散式記憶體檔案系統
第一圖為本發明之分散式記憶體磁碟群集儲存系統運作方法之實施示意圖。
第二圖為本發明之分散式記憶體磁碟群集儲存系統運作方法之實施示意圖。
為利 貴審查員瞭解本發明之發明特徵、內容與優點及其所能達成之功效,茲將本發明配合附圖,並以實施例之表達形式詳細說明如下,而其中所使用之圖式,其主旨僅為示意及輔助說明書之用,未必為本發明實施後之真實比例與精準配置,故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍。
本發明之優點、特徵以及達到之技術方法將參照例示性實施例及所附圖式進行更詳細地描述而更容易理解,且本發明或可以不同形式來實現,故不應被理解僅限於此處所陳述的實施例,相反地,對所屬技術領域具有通常知識者而言,所提供的實施例將
使本揭露更加透徹與全面且完整地傳達本發明的範疇,且本發明將僅為所附加的申請專利範圍所定義。
而除非另外定義,所有使用於後文的術語(包含科技及科學術語)與專有名詞,於實質上係與本發明所屬該領域的技術人士一般所理解之意思相同,而例如於一般所使用的字典所定義的那些術語應被理解為具有與相關領域的內容一致的意思,且除非明顯地定義於後文,將不以過度理想化或過度正式的意思理解,合先敘明。
請配合參看第一圖所示,本發明提出一種分散式記憶體磁碟群集儲存系統運作方法,其中該分散式記憶體磁碟群集儲存系統運作方法於一較佳之實施方式可為:首先做分散記憶體式儲存設備之建置,其係包含將複數台的電腦單元(10)組成群集架構(1)而形成群集記憶體磁碟;而其中該電腦單元(10)係俱備了CPU、記憶體、硬碟、網路卡、主機板、I/O介面卡、連接線、外殼之計算機設備。
主要在電腦單元(10)安裝系統虛擬機器平台作業系統,藉此安裝令電腦單元(10)形成多個虛擬機器,而該電腦單元(10)設定所須要使用機器記憶體資源容量,係利用作業系統來設定記憶體容量占用之方式,或者是利用程式軟體將該記憶體規劃成硬碟裝置,做成一個區塊記憶體磁碟(chunk memory disk)(11),
這便如同硬碟的磁軌一般。
進而得以將一個檔案拆成一到多份的資料,檔案大小或可為64MB以上,保持一到多份的複本複製平均分散在所有區塊記憶體磁碟(11)上,故資料實際存放在記憶體模組裡,並使用多通道的記憶體匯流排平行存取記憶體模組,而將記憶體模組之容量規劃成磁碟使用,而其中該記憶體模組之存取支援所有作業系統檔案格式,並且採用分散式存放架構,將資料可以複製複本一份以上,藉此方式,即使機器損毀與資料中心損毀,資料中心依然可以運作。
每份複本資料都可以採用1-4096位元AES與RSA混用加密資料存放在記憶體上,每當要存取資料時,資料在記憶體與CPU之間流動,所耗費的I/O存取次數與距離是最少的,虛擬機器係以檔案形式存在於記憶體模組中,虛擬記憶體所規劃使用的記憶體容量也在同一區塊。
當虛擬機器之作業系統在記憶體模組中直接由CPU存取需要的檔案,處理資料後存回記憶體模組中,虛擬機器做計算使用的記憶體也在記憶體模組中,計算完依然直接存回在所存放虛擬機器作業系統的記憶體模組位置,相對依照存取路徑的減少與使用最快的I/O速度,讓這個儲存系統大部分資料可以在電腦單元(10)中以平行運算的方式在區塊記憶體磁碟(11)處理資料,其他沒有在電腦單元(10)的資料才透過網路卡(13)連接一連接埠群組現用鏈(20)以存取
其他電腦單元(10)的區塊記憶體磁碟(11)。
其中,虛擬機器平台作業系統,可以採用VMware vSphere ESXi 4.1之後的版本、Microsoft Server 2012 R2 Hyper-V之後的版本、Citrix XenServer Oracle VM、Oeacle VM、Red Hat KVM、Linux-Base KVM;而虛擬機器作業系統,可以採用可以採用Linux(Linux 2.6.14 and up have FUSE support included in the official kernel)、FreeBSD、OpenSolaris、MacOS X。
再者,各該區塊記憶體磁碟(11)更可能透過一監控單元來做其運作情況之監控,該偵測單元或可利用Splunk或者是其他搜索引擎之軟體程式來監控之,當檢測到問題時更可以配置重新啟動應用程式服務,達到一回復之功能,而這類型之程式為習知技術,故不在此部份進一步的多加贅述。
而各電腦單元(10)進一步依功能性又可區分為一第一資料中心(101)、至少一個第二資料中心(102)及一備份中心(103);其中該第一資料中心(101)係以一虛擬群集資料主控站(1011)控管,其中各該第二資料中心(102)係以一虛擬群集資料備份站(1021)控管,且其中該備份中心(103)係以虛擬群集資料備份站(1021)控管,而其中該第一資料中心(101)與該第二資料中心(102)共同形成一分散式記憶體檔案系統(40)。
而請進一步配合參看第二圖所示,其中更進一步是為形成堆疊架構擴展儲存容量架構,其使用網路層介面的存取方式將一台電腦單元(10)中多個區塊記憶體磁碟(11)規劃成一個群集概念的群集記憶體磁碟單元資源池,其運作原理如同電腦的匯流排使用方式。
當採用多台電腦單元(10)中64位元之區塊記憶體磁碟(11),就如同64位元的CPU匯流排形式使用,同步使用所有區塊記憶體磁碟(11)取得資料,而當向上擴展區塊記憶體磁碟(11)數量時,如同將64位元的CPU匯流排提升至128位元或256位元,其存取的速度以累加的方式提升,故其中記憶體磁碟容量也會因為區塊記憶體磁碟(11)增加,磁碟容量上限也可以增加,並且提升資料存取速度與資料的可靠度,使用者可以依照需求漸進式增加。
當群集架構(1)產生,每一個群集架構都可以獨立使用,並且可以將每一個群集架構(1)當作分散記憶體式儲存設備單元(DMDCS Distributed Memory Disk Cluster Storage)(1A),同時使用網路層介面堆疊,可以將每個分散記憶體式儲存設備單元(1A)模擬成大型的記憶體磁碟(chunk memory disk),採用新的群集資料主控站(1011)與群集資料備份站(1021)來控制資料的處理量分散在所有大型的記憶體磁碟(chunk memory disk)。
這便如同平行運算使用每一台主機的資源,
將資料分成區塊送到每一台機器運算,最後再組合成一個結果。
其中一個區塊記憶體磁碟(11)或是其中一個分散記憶體式儲存設備單元(1A)失效,都不會影響整個磁碟的使用或使整個磁碟崩潰。
此外,當一個一台電腦單元(10)中的記憶體單元故障,該伺服器電腦單元會將損壞的記憶體標示故障,並且不再使用該DIMM記憶體中的區塊記憶體IC,當更換記憶體後,才會恢復該資源之使用。
而其中虛擬機器之記憶體間係使用存儲區域網路(Storage Area Network,SAN)架構運行,採取軟體虛擬出來的網路層介面,將所有的區塊記憶體磁碟連接在一起協同運作;而該網路層介面,係使用SAN、SAN iSCSI、SAN FC、SAN FCoE、NFS、NAS、JBOD、CIFS、FUSE介面進行伺服器和磁碟驅動器設備之間的通信,並且開發有RAMSTORAGETM API作為應用程式支援用。
又其中,該RAMSTORAGETM API係採用REST、Restful、C++、PHP、Python、Java、Perl、Javascript與其他程式開發軟體所形成的RAMSTORAGETM API,存取分散記憶體式儲存設備單元(DMDCS Distributed Memory Disk Cluster Storage)(1A)API功能,其包含容錯、備份、移轉、快速佈署虛擬機器、管理磁碟大小、自動依照實際需求容量自動增加區塊記憶體磁碟
(11)、區塊間資料負載平衡移轉、備份回復的功能、連續資料保護(CDP)、快照、監控資源等。
此外各該區塊記憶體磁碟(11)係分別電性連接於至少一硬碟儲存裝置(12),該硬碟儲存裝置(12)係可於一間隔時間將該區塊記憶體磁碟(11)之資料做備份,以防止非預期之故障產生,例如每一個區塊記憶體磁碟(11)每一分鐘內都會將所改變過的資料,將差異的部分實際複製一份到實際物理硬碟儲存裝置(12)備份資料。
當每一個區塊記憶體磁碟(11)重新開機後,都會將最後備份在實際物理硬碟儲存裝置(12)上資料,完整的還原到區塊記憶體磁碟(11)上,並且通知群集資料主控站(1011)加入群集環境運作。
所有的電腦單元(10)中所有的區塊記憶體磁碟(11),都會使用連續資料保護方式(Continuous Data Protector,CDP),無間斷的連續將資料備份到統一的大型物理硬碟群集磁碟陣列中備份,每當部分伺服器電腦單元或部分區塊記憶體磁碟(11)因為環境或其他因素失效,都可以依照需要的時間找出快照備份或是時間點還原虛擬機器,而其中所述之大型物理硬碟為前述之備份中心(103),當然群集磁碟陣列也可以用傳統的磁帶方式作第三份完整備份。
每個區塊記憶體磁碟(11)都可以使用自動部屬的方式規劃所需要的容量與CPU資源,網路層介面
也可以自動設定所需要的網路IP與MAC address,並且一種實際需求設定AP在虛擬機器上,並可以自動分派所需設定條件。
另外,若未使用的CPU、記憶體、實際物理硬碟的資源,可以使用虛擬機器平台作業系統將所有資源規劃成統一的資源池,每一個所需要電腦資源,可以自動調整移轉到其他資源較充裕的電腦單元(10)。
多個分散記憶體式儲存設備單元(1A)之連接方式則可以依照實體的網路協定傳送,並且採用SSL VPN、VPN或加密演算方式傳送封包,並可以達到跨區域、國家、WAN IP的方式運作,每當網路連線不通時,每個區域都可以單獨運作。當連線回復時,資料將完整同步到每個分散記憶體式儲存設備單元(1A)中的每個區塊記憶體磁碟(11)。
而其中於一些硬體規格上之實施態樣選擇中,該CPU係為x86、x86-64、IA-64、Alpha、ARM、SPARC 32 and 64、PowerPC、MIPS、Tilera其中之一種處理器。
該電腦單元(10)之記憶體使用方式是直接由CPU的記憶體控制器直接以三通多或多通道以800MHz到1333MHz以上的速度直接存取記憶體資料。
其中使用的單一記憶體容量為1MB(megabyte)至16ZB(zettabyte),所採用的記憶體種類可以為
動態異步記憶體DRAM列舉形式為:FPM RAM、EDO RAM;或動態同步記憶體DRAM列舉形式為:SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、DDR4 SDRAM、DDR5 SDRAM以及所謂列舉出型號為依照存取速度增加與存取方式不同所產生新的向上相容型態型號;或動態移動平台記憶體列舉形式為:LPDDR、LPDDR2、LPDDR3、LPDDR4以及所謂列舉出型號為依照存取速度增加與存取方式不同所產生新的向上相容型態型號;或動態繪圖處理記憶體列舉形式為VRAM、WRAM、MDRAM、SGRAM、SDRAM、GDDR、GDDR2、GDDR3、GDDR4、GDDR5、GDDR6、GDDR7以及所謂列舉出型號為依照存取速度增加與存取方式不同所產生新的向上相容型態型號;或動態Rambus記憶體列舉形式為:RDRAM、XDR DRAM、XDR2 DRAM以及所謂列舉出型號為依照存取速度增加與存取方式不同所產生新的向上相容型態型號;或靜態隨機存取存儲器(Static Random-Access Memory,SRAM)、或唯讀記憶體(Read-Only Memory,ROM)、或快閃記憶體(Flash Memory)列舉形式為:NOR Flash、NAND Flash、3D NAND Flash、V-Flash、SLC、MLC、eMMC、TLC以及所謂列舉出型號為依照存取速度增加與存取方式不同所產生新的向上相容型態型號。
再者,硬碟儲存裝置(12)可使用包含傳統磁頭與磁片的硬碟、固態硬碟、網路硬碟、SAS介面硬碟、SATA介面硬碟、mSATA介面硬碟、mPCIE介面硬碟、
FC介面硬碟、SCSI介面硬碟、ATA介面硬碟、NAND Flash外接卡、FCoE介面硬碟,以及所謂列舉出型號為依照存取速度增加與存取方式不同所產生新的向上相容型態硬碟。
又其中,網路卡可以選擇乙太網路、快速乙太網路、千兆乙太網路、光纖、令牌環網、InfiniBand、FCoE(Fibre Channel over Ethernet)或無線網路,而其網路速度可依照網路協定的不同採用2Mbit/s、10Mbit/s、11Mbit/s、40Mbit/s、54Mbit/s、80Mbit/s、100Mbit/s、150Mbit/s、300Mbit/s、433Mbit/s、1000Mbit/s、1Gbit/s、8Gbit/s、10Gbit/s、16Gbit/s、32Gbit/s、40Gbit/s、56Gbit/s、100Gbit/s、160Gbit/s、1000Gbit/s以上的網路速度與任何新型網路通訊協定的網路卡。
其中,主機板可相容x86、x86-64、IA-64、Alpha、ARM、SPARC 32 and 64、PowerPC、MIPS、Tilera任何一種處理器相容的任何架構與品牌電腦製造商所產生的包括BeagleBoneBlack、Raspberry Pi架構主機板。
另外值得注意的是,作業系統檔案格式,可以是AdvFS、Be檔案系統(BFS)、Btrfs、Coda、CrossDOS、光碟存檔系統(DFS)、Episode、EFS、exFAT、ext、FAT、全域檔案系統(GFS)、分層檔案系統(HFS)、HFS Plus、高效能檔案系統、IBM通用並列檔案系統、JFS、Macintosh檔案系統、MINIX、NetWare檔案系
統、NILFS、Novell儲存服務、NTFS、QFS、QNX4FS、ReiserFS(Reiser4)、SpadFS、UBIFS、Unix檔案系統、Veritas檔案系統(VxFS)、VFAT、任意位置寫入檔案布局(WAFL)、XFS、Xsan、ZFS、CHFS、FFS2、F2FS、JFFS、JFFS2、LogFS、NVFS、YAFFS、UBIFS、DCE/DFS、MFS、CXFS、GFS2、Google檔案系統、OCFS、OCFS2、QFS、Xsan、AFS、OpenAFS、AFP、MS-DFS、GPFS、Lustre、NCP、NFS、POHMELFS、Hadoop、HAMMER、SMB(CIFS)、cramfs、FUSE、SquashFS、UMSDOS、UnionFS、configfs、devfs、procfs、specfs、sysfs、tmpfs、WinFS、EncFS、EFS、ZFS、RAW、ASM、LVM、SFS、MPFS、MGFS其中之一。
而實體的網路協定傳送,以選擇乙太網路、快速乙太網路、千兆乙太網路、光纖、令牌環網、SS7、GSM、GPRS、EDGE、HSPA、HSPA+、CDMA、WCDMA、TD-WCDMA、LTE、GSM、cdmaOne、CDMA2000、UMTS WCDMA、TD-SCDMA、WiMAX、3G播報網、CDMA2000 1X、Wi-Fi、SuperWiFi、Wi-Fi GO、以及向上相容IEEE所制定出新的網路傳輸協定。
透過本發明所提出之系統架構方法之下,我們採用分散式記憶體儲存系統,可以滿足四種需求的擴充,即網路頻寬傳輸的擴充、磁碟容量的擴充、IOPS速度的擴充、記憶體I/O傳輸速度增加的擴充。同時可以做到滿足跨區域、資料中心、WAN的使用,讓用戶需求可以在當地的群集記憶體磁碟(Memory
Disk Cluster)集中提供服務、也可以漸進式的擴充群集記憶體磁碟容量,進一步提供跨區域或跨國的資料服務。
在隨著儲存器的增加,每增加一台伺服器就累加一台機器的網路頻寬與磁碟容量,當形成一個資源池(Resource Pool)時,這分散記憶體式儲存設備單元(1A)就像一顆實體硬碟,其中一台實體主機故障時不會影響整體運作,複本中區塊記憶體磁碟(11)會重新複製資料到新的區塊記憶體磁碟(11),維持一定資料備份基礎,同時也採取連續資料複製(Continuous Data Protector,CDP)為企業資料的備份和回復提供創新技術,以破除磁帶備份經常失敗,一天只能備份一次問題。
也讓複本產生資料可以由不同區塊記憶體磁碟(11)送出達到多對一傳輸資料,當用戶數量增加,只要增加區塊記憶體磁碟(11)數量,可以達到多對多的傳輸,讓RAID的多數硬碟崩潰造成整體資料遺失的缺點,儲存器網路介面數量與速度的限制造成用戶過多的資料擁擠造成的延遲,LUN擴充數量的問題,資料中心無法跨區使用的問題,因為採用記憶體式磁碟方式,每個檔案或是每個虛擬機都可以用檔案形式存在於記憶體,直接使用記憶體匯流排最高的I/O高速度,資料在CPU與記憶體中搬遷移動,I/O次數、距離、速度都是最高的,綜觀上述優勢,是為習知技術所不能及者,故可見其增益性所在。
以上所述之實施例僅係為說明本發明之技術思想及特點,其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施,當不能以之限定本發明之專利範圍,即大凡依本發明所揭示之精神所作之均等變化或修飾,仍應涵蓋在本發明之專利範圍內。
綜觀上述,可見本發明在突破先前之技術下,確實已達到所欲增進之功效,且也非熟悉該項技藝者所易於思及,其所具之進步性、實用性,顯已符合專利之申請要件,爰依法提出專利申請,懇請 貴局核准本件發明專利申請案,以勵發明,至感德便。
(1)‧‧‧群集架構
(10)‧‧‧電腦單元
(101)‧‧‧第一資料中心
(1011)‧‧‧群集資料主控站
(102)‧‧‧第二資料中心
(1021)‧‧‧群集資料備份站
(103)‧‧‧備份中心
(11)‧‧‧區塊記憶體磁碟
(12)‧‧‧硬碟儲存裝置
(13)‧‧‧網路卡
(20)‧‧‧連接埠群組現用鏈
(40)‧‧‧分散式記憶體檔案系統
Claims (28)
- 一種分散式記憶體磁碟群集儲存系統運作方法,其為:首先做分散記憶體式儲存設備之建置,其係包含將複數台的電腦單元組成群集架構而形成群集記憶體磁碟;而後在電腦單元安裝系統虛擬機器平台作業系統,藉此安裝令電腦單元形成多個虛擬機器,而該電腦單元設定利用作業系統或程式軟體來設定記憶體容量占用之方式,將該記憶體規劃成儲存裝置,做成複數個區塊記憶體磁碟;進而將每一個檔案拆成一到多份的資料,保持一到多份的複本複製平均分散在所有區塊記憶體磁碟上,並使用多通道的記憶體匯流排平行存取記憶體模組,而將記憶體模組之容量規劃成磁碟使用,而其中該記憶體模組之存取支援所有作業系統檔案格式,並且採用分散式存放架構,將資料可以複製複本一份以上;當虛擬機器之作業系統在記憶體模組中直接由CPU存取需要的檔案,處理資料後存回記憶體模組中,虛擬機器做計算使用的記憶體也在記憶體模組中,計算完依然直接存回在所存放虛擬機器作業系統的記憶體模組位置,讓這個儲存系統內資料可以在電腦單元中以平行運算的方式在區塊記憶體磁碟處理資料;其他沒有在電腦單元的資料係透過網路卡連接一連接埠群組現用鏈以存取 其他電腦單元的區塊記憶體磁碟;而各電腦單元進一步依功能性區分為一第一資料中心、至少一個第二資料中心及一備份中心;其中該第一資料備份中心係以一虛擬群集資料主控站控管,其中各該第二資料中心係以一虛擬群集資料備份站控管,且其中該備份中心係以虛擬群集資料備份站控管,而其中該第一資料中心與該第二資料中心共同形成一分散式記憶體檔案系統;此外,更進一步是為形成堆疊架構擴展儲存容量架構,其使用網路層介面的存取方式將一台電腦單元中多個區塊記憶體磁碟規劃成一個群集概念的群集記憶體磁碟單元資源池,同步使用所有區塊記憶體磁碟取得資料;當群集架構產生後,每一個群集架構都可以獨立使用,並且可以將每一個群集架構當作分散記憶體式儲存設備單元,同時使用網路層介面堆疊,可以將每個分散記憶體式儲存設備單元模擬成大型的記憶體磁碟,並採用新的群集資料主控站與群集資料備份站來控制資料的處理量分散在所有大型的記憶體磁碟。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中各該區塊記憶體磁碟係分別電性連接於至少一硬碟儲存裝置,該硬碟儲存裝置係可於一間隔時間將該區塊記憶體磁碟之資料做備份。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中所有的電腦單元中的區塊記憶體磁碟,都會使用連續資料保護方式,無間斷的連續將資料備份到統一的大型物理硬碟群集磁碟陣列中備份。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中該電腦單元係俱備了CPU、記憶體、硬碟、網路卡、主機板、I/O介面卡、連接線、外殼之計算機設備。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中每份複本都可以採用1-4096位元AES與RSA混用加密資料存放在記憶體上,每當要存取資料時,資料在記憶體與CPU之間流動,虛擬機器係以檔案形式存在於記憶體模組中,虛擬記憶體所規劃使用的記憶體容量也在同一區塊。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中各該區塊記憶體磁碟透過一監控單元來做其運作情況之監控,該偵測單元利用Splunk或者是其他搜索引擎之軟體程式來監控之,當檢測到問題時更可以配置重新啟動應用程式服務,達到一回復之功能。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中虛擬機器平台作業系統採用 VMware vSphere ESXi 4.1之後的版本、Microsoft Server 2012 R2 Hyper-V之後的版本、Citrix XenServer Oracle VM、Oeacle VM、Red Hat KVM或Linux-Base KVM。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中虛擬機器作業系統採用Linux、FreeBSD、OpenSolaris或MacOS X。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中虛擬機器之記憶體間係使用存儲區域網路架構運行,採取軟體虛擬出來的網路層介面,將所有的區塊記憶體磁碟連接在一起協同運作。
- 如申請專利範圍第9項所述之分散式記憶體磁碟群集儲存系統運作方法,其中該網路層介面,係使用SAN、SAN iSCSI、SAN FC、SAN FCoE、NFS、NAS、JBOD、CIFS或FUSE介面進行伺服器和磁碟驅動器設備之間的通信,並且開發有RAMSTORAGETM API作為應用程式支援用。
- 如申請專利範圍第10項所述之分散式記憶體磁碟群集儲存系統運作方法,其中該RAMSTORAGETM API係採用REST、Restful、C++、PHP、Python、Java、Perl或Javascript程式開發軟體所形成的RAMSTORAGETM API,存取分散記憶體式儲存設備單元API功能,其包含容錯、備份、移轉、快速佈署虛擬機器、管理磁碟大小、自動依照實際需求容量自動增加區塊記憶體磁碟、區塊間資料負載平衡移轉、備份回復的功能、連續資料保護、快照、監控資源等。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群 集儲存系統運作方法,其中未使用的CPU、記憶體、實際物理硬碟的資源,係使用虛擬機器平台作業系統將所有資源規劃成統一的資源池,令每一個所需要電腦資源,可以調整移轉到其他資源較充裕的電腦單元。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中多個分散記憶體式儲存設備單元之連接方式依照實體的網路協定傳送,並且採用SSL VPN、VPN或加密演算方式傳送封包,每當網路連線不通時,每個區域都可以單獨運作,當連線回復時,資料將完整同步到每個分散記憶體式儲存設備單元中的每個區塊記憶體磁碟。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中該CPU係為x86、x86-64、IA-64、Alpha、ARM、SPARC 32 and 64、PowerPC、MIPS、Tilera其中之一種處理器。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中該電腦單元之記憶體使用方式是直接由CPU的記憶體控制器直接以三通多或多通道以800MHz到1333MHz以上的速度直接存取記憶體資料。
- 如申請專利範圍第15項所述之分散式記憶體磁碟群集儲存系統運作方法,其中記憶體容量為1MB至16ZB。
- 如申請專利範圍第15項所述之分散式記憶體磁碟群集儲存系統運作方法,其中所採用的記憶體種類為動態異步記憶體DRAM、動態同步記憶體DRAM、動態移動平台記 憶體、動態繪圖處理記憶體、動態Rambus記憶體、靜態隨機存取存儲器、唯讀記憶體或快閃記憶體。
- 如申請專利範圍第17項所述之分散式記憶體磁碟群集儲存系統運作方法,其中動態異步記憶體DRAM為FPM RAM或EDO RAM。
- 如申請專利範圍第17項所述之分散式記憶體磁碟群集儲存系統運作方法,其中動態同步記憶體DRA為SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、DDR4 SDRAM或DDR5 SDRAM。
- 如申請專利範圍第17項所述之分散式記憶體磁碟群集儲存系統運作方法,其中動態移動平台記憶體為LPDDR、LPDDR2、LPDDR3或LPDDR4。
- 如申請專利範圍第17項所述之分散式記憶體磁碟群集儲存系統運作方法,其中動態繪圖處理記憶體為VRAM、WRAM、MDRAM、SGRAM、SDRAM、GDDR、GDDR2、GDDR3、GDDR4、GDDR5、GDDR6或GDDR7。
- 如申請專利範圍第17項所述之分散式記憶體磁碟群集儲存系統運作方法,其中動態Rambus記憶體為RDRAM、XDR DRAM或XDR2 DRAM。
- 如申請專利範圍第17項所述之分散式記憶體磁碟群集儲存系統運作方法,其中快閃記憶體為NOR Flash、NAND Flash、3D NAND Flash、V-Flash、SLC、MLC、eMMC或TLC。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中硬碟儲存裝置為傳統磁頭、磁片的硬碟、固態硬碟、網路硬碟、SAS介面硬碟、SATA介面硬碟、mSATA介面硬碟、mPCIE介面硬碟、FC介面硬碟、SCSI介面硬碟、ATA介面硬碟、NAND Flash外接卡或FCoE介面硬碟。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中網路卡為乙太網路、快速乙太網路、千兆乙太網路、光纖、令牌環網、InfiniBand、FCoE或無線網路。
- 如申請專利範圍第25項所述之分散式記憶體磁碟群集儲存系統運作方法,其中網路速度採用2Mbit/s、10Mbit/s、11Mbit/s、40Mbit/s、54Mbit/s、80Mbit/s、100Mbit/s、150Mbit/s、300Mbit/s、433Mbit/s、1000Mbit/s、1Gbit/s、8Gbit/s、10Gbit/s、16Gbit/s、32Gbit/s、40Gbit/s、56Gbit/s、100Gbit/s、160Gbit/s或1000Gbit/s以上的網路速度。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中,主機板相容x86、x86-64、IA-64、Alpha、ARM、SPARC 32 and 64、PowerPC、MIPS、Tilera中任何一種處理器。
- 如申請專利範圍第1項所述之分散式記憶體磁碟群集儲存系統運作方法,其中作業系統檔案格式是AdvFS、BFS、Btrfs、Coda、CrossDOS、DFS、Episode、EFS、exFAT、ext、FAT、GFS、HFS、HFS Plus、高效能檔案系統、IBM通用 並列檔案系統、JFS、Macintosh檔案系統、MINIX、NetWare檔案系統、NILFS、Novell儲存服務、NTFS、QFS、QNX4FS、ReiserFS、SpadFS、UBIFS、Unix檔案系統、Veritas VxFS、VFAT、WAFL、XFS、Xsan、ZFS、CHFS、FFS2、F2FS、JFFS、JFFS2、LogFS、NVFS、YAFFS、UBIFS、DCE/DFS、MFS、CXFS、GFS2、Google檔案系統、OCFS、OCFS2、QFS、Xsan、AFS、OpenAFS、AFP、MS-DFS、GPFS、Lustre、NCP、NFS、POHMELFS、Hadoop、HAMMER、SMB(CIFS)、cramfs、FUSE、SquashFS、UMSDOS、UnionFS、configfs、devfs、procfs、specfs、sysfs、tmpfs、WinFS、EncFS、EFS、ZFS、RAW、ASM、LVM、SFS、MPFS或MGFS。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102145155A TWI676898B (zh) | 2013-12-09 | 2013-12-09 | 分散式記憶體磁碟群集儲存系統運作方法 |
CN201410140240.1A CN104699419B (zh) | 2013-12-09 | 2014-04-09 | 分布式内存磁盘群集储存系统运作方法 |
CN202010300726.2A CN111506267A (zh) | 2013-12-09 | 2014-04-09 | 分布式内存磁盘群集储存系统运作方法 |
US14/562,892 US10466912B2 (en) | 2013-12-09 | 2014-12-08 | Operation method of distributed memory disk cluster storage system |
US16/583,228 US20200042204A1 (en) | 2013-12-09 | 2019-09-25 | Method for building distributed memory disk cluster storage system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102145155A TWI676898B (zh) | 2013-12-09 | 2013-12-09 | 分散式記憶體磁碟群集儲存系統運作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201416881A true TW201416881A (zh) | 2014-05-01 |
TWI676898B TWI676898B (zh) | 2019-11-11 |
Family
ID=51293817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102145155A TWI676898B (zh) | 2013-12-09 | 2013-12-09 | 分散式記憶體磁碟群集儲存系統運作方法 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10466912B2 (zh) |
CN (2) | CN111506267A (zh) |
TW (1) | TWI676898B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI509426B (zh) * | 2014-09-17 | 2015-11-21 | Prophetstor Data Services Inc | 用於達成無干擾性資料重建的系統 |
CN105653345A (zh) * | 2014-10-17 | 2016-06-08 | 伊姆西公司 | 用于支持对数据的非易失性随机访问的方法和设备 |
TWI578167B (zh) * | 2016-03-11 | 2017-04-11 | 宏正自動科技股份有限公司 | 虛擬化自攜技術之系統、裝置及方法 |
TWI648967B (zh) * | 2017-07-11 | 2019-01-21 | 中華電信股份有限公司 | Service chain deployment method considering network latency and physical resources |
CN111930299A (zh) * | 2020-06-22 | 2020-11-13 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
TWI752066B (zh) * | 2016-11-01 | 2022-01-11 | 香港商阿里巴巴集團服務有限公司 | 讀寫請求處理方法及裝置 |
US11388233B2 (en) | 2019-04-30 | 2022-07-12 | Clumio, Inc. | Cloud-based data protection service |
TWI826093B (zh) * | 2022-11-02 | 2023-12-11 | 財團法人資訊工業策進會 | 虛擬機器備援方法及系統 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6365854B2 (ja) * | 2014-05-29 | 2018-08-01 | 華為技術有限公司Huawei Technologies Co.,Ltd. | サービス処理方法、関連するデバイス、及びシステム |
US9491241B1 (en) * | 2014-06-30 | 2016-11-08 | EMC IP Holding Company LLC | Data storage system with native representational state transfer-based application programming interface |
CN105119737A (zh) * | 2015-07-16 | 2015-12-02 | 浪潮软件股份有限公司 | 一种通过Zabbix监控Ceph集群的方法 |
CN105245576B (zh) * | 2015-09-10 | 2019-03-19 | 浪潮(北京)电子信息产业有限公司 | 一种基于全共享交换的存储架构系统 |
CN105471989B (zh) * | 2015-11-23 | 2018-11-02 | 上海爱数信息技术股份有限公司 | 一种数据存储方法 |
US9965197B2 (en) * | 2015-12-15 | 2018-05-08 | Quanta Computer Inc. | System and method for storage area network management using serial attached SCSI expander |
CN106066771A (zh) * | 2016-06-08 | 2016-11-02 | 池州职业技术学院 | 一种电子存储集成器系统 |
CN106534249A (zh) * | 2016-09-21 | 2017-03-22 | 苏州市广播电视总台 | 一种基于文件直通技术的文件传输系统 |
CN106527968A (zh) * | 2016-09-21 | 2017-03-22 | 苏州市广播电视总台 | 一种基于文件直通技术的文件传输方法 |
CN106502830B (zh) * | 2016-10-27 | 2019-01-22 | 一铭软件股份有限公司 | 一种基于Btrfs文件系统的系统备份还原方法 |
CN108279851B (zh) * | 2017-03-03 | 2021-06-11 | 阿里巴巴(中国)有限公司 | 网络存储装置及搭建方法 |
CN106886374A (zh) * | 2017-03-10 | 2017-06-23 | 济南浪潮高新科技投资发展有限公司 | 一种基于openstack的虚拟磁盘调度方法 |
US11102299B2 (en) * | 2017-03-22 | 2021-08-24 | Hitachi, Ltd. | Data processing system |
US10409614B2 (en) * | 2017-04-24 | 2019-09-10 | Intel Corporation | Instructions having support for floating point and integer data types in the same register |
US10474458B2 (en) | 2017-04-28 | 2019-11-12 | Intel Corporation | Instructions and logic to perform floating-point and integer operations for machine learning |
US10761743B1 (en) | 2017-07-17 | 2020-09-01 | EMC IP Holding Company LLC | Establishing data reliability groups within a geographically distributed data storage environment |
US10339016B2 (en) * | 2017-08-10 | 2019-07-02 | Rubrik, Inc. | Chunk allocation |
US10819656B2 (en) | 2017-07-24 | 2020-10-27 | Rubrik, Inc. | Throttling network bandwidth using per-node network interfaces |
CN108646985A (zh) * | 2018-05-16 | 2018-10-12 | 广东睿江云计算股份有限公司 | 一种Ceph分布式存储系统的资源限制及分配方法 |
US11436203B2 (en) | 2018-11-02 | 2022-09-06 | EMC IP Holding Company LLC | Scaling out geographically diverse storage |
CN109474429B (zh) * | 2018-12-24 | 2022-02-15 | 无锡市同威科技有限公司 | 一种面向fc存储加密网关的密钥配置策略方法 |
CN113366454A (zh) | 2019-03-15 | 2021-09-07 | 英特尔公司 | 用于图形操作的多片架构 |
CN112534405A (zh) | 2019-03-15 | 2021-03-19 | 英特尔公司 | 用于脉动阵列上的块稀疏操作的架构 |
US11934342B2 (en) | 2019-03-15 | 2024-03-19 | Intel Corporation | Assistance for hardware prefetch in cache access |
US11748004B2 (en) | 2019-05-03 | 2023-09-05 | EMC IP Holding Company LLC | Data replication using active and passive data storage modes |
US11449399B2 (en) * | 2019-07-30 | 2022-09-20 | EMC IP Holding Company LLC | Mitigating real node failure of a doubly mapped redundant array of independent nodes |
US11228322B2 (en) | 2019-09-13 | 2022-01-18 | EMC IP Holding Company LLC | Rebalancing in a geographically diverse storage system employing erasure coding |
CN110688674B (zh) * | 2019-09-23 | 2024-04-26 | 中国银联股份有限公司 | 一种访问对接器、系统及应用该访问对接器的方法及装置 |
US11449248B2 (en) | 2019-09-26 | 2022-09-20 | EMC IP Holding Company LLC | Mapped redundant array of independent data storage regions |
CN110807065A (zh) * | 2019-10-30 | 2020-02-18 | 浙江大华技术股份有限公司 | 内存表的实现方法、存储器和分布式数据库的数据节点 |
US11288139B2 (en) | 2019-10-31 | 2022-03-29 | EMC IP Holding Company LLC | Two-step recovery employing erasure coding in a geographically diverse data storage system |
US11435910B2 (en) | 2019-10-31 | 2022-09-06 | EMC IP Holding Company LLC | Heterogeneous mapped redundant array of independent nodes for data storage |
US11435957B2 (en) | 2019-11-27 | 2022-09-06 | EMC IP Holding Company LLC | Selective instantiation of a storage service for a doubly mapped redundant array of independent nodes |
CN111046108A (zh) * | 2019-12-20 | 2020-04-21 | 辽宁振兴银行股份有限公司 | 一种基于Ceph的跨数据中心Oracle高可用实现方法 |
CN111078368B (zh) * | 2019-12-26 | 2023-03-21 | 浪潮电子信息产业股份有限公司 | 云计算平台虚拟机的内存快照方法、装置及可读存储介质 |
US11231860B2 (en) | 2020-01-17 | 2022-01-25 | EMC IP Holding Company LLC | Doubly mapped redundant array of independent nodes for data storage with high performance |
CN111400101B (zh) * | 2020-03-18 | 2021-06-01 | 北京北亚宸星科技有限公司 | 一种jfs2文件系统数据删除时的数据恢复方法及系统 |
CN111506262B (zh) * | 2020-03-25 | 2021-12-28 | 华为技术有限公司 | 一种存储系统、文件存储和读取方法及终端设备 |
US11507308B2 (en) | 2020-03-30 | 2022-11-22 | EMC IP Holding Company LLC | Disk access event control for mapped nodes supported by a real cluster storage system |
CN111459864B (zh) * | 2020-04-02 | 2021-11-30 | 深圳朗田亩半导体科技有限公司 | 一种存储器件及其制造方法 |
CN113625937B (zh) * | 2020-05-09 | 2024-05-28 | 富联精密电子(天津)有限公司 | 存储资源处理装置及方法 |
CN111708488B (zh) * | 2020-05-26 | 2023-01-06 | 苏州浪潮智能科技有限公司 | 一种基于分布式内存盘的Ceph性能优化的方法和设备 |
US11288229B2 (en) | 2020-05-29 | 2022-03-29 | EMC IP Holding Company LLC | Verifiable intra-cluster migration for a chunk storage system |
CN111858612B (zh) * | 2020-07-28 | 2023-04-18 | 平安科技(深圳)有限公司 | 基于图数据库的数据加速访问方法、装置及存储介质 |
CN112148219A (zh) * | 2020-09-16 | 2020-12-29 | 北京优炫软件股份有限公司 | 一种ceph类型的分布式存储集群设计方法及装置 |
US11693983B2 (en) | 2020-10-28 | 2023-07-04 | EMC IP Holding Company LLC | Data protection via commutative erasure coding in a geographically diverse data storage system |
US11847141B2 (en) | 2021-01-19 | 2023-12-19 | EMC IP Holding Company LLC | Mapped redundant array of independent nodes employing mapped reliability groups for data storage |
US11625174B2 (en) | 2021-01-20 | 2023-04-11 | EMC IP Holding Company LLC | Parity allocation for a virtual redundant array of independent disks |
US11449234B1 (en) | 2021-05-28 | 2022-09-20 | EMC IP Holding Company LLC | Efficient data access operations via a mapping layer instance for a doubly mapped redundant array of independent nodes |
US11354191B1 (en) | 2021-05-28 | 2022-06-07 | EMC IP Holding Company LLC | Erasure coding in a large geographically diverse data storage system |
TWI823223B (zh) * | 2021-12-30 | 2023-11-21 | 新唐科技股份有限公司 | 安全資料傳輸的方法及裝置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6947987B2 (en) * | 1998-05-29 | 2005-09-20 | Ncr Corporation | Method and apparatus for allocating network resources and changing the allocation based on dynamic workload changes |
US7051188B1 (en) * | 1999-09-28 | 2006-05-23 | International Business Machines Corporation | Dynamically redistributing shareable resources of a computing environment to manage the workload of that environment |
US6631456B2 (en) * | 2001-03-06 | 2003-10-07 | Lance Leighnor | Hypercache RAM based disk emulation and method |
US6880002B2 (en) * | 2001-09-05 | 2005-04-12 | Surgient, Inc. | Virtualized logical server cloud providing non-deterministic allocation of logical attributes of logical servers to physical resources |
US8499086B2 (en) * | 2003-01-21 | 2013-07-30 | Dell Products L.P. | Client load distribution |
US8195866B2 (en) * | 2007-04-26 | 2012-06-05 | Vmware, Inc. | Adjusting available persistent storage during execution in a virtual computer system |
US8275815B2 (en) * | 2008-08-25 | 2012-09-25 | International Business Machines Corporation | Transactional processing for clustered file systems |
CN101477495B (zh) * | 2008-10-28 | 2011-03-16 | 北京航空航天大学 | 分布式内存虚拟化技术的实现方法 |
CN101499027A (zh) * | 2009-03-06 | 2009-08-05 | 赵晓宇 | 一种基于独立内核和分布式构架的智能存储系统 |
CN102137125A (zh) * | 2010-01-26 | 2011-07-27 | 复旦大学 | 在分布式网络系统中处理跨任务数据的方法 |
CN101859317A (zh) * | 2010-05-10 | 2010-10-13 | 浪潮电子信息产业股份有限公司 | 一种利用虚拟化构建数据库集群的方法 |
CN102088490B (zh) * | 2011-01-19 | 2013-06-12 | 华为技术有限公司 | 数据存储方法、设备和系统 |
CN102110071B (zh) * | 2011-03-04 | 2013-04-17 | 浪潮(北京)电子信息产业有限公司 | 一种虚拟机集群系统及其实现方法 |
US9003021B2 (en) * | 2011-12-27 | 2015-04-07 | Solidfire, Inc. | Management of storage system access based on client performance and cluser health |
CN103226518B (zh) * | 2012-01-31 | 2016-06-22 | 国际商业机器公司 | 一种在存储管理系统中进行卷扩展的方法和装置 |
US9330106B2 (en) * | 2012-02-15 | 2016-05-03 | Citrix Systems, Inc. | Selective synchronization of remotely stored content |
CN103268252A (zh) * | 2013-05-12 | 2013-08-28 | 南京载玄信息科技有限公司 | 基于分布式存储的虚拟化平台系统及其实现方法 |
-
2013
- 2013-12-09 TW TW102145155A patent/TWI676898B/zh active
-
2014
- 2014-04-09 CN CN202010300726.2A patent/CN111506267A/zh active Pending
- 2014-04-09 CN CN201410140240.1A patent/CN104699419B/zh not_active Expired - Fee Related
- 2014-12-08 US US14/562,892 patent/US10466912B2/en active Active
-
2019
- 2019-09-25 US US16/583,228 patent/US20200042204A1/en not_active Abandoned
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI509426B (zh) * | 2014-09-17 | 2015-11-21 | Prophetstor Data Services Inc | 用於達成無干擾性資料重建的系統 |
CN105653345A (zh) * | 2014-10-17 | 2016-06-08 | 伊姆西公司 | 用于支持对数据的非易失性随机访问的方法和设备 |
TWI578167B (zh) * | 2016-03-11 | 2017-04-11 | 宏正自動科技股份有限公司 | 虛擬化自攜技術之系統、裝置及方法 |
TWI752066B (zh) * | 2016-11-01 | 2022-01-11 | 香港商阿里巴巴集團服務有限公司 | 讀寫請求處理方法及裝置 |
TWI648967B (zh) * | 2017-07-11 | 2019-01-21 | 中華電信股份有限公司 | Service chain deployment method considering network latency and physical resources |
US11388233B2 (en) | 2019-04-30 | 2022-07-12 | Clumio, Inc. | Cloud-based data protection service |
TWI798547B (zh) * | 2019-04-30 | 2023-04-11 | 美商克魯密爾公司 | 從基於雲端的資料保護服務進行還原 |
US11888935B2 (en) | 2019-04-30 | 2024-01-30 | Clumio, Inc. | Post-processing in a cloud-based data protection service |
CN111930299A (zh) * | 2020-06-22 | 2020-11-13 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
CN111930299B (zh) * | 2020-06-22 | 2024-01-26 | 中国建设银行股份有限公司 | 分配存储单元的方法及相关设备 |
TWI826093B (zh) * | 2022-11-02 | 2023-12-11 | 財團法人資訊工業策進會 | 虛擬機器備援方法及系統 |
Also Published As
Publication number | Publication date |
---|---|
TWI676898B (zh) | 2019-11-11 |
US20150160872A1 (en) | 2015-06-11 |
CN104699419A (zh) | 2015-06-10 |
US10466912B2 (en) | 2019-11-05 |
CN104699419B (zh) | 2020-05-12 |
US20200042204A1 (en) | 2020-02-06 |
CN111506267A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI676898B (zh) | 分散式記憶體磁碟群集儲存系統運作方法 | |
US11144415B2 (en) | Storage system and control software deployment method | |
US10191677B1 (en) | Asynchronous splitting | |
US20240126470A1 (en) | Synchronous replication | |
US10467246B2 (en) | Content-based replication of data in scale out system | |
US8479037B1 (en) | Distributed hot-spare storage in a storage cluster | |
US9928003B2 (en) | Management of writable snapshots in a network storage device | |
US20220091771A1 (en) | Moving Data Between Tiers In A Multi-Tiered, Cloud-Based Storage System | |
US7778960B1 (en) | Background movement of data between nodes in a storage cluster | |
US9965306B1 (en) | Snapshot replication | |
US9135120B1 (en) | Consistency group moving | |
US9575851B1 (en) | Volume hot migration | |
US9575857B1 (en) | Active/active replication | |
US9619256B1 (en) | Multi site and multi tenancy | |
US9098528B2 (en) | File storage system and load distribution method | |
US8706694B2 (en) | Continuous data protection of files stored on a remote storage device | |
US10185583B1 (en) | Leveraging snapshots | |
US9639383B1 (en) | Volume moving | |
US9659074B1 (en) | VFA statistics | |
US10740005B1 (en) | Distributed file system deployment on a data storage system | |
US9619264B1 (en) | AntiAfinity | |
US9619255B1 (en) | Remote live motion | |
US20150288758A1 (en) | Volume-level snapshot management in a distributed storage system | |
US11157177B2 (en) | Hiccup-less failback and journal recovery in an active-active storage system | |
CN105302472A (zh) | 分布式内存磁盘群集储存系统运作方法 |