TW201308946A - 一種斷點續傳的方法 - Google Patents

一種斷點續傳的方法 Download PDF

Info

Publication number
TW201308946A
TW201308946A TW100128573A TW100128573A TW201308946A TW 201308946 A TW201308946 A TW 201308946A TW 100128573 A TW100128573 A TW 100128573A TW 100128573 A TW100128573 A TW 100128573A TW 201308946 A TW201308946 A TW 201308946A
Authority
TW
Taiwan
Prior art keywords
data
snapshot
transmitted
data element
server
Prior art date
Application number
TW100128573A
Other languages
English (en)
Inventor
Hui Wang
Chih-Feng Chen
Original Assignee
Inventec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Corp filed Critical Inventec Corp
Priority to TW100128573A priority Critical patent/TW201308946A/zh
Publication of TW201308946A publication Critical patent/TW201308946A/zh

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

一種斷點續傳的方法適於當資料傳輸發生中斷時,伺服器可直接從中斷點開始續傳未傳完之資料,伺服器並可藉由拍攝快照找出在系統中斷的期間被修改過的資料並重新傳輸,維持整體傳輸資料時間點的資料一致性。首先,伺服器會接收客戶端傳送之一待傳輸數據元及一對應此待傳輸數據元的一第一快照。當伺服端偵測到一個中斷訊號,伺服端會判斷客戶端的第一快照是否完整。其中,如果客戶端的第一快照不完整,伺服器會先判斷客戶端待傳輸數據元之一元數據是否已改變,如果元數據改變了,伺服器會先接收完改變的元數據再繼續續傳。

Description

一種斷點續傳的方法
一種資料傳輸的方法,特別是一種當資料傳輸中斷時,可使資料接續中斷點傳輸並維持資料一致性之方法。
隨著科技的發展,越來越多公司依賴架設數個資料庫執行公司之業務或管理,而這些資料庫之間彼此之間互相關聯並互相傳送資料,以維持資料庫之一致性。然資料庫一旦發生電力中斷、病毒入侵等足以使資料遭受不可回復之損害之狀況,往往造成公司內部資料混亂或遺失,對整個公司的運作造成嚴重之影響,故穩定的資料庫之傳輸以及備份對於企業來說是相當重要的。
但在資料傳輸或備份的過程當中,若因網路的中斷或者系統的故障而導致資料傳輸不完全,此時使用者若要繼續執行資料傳輸,由於系統未記錄中斷的位置,故使用者須要把資料從頭開始傳輸至伺服器,方可完成傳輸,這樣的方式常導致資料傳輸的時間拉長並增加成本。為了解決此問題,業界隨後發展出一種斷點續傳之方法,此種方法使資料於傳輸中斷後,伺服器可記錄中斷的資料點,傳輸回復正常後,伺服器會先讀取先前記錄中斷點的資料後,再使尚未完成傳輸的資料直接從中斷點繼續傳輸。故透過此種斷點續傳之技術,一旦資料傳輸發生中斷時,使用者不再需要從頭開始重新傳輸資料,提高了傳輸資料之效率並降低了備份所消耗之成本。
然而當資料傳輸中斷之期間,使用者仍有可能會持續的更新資料至資料庫中,如此一來,已傳送之資料與續傳的資料傳送的時點及資料內容便不一致了,一旦資料需要回復或使用時,由於時點的不同,不僅會大幅提高了資料還原上的複雜度,更可能因此造成資料內容的誤差,使公司的營運受到影響。是以,本領域亟需一種可以使斷點續傳時,所有的資料時點及內容皆保持一致的方法,以滿足資料傳輸時,所有資料之一致性。
基於以上,本揭示內容係提供一種方法,此方法可於資料傳輸發生中斷時,使未完成之資料會從中斷點開始續傳,伺服器並可進一步判斷在系統中斷時,已傳輸資料是否曾被修改,並進一步傳輸修改過之資料。
本方法之一實施例係由伺服端接收一待傳輸之數據元及一對應此待傳輸數據元的一第一快照。當伺服端偵測到一個中斷訊號時,伺服端會進一步判斷客戶端之第一快照是否完整,若第一快照為完整時,伺服端會從中斷點開始繼續接收尚未完成的待續傳之數據元。若第一快照不完整時,伺服端會先判斷客戶端待傳輸數據元之一元數據是否改變,若是元數據已被使用者更改,伺服端便會先接收與元數據對應的數據元至伺服端。
上述之方法不僅可在資料傳輸中斷後從中斷點開始續傳未傳完之資料,更可以藉由拍攝快照而在續傳前判斷使用者原來的快照是否完整,若快照不完者,此方法更可判斷使用者是否有更新資料,如此一來,可確保欲傳輸資料的完整性和一致性。
以下在實施方式中明確且充分敘述本揭露之詳細特徵以及優點,其內容足以使任何本揭露所屬技術領域中具有通常知識者了解本揭露之技術內容並據以實施,且根據本說明書所揭露之內容、申請專利範圍及圖式,本揭露所屬技術領域中具有通常知識者可輕易地理解本揭露相關之目的及優點。
本揭示內容為一種斷點續傳的方法,斷點續傳即為當資料傳輸中斷時,伺服器可記錄傳輸中斷的中斷點,當使用者下達重新傳輸資料之指令時,伺服器會先讀取先前記錄中斷點,並由中斷點開始重新傳輸。
請參閱「第1圖」,「第1圖」為依據本揭示內容一實施例之系統內部結構示意圖。本方法主要的實施系統係位於伺服端200,伺服端200與客戶端100係透由網際網路而相互連接,伺服端200接收客戶端100傳輸資料的請求(request),伺服端200接收此請求後,透過接收客戶端100傳送之資料而完成此方法。客戶端100可以為實體的個人電腦、商用電腦、手機等具有資料庫並可以使用網際網路連線之系統,客戶端100並可透由網際網路接收或傳輸由伺服端200提供之資料。而伺服端200可以為一實體之伺服器,具有可儲存傳輸資料的資料庫。伺服端200透過網際網路之連線可接收客戶端100所傳送之資訊,接收完的資料經伺服端200處理後會存放至對應的資料庫裡。
如「第1圖」所示,客戶端100的內部具有一通訊單元120、一快照單元140、一待傳輸資料庫160。上述通訊單元120係用於傳送使用者所發出的傳送資料請求(request)以及傳送資料、快照、請求給伺服端200處理,並可接收並轉發內部其他單元所傳送之處理結果或請求至伺服端200。
上述快照單元140係用於拍攝快照並可暫時儲存拍下之快照,此快照單元140可以為中央處理器中之一處理單元及記憶體中之一處理單元之組合。
上述待傳輸資料庫160係為一存放待傳輸資料之資料庫,可儲存各種不同之資料。此待傳輸資料庫160可為硬碟或任何可以儲存數據資料之硬體。使用者可透由其他的管理介面進一步存取此待傳輸資料庫160,如:微軟研發的SQL資料庫或是甲骨文公司研發的ORACLE資料庫等。
「第1圖」另繪示出伺服端200之內部架構,伺服端200內部具有一偵測暨通訊單元210、一快照處理單元220、一數據判斷單元230、一中斷點判斷單元240以及一數據資料庫250。
此偵測暨通訊單元210係用於接收客戶端100的通訊單元120所傳輸過來之請求、快照或資料,並把接收的內容分配給其他伺服端200內部的單元做處理。此偵測暨通訊單元210並可傳送請求或資料至客戶端100以及偵測是否有中斷訊號。
上述快照處理單元220係可用於依據客戶端100的快照建立資料目錄樹及資料的特徵值。上述快照處理單元220並會在偵測暨通訊單元210接收到一續傳訊號時,判斷客戶端100之快照是否完整。
若快照處理單元220判斷客戶端100裡的快照並不完整,快照處理單元220會傳送指令給數據判斷單元230。數據判斷單元230係用於判斷元數據是否改變,若是元數據改變了,此數據判斷單元230便會發出一請求,要求客戶端100傳送新的數據,此數據判斷單元230可為一中央處理器之處理單元。
上述之中斷點判斷單元240係用於判斷目前數據判斷單元230處理之數據是否為中斷點的數據。當偵測暨通訊單元210偵測到一中斷訊號時,偵測暨通訊單元210會傳送一中斷點資訊至中斷點判斷單元240並儲存。續傳的過程中,當數據判斷單元230判斷完一元數據是否改變後,數據判斷單元230會傳輸此元數據的資料至中斷點判斷單元240,中斷點判斷單元240藉由此元數據之資料與先前儲存之中斷點資料做比對,判斷是否已經達到中斷點。
上述之數據資料庫250係用於存放已接收的資料,伺服端200接收到客戶端100所傳輸的資料即放於此數據資料庫250中。另當快照處理單元220依據客戶端100的快照建立目錄樹及特徵值時,亦建立於此數據資料庫250中。此數據資料庫250可為硬碟或任何可以儲存數據資料之硬體。
參閱「第2圖」,第2圖為「第1圖」之實施流程圖。依據本實施例,當使用者於客戶端100下達一傳輸數據之指令時,通訊單元120會傳送一傳輸數據之請求至伺服端200,伺服端200的偵測暨通訊單元210接收到通訊單元120傳來之傳輸數據請求後,偵測暨通訊單元210便開始接收待傳輸數據元及對應待傳輸數據元的第一快照S10至數據資料庫250中。
上述之待傳輸數據元為使用者欲傳送至伺服端200備份或處理之資料,在待傳輸數據元傳送至伺服端200之前,客戶端100的快照單元140會先拍攝所有待傳輸數據元的快照,通訊單元120會傳送此快照至伺服端200。
當傳輸中斷時,偵測暨通訊單元210會偵測到中斷訊號S20。在一實施例中,當偵測暨通訊單元210收到一中斷訊號時,偵測暨通訊單元210會直接傳送一處理指令至快照處理單元220。
在另一實施例中,當偵測暨通訊單元210收到一中斷訊號時,係等待偵測暨通訊單元210接收到使用者下達之續傳指令後,傳送一處理指令至快照處理單元220。快照處理單元220接收處理指令後會判斷客戶端100之第一快照是否完整S30。
在一實施例中,快照處理單元220判斷第一快照是否完整之方法可以為快照處理單元220發出一判斷請求給快照單元140,請求快照單元140傳送一回覆,快照處理單元220即依據此回覆做出判斷。
在另一實施例中,在通訊單元120傳送使用者下達之續傳指令前,先傳送一判斷指令給快照單元130,在接收到快照單元130的回覆後,通訊單元120會同時傳送續傳指令以及快照單元的回覆給伺服端200,快照處理單元220便可依據客戶端100傳來之回覆進行判斷。
若快照處理單元220判斷為第一快照不完整,此時伺服端200會先判斷客戶端100待傳輸數據元之元數據是否改變S40。快照處理單元220會傳送一判斷數據的指令給數據判斷單元230,數據判斷單元230接收指令後會讀取數據資料庫250中已接收的數據元,並把這些數據資料庫250的數據元與客戶端100的數據元做比較,數據判斷單元230會藉由比對這些待傳輸數據元的元數據及特徵值與已接收的數據元的元數據及特徵值是否一致,近一步判斷在中斷的期間資料是否已遭變更。
當元數據改變時,伺服端200會接收與元數據對應的數據元至伺服端200 S50。數據判斷單元230會透過偵測暨通訊單元210發出一重新傳送之請求,當通訊單元120接收到重新傳送的請求後,會尋找並讀取待傳輸資料庫160中欲重新傳輸之數據元,並傳送至伺服端200。最後,伺服端200繼續接收待續傳之數據元S60至數據資料庫250中。
在上述執行本揭示內容的步驟中,當上述步驟執行到一半或者續傳到一半時,資料傳輸有可能再次中斷。若遇到資料傳輸再次中斷時,可以重複執行數次此些步驟。本揭示內容不因執行此方法的次數受到限制。
再如「第3圖」所示,在一實施例中,我們可以把接收待傳輸數據元及對應待傳輸數據元的第一快照S10更詳細分解成三步驟,首先,伺服端200的偵測暨通訊單元210會接收對應待傳輸數據元之第一快照S12,偵測暨通訊單元210接收到此第一快照時,會傳送此第一快照至快照處理單元220。而快照處理單元220接收到此第一快照時,會根據此第一快照之內容而在數據資料庫250中建立客戶端100待傳輸數據元之目錄樹及特徵值S14。當這些工作完成後,偵測暨通訊單元210便可開始接收待傳輸數據元S16至數據資料庫250。
「第3圖」中,另指出當快照處理單元220判斷出第一快照不完整時,需接收待傳輸數據元之第二快照S32。當第一快照不完整時,快照處理單元220會透由偵測暨判斷單元210對客戶端100的快照單元140發出重新傳輸快照的請求,當快照單元140接收到此請求時,快照單元140會傳送新的第二快照至伺服端200,並由快照處理單元220處理此第二快照。
上述之第二快照與第一快照的差別是在於第二快照與第一快照拍攝的時點不同,裡面所拍攝的數據可能相同也可能不同,第二快照與第一快照分別代表了不同時點資料的狀態。
在此實施例當中,在執行接收待續傳之數據元S60之前,會先判斷指向數據元之指標是否已到達中斷點S70。當數據判斷單元230判斷完畢之後,不論判斷之結果為何,數據判斷單元230均會傳送指向數據元的指標給中斷點判斷單元240。中斷點判斷單元240會判斷指向數據元的指標是否已達到上次傳輸停止的中斷點,換句話說,也就是指標指向的數據元是否為上次傳輸的中斷點。若數據判斷單元230判斷指標目前指向之數據元並不是中斷點,此時,此流程會回到判斷客戶端100待傳送數據元之元數據是否改變S40,重新執行後面的步驟。
當數據判斷單元230判斷指標目前指向的位置為中斷點時,數據判斷單元230會發送一可續傳指令至偵測暨通訊單元210,偵測暨通訊單元210會發送請求至客戶端100,即可開始續傳未傳輸完成之文件。
上述的元數據結構至少包含了一文件創建時間、一文件上次修改時間、一文件上次訪問時間,元數據結構並不限制於本揭示內容,可依實際上客戶端100的需求做修改。
100...客戶端
120...通訊單元
140...快照單元
160...待傳輸資料庫
200...伺服端
210...偵測暨通訊單元
220...快照處理單元
230...數據判斷單元
240...中斷點判斷單元
250...數據資料庫
S10...接收待傳輸數據元及對應待傳輸數據元的第一快照
S12...接收對應待傳輸數據元之第一快照
S14...建立客戶端待傳輸數據元之目錄樹及特徵值
S16...接收待傳輸數據元
S20...偵測到中斷訊號
S30...判斷客戶端之第一快照是否完整
S32...接收待傳輸數據元之第二快照
S40...判斷客戶端待傳輸數據元之元數據是否改變
S50...接收與元數據對應的數據元至伺服端
S60...接收待續傳之數據元
S70...判斷指向數據元之指標是否已到達中斷點
第1圖為依據本揭示內容一實施例之系統內部結構示意圖。
第2圖為「第1圖」之實施流程圖。
第3圖為「第1圖」之實施細部流程圖。
S10...接收待傳輸數據元及對應待傳輸數據元的第一快照
S20...偵測到中斷訊號
S30...判斷客戶端之第一快照是否完整
S40...判斷客戶端待傳輸數據元之元數據是否改變
S50...接收與元數據對應的數據元至伺服端
S60...接收待續傳之數據元

Claims (6)

  1. 一種斷點續傳的方法,包括;接收一待傳輸數據元及對應該待傳輸數據元的一第一快照;偵測到一中斷訊號;判斷一客戶端之該第一快照是否完整;當該第一快照不完整時,執行以下步驟:判斷該客戶端的該待傳輸數據元之一元數據是否改變;以及當該元數據改變時,接收與該元數據對應的一數據元至該伺服端;以及接收一待續傳之數據元。
  2. 如請求項1所述之斷點續傳的方法,其中該接收該待傳輸數據元及對應該待傳輸數據元的該第一快照的步驟包含:接收對應該待傳輸數據元之該第一快照;建立該客戶端的該待傳輸數據元之一目錄樹及一特徵值;以及接收該待傳輸數據元。
  3. 如請求項1所述之斷點續傳的方法,其中該判斷該客戶端之該第一快照是否完整的步驟包含當該第一快照不完整時,接收該待傳輸數據元之一第二快照。
  4. 如請求項1所述之斷點續傳的方法,在該接收該待續傳之數據元的步驟之前更包含下列步驟:判斷指向該數據元之一指標是否已到達一中斷點;以及當該指標未達到該中斷點時,重新執行該當該第一快照不完整時執行以下步驟的步驟。
  5. 如請求項1所述之斷點續傳的方法,其中該元數據之結構係包括一文件創建時間、一文件上次修改時間、一文件上次訪問時間。
  6. 如請求項1所述之斷點續傳的方法,其中,該接收待續傳之數據元的步驟係從該中斷點開始接收。
TW100128573A 2011-08-10 2011-08-10 一種斷點續傳的方法 TW201308946A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100128573A TW201308946A (zh) 2011-08-10 2011-08-10 一種斷點續傳的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100128573A TW201308946A (zh) 2011-08-10 2011-08-10 一種斷點續傳的方法

Publications (1)

Publication Number Publication Date
TW201308946A true TW201308946A (zh) 2013-02-16

Family

ID=48170014

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100128573A TW201308946A (zh) 2011-08-10 2011-08-10 一種斷點續傳的方法

Country Status (1)

Country Link
TW (1) TW201308946A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104657398A (zh) * 2013-11-25 2015-05-27 财团法人资讯工业策进会 数据处理装置及数据处理方法
CN106776439A (zh) * 2015-11-20 2017-05-31 英业达科技有限公司 数据传输系统及其方法
US9929899B2 (en) 2013-09-20 2018-03-27 Hewlett Packard Enterprises Development LP Snapshot message
WO2022252802A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 文件传输方法、系统、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9929899B2 (en) 2013-09-20 2018-03-27 Hewlett Packard Enterprises Development LP Snapshot message
CN104657398A (zh) * 2013-11-25 2015-05-27 财团法人资讯工业策进会 数据处理装置及数据处理方法
US9262466B2 (en) 2013-11-25 2016-02-16 Institute For Information Industry Data processor and a data processing method
CN106776439A (zh) * 2015-11-20 2017-05-31 英业达科技有限公司 数据传输系统及其方法
WO2022252802A1 (zh) * 2021-05-31 2022-12-08 华为技术有限公司 文件传输方法、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
EP3178003B1 (en) Safe data access following storage failure
US20120303761A1 (en) Breakpoint continuous transmission method
US9753954B2 (en) Data node fencing in a distributed file system
KR101923245B1 (ko) 투명한 장애 극복 기법
US9582382B1 (en) Snapshot hardening
US9286298B1 (en) Methods for enhancing management of backup data sets and devices thereof
CN107077405B (zh) 用于数据复制方法和系统
US8751444B2 (en) Synchronization of database changes among multiple devices
WO2021226905A1 (zh) 一种数据存储方法、系统及存储介质
CN111078667B (zh) 一种数据迁移的方法以及相关装置
WO2018214887A1 (zh) 数据存储方法、存储服务器、存储介质及系统
CN110032478B (zh) 一种主备中心数据实时同步方法、装置、系统及存储介质
CN110633168A (zh) 一种分布式存储系统的数据备份方法和系统
US10789138B2 (en) SMB service fault processing method and storage device
WO2012171349A1 (zh) 一种分布式自增计数的实现方法、装置及系统
TW201308946A (zh) 一種斷點續傳的方法
CN113330426B (zh) 一种备份数据的方法、装置和系统
CN107172112B (zh) 一种计算机文件传输方法及装置
JP2006072684A (ja) ストレージネットワークシステム及び管理サーバ、ホストとストレージ装置
CN112735602A (zh) 区块链风险值管理方法、装置、电子设备及存储介质
CN103530205A (zh) 多副本中故障副本的处理方法和装置
US20120124009A1 (en) Automatic expiration of data in file systems under certain scenarios
CN103049351B (zh) 多元数据服务器的日志处理方法和装置
US10896103B2 (en) Information processing system
CN111581029A (zh) 一种硬链接文件的异地备份方法及系统