TWI550417B - 資料遷移方法及裝置 - Google Patents
資料遷移方法及裝置 Download PDFInfo
- Publication number
- TWI550417B TWI550417B TW103140226A TW103140226A TWI550417B TW I550417 B TWI550417 B TW I550417B TW 103140226 A TW103140226 A TW 103140226A TW 103140226 A TW103140226 A TW 103140226A TW I550417 B TWI550417 B TW I550417B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- platform
- matching
- structure field
- category
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/08—Protocols for interworking; Protocol conversion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本發明係關於計算機技術領域，特別有關一種資料遷移方法及裝置。
在計算機領域中，當兩個平台之間資料結構一樣且欄位值也一樣的情況下，可以實現將資料包從一個平台順利導入另一平台。但是，由於電子商務平台眾多，各平台的資料結構、類目結構和屬性結構可能不一樣，由此使得平台之間資料包的平順導入成為一個難題。
目前，對於兩個平台之間資料結構不一樣且欄位值也不一樣的情形，在進行資料導入時，需要透過大量人工操作來進行關聯導入，無法做到智能化，導致用戶操作成本高，使用效率低。
本發明之一目的在於提供一種資料遷移方法及裝置，以有效實現不同平台之間資料的平順遷移，提高資料遷移效率，降低操作成本。
為達成上述目的，本發明一方面提供一種資料遷移方法，包含：獲取第一平台的資料包；對該資料包進行解析，以獲取該資料包的資料結構欄位；將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；當匹配成功後，採用預設的匹配關聯規則將該資料
包與該第二平台進行匹配關聯；以及根據關聯結果，將該資料包轉換並遷移至該第二平台。
本發明另一方面提供一種資料遷移裝置，包含：資料包獲取模組，用於獲取第一平台的資料包；解析模組，用於對該資料包進行解析，以獲取該資料包的資料結構欄位；匹配模組，用於將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；匹配關聯模組，用於當匹配成功後，採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯；以及轉換遷移模組，用於根據關聯結果，將該資料包轉換並遷移至該第二平台。
本發明提出的資料遷移方法及裝置，在遷移第一平台的資料包時，對該資料包進行解析，獲取該資料包的資料結構欄位，將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；當匹配成功後，採用預設的匹配關聯規則將該資料包與第二平台進行匹配關聯，根據關聯結果，將該資料包轉換並遷移至第二平台，由此可以有效解決由於不同平台資料結構欄位不同而導致的無法智能導入資料的問題，提高了資料遷移效率，降低用戶操作成本。
10‧‧‧第一平台
20‧‧‧第二平台
199‧‧‧模型建立模組
200‧‧‧配置模組
201‧‧‧資料包獲取模組
202‧‧‧解析模組
203‧‧‧匹配模組
204‧‧‧匹配關聯模組
205‧‧‧轉換遷移模組
2041‧‧‧解析單元
2042‧‧‧匹配單元
2043‧‧‧關聯單元
S90、S100‧‧‧步驟
S101~S105‧‧‧步驟
S106‧‧‧步驟
S1041~S1048‧‧‧步驟
S1049‧‧‧步驟
為使本發明的技術方案更加清楚、明瞭，下面將結合所附圖式進一步詳述。
第1圖是本發明實施例涉及的硬體運行環境示意圖；第2圖是本發明資料遷移方法第一實施例的流程示意圖；
第3a圖是本發明實施例中資料結構欄位映射關係表的結構示意圖；第3b圖是本發明實施例中分批進行資料遷移的示意圖；第4a圖是本發明實施例中採用預設的匹配關聯規則將資料包與第二平台進行匹配關聯的一種流程示意圖；第4b圖是本發明實施例中採用預設的匹配關聯規則將資料包與第二平台進行匹配關聯的另一種流程示意圖；第5圖是本發明資料遷移方法第二實施例的流程示意圖；第6圖是本發明資料遷移方法第三實施例的流程示意圖；第7圖是本發明第四實施例中資料遷移裝置的功能模組示意圖；第8圖是本發明資料遷移裝置實施例中匹配關聯模組的結構示意圖；第9圖是本發明第五實施例中資料遷移裝置的功能模組示意圖。
應當理解，此處所描述的具體實施例僅用以例示本發明，而並不用於限定本發明。
本發明實施例的技術方案主要針對不同平台之間資料包的遷移，比如跨電子商務平台的商品資料包的資料遷移，以電子商務平台為例(但不限於電子商務平台)，由於電子商務平台眾多，各個平台的資料結構、類目結構和屬性結構也各不一樣，而類目結構決定了屬性結構，屬於上下級關係，因此遷移兩個平台之間的商品資料包需要解決資料結構不同、類目結構不同和屬性結構不同三個方面的問題。本發明實施例的技術方案以電子商務平台之間的資料遷移進行舉例，採用相似度匹配、建立資料模型、用戶操作記憶等方法，在不同平台間不同資料結構、不同類目結構和不同屬性
結構的場景下，智能地處理不同欄位之商品資料，使得商品資料能夠平順遷移，提高了資料遷移效率，降低用戶操作成本。
如第1圖所示，本發明實施例涉及的硬體運行環境包含多個平台，可以實現多個不同平台之間不同資料結構、不同類目結構和不同屬性結構的場景下，不同欄位間之資料的平順遷移。第1圖中以第一平台10和第二平台20兩個平台之間資料的遷移進行舉例。
其中，第一平台10和第二平台20透過網路通訊連接，兩個平台具體可以為同類平台，比如同為電子商務平台；第二平台20為用戶當前操作的平台，第一平台10為相對第二平台20的其它平台，用戶需要將第一平台10的資料遷移到第二平台20。具體地，基於第1圖所示的硬體架構，提出本發明第一實施例的資料遷移方法，如第2圖所示，其包含：步驟S101，獲取第一平台的資料包；首先，在用戶當前操作的第二平台上，上傳第一平台的資料包，其中第一平台的資料包的獲取可以直接從第一平台獲取，也可以從後台伺服器獲取，在此不作具體限定。
步驟S102，對該資料包進行解析，以獲取該資料包的資料結構欄位；步驟S103，將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表(或稱第一欄位映射關係表)進行匹配；其中，對於資料結構，以電子商務平台為例，資料結構包含商品的類目欄位、品名欄位等，比如一個資料結構包含的資料結構欄位有類目名稱、商品名稱及商品價格等。
由於不同的平台，其資料結構欄位可能不相同，因此為了實現不同資料結構之間資料的平順遷移，本實施例預先配置有第一平台與第二平台之間商品資料結構欄位之間的映射關係，並由此形成資料結構欄位映射關係表，可以參考第3a圖，該資料結構欄位映射關係表中記錄了第一平台的資料與第二平台的資料中資料結構欄位之間的映射關係，比如第3a圖中，第一平台的欄位A與第二平台的欄位1相對應，第一平台的欄位B與第二平台的欄位2相對應，如此等等。
在獲取到第一平台的資料包後，透過解析該資料包得到該資料包的資料結構欄位，以便根據該資料結構欄位查找該資料結構欄位映射關係表進行匹配，判斷當前第一平台與第二平台的資料結構是否相同或相似，即能否匹配上，若兩者能夠匹配，則認為第一平台與第二平台的資料結構相同或相似，適合資料遷移，並作為後續進一步匹配判斷的依據。
當在該資料結構欄位映射關係表中未找到與第一平台的資料結構欄位相對應的第二平台資料結構欄位時，則認為匹配失敗，系統可以提示用戶當前操作無法完成資料遷移，當然也可以採用其他方式來完成資料的遷移。
步驟S104，當匹配成功後，採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯；當匹配成功後，本實施例可以採用自動匹配，或者自動匹配加人工匹配的方式來實現第一平台資料包與第二平台的匹配關聯，實現不同欄位之間商品資料的平順遷移，以提高資料遷移效率，降低用戶操作成本。
其中，自動匹配可以採用相似度匹配、建立資料模型、用戶操作記憶等方法，在不同平台間不同資料結構、
不同類目結構和不同屬性結構場景下，智能地處理不同欄位之商品資料的平順遷移。
以電子商務平台為例，其中類目結構與屬性結構兩者屬於上下級關係，類目結構中包含商品類目欄位下的各個子類目或屬性欄位等；屬性結構包含商品的各個屬性訊息，比如手機類目下手機的型號等。
步驟S105，根據關聯結果，將該資料包轉換並遷移至該第二平台。
在將第一平台的資料包與第二平台進行匹配關聯後，根據關聯結果，將該資料包轉換並遷移至第二平台。
如第3b圖所示，由於資料包中可能存在不同類目的商品，因此作為一種較佳實施方式，可以採用分批處理，比如可以優先處理商品數量最多的類目，再處理商品數量次多的類目，以此類推，直至資料遷移完畢。
更為具體地，如第4a圖所示，作為一種實施方式，上述步驟S104中：採用預設的匹配關聯規則將該資料包與第二平台進行匹配關聯的過程可以包含：步驟S1041，解析該資料包，獲取該資料包的類目結構欄位；步驟S1042，將該資料包的類目結構欄位與對應第二平台的預設的類目結構欄位映射關係表(或稱第二欄位映射關係表)進行匹配；當匹配成功時，進入步驟S1043；當匹配未成功時，進入步驟S1044；步驟S1043，將該資料包中匹配的類目結構欄位與該第二平台對應的類目結構欄位進行關聯；步驟S1044，採用相似度方法獲取該資料包中類目結構欄位與第二平台中對應的類目結構欄位的相似度，並
判斷該相似度是否達到第一設定閾值，若是，則進入步驟S1043；否則，進入步驟S1045；步驟S1045，採用預先建立的資料模型獲取該資料包中類目結構欄位與第二平台中對應的類目結構欄位的關聯次數；步驟S1046，判斷最高的關聯次數是否達到設定的第二閾值；若是，則進入步驟S1047；否則，進入步驟S1048；步驟S1047，將關聯次數最高且關聯次數達到設定的第二閾值的兩類目結構欄位進行關聯。
步驟S1048，採用用戶操作記憶的方法向用戶展示第二平台中最近預定時間內用戶所使用的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中；及/或展示第二平台中當前用戶的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中；及/或展示第二平台中所有類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中。
具體地，為了實現不同類目結構欄位之間的匹配關聯，本實施例還預先配置了第一平台與第二平台之間商品資料類目欄位之間的映射關係，並由此形成類目結構欄位映射關係表。
在實現不同類目結構欄位之間的匹配關聯時，首先透過解析第一平台的資料包，獲取該資料包的類目結構欄位，然後將獲取的資料包的類目結構欄位與預設的類目結構欄位映射關係表進行匹配，判斷該資料包裡的商品類目欄位是否已經和當前第二平台存在映射關係，若是，則匹配成功。
當匹配成功時，將該資料包中匹配的類目結構欄位與第二平台對應的類目結構欄位進行關聯。
當匹配未成功時，則採取以下方案將第一平台資料包內的商品類目欄位與當前第二平台相對應的商品類目欄位進行匹配：採用相似度匹配方法校驗當前第二平台是否有類目結構欄位與資料包內的類目結構欄位相似度達到第二平台所設置閥值(即本實施例所稱的第一設定閾值)，若有，則將該資料包中匹配的類目結構欄位與第二平台對應的類目結構欄位進行關聯；若沒有，則可以採用資料模型或者人工匹配的方式來實現兩平台不同類目結構欄位之間的匹配關聯。
具體地，在本實施例中，作為一種實現方式，當採用相似度方法獲取的資料包中類目結構欄位與第二平台中對應的類目結構欄位的相似度未達到第一設定閾值時，可以透過預先建立的資料模型來實現兩平台不同類目結構欄位之間的匹配關聯。比如，記錄第一平台用戶選擇資料包內商品類目欄位A與第二平台欄位B的關聯次數，若該關聯次數達到第二平台所設置的閥值(即本實施例的所稱第二設定閾值)且高於商品類目欄位A與第二平台其他欄位關聯的次數，則自動將這兩個欄位進行關聯。由此，基於上述原理預先建立資料模型，後續透過該預先建立的資料模型來實現兩平台不同類目結構欄位之間的匹配關聯。
當然，若該關聯次數未達到第二平台所設置的第二設定閥值時，也可以採用其他方法比如用戶操作記憶的方法或者人工匹配方法來實現兩平台不同類目結構欄位之間的匹配關聯。
具體地，比如可以採用用戶操作記憶的方法展示用戶最近常用類目，以供用戶選擇關聯，並將其關聯記錄自動記錄到該資料模型中，以便後續可以依據此更新後的資料模型進行兩平台不同類目結構欄位之間的匹配關聯。
進一步地，比如還可以展示該用戶店鋪經營的類目供用戶選擇，並將其關聯記錄自動記錄到該資料模型中，以便後續可以依據此更新後的資料模型進行兩平台不同類目結構欄位之間的匹配關聯。
更進一步地，比如還可以展示平台所有類目供用戶選擇，並將其關聯記錄自動記錄到該資料模型中，以便後續可以依據此更新後的資料模型進行兩平台不同類目結構欄位之間的匹配關聯。
如第4b圖所示，作為另一種實施方式，上述步驟S104中：採用預設的匹配關聯規則將該資料包與第二平台進行匹配關聯的步驟之後還可以包含：步驟S1049，對關聯後的類目結構欄位中的屬性結構欄位進行匹配關聯。
本實施方式與上述第4a圖所示的實施方式相比，還可以結合屬性結構欄位來實現兩平台不同屬性結構欄位之間的匹配關聯。
其中，不同屬性結構欄位之間的匹配關聯的具體實現方案，可以採用與上述第4a圖所示的不同類目結構欄位之間的匹配關聯的方案相似的方案，即可以採用相似度匹配、建立資料模型、用戶操作記憶等方法，或者還可以結合人工匹配方法等，在此不再贅述。
本實施例透過上述方案，在遷移第一平台的資料包時，透過對該資料包進行解析，獲取該資料包的資料結構欄位，將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；當匹配成功後，採用預設的匹配關聯規則將該資料包與第二平台進行匹配關聯，根據關聯結果，將該資料包轉換並遷移至第二平台，由此可以有效解決由於不同平台的資料結構欄位不同而導致的無法智
能導入資料的問題，提高了資料遷移效率，降低用戶操作成本。
如第5圖所示，本發明第二實施例提出一種資料遷移方法，在上述第一實施例的基礎上，在上述步驟S101之前還可以包含：步驟S90，基於用戶操作習慣建立資料模型。
步驟S100，配置第一平台與第二平台之間的資料結構欄位映射關係表和類目結構欄位映射關係表。
本實施例與上述第一實施例的區別在於，本實施例還包含建立資料模型以及配置相應的欄位映射關係表的方案。
其中，在建立資料模型時，可以基於用戶的操作習慣或歷史操作記錄來建立資料模型，比如，記錄第一平台中用戶所選擇的資料包內商品類目欄位A與第二平台欄位B的關聯次數，若該關聯次數達到第二平台所設置的閥值且高於商品類目欄位A與第二平台其他欄位關聯的次數，則自動將這兩個欄位進行關聯。由此，基於上述原理建立資料模型，後續透過該建立的資料模型來實現兩平台不同類目結構欄位或者不同屬性結構欄位之間的匹配關聯。該資料模型還可以根據後續不斷學習而更新。
對於欄位映射關係表的建立，則可以根據用戶選擇或者實際經驗，分別建立記錄第一平台與第二平台之間商品資料結構欄位之間映射關係的資料結構欄位映射關係表，以及建立記錄第一平台與第二平台之間商品類目結構欄位之間映射關係的類目結構欄位映射關係表，以此作為第一平台資料包與第二平台進行匹配關聯的依據。
由此，透過上述方案，可以實現第一平台資料包與第二平台之間的匹配關聯，進而有效實現不同平台之間資料的平順遷移，提高資料遷移效率，降低操作成本。
需要說明的是，上述步驟S90和步驟S100還可以在上述步驟S102之前或者在步驟S102和步驟S103之間實施。
如第6圖所示，本發明第三實施例提出一種資料遷移方法，在上述第二實施例的基礎上，在上述步驟S104之後還包含：步驟S106，將關聯後的資料包中的資料保存至臨時表；所述根據關聯結果，將該資料包遷移至第二平台的步驟包含：根據關聯結果，從該臨時表中獲取關聯資料，以遷移至第二平台。
本實施例與上述第一實施例的區別在於，本實施例在採用預設的匹配關聯規則將該資料包與第二平台進行匹配關聯後，還將關聯後的資料包中的資料保存至臨時表，當第一平台的資料包中所有資料均匹配關聯完後，再從臨時表中獲取關聯資料遷移至第二平台，由此，可以保證資料遷移的完整性與準確性。
如第7圖所示，本發明第四實施例提出一種資料遷移裝置，包含：資料包獲取模組201、解析模組202、匹配模組203、匹配關聯模組204及轉換遷移模組205，其中：資料包獲取模組201，用於獲取第一平台的資料包；解析模組202，用於對該資料包進行解析，以獲取該資料包的資料結構欄位；
匹配模組203，用於將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表(或稱第一欄位映射關係表)進行匹配；匹配關聯模組204，用於當匹配成功後，採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯；轉換遷移模組205，用於根據關聯結果，將該資料包轉換並遷移至該第二平台。
本實施例的技術方案涉及第一平台和第二平台，該第一平台和第二平台具體可以為同類平台，比如同為電子商務平台；其中，第二平台為用戶當前操作的平台，第一平台為相對第二平台的其它平台，用戶需要將第一平台的資料遷移到第二平台。本實施例的資料遷移裝置可以設置在第一平台上，也可以設置在第二平台上，還可以獨立於第一平台和第二平台進行設置。本實施例以資料遷移裝置設置在第二平台上進行舉例說明。
首先，在用戶當前操作的第二平台上，資料包獲取模組201上傳第一平台的資料包，其中第一平台的資料包的獲取可以直接從第一平台獲取，也可以從後台伺服器獲取，在此不作具體限定。
其中，對於資料結構，以電子商務平台為例，資料結構包含商品的類目欄位、品名欄位等，比如一個資料結構包含的資料結構欄位有類目名稱、商品名稱及商品價格等。
由於不同的平台，其資料結構欄位可能不相同，因此為了實現不同資料結構之間資料的平順遷移，本實施例預先配置有第一平台與第二平台之間商品資料結構欄位之間的映射關係，並由此形成資料結構欄位映射關係表，可以參考第3a圖，該資料結構欄位映射關係表中記錄了第一平台的資料與第二平台的資料中資料結構欄位之間的映射關係，比
如第3a圖中，第一平台的欄位A與第二平台的欄位1相對應，如此等等。
在獲取到第一平台的資料包後，解析模組202透過解析該資料包得到該資料包的資料結構欄位，以便匹配模組203根據該資料結構欄位查找該資料結構欄位映射關係表進行匹配，判斷當前第一平台與第二平台的資料結構是否相同或相似，即能否匹配上，若兩者能夠匹配，則認為第一平台與第二平台的資料結構相同或相似，適合資料遷移，並作為後續進一步匹配判斷的依據。
當在該資料結構欄位映射關係表中未找到與第一平台的資料結構欄位相對應的第二平台資料結構欄位時，則認為匹配失敗，系統可以提示用戶當前操作無法完成資料遷移，當然也可以採用其他方式來完成資料的遷移。
當匹配成功後，匹配關聯模組204採用預設的匹配關聯規則將該資料包與第二平台進行匹配關聯。具體地，本實施例可以採用自動匹配，或者自動匹配加人工匹配的方式來實現第一平台資料包與第二平台的匹配關聯，實現不同欄位之間商品資料的平順遷移，以提高資料遷移效率，降低用戶操作成本。
其中，自動匹配可以採用相似度匹配、建立資料模型、用戶操作記憶等方法，在不同平台間不同資料結構、不同類目結構和不同屬性結構場景下，智能地處理不同欄位之商品資料的平順遷移。
以電子商務平台為例，其中類目結構與屬性結構兩者屬於上下級關係，類目結構中包含商品類目欄位下的各個子類目或屬性欄位等；屬性結構包含商品的各個屬性訊息，比如手機類目下手機的型號等。
在將第一平台的資料包與第二平台進行匹配關聯後，透過轉換遷移模組205根據關聯結果將該資料包轉換並遷移至第二平台。
如第3b圖所示，由於資料包中可能存在不同類目的商品，因此作為一種較佳實施方式，可以採用分批處理，比如可以優先處理商品數量最多的類目，再處理商品數量次多的類目，以此類推，直至資料遷移完畢。
更為具體地，如第8圖所示，上述匹配關聯模組204還可以包含：解析單元2041、匹配單元2042及關聯單元2043，其中：解析單元2041，用於解析該資料包，獲取該資料包的類目結構欄位；匹配單元2042，用於將該資料包的類目結構欄位與對應第二平台的預設的類目結構欄位映射關係表(或稱第二欄位映射關係表)進行匹配；關聯單元2043，用於當匹配成功時，將該資料包中匹配的類目結構欄位與該第二平台對應的類目結構欄位進行關聯；當匹配未成功時，採用相似度方法獲取該資料包中類目結構欄位與第二平台中對應的類目結構欄位的相似度，並判斷該相似度是否達到第一設定閾值，若是，則將該資料包中匹配的類目結構欄位與第二平台對應的類目結構欄位進行關聯。
進一步地，關聯單元2043還用於當該相似度未達到該第一設定閾值時，採用預先建立的資料模型獲取該資料包中類目結構欄位與第二平台中對應的類目結構欄位的關聯次數；將關聯次數最高且關聯次數達到設定的第二閾值的兩類目結構欄位進行關聯。
進一步地，關聯單元2043還用於當所獲取的關聯次數未達到該設定的第二閾值時，採用用戶操作記憶的方法向用戶展示第二平台中最近預定時間內用戶使用的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中；及/或展示第二平台中當前用戶的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中；及/或展示第二平台中所有類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中。
進一步地，關聯單元2043還用於對關聯後的類目結構欄位中的屬性結構欄位進行匹配關聯。
具體地，為了實現不同類目結構欄位之間的匹配關聯，本實施例還預先配置了第一平台與第二平台之間商品資料類目欄位之間的映射關係，並由此形成類目結構欄位映射關係表。
在實現不同類目結構欄位之間的匹配關聯時，首先透過解析第一平台的資料包，獲取該資料包的類目結構欄位，然後將獲取的資料包的類目結構欄位與預設的類目結構欄位映射關係表進行匹配，判斷該資料包裡的商品類目欄位是否已經和當前第二平台存在映射關係，若是，則匹配成功。當匹配成功時，將該資料包中匹配的類目結構欄位與第二平台對應的類目結構欄位進行關聯。
當匹配未成功時，則採取以下方案將第一平台資料包內的商品類目欄位與當前第二平台相對應的商品類目欄位進行匹配：採用相似度匹配方法校驗當前第二平台是否有類目結構欄位與資料包內類目結構欄位相似度達到第二平台所設置閥值(即本實施例所稱的第一設定閾值)，若有，則將該資料包中匹配的類目結構欄位與第二平台對應的類目結構
欄位進行關聯；若沒有，則可以採用資料模型或者人工匹配的方式來實現兩平台不同類目結構欄位之間的匹配關聯。
具體地，在本實施例中，作為一種實現方式，當採用相似度方法獲取的資料包中類目結構欄位與第二平台中對應的類目結構欄位的相似度未達到第一設定閾值時，可以透過預先建立的資料模型來實現兩平台不同類目結構欄位之間的匹配關聯。比如，記錄第一平台用戶選擇資料包內商品類目欄位A與第二平台欄位B的關聯次數，若該關聯次數達到第二平台所設置的閥值(即本實施例所稱的第二設定閾值)且高於商品類目欄位A與第二平台其他欄位關聯的次數，則自動將這兩個欄位進行關聯。由此，基於上述原理預先建立資料模型，後續透過該預先建立的資料模型來實現兩平台不同類目結構欄位之間的匹配關聯。
當然，若該關聯次數未達到第二平台所設置的第二設定閥值時，也可以採用其他方法比如用戶操作記憶的方法或者人工匹配方法來實現兩平台不同類目結構欄位之間的匹配關聯。
具體地，比如可以採用用戶操作記憶的方法展示用戶最近常用類目，以供用戶選擇關聯，並將其關聯記錄自動記錄到該資料模型中，以便後續可以依據此更新後的資料模型進行兩平台不同類目結構欄位之間的匹配關聯。
進一步地，比如還可以展示該用戶店鋪經營的類目供用戶選擇，並將其關聯記錄自動記錄到該資料模型中，以便後續可以依據此更新後的資料模型進行兩平台不同類目結構欄位之間的匹配關聯。
更進一步地，比如還可以展示平台所有類目供用戶選擇，並將其關聯記錄自動記錄到該資料模型中，以便後
續可以依據此更新後的資料模型進行兩平台不同類目結構欄位之間的匹配關聯。
此外，還可以結合屬性結構欄位來實現兩平台不同屬性結構欄位之間的匹配關聯。
其中，不同屬性結構欄位之間的匹配關聯的具體實現方案，可以採用與上述不同類目結構欄位之間的匹配關聯的方案相似的方案，即可以採用相似度匹配、建立資料模型、用戶操作記憶等方法，或者還可以結合人工匹配方法等，在此不再贅述。
本實施例透過上述方案，在遷移第一平台的資料包時，透過對該資料包進行解析，獲取該資料包的資料結構欄位，將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；當匹配成功後，採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯，根據關聯結果，將該資料包轉換並遷移至第二平台，由此可以有效解決由於不同平台的資料結構欄位不同而導致的無法智能導入資料的問題，提高了資料遷移效率，降低用戶操作成本。
如第9圖所示，本發明第五實施例提出一種資料遷移裝置，在上述第四實施例所示的基礎上，還包含：模型建立模組199，用於根據用戶操作習慣建立資料模型。
配置模組200，用於配置第一平台與第二平台之間的資料結構欄位映射關係表和類目結構欄位映射關係表。
本實施例與上述第四實施例的區別在於，本實施例還包含建立資料模型以及配置相應的欄位映射關係表的方案。
其中，在建立資料模型時，可以基於用戶的操作習慣或歷史操作記錄來建立資料模型，比如，記錄第一平台中用戶所選擇的資料包內商品類目欄位A與第二平台欄位B的關聯次數，若該關聯次數達到第二平台所設置的閥值且高於商品類目欄位A與第二平台其他欄位關聯的次數，則自動將這兩個欄位進行關聯。由此，基於上述原理建立資料模型，後續透過該建立的資料模型來實現兩平台不同類目結構欄位或者不同屬性結構欄位之間的匹配關聯。該資料模型還可以根據後續不斷學習而更新。
對於欄位映射關係表的建立，則可以根據用戶選擇或者實際經驗，分別建立記錄第一平台與第二平台之間商品資料結構欄位之間映射關係的資料結構欄位映射關係表，以及建立記錄第一平台與第二平台之間商品類目結構欄位之間映射關係的類目結構欄位映射關係表，以此作為第一平台資料包與第二平台進行匹配關聯的依據。
由此，透過上述方案，可以實現第一平台資料包與第二平台之間的匹配關聯，進而有效實現不同平台之間資料的平順遷移，提高資料遷移效率，降低操作成本。
需要說明的是，本實施例對上述模型建立模組199與配置模組200的連接位置不作具體限定。
還需要進一步說明的是，在本文中，用語“包含”、“包括”或者其他任何變體，意在涵蓋而非排他性的，從而包含一系列要素的過程、方法、物品或者裝置不僅包含那些要素，而且還包含沒有明確列出的其他要素，或者是還包含為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包含一個......”限定的要素，並不排除包含該要素的過程、方法、物品或者裝置中還存在另外相同的要素。
上述本發明實施例的序號僅僅為了描述，而不代表實施例的優劣。
透過以上實施方式的描述，本領域技術人員可以清楚瞭解，上述實施例方法可借助軟體加必需的通用硬體平台的方式來實現，當然也可以透過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對習知技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質(如ROM/RAM、磁碟、光碟)中，包含若干指令用以使得一台終端設備(可以是手機、計算機、伺服器或者網路設備等)執行本發明各個實施例所述的方法。
雖然本發明已就較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之變更和潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S101‧‧‧獲取第一平台的資料包
S102‧‧‧對該資料包進行解析，以獲取該資料包的資料結構欄位
S103‧‧‧將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配
S104‧‧‧當匹配成功後，採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯
S105‧‧‧根據關聯結果，將該資料包轉換並遷移至該第二平台
Claims (13)
- 一種資料遷移方法，包含：獲取第一平台的資料包；對該資料包進行解析，以獲取該資料包的資料結構欄位；將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯；以及根據關聯結果，將該資料包轉換並遷移至該第二平台；其中所述採用該預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯的步驟包含：解析該資料包，獲取該資料包的類目結構欄位；將該資料包的類目結構欄位與對應該第二平台的預設的類目結構欄位映射關係表進行匹配；當匹配成功時，將該資料包中匹配的類目結構欄位與該第二平台對應的類目結構欄位進行關聯；以及當匹配未成功時，採用相似度方法獲取該資料包中類目結構欄位與該第二平台中對應的類目結構欄位的相似度，並判斷該相似度是否達到第一設定閾值，若是，則將該資料包中匹配的類目結構欄位與該第二平台對應的類目結構欄位進行關聯。
- 如申請專利範圍第1項所述之資料遷移方法，其中所述採用該預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯的步驟，進一步還包含： 當該相似度未達到該第一設定閾值時，採用預先建立的資料模型獲取該資料包中類目結構欄位與該第二平台中對應的類目結構欄位的關聯次數；以及將關聯次數最高且關聯次數達到設定的第二閾值的兩類目結構欄位進行關聯。
- 如申請專利範圍第2項所述之資料遷移方法，其中所述採用該預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯的步驟，進一步還包含：當所獲取的關聯次數未達到該設定的第二閾值時，採用用戶操作記憶的方法向用戶展示該第二平台中最近預定時間內用戶所使用的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中。
- 如申請專利範圍第2項所述之資料遷移方法，其中所述採用該預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯的步驟，進一步還包含：當所獲取的關聯次數未達到該設定的第二閾值時，展示該第二平台中當前用戶的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中。
- 如申請專利範圍第2項所述之資料遷移方法，其中所述採用該預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯的步驟，進一步還包含：對關聯後的類目結構欄位中的屬性結構欄位進行匹配關聯。
- 如申請專利範圍第1至5項任一項所述之資料遷移方法，其中所述將該資料包的資料結構欄位與該預設的資料結構欄位映射關係表進行匹配的步驟之前，還包含：配置該第一平台與該第二平台之間的該預設的資料結構欄位映射關係表和該預設的類目結構欄位映射關係表。
- 如申請專利範圍第1至5項任一項所述之資料遷移方法，其中所述採用該預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯的步驟之後，還包含：將關聯後的資料包中的資料保存至臨時表；所述根據關聯結果，將該資料包轉換並遷移至該第二平台的步驟包含：根據關聯結果，從該臨時表中獲取關聯資料，以遷移至該第二平台。
- 一種資料遷移裝置，包含：資料包獲取模組，用於獲取第一平台的資料包；解析模組，用於對該資料包進行解析，以獲取該資料包的資料結構欄位；匹配模組，用於將該資料包的資料結構欄位與對應第二平台的預設的資料結構欄位映射關係表進行匹配；匹配關聯模組，用於採用預設的匹配關聯規則將該資料包與該第二平台進行匹配關聯；以及轉換遷移模組，用於根據關聯結果，將該資料包轉換並遷移至該第二平台；其中該匹配關聯模組包含： 解析單元，用於解析該資料包，獲取該資料包的類目結構欄位；匹配單元，用於將該資料包的類目結構欄位與對應該第二平台的預設的類目結構欄位映射關係表進行匹配；以及關聯單元，用於當匹配成功時，將該資料包中匹配的類目結構欄位與該第二平台對應的類目結構欄位進行關聯；當匹配未成功時，採用相似度方法獲取該資料包中類目結構欄位與該第二平台中對應的類目結構欄位的相似度，並判斷該相似度是否達到第一設定閾值，若是，則將該資料包中匹配的類目結構欄位與該第二平台對應類目結構欄位進行關聯。
- 如申請專利範圍第8項所述之資料遷移裝置，其中該關聯單元還用於當該相似度未達到該第一設定閾值時，採用預先建立的資料模型獲取該資料包中類目結構欄位與該第二平台中對應的類目結構欄位的關聯次數；以及將關聯次數最高且關聯次數達到設定的第二閾值的兩類目結構欄位進行關聯。
- 如申請專利範圍第9項所述之資料遷移裝置，其中該關聯單元還用於當所獲取的關聯次數未達到該設定的第二閾值時，採用用戶操作記憶的方法向用戶展示該第二平台中最近預定時間內用戶所使用的類目結構欄位，以供用戶選擇關聯，並將關聯記錄寫入該資料模型中。
- 如申請專利範圍第9項所述之資料遷移裝置，其中該關聯單元還用於對關聯後的類目結構欄位中的屬性結構欄位進行匹配關聯。
- 如申請專利範圍第8至11項任一項所述之資料遷移裝置，還包含：配置模組，用於配置該第一平台與該第二平台之間的該預設的資料結構欄位映射關係表和該預設的類目結構欄位映射關係表。
- 如申請專利範圍第8至11項任一項所述之資料遷移裝置，其中：該匹配關聯模組還用於將關聯後的資料包中的資料保存至臨時表；以及該轉換遷移模組還用於根據關聯結果，從該臨時表中獲取關聯資料，以遷移至該第二平台。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310603825.8A CN104657396B (zh) | 2013-11-25 | 2013-11-25 | 数据迁移方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201520794A TW201520794A (zh) | 2015-06-01 |
| TWI550417B true TWI550417B (zh) | 2016-09-21 |
Family
ID=53178891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW103140226A TWI550417B (zh) | 2013-11-25 | 2014-11-20 | 資料遷移方法及裝置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9661109B2 (zh) |
| CN (1) | CN104657396B (zh) |
| HK (1) | HK1208934A1 (zh) |
| TW (1) | TWI550417B (zh) |
| WO (1) | WO2015074427A1 (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106469182B (zh) * | 2015-08-21 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种基于映射关系的信息推荐方法及装置 |
| CN107230123A (zh) * | 2016-03-25 | 2017-10-03 | 阿里巴巴集团控股有限公司 | 商品映射方法、装置及设备 |
| CN107273104B (zh) * | 2016-04-08 | 2021-05-28 | 创新先进技术有限公司 | 一种配置数据结构的处理方法及装置 |
| CN106021380A (zh) * | 2016-05-12 | 2016-10-12 | 中国商用飞机有限责任公司 | 基于维修工程分析数据编制飞机技术出版物的方法及装置 |
| CN106844034B (zh) * | 2017-01-25 | 2018-05-15 | 国家电网公司 | 一种信息系统分批迁移的系统分划方法及装置 |
| CZ2017124A3 (cs) * | 2017-03-07 | 2018-05-09 | Krieg Jaroslav | Způsob přenášení struktur a datových souborů mezi zdrojovým a cílovým systémem a systém k jeho provádění |
| CN107169278A (zh) * | 2017-05-10 | 2017-09-15 | 成都智信电子技术有限公司 | 一种数据治理方法及医疗信息化系统 |
| CN109389450B (zh) * | 2017-08-08 | 2022-04-19 | 阿里巴巴集团控股有限公司 | 一种关联属性信息和生成数据集合的方法和系统 |
| CN107609068B (zh) * | 2017-08-30 | 2021-03-16 | 企查查科技有限公司 | 一种数据无感迁移方法 |
| CN107704625B (zh) * | 2017-10-30 | 2021-01-15 | 锐捷网络股份有限公司 | 字段匹配方法和装置 |
| CN108763247B (zh) * | 2018-03-29 | 2021-12-07 | 创新先进技术有限公司 | 在数据迁移过程中处理用户请求的方法及装置 |
| CN108549722B (zh) * | 2018-04-25 | 2021-12-28 | 稿定（厦门）科技有限公司 | 多平台数据发布方法、系统及介质 |
| JP7060797B2 (ja) * | 2018-05-28 | 2022-04-27 | 富士通株式会社 | テーブル生成方法、テーブル生成装置およびテーブル生成プログラム |
| CN109033124A (zh) * | 2018-05-31 | 2018-12-18 | 阿里巴巴集团控股有限公司 | 一种数据迁移的方法及装置 |
| CN109214035A (zh) * | 2018-07-02 | 2019-01-15 | 中国电建集团河北省电力勘测设计研究院有限公司 | PDMS和Revit两平台之间数据模型传递方法 |
| CN110740291A (zh) * | 2018-07-20 | 2020-01-31 | 视联动力信息技术股份有限公司 | 一种基于视联网监控数据的同步方法及装置 |
| CN109284293B (zh) * | 2018-10-08 | 2020-08-28 | 湖南工学院 | 用于水务公司营业收费系统升级的数据迁移方法 |
| CN109299126A (zh) * | 2018-11-21 | 2019-02-01 | 金蝶软件（中国）有限公司 | 数据同步方法、装置、计算机设备和存储介质 |
| CN109800273A (zh) * | 2018-12-03 | 2019-05-24 | 北京明略软件系统有限公司 | 一种数据处理的方法、装置、计算机存储介质及终端 |
| CN109766345B (zh) * | 2019-01-10 | 2022-07-15 | 深圳前海微众银行股份有限公司 | 元数据处理方法及装置、设备、可读存储介质 |
| CN110532273A (zh) * | 2019-08-30 | 2019-12-03 | 北京明略软件系统有限公司 | 数据表的处理方法及装置、存储介质、电子装置 |
| CN110738553A (zh) * | 2019-10-18 | 2020-01-31 | 深圳市比量科技传媒有限公司 | 一种将不同商城的商品链接进行相互映射的方法及系统 |
| CN111415749A (zh) * | 2020-03-12 | 2020-07-14 | 深圳中兴网信科技有限公司 | 信息处理方法、信息处理装置和计算机可读存储介质 |
| CN112230983B (zh) * | 2020-10-15 | 2021-08-03 | 上海嗨普智能信息科技股份有限公司 | 信息处理方法、电子设备和介质 |
| CN113298609A (zh) * | 2021-01-27 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 对象识别码处理方法、对象发布方法、装置、设备及介质 |
| CN113364806B (zh) * | 2021-06-30 | 2023-04-07 | 深圳前海微众银行股份有限公司 | 一种服务接口迁移的校验方法及装置 |
| CN115543227B (zh) * | 2022-11-21 | 2023-03-14 | 深圳市蓝凌软件股份有限公司 | 跨系统数据迁移方法、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050149536A1 (en) * | 2003-06-25 | 2005-07-07 | Rick Wildes | Data migration and format transformation system |
| TW201118773A (en) * | 2009-11-30 | 2011-06-01 | Linkmed Asia Inc | Medical information integrated system and method |
| CN102110102A (zh) * | 2009-12-29 | 2011-06-29 | 北大方正集团有限公司 | 数据处理方法及装置、文件识别方法及工具 |
| CN102970328A (zh) * | 2012-10-25 | 2013-03-13 | 国家电网公司 | 电力行业典型生产系统数据在线迁移方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6151608A (en) * | 1998-04-07 | 2000-11-21 | Crystallize, Inc. | Method and system for migrating data |
| JP4347497B2 (ja) * | 2000-04-03 | 2009-10-21 | 株式会社日立製作所 | 通信制御装置及びパケット変換方法 |
| JP4438582B2 (ja) * | 2004-09-22 | 2010-03-24 | 株式会社日立製作所 | データ移行方法 |
| CN1763745A (zh) * | 2005-09-06 | 2006-04-26 | 阎海强 | 一种面向结构的数据迁移的方法及系统 |
| KR100779215B1 (ko) * | 2006-09-29 | 2007-11-26 | 한국전자통신연구원 | 작업 데이터 자동 이동 방법 및 이를 위한 장치 |
| US9361326B2 (en) * | 2008-12-17 | 2016-06-07 | Sap Se | Selectable data migration |
| CN102063500A (zh) * | 2011-01-04 | 2011-05-18 | 北京凯铭风尚网络技术有限公司 | 一种数据迁移的方法及装置 |
| WO2012083679A1 (zh) * | 2011-07-13 | 2012-06-28 | 华为技术有限公司 | 一种数据迁移方法、数据迁移装置及数据迁移系统 |
| US9910904B2 (en) * | 2011-08-30 | 2018-03-06 | International Business Machines Corporation | Replication of data objects from a source server to a target server |
| CN102508929A (zh) * | 2011-12-01 | 2012-06-20 | 浪潮(北京)电子信息产业有限公司 | 实现异构数据库数据迁移的系统、装置及方法 |
-
2013
- 2013-11-25 CN CN201310603825.8A patent/CN104657396B/zh active Active
-
2014
- 2014-07-09 WO PCT/CN2014/081904 patent/WO2015074427A1/en active Application Filing
- 2014-11-20 TW TW103140226A patent/TWI550417B/zh active
-
2015
- 2015-01-12 US US14/594,337 patent/US9661109B2/en active Active
- 2015-09-29 HK HK15109527.6A patent/HK1208934A1/zh unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050149536A1 (en) * | 2003-06-25 | 2005-07-07 | Rick Wildes | Data migration and format transformation system |
| TW201118773A (en) * | 2009-11-30 | 2011-06-01 | Linkmed Asia Inc | Medical information integrated system and method |
| CN102110102A (zh) * | 2009-12-29 | 2011-06-29 | 北大方正集团有限公司 | 数据处理方法及装置、文件识别方法及工具 |
| CN102970328A (zh) * | 2012-10-25 | 2013-03-13 | 国家电网公司 | 电力行业典型生产系统数据在线迁移方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104657396B (zh) | 2020-04-24 |
| TW201520794A (zh) | 2015-06-01 |
| US20150146717A1 (en) | 2015-05-28 |
| US9661109B2 (en) | 2017-05-23 |
| CN104657396A (zh) | 2015-05-27 |
| WO2015074427A1 (en) | 2015-05-28 |
| HK1208934A1 (zh) | 2016-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI550417B (zh) | 資料遷移方法及裝置 | |
| TWI774654B (zh) | 基於語音識別的即時通信方法和即時通信系統 | |
| WO2020078098A1 (zh) | 一种基于梯度提升决策树的模型训练方法及装置 | |
| WO2018006469A1 (zh) | 基于知识图谱的人机交互方法及系统 | |
| CN110457256A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
| JP2015518589A (ja) | ウェブページの動的変換システム、方法及びコンピュータ読み取り可能な記録媒体 | |
| CN102752294B (zh) | 基于设备能力的多终端数据同步方法和系统 | |
| CN106294499A (zh) | 一种数据库数据查询方法和设备 | |
| WO2014101416A1 (zh) | 一种文件展示方法及装置 | |
| CN105243066A (zh) | 音频推荐装置及其播放方法 | |
| CN105427874A (zh) | 一种配置蓝牙音箱播放参数的方法、系统及移动终端 | |
| US10901984B2 (en) | Enhanced batch updates on records and related records system and method | |
| CN106294468B (zh) | 处理业务数据的方法和装置 | |
| CN110910237B (zh) | 区块链中的数据处理方法、装置及智能终端、存储介质 | |
| CN105335466A (zh) | 一种音频数据的检索方法与装置 | |
| CN107609197B (zh) | 一种数据同步方法、数据同步装置及移动终端 | |
| TWI738726B (zh) | 遠端命令的處理方法和裝置 | |
| WO2018059037A1 (zh) | 移动终端上传文件的方法及装置 | |
| TWI706343B (zh) | 樣本回放資料存取方法、裝置及電腦設備 | |
| WO2017076048A1 (zh) | 周边信息的显示方法、装置及移动终端 | |
| WO2022193460A1 (zh) | 一种演示模板的转场方式及装置 | |
| KR101218927B1 (ko) | 웹 서비스의 사용자 체감 성능 모니터링 방법과 이를 위한 프로그램이 기록된 기록매체 및 컴퓨팅 장치 | |
| CN112659118B (zh) | 机器人路径信息导出、导入的方法、装置和可读存储介质 | |
| US8484182B1 (en) | Wireless device content searching | |
| CN115081412A (zh) | 表格内容处理方法、装置、设备、存储介质 |