TWI647579B - 資料集成系統的運作方法 - Google Patents

Abstract

本發明目的在於提供一種資料集成系統的運作方法。所述的資料集成系統包含一中繼裝置，該中繼裝置可以接收來自一第一母資料庫與一第二母資料的內容，並加以統一其資料格式、綱要及資料成一中繼資料庫。終端存儲裝置可至該中繼資料庫間接取得該第一母資料庫及該第二母資料庫的資料，以減少終端存儲裝置的流量、運算及設定。

Description

資料集成系統的運作方法

本發明係關於一種資料集成系統的運作方法，特別係指一種使用中繼裝置的資料集成系統的運作方法。

開放資料(Open Data)為近年來各國政府主推的一項重大計劃。開放資料的用意在於政府公開部分資料給私人機構使用，以藉由私人機構的人力及研發動能善加利用政府掌握的資訊，並藉此提供社會大眾便利、透明的創新服務。

然而，在私人機構開發並利用開放資料的過程中，常面臨開放資料標準不一造成匯入困難的問題。目前的開放資料並未有固定的格式，各國政府以及政府部門對開放資料的標準與基本規範皆尚未取得共識。因此，私人機構必須針對單一資料庫撰寫相對應的程式以取得該資料庫內的開放資料，且私人機構亦須耗費大量運算能力將取得的開放資料轉換成易於後端使用的資料格式與資料架構。

同樣起因於開放資料尚未有一定的標準與基本規範，單一資料庫的API格式常因管理人員人事易動而改寫，導致私人機構原先撰寫的程式無法正確運行。相似地，政府的開放政策亦會影響開放資料的內容及範圍，導致單一資料庫的綱要常因政府決策而增減異動，進而導致私人機構 的程式抓取到錯誤的欄位資料。

而上述狀況在合併多個資料庫使用時顯得更為嚴重。若私人機構提供的資訊服務係建立在跨資料庫資訊時，私人機構需耗費大量人力編寫不同API格式接口及機構的內部資料庫綱要，並頻繁更新前述API格式接口及內部資料庫綱要以因應多變的開放資料。鑒此，目前依然缺乏一個資料集成系統的運作方法來簡化私人機構的運算及設定程序。

本發明至少一實施例為一種資料集成系統的運作方法，特別係指一種使用中繼資料庫的資料集成系統的運作方法。

本發明至少一實施例為一種資料集成系統的運作方法。該資料集成系統的運作方法始於提供一中繼裝置；具體而言，該中繼裝置具有一中繼資料庫，而該中繼資料庫中係以一中繼格式紀載，且該中繼資料庫具有一中繼資料及一中繼綱要。

承上實施例，該中繼裝置能透過一網路下載一第一母資料庫至該中繼裝置，其中該第一母資料庫係以一第一資料格式紀載。當中繼裝置下載完該第一母資料庫後，便透過解析該第一母資料庫的方式取得一第一母資料及一第一母綱要。中繼裝置可進一步對映該第一母綱要與該中繼綱要以決定兩者之間的對應關係，並透過該對應關係將該第一母資料寫入該中繼資料庫。其中，該第一母資料的寫入過程中，會依循該中繼資料庫使用的中繼格式及中繼綱要將該第一母資料的內容整併入該中繼資料庫。

相似地，該中繼裝置亦能透過該網路下載一第二母資料庫至該中繼裝置，其中該第二母資料庫係以一第二資料格式紀載。當中繼裝置 下載完該第二母資料庫後，便透過解析該第二母資料庫的方式取得一第二母資料及一第二母綱要。中繼資料庫可進一步地對映該第二母綱要與該中繼綱要以決定兩者之間的對應關係，並透過對應關係將該第二母資料寫入該中繼資料庫。其中，該第二母資料的寫入過程中，會依循該中繼資料庫使用的中繼格式及中繼綱要將該第二母資料的內容整併入該中繼資料庫。

最後，中繼裝置可依據要求產生一第一子資料庫，並將該第一子資料庫傳送至一第一終端存儲裝置；具體而言，該第一子資料庫為該中繼資料庫的子集。

本發明至少一實施例的資料集成系統運作方法係用以解決不同資料庫之間資料格式、綱要架構不一致的問題；資料集成系統中的中繼裝置可整合各資料庫的資料格式及綱要架構成一中繼資料庫。該中繼資料庫具有統一的資料格式及綱要，以減化終端存儲裝置的負擔。本發明至少一實施例的資料集成系統運作方法係用以提供終端存儲裝置簡化的資料存取接口，使得終端存儲裝置的流量、運算以及設定得以簡化。本發明至少一實施例的資料集成系統運作方法係用以提供可擴充母資料庫數量以及可調整子資料庫範圍的資料存取運作方法。

11‧‧‧第一母存儲裝置

13‧‧‧第二母存儲裝置

15‧‧‧第三母存儲裝置

21‧‧‧中繼裝置

2100‧‧‧中繼裝置

2101‧‧‧中繼存儲裝置

2103‧‧‧設定檔模組

2105‧‧‧下載模組

2107‧‧‧解析器模組

2109‧‧‧寫入模組

2111‧‧‧傳輸模組

2113‧‧‧排程器

31‧‧‧第一終端存儲裝置

33‧‧‧第二終端存儲裝置

35‧‧‧第三終端存儲裝置

圖1為本發明部分實施例之資料集成系統示意圖。

圖2為本發明部分實施例之中繼裝置示意圖。

圖3為本發明部分實施例之資料集成系統的運作方法流程圖。

圖4為本發明部分實施例之中繼裝置的運作方法流程圖。

本發明至少一實施例為一種資料集成系統。該資料集成系統 包含至少一母存儲裝置、一中繼裝置以及至少一終端存儲裝置。其中，該至少一母存儲裝置係透過一網路連接至該中繼裝置，而該中繼裝置則透過該網路進一步連結之該至少一終端存儲裝置。

在部分上述實施例的資料集成系統中，每個母存儲裝置皆具有一母資料庫，其中該母資料庫係以一資料格式紀載，且該母資料庫包含一母資料與一母綱要。進一步而言，該母綱要係用以描述該母資料，而該母綱要包含至少一母屬性。相似地，每個終端存儲裝置則具有一終端資料庫。而資料集成系統中的中繼裝置則包含一中繼存儲裝置、一設定檔模組、一下載模組、一解析器模組、一寫入模組及一傳輸模組。

在部分上述實施例的中繼存儲裝置中，該中繼存儲裝置具有一中繼資料庫，其中該中繼資料庫係以一中繼格式紀載，且該中繼資料庫包含一中繼資料以及一中繼綱要。進一步而言，該中繼綱要係用以描述該中繼資料，而該中繼綱要包含至少一中繼屬性。當該母資料庫透過中繼裝置的下載模組下載至該中繼存儲裝置後，該母資料庫會經由該解析器模組中的資料格式解析器解析，並將解析結果由該寫入模組整合進該中繼資料庫中。其中，該設定檔模組中的一關係母標籤係用以描述該至少一母屬性與該至少一中繼屬性之間的對映關係，其可協助寫入模組將母資料庫中的內容整併入該中繼資料庫中。而該傳輸模組則可在後續步驟中將該中繼資料庫中的部分資料傳輸至該至少一終端存儲裝置。

在部分上述實施例的設定檔模組中，該設定檔模組除該關係母標籤外，尚包含一母存儲裝置標籤。該母存儲裝置標籤內含該母存儲裝置的相關資訊，例如一格式資訊及一路徑資訊，可分別用來標示該母資料庫使用的資料格式以及該母資料庫在網路上的路徑。而在部分實施例中，該下載模組進一步包含一排程器，其可用於滿足一預定條件時自動啟動該下載模組並下載該母資料庫內容。

在部分上述的實施例中，該終端資料庫包含一終端資料、一終端綱要以及一終端關係標籤。相似地，該終端綱要係用以描述該終端資料，而該終端綱要包含至少一終端屬性。而該終端關係標籤則是用以描述該至少一中繼屬性與該至少一終端屬性之間的對映關係，其可協助中繼存儲資料庫中的部分內容整併入該終端資料庫中。

圖1為本發明部分實施例之資料集成系統示意圖。在本發明部份實施例中，資料集成系統可以包含至少一母存儲裝置、至少一子存儲裝置以及一中繼存儲裝置。而圖1中的資料集成系統包含三個母存儲裝置11、13、15、一個中繼裝置21以及三個終端存儲裝置31、33、35。其中，三個母存儲裝置11、13、15分別透過網路連接至中繼裝置21，而中繼裝置21則又透過網路連接至三個終端存儲裝置31、33、35。此外，三個母存儲裝置11、13、15各包含一個母資料庫，而三個子存儲裝置31、33、35則各包含一個子資料庫。相似地，中繼裝置21中包含一個中繼存儲裝置，該中繼存儲裝置則係用以存放一中繼資料庫。

圖2為本發明部分實施例之中繼裝置示意圖。圖2的中繼裝置2100包含一中繼存儲裝置2101、一設定檔模組2103、一下載模組2105、一解 析器模組2107、一寫入模組2109、一傳輸模組2111以及一排程器2113。其中，中繼裝置2100透過網路連接一第一母存儲裝置及一第二母存儲裝置(未顯示)，兩者分別具有一第一母資料庫與一第二母資料庫。具體而言，第一母資料庫係以一第一資料格式記載，且第一母資料庫包含一第一母資料及一第一母綱要，而第一母綱要則進一步包含一第一母屬性；相似地，第二母資料庫係以一第二資料格式記載，且第二母資料庫包含一第二母資料及一第二母綱要，而第二母綱要則進一步包含一第二母屬性。

在部分實施例中，中繼存儲裝置2101具有一中繼資料庫。該中繼資料庫係以一中繼格式紀載，主要係用以存放整合自第一母資料庫及第二母資料庫的內容。其中，該中繼資料庫包含一中繼資料以及一中繼綱要，而中繼綱要係用以描述中繼資料，且中繼綱要進一步包含一第一中繼屬性及一第二中繼屬性。當各個母資料庫的內容下載至中繼存儲裝置2101後，自母資料庫中解析出的資料會依循中繼資料庫使用的中繼格式及中繼綱要整併、寫入中繼資料庫中。

在部分實施例中，設定檔模組2103可用以存放資料集成系統2100的部分設定資料，例如用以描述母存儲裝置特徵的母存儲裝置標籤，以及用以描述母屬性及中繼屬性對映關係的母關係標籤。進一步而言，用以描述母存儲裝置特徵的母存儲裝置標籤包含一路徑資訊與一格式資訊。其中，格式資訊係用以標示母資料庫所使用的資料格式，以協助中繼存儲裝置2101在下載母資料庫後可正確、快速地解析出母資料庫的內容；而路徑資訊係用以標示母資料庫的路徑。在部分實施例中，設定檔模組2103包含一第一母關係標籤以及一第二母關係標籤，分別用以描述該第一母屬性與該第 一中繼屬性的對映關係以及以描述該第二母屬性與該第二中繼屬性的對映關係。在部分實施例中，設定檔模組2103進一步包含一第一母存儲裝置標籤與一第二母存儲裝置標籤，分別用以描述第一母資料庫的資料格式與路徑以及用以描述第二母資料庫的資料格式與路徑。

在部分實施例中，下載模組2105可以用來下載各個母資料庫。具體而言，下載模組2105可透過網路下載第一母資料庫與第二母資料庫的內容至中繼裝置2100中。在部分實施例中，下載模組2105係連結至設定檔模組2103；當下載模組2105啟動時，係依據設定檔模組2103中第一母存儲裝置標籤所提供的路徑資訊連接並下載第一母資料庫，或是依據設定檔模組2103中其他母存儲裝置標籤所提供的路徑資訊連接並下載其他母資料庫。

在部分實施例中，解析器模組2107包含各種資料格式解析器。具體而言，解析器模組2107包含一第一資料格式解析器及一第二資料格式解析器，分別用以解析第一母資料庫所使用的第一資料格式以及第二母資料庫所使用的第二資料格式。在部分實施例中，解析器模組2107係連結至下載模組2105及設定檔模組2103；當下載模組2105下載完第一母資料庫並啟動解析器模組2107後，解析器模組2107會依據設定檔模組2103中第一母存儲裝置標籤所提供的格式資訊選用相對應的第一資料格式解析器對第一母資料庫進行解析。

在部分實施例中，寫入模組2109係用以將各個母資料庫的解析結果整合進中繼資料庫中。在部分實施例中，寫入模組2109分別與中繼存儲裝置2101、設定檔模組2103及解析器模組2107連接；當解析器模組2107將第一母資料庫解析完畢後，寫入模組2109會將第一母資料庫的內容寫入中繼 存儲裝置2101中。其中，寫入模組2109係依據設定檔模組2103中第一母關係標籤所定義的對映關係，將第一母資料庫的內容寫入中繼資料庫中對映的欄位。相似地，當第二母資料庫解析完畢後，寫入模組2109亦會將第二母資料庫的內容寫入中繼存儲裝置2101的中繼資料庫。

在部分實施例中，傳輸模組2111係用以將中繼資料中部份資料傳輸至各個終端存儲裝置。在部分實施例中，傳輸模組2111與中繼存儲裝置2101相連接，並透過網路進一步連接至終端存儲裝置；其中，傳輸模組2111係用以將中繼資料中第一中繼屬性與第二中繼屬性的資料傳輸至終端存儲裝置中。

在部分實施例中，排程器2113係用以於滿足一預定條件時啟動下載模組2105。具體而言，排程器2113與下載模組2105相連結，並可以控制下載模組2105的活動。在部分實施例中，排程器2113的預訂條件為一時間或一時間間期；當預定的時間到後，排程器2113便會啟動下載模組2105並下載母資料庫。在部分實施例中，排程器2113的預訂條件為一母資料庫異動事件；當母資料庫中部份內容異動後，排程器2113便會啟動下載模組2105並下載母資料庫中的異動內容。

圖3為本發明部分實施例之資料集成系統的運作方法流程圖。所述資料集成系統的運作方法始於提供一中繼裝置；具體而言，該中繼裝置具有一中繼資料庫，且該中繼資料庫具有一中繼綱要。接著，下載一母資料庫至該中繼裝置，並透過解析該母資料庫以取得一母資料及一母綱要。其後，該中繼裝置對映該母綱要與該中繼綱要，並依據對映結果將該母資料寫入至該中繼資料庫。最後，該中繼裝置可就現有中繼資料庫內 的內容產生一子資料庫，並將該子資料庫傳送至一終端存儲裝置。其中，該子資料庫為該中繼資料庫的子集。

在部分實施例中，資料集成系統的運作方法始於提供一遠端伺服器；具體而言，所述的遠端伺服器具有一整合性資料庫，且整合性資料庫具有一整合性綱要。接著，遠端伺服器透過網路取得一政府資料庫，並解析政府資料庫以取得一開放資料及一綱要。其後，遠端伺服器對映政府資料庫的綱要以及自身的整合性綱要，並依據對映結果將開放資料整併至整合性資料庫中。最後，遠端伺服器可就現有整合性資料庫中的內容產生一應用服務資料庫，並將應用服務資料庫傳送至私人機構以供私人機構利用。

圖4為本發明部分實施例之中繼裝置的運作方法流程圖。所述的中繼裝置的運作方法始於提供一中繼裝置；具體而言，該中繼裝置具有一中繼資料庫，且該中繼資料庫具有一中繼綱要。接著，中繼裝置視需求下載一第一母資料庫，並解析該第一母資料庫以取得一第一母資料及一第一母綱要。其後，該中繼裝置對映該第一母綱要與該中繼綱要，並依據對映結果將該第一母資料寫入該中繼資料庫。而中繼裝置可進一步下載一第二母資料庫，並解析該第二母資料庫以取得一第二母資料及一第二母綱要。其後，該中繼裝置對映該第二母綱要與該中繼綱要，並依據對映結果將該第二母資料寫入該中繼資料庫。在其他實施例中，中繼裝置可依前述運作方法下載其他母資料庫，並將其他母資料庫內容整併置該中繼資料庫中。

在本發明部分實施例中，資料集成系統的運作方法始於提供一中繼裝置；具體而言，該中繼裝置具有一中繼資料庫，而該中繼資料庫中係以一中繼格式紀載，且該中繼資料庫具有一中繼資料及一中繼綱要。接著，該中繼裝置透過一網路下載一第一母資料庫至該中繼裝置，其中該第一母資料庫係以一第一資料格式紀載。當中繼裝置下載完該第一母資料庫後，便透過解析該第一母資料庫的方式取得一第一母資料及一第一母綱要。中繼裝置進一步地對映該第一母綱要與該中繼綱要以決定兩者之間的對應關係，並透過對應關係將該第一母資料寫入該中繼資料庫。其中，該第一母資料的寫入過程中，會依循該中繼資料庫使用的中繼格式及中繼綱要將該第一母資料的內容整併入該中繼資料庫。

相似地，該中繼裝置亦透過該網路下載一第二母資料庫至該中繼裝置，其中該第二母資料庫係以一第二資料格式紀載。當中繼裝置下載完該第二母資料庫後，便透過解析該第二母資料庫的方式取得一第二母資料及一第二母綱要。中繼資料庫進一步地對映該第二母綱要與該中繼綱要以決定兩者之間的對應關係，並透過對應關係將該第二母資料寫入該中繼資料庫。其中，該第二母資料的寫入過程中，會依循該中繼資料庫使用的中繼格式及中繼綱要將該第二母資料的內容整併入該中繼資料庫。而前述的第一資料格式、第二資料格式及中繼格式係選自CSV、JSON及XML三種資料格式所組成的群組。

最後，中繼裝置可依據要求產生一第一子資料庫，並將該第一子資料庫傳送至一第一終端存儲裝置；具體而言，該第一子資料庫為該中繼資料庫的子集。相似地，在其他實施例中，中繼裝置可依據需求生成 其他子資料庫，並將這些子資料庫分別傳送至不同終端存儲裝置；而這些子資料庫之間可為交集或不交集。

在部分實施例中，資料集成系統的運作方法可進一步包含提供一母存儲裝置標籤至該中繼裝置的一設定檔。具體而言，該母存儲裝置標籤包含一路徑資訊以及一格式資訊，分別用以標示一第三母資料庫的路徑以及該第三母資料庫使用的一第三資料格式。藉由提供新的母存儲裝置標籤，中繼裝置可進一步擴充所連接的母資料庫數量，並將新增的母資料庫一併整併進該中繼資料庫內。在進一步的實施例中，該母存儲裝置標籤提供至該中繼裝置後，該中繼裝置會執行一驗證步驟，其中該驗證步驟係用以檢視該母存儲裝置標籤的格式是否符合該設定檔的格式、檢視該母存儲裝置標籤的內容是否有程序錯誤以至於無法正確地被該中繼裝置讀取、檢視該路徑資訊是否可連結至該第三資料庫並完成下載，以及檢視該中繼裝置是否設有用以解析該第三資料格式的第三資料格式解析器。

在部分實施例中，資料集成系統的運作方法可進一步包含提供一資料格式解析器至該中繼裝置。具體而言，該資料格式解析器係用以解析該第三資料格式。藉由提供新的資料格式解析器的方式，中繼裝置可進一步擴充能解析的資料格式數量及類型。

在部分實施例中，資料集成系統的運作方法可進一步包含提供一請求檔至該中繼裝置，其中該請求檔係用以定義一第二子資料庫的範圍，且該第二子資料庫為該中繼資料庫的子集。藉由提供新的請求檔的方式，該中繼裝置可產生新的子資料庫以供應不同的終端存儲裝置。在部分 進一步的實施例中，該中繼裝置會依據該請求檔產生一第二子資料庫，並將該第二子資料庫傳送至一第二終端存儲裝置。

在部分實施例中，資料集成系統的運作方法可進一步包含設定一預定條件於該中繼裝置的一排程器上。藉由設定不同預定條件的方式，可使該排程器在特定條件下自動啟動該中繼裝置的一下載模組，並下載母資料庫的整體內容或部分內容。在部分實施例中，該預定條件為一時間，當該時間到達時，該排程器便會啟動該下載模組並自母資料庫下載內容。在另一部分的實施例中，該預定條件為一時間間期，當每經歷一次該時間間期後，該排程器便會啟動該下載模組並自母資料庫下載內容。在又一部分的實施例中，該預定條件為一母資料庫異動事件，而當母資料庫中部份內容異動後，排程器便會啟動下載模組並下載母資料庫中的異動內容。

以上實施方式僅為說明本發明之技術思想及特點，目的在於使熟習此技藝之人士能充分瞭解本發明之內容並能據以實施之，並不能以此限定本發明之專利範圍，若依本發明所揭示精神所為之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。

Claims (9)

1. 一種資料集成系統的運作方法，包括：提供一中繼裝置，其中該中繼裝置具有一中繼資料庫，而該中繼資料庫係以一中繼格式紀載，且該中繼資料庫具有一中繼資料及一中繼綱要；下載一第一母資料庫至該中繼裝置，其中該第一母資料庫係以一第一資料格式紀載；解析該第一母資料庫，以取得一第一母資料及一第一母綱要；對映該第一母綱要與該中繼綱要；寫入該第一母資料至該中繼資料庫；下載一第二母資料庫至該中繼裝置，其中該第二母資料庫係以一第二資料格式紀載；解析該第二母資料庫，以取得一第二母資料及一第二母綱要；對映該第二母綱要與該中繼綱要；寫入該第二母資料至該中繼資料庫；產生一第一子資料庫，其中該第一子資料庫為該中繼資料庫的子集；傳送該第一子資料庫至一第一終端存儲裝置。
2. 如申請專利範圍第1項所述之資料集成系統的運作方法，其進一步包含：提供一母存儲裝置標籤至該中繼裝置的一設定檔，其中該母存儲裝置標籤包含：一路徑資訊，用以標示一第三母資料庫的路徑；以及 一格式資訊，用以標示該第三母資料庫的資料格式為一第三資料格式。
3. 如申請專利範圍第2項所述之資料集成系統的運作方法，其進一步包含：提供一資料格式解析器至該中繼裝置，其中該資料格式解析器係用以解析該第三資料格式。
4. 如申請專利範圍第2項所述之資料集成系統的運作方法，其進一步包含：解析該第三母資料庫，以得到一第三母資料及一第三母綱要；對映該第三母綱要與該中繼綱要；以及寫入該第三母資料至該中繼資料庫。
5. 如申請專利範圍第2項所述之資料集成系統的運作方法，其進一步包含：檢視該母存儲裝置標籤的格式是否符合該設定檔的格式；檢視該母存儲裝置標籤是否含有程序錯誤；檢視該路徑資訊是否可連結置該第三資料庫；以及檢視該中繼裝置是否具備解析該第三資料格式的一第三資料格式解析器。
6. 如申請專利範圍第1項所述之資料集成系統的運作方法，其進一步包含：提供一請求檔至該中繼裝置，其中該請求檔係用以定義一第二子資料庫的範圍，且該第二子資料庫為該中繼資料庫的子集；產生一第二子資料庫；以及傳送該第二子資料庫至一第二終端存儲裝置。
7. 如申請專利範圍第6項所述之資料集成系統的運作方法，其中該第一子資料庫與該第二子資料庫為交集或不交集。
8. 如申請專利範圍第1項所述之資料集成系統的運作方法，其進一步包含：設定一預定條件於該中繼裝置的一排程器上。
9. 如申請專利範圍第8項所述之資料集成系統的運作方法，該預定條件為一時間、一時間間期或一母資料庫異動事件。