TW591422B - Data loading from a remote data source - Google Patents
Data loading from a remote data source Download PDFInfo
- Publication number
- TW591422B TW591422B TW091103173A TW91103173A TW591422B TW 591422 B TW591422 B TW 591422B TW 091103173 A TW091103173 A TW 091103173A TW 91103173 A TW91103173 A TW 91103173A TW 591422 B TW591422 B TW 591422B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- record
- source
- patent application
- station
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99934—Query formulation, input preparation, or translation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
- Y10S707/99935—Query augmenting and refining, e.g. inexact access
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
591422 A7 B7 五、發明説明( 相關糞利申請案_ 本案享有相同發明人的美國臨時專利申清案·名稱Data Loading From a Remote Data Source ’ 申请藏 60/272,680 ’ 申 請曰02/28/2001,律師檔號SVL920010010US1的優先權。 發明背景 1·發明範疇 本發明大致有關於資料庫管理系統,而且尤其有關於電 腦資料庫管理系統中的機制,以便將一直在資料來源中的 資料卸載,傳輸,及載入到遠端資料來源,且不受來源或 目標的檔案傳輸系統的實體限制的限制。 2.前案說明 電子商務的日漸受歡迎已使許多公司使用應用伺服器以 有效的分派及管理其應用,通常這些應用伺服器配置成與 資料庫管理系統(DBMS)作介面以儲存及擷取資料。這時常 表示新的應用必須與分散式資料環境工作,結果應用開發 者時常發現其對於DBMS產品的控制極少或是無法控制7 該DBMS產品用以支援其應用或是如何設計資料庫。在許 多例子中,開發者發現對於其應用極重要的資料分佈在^ 重DBMS,該DBMS由不同軟體銷售者開發出。 時常期望從資料來源卸載/擷取/輸出資料,將它送入目枵 台,以及將資料載入/輸入到目標台資料儲存區, : 源台或目標台的檔案傳輸系統的實體限制的限制。也:望 可以與多記錄卸載同時達成目標記錄的載入一 聿死錄接-筆記錄地的傳制可達成此目的,:一 -6 - 591422 A7 —____B7 五、發明説明(2 ) 來源及目標台同時發生傳送一記錄及接收另一記錄的操 作。 惟,目前無此功能,卸載資料到檔案,傳送整個檔案, 且接著將資料載入目標。習知通常是使用檔案傳輸程序 (FTP)以傳送檔案中的資料,可惜,使用FTp或DBMS應用 的公司遇到一些問題,時常發生來源台與目標台檔案格式 不相容,此外,要傳輸的資料量大於極大目標台操作系統 檔案大小。此外,若設計要求從資料庫表傳輸記錄資料, 則其屬性必須在多重DBMS上擴張,而目前並不支援它, 因為不能在傳輸時從多重資料來源將目前的記錄資料結合 起來。此外,期望使用不同的資料庫產品其由各個領導資 訊技術銷售者支援,因為他們提供許多潛在的商業利益, 如可攜性增加及高度的碼再使用。可惜,目前的dbms銷 售者在傳輸資料記錄時,不支援一筆記錄接一筆記錄地資 料傳輸模式(或是將多重資料來源的資料結合)。 因此迫使開發者轉向更複雜(及潛在更麻煩)的替代者以 取用所需的資料記錄^時常該替代者的執行成本更高而且 耗時,需要更複雜的程式技術以實施DBMS技術,消耗更 額外的機器資源去執行,增加開發及測試的勞力成本,而 且可能抑制資料本身的可攜性。 此問題的一種目前解決方法是,當應用開發者需要建立 一應用以取用及傳輸目前在多重資料來源的重要資料時, 需要以人工方式模擬透明存取。在該例中,程式設計師要 負貴寫軟體以個別的連接各個必要資料來源,在任何必要
591422 A7 B7 五、發明説明(3 資料中讀取,將讀取自多重資料來源的結果相關連(或是結 合),執行必要的資料轉移等。這是大量的工作且超出許多 程式設計師的能力範圍。此外,它的成本極大,此外,它 需要很了解各資料來源的應用程式介面(API),而且提供的 查拘最佳化機會較少這又使得性能下降。 該問題的另一解決方法是將資料作實體結合,其中不同 資料來源的資料必須拷貝到單一資料來源,而程式設計師 接著會將它傳輸。惟,這會產生資料遲滞及成本增加的問 題。由於資料遲滯,資料的拷貝會稍微(或明顯)的比原始 資料來源中的資料舊^對於許多應用而言不能接受操作過 時(且可能是不正確)的資料。增加的成本包括軟體成本, 因為必須購買,安裝,配置,及維持額外軟體,以便定時 或週期性的從一來源拷貝資料到另一來源,而且也有人工 成本。軟體必須支援資料移動或是執行資料複製過程,其 支援極低的資料遲滯。 因此’需要提供一種方法及系統其能一冑記錄接一筆記 錄地傳輸-致資料(其時常位於多重資料來源及可能以不 同格式儲存)到目標台儲存區。這可簡化設計 =提供更可靠的應用,其具有的功能是它種方: 不成達到的。 發明總娃 附圖,即可明瞭 資料庫連接通訊 由以下較佳實例的詳細說明再配合數個 本發明的上述及其他目的,特徵及優點。 本發明的一實例县—接士、+ 貝1夕J疋一種万法用以經由一 -8 -
591422 A7 B7 五、發明説明(4 ) 線而在連接一來源台與一目標台之電腦系統網路中,而從 一遠端資料來源一筆記錄接一筆記錄地載入資料。來源台 具有至少一資料來源及一軟體伺服器具有DBms之多重資 料庫存取。目標台經由一結構查詢語言(SQL)敘述區段(或 其同等者)而從來源台請求載入資料。根據一多重資料庫存 取通訊協定經由資料庫連接通訊線而一筆記錄接一筆記錄 地輸送資料,其中目標台與來源台卸載記錄之同時載入記 錄。也可以管線方式,在具有複數個平行串之多重分割中 載入資料記錄,由複數個資料來源分割游標指向而執行資 料載入。具有多重資料庫存取之軟體伺服器最好使用一分 散關聯資料庫架構(DRDA),而資料庫連接通訊線最好使用 TCP/IP 協定。 本發明的另一實例是一種裝置可實施本發明的上述方法 元件。 本發明的又一實例是一種電腦可讀取之程式儲存裝置, 以確實執行電腦可執行之指令程式,以執行本發明上述方 法實例的方法步驟。 附圖簡單說明 參考附圖其中相同數字表示對應部分: 圖1是根據本發明較佳實例的典型電腦硬體及軟體環境 的方塊圖;及 圖2是根據本發明較佳實例而說明LOAD指令的數個選項 的語法形式。 、 較佳實例詳細說明 -9 - k張尺一度適用中國國297公爱_)_ 591422 - A7 P---------- B7 五、發明説明(5 ) 以下參考附圖以說明較佳實例,其中顯示的特定實例可 貫施本發明。要了解的是可使用其他實例,而且在不達反 本發明範圍之下可以作結構及功能上的變化。 本發明是指一種系統,方法及程式儲存裝置以執行電腦 可執行的指令程式,以執行本發明的方法以便一筆記錄接 一筆記錄地傳輸常駐在多重資料來源中的一致資料(且可 能以不同格式儲存)到目標台儲存區。使用現存的習知技術 稱為多重資料庫軟體伺服器即可達成將可能以不同格式儲 存在多重資料來源的資料傳輸。因此開發者能一筆記錄接 一筆記錄地傳輸資料,而且記錄屬性可擴張多重資料來 源。此外,其可在單一異動中取用任何或所有的這些屬性。 因為本發明受到各個領導資訊技術銷售者支援,這提供許 多潛在的商業利益,如可攜性增加及高度的碼再使用,且 對於應用開發者而言不增加任何程式負擔。 本發明的較佳實例最好使用具有DBMS的多重資料庫存 取的軟體伺服器,如分散關聯資料庫架構(DRDA)軟體伺服 器,以取用資料來源,可使用結構查詢語言(SQL)敘述區段 (或其同等)而從目標台存取該DRDA軟體伺服器。資料最 好格式化且根據DRDA通訊協定規則而一筆記錄接一筆吃 錄地輸送,且直接載入目標台。本發明最好使用標準sq\ 指令,它是複雜的SQL指令。它允許使用聯集及結合功能, 用以將多重資料來源的資料結合。 匕 藉由本發明的實例,一旦至少一資料記錄從一來源台卸 載時,即可輸送資料記錄,而且一旦記錄輸送到目標台即 -10 - 本纸張尺度適用中國國家標準(CNS) A4規格(210X297公釐) ~~ ---------- 591422 A7 _B7__ 五、發明説明(6 ) 可開始在一目標台的資料載入。因此目標台能與來源台記 錄的卸載同時,作記錄載入。此外因為要傳輸的所有資料 不必在傳輸之前完全載入檔案,所以資料量不受限制,且 不受極大檔案傳輸系統大小的限制。此外,使用DRDA(或 類似的通訊協定)可提供一種中性的資料格式,且與載入及 卸載站台檔案格式是否相容無關。 本發明的軟體較佳實例可以在OS/390版本7及z/OS的 DB2套裝軟體中執行,作為公用強化功能(稱為游標載入, 或DB2族交叉載入器)。本發明允許目標台上的使用者請求 將記錄從來源台傳輸到目標台。這最好藉由SQL DECLARE CURSOR FOR SELECT敘述而達成,其藉由游標名稱而參考 一來源台表的SELECT(選擇)指令結果列。此指令傳送到要 執行的來源台,接著目標台上的使用者利用LOAD(載入)指 令,其指定一目標台表。LOAD指令利用新的操作元 INCURSOR(由本發明定義),其使用與SELECT敘述中使用 的游標名稱相同,以指示要載入到目標台表的資料位置。 因此本發明使用游標名稱(以取代檔名,其目前用INDDN定 義)以分開參考資料的各記錄,而不是參考整個檔案。 圖1說明根據本發明較佳實例的典型電腦硬體及軟體環 境的方塊圖,包括目標台100及來源台102,各具有至少一 習知處理器(未示)可執行儲存在相關電腦記憶體(未示)中 的指令。操作記憶體能與接收自另一儲存硬碟或網路介面 的指令一起載入。本發明的較佳實例特別適用於網路環 境,在目標台100上具有一操作端(未示),而且目標台100 -11 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
裝 訂
k 591422 A7 B7 五、發明説明(7 ) 處理器經由資料庫連接通訊線116而與來源台102處理器形 成網路,該資料庫連接通訊線116最好是TCP/IP通訊線, 記錄則可在它上面根據DRDA通訊協定規則而輸送。 來源台102處理器接到至少一電子儲存裝置106如硬碟, 以儲存至少一關聯資料庫。儲存裝置104也用在目標台100 上。它可包括光碟,磁帶及/或半導體記憶體。各儲存裝置 允許接收程式儲存裝置,如磁性媒體軟碟,磁帶,光碟, 半導體記憶體及其他機器可讀取的儲存裝置,且允許讀取 方法程式步驟其記錄在程式儲存裝置上,且傳輸到電腦記 憶體中。記錄的程式指令包括本發明方法實例的碼,或者, 可以從電腦經由網路而將程式步驟儲存在操作記憶體。 在目標台100的操作端的操作者使用標準操作者終端介 面(未示)如IMS/DB/DC,CICS,TSO,OS/2或其他類似介面 以傳送電信號到目標台100以及從目標台100接收電信號, 以表示在來源台102執行各種工作的指令,如搜尋及擷取 功能或作儲存在電子儲存裝置106上資料庫的查詢。在本 發明,這些查詢最好符合SQL標準,且請求由位於來源台 102的資料庫管理系統(DBMS)執行的功能,它可以是DBMS 族108的一部分,其最好是關聯資料庫管理系統(RDBMS) 軟體。在目標台100也有一 DBMS 110,在本發明的較佳實 例中,RDBMS軟體是DB2產品,如IBM的AS400,OS390 或OS/2作業系統,微軟視窗作業系統,或是DB2支援的任 何UNIX作業系統。惟,熟於此技藝者可了解本發明可應 用在使用SQL的任何RDBMS軟體,且可應用在非SQL查 -12 - 本纸張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 B7 五、發明説明(8 ) 詢。 圖1更說明一種可實施本發明較佳實例的軟體環境,在圖 1的系統中,目標台100更包括本發明的交叉載入器軟體 114,能經由資料庫連接通訊線116而與在來源台102的交 叉載入器軟體112通訊。各交叉載入器軟體112,114包括 一指令區段可用以一筆記錄接一筆記錄地的執行本發明的 資料傳輸(如以下所示)。目標台100也包括DRDA介面118, 而來源台102更包括DRDA介面120。交叉載入器軟體114 也與DBMS 110連接,而交叉載入器軟體112與DBMS族108 連接,以取用資料庫項目。此外,目標台100也包括資料 類型轉換模組122,當必要時可用於DRDA協定支援的資料 類型轉換。來源台102更包括多重資料庫軟體伺服器124, 如圖1所示的DataJoiner模組,用以傳輸不同DBMS(如Oracle 到DB2),其與交叉載入器軟體112及DBMS族108連接。 本發明的方法實例包括以下步驟。首先使用者識別要傳 輸的資料,它可以在不同的資料來源站台,且以不同格式 儲存。例如他可以從DBMS表族108而識別出一些記錄, 其位於 DB2,Oracle,Sysbase,Informix,IMS,VSAM 資料 庫,SQL伺服器或NCR Teradata,其與他/她的應用相關且 應該移動。資料來源識別步驟的確實本質是可以改變的, 本發明的較佳實例是藉由發出SQL指令而實施,但是也可 使用許多種其他方式。 若使用分散資料來源的資料,在次一步驟使用者使用軟 體設施以連接DBMS族108(其含有資料)的資料來源,及暫 -13 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 B7__._ 五、發明説明(9 ) 存這些具有軟體設施的資料物件。此軟體設施具有多重資 料庫軟體伺服器的功能(如圖1的DataJoiner(資料結合器 124),有時稱為聯合DBMS,其可存取多重資料來源,各位 於不同系統且以不同格式儲存資料。本發明的較佳實例可 使用IBM的DB2 DataJoiner多重資料庫軟體伺服器124而 PE,如 DB2 V6.1 的 DataJoiner V2.1,以連接 DBMS 族 108, 包括 Oracle DBMS,Sybase DBMS,Informix DBMS 等。 接著使用此軟體設施,即多重資料庫軟體伺服器,使用 者產生一指令以便將資料來源的先前暫存資料的多重屬性 結合。此步驟的一實例需要使用交叉器軟體114,其使用 SQL SELECT敘述以取用一關聯DBMS表(或視窗),其中這 種視窗根據應用的特定需求而將不同(有時是遠端)資料來 源(如表)的資料結合。各SELECT敘述適當的過濾資料,有 時選擇性限制產生的記錄或視窗在行列的次集合其與至少 一資料來源(表)相關。對於SELECT敘述,使用者必須宣告 一游標,這允許標準資料庫連接機制與軟體設施連接’即 多重資料庫軟體伺服器,以一筆記錄接一筆記錄地參考資 料,雖然資料是從單一表導出。 接著在目標台1〇〇的交叉器軟體114中,標準SQL指令 如LOAD(載入)指令可用以建立與先前宣告的游標連接,以 載入以上定義的視窗所表示的資料。一旦已完成上述步 驟’程式設計師可存取資料,其方式可以將需要存取的資 料的分散本質加以隱藏。這有利於許多有用商業應用的迅 速開發,因而使開發及維護成本減到極小。藉由本發明, -14 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 B7 五、發明説明(1Q ) 使用者能將一應用從DB2族的元件移動到另一者,該表可 大於伺服器作業系統能處理的檔案大小。 因為本發明使用標準SQL,它能使用3個元素名稱以識別 資料來源,如資料位置,設計名及表名,這是分散式存取 必須的。其他實例則使用CONNECT(連接)敘述以連接來源 台102到目標台100。本發明最好使用動態SQL敘述以建立 SQL敘述的公用區段。在游標宣告中使用EXEC SQL公用指 令,也可在相同的EXEC SQL指令中定義一些其他SQL敘 述,其可以動態的執行。 以下語法圖顯示EXEC SQL指令的格式,其中在同一區段 中可以將declare cursor spec(宣告游標規格)指令置於 non-select dynamic SQL 敛述之前: »-EXEC-SQL-declare cursor spec-—ENDEXEC........> -•non-select dynamic SQL 敘述' 將片語 declare cursor spec 當成 DECLARE CURSOR 敘述輸 入,以定義指向SELECT敘述結果的游標,它具有以下SQL 格式: >>-DECL ARE-cursor-name-CURS OR-F OR-select-statement-ENDEXEC-> 片語 cursor-name(游標名)識別一游標,select-statement 指 定SQL SELEC丁指令,用以從表提供結果列,由游標宣告敘 述中宣告的游標指向。 片語non-select dynamic SQL statement(非選擇動態 SQL 敘述) 指向一指令其用以執行EXECUTE IMMEDIATE(立即執行) -15 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 ~ B7 五、發明説明(11 ) 模式中的特定 SQL 敛述,non-select dynamic SQL statement 是以下SQL敘述之一: o ALTER(改變) o RENAME(重新命名) 〇 COMMENT ON(附註)〇 REVOKE(撤銷) o COMMIT(執行) o ROLLBACK(回捲) o CREATE(產生) o SET CURRENT DEGREE(設定目前度) o DELETE(取消) o SET CURRENT LOCALE LC 一 CTYPE(設目前位置 LC_CTYPE) o DROP(放下) o UPDATE(更新) o EXPLAIN(解釋) o SET CURRENT OPTIMIZATION HINT(設定目前最佳暗示) o GRANT(允許) 〇 SETCURRENTPATH(設定目前路徑) 〇 INSERT(插入) 〇 SET CURRENT SQLID(設定目前 SQL 識別) 〇 LABEL ON(標記) o SET CURRENT PRECI SION(設定目前精度) o LOCK TABLE(鎖住表) o SET CURRENT RULES(設定目前規則) 雖然SQL敘述正在執行,仍解析及檢查特定敘述的錯 誤,若SQL敘述無效,則不執行它,而且報告防止它執行 的錯誤情況。若SQL敘述正確,但是在其執行時發生錯誤, 則報告該錯誤情況。若SQL欽述需要過多處理器去完成’ 則DB2能中止SQL敘述的執行。當此發生時,即發生錯誤 且要報告它。每當錯誤發生時,公用程式即中止。 -16 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 _B7____ 五、發明説明(12 )
一有效DECLARE CURSOR敘述的例子,用以宣告一游標 從樣本表MYSOURCE選擇所有的行及列,則如以下所示: EXEC SQL
DECLARE Cl CURSOR FOR SELECT * FROM MYSOURCE ENDEXEC LOAD指令具有許多選項,圖2是根據本發明的較佳實例 而說明LOAD指令的數個選項的語法形式。 在LOAD指令中使用INCURS OR cursor-name參數是本發 明的較佳實例,LOAD指令指定的游標與指向要卸載資料 的來源台相同。因此游標必須已在宣告選擇游標敘述中宣 告,SELEC丁敘述表中的行名必須與目標表中的行名相同 以接收載入記錄,惟,選擇表中的AS子句能用於改變 SELECT敛述送回的行名。 以下的2個例子顯示本發明較佳實例的實施。 例1 :此例子宣告游標C 1且將來源台表的記錄載入一目 標表,該記錄取自SELECT敘述的結果其宣告游標C 1。修 正LOAD指令以接受一筆記錄接一筆記錄地傳輸模式的 INCURSOR參數,使用它以取代習知整個檔案傳輸時用的 INDDN參數。
EXEC SQL
CREATE TABLE MYTARGET LIKE MYSOURCE ENDEXEC
EXEC SQL -17 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐) 591422 A7 B7 五、發明説明(13
DECLARE Cl CURSOR FOR SELECT * FROM MYSOURCE ENDEXEC LOAD DATA INCURSOR(Cl)
REPLACE
INTO TABLE MYTARGET 本發明也具有能在數個平行_中執行資料傳輸的較佳實 例(即管線模式)。 例2 :此例顯示將資料平行載入MYTARGET表的數個分 割中的方式,而資料取得自SELECT敘述的結果,於各分 割游標C1-C4中宣告。在4個平行串中執行LOAD指令以 擷取資料(管線模式),由分割游標C1-C4指向。
EXEC SQL DECLARE Cl CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO <=,099999,
ENDEXEC
EXEC SQL
DECLARE C2 CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO >丨099999· AND EMPNO <=丨 199999f ENDEXEC
EXEC SQL -18 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐) 591422 A7 B7 _ ._ 五、發明説明(14 )
DECLARE C3 CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO >499999, AND EMPNO <=.299999丨 ENDEXEC
EXEC SQL
DECLARE C4 CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO >*299999* AND EMPNO <=f999999f ENDEXEC
LOAD DATA INTO TABLE MYTARGET PART 1 REPLACE INCURSOR(Cl) INTO TABLE MYTARGET PART 2 REPLACE INCURSOR(C2) INTO TABLE MYTARGET PART 3 REPLACE INCURSOR(C3) INTO TABLE MYTARGET PART 4 REPLACE INCURSOR(C4) 本發明可較佳的經由DRDA而處理分散式資料庫間的互 動,當程式設計師需要取用儲存在DBMS族108的多重 DBMS中的資料時,它即能簡化開發工作。DRDA提供共同 的SQL API,位置透明度,及(在一些例子中的)功能補償。 此外,在不以人工方式連接各資料來源之下,能執行多重 資料庫結合及聯集,個別地從各來源擷取必要資料,暫時 儲存這些資料在一些應用管理資料結構中,及編碼必要的 邏輯以處理與一結合(或聯集)操作相關的資料整合。由多 重資料庫軟體伺服器自動處理此一工作,其表示資料的單 一站台影像其實體分散及儲存在不同的DBMS中。 -19 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 591422 A7 _B7_ ._ 五、發明説明(15 ) 本發明的較佳實例不必將不同來源的資料作實體整合, 因而避免軟體及人工參予的成本,以及因資料遲滯問題而 導致的邏輯曝露。這也可減輕程式設計師撰寫必要軟體的 負擔,該軟體可個別連接各必要資料來源,執行任何必要 的資料轉移等。這是超出許多程式設計師能力的大量工 作,且產生大量的成本。此外,程式設計師不必完成了解 不同資料來源間的差異。 本發明最好使用根據DRDA協定的資料格式,及經由 TCP/IP資料庫連接通訊線(其具有極大位元的乙太網路)而 傳輸資料。它可用以從一區域或遠端目標表載入,因為本 發明的高速,可靠,迅速及彈性等優點,所以它特別適用 於從主電腦(來源台)倉庫(CC或Visual Warehouse)作大量資 料的一般自動更新(下載)。除了 DB2如DL/I或VSAM也可 使用DBMS,本發明也可使用DBMS其由不同作業系統如 OS/390,UNIX,Windows,OS/2 等支援,在不使用 DSNTIAD 之下,它支援公用程式中的DDL及DML執行,如CREATE/ DROP表,GRANT,INSERT/UPDATE/DELETE等。 本發明的較佳實例能支援數種資料類型轉換,由資料轉 換模組 122 執行,如數值,ASCII/EBCIDIC/Unicode , Codepage 等,及區段擷取,且沒有以下問題:檔案大小限制,或列 及場冗餘。它簡化應用的設計,開發,及維護,且提供更 可靠的應用其具有的功能是目前不能提供的。 為了說明及敘述目的而說明本發明較佳實例的上述說 明’它並不意欲是無所不包或是限制本發明在揭露的精確 -20 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
Claims (1)
- 59142: 第09103173號專利申請案 中文申請專利範圍替換本(93年1月) A B c D々、申請專利範圍 1. 一種用以經由一資料庫連接通訊線而在連接一來源台與 一目標台之電腦系統網路中從一遠端資料來源一筆記錄 接一筆記錄地載入資料之方法,該方法包括以下步驟: (a) 連接來源台至至少一資料來源及一軟體伺服器,其 具有DBMS之多重資料庫存取; (b) 在目標台經由一結構查詢語言(SQL)敘述區段或其 同等者而從來源台請求載入資料;及 (c) 根據一多重資料庫存取通訊協定經由資料庫連接通 訊線而一筆記錄接一筆記錄地輸送資料,其中目標台與 來源台卸載記錄之同時載入記錄。 a 2. 如申請專利範圍第1項之方法,其中一旦至少一資料記錄 從來源台卸載時,即跨過資料庫連接通訊線而輸送一資 料記錄,及一旦記錄輸送到目標台時,即開始在目標台 載入資料。 3. 如申請專利範圍第1項之方法,其中以管線方式在具有複 數個平行申之多重分割中載入資料記錄,由複數個資料 來源分割游標指向以執行資料載入。 4. 如申請專利範圍第1項之方法,其中SQL敘述區段包括動 態可執行SQL敘述在EXECUTE IMMEDIATE(立即執行)模 式中執行。 5. 如申請專利範圍第1項之方法,其中SQL敘述區段包括: 一 SQL DECLARE CURSOR FOR SELECT(SQL宣告選擇 游標)敘述,用以定義一游標,分開參考自伺服器台台卸 載之各SELECT(選擇)結果記錄;及 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) D8 、申請專利範圍 一 LOAD指令及一操作元incursor,其具有相同游標 名稱用以指向在目標台之接收記錄。 6·如申請專利範圍第丨項之方法,其中伺服器台台具有存取 多重;貝料來源,實體分散及完全不同之DBMS,位於不同 硬體系統且可能以不同格式儲存資料。 7·如申凊專利範圍第6項之方法,其中從多重資料來源載入 資料之词服器台台更包括以下步驟:使用合併來自多重 資料來源資料之裝置。 8. 如申請專利範圍第!項之方法,其中資料庫連接通訊線利 用代⑽協定,而具有DBMS之多重資料庫存取之軟體祠 服益包括一分散關聯資料庫架構(drda:^ 9. :種從遠端資料來源-筆記錄接―筆記錄地載入資料之 系統,包括: 器—:::,接至至少-資料來源且具有-軟體祠服 咨,其具有DBMS之多重資料庫存取; 等:=’經由-結構查詢語言(卿敘述區段或其同 +者而從來源台請求載入資料;及 人六 訑料庫連接通訊線,根據一乡 定而用以-筆記錄ί 科庫存取通訊協 命A ^聿"己錄地輸送資科,其中目炉二 人來源台卸載記錄之同時載入記錄。 、 不口 Μ.如申請專利範圍第9項之系統,其中—曰 從來源台卸載時’即跨過資料庫連料資料記錄 料記錄,及-旦記錄輸 ^泉而輸运-資 載入資料。 “時,即開始在目標台 -2 本紙張尺度適财國时料(CNS) 10X297公釐) 2 42 1X 9 5六、申請專利範圍 11. 如申請專利範圍第9項之系統,其中以管線方式在具有複 數個平行串之多重分割中載入資料記錄,由複數個資料 來源分割游標指向以執行資料載入。 12. 如申請專利範圍第9項之系統,其中SQL敘述區段包括動 態可執行SQL敘述在EXECUTE IMMEDIATE(立即執行)模 式中執行。 13. 如申請專利範圍第9項之系統,其中SQL敘述區段包括: 嗲汜本钚^_^::其#'内容?旻^*-7*^·!!:? 一 SQL DECLARE CURSOR FOR SELECT(SQL宣告選擇 游標)敘述,用以定義一游標,分開參考自伺服器台台卸 載之各SELECT(選擇)結果記錄;及 一 LOAD指令及一操作元INCURSOR,其具有相同游標 名稱用以指向在目標台之接收記錄。 14. 如申.請專利範圍第9項之系統,其中伺服器台台具有存取 多重資料來源,實體分散及完全不同之DBMS,位於不同 硬體系統且可能以不同格式儲存資料。 15. 如申請專利範圍第14項之系統,其中從多重資料來源載 入資料之伺服器台更包括合併來自多重資料來源資料之 裝置。 16. 如申請專利範圍第9項之系統,其中資料庫連接通訊線利 用TCP/IP協定,而具有DBMS之多重資料庫存取之軟體伺 服器包括一分散關聯資料庫架構(DRDA)。 17. —種電腦可讀取之程式儲存裝置,以確實執行電腦可執 行之指令程式,以執行以下方法步驟:經由一資料庫連 接通訊線而在連接一來源台與一目標台之電腦系統網路 -3 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 從返端資科來源一筆 科,該方法包括以下步驟錄接一拿記錄地載入資 U)連接來源台至至少一 具有職s之多重資科庫存取科來源及—軟體词服器,其 (b)在目標台經由一結構查士五士 同等者而從來源台請求載入-資料"及(Q )敘述區段或其 二):據;:::科!存取通訊協定經由資料庫連接通 來源μ:ί 記錄地輸送資料,其中目標台與 求原口卸載記錄之同時載入記錄。 18·如t請專利範圍第17項之程式儲存裝置,其中一曰至少 =料記^來源台卸載時’即跨過資科庫連料訊線 一資料記錄,及-旦記錄輸送到目標台時,即開 始在目標台載入資料。 19·:申請專利範圍第17項之程式儲存裝置,其中以管線方 式在具有複數個平行串之多 、自& , ^ 夕I刀割中載入資料記錄,由 複數個資料來源分割游標指向以執行資料載入。 =申請專利範圍第17項之程式儲存裝置,其中观欽述區 &包括動態可執行SQL敘述在EXECUTE immed麗(立 即執行)模式中執行。 置,其中SQL敘述區 21.如申請專利範圍第17項之程式儲存裝 段包括: 一 SQL DECLARE CURS0R F〇R 宣告選擇 游標)敘述,用以定義一游標,㈣參考自伺服器台卸載 之各SELECT(選擇)結果記錄;及 591422f正替換>、 Λ 93 ί· 年月叇 ^、申請專利範圍 一 LOAD指令及一操作元INCURSOR,其具有相同游標 名稱用以指向在目標台之接收記錄。 22. 如申請專利範圍第17項之程式儲存裝置,其中伺服器台 具有存取多重資料來源,實體分散及完全不同之DBMS, 位於不同硬體系統且可能以不同格式儲存資料。 23. 如申請專利範圍第22項之程式儲存裝置,其中從多重資 料來源載入資料之伺服器台更包括以下步驟··使用合併 來自多重資料來源資料之裝置。 24. 如申請專利範圍第17項之程式儲存裝置,其中資料庫連 接通訊線利用TCP/IP協定,而具有DBMS之多重資料庫存 取之軟體伺服器包括一分散關聯資料庫架構(DRDA)。 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US27268001P | 2001-02-28 | 2001-02-28 | |
US09/912,586 US7418441B2 (en) | 2001-02-28 | 2001-07-24 | Data loading from a remote data source record by record |
Publications (1)
Publication Number | Publication Date |
---|---|
TW591422B true TW591422B (en) | 2004-06-11 |
Family
ID=23040811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW091103173A TW591422B (en) | 2001-02-28 | 2002-02-22 | Data loading from a remote data source |
Country Status (8)
Country | Link |
---|---|
US (1) | US7418441B2 (zh) |
EP (1) | EP1390878A2 (zh) |
JP (1) | JP2004532465A (zh) |
KR (1) | KR20030082602A (zh) |
CN (1) | CN1277231C (zh) |
CA (1) | CA2441960C (zh) |
TW (1) | TW591422B (zh) |
WO (1) | WO2002084522A2 (zh) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1271342A1 (en) * | 2001-04-30 | 2003-01-02 | Sun Microsystems, Inc. | Method for accessing database table columns |
US20030177146A1 (en) * | 2002-03-18 | 2003-09-18 | International Business Machines Corporation | Method, system, and program product for migrating data from one data base management system to another data base management system |
EP2264628A1 (en) * | 2002-09-18 | 2010-12-22 | Netezza Corporation | Intelligent storage device controller |
US8341120B2 (en) * | 2003-09-05 | 2012-12-25 | Oracle International Corporation | Apparatus and methods for transferring database objects into and out of database systems |
CN1307585C (zh) * | 2003-12-31 | 2007-03-28 | 中兴通讯股份有限公司 | 一种用于实现数据库多表查询的数据处理方法 |
US7577640B1 (en) * | 2004-03-31 | 2009-08-18 | Avaya Inc. | Highly available, highly scalable multi-source logical database with low latency |
CN100397827C (zh) * | 2006-03-18 | 2008-06-25 | 华为技术有限公司 | 一种单板软件存储和加载的方法及系统 |
JP5238219B2 (ja) * | 2007-10-29 | 2013-07-17 | 株式会社東芝 | 情報処理システム及びパイプライン処理制御方法 |
US8190596B2 (en) * | 2007-11-28 | 2012-05-29 | International Business Machines Corporation | Method for assembly of personalized enterprise information integrators over conjunctive queries |
US8145684B2 (en) * | 2007-11-28 | 2012-03-27 | International Business Machines Corporation | System and computer program product for assembly of personalized enterprise information integrators over conjunctive queries |
US8655833B2 (en) * | 2008-06-17 | 2014-02-18 | Qualcomm Incorporated | Database architecture for supporting group communications among wireless communication devices |
US8813048B2 (en) * | 2009-05-11 | 2014-08-19 | Accenture Global Services Limited | Single code set applications executing in a multiple platform system |
US8832699B2 (en) | 2009-05-11 | 2014-09-09 | Accenture Global Services Limited | Migrating processes operating on one platform to another platform in a multi-platform system |
WO2011025892A1 (en) * | 2009-08-27 | 2011-03-03 | Mastercard International Incorporated | Multi-database query system and method |
US9665620B2 (en) | 2010-01-15 | 2017-05-30 | Ab Initio Technology Llc | Managing data queries |
CN102486798A (zh) * | 2010-12-03 | 2012-06-06 | 腾讯科技(深圳)有限公司 | 数据加载的方法及装置 |
US8543581B2 (en) | 2011-04-04 | 2013-09-24 | Microsoft Corporation | Synchronizing records between databases |
US10546057B2 (en) * | 2011-10-28 | 2020-01-28 | Microsoft Technology Licensing, Llc | Spreadsheet program-based data classification for source target mapping |
US8938480B2 (en) * | 2011-12-29 | 2015-01-20 | Teradata Us, Inc. | Techniques for fast loading of data from an external distributed file system to a database management system |
US10324917B2 (en) * | 2012-10-15 | 2019-06-18 | Qliktech International Ab | Methods and systems for data management |
CN107622025B (zh) * | 2012-11-22 | 2021-03-23 | 华为终端有限公司 | 数据传输的方法及设备 |
CN104281587B (zh) * | 2013-07-03 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 一种建立连接的方法及装置 |
CN103544285B (zh) * | 2013-10-28 | 2017-09-26 | 华为技术有限公司 | 一种数据加载方法及装置 |
US10417281B2 (en) * | 2015-02-18 | 2019-09-17 | Ab Initio Technology Llc | Querying a data source on a network |
CN106155878B (zh) * | 2015-03-24 | 2018-08-10 | 富士施乐实业发展(中国)有限公司 | 用于在数据库中创建供软件测试用的测试环境的方法和装置 |
CN105760517A (zh) * | 2016-02-25 | 2016-07-13 | 浪潮(北京)电子信息产业有限公司 | 将数据从Oracle数据库迁移至DB2数据库的方法和装置 |
US11449497B1 (en) * | 2016-10-21 | 2022-09-20 | Jpmorgan Chase Bank, N.A. | Method and system for implementing dynamic stored procedures |
US10649965B2 (en) | 2016-11-14 | 2020-05-12 | International Business Machines Corporation | Data migration in a networked computer environment |
CN111797070A (zh) * | 2019-04-08 | 2020-10-20 | 杭州晨熹多媒体科技有限公司 | 票务数据处理方法及装置 |
CN110134695B (zh) * | 2019-05-21 | 2022-08-16 | 电子科技大学 | 一种面向流水线结构化数据查询的数据库智能分区方法 |
US11042517B2 (en) * | 2019-06-07 | 2021-06-22 | Sap Se | Online migration of database systems |
US11093223B2 (en) | 2019-07-18 | 2021-08-17 | Ab Initio Technology Llc | Automatically converting a program written in a procedural programming language into a dataflow graph and related systems and methods |
CN112328408B (zh) * | 2020-10-21 | 2024-09-10 | 中国建设银行股份有限公司 | 数据处理方法、装置、系统、设备及存储介质 |
CN112579320A (zh) * | 2020-12-16 | 2021-03-30 | 中国建设银行股份有限公司 | 一种开放系统与zos系统之间的通信方法及装置 |
CN113032385B (zh) * | 2021-05-31 | 2021-09-07 | 北京江融信科技有限公司 | 一种易扩展可配置化的数据备份系统及方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5408656A (en) | 1992-09-23 | 1995-04-18 | International Business Machines Corporation | Method and system for non-specific address data retrieval in a data storage subsystem which includes multiple datasets stored at specific addresses |
US5511186A (en) * | 1992-11-18 | 1996-04-23 | Mdl Information Systems, Inc. | System and methods for performing multi-source searches over heterogeneous databases |
US5596744A (en) * | 1993-05-20 | 1997-01-21 | Hughes Aircraft Company | Apparatus and method for providing users with transparent integrated access to heterogeneous database management systems |
US5410693A (en) | 1994-01-26 | 1995-04-25 | Wall Data Incorporated | Method and apparatus for accessing a database |
US6381595B1 (en) * | 1994-09-29 | 2002-04-30 | International Business Machines Corporation | System and method for compensation of functional differences between heterogeneous database management systems |
GB9605473D0 (en) | 1996-03-15 | 1996-05-15 | Int Computers Ltd | Parallel searching technique |
US6044216A (en) * | 1996-06-24 | 2000-03-28 | Oracle Corporation | Method and apparatus for implementing cursor variables for accessing data from database |
US6006229A (en) | 1996-08-19 | 1999-12-21 | Extended Systems, Inc. | Xbase transaction processing system |
US5884327A (en) | 1996-09-25 | 1999-03-16 | International Business Machines Corporation | System, method and program for performing two-phase commit with a coordinator that performs no logging |
US5987472A (en) * | 1997-03-31 | 1999-11-16 | Combustion Engineering, Inc. | System and method for handling database cross references |
US6151602A (en) * | 1997-11-07 | 2000-11-21 | Inprise Corporation | Database system with methods providing a platform-independent self-describing data packet for transmitting information |
JP2000132435A (ja) * | 1998-10-29 | 2000-05-12 | Hitachi Ltd | 異種データベース管理システム間のデータ整合処理装置 |
US6339772B1 (en) * | 1999-07-06 | 2002-01-15 | Compaq Computer Corporation | System and method for performing database operations on a continuous stream of tuples |
US6594651B2 (en) * | 1999-12-22 | 2003-07-15 | Ncr Corporation | Method and apparatus for parallel execution of SQL-from within user defined functions |
-
2001
- 2001-07-24 US US09/912,586 patent/US7418441B2/en not_active Expired - Fee Related
-
2002
- 2002-02-22 TW TW091103173A patent/TW591422B/zh not_active IP Right Cessation
- 2002-02-25 WO PCT/EP2002/002892 patent/WO2002084522A2/en not_active Application Discontinuation
- 2002-02-25 JP JP2002582394A patent/JP2004532465A/ja active Pending
- 2002-02-25 CA CA2441960A patent/CA2441960C/en not_active Expired - Fee Related
- 2002-02-25 EP EP02737884A patent/EP1390878A2/en not_active Ceased
- 2002-02-25 CN CNB028057082A patent/CN1277231C/zh not_active Expired - Fee Related
- 2002-02-25 KR KR10-2003-7011037A patent/KR20030082602A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
US20020161748A1 (en) | 2002-10-31 |
WO2002084522A3 (en) | 2003-12-11 |
WO2002084522A2 (en) | 2002-10-24 |
JP2004532465A (ja) | 2004-10-21 |
CN1541363A (zh) | 2004-10-27 |
CN1277231C (zh) | 2006-09-27 |
EP1390878A2 (en) | 2004-02-25 |
KR20030082602A (ko) | 2003-10-22 |
US7418441B2 (en) | 2008-08-26 |
CA2441960A1 (en) | 2002-10-24 |
CA2441960C (en) | 2010-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW591422B (en) | Data loading from a remote data source | |
US9569514B2 (en) | Statement-level and procedural-level replication | |
US11675761B2 (en) | Performing in-memory columnar analytic queries on externally resident data | |
US7533136B2 (en) | Efficient implementation of multiple work areas in a file system like repository that supports file versioning | |
US6460052B1 (en) | Method and system for performing fine grain versioning | |
US6622152B1 (en) | Remote log based replication solution | |
US6438538B1 (en) | Data replication in data warehousing scenarios | |
US7287048B2 (en) | Transparent archiving | |
US8479158B2 (en) | Business information warehouse toolkit and language for warehousing simplification and automation | |
US7376658B1 (en) | Managing cross-store relationships to data objects | |
US8386431B2 (en) | Method and system for determining database object associated with tenant-independent or tenant-specific data, configured to store data partition, current version of the respective convertor | |
US7523142B2 (en) | Systems, methods and articles of manufacture for upgrading a database with a shadow system | |
US10585909B2 (en) | Task-execution in a DBMS using stored procedures | |
US8392464B2 (en) | Easily queriable software repositories | |
US20060224626A1 (en) | Versioned file group repository | |
US8015165B2 (en) | Efficient path-based operations while searching across versions in a repository | |
US20050065949A1 (en) | Techniques for partial rewrite of XPath queries in a relational database | |
US20070214104A1 (en) | Method and system for locking execution plan during database migration | |
US7543004B2 (en) | Efficient support for workspace-local queries in a repository that supports file versioning | |
US8386500B2 (en) | Apparatus, system, and method for XML based disconnected data access for multivalued/hierarchical databases | |
US20050114404A1 (en) | Database table version upload | |
US20090063654A1 (en) | Apparatus, system, and method for xml based disconnected data access for multivalued/hierarchical databases | |
Ashdown et al. | Oracle Database Concepts, 11g Release 2 (11.2) E25789-01 | |
Bruni et al. | DB2 9 for z/OS Technical Overview | |
Balaji | Oracle Database Application Developer's Guide-Large Objects 10g Release 2 (10.2) Part No. B14249-01 Copyright© 1996, 2005, Oracle. All rights reserved. Primary Authors: Jack Melnick, Eric Paapanen Contributing Authors: K. Akiyama, Geeta Arora, S. Banerjee, Yujie Cao, Thomas H. Chang, E. Chong, S. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |