TW591422B - Data loading from a remote data source - Google Patents

Data loading from a remote data source Download PDF

Info

Publication number
TW591422B
TW591422B TW091103173A TW91103173A TW591422B TW 591422 B TW591422 B TW 591422B TW 091103173 A TW091103173 A TW 091103173A TW 91103173 A TW91103173 A TW 91103173A TW 591422 B TW591422 B TW 591422B
Authority
TW
Taiwan
Prior art keywords
data
record
source
patent application
station
Prior art date
Application number
TW091103173A
Other languages
English (en)
Inventor
Elizabeth Belva Hamel
Michael T Ho
James C Kleewein
Mark Donald Leitch
Sam Sampson Lightstone
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Application granted granted Critical
Publication of TW591422B publication Critical patent/TW591422B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/254Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99934Query formulation, input preparation, or translation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • Y10S707/99935Query augmenting and refining, e.g. inexact access

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

591422 A7 B7 五、發明説明( 相關糞利申請案_ 本案享有相同發明人的美國臨時專利申清案·名稱Data Loading From a Remote Data Source ’ 申请藏 60/272,680 ’ 申 請曰02/28/2001,律師檔號SVL920010010US1的優先權。 發明背景 1·發明範疇 本發明大致有關於資料庫管理系統,而且尤其有關於電 腦資料庫管理系統中的機制,以便將一直在資料來源中的 資料卸載,傳輸,及載入到遠端資料來源,且不受來源或 目標的檔案傳輸系統的實體限制的限制。 2.前案說明 電子商務的日漸受歡迎已使許多公司使用應用伺服器以 有效的分派及管理其應用,通常這些應用伺服器配置成與 資料庫管理系統(DBMS)作介面以儲存及擷取資料。這時常 表示新的應用必須與分散式資料環境工作,結果應用開發 者時常發現其對於DBMS產品的控制極少或是無法控制7 該DBMS產品用以支援其應用或是如何設計資料庫。在許 多例子中,開發者發現對於其應用極重要的資料分佈在^ 重DBMS,該DBMS由不同軟體銷售者開發出。 時常期望從資料來源卸載/擷取/輸出資料,將它送入目枵 台,以及將資料載入/輸入到目標台資料儲存區, : 源台或目標台的檔案傳輸系統的實體限制的限制。也:望 可以與多記錄卸載同時達成目標記錄的載入一 聿死錄接-筆記錄地的傳制可達成此目的,:一 -6 - 591422 A7 —____B7 五、發明説明(2 ) 來源及目標台同時發生傳送一記錄及接收另一記錄的操 作。 惟,目前無此功能,卸載資料到檔案,傳送整個檔案, 且接著將資料載入目標。習知通常是使用檔案傳輸程序 (FTP)以傳送檔案中的資料,可惜,使用FTp或DBMS應用 的公司遇到一些問題,時常發生來源台與目標台檔案格式 不相容,此外,要傳輸的資料量大於極大目標台操作系統 檔案大小。此外,若設計要求從資料庫表傳輸記錄資料, 則其屬性必須在多重DBMS上擴張,而目前並不支援它, 因為不能在傳輸時從多重資料來源將目前的記錄資料結合 起來。此外,期望使用不同的資料庫產品其由各個領導資 訊技術銷售者支援,因為他們提供許多潛在的商業利益, 如可攜性增加及高度的碼再使用。可惜,目前的dbms銷 售者在傳輸資料記錄時,不支援一筆記錄接一筆記錄地資 料傳輸模式(或是將多重資料來源的資料結合)。 因此迫使開發者轉向更複雜(及潛在更麻煩)的替代者以 取用所需的資料記錄^時常該替代者的執行成本更高而且 耗時,需要更複雜的程式技術以實施DBMS技術,消耗更 額外的機器資源去執行,增加開發及測試的勞力成本,而 且可能抑制資料本身的可攜性。 此問題的一種目前解決方法是,當應用開發者需要建立 一應用以取用及傳輸目前在多重資料來源的重要資料時, 需要以人工方式模擬透明存取。在該例中,程式設計師要 負貴寫軟體以個別的連接各個必要資料來源,在任何必要
591422 A7 B7 五、發明説明(3 資料中讀取,將讀取自多重資料來源的結果相關連(或是結 合),執行必要的資料轉移等。這是大量的工作且超出許多 程式設計師的能力範圍。此外,它的成本極大,此外,它 需要很了解各資料來源的應用程式介面(API),而且提供的 查拘最佳化機會較少這又使得性能下降。 該問題的另一解決方法是將資料作實體結合,其中不同 資料來源的資料必須拷貝到單一資料來源,而程式設計師 接著會將它傳輸。惟,這會產生資料遲滞及成本增加的問 題。由於資料遲滯,資料的拷貝會稍微(或明顯)的比原始 資料來源中的資料舊^對於許多應用而言不能接受操作過 時(且可能是不正確)的資料。增加的成本包括軟體成本, 因為必須購買,安裝,配置,及維持額外軟體,以便定時 或週期性的從一來源拷貝資料到另一來源,而且也有人工 成本。軟體必須支援資料移動或是執行資料複製過程,其 支援極低的資料遲滯。 因此’需要提供一種方法及系統其能一冑記錄接一筆記 錄地傳輸-致資料(其時常位於多重資料來源及可能以不 同格式儲存)到目標台儲存區。這可簡化設計 =提供更可靠的應用,其具有的功能是它種方: 不成達到的。 發明總娃 附圖,即可明瞭 資料庫連接通訊 由以下較佳實例的詳細說明再配合數個 本發明的上述及其他目的,特徵及優點。 本發明的一實例县—接士、+ 貝1夕J疋一種万法用以經由一 -8 -
591422 A7 B7 五、發明説明(4 ) 線而在連接一來源台與一目標台之電腦系統網路中,而從 一遠端資料來源一筆記錄接一筆記錄地載入資料。來源台 具有至少一資料來源及一軟體伺服器具有DBms之多重資 料庫存取。目標台經由一結構查詢語言(SQL)敘述區段(或 其同等者)而從來源台請求載入資料。根據一多重資料庫存 取通訊協定經由資料庫連接通訊線而一筆記錄接一筆記錄 地輸送資料,其中目標台與來源台卸載記錄之同時載入記 錄。也可以管線方式,在具有複數個平行串之多重分割中 載入資料記錄,由複數個資料來源分割游標指向而執行資 料載入。具有多重資料庫存取之軟體伺服器最好使用一分 散關聯資料庫架構(DRDA),而資料庫連接通訊線最好使用 TCP/IP 協定。 本發明的另一實例是一種裝置可實施本發明的上述方法 元件。 本發明的又一實例是一種電腦可讀取之程式儲存裝置, 以確實執行電腦可執行之指令程式,以執行本發明上述方 法實例的方法步驟。 附圖簡單說明 參考附圖其中相同數字表示對應部分: 圖1是根據本發明較佳實例的典型電腦硬體及軟體環境 的方塊圖;及 圖2是根據本發明較佳實例而說明LOAD指令的數個選項 的語法形式。 、 較佳實例詳細說明 -9 - k張尺一度適用中國國297公爱_)_ 591422 - A7 P---------- B7 五、發明説明(5 ) 以下參考附圖以說明較佳實例,其中顯示的特定實例可 貫施本發明。要了解的是可使用其他實例,而且在不達反 本發明範圍之下可以作結構及功能上的變化。 本發明是指一種系統,方法及程式儲存裝置以執行電腦 可執行的指令程式,以執行本發明的方法以便一筆記錄接 一筆記錄地傳輸常駐在多重資料來源中的一致資料(且可 能以不同格式儲存)到目標台儲存區。使用現存的習知技術 稱為多重資料庫軟體伺服器即可達成將可能以不同格式儲 存在多重資料來源的資料傳輸。因此開發者能一筆記錄接 一筆記錄地傳輸資料,而且記錄屬性可擴張多重資料來 源。此外,其可在單一異動中取用任何或所有的這些屬性。 因為本發明受到各個領導資訊技術銷售者支援,這提供許 多潛在的商業利益,如可攜性增加及高度的碼再使用,且 對於應用開發者而言不增加任何程式負擔。 本發明的較佳實例最好使用具有DBMS的多重資料庫存 取的軟體伺服器,如分散關聯資料庫架構(DRDA)軟體伺服 器,以取用資料來源,可使用結構查詢語言(SQL)敘述區段 (或其同等)而從目標台存取該DRDA軟體伺服器。資料最 好格式化且根據DRDA通訊協定規則而一筆記錄接一筆吃 錄地輸送,且直接載入目標台。本發明最好使用標準sq\ 指令,它是複雜的SQL指令。它允許使用聯集及結合功能, 用以將多重資料來源的資料結合。 匕 藉由本發明的實例,一旦至少一資料記錄從一來源台卸 載時,即可輸送資料記錄,而且一旦記錄輸送到目標台即 -10 - 本纸張尺度適用中國國家標準(CNS) A4規格(210X297公釐) ~~ ---------- 591422 A7 _B7__ 五、發明説明(6 ) 可開始在一目標台的資料載入。因此目標台能與來源台記 錄的卸載同時,作記錄載入。此外因為要傳輸的所有資料 不必在傳輸之前完全載入檔案,所以資料量不受限制,且 不受極大檔案傳輸系統大小的限制。此外,使用DRDA(或 類似的通訊協定)可提供一種中性的資料格式,且與載入及 卸載站台檔案格式是否相容無關。 本發明的軟體較佳實例可以在OS/390版本7及z/OS的 DB2套裝軟體中執行,作為公用強化功能(稱為游標載入, 或DB2族交叉載入器)。本發明允許目標台上的使用者請求 將記錄從來源台傳輸到目標台。這最好藉由SQL DECLARE CURSOR FOR SELECT敘述而達成,其藉由游標名稱而參考 一來源台表的SELECT(選擇)指令結果列。此指令傳送到要 執行的來源台,接著目標台上的使用者利用LOAD(載入)指 令,其指定一目標台表。LOAD指令利用新的操作元 INCURSOR(由本發明定義),其使用與SELECT敘述中使用 的游標名稱相同,以指示要載入到目標台表的資料位置。 因此本發明使用游標名稱(以取代檔名,其目前用INDDN定 義)以分開參考資料的各記錄,而不是參考整個檔案。 圖1說明根據本發明較佳實例的典型電腦硬體及軟體環 境的方塊圖,包括目標台100及來源台102,各具有至少一 習知處理器(未示)可執行儲存在相關電腦記憶體(未示)中 的指令。操作記憶體能與接收自另一儲存硬碟或網路介面 的指令一起載入。本發明的較佳實例特別適用於網路環 境,在目標台100上具有一操作端(未示),而且目標台100 -11 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)
裝 訂
k 591422 A7 B7 五、發明説明(7 ) 處理器經由資料庫連接通訊線116而與來源台102處理器形 成網路,該資料庫連接通訊線116最好是TCP/IP通訊線, 記錄則可在它上面根據DRDA通訊協定規則而輸送。 來源台102處理器接到至少一電子儲存裝置106如硬碟, 以儲存至少一關聯資料庫。儲存裝置104也用在目標台100 上。它可包括光碟,磁帶及/或半導體記憶體。各儲存裝置 允許接收程式儲存裝置,如磁性媒體軟碟,磁帶,光碟, 半導體記憶體及其他機器可讀取的儲存裝置,且允許讀取 方法程式步驟其記錄在程式儲存裝置上,且傳輸到電腦記 憶體中。記錄的程式指令包括本發明方法實例的碼,或者, 可以從電腦經由網路而將程式步驟儲存在操作記憶體。 在目標台100的操作端的操作者使用標準操作者終端介 面(未示)如IMS/DB/DC,CICS,TSO,OS/2或其他類似介面 以傳送電信號到目標台100以及從目標台100接收電信號, 以表示在來源台102執行各種工作的指令,如搜尋及擷取 功能或作儲存在電子儲存裝置106上資料庫的查詢。在本 發明,這些查詢最好符合SQL標準,且請求由位於來源台 102的資料庫管理系統(DBMS)執行的功能,它可以是DBMS 族108的一部分,其最好是關聯資料庫管理系統(RDBMS) 軟體。在目標台100也有一 DBMS 110,在本發明的較佳實 例中,RDBMS軟體是DB2產品,如IBM的AS400,OS390 或OS/2作業系統,微軟視窗作業系統,或是DB2支援的任 何UNIX作業系統。惟,熟於此技藝者可了解本發明可應 用在使用SQL的任何RDBMS軟體,且可應用在非SQL查 -12 - 本纸張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 B7 五、發明説明(8 ) 詢。 圖1更說明一種可實施本發明較佳實例的軟體環境,在圖 1的系統中,目標台100更包括本發明的交叉載入器軟體 114,能經由資料庫連接通訊線116而與在來源台102的交 叉載入器軟體112通訊。各交叉載入器軟體112,114包括 一指令區段可用以一筆記錄接一筆記錄地的執行本發明的 資料傳輸(如以下所示)。目標台100也包括DRDA介面118, 而來源台102更包括DRDA介面120。交叉載入器軟體114 也與DBMS 110連接,而交叉載入器軟體112與DBMS族108 連接,以取用資料庫項目。此外,目標台100也包括資料 類型轉換模組122,當必要時可用於DRDA協定支援的資料 類型轉換。來源台102更包括多重資料庫軟體伺服器124, 如圖1所示的DataJoiner模組,用以傳輸不同DBMS(如Oracle 到DB2),其與交叉載入器軟體112及DBMS族108連接。 本發明的方法實例包括以下步驟。首先使用者識別要傳 輸的資料,它可以在不同的資料來源站台,且以不同格式 儲存。例如他可以從DBMS表族108而識別出一些記錄, 其位於 DB2,Oracle,Sysbase,Informix,IMS,VSAM 資料 庫,SQL伺服器或NCR Teradata,其與他/她的應用相關且 應該移動。資料來源識別步驟的確實本質是可以改變的, 本發明的較佳實例是藉由發出SQL指令而實施,但是也可 使用許多種其他方式。 若使用分散資料來源的資料,在次一步驟使用者使用軟 體設施以連接DBMS族108(其含有資料)的資料來源,及暫 -13 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 B7__._ 五、發明説明(9 ) 存這些具有軟體設施的資料物件。此軟體設施具有多重資 料庫軟體伺服器的功能(如圖1的DataJoiner(資料結合器 124),有時稱為聯合DBMS,其可存取多重資料來源,各位 於不同系統且以不同格式儲存資料。本發明的較佳實例可 使用IBM的DB2 DataJoiner多重資料庫軟體伺服器124而 PE,如 DB2 V6.1 的 DataJoiner V2.1,以連接 DBMS 族 108, 包括 Oracle DBMS,Sybase DBMS,Informix DBMS 等。 接著使用此軟體設施,即多重資料庫軟體伺服器,使用 者產生一指令以便將資料來源的先前暫存資料的多重屬性 結合。此步驟的一實例需要使用交叉器軟體114,其使用 SQL SELECT敘述以取用一關聯DBMS表(或視窗),其中這 種視窗根據應用的特定需求而將不同(有時是遠端)資料來 源(如表)的資料結合。各SELECT敘述適當的過濾資料,有 時選擇性限制產生的記錄或視窗在行列的次集合其與至少 一資料來源(表)相關。對於SELECT敘述,使用者必須宣告 一游標,這允許標準資料庫連接機制與軟體設施連接’即 多重資料庫軟體伺服器,以一筆記錄接一筆記錄地參考資 料,雖然資料是從單一表導出。 接著在目標台1〇〇的交叉器軟體114中,標準SQL指令 如LOAD(載入)指令可用以建立與先前宣告的游標連接,以 載入以上定義的視窗所表示的資料。一旦已完成上述步 驟’程式設計師可存取資料,其方式可以將需要存取的資 料的分散本質加以隱藏。這有利於許多有用商業應用的迅 速開發,因而使開發及維護成本減到極小。藉由本發明, -14 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 B7 五、發明説明(1Q ) 使用者能將一應用從DB2族的元件移動到另一者,該表可 大於伺服器作業系統能處理的檔案大小。 因為本發明使用標準SQL,它能使用3個元素名稱以識別 資料來源,如資料位置,設計名及表名,這是分散式存取 必須的。其他實例則使用CONNECT(連接)敘述以連接來源 台102到目標台100。本發明最好使用動態SQL敘述以建立 SQL敘述的公用區段。在游標宣告中使用EXEC SQL公用指 令,也可在相同的EXEC SQL指令中定義一些其他SQL敘 述,其可以動態的執行。 以下語法圖顯示EXEC SQL指令的格式,其中在同一區段 中可以將declare cursor spec(宣告游標規格)指令置於 non-select dynamic SQL 敛述之前: »-EXEC-SQL-declare cursor spec-—ENDEXEC........> -•non-select dynamic SQL 敘述' 將片語 declare cursor spec 當成 DECLARE CURSOR 敘述輸 入,以定義指向SELECT敘述結果的游標,它具有以下SQL 格式: >>-DECL ARE-cursor-name-CURS OR-F OR-select-statement-ENDEXEC-> 片語 cursor-name(游標名)識別一游標,select-statement 指 定SQL SELEC丁指令,用以從表提供結果列,由游標宣告敘 述中宣告的游標指向。 片語non-select dynamic SQL statement(非選擇動態 SQL 敘述) 指向一指令其用以執行EXECUTE IMMEDIATE(立即執行) -15 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 ~ B7 五、發明説明(11 ) 模式中的特定 SQL 敛述,non-select dynamic SQL statement 是以下SQL敘述之一: o ALTER(改變) o RENAME(重新命名) 〇 COMMENT ON(附註)〇 REVOKE(撤銷) o COMMIT(執行) o ROLLBACK(回捲) o CREATE(產生) o SET CURRENT DEGREE(設定目前度) o DELETE(取消) o SET CURRENT LOCALE LC 一 CTYPE(設目前位置 LC_CTYPE) o DROP(放下) o UPDATE(更新) o EXPLAIN(解釋) o SET CURRENT OPTIMIZATION HINT(設定目前最佳暗示) o GRANT(允許) 〇 SETCURRENTPATH(設定目前路徑) 〇 INSERT(插入) 〇 SET CURRENT SQLID(設定目前 SQL 識別) 〇 LABEL ON(標記) o SET CURRENT PRECI SION(設定目前精度) o LOCK TABLE(鎖住表) o SET CURRENT RULES(設定目前規則) 雖然SQL敘述正在執行,仍解析及檢查特定敘述的錯 誤,若SQL敘述無效,則不執行它,而且報告防止它執行 的錯誤情況。若SQL敘述正確,但是在其執行時發生錯誤, 則報告該錯誤情況。若SQL欽述需要過多處理器去完成’ 則DB2能中止SQL敘述的執行。當此發生時,即發生錯誤 且要報告它。每當錯誤發生時,公用程式即中止。 -16 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 591422 A7 _B7____ 五、發明説明(12 )
一有效DECLARE CURSOR敘述的例子,用以宣告一游標 從樣本表MYSOURCE選擇所有的行及列,則如以下所示: EXEC SQL
DECLARE Cl CURSOR FOR SELECT * FROM MYSOURCE ENDEXEC LOAD指令具有許多選項,圖2是根據本發明的較佳實例 而說明LOAD指令的數個選項的語法形式。 在LOAD指令中使用INCURS OR cursor-name參數是本發 明的較佳實例,LOAD指令指定的游標與指向要卸載資料 的來源台相同。因此游標必須已在宣告選擇游標敘述中宣 告,SELEC丁敘述表中的行名必須與目標表中的行名相同 以接收載入記錄,惟,選擇表中的AS子句能用於改變 SELECT敛述送回的行名。 以下的2個例子顯示本發明較佳實例的實施。 例1 :此例子宣告游標C 1且將來源台表的記錄載入一目 標表,該記錄取自SELECT敘述的結果其宣告游標C 1。修 正LOAD指令以接受一筆記錄接一筆記錄地傳輸模式的 INCURSOR參數,使用它以取代習知整個檔案傳輸時用的 INDDN參數。
EXEC SQL
CREATE TABLE MYTARGET LIKE MYSOURCE ENDEXEC
EXEC SQL -17 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐) 591422 A7 B7 五、發明説明(13
DECLARE Cl CURSOR FOR SELECT * FROM MYSOURCE ENDEXEC LOAD DATA INCURSOR(Cl)
REPLACE
INTO TABLE MYTARGET 本發明也具有能在數個平行_中執行資料傳輸的較佳實 例(即管線模式)。 例2 :此例顯示將資料平行載入MYTARGET表的數個分 割中的方式,而資料取得自SELECT敘述的結果,於各分 割游標C1-C4中宣告。在4個平行串中執行LOAD指令以 擷取資料(管線模式),由分割游標C1-C4指向。
EXEC SQL DECLARE Cl CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO <=,099999,
ENDEXEC
EXEC SQL
DECLARE C2 CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO >丨099999· AND EMPNO <=丨 199999f ENDEXEC
EXEC SQL -18 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 x 297公釐) 591422 A7 B7 _ ._ 五、發明説明(14 )
DECLARE C3 CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO >499999, AND EMPNO <=.299999丨 ENDEXEC
EXEC SQL
DECLARE C4 CURSOR FOR SELECT * FROM MYSOURCE WHERE EMPNO >*299999* AND EMPNO <=f999999f ENDEXEC
LOAD DATA INTO TABLE MYTARGET PART 1 REPLACE INCURSOR(Cl) INTO TABLE MYTARGET PART 2 REPLACE INCURSOR(C2) INTO TABLE MYTARGET PART 3 REPLACE INCURSOR(C3) INTO TABLE MYTARGET PART 4 REPLACE INCURSOR(C4) 本發明可較佳的經由DRDA而處理分散式資料庫間的互 動,當程式設計師需要取用儲存在DBMS族108的多重 DBMS中的資料時,它即能簡化開發工作。DRDA提供共同 的SQL API,位置透明度,及(在一些例子中的)功能補償。 此外,在不以人工方式連接各資料來源之下,能執行多重 資料庫結合及聯集,個別地從各來源擷取必要資料,暫時 儲存這些資料在一些應用管理資料結構中,及編碼必要的 邏輯以處理與一結合(或聯集)操作相關的資料整合。由多 重資料庫軟體伺服器自動處理此一工作,其表示資料的單 一站台影像其實體分散及儲存在不同的DBMS中。 -19 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 591422 A7 _B7_ ._ 五、發明説明(15 ) 本發明的較佳實例不必將不同來源的資料作實體整合, 因而避免軟體及人工參予的成本,以及因資料遲滯問題而 導致的邏輯曝露。這也可減輕程式設計師撰寫必要軟體的 負擔,該軟體可個別連接各必要資料來源,執行任何必要 的資料轉移等。這是超出許多程式設計師能力的大量工 作,且產生大量的成本。此外,程式設計師不必完成了解 不同資料來源間的差異。 本發明最好使用根據DRDA協定的資料格式,及經由 TCP/IP資料庫連接通訊線(其具有極大位元的乙太網路)而 傳輸資料。它可用以從一區域或遠端目標表載入,因為本 發明的高速,可靠,迅速及彈性等優點,所以它特別適用 於從主電腦(來源台)倉庫(CC或Visual Warehouse)作大量資 料的一般自動更新(下載)。除了 DB2如DL/I或VSAM也可 使用DBMS,本發明也可使用DBMS其由不同作業系統如 OS/390,UNIX,Windows,OS/2 等支援,在不使用 DSNTIAD 之下,它支援公用程式中的DDL及DML執行,如CREATE/ DROP表,GRANT,INSERT/UPDATE/DELETE等。 本發明的較佳實例能支援數種資料類型轉換,由資料轉 換模組 122 執行,如數值,ASCII/EBCIDIC/Unicode , Codepage 等,及區段擷取,且沒有以下問題:檔案大小限制,或列 及場冗餘。它簡化應用的設計,開發,及維護,且提供更 可靠的應用其具有的功能是目前不能提供的。 為了說明及敘述目的而說明本發明較佳實例的上述說 明’它並不意欲是無所不包或是限制本發明在揭露的精確 -20 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)

Claims (1)

  1. 59142: 第09103173號專利申請案 中文申請專利範圍替換本(93年1月) A B c D
    々、申請專利範圍 1. 一種用以經由一資料庫連接通訊線而在連接一來源台與 一目標台之電腦系統網路中從一遠端資料來源一筆記錄 接一筆記錄地載入資料之方法,該方法包括以下步驟: (a) 連接來源台至至少一資料來源及一軟體伺服器,其 具有DBMS之多重資料庫存取; (b) 在目標台經由一結構查詢語言(SQL)敘述區段或其 同等者而從來源台請求載入資料;及 (c) 根據一多重資料庫存取通訊協定經由資料庫連接通 訊線而一筆記錄接一筆記錄地輸送資料,其中目標台與 來源台卸載記錄之同時載入記錄。 a 2. 如申請專利範圍第1項之方法,其中一旦至少一資料記錄 從來源台卸載時,即跨過資料庫連接通訊線而輸送一資 料記錄,及一旦記錄輸送到目標台時,即開始在目標台 載入資料。 3. 如申請專利範圍第1項之方法,其中以管線方式在具有複 數個平行申之多重分割中載入資料記錄,由複數個資料 來源分割游標指向以執行資料載入。 4. 如申請專利範圍第1項之方法,其中SQL敘述區段包括動 態可執行SQL敘述在EXECUTE IMMEDIATE(立即執行)模 式中執行。 5. 如申請專利範圍第1項之方法,其中SQL敘述區段包括: 一 SQL DECLARE CURSOR FOR SELECT(SQL宣告選擇 游標)敘述,用以定義一游標,分開參考自伺服器台台卸 載之各SELECT(選擇)結果記錄;及 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) D8 、申請專利範圍 一 LOAD指令及一操作元incursor,其具有相同游標 名稱用以指向在目標台之接收記錄。 6·如申請專利範圍第丨項之方法,其中伺服器台台具有存取 多重;貝料來源,實體分散及完全不同之DBMS,位於不同 硬體系統且可能以不同格式儲存資料。 7·如申凊專利範圍第6項之方法,其中從多重資料來源載入 資料之词服器台台更包括以下步驟:使用合併來自多重 資料來源資料之裝置。 8. 如申請專利範圍第!項之方法,其中資料庫連接通訊線利 用代⑽協定,而具有DBMS之多重資料庫存取之軟體祠 服益包括一分散關聯資料庫架構(drda:^ 9. :種從遠端資料來源-筆記錄接―筆記錄地載入資料之 系統,包括: 器—:::,接至至少-資料來源且具有-軟體祠服 咨,其具有DBMS之多重資料庫存取; 等:=’經由-結構查詢語言(卿敘述區段或其同 +者而從來源台請求載入資料;及 人六 訑料庫連接通訊線,根據一乡 定而用以-筆記錄ί 科庫存取通訊協 命A ^聿"己錄地輸送資科,其中目炉二 人來源台卸載記錄之同時載入記錄。 、 不口 Μ.如申請專利範圍第9項之系統,其中—曰 從來源台卸載時’即跨過資料庫連料資料記錄 料記錄,及-旦記錄輸 ^泉而輸运-資 載入資料。 “時,即開始在目標台 -2 本紙張尺度適财國时料(CNS) 10X297公釐) 2 42 1X 9 5
    六、申請專利範圍 11. 如申請專利範圍第9項之系統,其中以管線方式在具有複 數個平行串之多重分割中載入資料記錄,由複數個資料 來源分割游標指向以執行資料載入。 12. 如申請專利範圍第9項之系統,其中SQL敘述區段包括動 態可執行SQL敘述在EXECUTE IMMEDIATE(立即執行)模 式中執行。 13. 如申請專利範圍第9項之系統,其中SQL敘述區段包括: 嗲汜本钚^_^::其#'内容?旻^*-7*^·!!:? 一 SQL DECLARE CURSOR FOR SELECT(SQL宣告選擇 游標)敘述,用以定義一游標,分開參考自伺服器台台卸 載之各SELECT(選擇)結果記錄;及 一 LOAD指令及一操作元INCURSOR,其具有相同游標 名稱用以指向在目標台之接收記錄。 14. 如申.請專利範圍第9項之系統,其中伺服器台台具有存取 多重資料來源,實體分散及完全不同之DBMS,位於不同 硬體系統且可能以不同格式儲存資料。 15. 如申請專利範圍第14項之系統,其中從多重資料來源載 入資料之伺服器台更包括合併來自多重資料來源資料之 裝置。 16. 如申請專利範圍第9項之系統,其中資料庫連接通訊線利 用TCP/IP協定,而具有DBMS之多重資料庫存取之軟體伺 服器包括一分散關聯資料庫架構(DRDA)。 17. —種電腦可讀取之程式儲存裝置,以確實執行電腦可執 行之指令程式,以執行以下方法步驟:經由一資料庫連 接通訊線而在連接一來源台與一目標台之電腦系統網路 -3 - 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 從返端資科來源一筆 科,該方法包括以下步驟錄接一拿記錄地載入資 U)連接來源台至至少一 具有職s之多重資科庫存取科來源及—軟體词服器,其 (b)在目標台經由一結構查士五士 同等者而從來源台請求載入-資料"及(Q )敘述區段或其 二):據;:::科!存取通訊協定經由資料庫連接通 來源μ:ί 記錄地輸送資料,其中目標台與 求原口卸載記錄之同時載入記錄。 18·如t請專利範圍第17項之程式儲存裝置,其中一曰至少 =料記^來源台卸載時’即跨過資科庫連料訊線 一資料記錄,及-旦記錄輸送到目標台時,即開 始在目標台載入資料。 19·:申請專利範圍第17項之程式儲存裝置,其中以管線方 式在具有複數個平行串之多 、自& , ^ 夕I刀割中載入資料記錄,由 複數個資料來源分割游標指向以執行資料載入。 =申請專利範圍第17項之程式儲存裝置,其中观欽述區 &包括動態可執行SQL敘述在EXECUTE immed麗(立 即執行)模式中執行。 置,其中SQL敘述區 21.如申請專利範圍第17項之程式儲存裝 段包括: 一 SQL DECLARE CURS0R F〇R 宣告選擇 游標)敘述,用以定義一游標,㈣參考自伺服器台卸載 之各SELECT(選擇)結果記錄;及 591422
    f正替換>、 Λ 93 ί· 年月叇 ^、申請專利範圍 一 LOAD指令及一操作元INCURSOR,其具有相同游標 名稱用以指向在目標台之接收記錄。 22. 如申請專利範圍第17項之程式儲存裝置,其中伺服器台 具有存取多重資料來源,實體分散及完全不同之DBMS, 位於不同硬體系統且可能以不同格式儲存資料。 23. 如申請專利範圍第22項之程式儲存裝置,其中從多重資 料來源載入資料之伺服器台更包括以下步驟··使用合併 來自多重資料來源資料之裝置。 24. 如申請專利範圍第17項之程式儲存裝置,其中資料庫連 接通訊線利用TCP/IP協定,而具有DBMS之多重資料庫存 取之軟體伺服器包括一分散關聯資料庫架構(DRDA)。 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐)
TW091103173A 2001-02-28 2002-02-22 Data loading from a remote data source TW591422B (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US27268001P 2001-02-28 2001-02-28
US09/912,586 US7418441B2 (en) 2001-02-28 2001-07-24 Data loading from a remote data source record by record

Publications (1)

Publication Number Publication Date
TW591422B true TW591422B (en) 2004-06-11

Family

ID=23040811

Family Applications (1)

Application Number Title Priority Date Filing Date
TW091103173A TW591422B (en) 2001-02-28 2002-02-22 Data loading from a remote data source

Country Status (8)

Country Link
US (1) US7418441B2 (zh)
EP (1) EP1390878A2 (zh)
JP (1) JP2004532465A (zh)
KR (1) KR20030082602A (zh)
CN (1) CN1277231C (zh)
CA (1) CA2441960C (zh)
TW (1) TW591422B (zh)
WO (1) WO2002084522A2 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1271342A1 (en) * 2001-04-30 2003-01-02 Sun Microsystems, Inc. Method for accessing database table columns
US20030177146A1 (en) * 2002-03-18 2003-09-18 International Business Machines Corporation Method, system, and program product for migrating data from one data base management system to another data base management system
EP2264628A1 (en) * 2002-09-18 2010-12-22 Netezza Corporation Intelligent storage device controller
US8341120B2 (en) * 2003-09-05 2012-12-25 Oracle International Corporation Apparatus and methods for transferring database objects into and out of database systems
CN1307585C (zh) * 2003-12-31 2007-03-28 中兴通讯股份有限公司 一种用于实现数据库多表查询的数据处理方法
US7577640B1 (en) * 2004-03-31 2009-08-18 Avaya Inc. Highly available, highly scalable multi-source logical database with low latency
CN100397827C (zh) * 2006-03-18 2008-06-25 华为技术有限公司 一种单板软件存储和加载的方法及系统
JP5238219B2 (ja) * 2007-10-29 2013-07-17 株式会社東芝 情報処理システム及びパイプライン処理制御方法
US8190596B2 (en) * 2007-11-28 2012-05-29 International Business Machines Corporation Method for assembly of personalized enterprise information integrators over conjunctive queries
US8145684B2 (en) * 2007-11-28 2012-03-27 International Business Machines Corporation System and computer program product for assembly of personalized enterprise information integrators over conjunctive queries
US8655833B2 (en) * 2008-06-17 2014-02-18 Qualcomm Incorporated Database architecture for supporting group communications among wireless communication devices
US8813048B2 (en) * 2009-05-11 2014-08-19 Accenture Global Services Limited Single code set applications executing in a multiple platform system
US8832699B2 (en) 2009-05-11 2014-09-09 Accenture Global Services Limited Migrating processes operating on one platform to another platform in a multi-platform system
WO2011025892A1 (en) * 2009-08-27 2011-03-03 Mastercard International Incorporated Multi-database query system and method
US9665620B2 (en) 2010-01-15 2017-05-30 Ab Initio Technology Llc Managing data queries
CN102486798A (zh) * 2010-12-03 2012-06-06 腾讯科技(深圳)有限公司 数据加载的方法及装置
US8543581B2 (en) 2011-04-04 2013-09-24 Microsoft Corporation Synchronizing records between databases
US10546057B2 (en) * 2011-10-28 2020-01-28 Microsoft Technology Licensing, Llc Spreadsheet program-based data classification for source target mapping
US8938480B2 (en) * 2011-12-29 2015-01-20 Teradata Us, Inc. Techniques for fast loading of data from an external distributed file system to a database management system
US10324917B2 (en) * 2012-10-15 2019-06-18 Qliktech International Ab Methods and systems for data management
CN107622025B (zh) * 2012-11-22 2021-03-23 华为终端有限公司 数据传输的方法及设备
CN104281587B (zh) * 2013-07-03 2018-05-11 阿里巴巴集团控股有限公司 一种建立连接的方法及装置
CN103544285B (zh) * 2013-10-28 2017-09-26 华为技术有限公司 一种数据加载方法及装置
US10417281B2 (en) * 2015-02-18 2019-09-17 Ab Initio Technology Llc Querying a data source on a network
CN106155878B (zh) * 2015-03-24 2018-08-10 富士施乐实业发展(中国)有限公司 用于在数据库中创建供软件测试用的测试环境的方法和装置
CN105760517A (zh) * 2016-02-25 2016-07-13 浪潮(北京)电子信息产业有限公司 将数据从Oracle数据库迁移至DB2数据库的方法和装置
US11449497B1 (en) * 2016-10-21 2022-09-20 Jpmorgan Chase Bank, N.A. Method and system for implementing dynamic stored procedures
US10649965B2 (en) 2016-11-14 2020-05-12 International Business Machines Corporation Data migration in a networked computer environment
CN111797070A (zh) * 2019-04-08 2020-10-20 杭州晨熹多媒体科技有限公司 票务数据处理方法及装置
CN110134695B (zh) * 2019-05-21 2022-08-16 电子科技大学 一种面向流水线结构化数据查询的数据库智能分区方法
US11042517B2 (en) * 2019-06-07 2021-06-22 Sap Se Online migration of database systems
US11093223B2 (en) 2019-07-18 2021-08-17 Ab Initio Technology Llc Automatically converting a program written in a procedural programming language into a dataflow graph and related systems and methods
CN112328408B (zh) * 2020-10-21 2024-09-10 中国建设银行股份有限公司 数据处理方法、装置、系统、设备及存储介质
CN112579320A (zh) * 2020-12-16 2021-03-30 中国建设银行股份有限公司 一种开放系统与zos系统之间的通信方法及装置
CN113032385B (zh) * 2021-05-31 2021-09-07 北京江融信科技有限公司 一种易扩展可配置化的数据备份系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408656A (en) 1992-09-23 1995-04-18 International Business Machines Corporation Method and system for non-specific address data retrieval in a data storage subsystem which includes multiple datasets stored at specific addresses
US5511186A (en) * 1992-11-18 1996-04-23 Mdl Information Systems, Inc. System and methods for performing multi-source searches over heterogeneous databases
US5596744A (en) * 1993-05-20 1997-01-21 Hughes Aircraft Company Apparatus and method for providing users with transparent integrated access to heterogeneous database management systems
US5410693A (en) 1994-01-26 1995-04-25 Wall Data Incorporated Method and apparatus for accessing a database
US6381595B1 (en) * 1994-09-29 2002-04-30 International Business Machines Corporation System and method for compensation of functional differences between heterogeneous database management systems
GB9605473D0 (en) 1996-03-15 1996-05-15 Int Computers Ltd Parallel searching technique
US6044216A (en) * 1996-06-24 2000-03-28 Oracle Corporation Method and apparatus for implementing cursor variables for accessing data from database
US6006229A (en) 1996-08-19 1999-12-21 Extended Systems, Inc. Xbase transaction processing system
US5884327A (en) 1996-09-25 1999-03-16 International Business Machines Corporation System, method and program for performing two-phase commit with a coordinator that performs no logging
US5987472A (en) * 1997-03-31 1999-11-16 Combustion Engineering, Inc. System and method for handling database cross references
US6151602A (en) * 1997-11-07 2000-11-21 Inprise Corporation Database system with methods providing a platform-independent self-describing data packet for transmitting information
JP2000132435A (ja) * 1998-10-29 2000-05-12 Hitachi Ltd 異種データベース管理システム間のデータ整合処理装置
US6339772B1 (en) * 1999-07-06 2002-01-15 Compaq Computer Corporation System and method for performing database operations on a continuous stream of tuples
US6594651B2 (en) * 1999-12-22 2003-07-15 Ncr Corporation Method and apparatus for parallel execution of SQL-from within user defined functions

Also Published As

Publication number Publication date
US20020161748A1 (en) 2002-10-31
WO2002084522A3 (en) 2003-12-11
WO2002084522A2 (en) 2002-10-24
JP2004532465A (ja) 2004-10-21
CN1541363A (zh) 2004-10-27
CN1277231C (zh) 2006-09-27
EP1390878A2 (en) 2004-02-25
KR20030082602A (ko) 2003-10-22
US7418441B2 (en) 2008-08-26
CA2441960A1 (en) 2002-10-24
CA2441960C (en) 2010-11-09

Similar Documents

Publication Publication Date Title
TW591422B (en) Data loading from a remote data source
US9569514B2 (en) Statement-level and procedural-level replication
US11675761B2 (en) Performing in-memory columnar analytic queries on externally resident data
US7533136B2 (en) Efficient implementation of multiple work areas in a file system like repository that supports file versioning
US6460052B1 (en) Method and system for performing fine grain versioning
US6622152B1 (en) Remote log based replication solution
US6438538B1 (en) Data replication in data warehousing scenarios
US7287048B2 (en) Transparent archiving
US8479158B2 (en) Business information warehouse toolkit and language for warehousing simplification and automation
US7376658B1 (en) Managing cross-store relationships to data objects
US8386431B2 (en) Method and system for determining database object associated with tenant-independent or tenant-specific data, configured to store data partition, current version of the respective convertor
US7523142B2 (en) Systems, methods and articles of manufacture for upgrading a database with a shadow system
US10585909B2 (en) Task-execution in a DBMS using stored procedures
US8392464B2 (en) Easily queriable software repositories
US20060224626A1 (en) Versioned file group repository
US8015165B2 (en) Efficient path-based operations while searching across versions in a repository
US20050065949A1 (en) Techniques for partial rewrite of XPath queries in a relational database
US20070214104A1 (en) Method and system for locking execution plan during database migration
US7543004B2 (en) Efficient support for workspace-local queries in a repository that supports file versioning
US8386500B2 (en) Apparatus, system, and method for XML based disconnected data access for multivalued/hierarchical databases
US20050114404A1 (en) Database table version upload
US20090063654A1 (en) Apparatus, system, and method for xml based disconnected data access for multivalued/hierarchical databases
Ashdown et al. Oracle Database Concepts, 11g Release 2 (11.2) E25789-01
Bruni et al. DB2 9 for z/OS Technical Overview
Balaji Oracle Database Application Developer's Guide-Large Objects 10g Release 2 (10.2) Part No. B14249-01 Copyright© 1996, 2005, Oracle. All rights reserved. Primary Authors: Jack Melnick, Eric Paapanen Contributing Authors: K. Akiyama, Geeta Arora, S. Banerjee, Yujie Cao, Thomas H. Chang, E. Chong, S.

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees