JPH10124374A - レガシーシステムからのデータベース自動データローディング装置及びその方法 - Google Patents
レガシーシステムからのデータベース自動データローディング装置及びその方法Info
- Publication number
- JPH10124374A JPH10124374A JP8282519A JP28251996A JPH10124374A JP H10124374 A JPH10124374 A JP H10124374A JP 8282519 A JP8282519 A JP 8282519A JP 28251996 A JP28251996 A JP 28251996A JP H10124374 A JPH10124374 A JP H10124374A
- Authority
- JP
- Japan
- Prior art keywords
- data
- loading
- database
- legacy system
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 レガシーシステムの複数の情報システムから
構築しようとするデータベースへ効率的に、かつ、自動
的にデータをローディングする装置及びその方法を提供
する。 【解決手段】 アプリケーションレイヤー部4と、デー
タエントリーレイヤー部3とを設け、データエントリー
レイヤー部3に、レガシーシステム2のデータファイル
FAn,FBn,…をもとのデータ構造を保持した形で蓄積
するファイルプール部6と、ローディング元データファ
イル、ローディング先データベース、ローディング対象
のデータ、データローディング条件、データ加工方法を
規定したルールを多数格納するルールベース8と、ファ
イルプール部6のデータファイルFAn,FBn,…の蓄積
状況を監視し、アプリケーションレイヤー部3の所定の
データベース5に必要なデータが揃った後に、それらの
データを当該データベース5にローディングするコント
ローラ7と、を備えた。
構築しようとするデータベースへ効率的に、かつ、自動
的にデータをローディングする装置及びその方法を提供
する。 【解決手段】 アプリケーションレイヤー部4と、デー
タエントリーレイヤー部3とを設け、データエントリー
レイヤー部3に、レガシーシステム2のデータファイル
FAn,FBn,…をもとのデータ構造を保持した形で蓄積
するファイルプール部6と、ローディング元データファ
イル、ローディング先データベース、ローディング対象
のデータ、データローディング条件、データ加工方法を
規定したルールを多数格納するルールベース8と、ファ
イルプール部6のデータファイルFAn,FBn,…の蓄積
状況を監視し、アプリケーションレイヤー部3の所定の
データベース5に必要なデータが揃った後に、それらの
データを当該データベース5にローディングするコント
ローラ7と、を備えた。
Description
【0001】
【発明の属する技術分野】本発明は、統合化されていな
い複数の情報システムを有するレガシーシステムから、
データウェアハウス(Data Warehous
e)、データマート(Data Mart)、オペレー
ショナルデータストア(Operational Da
ta Store)等の大規模データベース、あるいは
エンドユーザー用の特定用途の小規模データベースへ、
自動的かつ効率的にデータをローディングするデータベ
ース自動データローディング装置及びその方法に関す
る。
い複数の情報システムを有するレガシーシステムから、
データウェアハウス(Data Warehous
e)、データマート(Data Mart)、オペレー
ショナルデータストア(Operational Da
ta Store)等の大規模データベース、あるいは
エンドユーザー用の特定用途の小規模データベースへ、
自動的かつ効率的にデータをローディングするデータベ
ース自動データローディング装置及びその方法に関す
る。
【0002】
【従来の技術】従来から、企業、団体等は、長年にわた
って統合化されていない業務処理用アプリケーション
(情報システム)を集合的に構築してきた。これらの情
報システムの集合体は、まとめて“レガシーシステム”
という名称で呼ばれている。
って統合化されていない業務処理用アプリケーション
(情報システム)を集合的に構築してきた。これらの情
報システムの集合体は、まとめて“レガシーシステム”
という名称で呼ばれている。
【0003】レガシーシステムは、各企業等の基幹的な
業務処理を行っていることが多いため、企業等における
情報処理システムの基幹システムをなすことが多い。
業務処理を行っていることが多いため、企業等における
情報処理システムの基幹システムをなすことが多い。
【0004】基幹システム(レガシーシステム)は、企
業等の日常的なデータ処理を行うものであるため、必要
に応じてその場その場で構築され、一般的には巨大化し
た複数の情報システムの集合体からなっている。
業等の日常的なデータ処理を行うものであるため、必要
に応じてその場その場で構築され、一般的には巨大化し
た複数の情報システムの集合体からなっている。
【0005】これらの情報システムは、必要に応じて、
異なる目的とシステム設計者によって作成されているた
め、統合されていない状態でデータを大量に蓄えてい
る。ここで「統合されていない状態」は、たとえばデー
タの中に頻繁にでてくる“性別”を例にして言えば、
“m”と“f”と表わす情報システムもあれば、“0”
と“1”、“x”と“y”、“男”と“女”、などと表
わす情報システムもあるように、データの記述が異なる
こともある。また、たとえば顧客の氏名を表わすデータ
の場合、情報システムにより、フルネームで表わす場合
もあれば、いわゆるイニシャルと氏のように表わす場合
もある。
異なる目的とシステム設計者によって作成されているた
め、統合されていない状態でデータを大量に蓄えてい
る。ここで「統合されていない状態」は、たとえばデー
タの中に頻繁にでてくる“性別”を例にして言えば、
“m”と“f”と表わす情報システムもあれば、“0”
と“1”、“x”と“y”、“男”と“女”、などと表
わす情報システムもあるように、データの記述が異なる
こともある。また、たとえば顧客の氏名を表わすデータ
の場合、情報システムにより、フルネームで表わす場合
もあれば、いわゆるイニシャルと氏のように表わす場合
もある。
【0006】これらのデータは、実体的には同一の意味
を有しているのにも拘わらず、データとしては種々の形
をとっているため、同一データとして統一されていない
状態で別々のファイルに散在している。
を有しているのにも拘わらず、データとしては種々の形
をとっているため、同一データとして統一されていない
状態で別々のファイルに散在している。
【0007】また、従来のレガシーシステムでは、一部
重複した情報を含むデータが多数存在し、これらのデー
タ間の関連が取れない状態になっていることが多い。
重複した情報を含むデータが多数存在し、これらのデー
タ間の関連が取れない状態になっていることが多い。
【0008】たとえば、顧客の口座を管理するシステム
において、一人の顧客が複数の口座種類を有している場
合がある。このような顧客に対して、従来のレガシーシ
ステムは、口座の種類に応じて複数の異なる情報システ
ムによってデータを処理していることがしばしばあっ
た。
において、一人の顧客が複数の口座種類を有している場
合がある。このような顧客に対して、従来のレガシーシ
ステムは、口座の種類に応じて複数の異なる情報システ
ムによってデータを処理していることがしばしばあっ
た。
【0009】この場合、個々の情報システムのデータが
相互に無関係に存在していた。
相互に無関係に存在していた。
【0010】上記状態のレガシーシステムでは実際には
データを活用できないため、データを利用しようとする
場合は、レガシーシステム(複数の情報システム)から
専用のドライバを経由し、あるいはファイル単位でデー
タを取得し、専用のプログラムによってデータを加工
し、新たに構築したデータベースにそれらデータをロー
ディングしていた。
データを活用できないため、データを利用しようとする
場合は、レガシーシステム(複数の情報システム)から
専用のドライバを経由し、あるいはファイル単位でデー
タを取得し、専用のプログラムによってデータを加工
し、新たに構築したデータベースにそれらデータをロー
ディングしていた。
【0011】上記レガシーシステムからデータベースを
構築する従来の方法について図2を用いて以下に説明す
る。
構築する従来の方法について図2を用いて以下に説明す
る。
【0012】図2は、既存のレガシーシステムから必要
なデータを取り出し、新たにデータベースを構築する方
法を概念的に示したものである。
なデータを取り出し、新たにデータベースを構築する方
法を概念的に示したものである。
【0013】図2に示すように、レガシーシステム10
は、複数の情報システムA,B,…を有しているものと
する。
は、複数の情報システムA,B,…を有しているものと
する。
【0014】一般にレガシーシステムは、データベース
を有するものと、単なるファイルシステム(たとえば商
品マスタファイルや在庫マスタファイルのようなものが
ある)で情報を蓄積するものとがある。
を有するものと、単なるファイルシステム(たとえば商
品マスタファイルや在庫マスタファイルのようなものが
ある)で情報を蓄積するものとがある。
【0015】データベースを有するものは、通常、その
データファイルは、データベース・ファイルという、そ
のデータベースマネジメントシステム(DBMS)にし
か読み取れないものとなっている。このデータベース・
ファイルを他の情報システムで利用するために、一般に
は特別なコマンドやツールにより、シリアル形式のファ
イルとしてメインフレーム等の記憶装置に出力される。
データファイルは、データベース・ファイルという、そ
のデータベースマネジメントシステム(DBMS)にし
か読み取れないものとなっている。このデータベース・
ファイルを他の情報システムで利用するために、一般に
は特別なコマンドやツールにより、シリアル形式のファ
イルとしてメインフレーム等の記憶装置に出力される。
【0016】一方、単なるファイルでデータを蓄積する
情報システムは、ファイルが元々シリアル形式であるの
で、そのままの形でメインフレーム等の記憶装置に格納
される。
情報システムは、ファイルが元々シリアル形式であるの
で、そのままの形でメインフレーム等の記憶装置に格納
される。
【0017】なお、図2は、データベースを有する情報
システムA,Bのみを示している。図2に示すように、
それらの情報システムA,B,…のデータベースファイ
ル(データファイルFAn,FBn)は、DBMSが直接管
理するファイル形式となっている(図2においてシステ
ム形式A,Bのファイル形式と示す)。
システムA,Bのみを示している。図2に示すように、
それらの情報システムA,B,…のデータベースファイ
ル(データファイルFAn,FBn)は、DBMSが直接管
理するファイル形式となっている(図2においてシステ
ム形式A,Bのファイル形式と示す)。
【0018】これら情報システムA,B,…のデータが
メインフレームの記憶装置に格納されるときは、他の情
報システムとのインターフェースをなすように、シリア
ル形式のデータとして格納される(ステップS20
0)。
メインフレームの記憶装置に格納されるときは、他の情
報システムとのインターフェースをなすように、シリア
ル形式のデータとして格納される(ステップS20
0)。
【0019】ここで、シリアル形式とは、各レコードが
そのまま一連の形で連続的に記憶された形式をいう。た
とえば、顧客のID、年令、住所、性別、…からなるデ
ータは、その属性や項目に関係なく、連続的に配列され
た形式で記憶される。
そのまま一連の形で連続的に記憶された形式をいう。た
とえば、顧客のID、年令、住所、性別、…からなるデ
ータは、その属性や項目に関係なく、連続的に配列され
た形式で記憶される。
【0020】従来、このようなシリアル形式のデータか
ら必要なデータを取り出して、新たにデータベースを構
築するには、専用のドライバあるいはデータローディン
グ用のプログラム11が必要であった。
ら必要なデータを取り出して、新たにデータベースを構
築するには、専用のドライバあるいはデータローディン
グ用のプログラム11が必要であった。
【0021】このデータローディング用のプログラム1
1は、シリアルに記録されたデータについて、1レコー
ドの長さ、各レコード中の所定の桁数に位置するデータ
の項目(ID、年令、…)、データの属性(文字、数
字)、等を定義し、シリアル形式のデータからデータベ
ース用のデータを抽出(RDB化)する機能を有してい
る。
1は、シリアルに記録されたデータについて、1レコー
ドの長さ、各レコード中の所定の桁数に位置するデータ
の項目(ID、年令、…)、データの属性(文字、数
字)、等を定義し、シリアル形式のデータからデータベ
ース用のデータを抽出(RDB化)する機能を有してい
る。
【0022】また、データローディング用のプログラム
11は、シリアル形式のデータから必要なデータを抽出
するときに、上述したような記述やフォーマットの不統
一も一定の統合化された記述とフォーマットに書き直し
て抽出する機能を有している。
11は、シリアル形式のデータから必要なデータを抽出
するときに、上述したような記述やフォーマットの不統
一も一定の統合化された記述とフォーマットに書き直し
て抽出する機能を有している。
【0023】先の例で言えば、性別を表わすデータは全
て“m”または“f”という記述に統合するなどであ
る。
て“m”または“f”という記述に統合するなどであ
る。
【0024】また、先の顧客の例で言えば、データロー
ディング用プログラム11は、同じ顧客に関する複数の
データから、その顧客の必要なデータを組み合わせて抽
出するようにしていた。
ディング用プログラム11は、同じ顧客に関する複数の
データから、その顧客の必要なデータを組み合わせて抽
出するようにしていた。
【0025】たとえば、図2に示すように、データファ
イルFAn,FBn,…のデータ、を組み合わせて新たに構
築するデータベース12の一データとしていた。
イルFAn,FBn,…のデータ、を組み合わせて新たに構
築するデータベース12の一データとしていた。
【0026】このように、データローディング用プログ
ラム11は、複数のデータファイルFAn,FBnから、上
記のようにして必要なデータを抽出し、加工し、これら
を組み合わせて新たなデータベース12を構築していた
(ステップS210)。
ラム11は、複数のデータファイルFAn,FBnから、上
記のようにして必要なデータを抽出し、加工し、これら
を組み合わせて新たなデータベース12を構築していた
(ステップS210)。
【0027】
【発明が解決しようとする課題】しかしながら、上記従
来のレガシーシステムからのデータローディング方法で
は、幾つかの不利・不便な点があった。
来のレガシーシステムからのデータローディング方法で
は、幾つかの不利・不便な点があった。
【0028】すなわち、従来の方法はSQL(Stru
ctured Query Language)を利用
できず、レガシーシステムのデータから使用できるデー
タベースを構築する度に、レコード長、データ項目(I
D、年令、…)、データ属性(文字、数字、…)等を定
義し、必要に応じて記述方法やフォーマットを、データ
ローディング用プログラムにより書き換えなければなら
なかった。
ctured Query Language)を利用
できず、レガシーシステムのデータから使用できるデー
タベースを構築する度に、レコード長、データ項目(I
D、年令、…)、データ属性(文字、数字、…)等を定
義し、必要に応じて記述方法やフォーマットを、データ
ローディング用プログラムにより書き換えなければなら
なかった。
【0029】上記処理を行うデータローディング用プロ
グラムの作成は、シリアル形式のデータの内容、構造、
関連まで熟知していなければならず、また、定義等する
対象のデータが大量にあるため、その作成作業は時間と
手間がかかるものであった。
グラムの作成は、シリアル形式のデータの内容、構造、
関連まで熟知していなければならず、また、定義等する
対象のデータが大量にあるため、その作成作業は時間と
手間がかかるものであった。
【0030】しかも、同様のデータ定義、データ加工を
行うデータローディング用プログラムであっても、新た
に構築するデータベースが異なれば、重複して用意しな
ければならなかった。
行うデータローディング用プログラムであっても、新た
に構築するデータベースが異なれば、重複して用意しな
ければならなかった。
【0031】このため、データローディング用プログラ
ムの作成は、一般に膨大な時間と手間がかかるものであ
った。
ムの作成は、一般に膨大な時間と手間がかかるものであ
った。
【0032】また、従来の方法は、レガシーシステムの
負荷の面からも好ましくなかった。
負荷の面からも好ましくなかった。
【0033】すなわち、レガシーシステムの同じデータ
ファイルを用いて複数のデータベースを構築する場合、
従来の方法では何回もレガシーシステムにアクセスする
ことになり、レガシーシステムの大きな負荷となってい
た。
ファイルを用いて複数のデータベースを構築する場合、
従来の方法では何回もレガシーシステムにアクセスする
ことになり、レガシーシステムの大きな負荷となってい
た。
【0034】さらに、従来の方法は、構築しようとする
データベースが生成される過程においても好ましくない
点があった。すなわち、上記図2の説明でも明らかなよ
うに、新たに構築しようとするデータベースの各データ
(表における1行からなるデータ)は、複数のレガシー
システムの情報システムのデータファイルFAn,FBn,
…のデータを組み合わたものからなる。従って、これら
の複数のレガシーシステムの情報システムのデータが揃
わなければ、データを取得できず、ローディング・プロ
グラムがエラーとなる。この場合、人間がデータ取得可
能のタイミングを予測し、ローディング・プログラムの
作動の再スケジューリングを行っていた。
データベースが生成される過程においても好ましくない
点があった。すなわち、上記図2の説明でも明らかなよ
うに、新たに構築しようとするデータベースの各データ
(表における1行からなるデータ)は、複数のレガシー
システムの情報システムのデータファイルFAn,FBn,
…のデータを組み合わたものからなる。従って、これら
の複数のレガシーシステムの情報システムのデータが揃
わなければ、データを取得できず、ローディング・プロ
グラムがエラーとなる。この場合、人間がデータ取得可
能のタイミングを予測し、ローディング・プログラムの
作動の再スケジューリングを行っていた。
【0035】ところが、上記情報システムのデータが揃
うタイミングは、情報システムによってまちまちである
ため、従来は上記ローディングプログラムの再スケジュ
ーリングを行うことがしばしばあった。このため、構築
しようとするデータベースへのデータローディングが遅
れたり、レガシーシステムへ余分な負荷をかけていた。
うタイミングは、情報システムによってまちまちである
ため、従来は上記ローディングプログラムの再スケジュ
ーリングを行うことがしばしばあった。このため、構築
しようとするデータベースへのデータローディングが遅
れたり、レガシーシステムへ余分な負荷をかけていた。
【0036】そこで、本願発明の解決しようとする課題
は、レガシーシステムの複数の情報システムから構築し
ようとするデータベースへ効率的に、かつ、自動的にデ
ータをローディングする装置及びその方法を提供するこ
とにある。
は、レガシーシステムの複数の情報システムから構築し
ようとするデータベースへ効率的に、かつ、自動的にデ
ータをローディングする装置及びその方法を提供するこ
とにある。
【0037】
【課題を解決するための手段】本願請求項1に係るレガ
シーシステムからのデータベース自動データローディン
グ装置は、構築しようとするデータベースを少なくとも
一つ有しているアプリケーションレイヤー部と、レガシ
ーシステムの複数の情報システムからデータを受け取
り、前記アプリケーションレイヤー部のデータベースに
ローディングするデータエントリーレイヤー部と、から
なり、前記データエントリーレイヤー部は、レガシーシ
ステムの複数の情報システムからデータファイルをもと
のデータ構造を保持した形で蓄積するファイルプール部
と、ローディング元データファイル、ローディング先デ
ータベース、ローディング対象のデータ、データローデ
ィング条件、データ加工方法を規定したルールを多数格
納するルールベースと、前記ルールベースのルールに従
い、前記ファイルプール部のデータファイルの蓄積状況
を監視し、前記アプリケーションレイヤー部の所定のデ
ータベースに必要なデータが揃った後に、それらのデー
タを当該データベースにローディングするコントローラ
と、を備えていることを特徴とするものである。
シーシステムからのデータベース自動データローディン
グ装置は、構築しようとするデータベースを少なくとも
一つ有しているアプリケーションレイヤー部と、レガシ
ーシステムの複数の情報システムからデータを受け取
り、前記アプリケーションレイヤー部のデータベースに
ローディングするデータエントリーレイヤー部と、から
なり、前記データエントリーレイヤー部は、レガシーシ
ステムの複数の情報システムからデータファイルをもと
のデータ構造を保持した形で蓄積するファイルプール部
と、ローディング元データファイル、ローディング先デ
ータベース、ローディング対象のデータ、データローデ
ィング条件、データ加工方法を規定したルールを多数格
納するルールベースと、前記ルールベースのルールに従
い、前記ファイルプール部のデータファイルの蓄積状況
を監視し、前記アプリケーションレイヤー部の所定のデ
ータベースに必要なデータが揃った後に、それらのデー
タを当該データベースにローディングするコントローラ
と、を備えていることを特徴とするものである。
【0038】本願請求項2に係るレガシーシステムから
のデータベース自動データローディング方法は、レガシ
ーシステムの複数の情報システムが生成したデータファ
イルをもとのデータ構造を保持した形で蓄積し、前記デ
ータファイルの蓄積状況を監視し、所定の構築しようと
するデータベースに必要なデータが揃った後に、それら
のデータを抽出し、当該データベースにローディングす
るようにしたことを特徴とするものである。
のデータベース自動データローディング方法は、レガシ
ーシステムの複数の情報システムが生成したデータファ
イルをもとのデータ構造を保持した形で蓄積し、前記デ
ータファイルの蓄積状況を監視し、所定の構築しようと
するデータベースに必要なデータが揃った後に、それら
のデータを抽出し、当該データベースにローディングす
るようにしたことを特徴とするものである。
【0039】本願請求項3に係る記憶媒体は、構築しよ
うとするデータベースを少なくとも一つ有しているアプ
リケーションレイヤー部と、レガシーシステムの複数の
情報システムからデータを受け取り、前記アプリケーシ
ョンレイヤー部のデータベースにローディングするデー
タエントリーレイヤー部とを構成し、前記データエント
リーレイヤー部に、レガシーシステムの複数の情報シス
テムからデータファイルをもとのデータ構造を保持した
形で蓄積するファイルプール部と、ローディング元デー
タファイル、ローディング先データベース、ローディン
グ対象のデータ、データローディング条件、データ加工
方法を規定したルールを多数格納するルールベースと、
前記ルールベースのルールに従い、前記ファイルプール
部のデータファイルの蓄積状況を監視し、前記アプリケ
ーションレイヤー部の所定のデータベースに必要なデー
タが揃った後に、それらのデータを当該データベースに
ローディングするコントローラと、を備えるようにコン
ピュータを制御するものである。
うとするデータベースを少なくとも一つ有しているアプ
リケーションレイヤー部と、レガシーシステムの複数の
情報システムからデータを受け取り、前記アプリケーシ
ョンレイヤー部のデータベースにローディングするデー
タエントリーレイヤー部とを構成し、前記データエント
リーレイヤー部に、レガシーシステムの複数の情報シス
テムからデータファイルをもとのデータ構造を保持した
形で蓄積するファイルプール部と、ローディング元デー
タファイル、ローディング先データベース、ローディン
グ対象のデータ、データローディング条件、データ加工
方法を規定したルールを多数格納するルールベースと、
前記ルールベースのルールに従い、前記ファイルプール
部のデータファイルの蓄積状況を監視し、前記アプリケ
ーションレイヤー部の所定のデータベースに必要なデー
タが揃った後に、それらのデータを当該データベースに
ローディングするコントローラと、を備えるようにコン
ピュータを制御するものである。
【0040】
【発明の実施の形態】次に本発明の実施の形態について
以下に説明する。図1は、本発明による「レガシーシス
テムからのデータベース自動データローディング装置」
の構成とその処理方法を概念的に示したブロック図であ
る。
以下に説明する。図1は、本発明による「レガシーシス
テムからのデータベース自動データローディング装置」
の構成とその処理方法を概念的に示したブロック図であ
る。
【0041】図1において、本発明によるデータベース
自動データローディング装置を1、レガシーシステムを
2、とする。ここで、レガシーシステム2は、既存のデ
ータの統合されていない種々の情報システムA,B,…
の集合体である。データベース自動データローディング
装置1は、レガシーシステム2から必要なデータを高効
率かつ自動的に抽出し、所定のデータベースにローディ
ングする本発明による装置である。
自動データローディング装置を1、レガシーシステムを
2、とする。ここで、レガシーシステム2は、既存のデ
ータの統合されていない種々の情報システムA,B,…
の集合体である。データベース自動データローディング
装置1は、レガシーシステム2から必要なデータを高効
率かつ自動的に抽出し、所定のデータベースにローディ
ングする本発明による装置である。
【0042】なお、データベース自動データローディン
グ装置1及びレガシーシステム2は、専用の装置であっ
てもよいが、通常は所定のプログラムによって制御され
たオフコン、ワークステーション、パーソナルコンピュ
ータ等である。
グ装置1及びレガシーシステム2は、専用の装置であっ
てもよいが、通常は所定のプログラムによって制御され
たオフコン、ワークステーション、パーソナルコンピュ
ータ等である。
【0043】データベース自動データローディング装置
1は、データエントリーレイヤー部3と、アプリケーシ
ョンレイヤー部4とからなる。アプリケーションレイヤ
ー部4は、構築しようとするデータベース5を含む手段
であって、複数のデータベースを保持し、それらへデー
タローディングできるように構成されている。上記デー
タベース5は、データウェアハウス、データマート、オ
ペレーショナルデータストアである。
1は、データエントリーレイヤー部3と、アプリケーシ
ョンレイヤー部4とからなる。アプリケーションレイヤ
ー部4は、構築しようとするデータベース5を含む手段
であって、複数のデータベースを保持し、それらへデー
タローディングできるように構成されている。上記デー
タベース5は、データウェアハウス、データマート、オ
ペレーショナルデータストアである。
【0044】ここで、「データウェアハウス」とは、基
幹システムが管理するデータを統合し、エンドユーザー
が自由に分析・加工できるように、共通のデータ形式に
変換して一元管理したデータベースをいう。「データマ
ート」とは、ユーザーの用途別に基幹システムのデータ
を統合化したデータベースをいう。「オペレーショナル
データストア」とは、データウェアハウスが過去のデー
タも有するのに対して、現在のデータのみを含む一元管
理されたデータベースをいう。
幹システムが管理するデータを統合し、エンドユーザー
が自由に分析・加工できるように、共通のデータ形式に
変換して一元管理したデータベースをいう。「データマ
ート」とは、ユーザーの用途別に基幹システムのデータ
を統合化したデータベースをいう。「オペレーショナル
データストア」とは、データウェアハウスが過去のデー
タも有するのに対して、現在のデータのみを含む一元管
理されたデータベースをいう。
【0045】データエントリーレイヤー部3は、上記ア
プリケーションレイヤー部4のデータベース5にデータ
をローディングする手段である。このデータエントリー
レイヤー部3は、レガシーシステム2のデータを受け取
り、一時的に蓄積し、タイミングを調節した上で、それ
らのデータを所定のデータベース5へローディングする
機能を有している。
プリケーションレイヤー部4のデータベース5にデータ
をローディングする手段である。このデータエントリー
レイヤー部3は、レガシーシステム2のデータを受け取
り、一時的に蓄積し、タイミングを調節した上で、それ
らのデータを所定のデータベース5へローディングする
機能を有している。
【0046】上記機能を実現するために、データエント
リーレイヤー部3は、さらにファイルプール部6と、コ
ントローラ7と、ルールベース8と、からなる。
リーレイヤー部3は、さらにファイルプール部6と、コ
ントローラ7と、ルールベース8と、からなる。
【0047】ファイルプール部6は、レガシーシステム
2の情報システムA,B,…から、それらのデータファ
イルFAn,FBn,…を、そのもとのデータ構造を保持し
た形で、受け取って一時的に蓄積しておく手段である。
2の情報システムA,B,…から、それらのデータファ
イルFAn,FBn,…を、そのもとのデータ構造を保持し
た形で、受け取って一時的に蓄積しておく手段である。
【0048】ここで、「データ構造を保持した形で蓄積
する」とは、データベースを有する情報システムの場合
は、その情報システムのコマンドやツールを使用してそ
の情報システムのDBMSが管理するデータベース・フ
ァイルを一旦シリアル形式のデータファイルとして出力
し、これをデータベース自動データローディング装置1
側のローダーにより、データベース自動データローディ
ング装置1側のDBMSが管理するデータベース・ファ
イルとして、もとのデータベースのデータ構造のまま蓄
積することをいう。
する」とは、データベースを有する情報システムの場合
は、その情報システムのコマンドやツールを使用してそ
の情報システムのDBMSが管理するデータベース・フ
ァイルを一旦シリアル形式のデータファイルとして出力
し、これをデータベース自動データローディング装置1
側のローダーにより、データベース自動データローディ
ング装置1側のDBMSが管理するデータベース・ファ
イルとして、もとのデータベースのデータ構造のまま蓄
積することをいう。
【0049】また、「データ構造を保持した形で蓄積す
る」は、通常のシリアル形式のファイルを蓄積する場合
を含み、この場合はデータベース自動データローディン
グ装置1のローダーにより、シリアル形式のファイルを
もとのシリアル形式のデータ構造のまま蓄積する。
る」は、通常のシリアル形式のファイルを蓄積する場合
を含み、この場合はデータベース自動データローディン
グ装置1のローダーにより、シリアル形式のファイルを
もとのシリアル形式のデータ構造のまま蓄積する。
【0050】なお、図1においては、データベースを有
する情報システムA,Bのみを示しており、情報システ
ムA,BのデータファイルFAn,FBnは、もとのデータ
ベースのデータ構造のままファイルプール部6に蓄積さ
れる。
する情報システムA,Bのみを示しており、情報システ
ムA,BのデータファイルFAn,FBnは、もとのデータ
ベースのデータ構造のままファイルプール部6に蓄積さ
れる。
【0051】以下の説明では、シリアル形式のファイル
については容易に推察できるので、データベースを有す
る情報システムA,Bのみについて説明する。
については容易に推察できるので、データベースを有す
る情報システムA,Bのみについて説明する。
【0052】コントローラ7は、ファイルプール部6の
データファイルFAn,FBn,…の蓄積状況を監視し、所
定のタイミングで必要なデータを抽出し、それらを組み
合わせてアプリケーションレイヤー部4のデータベース
5にローディングする手段である。
データファイルFAn,FBn,…の蓄積状況を監視し、所
定のタイミングで必要なデータを抽出し、それらを組み
合わせてアプリケーションレイヤー部4のデータベース
5にローディングする手段である。
【0053】ルールベース8は、コントローラ7の作動
の条件、すなわち、ローディング元データファイルFA
n,FBn,…と、ローディング先のデータベース5と、
ローディングするデータ、ローディングするタイミング
(データローディング条件)、ローディングする際の加
工方法(統合化等)、等を規定しているデータベースで
ある。なお、このルールベース8は、必要に応じて設定
を変更することができる。
の条件、すなわち、ローディング元データファイルFA
n,FBn,…と、ローディング先のデータベース5と、
ローディングするデータ、ローディングするタイミング
(データローディング条件)、ローディングする際の加
工方法(統合化等)、等を規定しているデータベースで
ある。なお、このルールベース8は、必要に応じて設定
を変更することができる。
【0054】次に、以上の構成からなるデータベース自
動データローディング装置1による処理の流れについて
図1を用いて以下に説明する。
動データローディング装置1による処理の流れについて
図1を用いて以下に説明する。
【0055】レガシーシステム2の情報システムA,B
は、日々の企業活動等の中で情報を収集し、データファ
イルFAn,FBn,…の形で管理している(ステップS1
00)。これらデータファイルFAn,FBn,…は、シス
テムにより異なる時点で生成される。
は、日々の企業活動等の中で情報を収集し、データファ
イルFAn,FBn,…の形で管理している(ステップS1
00)。これらデータファイルFAn,FBn,…は、シス
テムにより異なる時点で生成される。
【0056】データベース自動データローディング装置
1のデータエントリーレイヤー部3は、上記データファ
イルFAn,FBn,…をそれぞれが生成された時点で、そ
のファイル構造のまま、すなわち、データベースの構造
のまま、ファイルプール部6へローディングし、蓄積す
る(ステップS110)。
1のデータエントリーレイヤー部3は、上記データファ
イルFAn,FBn,…をそれぞれが生成された時点で、そ
のファイル構造のまま、すなわち、データベースの構造
のまま、ファイルプール部6へローディングし、蓄積す
る(ステップS110)。
【0057】上記ファイルプール部6へのデータファイ
ルローディングは、情報システムA,BのDBMSに付
属するローディングツール、ファイル転送の手段、デー
タベース自動データローディング装置1のDBMSに付
属するローディングツールにより行なう。これらツール
の利用により、ローディングを簡単に行うことができ
る。
ルローディングは、情報システムA,BのDBMSに付
属するローディングツール、ファイル転送の手段、デー
タベース自動データローディング装置1のDBMSに付
属するローディングツールにより行なう。これらツール
の利用により、ローディングを簡単に行うことができ
る。
【0058】上記ファイルプール部6に対して、コント
ローラ7は、データファイルの蓄積状況を常時監視する
(ステップS120)。ファイルプール部6に所定デー
タベース5に必要なデータファイルFAn,FBn,…が蓄
積されたときは、コントローラ7は、それらのデータフ
ァイルFAn,FBn,…から所定のデータを抽出し、それ
らのデータの形式や記述方法を変換し、それらデータを
組み合わせてアプリケーションレイヤー部4の所定のデ
ータベース5へ自動的にローディングする(ステップS
130)。
ローラ7は、データファイルの蓄積状況を常時監視する
(ステップS120)。ファイルプール部6に所定デー
タベース5に必要なデータファイルFAn,FBn,…が蓄
積されたときは、コントローラ7は、それらのデータフ
ァイルFAn,FBn,…から所定のデータを抽出し、それ
らのデータの形式や記述方法を変換し、それらデータを
組み合わせてアプリケーションレイヤー部4の所定のデ
ータベース5へ自動的にローディングする(ステップS
130)。
【0059】なお、このように、どのデータファイルF
An,FBn,…のデータが揃ったら、どのデータをどのよ
うに加工して組み合わせ、どのデータベース5にローデ
ィングするかのルールは、ルールベース8に格納されて
いる。コントローラ7は、ルールベース8を参照し、そ
れらのルールに従って上述したように自動的にデータベ
ース5にデータをローディングする。
An,FBn,…のデータが揃ったら、どのデータをどのよ
うに加工して組み合わせ、どのデータベース5にローデ
ィングするかのルールは、ルールベース8に格納されて
いる。コントローラ7は、ルールベース8を参照し、そ
れらのルールに従って上述したように自動的にデータベ
ース5にデータをローディングする。
【0060】なお、コントローラ7がデータベース5に
データローディングするときは、データファイルFAn,
FBn,…がデータベースの構造を有しているので、SQ
L(Structured Query Langua
ge)を使用することができる。
データローディングするときは、データファイルFAn,
FBn,…がデータベースの構造を有しているので、SQ
L(Structured Query Langua
ge)を使用することができる。
【0061】次に、本実施形態のデータベース自動デー
タローディング装置1の作用・効果について以下に説明
する。
タローディング装置1の作用・効果について以下に説明
する。
【0062】本実施形態のデータベース自動データロー
ディング装置1によれば、レガシーシステム2の情報シ
ステムA,BがそれぞれのデータファイルFAn,FBn,
…を生成すると、それらのデータファイルFAn,FBn,
…を、データベースの構造のまま一旦ファイルプール部
6に蓄積する。
ディング装置1によれば、レガシーシステム2の情報シ
ステムA,BがそれぞれのデータファイルFAn,FBn,
…を生成すると、それらのデータファイルFAn,FBn,
…を、データベースの構造のまま一旦ファイルプール部
6に蓄積する。
【0063】このファイルプール部6に所定のデータフ
ァイルFAn,FBn,…が揃うと、コントローラ7は自動
的にそれらのデータを抽出し、加工し、さらに組み合わ
せてアプリケーションレイヤー部4の所定のデータベー
ス5にローディングする。
ァイルFAn,FBn,…が揃うと、コントローラ7は自動
的にそれらのデータを抽出し、加工し、さらに組み合わ
せてアプリケーションレイヤー部4の所定のデータベー
ス5にローディングする。
【0064】従って、生成時点が異なるデータを含むデ
ータベース5についても、データが揃った最も早い時点
で一回のアクセスとローディング処理によって効率的に
データローディングをすることができる。
ータベース5についても、データが揃った最も早い時点
で一回のアクセスとローディング処理によって効率的に
データローディングをすることができる。
【0065】また、アプリケーションレイヤー部4に複
数のデータベース5を有する場合には、それらデータベ
ース5にデータローディングするプログラムを個々に用
意することなく、単一のコントローラ7により、データ
の蓄積状況に応じて順不同に異なるデータベース5にデ
ータローディングすることができる。
数のデータベース5を有する場合には、それらデータベ
ース5にデータローディングするプログラムを個々に用
意することなく、単一のコントローラ7により、データ
の蓄積状況に応じて順不同に異なるデータベース5にデ
ータローディングすることができる。
【0066】これにより、従来構築するデータベースご
とにデータローディング用のプログラムを用意していた
無駄を省くことができる。
とにデータローディング用のプログラムを用意していた
無駄を省くことができる。
【0067】さらに、上記ファイルプール部6のデータ
蓄積状況の確認や、ファイルプール部6からのデータロ
ーディングは、レガシーシステム2以外のデータエント
リーレイヤー部3内部で行うので、ファイルアクセスに
よってレガシーシステム2に本来の処理以外の余分な負
荷をかけることがない。
蓄積状況の確認や、ファイルプール部6からのデータロ
ーディングは、レガシーシステム2以外のデータエント
リーレイヤー部3内部で行うので、ファイルアクセスに
よってレガシーシステム2に本来の処理以外の余分な負
荷をかけることがない。
【0068】また、ファイルプール部6において、デー
タファイルFAn,FBn,…はデータベースの形のまま取
り扱われるので、データベース用にすでに開発されてい
る簡便なローディングツールやSQLを使用でき、デー
タ構造を定義する煩雑なプログラムの作成を避けること
ができる。
タファイルFAn,FBn,…はデータベースの形のまま取
り扱われるので、データベース用にすでに開発されてい
る簡便なローディングツールやSQLを使用でき、デー
タ構造を定義する煩雑なプログラムの作成を避けること
ができる。
【0069】
【発明の効果】本発明のレガシーシステムからのデータ
ベース自動データローディング装置及びその方法は、フ
ァイルプール部により、レガシーシステムの情報システ
ムのデータファイルを、もとのデータ構造を保持した形
で蓄積する。次に、コントローラにより、所定のデータ
ファイルが揃うと、自動的にそれらのデータを抽出、加
工、組合せして所定のデータベースにそれらデータをロ
ーディングする。
ベース自動データローディング装置及びその方法は、フ
ァイルプール部により、レガシーシステムの情報システ
ムのデータファイルを、もとのデータ構造を保持した形
で蓄積する。次に、コントローラにより、所定のデータ
ファイルが揃うと、自動的にそれらのデータを抽出、加
工、組合せして所定のデータベースにそれらデータをロ
ーディングする。
【0070】従って、この装置と方法によれば、生成時
点がまちまちのデータについて、データが揃った時点で
最も早い時点で一回のアクセスとローディング処理によ
って効率的に、かつ、自動的に所定のデータベースにデ
ータローディングをすることができる。
点がまちまちのデータについて、データが揃った時点で
最も早い時点で一回のアクセスとローディング処理によ
って効率的に、かつ、自動的に所定のデータベースにデ
ータローディングをすることができる。
【0071】また、複数のデータベースを構築しようと
する場合には、従来の方法のようにデータベースごとに
データローディング用プログラムを用意することなく、
単一のコントローラにより、データの蓄積状況に応じて
順不同に異なるデータベースにデータローディングをす
ることができる。
する場合には、従来の方法のようにデータベースごとに
データローディング用プログラムを用意することなく、
単一のコントローラにより、データの蓄積状況に応じて
順不同に異なるデータベースにデータローディングをす
ることができる。
【0072】さらに、データ蓄積状況の確認や、データ
ローディングは、レガシーシステム以外のデータエント
リーレイヤー部で行うので、レガシーシステムに余分な
負荷をかけることがない。
ローディングは、レガシーシステム以外のデータエント
リーレイヤー部で行うので、レガシーシステムに余分な
負荷をかけることがない。
【0073】また、本発明においてレガシーシステムの
データファイルは、もとのデータ構造を保持したまま取
り扱われるので、データベース形式のファイルについて
は、DBMS用にすでに開発されている簡便なローディ
ングツールを使用でき、SQLを使用することにより、
煩雑なプログラムの作成を避けることができる。
データファイルは、もとのデータ構造を保持したまま取
り扱われるので、データベース形式のファイルについて
は、DBMS用にすでに開発されている簡便なローディ
ングツールを使用でき、SQLを使用することにより、
煩雑なプログラムの作成を避けることができる。
【図1】本発明による「レガシーシステムからのデータ
ベース自動データローディング装置」の構成と、その処
理の方法を示したブロック図。
ベース自動データローディング装置」の構成と、その処
理の方法を示したブロック図。
【図2】従来の「レガシーシステムからのデータローデ
ィング方法」の処理の流れを示したブロック図。
ィング方法」の処理の流れを示したブロック図。
1 自動データローディング装置 2 レガシーシステム 3 データエントリーレイヤー部 4 アプリケーションレイヤー部 5 データベース 6 ファイルプール部 7 コントローラ 8 ルールベース A 情報システム B 情報システム
Claims (3)
- 【請求項1】構築しようとするデータベースを少なくと
も一つ有しているアプリケーションレイヤー部と、レガ
シーシステムの複数の情報システムからデータを受け取
り、前記アプリケーションレイヤー部のデータベースに
ローディングするデータエントリーレイヤー部と、から
なり、 前記データエントリーレイヤー部は、 レガシーシステムの複数の情報システムからデータファ
イルをもとのデータ構造を保持した形で蓄積するファイ
ルプール部と、 ローディング元データファイル、ローディング先データ
ベース、ローディング対象のデータ、データローディン
グ条件、データ加工方法を規定したルールを多数格納す
るルールベースと、 前記ルールベースのルールに従い、前記ファイルプール
部のデータファイルの蓄積状況を監視し、前記アプリケ
ーションレイヤー部の所定のデータベースに必要なデー
タが揃った後に、それらのデータを当該データベースに
ローディングするコントローラと、を備えていることを
特徴とするレガシーシステムからのデータベース自動デ
ータローディング装置。 - 【請求項2】レガシーシステムの複数の情報システムが
生成したデータファイルをもとのデータ構造を保持した
形で蓄積し、 前記データファイルの蓄積状況を監視し、所定の構築し
ようとするデータベースに必要なデータが揃った後に、
それらのデータを抽出し、当該データベースにローディ
ングするようにしたことを特徴とするレガシーシステム
からのデータベース自動データローディング方法。 - 【請求項3】構築しようとするデータベースを少なくと
も一つ有しているアプリケーションレイヤー部と、レガ
シーシステムの複数の情報システムからデータを受け取
り、前記アプリケーションレイヤー部のデータベースに
ローディングするデータエントリーレイヤー部とを構成
し、 前記データエントリーレイヤー部に、 レガシーシステムの複数の情報システムからデータファ
イルをもとのデータ構造を保持した形で蓄積するファイ
ルプール部と、 ローディング元データファイル、ローディング先データ
ベース、ローディング対象のデータ、データローディン
グ条件、データ加工方法を規定したルールを多数格納す
るルールベースと、 前記ルールベースのルールに従い、前記ファイルプール
部のデータファイルの蓄積状況を監視し、前記アプリケ
ーションレイヤー部の所定のデータベースに必要なデー
タが揃った後に、それらのデータを当該データベースに
ローディングするコントローラと、を備えるようにコン
ピュータを制御するプログラムを記憶した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8282519A JPH10124374A (ja) | 1996-10-24 | 1996-10-24 | レガシーシステムからのデータベース自動データローディング装置及びその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8282519A JPH10124374A (ja) | 1996-10-24 | 1996-10-24 | レガシーシステムからのデータベース自動データローディング装置及びその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10124374A true JPH10124374A (ja) | 1998-05-15 |
Family
ID=17653514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8282519A Pending JPH10124374A (ja) | 1996-10-24 | 1996-10-24 | レガシーシステムからのデータベース自動データローディング装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10124374A (ja) |
-
1996
- 1996-10-24 JP JP8282519A patent/JPH10124374A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3448068B2 (ja) | データ処理システムおよびストレージ管理方法 | |
US20240020295A1 (en) | Incremental refresh of a materialized view | |
US8799229B2 (en) | Searchable archive | |
EP1610235B1 (en) | A data processing system and method | |
US5781911A (en) | Integrated system and method of data warehousing and delivery | |
CN1601541B (zh) | 用于自维护的实时数据聚集的方法和数据处理装置 | |
JP2001357062A (ja) | データベース検索方法及びデータベース検索システム並びにデータベース検索プログラムを記録した記録媒体 | |
US5185887A (en) | Database generation management method and system | |
US20010049694A1 (en) | Data warehouse programs architecture | |
CN101405728B (zh) | 具有动态加载能力的关系数据库架构 | |
JPH08180072A (ja) | データベースシステムおよびその情報活用支援装置 | |
CN110096509A (zh) | 大数据环境下实现历史数据拉链表存储建模处理的系统及方法 | |
CN111708895B (zh) | 一种知识图谱系统的构建方法及装置 | |
TW520476B (en) | System and method for retrieving data from a database using a data management system | |
JPH10222409A (ja) | 分散データ管理システム | |
JP5771476B2 (ja) | データ管理システム及びデータ管理方法 | |
JPH10124374A (ja) | レガシーシステムからのデータベース自動データローディング装置及びその方法 | |
US20030140194A1 (en) | Data management system and computer program | |
US20130006921A1 (en) | Method For Transferring Data into Database Systems | |
US20020120636A1 (en) | Data management system, data management method and computer program | |
JPH10254979A (ja) | データ処理システム及びデータベース設計システム | |
JPH11328280A (ja) | プロセスルールを定義し実行するワークフローシステム | |
JP4501040B2 (ja) | 得意先マスター汎用データ受入プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3082083B2 (ja) | カスタマイズ可能なテーブル作成方法 | |
EP1503298B1 (en) | Method and computer system for archiving data objects |