JP5117355B2 - データ集計処理方法及びシステム - Google Patents

Description

本発明は、データ集計処理方法及びシステムに係り、特に、各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集し、各業務システムで異なる意味付けを持つデータを、集計した集計結果を生成するデータ集計処理方法及びシステムに関する。

企業内における各種の業務システムからの集計情報を、企業全体として一元的に集計した集計結果を作成する従来技術として、集計対象データが生成される各業務システムから、集計に必要な全データを特定の期限までに取込んだ後、一括してフォーマット修正を行い、各業務システム間でのデータの関連付けのための統合ＩＤを付与し、集計のためのデータ加工プロセスをバッチ実行するという技術が知られている。

この従来技術は、表示することだけのためにバッチ実行処理により集計データを作成しているものであるため、作成された集計データが各業務システムからみて最新のデータが反映されたものか否かを、ユーザが知ることができないという問題点を有している。

また、この従来技術は、各業務システムから提供されるデータが、そのデータを作成する個別の業務システムで最適化されたタイミングで作成されたものであるため、各業務システムからの集計情報データの収集のタイミングを１つに決めることができず、全ての業務システムで見た場合、システム間の時間的な整合性を確保できないまま全体の集計情報を生成していた。

このため、この従来技術は、集計結果と各業務システムのデータとにおける情報鮮度に差が生じ、企業活動でのタイムリーかつ的確な業務判断に支障を与えてしまうという問題点を生じさせている。

また、本発明に関連する従来技術として、例えば、特許文献１等に記載された技術が知られている。この従来技術は、集計データを加工する際に、その加工が他のデータ加工プロセスへの影響を及ぼすことになるかどうかをチェックし、影響を及ぼすことになる場合に、データ加工プロセスを作成する者に警告を発するというものである。

しかし、この従来技術は、集計データを加工するプロセスとプロセスが実行された時間とを結び付けて、必要とする任意の時点で、最新の情報を利用者に提供することができるものとはなっていないという問題点を有している。
特開２００１−３３１３５４号公報

前述した従来技術は、データ加工処理のバッチ実行時間の短縮を図ることができるものであるが、バッチ処理が実行可能となるタイミングが、集計対象となる全業務システムの全ての必要なデータがそろうタイミングでなければならなず、そのため、利用者から要求される任意のタイミングでタイムリーに最新のデータが反映された集計データを提供することができないという問題点を有している。

本発明の目的は、各業務システムにおいて新規情報が追加された場合にも、その追加された新規情報を全業務システムからのデータの集計データの中に反映させることができるデータ集計処理方法及びシステムを提供することにある。

本発明の他の目的は、バッチ処理によるデーの集計では隠蔽されてしまうデータの変更経緯やプラス・マイナスの情報をも提示することができるデータ集計処理方法及びシステムを提供することにある。

本発明によれば前記目的は、
各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集及び集計するデータ集計処理方法において、
前記本部集計システムは、プロセッサ、メモリ、データベースを含む情報処理装置の中に構築され、前記メモリ内には、前記プロセッサがプログラムを実行することにより構成されるデータ加工バッチ処理の処理内容の解析を行う適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセスメタデータを使用してデータの加工を行う適宜データ加工プロセス実行手段と、適宜データ加工プロセスメタデータを使用して差分情報を作成する更新情報作成手段とを備え、システムで定めた任意の時点での集計情報を収集及び集計するものであり、
前記適宜データ加工プロセスメタデータ生成手段は、前記データベースからデータ加工プロセスメタデータを取得し、登録されている情報についてデータ加工バッチ処理の処理内容の解析を行い、取得した情報のデータ加工処理に、集計、ソート、一時保管の適宜処理を行うことができない処理を含み、中間データの作成を必要とする処理が存在するか否かを判定し、中間データの作成を必要とする処理が存在した場合、前記適宜処理を行うことができない処理の１つを特定し、その処理までを１つのデータ加工処理プロセスとして情報を切り出して分割し、切り出した情報を、データベースの適宜データ加工プロセスメタデータとして格納し、集計、ソート、一時保管の中間結果の保管のための結果格納テーブル情報の生成を行い、中間テーブルの関連情報を登録すると共に、分割後の残りのデータ加工プロセスメタデータに、集計、ソート、一次保管の中間データの作成を必要とする処理が存在するか否かを再度判定し、中間データの作成を必要とする処理が存在した場合、前記中間テーブルの関連情報を登録するまでの処理を繰り返し、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、
前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納して管理し、その際、前記業務システムのそれぞれから差分更新情報が提供されるタイミングで、適宜データ加工プロセスメタデータを利用し、前記差分更新情報を即時にデータ加工すると共に、データ加工結果を、前記蓄積されている適宜データ加工プロセスメタデータに反映させ、
前記更新情報作成手段は、前記各業務システムのそれぞれから送信されてきた差分情報を読み込み、その差分情報がそのまま差分データとしてデータ加工処理することができる形式のものか否かを判定し、そのままデータ加工処理することができる単位時間の差分更新情報であった場合、その差分データの情報をそのまま利用し、取得した差分データがそのままではデータ加工処理することができないデータベースのログ情報であった場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータであった場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセス実行手段が利用できる最適な状態へのデータ整形を行うことにより達成される。

本発明によれば、集計データの作成のタイミングと各業務システムで提供する差分更新情報を作成するタイミングに時間差異が発生する場合にも、全体をまとめた整合性のある最新情報をいつでも提供可能とすることができる。

以下、本発明によるデータ集計処理方法及びシステムの実施形態を図面により詳細に説明する。

図１は本発明の一実施形態によるデータ集計処理システムの構成を示すブロック図である。

本発明の一実施形態によるデータ集計処理システムは、集計対象となる業務データを生成する複数の業務システム１０１と、複数の業務システム１０１のそれぞれからの全ての業務データを収集した後バッチ処理により集計情報を生成する本部集計システム１０２とがネットワークを介して接続されて構成されている。

業務システム１０１及び本部集計システム１０２は、それぞれ、通信インタフェース１０３、プロセッサ１０４、ディスクインタフェース１０５、データベース１０６を有するディスク装置、メモリ１０７を備える情報処理装置の中に構築され、メモリ１０７内には、後述するようにディスク装置からロードされ、プロセッサ１０４によって実行されることにより、その機能を実現する複数のプログラムが格納されている。

前述において、複数の業務システム１０１のそれぞれは、業務システム１０１のディスク装置内に、業務データの変更・更新情報を格納した業務テーブル２０１を有するデータベース１０６を備えている。このデータベース１０６は、ディスクインタフェース１０５を介してプロセッサ１０４の制御の下に各機能部からアクセスされる。

また、各業務システム１０１は、メモリ１０７内に当該システムにおける業務の処理を行う業務プログラム３０１と、この業務プログラム３０１により生成され、業務テーブル２０１に格納された業務データの変更・更新情報を取得する差分読出部３０２と、本部集計システム１０２の集計情報テーブル２０２や適宜集計情報テーブル２０３のデータを参照するための情報参照プログラム３１５との各機能部を有している。

また、各業務システム１０１は、通信インタフェース１０３を介して、本部集計システム１０２に差分読出部３０２が読み出した業務データの変更・更新情報の差分情報を送信し、また、本部業務システム１０２内の各種の情報を参照することができる。

本部集計システム１０２は、本部集計システム１０２のディスク装置内にデータベース１０６を備えており、このデータベース１０６は、集計情報テーブル２０２、適宜集計情報テーブル２０３、推移情報テーブル２０４、ランキング情報テーブル２０５、マスタテーブル２０６、データ加工プロセスメタデータ２０７、適宜データ加工プロセスメタデータ２０８を保持している。

また、本部集計システム１０２は、メモリ１０７内に本発明でのデータ集計処理を行うために、更新情報作成部３０４と、データクレンジング（名寄せ）部３０６と、情報公開部３０７と、適宜データ加工プロセスメタデータ生成部３０８と、適宜データ加工プロセス実行部３０９と、データ加工プロセス実行部３１０と、推移情報管理部３１１と、ランキング情報管理部３１２と、適宜集計情報管理部３１３と、集計情報管理部３１４との各機能部を有している。

前述した本部集計システム１０２において、適宜データ加工プロセスメタデータ生成部３０８は、データ加工プロセスメタデータ２０７を取得し、取得したデータ加工バッチ処理の処理内容を解析し、適宜実行できる単位にデータ加工プロセスメタデータ２０７を分割・再編成し、適宜データ加工プロセスメタデータ２０８としてデータベース１０６に格納する。この適宜データ加工プロセスメタデータ２０８は、本部集計システム１０２が、各業務システム１０１からの差分業務データ取得し、その差分業務データを使用して適宜データ加工プロセスを実行するため使用される。

更新情報作成部３０４は、業務システム１０１から通信インタフェース１０３を介し送信されてくる業務データの差分情報を受信し、差分情報のデータ加工を行う。すなわち、更新情報生成部３０４は、業務システム１０１から送られてくる差分情報の形式が集計ファイルであったり、ストリームデータであったり、レプリケーション情報となるデータベースのログデータであっても、それらの形式に合わせてデータを受取る手段を有する。この手段は、例えば、そのままデータ加工プロセスが実行できないログデータである場合、差分情報を、データ加工することができるレコード形式に整形する等、データ形式により必要に応じて差分情報をデータ加工することができるレコード形式に整形する手段である。そして、更新情報生成部３０４は、内部処理可能な統一されたレコード形式に整形された差分情報の形にして、その差分情報をデータクレンジング部（名寄せ）部３０６に引き渡す。

データクレンジング（名寄せ）部３０６は、更新情報生成部３０４から渡された差分情報を、調査・分析する。すなわち、データクレンジング（名寄せ）部３０６は、差分情報が、例えば、顧客名であれば、役職、所属、敬称等を切出し、苗字・名前に分ける標準化処理を行い、住所であれば、市町村名しかない場合等に都道府県名を補完したり、霞が関・霞ヶ関といった表記のゆらぎを補正する正規化処理等のデータクレンジング処理を行う。そして、データクレンジング（名寄せ）部３０６は、データベース１０６に格納されているマスタテーブル２０６内の例えば顧客マスタデータと標準化された差分情報の各要素とについてマッチング処理を行い、重複度のスコアを算出し、スコアに応じて重複レコードの特定を行い、スコアの最も高い情報の顧客ＩＤを差分情報に付与する名寄せ処理を行う。また、データクレンジング（名寄せ）部３０６は、名寄せを行った差分情報とマスタテーブル２０６のマスタデータとに重複がない場合、該当する差分情報が新規顧客情報であると判断して仮ＩＤを発行する。仮ＩＤが発行された場合、マスタテーブル２０６に仮ＩＤの情報が登録され、顧客情報が追加される。

適宜データ加工プロセス実行部３０９は、データクレンジングされ、ＩＤが付与された差分情報に対して、予め事前に生成されている適宜データ加工プロセスメタデータ２０８を使用してデータ加工プロセスを実行する。すなわち、適宜データ加工プロセス実行部３０９は、スケジューリングされた適宜データ加工プロセス実行指示により、適宜データ加工を行い、適宜集計情報を生成する。生成された適宜集計情報は、適宜集計情報管理部３１３によりデータベース１０６の適宜集計情報テーブル２０３に管理・格納される。

推移情報管理部３１１、ランキング情報管理部３１２は、適宜集計情報テーブル２０３内の適宜集計情報を利用して、推移情報やランキング情報を、推移情報テーブル２０４、ランキング情報テーブル２０５に管理・格納する。

データベース１０６に格納されている集計情報テーブル２０２、適宜集計情報テーブル２０３、推移情報テーブル２０４、ランキング情報テーブル２０５の内容は、情報公開部３０７により、通信インタフェース１０３を介して、各業務システム１０１に公開される。情報公開部３０７により公開される情報についての画面例は、図１６に示すようなものとなるが、これについては後述する。

図２は従来技術によるデータ集計処理システムの構成を示すブロック図であり、ここで、本発明の実施形態によるデータ集計処理システムと従来技術によるデータ集計システムとの相違を明確にして、本発明の理解を助けるために従来技術の構成について説明する。

図２に示しているように、従来技術によるデータ集計システムも、図１に示した本発明の実施形態によるデータ集計処理システムと同様に、集計対象となる業務データを生成する複数の業務システム１０１と、複数の業務システム１０１のそれぞれからの全ての業務データを収集した後バッチ処理により集計情報を生成する本部集計システム１０２とがネットワークを介して接続されて構成されている。

図２に示す業務システム１０１及び本部集計システム１０２は、それぞれ、前述で説明した本発明の実施形態の場合と同様に、通信インタフェース１０３、プロセッサ１０４、ディスクインタフェース１０５、データベース１０６を有するディスク装置、メモリ１０７を備える情報処理装置の中に構築され、メモリ１０７内には、後述するようにディスク装置からロードされ、プロセッサによって実行されることにより、その機能を実現する複数のプログラムが格納されている。

図２に示す複数の業務システム１０１のそれぞれは、業務システム１０１のディスク装置内に、業務データの変更・更新情報を格納した業務テーブル２０１を有するデータベース１０６を備えている。このデータベース１０６は、ディスクインタフェース１０５を介してプロセッサ１０４の制御の下に各機能部からアクセスされる。

また、図２に示す各業務システム１０１は、メモリ１０７内に当該システムにおける業務の処理を行う業務プログラム３０１と、通信インタフェース１０３を介して本部集計システム１０２の集計情報テーブル２０２のデータを参照するための情報参照プログラム３１５との各機能部を有している。

そして、図２に示す複数の業務システム１０１のそれぞれは、業務システム１０１毎に決められた運用で稼動しており、図１により説明した本発明の実施形態の場合のように、業務システム１０１内の業務プログラム３０１が実行されることにより、業務テーブル２０１に対して発生する差分情報を適宜取得する手段を持たないため、業務システム１０１毎の締めにより差分集計結果がまとめられる期日まで、本部集計システム１０２との間での情報の授受を行わない。

図１０は各業務システム１０１で生成される業務データを格納した業務テーブル２０１の構成例を示す図である。

各業務システム１０１での締めのタイミングは、各業務システム１０１で異なる。例えば、図１０（ａ）に示す業務システムＡの業務テーブル５５１の情報は毎日１２：００に、図１０（ｂ）に示す業務システムＢの業務テーブル５５２の情報は毎日１７：００に、図１０（ｃ）に示す業務システムＣの業務テーブル５５３の情報は毎日２３：００に締められるものとする。そして、これらのテーブルの情報は、締められた後に本部集計システム１０２に送信される。この場合、図２に示す従来技術における本部集計システム１０２は、各業務システム１０１の締めの差異を吸収するため、全ての業務システム１０１での締めの集計結果が出揃うのを待たなければならないことになる。すなわち、図１０に示す例の場合、従来技術による本部集計システム１０２は、図１０（ｃ）に示す業務システムＣの業務テーブル５５３の情報が業務システム１０１から送られる２３：００以降に、業務システムＡ〜Ｃの締めの集計結果を一括して、データクレンジング（名寄せ）部３０６によりデータクレンジングを行い、マスタテーブル２０６の情報との名寄せ処理を行う。そして、登録されているデータ加工プロセスメタデータ２０７を使用して、データ加工プロセス実行部３１０にデータ加工処理を実行させ、実行結果を集計情報管理部３１４により、集計情報テーブル２０２へ管理・格納する。

なお、図１０に示す業務テーブル２０１の構成例は、従来技術の場合のものとして説明したが、後述する本発明の実施形態における業務テーブル２０１も、同様な構成を有している。

図１２は従来技術の場合におけるデータベース１０６の集計情報テーブル２０２の構成例を示す図であり、集計情報テーブルに格納された集計情報のデータ５７０の例を示している。

従来技術におけるデータベース１０６の集計情報テーブル２０２に格納されたデータは、各業務システムから収集されたデータを、データ加工プロセスにより加工・編集した業務上の価値を持つデータある。そして、このデータの内容は、例えば、図１２に示すように、需要先、販売店、ハード売上、サービス売上、ソリューション売上の各項目についての情報であり、これらの情報は、情報公開部３０７により、通信インタフェース１０３を介して各業務システム１０１の情報参照部３１５により参照可能となる。この場合、情報参照部３１５で参照することができる情報は、図１０で説明したように、業務システムＣにおいて情報の更新が行われる２３：００以降に処理される次回のバッチ実行の情報が出揃うまでは更新されないため、図１０で説明したように、業務システムＡの業務テーブル５５１は１２：００に更新されているにもかかわらず、２３：００以降に本部集計システム１０２での処理が完了するまでは、前回の実行結果しか参照することができない。

なお、前述の集計情報テーブル２０２のデータは、データ加工プロセスの実行前に作成され、データ加工プロセスがバッチ実行される毎に更新される。

本発明は、前述したような従来技術での課題を解決することを目的とするものであり、そのため本発明の実施形態での本部集計システム１０２は、複数の業務システム１０１のそれぞれにおいて、所定の条件が整って、その業務システム１０１の差分読み出し部３０２から業務データの差分情報が提供されたときに、提供された業務データの差分データを使用して、その時点での全業務システムのデータの集計を行うデータ加工を行う更新情報の作成を開始することとしている。このような全業務システムのデータの集計を行う時点は、ランダムに発生することになり、本発明の説明においては、このランダムな時点で動作する機能部及びその機能部が動作した結果として得られるデータ（テーブル）に「適宜」という語を付加し、全ての業務システムでの締めの集計結果を一括してバッチ処理により集計する動作を行う機能部及びその機能部が動作した結果として得られるデータとを区別している。

前述において、更新情報の作成を開始するトリガとなる所定の条件とは、複数の業務システム１０１のそれぞれにおいて、（イ）予め設定された量（レコード数）の業務データの変更が行われた場合、（ロ）予め設定された時間（時間間隔）が経過した場合、（ハ）予め設定された他の業務システムから更新情報の提供通知が合った場合（関連システム間での同期を取る場合）、（ニ）予め設定された閾値（警告値）を超過する業務データの変更が発生した場合、（ホ）従来の集計情報バッチ処理を実行するために設定された締めの期日（日時）となった場合等である。

次に、図１に示して説明した本発明の実施形態における本部集計システム１０２の各機能部での処理動作について説明するが、まず、データベース１６０に格納されている各種テーブルの構成例について説明する。

図８はデータベース１０６に登録されているデータ加工プロセスメタデータ２０７の構成例を示す図である。

データ加工プロセスメタデータ２０７は、従来技術においても、また、本発明の実施形態においても利用されるデータであり、データ加工バッチ処理のソース（入力）データ情報、ターゲット（出力）データ情報、及び、入出力間のデータ加工・編集情報を定められた情報フォーマットとした情報である。このデータ加工プロセスメタデータ２０７は、例えば、図８に示すように、プロセスメタデータ番号５０６と、プロセスメタデータ名５０７と、システム名、ＤＢまたはファイルを含むソースデータ５０８と、データ名、データ件数、レコード長、変換仕様、周期を含むデータ加工処理５１２と、システム名、ＤＢまたはファイルを含むターゲットデータ５１０とによるレコードの複数を備えて構成されている。そして、このデータ加工プロセスメタデータ２０７は、データ加工プロセスのデザイン作成（開発）時に作成され、デザイン変更時（通常、更新されない）に更新される。

図９はデータベース１０６に登録されている適宜データ加工プロセスメタデータ２０８の構成例を示す図である。

適宜データ加工プロセスメタデータ２０８は、適宜データ加工処理のため、データ加工プロセスメタデータから生成された適宜実行のためのプロセスメタデータの情報を有するデータであり、図８に示したデータ加工プロセスメタデータ２０７と同一のプロセスメタデータ番号５０６と、このメタデータ番号５０６の分割番号５１１と、プロセスメタデータ名５０７と、システム名、ＤＢまたはファイルを含むソースデータ５０８と、データ名、データ件数、レコード長、変換仕様、周期を含むデータ加工処理５１２と、システム名、ＤＢまたはファイルを含むターゲットデータ５１０とによるレコードの複数を備えて構成されている。そして、この適宜データ加工プロセスメタデータ２０８は、適宜データ加工プロセスメタデータ生成部が、適宜データ加工プロセスメタデータを生成するときに作成され、デザイン変更時（通常、更新されない）に更新される。

図１１はデータベース１０６に格納されているマスタテーブル２０６の構成例を示す図である。

マスタテーブル２０６に格納されるマスタレコードのデータは、従来技術においても、また、本発明の実施形態においても利用されるデータであり、既に表記の補正が完了した唯一のデータである。このマスタレコードのデータは、顧客マスタや商品マスタ等のコード統一により異なる情報間の紐付けを行うことができる情報であり、図１１に示す例の場合、顧客マスタとして、顧客名、所在地住所、代表者、連絡先の顧客データに顧客ＩＤ５６１を付与したレコードの複数から構成されている。そして、このマスタレコードのデータは、システム構築時のデータ加工プロセス実行前に作成され、マスタのメンテナンス時に更新される。但し、新規ＩＤの追加は、いつでも行うことができる。

図１３はデータベース１０６に格納されている適宜集計情報テーブル２０３の構成例を示す図であり、適宜集計情報テーブルに格納された適宜集計情報のデータ５８０の例を示している。

適宜集計情報のデータ５８０は、各業務システムから適宜提供されたデータを、適宜データ加工プロセスにより加工・編集した業務上の価値を持つ中間集計状態のデータ（情報）であり、図１２に示して説明した従来技術における集計情報５７０と同様に、需要先、販売店、ハード売上、サービス売上、ソリューション売上の各項目についての情報を持つ各レコードに、最新の更新時間が追加されて構成されている。そして、この適宜集計情報のデータ５８０は、適宜データ加工プロセス実行前に事前作成され、適宜データ加工プロセス実行毎に更新される。

図１４はデータベース１０６に格納されている推移情報テーブル２０４の構成例を示す図であり、推移情報テーブル２０４に格納された推移情報のデータ５９０の例を示している。

図１４に示す推移情報のデータ５９０は、適宜集計情報テーブルとして作成されるデータ（情報）の変更履歴データ（情報）であって、推移情報管理部３１１が適宜集計情報テーブル２０３内の適宜集計情報を利用して生成するものであり、需要先、販売店、ハード売上、サービス売上、ソリューション売上、更新時間の各項目を有するレコードの複数から構成されている。この推移情報のデータ５９０は、適宜データ加工プロセス実行前に事前作成され、適宜データ加工プロセス実行毎に更新される。

図１５はデータベース１０６に格納されているランキング情報テーブル２０５の構成例を示す図であり、ランキング情報テーブル２０５に格納されたランキング情報のデータ６００の例を示している。

図１５に示すランキング情報のデータ６００は、適宜集計情報テーブルとして作成されるデータ（情報）の上位・下位情報情報等のランキングデータ（情報）であって、ランキング情報管理部３１２が適宜集計情報テーブル２０３内の適宜集計情報を利用して生成するものであり、項目、評価、昇降順、ＴＯＰ１、ＴＯＰ１値、ＴＯＰ２、ＴＯＰ２値、ＴＯＰ３、ＴＯＰ３値、更新時間の各項目を有するレコードの複数から構成されている。このランキング情報のデータ６００は、適宜データ加工プロセス実行前に事前作成され、適宜データ加工プロセス実行毎に更新される。

図１４、図１５に示して説明した推移情報テーブル２０４に格納された推移情報のデータ５９０、ランキング情報テーブル２０５に格納されたランキング情報のデータ６００は、集計情報テーブル２０２や適宜集計情報テーブル２０３の内容と同様に、情報公開部３０７により、通信インタフェース１０３を介して各業務システム１０１に公開される。

図１６は各テーブルの内容を公開している画面の構成例を示す図である。図１６に示すように、各テーブルのデータは、グラフ化されたり、あるいは、そのままテーブルの形式で、各業務システム１０１が備える図示しない表示装置に表示されて公開される。

図３は適宜データ加工プロセスメタデータ生成部３０８での処理動作を説明するフローチャートであり、次に、これについて説明する。なお、ここで説明する処理は、事前に予め行なっておく処理である。

（１）適宜データ加工プロセスメタデータ生成部３０８は、処理を開始すると、図８に示すデータ加工プロセスメタデータ２０７をデータベース１０６から取得し、登録されているソースデータ５０８、ターゲットデータ５１０の情報、データ加工処理５１２の情報等についてデータ加工バッチ処理の処理内容の解析を行う（ステップＰ３０１、Ｐ３０２）。

（２）次に、適宜データ加工プロセスメタデータ生成部３０８は、取得したデータ加工プロセスメタデータ２０７のデータ加工処理５１２に、例えば、集計（特定項目でのグループ化や最大／最小／標準偏差／カウント／平均等を求める処理）、ソート（特定項目に対して、昇順／降順でのならべかえる処理）、一時保管（メモリ中に中間状態として保持し、全件処理終了後に付合せ時の参照データ等として再利用する処理）等、適宜処理を行うことができない処理を含み、中間データの作成を必要とする処理が存在するか否かを判定する（ステップＰ３１１）。

（３）ステップＰ３１１の判定で、中間データの作成を必要とする処理が存在した場合、その処理（集計、ソート、一時保管の処理の１つ）を特定し、その処理までを１つのデータ加工処理プロセスとして情報を切り出して分割する（ステップＰ３０３、Ｐ３０４）。

（４）そして、切り出した情報を、図９に示している適宜データ加工プロセスメタデータ２０８の例のように、元のプロセスメタデータ番号５０６に分割番号５１１を付与してデータベース１０６の適宜データ加工プロセスメタデータ２０８として格納する（ステップＰ３０５）。

（５）次に、適宜データ加工プロセスメタデータ生成部３０８は、分割した際の、ターゲットデータ５１０の情報から、データベース１０６に対して集計、ソート、一時保管の中間結果の保管のための結果格納テーブル情報の生成を行い、分割番号５１１を付与した適宜データ加工プロセスメタデータ２０８に中間テーブルの関連情報を登録する（ステップＰ３０６、Ｐ３０７）。

（６）その後、適宜データ加工プロセスメタデータ生成部３０８は、分割後の残りのデータ加工プロセスメタデータにおいて、集計、ソート、一次保管等の中間データの作成を必要とする処理が存在するか否かを再度判定し、中間データの作成を必要とする処理が存在した場合、ステップＰ３０３からの処理に戻って処理を繰り返す（ステップＰ３０８）。

（７）ステップＰ３１１、Ｐ３０８の判定で、集計、ソート、一次保管等の中間データの作成を必要とする処理が存在しなかった場合、そのデータ加工プロセスメタデータに分割番号５１１を付与し、データベース１０６の適宜データ加工プロセスメタデータ２０８として格納して、ここでの処理を終了する（ステップＰ３０９）。

図７は図３に示すフローにより前述で説明したデータ加工プロセスの概念を説明する図である。

図３に示すフローのステップＰ３１１の判定で、加工プロセスが図７（ａ）に示すように集計・蓄積等を含まないデータ加工プロセス５０１であった場合、適宜データ加工プロセスメタデータ生成部３０８は、そのまま分割番号５１１に“１”を付与し、適宜データ加工プロセスメタデータ２０８としてデータベース１０６に格納する。

また、図３に示すフローのステップＰ３１１の判定で、加工プロセスが図７（ｂ）に示すように集計・蓄積等を含むデータ加工プロセス５０２であった場合、この加工プロセスは、Σの支店集計処理５０４による集計処理を含むため、適宜データ加工プロセスメタデータ生成部３０８は、前のデータ加工プロセス５０３を１つの適宜データ加工プロセスメタデータとして分割番号５１１に“１”を付与し、Σの支店集計処理５０４以降のデータ加工プロセスの分割番号５１１に継続する“２”を付与し、それらを適宜データ加工プロセスメタデータ２０８としてデータベース１０６に格納する。

図４は更新情報作成部３０４での処理動作を説明するフローチャートであり、次に、これについて説明する。ここで説明する処理は、更新情報作成部３０４が適宜データ加工プロセスメタデータ２０８を使ってデータ加工処理を行うための差分情報を作成する処理であり、前述で説明したように、複数の業務システム１０１のそれぞれにおいて、（イ）予め設定された量（レコード数）の業務データの変更、例えば、業務テーブル２０１への一定量のレコードの追加が行われた場合、（ロ）予め設定された時間（時間間隔）が経過した場合、（ハ）予め設定された他の業務システムから更新情報の提供通知が合った場合（関連システム間での同期を取る場合）、（ニ）予め設定された閾値（警告値）を超過する業務データの変更が発生した場合、（ホ）従来の集計情報バッチ処理を実行するために設定された締めの期日（日時）となった場合等をトリガとして開始される。

（１）更新情報作成部３０４は、通信インタフェース１０３を介して本部集計システム１０２に送られてきた差分情報を読み込み、その差分データがそのまま差分データとしてデータ加工処理することができる形式のものか否かを判定し、そのままデータ加工処理することができる形式であった場合、その差分データをそのままデータクレンジング（名寄せ）部３０６に渡す（ステップＰ４０１、Ｐ４０２）。

（２）ステップＰ４０２の判定で、取得した差分データがそのままではデータ加工処理することができない形式であった場合、そのデータ形式を確認し、そのデータが例えば、そのままデータ加工プロセスを実行することができないログデータであった場合、ＤＢＭＳのロジックを使いデータ加工処理を行うことができるレコード形式に再整形し、再整形したデータを、データクレンジング部（名寄せ）部３０６に差分情報として渡す（ステップＰ４０３）。

前述したステップＰ４０３の処理は、具体的には、各業務システムのそれぞれから提供される差分更新情報が、単位時間の差分更新情報である場合、その情報を複数のレコード単位で利用し、データベースのログ情報である場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータの場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセスで利用できる最適な状態へのデータ整形を行う処理である。

図５はデータクレンジング（名寄せ）部３０６での処理動作を説明するフローチャートであり、次に、これについて説明する。ここで説明する処理は、データクレンジング（名寄せ）部３０６が更新情報作成部３０４から渡されたデータのクレンジングを行い、クレンジングしたデータとマスタテーブルのデータとのマッチングを行いＩＤを付与する処理である。

（１）データクレンジング（名寄せ）部３０６は、更新情報作成部３０４から渡された差分情報を読み込み、差分情報のデータ要素の調査・分析を行い、調査・分析を行った結果により、データの要素毎の切出しを行い標準化する。例えば、図１０に示して説明し業務テーブルの例として示している業務システムＡの業務テーブル５５１の需要先５５４では、需要先情報を読み込んで分析し、“（株）”が株式会社を示す法人格であること、“ＡＢＣ”が会社名であることを意味付ける。その意味付けに従って、要素としての切出しで需要先５５４を法人格と名称との２つとしてそれぞれ切り出し、前（株）、後（株）、Ｃｏ等の情報の全てを“株式会社”として標準化する（ステップＰ５０１、Ｐ５０２）。

（２）次に、標準化されたデータに関してデータの補正の要否を判定し、例えば“霞ヶ関”、“霞が関”等の表記のゆらぎ、一部情報の欠落、住所等の誤りがあった場合、データ補正、例えば、国土地理院等の住所情報を利用して、住所情報を正規化する補正等を行って表記を統一する（ステップＰ５０３、Ｐ５０４）。

（３）ステップＰ５０４の処理の後、あるいは、ステップＰ５０３の判定でデータの補正が不要であった場合、データの意味付け、表記が統一されたデータについて、データベース１０６に保持されている前述で説明したマスタテーブル２０６の情報とマッチング処理を行い、各要素のマッチ度合により、グループ情報や、マッチング・スコアを付与する。マッチング・スコアとしては、例えば、情報要素の一致率を用い、最大１００の値が付与される（ステップＰ５０５）。

（４）データクレンジング（名寄せ）部３０６は、その後、付与したグループ情報や、マッチング・スコアとマッチングのための閾値とを比較し、マスタテーブル２０６に同一の情報があるか否かを判定する（ステップＰ５０６）。

（５）ステップＰ５０６の判定で、マスタテーブル２０６に閾値を超えるグループ情報や、マッチング・スコアとなるマスタデータが存在していた場合、マスタテーブル２０６に同一情報があると判断し、例えば、顧客ＩＤ５６１をデータクレンジングされた差分情報に付与して、ここでの処理を終了する（ステップＰ５０７）。

（６）ステップＰ５０６の判定で、閾値を超えるグループ情報や、マッチング・スコアとなるマスタデータが存在しなかった場合、新規のＩＤを採番し、データクレンジングされた差分情報に、今後の集計に利用する統一コードとして新規ＩＤを付与し、マスタテーブル２０６に新規ＩＤとその差分情報とを登録し、また、低い値のマッチング・スコアを付与して、ここでの処理を終了する（ステップＰ５０８〜Ｐ５１０）。

前述において、ステップＰ５０９の処理で新規にＩＤが付与された差分情報は、適宜データ加工プロセス実行部３０９に渡され、データ加工処理が行われる。

図６は適宜データ加工プロセス実行部３０９での処理動作を説明するフローチャートであり、次に、これについて説明する。ここで説明する処理は、適宜データ加工プロセス実行部３０９が適宜データ加工プロセスメタデータ２０８を使用して実行するデータの加工処理である。

（１）適宜データ加工プロセス実行部３０９は、差分情報がデータクレンジング（名寄せ）部３０６から渡されると、図９に示して説明したデータベース１０６に格納されている適宜データ加工プロセスメタデータ２０８の情報からデータ加工処理に必要となるプロセスメタデータの分割番号５１１のプロセスメタデータ番号が“１”の情報を読み出す（ステップＰ６０１）。

（２）次に、クレンジングされている差分情報に対して該当する適宜データ加工プロセスを実行し、図示しない中間テーブルを利用して集計し、その実行結果を適宜集計情報テーブル２０３に格納する（ステップＰ６０２）。

（３）適宜データ加工プロセス実行部３０９は、分割番号５１１のプロセスメタデータ番号“１”の適宜データ加工プロセスの実行が完了したとき、同一のプロセスメタデータ番号５０６で継続する分割番号５１１が存在するか否かを判断して継続処理か必要か否かを判定し、継続する適宜データ加工プロセスが存在する場合、情報を読み出すステップＰ６０１からの処理に戻って処理を繰返し、継続処理がなかった場合、ここでの処理を終了する（ステップＰ６０３）。

前述した本発明の実施形態での各処理は、プログラムにより構成し、本発明が備えるＣＰＵに実行させることができ、また、それらのプログラムは、ＦＤ、ＣＤＲＯＭ、ＤＶＤ等の記録媒体に格納して提供することができ、また、ネットワークを介してディジタル情報により提供することができる。

前述で説明したように、本発明の実施形態は、バッチ処理の対象となるデータが揃うタイミングを待つことなくデータ加工プロセスを実行することができるようにするため、既存のバッチ処理のデータ加工プロセスメタデータからデータ加工プロセスを取得し、データ加工プロセスを解読し、集約処理やソート処理等、一時的に全対象データを蓄積する必要がある処理を含むかどうかを判断し、
該当処理を含まないデータ加工プロセスメタデータについてはそのまま適宜データ加工プロセスメタデータとして再利用可能と判断し、適宜データ加工プロセスメタデータとして格納し、
該当処理を含むメタデータについては該当処理を行う単位で切り分けを行い、当該処理間のデータ加工処理を適宜データ加工プロセスメタデータとして格納すると同時に、適宜データ加工プロセスを実行した際に得られる中間データを、中間テーブルとしてプレ集計情報格納部に保存するため、中間テーブルを作成する定義情報（ＳＱＬ文）を生成すると共に中間テーブルを作成し、各適宜データ加工プロセスメタデータと中間テーブル定義の情報の関連を適宜データ加工プロセス実行部が処理できる形で格納するようにしている。

また、本発明の実施形態は、前述において、集計対象となるデータが揃うまで待つことなく、各業務システムでの更新情報を差分更新情報として受付けて更新データを生成し、データクレンジング部においてデータのクレンジングを行うと共に、コピーされたマスタ情報と突合せ（名寄せ）を行い、マスタデータに突合せできる情報がない新規情報については仮ＩＤを発行している。

また、本発明の実施形態は、仮ＩＤの付与された新規情報を含む全ての差分更新情報に対して、受付けた情報単位に、格納されている各適宜データ加工プロセスメタデータを使用して適宜データ加工処理を行っている。そして、適宜データ加工処理が行われた結果は、事前に作成された中間テーブルに適宜集計情報として、適宜反映されると共に、推移情報やランキング情報が退避格納される。また、格納された適宜集計情報や推移情報、ランキング情報は、情報公開部を介して、要求があった時点での最新の状態、推移、ランキングの情報として提供することができる。また、本発明によれば、ＩＴにより情報活用にむけた仕掛けを提供する上で、複数のデータソースからの情報の整合性、信頼性を高めることが可能となり企業の競合力向上に寄与する。

本発明の一実施形態によるデータ集計処理システムの構成を示すブロック図である。 従来技術によるデータ集計処理システムの構成を示すブロック図である。 適宜データ加工プロセスメタデータ生成部での処理動作を説明するフローチャートである。 更新情報作成部での処理動作を説明するフローチャートである。 データクレンジング（名寄せ）部での処理動作を説明するフローチャートである。 適宜データ加工プロセス実行部での処理動作を説明するフローチャートである。 図３に示すフローにより前述で説明したデータ加工プロセスの概念を説明する図である。 データベースに登録されているデータ加工プロセスメタデータの構成例を示す図である。 データベースに登録されている適宜データ加工プロセスメタデータの構成例を示す図である。 各業務システムで生成される業務データを格納した業務テーブルの構成例を示す図である。 データベースに格納されているマスタテーブルの構成例を示す図である。 従来技術の場合におけるデータベースの集計情報テーブルの構成例を示す図である。 データベースに格納されている適宜集計情報テーブルの構成例を示す図である。 データベースに格納されている推移情報テーブルの構成例を示す図である。 データベースに格納されているランキング情報テーブルの構成例を示す図である。 各テーブルの内容を公開している画面の構成例を示す図である。

符号の説明

１０１ 各業務システム
１０２ 本部集計システム
１０３ 通信インタフェース
１０４ プロセッサ
１０５ ディスクインターフェース
１０６ データベース
１０７ メモリ
２０１ 業務テーブル
２０２ 集計情報テーブル
２０３ 適宜集計情報テーブル
２０４ 推移情報テーブル
２０５ ランキング情報テーブル
２０６ マスタテーブル
２０７ データ加工プロセスメタデータ
２０８ 適宜データ加工プロセスメタデータ
３０１ 業務プログラム
３０２ 差分読出部
３０４ 更新情報作成部
３０６ データクレンジング（名寄せ）部
３０７ 情報公開部
３０８ 適宜データ加工プロセスメタデータ生成部
３０９ 適宜データ加工プロセス実行部
３１０ データ加工プロセス実行部
３１１ 推移情報管理部
３１２ ランキング情報管理部
３１３ 適宜集計情報管理部
３１４ 集計情報管理部

Claims (6)

1. 各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集及び集計するデータ集計処理方法において、
   前記本部集計システムは、プロセッサ、メモリ、データベースを含む情報処理装置の中に構築され、前記メモリ内には、前記プロセッサがプログラムを実行することにより構成されるデータ加工バッチ処理の処理内容の解析を行う適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセスメタデータを使用してデータの加工を行う適宜データ加工プロセス実行手段と、適宜データ加工プロセスメタデータを使用して差分情報を作成する更新情報作成手段とを備え、システムで定めた任意の時点での集計情報を収集及び集計するものであり、
   前記適宜データ加工プロセスメタデータ生成手段は、前記データベースからデータ加工プロセスメタデータを取得し、登録されている情報についてデータ加工バッチ処理の処理内容の解析を行い、取得した情報のデータ加工処理に、集計、ソート、一時保管の適宜処理を行うことができない処理を含み、中間データの作成を必要とする処理が存在するか否かを判定し、中間データの作成を必要とする処理が存在した場合、前記適宜処理を行うことができない処理の１つを特定し、その処理までを１つのデータ加工処理プロセスとして情報を切り出して分割し、切り出した情報を、データベースの適宜データ加工プロセスメタデータとして格納し、集計、ソート、一時保管の中間結果の保管のための結果格納テーブル情報の生成を行い、中間テーブルの関連情報を登録すると共に、分割後の残りのデータ加工プロセスメタデータに、集計、ソート、一次保管の中間データの作成を必要とする処理が存在するか否かを再度判定し、中間データの作成を必要とする処理が存在した場合、前記中間テーブルの関連情報を登録するまでの処理を繰り返し、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、
   前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納して管理し、その際、前記業務システムのそれぞれから差分更新情報が提供されるタイミングで、適宜データ加工プロセスメタデータを利用し、前記差分更新情報を即時にデータ加工すると共に、データ加工結果を、前記蓄積されている適宜データ加工プロセスメタデータに反映させ、
   前記更新情報作成手段は、前記各業務システムのそれぞれから送信されてきた差分情報を読み込み、その差分情報がそのまま差分データとしてデータ加工処理することができる形式のものか否かを判定し、そのままデータ加工処理することができる単位時間の差分更新情報であった場合、その差分データの情報をそのまま利用し、取得した差分データがそのままではデータ加工処理することができないデータベースのログ情報であった場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータであった場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセス実行手段が利用できる最適な状態へのデータ整形を行うことを特徴とするデータ集計処理方法。
2. 請求項１記載のデータ集計処理方法において、前記本部集計システムは、データクレンジング（名寄せ）手段を備え、該データクレンジング手段は、前記更新情報作成手段から渡された差分情報のデータ要素の調査・分析を行い、調査・分析を行った結果により、データの要素毎の切出しを行い標準化し、標準化されたデータに関してデータの補正の要否を判定し、データに表記のゆらぎ、情報の欠落、誤りがあり補正が要であった場合に補正を行い、データの意味付け、表記が統一されたデータについて、データベースに保持されているマスタテーブルの情報とマッチング処理を行い、各要素のマッチ度合により、グループ情報や、マッチング・スコアを付与し、その後、付与したグループ情報や、マッチング・スコアとマッチングのための閾値とを比較し、前記マスタテーブルに同一の情報があるか否かを判定し、マスタテーブルに閾値を超えるグループ情報や、マッチング・スコアとなるマスタデータが存在していた場合、マスタテーブルに同一情報があると判断し、ＩＤをデータクレンジングされた差分情報に付与することにより、前記業務システムのそれぞれから提供される差分更新情報を、差分更新情報の単位で、マスタデータを複写したマスタデータコピーと適宜名寄せ処理を行い、ＩＤや他の情報の不備・不整合の確認・補正を行うことを特徴とするデータ集計処理方法。
3. 請求項２記載のデータ集計処理方法において、前記マスタテーブルに同一の情報があるか否かの判定で、閾値を超えるグループ情報や、マッチング・スコアとなるマスタデータが存在しなかった場合、新規のＩＤを採番し、データクレンジングされた差分情報に、今後の集計に利用する統一コードとして新規ＩＤを付与し、マスタテーブルに新規ＩＤとその差分情報とを登録しすることを特徴とするデータ集計処理方法。
4. 企業内における各種の業務システムのそれぞれの定められた期間の集計情報を、本部集計システムで定めた期限までに収集・集計するデータ集計処理システムにおいて、
   前記本部集計システムは、プロセッサ、メモリ、データベースを含む情報処理装置の中に構築され、前記メモリ内には、前記プロセッサがプログラムを実行することにより構成されるデータ加工バッチ処理の処理内容の解析を行う適宜データ加工プロセスメタデータ生成手段と、適宜データ加工プロセスメタデータを使用してデータの加工を行う適宜データ加工プロセス実行手段と、適宜データ加工プロセスメタデータを使用して差分情報を作成する更新情報作成手段とを備え、システムで定めた任意の時点での集計情報を収集及び集計するものであり、
   前記適宜データ加工プロセスメタデータ生成手段は、前記データベースからデータ加工プロセスメタデータを取得し、登録されている情報についてデータ加工バッチ処理の処理内容の解析を行い、取得した情報のデータ加工処理に、集計、ソート、一時保管の適宜処理を行うことができない処理を含み、中間データの作成を必要とする処理が存在するか否かを判定し、中間データの作成を必要とする処理が存在した場合、前記適宜処理を行うことができない処理の１つを特定し、その処理までを１つのデータ加工処理プロセスとして情報を切り出して分割し、切り出した情報を、データベースの適宜データ加工プロセスメタデータとして格納し、集計、ソート、一時保管の中間結果の保管のための結果格納テーブル情報の生成を行い、中間テーブルの関連情報を登録すると共に、分割後の残りのデータ加工プロセスメタデータに、集計、ソート、一次保管の中間データの作成を必要とする処理が存在するか否かを再度判定し、中間データの作成を必要とする処理が存在した場合、前記中間テーブルの関連情報を登録するまでの処理を繰り返し、既存のデータ加工プロセスを解析して適宜実行できる単位のデータ加工プロセスに再編成し、
   前記適宜データ加工プロセス実行手段は、前記業務システムから前記更新情報作成手段が取得した差分更新情報に対して適宜実行した集計情報を適宜データ加工プロセスメタデータとして格納して管理し、その際、前記業務システムのそれぞれから差分更新情報が提供されるタイミングで、適宜データ加工プロセスメタデータを利用し、前記差分更新情報を即時にデータ加工すると共に、データ加工結果を、前記蓄積されている適宜データ加工プロセスメタデータに反映させ、
   前記更新情報作成手段は、前記各業務システムのそれぞれから送信されてきた差分情報を読み込み、その差分情報がそのまま差分データとしてデータ加工処理することができる形式のものか否かを判定し、そのままデータ加工処理することができる単位時間の差分更新情報であった場合、その差分データの情報をそのまま利用し、取得した差分データがそのままではデータ加工処理することができないデータベースのログ情報であった場合、ログ情報から差分更新情報を再生成してレコード単位で利用し、ストリームデータであった場合、その情報をレコード単位に利用し、提供される差分更新情報の種別により、差分更新情報を取得した後の適宜データ加工プロセス実行手段が利用できる最適な状態へのデータ整形を行うことを特徴とするデータ集計処理システム。
5. 請求項４記載のデータ集計処理システムにおいて、前記本部集計システムは、適宜集計情報の状態を定期的に退避、蓄積する推移情報格納管理手段を備えることを特徴とするデータ集計処理システム。
6. 請求項５記載のデータ集計処理システムにおいて、前記本部集計システムは、前記推移情報格納管理手段により管理されている適宜集計情報のランキング情報を作成・蓄積するランキング情報格納管理手段を備えることを特徴とするデータ収集処理システム。

Images