JP6097660B2 - 入力データ集約処理装置及びシステム及び方法 - Google Patents

入力データ集約処理装置及びシステム及び方法 Download PDF

Info

Publication number
JP6097660B2
JP6097660B2 JP2013182070A JP2013182070A JP6097660B2 JP 6097660 B2 JP6097660 B2 JP 6097660B2 JP 2013182070 A JP2013182070 A JP 2013182070A JP 2013182070 A JP2013182070 A JP 2013182070A JP 6097660 B2 JP6097660 B2 JP 6097660B2
Authority
JP
Japan
Prior art keywords
processing
condition
data
input data
aggregation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013182070A
Other languages
English (en)
Other versions
JP2015049780A (ja
Inventor
知也 藤原
知也 藤原
辰彦 宮田
辰彦 宮田
潤 吉原
潤 吉原
芳樹 松浦
芳樹 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013182070A priority Critical patent/JP6097660B2/ja
Priority to US14/322,360 priority patent/US20150067303A1/en
Publication of JP2015049780A publication Critical patent/JP2015049780A/ja
Application granted granted Critical
Publication of JP6097660B2 publication Critical patent/JP6097660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Software Systems (AREA)

Description

本発明は、入力データ集約処理装置及びシステム及び方法に係り、特に、一連の入力データの集約及び出力処理を実行するための入力データ集約処理装置及びシステム及び方法に関する。
複数の入力データに対し、特定のルールのもとに一連のデータを変換・分割・集約することは、さまざまなビジネスシーンにおいて必要となるであろう。このようなシーンで複数の形式・構造の異なるデータを収集し、変換・分割・集約などのデータ再構築を行い、後続が求める形式・構造でデータ出力を行う技術が検討されている。
本技術分野の背景技術として、特許文献1が挙げられる。
特許文献1には、通信事業者のサービスをユーザが利用した際に、通信の利用情報をニア・リアルタイムに取得し課金処理を行うために、セッションの利用情報ソースから受け取る1セッションあたりの利用情報レコードを、セッションの途中経過に逐次対応した部分利用情報レコードとして生成し出力することを特徴とする技術が記載されている。
特開2002−335351号公報 特許第4131908号公報
上述のような方法を用いた場合に、本来関連する開始と終了の情報を持つ一連のデータが別々に入力部に到着するようなケースにおいては、それらを独立して保持・蓄積するために情報の再利用性が低くなる場合があり、また、特定の条件を満たすデータを出力する際に、処理効率に影響を与えている場合があった。また、情報の取捨選択を行うことなく入力情報を蓄積していくため、不必要にリソースを消費する場合があることが課題であった。これに加えて、現在のビッグデータビジネスにおいても、一旦すべてのデータを蓄積してから使い方や活用方法を模索するといった利用シーンが多く想定され、大量データから有意な情報を抽出する上で、リソースを不必要に利用している場合があることが課題であった。
本発明は、以上の点に鑑み、関連する一連の情報の待ち合わせを行い、特定の条件を満たすデータを出力する際に適切に集約して保持・蓄積することで、利用性や処理速度を向上させることを目的とする。
本発明の第1の解決手段によると、
入力元に対して、処理条件パターン番号を予め記憶するパターン判断テーブルと、
処理条件パターン番号に対して、開始条件、終了条件と出力先、中間時点で集計処理を行うための中間条件と出力先、を記憶する処理条件リストと、
キー値に対して、集計対象値、完了フラグを記憶する中間データテーブルと、
処理部と
を備え、
前記処理部は、外部システムから、開始と終了の情報を有する一連のデータが別々に到着するケースにおいて、分割された各々の入力データを読み込み、
前記処理部は、前記入力データがどの入力元から送られてきたものかを判別し、
前記処理部は、前記パターン判断テーブルを参照し、前記入力データ及び前記入力元から、前記一連のデータを識別するためのキー値、処理を進める際の判断値、集計対象値、処理条件パターン番号を取得し、
前記処理部は、前記入力データから取得した前記キー値及び前記集計対象値、未出力に設定した完了フラグを、前記中間データテーブルに登録し、
前記処理部は、前記処理条件リストを参照し、前記判断値が終了条件又は中間条件を満たすとき、前記中間データテーブルから前記入力データの前記キー値と同一キー値のひとつ又は複数のレコードの集計対象値を集計した集計結果を計算する終了処理と、前記ひとつ又は複数のレコードの完了フラグを出力済に更新する完了フラグ編集処理と、前記キー値と前記集計結果を、前記処理条件リストを参照して得た出力先に出力する出力処理を行う
ことを特徴とする入力データ集約処理装置が提供される。
本発明の第2の解決手段によると、
入力データ集約処理システムであって、
入力元に対して、処理条件パターン番号を予め記憶するパターン判断テーブルと、
処理条件パターン番号に対して、開始条件、終了条件と出力先、中間時点で集計処理を行うための中間条件と出力先、を記憶する処理条件リストと、
キー値に対して、集計対象値、完了フラグを記憶する中間データテーブルと、
処理部を有する集約処理サーバと
を備え、
前記集約処理サーバの前記処理部は、外部システムから、開始と終了の情報を有する一連のデータが別々に到着するケースにおいて、分割された各々の入力データを読み込み、
前記処理部は、前記入力データがどの入力元から送られてきたものかを判別し、
前記処理部は、前記パターン判断テーブルを参照し、前記入力データ及び前記入力元から、前記一連のデータを識別するためのキー値、処理を進める際の判断値、集計対象値、処理条件パターン番号を取得し、
前記処理部は、前記入力データから取得した前記キー値及び前記集計対象値、未出力に設定した完了フラグを、前記中間データテーブルに登録し、
前記処理部は、前記処理条件リストを参照し、前記判断値が終了条件又は中間条件を満たすとき、前記中間データテーブルから前記入力データの前記キー値と同一キー値のひとつ又は複数のレコードの集計対象値を集計した集計結果を計算する終了処理と、前記ひとつ又は複数のレコードの完了フラグを出力済に更新する完了フラグ編集処理と、前記キー値と前記集計結果を、前記処理条件リストを参照して得た出力先に出力する出力処理を行う
ことを特徴とする入力データ集約処理システムが提供される。
本発明の第3の解決手段によると、
入力データ集約処理装置における入力データ集約処理方法であって、
前記入力データ集約処理装置は、
入力元に対して、処理条件パターン番号を予め記憶するパターン判断テーブルと、
処理条件パターン番号に対して、開始条件、終了条件と出力先、中間時点で集計処理を行うための中間条件と出力先、を記憶する処理条件リストと、
キー値に対して、集計対象値、完了フラグを記憶する中間データテーブルと、
処理部と
を備え、
前記処理部は、外部システムから、開始と終了の情報を有する一連のデータが別々に到着するケースにおいて、分割された各々の入力データを読み込み、
前記処理部は、前記入力データがどの入力元から送られてきたものかを判別し、
前記処理部は、前記パターン判断テーブルを参照し、前記入力データ及び前記入力元から、前記一連のデータを識別するためのキー値、処理を進める際の判断値、集計対象値、処理条件パターン番号を取得し、
前記処理部は、前記入力データから取得した前記キー値及び前記集計対象値、未出力に設定した完了フラグを、前記中間データテーブルに登録し、
前記処理部は、前記処理条件リストを参照し、前記判断値が終了条件又は中間条件を満たすとき、前記中間データテーブルから前記入力データの前記キー値と同一キー値のひとつ又は複数のレコードの集計対象値を集計した集計結果を計算する終了処理と、前記ひとつ又は複数のレコードの完了フラグを出力済に更新する完了フラグ編集処理と、前記キー値と前記集計結果を、前記処理条件リストを参照して得た出力先に出力する出力処理を行う
ことを特徴とする入力データ集約処理方法が提供される。
本発明によると、関連する一連の情報の待ち合わせを行い、特定の条件を満たすデータを出力する際に適切に集約して保持・蓄積することで、利用性や処理速度を向上させることができる。
本実施例のシステム図である。 処理シーケンス図である。 システムを構成する要件の構成図である。 入力部に到着したデータから入力元を判断する入力判断リストの例を示す説明図である。 入力データの例を示す説明図である。 入力データを分割した例を示す説明図である。 入力データのパターンを判別する際に用いるデータストアのテーブル図の例を示す説明図である。 開始・終了・中間条件のルールを記述したリストの例を示す説明図である。 集約処理フロー図である。 データの保持・蓄積に用いるデータストアのテーブル図の例を示す説明図である。 データの保持・蓄積に用いるデータストアのテーブル図のファイル出力後の例を示す説明図である。 出力部のデータの例を示す説明図である。 システムの物理構成図である。
本実施例では、特に、本来関連する一連の情報が別々に入力部に到着するようなケースにおいて、入力元の情報をもとに処理パターンを決定し、関連する情報の待ち合わせを行うための処理条件を個別で設定し、処理条件に則してデータの蓄積の制御を行い、一連のデータを関連づけて保持し、設定したタイミングで保持しているデータの集計結果を出力する。また、本実施例では、不要となった一連のデータは一括で削除することを可能とし、リソースの有効活用を図る。
以下、実施例を図面を用いて説明する。
図1は、本実施例のシステム図である。本システムは、集約処理サーバ101とデータストアサーバ102を備える。本システムでは、例えば、複数の外部システムA103及びB104から受信した形式・構造の異なるデータに対し、編集作業を行い、集計結果を任意の出力先I105又はII106に出力する。
また、図3は、システムを構成する要件の構成図である。図3における集約処理システム321は、集約処理サーバ101で実現する。同様にデータストア308は、データストアサーバ102で実現する。
集約処理システム321は、データ入出力部301、データ処理部305、データストアアクセス部307を備える。データ入出力部301は、データ入力部302、データ読み込み部303、データ判別部304、データ受信部318、出力形式変換部319、データ出力部320、入力元判断リスト401を有する。データ処理部305は、パターン判断部306、処理部311、条件判断部312、ルール定義部313、中間データ入出力部316、出力データ送信部317を有する。ルール定義部313は、開始条件リスト701、終了条件リスト711、中間条件リスト721を含む。
データストア308は、パターン判断テーブル309、処理条件パターンテーブル310を備える。
図11は、システムの物理構成図を示す。集約処理サーバ101では、CPU1101とメモリ1102とネットワークインターフェース1103は、データバス1104により接続され、各々の通信をデータバス1104を経由して行う。また、集約処理サーバ101にはコンソール部1105も接続される。メモリ1102には、集約処理や出力処理を行うためのアプリケーションロジック1106及び一時データ1107が記憶されている。集約処理サーバ101とデータストアサーバ102はインタフェース(IF)を介してデータバス1104で接続されている。集約処理サーバ101は、処理パターンの取得や中間データの蓄積・保持のため、データストアサーバ102上のパターン判断テーブル309、処理条件パターンテーブル310、中間データテーブル314、状態管理テーブル315等の各テーブルを用いる。データストアとしては、例えばインメモリDBのような形態があるが、ハードディスクドライブなどの他の保存形態でも構わない。なお、CPU1101(処理部)は、データ処理部305とデータ入出力部301を含むことができる。
図2は、処理シーケンス図である。外部システムA103から入力データA−1−(1)251が集約処理サーバ101に送られると、集約処理サーバ101は、データを読み込んで登録するための処理201を実行する。
処理201では、まずデータ読み込み処理202を行う。この読み込み処理では、図3のデータ入出力部301のデータ入力部302で入力データを受信し、データ読み込み部303で受信したデータを形式に応じて読み込む。
集約処理サーバ101は、このデータ読み込み処理202に続いて、データ判別処理203を行う。データ判別部304でその入力データがどの送信元(入力元)から送られてきたものかを判別し、例えば、入力元Aからのデータである旨の入力元の情報を付与する。この入力元判別を行うため、データ判別部304ではあらかじめ入力元判断リスト401を設定する。
図4は、入力部に到着したデータから入力元を判断する入力判断リストの例を示す説明図である。入力元判断リスト401は、パターン402、判別対象403、対象値404、入力元405を対応して予め記憶している。入力データに付随している判別対象となる情報の種別を判別対象403で規定し、その値を対象値404で設定する。データ判別部304は、この入力元判断リスト401から判別対象403と対象値404の組み合わせが合致するものを探し、対応する入力元405を決定し、情報を付与する。
図5−1は、データ入力部302で受信する入力データの例を示す説明図である。データ501は上述の入力データA−1−(1)の例を示す。データ判別部304は、入力元判断リスト401を参照し、入力データに対して、入力データに付随する情報から入力元を判断する。ここでは、例えば、送信元アドレス502をもとに、そのドメインと対象値の組み合わせが一致するものを入力元判断リスト401からパターン1から順番に検索し、該当するレコード406から入力元が「A」であることを判別する。また、データ判別部304は、入力データに含まれる複数の情報503を個々に分割し、個々のデータに対して入力元情報を付与する。データ504は個々に分割されたデータの1つを示し、付与された入力元505と1データ単位の情報506が含まれる。データ判別部304は、この入力元を付与した、分割した各データをデータ入出力部301からデータ処理部305に送る。
続いて、処理パターン取得処理204を行う。この処理では、上述の入力元505をもとに、パターン判断部306がデータストア308上にあらかじめ登録してあるパターン判断テーブルを参照し処理パターンを取得する。
図5−2は、データ処理部に届いた入力データの例を示す説明図である。図では、データ入出力部301からデータ処理部305に送られるデータを示している。入力データ504には入力元情報505、1データ単位の情報506が含まれている。パターン判断部306は、このパターン取得の手続きのため、データストアアクセス部307を経由してデータストア308のパターン判断テーブル309にアクセスする。
図6(A)は、パターン判断テーブルの例を示す説明図である。パターン判断テーブル309は、入力元601、キーカラム602、判断カラム603、補助判断カラム604、集計対象カラム605、処理条件パターン(番号)607を対応して予め記憶している。なお、キーカラムにより示される入力データのキー値により、関連する一連の情報を識別することができる。パターン判断部306は、パターン判断テーブル309を参照し、入力データの入力元505と、パターン判断テーブル309の入力元601とが一致するレコードを読み込み、キーカラム602から集計対象カラム605までの設定値から、図5−2の入力情報506の各カラムのうち、何番目をデータ登録時のキー値とするか、何番目を処理を進める際の判断値又は補助判断値とするか、何番目を集計対象の値とするか等といった情報を取得する。また、処理条件パターン607は、集約処理を行う上での開始や終了処理を行う処理条件パターンを示す。パターン判断部306は、入力元に基づき、どの処理条件パターンとするか取得する。例えば、入力データ504に対してパターン取得処理を行う場合、入力元505が「A」であるため、図6に示すレコード606が合致する。パターン判断部306は、このレコードの設定値に従い、入力元がAであるデータに対しては、キーカラム602により、1番目の値(図5−2の情報506の「A−1」)をキー値とし、判断カラム603により、3番目の値(図5−2の情報506の「start」)を処理を進める際の判断値とし、補助判断カラム604により、1番目の値(図5−2の情報506の「A−1」)を処理を進める際の補助判断値とし、集計対象カラム605により、2番目の値(図5−2の情報506の「1000」)を集計対象値とする。判断対象の値は、このように例えば「start」や「end」といった値を取ることもあり、全く別の値でも構わない。また、ここでは、処理条件パターンは「1」となる。
続いて、処理条件取得処理205を行う。この処理では、データ処理部305(パターン判断部306)は、上述の処理条件パターン607の設定値をもとに、データストア308の処理条件パターンテーブル310からあらかじめ設定してある処理条件パターンを取得する。
図6(B)は、処理条件パターンテーブル310の例を示す説明図である。処理条件パターンテーブル310は、パターン判断テーブル309に紐づく処理条件パターン611と、開始条件のパターンを表す開始条件パターン612、終了条件のパターンを表す終了条件パターン613、中間時点で集約処理を行う条件のパターンを表す中間条件パターン614、待ち合わせ時間616を対応付けて予め記憶している。この設定値612から614は、別途定義する各条件の定義番号を示している。例えば、図6のレコード606のように処理条件パターンが「1」である場合、レコード615に示す各設定値をもとに処理条件パターンを決定する。すなわち、データ処理部305(パターン判断部306)は、開始条件パターン「1」として別途定義されている条件を満足する場合に集約処理を開始し、同様に終了条件パターン「1」として別途定義されている条件を満足する場合に集約処理を終了し、中間処理条件パターン「1」として別途定義されている条件を満足する場合に中間時点で集約処理を行う(終了処理209、完了フラグ編集処理211及び出力処理212参照)。
データ処理部305は、これらの処理パターン及びそれに紐づく処理条件のもとでの処理の制御を、図2の処理制御206で行う。処理制御は図3の処理部311で行い、条件の取得及び条件を満足するかどうかの判断を条件判断部312で行う。また、各条件の定義はルール定義部313にあらかじめ個別で設定される。
図7は、各条件リストの例を示す説明図である。開始条件リスト701は、図6の開始条件パターン612に紐づく開始条件パターン702と、開始条件703を対応付けして予め記憶している。なお、図7の各条件リストと、図6の処理条件パターンとは、一例であり、これらに関する情報を「処理条件リスト」と呼ぶことがある。条件判断部312が図6の判断カラム603に設定されたカラム番号に対応するデータの値が開始条件703を満足すると判断した場合に、図3の処理部311が集約処理を開始する。例えば、図5−1に示すデータ504を受信した場合、判断対象の値が「start」であり、レコード704に示す開始条件を満たすため、処理部311は、一連のデータを関連づけて蓄積するための集約処理を開始する。
同様に、終了条件リスト711は、図6の終了条件パターン613に紐づく終了条件パターン712と、終了条件713、フォーマット714、出力先715を対応付けして予め記憶している。条件判断部312が図6の判断カラム603に設定されたカラム番号に対応するデータの値が終了条件713を満足すると判断した場合に、図3の処理部311は、集約処理を終了させ、一連のデータの集計処理を行ってフォーマット714で規定したフォーマットに従い、出力先715に対して結果を出力する。例えば、図5−1に示すデータ552を受信した場合、判断対象の値が「end」であり、レコード716に示す終了条件を満たすため、処理部311は、集計処理及び出力処理(終了処理209、完了フラグ編集処理211及び出力処理212参照)を行う。
中間条件リスト721は、図6の中間条件パターン614に紐づく中間条件パターン722、中間条件723、フォーマット724、出力先725、完了フラグ編集有無726を対応付けして予め記憶している。条件判断部312が図6の判断カラム603に設定されたカラム番号に対応するデータの値が中間条件723を満足すると判断した場合に、処理部311は、上述の終了処理時と同様に集計・出力処理(終了処理209、完了フラグ編集処理211及び出力処理212参照)を行う。例えば、図5−2に示すデータ553を受信した場合、判断対象の値が「い」であり、レコード727に示す中間条件を満たすため、処理部311は、集計処理及び出力処理(終了処理209及び出力処理212参照)を行う。この際、出力したデータに対して出力済みであることを示す後述する完了フラグを編集するかどうかを完了フラグ編集有無726で設定される。条件判断部312が完了フラグ編集有無726が有りに設定されていると判断した場合、処理部311は、完了フラグ編集処理211を実行する。
図8に、上述の処理制御206における処理フローを示す。図8での処理の制御は、図2の処理部311で行う。
まずステップ801で、処理部311は、データストア308に格納されている蓄積データを確認するため、図3の中間データテーブル314にアクセスする。
図9−1(A)は、中間データテーブル314を示す説明図である。中間データテーブル314は、通番901、キー902、値903、完了フラグ904を含む。この例では、完了フラグ904が「OFF」であれば未出力、「ON」であれば出力済であることを示す。
ステップ801では、処理部311は、受信したデータのキーカラムの値と同一キーのデータがテーブルにすでに存在するかどうかを判断することで、現在扱っているデータと同種のデータを過去に登録しているかどうかを判別し、YESである場合にはステップ802に進み、NOである場合にはステップ804に進む。
ステップ802では、処理部311は、同一キーのデータの完了フラグ904がすべてONになっているかどうかを判断することで、現在扱っているデータが出力済み扱いかどうかを判別し、YESであればステップ803、NOであればステップ805に進む。
ステップ803では、処理部311は、バージョン値編集処理を行う。このステップ803では、それまでに登録され出力された同一キーのレコードと区別して現在のデータを登録するため、データストアの状態管理テーブル315で管理しているバージョン情報を更新する。
図9−1(B)は、状態管理テーブル315を示す説明図である。状態管理テーブル315は、キー911と、通番リスト912、バージョン913、最終更新時刻914を含む。処理部311は、この状態管理テーブル315によって、中間データテーブル314のレコードをキーごとにグルーピングして管理し、かつ出力済みのものはバージョンの値をインクリメントして区別して管理する。
ステップ804では、処理部311は、今扱っているデータが開始条件を満足するかどうかを判断し、YESであればステップ805に進み、NOであれば処理フローを終了する。
ステップ805では、処理部311は、図2に示す中間データ登録処理207を行う。この処理では、処理部311は、現在扱っているデータのキーカラムと集計対象カラムの値を図3の中間データ入出力部316を経て、図9−1(A)の中間データテーブル314に登録する。この際、処理部311は、完了フラグ904を、デフォルト値としてOFFで登録する。なお、この値は、後にデータを出力した際にONに更新される。例として、図9−1(A)のレコード905に、入力データ504を登録する場合を示す。
ステップ806では、処理部311は、現在扱っているデータの判断カラムの値(判断値)が中間条件を満足するかどうかを判断することで、その時点での同一キーの蓄積データを集計して出力するかどうかを判別する。なお、中間条件は、処理条件パターンにより、処理条件パターンテーブル310を参照し、中間条件パターンを求め、中間条件リスト721を中間条件パターンに基づき検索することにより求めることができる。ここで、中間条件に該当するか判断した結果、YESであればステップ811の終了処理209(図2)に進み、NOであればステップ810に進む。
ステップ810では、処理部311は、現在扱っているデータの判断カラムの値(判断値)が終了条件を満足するかどうかを判断する。なお、終了条件は、処理条件パターンにより、処理条件パターンテーブル310を参照し、終了条件パターンを求め、終了条件リスト711を終了条件パターンに基づき検索することにより求めることができる。ここで、終了条件に該当するか判断した結果、YESである場合にはステップ811の終了処理209(図2)に進み、NOである場合にはステップ813に進む。
ステップ813では、処理部311は、同一キーの後続データを受信するのを待ち合わせする処理を行う。
処理部311は、上述の処理フローの判断の結果、待ち合わせ処理を行う場合、図2に示す待ち合わせ208を行う。この待ち合わせ処理については、後述する。
終了処理209に移行する前に、外部システムAから次のデータA−1−(2)252が集約処理サーバ101に送られると、集約処理サーバ101は、A−1−1の場合と同様の処理を繰り返し、ルール定義部の中間条件・終了条件を満たすかどうかを判断し、いずれの条件も満たさない場合は、集約処理サーバ101は、データストアサーバ102(中間データテーブル314)にデータを登録するのみで、出力は行わない。この際、状態管理テーブル315の同一キーのレコードの通番リスト912に、登録したデータの通番が追加される。
さらに、入力元から次のデータA−1−(3)253が集約処理サーバ101に送られると、集約処理サーバ101は、同様の処理を行い、例えば終了条件を満たす場合、集約処理サーバ101は、データの登録を行った上で、終了処理209を行う。なお、途中のデータで中間条件を満たす場合も集約処理サーバ101は、データの登録を行った上で、終了処理209を行う。また、状態管理テーブル315の同一キーのレコードの通番リスト912に、登録したデータの通番が追加される。図9−1(B)のレコード915に例として、図5に示した入力データ504、551、552を登録した場合を示す。
終了処理209では、処理部311は、その時点での同一キーの集計データを出力するため集約データ要求210をデータストアサーバ102に対して行い、応答情報として、中間データテーブル314内の、同一キーのレコードを受け取る。処理部311は、同一キーのレコードの集計対象値を集計する。例えば、図9−1(A)に示したレコード中、「A−1」のキー値の値「1000」、「2000」、「1500」の合計である「4500」が集計結果となる。
つぎに、集約処理サーバ101は、完了フラグ編集処理211で、中間データテーブル314から出力されて集計に使用したレコードの完了フラグ904をONに更新する。
つぎに出力処理212では、処理部311は、図3の出力データ送信部317から集計データをデータ入出力部301に送信し、出力先I105に対して、集計結果を出力する。
図10は、出力データの例を示す。出力データ1001はキー1002と集計値1003を含む。この集計値1003は、状態管理テーブル315の同一キーに属する中間データテーブル314の一連の値903を集計した値となる。また、出力データは、終了条件リスト711の出力先715又は中間条件リスト721の出力先725に記載された出力先ごとに出力される。
また、外部システムB104から入力データB−1−(1)254が集約処理サーバ101に送られると、集約処理サーバ101は、外部システムAからデータが送られた場合と同様に処理を行うが、例えば一連のデータの集約処理を開始した後、後続データの待ち合わせ処理を行う際に、処理条件パターンテーブル310に設定された待ち合わせ時間616を超過した場合、待ち合わせタイムアウト213を行い、完了フラグを更新した上で、それまで集計した分のデータ出力処理を行うようにしてもよい。
その後、図5−2のデータ553に示すように、入力データB−1−(2)255が集約処理サーバ101に送られる場合を想定する。この例では、入力元「B」、判断カラムが「3」なので「い」であり、処理条件パターンが「2」なので中間条件727に該当する。この場合、集約処理サーバ101は、データ読み込み214、データ判別215、処理パターン取得216、処理条件取得217を行った後、処理制御218を行い、バージョン値編集219を行って状態管理テーブル315のバージョン913の値をB−1−(1)を登録した際のバージョンからインクリメントし、次のデータ登録処理220で新たなグループ扱いで登録する。
また、例えば中間条件に該当した場合は、処理部311は、中間処理221を行い、その時点での集計データを出力するため集約データ要求222をデータストアサーバに対して行い、中間条件リスト721の完了フラグ編集有無726に「あり」と設定されている場合は、出力したレコードの完了フラグをONに更新し、集計結果を出力する。
図9−2は、更新後のレコードの例を示す説明図である。ここでは、集約処理サーバ101が、図に示したデータ251、252、253、254、255を出力した場合を示している。なお、中間条件リスト721の完了フラグ編集有無726により、出力時に完了フラグを編集するように設定していない場合には、処理部311は、完了フラグを更新しない。
また、処理部311は、中間条件リスト721の完了フラグ編集有無726が「あり」と設定されているかどうかを判断することで、中間状態として出力したレコードを出力済み扱いとするかどうかを判別することができる。処理部311は、この完了フラグやバージョン情報をもとに、出力済みの情報は不要であれば一括で削除することでリソースの有効活用を図る。なお、最終更新時刻914は、同一キーであるデータが登録される度に更新される。処理部311は、待ち合わせ時間を測る際、前のデータが登録されてからどれだけの時間が経過しているかを最終更新時刻914をもとに算出する。
以上のように、本実施例によると、集約処理サーバ・装置とデータストアサーバ・装置とを備えた入力データ集約システム・装置により、関連する一連の情報の待ち合わせを行い、特定の条件を満たすデータを出力する際に適切に集約して保持・蓄積することで、利用性や処理速度を向上させることができる。
また、本実施例によれば、不要なデータを削減して必要なデータを保持・蓄積することで、リソースの不必要な使用を回避できる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、又は、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101 集約処理サーバ
102 データストアサーバ
103 外部システム
104 基地局
105 スマートメータ
106 出力先
301 データ入出力部
302 データ入力部
303 データ読み込み部
304 データ判別部
305 データ処理部
306 パターン判断部
307 データストアアクセス部
308 データストア
309 パターン判断テーブル
310 処理条件パターンテーブル
311 処理部
312 条件判断部
313 ルール定義部
314 中間データテーブル
315 状態管理テーブル
316 中間データ入出力部
317 出力データ送信部
318 データ受信部
319 出力形式変換部
320 データ出力部
321 集約処理システム

Claims (15)

  1. 入力元に対して、処理条件パターン番号を予め記憶するパターン判断テーブルと、
    処理条件パターン番号に対して、開始条件、終了条件と出力先、中間時点で集計処理を行うための中間条件と出力先、を記憶する処理条件リストと、
    キー値に対して、集計対象値、完了フラグを記憶する中間データテーブルと、
    処理部と
    を備え、
    前記処理部は、外部システムから、開始と終了の情報を有する一連のデータが別々に到着するケースにおいて、分割された各々の入力データを読み込み、
    前記処理部は、前記入力データがどの入力元から送られてきたものかを判別し、
    前記処理部は、前記パターン判断テーブルを参照し、前記入力データ及び前記入力元から、前記一連のデータを識別するためのキー値、処理を進める際の判断値、集計対象値、処理条件パターン番号を取得し、
    前記処理部は、前記入力データから取得した前記キー値及び前記集計対象値、未出力に設定した完了フラグを、前記中間データテーブルに登録し、
    前記処理部は、前記処理条件リストを参照し、前記判断値が終了条件又は中間条件を満たすとき、前記中間データテーブルから前記入力データの前記キー値と同一キー値のひとつ又は複数のレコードの集計対象値を集計した集計結果を計算する終了処理と、前記ひとつ又は複数のレコードの完了フラグを出力済に更新する完了フラグ編集処理と、前記キー値と前記集計結果を、前記処理条件リストを参照して得た出力先に出力する出力処理を行う
    ことを特徴とする入力データ集約処理装置。
  2. 請求項1に記載の入力データ集約処理装置において、
    前記処理部は、判別対象及び対象値に対して、入力元を予め記憶する入力元判断リストを備え、
    前記処理部は、前記入力元判断リストから、前記入力データに含まれる判別対象及び対象値の組み合わせに基づき、前記入力元を求めることを特徴とする入力データ集約処理装置。
  3. 請求項1に記載の入力データ集約処理装置において、
    前記パターン判断テーブルは、入力元毎に、前記入力データにおける何番目のデータをデータ登録時のキー値とするかを示すキーカラム、何番目のデータを処理を進める際の判断値とするかを示す判断カラム、何番目のデータを集計対象値とするかを示す集計対象カラム、処理条件パターン番号を対応して予め記憶し、
    前記処理部は、前記パターン判断テーブルを参照し、前記入力元に基づき、前記キー値、前記判断値、前記集計対象値、前記処理条件パターン番号を取得することを特徴とする入力データ集約処理装置。
  4. 請求項1に記載の入力データ集約処理装置において、
    前記処理条件リストは、
    処理条件パターン番号に対して、開始条件パターン番号、終了条件パターン番号、中間条件パターン番号を記憶する処理条件パターンテーブルと、
    開始条件パターン番号に対して、開始条件を予め記憶する開始条件リストと、
    終了条件パターン番号に対して、終了条件、出力先を予め記憶する終了条件リストと、
    中間条件パターン番号に対して、中間条件、出力先を予め記憶する中間条件リストと、
    を含み、
    前記処理部は、前記処理条件パターン番号をもとに、前記処理条件パターンテーブルから求めた、開始条件パターン番号、終了条件パターン番号及び中間条件パターン番号に基づき、前記開始条件リスト、前記終了条件リスト及び前記中間条件リストを求め、前記判断値が、前記開始条件、前記終了条件又は前記中間条件を満たすかどうか判定することを特徴とする入力データ集約処理装置。
  5. 請求項4に記載の入力データ集約処理装置において、
    前記パターン判断テーブルと、前記処理条件パターンテーブルと、前記中間データテーブルとを含むデータストア部と、
    前記処理部と、前記開始条件リストと、前記終了条件リストと、前記中間条件リストとを有する集約処理部と
    を備えたことを特徴とする入力データ集約処理装置。
  6. 請求項4に記載の入力データ集約処理装置において、
    前記中間条件リストは、処理条件パターに対応して完了フラグ編集有無情報をさらに含み、
    前記処理部は、前記完了フラグ編集有無情報が有りの場合は、前記完了フラグ編集処理を実行し、
    前記処理部は、前記完了フラグ編集有無情報が無しの場合は、前記完了フラグ編集処理を実行しないことを特徴とする入力データ集約処理装置。
  7. 請求項1に記載の入力データ集約処理装置において、
    前記処理部は、
    前記入力データのキー値と同一キー値のデータが前記中間データテーブルにすでに存在するかどうかを判断することで、現在扱っている前記入力データと同種のデータを過去に前記中間データテーブルに登録しているかどうかを判別することを特徴とする入力データ集約処理装置。
  8. 請求項1に記載の入力データ集約処理装置において、
    前記入力データが前記開始条件を満足する場合、又は、前記中間データテーブル内の同一キー値のレコードの完了フラグがすべて完了になってない場合、
    前記処理部は、前記入力データのキー値と集計対象値を前記中間データテーブルに登録し、完了フラグを未出力に登録することを特徴とする入力データ集約処理装置。
  9. 請求項1に記載の入力データ集約処理装置において、
    前記処理条件リストは、
    処理条件パターン番号に対応して待ち合わせ時間を記憶する処理条件パターンテーブルを含み、
    前記処理部は、前記待ち合わせ時間に基づき、同一キー値の後続データを受信するのを待ち合わせ、前記待ち合わせ時間を超過した場合、前記終了処理及び前記完了フラグ編集処理及び前記出力処理を実行することを特徴とする入力データ集約処理装置。
  10. 請求項1に記載の入力データ集約処理装置において、
    キー値に対応して、中間データテーブルのレコードの番号、バージョンを記憶する状態管理テーブルをさらに備え、
    前記処理部は、前記中間データテーブル内のレコードをキー毎にグループ化し、出力済みのレコードはバージョンをインクリメントすることを特徴とする入力データ集約処理装置。
  11. 請求項1に記載の入力データ集約処理装置において、
    前記処理部は、前記中間データテーブルを参照し、完了フラグに基づき、出力済みとなったデータを一括で削除することを特徴とする入力データ集約処理装置。
  12. 入力データ集約処理システムであって、
    入力元に対して、処理条件パターン番号を予め記憶するパターン判断テーブルと、
    処理条件パターン番号に対して、開始条件、終了条件と出力先、中間時点で集計処理を行うための中間条件と出力先、を記憶する処理条件リストと、
    キー値に対して、集計対象値、完了フラグを記憶する中間データテーブルと、
    処理部を有する集約処理サーバと
    を備え、
    前記集約処理サーバの前記処理部は、外部システムから、開始と終了の情報を有する一連のデータが別々に到着するケースにおいて、分割された各々の入力データを読み込み、
    前記処理部は、前記入力データがどの入力元から送られてきたものかを判別し、
    前記処理部は、前記パターン判断テーブルを参照し、前記入力データ及び前記入力元から、前記一連のデータを識別するためのキー値、処理を進める際の判断値、集計対象値、処理条件パターン番号を取得し、
    前記処理部は、前記入力データから取得した前記キー値及び前記集計対象値、未出力に設定した完了フラグを、前記中間データテーブルに登録し、
    前記処理部は、前記処理条件リストを参照し、前記判断値が終了条件又は中間条件を満たすとき、前記中間データテーブルから前記入力データの前記キー値と同一キー値のひとつ又は複数のレコードの集計対象値を集計した集計結果を計算する終了処理と、前記ひとつ又は複数のレコードの完了フラグを出力済に更新する完了フラグ編集処理と、前記キー値と前記集計結果を、前記処理条件リストを参照して得た出力先に出力する出力処理を行う
    ことを特徴とする入力データ集約処理システム。
  13. 請求項12に記載の入力データ集約処理システムにおいて、
    前記処理条件リストは、
    処理条件パターン番号に対して、開始条件パターン番号、終了条件パターン番号、中間条件パターン番号を記憶する処理条件パターンテーブルと、
    開始条件パターン番号に対して、開始条件を予め記憶する開始条件リストと、
    終了条件パターン番号に対して、終了条件、出力先を予め記憶する終了条件リストと、
    中間条件パターン番号に対して、中間条件、出力先を予め記憶する中間条件リストと、
    を含み、
    前記処理部は、前記処理条件パターン番号をもとに、前記処理条件パターンテーブルから求めた、開始条件パターン番号、終了条件パターン番号及び中間条件パターン番号に基づき、前記開始条件リスト、前記終了条件リスト及び前記中間条件リストを求め、前記判断値が、前記開始条件、前記終了条件又は前記中間条件を満たすかどうか判定することを特徴とする入力データ集約処理システム。
  14. 請求項13に記載の入力データ集約処理システムにおいて、
    前記パターン判断テーブルと、前記処理条件パターンテーブルと、前記中間データテーブルとを含むデータストアサーバと、
    前記処理部と、前記開始条件リストと、前記終了条件リストと、前記中間条件リストとを有する集約処理サーバと
    を備えたことを特徴とする入力データ集約処理システム。
  15. 入力データ集約処理装置における入力データ集約処理方法であって、
    前記入力データ集約処理装置は、
    入力元に対して、処理条件パターン番号を予め記憶するパターン判断テーブルと、
    処理条件パターン番号に対して、開始条件、終了条件と出力先、中間時点で集計処理を行うための中間条件と出力先、を記憶する処理条件リストと、
    キー値に対して、集計対象値、完了フラグを記憶する中間データテーブルと、
    処理部と
    を備え、
    前記処理部は、外部システムから、開始と終了の情報を有する一連のデータが別々に到着するケースにおいて、分割された各々の入力データを読み込み、
    前記処理部は、前記入力データがどの入力元から送られてきたものかを判別し、
    前記処理部は、前記パターン判断テーブルを参照し、前記入力データ及び前記入力元から、前記一連のデータを識別するためのキー値、処理を進める際の判断値、集計対象値、処理条件パターン番号を取得し、
    前記処理部は、前記入力データから取得した前記キー値及び前記集計対象値、未出力に設定した完了フラグを、前記中間データテーブルに登録し、
    前記処理部は、前記処理条件リストを参照し、前記判断値が終了条件又は中間条件を満たすとき、前記中間データテーブルから前記入力データの前記キー値と同一キー値のひとつ又は複数のレコードの集計対象値を集計した集計結果を計算する終了処理と、前記ひとつ又は複数のレコードの完了フラグを出力済に更新する完了フラグ編集処理と、前記キー値と前記集計結果を、前記処理条件リストを参照して得た出力先に出力する出力処理を行う
    ことを特徴とする入力データ集約処理方法。
JP2013182070A 2013-09-03 2013-09-03 入力データ集約処理装置及びシステム及び方法 Active JP6097660B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013182070A JP6097660B2 (ja) 2013-09-03 2013-09-03 入力データ集約処理装置及びシステム及び方法
US14/322,360 US20150067303A1 (en) 2013-09-03 2014-07-02 Input data aggregation processing apparatus, system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013182070A JP6097660B2 (ja) 2013-09-03 2013-09-03 入力データ集約処理装置及びシステム及び方法

Publications (2)

Publication Number Publication Date
JP2015049780A JP2015049780A (ja) 2015-03-16
JP6097660B2 true JP6097660B2 (ja) 2017-03-15

Family

ID=52584935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013182070A Active JP6097660B2 (ja) 2013-09-03 2013-09-03 入力データ集約処理装置及びシステム及び方法

Country Status (2)

Country Link
US (1) US20150067303A1 (ja)
JP (1) JP6097660B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814992A (zh) * 2015-11-27 2017-06-09 北京国双科技有限公司 数据处理架构中消息的处理方法和装置
WO2018011943A1 (ja) 2016-07-14 2018-01-18 かもめエンジニアリング株式会社 処理方法および処理システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09298774A (ja) * 1996-04-30 1997-11-18 Sanyo Electric Co Ltd 遠隔管理システム
JP4131908B2 (ja) * 2001-05-09 2008-08-13 日本電信電話株式会社 利用情報のニア・リアルタイム取得方法およびニア・リアルタイム取得プログラムと該プログラムを記録した記録媒体
JP2005215903A (ja) * 2004-01-28 2005-08-11 Hitachi Ltd 情報処理システム
JP5086121B2 (ja) * 2008-02-14 2012-11-28 アズビル株式会社 環境データ管理装置、及び環境データ管理方法
US8645367B1 (en) * 2009-04-14 2014-02-04 Google Inc. Predicting data for document attributes based on aggregated data for repeated URL patterns
US8533318B2 (en) * 2009-10-06 2013-09-10 International Business Machines Corporation Processing and presenting multi-dimensioned transaction tracking data
JP5678620B2 (ja) * 2010-12-03 2015-03-04 株式会社日立製作所 データ処理方法、データ処理システム、及びデータ処理装置
US9674058B2 (en) * 2011-11-07 2017-06-06 Hitachi, Ltd. Time series data processing device, time series data processing method, and computer-readable recording medium storing time series data processing program

Also Published As

Publication number Publication date
US20150067303A1 (en) 2015-03-05
JP2015049780A (ja) 2015-03-16

Similar Documents

Publication Publication Date Title
CN111258978B (zh) 一种数据存储的方法
CN114186100B (zh) 数据存储及查询方法、装置及数据库系统
CN108733449B (zh) 用于管理虚拟机的方法、设备和计算机可读存储介质
CN109240607B (zh) 一种文件读取方法和装置
US8959229B1 (en) Intelligently provisioning cloud information services
WO2017000761A1 (zh) 一种终端设备的特征信息的提取方法及装置
CN109753424B (zh) Ab测试的方法和装置
JP6097660B2 (ja) 入力データ集約処理装置及びシステム及び方法
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
US10990604B2 (en) Non-transitory computer-readable storage medium, record data processing method, and record data processing apparatus
CN109697281A (zh) 在线合并文档的方法、装置及电子设备
CN111046007A (zh) 管理存储系统的方法、装置和计算机程序产品
JP6084700B2 (ja) 検索システム及び検索方法
CN113312355A (zh) 一种数据管理的方法和装置
CN109981697B (zh) 一种文件转存方法、系统、服务器及存储介质
CN111061719B (zh) 数据收集方法、装置、设备和存储介质
KR20160145250A (ko) 가상 머지를 지원하는 셔플 내장형 분산 스토리지 시스템 및 그 방법
CN107526530B (zh) 数据处理方法和设备
CN115794876A (zh) 针对业务数据包的分片处理方法、装置、设备及存储介质
CN114138786A (zh) 一种联机交易消息去重方法、装置、介质、产品和设备
CN113656046A (zh) 一种应用部署方法和装置
CN113760176A (zh) 数据存储方法和装置
CN108173689B (zh) 负载均衡数据的输出系统
CN113342270A (zh) 卷卸载方法、装置和电子设备
CN111782588A (zh) 一种文件读取方法、装置、设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6097660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150