JP5883937B2 - 計算機システム、データ管理方法及びプログラムを格納する記録媒体 - Google Patents

計算機システム、データ管理方法及びプログラムを格納する記録媒体 Download PDF

Info

Publication number
JP5883937B2
JP5883937B2 JP2014534120A JP2014534120A JP5883937B2 JP 5883937 B2 JP5883937 B2 JP 5883937B2 JP 2014534120 A JP2014534120 A JP 2014534120A JP 2014534120 A JP2014534120 A JP 2014534120A JP 5883937 B2 JP5883937 B2 JP 5883937B2
Authority
JP
Japan
Prior art keywords
data
processing
post
computer system
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014534120A
Other languages
English (en)
Other versions
JPWO2014038057A1 (ja
Inventor
康志 宮田
康志 宮田
児玉 昇司
昇司 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Application granted granted Critical
Publication of JP5883937B2 publication Critical patent/JP5883937B2/ja
Publication of JPWO2014038057A1 publication Critical patent/JPWO2014038057A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/006Identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/82Solving problems relating to consistency
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、計算機システム、データ管理方法及びプログラムを格納する記録媒体に係り、特に、処理を行う複数の処理部によって生成されたデータを管理する計算機システム、データ管理方法及びプログラムを格納する非一時的な記録媒体に関する。
多種多様な膨大なデータ群を利用する際、計算機システム内には、そのデータ群を用いた種々のサービスを提供することを目的として、多くのテータ処理プログラムが稼動する。これらデータ処理プログラムは、独自のサービスを提供するために、各々データ群にアクセスしてこれを加工又は変換し、付加価値が付けられた種々のデータ(処理後データ)が生成される。計算機システムでは、このように複数のデータ処理プログラムから生成された処理後データの全部又は一部を利用して、特定のサービスを提供することがある。
このような場合、複数のデータ処理プログラムが生成した処理後データの関係性を管理する必要がある。より具体的には、各データ処理プログラムが生成した処理後データの元となる処理前データの整合性を管理する必要がある。例えば、処理前データ群が更新された場合、更新前の処理前データにアクセスしたデータ処理プログラムと、更新後の処理前データにアクセスしたデータ処理プログラムとから生成される処理後データは、処理のベースが異なることになる。この結果、計算機システムが提供する特定のサービスに矛盾等が生ずる虞もある。
特許文献1は、管理サーバが電子データに対するアクセスを監視し、アクセスがあった場合にその利用履歴や処理内容を示すメタデータを付与し管理する方法を開示する。この方法は、管理サーバが一元管理するメタデータを条件としてオリジナルデータを抽出するシステムを実現する。
特許文献2は、単一の画像データに対して処理前データ、処理後データ、処理内容や処理日時といった処理履歴情報を履歴管理サーバが保持することで、画像データの処理履歴の追跡を可能とする方法を開示する。この方法は、複数の処理結果データの処理履歴を追跡することで、処理前データと処理後データの関係性を管理することができる。
特開2009−271919号公報 特許第4793067号
特許文献1の技術は、処理後データと処理前データの対応が管理されていないため、加工又は変更された処理後データを取得した場合に、その処理履歴を知ることができないという問題がある。
特許文献2の技術は、処理の度に処理前データと処理後データとの両方の検知、処理前データと処理後データを関連付ける処理履歴データの生成及び処理履歴データの保存、といった処理を適宜実行するため、処理履歴を管理するための負荷が発生する。
これら処理履歴を管理する負荷は、データ処理プログラムにおける処理の実行に伴って発生するため、データ処理プログラムの実行自体に影響が及ぶことになる。例えば、データ処理プログラムにその実行途中で処理履歴に関する処理を加えた場合には、処理履歴を管理する負荷により処理プログラムの実行を遅延させることになる。また、扱うデータ量、処理プログラムの種類又は実行頻度が増加する場合には、処理履歴の管理に関わる処理量の増大により負荷がより増大し、データ処理プログラムに与える影響も大きくなる。
上記課題を解決するために、例えば、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、
処理前データを取得して所定の処理を実行し、その処理の結果として処理後データを生成する複数の処理部と、
前記複数の処理部の各々によって前記処理前データが取得される契機に、その取得の順序性を示し且つ前記複数の処理部の所定の処理の前後で更新されない処理IDを、取得される処理前データに付与し、前記処理部の所定の処理によって生成された処理後データを記憶装置に格納させるデータ処理部と
所定のデータ検索条件を受信し、前記記憶装置に格納された処理後データを抽出する際、前記データ検索条件を満たす処理後データのうち、処理部毎の処理後データ間で最新であって、各処理部間で最古となる処理ID以前の処理IDを有する処理後データを抽出し、検索要求元に出力するデータ管理部と、
を有する計算機システムである。
本発明によれば、特定のデータ処理イベントとそのデータ処理イベントにより処理された処理後データとの対応関係を処理履歴として管理するデータ管理システムを提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
図1は、本発明を適用した第1実施例における計算機システムの概要を示す模式図である。 図2は、第1実施例における計算機システムの構成例を示す。 図3は、第1実施例における計算機システムの処理ID管理表を示す模式図である。 図4は、第1実施例における計算機システムの処理後データグループ管理表を示す模式図である。 図5は、第1実施例における計算機システムの処理IDの具体的付与例を示す。 図6は、第1実施例における計算機システムの処理IDの具体的付与例を示す。 図7は、第1実施例における計算機システムの処理前データの収集処理の流れを示すフロー図である 図8は、第1実施例における計算機システムの処理後データの管理処理の流れを示すフロー図である 図9は、第1実施例の変形例における処理依存グループ管理表を示す模式図である。 図10は、第2実施例における計算機システムの構成例を示す。 図11は、第2実施例における処理前データの収集処理の流れを示すフロー図である。 図12は、第3実施例における計算機システムの構成例を示す。 図13は、第3実施例における多段処理がなされた修理後データの生成・格納例を示した模式図である。 図14は、第3実施例における処理ID管理表の例を示す模式図である。 図15Aは、第3実施例における計算機システムの処理IDの具体的な付与例を示す。 図15Bは、第3実施例における計算機システムの処理IDの具体的な他の付与例を示す。 図16は、第3実施例における多段処理を含む処理前データの収集処理の流れを示すフロー図である。 図17は、第3実施例における処理後データの管理処理の流れを示すフロー図である。 図18は、第4実施例における計算機システムの構成例を示す。 図19は、第4実施例における計算機システムの変換規則管理表を示す模式図である。 図20は、第4実施例における計算機システムの処理前データの収集処理の流れを示すフロー図である。 図21は、第5実施例における計算機システムの構成例を示す。 図22は、第5実施例における計算機システムのデータ収集スケジュール管理表を示す模式図である。 図23は、第5実施例における計算機システムの外部システムからの処理前データ抽出処理の流れを示す模式図である。 図24は、第5実施例における計算機システムの処理前データ収集スケジュールの管理処理の流れを示すフロー図である。 図25は、第6実施例における計算機システムの構成例を示す。 図26は、第6実施例における計算機システムの処理コスト管理表を示す模式図である。 図27は、第6実施例における計算機システムの処理によって、検索要求元に表示される画面例を示す模式図である。 図28は、第6実施例における計算機システムのデータ管理装置におけるデータ価格に関する管理処理の流れを示すフロー図である。
〔第1実施例〕
同じデータソースに対してアクセスする複数の処理プログラムが存在し、夫々の処理プログラムが独立してデータ処理イベントを発行する場合を考える。各処理プログラムは独立していることから、イベントはランダムに発生するともいえる。
ここで、データソースが更新されたとすると、各イベントが発生したタイミングによっては、同一のデータソースに対して発生したものであるか否かは不明である。
例えば、データソースに格納された画像A及びキーワードBの両方のデータを利用する所定の処理プログラムが2つ存在し、これらが独立して動作するとする。夫々が更新前の同じデータソースに対してイベント(例えば、データ取得イベント/データクロール)を発行したか否かは、双方のプログラムの処理自体が完了しているか否かを管理することによって判別することができる。一方の処理プログラムの処理のみが完了している場合、他方の処理プログラムが同一のデータソースに対してイベントを発生したか否かは真偽不明である(画像Aと、キーワードBとが同一データソースに含まれていないともいえる。)。
逆に、両方の処理プログラムの処理が完了している場合、画像Aと、キーワードBとは、同一のデータソースに含まれていると判断することができる。即ち各処理プログラムがデータソースからクロールした収集結果が整合していることを保証するには、各プログラムにおいてイベント処理後のデータを取得できるように管理する必要がある。これを実現する場合、イベントによって処理された処理後データと、各処理プログラムのデータ処理イベントの処理履歴とを対応付けて管理する必要がある。
しかしながら、処理履歴を管理する処理を処理プログラムの実行途中に加えるのは高負荷であり、処理遅延を招来する要因となる。更に、各処理プログラムに処理履歴を管理する改変を施す必要があり、柔軟性の問題も残る。
第1実施例では、データソースに対するデータ処理イベント(例えば、データ取得/データクロール)が発生した場合、データ処理イベントを一意に識別可能であり且つ処理プログラムの処理の前後で変更されることのない処理IDを生成し、これを処理対象となったデータに対してイベントに利用される前に付与し、処理されたデータを処理IDで管理することで、データソースから取得したデータが処理プログラム間で整合するものであるか否かを管理できる方法について説明する。
〔概要〕
図1に、本発明を適用した第1実施例である計算機システムの概要構成を示す。
データ処理部10は、複数の独立した処理を実行するプログラムA12a〜C12cを有する。各プログラムは、任意のタイミングで、データソース4にイベントを発行する。なお、発行するイベントは、データ取得(データクローリング)であるものとして説明する。データソース4には、プログラムA12a等によって取得される前のデータ(以後、「処理前データ」と称する。)である処理前データ領域30が確保されるとともに、各プログラムのデータ取得イベントによって取得された後の取得済みデータ(以後、「処理後データ」と称する。)である処理後データ格納領域40が確保されるようになっている。 先ず、プログラムA12aが、データソース4に対してデータ取得を要求し、処理前データX31aを取得する。データ処理部10は、処理ID45a(図では、「1」)を生成し、それと同時に、処理ID管理表17に、処理ID45aと、イベント要求元である「プログラムA」とを対応付けて管理する。処理前データX31aは、処理ID45aが付加された状態でプログラムA12aに送信され、プログラムA12aの所定の処理で利用されるようになっている。
処理ID45aが付加された処理前データX31aを受取ったプログラムA12aは、所定の処理を実行した後の処理後データX41aを生成する。このとき処理ID45aは所定の処理によって影響を受けることなく普遍のIDとして処理後データX41aに付加され続けるようになっている。その後、処理後データX41aは、処理後データ格納領域40に格納されるようになっている。
次いで、プログラムB12bが、データソース4にデータ取得を要求する。データ処理部10は、先のプログラムA12aのイベントとは異なるユニークな処理ID45b(図では、「2」)を生成し、処理ID管理表17において、処理ID45bと、イベント発行元である「プログラムB」とを対応付けて管理する。なお、処理ID45は、処理ID管理表17において、最新(最大値)の処理IDを1インクリメントして新規に生成されるようになっている。
プログラムB12bの所定の処理で利用された処理後データY41bは、処理ID45bを保持した状態で、処理後データ格納領域40に格納されるようになっている。
データ処理部10は、各プログラムA12a〜C12cによるデータ取得の度に同様の処理を繰り返す。
さて、データ管理部20は、検索要求元から所定の検索条件を含む検索要求を受けると、処理ID45が付加された処理後データ41群の検索を行い、検索条件を満たす処理後データ41を抽出する。
この時、データ管理部20は、抽出した処理後データ41に付加されている処理ID45を抽出し、プログラム種別毎にグループ分けする処理を実行する。この結果が、処理後データグループ管理表25である。
処理後データグループ管理表25では、プログラムA12a〜C12c毎に処理IDがグルーピングされる。このため、各プログラムが処理に利用したデータを、処理IDから判別することができる。例えば、プログラムA12aのイベントによって利用されたデータは、処理IDが「1」及び「5」のデータであることが分かる。
処理ID45a〜45cは、データ処理部10によって、イベントの発行順に付与・管理されることから、データ管理部20は、各グループの処理ID45の中で最新(最大値)の処理ID45を夫々抽出し、抽出した最新の処理IDのうち、グループ間で最古(最小値)の処理ID(以下、「全処理完了ID55」という。)を求める(図では、「5」)。そして、全処理完了ID55よりも新しい(値の大きい)処理ID45を除外した処理ID45群を求める。
このようにして求められた処理後ID45群に対応する処理後データ41は、処理プログラムA12a〜C12cが発行したデータ取得イベントにおいて整合性が保証された処理前データに対して処理がなされたものであることが分かる。データ管理部10は、整合性のとれた処理前データから生成された処理後データ41のみを、検索要求元に提供(送信)するようになっている。
また、全処理完了ID55や、中間状態除去後ID一覧を、検索要求元やシステム管理者(不図示)のリクエストに応じて出力できるようになっている。
第1実施例の計算機システム1では、処理前データ31a等に対するデータ取得イベントの発生の直前に付与し、その後のプログラムA12a等の処理においても影響を受けない普遍の処理ID45を処理後データに引継ぐようにすることで、全てのプログラムA12a〜C12cの処理自体を管理することなく、処理後データ41の元となった処理前データの整合性を管理可能とする。
更に、データ処理部10が、処理ID45の生成・付与等に関する処理を実行するため、プログラムA12a等の所定の処理に負荷をかけないという効果があり、更に、プログラムA12a等に処理IDの生成・付加を実行させるためのコードを逐次記述する必要がなく、処理プログラムの開発工数を削減するという効果も期待できる。
以上が概要である。
図2に、第1実施例の計算機システム1のより詳細な構成を示す。
計算機システム1は、CPU2、主記憶としてのメモリ3、補助記憶としての記憶装置4、キーボードやポインティングデバイス、表示モニタやプリンタ等の種々の入出力を行う入出力装置5及びLANやインターネット等を介して外部機器との有線又は無線の通信を行うI/F6等を有するサーバ装置である。なお、入出力装置5は、計算機システム1の外部に設けて、I/F6を介してモバイル端末等から操作可能にする構成でもよい。
メモリ3には、例えば、CPU2とプログラムとの協働により実現される機能部であるデータ処理部10と、データ管理部20とを有する。
データ処理部10は、種々の独立したプログラムA12a〜C12cが動作する処理プログラム実行部12と、これらプログラムからの要求により記憶装置4からデータを取得する処理前データ収集部15と、収集したデータに対して一意の処理ID45を生成する処理ID付与部14と、処理IDとデータ収集要求元であるプログラムA12a等とを対応付けて管理する処理ID管理表17を保持する処理ID保持部13と、プログラムA12a等の所定の処理に利用された後のデータである処理後データ41を処理ID45が付与された状態で記憶装置4に格納させる処理後データ保存部16と、を有する。
プログラムA12a〜C12cは、夫々独立した処理を行う機能部である。各プログラムは、夫々の処理において必要となる種々のデータ(例えば、医療分野における患者の属性、病歴、CTやレントゲン画像といった電子カルテに必要なデータや、工場・プラント管理における種々のセンサデータや、SNS(Social Network System)分野におけるメッセージや動画像データ、金融分野における顧客データや取引履歴並びに流通分野における顧客属性や購買履歴等、種々の分野の様々な実データやメタデータが考えられる。)を、記憶部4から取得し、夫々の処理を行うようになっている。
図3に、処理ID管理表17を模式的に示す。処理ID管理表17は、処理ID項目18と要求元項目19を有し、各プログラムのデータ取得要求によって取得した処理前データに対して処理ID付与部14が生成する一意の処理ID45をデータ取得要求元と対応づけた上で、昇順に管理する情報である。なお、本実施例はテーブルを用いた例を説明するが、本発明はこれに限るものではなくリスト構造等で保持してもよい。また、処理ID45を昇順で管理せずとも、順序性を判断可能であれば、種々の方式を適用することができる。
また、処理ID45は、データ取得イベントが発生した時刻を用いてもよい。更に、処理IDを処理ID付与部14で新たに生成する以外に、処理前データ31が有する既存の識別子を利用してもよい。この場合、処理ID付与部14や処理ID保持部13が、そのような識別子を処理前データ31から抽出し、順序性を管理できるようにすればよい。具体的には、データのメタデータとして含まれるアクセス時刻や更新時刻を処理IDとして利用してもよいし、データの記憶場所を示すパス情報を処理IDとして利用しそのパス情報をデータ取得イベントの処理対象となった順番に管理してもよい。
データ管理部20は、CPU2と、プログラムとの協働により実現される機能部である、検索条件受信部21、処理後データ収集部22、処理履歴管理部23、処理後データグループ管理表24及び検索結果送信部25を有する。データ処理部10によって管理される処理ID管理表17を用いて、各種の検索結果を演算するようになっている。
検索条件受信部21は、入出力装置5を介して入力された検索要求を受け付けるようになっている。検索要求には、所定の検索条件が含まれ、処理プログラムA12a〜12cのデータ取得イベントによって取得された処理後データをプログラム毎に抽出する要求や、全ての処理プログラムA12a〜C12cのデータ取得イベントにおいて取得された処理後データ41の検索要求等である。
処理後データ収集部22は、検索条件受信部21の検索要求受付に応じて、検索条件を満たす処理後データ41を、それに付加された処理ID45とともに収集するようになっている。
処理履歴管理部23は、処理後データ収集部22が取得した処理後ID45について、処理ID管理表17を参照して、プログラムA12a〜C12c毎にグループ分けを行い、処理後データグループ管理表24を作成する。
図4に、処理後データグループ管理表24を模式的に示す。処理後データグループ管理表24は、プログラムA12a〜C12c毎のグループ項目26〜28と、最新処理ID項目50、処理ID一覧項目51及び中間状態除去後ID一覧項目52の項目とを有する。処理ID一覧項目51には、検索条件に基づいて処理後データ収集部22が検索した処理後データ41の処理ID45が格納される。最新処理ID項目50には、処理ID一覧項目51のグループ単位で、最新(最大値)の処理ID45が格納される。
中間状態除去後ID一覧項目52には、全グループの最新処理ID50の中で、最古(最小値)の最新処理IDである全処理完了ID55よりも新しい(値がより大きい)処理IDを、処理ID一覧項目51に登録された処理IDから除いたものが格納される。例えば、最新処理ID項目50の処理IDの内、全処理完了ID55が、「5」である場合、それ以下の処理ID45(「1」、「2」、「3」、「4」、「5」)が格納されるようになっている。
検索結果送信部25は、中間状態除去後ID一覧項目52に格納された処理ID45に対応する処理後データを検索結果として出力するようになっている。
記憶装置4は、例えば、HDDやSSD等から構成され、プログラムA12a〜C12cで利用する種々のデータを保持する。記憶装置4は、処理前データX31a、Y31b…を保持する処理前データ格納領域30と、処理後データX41a、Y41b…を記憶する処理後データ格納領域40との2つの記憶領域を有する。処理前データ格納領域30の処理前データ31は、適宜更新(追加・削除・上書)されるようになっている。
処理前データ31a、31b…には、上述の処理ID45a〜45c等は付与されていない。処理後データ41a〜41cには、処理ID45a〜45c等が付与された状態で保持されるようになっている。処理ID45a〜45cは、一度付与されるとその後のプログラムA12a〜C12cの処理において削除されることなく保持し続けられるようになっている。
図5及び図6に、処理ID45を付した処理後データ41の例を模式的に示す。
図5に示すように、データ構造が、制御情報等を格納するHeader部と、実データを格納するbody部とからなる場合は、Header部に処理ID45として”ProcessID=1“を記入すればよい(数値は処理順に応じて適当に変更される。)。
また、図6に示すように、データの存在場所を示す<Source>~</ Source>の記述に続けて、メタデータとして、<Metadata>~</ Metadata>の間に“<ProcessID>1</ ProcessID>”と記述して、処理ID45を付与するようにしてもよい(数値は処理順に応じて適宜変更される。)。
なお、処理前データが取得された時刻等を処理IDに利用してもよいことは前述の通りである。
以上の構成を有する計算機システム1の処理の流れについて詳細に説明する。
図7に、データ処理部10の処理フローを示す。
S101で、処理前データ収集部15は、プログラムA12a~C12cの何れか一つから発行された処理前データ取得要求を受ける(プログラムA12aから取得要求を受けたものとする。)。
S103で、処理ID付与部14は、処理ID保持部13の処理ID管理表17を参照し、最新(最大値)の処理ID45を取得し、これを1つインクリメントした新規の処理ID45aを生成する(処理ID管理表17に最新の処理IDが無い場合は、「1」を生成する。ここでは「1」とする。)。
S105で、処理ID保持部13は、新規処理IDと、データ取得要求元であるプログラムA12aの識別情報(プログラム名)とを対応づけて、処理ID管理表17の最後尾に追加登録する。
S107で、処理前データ収集部15は、要求された処理前データX31aを収集し、新規の処理ID45aを付加して、処理プログラム実行部11に送付する。プログラムA12aは、取得した処理前データX31aに対して所定の処理を実行する。
S109で、処理後データ保存部16は、所定の処理の結果生成した処理後データX41aを、記憶装置4の処理後データ格納領域40に保存させる。このとき、処理後データX41aは、処理を行ったプログラムを識別できる状態で格納される。具体的には、処理後データ格納領域40を処理プログラム毎に確保しても良いし、処理後データX41aのメタデータとしてプログラムA12aの情報を付与しても良い。
以上がデータ処理部10の処理の流れである。
図8に、データ管理部20の処理の流れを示す。
まず、S151で、処理後データ収集部22は、入出力装置5等を介して検索条件受信部21に入力された検索要求に対し、処理後データ格納領域40から、条件に一致する処理後データ41を、付随する処理IDとともに収集する。
S153で、処理履歴管理部23は、処理ID管理表17を参照し、処理を実行したプログラムA12a〜C12c毎に、処理後データ41をグループ化して管理し、そのグループ毎に最新(最大)の処理ID45を抽出する。例えば、図4の処理後データグループ管理表25に示すように、プログラムAによって実施された処理後データ41aはプログラムAグループ26に所属し、その最新処理IDは「5」、プログラムAグループ26にグルーピングされた各処理後データ41に付随する処理ID45を、処理ID一覧項目51に「1」、「5」と記録する。他のグループも同様の処理を行う。
S155で、処理履歴管理部23は、各グループで抽出された最新処理ID45のうち、各グループ間で最も古い(最小値)処理IDを全処理完了ID55として取得する。例えば、処理後データグループ管理表25において、全処理完了ID55は最新処理IDのうち最も値の小さい「5」となる。
S157で、処理履歴管理部23は、全処理完了ID55よりも新しい(大きい)処理ID45を収集データから除去し、その結果を中間状態除去後ID一覧項目52に記録し、検索結果送信部22に送信する。例えば、処理後データグループ管理表25において、全処理完了ID55である「5」以下の処理ID45を持つ処理後データ41が処理される前の処理前データ31は、他の全ての処理の対象ともなっていると判定できる。他方、処理ID45が「5」より大きい処理ID45を保持する処理後データ41が処理される前の処理前データ31は、プログラムA12aによる処理の対象になっていない可能性がある。このような状態の処理後データ41は、除去される。
S159で、検索結果送信部25は、S151で処理後データ収集部22が検索した処理後データ41の中で、中間状態除去後ID一覧項目52に格納された処理ID45に対応する処理後データ41を検索要求元に送付する。検索要求元では、例えば画面上に送付された検索結果が表示される。
以上が、データ管理部20の処理の流れである。
このように、第1実施例の計算機システム1では、プログラム12a〜C12cのデータ取得時に、それらプログラムの処理においても改変されることのない一意且つ普遍の処理ID45を生成・付与し、全処理完了ID55に基づいて、各処理プログラムA12a〜C12c間で取得した処理前データが整合するものであるか否かを管理することができる。このことは、処理前データに対して全てのプログラムA12a〜C12cによるデータ取得が実行された結果得ることのできる処理後データ41のみを抽出・管理することができるとも言える。
また、計算機システム1では、プログラムA12a等ではなく、処理ID付与部14が処理前データ31に処理ID45を生成・付与し、処理履歴管理部23によって処理後データ41の処理ID45が利用されるため、プログラムA12a等自体の処理に影響を与えることがない。同時に、プログラムA12a〜C12c自体に処理ID45を管理する機能(プログラムの記述)を加える必要が無く、プログラムの開発工数を削減するという効果もある。
また、計算機システム1では、処理ID45が、処理プログラム実行部11等での各種処理を起因として改変されることなく処理後データ41に保持されるようになっているため、計算機システム1内において統一された識別情報として処理ID45を利用することが可能となる。
〔第1実施例の変形例〕
本発明は、第1実施例等に限定されるものではなく、その趣旨を逸脱することなく、種々の構成を適用可能である。例えば、計算機システム1では、全てのプログラムA12a〜C12cについて、処理後データ41と、データ取得イベントとの処理履歴を管理するようになっているが、特定のプログラム同士の間のみで、処理履歴を管理するようにすることもできる。
図9に、特定のプログラム間の依存関係を定義する依存グループ管理表56を模式的に示す。本表では、依存関係にあるプログラム同士がグループ化され、それに対し依存グループIDと、依存関係にある処理プログラムの識別情報(ここではプログラム名)との対応が定義される。
この依存グループ管理表56を、データ管理部20に持たせる。そして、図8に示す処理後データの検索処理において、先ず、依存グループ管理表56で依存関係にある処理プログラム同士に、依存関係ID項目57の値を付与し、依存グループIDが同一の処理プログラムについて、S153(図8)からの処理を実行するようにするようにすればよい。
これにより、特定のプログラム間における処理前データの整合性が保証された検索結果を提供することができる。
〔第2実施例〕
第2実施例の計算機システム60について説明する。第1実施例の計算機システム1は、単一の物理計算機を例として説明した。ここで、計算機システム1のプログラムA12a〜C12cは、他の計算機資源として提供されることもある。例えば、業務プログラム(アプリケーションやそれらの基盤となるミドルウェア等を含む。)が実行する何らかの処理には、検索等の機能を伴うことも多くある。データソースは共有し、業務プログラム単位でサーバ計算機を任意に追加・削除できるような構成をとることも多い。第1実施例のような単一の物理計算機では、プログラムの追加・削除はメモリ資源やCPU資源等の拡張のために、他のプログラムの実行停止や計算機の再起動等を伴うこともあり、計算機システム全体としての処理の弊害となる虞もあるからである。
第2実施例では、各プログラムを物理的に独立した計算機で提供し、それらがデータ取得イベントを同一のデータソースに対して発行する構成を有する計算機システムに本発明を適用した例を説明する。
また、第2実施例の計算機システムでは、プログラムA12a〜C12cからのデータ取得要求は、処理前データ31だけでなく、処理後データ41を対象とすることもできるようになっている。何れのデータを取得の対象とするかは、プログラムA12a〜C12cによって任意に設定できるようになっている。
なお、以下の説明において、第1実施例で説明した要素と同等の要素は同一符号を用いるものとし、詳細な説明は省略するものとする。
図10に、第2実施例の計算機システム60の構成を示す。計算機システム60の特徴の一つは、プログラムA12a〜C12cを夫々物理的に独立した実行計算機70a〜70cで実行するようになっている。また、第1実施例におけるデータ処理部10の機能部をデータ記憶装置90に有し、データ管理部20の各機能部をデータ管理装置80に有する構成をとるようになっている点である。各実行計算機70a〜70cは、自プログラムを稼動させる計算機資源を確保しているため、計算機システム60に対する追加・削除にともなうシステム全体の(一時)停止等に影響を与えないという利点がある。
データ管理装置80は、CPU81、メモリ22、記憶装置83及び外部通信の為のI/F84を含む計算機装置である。メモリ22に、検索条件受信部21、処理後データ収集部22、処理後データグループ管理表24及び検索結果送信部25を有する。
実行計算機70a〜70cは、CPU71、メモリ72、記憶装置73及び外部との通信を行うI/F74を含む計算機装置である。本例は、3つの実行計算機を設けた構成を用いるが、計算機システム60のシステム要件に応じて、適宜その数は増減可能である。メモリ72には、プログラムA12a〜C12cが、夫々稼動可能なようになっている。実行計算機70a〜70cは、データ記憶装置90の記憶部93に格納されたデータを共有のデータソースとする。実行計算機70a〜70cは、記憶部93の処理前データ31や処理後データ41を任意のタイミングで取得(クローリング)し、取得したデータを夫々のプログラムA12a〜C12cで利用するようになっている。
データ記録装置90は、CPU91、メモリ92、記憶部93及び外部との通信を行うI/F94を含む計算機装置であり、例えば、サーバ装置やストレージ装置を適用することができる。メモリ92には、処理前データ収集部15、処理ID付与部14、処理後データ保存部16、処理ID保持部13及び処理ID管理表17を有するが、新たに処理データ制御部95を有する点が第1実施例と異なる。
処理データ制御部95は、実行計算機70a〜70cからのデータ取得要求を受け、処理前データ記憶領域30、処理後データ格納領域40或いはその両方に格納されたデータ群から、要求に応じたデータを検索し、実行計算機A12a等に送信するようになっている。より具体的には、処理データ制御部95は、実行計算機70等からの要求が処理前データ格納領域30に格納された処理前データ(データ取得がされる前のデータ)である場合は、処理を処理前データ収集部15に渡し、処理後データ領域40に格納されたデータ(データ取得後のデータ)である場合は、処理後データ格納領域40から、要求された処理後データを取得し、要求元の実行計算機に出力するようになっている。
以上が計算機システム60の構成である。
なお、第2実施例では、データ管理装置80と、データ記憶装置90とを別の計算機装置とする例を用いて説明するが、本発明はこれに限定されるものではなく、両者を同一計算機内で構成することも可能である。
更に、実行計算機70等は、1つのプログラムに対して1台の計算機装置とする構成以外にも、仮想計算機として単一の物理計算機に複数の仮想計算機が設けられる構成とすることも可能である。この場合、物理計算機には、仮想計算機の増減に際して自律的にCPUやメモリ等の計算機資源を制御可能とする機能を設けるとよい。
図11に、計算機システム60のデータ記録装置90の処理フローを示す。
S201で、データ制御部95は、実行計算機70a〜70cのプログラムA12a〜C12cのいずれかからデータ取得要求を受けると(プログラムA12aからのデータ取得要求とする)、その要求が処理前データ31の取得要求であるのか、処理後データ41の取得要求であるのかを判定する。処理前データ31の取得要求の場合(S201:Yes)、S203に進み、処理後データ41の取得要求の場合(S201:NO)、S213に進む。
S203で、処理前データ収集部15は、データ制御部95からの処理前データ31の収集指示を受信する。
S205で、処理ID付与部14は、処理ID保持部13の処理ID管理表17を参照し、最新(最大値)の処理IDを取得し、これをインクリメントした新規の処理ID45aを生成し(処理ID管理表17に最新の処理IDがない場合は、「1」を生成する。ここでは「1」とする。)、データ取得要求元であるプログラムA12aの識別情報(プログラム名)と対応づけて、処理ID管理表17の最後尾に追加登録する。
S207で、処理前データ収集部15は、要求された処理前データX31aを収集し、新規処理ID45aを付加して、要求元の実行計算機A12aに送信する。プログラムA12aは、取得した処理前データX31aに対して所定の処理を実行する。
S209で、処理後データ保存部16は、所定の処理により生成された処理後データ41aを実行計算機70aから受信し、新規処理ID45aが付加された状態で処理後データ格納領域40に保存させる。このとき、記録部93は、処理後データ41aに処理を行ったプログラムを識別できる形式で格納する。
他方、S201の判断で、データ収集要求の対象が処理前データで無いと判断すると、S213で、処理データ制御部95は、処理後データ格納領域40にアクセスし、要求の検索条件に一致する処理後データを収集し、要求元である実行計算機70aに送信する。 以上がデータ記録装置90の処理の流れである。
なお、このようにして管理される処理ID管理表17が、データ管理装置80において、各実行計算機70a〜70cで利用するデータの整合性を確認することができる処理履歴管理を行うことは、第1実施例と同様である。
以上、第2実施例における計算機システム60によれば、実行計算機70と処理前後のデータの記憶を夫々異なる計算機で実現できるため、処理前後データの記憶を実現する装置を停止することなく処理の実行を実現する計算機をシステムに追加することができる。 また、複数の実行計算機70に対し、データの保持及び処理ID45の管理をデータ記憶装置90で一元的に管理するため、実行計算機70の構成がより複雑になっても、計算機システム60で統一された処理IDを用いて管理することが可能となる。
更に、計算機システム60でも、第1実施例と同様に処理ID45を用いることでプログラムA12a〜C12c間の処理前データの整合性を管理することができる。
〔第3実施例〕
第1及び第2実施例において、プログラムA12a〜C12cの所定の処理によって生成された処理後データ41が、再び自身又は他のプログラムのデータ取得要求の対象になる場合も考えられる。以下、このような一度処理対象として取得され、取得元のプログラムによるデータ処理(加工含む。)で生成された処理後データに対して、再度データ取得が行われ、再取得元のプログラムによるデータ処理(加工含む。)で生成された処理後データを生成する処理を「多段処理」と称する。多段処理では、前回取得・生成された処理後データと、今回取得・生成された処理後データとでは、取得対象とするデータ群が異なることになる。
第3実施例では、多段処理が発生する場合に、前回までと、今回までとの処理後データ41の整合性を管理する計算機システム100について説明する。
なお、計算機システム100は、第2実施例の計算機システム60の構成を基調とするが、多段処理に対する処理履歴の管理は第1実施例の計算機システム1にも適用可能である。以下、特に構成が異なる部分について説明し、機能・要素を共通にするものは同一符号を用いて詳細な説明を省略する。
図12に、計算機システム100の構成を示す。計算機システム100は、検索要求元から検索キーと検索条件が含まれた検索要求を、データ管理装置80が受けるようになっている。データ管理装置80では、検索キーに該当する処理後データ41群が抽出され、その中で検索条件を満たす処理後データについて、多段処理によるデータの整合性が考慮された処理後データを検索結果として求める処理を行うよう点が他の実施例と異なる。
更に、計算機システム100は、データ記憶装置90において、プログラムA12a〜C12cからの処理後データに対するデータ取得要求を処理可能とし、処理後データに対してデータ取得要求がされた場合に、その処理後データに新たな処理ID45が生成・付与される点が他の実施例と異なる。
先ずデータ記憶装置90における相違点について、詳細に説明する。
処理データ制御部120では、実行計算機70a〜70cの何れかから発行されたデータ取得要求に対するデータが、処理前データ或いは処理後データの何れであるかを判定するようになっている。この判定は、データ記憶装置90でのデータの格納先が、処理前データ格納領域30であるか或いは処理後データ格納領域40であるかによって判定するようになっている。なお、処理後データ41に付与されている処理ID45の有無により判定してもよい。
処理データ制御部120によって取得要求の対象が処理前データ31であると判定された場合には、他の実施例と同様に、処理前データ収集部15によって、所定の処理前データ31が取得され、処理ID管理表17の最新の処理IDを1インクリメントした処理ID45が生成され、これが処理前データに付与された状態で、データ取得要求元の実行計算機70に送信される。同時に、処理ID管理表17には、処理IDと取得要求元が記録される。
実行計算機に送信されたデータは、プログラムA12a等によって所定の処理(加工)が行われて、処理ID45が付与された状態の処理後データ45が生成される。その後、処理後データ保存部16によって処理後データ格納領域に格納される。
他方、実行計算機70からのデータ取得対象が処理後データであると判定された場合、処理データ制御部120によって、処理ID管理表17の最新の処理ID45を1インクリメントした処理ID45が生成され、その処理ID45が付与された状態で取得要求先の実行計算機70に処理後データ41が送信される。同時に、処理ID管理表17の最後尾には、生成した処理IDと取得要求元が記録される。
図13に、処理後データが再取得され、多段処理が行われた処理後データの生成・格納例を模式的に示す。
まず、実行計算機70aのプログラムA12aからの処理前データの取得要求を受け、処理前データX31aが処理前データ格納領域30から取得され、処理ID45aが付与される。その後、プログラムA12aの処理によって、処理後データX40aが生成され、処理後データX41aが処理後データ格納領域40に格納される。以下、処理前データY31b及び処理前データZ31cについても、同様に処理後データY41b、処理後データZ41cとして処理後データ格納領域40に格納される。
ついで、処理前データ制御部120は、プログラムB12bから、処理後データX41aの取得要求を受けるものとする。処理データ制御部120では、処理ID管理表17において、この時点での最新の処理IDである処理ID45c(「3」)を取得し、これを1インクリメントした「4」の処理ID45dが生成される。生成された処理ID45d(「4」)は、処理後データX40aに追加付与され、プログラムB12bに送信される。プログラムB12bによって処理された処理後データXX41dが、処理後データ格納領域40に格納されることとなる。以下、処理後データY41b及び処理後データZ41cも同様に処理後データYY41e、処理後データZZ41fとして処理後データ格納領域40に格納されるようになっている。なお、図14に、図13の例における処理ID管理表17の例を示す。
図15A及び図15Bに、処理後データ41に処理ID45が追加付与される実装例を示す。図15Aは、ヘッダ部に処理ID45が昇順に追加されている例である。”ProcessID=3”が追加で付与された処理IDである。図15Bは、メタデータとして処理IDが追加された例を示す。”<IDList>”〜”</IDList>”で囲まれた領域の「3」が追加付与された処理IDである。
データ管理装置80の変更点について詳細に説明する。
データ管理装置80では、処理後データ収集部22及び処理履歴管理部23の処理内容が、特に他の実施例と異なる。
処理後データ収集部22では、検索要求元からの所定の検索キーを含む検索要求に対する検索処理が、処理後データ格納領域40に格納された処理後データ41全体に対して行われる。
処理履歴管理部23では、処理後データ収集部40による検索結果として抽出された処理後データ41群のうち、実行計算機70a〜cからのデータ取得要求対象とされた処理後データのみが、検索結果として検索要求元に返信されるようになっている。即ち多段処理によって生成された処理後データ41のみが検索要求の結果として返信されるようになっている。
処理履歴管理部23では、検索要求に応じて処理後データ格納領域40から、検索内容を満たす処理後データが、夫々に付与された付与ID45と共に取得される。その後、取得された処理後データ41群のうち最新の処理IDが抽出される。処理履歴管理部23では、処理ID管理表17に基づいて、抽出された最新の処理ID45の要求元(プログラム名)が抽出され、処理ID管理表17において、その要求元(プログラム名)と同じ要求元名を有し且つ最新の処理ID41移行に発行された処理ID45を有する処理後データ41が、検索要求元に検索結果として送信されるようになっている。
例えば、図13を例に説明すると、検索キーに該当した処理後データ41が、処理後データX41aと、処理後データXX41dとであったとする(処理IDは「1」と「4」)。最新の処理IDは「4」であるから、処理ID管理表17を参照し、処理ID「4」の取得要求元名が取得される。本例では、「プログラムB」である。処理ID管理表17において、取得要求元を同様にプログラムBとする処理後データ41は、処理後データYY41e及び処理後データZZ41fである。これらは取得要求元であるプログラムBを同一とし且つ最新の処理IDである「4」以降の処理ID「5」「6」を有する。処理履歴管理部23では、「4」、「5」、「6」の処理ID45を有する処理後データ41を、検索結果送信部25によって検索要求元に送信させることとなる。
処理後データXX41dは、処理後データX41aを基に多段処理が行われたデータである。このため、検索要求に含まれる検索キーに該当するデータが、処理後データX41a及び処理後データXX41dに含まれていることになる。よって、検索キーに該当するデータを包含する処理後データ群のうち、最新の処理ID45を有する処理後データは、多段処理によって生成された処理後データとなる。
以上の構成において、計算機システム100の処理の流れを図16及び図17のフロー図を用いて説明する。
図16に、データ記憶装置90の処理フローを示す。
S301で、処理データ制御部120は、実行計算機70a〜70cの何れかからデータ取得イベントの発行を受ける。
S303で、処理データ制御部120は、処理ID付与部14に、処理ID管理表17を参照させ、最新(最大値)の処理IDが、1インクリメントされた新規処理IDを生成させる。そして、処理ID管理表17に新規エントリを追加させ、新規処理IDと、要求元プログラム名とを対応付けて記録させる。
S305で、処理データ制御部120は、データの取得先の記録領域に基づいて、取得先が処理前データ格納領域30であるか、処理後データ記録領域40であるかを判断する。処理後データ格納領域40である場合、S307に進み、処理前データ格納領域30である場合、S313に進む。
S307で、処理データ制御部120は、処理後データ記録領域40から、所定の処理後データ41を取得する。
S309で、処理ID付与部14は、取得した処理後データ41に、S303で生成した新規処理IDを追加付与して、要求元の実行計算機70に送信する。
S311で、処理後データ保存部16は、実行計算機70a等のプログラムA12a等のよる所定の処理によって生成された処理後データ41を受信し、付与された或いは追加付与された処理ID45とともに処理後データ記録領域40に格納させる。
他方、S313に進んだ場合、処理前データ収集部15は、処理前データ記録領域30から処理前データを収集し、S309の処理に進む。
以上が、データ記憶装置90の動作の流れである。
次いで、図17に、データ管理装置80の処理フローを示す。
S351で、検索条件受信部21が、検索要求元から所定の検索キーを含む検索要求を受信する。
S353で、処理後データ収集部22は、検索キーに基づいて処理後データ格納領域40の処理後データ41群を検索し、検索キーに該当する処理後データを、付随する処理ID45とともに抽出する。
S355で、処理履歴管理部23は、抽出された処理後データ41群の処理ID45の中から最新の処理ID45を抽出する。
S357で、処理履歴管理部23は、処理ID管理表17を取得し、S355で抽出した最新処理IDに対応する取得要求元(プログラム名)を抽出する。
S359で、処理履歴管理部23は、処理ID管理表17において、取得要求元(プログラム名)が同一で且つS355で抽出した最新処理IDよりも値の大きい処理IDを抽出する。
S361で、処理履歴管理部23は、S359で抽出した、最新処理IDよりも値の大きい処理IDを有する処理後データ45を処理後データ格納領域40から抽出する。
S363で、処理履歴管理部23は、最新処理IDを有する処理後データ45と、最新処理IDよりも値の大きい処理IDを有する処理後データ45とを、検索結果送信部25を介して検索要求元に返信する。
以上がデータ管理装置80の動作の流れである。
このように、第3実施例の計算機システム100によれば、多段処理が行われる処理後データ41について、所定の検索キーに対応する処理後データのうち、多段処理が行われた処理後データ及びそれ以降に多段処理が行われた処理後データを管理することができる。
〔第4実施例〕
第4実施例では、データ形式の異なるデータを格納する複数のデータソースを利用することができる構成の計算機システム150について説明する。計算機システムにおいて、データの種別や量を増加させる為に、外部の計算機システムで管理するデータを自計算機システムで利用できるようにすることが好ましい場合もある。
しかしながら、外部システムで管理されるデータの形式が、自計算機システムのデータ形式と異なる場合、同一の処理プログラムにより処理することができないこともある。
更には、外部システムで管理されるデータを利用することはデータ量が膨大となり、データに対するデータ取得イベント等の処理履歴を管理する負荷も増加するといえる。
そこで、第4実施例の計算機システム150は、データ記憶装置90において、異なるデータ形式であっても、各処理プログラムで利用することができるデータ形式に変換する変換機能を有することを特徴の一つとする。変換機能としては、ソフトウェアとCPUとの協働によりETL(Extruct/Transform/Load)を実現する機能部(外部システムデータ収集部151、データ変換部152、変換規則保持部153、変換プログラム群155)を有するものとする。
図18に、計算機システム150の構成を示す。計算機システム150のデータ管理装置80及び実行計算機70a〜70cは第1〜第3実施例の計算機システムと同等の機能構成を有する。データ記録装置90に、外部システム170a、170b等のデータを計算システム150で利用できるようにするデータ変換機能と、それら外部システムのデータを含めたデータの処理IDを管理する機能を有する点が他の実施例と特に異なる点である。
外部システム170a及び170bは、データを格納する記憶装置を有する計算機システムであり、通信線を介してデータ記憶装置90と通信可能になっている。夫々データ形式の異なるデータ(文字列データや画像データ等)が格納される。また、外部システム170a及び170bに格納されたデータは、処理前データ格納領域30の処理前データ31a〜31cと同様に、プログラムA12a〜C12cからのデータ取得要求がなされていない処理前データである。後述するデータ記憶装置90のデータ送受信部151からの要求に応じて、適当な処理前データL33a〜R35b等をデータ記憶装置90に送信するようになっている。
また、外部システム170a及び170cも、外部システム単位で接続先(不図示)から適宜、外部システム内に保持されるデータが更新されるようになっている。
なお、本例では、外部システムが2つの例であるが、システムの仕様に応じ、その数は任意である。
データ記憶装置90は、外部データ収集部151、データ変換部152、変換規則保存部153、変換規則表154及び変換プログラム群155を新たに有する。
外部データ収集部151は、プログラムA12a等から処理データ制御部121を介して受信したデータ取得要求に応じて、外部システム170a及び170bから要求に沿ったデータを取得するようになっている。外部システム170a及び170bは、外部データ収集部151からの要求に応じて自装置の記憶領域を検索し、検索結果を返信するようになっている。
データ変換部152は、外部システム170a及び170bから取得した処理前データL33a等について、夫々のデータ形式に対応する変換プログラムをもって、データ形式の変換を行うようになっている。より具体的には、変換規則保持部153は、予めデータ形式とその変換プログラムの対応関係を示す変換規則表154を有し、これに応じて樹種のデータ形式に対応した変換プログラム群155から適当な変換プログラムを呼び出し、所定のデータ形式に変換した処理前データを生成するようになっている。データ形式の変換された処理前データL33a等は、その後、処理ID付与部16に保持されるようになっている。
図19に、変換規則管理表154を模式的に示す。変換規則管理表154は、データ形式項目160と、変換プログラム項目161を有する。例えば、データ形式が「文字列」であれば、変換プログラムは「A変換プログラム」であるという対応を示す。
図18に戻り、計算機システム150でも、処理前データ格納領域30から取得された処理前データX31a等及び外部システム170a並びに170bから取得され、データ形式が変換された処理前データL33a等は、処理ID付与部14によって処理ID45が付与され、処理データ制御部121を介して要求元のプログラムA12a等に送信される。
また同様に、プログラムA12a〜C12cの所定の処理によって生成された処理後データ41a等が、処理ID45が付与された状態で、処理後データ格納領域40に格納されるようになっている。図18において、処理ID45lが「12」の処理後データ41l等は、外部システム170aから取得された処理前データL33a等が、処理後データとして格納されている様を示す。
以上の構成を有する計算機システム150の処理の流れを説明する。
図20に、データ記憶装置90の処理フローを示す。
S401で、処理データ制御部121は、プログラムA12a等からデータ取得要求を受信し、処理前データ収集部15及び外部データ収集部151に、要求に沿ったデータの取得要求を送信する。
S403で、処理前データ収集部15は、処理前データ記録領域30から、外部データ収集部151は、外部システム170a及び170bから、取得要求に沿った処理前データ(処理前データX31a、処理前データL33a、処理前データQ35a等)を取得する。
S405で、データ変換部152は、外部システム170a等から取得した処理前データL33a等について、変換規則管理表154を参照し、夫々のデータ形式に対応する変換プログラムを変換プログラム群155から呼び出し、プログラムA12a等で利用可能なデータ形式に変換する。
S407で、処理前データ収集部15は、処理前データ格納領域30から取得した処理前データ(処理前データ31a等)を、データ変換部152は、データ形式変換後の処理前データ(処理前データL33a等)を、夫々処理ID付与部14に送信する。
S409で、処理ID付与部16は、処理ID管理表17を参照し、最大値(最新)の処理IDを抽出して、これを1つインクリメントし(処理IDが記録されて無い場合は「1」)、新規処理IDを生成する。
S411で、処理ID保持部13は、新規処理IDと、データ取得要求元のプログラム名とを対応付けて、処理ID管理表17の最後に新規エントリとして追加記録する。
S413で、処理ID付与部16は、新規処理IDを処理前データに付与して、処理データ制御部121を通じて要求元に送信する。
S415で、処理ID付与部16は、後続する取得データが有るかをチェックし、ある場合には(S415:Yes)S409の処理に戻り、無い場合には(S415:No)処理を終了する。
S417で、処理データ制御部121は、プログラムA12a等の所定の処理によって生成された処理後ID45aが付加された処理後データ41a等を受信し、処理後データ格納領域40に可能する。
以上が、計算機システム150におけるデータ記録装置90の処理の流れである。
この後、他の実施例と同様にデータ管理装置80よって、全てのプログラムA12a等において整合性のある処理前データ31から生成された処理後データ41を、検索要求元に提供することとなる。
以上、第4実施例の計算機システム150によれば、自計算機システム上で利用不可能なデータ形式のデータを有する外部システムのデータを利用する構成においても、データ取得履歴等の処理履歴管理を、処理IDを用いて簡便に行うことができる。
特に、プログラムA12a等のからの共有リソースとして機能するデータ記憶装置90に、処理ID45を一元管理させる機能を設けることで、プログラムA12a等に処理履歴の管理を実現する改変をする必要がない事に加え、外部システム170a等の拡張性にも柔軟且つ簡便に対応することのできる処理履歴の管理を簡便に提供できるという効果がある。
〔第5実施例〕
第4実施例の計算機システム150では、データ記憶装置90は、実行計算機70a(プログラムA12a含む)等がデータ取得イベント(データ取得要求)を開始する契機で、外部システム170a等から処理前データを収集するようになっている。
ここで、データ記憶装置90が、実行計算機70a等からのデータ取得イベントの発行前に、予め外部システム170a等からデータ取得をしておけば、実行計算機70a等の要求するデータへのアクセス性能(例えば、アクセス速度)は向上する。特に、実行計算機70a等のデータ取得が参照のみを目的とする場合には、利便性及びシステム負荷の低減効果が向上するとも言える。
しかしながら、実行計算機70a等のデータ取得要求によって処理前データを実行計算機装置70aに送信した後に、データ記憶装置90の処理前データを更新すると、実行計算機70a等に取得されたデータと、データ記憶装置90の更新データとの整合性が保証できないという問題がある。即ち実行計算機70aが処理を開始する契機と同期して収集する以上、任意の契機で参照できる処理前データを更新することができないこととなる。 そこで、第5実施例の計算機システム200では、データ記憶装置90での処理前データの更新を任意の契機で実行しつつ実行計算機70a等のデータ取得要求によって取得されたデータとの差分も管理することができるようになっている。
図21に、計算機システム200の構成を示す。計算機システム200では、新たにデータ抽出装置210を有することを特徴の一つとする。
データ抽出装置210は、実行計算機70a等からのデータ取得要求には依存せずに、例えば、スケジュール化された任意の契機で、外部システム170a及び170bから処理前データを収集(クロール)するようになっている。
また、データ記憶装置90は、実行計算機70a等からのデータ取得要求の受信を契機に、データ抽出装置210から予め所定のスケジュールで取得した外部システム170a等からの処理前データを取得し、これに処理ID45を付加して要求元である実行計算機70a等に処理前データを送信するようになっている。処理ID45とデータ取得要求元を処理ID管理表17等で管理するのは、他の実施例と同様である。
また、データ記憶装置90は、データ抽出装置210における外部システム170a等からのデータ収集スケジュールを管理するようになっており、所定時刻になるとデータ記憶装置にデータ収集処理を指示する。
データ抽出装置210の構成を詳細に説明する。データ抽出装置は、メモリ211に、データ送受信部220、外部データ収集部151、データ変換部152、変換規則保持部153、変換規則表154、及び変換プログラム群155を有する。また、記憶部230を有し、外部システム170a等から取得したデータを格納可能となっている。
データ送受信部220は、データ記憶装置90から、データ収集指示を受信し、外部データ収集部151に、外部システム170a等から処理前データL33a等を収集させ、これを所定のデータ形式に変換した後、データ記憶装置90に出力するようになっている。
外部データ収集部151、データ変換部152、変換規則保持部153、変換規則表154及び変換プログラム群155は、第4実施例と同様の処理を行う。データ変換部152は、外部データ収集部151によって収集された処理前データに対し、変換規則保持部153が保持する変換規則表154を参照し、処理前データのデータ形式に応じて適当な変換プログラムを変換プログラム郡155から呼び出し、計算機システム200で利用可能なデータ形式に変換する。形式が変換されたデータは、適宜、データ記憶装置90に出力される。
データ記憶装置90は、メモリ92に、データ収集スケジューラ205を新たに有する。データ収集スケジューラ205は、収集スケジュール管理表206を保持する。
図22に、収集スケジュール管理表206を模式的に示す。収集スケジュール管理表206は、処理前データの収集先である外部システムを識別する収集先207、単位時間当たりのデータ収集指示の送信回数を格納する収集スケジュール項目208(例えば、60分に3回)及びデータ収集処理を最後に実行したときの時刻を格納する最新収集時刻209の各項目を有する。収集スケジュール管理表206は、静的に設定されるものであり、管理端末等を介して設定変更が可能であるものとする。データ収集スケジューラ205は、収集スケジュール管理表206を参照し、適宜、データ抽出装置210にデータ収集指示を送信するようになっている。
なお、データ収集指示に応じてデータ抽出装置210から送信された処理前データは、処理前データ格納領域30に蓄積されるようになっている。
以上の構成を有する計算機システム200の処理の流れを説明する。
図23に、データ抽出装置210の処理フローを示す。
S501で、データ送受信部220は、データ管理装置90のデータ収集スケジューラ205から処理前データ収集(クロール)の指示を受け、外部データ収集部151にデータ収集コマンドを送信する。
S503で、外部データ収集部151は、外部システム170a〜170bから処理前データを収集し、データ変換部152に送信する。
S505で、データ変換部152は、データ変換規則保持部153の変換規則表154を参照し、収集したデータのデータ形式に対応する変換プログラムを変換プログラム群155から呼び出し、計算機システム200で処理可能なデータ形式に変換された処理前データを生成する。
S507で、データ送受信部220は、変換後の処理前データをデータ記憶装置90に送信する。
S509で、処理データ制御部121は、プログラムA12a等の所定の処理によって生成された処理ID付きの処理後データを受信し、処理後データ格納領域40に格納する。
以上が、データ抽出装置210の処理の流れである。
図24に、データ記憶装置90の処理フローを示す。
S551で、データ収集スケジューラ205は、収集スケジュール管理表206を取得する。
S553で、データ収集スケジューラ205は、収集スケジュール管理表206の各外部システムの最新更新時刻と、現在時刻との差分を夫々算出する。
S555で、データ収集スケジューラ205は、算出した差分時間の夫々について、対応する収集スケジュールよりも大である外部システムが有るか否かを判断する。大のものが有る場合には、S557に進み(S555:YES)、無い場合(S555:NO)にはS553に戻り、差分時間の管理を継続する。
S557で、処理データ制御部121は、データ抽出装置210のデータ送受信部220に対し、差分時間が収集スケジュールよりも大である外部システムに関す、データ収集指示を送付する。
S559で、処理データ制御部121は、S557で指定した外部システムからの処理前データについて、データ抽出装置210からの受信が完了するまで待機する。例えば、データ抽出装置210からのデータ送信完了通知を受領するまで待機する。
S561で、データ収集スケジューラ205は、データ送受信部120からのデータ受信完了の通知を受け、現在の時刻を最新更新時刻として、収集スケジュール管理表206上で該当する外部システムの項目を更新する。
なお、S561の処理の後、先頭のS551に戻るようにしてもよいし、収集スケジュールが最短の間隔よりも短い間隔で本処理を実行するようにしてもよい。
以上が、データ記録装置90の収集スケジュール処理の流れである。
このようにしてデータ記録装置90の処理前データ格納領域30に収集されたデータ形式変換後の処理前データL33aやQ35aは、第1から第4実施例と同様に、プログラムA12aのデータ取得要求に応じて適宜利用され、更に、処理ID45に基づいて処理履歴管理が行われるようになっている。
第5実施例の計算機システム200によれば、実行計算機70等(プログラムA12a等)での処理と非同期的にデータを抽出することで、実施例1〜5で示した効果に加え、複数の外部システム170a〜170bから収集できる全ての処理前データを単一のデータ記憶装置90に格納させ、参照を可能とする効果がある。
更に、データ記憶装置90に記憶した処理前データを、実行計算機70a等(プログラムA12a等)が収集要求する契機に関わらず任意の契機で更新することができる。
〔第6実施例〕
第1〜第5実施例の計算機システムで仮想するプログラムA12a等には様々な種類の処理を行うものを適用することができる。プログラムの中には、コンピューティングリソースを多く使うコストの高い処理や価値の高いデータと組み合わせることで、価値の高いデータを生成する処理を行うものもある。このように、処理後データ41a等毎で、生成過程に必要となったコストやその価値が異なることもある。
第6実施例では、処理ID45と、そのデータの価値を定義する情報(例えば、データ価格等)との関連を更に定義して、処理後データ41毎にデータ価値を更に提供できる計算機システム250について説明する。
図25に、計算機システム250の構成を示す。計算機システム250は、第1実施例の計算機システム1を基調とする。相違点は、処理コスト管理表251を有する点と、検索要求元からの検索要求に応答する検索結果について、処理コスト管理表251に基づいてデータ価格を算出する処理履歴管理部260と、検索結果を検索要求元に提供する前に算出されたデータ価格を検索要求元に出力する検索結果270とを有する点である。
図26に、処理コスト管理表251を模式的に示す。処理コスト管理表251は、所定の処理によって処理後データ41を生成したプログラムA12a〜C12c毎に、データの価格が定義されている情報である。計算機システム250の管理者等によって、予め定義されているものである。なお、定義は適宜設定変更可能である。
処理コスト管理表251では、プログラム名項目252と、処理後データ価格項目253とが含まれる。プログラム名項目252には、処理後データ41を生成したプログラム名が登録される。データ価格項目253には、プログラムA12a〜C12c毎の単位量あたりのデータ価格が登録される。単位量には、データサイズやファイル数等が設定可能であり、定額又は無料も設定できるようになっている(図において「Free」は無料であることを示す)。
処理履歴管理部260では、第1実施例と同様に、先ず処理後データ格納領域40から収集された処理後データ41について、処理後データグループ管理表251が作成され、整合性ある処理前データ31ら生成された処理後データ41が抽出される(図8参照)。その後、処理履歴管理部260では、抽出された処理後データ群に対し、処理コスト管理表251に基づいてプログラムの種別に応じたデータ価格が算出されるようになっている。算出されたデータ価格と、処理後データ41とは、検索結果送信部270に送信される。
検索結果送信部270では、処理後データ41に対して価格がチェックされる。具体的には、プログラムグループのデータをチェックし、無料の場合は、そのグループに属する処理ID45に対応する処理後データ41を検索要求元に送信する。有料の場合は、そのグループに属する処理ID45に対応する処理後データ41を送信せずに、変わりにデータ価格の情報を検索要求元に出力するようになっている。
図27に、検索要求元の画面に表示される検索結果画面300を模式的に示す。検索結果画面300には、検索要求元が検索条件を入力する検索キーワード入力欄305(「株価」、「上昇」、「銘柄」のキーワードが入力されている様を示す。)、データ価格が無料(Free)に設定されているプログラムB12bの検索結果を表示する無料検索結果表示欄310、データ価格が有料に設定されているプログラムA12a及びC12cのヒット件数及び価格等を表示する有料検索結果表示欄330が含まれる。
有料検索については、検索者によって購入ボタン331aや331bが操作されることを契機に、(所定の支払い機構等(不図示)を介して決裁が行われた後)、夫々のプログラムに対応する処理後データ41が、検索結果送信270から送信され、表示されるようになっている。
以上の構成を有するデータ管理部20の処理の流れを説明する。
図28に、データ管理部20の処理フローを示す。
S601で、処理後データ収集部22は、入出力装置5等を介して検索条件受信部21に入力された検索要求に対し、処理後データ格納領域40から、条件に一致する処理後データ41を、付随する処理IDとともに収集する。
S603で、処理履歴管理部260は、処理ID管理表17を参照し、処理を実行したプログラムA12a〜C12c毎に、処理後データ41をグループ化して管理し、そのグループ毎に最新(最大)の処理ID45を抽出する。
S605で、処理履歴管理部260は、各グループで抽出された最新処理ID45のうち、各グループ間で最も古い(最小値)処理IDを全処理完了ID55として取得する。 S607で、処理履歴管理部260は、全処理完了ID55よりも新しい(大きい)処理ID45を収集データから除去し、その結果を中間状態除去後ID一覧項目52に記録し、検索結果送信部22に送信する。
S609で、処理履歴管理部260は、処理コスト管理表251を参照し、グループ毎にデータ価格を算出する。具体的には、処理後データグループ管理表24の中間状態除去後ID一覧項目52に属する処理ID45を有する処理後データ41について、グループ毎にデータ価格を求める。
S611で、処理履歴管理部260は、各グループが有料であるのか無料であるのかをチェックし、無料である場合には、無料のグループを検索結果送信部270に通知する。検索結果送信部270は、通知を受けた無料のグループについて、中間状態除去後ID項目52に記録された処理IDに対応する処理後データ41を検索要求元に送信する(S619)。
S613で、処理履歴管理部260は、有料のグループについて、データの価格を示す価格データを検索結果送信部270に送信させる。
S615で、検索結果送信部270は、検索要求元から有料プログラムの処理後データの購入要求の受信があるか否かを判断し、購入要求を受信した場合には、購入対象の有料プログラムのグループの中間状態除去後ID一覧項目52に属する処理ID45の処理後データ41を検索要求元に送信する。
以上が、データ管理部20の処理の流れである。
第6実施例の計算機システム250によれば、処理後データの価格管理により、処理後データをその処理履歴ごとの価格を設定することができる。
以上、本発明を適用した実施例を説明したが、本発明はこれらの実施例に限定されるものではなく、その趣旨を逸脱することなく、種々の変更が可能である。例えば、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。
なお、各実施例を実現するプログラム、テーブル及びファイル等の情報は、磁気的・電子的な記録媒体に格納することができる。
1、60、100、150、200、250 計算機システム
10 データ処理部
13 処理ID保持部
14 処理ID付与部
17 処理ID管理表
20 データ管理部
30 処理前データ格納領域
31 処理前データ
40 処理後データ格納領域
41 処理後データ
45 処理ID
70 実行計算機
80 データ管理装置
90 データ記録装置
117 多段処理ID管理表
151 外部データ収集部
152 データ変換部
153 変換規則保持部
154 変換規則表
251 処理コスト管理表

Claims (14)

  1. 処理前データを取得して所定の処理を実行し、その処理の結果として処理後データを生成する複数の処理部と、
    前記複数の処理部の各々によって前記処理前データが取得される契機に、その取得の順序性を示し且つ前記複数の処理部の所定の処理の前後で更新されない処理IDを、取得される処理前データに付与し、前記処理部の所定の処理によって生成された処理後データを記憶装置に格納させるデータ処理部と
    所定のデータ検索条件を受信し、前記記憶装置に格納された処理後データを抽出する際、前記データ検索条件を満たす処理後データのうち、処理部毎の処理後データ間で最新であって、各処理部間で最古となる処理ID以前の処理IDを有する処理後データを抽出し、検索要求元に出力するデータ管理部と、
    を有する計算機システム。
  2. 請求項1に記載の計算機システムであって、
    前記データ処理部は、前記各処理部が処理前データを取得する度に、テーブル上で前記処理IDを昇順若しくは降順に管理する計算機システム。
  3. 請求項1に記載の計算機システムであって、
    前記処理IDは、前記処理部が前記処理前データを取得した時刻を示す情報である計算機システム。
  4. 請求項1の計算機システムであって、前記処理IDは、処理前データを取得した前記複数の処理部の識別情報と対応付けて管理する計算機システム。
  5. 請求項1の計算機システムであって、
    前記複数の処理部の依存関係を示す依存関係情報を更に有し、
    前記データ管理部は、前記検索条件を満たす処理後データのうち、前記依存関係情報に基づいて、依存関係にある処理部毎の処理後データ間で最新であって、各処理部間で最古となる処理ID以前の処理IDを有する処理後データを抽出する計算機システム。
  6. 請求項1の計算機システムであって、
    前記複数の処理部毎に、生成する処理後データの価値を示す情報を定義する価値管理情報を更に有し、
    前記データ管理部は、価値管理情報参照し、抽出した処理後データの価値情報を生成し、価値が一定値以下の処理後データを前記検索要求元に出力し、価値が一定値より大きい処理後データは前記生成した価値情報を前記検索要求元に出力する計算機システム。
  7. 請求項に記載の計算機システムであって、
    前記データ管理部は、前記価値情報を出力した処理後データに対する取得要求を前記検索要求元から受信し、価値情報に対応する処理後データを検索要求元に送信する計算機システム。
  8. 請求項又はに記載の計算機システムであって、
    前記価値管理情報が定義するデータの価値を示す情報は、単位データ量あたりの価格である計算機システム。
  9. 請求項1に記載の計算機システムであって、
    前記複数の処理部の夫々を稼動させる実行計算機と、
    前記データ処理部を稼動させる計算機と、
    前記データ管理部を稼動させる計算機と、
    が通信可能に接続されてなる計算機システム。
  10. 請求項1に記載の計算機システムであって、
    前記複数の処理部が取得する処理前データを格納する記憶部を有するデータ記憶計算機を更に備え、
    前記データ記憶計算機は、
    前記複数の処理部が処理前データの取得をする場合、通信線で接続された外部計算機に格納された処理前データを取得し、前記記憶部に格納する外部データ取得部を有する計算機システム。
  11. 請求項10に記載の計算機システムであって、
    前記データ記憶計算機は、前記外部計算機から取得する処理前データを、前記計算機システムで利用可能なデータ形式に変換するデータ形式変換部を更に有する計算機システム。
  12. 請求項11に記載の計算機システムであって、
    前記複数の処理部が前記データ記憶計算機の記憶部に格納された処理前データを取得するタイミングが前記処理部毎に定義されたデータ取得スケジュール情報を更に有し、
    前記データ処理部は、前記データ取得スケジュール情報に基づいて、前記複数の処理部に前記処理前データを取得させる計算機システム。
  13. 処理前データを取得して所定の処理を実行し、その処理の結果として処理後データを生成する複数の処理部を有し、前記処理後データに対する検索要求に対し検索結果を送信する計算機システムのデータ管理方法であって、
    前記計算機システムは、
    前記複数の処理部の各々によって前記処理前データが取得される契機に、その取得の順序性を示し且つ前記複数の処理部の所定の処理の前後で更新されない処理IDを、取得される処理前データに付与し、前記処理部の所定の処理によって生成された処理後データを記憶装置に格納し、
    前記検索要求に含まれる検索条件に基づいて、前記記憶装置に格納された処理後データを抽出する際、前記検索条件を満たす処理後データのうち、処理部毎の処理後データ間で最新であって、各処理部間で最古となる処理ID以前の処理IDを有する処理後データを抽出し、検索要求元に出力する
    データ管理方法。
  14. 処理前データを取得して所定の処理を実行し、その処理の結果として処理後データを生成する複数の処理部をする計算機システムに実行させるプログラムを格納する非一時的な記録媒体であって、
    前記複数の処理部の各々によって前記処理前データが取得される契機に、その取得の順序性を示し且つ前記複数の処理部の所定の処理の前後で更新されない処理IDを、取得される処理前データに付与させ、前記処理部の所定の処理によって生成された処理後データを記憶装置に格納させる手順と、
    所定の検索条件の受信時に、前記記憶装置に格納された処理後データを抽出する際、前記検索条件を満たす処理後データのうち、処理部毎の処理後データ間で最新であって、各処理部間で最古となる処理ID以前の処理IDを有する処理後データを抽出させ、検索要求元に出力させる手順と、
    を実行させるプログラムを格納するコンピュータが読み取り可能である非一時的な記録媒体。
JP2014534120A 2012-09-07 2012-09-07 計算機システム、データ管理方法及びプログラムを格納する記録媒体 Active JP5883937B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/072838 WO2014038057A1 (ja) 2012-09-07 2012-09-07 計算機システム、データ管理方法及びプログラムを格納する記録媒体

Publications (2)

Publication Number Publication Date
JP5883937B2 true JP5883937B2 (ja) 2016-03-15
JPWO2014038057A1 JPWO2014038057A1 (ja) 2016-08-08

Family

ID=50236706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014534120A Active JP5883937B2 (ja) 2012-09-07 2012-09-07 計算機システム、データ管理方法及びプログラムを格納する記録媒体

Country Status (3)

Country Link
US (1) US9870404B2 (ja)
JP (1) JP5883937B2 (ja)
WO (1) WO2014038057A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356047B2 (en) 2013-12-05 2019-07-16 Crowdstrike, Inc. RPC call interception
JP6674092B2 (ja) * 2016-02-10 2020-04-01 富士通株式会社 データ管理プログラム、データ管理装置、及びデータ管理方法
CN111460016A (zh) * 2020-03-18 2020-07-28 金现代信息产业股份有限公司 实物id数据管控方法、系统及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325533A (ja) * 2000-05-12 2001-11-22 Akesesu:Kk コンテンツ提供システム
JP2010102582A (ja) * 2008-10-24 2010-05-06 Kyocera Mita Corp 情報処理装置
WO2012105593A1 (ja) * 2011-02-01 2012-08-09 日本電気株式会社 データフローグラフ処理装置、データフローグラフ処理方法およびデータフローグラフ処理プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3564226A (en) * 1966-12-27 1971-02-16 Digital Equipment Parallel binary processing system having minimal operational delay
US3566093A (en) * 1968-03-29 1971-02-23 Honeywell Inc Diagnostic method and implementation for data processors
JP2964831B2 (ja) * 1993-03-31 1999-10-18 富士ゼロックス株式会社 構造データ処理装置
JPH07182465A (ja) * 1993-12-22 1995-07-21 Hitachi Ltd 文字認識方法
US5764451A (en) * 1996-03-28 1998-06-09 Read-Rite Corporation Multi-tapped coil having tapped segments casaded for amplification for improving signal-to-noise ratio
JP4431923B2 (ja) * 2000-07-13 2010-03-17 ソニー株式会社 映像信号記録再生装置および方法、並びに記録媒体
WO2002054272A1 (en) * 2001-01-04 2002-07-11 New York University System, process and software arrangement for assisting with a knowledge discovery
US7386439B1 (en) * 2002-02-04 2008-06-10 Cataphora, Inc. Data mining by retrieving causally-related documents not individually satisfying search criteria used
US6904430B1 (en) * 2002-04-26 2005-06-07 Microsoft Corporation Method and system for efficiently identifying differences between large files
US7676506B2 (en) * 2003-06-20 2010-03-09 Innopath Software, Inc. Differential file compression of software image versions
JP4655941B2 (ja) * 2006-01-12 2011-03-23 マツダ株式会社 自動変速機
JP2007179098A (ja) * 2005-12-26 2007-07-12 Canon Inc 画像処理装置、画像検索方法装置、及びプログラム
JP4793067B2 (ja) 2006-04-10 2011-10-12 富士ゼロックス株式会社 画像処理装置
KR100828404B1 (ko) * 2006-05-08 2008-05-08 한국과학기술원 경계관찰질의를 이용한 데이터 스트림 처리 방법
US8095541B2 (en) 2008-04-30 2012-01-10 Ricoh Company, Ltd. Managing electronic data with index data corresponding to said electronic data
EP2113850A3 (en) 2008-04-30 2009-11-11 Ricoh Company, Limited Managing electronic data with index data corresponding to said electronic data and secure access of electronic documents and data from client terminal
JP5213743B2 (ja) * 2009-02-10 2013-06-19 株式会社日立製作所 ネットワーク管理端末、ネットワーク制御システム及びネットワーク管理方法
JP5577623B2 (ja) * 2009-05-14 2014-08-27 リコーイメージング株式会社 撮像装置
KR101258322B1 (ko) * 2010-07-29 2013-04-25 주식회사 팬택 이동통신 단말 및 그의 컨텐츠 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325533A (ja) * 2000-05-12 2001-11-22 Akesesu:Kk コンテンツ提供システム
JP2010102582A (ja) * 2008-10-24 2010-05-06 Kyocera Mita Corp 情報処理装置
WO2012105593A1 (ja) * 2011-02-01 2012-08-09 日本電気株式会社 データフローグラフ処理装置、データフローグラフ処理方法およびデータフローグラフ処理プログラム

Also Published As

Publication number Publication date
JPWO2014038057A1 (ja) 2016-08-08
WO2014038057A1 (ja) 2014-03-13
US20150106363A1 (en) 2015-04-16
US9870404B2 (en) 2018-01-16

Similar Documents

Publication Publication Date Title
CN111897638B (zh) 分布式任务调度方法及系统
JP6083290B2 (ja) 分散処理システム
US8650274B2 (en) Virtual integrated management device for performing information update process for device configuration information management device
US10242102B2 (en) Network crawling prioritization
US9038081B2 (en) Computing job management based on priority and quota
JP5883937B2 (ja) 計算機システム、データ管理方法及びプログラムを格納する記録媒体
CN105637489A (zh) 分布式数据库系统中的异步垃圾收集
JPWO2013175611A1 (ja) データの分散検索システム、データの分散検索方法及び管理計算機
US10599472B2 (en) Information processing apparatus, stage-out processing method and recording medium recording job management program
WO2013186891A1 (ja) 進捗状況管理システム、及び進捗状況管理方法
JP6008947B2 (ja) データベースの管理方法、データベースシステム、及び、プログラム
US10949423B2 (en) Operation management device, operation management method, and operation management system
US10185735B2 (en) Distributed database system and a non-transitory computer readable medium
JP5695571B2 (ja) サーバー装置及びコンテンツ取得方法
CN114675954A (zh) 任务调度方法及装置
JP2019032784A (ja) 名刺情報管理サーバ、名刺情報管理システム、名刺情報管理方法、および、名刺情報管理プログラム
CN111355777A (zh) 一种分布式文件系统的管理方法装置及服务器
JP6568232B2 (ja) 計算機システム、及び、装置の管理方法
KR102382313B1 (ko) 대상체의 의료 정보를 생성하는 방법 및 장치.
JP5316015B2 (ja) 情報処理装置及びプログラム
CN110543351A (zh) 数据处理方法以及计算机设备
JP2020003945A (ja) 計算機システム及びデータ管理方法
JP2023074642A (ja) 情報処理システムおよび情報処理方法
JP2020166504A (ja) データ提供システムおよびデータアクセス方法
JP2014063336A (ja) 計算機システム及びジョブネット実行方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160208

R151 Written notification of patent or utility model registration

Ref document number: 5883937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151