JP6583975B1 - データ処理装置、データ処理方法及びプログラム - Google Patents
データ処理装置、データ処理方法及びプログラム Download PDFInfo
- Publication number
- JP6583975B1 JP6583975B1 JP2018108731A JP2018108731A JP6583975B1 JP 6583975 B1 JP6583975 B1 JP 6583975B1 JP 2018108731 A JP2018108731 A JP 2018108731A JP 2018108731 A JP2018108731 A JP 2018108731A JP 6583975 B1 JP6583975 B1 JP 6583975B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- environments
- processing
- exclusive control
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
Description
納すると共に、RDBの内容をDBMS(Database Management System)を介することなく読み取りが可能な外部マスタファイルに出力し、RDBに障害が発生した場合には前記
の外部マスタファイルを参照するようにしてもよい。このようにすれば、RDBの障害時においてもシステムを稼働させることができ、可用性が向上する。
変換する処理であり、他のコンピュータとの間でデータを集配信する集配信処理部をさらに備え、処理部は、集配信処理部が集信したデータに対し、データ形式を変換する処理を行うようにしてもよい。データベース管理システムへの依存を低減させたシステム構成は、例えばEDIサービスを提供するシステムに好適に用いることができる。
のメインメモリ上に格納されるインメモリデータベースであってもよい。このようにすれば、さらに処理速度の低下を抑えることができる。
ットワークで構成されたデータセンター上において提供するものとする。
図1は、本実施形態に係るシステムの構成の一例を示す図である。本システムは、複数のデータセンターのような異なる拠点1(1A、1B、・・・)に設けられる複数の分散環境2(2A、2B、2C、2D、・・・)を備える。また、分散環境2は、互いにインターネットや専用線等のネットワーク3を介して接続されている。分散環境2は、EDIサービスを提供するデータ処理装置であり、サーバ等のコンピュータによって実現される。また、本システムは、EDIサービスを利用する利用者サーバ4(4A、4B、・・・)とネットワーク3を介して接続されている。利用者サーバ4は、取引等に関わる電子データ(以下、「取引データ」とも呼ぶ)を交換する企業等のサーバ装置である。なお、利用者サーバ4は、いわゆるクラウド上の環境であってもよい。分散環境2は、利用者サーバ4から所定の形式で記述された取引データを集信(受信)すると、例えば他の形式に変換して予め定められた宛先に配信(送信)する。集配信されるデータのフォーマットや通信に用いられるプロトコルは、予め定められているものとする。本実施形態では、複数の分散環境2において分散して変換処理を行うと共に、複数の分散環境2において集信した取引データや、変換処理後のデータ、本システムが保持するマスタデータ等を同期する。
図2は、分散環境2の一例を示す機能ブロック図である。分散環境2は、いわゆるサーバ等のコンピュータであり、集配信処理部201と、変換処理部202と、トランザクション制御部203と、KVS204と、DB(Database)仲介部205と、マスタDB2
06と、外部マスタファイルDB207と、データ記憶部208と、同期制御部209と、起動制御部210と、メッセージキュー(MQ:Message Queue)211とを備える。
ータは、複数のフィールドを含むレコードを記憶する一般的な表形式のデータである。
ルドをカンマ等のデリミタで区切ったり、フィールド長を固定にしたりすることによりフィールドの境界を定義した外部マスタファイルによって、RDBに格納される表形式のマスタデータを保持する。DB仲介部205は、RDBに何らかの障害が発生した場合には、外部マスタファイルDB207を参照することで可用性を向上させることができる。
方式のキューに登録されるデータを入れ替えることなく、並列に実行できる処理を速やかに起動させることができる。
図4は、コンピュータの一例を示す装置構成図である。分散環境2や利用者サーバ4は、例えば図4に示すようなコンピュータである。図4に示すコンピュータ1000は、プロセッサ1001、主記憶装置(一次記憶装置、メインメモリ)1002、補助記憶装置(外部記憶装置)1003、通信IF(Interface)1004、入出力IF(Interface)1005、ドライブ装置1006を備え、これらの構成要素が通信バス1007を介して接続されている。
た、プロセッサ1001は、本実施形態に係るプログラムを実行することにより図2に示した各処理部として機能する。
補助記憶装置1003に、マスタDB206、外部マスタファイルDB207、データ記憶部208等の領域が確保される。
図5は、本実施形態に係る処理の一例を示す処理フロー図である。図5に示すように、分散環境2は、ある利用者サーバ4から取引データを集信する集信処理(図5:S1)、集信した取引データに応じて所定の変換を行う変換処理(S2)、変換後の取引データを他の利用者サーバ4へ配信する配信処理(S3)を行う。
図6は、集信処理の一例を示す処理フロー図である。また、図7は、各処理部の動作の一例を示す簡易的なシーケンス図である。分散環境2の集配信処理部201は、ネットワーク3を介して利用者サーバ4から取引データを集信する(図6:S11,図7:S11−1)。集信は、着呼集信であっても発呼集信であってもよい。また、集配信処理部201は、DB仲介部205を介してマスタデータを参照し(図7:S11−2、S11−3)、集信した取引データの内容に基づいて配信元の利用者を特定するとともに、例えば取引データの格納場所を特定する。なお、仮にマスタDB206に障害が発生していた場合、DB仲介部205は、外部マスタファイルDB207を参照して処理を継続する。このとき、例えばマスタDB206の各レコードについて最終更新日時を示すタイムスタンプを、予めKVS204に記憶させておき、外部マスタファイルDB207に出力されたマスタデータが最新のものであるか確認するようにしてもよい。
図8は、図5のS2に示した変換処理の一例を示す処理フロー図である。また、図9は、各処理部の動作の一例を示す簡易的なシーケンス図である。分散環境2の変換処理部202は、MQ211からキューを取得し(図8:S21,図9:S21−1)、キューに対応する変換処理を開始する。また、上述の通り、MQ211は、並列に処理できる複数の所定の処理に対応づけて複数設けられる。そして、変換処理部202は、例えば並列に動作する複数のプロセスによって、逐次処理を開始する。変換処理は、取引データのデータ構造の変換や、文字コードの変換、複数のファイルへの振分け、複数のファイルの統合等であり、配信元の利用者及び配信先の利用者並びに集配信される取引データの種別に対応付けて予め定義されているものとする。
また、変換処理部202は、処理結果を示す実績情報をさらに出力してデータ記憶部208に格納するようにしてもよい。例えば、実績情報として、レコード数や集計値等の処理結果を示す情報を内部的に記憶させておき、後の処理において参照するようにしてもよい。また、同期制御部209は、他の分散環境2に対し取引データを転送し、他の分散環境2におけるデータ記憶部208にも同期して取引データを記憶させる。
また、図5のS3に示す配信処理では、集配信処理部201はネットワーク3を介して配信先の利用者サーバ4に変換後の取引データを配信する。配信も、着呼配信であっても発呼配信であってもよい。着呼配信の場合は、所定の場所に配信データ(変換後の取引データ)を格納し、利用者サーバ4にダウンロードさせる。また、発呼配信の場合は、集配信処理部201から所定の利用者サーバに通信のリクエストを送り、配信を開始する。
本実施形態によれば、複数の分散環境において同期して排他制御を行い、データを更新するため、分散システムにおいてもトランザクション内の一連の処理の整合性を保ちつつ格納データを同期させることができる。特に、インメモリデータベースとして実現されるKVSを利用することで、遠隔地に存在する複数の拠点1間において同期して排他制御を行う場合であっても、処理速度の低下を抑えることができる。
説明した実施形態は本発明の例示であり、本発明は、上記の実施形態には限定されない。実施形態で説明した事項は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り変更したり、組み合わせたりすることができる。例えば、図1では1つの拠点1に2つずつの分散環境2を備える構成を例示したが、拠点1の数や拠点1に設けられる分散環境2の数は、図1の例には限定されない。
2 :分散環境
201:集配信処理部
202:変換処理部
203:トランザクション制御部
205:DB仲介部
206:マスタDB
207:外部マスタファイルDB
208:データ記憶部
209:同期制御部
210:起動制御部
3 :ネットワーク
4 :利用者サーバ
Claims (8)
- 分散して設けられる複数の環境においてデータを同期しつつ並列分散処理するシステムを構成するデータ処理装置であって、
前記複数の環境において同期させて更新すべき所定のデータに対し排他制御を開始すると共に、自環境及び他の環境のすべてにおいて前記排他制御を開始できたか判断するトランザクション制御部と、
前記排他制御を開始できた場合に、前記所定のデータに対し所定の処理を行う処理部と、
を備え、
前記トランザクション制御部は、前記複数の環境において同期されるデータベースに対しロックをかけることにより前記排他制御を開始し、
前記データベースは、KVS(Key Value Store)方式で管理され、前記データ処理装
置のメインメモリ上に格納されるインメモリデータベースである
データ処理装置。 - 前記トランザクション制御部は、前記処理部による一連の処理開始前に前記排他制御を開始し、当該一連の処理終了後に前記排他制御を終了させることにより、前記複数の環境において共有するデータを同期させる
請求項1に記載のデータ処理装置。 - 前記所定の処理において使用されるマスタデータを管理するデータベース仲介部をさらに備え、
前記データベース仲介部は、前記マスタデータをRDB(Relational Database)に格
納すると共に、当該RDBの内容をDBMS(Database Management System)を介することなく読み取りが可能な外部マスタファイルに書き出し、前記RDBに障害が発生した場合には前記外部マスタファイルを参照する
請求項1又は2に記載のデータ処理装置。 - 並列に処理できる複数の前記所定の処理にそれぞれ対応する、逐次処理される前後の処理を連携させるためのキューを複数備え、
前記処理部は、前の処理が完了した場合に、後の処理に対応する前記キューにトランザ
クション情報を登録し、前記キューのいずれかに前記トランザクション情報が登録された場合は、前記トランザクション情報に基づいて対応する前記所定の処理を開始する
請求項1から3のいずれか一項に記載のデータ処理装置。 - 前記処理部は、前記一連の処理において受け渡されるデータを、DBMSを介することなく読み取りが可能な外部データファイルに対して読み書きする
請求項2、又は請求項2を引用する請求項3若しくは4に記載のデータ処理装置。 - 前記所定の処理は、EDI(Electronic Data Interchange)のためのデータ形式を変
換する処理であり、
他のコンピュータとの間でデータを集配信する集配信処理部をさらに備え、
前記処理部は、集配信処理部が集信したデータに対し、前記データ形式を変換する処理を行う
請求項1から5のいずれか一項に記載のデータ処理装置。 - 分散して設けられる複数の環境においてデータを同期しつつ並列分散処理するシステムを構成するデータ処理装置が、
前記複数の環境において同期させて更新すべき所定のデータに対し排他制御を開始すると共に、自環境及び他の環境のすべてにおいて前記排他制御を開始できたか判断するトランザクション制御ステップと、
前記排他制御を開始できた場合に、前記所定のデータに対し所定の処理を行う処理ステップと、
を実行するデータ処理方法であって、
前記トランザクション制御ステップにおいて、前記複数の環境において同期されるデータベースに対しロックをかけることにより前記排他制御を開始し、
前記データベースは、KVS(Key Value Store)方式で管理され、前記データ処理装
置のメインメモリ上に格納されるインメモリデータベースである
データ処理方法。 - 分散して設けられる複数の環境においてデータを同期しつつ並列分散処理するシステムを構成するデータ処理装置に、
前記複数の環境において同期させて更新すべき所定のデータに対し排他制御を開始すると共に、自環境及び他の環境のすべてにおいて前記排他制御を開始できたか判断するトランザクション制御ステップと、
前記排他制御を開始できた場合に、前記所定のデータに対し所定の処理を行う処理ステップと、
を実行させるプログラムであって、
前記トランザクション制御ステップにおいて、前記複数の環境において同期されるデータベースに対しロックをかけることにより前記排他制御を開始し、
前記データベースは、KVS(Key Value Store)方式で管理され、前記データ処理装
置のメインメモリ上に格納されるインメモリデータベースである
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108731A JP6583975B1 (ja) | 2018-06-06 | 2018-06-06 | データ処理装置、データ処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018108731A JP6583975B1 (ja) | 2018-06-06 | 2018-06-06 | データ処理装置、データ処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6583975B1 true JP6583975B1 (ja) | 2019-10-02 |
JP2019212109A JP2019212109A (ja) | 2019-12-12 |
Family
ID=68095295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018108731A Active JP6583975B1 (ja) | 2018-06-06 | 2018-06-06 | データ処理装置、データ処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6583975B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113242313A (zh) * | 2021-05-28 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 数据同步方法、系统、装置、服务器及存储介质 |
JP2021162870A (ja) * | 2020-03-30 | 2021-10-11 | 株式会社日立製作所 | データベース管理システム、及び、データベース管理方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114546705B (zh) | 2022-02-28 | 2023-02-07 | 北京百度网讯科技有限公司 | 操作响应方法、操作响应装置、电子设备以及存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02197936A (ja) * | 1989-01-27 | 1990-08-06 | Toshiba Corp | 分散データベースの管理方式 |
JPH07160563A (ja) * | 1993-12-13 | 1995-06-23 | Toshiba Corp | オンラインバックアップ方式 |
JP4080707B2 (ja) * | 2000-06-16 | 2008-04-23 | 富士通株式会社 | 複数システムの処理情報を記録する記録システム |
JP2006171915A (ja) * | 2004-12-13 | 2006-06-29 | Matsushita Electric Ind Co Ltd | 排他制御装置 |
JP2008071004A (ja) * | 2006-09-13 | 2008-03-27 | Fujitsu General Ltd | トランザクション処理方法、及びそれを用いたオンラインシステム |
US8666944B2 (en) * | 2010-09-29 | 2014-03-04 | Symantec Corporation | Method and system of performing a granular restore of a database from a differential backup |
WO2016157358A1 (ja) * | 2015-03-30 | 2016-10-06 | 株式会社野村総合研究所 | データ処理システム |
-
2018
- 2018-06-06 JP JP2018108731A patent/JP6583975B1/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021162870A (ja) * | 2020-03-30 | 2021-10-11 | 株式会社日立製作所 | データベース管理システム、及び、データベース管理方法 |
JP7037595B2 (ja) | 2020-03-30 | 2022-03-16 | 株式会社日立製作所 | データベース管理システム、及び、データベース管理方法 |
CN113242313A (zh) * | 2021-05-28 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 数据同步方法、系统、装置、服务器及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2019212109A (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11397709B2 (en) | Automated configuration of log-coordinated storage groups | |
US10296606B2 (en) | Stateless datastore—independent transactions | |
US11860900B2 (en) | Log-based distributed transaction management | |
US10373247B2 (en) | Lifecycle transitions in log-coordinated data stores | |
US9417917B1 (en) | Equitable resource allocation for storage object deletion | |
US10303795B2 (en) | Read descriptors at heterogeneous storage systems | |
US9002805B1 (en) | Conditional storage object deletion | |
EP3726365B1 (en) | Data processing method and device | |
US9052942B1 (en) | Storage object deletion job management | |
US9063946B1 (en) | Backoff-based scheduling of storage object deletions | |
JP5387757B2 (ja) | 並列データ処理システム、並列データ処理方法及びプログラム | |
US8626765B2 (en) | Processing database operation requests | |
WO2022063284A1 (zh) | 数据同步方法、装置、设备及计算机可读介质 | |
US11829606B2 (en) | Cloud object storage and versioning system | |
US20220188196A1 (en) | Continuous data protection | |
JP6583975B1 (ja) | データ処理装置、データ処理方法及びプログラム | |
CN110019469B (zh) | 分布式数据库数据处理方法、装置、存储介质及电子装置 | |
US8423517B2 (en) | System and method for determining the age of objects in the presence of unreliable clocks | |
US20120278429A1 (en) | Cluster system, synchronization controlling method, server, and synchronization controlling program | |
CN116501700B (zh) | 一种app格式化文件离线存储方法、装置、设备及存储介质 | |
US11886439B1 (en) | Asynchronous change data capture for direct external transmission | |
JP6680897B2 (ja) | 計算機システム及び分析ソースデータ管理方法 | |
US20240160531A1 (en) | Continuous data protection | |
KR101929948B1 (ko) | 데이터 타입 기반의 멀티 디바이스 데이터 동기화를 위한 방법 및 시스템 | |
WO2024096984A1 (en) | Data deduplication for replication-based migration of virtual machines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190830 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6583975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |