JPWO2018220754A1 - データ複製装置 - Google Patents
データ複製装置 Download PDFInfo
- Publication number
- JPWO2018220754A1 JPWO2018220754A1 JP2019521606A JP2019521606A JPWO2018220754A1 JP WO2018220754 A1 JPWO2018220754 A1 JP WO2018220754A1 JP 2019521606 A JP2019521606 A JP 2019521606A JP 2019521606 A JP2019521606 A JP 2019521606A JP WO2018220754 A1 JPWO2018220754 A1 JP WO2018220754A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- replication
- range
- node
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010076 replication Effects 0.000 title claims abstract description 215
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 59
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 8
- 238000013508 migration Methods 0.000 description 6
- 230000005012 migration Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
モデル作成システムの出力が妥当かどうかを事前に完全に検証することは困難であるため、運用の開始後も継続してモデル作成システムの出力を評価する必要である。
継続的な評価において改善が必要な場合、改善箇所を特定し、改善方法を解析するため、運用環境データベースの状態を開発環境データベースに再現することが必要となる。
運用環境データベースは、運用環境システムが有するデータベースである。
運用環境システムは、運用されているシステムであって、時系列データを処理するシステムである。
開発環境データベースは、開発環境システムが有するデータベースである。
開発環境システムは、運用環境システムと同等の機能を有するシステムである。
再現とは、改善箇所の特定および改善方法の解析のために必要なデータを運用環境データベースから開発環境データベースにコピーすることである。
従来のデータベース移行装置において、データにタイムスタンプが付与され、出力が生成される際に用いられた複数の入力データから最も古い日時が判定され、その日時以降のデータがコピーされる。データベース移行装置は、運用環境データベースの仕様に対応するように作成される。
複製元システムに含まれる複製元プログラムに対する入出力データの情報を示すデータ処理グラフを用いて、前記複製元システムから複製先システムに複製されるデータの範囲である複製範囲を決定する範囲決定部と、
前記複製範囲に対応する複製データを前記複製元システムから取得するデータ取得部と、
前記複製データを前記複製先システムに登録するデータ登録部とを備える。
複製元システムから複製先システムにデータを複製する形態について、図1から図18に基づいて説明する。
図1に基づいて、データ複製システム100の構成を説明する。
データ複製システム100は、複製元システム110の一部のデータを複製先システム120に複製するシステムである。
データ複製システム100は、複製元システム110と複製先システム120とデータ複製装置200とを備える。
具体的には、複製元システム110は運用環境システムであり、複製元データベース111は運用環境データベースである。
具体的には、複製先システム120は開発環境システムであり、複製先データベース121は開発環境データベースである。
データ複製装置200は、プロセッサ901とメモリ902と補助記憶装置903と通信インタフェース904といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
メモリ902は揮発性の記憶装置である。メモリ902は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ902はRAM(Random Access Memory)である。メモリ902に記憶されたデータは必要に応じて補助記憶装置903に保存される。
補助記憶装置903は不揮発性の記憶装置である。例えば、補助記憶装置903は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。補助記憶装置903に記憶されたデータは必要に応じてメモリ902にロードされる。
通信インタフェース904は、通信を行う機器、すなわちレシーバ及びトランスミッタである。例えば、通信インタフェース904は、通信チップまたはNIC(Network Interface Card)である。
さらに、補助記憶装置903にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ902にロードされて、プロセッサ901によって実行される。
つまり、プロセッサ901は、OSを実行しながら、データ複製プログラムを実行する。
データ複製プログラムを実行して得られるデータは、メモリ902、補助記憶装置903、プロセッサ901内のレジスタまたはプロセッサ901内のキャッシュメモリといった記憶装置に記憶される。
通信インタフェース904はデータを通信する通信部292として機能する。
プロセッサ901は、範囲決定部210とデータ取得部220と初期化部230とデータ登録部240として機能する。
データ取得部220は、取得クエリ生成部221と取得クエリ実行部222とを備える。
初期化部230は、初期化クエリ実行部231と初期化クエリ生成部232とを備える。
データ登録部240は、登録クエリ実行部241と登録クエリ生成部242とを備える。
データ複製プログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体にコンピュータ読み取り可能に記憶することができる。不揮発性の記憶媒体は、一時的でない有形の媒体である。
データ処理グラフ300は、複製元プログラムに対する入出力データの情報を示すデータであり、記憶部291に予め記憶されている。
複製元プログラムは、複製元システム110に含まれるプログラムである。
具体的には、複製元プログラムに対する入出力データは時系列データである。時系列データは日時を含んだデータである。
出力情報ノード302からテーブルノード301へのリンクを投入リンクという。投入リンクは、出力情報ノード302をテーブルノード301に繋げる。
テーブルノード301から入力情報ノード303へのリンクを取得リンクという。取得リンクは、テーブルノード301を入力情報ノード303に繋げる。
入力情報ノード303からプログラムノード305へのリンクを入力リンクという。入力リンクは、入力情報ノード303をプログラムノード305に繋げる。
プログラムノード305から出力情報ノード302へのリンクを出力リンクという。出力リンクは、プログラムノード305を出力情報ノード302に繋げる。
出力情報ノード302または入力情報ノード303からデータ範囲ノード304へのリンクをカラム名リンクという。カラム名リンクは、出力情報ノード302または入力情報ノード303をデータ範囲ノード304に繋げる。
テーブルノード301は、複製元テーブルを示す。
投入リンクは、テーブルノード301の入力を示す。テーブルノード301の入力は、0個以上のデータ情報である。
取得リンクは、テーブルノード301の出力を示す。テーブルノード301の出力は、0個以上のデータ情報である。
出力リンクは、出力情報ノード302の入力を示す。出力情報ノード302の入力は、1つのプログラムノード305からの出力リンクである。
投入リンクは、出力情報ノード302の第1出力を示す。出力情報ノード302の第1出力は、1つのテーブルノード301への投入リンクである。
カラム名リンクは、出力情報ノード302の第2出力を示す。出力情報ノード302の第2出力は、1つ以上のカラム名である。カラム名はデータの種類を示す。
取得リンクは、入力情報ノード303の入力を示す。入力情報ノード303の入力は、1つのテーブルノード301からの取得リンクである。
入力リンクは、入力情報ノード303の第1出力を示す。入力情報ノード303の第1出力は、1つのプログラムノード305への入力リンクである。
カラム名リンクは、入力情報ノード303の第2出力を示す。入力情報ノード303の第2出力は、1つ以上のカラム名である。
カラム名リンクは、データ範囲ノード304の入力を示す。データ範囲ノード304の入力は、1つのカラム名である。
出力情報ノード302からのカラム名リンクが接続されるデータ範囲ノード304を出力範囲ノードという。
入力情報ノード303からのカラム名リンクが接続されるデータ範囲ノード304を入力範囲ノードという。
入力リンクは、プログラムノード305の入力を示す。プログラムノード305の入力は、1つ以上の入力情報ノード303からの入力リンクである。
出力リンクは、プログラムノード305の出力を示す。プログラムノード305の出力は、1つ以上の出力情報ノード302からの出力リンクである。
データ複製装置200の動作はデータ複製方法に相当する。また、データ複製方法の手順はデータ複製プログラムの手順に相当する。
データ複製方法において、処理(1)から処理(4)が順に行われる。
処理(1)において、範囲決定部210は、データ処理グラフ300を用いて、複製範囲を決定する。
複製範囲は、複製元データベース111から複製先データベース121に複製されるデータの範囲である。具体的には、複製範囲は、複製されるデータに含まれる日時の範囲である。
まず、ユーザ101は、基準情報をデータ複製装置200に入力する。決定制御部211は、入力された基準情報を受け付けて記憶部291に記憶する。
基準情報は、複製元データベース111から複製先データベース121へ複製されるデータを決定するための情報である。具体的には、基準情報は、テーブル名、時点およびユーザ名等を示す。日付、時刻および日時は時点の一例である。
範囲クエリは、複製範囲の検索を要求するためのクエリであり、基準情報を含む。
次に、決定制御部211は、範囲クエリをグラフ検索部212に入力する。
次に、グラフ検索部212は、範囲クエリに従ってデータ処理グラフ300を検索することによって、データ処理グラフ300から複製範囲を取得する。
そして、グラフ検索部212は、範囲情報を決定制御部211に出力する。範囲情報は、複製範囲を示す情報である。
処理(2)において、データ取得部220は、複製元データベース111から複製データを取得する。
複製データは、複製元データベース111に含まれるデータのうちの複製範囲のデータを複製して得られたデータである。つまり、複製データは、複製範囲のデータである。
まず、決定制御部211は、範囲情報を取得クエリ生成部221に入力する。
次に、取得クエリ生成部221は、範囲情報に基づいて取得クエリを生成する。
取得クエリは、複製データを取得するためのクエリであり、範囲情報を含む。
次に、取得クエリ生成部221は、取得クエリを取得クエリ実行部222に入力する。
そして、取得クエリ実行部222は、複製元データベース111に対して取得クエリを実行することによって、複製元データベース111から複製データを取得する。
処理(3)において、初期化部230は、複製先データベース121を初期化する。
まず、初期化クエリ実行部231は、初期化クエリを初期化クエリ生成部232に要求する。
初期化クエリは、複製先データベース121を初期化するためのクエリである。
次に、初期化クエリ生成部232は、初期化クエリを生成する。
次に、初期化クエリ生成部232は、初期化クエリを初期化クエリ実行部231に応答する。
そして、初期化クエリ実行部231は、複製先データベース121に対して初期化クエリを実行することによって、複製先データベース121を初期化する。
処理(4)において、データ登録部240は、複製先データベース121に複製データを登録する。
まず、登録クエリ実行部241は、登録クエリを登録クエリ生成部242に要求する。
登録クエリは、複製先データベース121に複製データを登録するためのクエリであり、複製データと範囲情報とを含む。
次に、登録クエリ生成部242は、範囲情報を決定制御部211に要求する。
次に、決定制御部211は、範囲情報を登録クエリ生成部242に応答する。
次に、登録クエリ生成部242は、範囲情報に基づいて登録クエリを生成する。
次に、登録クエリ生成部242は、登録クエリを登録クエリ実行部241に応答する。
次に、登録クエリ実行部241は、複製先データベース121に対して登録クエリを実行することによって、複製先データベース121に複製データを登録する。
そして、登録クエリ実行部241は、完了通知を出力する。
完了通知は、ユーザ101に対して複製の完了を知らせるための通知である。
決定制御処理は、決定制御部211によって実行される処理である。
具体的には、決定制御部211は、範囲クエリが記憶された領域を示す情報をグラフ検索部212へ送信する。
具体的には、決定制御部211は、範囲情報が記憶された領域を示す情報をグラフ検索部212から受信し、受信した情報が示す領域から範囲情報を取得する。
具体的には、決定制御部211は、範囲情報が記憶された領域を示す情報を取得クエリ生成部221へ送信する。
具体的には、決定制御部211は、範囲情報が記憶された領域を示す情報を登録クエリ生成部242へ送信する。
グラフ検索処理は、グラフ検索部212によって実行される処理である。
具体的には、グラフ検索部212は、範囲クエリが記憶された領域を示す情報を決定制御部211から受信し、受信した情報が示す領域から範囲クエリを取得する。
データ処理グラフ300を検索する方法については後述する。
具体的には、グラフ検索部212は、範囲情報が記憶された領域を示す情報を決定制御部211へ送信する。
取得クエリ生成処理は、取得クエリ生成部221によって実行される処理である。
具体的には、取得クエリ生成部221は、範囲情報が記憶された領域を示す情報を決定制御部211から受信し、受信した情報が示す領域から範囲情報を取得する。
具体的には、取得クエリ生成部221は、複製データを取得するためのSQL文を範囲情報に基づいて生成する。生成されるSQL文が取得クエリである。SQLは、Structured Query Languageの略称である。
具体的には、取得クエリ生成部221は、取得クエリが記憶された領域を示す情報を取得クエリ実行部222へ送信する。
初期化クエリ生成処理は、初期化クエリ生成部232によって実行される処理である。
具体的には、初期化クエリ生成部232は、複製先データベース121を初期化するためのSQL文を生成する。生成されるSQL文が初期化クエリである。
具体的には、初期化クエリ生成部232は、初期化クエリが記憶された領域を示す情報を初期化クエリ実行部231へ送信する。
登録クエリ生成処理は、登録クエリ生成部242によって実行される処理である。
具体的には、登録クエリ生成部242は、範囲情報が記憶された領域を示す情報を決定制御部211から受信し、受信した情報が示す領域から範囲情報を取得する。
具体的には、登録クエリ生成部242は、複製先データベース121に複製データを登録するためのSQL文を範囲情報に基づいて生成する。生成されるSQL文が登録クエリである。
具体的には、登録クエリ生成部242は、登録クエリが記憶された領域を示す情報を登録クエリ実行部241へ送信する。
クエリ実行処理は、クエリ実行部250によって実行される処理である。つまり、クエリ実行処理は、取得クエリ実行部222と初期化クエリ実行部231と登録クエリ実行部241とによって実行される処理である。
具体的には、取得クエリ実行部222は、取得クエリが記憶された領域を示す情報を取得クエリ生成部221から受信し、受信した情報が示す領域から取得クエリを取得する。
具体的には、初期化クエリ実行部231は、初期化クエリが記憶された領域を示す情報を初期化クエリ生成部232から受信する。
具体的には、登録クエリ実行部241は、登録クエリが記憶された領域を示す情報を登録クエリ生成部242から受信し、受信した情報が示す領域から登録クエリを取得する。
グラフ検索(S122)は、範囲クエリに従ってデータ処理グラフ300を検索することによってデータ処理グラフ300から範囲情報を取得する処理である。
範囲クエリは、テーブル名、時点およびユーザ名等の基準情報を含んでいる。基準情報であるテーブル名を基準テーブル名といい、基準情報である時点を基準時点という。
つまり、グラフ検索部212は、基準テーブルのテーブルノード301をデータ処理グラフ300から選択し、基準テーブルのテーブルノード301に接続されている投入リンクが有るか判定する。
基準テーブルの投入リンクが有る場合、処理はステップS1223に進む。
基準テーブルの投入リンクが無い場合、処理はステップS1225に進む。
次に、グラフ検索部212は、基準テーブルのテーブルノード301から投入リンクとカラム名リンクとを順に辿ってデータ範囲ノード304を選択する。つまり、グラフ検索部212は、基準テーブルのテーブルノード301から投入リンクを辿って出力情報ノード302を選択し、選択した出力情報ノード302からカラム名リンクを辿ってデータ範囲ノード304を選択する。
そして、グラフ検索部212は、選択したデータ範囲ノード304に基準時点を設定する。
そして、グラフ検索部212は、選択したテーブルノード301が示すテーブルを元の基準テーブルに代えて基準テーブルに決定する。
例えば、テーブルAが基準テーブルであり、テーブルAのテーブルノード301に第1投入リンクと第2投入リンクとが接続されているものとする。グラフ検索部212は、第1投入リンクから辿ってテーブルBのテーブルノード301を選択して、第2投入リンクから辿ってテーブルCのテーブルノード301を選択したものとする。この場合、グラフ検索部212は、テーブルAに代えてテーブルBとテーブルCとを基準テーブルに決定する。
最終的に決定された1つ以上の基準テーブルのそれぞれは、先頭テーブルである。
先頭テーブルは、一連の複製元プログラムのうちの先頭の複製元プログラムに入力されるデータが含まれるテーブルである。
一連の複製元プログラムは、順に実行される複数の複製元プログラムである。
先頭の複製元プログラムは、初めに実行される複製元プログラムである。
まず、グラフ検索部212は、基準テーブル(先頭テーブル)のテーブルノード301から取得リンクとカラム名リンクとを順に辿って、データ範囲ノード304(対象のデータ範囲ノード)を選択する。つまり、グラフ検索部212は、基準テーブルのテーブルノード301から取得リンクを辿って入力情報ノード303を選択し、選択した入力情報ノード303からカラム名リンクを辿ってデータ範囲ノード304を選択する。
そして、グラフ検索部212は、選択したデータ範囲ノード304が示すデータ範囲に基づいて、複製範囲を決定する。
まず、グラフ検索部212は、選択したデータ範囲ノード304から基準時点とデータ範囲とを取得する。データ範囲は相対期間および対象時間帯である。
次に、グラフ検索部212は、基準時点と相対期間(データ範囲)とを用いて、対象時点を算出する。対象時点は、基準時点から相対期間が経過した時点である。
そして、グラフ検索部212は、対象時点と対象時間帯(データ範囲)とを複製範囲に決定する。
まず、グラフ検索部212は、基準テーブルのテーブルノード301から取得リンクを辿って、入力情報ノード303を選択する。入力情報ノード303には、第1カラム名リンクと第2カラム名リンクとが接続されている。
第1カラム名リンクは、カラム名「日時」を示すカラム名リンクである。
第2カラム名リンクは、カラム名「取得日」を示すカラム名リンクである。
次に、グラフ検索部212は、第1カラム名リンクを辿って、第1データ範囲ノード304を選択する。さらに、グラフ検索部212は、第2カラム名リンクを辿って、第2データ範囲ノード304を選択する。
次に、グラフ検索部212は、第1データ範囲ノード304から第1基準時点と第1データ範囲(第1相対期間および第1対象時間帯)とを取得する。第1データ範囲ノード304において、「T」が第1基準時点であり、「−1」が第1相対期間であり、「00:00〜23:59」が第1対象時間帯である。「−1」は1日前を意味する。
さらに、グラフ検索部212は、第2データ範囲ノード304から第2基準時点と第2データ範囲(第2相対期間および第2対象時間帯)とを取得する。第2データ範囲ノード304において、「T」が第2基準時点であり、「−2」が第2相対期間であり、「12:00」が第2対象時間帯である。「−2」は2日前を意味する。
次に、グラフ検索部212は、第1基準時点「T」と第1相対期間「−1」とを用いて、第1対象時点を算出する。第1基準時点「T」が2017年1月16日である場合、第1対象時点は2017年1月15日である。
さらに、グラフ検索部212は、第2基準時点「T」と第2相対期間「−2」とを用いて、第2対象時点を算出する。第2基準時点「T」が2017年1月16日である場合、第2対象時点は2017年1月14日である。
そして、グラフ検索部212は、第1対象時点と第1対象時間帯とを第1複製範囲に決定する。さらに、グラフ検索部212は、第2対象時点と第2対象時間帯とを第2複製範囲に決定する。
第1複製範囲は、カラム名「日時」に対する複製範囲である。
第2複製範囲は、カラム名「取得日」に対する複製範囲である。
カラム名「日時」に対する複製範囲において、対象時点は2017年1月15日であり、対象時間帯は0時0分から23時59分である。また、カラム名「取得日」に対する複製範囲において、対象時点は2017年1月16日であり、対象時間帯は12時0分である。この場合、図18に示す複製データが得られる。
つまり、基準テーブルに含まれるデータのうち、2017年1月15日の0時0分から23時59分までの「日時」と2017年1月16日の12時0分の「取得日」とを含むデータが、複製データに該当する。
ステップS1226において、グラフ検索部212は、基準テーブル毎に基準テーブル名と複製範囲とを範囲情報に設定する。
データ処理グラフ300が用いられるため、出力の検討および出力の評価に必要なデータの検索が可能である。その結果、最小限のデータがコピーされ、運用環境システムにかかる負荷が最小限になる。
また、運用環境システムの仕様が変更されても、データ処理グラフ300を変更すれば、データベースのコピーが行える。つまり、運用環境システムの仕様が変更されても、データ複製装置200を作成し直すことなく、データベースのコピーが行える。したがって、運用環境システムの仕様が変更された場合に必要な作業時間を短縮することができる。
任意の複製元プログラムに対する入力データを複製する形態について、主に実施の形態1と異なる点を図19および図21に基づいて説明する。
図19に基づいて、プロセッサ901の機能構成を説明する。
プロセッサ901は、さらに、プログラム選択部260として機能する。
データ複製プログラムは、さらに、プログラム選択部260としてコンピュータを機能させる。
図20に基づいて、グラフ検索(S122)を説明する。
ステップS1221からステップS1223は、実施の形態1で説明した通りである。
そして、グラフ検索部212は、選択したテーブルノード301が示すテーブルを元の基準テーブルに加えて基準テーブルに決定する。
例えば、テーブルAが基準テーブルであり、テーブルAのテーブルノード301に第1投入リンクと第2投入リンクとが接続されているものとする。グラフ検索部212は、第1投入リンクから辿ってテーブルBのテーブルノード301を選択して、第2投入リンクから辿ってテーブルCのテーブルノード301を選択したものとする。この場合、グラフ検索部212は、テーブルAに加えてテーブルBとテーブルCとを基準テーブルに決定する。
最終的に決定された1つ以上の基準テーブルは、一連の複製元プログラムに対応する一連の複製元テーブルである。
つまり、一連の複製元プログラムを構成する複製元プログラム毎に、複製元プログラムに入力されるデータが含まれるテーブルが基準テーブルに決定される。
つまり、基準テーブル毎に基準テーブル名と複製範囲とを示す範囲情報が生成される。
したがって、一連の複製元プログラムを構成する複製元プログラム毎に基準テーブル名と複製範囲とを示す範囲情報が生成される。
処理(5)は、処理(1)の後、処理(2)の前に実行される。
処理(5)において、プログラム選択部260は、一連の複製元プログラムから対象の複製元プログラムを選択する。
まず、プログラム選択部260は、プログラム情報を出力する。プログラム情報は、一連の複製元プログラムを示す情報である。プログラム情報の具体例は、処理(1)で得られた範囲情報である。出力されたプログラム情報は、ユーザ101に開示される。例えば、プログラム情報はディスプレイに表示される。
次に、ユーザ101は、プログラム情報に基づいて、一連の複製元プログラムから対象の複製元プログラムを選択する。
次に、ユーザ101は、選択情報をデータ複製装置200に入力する。選択情報は、対象の複製元プログラムを示す情報である。
そして、プログラム選択部260は、入力された選択情報を受け付けて記憶部291に記憶する。
処理(2)(図7参照)において、決定制御部211から取得クエリ生成部221に入力される範囲情報は、対象の複製元プログラム用の範囲情報である。
処理(4)(図9参照)において、決定制御部211から登録クエリ生成部242に応答される範囲情報は、対象の複製元プログラム用の範囲情報である。
具体的には、決定制御部211は、処理(5)で得られた選択情報を参照して対象の複製元プログラムを特定し、処理(1)で得られた範囲情報から対象の複製元プログラム用の情報(基準テーブル名および複製範囲)を選択する。選択される情報が対象の複製元プログラム用の範囲情報である。そして、決定制御部211は、対象の複製元プログラム用の範囲情報を取得クエリ生成部221に入力し、対象の複製元プログラム用の範囲情報を登録クエリ生成部242に応答する。
その結果、処理(2)において対象の複製元プログラム用の複製データが複製元データベース111から取得され、処理(4)において対象の複製元プログラム用の複製データが複製先データベース121に登録される。
複製元プログラム毎に複製範囲が決定される。そのため、任意の複製元プログラムを解析するために必要なデータを複製し、任意の複製元プログラムを解析することが可能となる。
範囲情報に変更を加える形態について、主に実施の形態1と異なる点を図22および図23に基づいて説明する。
図22に基づいて、プロセッサ901の機能構成を説明する。
プロセッサ901は、さらに、範囲編集部270として機能する。
データ複製プログラムは、さらに、範囲編集部270としてコンピュータを機能させる。
図23に基づいて、データ複製方法の処理(6)を説明する。
処理(6)は、処理(1)の後、処理(2)の前に実行される。
処理(6)において、範囲編集部270は、複製範囲を編集する。
まず、範囲編集部270は、範囲情報(基準テーブル名および複製範囲)を出力する。出力された範囲情報はユーザ101に開示される。例えば、範囲情報はディスプレイに表示される。
次に、ユーザ101は、範囲情報を編集する。
次に、ユーザ101は、編集後の範囲情報をデータ複製装置200に入力する。
そして、範囲編集部270は、編集後の範囲情報を受け付けて記憶部291に記憶する。
ユーザ101が範囲情報を任意に変更することができる。そのため、ユーザ101が解析に必要と判断したデータも複製することができる。
実施の形態3は、実施の形態2と組み合わせてもよい。
つまり、データ複製装置200は、プログラム選択部260と範囲編集部270とを備えてもよい。
複製元プログラムに対する入出力データの形態について、主に実施の形態1と異なる点を説明する。
但し、複製元プログラムに対する入出力データは、時系列データ以外のデータであってもよい。その場合、複製範囲は、複製されるデータの日時以外の範囲である。
例えば、複製元プログラムに対する入出力データは、距離データであってもよい。距離データは距離を含んだデータである。例えば、距離データは、地理的範囲を示す距離を含む。距離データに対する複製範囲は、複製されるデータに含まれる距離の範囲である。
データ複製装置200は、複数のコンピュータで構成されてもよい。
例えば、データ複製装置200は、範囲決定部210として機能するコンピュータと、データ取得部220として機能するコンピュータと、初期化部230として機能するコンピュータと、データ登録部240として機能するコンピュータとの4台のコンピュータで構成されてもよい。
データ複製装置200は処理回路990を備える。
処理回路990は、範囲決定部210とデータ取得部220と初期化部230とデータ登録部240と記憶部291とを実現するハードウェアである。
処理回路990は、専用のハードウェアであってもよいし、メモリ902に格納されるプログラムを実行するプロセッサ901であってもよい。
ASICはApplication Specific Integrated Circuitの略称であり、FPGAはField Programmable Gate Arrayの略称である。
データ複製装置200は、処理回路990を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路990の役割を分担する。
カラム名「日時」に対する複製範囲において、対象時点は2017年1月15日であり、対象時間帯は0時0分から23時59分である。また、カラム名「取得日」に対する複製範囲において、対象時点は2017年1月14日であり、対象時間帯は12時0分である。この場合、図18に示す複製データが得られる。
つまり、基準テーブルに含まれるデータのうち、2017年1月15日の0時0分から23時59分までの「日時」と2017年1月14日の12時0分の「取得日」とを含むデータが、複製データに該当する。
Claims (10)
- 複製元システムに含まれる複製元プログラムに対する入出力データの情報を示すデータ処理グラフを用いて、前記複製元システムから複製先システムに複製されるデータの範囲である複製範囲を決定する範囲決定部と、
前記複製範囲に対応する複製データを前記複製元システムから取得するデータ取得部と、
前記複製データを前記複製先システムに登録するデータ登録部と
を備えるデータ複製装置。 - 前記データ処理グラフは、
前記複製元プログラムを示すプログラムノードと、
前記複製元プログラムに対する入出力データのうちの入力データの情報を示す入力情報ノードと、
前記複製元プログラムに対する入出力データのうちの出力データの情報を示す出力情報ノードと、
前記複製元プログラムに対する入出力データのデータ範囲を示すデータ範囲ノードと、
前記複製元システムに含まれる複製元テーブルを示すテーブルノードと、
前記プログラムノードと前記入力情報ノードと前記出力情報ノードと前記データ範囲ノードと前記テーブルノードとのそれぞれを繋ぐリンクとを有する
請求項1に記載のデータ複製装置。 - 前記範囲決定部は、基準テーブルのテーブルノードから各リンクを辿って対象のデータ範囲ノードを選択し、前記対象のデータ範囲ノードが示すデータ範囲に基づいて前記複製範囲を決定する
請求項2に記載のデータ複製装置。 - 前記範囲決定部は、前記基準テーブルのテーブルノードから各リンクを辿って先頭テーブルのテーブルノードを選択し、前記先頭テーブルのテーブルノードから各リンクを辿って前記対象のデータ範囲ノードを選択する
請求項3に記載のデータ複製装置。 - 前記範囲決定部は、前記基準テーブルのテーブルノードから各リンクを辿って新たな基準テーブルのテーブルノードを選択し、基準テーブル毎に基準テーブルのテーブルノードから各リンクを辿って基準テーブル毎に対象のデータ範囲ノードを選択する
請求項3に記載のデータ複製装置。 - 前記データ複製装置は、対象の複製元プログラムを選択するプログラム選択部を備え、
前記範囲決定部は、基準テーブル毎に前記複製範囲を決定し、前記対象の複製元プログラム用の複製範囲を選択し、
前記データ取得部は、前記対象の複製元プログラム用の複製範囲に対応するデータを前記複製データとして取得する
請求項5に記載のデータ複製装置。 - 前記データ複製装置は、前記複製範囲を編集する範囲編集部を備え、
前記データ取得部は、編集後の複製範囲のデータを前記複製データとして取得する
請求項1から請求項6のいずれか1項に記載のデータ複製装置。 - 前記入出力データは、時系列データであり、
前記複製範囲は、複製されるデータの日時の範囲である
請求項1から請求項7のいずれか1項に記載のデータ複製装置。 - 前記入出力データは、時系列データ以外のデータであり、
前記複製範囲は、複製されるデータの日時以外の範囲である
請求項1から請求項7のいずれか1項に記載のデータ複製装置。 - 複製元システムに含まれる複製元プログラムに対する入出力データの情報を示すデータ処理グラフを用いて、前記複製元システムから複製先システムに複製されるデータの範囲である複製範囲を決定する範囲決定処理と、
前記複製範囲に対応する複製データを前記複製元システムから取得するデータ取得処理と、
前記複製データを前記複製先システムに登録するデータ登録処理と
をコンピュータに実行させるためのデータ複製プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/020292 WO2018220754A1 (ja) | 2017-05-31 | 2017-05-31 | データ複製装置およびデータ複製プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6602510B2 JP6602510B2 (ja) | 2019-11-06 |
JPWO2018220754A1 true JPWO2018220754A1 (ja) | 2019-12-12 |
Family
ID=64454577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019521606A Active JP6602510B2 (ja) | 2017-05-31 | 2017-05-31 | データ複製装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11151158B2 (ja) |
EP (1) | EP3605340B1 (ja) |
JP (1) | JP6602510B2 (ja) |
CN (1) | CN110678855B (ja) |
WO (1) | WO2018220754A1 (ja) |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3412384B2 (ja) | 1996-03-13 | 2003-06-03 | 株式会社日立製作所 | 制御モデル構築支援装置 |
US20030208511A1 (en) * | 2002-05-02 | 2003-11-06 | Earl Leroy D. | Database replication system |
JP3755497B2 (ja) | 2002-09-02 | 2006-03-15 | 株式会社日立製作所 | 制御モデル構築支援装置および方法 |
JP2006099793A (ja) | 2005-10-28 | 2006-04-13 | Hitachi Ltd | 制御モデル構築支援装置および方法 |
US20080243769A1 (en) | 2007-03-30 | 2008-10-02 | Symantec Corporation | System and method for exporting data directly from deduplication storage to non-deduplication storage |
US7917512B2 (en) * | 2007-11-30 | 2011-03-29 | International Business Machines Corporation | Method for automated design of range partitioned tables for relational databases |
JP2009146169A (ja) | 2007-12-14 | 2009-07-02 | Fujitsu Ltd | ストレージシステム、ストレージ装置、データバックアップ方法 |
JP5439014B2 (ja) | 2009-04-10 | 2014-03-12 | 株式会社日立製作所 | データ処理システム、その処理方法、及び計算機 |
JP2011134029A (ja) * | 2009-12-24 | 2011-07-07 | Hitachi Ltd | ストレージ装置 |
US8676772B2 (en) * | 2011-12-09 | 2014-03-18 | Telduráðgevin Sp/f | Systems and methods for improving database performance |
WO2013128582A1 (ja) * | 2012-02-28 | 2013-09-06 | 株式会社 日立製作所 | ストレージシステム及びストレージシステムの制御方法 |
US10747777B2 (en) | 2015-03-11 | 2020-08-18 | Hitachi, Ltd. | Computer system and transaction processing management method |
WO2016141590A1 (zh) * | 2015-03-12 | 2016-09-15 | 华为技术有限公司 | 时序数据处理方法及装置 |
US10067969B2 (en) * | 2015-05-29 | 2018-09-04 | Nuodb, Inc. | Table partitioning within distributed database systems |
CN105450741B (zh) * | 2015-11-16 | 2018-09-25 | 苏州大学 | 分布式存储系统中供应服务器选择和修复数据传输方法 |
-
2017
- 2017-05-31 EP EP17911909.4A patent/EP3605340B1/en active Active
- 2017-05-31 JP JP2019521606A patent/JP6602510B2/ja active Active
- 2017-05-31 WO PCT/JP2017/020292 patent/WO2018220754A1/ja unknown
- 2017-05-31 CN CN201780091128.5A patent/CN110678855B/zh active Active
- 2017-05-31 US US16/604,791 patent/US11151158B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP6602510B2 (ja) | 2019-11-06 |
CN110678855B (zh) | 2023-06-16 |
EP3605340A1 (en) | 2020-02-05 |
EP3605340A4 (en) | 2020-03-11 |
CN110678855A (zh) | 2020-01-10 |
WO2018220754A1 (ja) | 2018-12-06 |
US20200104308A1 (en) | 2020-04-02 |
EP3605340B1 (en) | 2021-03-31 |
US11151158B2 (en) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445321B2 (en) | Multi-tenant distribution of graph database caches | |
JP6526684B2 (ja) | データベースキーの識別 | |
JP6239004B2 (ja) | 最適化されたデータサブセット化のための方法、装置及びコンピュータ読み取り可能媒体 | |
JP6674459B2 (ja) | グラフのデバッグ | |
US20130159365A1 (en) | Using Distributed Source Control in a Centralized Source Control Environment | |
US9740595B2 (en) | Method and apparatus for producing a benchmark application for performance testing | |
WO2018176812A1 (zh) | 静态资源发布方法及装置 | |
WO2016026328A1 (zh) | 一种信息处理方法、装置及计算机存储介质 | |
JP5179207B2 (ja) | ソフトウェア開発支援の装置、そのプログラム、及び方法 | |
CN115827636A (zh) | 存储及从波形数据库读取逻辑系统设计的仿真数据的方法 | |
JP6602510B2 (ja) | データ複製装置 | |
JP6567212B2 (ja) | 等価性検証装置および等価性検証プログラム | |
AU2021216392A1 (en) | Selective synchronization of database objects | |
US11222037B2 (en) | Intelligent message mapping | |
JP2018120465A (ja) | 関係分析装置および関係分析プログラム | |
JP4848760B2 (ja) | リポジトリシステム、リポジトリシステムの管理方法、及びそのプログラム | |
JP6880962B2 (ja) | プログラム分析装置、プログラム分析方法および分析プログラム | |
CN112817971A (zh) | 一种基于二维映射表的数据处理方法及系统 | |
US10872028B2 (en) | Methods and systems for identifying duplicate jobs in a continuous integration environment | |
Manikantan et al. | Software tool to perform metamorphic testing on RESTful web APIs | |
WO2021250812A1 (ja) | 情報処理装置及びプログラム | |
US20240012740A1 (en) | Systems and methods for integrated design, assessment and remediation of web pages | |
CN114090067A (zh) | 软件组合版本控制方法、控制装置及存储介质 | |
JP6699433B2 (ja) | データ管理プログラム、装置、及び方法 | |
JP2006146669A (ja) | カバレッジ測定システム及びカバレッジ測定方法並びにそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190723 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190723 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190723 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190903 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191008 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6602510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |