JP4433185B2 - データ収集方法およびその装置 - Google Patents

データ収集方法およびその装置 Download PDF

Info

Publication number
JP4433185B2
JP4433185B2 JP2004343535A JP2004343535A JP4433185B2 JP 4433185 B2 JP4433185 B2 JP 4433185B2 JP 2004343535 A JP2004343535 A JP 2004343535A JP 2004343535 A JP2004343535 A JP 2004343535A JP 4433185 B2 JP4433185 B2 JP 4433185B2
Authority
JP
Japan
Prior art keywords
data
recording
file
measurement
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004343535A
Other languages
English (en)
Other versions
JP2006155135A (ja
Inventor
銀秀 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2004343535A priority Critical patent/JP4433185B2/ja
Publication of JP2006155135A publication Critical patent/JP2006155135A/ja
Application granted granted Critical
Publication of JP4433185B2 publication Critical patent/JP4433185B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Description

本発明は、データ記録装置と測定器をネットワークを介して接続する測定データ収集装置に関し、欠損データを修復することができるデータ収集方法及びその装置に関するものである。
図4にネットワークを用いたデータ収集装置の構成を示す。図4において、データ記録装置であるコンピュータ4と測定器6はネットワーク5で接続されている。測定器6はコンピュータの要求に応じて測定データをネットワーク5を介してコンピュータ4に送信する。コンピュータ4は受信した測定値を記録データファイルに保存する。なお、通常ネットワーク5には複数の測定器6が接続される。
このようなデータ収集装置では、ネットワーク5に障害が発生して通信ができなくなると、その間のデータは失われてしまう。通常、測定器は所定の大きさのバッファを有しているので、通信が再開されたときにこのバッファに残っているデータは復元が可能である。しかし、バッファの容量には限りがあるので、通信できなくなる時間が長くなると、測定データがバッファからあふれ出し、復元が不可能になってしまう。
メモリカードやハードディスクなどのストレージ装置を内蔵した測定器では、通信ができなくなってから復帰するまでの測定データを、自動的に自身のストレージ装置にバックアップファイルとして保存することができる。しかし、測定データがコンピュータ4の記録データファイルと測定器6のバックアップファイルに分断されるので、データ管理が面倒になるという欠点がある。
このことを図5を用いて説明する。図5(A)はコンピュータ4の記録データファイルに記録されている測定データの経時変化を表したものであり、横軸は時間、縦軸は測定値である。時刻t11でネットワークに障害が発生して通信ができなくなり、t14で復帰したとする。このとき、t13からt14までの測定データは測定器6のバッファに残っているので復元することができるが、t11からt13までの測定データは復元することができず、欠損データになる。
図5(B)は、測定器6のストレージ装置にバックアップファイルとして保存された測定データを表す。時刻t12で測定器6が通信断を検出すると、バックアップを開始する。時刻t10からt12までの測定データはバッファに残っているので、バックアップは時刻t10から開始される。このバックアップは、通信が復帰するt14まで続けられる。
収集されたデータを2系統のロギングファイルに重複して保存しておき、一方の系統が異常停止後再起動された際、ロギングファイルの管理ファイル内の最終格納時刻に基づき、各保存データの欠損した期間を特定し、欠損期間中のデータを他方から呼び出して欠損部を復元する装置として、例えば特許文献1に記載されたものがあった。
特開平9−160845号公報
しかし、このようなデータ収集装置には次のような課題があった。ストレージ装置を持たない測定器では、バッファからあふれ出した測定データは復元することができない。従って、通信できない時間が長くなるとほとんどの測定データはバッファに残っておらず、永久に失われてしまうという課題があった。
バッファの容量を大きくすると失われる測定データの割合は小さくなるが、そのためには大容量のメモリを搭載しなければならず、コストが増加してしまうという課題もあった。
ストレージ装置を内蔵した測定器では、通信できなくなる時間がかなり続いても測定データを保存しておくことができる。しかし、1つの時系列データがコンピュータ4の記録データファイルと測定器6のバックアップファイルに分断されて保存されるので、データ管理や確認に手間がかかるという課題もあった。
従って本発明が解決しようとする課題は、測定停止後に測定器のストレージ装置に格納されたバックアップファイルを読み出し、そのデータをデータ記録装置の記録データファイルに埋め込むことにより、データ管理およびデータ確認を容易に行うことができるデータ収集方法およびその装置を提供することにある。
このような課題を達成するために、本発明のうち請求項1記載の発明は、
測定器で生成した測定データをネットワークを介してデータ記録装置に伝送し、このデータ記録装置に保存するデータ収集方法において、
測定開始時に、重複しない記録識別子を生成する工程と、
前記測定器から送られてきた測定データを、前記データ記録装置内に配置され、前記記録識別子が設定された記録データファイルに測定データを保存すると共に、前記ネットワークの通信が途絶したときに、前記記録データファイルの所定の位置に、測定データが欠損していることを示す欠損データを書き込む工程と、
前記ネットワークの通信が途絶している間、前記測定器内に配置され、前記記録識別子が設定されたバックアップファイルに測定データを保存する工程と、
測定が停止したときに、前記記録データファイルに設定された記録識別子と同じ記録識別子を有する前記バックアップファイルを読み込み、このバックアップファイルのデータを前記記録データファイルの前記欠損データの位置に埋め込む工程と、
を具備したものである。1つの時系列データが1つのファイルに格納されるので、データの管理、確認が容易になる。また、欠損部分を確実に見つけだすことができる。
請求項2記載の発明は、請求項1記載の発明において、
測定が停止したときに、前記測定器内のバックアップファイルを検索し、記録識別子とバックアップファイルのリストを作成して、このリストに基づいて前記バックアップファイルを読み込むようにしたものである。同じ記録識別子を有するバックアップファイルを容易に見つけることができる。
請求項記載の発明は、
データ記録装置と測定器をネットワークで接続し、この測定器が測定した測定データを前記ネットワークを介して前記データ記録装置に伝送して保存する構成のデータ収集装置において、
測定開始時に重複しない記録識別子を生成する記録識別子生成部と、
前記測定器に配置され、前記記録識別子が設定されたバックアップファイルを作成し、前記ネットワークによる通信が途絶している間、このバックアップファイルに測定データを書き込むバックアップファイル作成部と、
前記記録識別子が設定された記録データファイルを生成すると共に、前記ネットワークを介して前記測定器から送られてくる測定データを前記記録データファイルに保存し、前記ネットワークの通信が途絶したときに、前記記録データファイルの所定の位置に、測定データが欠損していることを示す欠損データを書き込み、測定が停止したときに、前記記録データファイルに設定された記録識別子と同一の記録識別子が設定された前記バックアップファイルを読み出して、このバックアップファイルの測定データを前記記録データファイルの前記欠損データの位置に埋め込む測定データ記録部と、
を具備したものである。1つの時系列データが1つのファイルに格納されるので、データの管理、確認が容易になる。また、欠損部分を確実に見つけだすことができる。
請求項記載の発明は、請求項記載の発明において、
測定が停止したときに、前記ネットワークに接続されている前記測定器を検索し、前記記録識別子と前記バックアップファイルのリストを作成するファイルリスト作成部を具備し、
前記測定データ記録部は、このファイルリストに基づいて前記バックアップファイルを読み出すようにしたものである。同じ記録識別子を有するバックアップファイルを容易に見つけることができる。
以上説明したことから明らかなように、本発明によれば次のような効果がある。
請求項1,2,3,及び請求項4の発明によれば、データ記録装置内の記録データファイルと測定器内のバックアップファイルに同じ記録識別子を設定し、ネットワークの通信が途絶えたときに、測定データを前記バックアップファイルに保存して、測定が停止すると、同じ記録識別子を有するバックアップファイルを読み出して、そのデータを前記記録データファイルの所定の位置に埋め込むようにした。
ネットワークの通信が一時的に途絶えても、1つの時系列データが1つのファイルに保存されるので、データの確認および管理を容易に行えるようになるという効果がある。また、データのロスを削減することができ、かつデータの安全性を保つことができるという効果もある。
また、記録データファイルとバックアップファイルに同一のユニークな記録識別子を設定することにより、容易かつ確実に記録データファイルとバックアップファイルの関連づけを行うことができるという効果もある。さらに、バッファの容量を増加させることなく、測定データの欠損を防止できるという効果もある。
以下本発明を図面を用いて詳細に説明する。図1は本発明に係るデータ収集装置の一実施例を示す構成図である。図1において、1はデータ記録装置であるコンピュータであり、記録識別子生成部11,測定データ記録部12,ファイルリスト作成部13および通信インターフェイス14で構成されている。
3は測定器であり、測定部31,バックアップファイル作成部32および通信インターフェイス33で構成されており、ストレージ装置が内蔵されている。また、コンピュータ1と測定器3は、通信インターフェイス14,33を介してネットワーク2で接続されている。なお、この実施例ではネットワーク2には1台の測定器3が接続されているが、通常2台以上の測定器が接続される。
測定開始時に、記録識別子生成部11は重複しない記録識別子(ID)を作成する。この記録識別子はネットワーク2を介して測定器3に送信され、設定される。前述したように、通常ネットワーク2には複数の測定器3が接続されており、全ての測定器に記録識別子が設定される。測定データ記録部12は記録データファイルを作成して、記録識別子をこの記録データファイルに格納する。
測定部31で測定データが作成され、図示しないバッファに格納される。この測定データは、コンピュータ1の収集要求に応じてネットワーク2を介してコンピュータ1に伝送される。測定データ記録部12は、受信した測定データを送信元の測定器3と同じ記録識別子を有する記録データファイルに時系列的に格納する。
ネットワーク2に障害が発生するなどのために通信ができなくなることを検出すると、バックアップファイル作成部32はストレージ装置内にバックアップファイルを作成し、測定データを書き込む。このバックアップファイルには、測定開始時にコンピュータ1から伝送された記録識別子も書き込まれる。通信が復帰すると、測定データをバックアップファイルに書き込むことを中止し、コンピュータ1の収集要求に応じて新たな測定データを伝送する動作を再開する。
通信ができなくなると、コンピュータ1は測定データを受け取ることができなくなる。測定データ記録部12はデータが欠損していることを示す欠損データを記録データファイルに書き込む。通信が復帰すると、再び測定器3に収集要求を出力し、送られてきた測定データを記録データファイルに書き込む。
測定が終了し、記録データファイルへの書き込みが停止すると、コンピュータ1は測定器3からバックアップファイルをコピーし、このバックアップファイル内のデータを用いて欠損データを埋め込み、記録データファイルを再構成する。
次に、図2を用いて、測定停止後に実行する欠損データの埋め込み処理の詳細を説明する。図2において、まず(A−1)でファイルリスト作成部13は測定器3から記録データファイルの識別子を取得する。そして、(A−2)でネットワーク2に接続された測定器を順に検索し、測定器内に格納されているバックアップファイルのうち、同じ記録識別子が格納されているファイルのリストを作成する。
ネットワークに接続されている全ての測定器を検索すると、リスト作成が終了する(A−3)。リスト作成が終了すると、このリストは測定データ記録部12に送られる。測定データ記録部12は、(A−4)でこのリストに基づいてバックアップファイルのデータを読み込む。(A−5)で、同じ記録識別子を有する全てのバックアップファイルのデータを読み込んだことをチェックすると、(A−6)でこのバックアップファイルのデータを欠損データの位置に埋め込む。全ての記録データファイルについて、この作業を行う。
次に、図3に基づいて測定データの埋め込みについて説明する。図3の横軸は時間、縦軸は測定データの値である。図3(A)は埋め込み前のコンピュータ1の記録データファイルに格納された測定データを示したものである。時刻t2で通信が断絶し、時刻t5で復帰している。時刻t4とt5の間の測定データはバッファに格納されているので復元できるが、時刻t2からt4までは復元できない。この部分には、欠損データが格納される。
同図(B)は測定器3内のバックアップファイルに格納されている測定データである。時刻t3で通信断絶を検出しているが、時刻t1からt3までの測定データはバッファ内に格納されているので、バックアップは時刻t1から開始される。時刻t5で通信が復帰したので、時刻t5でバックアップを終了する。
同図(C)は記録データファイルの欠損データ部分にバックアップファイルのデータを埋め込んだときの記録データファイルの測定データである。欠損データが埋め込まれ、測定データが完全に復元されていることがわかる。
このように、通信が断絶している間の測定データが、1つの記録データファイルに完全に復元される。そのため、データ管理や確認を簡単に行うことができる。なお、測定器3の種類は特に限定されず、ネットワークを介して接続されるあらゆる測定器に適用することができる。また、ネットワークは通信路を総称したものであり、コンピュータ1と測定器3を通信路で接続した装置であればあらゆるデータ収集装置に応用することができる。
本発明の一実施例を示す構成図である。 本発明の一実施例を示すフローチャートである。 本発明の効果を示す特性図である。 従来のデータ収集装置の構成図である。 従来のデータ収集装置の特性図である。
符号の説明
1 コンピュータ
11 記録識別子生成部
12 測定データ記録部
13 ファイルリスト作成部
2 ネットワーク
3 測定器
31 測定部
32 バックアップファイル作成部

Claims (4)

  1. 測定器で生成した測定データをネットワークを介してデータ記録装置に伝送し、このデータ記録装置に保存するデータ収集方法において、
    測定開始時に、重複しない記録識別子を生成する工程と、
    前記測定器から送られてきた測定データを、前記データ記録装置内に配置され、前記記録識別子が設定された記録データファイルに保存すると共に、前記ネットワークの通信が途絶したときに、前記記録データファイルの所定の位置に、測定データが欠損していることを示す欠損データを書き込む工程と、
    前記ネットワークの通信が途絶している間、前記測定器内に配置され、前記記録識別子が設定されたバックアップファイルに測定データを保存する工程と、
    測定が停止したときに、前記記録データファイルに設定された記録識別子と同じ記録識別子を有する前記バックアップファイルを読み込み、このバックアップファイルのデータを前記記録データファイルの前記欠損データの位置に埋め込む工程と、
    を具備したことを特徴とするデータ収集方法。
  2. 測定が停止したときに、前記測定器内のバックアップファイルを検索し、記録識別子とバックアップファイルのリストを作成して、このリストに基づいて前記バックアップファイルを読み込む工程を具備したことを特徴とする請求項1記載のデータ収集方法。
  3. データ記録装置と測定器をネットワークで接続し、この測定器が測定した測定データを前記ネットワークを介して前記データ記録装置に伝送して保存する構成のデータ収集装置において、
    測定開始時に重複しない記録識別子を生成する記録識別子生成部と、
    前記測定器に配置され、前記記録識別子が設定されたバックアップファイルを作成し、前記ネットワークによる通信が途絶している間、このバックアップファイルに測定データを書き込むバックアップファイル作成部と、
    前記記録識別子が設定された記録データファイルを生成すると共に、前記ネットワークを介して前記測定器から送られてくる測定データを前記記録データファイルに保存し、前記ネットワークの通信が途絶したときに、前記記録データファイルの所定の位置に、測定データが欠損していることを示す欠損データを書き込み、測定が停止したときに、前記記録データファイルに設定された記録識別子と同一の記録識別子が設定された前記バックアップファイルを読み出して、このバックアップファイルの測定データを前記記録データファイルの前記欠損データの位置に埋め込む測定データ記録部と、
    を具備したことを特徴とするデータ収集装置。
  4. 測定が停止したときに、前記ネットワークに接続されている前記測定器を検索し、前記記録識別子と前記バックアップファイルのリストを作成するファイルリスト作成部を具備し、
    前記測定データ記録部は、このファイルリストに基づいて前記バックアップファイルを読み出すようにしたことを特徴とする請求項記載のデータ収集装置。
JP2004343535A 2004-11-29 2004-11-29 データ収集方法およびその装置 Active JP4433185B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004343535A JP4433185B2 (ja) 2004-11-29 2004-11-29 データ収集方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004343535A JP4433185B2 (ja) 2004-11-29 2004-11-29 データ収集方法およびその装置

Publications (2)

Publication Number Publication Date
JP2006155135A JP2006155135A (ja) 2006-06-15
JP4433185B2 true JP4433185B2 (ja) 2010-03-17

Family

ID=36633372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004343535A Active JP4433185B2 (ja) 2004-11-29 2004-11-29 データ収集方法およびその装置

Country Status (1)

Country Link
JP (1) JP4433185B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6866870B2 (ja) * 2018-03-30 2021-04-28 横河電機株式会社 データアクイジションシステム、データアクイジション装置、およびデータ合成装置

Also Published As

Publication number Publication date
JP2006155135A (ja) 2006-06-15

Similar Documents

Publication Publication Date Title
TW417104B (en) Realtime data recording method
US7827440B1 (en) Re-synchronizing corrupted data
JP2005128861A (ja) リモートサイト及び/又はローカルサイトのストレージシステム及びリモートサイトストレージシステムのファイル参照方法
CN107315659B (zh) 一种元数据的冗余备份方法及装置
US7567994B2 (en) Method and apparatus to proactively capture and transmit dense diagnostic data of a file system
US20140337301A1 (en) Big data extraction system and method
CN103973727A (zh) 数据同步方法及装置
CN116501259A (zh) 磁盘组双活同步方法、装置、计算机设备及存储介质
TW201516655A (zh) 基於分散式文檔系統的資料備份還原系統及方法
CN113535665A (zh) 一种主数据库与备数据库之间同步日志文件的方法及装置
US7010650B2 (en) Multiple data management method, computer and storage device therefor
JP2012014317A (ja) 複製装置、複製方法、メモリメディア、プログラム
JP4433185B2 (ja) データ収集方法およびその装置
CN112530467A (zh) 一种光盘存储追加刻录方法及系统
US20070271311A1 (en) Disk array device and data management method for managing master data and replication data replicated from master data
US8347051B2 (en) Storage apparatus, backup apparatus, and backup method
US8805156B2 (en) Recording control apparatus and recording control method
JP5213061B2 (ja) ミラーリング制御装置、ミラーリング制御回路、ミラーリング制御方法およびそのプログラム
US7587466B2 (en) Method and computer system for information notification
JP2012186787A (ja) 記録媒体アダプタ、情報記録装置、および情報記録システム
JP2005353046A (ja) 記録媒体、ホスト機器及びデータ処理方法
JP6277878B2 (ja) ストレージ装置の制御装置、ストレージ装置の制御方法及びストレージ装置の制御プログラム
CN106599046B (zh) 分布式文件系统的写入方法及装置
CN102549550B (zh) 一种数据访问方法及系统
CN117574446B (zh) 一种数据保护方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091215

R150 Certificate of patent or registration of utility model

Ref document number: 4433185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130108

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140108

Year of fee payment: 4