JP6414875B2 - データ管理システム、データ管理装置、プログラム及びデータ管理方法 - Google Patents

データ管理システム、データ管理装置、プログラム及びデータ管理方法 Download PDF

Info

Publication number
JP6414875B2
JP6414875B2 JP2014145637A JP2014145637A JP6414875B2 JP 6414875 B2 JP6414875 B2 JP 6414875B2 JP 2014145637 A JP2014145637 A JP 2014145637A JP 2014145637 A JP2014145637 A JP 2014145637A JP 6414875 B2 JP6414875 B2 JP 6414875B2
Authority
JP
Japan
Prior art keywords
data
data management
synchronization
stored
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014145637A
Other languages
English (en)
Other versions
JP2016024469A (ja
Inventor
中島 一郎
一郎 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Platforms Ltd
Original Assignee
NEC Platforms Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Platforms Ltd filed Critical NEC Platforms Ltd
Priority to JP2014145637A priority Critical patent/JP6414875B2/ja
Publication of JP2016024469A publication Critical patent/JP2016024469A/ja
Application granted granted Critical
Publication of JP6414875B2 publication Critical patent/JP6414875B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はデータ管理システム、データ管理装置、プログラム及びデータ管理方法に関し、特に、複数の装置間でのデータの管理についてのデータ管理システム、データ管理装置、プログラム及びデータ管理方法に関する。
近年、デバイス同士でネットワークを介して相互に通信を行うM2M(Machine to Machine)が注目されており、M2Mを対象としたサービス市場の拡大が見込まれている。このようなM2Mサービスを提供するシステムとして、例えば、特許文献1〜3に記載のシステムがある。これらのシステムでは、センサなどのデータ取得デバイスが取得したデータを、ネットワークを介してサーバに送り、サーバでデータを管理する。
一般的に、M2Mを対象とするサービスは、ビッグデータを扱うと考えられているが、サービスの成長に合わせて、導入初期はスモールデータを扱い、その後、徐々にデータ量が増加することが想定される。そのため、M2M分野において、扱うデータが徐々に増加していくサービスを支える基盤として、センシングデータの収集、蓄積、分析、情報提供を実現する管理システムには、容易にスケールアウトできる仕組みが必要と考えられる。
特開2013−200645号公報 特開2013−207760号公報 特開2013−257798号公報
スケールアウトを実施する場合において、増設されるサーバがサービスを提供するに至るには、既存のサーバとの間でデータの同期を行う必要がある。このため、増設されたサーバがサービスを提供するまでに時間がかかるという問題がある。しかしながら、上記特許文献1〜3においては、スケールアウト時のデータの同期については開示していない。このため、スケールアウト時の増設サーバの導入までの時間の短縮が依然として求められている。
本発明の目的は、このような課題を解決するためになされたものであり、スケールアウト時の運用開始までの導入時間を抑制することができるデータ管理システム、データ管理装置、プログラム及びデータ管理方法を提供することにある。
本願発明の一態様にかかるデータ管理システムは、データを複数のデータ管理装置間で同期して管理するデータ管理システムであって、前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御する記憶制御手段と、データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する同期手段とを有する。
本願発明の一態様にかかるデータ管理システムは、データを他のデータ管理装置との間で同期して管理するデータ管理装置であって、前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御する記憶制御手段と、同期対象のデータ管理装置が追加された場合に、追加された前記データ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する同期手段とを有する。
本願発明の一態様にかかるプログラムは、データを複数のデータ管理装置間で同期するプログラムであって、前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御するステップと、データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行するステップとをコンピュータに実行させる。
本願発明の一態様にかかるデータ管理方法は、データを複数のデータ管理装置間で同期して管理するデータ管理方法であって、前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶し、データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する方法である。
本発明によれば、スケールアウト時の運用開始までの導入時間を抑制することができるデータ管理システム、データ管理装置、プログラム及びデータ管理方法を提供することができる。
本発明の第1の実施形態にかかるデータ管理システム1の機能構成を示すブロック図である。 本発明の第2の実施形態にかかるデータ管理システム2のシステム構成を示す模式図である。 本発明の第2の実施形態にかかるデータ管理システム2の機能構成を示すブロック図である。 データ管理システム2が管理対象とするデータの分類における基準の一例を示す表である。 データ管理システム2が管理対象とする各データの分類結果の一例を示す表である。 サービス提供サーバ20がスケールアウトに伴い増設された場合のデータ記憶の流れについて示すシーケンスチャートである。
以下、図面を参照して本発明の実施の形態について説明する。まず、本発明の第1の実施形態にかかるデータ管理システム1について説明する。
図1は、本発明の第1の実施形態にかかるデータ管理システム1の機能構成を示すブロック図である。
データ管理システム1は、データを管理する複数のデータ管理装置10を有し、データを複数のデータ管理装置10間で同期して管理する。データ管理装置10は、コンピュータとしての機能を有した装置であり、例えばサーバとして構成されている。なお、図1に示した例では、2台のデータ管理装置10が図示されているが、データ管理装置10の台数は、これに限定されない。また、各データ管理装置10は、記憶制御部101、同期部102を備えている。
記憶制御部101は、管理対象のデータを、運用上予め定められた同期タイミングの違いによる分類ごとに記憶するよう制御する。なお、同期タイミングとは、複数のデータ管理装置10間でのデータの同期における同期の実施タイミングをいう。管理対象のデータは、この同期タイミングの違いに応じて分類されており、記憶制御部101は、この分類に従い、管理対象のデータを分類ごとに記憶するよう制御する。管理対象のデータは、例えば、データの特徴に基づいて、同期タイミングによる分類がなされている。
同期部102は、記憶制御部101による制御により記憶された管理対象のデータを、当該データの運用上予め定められた同期タイミングで、複数のデータ管理装置10間で同期する。したがって、例えば、同期部102は、第1の同期タイミングで同期することが予め定められている第1のデータ群に属する管理対象のデータについて、第1の同期タイミングで同期する。また、例えば、同期部102は、第nの同期タイミングで同期することが予め定められている第nのデータ群に属する管理対象のデータについて、第nの同期タイミングで同期する。以上が、同期部102が運用時に行う同期処理となる。
また、同期部102は、スケールアウトによりサービス提供サーバが追加された場合、次のように同期処理を行う。同期部102は、データ管理システム1において、スケールアウトによりサービス提供サーバが追加された場合、追加されたサーバと既存の複数のサービス提供サーバとの間のデータの最初の同期について、データの分類ごとに、上記運用上予め定められた同期タイミングで順次実行する。管理対象のデータが、同期タイミングの違いに応じて第1〜第nのデータ群に分類されている場合を例に説明する。この場合、サーバの追加時に、同期部102は、第1〜第nのデータ群に分類されているデータを全て同じタイミングで同期するのではなく、サーバ追加後、各データ群を各々の同期タイミングに従って順次同期する。よって、例えば、第1のデータ群に分類されているデータについては、サーバ追加後、第1の同期タイミングで、サーバ間の最初の同期が行われ、第nのデータ群に分類されているデータについては、サーバ追加後、第nの同期タイミングで、サーバ間の最初の同期が行われる。
このため、増設されるサーバの導入の際、このサーバがサービスを提供するまでに(運用が開始されるまでに)必要とされる同期処理の対象は、管理対象の全てのデータではない。したがって、サーバ追加時の同期処理にかかる時間が削減され、スケールアウト時の運用開始までの導入時間を抑制することができる。
なお、記憶制御部101は、例えば、管理対象のデータを、同期タイミングの違いによる分類ごとに、データ管理装置10間でのデータの同期方法が区別された異なる記憶領域に記憶するよう制御してもよい。なお、異なる記憶領域は、物理的に同じ記憶装置内における論理的に異なる記憶領域であってもよいし、物理的に異なる記憶装置のそれぞれの記憶領域であってもよい。この場合、例えば、記憶制御部101は、管理対象のデータを第1の記憶領域〜第nの記憶領域に記憶するよう制御する。すなわち、記憶制御部101は、分類に応じて、第1の記憶領域〜第nの記憶領域のうち、いずれに記憶するかを決定する。なお、nは、1以上の整数である。
例えば、第1のデータ群について、複数のデータ管理装置10間で、第1の同期タイミングで同期することが予め定められている場合、記憶制御部101は、第1の記憶領域に第1のデータ群に属する管理対象のデータを記憶するよう制御する。同様に、例えば、第nのデータ群について、複数のデータ管理装置10間で、第nの同期タイミングで同期することが予め定められている場合、記憶制御部101は、第nの記憶領域に第nのデータ群に属する管理対象のデータを記憶するよう制御する。
次に、本発明の第2の実施形態にかかるデータ管理システム2について説明する。
図2は、本発明の第2の実施形態にかかるデータ管理システム2のシステム構成を示す模式図である。
データ管理システム2は、センサデバイスからデータを収集し、利用するシステムであり、データを管理する複数のサービス提供サーバ20と、データベース装置21とを有し、これらが有線又は無線により構成されるネットワーク22を介して接続されている。このような構成により、データ管理システム2は、データを複数のサービス提供サーバ20間で同期して管理する。サービス提供サーバ20は、データ管理装置として機能するサーバである。
各サービス提供サーバ20には、有線又は無線により構成されるセンサネットワーク23が接続されている。センサネットワーク23は、一又は複数のセンサデバイス24とサービス提供サーバ20とを接続するネットワークである。センサデバイス24は、例えば、工場などに配置され、計測対象を計測する装置であり、例えば、温度計、振動計、圧力計などにより構成される。センサデバイス24により計測された計測値は、センシングデータとして、ゲートウェイなどの中継装置25を介して、サービス提供サーバ20へと送られる。例えば、サービス提供サーバ20は、それぞれ、担当するエリアが割り当てられており、担当するエリアに配置されたセンサデバイス24のセンシングデータを取得する。
サービス提供サーバ20には、サービスアプリケーション26がインストールされており、このアプリケーションプログラムに基づいてセンシングデータの管理を行うサーバであり、コンピュータの機能を有する。より具体的には、サービス提供サーバ20は、センシングデータの収集、蓄積、分析、センサデバイスの稼働状況・障害状況等の情報の提供などといった各種処理を実行するサーバである。サービス提供サーバ20は、ディスプレイ等の表示装置、キーボード等の入力受付装置を備えていてもよい。サービスアプリケーション26は、後述する、個別メモリ200_1、共有メモリ200_2、データベース200_3、又はデータベース装置21に記憶されたデータを用いて、各種処理を実行するアプリケーションである。
データベース装置21は、ネットワーク22を介して、複数のサービス提供サーバ20間で共有されるデータベースを備えたサーバである。データベース装置21は、複数のサービス提供サーバ20間で共有するデータを集中的に管理する。
図3は、本発明の第2の実施形態にかかるデータ管理システム2の機能構成を示すブロック図である。
図3に示されるように、各サービス提供サーバ20は、個別メモリ200_1と、共有メモリ200_2と、データベース200_3と、記憶制御部201と、同期部202と、参照部203とを有する。
個別メモリ200_1及び共有メモリ200_2は、例えば、RAM(Random Access Memory)等により構成されたメモリである。個別メモリと共有メモリは、サービスアプリケーションがメモリをどのように使用するかの違いによって区別される。本実施形態では、物理メモリによって提供されるメモリ空間を、個々のサービス提供サーバ20内でのみ参照するメモリ空間と、複数のサービス提供サーバ20間で参照できるメモリ空間とに分け、前者のメモリ空間を個別メモリ、後者のメモリ空間を共有メモリと呼んでいる。なお、個別メモリ200_1と共有メモリ200_2とは必ずしも物理的に同じメモリでなくてもよく、異なるメモリであってもよい。
ここで、個別メモリ200_1に記憶されたデータについては、基本的に、複数のサービス提供サーバ20間で同期が行われない。このため、個別メモリ200_1に記憶されたデータは、基本的に、当該個別メモリ200_1を備えたサービス提供サーバ20にのみ用いられる。しかしながら、他のサービス提供サーバ20から同期の要求があった場合には、後述する同期部202の制御の下、個別メモリ200_1が記憶するデータについて、他のサービス提供サーバ20との間で同期がなされる。
これに対し、共有メモリ200_2に記憶されたデータについては、後述する同期部202の制御の下、複数のサービス提供サーバ20間で自動的に同期がなされる。したがって、あるサービス提供サーバ20の共有メモリ200_2に記憶されたデータは、リアルタイムで、他のサービス提供サーバ20に共有される。
データベース200_3は、ハードディクスドライブ等により構成されたデータベースである。データベース200_3に記憶されたデータについては、後述する同期部202の制御の下、複数のサービス提供サーバ20間で定期的に同期がなされる。
記憶制御部201は、同期タイミングの違いに応じて第1〜第4のデータ群に分類された管理対象のデータを、分類ごとに異なる管理方法で記憶するよう制御する。より具体的には、記憶制御部201は、第1のデータ群に分類されているデータについて、個別メモリ200_1に記憶するよう制御する。また、記憶制御部201は、第2のデータ群に分類されているデータについて、共有メモリ200_2に記憶するよう制御する。また、記憶制御部201は、第3のデータ群に分類されているデータについて、データベース200_3に記憶するよう制御する。さらに、記憶制御部201は、第4のデータ群に分類されているデータについて、データベース装置21に記憶するよう制御する。なお、第1〜第4のデータ群の具体例については後述する。
同期部202は、記憶制御部201による制御により記憶されたデータを、当該データに定められた同期タイミングで、複数のサービス提供サーバ20間で同期する。より具体的には、同期部202は、個別メモリ200_1に記憶されたデータについては、他のサービス提供サーバ20から同期の要求があった場合に、同期を実行する。また、同期部202は、共有メモリ200_2に記憶されたデータについては、即時に同期を実行する。さらに、データベース200_3に記憶されたデータについては、定期的に(例えば1日に1回など)、同期を実行する。なお、同期部202は、データベース装置21に記憶されたデータについては、同期処理を行わない。
また、同期部202は、データ管理システム2にスケールアウトに伴い新たにサービス提供サーバ20が追加された場合、追加されたサービス提供サーバ20と既存の複数のサービス提供サーバ20との間のデータの最初の同期について、当該データの分類ごとに、当該データに定められた同期タイミングで順次実行する。
より具体的には、同期部202は、データ管理システム2にスケールアウトに伴い新たにサービス提供サーバ20が追加された場合、次のようなタイミングで各データについて、追加されたサービス提供サーバ20と既存の複数のサービス提供サーバ20との間の最初の同期を行う。
すなわち、同期部202は、追加サーバの導入時には、同期タイミングが即時と定められている、共有メモリ200に記憶されたデータについて、既存・追加サーバ間の最初の同期を行う。同期部202は、追加サーバの導入時には、個別メモリ200_1に記憶されたデータ、データベース200_3に記憶されたデータ、及びデータベース装置21に記憶されたデータについては、同期処理を行わない。
そして、同期部202は、個別メモリ200_1に記憶されたデータについては、追加されたサービス提供サーバ20によるサービス提供の開始後、他のサービス提供サーバ20から同期の要求があった時点で同期処理を実行する。また、同期部202は、データベース200_3に記憶されたデータについては、追加されたサービス提供サーバ20によるサービス提供の開始後、予め定められた定期的な時期が最初に到来した時に同期処理を実行する。
なお、同期部202によるデータの同期は種々の方法が適用可能である。例えば、データベース200_3を、BigTableモデルを実装した製品で構築し、当該データベースの機能により同期を実現してもよい。また、例えば、個別メモリ200_1及び共有メモリ200_2をインメモリデータグリッド製品で構築し、その機能により同期を実現してもよい。
参照部203は、データベース装置21に記憶されたデータを参照する。具体的には、参照部203は、サービス提供サーバ20の起動時、又は各サービス提供サーバ20に設けられた図示しない入力インタフェースを介して、ユーザからの指示があった際など、不定期に、データベース装置21に記憶されたデータを参照する。このように、データベース装置21に記憶されたデータについては、各サービス提供サーバ20が、そのデータを必要とする時に、都度、データベース装置21にアクセスしてそのデータを読み出す。
次に、データ管理システム2において管理対象とするデータについて説明する。本実施形態では、管理対象とするデータを、データの更新頻度及び永続化の必要性の観点から分類し、分類ごとに同期タイミングを定義づけている。
図4は、データ管理システム2が管理対象とするデータの分類における基準の一例を示す表である。図4に示されるように、永続化が必要なデータとは、保持しているデータを失うと復元できなくなるデータをいう。また、永続化が不要なデータとは、保持しているデータを失っても、例えばセンサデバイス24からのデータの再収集などの手段により、復元できるデータをいう。また、更新頻度が低いデータとは、サービス提供サーバ20によるサービス開始時の更新あるいは1日あたり1回以下程度の更新が行われるデータである。また、更新頻度が高いデータとは、1分あたり1回程度の更新が行われるデータである。また、更新頻度が中くらいのデータとは、更新頻度が低いデータと高いデータの間の頻度で更新が行われるデータである。
ここで、データ管理システム2が管理対象とする各データを図4に示される基準に基づいて分類すると、例えば、図5に示される表のように分類される。図5に示した例では、データ管理システム2が管理対象とする以下の4種類のデータが、永続化の必要性と更新頻度に基づいて分類されている。
データ管理システム2が管理対象とするデータとして、例えば、以下の4種類のデータがある。
<個別監視情報>
個別監視情報は、サービス提供サーバ20個々に割り当てられた監視情報であり、例えば、各センサデバイス24の稼働状況、障害状況などの状態情報の最新値と、各センサデバイス24が取得したセンシングデータの最新値とが含まれる。サービス提供サーバ20は、自サーバに接続されたセンサネットワーク23を介して取得される個別監視情報を取得する。このため、個別監視情報は、当該個別監視情報を取得したサービス提供サーバ20によって、記憶処理がなされることとなる。なお、個別監視情報は、上記に限定されない。例えば、個別監視情報は、サービス提供サーバ20の稼働状況、障害状況などの状態情報を含んでもよい。個別監視情報は、最新値を示すデータであるから永続化が不要であり、また、センシングデータを含むため更新頻度が高いデータに分類される。
<集約監視情報>
集約監視情報は、個々の監視情報である個別監視情報を集約した集約データである。集約監視情報には、例えば、複数のセンサデバイス24をグループ化したグループごとの稼働状況、障害状況などの状態情報と、グループごとのセンシングデータの統計情報とが含まれる。例えば、複数のセンサデバイス24が、配置されているエリア単位でグループ化されている場合、集約監視情報は、エリアごとに集約された監視情報を示すことになる。サービス提供サーバ20は、自サーバが取得した個々の監視情報を集約する。このため、集約監視情報は、当該集約監視情報を作成したサービス提供サーバ20によって、記憶処理がなされることとなる。集約監視情報は、最新値のデータであるから永続化が不要であり、また、個別監視情報を適宜集約したものであるため、更新頻度が中程度のデータに分類される。
<蓄積情報>
蓄積情報は、ログデータであり、例えば、センサデバイス24が収集したセンシングデータの履歴である過去値と、センシングデータの送受信の通信ログ等の各種の処理状況を示すログデータとが含まれる、なお、蓄積情報は、これらに限定されない。蓄積情報は、例えば、サービス提供サーバ20におけるユーザのログイン履歴、ユーザの操作ログなどを含んでもよい。蓄積情報は、当該蓄積情報を取得したサービス提供サーバ20によって、記憶処理がなされる。蓄積情報は、ログであるため永続化が必要であり、また、センシングデータの過去値を含むため、図5に示される通り、更新頻度が高いデータ又は中程度のデータに分類される。
<構成情報>
構成情報は、システム環境に関するデータであり、例えば、センサデバイス24及びセンサネットワーク23のシステム構成を示すデータが含まれる。具体的には、例えば、センサデバイス24の数、配置場所、機種などの情報や、センサネットワーク23のネットワーク構成などの情報が構成情報に該当する。構成情報は、システムのメンテナンス等のため永続化が必要であり、また、センサデバイス24などの追加、変更は頻繁に発生しないことが想定されるため、図5に示される通り、更新頻度が低いデータに分類される。なお、構成情報は、センサデバイス24及びセンサネットワーク23のシステム構成を示すデータに限定されず、他のデータが含まれてもよい。例えば、構成情報は、データ管理システム2のユーザに関する情報などを含んでもよい。構成情報は、更新対象の構成を管轄するサービス提供サーバ20によって、記憶処理がなされる。
本実施形態のデータ管理システム2は、上述のように、永続化が必要とされるデータについては、データベースに記憶するよう構成されており、永続化が不要であるデータについてはメモリに記憶するよう構成されている。
また、本実施形態では、データ管理システム2による管理対象のデータである、個別監視情報、集約監視情報、蓄積情報について、次のように、サービス提供サーバ20間での同期タイミングが予め定められている。
個別監視情報の同期タイミングは、他のサービス提供サーバ20から同期の要求があった時点とされている。集約監視情報の同期タイミングは、リアルタイムをとされている。蓄積情報の同期タイミングは、定期的な時期とされている。また、構成情報については、同期対象とはしないものと定められている。
したがって、個別監視情報は、上述の第1のデータ群に該当し、記憶制御部201によって個別メモリ200_1に記憶される。また、集約監視情報は、上述の第2のデータ群に該当し、記憶制御部201によって共有メモリ200_2に記憶される。このため、個別監視情報、すなわち更新頻度が高いと分類されたデータは、個別メモリ200_1に記憶され、集約監視情報、すなわち個別監視情報よりも更新頻度が低いデータが、共有メモリ200_2に記憶される。共有メモリ200_2は、即時に同期処理がなされるので、共有メモリ200_2に記憶されるデータの更新が発生するたびに、同期処理が行われることとなる。共有メモリ200_2に記憶される対象が、個別監視情報よりも更新頻度が低い集約監視情報だけであるため、個別監視情報を共有メモリ200_2に記憶する場合に比べて、同期処理に伴う負荷が低減される。また、各サービス提供サーバ20において、運用上、画面への表示等が求められるのは、主に、自サーバの管轄する個別監視情報と、他のサービス提供サーバ20が管轄する集約監視情報である。したがって、個別監視情報については、即時の同期対象である共有メモリ200_2に記憶されていなくても、運用上の要求を満たす。
個別監視情報は、上述の通り、同期の要求があった場合に同期されるデータとして扱われる。そのため、スケールアウトの際に増設されるサービス提供サーバ20の導入時、個別監視情報の同期は必要とされない。これに対し、集約監視情報は、上述の通り、リアルタイムに同期がなされるデータとして扱われる。したがって、スケールアウトの際に増設されるサービス提供サーバ20の導入時、集約監視情報の同期が行われ、直ちにサービス提供サーバ20間で共有される。
各センサデバイス24の稼働状況の変化若しくは障害状況の変化、又は各センサデバイス24からのセンシングデータの受信があると、サービス提供サーバ20の記憶制御部201は、個別メモリ200_1上のデータの更新を行う。予め定められた時期(例えば、定期的な時期)が到来すると、サービス提供サーバ20のサービスアプリケーション26は、管轄する複数のセンサデバイス24の稼働状況、障害状況、センシングデータの統計量を算出する。各サービス提供サーバ20の記憶制御部201は、統計量が算出されると、共有メモリ200_2上のデータの更新を行う。そして、共有メモリ200_2上のデータが更新されると、同期部202は、即時に同期処理を行う。
また、蓄積情報は、上述の第3のデータ群に該当し、記憶制御部201によって、データベース200_3に記憶される。更新頻度が中程度又は高いデータと分類されている蓄積情報については、各サービス提供サーバ20間で共有されるサーバへのアクセスに比べ応答性に優れたローカルのデータベース200_3に記憶される。なお、蓄積情報は、構成情報などに比べデータ量が多い。そのため、追加されるサービス提供サーバ20における蓄積情報の最初の同期処理は、その分時間を要する。蓄積情報は、例えば、サービス提供サーバ20により調査・分析処理がなされる際に限って読み出される。
蓄積情報は、上述の通り、定期的に同期を行うデータとして扱われる。そのため、スケールアウトの際に増設されるサービス提供サーバ20の導入時、蓄積情報の同期は必要とされない。そして、定期的な時期が到来したタイミングで、増設したサービス提供サーバ20と既存のサービス提供サーバ20の間の蓄積情報の同期がなされる。
さらに、構成情報は、上述の第4のデータ群に該当し、記憶制御部201によってデータベース装置21に記憶される。例えば、あるサービス提供サーバ20の管轄するセンサデバイス24について追加、削除、変更等が発生した場合、当該サービス提供サーバ20は、その内容をデータベース装置21のデータベースに反映させる。構成情報の取得には、各サービス提供サーバ20間で共有されるサーバへのアクセスが必要であるため、ローカルのデータベースであるデータベース200_3へのアクセスに比べ応答性に劣る。しかしながら、構成情報は、上述の通り更新頻度が低いデータであり、頻繁に参照されるデータではないため、応答性の劣化は許容される。また、構成情報は蓄積情報に比べデータ量が少ない。よって、追加されるサービス提供サーバ20の管轄する構成情報のデータベース装置21への投入する時間、又は追加されるサービス提供サーバ20が他のサーバが管轄する構成情報を参照する時間は蓄積情報の同期に比べ短時間となる。
上述のように、構成情報は、データベース装置21に記憶される。したがって、スケールアウトの際に増設されるサービス提供サーバ20は、データベース装置21へ接続するだけでデータの参照が可能であり、同期処理は要しない。
次に、データ管理システム2にサービス提供サーバ20が追加された場合のデータ記憶の流れについて説明する。
図6は、サービス提供サーバ20がスケールアウトに伴い増設された場合のデータ記憶の流れについて示すシーケンスチャートである。なお、説明のため、図6に示されるシーケンスチャートでは、増設されたサービス提供サーバ20を主体とした同期処理のみを図示している。
図6において、ステップ10(S10)、ステップ11(S11)が、増設するサービス提供サーバ20の導入時に必要とされるデータ共有処理であり、ステップ12(S12)以降は、増設したサービス提供サーバ20が実際に運用された後、すなわち、増設したサービス提供サーバ20によるサービスの提供が開始された後に行われるデータ共有処理である。なお、サービスの提供とは、例えば、サービスアプリケーション26によるセンシングデータの収集、蓄積、分析、情報の提供などといった各種処理が該当する。
ステップ10において、増設されたサービス提供サーバ20は、自サーバが管轄する構成情報を、既設のサービス提供サーバ20との間で、共有する。具体的には、増設されたサービス提供サーバ20の記憶制御部201は、自サーバが管轄する構成情報をデータベース装置21に記憶する。これにより、サービス提供サーバ20の増設にともなう、導入時のデータ投入が完了する。なお、ステップ10において、増設されたサービス提供サーバ20の参照部203は、データベース装置21に記憶されている他のサービス提供サーバ20が管轄する構成情報を参照して取得してもよい。
ステップ11において、増設されたサービス提供サーバ20は、集約監視情報の同期処理を行う。具体的には、増設されたサービス提供サーバ20の同期部202は、既設のサービス提供サーバ20の共有メモリ200_2が既に記憶している集約監視情報について、増設されたサービス提供サーバ20が共有できるよう同期処理を行う。
ステップ11の同期処理が完了すると、増設されたサービス提供サーバ20の導入が完了することとなる。これにより、増設されたサービス提供サーバ20がサービスを提供する。
増設されたサービス提供サーバ20によるサービス提供後、ステップ12において、定期的な同期処理が行われる。すなわち、増設されたサービス提供サーバ20の同期部202は、他のサービス提供サーバ20のデータベース200_3と、自サーバのデータベース200_3との間で、蓄積情報についての同期処理を行う。
また、ステップ13(S13)において、リアルタイムに行われる同期処理がなされる。すなわち、増設されたサービス提供サーバ20の同期部202は、集約監視情報が共有メモリ200_2に記憶されると、即時に、他のサービス提供サーバ20の共有メモリ200_2との間で、集約監視情報についての同期処理を行う。
また、ステップ14(S14)において、他のサービス提供サーバ20からの同期の要求に応じて行われる同期処理がなされる。すなわち、増設されたサービス提供サーバ20の同期部202は、他のサービス提供サーバ20から同期の要求があった時点で、個別メモリ200_1に記憶された個別監視情報についての同期処理を行う。
以上の説明において、ステップ10の後にステップ11が行われるよう説明したが、これは一例であり、これらの順番が逆であってもよいし、並行して行われてもよい。また、ステップ12〜14についても、処理の順は一例であり、適宜、順番が入れ替わってもよいし、並行して行われてもよい。例えば、リアルタイムに同期処理がなされるステップ13が、増設されたサービス提供サーバ20のサービス提供後、最初に行われる同期処理であってよい。
このように、本実施形態にかかるデータ管理システム2では、蓄積情報及び個別監視情報については、スケールアウトによるサービス提供サーバ20の増設時に、サービス提供サーバ20間でのデータ共有を行わない。このため、蓄積情報及び個別監視情報の同期に要する時間が、増設時に必要とされないため、増設されたサービス提供サーバ20の運用が開始されるまで時間を短縮することができる。また、構成情報の共有については、同期処理を伴わないため、増設されたサービス提供サーバ20が他のサービス提供サーバ20が管轄する構成情報を参照するだけで増設時の共有が終了する。このため、増設時に、全てのサービス提供サーバ20間で構成情報の同期処理を行う場合に比べて、増設サーバの運用開始までの時間を削減することができる。なお、上記ステップ10の構成情報の共有について、増設時ではなく、増設サーバのサービス提供の開始後に行われてもよい。この場合、さらに増設サーバの運用開始までの時間を削減することができる。
以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、データ管理システムが扱うデータの種類は、センサにより検知されたデータに限られず、他の種々のデータであってもよい。また、例えば、データ管理システムが、ビッグデータを管理するシステムであってもよい。
また、上述の実施の形態では、本発明を主にハードウェアによる構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non−transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
データを複数のデータ管理装置間で同期して管理するデータ管理システムであって、
前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御する記憶制御手段と、
データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する同期手段と
を有するデータ管理システム。
(付記2)
前記データは、予め定められた更新頻度及び予め定められた永続化の必要性に応じて前記同期タイミングが異なる
付記1に記載のデータ管理システム。
(付記3)
前記複数のデータ管理装置は、それぞれデータベースを備え、
前記記憶制御手段は、更新頻度が予め定められた基準より高く、かつ、永続化が必要であると定められているデータについて、前記データベースに記憶するよう制御し、
前記同期手段は、前記データベースに記憶されたデータについて、定期的に同期を実行する
付記2に記載のデータ管理システム。
(付記4)
前記複数のデータ管理装置は、それぞれ個別のメモリを備え、
前記記憶制御手段は、更新頻度が予め定められた基準より高く、かつ、永続化が不要であると定められているデータについて、前記個別のメモリに記憶するよう制御し、
前記同期手段は、前記個別のメモリに記憶されたデータについて、前記複数のデータ管理装置のいずれかから要求されたタイミングで同期を実行する
付記2又は3に記載のデータ管理システム。
(付記5)
前記複数のデータ管理装置は、前記複数のデータ管理装置間で共有される共有メモリを備え、
前記記憶制御手段は、更新頻度が予め定められた基準より低く、かつ、永続化が不要であると定められているデータについて、前記共有メモリに記憶するよう制御し、
前記同期手段は、前記共有メモリに記憶されたデータについて、データの更新に伴って逐次同期を実行する
付記2乃至4のいずれか一項に記載のデータ管理システム。
(付記6)
前記複数のデータ管理装置間で共有されるデータベース装置と、
前記データベース装置に記憶されたデータを参照する参照手段と
をさらに備え、
前記記憶制御手段は、更新頻度が予め定められた基準より低く、かつ、永続化が必要であると定められているデータについて、前記データベース装置に記憶するよう制御する
付記2乃至5のいずれか一項に記載のデータ管理システム。
(付記7)
前記記憶制御手段は、ログデータを前記データベースに記憶するよう制御する
付記3に記載のデータ管理システム。
(付記8)
前記記憶制御手段は、個々の監視情報を前記個別のメモリに記憶するよう制御する
付記4に記載のデータ管理システム。
(付記9)
前記記憶制御手段は、個々の監視情報を集約した集約データを前記共有メモリに記憶するよう制御する
付記5に記載のデータ管理システム。
(付記10)
前記記憶制御手段は、システム環境に関するデータを前記データベース装置に記憶するよう制御する
付記6に記載のデータ管理システム。
(付記11)
データを他のデータ管理装置との間で同期して管理するデータ管理装置であって、
前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御する記憶制御手段と、
同期対象のデータ管理装置が追加された場合に、追加された前記データ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する同期手段と
を有するデータ管理装置。
(付記12)
データを複数のデータ管理装置間で同期するプログラムであって、
前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御するステップと、
データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行するステップと
をコンピュータに実行させるプログラム。
(付記13)
データを複数のデータ管理装置間で同期して管理するデータ管理方法であって、
前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶し、
データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する
データ管理方法。
1 :データ管理システム
2 :データ管理システム
10 :データ管理装置
20 :サービス提供サーバ
21 :データベース装置
22 :ネットワーク
23 :センサネットワーク
24 :センサデバイス
25 :中継装置
26 :サービスアプリケーション
101 :記憶制御部
102 :同期部
200_1:個別メモリ
200_2:共有メモリ
200_3:データベース
201 :記憶制御部
202 :同期部
203 :参照部

Claims (9)

  1. データを複数のデータ管理装置間で同期して管理するデータ管理システムであって、
    前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御する記憶制御手段と、
    データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する同期手段と
    を有し、
    前記データは、予め定められた更新頻度及び予め定められた永続化の必要性に応じて前記同期タイミングが異なる
    データ管理システム。
  2. 前記複数のデータ管理装置は、それぞれデータベースを備え、
    前記記憶制御手段は、更新頻度が予め定められた基準より高く、かつ、永続化が必要であると定められているデータについて、前記データベースに記憶するよう制御し、
    前記同期手段は、前記データベースに記憶されたデータについて、定期的に同期を実行する
    請求項に記載のデータ管理システム。
  3. 前記複数のデータ管理装置は、それぞれ個別のメモリを備え、
    前記記憶制御手段は、更新頻度が予め定められた基準より高く、かつ、永続化が不要であると定められているデータについて、前記個別のメモリに記憶するよう制御し、
    前記同期手段は、前記個別のメモリに記憶されたデータについて、前記複数のデータ管理装置のいずれかから要求されたタイミングで同期を実行する
    請求項又はに記載のデータ管理システム。
  4. 前記複数のデータ管理装置は、前記複数のデータ管理装置間で共有される共有メモリを備え、
    前記記憶制御手段は、更新頻度が予め定められた基準より低く、かつ、永続化が不要であると定められているデータについて、前記共有メモリに記憶するよう制御し、
    前記同期手段は、前記共有メモリに記憶されたデータについて、データの更新に伴って逐次同期を実行する
    請求項乃至のいずれか一項に記載のデータ管理システム。
  5. 前記複数のデータ管理装置間で共有されるデータベース装置と、
    前記データベース装置に記憶されたデータを参照する参照手段と
    をさらに備え、
    前記記憶制御手段は、更新頻度が予め定められた基準より低く、かつ、永続化が必要であると定められているデータについて、前記データベース装置に記憶するよう制御する
    請求項乃至のいずれか一項に記載のデータ管理システム。
  6. 前記記憶制御手段は、ログデータを前記データベースに記憶するよう制御する
    請求項に記載のデータ管理システム。
  7. データを他のデータ管理装置との間で同期して管理するデータ管理装置であって、
    前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御する記憶制御手段と、
    同期対象のデータ管理装置が追加された場合に、追加された前記データ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行する同期手段と
    を有し、
    前記データは、予め定められた更新頻度及び予め定められた永続化の必要性に応じて前記同期タイミングが異なる
    データ管理装置。
  8. データを複数のデータ管理装置間で同期するプログラムであって、
    前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶するよう制御するステップと、
    データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行するステップと
    をコンピュータに実行させ
    前記データは、予め定められた更新頻度及び予め定められた永続化の必要性に応じて前記同期タイミングが異なる
    プログラム。
  9. データを複数のデータ管理装置間で同期して管理するデータ管理方法であって、
    前記データを、運用上予め定められた同期タイミングによる分類ごとに記憶し、
    データ管理装置が追加された場合に、追加された前記データ管理装置と既存の前記複数のデータ管理装置との間の記憶された前記データの最初の同期について、前記データの分類ごとに前記同期タイミングで順次実行し、
    前記データは、予め定められた更新頻度及び予め定められた永続化の必要性に応じて前記同期タイミングが異なる
    データ管理方法。
JP2014145637A 2014-07-16 2014-07-16 データ管理システム、データ管理装置、プログラム及びデータ管理方法 Active JP6414875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014145637A JP6414875B2 (ja) 2014-07-16 2014-07-16 データ管理システム、データ管理装置、プログラム及びデータ管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014145637A JP6414875B2 (ja) 2014-07-16 2014-07-16 データ管理システム、データ管理装置、プログラム及びデータ管理方法

Publications (2)

Publication Number Publication Date
JP2016024469A JP2016024469A (ja) 2016-02-08
JP6414875B2 true JP6414875B2 (ja) 2018-10-31

Family

ID=55271220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014145637A Active JP6414875B2 (ja) 2014-07-16 2014-07-16 データ管理システム、データ管理装置、プログラム及びデータ管理方法

Country Status (1)

Country Link
JP (1) JP6414875B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220090294A (ko) * 2020-12-22 2022-06-29 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
KR102663679B1 (ko) * 2021-05-12 2024-05-07 (주)네오프레임 적응적 스케일 인-아웃 기반의 투자 정보 관리 시스템
KR102663678B1 (ko) * 2021-05-12 2024-05-07 (주)네오프레임 스케일 아웃을 고려한 투자 정보 복구 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4381655B2 (ja) * 2002-05-31 2009-12-09 株式会社日立製作所 ストレージシステム、ストレージ装置、及び該ストレージ装置を利用した情報共有方法
JP2005276094A (ja) * 2004-03-26 2005-10-06 Hitachi Ltd 分散ストレージ装置のファイル管理方法及び分散ストレージシステム並びにプログラム
JP2009169449A (ja) * 2007-12-10 2009-07-30 Takeshi Mishima 高信頼化データベースシステムおよびその同期方法、仲介方法、仲介装置、仲介プログラム
JP5425448B2 (ja) * 2008-11-27 2014-02-26 インターナショナル・ビジネス・マシーンズ・コーポレーション データベース・システム、サーバ、更新方法およびプログラム
EP2717165A4 (en) * 2011-05-30 2015-04-22 Hitachi Ltd ADMINISTRATIVE APPARATUS AND ADMINISTRATIVE PROCESS FOR A COMPUTER SYSTEM
JP5751029B2 (ja) * 2011-06-03 2015-07-22 株式会社リコー 認証装置、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2016024469A (ja) 2016-02-08

Similar Documents

Publication Publication Date Title
US10223327B2 (en) Collecting and delivering data to a big data machine in a process control system
US8412810B1 (en) Provisioning and managing a cluster deployed on a cloud
KR20210042161A (ko) 분산 시스템을 위한 데이터 동기화 방법 및 장치, 매체, 및 전자 디바이스
JP6414875B2 (ja) データ管理システム、データ管理装置、プログラム及びデータ管理方法
CN105700908A (zh) 管理系统与管理系统的控制方法
CN109101357A (zh) 一种osd故障的检测方法及装置
JP5460630B2 (ja) ネットワークシステム、及び、管理サーバ
JP2017182414A (ja) 故障予測装置、故障予測方法及び故障予測プログラム
JP2016116106A (ja) 広域管理装置
JP4900358B2 (ja) サーバ管理システム,サーバ管理方法及びサーバ管理用プログラム
US10282245B1 (en) Root cause detection and monitoring for storage systems
JP2015194797A (ja) 監視漏れ特定処理プログラム,監視漏れ特定処理方法及び監視漏れ特定処理装置
CN106603631B (zh) 分布式消息系统及扩容方法
US10223189B1 (en) Root cause detection and monitoring for storage systems
JP2015046133A (ja) 制御装置、計算資源管理方法及び計算資源管理プログラム
JP6163474B2 (ja) ストレージ管理装置、ストレージ管理システム、制御方法及びプログラム
JPWO2017017774A1 (ja) ストレージ監視システムおよびその監視方法
JP6237055B2 (ja) ライセンス管理システム、装置、方法及びプログラム
US9898357B1 (en) Root cause detection and monitoring for storage systems
JP6568232B2 (ja) 計算機システム、及び、装置の管理方法
CN113872808B (zh) 应用处理方法及装置
JP6381324B2 (ja) 補助記憶装置および補助記憶方法
KR101973537B1 (ko) 하둡 분산 파일 시스템에서의 하트비트 교환 주기 관리 장치 및 방법
CN111240894A (zh) 用于对基于Ceph的对象存储系统进行故障分析的系统和介质
Li et al. Reliability analysis of Hadoop cluster System based on proportional hazards model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170609

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180927

R150 Certificate of patent or registration of utility model

Ref document number: 6414875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150