JPWO2018207322A1 - データ収集装置 - Google Patents

データ収集装置 Download PDF

Info

Publication number
JPWO2018207322A1
JPWO2018207322A1 JP2019516827A JP2019516827A JPWO2018207322A1 JP WO2018207322 A1 JPWO2018207322 A1 JP WO2018207322A1 JP 2019516827 A JP2019516827 A JP 2019516827A JP 2019516827 A JP2019516827 A JP 2019516827A JP WO2018207322 A1 JPWO2018207322 A1 JP WO2018207322A1
Authority
JP
Japan
Prior art keywords
data
node
collection
amount
schedule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019516827A
Other languages
English (en)
Other versions
JP6599049B2 (ja
Inventor
康志 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6599049B2 publication Critical patent/JP6599049B2/ja
Publication of JPWO2018207322A1 publication Critical patent/JPWO2018207322A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

まず、スケジュール決定部は、それぞれのノードからデータを収集する収集間隔を収集間隔範囲から選択する。次に、スケジュール決定部は、ノード毎のデータ量情報に基づいて、選択した収集間隔の間に得られる収集間隔データ量をノード毎に算出する。次に、スケジュール決定部は、収集間隔データ量に対する負荷量をノード毎に算出する。次に、スケジュール決定部は、ノード毎の負荷量を用いて総負荷量を算出する。そして、総負荷量が許容負荷量より少ない場合、スケジュール決定部は、選択した収集間隔を用いて収集スケジュールを決定する。

Description

本発明は、複数のノードからデータを収集するための技術に関するものである。
IoT(Internet of Things)の普及により、多種の機器および多種のコンピュータなど、ありとあらゆるものがネットワークに接続されるようになり、接続されたものから様々なデータを収集することが可能になっている。
例えば、スマートメータを介して遠隔で電力使用量を収集することで、電力需要に関する予測精度の向上が期待できる。また、電力消費者に対して使用量を可視化して省エネルギーのための活動を促すことも可能になる。
このようなデータ収集システムにおいて、全体で大量のデータが扱われることも多く、通信負荷だけでなく、データを集積する収集装置の処理負荷も大きくなる。各機器からデータを集約して送信するケースでは送信されるデータのサイズが大きくなり、通信よりも、収集装置上のCPU(Central Processing Unit)またはメモリなどの処理リソースがボトルネックとなりやすい。このため、大量のデータを処理するためには、センター側の収集装置において処理リソースを十分に確保する必要がある。しかしながら、処理リソースを大きくすることは、サーバ設備の費用およびクラウドサービスの利用費用を増大することになる。そのため、大規模なデータ収集システムにおいては、収集装置の処理リソースを効率的に利用することが求められる。
もし、接続された機器等のノードから送られてくるデータ量の分布がランダムな分布または偏りがある分布である場合、分布における平均的なデータ量を処理できる処理リソースではなく、分布における大きな負荷を処理できる処理リソースが必要となる。処理リソースを効率的に利用するためには、ノード毎のデータ収集負荷が平滑化されることが求められる。
特許文献1には、各ノードの通信特性に応じて収集装置で送信タイミングをスケジュールする方式が開示されている。
特許文献2には、各ノードに相当するセンサーモジュールの送信処理が重ならないように送信タイミングを調整する方式が開示されている。
どちらの方式も、接続されたノードに対してデータ送信のタイミングを収集装置から指示することによって送信処理の重なりを抑える方式である。
特開2013−123250号公報 特開2012−195705号公報
データ収集システムにおいて、収集装置の処理負荷は入力されるデータサイズに応じて変化する。例えば、CPU使用量、メモリ使用量またはディスク入出力量などが処理負荷に相当する。接続されたノードから送信されるデータが必ずしも同じデータサイズであるとは限らない。例えば、データ送信が失敗してしまい失敗分を含んでデータ送信が行われる場合、送信されるデータのサイズが増加する。また、複数の機器が接続された中継装置が収集装置にデータを送信する場合、中継装置に接続された機器の台数に応じて、収集装置へ送信されるデータのサイズが変わる。
データサイズの偏りがある場合、各ノードの送信タイミングが等間隔であったとしても、送信されるデータのサイズが大きい時には処理負荷が大きくなる。このため、各ノードの送信タイミングの決定にはデータサイズが考慮されなければならない。先行技術文献には、機器数および通信特性を元に送信タイミングを調整する方式が記述されているが、送信されるデータのサイズおよび収集装置の処理コストについては示されていない。
本発明は、それぞれのノードのデータ量に差があっても適切な収集スケジュールを決定できるようにすることを目的とする。
本発明のデータ収集装置は、
データを得るノード毎に単位時間当たりのデータ量を示すデータ量情報を受信する受信部と、
ノード毎のデータ量情報に基づいて、それぞれのノードからデータを収集するための収集スケジュールを決定するスケジュール決定部とを備える。
本発明によれば、ノード毎のデータ量情報に基づいて収集スケジュールが決定される。そのため、それぞれのノードのデータ量に差があっても適切な収集スケジュールを決定することが可能である。
実施の形態1におけるデータ収集システム100の構成図。 実施の形態1におけるデータ収集装置200の構成図。 実施の形態1におけるノード300の構成図。 実施の形態1におけるデータ収集方法のフローチャート。 実施の形態1におけるノード情報110の具体例を示す図。 実施の形態1におけるノード管理テーブル120の具体例を示す図。 実施の形態1におけるスケジュール情報130の具体例を示す図。 実施の形態1における収集データ140の具体例を示す図。 実施の形態1におけるスケジュール決定方法のフローチャート。 実施の形態1における負荷量データ150の具体例を示す図。 実施の形態1における未収集データ量および収集間隔データ量の変化を示す図。 実施の形態1における収集スケジュールのイメージを示す図。 実施の形態1における収集スケジュールの具体例を示す図。 実施の形態1におけるデータ収集システム100の構成例を示す図。 実施の形態2におけるデータ収集システム100の構成図。 実施の形態2におけるデータ収集装置200の構成図。 実施の形態2におけるスケジュール決定方法のフローチャート。 実施の形態2におけるノードグループを示す図。 実施の形態2における収集スケジュールのイメージを示す図。 実施の形態2における収集スケジュールの具体例を示す図。 実施の形態におけるデータ収集装置200のハードウェア構成図。
実施の形態および図面において、同じ要素および対応する要素には同じ符号を付している。同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態1.
データ収集システム100について、図1から図14に基づいて説明する。
***構成の説明***
図1に基づいて、データ収集システム100の構成を説明する。
データ収集システム100は、複数のノード300からデータを収集するためのシステムである。
データ収集システム100は、データ収集装置200を備える。
さらに、データ収集システム100は、複数のノード300を備える。
実施の形態1において、データ収集システム100は、ノード(1)からノード(5)の5つのノード300を備える。
複数のノード300は、ネットワーク101を介してデータ収集装置200に接続されている。
ネットワーク101は、有線回線と無線回線とのいずれであってもよい。
ノード300はデータを得る機器である。
具体的には、ノード300は計測装置である。計測装置は、計測を行うことによって計測値を得る。例えば、計測装置は、電力メータ、脈拍センサ、心拍センサ、熱センサまたは光センサである。また、計測装置は、情報処理の負荷または稼働状況の情報などを取得する情報処理装置であってもよい。
データ収集装置200は、複数のノード300からデータを収集するコンピュータである。
図2に基づいて、データ収集装置200の構成を説明する。
データ収集装置200は、プロセッサ201とメモリ202と補助記憶装置203と通信インタフェース204といったハードウェアを備える。これらのハードウェアは、信号線を介して互いに接続されている。
データ収集装置200は、表示インタフェースおよび入力インタフェース等のハードウェアを備えてもよい。表示インタフェースはディスプレイに接続される。入力インタフェースはキーボードとマウスとに接続される。
プロセッサ201は、演算処理を行うIC(Integrated Circuit)であり、他のハードウェアを制御する。例えば、プロセッサ201は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、またはGPU(Graphics Processing Unit)である。
メモリ202は揮発性の記憶装置である。メモリ202は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ202はRAM(Random Access Memory)である。メモリ202に記憶されたデータは必要に応じて補助記憶装置203に保存される。
補助記憶装置203は不揮発性の記憶装置である。例えば、補助記憶装置203は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、またはフラッシュメモリである。補助記憶装置203に記憶されたデータは必要に応じてメモリ202にロードされる。
通信インタフェース204は通信を行う装置、すなわち、レシーバおよびトランスミッタである。例えば、通信インタフェース204は、通信チップまたはNIC(Network Interface Card)である。
データ収集装置200は、制御部210とスケジュール決定部220といったソフトウェア要素を備える。ソフトウェア要素はソフトウェアで実現される要素である。
補助記憶装置203には、制御部210とスケジュール決定部220としてコンピュータを機能させるためのデータ収集プログラムが記憶されている。データ収集プログラムは、メモリ202にロードされて、プロセッサ201によって実行される。データ収集プログラムのうち、スケジュール決定部220としてコンピュータを機能させるためのプログラムをスケジュール決定プログラムという。
さらに、補助記憶装置203にはOS(Operating System)が記憶されている。OSの少なくとも一部は、メモリ202にロードされて、プロセッサ201によって実行される。
つまり、プロセッサ201は、OSを実行しながら、データ収集プログラムを実行する。
データ収集プログラムを実行して得られるデータは、メモリ202、補助記憶装置203、プロセッサ201内のレジスタまたはプロセッサ201内のキャッシュメモリといった記憶装置に記憶される。
補助記憶装置203は記憶部291および蓄積部292として機能する。但し、他の記憶装置が、補助記憶装置203の代わりに、又は、補助記憶装置203と共に、記憶部291および蓄積部292として機能してもよい。
通信インタフェース204は受信部293および送信部294として機能する。
データ収集装置200は、プロセッサ201を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ201の役割を分担する。
データ収集プログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体に記憶することができる。不揮発性の記憶媒体は、コンピュータ読み取り可能な記録媒体である。
図3に基づいて、ノード300の構成を説明する。
ノード300は、プロセッサ301とメモリ302と補助記憶装置303と通信インタフェース304とセンサインタフェース305といったハードウェアを備える。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ301は、演算処理を行うICであり、他のハードウェアを制御する。例えば、プロセッサ301は、CPUである。
メモリ302は揮発性の記憶装置である。メモリ302は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ302はRAMである。メモリ302に記憶されたデータは必要に応じて補助記憶装置303に保存される。
補助記憶装置303は不揮発性の記憶装置である。例えば、補助記憶装置303は、ROM、HDD、またはフラッシュメモリである。補助記憶装置303に記憶されたデータは必要に応じてメモリ302にロードされる。
通信インタフェース304は通信を行う装置、すなわち、レシーバおよびトランスミッタである。例えば、通信インタフェース304は、通信チップまたはNICである。
ノード300は、制御部311を備える。制御部311はソフトウェアで実現される。
補助記憶装置303には、制御部311としてコンピュータを機能させるためのノードプログラムが記憶されている。このノードプログラムは、メモリ302にロードされて、プロセッサ301によって実行される。
さらに、補助記憶装置303にはOSが記憶されている。OSの少なくとも一部は、メモリ302にロードされて、プロセッサ301によって実行される。
つまり、プロセッサ301は、OSを実行しながら、ノードプログラムを実行する。
ノードプログラムを実行して得られるデータは、メモリ302、補助記憶装置303、プロセッサ301内のレジスタまたはプロセッサ301内のキャッシュメモリといった記憶装置に記憶される。
補助記憶装置303は記憶部391として機能する。但し、他の記憶装置が、補助記憶装置303の代わりに、又は、補助記憶装置303と共に、記憶部391として機能してもよい。
通信インタフェース304は送信部392および受信部393として機能する。
センサインタフェース305は計測部394として機能する。
ノード300は、プロセッサ301を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ301の役割を分担する。
ノードプログラムは、磁気ディスク、光ディスクまたはフラッシュメモリ等の不揮発性の記憶媒体に記憶することができる。不揮発性の記憶媒体は、コンピュータ読み取り可能な記録媒体である。
***動作の説明***
データ収集システム100の動作はデータ収集方法に相当する。また、データ収集方法におけるデータ収集装置200の手順はデータ収集プログラムの手順に相当する。
図4に基づいて、データ収集方法を説明する。
ステップS101において、それぞれのノード300は、データ収集装置200に収集要求を送信する。
具体的には、制御部311が収集要求を生成し、送信部392が収集要求をデータ収集装置200に送信する。
収集要求は、ノード情報110を含んでいる。
ノード情報110は、ノード300によって得られるデータの情報である。
ノード情報110は、ノード識別子、未収集データ量、計測間隔およびデータ量情報を含む。
ノード識別子は、ノード300を識別する識別子である。
未収集データ量は、収集されていないデータの量である。
計測間隔は、計測が行われる間隔を示す時間である。
データ量情報は、単位時間当たりのデータ量を示す。具体的には、データ量はデータの件数である。
ノード情報110は、記憶部391に記憶されている。
図5に、ノード情報110の具体例を示す。
1つ目のノード情報110は、ノード(1)のノード情報110である。ノード(1)のノード情報110において、未収集データ量は0件であり、計測間隔は1秒である。また、データ量情報は、10秒ごとに10件である。
2つ目のノード情報110は、ノード(2)のノード情報110である。ノード(2)のノード情報110において、未収集データ量は0件であり、計測間隔は1秒である。また、データ量情報は、10秒ごとに50件である。
3つ目のノード情報110は、ノード(3)のノード情報110である。ノード(3)のノード情報110において、未収集データ量は0件であり、計測間隔は1秒である。また、データ量情報は、10秒ごとに40件である。
4つ目のノード情報110は、ノード(4)のノード情報110である。ノード(4)のノード情報110において、未収集データ量は0件であり、計測間隔は1秒である。また、データ量情報は、10秒ごとに40件である。
5つ目のノード情報110は、ノード(5)のノード情報110である。ノード(5)のノード情報110において、未収集データ量は44件であり、計測間隔は1秒である。また、データ量情報は、10秒ごとに20件である。
ノード(1)からノード(4)は既存のノード300であり、ノード(5)は新たに接続されたノード300であると想定する。ノード(5)は新たに接続されたノード300であるため、ノード(5)には未収集データが有る。
図4に戻り、ステップS102から説明を続ける。
ステップS102において、データ収集装置200は、それぞれのノード300から収集要求を受信する。
具体的には、受信部293が収集要求を受信し、記憶部291が収集要求に含まれるノード情報110をノード管理テーブル120に登録する。ノード管理テーブル120は記憶部291に記憶されるテーブルである。
図6に、ノード管理テーブル120の具体例を示す。
ノード管理テーブル120は、ノード識別子と前回収集時刻と未収集データ量と計測間隔とデータ量情報とのそれぞれの欄を有する。
ノード識別子の欄には、ノード識別子が登録される。
前回収集時刻の欄には、前回収集時刻が登録される。前回収集時刻は、データが収集された前回の時刻である。
未収集データ量の欄には、ノード情報110に含まれる未収集データ量が登録される。
計測間隔の欄には、ノード情報110に含まれる計測間隔が登録される。
データ量情報の欄には、ノード情報110に含まれるデータ量情報が登録される。
図4に戻り、ステップS102の説明を続ける。
次に、データ収集装置200は、収集スケジュールを決定する。
具体的には、スケジュール決定部220が、ノード300毎のノード情報110に基づいて、収集スケジュールを決定する。
収集スケジュールは、それぞれのノード300からデータを収集するためのスケジュールである。
収集スケジュールを決定する方法については後述する。
そして、データ収集装置200は、それぞれのノード300に収集応答を送信する。
具体的には、スケジュール決定部220が、収集スケジュールに基づいてスケジュール情報130を生成する。次に、制御部210が、スケジュール情報130を含んだ収集応答を生成する。そして、送信部294が収集応答を送信する。
収集応答は、スケジュール情報130を含んでいる。
スケジュール情報130は、収集スケジュールを示す情報である。
スケジュール情報130は、ノード識別子、次回収集時刻および次回データ量を含む。
ノード識別子は、ノード300を識別する識別子である。
次回収集時刻は、次回の収集が行われる時刻である。
次回データ量は、次回に収集されるデータの量である。
図7に、スケジュール情報130の具体例を示す。
1つ目のスケジュール情報130は、ノード(1)のスケジュール情報130である。
2つ目のスケジュール情報130は、ノード(2)のスケジュール情報130である。
3つ目のスケジュール情報130は、ノード(3)のスケジュール情報130である。
4つ目のスケジュール情報130は、ノード(4)のスケジュール情報130である。
5つ目のスケジュール情報130は、ノード(5)のスケジュール情報130である。
ノード(1)からノード(4)のそれぞれのスケジュール情報130には、次回収集時刻および次回データ量が設定されている。
ノード(5)は新たに接続されたノード300であるため、ノード(5)のスケジュール情報130には、次回収集時刻および次回データ量が設定されてない。
図4に戻り、ステップS103から説明を続ける。
ステップS103において、各ノード300は、データ収集装置200から収集応答を受信する。
具体的には、受信部393が収集応答を受信し、記憶部391が収集応答に含まれるスケジュール情報130を記憶する。
ステップS104において、それぞれのノード300は、データ収集装置200に収集要求を送信する。
具体的には、制御部311が、スケジュール情報130が示す次回データ量と同じ量の収集データ140を含んだ収集要求を生成する。そして、スケジュール情報130が示す次回収集時刻に、送信部392が収集要求をデータ収集装置200に送信する。
収集要求は、収集データ140とノード情報110とを含んでいる。
収集データ140は、ノード300によって得られてデータ収集装置200によって収集されるデータである。
収集データ140は、計測時刻、計測値および装置識別子を含む。
計測時刻は、計測が行われた時刻である。
計測値は、計測によって得られた値である。計測値は、1つであってもよいし、複数であってもよい。
装置識別子は、計測を行った計測装置を識別する識別子である。
図8に、収集データ140の具体例を示す。
それぞれの収集データ140は、計測装置(10000001)によって得られたデータであり、計測時刻と計測値と装置識別子とを含んでいる。
図4に戻り、ステップS105から説明を続ける。
ステップS105において、データ収集装置200は、それぞれのノード300から収集要求を受信する。
具体的には、受信部293が収集要求を受信し、記憶部291が収集要求に含まれるノード情報110をノード管理テーブル120に登録する。
そして、データ収集装置200は、収集スケジュールの変更が必要であるか判定する。
具体的には、スケジュール決定部220が、ノード300毎のノード情報110に基づいて、収集スケジュールの変更条件が満たされるか判定する。
例えば、収集データが多く滞留している場合、収集スケジュールの変更が必要である。例えば、収集スケジュールの変更条件は、データ量情報が示すデータ量に対する未収集データ量の比が閾値を超えるという条件である。
収集スケジュールの変更が必要である場合、処理はステップS106に進む。
収集スケジュールの変更が不要である場合、処理はステップS107に進む。
ステップS106において、データ収集装置200は、収集スケジュールを決定する。
具体的には、スケジュール決定部220が、ノード300毎のノード情報110に基づいて、収集スケジュールを決定する。
収集スケジュールを決定する方法については後述する。
ステップS107において、データ収集装置200は、各ノード300の収集データ140を蓄積する。
具体的には、蓄積部292が収集要求に含まれる収集データ140をノード300毎に蓄積する。
そして、データ収集装置200は、それぞれのノード300に収集応答を送信する。
具体的には、スケジュール決定部220が、収集スケジュールに基づいてスケジュール情報130を生成する。次に、制御部210が、収集結果とスケジュール情報130とを含んだ収集応答を生成する。そして、送信部294が収集応答を送信する。
収集応答は、収集結果とスケジュール情報130とを含んでいる。
収集結果は、データ収集の結果を示す。
ステップS108において、各ノード300は、データ収集装置200から収集応答を受信する。
具体的には、受信部393が収集応答を受信し、記憶部391が収集応答に含まれるスケジュール情報130を記憶する。
ステップS108の後、ステップS104からステップS108までの手順と同じ手順でデータ収集が繰り返し行われる。
図9に基づいて、スケジュール決定方法を説明する。
スケジュール決定方法において、スケジュール決定部220は、ノード300毎のノード情報110に基づいて、収集スケジュールを決定する。
ステップS201において、スケジュール決定部220は、基準データ量と各ノード300のデータ量情報とに基づいて、収集間隔範囲を算出する。
収集間隔範囲は、収集間隔iの範囲である。収集間隔範囲の下限をminと記し、収集間隔範囲の上限をmaxと記す。
収集間隔iは、それぞれのノード300からデータを収集する間隔を示す時間である。
基準データ量は、1回に収集されるデータ量の下限として予め決められた数である。
具体的には、スケジュール決定部220は、収集間隔範囲を以下のように算出する。
まず、スケジュール決定部220は、単位時間当たりのデータ量が最も少ないデータ量情報をノード管理テーブル120から選択する。図6において、選択されるデータ量情報は、ノード(1)のデータ量情報である。ノード(1)のデータ量情報は、10秒ごとに10件である。
そして、スケジュール決定部220は、選択したデータ量情報を用いて、基準データ量を得るために必要な時間を算出する。算出される時間が、収集間隔範囲の下限である。基準データ量が10件である場合、収集間隔範囲の下限は10秒となる。
収集間隔範囲の上限は、予め決められた時間である。例えば、収集間隔範囲の上限は60秒である。
ステップS202において、スケジュール決定部220は、収集間隔範囲から収集間隔iを選択する。
具体的には、スケジュール決定部220は、収集間隔範囲の下限を収集間隔iに設定する。
ここで、収集間隔について説明する。
一般に、収集間隔が短いと収集処理が小さく分割されるため、全体の収集負荷を平滑化しやすくなる。
しかし、データ量に対する処理負荷は、必ずしもデータ量に比例しない。一般に、一度に処理されるデータ量が多いほど処理効率が高くなって一度に処理されるデータ量が少ないほど処理効率が低くなるからである。
そのため、収集間隔が短くて一度に処理されるデータ量が少ないと、処理効率が低下してしまう。
そこで、1回に収集されるデータ量の下限(基準データ量)を設けることによって、処理効率の低下を抑える。
また、収集間隔が長いとデータ収集装置200が各ノード300からデータを収集するために要する時間が長くなる傾向がある。
そこで、各ノード300からデータを収集するために要する時間の要件を元に、収集間隔の上限が決定される。
ステップS203から説明を続ける。
ステップS203において、スケジュール決定部220は、収集間隔iを収集間隔範囲の上限と比較する。
収集間隔iが収集間隔範囲の上限以下である場合、処理はステップS204に進む。
収集間隔iが収取間隔範囲の上限より大きい場合、収集スケジュールが決定されずに処理は終了する。この場合、各ノード300からデータを収集することができない。
ステップS204において、スケジュール決定部220は、ノード300毎のデータ量情報に基づいて、収集間隔データ量をノード300毎に算出する。
収集間隔データ量は、収集間隔iの間に得られるデータ量である。
例えば、データ量情報が示すデータ量が10秒ごとに10件であり、収集間隔iが10秒である場合、収集間隔データ量は10秒である。
ステップS205において、スケジュール決定部220は、収集間隔データ量に対する負荷量をノード300毎に算出する。そして、スケジュール決定部220は、ノード300毎の負荷量を用いて総負荷量を算出する。
負荷量は、データに対する処理に要する負荷の量である。具体的には、負荷量は、データに対する処理に要するCPU時間である。負荷量の例として、CPU時間の他に、メモリ使用量またはディスク入出力量などがある。負荷量は処理コストともいう。
総負荷量は、負荷量の合計である。具体的には、総負荷量は、CPU時間の合計である。
具体的には、スケジュール決定部220は、ノード毎に、収集間隔データ量に対応する負荷量を負荷量データ150から抽出する。そして、スケジュール決定部220は、ノード毎の負荷量を合計する。合計によって得られる負荷量が総負荷量である。
負荷量データ150は、データ量と負荷量とを互いに対応付けたデータである。例えば、負荷量データ150はグラフ、表または方程式である。
図10に、負荷量データ150の具体例を示す。
図10に示すように、負荷量は、必ずしもデータ量に比例しない。
一般に、一度に処理されるデータ量が多いほど処理効率が高くなって一度に処理されるデータ量が少ないほど処理効率が低くなるからである。
図9に戻り、ステップS206から説明を続ける。
ステップS206において、スケジュール決定部220は、総負荷量を許容負荷量と比較する。
許容負荷量は、許容される負荷量である。総負荷量がCPU時間の合計である場合、許容負荷量は収集間隔iである。つまり、スケジュール決定部220は、CPU時間の合計を収集間隔iと比較する。
総負荷量が許容負荷量以下である場合、処理はステップS208に進む。
総負荷量が許容負荷量より多い場合、処理はステップS207に進む。
ステップS207において、スケジュール決定部220は、収集間隔iを新たに選択する。
具体的には、スケジュール決定部220は、収集間隔iに追加時間Δを加える。つまり、スケジュール決定部220は、時間の短い順に収集間隔iを選択する。
例えば、追加時間Δは、収集間隔範囲をN分割して得られる時間である。収集間隔範囲が10秒から60秒までの50秒間であり、収集間隔範囲が10分割された場合、追加時間Δは5秒である。
ステップS207の後、処理はステップS203に進む。
ステップS208において、スケジュール決定部220は、総負荷量と許容負荷量とを用いて余裕量を算出し、余裕量を余裕閾値と比較する。
余裕量は、総負荷量に対する許容負荷量の余りである。
余裕閾値は、余裕量と比較する閾値として予め決められた値である。
具体的には、スケジュール決定部220は、収集間隔i(許容負荷量)からCPU時間の合計(総負荷量)を引いて余り時間を算出し、収集間隔iに対する余り時間の割合を算出する。算出される割合が余裕量である。例えば、収集間隔iが10秒であり、CPU時間の合計が7秒である場合、余り時間は3秒であり、余裕量は30パーセントである。余裕閾値が25パーセントである場合、余裕量は余裕閾値より多い。
余裕量が余裕閾値以上である場合、処理はステップS209に進む。
余裕量が余裕閾値より少ない場合、処理はステップS210に進む。
ステップS209において、スケジュール決定部220は、ノード300毎の収集間隔データ量にノード300毎の未収集データ量が追加された後の総負荷量が許容負荷量を超えない範囲で、ノード300毎の収集間隔データ量にノード300毎の未収集データ量を追加する。
具体的には、スケジュール決定部220は、以下のように未収集データ量の追加を行う。
(1)スケジュール決定部220は、ノード管理テーブル120から、未収集データ量がゼロでないノード300を1つ選択する。
(2)次に、スケジュール決定部220は、選択したノード300の未収集データ量を選択したノード300の収集間隔データ量に加えた場合の総負荷量を算出する。
(3)次に、スケジュール決定部220は、総負荷量を許容負荷量と比較する。
(4)総負荷量が許容負荷量以下である場合、スケジュール決定部220は、選択したノード300の未収集データ量を選択したノード300の収集間隔データ量に加える。そして、処理は(1)に戻る。
(5)総負荷量が許容負荷量より大きい場合、スケジュール決定部220は、選択したノード300の未収集データ量を選択したノード300の収集間隔データ量に加えない。または、スケジュール決定部220は、選択したノード300の未収集データ量の一部を選択したノード300の収集間隔データ量に加える。そして、処理は終了する。
ステップS209の後、処理はステップS210に進む。
図11に、ステップS209の前後における収集間隔データ量および負荷量の具体例を示す。
ノード(5)に未収集データがあって処理リソースに余裕がある場合、ノード(5)の収集間隔データ量にノード(5)の未収集データ量を加えることが可能である。ノード(5)の収集間隔データ量にノード(5)の未収集データ量が加えられた場合、ノード(5)の負荷量が増える。
図9に戻り、ステップS210を説明する。
ステップS210において、スケジュール決定部220は、収集間隔iを用いて収集スケジュールを決定する。記憶部291は収集スケジュールを記憶する。
具体的には、スケジュール決定部220は、収集スケジュールを以下のように決定する。
まず、スケジュール決定部220は、収集間隔iを用いて全体収集時間帯を決定する。全体収集時間帯は、収集間隔iと同じ長さの時間を有する時間帯である。
次に、スケジュール決定部220は、各ノード300の収集順を決定する。例えば、スケジュール決定部220は、新たに接続されたノード300および未収集データを有するノード300を前に並べて、その後ろに、残りのノード300を前回と同じ順番で並べる。
次に、スケジュール決定部220は、ノード300毎に、収集間隔データ量を用いて収集時間長を算出する。収集時間長は、収集間隔データ量のデータを収集するために必要な時間である。
次に、スケジュール決定部220は、収集時間長の合計を算出し、全体収集時間帯と収集時間長の合計との差分を算出し、差分をノード数で割って挿入時間を算出する。挿入時間は、各ノード300の収集時間の間に挿入する時間である。
そして、スケジュール決定部220は、全体収集時間帯における各ノード300の収集時間帯を決定する。収集時間帯は、収集時間長を有する時間帯である。収集時間帯の先頭時刻を収集時刻という。
図12に、収集スケジュールのイメージを示す。
収集間隔は10秒であり、ノード(5)、ノード(4)、ノード(3)、ノード(2)、ノード(1)の順で収集される。それぞれの収集間隔データ量は、64件、40件、40件、50件、10件である。それぞれの収集時間帯の間には、挿入時間Twが挿入されている。
図13に、収集スケジュールの具体例を示す。
ノード識別子は、ノード300を識別する。
次回収集時刻は、次回の収集が行われる時刻である。
次回データ量は、次回に収集されるデータの量である。
次々回収集時刻は、次々回の収集が行われる時刻であり、次回収集時刻を元に決定される。
次々回データ量は、次々回に収集されるデータの量である。
***実施の形態1の効果***
複数のノード300からデータを収集するデータ収集方法において、データ収集装置200は、各ノード300から未収集データ量および単位時間当たりのデータ量等の情報を受けて、各ノード300から収集するデータ量に応じた収集のスケジューリングを行う。これにより、データ収集装置200において、収集負荷を平滑化させることが可能となる。
***他の構成***
蓄積部292は、データ収集装置200の外部にあってもよい。つまり、収集データが蓄積されるデータベースは、データ収集装置200に備えてもよいし、データ収集装置200の外部に設けてもよい。
データ収集装置200は、複数のコンピュータで構成されてもよい。例えば、データ収集装置200は、制御部210および蓄積部292として機能するコンピュータと、スケジュール決定部220として機能するコンピュータとの2台のコンピュータで構成されてもよい。
ノード300は中継装置であってもよい。
中継装置は、計測装置とデータ収集装置200との間でデータを中継する。つまり、中継装置は、各計測装置からデータを受信し、受信したデータをデータ収集装置200に送信する。例えば、中継装置は、電力メータに対するコンセントレータである。
図14に、中継装置であるノード300を備えるデータ収集システム100の例を示す。
データ収集システム100は、3つの計測装置102と2つのノード300とデータ収集装置200とを備えている。
ノード(1)は中継装置である。ノード(1)には3つの計測装置102が接続されている。ノード(1)は各計測装置102からデータを受け取る。
ノード(2)は計測装置である。
データ収集装置200は、ノード(1)とノード(2)からデータを収集する。
実施の形態2.
複数のノード300をグループ分けしてグループ毎に収集スケジュールを決定する形態について、主に実施の形態1と異なる点を図15から図20に基づいて説明する。
***構成の説明***
図15に基づいて、データ収集システム100の構成を説明する。
データ収集システム100は、実施の形態1と同じく、データ収集装置200と複数のノード300とを備える。
具体的には、データ収集システム100は、ノード(1)からノード(9)の9つのノード300を備える。
図16に基づいて、データ収集装置200の構成を説明する。
データ収集装置200は、複数のプロセッサ201を備える。具体的には、データ収集装置200は、2つのプロセッサ201を備える。
データ収集装置200の他の構成は、実施の形態1における構成と同じである。
***動作の説明***
データ収集方法の全体の流れは、実施の形態1(図4参照)と同じである。
図17に基づいて、スケジュール決定方法を説明する。
ステップS201からステップS204およびステップS207は、実施の形態1(図9参照)で説明した通りである。
ステップS221において、スケジュール決定部220は、収集間隔データ量に対する負荷量をノード300毎に算出する。負荷量を算出する方法は、ステップS205(実施の形態1の図9参照)における方法と同じである。
次に、スケジュール決定部220は、複数のノード300を複数のノードグループに分ける。
具体的には、データ収集システム100が9つのノード300を備え、データ収集装置200が2つのプロセッサ201を備えるため、スケジュール決定部220は、9つのノード300を2つのノードグループに分ける。
そして、スケジュール決定部220は、ノードグループ毎に、ノードグループに属する各ノード300の負荷量を合計して、総負荷量を算出する。
図18に、ノードグループとノードグループに属するノード300のノード情報とノードグループに属するノード300の負荷量とを示す。
第1ノードグループには、ノード(1)からノード(5)の5つのノード300が属する。
第2ノードグループは、ノード(6)からノード(9)の4つのノード300が属する。
第1ノードグループの総負荷量は4754.7ミリ秒であり、第2ノードグループの総負荷量は3274.7秒であり、どちらのノードグループの総負荷量も5秒未満である。
図17に戻り、ステップS222から説明を続ける。
ステップS222において、スケジュール決定部220は、ノードグループ毎に、総負荷量を許容負荷量と比較する。
いずれのノードグループの総負荷量も許容負荷量以下である場合、処理はステップS223に進む。
少なくともいずれかのノードグループの総負荷量が許容負荷量より多い場合、処理はステップS207に進む。
図18において、いずれのグループの総負荷量も5秒未満である。そのため、収集間隔iが5秒である場合、いずれのノードグループの総負荷量も許容負荷量(収集間隔i)以下である。
図17に戻り、ステップS223から説明を続ける。
ステップS223において、スケジュール決定部220は、ノードグループ毎に余裕量を算出し、ノードグループ毎に余裕量を余裕閾値と比較する。余裕量を算出する方法は、ステップS208(実施の形態1の図9参照)における方法と同じである。
少なくともいずれかのノードグループの余裕量が余裕閾値以上である場合、処理はステップS224に進む。
いずれのノードグループの余裕量も余裕閾値より少ない場合、処理はステップS225に進む。
ステップS224において、スケジュール決定部220は、余裕ノードグループを対象にして未収集データ量の追加を行う。
余裕ノードグループは、余裕閾値以上の余裕量を有するノードグループである。
未収集データ量の追加は、ステップS209(実施の形態1の図9参照)で説明した処理である。
ステップS225において、スケジュール決定部220は、ノードグループ毎に収集スケジュールを決定する。収集スケジュールを決定する方法は、ステップS210(実施の形態1の図9参照)における方法と同じである。
図19に、収集スケジュールのイメージを示す。
収集間隔は5秒である。
第1ノードグループにおいて、ノード(5)、ノード(4)、ノード(3)、ノード(2)、ノード(1)の順で収集される。それぞれの収集間隔データ量は、20件、40件、40件、50件、10件である。それぞれの収集時間帯の間には、挿入時間Tw1が挿入されている。
第2ノードグループにおいて、ノード(9)、ノード(8)、ノード(7)、ノード(6)の順で収集される。それぞれの収集間隔データ量は、30件、40件、20件、20件である。それぞれの収集時間帯の間には、挿入時間Tw2が挿入されている。
図20に、収集スケジュールの具体例を示す。
収集スケジュールは、ノードグループ毎に決定されている。
***実施の形態2の効果***
複数のノード300をグループ分けしてグループ毎に収集スケジュールを決定することができる。
***実施の形態の補足***
図21に基づいて、データ収集装置200のハードウェア構成を説明する。
データ収集装置200は処理回路990を備える。
処理回路990は、制御部210とスケジュール決定部220と記憶部291とを実現するハードウェアである。
処理回路990は、専用のハードウェアであってもよいし、メモリ902に格納されるプログラムを実行するプロセッサ901であってもよい。
処理回路990が専用のハードウェアである場合、処理回路990は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC、FPGAまたはこれらの組み合わせである。
ASICはApplication Specific Integrated Circuitの略称であり、FPGAはField Programmable Gate Arrayの略称である。
データ収集装置200は、処理回路990を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路990の役割を分担する。
データ収集装置200の機能について、一部が専用のハードウェアで実現されて、残りがソフトウェアまたはファームウェアで実現されてもよい。
このように、処理回路990はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
100 データ収集システム、101 ネットワーク、102 計測装置、110 ノード情報、120 ノード管理テーブル、130 スケジュール情報、140 収集データ、150 負荷量データ、200 データ収集装置、201 プロセッサ、202 メモリ、203 補助記憶装置、204 通信インタフェース、210 制御部、220 スケジュール決定部、291 記憶部、292 蓄積部、293 受信部、294 送信部、300 ノード、301 プロセッサ、302 メモリ、303 補助記憶装置、304 通信インタフェース、305 センサインタフェース、311 制御部、391 記憶部、392 送信部、393 受信部、394 計測部、990 処理回路。

Claims (7)

  1. データを得るノード毎に単位時間当たりのデータ量を示すデータ量情報を受信する受信部と、
    ノード毎のデータ量情報に基づいて、それぞれのノードからデータを収集するための収集スケジュールを決定するスケジュール決定部と
    を備えるデータ収集装置。
  2. 前記スケジュール決定部は、
    それぞれのノードからデータを収集する収集間隔を収集間隔範囲から選択し、
    ノード毎のデータ量情報に基づいて、選択した収集間隔の間に得られる収集間隔データ量をノード毎に算出し、
    収集間隔データ量に対する負荷量をノード毎に算出し、
    ノード毎の負荷量を用いて総負荷量を算出し、
    前記総負荷量が許容負荷量より少ない場合、前記収集間隔を用いて前記収集スケジュールを決定する
    請求項1に記載のデータ収集装置。
  3. 前記スケジュール決定部は、前記総負荷量が前記許容負荷量より多い場合、収集間隔を新たに選択する
    請求項2に記載のデータ収集装置。
  4. 前記スケジュール決定部は、時間の短い順に収集間隔を選択する
    請求項3に記載のデータ収集装置。
  5. 前記受信部は、さらに、未収集データを有するノード毎に未収集データ量を受信し、
    前記スケジュール決定部は、ノード毎の収集間隔データ量にノード毎の未収集データ量が追加された後の総負荷量が前記許容負荷量を超えない範囲で、ノード毎の収集間隔データ量にノード毎の未収集データ量を追加し、ノード毎の収集間隔データ量を前記収集スケジュールに含める
    請求項2から請求項4のいずれか1項に記載のデータ収集装置。
  6. 前記スケジュール決定部は、複数のノードをグループ分けし、ノードグループ毎に収集スケジュールを決定する
    請求項1から請求項5のいずれか1項に記載のデータ収集装置。
  7. データを得るノード毎に単位時間当たりのデータ量を示すデータ量情報を受信する受信処理と、
    ノード毎のデータ量情報に基づいて、それぞれのノードからデータを収集するための収集スケジュールを決定するスケジュール決定処理と
    をコンピュータに実行させるためのデータ収集プログラム。
JP2019516827A 2017-05-11 2017-05-11 データ収集装置 Expired - Fee Related JP6599049B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/017901 WO2018207322A1 (ja) 2017-05-11 2017-05-11 データ収集装置およびデータ収集プログラム

Publications (2)

Publication Number Publication Date
JP6599049B2 JP6599049B2 (ja) 2019-10-30
JPWO2018207322A1 true JPWO2018207322A1 (ja) 2019-11-07

Family

ID=64105604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019516827A Expired - Fee Related JP6599049B2 (ja) 2017-05-11 2017-05-11 データ収集装置

Country Status (2)

Country Link
JP (1) JP6599049B2 (ja)
WO (1) WO2018207322A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7338475B2 (ja) * 2017-12-19 2023-09-05 ソニーグループ株式会社 端末管理装置及び端末装置
GB2610431A (en) * 2021-09-07 2023-03-08 Vodafone Group Services Ltd Device data retrieval
JPWO2023152940A1 (ja) * 2022-02-14 2023-08-17

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171262A (ja) * 2000-11-30 2002-06-14 Furukawa Electric Co Ltd:The 通信方法及びその通信システム
JP2005151461A (ja) * 2003-11-19 2005-06-09 Ntt Docomo Inc 信号抽出装置、そのプログラム、無線通信方法、その装置及びそのプログラム
JP2012205278A (ja) * 2011-03-28 2012-10-22 Toshiba Corp 遠隔情報収集装置およびプログラム
JP2015080116A (ja) * 2013-10-17 2015-04-23 富士通株式会社 情報収集装置、情報収集方法、及び情報収集プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002171262A (ja) * 2000-11-30 2002-06-14 Furukawa Electric Co Ltd:The 通信方法及びその通信システム
JP2005151461A (ja) * 2003-11-19 2005-06-09 Ntt Docomo Inc 信号抽出装置、そのプログラム、無線通信方法、その装置及びそのプログラム
JP2012205278A (ja) * 2011-03-28 2012-10-22 Toshiba Corp 遠隔情報収集装置およびプログラム
JP2015080116A (ja) * 2013-10-17 2015-04-23 富士通株式会社 情報収集装置、情報収集方法、及び情報収集プログラム

Also Published As

Publication number Publication date
WO2018207322A1 (ja) 2018-11-15
JP6599049B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
US8490108B2 (en) Method of estimating a processing time of each of a plurality of jobs and apparatus thereof
JP6248560B2 (ja) 管理プログラム、管理方法、および管理装置
JP5664098B2 (ja) 複合イベント分散装置、複合イベント分散方法および複合イベント分散プログラム
JP5831558B2 (ja) 運用管理装置、運用管理方法、及びプログラム
JP5768796B2 (ja) 運用管理装置、運用管理方法、及び、プログラム
JP5354138B1 (ja) キャパシティ管理支援装置、キャパシティ管理方法およびプログラム
JP6599049B2 (ja) データ収集装置
JP5954430B2 (ja) 運用管理装置、及び、運用管理方法
JP6683920B2 (ja) 並列処理装置、電力係数算出プログラムおよび電力係数算出方法
US20190213052A1 (en) Distributed processing system, distributed processing method, and recording medium
JP2017211928A (ja) 分散処理制御システム及び分散処理制御方法
CN111026603B (zh) 片上网络温度预测方法及装置、设备、存储介质
JP6176390B2 (ja) 情報処理装置、解析方法、及び、プログラム記録媒体
KR101908377B1 (ko) 계량데이터 관리 시스템 및 컴퓨터 판독가능 기록 매체
Shoukourian et al. Predicting energy consumption relevant indicators of strong scaling hpc applications for different compute resource configurations
KR20220061713A (ko) 스마트 미터의 결측치 대체 방법 및 이를 이용하는 스마트 미터 제어 시스템
CN111092755B (zh) 一种基于资源占用的边缘服务迁移仿真方法
JP2017107486A (ja) 処理リソース制御プログラム、処理リソース制御装置、および処理リソース制御方法
US20130254894A1 (en) Information processing device, non-transitory computer readable medium, and information processing method
CN117093429B (zh) 一种服务器稳定性评价方法及系统
US20180285168A1 (en) Information processing apparatus and information processing system
US20110258493A1 (en) Detecting no progress state of an application
US11449378B2 (en) Information processing apparatus and log control method
CN109753405B (zh) 应用资源消耗的检测方法、装置、存储介质和电子设备
JP7003843B2 (ja) 提示装置、提示方法及び提示プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190610

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190610

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191001

R150 Certificate of patent or registration of utility model

Ref document number: 6599049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees