JP6064996B2

JP6064996B2 - 変換移行装置、変換移行方法、及びプログラム

Info

Publication number: JP6064996B2
Application number: JP2014507584A
Authority: JP
Inventors: 真澄一圓; 真樹菅
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2012-03-28
Filing date: 2013-02-28
Publication date: 2017-01-25
Anticipated expiration: 2033-02-28
Also published as: WO2013146086A1; JPWO2013146086A1

Description

本発明は、収集したデータを分析処理用に変換して分析装置に記録する変換移行装置、変換移行方法、及びプログラムに関する。

データの傾向や特徴を把握して知見を得る分析技術としてＢＩ（ＢｕｓｉｎｅｓｓＩｎｔｅｌｌｉｇｅｎｃｅ）やＤＷＨ（ＤａｔａＷａｒｅＨｏｕｓｅ）と呼ばれる技術がある。これらは分析装置を用いて分析を行うために、蓄積装置に蓄積されたデータを分析装置に移行する場合、当該データを分析装置に合ったデータの形式や構造に変換する必要がある。そのための変換移行処理は、Ｅｘｔｒａｃｔ（抽出）／Ｔｒａｎｓｆｏｒｍ（変換）／Ｌｏａｄ（書込）の頭文字をとってＥＴＬと呼ばれる。

近年、センサデータやサービスのログ情報など、高頻度に発生する大量データに対して分析処理をリアルタイムに行い、現在に近い時刻の状況を把握したいというニーズが高まっている。そのため、従来では日単位の頻度であった分析処理が、数分、数秒という短い間隔で継続的に実施されることが想定される。
それに伴い、変換移行処理も、分析のタイミングで一括して変換して移行していた状況から、継続的に蓄積されていくデータをリアルタイムに抽出して分析装置に記録するという傾向になっている。そのための素朴な実現方法としては、変換移行処理を一定間隔で実行し、継続的に増加するデータを分析装置に移行するという方法が考えられる。

しかしこの方法を用いる場合、変換移行処理と分析処理のタイミングが独立しているため、変換移行処理が完了する直前に分析処理が実行されてしまうなど、現在に最も近い発生データを対象にした分析を行うことができないおそれがある。

そこで、特許文献１には、センサデータを収集する収集装置と収集したデータを監視する監視装置とを備える遠隔監視システムにおいて、監視装置による要求信号の送信周期を変更した場合に、収集装置による収集周期を同期して更新させる技術が開示されている。
これによれば、収集処理と監視処理のタイミングが同期するため、現在に最も近い発生データを対象にした分析を行うことができる。

特開２００５−２６０６３５号公報

しかしながら、特許文献１に記載の技術を分析システムに適用した場合、前回の分析処理が完了したときに次回の分析処理を開始する場合など、処理周期が定まっていない場合には、処理周期を同期させることができないという問題がある。
本発明の目的は、上述した課題を解決する変換移行装置、変換移行方法、及びプログラムを提供することにある。

本発明は上記の課題を解決するためになされたものであり、収集したデータを分析処理用に変換して分析装置に記録する変換移行装置であって、過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定する実行間隔推定部と、前回の分析処理の開始時刻より前記実行間隔推定部が推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定する分析時刻推定部と、前記分析時刻推定部が推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定する変換移行時刻決定部と、前記変換移行時刻決定部が決定した開始時刻に前記変換移行処理を行う変換移行部とを備える変換移行装置を提供する。

また、本発明は、収集したデータを分析処理用に変換して分析装置に記録する変換移行装置を用いた変換移行方法であって、過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定し、前回の分析処理の開始時刻より前記推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定し、前記推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定し、前記決定した開始時刻に前記変換移行処理を行う変換移行方法も提供する。

また、本発明は、収集したデータを分析処理用に変換して分析装置に記録する変換移行装置を、過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定する実行間隔推定部、前回の分析処理の開始時刻より前記実行間隔推定部が推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定する分析時刻推定部、前記分析時刻推定部が推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定する変換移行時刻決定部、前記変換移行時刻決定部が決定した開始時刻に前記変換移行処理を行う変換移行部として機能させるためのプログラムも提供する。

本発明によれば、分析処理の実行間隔が設定されていなくても、分析処理と変換移行処理とを同期させ、現在時刻に直近のデータに対する分析を行うことができる。

本発明の第１の実施形態による変換移行装置を備える分析システムの構成を示す概略ブロック図である。本発明の第１の実施形態による変換移行装置による変換移行時刻の決定動作を示すフローチャートである。本発明の第２の実施形態による変換移行装置を備える分析システムの構成を示す概略ブロック図である。本発明の第２の実施形態による変換移行装置による変換移行時刻の決定動作を示すフローチャートである。本発明による変換移行装置の基本構成を示す概略ブロック図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
《第１の実施形態》
図１は、本発明の第１の実施形態による変換移行装置２００を備える分析システムの構成を示す概略ブロック図である。
分析システムは、所定のデータに対する分析を行うシステムであって、蓄積装置１００、変換移行装置２００、分析装置３００を備える。
なお、ここでは蓄積装置１００、変換移行装置２００、分析装置３００を別々の構成とする場合について説明するが、これに限られず、同一の装置内に各装置の機能を設ける構成としても良い。

蓄積装置１００は、所定のサービスのクライアントから取得したデータや、センサが検知したデータなどの生データを蓄積する。なお、蓄積装置１００におけるデータ蓄積の形態に特に制限は無く、例えばデータベース形式であっても良いし、ファイル形式であっても良い。
変換移行装置２００は、蓄積装置１００に蓄積されたデータを分析装置３００において分析可能な形式に変換し、分析装置３００の記憶部に記録する。
分析装置３００は、変換移行装置２００によって記録されたデータに対して、所定の分析処理を実行する。

ここで、変換移行装置２００の詳細な構成について説明する。
変換移行装置２００は、分析ログ記録部２１０、分析ログ記憶部２２０、実行間隔推定部２３０、分析時刻推定部２４０、変換移行時刻決定部２５０、変換移行部２６０を備える。

分析ログ記録部２１０は、分析装置３００の動作を常時監視し、分析装置から分析処理のログデータを受信し、当該ログデータを分析ログ記憶部２２０に記録する。なお、当該ログデータには、分析処理の開始時刻、分析処理の実行時間などが記録される。
分析ログ記憶部２２０は、分析装置３００による過去の分析処理のログデータを記憶する。

実行間隔推定部２３０は、分析ログ記憶部２２０が記憶するログデータから分析処理の開始時刻を読み出し、連続する分析処理の開始時刻の間隔に基づいて、分析処理の実行間隔を推定する。
分析時刻推定部２４０は、分析ログ記憶部２２０が記憶するログデータから前回の分析処理の実行時刻を読み出し、実行間隔推定部２３０が推定した実行間隔を当該実行時刻に加算することで、次回の分析処理の実行時刻を予測する。なお、前回の分析処理とは、分析ログ記憶部２２０が記憶するログデータのうち最後に記録されたログデータが示す分析処理のことである。
変換移行時刻決定部２５０は、分析時刻推定部２４０が推定した次回の分析処理の実行時刻に基づいて、当該実行時刻以前の時刻を、変換移行時刻として決定する。

変換移行部２６０は、抽出部２６１、変換部２６２、記録部２６３を備え、変換移行時刻決定部２５０が決定した変換移行時刻に、変換移行処理を実行する。
具体的には、抽出部２６１は、現在時刻を常時監視し、現在時刻が変換移行時刻になったときに、蓄積装置１００からデータを抽出する。次に、変換部２６２は、抽出部２６１が抽出したデータを分析処理に適した形式に変換する。そして、記録部２６３は、変換部２６２が変換したデータを分析装置３００（の記憶部）に記録する。

次に、変換移行装置２００の動作について説明する。
図２は、本発明の第１の実施形態による変換移行装置２００による変換移行時刻の決定動作を示すフローチャートである。
まず、実行間隔推定部２３０は、分析ログ記憶部２２０からログデータを読み出し、連続する分析処理毎に分析処理の開始時刻の間隔を算出する（ステップＳ１）。
次に、実行間隔推定部２３０は、算出した複数の開始時刻の間隔の統計量を求めることで、分析処理の実行間隔を推定する（ステップＳ２）。

開始時刻の間隔の統計量の例としては、例えば、開始時刻の間隔の平均値、中央値または最頻値、または、このような値に、そのばらつきの程度を表す散布度（分散、標準偏差など）に対して単純減少する１以下の正の係数を乗じた値、若しくは最大値などが挙げられる。なお、散布度に対して単純減少する係数とは、ばらつきが小さいほど大きく、ばらつきが大きいほど小さい係数のことである。
分析処理の実行間隔を、開始時刻の間隔の平均値、中央値または最頻値とした場合、分析装置による分析処理の実際の実行間隔に近い時間を実行間隔として推定することができるため、分析装置に、現在時刻により近い時刻のデータを分析させることができる。
また、分析処理の実行間隔を、開始時刻の間隔の最小値とした場合、当該実行間隔に基づいて変換移行処理を行うことで、分析処理を実行する前に変換移行処理を実行することができる確率を高めることができる。
また、分析処理の実行間隔を、開始時刻の間隔の平均値、中央値または最頻値に、開始時刻の間隔の散布度に対して単純減少する１以下の正の係数を乗じた時間とした場合、現在時刻により近い時刻のデータを分析させつつ、変換移行処理を実行することができる確率を高めることができる。

次に、分析時刻推定部２４０は、分析ログ記憶部２２０からログデータを読み出し、前回の分析処理の実行時刻を特定する（ステップＳ３）。
次に、分析時刻推定部２４０は、実行間隔推定部２３０が推定した実行間隔を、前回の分析処理の実行時刻に加算することで、次回の分析処理の実行時刻を推定する（ステップＳ４）。

次に、変換移行時刻決定部２５０は、分析時刻推定部２４０が推定した次回の分析処理の実行時刻から、変換移行処理に要する所定の時間を減算した時刻を、次回の変換移行処理の実行時刻に決定する（ステップＳ５）。

このように、本実施形態によれば、変換移行装置２００は、分析処理の実行間隔を推定し、推定した実行間隔に基づいて収集したデータの変換移行処理の開始時刻を決定する。
これにより、分析処理の実行間隔が設定されていなくても、分析処理と変換移行処理とを同期させ、現在時刻に直近のデータに対する分析を行うことができる。

《第２の実施形態》
図３は、本発明の第２の実施形態による変換移行装置２００’を備える分析システムの構成を示す概略ブロック図である。
第２の実施形態による変換移行装置２００’は、第１の実施形態による変換移行装置２００の構成に加えて、さらに変換移行ログ記録部２７０、変換移行ログ記憶部２８０、変換移行時間推定部２９０を備える。

変換移行ログ記録部２７０は、変換移行部２６０の動作を監視し、変換移行部２６０による変換移行処理のログデータを生成し、当該ログデータを変換移行ログ記憶部２８０に記録する。なお、当該ログデータには、少なくとも変換移行処理の開始時刻及び終了時刻、または変換移行処理の実行時間と、抽出部２６１が抽出したデータの量とが含まれる。
変換移行ログ記憶部２８０は、変換移行部２６０による過去の変換移行処理のログデータを記憶する。
変換移行時間推定部２９０は、変換移行ログ記憶部２８０が記憶するログデータから変換移行処理の実行時間（または開始時刻及び終了時刻）、及び変換移行対象のデータ量を読み出し、これらの情報に基づいて単位データ量あたりの変換移行処理の実行時間（単位実行時間）を推定する。
また、変換移行時間推定部２９０は、次回の変換移行対象のデータ量と単位実行時間とに基づいて次回の変換移行時間（変換移行処理に要する時間）を推定する。

次に、変換移行装置２００’の動作について説明する。
図４は、本発明の第２の実施形態による変換移行装置２００’による変換移行時刻の決定動作を示すフローチャートである。なお、第１の実施形態と同じ動作を行うステップについては、同じ符号を用いて説明する。
まず、実行間隔推定部２３０は、分析ログ記憶部２２０からログデータを読み出し、連続する分析処理毎に分析処理の開始時刻の間隔を算出する（ステップＳ１）。
次に、実行間隔推定部２３０は、算出した複数の開始時刻の間隔の統計量を求めることで、分析処理の実行間隔を推定する（ステップＳ２）。

次に、変換移行時間推定部２９０は、変換移行ログ記憶部２８０からログデータを読み出し、変換移行処理ごとに、その実行時間と変換移行対象のデータ量とを特定する（ステップＳ１１）。
次に、変換移行時間推定部２９０は、ログデータが示す変換移行処理ごとに、その実行時間を変換移行対象のデータ量で除算する（ステップＳ１２）。
次に、変換移行時間推定部２９０は、ステップＳ１２で得た値の統計量を求めることで、単位実行時間を推定する（ステップＳ１３）。

ステップＳ１２で得た値の統計量（ステップＳ１３で算出）の例としては、例えば、ステップＳ１２で得た値の平均値、中央値または最頻値、またはこれらの値に散布度に対して単純減少する１以下の正の係数を乗じた値、若しくは最大値などが挙げられる。

次に、変換移行時間推定部２９０は、推定した単位実行時間に次回の変換移行処理を実行すべきデータの量を乗算することで、次回の変換移行時間を推定する（ステップＳ１４）。
次に、変換移行時刻決定部２５０は、分析時刻推定部２４０が推定した次回の分析処理の実行時刻から、変換移行時間推定部２９０が推定した次回の変換移行時間を減算した時刻を、次回の変換移行処理の実行時刻に決定する（ステップＳ１５）。

このように、本実施形態によれば、変換移行装置２００’は、次回の変換移行時間を推定し、推定した変換移行時間に基づいて収集したデータの変換移行処理の開始時刻を決定する。これにより、変換移行処理の完了直後に分析処理を実行させることができる。
また、本実施形態によれば、変換移行装置２００’は、単位実行時間を推定し、次回の変換移行処理の対象となるデータ量を、当該単位データ量あたりの変換移行時間に乗算することで、次回の変換移行時間を推定する。これにより、次回の変換移行時間を精度良く推定することができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

《基本構成》
図５は、本発明による変換移行装置の基本構成を示す概略ブロック図である。
上述した実施形態では、本発明による変換移行装置の一実施形態として図１、図３に示す構成（２００または２００’）について説明したが、本発明による変換移行装置の基本構成は、図５に示すとおりである。
すなわち、本発明による変換移行装置は、実行間隔推定部２３０、分析時刻推定部２４０、変換移行時刻決定部２５０、及び変換移行部２６０を基本構成とする。

実行間隔推定部２３０は、過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定する。
分析時刻推定部２４０は、前回の分析処理の開始時刻より実行間隔推定部２３０が推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定する。
変換移行時刻決定部２５０は、分析時刻推定部２４０が推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定する。
変換移行部２６０は、変換移行時刻決定部２５０が決定した開始時刻に変換移行処理を行う。
これにより、変換移行装置は、分析処理の実行間隔が設定されていなくても、分析処理と変換移行処理とを同期させ、現在時刻に直近のデータに対する分析を行うことができる。

上述の変換移行装置２００または２００’は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

この出願は、２０１２年３月２８日に出願された日本出願特願２０１２−７３４８０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００…蓄積装置
２００、２００’…変換移行装置
２１０…分析ログ記録部
２２０…分析ログ記憶部
２３０…実行間隔推定部
２４０…分析時刻推定部
２５０…変換移行時刻決定部
２６０…変換移行部
２６１…抽出部
２６２…変換部
２６３…記録部
２７０…変換移行ログ記録部
２８０…変換移行ログ記憶部
２９０…変換移行時間推定部
３００…分析装置

Claims

収集したデータを分析処理用に変換して分析装置に記録する変換移行装置であって、
過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定する実行間隔推定部と、
前回の分析処理の開始時刻より前記実行間隔推定部が推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定する分析時刻推定部と、
前記分析時刻推定部が推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定する変換移行時刻決定部と、
前記変換移行時刻決定部が決定した開始時刻に前記変換移行処理を行う変換移行部と
を備えることを特徴とする変換移行装置。
過去に実行した変換移行処理それぞれの実行時間に基づいて、次回の変換移行処理の実行時間を推定する変換移行時間推定部を更に備え、
前記変換移行時刻決定部は、前記分析時刻推定部が推定した次回の分析処理の開始時刻から前記変換移行時間推定部が推定した実行時間を減算した時刻を、変換移行処理の開始時刻に決定する
ことを特徴とする請求項１に記載の変換移行装置。
前記変換移行時間推定部は、過去に実行した変換移行処理それぞれの実行時間と変換移行処理の対象となるデータの量とに基づいて、単位データ量あたりの変換移行処理の実行時間である単位実行時間を推定し、次回の変換移行処理の対象となるデータの量に当該単位実行時間を乗じることで、次回の変換移行処理の実行時間を推定する
ことを特徴とする請求項２に記載の変換移行装置。
収集したデータを分析処理用に変換して分析装置に記録する変換移行装置を用いた変換移行方法であって、
前記変換移行装置の実行間隔推定部が、過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定し、
前記変換移行装置の分析時刻推定部が、前回の分析処理の開始時刻より前記実行間隔推定部が推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定し、
前記変換移行装置の変換移行時刻決定部が、前記分析時刻推定部が推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定し、
前記変換移行装置の変換移行部が、前記変換移行時刻決定部が決定した開始時刻に前記変換移行処理を行う
ことを特徴とする変換移行方法。
前記変換移行装置の変換移行時間推定部が、過去に実行した変換移行処理それぞれの実行時間に基づいて、次回の変換移行処理の実行時間を推定し、
前記変換移行時刻決定部が、前記分析時刻推定部が推定した次回の分析処理の開始時刻から前記変換移行時間推定部が推定した実行時間を減算した時刻を、変換移行処理の開始時刻に決定する
ことを特徴とする請求項４に記載の変換移行方法。
収集したデータを分析処理用に変換して分析装置に記録する変換移行装置を、
過去に実行した分析処理それぞれの開始時刻に基づいて、分析処理の実行間隔を推定する実行間隔推定部、
前回の分析処理の開始時刻より前記実行間隔推定部が推定した実行間隔だけ後の時刻を、次回の分析処理の開始時刻と推定する分析時刻推定部、
前記分析時刻推定部が推定した次回の分析処理の開始時刻に基づいて、収集したデータの変換移行処理の開始時刻を決定する変換移行時刻決定部、
前記変換移行時刻決定部が決定した開始時刻に前記変換移行処理を行う変換移行部
として機能させるためのプログラム。
前記変換移行装置を更に、
過去に実行した変換移行処理それぞれの実行時間に基づいて、次回の変換移行処理の実行時間を推定する変換移行時間推定部として機能させ、
前記変換移行時刻決定部は、前記分析時刻推定部が推定した次回の分析処理の開始時刻から前記変換移行時間推定部が推定した実行時間を減算した時刻を、変換移行処理の開始時刻に決定する
ことを特徴とする請求項６に記載のプログラム。