JP6870346B2 - データ分析システム、データ分析方法およびプログラム - Google Patents

Description

本発明は、時系列データを分析するデータ分析システム、データ分析方法およびプログラムに関する。特に、本発明は、センサデバイスによって取得されたセンサデータを分析するデータ分析システム、データ分析方法およびプログラムに関する。

センサデバイスの発達に伴って、センサの検知対象に関する情報を高精度に把握することが可能になった。また、センサデバイスの廉価化によって、色々な場所や機器に多種多様なセンサが設置されるようになった。そのため、現実世界の様々な情報をデータとして取り込み、それらのデータの時間変化を分析することによって、様々な検知対象の振る舞いを予測したり、様々な現象を解明したりする需要が高まっている。

ところで、色々なセンサを用いて多種多様なデータを取得しても、それらのデータの相関関係を総合的に分析して検知対象の振る舞いを考察することは難しい。そのため、多種多様なデータを単純かつ効果的に分析する方法が求められている。

例えば、工場の製造システムでは、現場の温度や酸度、原料や燃料の投入量、撹拌速度などといった生産状況に関するデータを複数のセンサを用いて収集する。そして、製造システムは、収集されたデータに基づいて、予め設定されたルールや人間による判断に従って制御される。また、予め設定されたルールや人間による判断の代わりに、機械学習を用いて判断や制御を自動化する方法が実現され始めている。

特許文献１には、加速度センサや角速度センサなどのセンサによって取得されたデータに基づいて、装置の筐体の位置や向きの変化を検出する情報処理装置が開示されている。特許文献１の装置は、検出されたデータの時系列に沿った変化を示す特徴量ベクトルに基づいて、予め施された所定の制限を解除する。特許文献１の装置は、高速フーリエ変換などを用いて、多次元の時系列データのそれぞれから特徴量を抽出する。そして、特許文献１の装置は、抽出した特徴量に対して機械学習などで生成した識別関数を適用することによってデータの類似度を判定する。

特許文献２には、送配電線に発生した事故を波形データから診断する事故原因診断方法について開示されている。一般に、送配電線に発生した事故原因により波形データが異なる。そのため、特許文献２の装置は、波形データを高速フーリエ解析し、その結果得られた属性データに機械学習の手法を適用して事故原因診断を行う。

特許文献３には、コンピュータの入出力データ中の文字列に含まれる所定の文字群を素性として抽出し、予め機械学習によって学習しておいた素性の集合を参照して、抽出した素性の集合のデータ種類を検出するデータ種類検出装置について開示されている。

以上の特許文献１〜３には、機械学習を用いて個々のデータを分析する例が開示されている。以下の特許文献４および５には、複数のデータを分析するために画像データを用いる例が開示されている。

特許文献４には、複数の機器から出力された時系列データを画像データに変換する機器データ処理装置について開示されている。特許文献４の装置は、時刻が割り当てられる第１座標軸と、複数の機器が割り当てる第２座標軸とで規定された座標空間に、相関し合う複数の機器同士を近接させて第２座標軸に並べる。そして、特許文献４の装置は、時系列データのそれぞれを正規化して画像を生成し、生成された画像において隣り合う時系列データのそれぞれ一部を含む領域について２次元画像処理を施すことで得られた画像に基づいた情報を表示する。

特許文献５には、制御対象の状態を画像データから認識し、制御対象を状態に応じて制御するビジュアルフィードバック制御装置について開示されている。特許文献５の装置は、ニューラルネットワークにより構成される画像ダイナミックシミュレータを有し、制御対象の画像データと、制御対象に供給される操作量と、未来の操作量とを予測モデルに与えて未来の予測画像を得る。そして、特許文献５の装置は、制約条件を満たしながら目標画像に予測画像を近付ける操作量を算出する。

国際公開第２０１６／０２４４２４号 特許第３０１９２３６号公報 特許第５１６８６２０号公報 特開２０１５−２１５７０９号公報 特開平６−２６６４１０号公報

特許文献１〜３の手法によれば、個々のデータを事象ごとに処理することができる。しかし、特許文献１〜３の手法では、複数のデータをまとめて処理できないという問題点があった。

特許文献４の装置は、複数の時系列データを画像データに変換することによって、複数の時系列データを画像データとして一括して処理できる。しかし、特許文献４の装置では、相関し合う時系列データを近接させた画像データとするため、個々の時系列データを分析しにくくなるという問題点があった。

特許文献５の装置は、画像ダイナミックシミュレータを有するため、誤差逆伝搬学習法によって過去の画像データから予測モデルを自動的に学習できる。しかし、特許文献５の装置は、過去の画像データから予測モデルが学習されていない状況においては、未来の予測画像を得ることができないため、最適な操作量を算出できないという問題点があった。

本発明の目的は、上述した課題を解決し、複数の時系列データを一括して分析することを可能とするデータ分析システムを提供することにある。

本発明の一態様のデータ分析システムは、複数の検知対象に関する時系列データを取得するデータ取得手段と、所定期間を単位として時系列データを画像に変換する入力情報変換手段と、予め記憶された学習モデルに基づいて画像を判定した判定結果に基づいて検知対象の状態を推定する判定手段とを有する。

本発明の一態様のデータ分析方法では、複数の検知対象に関する時系列データを取得し、所定期間を単位として時系列データを画像に変換し、予め記憶された学習モデルに基づいて画像を判定した判定結果に基づいて検知対象の状態を推定する。

本発明の一態様のプログラムは、複数の検知対象に関する時系列データを取得する処理と、所定期間を単位として時系列データを画像に変換する処理と、予め記憶された学習モデルに基づいて画像を判定した判定結果に基づいて検知対象の状態を推定する処理とをコンピュータに実行させる。

本発明によれば、複数の時系列データを一括して分析できるデータ分析システムを提供することが可能になる。

本発明の第１の実施形態に係るデータ分析システムの構成を示すブロック図である。 本発明の第１の実施形態に係るデータ分析システムのデータ格納手段に格納されるセンサデータを時系列でまとめた表である。 本発明の第１の実施形態に係るデータ分析システムのデータ格納手段に格納されたセンサデータを正規化した正規化データを時系列でまとめた表である。 本発明の第１の実施形態に係るデータ分析システムの学習装置の構成を示すブロック図である。 本発明の第１の実施形態に係るデータ分析システムが生成する変換画像の一例を示す概念図である。 本発明の第１の実施形態に係るデータ分析システムの分析装置の構成を示すブロック図である。 本発明の第１の実施形態に係るデータ分析システムの事前学習処理に関するフローチャートである。 本発明の第１の実施形態に係るデータ分析システムの判別推定処理に関するフローチャートである。 本発明の第２の実施形態に係るデータ分析システムの入力情報変換手段の構成を示す概念図である。 本発明の第２の実施形態に係るデータ分析システムが生成するカラー画像の一例を示す概念図である。 本発明の第３の実施形態に係るデータ分析システムの入力情報変換手段の構成を示す概念図である。 本発明の第３の実施形態に係るデータ分析システムが生成するグラフ画像の一例を示す概念図である。 本発明の各実施形態に係るデータ分析システムを実現するハードウェア構成の一例を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、図面中の矢印の向きは、一例を示すものであり、ブロック間の信号やデータ等の流れの向きを限定するものではない。

（第１の実施形態）
まず、本発明の第１の実施形態に係るデータ分析システムに関して図面を参照しながら説明する。本実施形態のデータ分析システムは、センサが検知対象とする事象における一定の期間単位（以下、事象の期間単位）のセンサデータを画像に変換することによって、教師データとなる画像群を生成する。なお、事象とは、例えば一つの製造工程などのことを意味する。

〔構成〕
図１は、本実施形態のデータ分析システム１の構成を示すブロック図である。図１のように、データ分析システム１は、データ格納手段１１、学習装置１２、分析装置１５、教師信号格納手段１３、予測モデル格納手段１４、判別結果格納手段１６を備える。データ分析システム１は、データレコーダ１０に接続される。なお、データ分析システム１にデータレコーダ１０を含めてもよい。

データレコーダ１０は、インターネットやイントラネットなどのネットッワークを通じて検知対象の特定の性質に関する情報を取得するセンサが出力するデータを時系列で収集して記録する記録計である。データレコーダ１０は、収集したデータを時系列データ（以下、センサデータ）として記録する。なお、データレコーダ１０は、センサデータそのものを外部から取得するように構成してもよい。データレコーダ１０は、記録したセンサデータをデータ格納手段１１に格納する。

センサデータは、検知対象の特定の性質に関する情報の物理量（データ量とも呼ぶ）を示す信号をまとめた時系列データである。以下においては、各センサから出力されるデータを時系列でまとめたデータ形式をセンサデータと呼び、複数のセンサデータをまとめたデータ形式をセンサデータ群と呼ぶ。なお、センサデータが単一であってもセンサデータ群と呼ぶことがある。

例えば、データレコーダ１０は、Ｎ個のセンサからデータを取得する場合、センサの数（Ｎ個）の分だけ、検知対象に関するセンサデータを記録する（Ｎは自然数）。例えば、データレコーダ１０は、検知対象の変位や加速度、トルク、振動数、温度、電圧などの性質に関する情報をセンサデータとして記録する。センサデータは、センサによって取得された生データであってもよいし、何らかのデータ処理が加えられたデータであってもよい。

データ格納手段１１（第１の記憶領域とも呼ぶ）は、データレコーダ１０によって収集されたセンサデータ群が格納される記憶領域である。データ格納手段１１には、計測開始時点から現時点までの間にデータレコーダ１０に記録されたセンサデータのうちいずれかが少なくとも格納される。

図２は、Ｎ個のセンサによって取得されたデータに基づいて記録されるセンサデータｓ₁〜ｓ_Nをまとめたセンサデータテーブル１１０である。図２のセンサデータテーブル１１０は、計測開始時刻９：００：００．０００から記録され始めた複数のセンサデータｓ₁〜ｓ_Nを格納する例である。

学習装置１２は、データ格納手段１１に格納されたセンサデータを正規化し、正規化したセンサデータを事象の期間単位で画像変換して機械学習する。学習装置１２は、正規化したセンサデータを事象の期間単位で画像化して、事象の期間単位ごとに生成した画像（変換画像とも呼ぶ）に教師信号を付与する。学習装置１２は、教師信号が付与された変換画像を用いて予測モデルを生成し、生成した予測モデルを機械学習する。学習装置１２は、学習した予測モデルを予測モデル格納手段１４に格納する。

例えば、学習装置１２は、畳み込みニューラルネットワーク（以下、ＣＮＮ：Convolutional Neural Network）と呼ばれる機械学習技術の一種を利用して予測モデルを生成する。以下においては、ＣＮＮを利用して機械学習することを前提として説明するが、ＣＮＮ以外の手法を用いてセンサデータを機械学習してもよい。

図３は、図２のセンサデータテーブル１１０に格納されたセンサデータを正規化することで得られる正規化データをまとめた正規化データテーブル１２０である。図３の正規化データテーブル１２０は、計測開始時刻９：００：００．０００を時刻０とし、時刻０から記録され始めたセンサデータ（ｓ₁〜ｓ_N）を正規化することで得られる正規化データ（ｓ'₁〜ｓ'_N）を格納する例である。正規化データテーブル１２０には、センサデータを０〜２５５の正の整数値として正規化する例を示す。

教師信号格納手段１３（第２の記憶領域とも呼ぶ）は、事象の期間単位のセンサデータと教師信号との間の関係性が格納される記憶領域である。教師信号には、任意の時刻におけるセンサデータに対する検知対象の状態に関する情報を与える。例えば、検知対象の状態は、フェーズ１、フェーズ２、フェーズ３などと表現される。本実施形態においては、事象の期間単位で変換画像を生成するため、教師信号格納手段１３には、事象の期間単位ごとの教師信号を格納しておく。

予測モデル格納手段１４（第３の記憶領域とも呼ぶ）は、学習手段２５の学習結果である予測モデルが格納される記憶領域である。

分析装置１５は、予測モデル格納手段１４に格納されている予測モデルを用いて、検知対象の振る舞いの判別および推定を行う装置である。分析装置１５は、判別結果格納手段１６に判別結果を格納する。

判別結果格納手段１６（第４の記憶領域とも呼ぶ）は、判定手段５５による判別結果が格納される記憶領域である。

以上が、データ分析システム１の構成についての説明である。以上のように、本実施形態のデータ分析システム１は、センサが検知対象とする事象の期間単位のセンサデータから変換画像を生成することによって、教師データとなる変換画像群を生成する。

次に、データ分析システム１の学習装置１２および分析装置１５について図面を参照しながら説明する。

〔学習装置〕
図４は、学習装置１２の構成を示すブロック図である。学習装置１２は、データ取得手段２１、入力情報変換手段２３、学習手段２５を有する。入力情報変換手段２３は、データ加工手段２３１と画像生成手段２３２とを含む。

データ取得手段２１（第２のデータ取得手段とも呼ぶ）は、開始時刻と終了時刻を指定して、データ格納手段１１からセンサデータ群を取得する。言い換えると、データ取得手段２１は、複数の検知対象に関する時系列データを取得する。データ取得手段２１によって指定される開始時刻および終了時刻は、外部から設定される時刻でもよいし、予め設定された時刻でもよい。

入力情報変換手段２３（第２の入力情報変換手段とも呼ぶ）は、データ取得手段２１が取得したセンサデータ群を学習手段２５のＣＮＮの入力信号として利用できるデータ形式（画像データ）に変換する。言い換えると、入力情報変換手段２３は、所定期間を単位として時系列データを画像に変換する。例えば、入力情報変換手段２３は、各センサデータのデータ値を濃淡で表現する変換画像を生成し、人間が直感的に特徴を理解しやすい形式、すなわちＣＮＮの入力信号として適したデータ形式にする。

入力情報変換手段２３は、センサデータの正規化を行うデータ加工手段２３１と、正規化したセンサデータから変換画像を生成する画像生成手段２３２とによって、多次元のセンサデータを単一の入力データ（画像データ）に集約する。

データ加工手段２３１は、データ取得手段２１が取得したセンサデータ群の正規化処理を行う。データ加工手段２３１が行う正規化処理は、元の時系列データが持つ性質を保持したままで画像変換を行うための事前準備処理である。例えば、データ加工手段２３１は、センサデータ群の各データ値を８ビットの正の整数値（０〜２５５）に正規化したり、３２ビットの浮動小数点数（０〜１．０）に正規化したりする。なお、正規化の方法は、各センサデータ間で統一してあれば限定を加えない。

画像生成手段２３２は、データ加工手段２３１が正規化した各センサデータから変換画像を生成する。画像生成手段２３２は、事象の期間単位分に相当する全てのセンサデータのデータ値を変換画像で表現し、単一の入力信号とする。ＣＮＮでは画像を標準の入力要素とするため、画像生成手段２３２は、多次元のセンサデータを一つの入力信号にまとめ、学習手段２５が機械学習モデルの一種であるＣＮＮを利用することを可能とする。すなわち、画像生成手段２３２は、多次元のセンサデータから事象の期間単位で一つの変換画像を生成する。例えば、画像生成手段２３２は、分析対象の各センサデータのデータ値がピクセルの濃淡（輝度値）で表現される変換画像を生成する。

学習手段２５は、教師信号格納手段１３から教師信号を取得し、取得した教師信号と、画像生成手段２３２が生成した画像群とを合わせて入力とし、ＣＮＮを用いた学習処理を行う。言い換えると、学習手段２５は、入力情報変換手段２３によって生成された複数の画像と、所定期間に対応する教師信号とを用いて予測モデルを機械学習する。学習手段２５は、学習が終了して出力される予測モデルを予測モデル格納手段１４に格納する。

以上が、学習装置１２の構成についての説明である。

ここで、画像生成手段２３２によって生成される変換画像の一例を示す。図５は、正規化データ群（ｓ^' ₁〜ｓ^' _N）から生成される変換画像群１４０の一例を示す概念図である。変換画像群１４０は、最初の期間のセンサデータから生成される変換画像１４０−１、・・・、ｍ番目の期間のセンサデータから生成される変換画像１４０−ｍによって構成される（ｍ：自然数）。

図５の例では、画像生成手段２３２は、複数のセンサから取得されたセンサデータを用いて生成されるセンサごとの画像（素画像とも呼ぶ）を事象の期間単位で一つの変換画像にまとめる。そして、画像生成手段２３２は、複数の事象の期間ごとに生成される変換画像を時間順に重ねて並べた画像群（変換画像群とも呼ぶ）を生成する。

言い換えると、画像生成手段２３２は、データ加工手段２３１によって正規化された時系列データのデータ値に基づいて、所定期間を単位として検知対象ごとに生成した素画像を組み合わせて変換画像群１４０を生成する。本実施形態において、画像生成手段２３２は、データ加工手段２３１によって正規化された時系列データのデータ値に基づいた明度情報に基づいて素画像を生成する。

図５の例では、正規化データｓ^' ₁、正規化データｓ^' ₂、正規化データｓ^' ₂、・・・、正規化データｓ^' _Nから生成される素画像を上から順番に並べて一つにまとめている。図５の変換画像の濃淡（輝度情報）がセンサデータのデータ値を表す。図５の例では、画素が淡いほどデータ値が大きく、画素が濃いほどデータ値が小さい。すなわち、図５においては、輝度が小さいほどデータ値が大きく、輝度が大きいほどデータ値が小さい。なお、画素が淡いほど（輝度が小さいほど）データ値が小さく、画素が濃いほど（輝度が大きいほど）データ値が大きくなるように設定してもよい。

図５の変換画像においては、センサデータを構成する各データのデータ値を１ピクセル幅で表現しているが、数ピクセル幅で表現しても良い。また、センサデータの変動が激しい場合は、一定時間分のデータの平均値や中央値、最頻値などの代表値を１ピクセル幅や数ピクセル幅にまとめて表現してもよい。

図５の各変換画像は、各データを１ピクセル幅で表現すると、視認しにくくなるとともに、センサの数を増やせなくなり、ＣＮＮを用いた予測モデル作成に影響が及ぶ。そのため、横幅に合わせて縦幅を調整することが好ましい。例えば、各変換画像の横幅と縦幅との比を４対３に設定すると、視認性が向上するとともに、ＣＮＮを用いた予測モデルを作成しやすくなる。

〔分析装置〕
図６は、分析装置１５の構成を示すブロック図である。分析装置１５は、データ取得手段５１、入力情報変換手段５３、判定手段５５を有する。入力情報変換手段５３は、データ加工手段５３１と画像生成手段５３２とを含む。

データ取得手段５１（第１のデータ取得手段とも呼ぶ）は、学習装置１２に含まれるデータ取得手段２１と同様の機能を有する。すなわち、データ取得手段５１は、第１の実施形態のデータ取得手段２１と同様に、複数の検知対象に関する時系列データを取得する。

入力情報変換手段５３（第１の入力情報変換手段とも呼ぶ）は、学習装置１２に含まれる入力情報変換手段２３と同様の機能を有し、入力情報変換手段２３と同様のデータ加工手段５３１と画像生成手段５３２とを含む。すなわち、入力情報変換手段５３は、第１の実施形態の入力情報変換手段２３と同様に、時系列データを用いて所定期間を単位とする画像を生成する。入力情報変換手段５３は、後述する判定手段５５におけるＣＮＮ利用のために、正規化処理と画像生成処理とを学習装置１２による学習時と同様の方法で行う。

判定手段５５は、予測モデル格納手段１４に保存されている予測モデルを読み込み、画像生成手段５３２が生成した画像群を入力することによって、検知対象の振る舞いの判別推定を行う。言い換えると、判定手段５５は、予め記憶された学習モデルに基づいて画像を判定した判定結果に基づいて検知対象の状態を推定する。判定手段５５は、判別推定が終了して出力される判別結果を判別結果格納手段１６に格納する。

以上が、分析装置１５の構成についての説明である。

以上のデータ分析システム１は、コンピュータ端末やサーバ端末などの装置によって実現される。本実施形態においては、データ分析システム１をサーバによって実現することを想定する。なお、学習装置１２と分析装置１５とを別々のサーバに設けたり、データ格納手段１１、教師信号格納手段１３、予測モデル格納手段１４および判定結果格納手段１７などを外部ストレージの記憶領域に構成したりしてもよい。また、データ格納手段１１、教師信号格納手段１３、予測モデル格納手段１４および判定結果格納手段１７は、同一の記憶装置内の異なる記憶領域に構成してもよいし、別々の記憶装置に分けて構成してもよい。

〔動作〕
次に、本実施形態のデータ分析システム１の動作について図面を参照しながら説明する。本実施形態のデータ分析システム１の動作は、事前学習処理と判別推定処理とを含む。

〔事前学習処理〕
事前学習処理は、学習装置１２によって実行される。学習装置１２は、学習対象とする多次元の時系列データをデータ格納手段１１から読み込み、読み込んだ時系列データに正規化処理を実行して、正規化した時系列データから特定形式の画像（変換画像）を生成する。このとき、学習装置１２は、多次元の時系列データの中から事象の期間単位を基準とする一期間分のデータを一つの変換画像にまとめる。学習装置１２は、生成された複数の変換画像によって構成される変換画像群と、教師信号格納手段１３から取り出した教師信号とを入力とし、ＣＮＮを用いた機械学習を行う。学習装置１２は、学習結果である予測モデルを予測モデル格納手段１４に書き込む。

図７は、データ分析システム１の学習装置１２による事前学習処理の動作を示すフローチャートである。以下の図７のフローチャートを用いた説明においては、学習装置１２を主体として説明する。

図７において、まず、学習装置１２は、データレコーダ１０から時系列データ（以下、センサデータ群）を取得する（ステップＳ１１）。ステップＳ１１の処理は、データ取得手段２１によって実行される。

データレコーダ１０に記録される全てのセンサデータは、データ格納手段１１に保存される。そのため、学習装置１２は、指定した時間帯における全てのセンサデータをデータ格納手段１１から取得する。

次に、学習装置１２は、取得した各センサデータを正規化する（ステップＳ１２）。ステップＳ１２の処理は、データ加工手段２３１によって実行される。

例えば、学習装置１２は、図３の正規化データテーブル１２０のように、取得されたセンサデータのデータ値を０〜２５５の正の整数値に正規化する。学習装置１２は、センサデータのデータ値を０〜２５５の正の整数値に正規化する場合、式１を用いて、各データ値ｓ_ijから正規化後のデータ値ｓ^' _ijを算出する（i、j：自然数）。なお、式１において、iはセンサデータの種類を表す番号であり、jは時系列順のデータ要素番号である。

次に、学習装置１２は、ステップＳ１１で取得したデータについて、事象の期間単位分だけステップＳ１４の処理を繰り返す処理を開始する（ステップＳ１３）。

学習装置１２は、ステップＳ１１で取得したデータについて、事象の期間単位ごとに画像変換する（ステップＳ１４）。ステップＳ１４の処理は、画像生成手段２３２によって実行される。

学習装置１２は、ステップＳ１１で取得した全てのデータについてステップＳ１４の画像変換処理を実行すると、ステップＳ１４の処理を繰り返す処理を終了する（ステップＳ１５）。

次に、学習装置１２は、教師信号格納手段１３から教師信号を取りだし、生成した画像群を用いてＣＮＮによる学習処理を実行して予測モデルを生成する（ステップＳ１６）。ＣＮＮによる学習処理は、学習手段２５によって実行される。

そして、学習装置１２は、ステップＳ１６で生成した予測モデルを予測モデル格納手段１４に保存する（ステップＳ１７）。

以上が、学習装置１２による事前学習処理の動作に関する説明である。

〔判別推定処理〕
判別推定処理は、分析装置１５によって実行される。分析装置１５は、事前学習処理と同様に、予測対象とする多次元の時系列データをデータ格納手段１１から読み込み、読み込んだ時系列データに正規化処理を実行して、正規化した時系列データから特定形式の画像を生成する。このとき、分析装置１５は、対応する予測モデルが存在するセンサデータ群を選択し、選択したセンサデータ群を事前学習処理と同様の形式の変換画像を生成する。学習装置１２は、生成された変換画像または変換画像群に対応する予測モデルを予測モデル格納手段１４から読み込み、生成した変換画像または変換画像群の判別推定を行う。分析装置１５は、判別結果格納手段１６に判別結果を書き込む。

図８は、データ分析システム１の分析装置１５による判別推定処理の動作を示すフローチャートである。図８のフローチャートを用いた説明においては、分析装置１５を主体として説明する。なお、図８のフローチャートにおけるステップＳ２１〜ステップＳ２６の処理は、図７のフローチャートにおけるステップＳ１１〜ステップＳ１６の処理と同じであるため、詳細な説明は省略する。

図８において、まず、分析装置１５は、データレコーダ１０からセンサデータ群を取得する（ステップＳ２１）。ステップＳ２１の処理は、データ取得手段５１によって実行される。

次に、分析装置１５は、取得した各センサデータを正規化する（ステップＳ２２）。ステップＳ２２の処理は、データ加工手段５３１によって実行される。

次に、分析装置１５は、ステップＳ２１で取得したセンサデータについて、事象の期間単位分だけステップＳ２４の処理を繰り返す処理を開始する（ステップＳ２３）。

分析装置１５は、ステップＳ２１で取得したセンサデータについて、事象の期間単位ごとに変換画像を生成する（ステップＳ２４）。ステップＳ２４の処理は、画像生成手段５３２によって実行される。

分析装置１５は、ステップＳ２１で取得した全てのデータについてステップＳ２４の画像変換処理を実行すると、ステップＳ２４の処理を繰り返す処理を終了する（ステップＳ２５）。

次に、分析装置１５は、予測モデル格納手段１４から判別推定に用いる予測モデルを読み込み、ステップＳ２３〜ステップＳ２５の処理で生成された変換画像を入力として、判別推定を行う（ステップＳ２６）。

そして、分析装置１５は、ステップＳ２６における判定結果を判定結果格納手段１７に格納する（ステップＳ２７）。

以上が、分析装置１５による判別推定処理の動作に関する説明である。

以上のように、本実施形態のデータ分析システムは、多次元の時系列データをまとめて一種の入力信号として扱い、機械学習することによって検知対象の振る舞いを予測する。本実施形態のデータ分析システムは、多次元の時系列データの一部だけではなく全てを一度の入力情報として利用することと、入力信号を一つにまとめる際に時系列データの正規化処理と画像化処理とを用いることを特徴とする。

具体的には、本実施形態のデータ分析システムは、センサデータの相互依存を考慮した分析に関して、各センサデータに対する前処理加工を行った後、特定の画像形式に変換を行う。そして、本実施形態のデータ分析システムは、特定の画像形式に変換された結果生成される画像群と教師信号との関係を、教師あり機械学習技術を用いて予測モデルとしてモデル化する。さらに、本実施形態のデータ分析システムは、機械学習された予測モデルを用いて、未知のセンサデータの判別推定を行う。

本実施形態のデータ分析システムは、前処理加工において、主に各センサデータの正規化処理を行う。本実施形態のデータ分析システムは、必要であれば、正規化処理の前に、フーリエ変換等を用いたノイズ除去や特徴量抽出などを行ってもよい。

本実施形態で利用する機械学習モデルの一種である畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）は、静止画や動画の認識に広く使われているモデルである。一般に、ＣＮＮは、時系列データなどの数値データをそのまま入力信号として用いられないという特性を有するため、多次元の時系列データの相互依存を考慮した分析には不向きである。一方、本実施形態のデータ分析システムは、時系列データをＣＮＮの入力信号として適した画像データに変換するため、ＣＮＮを用いて時系列データを分析して機械学習できる。

ＣＮＮは、人間の視覚野を模したニューラルネットワーク構造を持っているため、ＣＮＮの入力信号として適したデータ形式は、人間が一目見て判別できるような画像データである。人間が認識できる何かしらの特徴が画像に含まれていれば、検知対象の状態を人間が判別しやすくなる。

例えば、単純すぎる画像や複雑すぎる画像は、ＣＮＮの教師データ（画像）には適していない。なぜならば、入力データが単純すぎると特徴が極端に単純化されてしまい、入力データが複雑すぎると人間と同様に特徴を掴めず上手く学習ができないためである。例えば、あるピクセルとそれに近接するピクセルの値の変動が激しく、ノイズのような画像となってしまう画像が複雑すぎる画像の一例として挙げられる。

以上のように、本実施形態によれば、多次元のセンサデータの全てを画像変換によって一つの入力データにまとめて一度に分析することが可能になる。そのため、本実施形態によれば、複雑な要因・工程から発生する現象や振る舞いの判別推定が可能となる。その結果、本実施形態によれば、例えば、消耗品の取り換え作業などのように、人間の判断が必要であったり、決められたルールの下で行われていたりする作業を支援することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態に係るデータ分析システムについて図面を参照しながら説明する。本実施形態のデータ分析システムは、入力情報変換手段の構成が第１の実施形態とは異なる。

第１の実施形態では、正規化したセンサデータ群を画像化する際に、グレースケール画像に変換を行った。ＣＮＮでは画像の色合いも特徴値として認識できるため、本実施形態では、変換後のグレースケール画像からカラー画像を生成する例を示す。

図９は、本実施形態に係るデータ分析システムの入力情報変換手段２３−２の構成を示す概念図である。本実施形態の入力情報変換手段２３−２は、第１の実施形態の入力情報変換手段２３にカラー変換手段２３３を追加した構成を有する。なお、入力情報変換手段２３−２のデータ加工手段２３１および画像生成手段２３２は、第１の実施形態と同様であるため、詳細な説明は省略する。

カラー変換手段２３３は、画像生成手段２３２が生成した変換画像をカラー画像に変換する。すなわち、カラー変換手段２３３は、検知対象ごとの素画像に対して異なる色を割り当て、異なる色が割り当てられた複数の素画像を合成してカラー画像を生成する。

例えば、カラー変換手段２３３は、三つのセンサから収集されたセンサデータのそれぞれに赤（Ｒ：Ｒｅｄ）、緑（Ｇ：Ｇｒｅｅｎ）、青（Ｂ：Ｂｌｕｅ）を割り当て、各センサデータのデータ値の大小をそれぞれの色の明度（０〜２５５）に変換する。そして、カラー変換手段２３３は、同一時刻における各センサデータの色を混合した混合色をその時刻におけるデータ値とするカラー画像を生成する。

図１０は、本実施形態のデータ分析システムによって生成される変換画像２４０（左側）とカラー画像２４１（右側）の一例である。なお、図１０においては、三つのセンサから得られるセンサデータｘ、ｙおよびｚの正規化データｘ^'、ｙ^'およびｚ^'から変換画像２４０を生成して、変換画像２４０をカラー画像２４１に変換する例を示す。ただし、図１０においては、カラー画像を濃淡で表現している。

図１０において、まず、画像生成手段２３２は、センサデータｘ、ｙおよびｚの正規化データｘ^'、ｙ^'およびｚ^'を濃淡で表現される変換画像２４０（濃淡画像とも呼ぶ）に変換する。

次に、カラー変換手段２３３は、画像生成手段２３２によって変換された変換画像２４０をカラー画像２４１に変換する。

例えば、カラー変換手段２３３は、明度情報に変換された正規化データｘ^'、ｙ^'およびｚ^'のそれぞれをＲ、ＧおよびＢ（以下、ＲＧＢ値）の明度情報に変換する。そして、カラー変換手段２３３は、センサごとに変換されたＲＧＢ値を時間軸を合わせて合成することによって、一つのカラー画像２４１を生成する。

例えば、正規化データｘ^'、ｙ^'およびｚ^'に対応する明度情報をＸ、ＹおよびＺとすると、カラー変換手段２３３は、各センサデータの正規化データをＲＧＢ値（Ｘ、Ｙ、Ｚ）に変換する。ＲＧＢ値のデータ値を０〜２５５の正の整数で表記する場合、ある時刻におけるＲＧＢ値が（２５５、１０２、０）であれば、その時刻に対応する画素はオレンジ色で表現される。同様に、ある時刻におけるＲＧＢ値が（１２８、０、１２８）であれば、その時刻に対応する画素は紫色で表現される。同様に、ある時刻におけるＲＧＢ値が（２５５、２５５、０）であれば、その時刻に対応する画素は黄色で表現される。

なお、カラー変換手段２３３は、ＲＧＢ値ではなく、ＣＭＹ値やＣＭＹＫ値を用いて、変換画像２４０をカラー画像２４１に変換してもよい（Ｃ：Cyan、Ｍ：Magenta、Ｙ：Yellow、Ｋ：Key Plate）。また、カラー変換手段２３３は、ＲＧＢ値ではなく、ＨＳＶ値やＨＬＳ値を用いて、変換画像２４０をカラー画像２４１に変換してもよい（Ｈ：Hue、Ｓ：Saturation、Ｖ：Value、Ｌ：Luminance）。すなわち、明度情報に変換された各センサデータごとに異なる色を割り当てさえすれば、カラー変換手段２３３が適用する色空間等に限定を加えることはない。

以上のように、本実施形態のデータ分析システムは、センサデータごとに異なる色を割り当てて、事象の期間単位でカラー画像を生成する。そのため、本実施形態のデータ分析システムによれば、事象の期間単位で生成する画像をセンサデータごとに分割せずに表現できる。

（第３の実施形態）
次に、本発明の第３の実施形態に係るデータ分析システムについて図面を参照しながら説明する。本実施形態のデータ分析システムは、入力情報変換手段の構成が第１の実施形態とは異なる。

第１の実施形態では、正規化したセンサデータ群を画像化する際に、濃淡画像に変換を行った。本実施形態では、変換後の濃淡画像からグラフを生成する例を示す。

図１１は、本実施形態に係るデータ分析システムの入力情報変換手段２３−３の構成を示す概念図である。本実施形態の入力情報変換手段２３−３は、第１の実施形態の入力情報変換手段２３にグラフ変換手段２３４を追加した構成を有する。なお、入力情報変換手段２３−３のデータ加工手段２３１および画像生成手段２３２は、第１の実施形態と同様であるため、詳細な説明は省略する。

グラフ変換手段２３４は、画像生成手段２３２が生成した変換画像をグラフに変換し、そのグラフを画像化する。すなわち、グラフ変換手段２３４は、検知対象ごとの素画像の濃淡に基づいて生成したグラフを画像化したグラフ画像を生成する。例えば、グラフ変換手段２３４は、複数のセンサから収集されたセンサデータをデータ値に応じたグラフを生成し、生成したグラフを画像（以下、グラフ画像）に変換する。

図１２は、本実施形態のデータ分析システムによって生成される変換画像３４０（左側）とグラフ画像３４１（右側）の一例である。なお、図１２においては、三つのセンサから得られるセンサデータｘ、ｙおよびｚの正規化データｘ^'、ｙ^'およびｚ^'に基づいて変換画像３４０を生成し、生成した変換画像３４０をグラフ画像３４１に変換する例を示す。

図１２において、まず、画像生成手段２３２は、センサデータｘ、ｙおよびｚの正規化データｘ^'、ｙ^'およびｚ^'を濃淡で表現される変換画像３４０に変換する。

次に、グラフ変換手段２３４は、画像生成手段２３２によって変換された変換画像３４０をグラフ画像３４１に変換する。

例えば、グラフ変換手段２３４は、濃淡で表現される濃淡画像に変換された正規化データｘ^'、ｙ^'およびｚ^'のそれぞれに、明度情報に相当するデータ値を割り当てる。図１２の例では、白のデータ値を上限、黒のデータ値を下限に設定し、灰色には明暗に応じたデータ値を割り当ててグラフ化する。そして、グラフ変換手段２３４は、時間に対してデータ値をプロットしたグラフを画像に変換してグラフ画像３４１を生成する。

以上のように、本実施形態のデータ分析システムは、正規化したセンサデータ群をグラフ化し、そのグラフを画像に変換してＣＮＮで学習する。本実施形態のデータ分析システムによれば、グレースケールで表現される変換画像をデータ量の少ないグラフ画像で表現するため、第１の実施形態と比較してデータ容量やデータ処理速度を低減できる。

（ハードウェア）
ここで、本実施形態に係るデータ分析システムを実現するハードウェア構成の一例について、図１３のコンピュータ９０を一例として挙げて説明する。なお、図１３のコンピュータ９０は、各実施形態のデータ分析システムを実現するための構成例であって、本発明の範囲を限定するものではない。また、本実施形態に係るデータ分析システムは、図１３に図示した構成の全てを備えていなくてもよいし、図１３に図示していない構成が追加されていてもよい。

図１３のように、コンピュータ９０は、プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６を備える。図１３においては、インターフェースをＩ／Ｆ（Interface）と略して表記している。プロセッサ９１、主記憶装置９２、補助記憶装置９３、入出力インターフェース９５および通信インターフェース９６は、バス９９を介して互いにデータ通信可能に接続される。また、プロセッサ９１、主記憶装置９２、補助記憶装置９３および入出力インターフェース９５は、通信インターフェース９６を介して、インターネットやイントラネットなどのネットワークに接続される。

プロセッサ９１は、補助記憶装置９３等に格納されたプログラムを主記憶装置９２に展開し、展開されたプログラムを実行する。本発明の各実施形態においては、コンピュータ９０にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ９１は、本実施形態に係るデータ分析システムによる演算処理や制御処理を実行する。

主記憶装置９２は、プログラムが展開される領域を有する。主記憶装置９２は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリとすればよい。また、ＭＲＡＭ（Magnetoresistive Random Access Memory）などの不揮発性メモリを主記憶装置９２として構成・追加してもよい。

補助記憶装置９３は、種々のデータを記憶する。補助記憶装置９３は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置９２に記憶させる構成とし、補助記憶装置９３を省略してもよい。

入出力インターフェース９５は、コンピュータ９０と周辺機器との接続規格に基づいて、コンピュータ９０と周辺機器とを接続する。通信インターフェース９６は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークに接続するためのインターフェースである。入出力インターフェース９５および通信インターフェース９６は、外部機器と接続するインターフェースとして共通化してもよい。

コンピュータ９０には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続できるように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ９１と入力機器との間のデータ通信は、入出力インターフェース９５に仲介させる。

また、コンピュータ９０には、変換画像などの情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ９０には、表示機器を制御するための表示制御装置（図示しない）が備えられていることが好ましい。表示機器は、入出力インターフェース９５を介してコンピュータ９０に接続する。

通信インターフェース９６は、ネットワークを通じて、外部のシステムや装置に接続される。通信インターフェース９６に無線通信する機能を持たせ、種々のデータを無線通信で送受信するように構成してもよい。

また、コンピュータ９０には、必要に応じて、リーダライタを備え付けてもよい。リーダライタは、バス９９に接続される。リーダライタは、プロセッサ９１と図示しない記録媒体（プログラム記録媒体）との間で、記録媒体からのデータ・プログラムの読み出し、コンピュータ９０の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えばＵＳＢ（Universal Serial Bus）メモリやＳＤ（Secure Digital）カードなどの半導体記録媒体などで実現できる。また、記録媒体は、フレキシブルディスクなどの磁気記録媒体、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光学記録媒体やその他の記録媒体によっても実現できる。

以上が、本発明の各実施形態に係るデータ分析システムを可能とするためのハードウェア構成の一例である。なお、図１３のコンピュータ９０は、本発明の各実施形態に係るデータ分析システムを可能とするためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。

本発明の各実施形態に係るデータ分析システムの構成要素のいずれかは、図１３のコンピュータ９０によって実現される。例えば、本発明の各実施形態に係るデータ分析システムの構成要素のいずれかは、図１３のコンピュータ９０において動作するソフトウェアによって実現できる。また、本発明の各実施形態に係るデータ分析システムの構成要素のいずれかは、各構成要素の機能を発揮する回路によって実現できる。

また、本発明の各実施形態に係るデータ分析システムに関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、本発明の各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

（関連技術）
ここで、本発明の各実施形態に係るデータ分析システムの関連技術を挙げ、本発明の各実施形態のデータ分析システムとの相違点について説明する。

特許文献１（国際公開第２０１６／０２４４２４号）の情報処理装置は、多次元のセンサデータの変化を取得し、ＦＦＴ（Fast Fourier Transform）などで特徴を抽出する。そして、特許文献１の装置は、抽出した特徴に関して、機械学習によって生成した識別関数を利用してユーザの認証を行う。特許文献１の装置は、多次元の時系列データを加工して機械学習する点は本発明の各実施形態に係るデータ分析システムと類似している。しかし、特許文献１の装置は、多次元のデータを画像形式に変換していない点で本発明の各実施形態に係るデータ分析システムとは異なる。

特許文献２（特許第３０１９２３６号公報）の事故原因診断方法では、波形データを取得してＦＦＴで特徴を抽出する。そして、特許文献２の方法では、抽出した特徴を用いてヒストグラムを生成し、可読性に優れた決定木学習をすることによって事故原因を診断する。特許文献２の方法は、時系列データを加工して機械学習する点は本発明の各実施形態に係るデータ分析システムと類似している。しかし、特許文献２の方法は、分析対象が多次元の時系列データでない点と、データを画像形式に変換しない点とで、本発明の各実施形態に係るデータ分析システムとは異なる。

特許文献３（特許第５１６８６２０号公報）のデータ種類検出装置は、コンピュータの入出力データの内容から素性を抽出する。そして、特許文献３の装置は、機械学習で機密性の判定を行う。特許文献３の装置は、時系列データを加工して、機械学習する点は本発明の各実施形態に係るデータ分析システムと類似している。しかし、特許文献３の装置は、分析対象が多次元の時系列データでない点と、データを画像形式に変換しない点とで、本発明の各実施形態に係るデータ分析システムとは異なる。

以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

本発明の各実施形態に係るデータ分析システムは、種々のセンサから収集したセンサデータを分析する用途に利用できる。例えば、本発明の各実施形態に係るデータ分析システムは、工作機械製造や部品製造などの生産現場において切削具などの機器の消耗度を判定する用途に利用できる。

１ データ分析システム
１０ データレコーダ
１１ データ格納手段
１２ 学習装置
１３ 教師信号格納手段
１４ 予測モデル格納手段
１５ 分析装置
１６ 判別結果格納手段
２１ データ取得手段
２３ 入力情報変換手段
２５ 学習手段
５１ データ取得手段
５３ 入力情報変換手段
５５ 判定手段
２３１ データ加工手段
２３２ 画像生成手段
５３１ データ加工手段
５３２ 画像生成手段

Claims (10)

1. 複数の検知対象に関する時系列データを取得するデータ取得手段と、
   所定期間を単位として前記時系列データを画像に変換する入力情報変換手段と、
   予め記憶された学習モデルに基づいて前記画像を判定した判定結果に基づいて前記検知対象の状態を推定する判定手段とを有するデータ分析システム。
2. 前記入力情報変換手段は、
   前記データ取得手段によって取得された前記時系列データを正規化するデータ加工手段と、
   前記データ加工手段によって正規化された前記時系列データに基づいて前記画像を生成する画像生成手段とを含む請求項１に記載のデータ分析システム。
3. 前記画像生成手段は、
   前記データ加工手段によって正規化された前記時系列データのデータ値に基づいて、前記所定期間を単位として前記検知対象ごとに生成した素画像を組み合わせて前記画像を生成する請求項２に記載のデータ分析システム。
4. 前記画像生成手段は、
   前記データ加工手段によって正規化された前記時系列データのデータ値に基づいた明度情報に基づいて前記素画像を生成する請求項３に記載のデータ分析システム。
5. 前記入力情報変換手段は、
   前記検知対象ごとの前記素画像に対して異なる色を割り当て、異なる色が割り当てられた複数の前記素画像を合成してカラー画像を生成するカラー変換手段を有する請求項４に記載のデータ分析システム。
6. 前記入力情報変換手段は、
   前記検知対象ごとの前記素画像の濃淡に基づいて生成したグラフを画像化したグラフ画像を生成するグラフ変換手段を有する請求項４に記載のデータ分析システム。
7. 前記時系列データが格納される第１の記憶領域と、
   前記所定期間を単位とする前記時系列データと教師信号との間の関係性が格納される第２の記憶領域と、
   前記データ取得手段に相当する第１のデータ取得手段と、前記入力情報変換手段に相当する第１の入力情報変換手段と、前記第１の入力情報変換手段によって生成された複数の前記画像と、前記所定期間に対応する前記教師信号とを用いて予測モデルを機械学習する学習手段とを有する学習装置と、
   前記学習手段の学習結果である前記予測モデルが格納される第３の記憶領域と、
   前記データ取得手段に相当する第２のデータ取得手段と、前記入力情報変換手段に相当する第２の入力情報変換手段と、前記判定手段とを有する分析装置と、
   前記判定手段による判別結果が格納される第４の記憶領域とを備える請求項１乃至６のいずれか一項に記載のデータ分析システム。
8. 複数の前記検知対象から出力されるデータを前記時系列データとして収集する記録計を備える請求項１乃至７のいずれか一項に記載のデータ分析システム。
9. データレコーダが、
   センサから出力された複数の検知対象に関する時系列データを取得し、
   コンピュータが、
   前記データレコーダによって取得された前記時系列データを、所定期間を単位として画像に変換し、
   予め記憶された学習モデルに基づいて前記画像を判定した判定結果に基づいて前記検知対象の状態を推定するデータ分析方法。
10. 複数の検知対象に関する時系列データを取得する処理と、
    所定期間を単位として前記時系列データを画像に変換する処理と、
    予め記憶された学習モデルに基づいて前記画像を判定した判定結果に基づいて前記検知対象の状態を推定する処理とをコンピュータに実行させるプログラム。

Images