JP7387118B1 - 情報処理システム、情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理システム、情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7387118B1 JP7387118B1 JP2023032819A JP2023032819A JP7387118B1 JP 7387118 B1 JP7387118 B1 JP 7387118B1 JP 2023032819 A JP2023032819 A JP 2023032819A JP 2023032819 A JP2023032819 A JP 2023032819A JP 7387118 B1 JP7387118 B1 JP 7387118B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- feature amount
- feature
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000004364 calculation method Methods 0.000 claims abstract description 155
- 230000005856 abnormality Effects 0.000 claims abstract description 114
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 238000013528 artificial neural network Methods 0.000 claims abstract description 55
- 238000010801 machine learning Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims description 25
- 230000033001 locomotion Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 abstract description 27
- 230000035945 sensitivity Effects 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
【課題】 動作異常をより高感度に検知する情報処理装置を提供する。
【解決手段】 情報処理装置３は、定められた複数の動作パターンの時系列データを入力データとして機械学習する学習部と、時系列データを取得するデータ取得部と、前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部とを有する。
【選択図】図５
【解決手段】 情報処理装置３は、定められた複数の動作パターンの時系列データを入力データとして機械学習する学習部と、時系列データを取得するデータ取得部と、前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部とを有する。
【選択図】図５
Description
本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関するものである。
例えば、特許文献１では、時系列入力データに対応するモデルを学習するための学習装置であって、前記時系列入力データを取得する取得部と、前記時系列入力データにおける一の時点の入力データに対応する複数の入力値を前記モデルが有する複数のノードに供給する供給部と、前記時系列入力データにおける前記一の時点より前の入力データ系列と、前記モデルにおける前記入力データ系列中の入力データに対応する複数の入力値のそれぞれと前記複数のノードのそれぞれとの間の重みパラメータとに基づいて、前記入力データ系列が発生した条件下における前記一の時点の各入力値の条件付確率を算出する算出部と、前記重みパラメータを調整して、前記入力データ系列が発生した条件の下で前記一の時点の入力データが発生する条件付確率をより高める学習処理部と、を備える学習装置が開示されている。
また、特許文献２では、ニューラルネットワークに、時系列データを構成する一のデータである第１データを入力する振り分け部と、前記ニューラルネットワークに前記第１データから第１時間後のデータを予測させた第１予測データと、前記時系列データを構成する第２データであって前記第１データから前記第１時間後の第２データとを比較する比較処理部と、前記比較処理部が比較した結果、前記第２データと前記第１予測データとの誤差が閾値より大きい場合に、警告を示す情報を出力する出力部とを備える、情報処理装置が開示されている。
さらに、非特許文献１では、教師なしで映像予測を学習することができる人工のニューラルネットワークであるＰｒｅｄＮｅｔ（ＤｅｅｐＰｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ Ｎｅｔｗｏｒｋ）が提案され、学習済みのＰｒｅｄＮｅｔは、取得した画像の次時刻の画像の予測を行うことができる。
本発明は、動作異常をより高感度に検知する情報処理装置を提供することを目的とする。
本発明に係る情報処理装置は、定められた複数の動作パターンの時系列データを入力データとして機械学習する学習部と、時系列データを取得するデータ取得部と、前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部とを有する。
好適には、前記データ取得部は、複数の時点における複数の撮像画像を時系列データとして取得し、前記特徴量算出部は、前記データ取得部により取得された複数の撮像画像の特徴量を算出し、前記予測データ生成部は、前記データ取得部により取得された撮像画像と、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された撮像画像の次の時点の撮像画像を生成し、前記予測特徴量算出部は、前記予測データ生成部により生成された予測画像の特徴量を算出し、前記特徴量差分算出部は、前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点の撮像画像の特徴量との差分を算出する。
好適には、前記特徴量算出部により算出された特徴量に、特徴量を算出した時系列データの時刻情報を関連付ける時刻関連付け部をさらに有し、前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータの特徴量との差分を算出し、前記異常検知部は、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する。
好適には、前記ニューラルネットワークは、畳み込み層とＬＳＴＭ（Ｌｏｎｇ―Ｓｈｏｒｔ―Ｔｅｒｍ―Ｍｅｍｏｒｙ）層とにより構成されるモジュール構造がスタックされた階層構造を有し、前記階層構造は、前記データ取得部により取得された撮像画像の特徴量の空間方向サイズが、カーネルサイズ以下となるまでスタックされ、前記学習部は、前記階層構造を有する前記ニューラルネットワークに入力された、定められた複数の動作パターンの時系列データの特徴量を入力データとして機械学習する。
好適には、前記定められた複数の動作パターンは、各動作パターン間において、少なくとも一部は一致し、一部は異なる動作である。
好適には、前記データ取得部により取得された連続するデータ間の変化量を算出するデータ間変化量算出部と、前記データ間変化量算出部により算出された変化量が既定値以上のデータを選択するデータ選択部とをさらに有し、前記特徴量算出部は、前記データ選択部により選択された選択データの特徴量を算出し、前記学習部は、前記特徴量算出部により算出された選択データの特徴量を入力データとして機械学習する。
好適には、前記予測データ生成部により生成された次の時点の予測データと、前記データ取得部により取得された次の時点のデータとの差分を算出するデータ差分算出部をさらに有し、前記学習部は、前記特徴量差分算出部により算出された特徴量が小さくなるように、又は、前記データ差分算出部により算出されたデータの差分と、前記特徴量差分算出部により算出された特徴量の差分とが小さくなるように機械学習する。
本発明に係る情報処理システムは、異常を検知する複数の情報処理装置と、前記複数の情報処理装置から検知結果を受け取る管理装置とを有し、前記管理装置は、複数の時点における複数のデータを、前記複数の情報処理装置に振り分けて入力する振り分け部を有し、前記情報処理装置は、定められた複数の動作パターンの時系列データを入力データとして機械学習する学習部と、時系列データを取得するデータ取得部と、前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部とを有し、前記複数の情報処理装置の各前記データ取得部は、前記管理装置の振り分け部により振り分けられたデータを取得し、前記複数の情報処理装置の各前記異常検知部は、各前記データ取得部により取得したデータの特徴量と各前記予測データ生成部により生成された予測データの特徴量との差分に基づいて異常を検知する。
好適には、前記情報処理装置は、前記特徴量算出部により算出された特徴量に、特徴量を算出したデータを取得した時刻情報を関連付ける時刻関連付け部をさらに有し、前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータとの特徴量の差分を算出し、前記異常検知部は、前記差分算出部により算出された特徴量の差分に基づいて、異常を検知し、前記管理装置の振り分け部は、前記複数の情報処理装置のうち、前記異常検知部による異常検知の結果を受け取った時刻の早い順にデータを入力する。
好適には、前記情報処理装置は、前記特徴量算出部により算出された特徴量に、特徴量を算出したデータを取得した時刻情報を関連付ける時刻関連付け部をさらに有し、前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータとの特徴量の差分を算出し、前記異常検知部は、前記差分算出部により算出された特徴量の差分に基づいて、異常を検知し、前記管理装置の振り分け部は、前記複数の情報処理装置のうち、前記データ取得部によりデータを取得してから前記異常検知部による異常検知までの処理が早い順にデータを入力する。
本発明に係る情報処理方法は、定められた複数の動作パターンの時系列データの特徴量を入力データとして機械学習する学習ステップと、時系列データを取得するデータ取得ステップと、前記データ取得ステップにおいて取得された時系列データの特徴量を算出する特徴量算出ステップと、前記データ取得ステップにおいて取得された時系列データと、前記学習ステップにより機械学習されたニューラルネットワークとに基づいて、前記データ取得部において取得された時系列データの次の時点のデータを生成する予測データ生成ステップと、前記予測データ生成ステップにおいて生成された予測データの特徴量を算出する予測特徴量算出ステップと、前記予測特徴量算出ステップにおいて算出された特徴量と、前記データ取得ステップにおいて取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出ステップと、前記特徴量差分算出ステップにおいて算出された特徴量の差分に基づいて、異常を検知する異常検知ステップとを有する。
本発明に係るプログラムは、定められた複数の動作パターンの時系列データの特徴量を入力データとして機械学習する学習ステップと、時系列データを取得するデータ取得ステップと、前記データ取得ステップにおいて取得された時系列データの特徴量を算出する特徴量算出ステップと、前記データ取得ステップにおいて取得された時系列データと、前記学習ステップにより機械学習されたニューラルネットワークとに基づいて、前記データ取得部において取得された時系列データの次の時点のデータを生成する予測データ生成ステップと、前記予測データ生成ステップにおいて生成された予測データの特徴量を算出する予測特徴量算出ステップと、前記予測特徴量算出ステップにおいて算出された特徴量と、前記データ取得ステップにおいて取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出ステップと、前記特徴量差分算出ステップにおいて算出された特徴量の差分に基づいて、異常を検知する異常検知ステップとをコンピュータに実行させる。
本発明によれば、動作異常をより高感度に検知する。
図１（ａ）は、従来技術による異常検知を説明する図であり、（ｂ）は、情報処理装置３による異常検知を説明する図である。
図２は、複数のパターンを正常動作とする装置４の動作例である。
従来技術として、装置が正常動作時の動画像を入力し、次の撮像画像を予測生成するＡＩにおいて、実際の画像と予測生成された画像との差を異常スコアとして判定する仕組みがある。しかし、複数パターンを正常動作とする装置４において、この仕組みを適用した場合、正常動作であるにも関わらず、異常と検知してしまう場合がある。
図２は、複数のパターンを正常動作とする装置４の動作例である。
従来技術として、装置が正常動作時の動画像を入力し、次の撮像画像を予測生成するＡＩにおいて、実際の画像と予測生成された画像との差を異常スコアとして判定する仕組みがある。しかし、複数パターンを正常動作とする装置４において、この仕組みを適用した場合、正常動作であるにも関わらず、異常と検知してしまう場合がある。
具体的には、図２に例示するように、荷物を搬送する際に、位置Ｂにて重量を計測し、これが規定未満であれば位置Ａに置き、規定以上であれば位置Ｃに置く、という動作行う装置がある。この装置を装置４とする。重量計測結果は画像には表れないので、位置Ｂの次に位置Ａへ置くか、位置Ｃへ置くかはランダム動作のように見えるが、どちらも正常動作である。
このように、複数の正常パターン動作が存在する装置４の場合、従来技術のような「次ステップの画像を生成する」手法では、次のステップの画像をうまく生成することができず、例えば、位置Ａと位置Ｃが重なり合った画像を予測生成するため、正しい動作にも関わらず実際の次ステップの画像とは大きな差を生じてしまうことが課題としてあった。
このように、複数の正常パターン動作が存在する装置４の場合、従来技術のような「次ステップの画像を生成する」手法では、次のステップの画像をうまく生成することができず、例えば、位置Ａと位置Ｃが重なり合った画像を予測生成するため、正しい動作にも関わらず実際の次ステップの画像とは大きな差を生じてしまうことが課題としてあった。
そこで、情報処理装置３は、複数の正常パターン動作をとる装置であっても、正常な動作であれば低い異常スコアとすることで、しきい値を低くして、高速に異常を検知することを実現するものである。
具体的には、図１（ｂ）に例示するように、本発明における情報処理装置３は、画像データの複数の特徴の差分を用いて異常を検知する。具体的には、情報処理装置３は、実際の画像の特徴量と、予測生成された画像の特徴量との差を異常スコアとして算出する。特徴量の比較では、複数の正常パターンをとる装置であっても、正常な動作であれば異常スコアは小さくなり、異常として検知することはない。情報処理装置３は、類似度の高い複数の正常動作を機械学習し、特徴量の差を小さく抑えられる。ここで、特徴量とは潜在変数をいう。
具体的には、図１（ｂ）に例示するように、本発明における情報処理装置３は、画像データの複数の特徴の差分を用いて異常を検知する。具体的には、情報処理装置３は、実際の画像の特徴量と、予測生成された画像の特徴量との差を異常スコアとして算出する。特徴量の比較では、複数の正常パターンをとる装置であっても、正常な動作であれば異常スコアは小さくなり、異常として検知することはない。情報処理装置３は、類似度の高い複数の正常動作を機械学習し、特徴量の差を小さく抑えられる。ここで、特徴量とは潜在変数をいう。
図３は、異常検知システム１を例示する図である。情報処理装置３は、ニューラルネットワークを用いたコンピュータ端末である。情報処理装置３は、装置４のデータを解析することによって、装置４の異常を検知する。データには、各アームの座標データ、及び撮像画像データが含まれる。装置４は、本実施例においては、荷物の重さに応じて決まった場所に置く動作を行う装置として説明するが、これに限定されるものではなく、例えば、製造ラインでもよい。異常検知システム１は、情報処理装置３と、装置４と、カメラ５とを備える。カメラ５は、情報処理装置３と電気的に接続されている。カメラ５は、イメージセンサを備えている。カメラ５は、イメージセンサを用いて装置４を撮像することにより得られる画像データを、情報処理装置３へ出力する。
図４は、情報処理装置３のハードウェア構成を例示する図である。
図４に例示するように、情報処理装置３は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び、入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図５の異常検知プログラム１０）やその他のデータファイル（例えば、図５の画像データ格納ＤＢ６００）を格納する。
ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースである。
表示装置２０８は、各種情報を表す画像を表示する表示装置であり、例えば、液晶ディスプレイである。
入力装置２１０は、ユーザの操作入力を受け付ける入力装置であり、例えば、キーボード及びマウスである。
図４に例示するように、情報処理装置３は、ＣＰＵ２００、メモリ２０２、ＨＤＤ２０４、ネットワークインタフェース２０６（ネットワークＩＦ２０６）、表示装置２０８、及び、入力装置２１０を有し、これらの構成はバス２１２を介して互いに接続している。
ＣＰＵ２００は、例えば、中央演算装置である。
メモリ２０２は、例えば、揮発性メモリであり、主記憶装置として機能する。
ＨＤＤ２０４は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム（例えば、図５の異常検知プログラム１０）やその他のデータファイル（例えば、図５の画像データ格納ＤＢ６００）を格納する。
ネットワークＩＦ２０６は、有線又は無線で通信するためのインタフェースである。
表示装置２０８は、各種情報を表す画像を表示する表示装置であり、例えば、液晶ディスプレイである。
入力装置２１０は、ユーザの操作入力を受け付ける入力装置であり、例えば、キーボード及びマウスである。
図５に示すように、情報処理装置３には、異常検知プログラム１０がインストールされると共に、画像データ格納データベース６００（画像データ格納ＤＢ６００）が構成される。
異常検知プログラム１０は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、または、インターネット上のプログラム提供サーバに格納されており、ネットワークからダウンロードされて情報処理装置３にインストールされる。
異常検知プログラム１０は、データ取得部１００、学習部１０２、異常検知部１０４、データ間変化量算出部１０６、及びデータ選択部１０８を有する。学習部１０２は、特徴量算出部１０２０、予測データ生成部１０２２、予測特徴量算出部１０２４、特徴量差分算出部１０２６、時刻関連付け部１０２８、及びデータ差分算出部１０３０を含む。
なお、異常検知プログラム１０の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
異常検知プログラム１０は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、または、インターネット上のプログラム提供サーバに格納されており、ネットワークからダウンロードされて情報処理装置３にインストールされる。
異常検知プログラム１０は、データ取得部１００、学習部１０２、異常検知部１０４、データ間変化量算出部１０６、及びデータ選択部１０８を有する。学習部１０２は、特徴量算出部１０２０、予測データ生成部１０２２、予測特徴量算出部１０２４、特徴量差分算出部１０２６、時刻関連付け部１０２８、及びデータ差分算出部１０３０を含む。
なお、異常検知プログラム１０の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
異常検知プログラム１０において、データ取得部１００は、時系列データを取得する。具体的には、データ取得部１００は、複数の時点における複数の撮像画像を取得する。より具体的には、データ取得部１００は、カメラ５により時間の経過と共に既定の間隔で複数回撮影された画像データを取得する。データ取得部１００は、取得した画像データを学習部１０２へ入力する。本例において、学習部１０２へ入力する過去の撮像画像数（フレーム数）は、約２～２０であるが、これに限定されず、例えば、１００、又は、それ以上でもよい。データ取得部１００は、カメラ５により、３３．３ｍｓｅｃ間隔（３０ｆｐｓ）以上の速度で撮像された画像を取得する。データ取得部１００は、取得した画像データを画像データ格納ＤＢ６００へ格納する。
学習部１０２は、定められた複数の動作パターンの時系列データを入力データとして機械学習する。また、学習部１０２は、時刻関連付け部１０２８により時刻情報を関連付けられた特徴量を入力データとして機械学習する。さらに、学習部１０２は、連続するデータ間の変化量の大きなデータの特徴量を入力データとして機械学習する。具体的には、学習部１０２は、連続する撮像画像間の動きの大きな画像の特徴量を入力データとして機械学習する。複数の動作パターンは、動作パターン間において、少なくとも一部は一致し、一部は異なる動作を有する。
例えば、装置４の複数の正常動作パターンを比較した場合に、開始動作、終了動作、又は、開始動作と終了動作とは一致し、途中の動作は異なる。
具体的には、学習部１０２は、データ取得部１００により取得された撮像画像の特徴量を入力データとして機械学習し、ニューラルネットワーク３３を構築するニューラルネットワーク３３は、ＡＥ（ＡｕｔｏＥｎｃｏｄｅｒ）と畳み込み層とＬＳＴＭ層とを有する。
学習部１０２は、特徴量の差分、又は、特徴量の差分とデータの差分とが小さくなるように学習する。具体的には、学習部１０２は、特徴量の差分、又は、特徴量の差分と画像の差分とが小さくなるように学習する。特徴量の差分とは、取得した撮像画像に基づいて生成された次の時点の予測画像の特徴量と、次の時点の撮像画像の特徴量との差分であり、画像の差分とは、取得した撮像画像に基づいて予測された次の時点の予測画像と、次の時点の撮像画像との差分である。より具体的には、学習部１０２は、データ差分算出部１０３０（後述）により算出されたデータの差分量と特徴量差分算出部１０２６により算出された特徴量の差分とが小さくなるように学習する。さらに具体的には、学習部１０２は、データ差分算出部１０３０（後述）により算出された画像の差分量と特徴量差分算出部１０２６により算出された特徴量の差分とが小さくなるように学習する。
例えば、装置４の複数の正常動作パターンを比較した場合に、開始動作、終了動作、又は、開始動作と終了動作とは一致し、途中の動作は異なる。
具体的には、学習部１０２は、データ取得部１００により取得された撮像画像の特徴量を入力データとして機械学習し、ニューラルネットワーク３３を構築するニューラルネットワーク３３は、ＡＥ（ＡｕｔｏＥｎｃｏｄｅｒ）と畳み込み層とＬＳＴＭ層とを有する。
学習部１０２は、特徴量の差分、又は、特徴量の差分とデータの差分とが小さくなるように学習する。具体的には、学習部１０２は、特徴量の差分、又は、特徴量の差分と画像の差分とが小さくなるように学習する。特徴量の差分とは、取得した撮像画像に基づいて生成された次の時点の予測画像の特徴量と、次の時点の撮像画像の特徴量との差分であり、画像の差分とは、取得した撮像画像に基づいて予測された次の時点の予測画像と、次の時点の撮像画像との差分である。より具体的には、学習部１０２は、データ差分算出部１０３０（後述）により算出されたデータの差分量と特徴量差分算出部１０２６により算出された特徴量の差分とが小さくなるように学習する。さらに具体的には、学習部１０２は、データ差分算出部１０３０（後述）により算出された画像の差分量と特徴量差分算出部１０２６により算出された特徴量の差分とが小さくなるように学習する。
特徴量算出部１０２０は、データ取得部１００により取得された時系列データの特徴量を算出する。具体的には、特徴量算出部１０２０は、データ取得部１００により取得された複数の撮像画像の特徴量を算出する。特徴量算出部１０２０は、画像を見分ける上で重要な画像中の注目すべき部分を特徴量として算出する。特徴量は、潜在変数である。
また、特徴量算出部１０２０は、データ選択部１０８（後述）により選択された選択データの特徴量を算出する。具体的には、特徴量算出部１０２０は、データ選択部１０８（後述）により選択された選択画像の特徴量を算出する。
予測データ生成部１０２２は、データ取得部１００により取得されたデータと、学習部１０２により機械学習されたニューラルネットワーク３３とに基づいて、データ取得部１００により取得されたデータの次の時点の、又は任意の時刻のデータを予測し、生成する。具体的には、予測データ生成部１０２２は、データ取得部１００により取得された撮像画像と、学習部１０２により機械学習されたニューラルネットワーク３３とに基づいて、データ取得部１００により取得された撮像画像の次の時点の、又は任意の時刻の撮像画像を予測し、生成する。
予測特徴量算出部１０２４は、予測データ生成部１０２２により生成された予測データの特徴量を算出する。具体的には、予測特徴量算出部１０２４は、予測データ生成部１０２２により生成された予測画像の特徴量を算出する。
また、特徴量算出部１０２０は、データ選択部１０８（後述）により選択された選択データの特徴量を算出する。具体的には、特徴量算出部１０２０は、データ選択部１０８（後述）により選択された選択画像の特徴量を算出する。
予測データ生成部１０２２は、データ取得部１００により取得されたデータと、学習部１０２により機械学習されたニューラルネットワーク３３とに基づいて、データ取得部１００により取得されたデータの次の時点の、又は任意の時刻のデータを予測し、生成する。具体的には、予測データ生成部１０２２は、データ取得部１００により取得された撮像画像と、学習部１０２により機械学習されたニューラルネットワーク３３とに基づいて、データ取得部１００により取得された撮像画像の次の時点の、又は任意の時刻の撮像画像を予測し、生成する。
予測特徴量算出部１０２４は、予測データ生成部１０２２により生成された予測データの特徴量を算出する。具体的には、予測特徴量算出部１０２４は、予測データ生成部１０２２により生成された予測画像の特徴量を算出する。
特徴量差分算出部１０２６は、予測特徴量算出部１０２４により算出された特徴量と、データ取得部１００により取得された次の時点のデータの特徴量との差分を算出する。また、特徴量差分算出部１０２６は、予測特徴量算出部１０２４により生成された任意の時刻の予測特徴量と、任意の時刻に取得されたデータとの特徴量の差分を算出する。
具体的には、特徴量差分算出部１０２６は、予測特徴量算出部１０２４により算出された特徴量と、データ取得部１００により取得された次の時点の撮像画像の特徴量との差分を算出する。また、特徴量差分算出部１０２６は、予測特徴量算出部１０２４により生成された任意の時刻の予測特徴量と、任意の時刻に撮像された撮像画像との特徴量の差分を算出する。
異常検知部１０４は、特徴量差分算出部１０２６により算出された特徴量の差分に基づいて、異常を検知する。具体的には、異常検知部１０４は、特徴量差分算出部１０２６により算出された特徴量の差分を異常スコアとし、異常スコアが既定値以上である場合に装置４に異常があると判定する。
具体的には、特徴量差分算出部１０２６は、予測特徴量算出部１０２４により算出された特徴量と、データ取得部１００により取得された次の時点の撮像画像の特徴量との差分を算出する。また、特徴量差分算出部１０２６は、予測特徴量算出部１０２４により生成された任意の時刻の予測特徴量と、任意の時刻に撮像された撮像画像との特徴量の差分を算出する。
異常検知部１０４は、特徴量差分算出部１０２６により算出された特徴量の差分に基づいて、異常を検知する。具体的には、異常検知部１０４は、特徴量差分算出部１０２６により算出された特徴量の差分を異常スコアとし、異常スコアが既定値以上である場合に装置４に異常があると判定する。
時刻関連付け部１０２８は、特徴量算出部１０２０により算出された特徴量に、特徴量を算出したデータを取得した時刻情報を関連付ける。具体的には、時刻関連付け部１０２８は、特徴量算出部１０２０により算出された特徴量に、特徴量を算出した撮像画像の撮像した時刻情報を関連付ける。
データ差分算出部１０３０は、予測データ生成部１０２２により生成された次の時点の予測データと、データ取得部１００により取得された次の時点のデータとの差分を算出する。具体的には、データ差分算出部１０３０は、予測データ生成部１０２２により生成された次の時点の予測画像と、データ取得部１００により取得された次の時点の撮像画像との差分を算出する。
データ間変化量算出部１０６は、データ取得部１００により取得された連続するデータ間の変化量を算出する。具体的には、データ間変化量算出部１０６は、データ取得部１００により取得された連続する撮像画像間の変化量を算出する。より具体的には、データ間変化量算出部１０６は、時系列で撮像された連続する画像データ間の動きの大きさを算出する。また、データ間変化量算出部１０６は、オプティカルフローを算出してもよい。
データ選択部１０８は、データ間変化量算出部１０６により算出された変化量が既定値以上のデータを選択する。具体的には、データ選択部１０８は、データ間変化量算出部１０６により算出された変化量が既定値以上の画像データを選択する。すなわち、データ選択部１０８は、画像データ間の動きが大きい画像データを選択する。また、画像変化量算出部１０６がオプティカルフローを算出する場合は、データ選択部１０８は、オプティカルフローに基づいて、入力する画像データを選択する。
データ差分算出部１０３０は、予測データ生成部１０２２により生成された次の時点の予測データと、データ取得部１００により取得された次の時点のデータとの差分を算出する。具体的には、データ差分算出部１０３０は、予測データ生成部１０２２により生成された次の時点の予測画像と、データ取得部１００により取得された次の時点の撮像画像との差分を算出する。
データ間変化量算出部１０６は、データ取得部１００により取得された連続するデータ間の変化量を算出する。具体的には、データ間変化量算出部１０６は、データ取得部１００により取得された連続する撮像画像間の変化量を算出する。より具体的には、データ間変化量算出部１０６は、時系列で撮像された連続する画像データ間の動きの大きさを算出する。また、データ間変化量算出部１０６は、オプティカルフローを算出してもよい。
データ選択部１０８は、データ間変化量算出部１０６により算出された変化量が既定値以上のデータを選択する。具体的には、データ選択部１０８は、データ間変化量算出部１０６により算出された変化量が既定値以上の画像データを選択する。すなわち、データ選択部１０８は、画像データ間の動きが大きい画像データを選択する。また、画像変化量算出部１０６がオプティカルフローを算出する場合は、データ選択部１０８は、オプティカルフローに基づいて、入力する画像データを選択する。
図１（ｂ）を用いて学習部１０２による機械学習を説明する。
図１（ｂ）に例示するように、ｘは、データ取得部１００により取得された入力画像データを表し、ｘｈａｔは、予測データ生成部１０２２により生成された出力画像データを表す。画像データ番号は、撮像された画像データに番号を付したものであり、時系列順である。学習部１０２は、入力画像の潜在変数Ｚ１に基づいて、潜在変数Ｚ２を予測し、潜在変数Ｚ２と、次に入力された画像データの潜在変数Ｚ１との差分が小さくなるように機械学習していく。画像データ４として撮像される画像にはパターン１とパターン２とが確率的に存在するが、学習部１０２は、画像データ３に基づいて生成された潜在変数Ｚ２と、画像データ４のパターン１のＺ１ｃとの潜在変数の差分が小さくなるように、そして、潜在変数Ｚ２と画像データ４のパターン２のＺ１Ａとの潜在変数の差分が小さくなるように学習する。これにより、情報処理装置３は、画像に差分はあっても、潜在変数の差分は小さいので、異常を検知することはなく、正常パターンとして認識することができる。
図１（ｂ）に例示するように、ｘは、データ取得部１００により取得された入力画像データを表し、ｘｈａｔは、予測データ生成部１０２２により生成された出力画像データを表す。画像データ番号は、撮像された画像データに番号を付したものであり、時系列順である。学習部１０２は、入力画像の潜在変数Ｚ１に基づいて、潜在変数Ｚ２を予測し、潜在変数Ｚ２と、次に入力された画像データの潜在変数Ｚ１との差分が小さくなるように機械学習していく。画像データ４として撮像される画像にはパターン１とパターン２とが確率的に存在するが、学習部１０２は、画像データ３に基づいて生成された潜在変数Ｚ２と、画像データ４のパターン１のＺ１ｃとの潜在変数の差分が小さくなるように、そして、潜在変数Ｚ２と画像データ４のパターン２のＺ１Ａとの潜在変数の差分が小さくなるように学習する。これにより、情報処理装置３は、画像に差分はあっても、潜在変数の差分は小さいので、異常を検知することはなく、正常パターンとして認識することができる。
次に、学習部１０２により構築されるニューラルネットワーク３３について説明する。
ニューラルネットワーク３３は、異常検知部１０４において異常を判定するための学習済みニューラルネットワークであり、学習部１０２により構築される。ニューラルネットワーク３３は、は、ディープラーニングにより機械学習し、ＡＥ（自己符号化器）とＬＳＴＭ（Ｌｏｎｇ―Ｓｈｏｒｔ―Ｔｅｒｍ―Ｍｅｍｏｒｙ）とのニューラルネットワーク構造を有する。
ニューラルネットワーク３３は、ＰｒｅｄＮｅｔ（非特許文献１参照）である。ＰｒｅｄＮｅｔとは、ＬＳＴＭと畳み込みニューラルネットワークとを結合したモデルであり、入力画像から次の画像を予測するモデルである。具体的には、ＰｒｅｄＮｅｔは、図６（ａ）に例示するように、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎモジュール、Ｉｎｐｕｔモジュール、ｐｒｅｄｉｃｔｉｏｎモジュール、及びｅｒｒｏｒユニットから構成されるモジュール構造がスタックされた階層構造からなる。より具体的には、ニューラルネットワーク３３は、特徴量の空間方向サイズがＣＮＮカーネルサイズ以下となるまで積層したＰｒｅｄＮｅｔである。本例においては、ニューラルネットワーク３３は、図６（ｂ）に例示するように、モジュール構造を６層積層したＰｒｅｄＮｅｔである。
ニューラルネットワーク３３は、異常検知部１０４において異常を判定するための学習済みニューラルネットワークであり、学習部１０２により構築される。ニューラルネットワーク３３は、は、ディープラーニングにより機械学習し、ＡＥ（自己符号化器）とＬＳＴＭ（Ｌｏｎｇ―Ｓｈｏｒｔ―Ｔｅｒｍ―Ｍｅｍｏｒｙ）とのニューラルネットワーク構造を有する。
ニューラルネットワーク３３は、ＰｒｅｄＮｅｔ（非特許文献１参照）である。ＰｒｅｄＮｅｔとは、ＬＳＴＭと畳み込みニューラルネットワークとを結合したモデルであり、入力画像から次の画像を予測するモデルである。具体的には、ＰｒｅｄＮｅｔは、図６（ａ）に例示するように、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎモジュール、Ｉｎｐｕｔモジュール、ｐｒｅｄｉｃｔｉｏｎモジュール、及びｅｒｒｏｒユニットから構成されるモジュール構造がスタックされた階層構造からなる。より具体的には、ニューラルネットワーク３３は、特徴量の空間方向サイズがＣＮＮカーネルサイズ以下となるまで積層したＰｒｅｄＮｅｔである。本例においては、ニューラルネットワーク３３は、図６（ｂ）に例示するように、モジュール構造を６層積層したＰｒｅｄＮｅｔである。
図７は、複数の正常な動作パターンをとる装置において、情報処理装置３による異常検知試験結果を示すデータである。
図８は、（ａ）は、評価に利用した、ステッピングモーターを用いて回転させた電子部品（ラズパイカメラ）ＳＭ０１の画像データを例示する図であり、（ｂ）は、情報処理装置３によるＳＭ０１の異常検知試験の結果画像である。
ラズベリーパイカメラを、一定の角度ずつ回転するステッピングモーターで回転させる装置を作成し、作成した装置の評価動画を情報処理装置３へ入力し、異常検知試験を行った。具体的には、異常検知試験は、識別番号ＳＭ０１として、作成した装置が前半に正常動作、後半に異常動作をとる画像データを作成し、作成した画像データを情報処理装置３に入力し、異常検知を行うものである。図８（ａ）に例示するように、正常動作は、ランダムに左右どちらかに５０回転ずつ合計１１０回転し、中央端部では０．４秒停止する動作であり、異常動作は、回転の後半４/３の箇所の速度が半分に遅延する異常発生を左右５回ずつ、合計１０回回転させる動作である。
装置の正常な１００回転を情報処置装置３に学習させたのち、正常な１０回転と異常な動作１０回をテストした。
図７に例示するように、情報処理装置３のニューラルネットワーク３３において、ＰｒｅｄＮｅｔの構成モジュールを６層積層した場合に、ＳＭ０１の複数の正常動作における異常スコアを低く、異常動作における異常スコアを高く検出することができた。
図８は、（ａ）は、評価に利用した、ステッピングモーターを用いて回転させた電子部品（ラズパイカメラ）ＳＭ０１の画像データを例示する図であり、（ｂ）は、情報処理装置３によるＳＭ０１の異常検知試験の結果画像である。
ラズベリーパイカメラを、一定の角度ずつ回転するステッピングモーターで回転させる装置を作成し、作成した装置の評価動画を情報処理装置３へ入力し、異常検知試験を行った。具体的には、異常検知試験は、識別番号ＳＭ０１として、作成した装置が前半に正常動作、後半に異常動作をとる画像データを作成し、作成した画像データを情報処理装置３に入力し、異常検知を行うものである。図８（ａ）に例示するように、正常動作は、ランダムに左右どちらかに５０回転ずつ合計１１０回転し、中央端部では０．４秒停止する動作であり、異常動作は、回転の後半４/３の箇所の速度が半分に遅延する異常発生を左右５回ずつ、合計１０回回転させる動作である。
装置の正常な１００回転を情報処置装置３に学習させたのち、正常な１０回転と異常な動作１０回をテストした。
図７に例示するように、情報処理装置３のニューラルネットワーク３３において、ＰｒｅｄＮｅｔの構成モジュールを６層積層した場合に、ＳＭ０１の複数の正常動作における異常スコアを低く、異常動作における異常スコアを高く検出することができた。
図８（ｂ）には、情報処理装置３に入力した識別番号ＳＭ０１についての異常検知結果として、次の撮像画像が左右どちらに回転するか不明な場合の入力画像と、入力画像に基づいた予測画像と、入力画像と予測画像との差分を表す画像と、ＰｒｅｄＮｅｔの第１層から６層までのエラー値を表すグラフが表されている。エラー値のグラフにおいて、左から順に第１層から６層までのエラー値が示されている。エラー値のグラフからも明らかなように、第５層及び第６層では、エラー値が小さくなっていることがわかる。すなわち、ＰｒｅｄＮｅｔを第６層まで積層することが複数の正常パターン動作において、正常動作を異常検知しないためには必要であることがわかる。なお、本例における入力画像サイズは、９６×９６ピクセルであり、カーネルサイズは３×３であるため、特徴量の空間方向サイズがＣＮＮカーネルサイズ以下となるには６層必要である。
図９は、情報処理装置３による異常検知処理（Ｓ１０）を説明するフローチャートである。
ここでは、データ取得部１００により取得されるのは、撮像画像である場合について説明する。
図９に例示するように、ステップ１００（Ｓ１００）において、データ取得部１００は、カメラ５により撮像された過去の撮像画像データを約２～２０取得する。データ取得部１００は、取得した画像データを学習部１０２へ入力する。
ステップ１０５（Ｓ１０５）において、特徴量算出部１０２０は、データ取得部１００により取得された画像データの潜在変数を算出する。
ステップ１１０（Ｓ１１０）において、予測データ生成部１０２２は、学習済みのニューラルネットワーク３３と、Ｓ１０５において算出された潜在変数とに基づいて、次の時点の予測画像を生成し、予測特徴量算出部１０２４は、生成された予測画像の潜在変数を算出する。データ取得部１００は、次の時点の撮像された画像データを取得する。
ステップ１１５（Ｓ１１５）において、特徴量算出部１０２０は、Ｓ１１０において、取得された次の時点の撮像された画像データの潜在変数を算出する。特徴量差分算出部１０２６は、予測画像の潜在変数と次の時点の画像データの潜在変数との差分を算出する。
ステップ１２０（Ｓ１２０）において、異常検知部１０４は、特徴量差分算出部１０２６により算出された差分（異常スコア）が既定値以上である場合に（Ｓ１２０：Ｙｅｓ）、Ｓ１２５へ移行し、差分（異常スコア）が既定値未満である場合に処理を終了する。
ステップ１２５（Ｓ１２５）において、異常検知部１０４は、装置４の動作異常を検知する。
ここでは、データ取得部１００により取得されるのは、撮像画像である場合について説明する。
図９に例示するように、ステップ１００（Ｓ１００）において、データ取得部１００は、カメラ５により撮像された過去の撮像画像データを約２～２０取得する。データ取得部１００は、取得した画像データを学習部１０２へ入力する。
ステップ１０５（Ｓ１０５）において、特徴量算出部１０２０は、データ取得部１００により取得された画像データの潜在変数を算出する。
ステップ１１０（Ｓ１１０）において、予測データ生成部１０２２は、学習済みのニューラルネットワーク３３と、Ｓ１０５において算出された潜在変数とに基づいて、次の時点の予測画像を生成し、予測特徴量算出部１０２４は、生成された予測画像の潜在変数を算出する。データ取得部１００は、次の時点の撮像された画像データを取得する。
ステップ１１５（Ｓ１１５）において、特徴量算出部１０２０は、Ｓ１１０において、取得された次の時点の撮像された画像データの潜在変数を算出する。特徴量差分算出部１０２６は、予測画像の潜在変数と次の時点の画像データの潜在変数との差分を算出する。
ステップ１２０（Ｓ１２０）において、異常検知部１０４は、特徴量差分算出部１０２６により算出された差分（異常スコア）が既定値以上である場合に（Ｓ１２０：Ｙｅｓ）、Ｓ１２５へ移行し、差分（異常スコア）が既定値未満である場合に処理を終了する。
ステップ１２５（Ｓ１２５）において、異常検知部１０４は、装置４の動作異常を検知する。
次に、情報処理装置３による高感度の撮像画像のみを入力画像として用いたニューラルネットワーク３３の構築について説明する。
図１０（ａ）は、従来の撮像間隔で撮像した画像データを取得するタイミングを表す図であり、（ｂ）は、情報処理装置３において画像データを取得するタイミングを表す図である。
図１０（ａ）に例示するように、従来は、撮像タイミングaで示される３３．３ｍｓｅｃ（３０ｆｐｓ）の間隔での撮像により画像データを取得していた。しかし、この間隔では、画像差分の大きな画像データを取得できず、感度の高い画像を見逃している可能性が高いという課題があった。
そこで、図１０（ｂ）に例示するように、情報処理装置３では、撮像間隔を短くし、動きの大きな画像を選択して機械学習する。具体的には、データ間変化量算出部１０６は、６．６６ｍｓｅｃ間隔で撮像した連続する画像データ間の画像の差分を算出する。データ選択部１０８は、データ間変化量算出部１０６により算出された差分の大きな画像（動きの大きな画像）を選択する。学習部１０２は、データ選択部１０８により選択された画像に基づいてニューラルネットワーク３３を構築する。これにより、情報処理装置３は、より短い撮像間隔で撮像された画像データのうち、動きの大きな画像のみを学習部１０２へ入力してニューラルネットワーク３３を構築し、構築されたニューラルネットワーク３３に基づいて異常を検知するため、高い感度での異常検知を可能にする。
図１０（ａ）は、従来の撮像間隔で撮像した画像データを取得するタイミングを表す図であり、（ｂ）は、情報処理装置３において画像データを取得するタイミングを表す図である。
図１０（ａ）に例示するように、従来は、撮像タイミングaで示される３３．３ｍｓｅｃ（３０ｆｐｓ）の間隔での撮像により画像データを取得していた。しかし、この間隔では、画像差分の大きな画像データを取得できず、感度の高い画像を見逃している可能性が高いという課題があった。
そこで、図１０（ｂ）に例示するように、情報処理装置３では、撮像間隔を短くし、動きの大きな画像を選択して機械学習する。具体的には、データ間変化量算出部１０６は、６．６６ｍｓｅｃ間隔で撮像した連続する画像データ間の画像の差分を算出する。データ選択部１０８は、データ間変化量算出部１０６により算出された差分の大きな画像（動きの大きな画像）を選択する。学習部１０２は、データ選択部１０８により選択された画像に基づいてニューラルネットワーク３３を構築する。これにより、情報処理装置３は、より短い撮像間隔で撮像された画像データのうち、動きの大きな画像のみを学習部１０２へ入力してニューラルネットワーク３３を構築し、構築されたニューラルネットワーク３３に基づいて異常を検知するため、高い感度での異常検知を可能にする。
図１１は、入力画像の撮像時刻を考慮したニューラルネットワーク３３の構築を例示する図である。
ここでは、データ取得部１００により取得されるのは、撮像画像である場合について説明する。
学習時や異常検知時において、画像を一定間隔で取得しているが、例えば、クラウド転送時のパケット遅延、消失、又は撮像デバイスのクロックや負荷の不安定さにより、時間等間隔の画像を取得できない場合があり、適切な学習と検知が行えない可能性がある。そこで、情報処理装置３は、取得した画像データの撮像時刻を考慮してニューラルネットワーク３３を構築し、任意の時刻の予測特徴量を算出する。
図１１に例示するように、情報処理装置３は、入力画像の特徴量に、入力画像の撮像時刻情報を関連付け、圧縮し、ＬＳＴＭへ入力し、予測したい時刻の予測画像を生成し、特徴量を予測する。
具体的には、学習部１０２は、入力画像の潜在変数Ｚ１に撮像時刻Ｔ（ｔ）を関連付け、任意の撮像時刻Ｔ（ｔ＋１）の潜在変数Ｚ２を生成し、撮像時刻Ｔ（ｔ＋１）の潜在変数Ｚ２と、入力画像の撮像時刻Ｔ（ｔ＋１）潜在変数とＺ１と差分が小さくなるように学習する。撮像時刻を考慮した学習済みニューラルネットワーク３３を構築することにより、パケット消失や撮像時刻変動があっても、予測時点の時刻情報が分かれば、予測時点の時刻情報に対応した潜在変数を生成することができる。
学習部１０２による時刻情報を考慮した機械学習では、入力画像にデータ選択部１０８により選択された画像を入力し、学習してもよい。
ここでは、データ取得部１００により取得されるのは、撮像画像である場合について説明する。
学習時や異常検知時において、画像を一定間隔で取得しているが、例えば、クラウド転送時のパケット遅延、消失、又は撮像デバイスのクロックや負荷の不安定さにより、時間等間隔の画像を取得できない場合があり、適切な学習と検知が行えない可能性がある。そこで、情報処理装置３は、取得した画像データの撮像時刻を考慮してニューラルネットワーク３３を構築し、任意の時刻の予測特徴量を算出する。
図１１に例示するように、情報処理装置３は、入力画像の特徴量に、入力画像の撮像時刻情報を関連付け、圧縮し、ＬＳＴＭへ入力し、予測したい時刻の予測画像を生成し、特徴量を予測する。
具体的には、学習部１０２は、入力画像の潜在変数Ｚ１に撮像時刻Ｔ（ｔ）を関連付け、任意の撮像時刻Ｔ（ｔ＋１）の潜在変数Ｚ２を生成し、撮像時刻Ｔ（ｔ＋１）の潜在変数Ｚ２と、入力画像の撮像時刻Ｔ（ｔ＋１）潜在変数とＺ１と差分が小さくなるように学習する。撮像時刻を考慮した学習済みニューラルネットワーク３３を構築することにより、パケット消失や撮像時刻変動があっても、予測時点の時刻情報が分かれば、予測時点の時刻情報に対応した潜在変数を生成することができる。
学習部１０２による時刻情報を考慮した機械学習では、入力画像にデータ選択部１０８により選択された画像を入力し、学習してもよい。
図１２は、複数の情報処理３による異常検知処理の分散化を例示する図である。
次に、複数の情報処理３を含む異常検知システム２による異常検知について説明する。
カメラ５に高速度カメラを用いた場合、撮像フレーム速度が速く、異常検知処理が間に合わない場合がある。また、学習させる過去の画像データ数を増やすほど安定した異常検知が行えるが、処理時間が長くなってしまう。さらに、処理時間中は、異常を見落としてしまうという課題がある。
そこで、異常検知システム２は、複数の情報処理装置３を含み、複数撮像した画像の入力先を複数の情報処理装置３に周期的に振り分け、並行して異常検知処理を行う。これにより、少しずつの時刻差で入力画像の異常検知処理を実行することで、不感時間を減らすことができる。
具体的には、図１２に例示するように、異常検知システム２は、複数の情報処理装置３を有し、撮像した画像の入力先を周期的に複数の情報処理装置３に振り分け、異常検知処理を並行して行う。少しずつの時刻差で実行することで、不感時間を減らすことができる。
次に、複数の情報処理３を含む異常検知システム２による異常検知について説明する。
カメラ５に高速度カメラを用いた場合、撮像フレーム速度が速く、異常検知処理が間に合わない場合がある。また、学習させる過去の画像データ数を増やすほど安定した異常検知が行えるが、処理時間が長くなってしまう。さらに、処理時間中は、異常を見落としてしまうという課題がある。
そこで、異常検知システム２は、複数の情報処理装置３を含み、複数撮像した画像の入力先を複数の情報処理装置３に周期的に振り分け、並行して異常検知処理を行う。これにより、少しずつの時刻差で入力画像の異常検知処理を実行することで、不感時間を減らすことができる。
具体的には、図１２に例示するように、異常検知システム２は、複数の情報処理装置３を有し、撮像した画像の入力先を周期的に複数の情報処理装置３に振り分け、異常検知処理を並行して行う。少しずつの時刻差で実行することで、不感時間を減らすことができる。
しかし、複数の情報処理装置３上やクラウド上での異常検知処理では処理能力に差がある場合がある。また実行時にはハード又はソフト要因により各異常検知処理が遅延したり、正常動作せず、次の撮像画像を送付できない場合がある。
このとき、等時間差の撮像画像のみを受け付けて異常検知処理を行う場合は、動作停止した情報処理装置３に送付すべきだった撮像画像は破棄せざるを得ないが、任意時刻の撮像画像を受付可能な情報処理装置３であれば、撮像画像を破棄せず、他の異常検知処理を完了した情報処理装置３に任意時刻の撮像画像を入力して処理させることが出来る。
このとき、等時間差の撮像画像のみを受け付けて異常検知処理を行う場合は、動作停止した情報処理装置３に送付すべきだった撮像画像は破棄せざるを得ないが、任意時刻の撮像画像を受付可能な情報処理装置３であれば、撮像画像を破棄せず、他の異常検知処理を完了した情報処理装置３に任意時刻の撮像画像を入力して処理させることが出来る。
複数の情報処理装置３に任意時刻の撮像画像を入力して異常検知を行う異常検知システム２について説明する。
具体的には、図１３に例示するように、異常検知システム２は、カメラ５、管理装置７と複数の情報処理装置３（情報処理装置３ａ、情報処理装置３ｂ、及び情報処理装置３ｃ）とを有し、ネットワークを介して通信可能に接続されている。
管理装置７は、コンピュータ端末であり、管理装置７には、入力データ振り分けプログラム７０がインストールされる。
入力データ振り分けプログラム７０は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、または、インターネット上のプログラム提供サーバに格納されており、ネットワークからダウンロードされて管理装置７にインストールされる。
入力データ振り分けプログラム７０は、振り分け部７００、及び検知結果受信部７０２を有する。なお、入力データ振り分けプログラム７０の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
具体的には、図１３に例示するように、異常検知システム２は、カメラ５、管理装置７と複数の情報処理装置３（情報処理装置３ａ、情報処理装置３ｂ、及び情報処理装置３ｃ）とを有し、ネットワークを介して通信可能に接続されている。
管理装置７は、コンピュータ端末であり、管理装置７には、入力データ振り分けプログラム７０がインストールされる。
入力データ振り分けプログラム７０は、例えば、ＣＤ－ＲＯＭ等の記録媒体に格納されており、この記録媒体を介して、または、インターネット上のプログラム提供サーバに格納されており、ネットワークからダウンロードされて管理装置７にインストールされる。
入力データ振り分けプログラム７０は、振り分け部７００、及び検知結果受信部７０２を有する。なお、入力データ振り分けプログラム７０の一部又は全部は、ＡＳＩＣなどのハードウェアにより実現されてもよく、また、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の機能を一部借用して実現されてもよい。
入力データ振り分けプログラム７０において、振り分け部７００は、複数の時点における複数のデータを、複数の情報処理装置３に振り分けて入力する。具体的には、振り分け部７００は、カメラ５により撮像された複数の時点における複数の撮像画像を、複数の情報処理装置３に振り分ける。より具体的には、振り分け部７００は、高速カメラ（２ｍｓｅｃ／フレーム）で撮像された画像データを、各情報処理装置３へ振り分けて入力する。さらに具体的には、振り分け部７００は、複数の情報処理装置３において、異常検知処理の完了時刻が早い順に撮像画像を振り分けていく。さらに、振り分け部７００は、検知結果受信部７０２により情報処理装置３から受け取った異常検知結果と、異常検知結果の受け取り時刻とを関連付けて格納する。振り分け部７００は、異常検知結果を受け取ったか否かに基づいて、情報処理装置３が待機状態であるか否かを判定し、さらに、より異常検知結果の受け取り時刻の早い情報処理装置３から順に撮像画像を入力する。
また、振り分け部７００は、複数の情報処理装置３において、異常検知処理の完了予定時刻の早い順（異常検知処理能力の高い順）に撮像画像を振り分けてもよい。具体的には、振り分け部７００は、複数の情報処理装置３のうち、データ取得部１００により画像を取得してから異常検知部１０４による異常検知までの処理が早い順に撮像画像を入力する。
検知結果受信部７０２は、複数の情報処理装置３から異常検知結果を受け取る。
なお、複数の情報処理装置３による分散した異常検知処理は、例えば、１台の情報処理装置３上に複数の異常検知プログラム１０を実装して行ってもよく、また、クラウド上の複数の情報処理装置３により行ってもよい。
検知結果受信部７０２は、複数の情報処理装置３から異常検知結果を受け取る。
なお、複数の情報処理装置３による分散した異常検知処理は、例えば、１台の情報処理装置３上に複数の異常検知プログラム１０を実装して行ってもよく、また、クラウド上の複数の情報処理装置３により行ってもよい。
以上説明したように、情報処理装置３は、複数の正常パターンをとる装置において、特徴量の差分を用いて異常を検知することにより、画像間の差分が大きくても、特徴量の差分が小さければ異常を検知することはなく、より正確に異常を検知することができる。また、情報処理装置３は、入力画像の撮像時刻を考慮してニューラルネットワーク３３を構築するため、任意時刻における予測特徴量を生成し、予測特徴量と撮像された画像の特徴の差分に基づいて異常を検知することができる。これにより、連続する画像データに抜けがあったとしても、異常を検知可能である。さらに、情報処理装置３は、連続して撮像された画像データ間の差分が大きい画像データを選択し、選択した画像データを学習させるため、感度の高い異常検知を可能にする。また、異常検知システム２は、複数の情報処理装置３により撮像画像を振り分けて入力し、異常検知処理を分散して行うため、高速に処理可能である。そして、異常検知システム２は、撮像画像の振り分け方に優先度を設けることで、複数の情報処理装置３のうち、送付した撮像画像を取得できない情報処理装置３があったとしても、他の処理可能な情報処理装置３に送付できなかった撮像画像を入力することで不感時間を減らすことができる。
特徴量差分算出部１０２６による特徴量の差分（損失関数）の算出方法として、特徴量の次元数を分割し、各分割した次元数の特徴量において、損失関数を求め、求めた損失関数に重みづけし、平均値を算出してもよい。具体的には、図１５に例示するように、特徴量差分算出部１０２６は、１００次元の数値からなる特徴量Ｚ１及びＺ２を、２５次元×４つの組に４分割したうえで、それぞれの組へ不均等な重みを掛けて平均値を算出する、不均等加重平均により損失関数を算出する。より具体的には、分割した次元数のＺ１（予測画像の潜在変数）と、分割した次元数のＺ２（次の入力画像の潜在変数）とから、式（１）、式（２）、式（３）、及び式（４）を用いて、損失関数を求め、式（５）に示されるように、各損失関数に重みｗ１，ｗ２、ｗ３、及びｗ４をつけて平均値を算出する。
図１６は、２パターンの不均等な重みをつけた場合の異常検知の精度を示すグラフである。
図１６の（ａ）は、重みを１．０、１．０、１．０、１．０とした場合、（ｂ）は、重みを１．０，０．１、０．０１、０．００１とした場合の情報処理装置３による異常検知の精度を示す。それぞれを比較すると、（ｂ）の重みが１．０、０．１、０．０１、０．００１の場合に最も正常動作と異常動作との差が大きく、正常パターンの動作を異常と検知せず、精度高く異常を検知できることがわかった。すなわち、情報処理装置３は、複数の次元数に分割した特徴量に基づいて求めた損失関数に、重みづけをして学習することにより、より高感度に異常検知を実現する。
図１６の（ａ）は、重みを１．０、１．０、１．０、１．０とした場合、（ｂ）は、重みを１．０，０．１、０．０１、０．００１とした場合の情報処理装置３による異常検知の精度を示す。それぞれを比較すると、（ｂ）の重みが１．０、０．１、０．０１、０．００１の場合に最も正常動作と異常動作との差が大きく、正常パターンの動作を異常と検知せず、精度高く異常を検知できることがわかった。すなわち、情報処理装置３は、複数の次元数に分割した特徴量に基づいて求めた損失関数に、重みづけをして学習することにより、より高感度に異常検知を実現する。
なお、上記実施形態では、データ取得部１００は、撮像画像を取得しているが、これに限定されず、例えば、装置４のアーム座標データを取得してもよい。学習部１０２は、時系列のアーム座標データを入力データとして機械学習し、予測データ生成部１０２２は、時系列のアーム座標データと、機械学習されたニューラルネットワークとに基づいて、次の時点のアーム座標データを予測し、データ取得部１００により取得された次の時点のアーム座標データの特徴量と、予測データ生成部１０２２により予測された次の時点のアーム座標データの特徴量との差分に基づいて、異常を検知してもよい。
１、２…異常検知システム
３…情報処理装置
４…装置
５…カメラ
７…管理装置
１０…異常検知プログラム
３３…ニューラルネットワーク
７０…入力データ振り分けプログラム
１００…データ取得部
１０２…学習部
１０２０…特徴量算出部
１０２２…予測データ生成部
１０２４…予測特徴量算出部
１０２６…特徴量差分算出部
１０２８…時刻関連付け部
１０３０…データ差分算出部
１０４…異常検知部
１０６…データ間変化量算出部
１０８…データ選択部
２００…ＣＰＵ
２０２…メモリ
２０４…ＨＤＤ
２０６…ネットワークＩＦ
２０８…表示装置
２１０…入力装置
２１２…バス
６００…画像データ格納データべース
７００…振り分け部
７０２…検知結果受信部
３…情報処理装置
４…装置
５…カメラ
７…管理装置
１０…異常検知プログラム
３３…ニューラルネットワーク
７０…入力データ振り分けプログラム
１００…データ取得部
１０２…学習部
１０２０…特徴量算出部
１０２２…予測データ生成部
１０２４…予測特徴量算出部
１０２６…特徴量差分算出部
１０２８…時刻関連付け部
１０３０…データ差分算出部
１０４…異常検知部
１０６…データ間変化量算出部
１０８…データ選択部
２００…ＣＰＵ
２０２…メモリ
２０４…ＨＤＤ
２０６…ネットワークＩＦ
２０８…表示装置
２１０…入力装置
２１２…バス
６００…画像データ格納データべース
７００…振り分け部
７０２…検知結果受信部
Claims (15)
- 時系列データを入力データとして機械学習する学習部と、
時系列データを取得するデータ取得部と、
前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、
前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、
前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、
前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、
前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部と
を有する
情報処理装置。 - 前記データ取得部は、複数の時点における複数の撮像画像を時系列データとして取得し、
前記特徴量算出部は、前記データ取得部により取得された複数の撮像画像の特徴量を算出し、
前記予測データ生成部は、前記データ取得部により取得された撮像画像と、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された撮像画像の次の時点の撮像画像を生成し、
前記予測特徴量算出部は、前記予測データ生成部により生成された予測画像の特徴量を算出し、
前記特徴量差分算出部は、前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点の撮像画像の特徴量との差分を算出する
請求項１に記載の情報処理装置。 - 前記特徴量算出部により算出された特徴量に、特徴量を算出した時系列データの時刻情報を関連付ける時刻関連付け部
をさらに有し、
前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、
前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、
前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、
前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータの特徴量との差分を算出し、
前記異常検知部は、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する
請求項１に記載の情報処理装置。 - 前記ニューラルネットワークは、畳み込み層とＬＳＴＭ（Ｌｏｎｇ―Ｓｈｏｒｔ―Ｔｅｒｍ―Ｍｅｍｏｒｙ）層とにより構成されるモジュール構造がスタックされた階層構造を有し、
前記階層構造は、前記データ取得部により取得された撮像画像の特徴量の空間方向サイズが、カーネルサイズ以下となるまでスタックされ、
前記学習部は、前記階層構造を有する前記ニューラルネットワークに入力された、時系列データの特徴量を入力データとして機械学習する
請求項２に記載の情報処理装置。 - 定められた複数の動作パターンの時系列データを入力データとして機械学習する学習部と、
時系列データを取得するデータ取得部と、
前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、
前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、
前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、
前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、
前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部と
を有する
情報処理装置。 - 前記特徴量算出部により算出された特徴量に、特徴量を算出した時系列データの時刻情報を関連付ける時刻関連付け部
をさらに有し、
前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、
前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、
前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、
前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータの特徴量との差分を算出し、
前記異常検知部は、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する
請求項５に記載の情報処理装置。 - 前記ニューラルネットワークは、畳み込み層とＬＳＴＭ（Ｌｏｎｇ―Ｓｈｏｒｔ―Ｔｅｒｍ―Ｍｅｍｏｒｙ）層とにより構成されるモジュール構造がスタックされた階層構造を有し、
前記階層構造は、前記データ取得部により取得された撮像画像の特徴量の空間方向サイズが、カーネルサイズ以下となるまでスタックされ、
前記学習部は、前記階層構造を有する前記ニューラルネットワークに入力された、定められた複数の動作パターンの時系列データの特徴量を入力データとして機械学習する
請求項５に記載の情報処理装置。 - 前記定められた複数の動作パターンは、各動作パターン間において、少なくとも一部は一致し、一部は異なる動作である
請求項５に記載の情報処理装置。 - 前記データ取得部により取得された連続するデータ間の変化量を算出するデータ間変化量算出部と、
前記データ間変化量算出部により算出された変化量が既定値以上のデータを選択するデータ選択部と
をさらに有し、
前記特徴量算出部は、前記データ選択部により選択された選択データの特徴量を算出し、
前記学習部は、前記特徴量算出部により算出された選択データの特徴量を入力データとして機械学習する
請求項２に記載の情報処理装置。 - 前記予測データ生成部により生成された次の時点の予測データと、前記データ取得部により取得された次の時点のデータとの差分を算出するデータ差分算出部
をさらに有し、
前記学習部は、前記特徴量差分算出部により算出された特徴量が小さくなるように、又は、前記データ差分算出部により算出されたデータの差分と、前記特徴量差分算出部により算出された特徴量の差分とが小さくなるように機械学習する
請求項２に記載の情報処理装置。 - 異常を検知する複数の情報処理装置と、
前記複数の情報処理装置から検知結果を受け取る管理装置と
を有し、
前記管理装置は、
複数の時点における複数のデータを、前記複数の情報処理装置に振り分けて入力する振り分け部
を有し、
前記情報処理装置は、
時系列データを入力データとして機械学習する学習部と、
時系列データを取得するデータ取得部と、
前記データ取得部により取得された時系列データの特徴量を算出する特徴量算出部と、
前記データ取得部により取得された時系列データと、前記学習部により機械学習されたニューラルネットワークとに基づいて、前記データ取得部により取得された時系列データの次の時点のデータを生成する予測データ生成部と、
前記予測データ生成部により生成された予測データの特徴量を算出する予測特徴量算出部と、
前記予測特徴量算出部により算出された特徴量と、前記データ取得部により取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出部と、
前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知する異常検知部と
を有し、
前記複数の情報処理装置の各前記データ取得部は、
前記管理装置の振り分け部により振り分けられたデータを取得し、
前記複数の情報処理装置の各前記異常検知部は、各前記データ取得部により取得したデータの特徴量と各前記予測データ生成部により生成された予測データの特徴量との差分に基づいて異常を検知する
情報処理システム。 - 前記情報処理装置は、
前記特徴量算出部により算出された特徴量に、特徴量を算出したデータを取得した時刻情報を関連付ける時刻関連付け部
をさらに有し、
前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、
前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、
前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、
前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータとの特徴量の差分を算出し、
前記異常検知部は、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知し、
前記管理装置の振り分け部は、
前記複数の情報処理装置のうち、前記異常検知部による異常検知の結果を受け取った時刻の早い順にデータを入力する
請求項１１に記載の情報処理システム。 - 前記情報処理装置は、
前記特徴量算出部により算出された特徴量に、特徴量を算出したデータを取得した時刻情報を関連付ける時刻関連付け部
をさらに有し、
前記学習部は、前記時刻関連付け部により時刻情報を関連付けられた特徴量を入力データとして機械学習し、
前記予測データ生成部は、前記学習部により機械学習されたニューラルネットワークに基づいて、任意の時刻の予測データを生成し、
前記予測特徴量算出部は、前記予測データ生成部により生成された前記任意の時刻の予測データの特徴量を算出し、
前記特徴量差分算出部は、前記予測特徴量算出部により予測された前記任意の時刻の特徴量と、前記任意の時刻に取得されたデータとの特徴量の差分を算出し、
前記異常検知部は、前記特徴量差分算出部により算出された特徴量の差分に基づいて、異常を検知し、
前記管理装置の振り分け部は、
前記複数の情報処理装置のうち、前記データ取得部によりデータを取得してから前記異常検知部による異常検知までの処理が早い順にデータを入力する
請求項１１に記載の情報処理システム。 - 時系列データの特徴量を入力データとして機械学習する学習ステップと、
時系列データを取得するデータ取得ステップと、
前記データ取得ステップにおいて取得された時系列データの特徴量を算出する特徴量算出ステップと、
前記データ取得ステップにおいて取得された時系列データと、前記学習ステップにより機械学習されたニューラルネットワークとに基づいて、前記データ取得ステップにおいて取得された時系列データの次の時点のデータを生成する予測データ生成ステップと、
前記予測データ生成ステップにおいて生成された予測データの特徴量を算出する予測特徴量算出ステップと、
前記予測特徴量算出ステップにおいて算出された特徴量と、前記データ取得ステップにおいて取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出ステップと、
前記特徴量差分算出ステップにおいて算出された特徴量の差分に基づいて、異常を検知する異常検知ステップと
を有する情報処理方法。 - 時系列データの特徴量を入力データとして機械学習する学習ステップと、
時系列データを取得するデータ取得ステップと、
前記データ取得ステップにおいて取得された時系列データの特徴量を算出する特徴量算出ステップと、
前記データ取得ステップにおいて取得された時系列データと、前記学習ステップにより機械学習されたニューラルネットワークとに基づいて、前記データ取得ステップにおいて取得された時系列データの次の時点のデータを生成する予測データ生成ステップと、
前記予測データ生成ステップにおいて生成された予測データの特徴量を算出する予測特徴量算出ステップと、
前記予測特徴量算出ステップにおいて算出された特徴量と、前記データ取得ステップにおいて取得された次の時点のデータの特徴量との差分を算出する特徴量差分算出ステップと、
前記特徴量差分算出ステップにおいて算出された特徴量の差分に基づいて、異常を検知する異常検知ステップと
をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023032819A JP7387118B1 (ja) | 2023-03-03 | 2023-03-03 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023032819A JP7387118B1 (ja) | 2023-03-03 | 2023-03-03 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7387118B1 true JP7387118B1 (ja) | 2023-11-28 |
| JP2024124866A JP2024124866A (ja) | 2024-09-13 |
Family
ID=88917958
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023032819A Active JP7387118B1 (ja) | 2023-03-03 | 2023-03-03 | 情報処理システム、情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7387118B1 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020135243A (ja) * | 2019-02-15 | 2020-08-31 | オムロン株式会社 | モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム |
| WO2020188794A1 (ja) * | 2019-03-20 | 2020-09-24 | 株式会社日立国際電気 | 映像システム、撮像装置、および映像処理装置 |
| JP2021156631A (ja) * | 2020-03-25 | 2021-10-07 | 株式会社日立製作所 | 異常検知装置および方法 |
| JP2022061942A (ja) * | 2020-10-07 | 2022-04-19 | 株式会社デバイス＆システム・プラットフォーム開発センター | 異常推定方法、異常推定装置、異常推定システム |
-
2023
- 2023-03-03 JP JP2023032819A patent/JP7387118B1/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020135243A (ja) * | 2019-02-15 | 2020-08-31 | オムロン株式会社 | モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム |
| WO2020188794A1 (ja) * | 2019-03-20 | 2020-09-24 | 株式会社日立国際電気 | 映像システム、撮像装置、および映像処理装置 |
| JP2021156631A (ja) * | 2020-03-25 | 2021-10-07 | 株式会社日立製作所 | 異常検知装置および方法 |
| JP2022061942A (ja) * | 2020-10-07 | 2022-04-19 | 株式会社デバイス＆システム・プラットフォーム開発センター | 異常推定方法、異常推定装置、異常推定システム |
Non-Patent Citations (2)
| Title |
|---|
| 浦川 侑之介 ほか２名，ＬＳＴＭを用いたネットワーク異常検出，情報処理学会 シンポジウム コンピュータセキュリティシンポジウム ２０１９ [online]，日本，一般社団法人情報処理学会，2019年10月14日，第422頁-第429頁，[検索日 2023.05.26], インターネット:<URL: http://id.nii.ac.jp/1001/00201261> |
| 浦川 侑之介 ほか２名: "ＬＳＴＭを用いたネットワーク異常検出", 情報処理学会 シンポジウム コンピュータセキュリティシンポジウム ２０１９ [ONLINE], JPN6023021974, 14 October 2019 (2019-10-14), JP, pages 422 - 429, ISSN: 0005074654 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024124866A (ja) | 2024-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190294975A1 (en) | Predicting using digital twins | |
| US20210034980A1 (en) | Real-time visualization of machine learning models | |
| EP3654186B1 (en) | Automated identification of device status and resulting dynamic modification of device operations | |
| US20200397346A1 (en) | Annotation method, annotation device, storage medium, and identification system | |
| US9147114B2 (en) | Vision based target tracking for constrained environments | |
| JP2020008997A (ja) | 異常検知システム | |
| Su et al. | Detecting outlier machine instances through gaussian mixture variational autoencoder with one dimensional cnn | |
| JP2019159604A (ja) | 異常検知装置、異常検知方法及び異常検知プログラム | |
| CN112350878A (zh) | 一种压力测试系统 | |
| CN111368980A (zh) | 状态检测方法、装置、设备及存储介质 | |
| JP6950504B2 (ja) | 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置 | |
| KR20200047772A (ko) | 장애 검출 분류 | |
| CN112508126A (zh) | 深度学习模型训练方法、装置、电子设备及可读存储介质 | |
| JP2022520511A (ja) | ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置 | |
| CN113850364A (zh) | 非暂态计算机可读记录介质、学习方法和信息处理设备 | |
| Wang et al. | Multivariate Time-Series Representation Learning via Hierarchical Correlation Pooling Boosted Graph Neural Network | |
| CN114401205A (zh) | 无标注多源网络流量数据漂移检测方法和装置 | |
| JPWO2016084326A1 (ja) | 情報処理システム、情報処理方法、及び、プログラム | |
| JP7387118B1 (ja) | 情報処理システム、情報処理装置、情報処理方法、及びプログラム | |
| US20170286569A1 (en) | System and method of modeling irregularly sampled temporal data using kalman filters | |
| JP2020170252A (ja) | 画像処理装置、情報処理方法及びプログラム | |
| US11393091B2 (en) | Video image processing and motion detection | |
| US7840391B2 (en) | Model-diversity technique for improved proactive fault monitoring | |
| WO2023204183A1 (ja) | 状態検出装置、状態検出方法、学習モデルの生成方法及びコンピュータプログラム | |
| JP2019191836A (ja) | 異常検知システムおよびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230307 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7387118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |