JP7524784B2 - 情報処理装置、制御システムおよびレポート出力方法 - Google Patents

Description

本技術は、制御装置に接続される情報処理装置、制御装置を含む制御システム、および制御システムで用いられるレポート出力方法に関する。

様々な生産現場において、機械学習を活用して、生産性や設備稼働率を向上させたいというニーズが存在する。一般的な機械学習では、過去に生じた事象を収集して、学習済モデルを生成するが、生成された学習済モデルの妥当性などを評価することは容易ではない。また、任意の条件毎に学習済モデルがそれぞれ生成されているような場合には、いずれの学習済モデルを採用するのかを判断することが難しい。

例えば、特開２０２０－０４２６６８号公報（特許文献１）は、現場のユーザが要求仕様を満足する学習モデルを選択することを容易にする検査装置などを開示する。

特開２０２０－０４２６６８号公報

上述の先行技術文献においては、予め生成された学習済モデルのうちから、適切な学習済モデルを選択する技術に向けられるものであり、学習済モデル自体の妥当性を評価することについては検討されていない。

本技術は、学習済モデル自体の妥当性をより容易に評価できる方法を提供するものである。

本技術の一例に従えば、制御対象を制御するための制御装置に接続される情報処理装置が提供される。制御装置は、制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル、を少なくとも１つ有している。情報処理装置は、制御対象から収集された情報の時系列データを制御装置から取得する取得部と、取得した時系列データに基づいて、学習済モデルに関するレポートを生成する生成部とを含む。レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化と、当該学習済モデルから出力されるスコアの時間的変化と、当該学習済モデルの性能指標とを含むレポート要素を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む。

この構成によれば、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせた複数のレポート要素を含むレポートが生成されるので、生成されたレポートの内容に基づいて、学習済モデル自体の妥当性を容易に評価できる。

レポートにおいて、レポート要素の各々は、第１の方向に情報が並べて配置されており、レポート要素の間は、第２の方向に並べて配置されていてもよい。この構成によれば、複数のレポート要素が２次元で配列された形で表現されるので、より容易に内容を理解できる。

情報処理装置は、時系列データに基づいて、対応する学習済モデルの性能指標を算出する第１の算出部をさらに含む。性能指標は、正答率、見逃し率、見過ぎ率のうち、少なくとも１つを含んでいてもよい。この構成によれば、学習済モデル自体の妥当性を数値的に評価できる。

レポート要素の各々は、対応する学習済モデルに設定されているしきい値を含んでいてもよい。この構成によれば、出力された時間的変化としきい値とに基づいて、学習済モデルの設定の妥当性をより容易に評価できる。

レポートは、レポート要素のソートまたはフィルタが可能に構成されてもよい。この構成によれば、ユーザが所望するレポート要素のみを容易に選択あるいは抽出できる。

レポートは、レポート要素のソートまたはフィルタを実現するためのコードを含んでいてもよい。この構成によれば、レポート要素をソートあるいはフィルタするための専用アプリなどを不要にでき、二次利用性を高めることができる。

情報処理装置は、時系列データに基づいて、対応する学習済モデルに入力される特徴量、および、当該学習済モデルから出力されるスコアを算出する第２の算出部をさらに含んでいてもよい。この構成によれば、制御装置から特徴量またはスコアを取得できない場合でも、レポートを出力できる。

情報処理装置は、レポートに含まれる時間的変化の間で類似するものを検索する検索部をさらに含んでいてもよい。この構成によれば、比較対象となるレポート要素を容易に抽出あるいは選択できる。

本技術の別の例に従う制御システムは、制御対象を制御するための制御装置と、制御装置に接続される情報処理装置とを含む。制御装置は、制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル、を少なくとも１つ含む。情報処理装置は、制御対象から収集された情報の時系列データを制御装置から取得する取得部と、取得した時系列データに基づいて、学習済モデルに関するレポートを生成する生成部とを含む。レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化と、当該学習済モデルから出力されるスコアの時間的変化と、当該学習済モデルの性能指標とを含むレポート要素を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む。

本技術のさらに別の例に従えば、制御対象を制御するための制御装置に関するレポートを出力するレポート出力方法が提供される。制御装置は、制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル、を少なくとも１つ有しており、レポート出力方法は、制御対象から収集された情報の時系列データを制御装置から取得するステップと、取得した時系列データに基づいて、学習済モデルに関するレポートを生成するステップとを含む。レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化と、当該学習済モデルから出力されるスコアの時間的変化と、当該学習済モデルの性能指標とを含むレポート要素を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む。

本技術によれば、学習済モデル自体の妥当性をより容易に評価できる。

本実施の形態に係る制御システムの全体構成例を示す模式図である。 本実施の形態に係る制御システムの主要な構成および運用形態の一例を説明するための図である。 本実施の形態に係る制御システムを構成する制御装置のハードウェア構成例を示すブロック図である。 本実施の形態に係る制御システムを構成するサポート装置のハードウェア構成例を示すブロック図である。 本実施の形態に係る制御システムの異常検知を行うための処理の概要を示す模式図である。 本実施の形態に係る制御システムのレポート出力処理の内容を説明するための概略図である。 本実施の形態に係る制御システムにより出力されるレポートの別の一例を示す模式図である。 本実施の形態に係る制御システムにより出力されるレポートの利用方法の一例を示す図である。 実施の形態に係る制御システムにより出力されるレポートにおける時間波形の別の表示例を示す模式図である。 本実施の形態に係るレポート出力処理を実現するための機能構成例を示す模式図である。 本実施の形態に係るレポート出力処理に係る処理手順を示すフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．適用例＞
まず、本発明が適用される場面の一例について説明する。以下では、機械学習の適用例として、設備などに何らかの異常が発生したか否かを判断する例について説明するが、本発明は、異常検知に限られず、任意の機械学習に適用可能である。

本明細書においては、制御装置が関係する任意の装置を「制御対象」とも称す。「制御対象」との用語は、制御装置が直接制御する任意のデバイスや制御装置が情報を取得するデバイスに限らず、それらのデバイスを含む任意の装置や設備、ならびに、制御装置を構成するユニットなども含み得る。

本明細書においては、判断などの処理を行う実体の一例として、異常検知エンジンは、機械学習により生成される学習済モデルを読み込む。異常検知エンジンには、予め定められた１または複数の特徴量が入力され、入力された特徴量に基づいて出力が算出される。異常検知エンジンが、読み込んだ学習済モデルを用いて算出する値を「スコア」とも称す。

本明細書においては、機械学習により生成される学習済モデルを適用して判断できる事象を「イベント」とも称す。異常検知に係る学習済モデルについて見れば、イベントは、典型的には、制御対象に発生し得る特定の異常を意味する。なお、「イベント」との用語は、学習済モデルを用いて直接判断する場合だけではなく、間接的に判断できる事象も含み得る。そのため、学習済モデルから出力される結果（スコア）は、所定のイベントの可能性（発生の可能性）を直接的または間接的に示す値となる。

図１は、本実施の形態に係る制御システム１の全体構成例を示す模式図である。図１を参照して、本実施の形態に係る制御システム１は、主たる構成要素として、制御対象を制御するための制御装置１００と、制御装置１００に接続される情報処理装置の一例であるサポート装置２００とを含む。

制御装置１００は、ＰＬＣ（プログラマブルコントローラ）などの、一種のコンピュータとして具現化されてもよい。制御装置１００は、フィールドバス２を介してフィールド装置群１０と接続される。フィールドバス２は、産業用の通信プロトコルを採用することが好ましい。このような通信プロトコルとしては、ＥｔｈｅｒＣＡＴ（登録商標）、ＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）、ＤｅｖｉｃｅＮｅｔ（登録商標）、ＣｏｍｐｏＮｅｔ（登録商標）などが知られている。

フィールド装置群１０は、制御対象または制御に関連する製造装置や生産ラインなど（以下、「フィールド」とも総称する。）から入力データを収集する装置を含む。このような入力データを収集する装置としては、入力リレーや各種センサなどが想定される。フィールド装置群１０は、さらに、制御装置１００にて生成される指令（以下、「出力データ」とも称す。）に基づいて、フィールドに対して何らかの作用を与える装置を含む。このようなフィールドに対して何らかの作用を与える装置としては、出力リレー、コンタクタ、サーボドライバおよびサーボモータ、その他任意のアクチュエータが想定される。これらのフィールド装置群１０は、フィールドバス２を介して、制御装置１００との間で、入力データおよび出力データを含むデータを遣り取りする。

図１に示す構成例においては、フィールド装置群１０は、リモートＩ／Ｏ（Input/Output）装置１２と、リレー群１４と、サーボドライバ１８およびサーボモータ２０とを含む。

リモートＩ／Ｏ装置１２は、フィールドバス２を介して通信を行う通信部と、入力データの収集および出力データの出力を行うための入出力部（以下、「Ｉ／Ｏユニット」とも称す。）とを含む。このようなＩ／Ｏユニットを介して、制御装置１００とフィールドとの間で入力データおよび出力データが遣り取りされる。図１には、リレー群１４を介して、入力データおよび出力データとして、デジタル信号が遣り取りされる例が示されている。

Ｉ／Ｏユニットは、フィールドバスに直接接続されるようにしてもよい。図１には、フィールドバス２にＩ／Ｏユニット１６が直接接続されている例を示す。

サーボドライバ１８は、制御装置１００からの出力データ（例えば、位置指令など）に従って、サーボモータ２０を駆動する。

上述のように、フィールドバス２を介して、制御装置１００とフィールド装置群１０との間で入力データおよび出力データが遣り取りされることになるが、これらの遣り取りされるデータは、数百μｓｅｃオーダ～数十ｍｓｅｃオーダのごく短い周期で更新されることになる。なお、このような遣り取りされるデータの更新処理を、「Ｉ／Ｏリフレッシュ処理」と称することもある。

制御装置１００は、設備や機械などの制御対象を制御するための制御演算を実行するＰＬＣエンジン（図２に示すＰＬＣエンジン１３０）を有している。ＰＬＣエンジンは、制御演算部に相当し、入力データに基づく制御演算を実行することで、出力データを決定する。制御装置１００は、フィールド装置群１０からの入力データ、フィールド装置群１０への出力データ、および、制御装置１００の内部で管理される内部データなどを順次格納する時系列データベース（以下、「ＴＳＤＢ（Time Series Data Base）」とも記す。）１４０を有している。以下、ＴＳＤＢ１４０に格納されるデータを「時系列データ」とも称す。

制御装置１００は、制御対象から収集される情報に基づいて、予め用意された学習済モデル（以下、単に「モデル１６０」とも称す。）を参照して、制御対象における異常を検知する異常検知エンジン１５０を有している。

モデル１６０には、制御対象から収集される情報から算出される特徴量が入力される。モデル１６０からは、所定のイベントの可能性を示すスコアが出力される。なお、基本的には、イベント毎にモデル１６０が用意される。但し、複数のイベントをそれぞれ判断するためのロジックを１つのモデルにまとめることもできる。このように、制御装置１００（異常検知エンジン１５０）は、少なくとも１つのモデル１６０を有している。

制御対象から収集される情報としては、典型的には、ＴＳＤＢ１４０に格納された時系列データ（あるいは、時系列データから算出された特徴量）が用いられる。すなわち、異常検知エンジン１５０は、ＴＳＤＢ１４０に格納された時系列データに基づいて、制御対象での異常の発生あるいは異常の可能性を判断する。

制御装置１００は、上位ネットワーク６を介してサーバ４００に接続されてもよいし、フィールドバス４を介して１または複数の表示装置５００と接続されてもよい。なお、サーバ４００および表示装置５００はオプショナルな構成であり、制御システム１の必須の構成ではない。

サーバ４００は、制御装置１００に対して任意の情報を提供し、あるいは、制御装置１００からのデータを収集するような処理を担当する。

表示装置５００は、ユーザからの操作を受けて、制御装置１００に対してユーザ操作に応じたコマンドなどを送信するとともに、制御装置１００での演算結果などをグラフィカルに表示する。

サポート装置２００は、制御装置１００が制御対象を制御するために必要な準備を支援する情報処理装置（コンピュータの一例）である。具体的には、サポート装置２００は、制御装置１００で実行されるユーザプログラムの開発環境（プログラム作成編集ツール、パーサ、コンパイラなど）、制御装置１００および制御装置１００に接続される各種デバイスのパラメータ（コンフィギュレーション）を設定するための設定環境、生成したユーザプログラムを制御装置１００へ送信する機能、制御装置１００上で実行されるユーザプログラムなどをオンラインで修正・変更する機能、などを提供する。

さらに、サポート装置２００は、制御装置１００に実装される異常検知エンジン１５０が参照するモデル１６０の生成および調整などを支援するための機能を有している。

ここで、異常検知の対象に関連するものとは、異常検知エンジン１５０の検知ロジック（すなわち、モデル１６０）を学習するための学習データの生成に利用できる情報であれば、どのようなものであってもよい。異常検知の対象に関連するものとしては、例えば、生産されるワーク（製品あるいは半製品）や生産設備自体などが考えられる。

次に、制御装置１００の異常検知エンジン１５０の構成および運用の一例について説明する。サポート装置２００は、ＴＳＤＢ１４０に格納された時系列データを取得し、データマイニングにより、異常検知エンジン１５０が参照するモデル１６０を定義するパラメータを決定する。そして、サポート装置２００は、決定したパラメータを制御装置１００へ転送する。これによって、制御装置１００の異常検知エンジン１５０が有効に構成される。

運用後、サポート装置２００は、運用後に収集された時系列データに基づいて、モデル１６０を定義するパラメータを調整する。すなわち、モデル１６０が再生成あるいは調整されることになる。そして、サポート装置２００は、調整したパラメータを制御装置１００へ転送する。これによって、制御装置１００の異常検知エンジン１５０がより最適化される。

図２は、本実施の形態に係る制御システム１の主要な構成および運用形態の一例を説明するための図である。図２を参照して、制御システム１における異常検知の処理は、典型的には、データ収集フェーズ３０、データ解析フェーズ３２、運用フェーズ３４の順次で実現される。

データ収集フェーズ３０においては、異常検知の対象に関連する時系列データが収集される。データ解析フェーズ３２においては、データ収集フェーズ３０において収集された時系列データに対するデータマイニングなどによって、目的の異常検知に適した特徴量が検討されるとともに、検討された特徴量に応じたモデル１６０が生成される。データ解析フェーズ３２において生成されたモデル１６０を利用して、運用フェーズ３４が開始される。

運用フェーズ３４の開始後に、検知すべき異常を見逃した、あるいは、検知すべきではない異常を検知したといった不足検知や誤検知が発生した場合には、再学習によりモデル１６０が更新されることもある。あるいは、異常検知の対象に何らかの変化（例えば、経年変化や動作条件の変化など）が生じた場合にも、再学習によりモデル１６０を更新するようにしてもよい。

このような処理手順を考慮して、サポート装置２００は、データマイニングツール２４０と、モデル生成ツール２５０と、レポート出力ツール２６０とを含んでいてもよい。データマイニングツール２４０は、主として、データ解析フェーズ３２において必要な処理を提供する。モデル生成ツール２５０は、主として、運用フェーズ３４において必要な処理を提供する。

データマイニングツール２４０は、典型的には、特徴量生成処理２４２と、特徴量選択処理２４４と、モデル生成処理２４６と、しきい値設定処理２４８とを提供する。

モデル生成ツール２５０は、モデル更新処理２５２と、しきい値調整処理２５４とを提供する。

レポート出力ツール２６０は、後述するように、データマイニングツール２４０およびモデル生成ツール２５０の処理によって得られる各種情報を出力する（レポート出力）。

一方、制御装置１００は、上述したように、ＰＬＣエンジン１３０、ＴＳＤＢ１４０および異常検知エンジン１５０を有している。

ＰＬＣエンジン１３０は、制御対象に応じて任意に作成されるユーザプログラム１３２により定義される制御演算を周期的に実行する。ユーザプログラム１３２では、ＡＩライブラリ１３４が利用可能になっている。あるいは、ユーザプログラム１３２にＡＩライブラリ１３４が組み込まれていてもよい。ＡＩライブラリ１３４の内容、特性、動作などは、データ解析フェーズ３２において、データマイニングツール２４０を用いて決定されてもよい。

ＰＬＣエンジン１３０がユーザプログラム１３２に含まれるＡＩライブラリ１３４の部分を実行することで、予め指定されたデータから１または複数の特徴量１５２が算出され、算出された特徴量１５２が異常検知エンジン１５０へ提供される。

ＰＬＣエンジン１３０は、データ管理部１３６を有しており、入力データ、出力データ、および、内部データをユーザプログラム１３２から参照可能な形で保持する。データ管理部１３６が管理するデータの値は、Ｉ／Ｏリフレッシュ処理により所定周期（Ｉ／Ｏリフレッシュ周期）毎に更新される。また、データ管理部１３６が管理するデータのうち予め指定されたデータがＴＳＤＢ１４０に所定周期毎に格納される。その結果、ＴＳＤＢ１４０からは指定されたデータの所定周期毎の値変化、すなわち時系列データ１４２が出力される。

異常検知エンジン１５０は、ＰＬＣエンジン１３０からの特徴量１５２に基づいて、モデル１６０を参照して、異常の発生あるいは異常の可能性を判断する。モデル１６０は、データ解析フェーズ３２において、データマイニングツール２４０を用いて決定されてもよいし、運用フェーズ３４において、モデル生成ツール２５０を用いて決定されてもよい。

典型的には、異常検知エンジン１５０は、モデル１６０を読み込み、１または複数の特徴量１５２が入力されると、異常度を示す値（正常からの剥離度）を出力する。モデル１６０を定義するパラメータとしては、モデル１６０の実体である関数を定義する各係数と、モデル１６０から出力される値を評価するためのしきい値とを含んでいてもよい。

本実施の形態に係る制御システム１は、機械学習に係る情報をレポート出力することができ、ユーザは、このようなレポート出力を利用することで、学習済モデルの妥当性を容易に評価でき、また、設備の劣化傾向や生産状況の傾向などを容易に把握できる。

＜Ｂ．ハードウェア構成例＞
次に、本実施の形態に係る制御システム１を構成する主要な装置のハードウェア構成例について説明する。

（ｂ１：制御装置１００のハードウェア構成例）
図３は、本実施の形態に係る制御システム１を構成する制御装置１００のハードウェア構成例を示すブロック図である。図３を参照して、制御装置１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ１０２と、チップセット１０４と、主記憶装置１０６と、二次記憶装置１０８と、上位ネットワークコントローラ１１０と、ＵＳＢ（Universal Serial Bus）コントローラ１１２と、メモリカードインターフェイス１１４と、内部バスコントローラ１２２と、フィールドバスコントローラ１１８，１２０と、Ｉ／Ｏユニット１２４－１，１２４－２，…とを含む。

プロセッサ１０２は、二次記憶装置１０８に格納された各種プログラムを読み出して、主記憶装置１０６に展開して実行することで、ＰＬＣエンジン１３０および異常検知エンジン１５０を実現する。チップセット１０４は、プロセッサ１０２と各コンポーネントとの間のデータ伝送などを制御する。

二次記憶装置１０８には、ＰＬＣエンジン１３０および異常検知エンジン１５０を実現するためのシステムプログラム１３１に加えて、ＰＬＣエンジン１３０を利用して実行されるユーザプログラム１３２が格納される。二次記憶装置１０８の一部の領域は、ＴＳＤＢ１４０として利用されてもよい。

上位ネットワークコントローラ１１０は、上位ネットワーク６を介した他の装置との間のデータの遣り取りを制御する。ＵＳＢコントローラ１１２は、ＵＳＢ接続を介してサポート装置２００との間のデータの遣り取りを制御する。

メモリカードインターフェイス１１４は、メモリカード１１６を着脱可能に構成されており、メモリカード１１６に対してデータを書込み、メモリカード１１６から各種データ（ユーザプログラムやトレースデータなど）を読出すことが可能になっている。

内部バスコントローラ１２２は、制御装置１００に搭載されるＩ／Ｏユニット１２４－１，１２４－２，…との間でデータを遣り取りするインターフェイスである。

フィールドバスコントローラ１１８は、フィールドバス２を介した他の装置との間のデータの遣り取りを制御する。同様に、フィールドバスコントローラ１２０は、フィールドバス４を介した他の装置との間のデータの遣り取りを制御する。

図３には、プロセッサ１０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。あるいは、制御装置１００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、仮想化技術を用いて、用途の異なる複数のＯＳ（Operating System）を並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。

（ｂ２：サポート装置２００のハードウェア構成例）
本実施の形態に係るサポート装置２００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いてプログラムを実行することで実現される。

図４は、本実施の形態に係る制御システム１を構成するサポート装置２００のハードウェア構成例を示すブロック図である。図４を参照して、サポート装置２００は、ＣＰＵやＭＰＵなどのプロセッサ２０２と、光学ドライブ２０４と、主記憶装置２０６と、二次記憶装置２０８と、ＵＳＢコントローラ２１２と、ネットワークコントローラ２１４と、入力部２１６と、表示部２１８とを含む。これらのコンポーネントはバス２２０を介して接続される。

プロセッサ２０２は、二次記憶装置２０８に格納された各種プログラムを読み出して、主記憶装置２０６に展開して実行することで、後述するようなレポート出力処理を含む各種処理を実現する。

二次記憶装置２０８は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Flash Solid State Drive）などで構成される。二次記憶装置２０８には、典型的には、ＯＳ２２２と、制御装置１００との間で異常検知機能に関するデータを遣り取りするためのＰＬＣインターフェイスプログラム２２４と、サポート装置２００において実行されるユーザプログラムの作成、作成したユーザプログラムのデバッグ、システム構成の定義、各種パラメータの設定などを行うための開発プログラム２２６と、データマイニングツール２４０を実現するためのデータマイニングプログラム２２８と、モデル生成ツール２５０を実現するためのモデル生成プログラム２３０とが格納される。二次記憶装置２０８には、図４に示すプログラム以外の必要なプログラムが格納されてもよい。

サポート装置２００は、光学ドライブ２０４を有しており、コンピュータ読取可能なプログラムを非一過的に格納する記録媒体２０５（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、その中に格納されたプログラムが読取られて二次記憶装置２０８などにインストールされる。

サポート装置２００で実行される各種プログラムは、コンピュータ読取可能な記録媒体２０５を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールするようにしてもよい。また、本実施の形態に係るサポート装置２００が提供する機能は、ＯＳ２２２が提供するモジュールの一部を利用する形で実現される場合もある。

ＵＳＢコントローラ２１２は、ＵＳＢ接続を介して制御装置１００との間のデータの遣り取りを制御する。ネットワークコントローラ２１４は、任意のネットワークを介した他の装置との間のデータの遣り取りを制御する。

入力部２１６は、キーボードやマウスなどで構成され、ユーザ操作を受付ける。表示部２１８は、ディスプレイ、各種インジケータ、プリンタなどで構成され、プロセッサ２０２からの処理結果などを出力する。

図４には、プロセッサ２０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

＜Ｃ．レポート出力処理＞
次に、本実施の形態に係るレポート出力処理について説明する。

図５は、本実施の形態に係る制御システム１の異常検知を行うための処理の概要を示す模式図である。図５を参照して、異常検知エンジン１５０は、モデル１６０を有している。モデル１６０には、１または複数の特徴量１５２が入力され、モデル１６０からは、入力した特徴量１５２から算出されるスコアが出力される。モデル１６０から出力されるスコアは、例えば、しきい値を用いて評価される（しきい値評価処理１５４）。図５には、Ｎ個の特徴量が入力される例を示すが、入力される特徴量の数は、特に制限されず、１個以上であればよい。

特徴量１５２は、フィールドからの情報（時系列データの一部）から任意の方法で算出される情報である。特徴量１５２としては、例えば、最大値、最小値、中間値、平均値、標準偏差など、任意の値を用いることができる。なお、時系列データそのままを特徴量として用いることもできる。

図５に示す例では、イベント１に対応するモデル１が用いられている例を示すが、モデル１６０は、検出対象の事象（監視対象のイベント）毎に生成されてもよい。

モデル１６０から出力されるスコアは、典型的には、１次元の値であるが、多次元の値を採用してもよい。多次元のスコアを採用する場合には、評価に用いるしきい値についても、多次元の値を用いることが好ましい。

しきい値としては、１つであってもよいし、複数であってもよい。例えば、異常検知を想定すると、異常がある程度まで進行したことを示す注意（caution）と、異常に至ったことを示す異常（damage）との２種類を用意してもよい。

本実施の形態に係るレポート出力処理は、図５に示すような異常検知エンジン１５０に関連する情報を出力する。

図６は、本実施の形態に係る制御システム１のレポート出力処理の内容を説明するための概略図である。図６を参照して、サポート装置２００は、異常検知処理に関して、ユーザインターフェイス画面２７０を出力する。

図６に示すユーザインターフェイス画面２７０は、スコア表示領域２７２と、ヒストグラム表示領域２７４とを含む。図６においては、３つのイベントのそれぞれについて算出された特徴量が表示されている。

すなわち、スコア表示領域２７２においては、各イベントについて算出された特徴量の時間的変化が表示されている。より具体的には、スコア表示領域２７２に表示されるグラフの横軸は、フレームと呼ばれる所定の時間区間毎に区切られている。各時間区間において収集された時系列データから算出された特徴量が表示される。

なお、スコア表示領域２７２を切り替えて、選択された１または複数の特徴量の時間的変化を表示するようにしてもよい。

さらに、スコア表示領域２７２には、設定されているしきい値２７６が表示されている。ユーザは、しきい値２７６を任意の値に調整することができる。

ヒストグラム表示領域２７４には、対応するスコア表示領域２７２に表示される特徴量の時間的変化（各時間区間における特徴量）のヒストグラムが表示される。

ユーザは、ユーザインターフェイス画面２７０を参照しながら、選択した特徴量の妥当性、スコアを算出するモデル１６０の妥当性、設定されているしきい値２７６の妥当性などを確認できる。また、ユーザは、必要に応じて、しきい値２７６を変更することもできる。

サポート装置２００は、図６に示すユーザインターフェイス画面２７０に対応して、例えば、レポート２７８を出力することができる。図６に示されるレポート２７８は、表形式として出力されており、１または複数のレポート要素２８０を含む。

図６に示すように、レポート２７８においては、レポート要素２８０の各々は、紙面横方向（第１の方向）に情報が並べて配置されており、レポート要素２８０の間は、紙面縦方向（第２の方向）に並べて配置されている。

通常、レポート２７８には、予め定められた設定あるいはユーザ設定などに従って、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせた複数のレポート要素２８０が含まれることになる。図６に示す例では、イベントを異ならせたレポート要素２８０（複数のイベント毎のレポート要素２８０）がレポート２７８に含まれている。

但し、同一のイベントについても、対象期間を異ならせた複数のレポート要素２８０がレポート２７８に含まれていてもよいし、モデル１６０を異ならせた（例えば、モデル１６０の生成時期やモデルバージョンンが異なる）複数のレポート要素２８０がレポート２７８に含まれていてもよい。

レポート要素２８０の各々は、スコア表示項２８１と、特徴量表示項２８２と、しきい値項２８３，２８４と、正答率項２８５と、見逃し率項２８６と、見過ぎ率項２８７と、異常確率項２８８と、コメント項２８９とを含む。レポート要素２８０毎に、各項に対応する情報が格納される。

スコア表示項２８１には、監視対象のイベント毎に、算出されたスコアの時間的変化が画像として貼り付けられている。

特徴量表示項２８２には、監視対象のイベント毎に、算出された特徴量の時間的変化が画像として貼り付けられている。なお、複数の特徴量からスコアが算出される場合には、特定の１つの特徴量の時間的変化のみが表示されてもよいし、同一の表示領域に複数の特徴量の時間的変化が表示されてもよい。

正答率項２８５、見逃し率項２８６、および、見過ぎ率項２８７には、現在設定されているモデル１６０による異常検知の性能を示す値が格納される。より具体的には、正答率項２８５には、異常状態を異常状態と正しく判断した場合（ＴＰ：true positive）と、正常状態を正常状態と正しく判断した場合（ＴＮ：true negative）との合計の割合が格納される。見逃し率項２８６には、異常状態を正常状態と誤って判断した場合（ＦＮ：false negative）との合計の割合が格納される。見過ぎ率項２８７には、正常状態を異常状態と誤って判断した場合（ＴＮ：true negative）との合計の割合が格納される。

なお、モデル１６０の性能指標としては、正答率、見逃し率、見過ぎ率のすべてを用いる必要はなく、これらのうち少なくとも１つを含めるようにすればよい。一方で、図６に示すレポート２７８の内容は一例であり、モデル１６０について別のあるいは追加の性能指標を出力するようにしてもよい。モデル１６０の性能指標としては、例えば、感度、検出率、特異度、精度、適合率、ＲＯＣ曲線、ＰＲ曲線などが挙げられる。

このように、レポート要素２８０の各々は、特定のイベントに対応するモデル１６０に入力される特徴量の時間的変化（特徴量表示項２８２）と、スコアの時間的変化（スコア表示項２８１）と、モデル１６０の性能指標（正答率項２８５、見逃し率項２８６、および、見過ぎ率項２８７）とを含む。

しきい値項２８３，２８４には、対応するモデル１６０に設定されているしきい値が格納される。より具体的には、しきい値項２８３，２８４には、スコアを評価するためのしきい値２７６の値が格納される。図６に示す例では、２つのしきい値２７６が設定されている場合に、それぞれの値が格納されている状態を示す。

異常確率項２８８には、異常状態と判断されるサンプルが発生した割合が格納される。

コメント項２８９には、特記事項が格納されてもよい。基本的には、ユーザがレポート２７８を利用する際に、必要に応じて追記することになる。

さらに、各種の分析や管理を容易化できるように、さらに項目を追加してもよい。

図７は、本実施の形態に係る制御システム１により出力されるレポート２７８の別の一例を示す模式図である。図７に示されるレポート２７８は、図６に示されるレポート２７８に加えて、イベントＩＤ項２９０と、モデルＩＤ項２９１と、タイムスタンプ項２９２とを含む。

イベントＩＤ項２９０には、対応するイベントを特定するための識別情報が格納される。イベントＩＤ項２９０に格納される識別情報は、イベントを特定し易いように、所定の規則に従って定めてもよい。モデルＩＤ項２９１には、対応するモデル１６０を特定するための識別情報が格納される。モデルＩＤ項２９１に格納される識別情報は、対応するモデル１６０自体から算出されるハッシュ値などを用いてもよい。タイムスタンプ項２９２には、対応する情報が収集された日時の情報（タイムスタンプ）が格納される。

レポート２７８は、同一のイベントについて複数の情報（例えば、収集時刻が異なる）を含む場合もある。また、レポート２７８は、同一のイベントについて複数の情報（例えば、収集時刻および／またはモデルバージョンが異なる）を含む場合もある。このような場合には、１または複数の項に格納される情報を用いて、対象となる情報を抽出および集約してもよい。

レポート２７８のタイトル列２９４に含まれる任意の項は選択可能になっており、いずれかの項が選択されると、選択された項についてソート（例えば、昇順あるいは降順の並び替え）することができる。あるいは、選択された１または複数の項について任意の条件でフィルタリングできるようにしてもよい。

図７に示されるレポート２７８は、類似する情報を特定するためのフラグ項２９３をさらに含んでいてもよい。例えば、スコアの時間的変化（スコア表示項２８１）、および／または、特徴量の時間的変化（特徴量表示項２８２）が互いに類似するか否かを判断するようにしてもよい。時間的変化（時間波形）の類似性は、例えば、時間波形の標準偏差、時間波形のピーク値、時間波形同士の相関などを用いて評価できる。その場合には、選択したイベントの情報に関連する情報が探索され、探索された情報のフラグ項２９３は、チェックされる。

あるいは、上述したような類似性の判断を自動的に行うのではなく、ユーザが任意にチェックするようにしてもよい。この場合には、ユーザがレポート２７８に表示される情報を確認しつつ、注目するものにチェックし、チェックされた情報をまとめて出力するような使用形態が想定される。

特徴量表示項２８２には、監視対象のイベント毎に、算出された特徴量の時間的変化が画像として貼り付けられている。なお、複数の特徴量からスコアが算出される場合には、特定の１つの特徴量の時間的変化のみが表示されてもよいし、同一の表示領域に複数の特徴量の時間的変化が表示されてもよい。

レポート２７８として出力される複数のイベントのグループについては、任意に設定できるようにしてもよいし、共通の製造ラインなどに関連するものといった条件でグループ化してもよい。

図８は、本実施の形態に係る制御システム１により出力されるレポート２７８の利用方法の一例を示す図である。なお、説明の便宜上、図６および図７に示される、しきい値項２８３，２８４、正答率項２８５、見逃し率項２８６、および、見過ぎ率項２８７などを、性能指標項２９６として総称している。

図８（Ａ）には、レポート２７８のイベントＩＤ項２９０に格納される値を用いてフィルタリングした例を示す。例えば、レポート２７８に特定のイベントについての情報が複数含まれているような場合には、イベントＩＤ項２９０でフィルタリングあるいはソートすることで、特定のイベント（図８（Ａ）に示す例では、ＩＤが「００」のイベント）についての情報をまとめて表示することができる。

このような特定のイベントについての情報をまとめて表示することで、モデル１６０の妥当性などを時間経過とともに表示することができる。また、特定のイベントに対応するモデル１６０の生成過程などを事後的に確認するようなこともできる。

図８（Ｂ）には、レポート２７８のタイムスタンプ項２９２に格納される値を用いてフィルタリングした例を示す。例えば、レポート２７８に所定期間に亘る情報が含まれているような場合には、タイムスタンプ項２９２でフィルタリングあるいはソートすることで、特定の期間あるいは特定のタイミングで発生したイベントについての情報をまとめて表示することができる。

このような同一の対象機関に発生したイベントについての情報をまとめて表示することで、あるイベントに関連する情報を一見して確認でき、発生したイベントに対する原因究明や対策の決定などを容易化できる。

図８（Ｃ）には、レポート２７８のフラグ項２９３を用いてフィルタリングした例を示す。例えば、スコアの時間的変化（スコア表示項２８１）、および／または、特徴量の時間的変化（特徴量表示項２８２）が互いに類似する情報については、フラグ項２９３がチェックされることになる。そのため、フラグ項２９３がチェック済になっている情報のみを抽出することで、類似した時間波形を示す情報をまとめて表示できる。

このような傾向が類似する情報をまとめて表示することで、モデル１６０の更新あるいは生成に用いる学習データの収集などを容易に行うこともできる。

図８（Ａ）～図８（Ｃ）に示すように、レポート２７８は、レポート要素２８０のソートまたはフィルタが可能に構成されていてもよい。

図９は、実施の形態に係る制御システム１により出力されるレポート２７８における時間波形の別の表示例を示す模式図である。図９を参照して、選択されたイベントの情報について、スコアの時間的変化（スコア表示項２８１）と特徴量の時間的変化（特徴量表示項２８２）とを重ねて表示してもよい。このようにスコアおよび当該スコアを算出するために利用された特徴量を共通の時間軸上で表示することで、特徴量の選択およびスコアの妥当性などを容易に確認できる。

レポート２７８は、サポート装置２００からの指令によって紙媒体上に構成されてもよいし、表計算アプリケーション（例えば、マイクロソフト社のＥｘｃｅｌ（登録商標）など）のデータフォーマットで出力してもよい。

表計算アプリケーションのデータフォーマットでレポート２７８が生成および出力される場合には、上述したような選択等の機能を表計算アプリケーションが提供するプログラム実行環境を利用して実現してもよい。より具体的には、レポート２７８は、上述したような情報に加えて、ソート、フィルタリング、探索などを行うためのプログラム（例えば、マクロと称されるプログラムコードなど）を含んでいてもよい。すなわち、レポート２７８は、レポート要素２８０のソートまたはフィルタを実現するためのコードを含んでいてもよい。

あるいは、サポート装置２００が提供する表示機能を利用して、上述したようなソート、フィルタリング、探索などを実現するようにしてもよい。

このようなレポート２７８を利用することで、機械学習により生成されるモデル１６０の性能などを容易に把握することができる。特に、複数のイベントの各々について、対応する情報をまとめて１つのレポート２７８として出力することで、検知性能が相対的に低いイベントを特定することが容易になり、また、モデル１６０を更新する必要があるイベントを特定することが容易になる。さらに、レポート２７８を利用することで、モデル１６０の更新や新たなモデル１６０の生成を容易化できる。

＜Ｄ．機能構成例＞
次に、本実施の形態に係るレポート出力処理を実現するための機能構成例について説明する。

図１０は、本実施の形態に係るレポート出力処理を実現するための機能構成例を示す模式図である。図１０に示す各機能は、典型的には、サポート装置２００のプロセッサ２０２が開発プログラム２２６（図２）を実行することで実現される。

図１０を参照して、サポート装置２００は、レポート出力ツール２６０（図２）に関する機能構成として、時系列データ取得部２６１と、統計データ算出部２６２と、特徴量スコア算出部２６３と、モデル管理部２６４と、モデル性能算出部２６５と、レポート生成部２６６と、レポート管理部２６７と、探索部２６８と、表示編集部２６９とを含む。

時系列データ取得部２６１は、制御対象から収集された情報の時系列データを制御装置１００から取得するための取得部に相当する。より具体的には、時系列データ取得部２６１は、制御装置１００のＴＳＤＢ１４０（図２）から時系列データを取得する。時系列データ取得部２６１が取得する時系列データは、ユーザが予め設定する条件に従って選択されてもよいし、モデル１６０の更新および生成、レポート２７８の出力などの処理に応じて、適宜選択されてもよい。

統計データ算出部２６２は、取得した時系列データを解析して、統計データ（時間波形の最大値、最小値、中間値、平均値、標準偏差）を算出する。統計データ算出部２６２は、取得した時系列データに付随するしきい値などの情報を取得することもできる。

特徴量スコア算出部２６３は、時系列データに基づいて、対応するモデル１６０に入力される特徴量、および、モデル１６０から出力されるスコアを算出するための算出部に相当する。すなわち、特徴量スコア算出部２６３は、特徴量スコア算出部２６３は、時系列データ取得部２６１により取得された時系列データから特徴量およびスコアを算出する。なお、時系列データ取得部２６１が、時系列データとして、特徴量およびスコアの時間波形を取得する場合には、特徴量スコア算出部２６３での特徴量およびスコアの算出は必ずしも必要ない。この場合には、制御装置１００が運用中に算出した特徴量およびスコアが用いられることになる。

モデル管理部２６４は、生成されるモデル１６０のバージョンなどを管理する。モデル管理部２６４は、モデル１６０の管理に関する情報として、モデル生成履歴１６２を保持および更新する。

モデル性能算出部２６５は、時系列データに基づいて、モデル１６０の性能指標を算出するための算出部に相当する。性能指標としては、上述したように、正答率、見逃し率、見過ぎ率、異常確率、感度、検出率、特異度、精度、適合率、ＲＯＣ曲線、ＰＲ曲線などを含んでいてもよい。

レポート生成部２６６は、取得した時系列データに基づいて、モデル１６０に関するレポートを生成するための生成部に相当する。より具体的には、レポート生成部２６６は、統計データ算出部２６２から出力される統計データと、特徴量スコア算出部２６３から出力される（あるいは、時系列データ取得部２６１により取得される）特徴量およびスコアと、モデル性能算出部２６５から出力されるモデル１６０の性能指標とを利用して、レポート２７８を生成および出力する。

レポート管理部２６７は、生成されるレポート２７８を管理する。例えば、レポート管理部２６７は、レポート２７８が生成された日時（タイムスタンプ）を付与し、あるいは、それぞれのレポート２７８において用いられたモデル１６０のバージョンや識別情報などを保持する。

探索部２６８は、レポート２７８に含まれる特徴量の時間的変化および／またはスコアの時間的変化の間で類似するものを検索する。より具体的には、探索部２６８は、図８（Ｃ）を参照して説明したような処理を実現する。

表示編集部２６９は、レポート２７８を表示あるいは編集するための処理を提供する。但し、レポート２７８が表計算アプリケーションのデータフォーマットで出力される場合には、レポート２７８を表示するための専用機能を実装しなくてもよい。

＜Ｅ．処理手順＞
次に、本実施の形態に係るレポート出力に係る処理手順について説明する。

図１１は、本実施の形態に係るレポート出力処理に係る処理手順を示すフローチャートである。図１１に示す各ステップは、典型的には、サポート装置２００のプロセッサ２０２が開発プログラム２２６（図２）を実行することで実現される。

図１１を参照して、ユーザからのレポート出力要求を受付けると（ステップＳ１００においてＹＥＳ）、サポート装置２００は、制御装置１００から必要な時系列データを取得する（ステップＳ１０２）。すなわち、サポート装置２００は、制御対象から収集された情報の時系列データを制御装置１００から取得する。そして、サポート装置２００は、取得した時系列データを解析して、統計データを算出する（ステップＳ１０４）。

また、サポート装置２００は、取得した時系列データに特徴量およびスコアの時間波形が含まれているか否かを判断する（ステップＳ１０６）。

取得した時系列データに特徴量およびスコアの時間波形が含まれていなければ（ステップＳ１０６においてＮＯ）、サポート装置２００は、取得した時系列データから特徴量およびスコアの時間波形を算出する（ステップＳ１０８）。取得した時系列データに特徴量およびスコアの時間波形が含まれていれば（ステップＳ１０６においてＹＥＳ）、ステップＳ１０８の処理はスキップされる。

サポート装置２００は、対象となるモデル１６０を選択し（ステップＳ１１０）、選択したモデル１６０の各々について性能指標を算出する（ステップＳ１１２）。

サポート装置２００は、統計データと、特徴量およびスコアと、モデル１６０の性能指標とを利用して、レポート２７８を生成して出力する（ステップＳ１１４）。すなわち、サポート装置２００は、取得した時系列データに基づいて、モデル１６０に関するレポート２７８を生成する。

併せて、サポート装置２００は、生成したレポート２７８についての情報を管理情報として追加する（ステップＳ１１６）。

以上のような手順によって、レポート出力に係る処理が完了する。

＜Ｆ．変形例＞
上述の説明においては、サポート装置２００がレポート出力処理を主体的に実行する構成例について説明したが、レポート出力処理は、サポート装置２００と別の装置との連携によって実現してもよいし。サポート装置２００とは別の装置（例えば、クラウド上のコンピューティングリソース）によって実現してもよい。すなわち、本実施の形態に係るレポート出力処理を実装するハードウェアはどのようなものであってもよい。

上述の説明においては、表形式のレポート２７８の例を説明したが、上述したような情報の提示ができれば、レポート２７８のスタイルやフォーマットについては、どのようなものであってもよい。

＜Ｇ．付記＞
上述したような本実施の形態は、以下のような技術思想を含む。
［構成１］
制御対象を制御するための制御装置（１００）に接続される情報処理装置（２００）であって、前記制御装置は、前記制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル（１６０）、を少なくとも１つ有しており、前記情報処理装置は、
前記制御対象から収集された情報の時系列データを前記制御装置から取得する取得部（２６１）と、
前記取得した時系列データに基づいて、前記学習済モデルに関するレポート（２７８）を生成する生成部（２６６）とを備え、
前記レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化（２８２）と、当該学習済モデルから出力されるスコアの時間的変化（２８１）と、当該学習済モデルの性能指標（２８５，２８６，２８７；２９６）とを含むレポート要素（２８０）を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む、情報処理装置。
［構成２］
前記レポートにおいて、
前記レポート要素の各々は、第１の方向に情報が並べて配置されており、
前記レポート要素の間は、第２の方向に並べて配置されている、構成１に記載の情報処理装置。
［構成３］
前記時系列データに基づいて、対応する学習済モデルの性能指標を算出する第１の算出部（２６５）をさらに備え、
前記性能指標は、正答率、見逃し率、見過ぎ率のうち、少なくとも１つを含む、構成１または２に記載の情報処理装置。
［構成４］
前記レポート要素の各々は、対応する学習済モデルに設定されているしきい値（２８３，２８４）を含む、構成１～３のいずれか１項に記載の情報処理装置。
［構成５］
前記レポートは、前記レポート要素のソートまたはフィルタが可能に構成される、構成１～４のいずれか１項に記載の情報処理装置。
［構成６］
前記レポートは、前記レポート要素のソートまたはフィルタを実現するためのコードを含む、構成５に記載の情報処理装置。
［構成７］
前記時系列データに基づいて、対応する学習済モデルに入力される特徴量、および、当該学習済モデルから出力されるスコアを算出する第２の算出部（２６３）をさらに備える、構成１～６のいずれか１項に記載の情報処理装置。
［構成８］
前記レポートに含まれる時間的変化の間で類似するものを検索する検索部（２６８）をさらに備える、構成１～５のいずれか１項に記載の情報処理装置。
［構成９］
制御対象を制御するための制御装置（１００）と、
前記制御装置に接続される情報処理装置（２００）とを備え、
前記制御装置は、前記制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル（１６０）、を少なくとも１つ備え、
前記情報処理装置は、
前記制御対象から収集された情報の時系列データを前記制御装置から取得する取得部（２６１）と、
前記取得した時系列データに基づいて、前記学習済モデルに関するレポートを生成する生成部（２７８）とを備え、
前記レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化（２８２）と、当該学習済モデルから出力されるスコアの時間的変化（２８１）と、当該学習済モデルの性能指標（２８５，２８６，２８７；２９６）とを含むレポート要素（２８０）を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む、制御システム。
［構成１０］
制御対象を制御するための制御装置（１００）に関するレポートを出力するレポート出力方法であって、前記制御装置は、前記制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル（１６０）、を少なくとも１つ有しており、前記レポート出力方法は、
前記制御対象から収集された情報の時系列データを前記制御装置から取得するステップ（Ｓ１０２）と、
前記取得した時系列データに基づいて、前記学習済モデルに関するレポートを生成するステップ（Ｓ１１４）とを備え、
前記レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化（２８２）と、当該学習済モデルから出力されるスコアの時間的変化（２８１）と、当該学習済モデルの性能指標（２８５，２８６，２８７；２９６）とを含むレポート要素（２８０）を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む、レポート出力方法。

＜Ｈ．利点＞
本実施の形態に係る情報処理装置は、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせた複数のレポート要素を含むレポートを生成する。このようなレポートを用いることで、学習済モデル自体の妥当性をより容易に評価できる。レポートとして出力されるので、例えば、生成した学習済モデルについて、ユーザ間での共有、上司や客先への報告などに用いることができる。さらに、レポートを蓄積することで、学習済モデルについての過去の履歴管理も容易になる。このように、レポートを用いることで、学習済モデルに用いられたデータや設定したしきい値などの情報の第三者への説明などを容易に行うことができる。

また、本実施の形態に係る情報処理装置が出力するレポートは、複数のレポート要素についてソートあるいはフィルタが可能であるので、解析の対象となるレポート要素を容易に抽出することができる。これによって、学習済モデルの再生成や更新も容易に行うことができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 制御システム、２，４ フィールドバス、６ 上位ネットワーク、１０ フィールド装置群、１２ リモートＩ／Ｏ装置、１４ リレー群、１６，１２４ Ｉ／Ｏユニット、１８ サーボドライバ、２０ サーボモータ、３０ データ収集フェーズ、３２ データ解析フェーズ、３４ 運用フェーズ、１００ 制御装置、１０２，２０２ プロセッサ、１０４ チップセット、１０６，２０６ 主記憶装置、１０８，２０８ 二次記憶装置、１１０ 上位ネットワークコントローラ、１１２，２１２ ＵＳＢコントローラ、１１４ メモリカードインターフェイス、１１６ メモリカード、１１８，１２０ フィールドバスコントローラ、１２２ 内部バスコントローラ、１３０ ＰＬＣエンジン、１３１ システムプログラム、１３２ ユーザプログラム、１３４ ライブラリ、１３６ データ管理部、１４２ 時系列データ、１５０ 異常検知エンジン、１５２ 特徴量、１５４ 評価処理、１６０ モデル、１６２ モデル生成履歴、２００ サポート装置、２０４ 光学ドライブ、２０５ 記録媒体、２１４ ネットワークコントローラ、２１６ 入力部、２１８ 表示部、２２０ バス、２２２ ＯＳ、２２４ インターフェイスプログラム、２２６ 開発プログラム、２２８ データマイニングプログラム、２３０ モデル生成プログラム、２４０ データマイニングツール、２４２ 特徴量生成処理、２４４ 特徴量選択処理、２４６ モデル生成処理、２４８ 設定処理、２５０ モデル生成ツール、２５２ モデル更新処理、２５４ 調整処理、２６０ レポート出力ツール、２６１ 時系列データ取得部、２６２ 統計データ算出部、２６３ 特徴量スコア算出部、２６４ モデル管理部、２６５ モデル性能算出部、２６６ レポート生成部、２６７ レポート管理部、２６８ 探索部、２６９ 表示編集部、２７０ ユーザインターフェイス画面、２７２ スコア表示領域、２７４ ヒストグラム表示領域、２７６ しきい値、２７８ レポート、２８０ レポート要素、２８１ スコア表示項、２８２ 特徴量表示項、２８３，２８４ しきい値項、２８５ 正答率項、２８６ 見逃し率項、２８７ 見過ぎ率項、２８８ 異常確率項、２８９ コメント項、２９０ イベントＩＤ項、２９１ モデルＩＤ項、２９２ タイムスタンプ項、２９３ フラグ項、２９４ タイトル列、２９６ 性能指標項、４００ サーバ、５００ 表示装置。

Claims (10)

1. 制御対象を制御するための制御装置に接続される情報処理装置であって、前記制御装置は、前記制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル、を少なくとも１つ有しており、前記情報処理装置は、
   前記制御対象から収集された情報の時系列データを前記制御装置から取得する取得部と、
   前記取得した時系列データに基づいて、前記学習済モデルに関するレポートを生成する生成部とを備え、
   前記レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化と、当該学習済モデルから出力されるスコアの時間的変化と、当該学習済モデルの性能指標とを含むレポート要素を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む、情報処理装置。
2. 前記レポートにおいて、
   前記レポート要素の各々は、第１の方向に情報が並べて配置されており、
   前記レポート要素の間は、第２の方向に並べて配置されている、請求項１に記載の情報処理装置。
3. 前記時系列データに基づいて、対応する学習済モデルの性能指標を算出する第１の算出部をさらに備え、
   前記性能指標は、正答率、見逃し率、見過ぎ率のうち、少なくとも１つを含む、請求項１または２に記載の情報処理装置。
4. 前記レポート要素の各々は、対応する学習済モデルに設定されているしきい値を含む、請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記レポートは、前記レポート要素のソートまたはフィルタが可能に構成される、請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記レポートは、前記レポート要素のソートまたはフィルタを実現するためのコードを含む、請求項５に記載の情報処理装置。
7. 前記時系列データに基づいて、対応する学習済モデルに入力される特徴量、および、当該学習済モデルから出力されるスコアを算出する第２の算出部をさらに備える、請求項１～６のいずれか１項に記載の情報処理装置。
8. 前記レポートに含まれる時間的変化の間で類似するものを検索する検索部をさらに備える、請求項１～５のいずれか１項に記載の情報処理装置。
9. 制御対象を制御するための制御装置と、
   前記制御装置に接続される情報処理装置とを備え、
   前記制御装置は、前記制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル、を少なくとも１つ備え、
   前記情報処理装置は、
   前記制御対象から収集された情報の時系列データを前記制御装置から取得する取得部と、
   前記取得した時系列データに基づいて、前記学習済モデルに関するレポートを生成する生成部とを備え、
   前記レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化と、当該学習済モデルから出力されるスコアの時間的変化と、当該学習済モデルの性能指標とを含むレポート要素を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む、制御システム。
10. 制御対象を制御するための制御装置に関するレポートを出力するレポート出力方法であって、前記制御装置は、前記制御対象から収集される情報から算出される特徴量が入力されて、所定のイベントの可能性を示すスコアを出力する学習済モデル、を少なくとも１つ有しており、前記レポート出力方法は、
    前記制御対象から収集された情報の時系列データを前記制御装置から取得するステップと、
    前記取得した時系列データに基づいて、前記学習済モデルに関するレポートを生成するステップとを備え、
    前記レポートは、特定のイベントに対応する学習済モデルに入力される特徴量の時間的変化と、当該学習済モデルから出力されるスコアの時間的変化と、当該学習済モデルの性能指標とを含むレポート要素を、イベント、学習済モデル、対象期間のうち少なくとも１つを異ならせて、複数含む、レポート出力方法。

Images