JP7494407B1 - 情報処理システム、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】設備の異常判定の過検知を抑制しながら、当該異常判定の精度の向上に要する人的資源を削減する。【解決手段】情報処理システムは、設備の状態を監視する。情報処理システムは、データ収集部と、処理部とを備える。データ収集部は、第１時間間隔毎に設備に関する第１状態データを取得するとともに、第１時間間隔より長い第２時間間隔毎に設備に関する第２状態データを取得する。処理部は、第１状態データおよび第２状態データの各々の時系列データに基づいて、設備が正常か否かの判定を行う。第１状態データの時系列データは、第１波形データＷｖ１を含む。処理部は、第２状態データの時系列データに対する補間処理によって第２波形データＷｖ２を生成し、第１波形データＷｖ１および第２波形データＷｖ２に対する加算処理によって第３波形データＷｖ３を生成し、第３波形データＷｖ３を用いて上記判定を行う。【選択図】図３

Description

本開示は、情報処理システム、情報処理方法、およびプログラムに関する。

従来、機械学習によって学習済みとされたモデルを用いて、設備が発する音が正常状態であるのか異常状態であるのかを判定する構成が知られている。たとえば、特許第７１４２５３０号（特許文献１）には、設備から発せられる音を集音装置によって集音し、集音装置によって集音された音が正常状態であるか否かを判定する情報処理システムが開示されている。当該情報処理システムにおいては、学習済みモデルによって正常データと判定されなかった音データをスピーカから出力させて、ユーザ操作に応じて、正常データであることを示すラベルおよび異常データであることを示すラベルのいずれかを当該音データに付与することができる。当該情報システムによれば、精度の高い異音判定を可能とするための学習用データを容易に得ることができる。

特許第７１４２５３０号

特許文献１に開示された情報処理システムによれば、設備の異常判定の運用開始後において、ユーザによってラベル付けされた音データを学習用データとする追加学習によって、学習済みモデルによる過検知（実際は正常な場合を異常な場合と判定すること）を抑制することができる。しかし、当該学習用データの作成にはユーザによるラベル付与の作業が必要になるため、学習済みモデルの精度の向上に多くの人的資源が割かれ得る。

本開示は、上述のような課題を解決するためになされたものであり、その目的は、設備の異常判定の過検知を抑制しながら、当該異常判定の精度の向上に要する人的資源を削減することである。

本開示の一局面に係る情報処理システムは、設備の状態を監視する。情報処理システムは、データ収集部と、処理部とを備える。データ収集部は、第１時間間隔毎に設備に関する第１状態データを取得するとともに、第１時間間隔より長い第２時間間隔毎に設備に関する第２状態データを取得する。処理部は、第１状態データおよび第２状態データの各々の時系列データに基づいて、設備が正常か否かの判定を行う。第１状態データの時系列データは、第１波形データを含む。処理部は、第２状態データの時系列データに対する補間処理によって第２波形データを生成し、第１波形データおよび第２波形データに対する加算処理によって第３波形データを生成し、第３波形データを用いて上記判定を行う。

本開示の他の局面に係る情報処理方法は、設備の状態を監視するための方法である。情報処理方法は、第１時間間隔毎に設備に関する第１状態データを取得するとともに、第１時間間隔より長い第２時間間隔毎に設備に関する第２状態データを取得するステップと、第１状態データおよび第２状態データの各々の時系列データに基づいて、設備が正常か否かの判定を行うステップとを含む。第１状態データの時系列データは、第１波形データを含む。判定を行うステップは、第２状態データの時系列データに対する補間処理によって第２波形データを生成し、第１波形データおよび第２波形データに対する加算処理によって第３波形データを生成し、第３波形データを用いて上記判定を行う。

本開示に係る情報処理システムおよび情報処理方法によれば、取得される時間間隔が互いに異なる第１状態データおよび第２状態データの時系列データから生成された第３波形データを用いて設備が正常か否かの判定を行うことにより、設備の異常判定の過検知を抑制しながら、当該異常判定の精度の向上に要する人的資源を削減することができる。

情報処理システムの構成と、情報処理システムによって監視される工場内の設備とを併せて示す図である。 図１のサーバ装置によるミキシング処理において行われるセンサデータの補間処理の一例を説明するための図である。 図１のサーバ装置によるミキシング処理において行われる音データの波形データと、センサデータの波形データとの加算処理を説明するための図である。 図１のサーバ装置によるミキシング処理の設定画面を示す図である。 情報処理システムにおける全体的な処理の流れを説明するためのフロー図である。 データ収集ユニットで音データおよびセンサデータを行うための準備作業の流れを説明するためのフロー図である。 正常モデルである規範モデルの生成処理の流れを説明するためのフロー図である。 規範モデルを利用した設備監視の処理の流れを説明するためのフロー図である。 データ収集ユニットによって得られたデータの処理について説明するための図である。 端末装置で表示される表示画面の例を表した図である。 設備監視に関するタブが選択されたときに端末装置の画面に表示されるデータの一例を説明するための図である。 設備監視に関するタブが選択されたときに端末装置の画面に表示されるデータの他の例を説明するための図である。 設備監視に関するタブが選択されたときに端末装置の画面に表示されるデータのさらに他の例を説明するための図である。 情報処理システムにおいて実行されるラベル付け処理の流れを説明するためのフロー図である。 誤検知モデルの生成処理の流れを説明するためのフロー図である。 異常モデルの生成処理の流れを説明するためのフロー図である。 端末装置において表示される画面を表した図である。 端末装置において表示される画面を表した図である。 （ａ）音データの判定グラフ、（ｂ）温度データの判定グラフ、および（ｃ）音データおよび温度データのミキシングデータの判定グラフを併せて示す図である。 （ａ）音データの判定グラフ、（ｂ）においデータの判定グラフ、および（ｃ）音データおよびにおいデータのミキシングデータの判定グラフを併せて示す図である。 規範モデルと誤検知モデルと異常モデルとを利用した状態監視の処理の流れを説明するためのフロー図である。 端末装置において表示される画面を表した図である。 情報処理システムの機能的構成を説明するための図である。 サーバ装置のハードウェア構成の典型例を表した図である。 端末装置のハードウェア構成の典型例を表した図である。 死活監視の画面を表した図である。

以下、図面を参照しつつ、本開示の各実施の形態に係る情報処理システムについて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜Ａ．システム構成＞
図１は、情報処理システム１の構成と、情報処理システム１によって監視される工場１０００内の設備９００とを併せて示す図である。図１においては、監視対象となる設備９００の例として、配管設備９００Ａ，９００Ｂが示されている。配管設備９００Ａからは漏水Ｄｒという異常が発生している。設備９００は、１つあってもよいし、３つ以上であってもよい。また、設備９００は、配管設備に限定されず、たとえば、機械設備であってもよい。

図１に示されるように、情報処理システム１は、設備監視の中核をなすクラウドシステム１００と、端末装置２００と、複数のデータ収集ユニット３００（データ収集ユニット）とを備える。なお、端末装置２００の数は、１台に限定されるものではない。また、データ収集ユニット３００は、１つであってもよい。

情報処理システム１は、データ収集ユニット３００とクラウドシステム１００とを用いて、設備９００に異常が発生していないかをリアルタイムに監視する。なお、１つのデータ収集ユニット３００によって、１つの設備９００の状態を反映する複数の状態データが取得される。

クラウドシステム１００は、たとえば、サーバ装置１００Ａ（処理部）と、記憶装置１００Ｂとにより構成される。サーバ装置１００Ａは、端末装置２００と通信可能に接続されている。クラウドシステム１００は、サーバ装置単体、あるいは、複数のサーバ装置で構成されていてもよい。サーバ装置１００Ａと、記憶装置１００Ｂとは、互いに通信可能に接続されている。クラウドシステム１００は、少なくとも１つのサーバ装置を含んでいれば、他の装置構成は特に限定されるものではない。

データ収集ユニット３００は、設備９００の近傍に配置されている。データ収集ユニット３００は、サンプリングタイム（第１時間間隔）毎に音データ（第１状態データ）を取得するとともに、音データのサンプリングタイムより長いサンプリングタイム（第２時間間隔）毎にセンサデータ（第２状態データ）を収集する。データ収集ユニット３００は、集音装置３１０と、計測センサ３２０とを含む。

集音装置３１０は、マイクとデータ通信装置とを含む。データ通信装置は、サンプリングタイム（たとえば、１０ｍｓ）毎にマイクで集音された音データ（パケットデータ）を、ネットワークＮＷを介して、サーバ装置１００Ａに送信する。典型的には、データ通信装置は、リアルタイムに音データをサーバ装置１００Ａに送信する。当該音データは、記憶装置１００Ｂに逐次格納される。集音装置３１０は、マイクとデータ通信装置とが一体化したものであってもよい。

計測センサ３２０は、サンプリングタイム（たとえば、１ｓ）毎に計測されたセンサデータ（パケットデータ）を、ネットワークＮＷを介して、サーバ装置１００Ａに送信する。計測センサ３２０は、音以外の値（量あるいはレベル）を計測する。計測センサ３２０のサンプリングタイムは、集音装置３１０のサンプリングタイムよりも長い。計測センサ３２０のサンプリングタイムは、たとえば、集音装置３１０のサンプリングタイムの１００倍以上の時間間隔である。計測センサ３２０によって計測される値には、たとえば、温度、湿度、におい、電流、電圧、回転数、圧力、あるいは流量が含まれる。典型的には、計測センサ３２０は、リアルタイムにセンサデータをサーバ装置１００Ａに送信する。当該センサデータは、記憶装置１００Ｂに逐次格納される。

サーバ装置１００Ａは、記憶装置１００Ｂに蓄積された音データの時系列データ（第１波形データ）およびセンサデータの時系列データに対してミキシング処理を行ってミキシングデータを生成する。サーバ装置１００Ａは、ミキシングデータを設備９００毎に順次解析して、設備９００が、正常であるのか、あるいは異常であるのかを判定する。典型的には、サーバ装置１００Ａは、機械学習によって学習済みとされたモデル（学習済みモデル）を用いて、設備９００が正常であるのか、あるいは異常状態であるのかを判定する。サーバ装置１００Ａは、解析結果を記憶装置１００Ｂに格納する。サーバ装置１００Ａは、解析の結果、異常が発生したと判定した場合には、端末装置２００に対して設備９００で異常が発生している旨をリアルタイムに通知する。詳しくは、サーバ装置１００Ａは、どの設備９００で異常が発生しているかを、端末装置２００のユーザ（保守・監視員９５０）に通知する。

端末装置２００は、サーバ装置１００Ａから収集された各種の状態データを表示可能に構成されている。端末装置２００では、各種の監視画面を表示できる。端末装置２００は、典型的には、ブラウザを用いてサーバ装置１００Ａから提供される各種情報を表示する。

なお、図１においては、データ収集ユニット３００によって収集される波形データが音データの時系列データである場合について説明した。波形データは、音の時系列データに限定されず、たとえば、振動データの時系列データ、あるいは加速度の時系列データであってもよい。

図２は、図１のサーバ装置１００Ａによるミキシング処理において行われるセンサデータの補間処理の一例を説明するための図である。図２（ａ）は、センサデータの値と計測時刻との対応を示すタイムチャートである。図２（ｂ）は、図２（ａ）に対する補間処理によって得られる波形データを示している。

図２（ａ）においては、センサデータに含まれる、サンプリングタイム毎に計測された複数の計測値と複数の計測時刻との組合せであるプロット点のうち、４つのプロット点Ｐ１，Ｐ２，Ｐ３，Ｐ４が示されている。プロット点Ｐ１，Ｐ２，Ｐ３，Ｐ４は、時刻ｔ１，ｔ２，ｔ３，ｔ４（ｔ１＜ｔ２＜ｔ３＜ｔ４）にそれぞれ計測されている。時刻ｔ１，ｔ２，ｔ３，ｔ４のうち、互いに隣接する２つの計測時刻の時間間隔はサンプリングタイムに等しい。プロット点Ｐ１，Ｐ２，Ｐ３，Ｐ４の計測値は、それぞれＡ３，Ａ４，Ａ２，Ａ１（Ａ１＜Ａ２＜Ａ３＜Ａ４）である。

サーバ装置１００Ａは、時系列において互いに隣接する２つのセンサデータの時間間隔において、当該時間間隔の開始時刻あるいは終了時刻のいずれかにおける計測値を振幅値とする、波形データを生成する。当該波形データの周波数は、たとえば４４．１ｋＨｚである。図２（ａ）を例に説明すると、サーバ装置１００Ａは、時間間隔ｔ１～ｔ２において、時刻ｔ１の計測値である振幅Ａ３の波形データを生成する。サーバ装置１００Ａは、時間間隔ｔ２～ｔ３において、時刻ｔ２の計測値である振幅Ａ４の波形データを生成する。サーバ装置１００Ａは、時間間隔ｔ３～ｔ４において、時刻ｔ３の計測値である振幅Ａ２の波形データを生成する。サーバ装置１００Ａは、時間間隔ｔ４～ｔ５において、時刻ｔ４の計測値である振幅Ａ１の波形データを生成する。以下では、図２に示されるような補間処理によって生成されたセンサデータの時系列データをセンサデータの波形データ（第２波形データ）とも称する。

図３は、図１のサーバ装置１００Ａによるミキシング処理において行われる音データの波形データ（音波形データ）Ｗｖ１と、センサデータの波形データ（センサ波形データ）Ｗｖ２との加算処理を説明するための図である。図３に示されるように、音波形データＷｖ１およびセンサ波形データＷｖ２は、それぞれキューｑａ，ｑｂとして保持される。キューｑａは、少なくとも１つパケットｐａを含む。少なくとも１つパケットｐａは、キューｑｂは、少なくとも１つパケットｐｂを含む。少なくとも１つパケットｐａおよび少なくとも１つパケットｐｂにおいて、対応する順番ｎ（ｎは自然数）の２つのパケットｐａ＿ｎ，ｐｂ＿ｎの計測時刻は互いに同じかあるいは近接している。サーバ装置１００Ａは、２つのパケットｐａ＿ｎ，ｐｂ＿ｎの値に重み付けをして加算し、ミキシングデータＷｖ３（第３波形データ）を生成する。なお、２つのパケットの値に対する重み付けを伴う加算とは、音データのパケットの値に重みα（第１重み）を乗じた値と、当該パケットに対応するセンサデータのパケットの値に重みβ（第２重み）を乗じた値との加算である。音データの重みαに対するセンサデータの重みβの比率を、ミキシング比率とも呼ぶ。たとえば、ミキシング比率が０．２である場合、パケットｐａ＿ｎに１が乗ぜられた値に、パケットｐｂ＿ｎに０．２が乗じられた値が加算される。

図４は、図１のサーバ装置１００Ａによるミキシング処理の設定画面２０５を示す図である。設定画面２０５は、端末装置２００において表示される。図４に示されるように、設定画面２０５には、リストボックスＬｓｔ１，Ｌｓｔ２、追加ボタンＢａ１，Ｂａ２、削除ボタンＢｄ１，Ｂｄ２、数値設定コントロールＮｕｄ、トグルボタンＳｔｇ、および反映ボタンＢｔｎが配置されている。反映ボタンＢｔｎが押下されることにより、設定画面２０５の内容がミキシング処理に反映される。

リストボックスＬｓｔ１には、波形データが列挙される。ユーザは、リストボックスＬｓｔ１に列挙された波形データの中からミキシング処理の対象とされる波形データを選択することができる。図４においては、音波形データＷｖ１１、音波形データＷｖ１２、振動データの波形データ（振動波形データ）Ｗｖ２１、音波形データＷｖ３１、および加速度データの波形データ（加速度波形データ）Ｗｖ３１が示されている。

追加ボタンＢａ１を押下することにより、リストボックスＬｓｔ１に新たな波形データを追加することができる。削除ボタンＢｄ１を押下することにより、選択された波形データをリストボックスＬｓｔ１から削除することができる。

リストボックスＬｓｔ２には、波形データとともにミキシング処理の対象とされるセンサデータの時系列データ（センサ時系列データ）が列挙される。ユーザは、リストボックスＬｓｔ２に列挙されたセンサデータの中からミキシング処理において参照されるセンサデータを選択することができる。図５においては、温度データの時系列データ（温度時系列データ）Ｔｓ１１、温度時系列データＴｓ１２、においデータの時系列データ（におい時系列データ）Ｔｓ２１、電流データの時系列データ（電流時系列データ）Ｔｓ３１、および電圧データの時系列データ（電圧時系列データ）Ｔｓ４１が示されている。

追加ボタンＢａ２を押下することにより、リストボックスＬｓｔ２に新たなミキシング対象データを追加することができる。削除ボタンＢｄ２を押下することにより、リストボックスＬｓｔ２から選択されたミキシング対象データを削除することができる。

数値設定コントロールＮｕｄには、ミキシング比率を入力することができる。当該値は、図３の加算処理における２つのパケットの値に対する重み付けに反映される。ミキシング比率を調節することにより、ミキシングデータに基づく異常判定において、異常データの検出漏れ（実際は異常な場合を正常と判定すること）を抑制することができる。その結果、当該異常判定の検出精度を向上させることができる。

トグルボタンＳｔｇによって、ミキシング処理の有効化および無効化を切り替えることができる。ミキシング処理が有効化されている場合、リストボックスＬｓｔ１，Ｌｓｔ２および数値設定コントロールＮｕｄの内容に基づくミキシング処理が行われる。ミキシング処理が無効化されている場合、ミキシング処理は行われず、リストボックスＬｓｔ１において選択された波形データに基づく異常判定が行われる。

図５は、情報処理システム１における全体的な処理の流れを説明するためのフロー図である。なお、後述する各Ｓ１～Ｓ１１は、自動的に順に実行されるのではなく、典型的には、サーバ装置１００Ａが、ユーザ操作に基づく所定の指示（各ステップを実行させるユーザ指示）を受け付けることにより実行される。また、以下で説明する、規範モデルＭ１、誤検知モデルＭ２、および異常モデルＭ３は、設備９００毎に生成される。なお、以下ではステップを単にＳと記載する。

図５に示されるように、Ｓ１において、クラウドシステム１００は、正常な設備９００から取得された音データとセンサデータとのミキシングデータを学習用データとした機械学習により、規範モデルＭ１（正常モデル）を生成する。Ｓ２において、クラウドシステム１００は、規範モデルＭ１を利用した設備監視を実行する。具体的には、クラウドシステム１００は、規範モデルＭ１を用いて、データ収集ユニット３００によって収集されたデータから生成されたミキシングデータが正常データであるか否かを判定する。

Ｓ３において、規範モデルＭ１によって正常データでないと判定されたミキシングデータに対応する音声データを人間が実際に聞き、人間が異常状態であると判定した場合には、当該ミキシングデータに対して異常状態のラベル付けが行われる。人間が正常状態であると判定した場合（つまり、規範モデルによる判定が誤検知であった場合）には、当該ミキシングデータに対して正常状態のラベル付けが行われる。

Ｓ４において、クラウドシステム１００は、正常状態のラベル付けがされた音データを用いて、誤検知モデルＭ２を生成する。なお、Ｓ３において、正常状態のラベル付けがされたミキシングデータがない場合には、Ｓ４の処理は行われない。

Ｓ５において、クラウドシステム１００は、異常状態のラベル付けがされた音データを用いて、異常モデルＭ３を生成する。なお、Ｓ３において、異常状態のラベル付けがされたミキシングデータがない場合には、Ｓ５の処理は行われない。

Ｓ６において、クラウドシステム１００は、規範モデルＭ１と、誤検知モデルＭ２と、異常モデルＭ３とを利用した設備監視を実行する。Ｓ７において、クラウドシステム１００は、誤検知モデルＭ２を用いて規範モデルＭ１を更新する。Ｓ８において、クラウドシステム１００は、更新後の規範モデルＭ１と、異常モデルＭ３とを利用した設備監視を実行する。なお、Ｓ７の処理は、必須ではなく、実施しなくてもよい。

Ｓ９において、Ｓ３と同様なラベル付け処理がなされる。Ｓ１０において、クラウドシステム１００は、Ｓ９において正常状態のラベル付けがされたミキシングを用いて、誤検知モデルＭ２を更新する。Ｓ１１において、クラウドシステム１００は、Ｓ９において異常状態のラベル付けがされたミキシングデータを用いて、異常モデルＭ３を更新する。

図６は、データ収集ユニット３００で音データおよびセンサデータを行うための準備作業の流れを説明するためのフロー図である。

図６に示されるように、Ｓ２１において、クラウドシステム１００は、集音装置３１０のデータ通信装置の時計の時刻および計測センサ３２０の時計の時刻と、設備９００の時計の時刻と、サーバ装置１００Ａの時計の時刻とを同期させるための操作を受け付ける。また、Ｓ２２において、クラウドシステム１００は、集音装置３１０のマイクの集音時の音量を調整するためのユーザ操作を受け付ける。

Ｓ２３において、クラウドシステム１００は、集音装置３１０のデータ通信装置および計測センサ３２０の各々からサーバ装置１００Ａに対する音データの転送設定をするためのユーザ操作を受け付ける。

上記の調整や設定が完了した後、Ｓ２４において、データ収集ユニット３００は、集音した音および物理量のデータサンプリングを行う。集音装置３１０のサンプリングの周期は、たとえば、４４．１ｋＨｚとすることができる。計測センサ３２０のサンプリングの周期は、たとえば１秒とすることができる。

Ｓ２５において、集音装置３１０は、音データをＰＣＭ（Pulse Code Modulation）音源化する。集音装置３１０のデータ通信装置は、ＰＣＭ音源化された音データ（パケット）をサーバ装置１００Ａに対して送信する。計測センサ３２０は、センサデータ（パケット）をサーバ装置１００Ａに対して送信する。以後、Ｓ２４，Ｓ２５，Ｓ２６の処理が繰り返される。

以下では、図５に示したフロー図の流れに従い、「規範モデルＭ１の生成（Ｓ１）」，「規範モデルＭ１の利用（Ｓ２）」，「誤検知モデルＭ２および異常モデルＭ３の生成（Ｓ３，Ｓ４，Ｓ５）」，「誤検知モデルＭ２および異常モデルＭ３の利用（Ｓ６）」，「規範モデルＭ１の更新（Ｓ７）」の順に説明する。

＜Ｂ．規範モデルＭ１の生成＞
図７は、正常モデルである規範モデルＭ１の生成処理の流れを説明するためのフロー図である。典型的には、規範モデルＭ１は、サーバ装置１００Ａのプロセッサ１５１（図１９参照）が学習用データ（後述する、特徴量）と、所定の学習用プログラムとを用いることにより生成される。

図７に示されるように、Ｓ３１において、サーバ装置１００Ａは、データ収集ユニット３００を用いて、設備９００が正常に動作している場合における音データおよびセンサデータを取得する。Ｓ３２において、サーバ装置１００Ａは、音データおよびセンサデータに対してミキシング処理を行う。Ｓ３２のミキシング処理は、図２に示される補間処理Ｓ３２１および図３に示される加算処理Ｓ３２２を含む。

Ｓ３３において、サーバ装置１００Ａは、ミキシングデータに対して前処理を行う。具体的には、サーバ装置１００Ａは、ミキシングデータを単位時間毎の単位データＤｕに区切る。たとえば、サーバ装置１００Ａは、ミキシングデータをＴｕ秒（１秒以下の所定の秒数）の単位データＤｕに分割する。さらに、前処理として、ノイズ除去、解析対象の周波数帯を設定すること、バンドパスフィルタの適応等がなされる。

Ｓ３４において、サーバ装置１００Ａは、各単位データＤｕから、所定のアルゴリズムを用いて特徴量を抽出する。Ｓ３５において、サーバ装置１００Ａは、抽出された特徴量を用いて機械学習を行う。このような機械学習を繰り返すことにより、規範モデルＭ１が生成される。

なお、サンプリング周波数を４４．１ｋＨｚ、計測可能な周波数をサンプリング周波数の半分、周波数の分解能を１０Ｈｚとすると、特徴量の次元数（入力ベクトルの次元数）は２２０５となる。

＜Ｃ．規範モデルＭ１の利用＞
図８は、規範モデルＭ１を利用した設備監視の処理の流れを説明するためのフロー図である。規範モデルＭ１を生成した時点では、誤検知モデルＭ２および異常モデルＭ３は生成されていないため、情報処理システム１は、規範モデルＭ１のみを用いて設備監視を行う。

図８に示されるように、Ｓ４１において、サーバ装置１００Ａは、データ収集ユニット３００を用いて、設備９００が正常に動作している場合の音データおよびセンサデータを取得するする。Ｓ４２において、サーバ装置１００Ａは、図７のＳ３２と同様に、音データおよびセンサデータに対してミキシング処理を行う。

Ｓ５２において、サーバ装置１００Ａは、Ｓ４１において取得されたデータおよびＳ４２において生成されたミキシングデータを、再生用のデータ（生データ）として記憶装置１００Ｂに記憶させる。詳しくは、サーバ装置１００Ａは、当該データを時刻情報に関連付けて記憶装置１００Ｂに記憶させる。

Ｓ４３において、サーバ装置１００Ａは、図７のＳ３３と同様に、ミキシングデータに対して前処理を行う。具体的には、サーバ装置１００Ａは、ミキシングデータを単位時間毎の単位データＤｕに区切る。

Ｓ４３の後、サーバ装置１００Ａ（詳しくは、プロセッサ１５１）は、Ｓ４４～Ｓ５１の各処理を、単位データＤｕの各々に対して実行する。

Ｓ４４において、プロセッサ１５１は、単位データＤｕから、上記の所定のアルゴリズムを用いて特徴量を抽出する。Ｓ４５において、プロセッサ１５１は、抽出された特徴量を規範モデルＭ１に入力する。Ｓ４６において、プロセッサ１５１は、規範モデルＭ１からの出力を得る。具体的には、規範モデルＭ１（クラスタ）に対する誤差が算出され、当該誤差が出力される。

Ｓ４７において、プロセッサ１５１は、算出された誤差が所定の範囲Ｒ１内であるかいなかを判定する。プロセッサ１５１は、誤差が範囲Ｒ１内であると判定した場合（Ｓ４６においてＹＥＳ）、Ｓ４８において、単位データＤｕを正常データと判定する。なお、範囲Ｒ１内か否かの判定として、たとえば、３σ法を用いればよい。

プロセッサ１５１は、誤差が範囲Ｒ１外であると判定した場合（Ｓ４７においてＮＯ）、Ｓ４９において、単位データＤｕを異常データと仮判定する。次いで、Ｓ５０において、プロセッサ１５１は、異常の報知処理を実行する。詳しくは、サーバ装置１００Ａから端末装置２００に対して所定の警告通知を行う。この場合、端末装置２００は、警告表示等の各種の処理を行う。Ｓ５１において、プロセッサ１５１は、判定結果を記憶装置１００Ｂに記憶させる。Ｓ５０とＳ５１との処理は、並行して行われてもよいし、Ｓ５１の処理がＳ５０の処理の前であってもよい。

図９は、データ収集ユニット３００によって得られたデータの処理について説明するための図である。図９に示されるように、音波形データ、およびミキシングデータは、保存用データＤｓ１，Ｄｓとして記憶装置１００Ｂに保存される。当該ミキシングデータは、判定用データＤｄとしても処理される。つまり、サーバ装置１００Ａは、１つのデータ収集ユニット３００によって得られた音波形データおよびセンサ時系列データから生成されたミキシングデータ（（Ａ）参照））を、保存用データＤｓ（（Ｂ）参照）として保持するとともに、保存用データＤｓとは別に、判定用データＤｄ（（Ｃ）参照）としても保持する。たとえば、プロセッサ１５１が、保存用データＤｓをオリジナルデータとし、当該オリジナルデータをコピーすることにより判定用データＤｄを生成すればよい。保存用データＤｓ１は、集音装置３１０で集音された音のデータそのもの（生データ）であって、ノイズ等の音を取り除く処理を行なっていないデータである。

プロセッサ１５１は、判定用データＤｄを、単位時間Ｔｕ毎の単位データＤｕに区切る。プロセッサ１５１は、上述したように、単位データＤｕ毎に特徴量を抽出する。

図１０は、端末装置２００で表示される表示画面の例を表した図である。図１０に示されるように、画面２０１は、複数のタブ２１１，２１２，２１３，２１４，２１５と、ダッシュボード２７０とを含む。

ダッシュボード２７０は、状態監視の項目２７１と、通信ログの項目２７２と、ツールの項目２７３と、レポートの項目２７４と、アラートの項目２７５とを含む。

端末装置２００のユーザが、タブ２１１を選択すると、死活監視の画面が表示される。死活監視は、データ収集ユニット３００からの「ｐｉｎｇ」を監視することにより行われる。端末装置２００のユーザが、タブ２１２を選択すると、Ｔｒａｐ監視の画面が表示される。端末装置２００のユーザが、タブ２１３を選択すると、Ｓｙｓｌｏｇ監視の画面が表示される。端末装置２００のユーザが、タブ２１４を選択すると、プロトコル監視の画面が表示される。端末装置２００のユーザが、タブ２１５を選択すると、設備監視の画面が表示される。

図１１は、設備監視に関するタブ２１５が選択されたときに端末装置２００の画面に表示されるデータの一例を説明するための図である。図１１に示されるように、端末装置２００は、ミキシングデータの波形２２１を時刻に関連付けて表示する。

図１２は、設備監視に関するタブ２１５が選択されたときに端末装置２００の画面に表示されるデータの他の例を説明するための図である。図１２に示されるように、端末装置２００は、スペクトラム２２２を表示する。

図１３は、設備監視に関するタブ２１５が選択されたときに端末装置２００の画面に表示されるデータのさらに他の例を説明するための図である。図１３に示されるように、端末装置２００は、規範モデルＭ１の出力（「評価値」と表記）と、出力の正常範囲とを示したグラフ２２３を表示する。

波形２２１、スペクトラム２２２、グラフ２２３は、誤検知モデルＭ２および異常モデルＭ３の生成の際に活用することができる。

サーバ装置１００Ａのプロセッサ１５１が単位データＤｕを異常データと判定した場合には、端末装置２００は、画面に警告表示を行う。たとえば、端末装置２００は、画面２０１（図１０参照）に警告表示を示したオブジェクト画像を重畳させることにより、警告表示を行ってもよい。

また、端末装置２００あるいはサーバ装置１００Ａは、端末装置２００の近傍に設置された、図示しない表示灯（たとえば、積層表示灯）を発光させることにより、端末装置２００のユーザ（保守・監視員９５０）に対して異常の発生を通知してもよい。また、サーバ装置１００Ａは、所定のアドレス宛に警告メールを送信してもよい。

＜Ｄ．誤検知モデルＭ２および異常モデルＭ３の生成＞
最初に、誤検知モデルＭ２および異常モデルＭ３を生成するための事前処理として、データへのラベル付け処理について説明する。次いで、誤検知モデルＭ２および異常モデルＭ３の生成について説明する。

図１４は、情報処理システム１において実行されるラベル付け処理の流れを説明するためのフロー図である。図１４に示されるように、Ｓ６１において、端末装置２００のプロセッサ２５１は、保存用データＤｓのうち、規範モデルＭ１によって異常データと仮判定された単位データＤｕに対応する部分データＤｐを特定し、部分データＤｐに対応する保存用データＤｓ１の部分データＤｐ１を再生する。具体的には、プロセッサ２５１は、保存用データＤｓ１のうちの部分データＤｐ１をスピーカから出力する。端末装置２００は、サーバ装置１００Ａから部分データＤｐ１を取得することにより、当該部分データＤｐ１を再生する。

より詳しくは、サーバ装置１００Ａは、異常データと判定された単位データＤｕの時間情報に基づき、当該時間情報が示す時間帯の部分データＤｐ，Ｄｐ１を保存用データＤｓ，Ｄｓ１からそれぞれ抽出する。サーバ装置１００Ａは、抽出された部分データＤｐ１を端末装置２００に送信する。端末装置２００は、受信した部分データＤｐ１を再生する。

たとえば、端末装置２００は、異常データと仮判定された単位データＤｕが時間的に連続して複数存在しているときには、これら複数の単位データＤｕに対応する部分データＤｐ１を再生してもよい。典型的には、異常データと仮判定された単位データＤｕが、所定時間内（たとえば１０秒以内）に閾値以上の存在する場合、端末装置２００は、この期間の全部または指定された一部を再生可能に構成されている（図１８参照）。詳しくは、端末装置２００は、再生する区間（期間）をユーザ操作により決定し、決定された区間に含まれる部分データＤｐ１を再生する。

端末装置２００のユーザは、Ｓ６１の再生処理により出力された音を聞くことにより、規範モデルＭ１によって異常と判定されたミキシングデータの生成に用いられた音データが、本当に異常状態であるのか否かを判定する。すなわち、ユーザは、自ら、当該音データが異常音であったのか、誤検知（正常音）であったかを判定する。

Ｓ６２において、サーバ装置１００Ａは、正常データ（誤検知データ）であることを示したオブジェクト２３１（図１８参照）を選択するユーザ操作を端末装置２００が受け付けたか否かを判定する。具体的には、サーバ装置１００Ａは、端末装置２００からオブジェクト２３１が選択されたことを示す信号を受信したか否かを判定する。

オブジェクト２３１が選択された場合（Ｓ６２においてＹＥＳ）、Ｓ６３において、サーバ装置１００Ａは、部分データＤｐに対して正常状態のラベル付けをし、かつ正常状態のラベル付けがなされた部分データＤｐを記憶装置１００Ｂに格納する。

オブジェクト２３１が選択されていない場合（Ｓ６２においてＮＯ）、Ｓ６４において、サーバ装置１００Ａは、異常データであることを示したオブジェクト２３２（図１８参照）を選択するユーザ操作を端末装置２００が受け付けたか否かを判定する。具体的には、サーバ装置１００Ａは、端末装置２００からオブジェクト２３２が選択されたことを示す信号を受信したか否かを判定する。

オブジェクト２３２が選択された場合（Ｓ６４においてＹＥＳ）、Ｓ６５において、サーバ装置１００Ａは、部分データＤｐに対して異常状態のラベル付けをし、かつ異常状態のラベル付けがなされた部分データＤｐを記憶装置１００Ｂに格納する。

オブジェクト２３２が選択されていない場合（Ｓ６４においてＮＯ）、Ｓ６６において、端末装置２００は、部分データＤｐ１を繰り返して再生するための操作を受け付けたか否かを判定する。端末装置２００は、当該操作を受け付けたと判定した場合（Ｓ６６においてＹＥＳ）、処理をＳ６１に進める。端末装置２００は、当該操作を受け付けていないと判定した場合（Ｓ６６においてＮＯ）、処理をＳ６２に進める。

以上により、再生された部分データＤｐ１に対応する部分データＤｐに対して、正常状態または異常状態を示すラベル付けが完了する。

ところで、図１４の処理においては、再生処理だけにより、端末装置２００のユーザがラベル付けを行う場合を例に挙げて説明したが、これに限定されるものではない。

ユーザは、再生音の確認だけでは、正常状態か異常状態かを判定できない場合には、図１１に示した波形２２１、図１２に示したスペクトラム２２２、および図１３に示したグラフ２２３の少なくとも１つを画面に表示させてもよい。この場合、ユーザは、再生音の確認と、画面情報の確認とにより、規範モデルＭ１によって異常と判定されたミキシングデータが、本当に異常状態であるのか、それとも正常状態であったかのかを判定すればよい。この場合にも、当該判定結果に基づき、部分データＤｐに対するラベル付けが行われる。

なお、図１４においては、異常データと仮判定された全ての単位データＤｕの各々に対応する各部分データＤｐに対して、正常データのラベルまたは異常データのラベルを付与する構成を例に挙げて説明したが、これに限定されるものではない。ユーザが指定（選択）した部分データＤｐに対してのみ、ラベル付けを行ってもよい（図１７，図１８参照）。つまり、ユーザが、異常データと仮判定された全ての単位データＤｕの各々に対応する部分データＤｐ１の全てを再生して当該全ての部分データＤｐ１を聞くことは、必ずしも必要ではない。

図１５は、誤検知モデルＭ２の生成処理の流れを説明するためのフロー図である。図１５に示されるように、Ｓ７１において、サーバ装置１００Ａのプロセッサ１５１は、記憶装置１００Ｂから正常データのラベル付けがなされた部分データＤｐを読み出す。Ｓ７２において、プロセッサ１５１は、読み出された部分データＤｐから、所定のアルゴリズムを用いて特徴量を抽出する。Ｓ７３において、サーバ装置１００Ａは、抽出された特徴量を用いて機械学習を行う。

Ｓ７４において、プロセッサ１５１は、正常データのラベル付けがなされた部分データＤｐが全て読み出されたか否かを判定する。なお、部分データＤｐは、同一の設備９００に関するデータである。

プロセッサ１５１は、全ての部分データＤｐを読み出していないと判定した場合（Ｓ７４においてＮＯ）、処理をＳ７２に進める。プロセッサ１５１は、全ての部分データＤｐを読み出した判定した場合（Ｓ７４においてＹＥＳ）、一連の処理を終了する。

サーバ装置１００Ａは、このような機械学習を繰り返すことにより、誤検知モデルＭ２が生成される。

図１６は、異常モデルＭ３の生成処理の流れを説明するためのフロー図である。図１６に示されるように、Ｓ８１において、サーバ装置１００Ａのプロセッサ１５１は、記憶装置１００Ｂから異常データのラベル付けがなされた部分データＤｐを読み出す。Ｓ８２において、プロセッサ１５１は、読み出された部分データＤｐから、所定のアルゴリズムを用いて特徴量を抽出する。Ｓ８３において、サーバ装置１００Ａは、抽出された特徴量を用いて機械学習を行う。

Ｓ８４において、プロセッサ１５１は、異常データのラベル付けがなされた部分データＤｐが全て読み出されたか否かを判定する。なお、部分データＤｐは、同一の設備９００に関するデータである。

プロセッサ１５１は、全ての部分データＤｐを読み出していないと判定した場合（Ｓ８４においてＮＯ）、処理をＳ８２に進める。プロセッサ１５１は、全ての部分データＤｐを読み出した判定した場合（Ｓ８４においてＹＥＳ）、一連の処理を終了する。

サーバ装置１００Ａは、このような機械学習を繰り返すことにより、異常モデルＭ３が生成される。

以下では、１つの単位データＤｕに対応する部分データＤｐの各々にラベル付けをするのではなく、所定時間（以下では、１０秒間とする）内の連続する全ての単位データに対応する部分データＤｐ（１０秒間のミキシングデータ）に対してラベル付けを行う例を説明する。つまり、前処理での分割の時間単位（１秒以下）ではなく、１０秒間分の部分データＤｐに対してラベル付けを行う例を説明する。

図１７は、端末装置２００において表示される画面２０２を表した図である。図１７に示されるように、ダッシュボード２７０は、状態監視の項目２７６をさらに含む。項目２７６は、ユニットリスト（データ収集ユニット３００のリスト）の項目２７６１と、判定結果の項目２７６２と、ミキシングデータ学習の項目２７６３と、誤検知データ学習の項目２７６４を含む。項目２７６をユーザ操作に基づき展開することにより、項目２７６１～２７６４が表示される。

アラートの項目２７５は、異常履歴の項目２７５１を含む。ユーザ操作によって、異常履歴の項目２７５１が選択されると、図示しているように、異常履歴の一覧が表示される。異常履歴の一覧は、複数のレコードを含む。各レコードは、フィールドとして、装置名と、モデルと、日時と、評価値とを少なくとも含む。各レコードには、部分データＤｐが対応付けられている。

本例では、異常履歴の一覧においては、異常データと仮判定された単位データＤｕの全てに対応する部分データＤｐがレコードとして対応付けられているのではなく、異常データと仮判定された単位データＤｕが一定の割合以上集中している期間に対応する部分データＤｐが対応付けられている。具体的には、各レコードは、異常データと仮判定された単位データＤｕが所定時間内（１０秒以内）に閾値以上の存在する期間に対応する部分データＤｐが対応付けられている。

たとえば、前処理での分割の時間単位（単位時間Ｔｕ）が０．５秒の場合、１０秒間には、２０個の単位データＤｕが含まれる。この２０個の単位データＤｕのうち、たとえば１２個以上が異常データと仮判定されると、当該１０秒間の部分データＤｐが、１つのレコードとして管理される。また、上述したように、１０秒間分の部分データＤｐに対してラベル付けが行われる。

図１８は、端末装置２００において表示される画面２０３を表した図である。図１８に示されるように、ユーザ操作によって、図１７の異常履歴の一覧から１つのレコードが選択されると、図示しているように、選択されたレコードに対応した判定結果の画面が表示される。

端末装置２００は、選択されたレコード（図１７参照）に対応する、データ収集ユニット３００（ユニット）、モデル、日時に対応する判定グラフを表示する。判定グラフは、所定時間内（１０秒以内）の部分データＤｐの波形を示している。時間軸（横軸）において、ユーザ操作によって区間を選択可能に構成されている。端末装置２００は、選択された区間（たとえば、区間２３５）のみの音を再生可能である。なお、区間の選択は、たとえば、マウス等のポンタデバイスによって行われる。

ユーザは、ボタン２３６等を用いて、表示された部分データＤｐの再生を端末装置２００に実行させる。

ユーザ操作によって誤検知のオブジェクト２３１（具体的には、ボタン）が選択されると、表示された部分データＤｐ（本例の場合、１０秒間分のデータ）に対する正常状態のラベル付けが、サーバ装置１００Ａにおいて実行される。

ユーザ操作によって異常のオブジェクト２３２（具体的には、ボタン）が選択されると、表示された部分データＤｐ（本例の場合、１０秒間分のデータ）に対する異常状態のラベル付けが、サーバ装置１００Ａにおいて実行される。

なお、判定グラフにおいて、部分データＤｐの一部が指定され、かつオブジェクト２３１，２３２が選択された場合には、サーバ装置１００Ａは、指定された時間領域の部分データＤｐに対して、選択されたオブジェクト２３１，２３２に応じたラベル付けを行ってもよい。

また、情報処理システム１では、オブジェクト２３１，２３２を選択することにより部分データＤｐに対してラベル付けを行った場合、正常データまたは異常データと判定した理由を書き込めるように構成されている。具体的には、オブジェクト２３４をユーザが選択することにより、当該理由が書き込める。書き込まれた理由は、ラベル付けがなされた部分データＤｐと関連付けて、サーバ装置１００Ａに送信される。

このようなラベル付けの手法によれば、によれば、精度の高い異常判定を可能とするための学習用データ（ラベル付がなされた部分データＤｐ）を容易に得ることが可能となる。なお、上述したラベル付けの手法は、一例であって、上述した画面２０３を用いた構成に限定されるものではない。ユーザの音声によりラベル付けを行ってもよい。

図１９は、（ａ）音データの判定グラフ、（ｂ）温度データの判定グラフ、および（ｃ）音データおよび温度データのミキシングデータの判定グラフを併せて示す図である。図１９においては、規範モデルＭ１の評価値が閾値を超過している状況が基準時間（たとえば３０秒）以上継続している場合が設備に異常が発生している場合であり、それ以外の場合が正常な場合であるとして説明する。温度データの判定グラフは、温度データに対する補間処理（図２参照）によって得られた波形データの判定グラフである。音データの判定グラフにおける閾値は、０．０１０である。温度データの判定グラフにおける閾値は、０．０００１８である。ミキシングデータの判定グラフにおける閾値は、０．０２である。ミキシングデータにおける音データおよび温度データのミキシング比率は、０．２である。図１９に示される時間間隔ｔ１１～ｔ１５（ｔ１１＜ｔ１２＜ｔ１３＜ｔ１４＜ｔ１５）のうち、実際に異常が発生している時間間隔は、時間間隔ｔ１２～ｔ１３であるとする。

図１９に示されるように、音データの判定グラフにおいては、時間間隔ｔ１１～ｔ１２は、正常な場合である。時間間隔ｔ１２～ｔ１３は、異常な場合である。時間間隔ｔ１３～ｔ１４は、異常な場合である。時間間隔ｔ１４～ｔ１５は、正常な場合である。時間間隔ｔ１３～ｔ１４における異常の検知は、過検知である。

温度データの判定グラフにおいては、時間間隔ｔ１１～ｔ１２は、正常な場合である。時間間隔ｔ１２～ｔ１３は、異常な場合である。時間間隔ｔ１３～ｔ１４は、正常な場合である。時間間隔ｔ１４～ｔ１５は、異常な場合である。時間間隔ｔ１４～ｔ１５における異常の検知は、過検知である。

ミキシングデータの判定グラフにおいては、時間間隔ｔ１１～ｔ１２は、正常な場合である。時間間隔ｔ１２～ｔ１３は、異常な場合である。時間間隔ｔ１３～ｔ１４は、正常な場合である。時間間隔ｔ１４～ｔ１５は、正常な場合である。このように、音データおよび温度データのミキシングデータを用いることにより、異常の過検知を防止することができる。その結果、追加学習のために過検知のデータを正常データとしてラベル付けする作業が減少するため、規範モデルＭ１の精度の向上に要する人的資源を削減することができる。

図２０は、（ａ）音データの判定グラフ、（ｂ）においデータの判定グラフ、および（ｃ）音データおよびにおいデータのミキシングデータの判定グラフを併せて示す図である。図２０においては、規範モデルＭ１の評価値が閾値を超過している状況が基準時間（たとえば３０秒）以上継続している場合を、設備に異常が発生している場合であり、それ以外の場合を正常な場合であるとして説明する。においデータの判定グラフは、においデータに対する補間処理（図２参照）によって得られた波形データの判定グラフである。音データの判定グラフは図１９と同様であるため、音データの判定グラフについての説明を繰り返さない。においデータの判定グラフにおける閾値は、０．００１０である。ミキシングデータの判定グラフにおける閾値は、０．０２である。ミキシングデータにおける音データおよびにおいデータのミキシング比率は、０．１である。図２０に示される時間間隔ｔ１１～ｔ１５のうち、実際に異常が発生している時間間隔は、時間間隔ｔ１２～ｔ１３であるとする。

図２０に示されるように、においデータの判定グラフにおいては、時間間隔ｔ１１～ｔ１２は、正常な場合である。時間間隔ｔ１２～ｔ１３は、異常な場合である。時間間隔ｔ１３～ｔ１４は、正常な場合である。時間間隔ｔ１４～ｔ１５は、異常な場合である。時間間隔ｔ１４～ｔ１５における異常の検知は、過検知である。

ミキシングデータの判定グラフにおいては、時間間隔ｔ１１～ｔ１２は、正常な場合である。時間間隔ｔ１２～ｔ１３は、異常な場合である。時間間隔ｔ１３～ｔ１４は、正常な場合である。時間間隔ｔ１４～ｔ１５は、正常な場合である。このように、音データおよびにおいデータのミキシングデータを用いることにより、規範モデルＭ１に対する追加学習等を要せずに、異常の過検知を防止することができる。その結果、上述したように、規範モデルＭ１の精度の向上に要する人的資源を削減することができる。

＜Ｅ．誤検知モデルＭ２および異常モデルＭ３の利用＞
図２１は、規範モデルＭ１と誤検知モデルＭ２と異常モデルＭ３とを利用した状態監視の処理の流れを説明するためのフロー図である。図２１に示されるように、Ｓ１０１において、サーバ装置１００Ａは、データ収集ユニット３００を用いて、設備９００が正常に動作している場合における音データおよびセンサデータを取得する。Ｓ１０２において、サーバ装置１００Ａは、図８のＳ４２と同様に、音データおよびセンサデータに対してミキシング処理を行う。

Ｓ１１６において、サーバ装置１００Ａは、Ｓ１０１において取得されたデータおよびＳ１０２において生成されたミキシングデータを、再生用のデータ（生データ）として記憶装置１００Ｂに記憶させる。詳しくは、サーバ装置１００Ａは、当該データを時刻情報に関連付けて記憶装置１００Ｂに記憶させる。

Ｓ１０３において、サーバ装置１００Ａは、図８のＳ４３と同様に、取得した音データに対して前処理を行う。具体的には、サーバ装置１００Ａは、音データを単位時間毎の単位データＤｕに区切る。

Ｓ１０３の後、サーバ装置１００Ａ（詳しくは、プロセッサ１５１）は、Ｓ１０４～Ｓ１１５の各処理を、単位データＤｕの各々に対して実行する。

Ｓ１０４において、プロセッサ１５１は、単位データＤｕから、上記の所定のアルゴリズムを用いて特徴量を抽出する。Ｓ１０５において、プロセッサ１５１は、抽出された特徴量を規範モデルＭ１に入力する。Ｓ１０６において、プロセッサ１５１は、規範モデルＭ１からの出力を得る。具体的には、規範モデルＭ１（クラスタ）に対する誤差が算出され、当該誤差が出力される。

Ｓ１０７において、プロセッサ１５１は、算出された誤差が所定の範囲Ｒ１内であるかいなかを判定する。プロセッサ１５１は、誤差が範囲Ｒ１内であると判定した場合（Ｓ１０７においてＹＥＳ）、Ｓ１０８において、単位データＤｕを正常データと判定する。

プロセッサ１５１は、誤差が範囲Ｒ１外であると判定した場合（Ｓ１０７においてＮＯ）、Ｓ１０９において、抽出された特徴量が誤検知モデルＭ２にマッチするかいなかを判定する。たとえば、誤検知モデルＭ２が学習済モデルとして構成されている場合、出力層からマッチしているか否かの判定結果が出力される。

プロセッサ１５１は、特徴量が誤検知モデルＭ２にマッチしていると判定された場合（Ｓ１０９においてＹＥＳ）、処理をＳ１０８に進める。プロセッサ１５１は、特徴量が誤検知モデルＭ２にマッチしていないと判定された場合（Ｓ１０９においてＮＯ）、Ｓ１１０において、抽出された特徴量が異常モデルＭ３にマッチするかいなかを判定する。たとえば、異常モデルＭ３が学習済モデルとして構成されている場合、出力層からマッチしているか否かの判定結果が出力される。

プロセッサ１５１は、特徴量が異常モデルＭ３にマッチしていると判定された場合（Ｓ１１０においてＹＥＳ）、Ｓ１１１において、単位データＤｕを異常データと判定する。次いで、Ｓ１１２において、プロセッサ１５１は、異常の報知処理を実行する。

プロセッサ１５１は、特徴量が異常モデルＭ３にマッチしていないと判定された場合（Ｓ１１０においてＮＯ）、Ｓ１１３において、単位データＤｕを異常データと仮判定する。次いで、Ｓ１１４において、プロセッサ１５１は、異常の報知処理を実行する。Ｓ１１５において、プロセッサ１５１は、判定結果を記憶装置１００Ｂに記憶させる。

＜Ｆ．規範モデルの更新＞
図２２は、端末装置２００において表示される画面２０４を表した図である。図２２に示されるように、ユーザ操作によって、誤検知データ学習の項目２７６４が選択されると、図示しているように、誤検知一覧が表示される。誤検知一覧は、ユニット名と、モデルと、日時と、評価値と、詳細とを少なくとも含む。詳細の欄には、ラベル付けが行われたことを示すオブジェクトと、ラベル付けが行われた場合に正常状態のラベルと異常状態のラベルとのうちどちらのラベルが付与されたかを示すオブジェクトとが、レコード毎に表示される。

このような構成によれば、ユーザは、各レコードの部分データＤｐに対してラベル付けを行ったか否かと、ラベル付けを行った場合に、どちらのラベルを付与した方を容易に判定可能となる。

＜Ｇ．機能的構成＞
図２３は、情報処理システム１の機能的構成を説明するための図である。図２３に示されるように、情報処理システム１は、クラウドシステム１００と、端末装置２００と、複数のデータ収集ユニット３００とを備える。クラウドシステム１００は、典型的には、サーバ装置１００Ａと、記憶装置１００Ｂとを備える。

各データ収集ユニット３００は、各々が設置された付近の設備の音データおよび計測値を収集する。各データ収集ユニット３００は、クラウドシステム１００に対して、収集したデータを送信する。クラウドシステム１００のサーバ装置１００Ａは、当該データを取得する。

（ｇ１．サーバ装置１００Ａ）
サーバ装置１００Ａは、制御部１０１と、通信ＩＦ（Interface）１０３とを備える。制御部１０１は、データ処理部１１１と、モデル処理部１１２と、判定部１１３とを備える。モデル処理部１１２は、モデル生成部１１２１と、ラベル付与部１１２２と、モデル更新部１１２３とを備える。判定部１１３は、第１判定部１１３１と、第２判定部１１３２と、第３判定部１１３３とを備える。

制御部１０１は、サーバ装置１００Ａの全体的な動作を制御する。具体的には、制御部１０１は、記憶部（図示せず）等に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより、サーバ装置１００Ａの全体的な動作を制御する。制御部１０１は、典型的には、プロセッサ１５１（図２４参照）が、これらのオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。

通信ＩＦ１０３は、外部機器と通信するためのインターフェイスである。サーバ装置１００Ａは、通信ＩＦ１０３によって、各データ収集ユニット３００と、端末装置２００と通信する。また、図示しない通信ＩＦによって、サーバ装置１００Ａは、記憶装置１００Ｂと通信する。

データ処理部１１１は、データ収集ユニット３００によって収集されたデータを、保存用データＤｓとして記憶装置１００Ｂに記憶させるとともに、判定に用いる判定用データＤｄとして処理する。詳しくは、データ処理部１１１は、判定用データＤｄを単位時間毎の単位データＤｕに区切る。データ処理部１１１は、単位データＤｕを判定部１１３に送る。

モデル処理部１１２のモデル生成部１１２１は、データ処理部１１１より正常状態の単位データＤｕを取得して、当該単位データＤｕに基づき規範モデルＭ１を生成する。生成された規範モデルＭ１は、第１判定部１１３１に送られる。

また、モデル生成部１１２１は、誤検知モデルＭ２と、異常モデルＭ３とを生成する。生成された誤検知モデルＭ２は、第２判定部１１３２に送られる。生成された異常モデルＭ３は、第３判定部１１３３に送られる。

誤検知モデルＭ２は、上述したように、正常状態のラベル付けがなされた部分データＤｐを利用して生成される。異常モデルＭ３は、上述したように、異常状態のラベル付けがなされた部分データＤｐを利用して生成される。このようなラベル付は、ラベル付与部１１２２によって実行される。なお、上記部分データＤｐは、上述したように、記憶装置１００Ｂに格納されている。

ラベル付与部１１２２は、端末装置２００からの指示に（ユーザによりオブジェクト２３１，２３２（図１８参照））基づき、部分データＤｐに対してラベル付けを行う。ラベル付与部１１２２は、正常データであることを示すラベルと異常データであることを示すラベルとのうちユーザ操作に応じたラベルを、部分データＤｐ（詳しくは、端末装置２００のスピーカ２９５から出力された部分データＤｐ）に対して付与する。

典型的には、ラベル付与部１１２２は、所定時間（所定の単位期間）において正常データと判定されなかった単位データＤｕが閾値以上存在する場合、当該所定時間に対応する部分データＤｐに対して、ユーザ操作に応じたラベルを付与する。

モデル更新部１１２３は、誤検知データ（すなわち、正常状態のラベル付けがされた部分データＤｐ）を用いて規範モデルＭ１を更新する。更新のトリガは、典型的には、端末装置２００におけるユーザ指示である。なお、これに限らず、モデル更新部１１２３は、前回の更新から所定の時間が経過すると、自動的に更新処理を行ってもよい。また、モデル更新部１１２３は、誤検知データの数が所定数以上となると、自動的に更新処理を行ってもよい。モデル更新部１１２３は、自動的に更新を行うに際し、端末装置２００からユーザの許可を得ることを条件としてもよい。

判定部１１３は、集音された音が正常状態か異常状態かを判定する。第１判定部１１３１は、上述した規範モデルＭ１を有する。詳しくは、第１判定部１１３１は、設備９００毎に、規範モデルＭ１を有する。第１判定部１１３１は、規範モデルＭ１を用いて、対象となる設備９００が正常状態であるか否かを判定する。詳しくは、第１判定部１１３１は、規範モデルＭ１を用いて、各単位データＤｕが正常データであるか否かを判定する。

第２判定部１１３２は、上述したように、正常状態のラベルが付与された部分データＤｐを用いて生成された誤検知モデルＭ２を有する。詳しくは、第２判定部１１３２は、設備９００毎に、誤検知モデルＭ２を有する。誤検知モデルＭ２は、上述したように、運用後に生成される。第２判定部１１３２は、単位データＤｕが規範モデルＭ１によって正常データと判定されなかった場合に、誤検知モデルＭ２を用いて、単位データＤｕが正常データであるか否かを判定する。

第３判定部１１３３は、上述したように、異常状態のラベルが付与された部分データＤｐを用いて生成された異常モデルＭ３を有する。詳しくは、第３判定部１１３３は、設備９００毎に、異常モデルＭ３を有する。異常モデルＭ３は、上述したように、運用後に生成される。第３判定部１１３３は、異常モデルＭ３を用いて、単位データＤｕが異常データであるか否かを判定する。

制御部１０１は、単位データＤｕを異常データと判定（仮判定を含む）した場合には、端末装置２００に対して、所定の警告通知を行う。

（ｇ２．端末装置２００）
端末装置２００は、制御部２９１と、入力装置２９２と、通信ＩＦ２９３と、ディスプレイ２５８と、スピーカ２９５とを備える。

制御部２９１は、端末装置２００の全体的な動作を制御する。具体的には、制御部２９１は、端末装置２００の記憶部（図示せず）等に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより、端末装置２００の全体的な動作を制御する。制御部２９１は、典型的には、プロセッサ２５１（図２５参照）が、これらのオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。

通信ＩＦ２９３は、外部機器と通信するためのインターフェイスである。端末装置２００は、通信ＩＦ２９３によって、サーバ装置１００Ａと通信する。

入力装置２９２は、ユーザ操作を受け付ける装置である。入力装置２９２は、典型的には、キーボード、マウス、またはタッチパネルである。入力装置２９２は、受け付けた入力を制御部２９１に送る。当該入力としては、上述した各画面に表示された項目に対する選択操作、データの入力等が挙げられる。

表示制御部２９１１は、ディスプレイに各種画面を表示する。表示制御部２９１１は、入力装置２９２を用いたユーザ操作に基づき、ディスプレイ２５８に表示させる画面を切り替える。表示制御部２９１１は、たとえば、画面２０１～２０４（図１０，図１７，図１８，図２２参照）、波形２２１（図１１参照）、スペクトラム２２２（図１２参照）、グラフ２２３（図１３参照）をディスプレイ２５８に表示する。なお、波形２２１は、正常データと判定されなかった単位データＤｕの波形を含む。

再生処理部２９１２は、入力装置２９２を介したユーザ操作に基づき、部分データＤｐに対応する音データの部分データＤｐ１を、スピーカを用いて再生する。詳しくは、再生処理部２９１２は、単位データＤｕが規範モデルＭ１によって正常データと判定されなかった場合に、記憶装置１００Ｂに記憶された保存用データＤｓのうち、正常データと判定されなかった単位データＤｕに対応する音データの部分データＤｐ１をスピーカ２９５から出力させる。また、再生処理部２９１２は、単位データＤｕが誤検知モデルＭ２によって正常データと判定されなかったことを条件に、記憶装置１００Ｂに記憶された保存用データＤｓのうち、正常データと判定されなかった単位データＤｕに対応する音データの部分データＤｐ１を、スピーカ２９５から出力させる。

制御部２９１は、単位データＤｕがサーバ装置１００Ａの第１判定部１１３１によって正常データと判定されなかった場合、サーバ装置１００Ａからの警告通知に基づき、所定の報知を行う。典型的には、制御部２９１は、スピーカ２９５から所定の警告音を出力する。また、制御部２９１は、ディスプレイ２５８に所定の警告表示を行う。

（ｇ３．ラベル付け）
次に、ラベル付処理の局面に関し、端末装置２００とサーバ装置１００Ａとの処理を、より詳しく説明する。

端末装置２００の表示制御部２９１１は、正常データと判定されなかった単位データＤｕに対応する部分データＤｐ１を、スピーカ２９５から出力させるための操作画面（図１８参照）をディスプレイ２５８に表示させる。この操作画面は、オブジェクト２３１，２３２を有する。

端末装置２００は、当該操作画面に対する操作によって単位データＤｕに対応する部分データＤｐ１がスピーカ２９５から出力された後に、オブジェクト２３１が選択されると、端末装置２００は、サーバ装置１００Ａに対して、部分データＤｐ１に対応する部分データＤｐが正常データであること示す通知を送信する。この場合、サーバ装置１００Ａのラベル付与部１１２２は、サーバ装置１００Ａが当該通知を受信したことを条件に、当該部分データＤｐに対して、正常状態のラベルを付与する。

端末装置２００は、上記操作画面に対する操作によって単位データＤｕに対応する部分データＤｐ１がスピーカ２９５から出力された後に、オブジェクト２３２が選択されると、端末装置２００は、サーバ装置１００Ａに対して、部分データＤｐ１に対応する部分データＤｐが異常データであること示す通知を送信する。この場合、サーバ装置１００Ａのラベル付与部１１２２は、サーバ装置１００Ａが当該通知を受信したことを条件に、当該部分データＤｐに対して、異常状態のラベルを付与する。

このような構成によれば、精度の高い異音判定を可能とするための学習用データ（ラベル付がなされた部分データＤｐ）を容易に得ることが可能となる。

＜Ｈ．ハードウェア構成＞
図２４は、サーバ装置１００Ａのハードウェア構成の典型例を表した図である。図２４に示されるように、サーバ装置１００Ａは、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ１５３と、データを不揮発的に格納するＨＤＤ１５４と、通信ＩＦ１５５と、操作キー１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。

サーバ装置１００Ａにおける処理は、各ハードウェアおよびプロセッサ１５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５５等を介してダウンロードされた後、ＨＤＤ１５４に一旦格納される。そのソフトウェアは、プロセッサ１５１によってＨＤＤ１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。プロセッサ１５１は、そのプログラムを実行する。

同図に示されるサーバ装置１００Ａを構成する各構成要素は、一般的なものである。したがって、本開示の本質的な部分は、ＲＡＭ１５３、ＨＤＤ１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置１００Ａの各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

図２５は、端末装置２００のハードウェア構成の典型例を表した図である。図２５に示されるように、端末装置２００は、主たる構成要素として、プログラムを実行するプロセッサ２５１と、データを不揮発的に格納するＲＯＭ２５２と、プロセッサ２５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ２５３と、データを不揮発的に格納するＨＤＤ２５４と、通信ＩＦ２５５と、操作キー２５６と、電源回路２５７と、ディスプレイ２５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ２５５は、他の機器と間における通信を行なうためのインターフェイスである。

端末装置２００における処理は、各ハードウェアおよびプロセッサ２５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ２５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ２５５等を介してダウンロードされた後、ＨＤＤ２５４に一旦格納される。そのソフトウェアは、プロセッサ２５１によってＨＤＤ２５４から読み出され、ＲＡＭ２５３に実行可能なプログラムの形式で格納される。プロセッサ２５１は、そのプログラムを実行する。

同図に示される端末装置２００を構成する各構成要素は、一般的なものである。したがって、本開示の本質的な部分は、ＲＡＭ２５３、ＨＤＤ２５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、端末装置２００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

＜Ｉ．その他の機能＞
（１）図２６は、死活監視の画面を表した図である。図２６に示されるように、死活監視の項目２７１１が選択されると、死活監視の画面が端末装置２００のディスプレイ２５８に表示される。ｐｉｎｇが閾値を超えると、端末装置２００は、死活監視異常を報知する。たとえば、端末装置２００は、項目２７１１を通常時とは異なる態様で表示する。たとえば、端末装置２００は、項目の色を変更する。

また、端末装置２００が、図１０に示した画面２０１を表示している状態において、死活監視異常が検知された場合、タブ２１１を通常時とは異なる態様で表示してもよい。

（２）誤検知モデルＭ２および異常モデルＭ３の入力次元数は、規範モデルＭ１の入力次元数よりも低い。

（３）規範モデルＭ１と、誤検知モデルＭ２および異常モデルＭ３とは、アルゴリズムが異なる。たとえば、誤検知モデルＭ２および異常モデルＭ３のアルゴリズムを、ＳＶＭ（サポートベクターマシン）とすることもできる。

（４）誤検知モデルＭ２だけではなく異常モデルＭ３を規範モデルＭ１に統合することにより、設備９００が異常であるか否かをサーバ装置１００Ａで判定させてもよい。

（５）正常状態のラベルが付与された後、所定の期間内に、誤検知データを用いた規範モデルＭ１の更新がなされていない場合には、サーバ装置１００Ａが端末装置２００に所定の報知をさせるように、情報処理システム１を構成してもよい。

（６）情報処理システム１は、クラウドシステム１００と、端末装置２００とを備えるが、クラウドシステム１００と端末装置２００との機能を、１つの情報処理装置で実行するように、情報処理システム１を構成してもよい。

（７）上記においては、前処理における分割の時間単位（Ｔｕ秒）が１秒以下である場合を例に挙げて説明したが、これに限定されるものではなく、１秒以上であってもよい。

［付記］
上記に説明した本開示に係る実施の形態は、以下のような構成を含む。

［構成１］
設備の状態を監視する情報処理システムであって、
第１時間間隔毎に前記設備に関する第１状態データを取得するとともに、前記第１時間間隔より長い第２時間間隔毎に前記設備に関する第２状態データを取得するデータ収集部と、
前記第１状態データおよび前記第２状態データの各々の時系列データに基づいて、前記設備が正常か否かの判定を行う処理部とを備え、
前記第１状態データの時系列データは、第１波形データを含み、
前記処理部は、前記第２状態データの時系列データに対する補間処理によって第２波形データを生成し、前記第１波形データおよび前記第２波形データに対する加算処理によって第３波形データを生成し、前記第３波形データを用いて前記判定を行う、情報処理システム。

［構成２］
前記処理部は、前記加算処理において、前記第１状態データの値に第１重みが乗じられた値に、前記第１状態データに対応する前記第２状態データの値に前記第１重みとは異なる第２重みが乗じられた値を加算する、構成１に記載の情報処理システム。

［構成３］
前記処理部は、前記補間処理において、時系列において互いに隣接する２つの第２状態データのうち、いずれか１つの値が前記２つの第２状態データの間の波形の振幅となるように、前記２つの第２状態データの間にデータを補完する、構成１または２に記載の情報処理システム。

［構成４］
前記処理部は、前記設備用の機械学習モデルに前記第３波形データを入力し、前記機械学習モデルの出力に基づいて前記判定を行う、構成１～３のいずれか１つに記載の情報処理システム。

［構成５］
前記第１状態データは、音、振動、および加速度の少なくとも１つを含み、
前記第２状態データは、温度、湿度、におい、電流、電圧、回転数、圧力、および流量の少なくとも１つを含み、構成１～４のいずれか１項に記載の情報処理システム。

今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本開示の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 情報処理システム、１００ クラウドシステム、１００Ａ サーバ装置、１００Ｂ 記憶装置、１０１，２９１ 制御部、１１１ データ処理部、１１２ モデル処理部、１１３ 判定部、１５１，２５１ プロセッサ、１５２，２５２ ＲＯＭ、１５３，２５３ ＲＡＭ、１５６，２５６ 操作キー、１５７，２５７ 電源回路、１５８，２５８ ディスプレイ、２００ 端末装置、２０１～２０４ 画面、２０５ 設定画面、２１１，２１２，２１３，２１４，２１５ タブ、２２１ 波形、２２２ スペクトラム、２２３ グラフ、２３１，２３２，２３４ オブジェクト、２３５ 区間、２７０ ダッシュボード、２７１～２７６，２７１１，２７５１，２７６１～２７６４ 項目、２９２ 入力装置、２９５ スピーカ、３００ データ収集ユニット、３１０ 集音装置、３２０ 計測センサ、９００ 設備、９００Ａ，９００Ｂ 配管設備、９５０ 監視員、１１２１ モデル生成部、１１２２ ラベル付与部、１１２３ モデル更新部、１１３１ 第１判定部、１１３２ 第２判定部、１１３３ 第３判定部、２９１１ 表示制御部、２９１２ 再生処理部、Ａ１～Ａ４ 振幅、Ｂａ１，Ｂａ２ 追加ボタン、Ｂｄ１，Ｂｄ２ 削除ボタン、Ｂｔｎ 反映ボタン、Ｄｄ 判定用データ、Ｄｐ，Ｄｐ１ 部分データ、Ｄｒ 漏水、Ｄｓ，Ｄｓ１ 保存用データ、Ｄｕ 単位データ、１０３，１５５，２５５，２９３ 通信ＩＦ、Ｌｓｔ１，Ｌｓｔ２ リストボックス、Ｍ１ 規範モデル、Ｍ２ 誤検知モデル、Ｍ３ 異常モデル、ＮＷ ネットワーク、Ｎｕｄ 数値設定コントロール、Ｐ１～Ｐ４ プロット点、Ｒ１ 範囲、Ｓｔｇ トグルボタン、Ｗｖ１，Ｗｖ１２，Ｗｖ３１ 音波形データ、Ｗｖ２ センサ波形データ、Ｗｖ３ ミキシングデータ、ｐａ，ｐｂ パケット、ｑａ，ｑｂ キュー。

Claims (7)

1. 設備の状態を監視する情報処理システムであって、
   第１時間間隔毎に前記設備に関する第１状態データを取得するとともに、前記第１時間間隔より長い第２時間間隔毎に前記設備に関する第２状態データを取得するデータ収集部と、
   前記第１状態データおよび前記第２状態データの各々の時系列データに基づいて、前記設備が正常か否かの判定を行う処理部とを備え、
   前記第１状態データの時系列データは、第１波形データを含み、
   前記処理部は、前記第２状態データの時系列データに対する補間処理によって第２波形データを生成し、前記第１波形データおよび前記第２波形データに対する加算処理によって第３波形データを生成し、前記第３波形データを用いて前記判定を行う、情報処理システム。
2. 前記処理部は、前記加算処理において、前記第１状態データの値に第１重みが乗じられた値に、前記第１状態データに対応する前記第２状態データの値に前記第１重みとは異なる第２重みが乗じられた値を加算する、請求項１に記載の情報処理システム。
3. 前記処理部は、前記補間処理において、時系列において互いに隣接する２つの第２状態データのうち、いずれか１つの値が前記２つの第２状態データの間の波形の振幅となるように、前記２つの第２状態データの間にデータを補完する、請求項１に記載の情報処理システム。
4. 前記処理部は、前記設備用の機械学習モデルに前記第３波形データを入力し、前記機械学習モデルの出力に基づいて前記判定を行う、請求項１に記載の情報処理システム。
5. 前記第１状態データは、音、振動、および加速度の少なくとも１つを含み、
   前記第２状態データは、温度、湿度、におい、電流、電圧、回転数、圧力、および流量の少なくとも１つを含み、請求項１～４のいずれか１項に記載の情報処理システム。
6. 設備の状態を監視する情報処理方法であって、
   第１時間間隔毎に前記設備に関する第１状態データを取得するとともに、前記第１時間間隔より長い第２時間間隔毎に前記設備に関する第２状態データを取得するステップと、
   前記第１状態データおよび前記第２状態データの各々の時系列データに基づいて、前記設備が正常か否かの判定を行うステップとを含み、
   前記第１状態データの時系列データは、第１波形データを含み、
   前記判定を行うステップは、前記第２状態データの時系列データに対する補間処理によって第２波形データを生成し、前記第１波形データおよび前記第２波形データに対する加算処理によって第３波形データを生成し、前記第３波形データを用いて前記判定を行う、情報処理方法。
7. プロセッサによって実行されると、請求項６に記載の情報処理方法を前記プロセッサに実行させる、プログラム。

Images