以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
本実施の形態では、対象の計測データを取得して異常状態を予測するシステムの構成例として、対象装置となる設備又は機器の音データ又は振動データを取得して解析し、異常判定、故障発生予測等の異常予測に関する処理を行う異常予測システム及び異常予測方法の一例を示す。ここでは、異常予測システムの機能の一例として、コンピュータの冷却ファンを対象装置とし、冷却ファンの音データ又は振動データを処理対象データとして解析して異常予測を行い、装置点検時の判定等に利用する場合を例示する。
(実施の形態1)
図1は、実施の形態1に係る異常予測システムの概略構成の一例を示す図である。異常予測システムは、プロセッサ及びメモリを有する情報処理装置(コンピュータ)により構成され、処理対象データとして取得した音データ又は振動データの各種処理を実行するデータ処理装置10を有して構成される。
データ処理装置10は、ユーザインタフェースとして、データ入力デバイス(収音部)の一例としてのマイク61、表示デバイス(表示部)の一例としてのモニタ62、操作入力デバイスの一例としてのキーボード63がそれぞれ接続される。データ処理装置10と、マイク61、モニタ62、キーボード63とは、有線又は無線のインタフェースにより接続される。データ処理装置10は、異常判定、故障発生予測等の異常予測に関する処理を行う対象装置として、コンピュータの冷却ファン50より発生する音データ又は振動データを取得し、処理対象データの解析を実行する。そして、データ処理装置10は、処理対象データに関して後述する異常度の算出、異常度遷移の一致判定、故障発生の予測等を行うことにより、異常予測に関する処理を実行する。
マイク61は、例えばコンデンサマイクロホン等を有して構成され、対象装置であるコンピュータの冷却ファン50の近傍に配置され、冷却ファン50の音を収音して取得した音データをデータ処理装置10に入力する。モニタ62は、液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等の表示装置により構成され、データ処理装置10により出力される処理結果の表示画面を表示する。キーボード63は、ユーザ操作による入力を受け付け、装置イベント、表示内容指示等の各種入力情報をデータ処理装置10に入力する。操作入力デバイスとしては、キーボードに限定されず、マウス、タッチバッド、タッチパネル等の各種入力デバイスを用いてもよい。
なお、マイク61の代わりに振動センサを用いて、その振動センサの出力を処理可能な入力インタフェースを用いることにより、取得した振動データを解析して異常判定、故障発生予測等の異常予測に関する処理を行う異常予測システムを構成することも可能である。この場合、処理対象データは、音データの代わりに振動データとなる。音は空気の振動であるので、同様な処理が適用可能である。以下、音データ又は振動データを含む処理対象データを代表して音データとして記載し、音データを処理する構成例について説明する。
図2は、実施の形態1に係る異常予測システムの機能的構成の一例を示すブロック図であり、図1に示したデータ処理装置10の機能的な構成を示している。データ処理装置10の各機能は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等のプロセッサと、RAM(Random Access Memory)、ROM(Read Only Memory)等のメモリとを含むコンピュータによって、所定のプログラムに従って処理を実行することにより実現する。データ処理装置10は、データ入力部11、記憶部12、評価部13、表示処理部14、ユーザ操作入力部15を含む。
データ入力部11は、マイク61を接続するオーディオインタフェースを有し、音響解析部111、異常度算出部112を含み、処理対象データとしての音データを入力して処理を行う。音響解析部111は、取得した音データのアナログ-ディジタル変換処理、FFT(Fast Fourier Transform)等による周波数変換処理、及びMFCC(Mel-Frequency Cepstrum Coefficients)、振幅値の包絡成分抽出等による特徴量抽出処理などの前処理を実行する。音響解析部111にて前処理を施すことにより、後段の異常度算出部112による異常度算出処理等の処理結果の精度を向上できる。異常度算出部112は、所定のアルゴリズムによって音データの異常状態の程度を示す異常度を算出する。異常度算出部112は、算出した異常度に基づき、音データが故障音に近いかどうか異常判定を行うことも可能である。異常度算出部112は異常原因ごとの異常度を算出可能である。例えば、対象装置が冷却ファンである場合、異常原因としては、ファンの刃欠け、目詰まり、ベルトの緩みなどの複数の異常原因が挙げられる。異常度算出部112は、深層学習(Deep Learning)をはじめとする機械学習処理を用いて処理を実行することも可能である。なお、取得した音データの判定目的は、故障時や不良発生時の異音検知だけでなく、音の分類や音声認識を行うための学習用音データを収集することであってもよい。
音響解析部111において、周波数変換処理及び特徴量抽出処理は監視対象とする装置の特性に応じて1つ以上の手法を用いても良い。例えば、対象装置が冷却ファンの場合、FFT(Fast Fourier Transform)による時間-周波数変換の後、LPC(Linear Predictive Coding)とMFCCによる特徴量抽出処理を適用する手法などが挙げられる。上記LPC及びMFCCは人の声の解析手法として有用な方法として知られており、情報圧縮や音声認識の前処理として使用されているが、装置稼働音においても共振周波数抽出やスペクトル包絡抽出などにおいて有用な方法といえる。或いは、時間-周波数変換を行わず、稼働音に直接ヒルベルト変換(Hilbert Transform)を適用し、稼働音の振幅信号における包絡成分を得る特徴量抽出処理などを用いることもできる。また、冷却ファンにおいて定期的に発生する突発音を監視したい場合は、以下のような手法を適用可能である。この場合、例えば、冷却ファンの稼働音の振幅値などから突発音の開始タイミングを抽出する。そして、突発音に適したマザーウェーブレットによるウェーブレット変換を適用することで、時間-周波数変換を実施し、第3位までの最大周波数ピーク値を各分析フレーム毎に抽出する特徴量抽出処理を実施する手法などが挙げられる。ただし、使用される周波数変換処理又は特徴量抽出処理はこれらに限定されない。
異常度算出部112において、異常度を算出する場合、音響解析部111により算出した時間-周波数変換済みデータ又は特徴量抽出処理済みデータの全てもしくは一部を使用して実行することができる。このとき、異常度は音響解析部111で算出した多次元のデータを元に、対象装置の異常原因に対応した1次元のパラメータとして表現される。また、対象装置の複数の異常原因に対応した異常度を用いて、対象装置全体の異常度を示すパラメータを算出しても良い。
異常度算出部112において機械学習処理を用いる場合、機械学習処理は、1つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器(linear classifiers)、サポートベクターマシン(support vector machines)、二次分類器(quadratic classifiers)、カーネル密度推定(kernel estimation)、決定木(decision trees)、人工ニューラルネットワーク(artificial neural networks)、ベイジアン技術及び/又はネットワーク(Bayesian techniques and/or networks)、隠れマルコフモデル(hidden Markov models)、バイナリ分類子(binary classifiers)、マルチクラス分類器(multi-class classifiers)クラスタリング(a clustering technique)、ランダムフォレスト(a random forest technique)、ロジスティック回帰(a logistic regression technique)、線形回帰(a linear regression technique)、勾配ブースティング(a gradient boosting technique)などが挙げられる。ただし、使用される統計的分類技術はこれらに限定されない。
記憶部12は、RAM、ROM等による半導体メモリ、SSD(Solid State Drive)、HDD(Hard Disk Drive)等によるストレージデバイスなどの少なくともいずれか一つを含む記憶デバイスを有する。記憶部12は、音データ記憶部121、異常度記憶部122、イベントタグ記憶部123、評価結果記憶部124を含む。音データ記憶部121は、データ入力部11にて取得した音データを格納する。異常度記憶部122は、異常度算出部112にて算出した異常度のデータを格納する。イベントタグ記憶部123は、ユーザにより入力される装置故障、補修、点検等の実績を示す装置イベントのイベントタグを格納する。評価結果記憶部124は、評価部13による異常度解析及び故障発生予測等の異常予測の評価結果を格納する。
評価部13は、異常度遷移マッチング部131、故障発生予測部132を含む。異常度遷移マッチング部131は、異常度解析処理として、取得した音データに関する、現在の異常度遷移と、故障実績から1週間程度前の過去の異常度遷移とを比較するマッチング処理を実行し、異常度遷移の一致率(一致度)を算出する。故障発生予測部132は、故障発生予測処理として、異常度遷移マッチング部131の処理結果をもとに、近い将来に対象装置が故障する可能性を予測し、異常予測結果として出力する。この異常予測結果に基づき、過去、現在、未来にわたる異常判定、故障発生予測等が可能である。上記の異常度遷移の一致率及び故障発生予測の処理結果は、異常予測の評価結果として評価結果記憶部124に記憶される。評価部13は、深層学習をはじめとする機械学習処理を用いて処理を実行することも可能である。評価部13において機械学習処理を用いる場合、機械学習処理は、先に例示した1つ以上の統計的分類技術を用いて行ってもよい。
表示処理部14は、モニタ62を接続するビデオインタフェースを有し、異常度遷移表示部141、異常予測結果表示部142を含み、モニタ表示用の画像処理を行う。異常度遷移表示部141は、算出した異常度の遷移をグラフ表示等によって表現した解析結果表示の表示画面を生成する。異常度遷移表示部141は、異常度解析処理の結果に基づき、異常度遷移の一致率が所定値以上である場合、一致率を示すテキスト、アイコン、イメージ等を表示する。異常予測結果表示部142は、故障発生予測処理の結果に基づき、近い将来に故障発生の可能性がある場合、故障可能性をユーザに報知する予測結果表示の表示画面を生成する。故障可能性を報知するメッセージは、テキスト、アイコン、イメージ等によって表示する。また、異常度遷移表示部141及び異常予測結果表示部142は、故障発生予測処理の結果に基づき、近い将来に故障発生の可能性がある場合、将来の予測結果の異常度遷移を表示する。表示処理部14は、上記の異常度遷移及び異常予測結果を含む表示画面を、モニタ62に出力して表示させる。
ユーザ操作入力部15は、キーボード63を接続する入力インタフェースを有し、装置イベント入力部151、表示内容指示入力部152を含む。装置イベント入力部151は、ユーザ操作により入力される装置故障、補修、点検等の実績を示す装置イベントを受け付け、イベントタグとしてイベントタグ記憶部123に入力する。表示内容指示入力部152は、ユーザ操作により入力される表示内容指示を受け付け、表示区間のレンジ、表示項目、表示態様などの表示内容などを変更する指示情報を表示処理部14に入力する。
次に、本実施の形態の異常予測システムにおいて、モニタ62に表示する表示画面の例をいくつか示す。
図3は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第1例を示す図である。図示例のモニタ表示画面は、表示処理部14によってモニタ表示用の画像データが生成され、モニタ62に出力されて表示される。
モニタ表示画面601には、評価部13の処理結果として異常度遷移を示すグラフが表示される。図示例では、毎日点検を行う対象装置について、各点検日ごとの異常度遷移のグラフを示している。データ処理装置10は、グラフ表示において、異常度解析処理の結果に基づき、現在取得した直近の観測データによる現在の異常度遷移611を表示し、現在の観測データと過去の観測データとのマッチングを行って異常度遷移の一致率を算出する。そして、データ処理装置10は、故障発生予測処理の結果に基づき、異常度遷移の一致率が所定値以上の場合、該当する過去の観測データの異常度遷移を将来予測の異常度遷移613として表示する。この将来予測の異常度遷移613は、蓄積した多数の過去の実績データの中から、所定条件に基づいた判定基準以上に一致度が高い異常度遷移であり、現在の異常度遷移611についての近い将来の予測結果に相当するものである。将来予測の異常度遷移613は、過去の観測データの1つのサンプルを示してもよいし、類似する複数サンプルの代表値を示してもよい。また、データ処理装置10は、将来予測の異常度遷移613とともに、現在の異常度遷移に関する過去データとの一致率612を表示する。異常度遷移の一致率612は、○○%などのテキストだけでなく、アイコン、イメージ等を用いて表示してもよい。
第1例では、現時点から過去8日前に遡った観測データの異常度を現在の異常度遷移611として表示し、一致度が高い過去の異常度遷移を用いて、過去2日前から8日後までの異常度を将来予測の異常度遷移613として表示している。なお、異常度遷移を表示する表示期間は、ユーザ操作による表示内容指示によって、表示区間のレンジを変更することが可能である。また、異常度遷移、一致率などの表示項目、グラフの表示態様など、各種表示内容を、ユーザ操作による表示内容指示によって変更することも可能である。
将来予測の異常度遷移613は、近い将来の異常度の遷移の傾向をユーザに示すものであり、ユーザはグラフ表示によって直感的に異常度の遷移の仕方を把握できる。また、将来予測の異常度遷移613に基づき、故障状態に遷移する可能性の予測、故障発生の予測判定なども可能である。なお、将来予測の異常度遷移613は、一致度が高い過去の異常度遷移が複数存在する場合、複数の異常度遷移を一緒に表示する、所定の判定条件によって最も確からしい異常度遷移を選択して表示する、或いは安全マージンを確保するため異常度のより高い異常度遷移を表示するなど、種々の表示方法を用いてよい。また、将来予測の異常度遷移613は、所定のアルゴリズム又は機械学習処理を用いて、現在の異常度遷移611について予測を行った予測結果の異常度遷移を表示してもよい。
図3の表示例では、将来予測の異常度遷移613の異常度が徐々に大きくなり、8日後に故障した場合の異常度遷移を示している。データ処理装置10は、故障発生予測処理の結果に基づき、将来予測の異常度遷移613から故障が発生する可能性を判定し、図示例のように近い将来に故障発生の可能性が所定値以上で故障可能性がある場合、故障可能性有りを報知するメッセージ614を表示する。故障可能性有りのメッセージ614は、「○日後に故障が発生する可能性があります」などの発生予測日時を含むテキストだけでなく、アイコン、イメージ等を用いて表示してもよい。また、故障発生予測処理の結果として、所定のアルゴリズム又は機械学習処理を用いて、故障の発生確率を予測して算出し、「1週間以内に故障が発生する確率は○○%です」などの発生確率を含むメッセージを表示してもよい。
図4は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第2例を示す図である。第2例は、第1例の変形例であり、将来予測の異常度遷移の表示態様を変更した例である。ここでは、第1例と異なる部分について主に説明する。
第2例のモニタ表示画面602には、第1例と同様、現在の異常度遷移611、異常度遷移の一致率612、将来予測の異常度遷移613、故障可能性有りのメッセージ614が表示される。第2例では、データ処理装置10は、異常度遷移の一致率が所定値以上の場合、将来予測の異常度遷移613として、現時点から8日後までの異常度遷移を表示する。すなわち、現時点の異常度の値を、現在の異常度遷移611と将来予測の異常度遷移613とで一致させた状態で表示する。なお、異常度遷移を表示する表示期間は、ユーザ操作による表示内容指示によって、表示区間のレンジを変更することが可能である。また、異常度遷移、一致率などの表示項目、グラフの表示態様など、各種表示内容を、ユーザ操作による表示内容指示によって変更することも可能である。このような表示画面により、ユーザは現在から近い将来まで連続的に推移する異常度の遷移を確認できる。
図5は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第3例を示す図である。第3例は、第1例において異常度遷移の一致率が所定値未満の場合を示す例である。ここでは、第1例と異なる部分について主に説明する。
第3例のモニタ表示画面603には、第1例と同様、現在の異常度遷移611が表示される。第3例では、データ処理装置10は、異常度解析処理の結果に基づき、異常度遷移の一致率が所定値未満であり、過去の観測データの異常度遷移に一致するものが存在しない場合、将来予測の異常度遷移613を表示せずに非表示とする。なお、データ処理装置10は、故障発生予測処理の結果に基づき、近い将来に故障が発生する可能性が所定値未満で故障可能性が小さい場合、将来予測の異常度遷移613を非表示とし、現在の異常度遷移611のみを表示してもよい。このとき、データ処理装置10は、故障可能性無しを報知するメッセージ615を表示する。故障可能性無しのメッセージ615は、「故障する可能性はありません」などのテキストだけでなく、アイコン、イメージ等を用いて表示してもよい。また、故障発生予測処理の結果として、所定のアルゴリズム又は機械学習処理を用いて、故障の発生確率を予測して算出し、発生確率を含むメッセージを表示してもよい。なお、異常度遷移を表示する表示期間は、ユーザ操作による表示内容指示によって、表示区間のレンジを変更することが可能である。また、異常度遷移などの表示項目、グラフの表示態様など、各種表示内容を、ユーザ操作による表示内容指示によって変更することも可能である。
図6は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第4例を示す図である。第4例は、異常原因ごとの将来予測の異常度を表示する例である。
第4例のモニタ表示画面607には、第1例と同様、現在の異常度遷移611、異常度遷移の一致率612、将来予測の異常度遷移613が表示され、さらに、異常原因ごとの異常度割合616と、故障可能性有りのメッセージ617とが表示される。第4例では、データ処理装置10は、評価部13において、取得した1つの音データに関して、音データに含まれる情報から異常原因ごとに分類して異常度を算出し、過去、現在、未来にわたる異常原因ごとの異常判定、故障発生予測を実行する。異常原因ごとの異常度は、音データの特性の推移によって算出可能である。例えば、対象装置が冷却ファンである場合、異常原因としては、ファンの刃欠け、目詰まり、ベルトの緩みなどの複数の異常原因が挙げられる。
データ処理装置10は、表示処理部14により、異常度解析処理及び故障発生予測処理の結果に基づき、棒グラフ等により異常原因ごとの異常度割合616を表示する。異常原因ごとの異常度割合616は、例えば、「○○故障:xx%、××故障:yy%、△△故障:zz%」のように音データに対する各異常原因の割合表示を含む。異常原因ごとの異常度割合616は、図示例のように、1つの対象装置について異常原因ごとの結果を纏めて、1つのグラフによって表示すると、視認性が良く好ましい。また、データ処理装置10は、故障発生予測処理の結果に基づき、近い将来に所定値以上で故障可能性がある場合、該当する異常原因に関する故障可能性有りのメッセージ617を表示する。これにより、対象装置における部品、部材、ユニット等の構成単位の異常推定ではなく、どのような原因で故障可能性が生じるかなど、原因又は現象ごとに発生する異常の推定を実施可能となる。異常原因ごとの異常推定を行い、表示画面に表示することにより、原因によってはメンテナンスのみで対応可能である、修理又は交換が必要であるなど、ユーザにおいて異常原因に応じた適切な処置が可能になる。
図7は、本実施の形態に係る異常予測システムにおけるモニタ表示画面の第5例を示す図である。第5例は、第4例の変形例であり、故障可能性有りのメッセージの表示態様を変更した例である。ここでは、第1例と異なる部分について主に説明する。
第5例のモニタ表示画面608には、第4例と同様、現在の異常度遷移611、異常度遷移の一致率612、将来予測の異常度遷移613、異常原因ごとの異常度割合616、故障可能性有りのメッセージ618が表示される。第5例では、データ処理装置10は、算出した異常原因ごとの異常度割合に基づき、故障可能性有りのメッセージ618として、故障が発生する可能性の割合を異常原因ごとに表示する。故障可能性有りのメッセージ618は、例えば、「○○故障:xx%、××故障:yy%、△△故障:zz%」のように音データに対する各異常原因により故障が発生する可能性の割合表示を含む。このような表示画面により、ユーザは異常原因ごとの異常度の割合、及び異常原因ごとの故障発生の可能性を確認することができる。
次に、本実施の形態の異常予測システムにおける異常予測方法に関する処理手順の一例を示す。
図8は、本実施の形態に係るイベント入力処理の手順の一例を示すフローチャートである。異常予測システムにおいて、ユーザは、対象装置の点検や補修の際などに、装置故障、補修、点検等の実績を示す装置イベントを入力し、過去に発生したイベントの履歴を記録する。データ処理装置10は、ユーザ操作入力部15において、ユーザの装置イベント入力に対応するイベント入力処理を実行する。
データ処理装置10は、ユーザ操作入力部15の装置イベント入力部151において、ユーザ操作によりキーボード63等から入力される装置故障、補修、点検等の実績を示す装置イベントを受け付ける(S11)。装置イベントには、対象装置の装置名や型番、シリアル番号等による装置識別情報、日付や時間等の時間情報、発生したイベント名称等のイベント種別情報などが含まれる。そして、データ処理装置10は、装置イベントの情報を記憶部12のイベントタグ記憶部123にイベントタグとして格納し登録する(S12)。装置イベントを示すイベントタグの情報は、評価部13の故障発生予測処理において、異常度遷移に基づく故障可能性の有無判定などに利用することができる。例えば、過去の点検結果や補修実績などを故障発生予測のパラメータに用いることによって、予測精度を向上できる。
図9は、本実施の形態に係る異常度算出処理の手順の一例を示すフローチャートである。データ処理装置10は、データ入力部11において、マイク61から入力される対象装置の音データに関する異常度算出処理を実行する。
データ処理装置10は、データ入力部11の音響解析部111において、マイク61により収音した冷却ファン50の音データ(又は振動データ)を取得し(S21)、周波数変換処理などの前処理を施して音データの信号の解析を行う(S22)。これにより、音データの周波数特性などの特徴要素を取得する。このとき、データ処理装置10は、記憶部12の音データ記憶部121に取得した音データを格納する。そして、データ入力部11の異常度算出部112において、取得した音データの異常度を算出する(S23)。
ここで、異常度算出方法の一例を示す。異常度Aは、音響解析結果の音データの周波数特性を用いて、対象の現在の測定データと過去の測定結果との周波数毎の距離の総和に基づいて算出可能であり、例えば各周波数毎の音圧の最大値又は最小値を超えた量の総和によって求められる。すなわち、周波数毎の音圧が最大値又は最小値を超えた場合の、その測定値と最大値又は最小値との距離の総和によって異常度Aを算出する。異常度Aを数式で表すと以下の式(1)のようになる。
A=Σ(1/n)di …(1)
ただし、Σはi=0~n-1、音響周波数帯域の0Hzから24kHzにおいて1024ステップ(n=1024)の範囲で(1/n)diを加算するものであり、
ある周波数の音圧値をxiとしたとき、Smax<xiの場合はdi=|Smax-xi|、Smin>xiの場合はdi=|Smin-xi|、Smin≦xi≦Smaxの場合はdi=0である。
式(1)を用いて、0Hzから24kHzのいずれかの周波数において音圧値xiが最大値又は最小値を超えた場合、音圧値xiと最大値又は最小値との距離diを算出し、0Hzから24kHzの全周波数において距離diを加算して総和を求めることにより、異常度Aを算出する。なお、異常度Aは、周波数によって所定の重み付けを行うなど、処理対象の周波数特性、周囲環境、収音条件などに応じて、所定の係数を用いて算出してもよい。
次に、データ処理装置10は、異常度算出部112により算出した異常度のデータを記憶部12の異常度記憶部122に格納し、直近の異常度の値を更新する(S24)。また、データ処理装置10は、表示処理部14の異常度遷移表示部141において、更新した直近の異常度を用いた異常度遷移の画像を生成し、モニタ表示画面の異常度遷移のグラフを更新する(S25)。これにより、モニタ62に表示されるモニタ表示画面において、現在の異常度遷移を示すグラフ表示が更新される。
図10は、本実施の形態に係る異常評価処理の手順の一例を示すフローチャートである。データ処理装置10は、評価部13において、対象装置の観測データの異常度推移に基づく異常評価処理を実行する。
データ処理装置10は、評価部13の異常度遷移マッチング部131において、異常度記憶部122に格納された直近の異常度遷移データ702と過去の故障時の異常度遷移データ701とを参照し、過去の故障時の異常度遷移と直近の異常度遷移とのマッチング処理を行う(S31)。そして、評価部13の故障発生予測部132において、マッチング処理の結果により一致度が高い過去の故障時の異常度遷移に基づき、近い将来に対象装置が故障する可能性があるかどうか判定し、異常予測結果として出力する(S32)。一致率の算出方法としては、例えば、過去の異常度遷移と直近の異常度遷移とをサンプル(例えば点検日毎の異常度値)ごとに比較し、差分が所定値以下で一致しているサンプル数の割合を算出してパーセントで示す方法などを用いればよい。また、コーエンの一致係数等の所定の係数又は評価式を用いて一致率を算出してもよい。
ここで、近い将来の故障発生の可能性が少ない場合、表示処理部14の異常度遷移表示部141及び異常予測結果表示部142において、正常判定の表示を行うモニタ表示画面を生成し、モニタ62に表示させる(S33)。この場合、例えば図5に示した第3例のモニタ表示画面を表示させる。また、近い将来の故障発生の可能性がある場合、表示処理部14の異常度遷移表示部141及び異常予測結果表示部142において、将来可能性がある異常度遷移を表示するモニタ表示画面を生成し、モニタ62に表示させる(S34)。この場合、例えば図3に示した第1例又は図4に示した第2例のモニタ表示画面を表示させる。これにより、モニタ62に表示されるモニタ表示画面において、現在の異常度遷移を示すグラフ表示と、故障発生可能性等の異常予測結果を示すメッセージ表示とが表示される。
また、データ処理装置10は、故障発生予測部132による故障発生可能性等の異常予測結果を含む異常予測データを記憶部12の評価結果記憶部124に格納し、異常予測結果(故障発生予測)を更新する(S35)。
図11は、実施の形態1に係る異常予測システムの動作を示すシーケンス図である。図11では、実施の形態1の異常予測システムにおける、ユーザインタフェースとしてのマイク61、モニタ62と、データ処理装置10とにおける処理の流れを示している。
マイク61により対象装置である冷却ファン50の音データ(又は振動データ)を収音して取得し(S41)、データ処理装置10は、取得した音データを入力して音データ記憶部121に記憶し、音データを更新する(S51)。そして、データ処理装置10は、音データの信号の解析を行い(S52)、異常度の算出を行う(S53)。次に、データ処理装置10は、算出した異常度によって直近の異常度の値を更新し(S54)、モニタ62に異常度遷移のグラフの表示出力を行い(S42)、算出した異常度のデータを異常度記憶部122に記憶し、異常度データを更新する(S55)。これにより、モニタ62には現在までの異常度遷移のグラフ表示等が表示される。
次に、データ処理装置10は、過去の故障時の異常度遷移と直近の異常度遷移とのマッチング処理を行い(S56)、マッチング処理の結果に基づき、近い将来に対象装置において発生する可能性のある異常があるかどうか、故障可能性を判定する(S57)。また、データ処理装置10は、モニタ62に出力する異常度遷移の予測グラフを更新し、故障可能性の有無を示すメッセージ表示を出力する(S43)。これにより、モニタ62の表示画面において、異常度遷移の予測グラフのグラフ表示が更新され、故障可能性の有無を示すメッセージ表示が表示される。そして、データ処理装置10は、故障発生可能性等の異常予測結果を含む異常予測データを評価結果記憶部124に記憶し、異常予測データを更新する(S58)。
上述したように、本実施の形態では、対象装置の音データ又は振動データの処理対象データを取得して異常度を算出し、異常度データを格納して蓄積する。そして、現在の処理対象データの直近の異常度推移について、過去の異常度推移とのマッチング処理を行って一致率が所定値以上となる一致度が高い異常度推移を抽出し、一致度が高い異常度推移によって近い将来に故障可能性があるかどうか判定する。また、処理結果として、直近の異常度推移を表示し、一致度が高い異常度推移がある場合はこれを将来予測の異常度推移として表示し、故障可能性を示す予測結果を表示する。これにより、ユーザは、対象装置及びセンサ、並びに測定結果に関する専門知識やノウハウを必要とせずに、現状の異常度推移と、将来予測される異常度推移とを目視確認して容易に把握でき、異常状態の判定及び予測を容易に実施できる。また、近い将来の異常度推移の予測結果、及び故障可能性の予測結果をユーザに提供できるため、ユーザは異常度の動向を確認し、対象装置に故障が発生する前に、故障の予兆を容易に把握することができる。よって、対象装置に対する高度な保守を実施することが可能になる。
(実施の形態2)
図12は、実施の形態2に係る異常予測システムの概略構成の一例を示す図である。実施の形態2の異常予測システムは、データ処理装置による処理を、手元の端末装置20とネットワーク上のクラウドコンピュータ30とにおいて分散して実行する構成例である。
端末装置20は、プロセッサ及びメモリを有する情報処理装置により構成されるローカルコンピュータであり、ユーザインタフェースとしてのマイク61、モニタ62、キーボード63と接続される。端末装置20は、デスクトップ型又はノート型のPC(Personal Computer)、タブレット端末、スマートフォン等の各種の情報処理装置を用いることができる。クラウドコンピュータ30は、有線又は無線のネットワーク又は通信回線等の通信路80を介して端末装置20と接続され、ネットワーク上に設けられるサーバ装置を含む遠隔の情報処理装置(リモートコンピュータ)により構成される。異常予測システムの全体の機能は図1に示した実施の形態1と同様であり、ここでは実施の形態1と異なる部分を中心に説明する。
図13は、実施の形態2に係る異常予測システムの機能的構成の一例を示すブロック図であり、図12に示した端末装置20及びクラウドコンピュータ30のサーバ装置40における機能的な構成を示している。端末装置20、サーバ装置40の各機能は、CPU、DSP等のプロセッサと、RAM、ROM等のメモリとを含むコンピュータによって、所定のプログラムに従って処理を実行することにより実現する。
端末装置20は、プロセッサ及びメモリを有する情報処理装置により構成され、データ入力部21、表示処理部24、ユーザ操作入力部25、通信部26を含む。データ入力部21は、実施の形態1の音響解析部111と同様の音響解析部211を有する。なお、音響解析部211の機能をサーバ装置40に有するようにしてもよい。表示処理部24は、実施の形態1の異常度遷移表示部141、異常予測結果表示部142と同様の異常度遷移表示部241、異常予測結果表示部242を有する。ユーザ操作入力部25は、実施の形態1の装置イベント入力部151、表示内容指示入力部152と同様の装置イベント入力部251、表示内容指示入力部252を有する。通信部26は、有線又は無線の通信インタフェースを有し、通信路80を介してサーバ装置40と通信を行う。
サーバ装置40は、プロセッサ及びメモリを有する情報処理装置により構成され、異常度算出部412、記憶部42、評価部43、ユーザ操作入力部45、通信部46を含む。異常度算出部412は、実施の形態1の異常度算出部112と同様の機能を有する。記憶部42は、実施の形態1の音データ記憶部121、異常度記憶部122、イベントタグ記憶部123、評価結果記憶部124と同様の音データ記憶部421、異常度記憶部422、イベントタグ記憶部423、評価結果記憶部424を有する。評価部43は、実施の形態1の異常度遷移マッチング部131、故障発生予測部132と同様の異常度遷移マッチング部431、故障発生予測部432を有する。ユーザ操作入力部45は、実施の形態1の装置イベント入力部151と同様の装置イベント入力部451を有し、サーバ装置40においても装置イベントの入力処理が可能となっている。通信部46は、通信路80を介して端末装置20と通信を行い、端末装置20との間で音データ、解析処理後の音データ、異常度データ、イベントタグ、異常予測の評価結果データ等を送受信する。
実施の形態2では、端末装置20において対象装置の音データの取得、異常度遷移及び故障発生予測等の処理結果の表示を行い、サーバ装置40において異常度の算出、故障発生予測等の処理負荷が比較的大きい処理を実行する。
図14は、実施の形態2に係る異常予測システムの動作を示すシーケンス図である。図14では、実施の形態2の異常予測システムにおける、ユーザインタフェースとしてのマイク61、モニタ62、キーボード63と、端末装置20と、サーバ装置40とにおける処理の流れを示している。
マイク61により対象装置である冷却ファン50の音データ(又は振動データ)を収音して取得し(S61)、端末装置20は、取得した音データを入力して音データの信号の解析を行う(S71)。そして、端末装置20は解析処理後の音データをサーバ装置40に送信する。サーバ装置40は、端末装置20から受信した音データを入力して音データ記憶部421に記憶し、音データを更新し(S81)、音データについて異常度の算出を行う(S82)。次に、サーバ装置40は、算出した異常度によって直近の異常度の値を更新し(S83)、算出した異常度のデータを異常度記憶部422に記憶し、異常度データを更新する(S84)。また、サーバ装置40は、端末装置20に対して算出した異常度遷移に関するデータを送信する。
端末装置20は、サーバ装置40からの異常度遷移に関する処理結果を受信し、メモリ又はストレージデバイスによる記憶部に一時格納する(S72)。そして、端末装置20は、モニタ62に異常度遷移のグラフの表示出力を行う(S62)。これにより、モニタ62には現在までの異常度遷移のグラフ表示等が表示される。
次に、サーバ装置40は、過去の故障時の異常度遷移と直近の異常度遷移とのマッチング処理を行い(S85)、マッチング処理の結果に基づき、近い将来に対象装置において発生する可能性のある異常があるかどうか、故障可能性を判定する(S86)。また、サーバ装置40は、端末装置20に対して故障発生予測に関するデータを送信する。そして、サーバ装置40は、故障発生可能性等の異常予測結果を含む異常予測データを評価結果記憶部124に記憶し、異常予測データを更新する(S87)。
端末装置20は、サーバ装置40からの故障発生予測に関する処理結果を受信し、記憶部に一時格納する(S73)。そして、端末装置20は、モニタ62に出力する異常度遷移の予測グラフを更新し、故障可能性の有無を示すメッセージ表示を出力する(S63)。これにより、モニタ62の表示画面において、異常度遷移の予測グラフのグラフ表示が更新され、故障可能性の有無を示すメッセージ表示が表示される。
また、端末装置20は、キーボード63からの表示内容の変更指示を受け付け(S64)、記憶部に一時格納した処理結果のデータをもとに、変更指示に従ってモニタ表示画面を生成し、表示内容を変更する(S74)。表示内容としては、異常度遷移の表示区間のレンジ、グラフの表示態様、対象装置の識別情報や測定条件等の各種情報の表示項目など、種々の表示情報を変更可能である。そして、端末装置20は、モニタ62に表示内容変更後の表示画面を出力し、異常度遷移のグラフなどの再表示を行う(S65)。これにより、モニタ62にはユーザ操作に応じた表示内容の処理結果のモニタ表示画面が表示される。
本実施の形態によれば、ユーザが専門知識やノウハウを必要とせずに、現状の異常度推移と、将来予測される異常度推移とを目視確認して容易に把握でき、異常状態の判定及び予測を容易に実施できる。また、近い将来の異常度推移の予測結果、及び故障可能性の予測結果をユーザが容易に確認し、対象装置に故障が発生する前に、故障の予兆を把握することができる。
本実施の形態では、異常予測に関する処理をネットワーク又は通信回線等を介して接続される複数の情報処理装置において分散して実行する構成となっている。特に、異常度の算出処理、異常度推移のマッチング処理、故障発生の予測処理については、高い処理能力を持つサーバ装置等の情報処理装置を用いて実行することにより、複雑なアルゴリズム演算や高速処理などへの対応が容易になる。なお、異常予測に関する各処理は、データ入力部を有するローカルの端末装置と、通信路を介して接続されるリモートのサーバ装置など、複数の情報処理装置において、処理毎に適宜割り当てて実行してもよい。例えば、システム構成、使用環境、データ処理のアルゴリズム、データ量、データ特性、出力態様などの各種条件に応じて、本実施の形態に係る各処理を適切な情報処理装置にて実行することが可能である。このように、異常予測システムのシステム構成に応じて処理を分散して実行することにより、効率良く高速に異常度解析及び故障発生予測等の異常予測の評価結果を得ることができる。
(実施の形態3)
図15は、実施の形態3に係る異常予測システムの概略構成の一例を示す図である。実施の形態3の異常予測システムは、実施の形態2の変形例であり、端末装置としてマイク(収音部の一例)、モニタ(表示部の一例)、及びカメラ(撮像部の一例)を有するスマートフォン等の携帯通信端末20Aを用いた構成例である。携帯通信端末20Aは、モバイルネットワーク、無線LAN等の無線通信によるネットワークに接続され、有線又は無線のネットワーク又は通信回線等の通信路80を介してサーバ装置を含むクラウドコンピュータ30に接続される。携帯通信端末20Aは、実施の形態2の端末装置20と同様の機能を有する。ここでは実施の形態2と異なる部分について説明する。
対象装置であるコンピュータの冷却ファン50には、対象装置の識別情報を含む識別マーク55が設けられている。識別マーク55は、対象装置の周囲など、近傍に設けていてもよく、対象装置との測定距離、測定位置を規定可能な範囲で適宜配置すればよい。識別マーク55は、QRコード(登録商標)等の二次元コード、バーコード、カラーコードなど、所定の大きさに形成された各種のコード又は画像を用いることができる。携帯通信端末20Aは、自装置のカメラによって識別マーク55を撮像することにより、対象装置の識別情報を取得するとともに、撮像した識別マーク55の大きさによって自装置のマイクから対象装置までの規定の測定距離を確保可能となっている。
図16は、実施の形態3に係る異常予測システムにおける端末装置の表示画面の一例を示す図である。冷却ファン50の音データを収音して取得する際には、ユーザが携帯通信端末20Aのカメラにて識別マーク55を撮像する。携帯通信端末20Aは、ディスプレイ62Aに表示される表示画面604において、識別マークの撮像画像表示部605と異常度遷移を含む処理結果表示部606とを表示する。撮像画像表示部605には、識別マークの大きさの上限及び下限を示すガイド表示としてのガイド枠621、622が表示され、撮像された識別マーク画像623が表示される。識別マーク画像623の外形が外側のガイド枠621と内側のガイド枠622の間に収まるように、ユーザが携帯通信端末20Aを保持することにより、対象装置(冷却ファン50)の測定位置、測定距離を担保できる。これにより、異常度遷移を継続的に取得して故障判定を実行するにあたり、常に適切な同一の測定位置、測定距離で測定した音データを取得可能である。携帯通信端末20Aは、識別マーク画像623がガイド枠621、622の範囲内に収まった場合に、マイクにて収音した冷却ファン50の音データを入力し、その後の処理を実行する。
携帯通信端末20Aは、撮像画像表示部605において識別マーク画像623がガイド枠621、622の間にある状態で、自装置のマイクによって冷却ファン50の音を収音し、音データを取得する。このとき、携帯通信端末20Aは、ユーザが録音ボタンをオンした状態で、識別マーク画像623がガイド枠621、622の範囲内にある場合に、マイクによる収音を開始する。或いは、識別マーク画像623がガイド枠621、622の範囲内にある場合に録音ボタンをアクティブとし、その後ユーザが録音ボタンを操作することによって収音を開始してもよい。その後の処理は実施の形態2と同様である。
本実施の形態によれば、ユーザが専門知識やノウハウを必要とせずに、現状の異常度推移と、将来予測される異常度推移とを目視確認して容易に把握でき、異常状態の判定及び予測を容易に実施できる。また、近い将来の異常度推移の予測結果、及び故障可能性の予測結果をユーザが容易に確認し、対象装置に故障が発生する前に、故障の予兆を把握することができる。
本実施の形態のように、携帯通信端末を用いて、カメラ撮像画像による測定位置及び測定距離の設定、音データの取得、及び処理結果を表示を行うことによって、異常度推移の把握、異常状態の判定、故障可能性の予測等を簡便に実施することができる。また、異常予測に関する処理を実行するサーバ装置に、対応するアプリケーションソフトウェアを有する携帯通信端末を接続することによって、システムを構成できるので、種々の環境において容易に異常予測システムを実現できる。
(実施の形態4)
図17は、実施の形態4に係る異常予測システムの機能的構成の一例を示すブロック図である。実施の形態4の異常予測システムは、実施の形態1の構成に加えて、音データの再生機能及び音データの可視化機能を有する構成例である。ここでは実施の形態1と異なる部分を中心に説明し、同様の構成及び機能については説明を省略する。
データ処理装置10Bは、プロセッサ及びメモリを有する情報処理装置により構成され、データ入力部11、記憶部12、評価部13、出力処理部14B、ユーザ操作入力部15B、データ可視化部17を含む。
データ可視化部17は、スペクトログラム解析部171、振幅値算出部172を含み、音データのスペクトログラムの生成処理、音データの時間経過に伴う振幅値の算出処理など、音物理量の可視化データを生成する可視化処理を実行する。スペクトログラム解析部171は、指定された検査情報に紐付いた音データを参照し、スペクトログラム解析処理によって音データの周波数スペクトルを算出して各周波数成分の時間変化の特性を画像化したスペクトログラムを生成する。検査情報は、取得した音データに関する取得時の日付、時間、対象装置又は部位などの各種検査属性を含むものである。スペクトログラム解析部171は、スペクトログラムの生成処理において、音データに対してフーリエ変換、ウェーブレット変換等を行って時間-周波数特性を算出する。なお、スペクトログラムの生成の際に、所定の周波数帯域の代表値によって圧縮する処理を加えてもよい。データ可視化部17は、生成したスペクトログラムによる可視化データを可視化データ表示部143に出力する。
振幅値算出部172は、指定された検査情報に紐付いた音データを参照し、所定時間毎の音データの振幅値を算出して音量の時間遷移を表す時間遷移グラフを生成する。データ可視化部17は、生成した音量の時間遷移グラフによる可視化データを可視化データ表示部143に出力する。なお、データ可視化部17は、スペクトログラム、音量の時間遷移に限らず、その他の音物理量の可視化データを生成してもよい。
出力処理部14Bは、モニタ62を接続するビデオインタフェース及びスピーカ64を接続するオーディオインタフェースを有し、異常度遷移表示部141、異常予測結果表示部142、可視化データ表示部143、音再生部144を含む。出力処理部14Bは、モニタ表示用の画像処理、及び音データの再生処理を実行する。可視化データ表示部143は、データ可視化部17による音データの可視化処理に基づき、音のスペクトログラム、音量の時間遷移グラフ等の可視化データを表示する表示画面を生成する。音再生部144は、音データのデコード、信号増幅等を行い、再生用の音信号をスピーカ64に出力する。
ユーザ操作入力部15Bは、キーボード63、図示しないマウス等のポインタデバイスを接続する入力インタフェースを有し、装置イベント入力部151、表示内容指示入力部152、可視化データ表示操作部153、音再生操作部154を含む。可視化データ表示操作部153は、ユーザ操作により入力される可視化対象の音データの選択指示を受け付け、データ可視化部17及び記憶部12に可視化対象の音データを指定する可視化対象音の検査情報を入力する。また、可視化データ表示操作部153は、出力処理部14Bに可視化データの表示態様などを含む可視化表示情報を入力する。音再生操作部154は、ユーザ操作により入力される再生対象の音データの選択指示を受け付け、出力処理部14B及び記憶部12に再生対象の音データを指定する再生対象音の検査情報を入力する。
次に、実施の形態4の異常予測システムにおいて、モニタ62に表示する表示画面の例をいくつか示す。
図18は、実施の形態4に係る異常予測システムにおけるモニタ表示画面の第1例を示す図である。図示例のモニタ表示画面は、出力処理部14Bによってモニタ表示用の画像データが生成され、モニタ62に出力されて表示される。
実施の形態4の第1例は、音データを再生出力する場合のモニタ表示画面の一例である。モニタ表示画面631には、実施の形態1と同様、現在の異常度遷移611、異常度遷移の一致率612、将来予測の異常度遷移613、故障可能性有りのメッセージ614が表示される。また、モニタ表示画面631には、音再生を行う対象の音データを指定するカーソル641が表示される。実施の形態4の第1例では、データ処理装置10Bは、モニタ表示画面の異常度遷移611、613において、各音データを示す点のうち、所定の音データをカーソル641で指示してクリック操作する等のユーザ操作により、再生対象の音データの選択指示を受け付ける。データ処理装置10Bは、選択指示された再生対象音の検査情報を入力し、指定された検査情報に紐付いた音データを再生出力し、音信号をスピーカ64より出力して再生する。再生する音データは、過去の観測データを記憶した音データ(計測データ)、過去の観測データに基づいた将来の異常度遷移の予測結果により故障可能性が高い(異常度が高い)と予測される音データ(推測データ)など、過去、現在、将来予測のそれぞれの音データを再生可能である。
また、データ処理装置10Bは、モニタ表示画面の異常度遷移611、613において、複数の音データをカーソル641で指示してクリック操作する等のユーザ操作により、複数の再生対象の音データの選択指示を受け付ける。この場合、データ処理装置10Bは、複数選択された音データの再生データを一覧表示する再生音声リスト642を生成し、モニタ表示画面631に再生音声リスト642と再生指示を入力する再生ボタン643とを表示する。図示例では、再生データとして、3月4日の計測データ、3月8日の計測データ、3月16日の推測データを選択した場合を示している。ユーザが再生音声リスト642の音データを確認し、再生ボタン643のクリック操作等により再生指示操作を行うと、データ処理装置10Bは、複数選択された再生音声リスト642の音データを連続して再生する。図示例の場合、3月4日の計測データ、3月8日の計測データ、3月16日の推測データが連続して再生される。例えば、時間経過に伴って異常度が上昇する場合に、複数の音データを選択して連続再生することにより、ユーザは異常度に対する音の変化を確認できる。これにより、音データの異常度と再生音との関連性をユーザにフィードバックすることができる。
図19は、実施の形態4に係る異常予測システムにおけるモニタ表示画面の第2例を示す図である。実施の形態4の第2例は、音データをスペクトログラムによって可視化表示する場合のモニタ表示画面の一例である。
モニタ表示画面632には、実施の形態1と同様、現在の異常度遷移及び将来予測の異常度遷移が表示され、さらに、可視化表示を行う対象の音データを指定するカーソル641が表示される。実施の形態4の第2例では、データ処理装置10Bは、モニタ表示画面の異常度遷移において、各音データを示す点のうち、所定の音データをカーソル641で指示してクリック操作する等のユーザ操作により、可視化対象の音データの選択指示を受け付ける。データ処理装置10Bは、選択指示された可視化対象音の検査情報を入力し、指定された検査情報に紐付いた音データの可視化データを生成し、スペクトログラムの可視化データ651をモニタ表示画面632に表示する。図示例では、可視化データとして、3月8日の音データに対応するスペクトログラムを示しており、横軸は時間、縦軸は周波数を表している。スペクトログラムによって、異常時の周波数特性のピークの変化、ピークの増加又は減少などを把握できる。可視化表示する音データは、過去の観測データを記憶した音データ(計測データ)、過去の観測データに基づいた将来の異常度遷移の予測結果により故障可能性が高い(異常度が高い)と予測される音データ(推測データ)など、過去、現在、将来予測のそれぞれの音データの可視化情報を表示可能である。
図20は、図19のモニタ表示画面において可視化データを複数表示する場合を示す図である。図20では、複数のスペクトログラムを並べて表示する例を示している。
データ処理装置10Bは、モニタ表示画面632の異常度遷移において、複数の音データをカーソル641で指示してクリック操作する等のユーザ操作により、複数の可視化対象の音データの選択指示を受け付ける。この場合、データ処理装置10Bは、複数選択された音データの表示データを一覧表示する表示音声リスト652を生成し、モニタ表示画面632に表示音声リスト652と表示指示を入力する表示ボタン653とを表示する。図示例では、表示データとして、3月4日の計測データ、3月8日の計測データ、3月16日の推測データを選択した場合を示している。ユーザが表示音声リスト652の音データを確認し、表示ボタン653のクリック操作等により可視化指示操作を行うと、データ処理装置10Bは、複数選択された表示音声リスト652の音データの可視化データを生成する。そして、データ処理装置10Bは、複数のスペクトログラムを連結した可視化データ654をモニタ表示画面632に表示する。図示例の場合、3月4日の計測データ、3月8日の計測データ、3月16日の推測データの各スペクトログラムが並べて表示される。例えば、時間経過に伴って異常度が上昇する場合に、複数の音データを選択して可視化表示することにより、ユーザは可視化データによって異常度に対する周波数特性の変化を容易に確認できる。これにより、音データの異常度と音特性との関連性をユーザにフィードバックすることができる。
図21は、実施の形態4に係る異常予測システムにおけるモニタ表示画面の第3例を示す図である。実施の形態4の第3例は、音データを音量の時間遷移グラフによって可視化表示する場合のモニタ表示画面の一例である。
モニタ表示画面633には、実施の形態1と同様、現在の異常度遷移及び将来予測の異常度遷移が表示され、さらに、可視化表示を行う対象の音データを指定するカーソル641が表示される。実施の形態4の第3例では、データ処理装置10Bは、異常度遷移における所定の音データをカーソル641で指示する等のユーザ操作により、可視化対象の音データの選択指示を受け付ける。データ処理装置10Bは、選択指示された可視化対象音の検査情報を入力し、指定された検査情報に紐付いた音データの可視化データを生成し、音量の時間遷移グラフの可視化データ655をモニタ表示画面633に表示する。図示例では、可視化データとして、3月8日の音データに対応する音量の時間遷移を表す時間遷移グラフを示しており、横軸は時間、縦軸は音量の音圧レベルを表している。音量の時間遷移グラフによって、異常時の音量のレベル変化、音量の増加などを把握できる。スペクトログラムと同様に、音量の時間遷移についても、過去の計測データ、将来の予測結果に基づく推測データなど、過去、現在、将来予測のそれぞれの音データの可視化情報を表示可能である。
図22は、図21のモニタ表示画面において可視化データを複数表示する場合の一例を示す図である。図22では、複数の音量の時間遷移グラフを並べて表示する一つの例を示している。
データ処理装置10Bは、モニタ表示画面633の異常度遷移において、複数の音データをカーソル641で指示してクリック操作する等のユーザ操作により、複数の可視化対象の音データの選択指示を受け付ける。この場合、データ処理装置10Bは、図20に示したスペクトログラムの例と同様に、モニタ表示画面633に表示音声リスト652と表示ボタン653とを表示する。ユーザが表示音声リスト652の音データを確認し、表示ボタン653のクリック操作等により可視化指示操作を行うと、データ処理装置10Bは、複数選択された表示音声リスト652の音データの可視化データを生成する。そして、データ処理装置10Bは、複数の音量の時間遷移グラフを横方向に連結した可視化データ656をモニタ表示画面633に表示する。図示例の場合、3月4日の計測データ、3月8日の計測データ、3月16日の推測データのそれぞれの音量の時間遷移グラフが、縦軸の音量を共通化した状態で並べて表示される。これにより、音量のレベル変化、時間遷移を比較可能である。このように、複数の音量の時間遷移グラフを並べて表示することにより、ユーザは可視化データによって異常度の変化に伴う音量の時間遷移を容易に確認できる。
図23は、図21のモニタ表示画面において可視化データを複数表示する場合の他の例を示す図である。図23では、複数の音量の時間遷移グラフを並べて表示する他の例を示している。ここでは、図22と異なる部分について説明する。
データ処理装置10Bは、表示ボタン653のクリック操作等による可視化指示操作を受け付けると、複数選択された表示音声リスト652の音データの可視化データを生成する。そして、データ処理装置10Bは、複数の音量の時間遷移グラフを縦方向に連結した可視化データ657をモニタ表示画面633に表示する。図示例の場合、3月4日の計測データ、3月8日の計測データ、3月16日の推測データのそれぞれの音量の時間遷移グラフが、横軸の時間を共通化した状態で並べて表示される。これにより、音量の時間単位の変化を比較可能である。このように、複数の音量の時間遷移グラフを並べて表示することにより、ユーザは可視化データによって日付ごとの音量の時間遷移を容易に確認できる。
次に、実施の形態4の異常予測システムにおける音データの再生及び可視化に関する処理手順の一例を示す。
図24は、実施の形態4に係る音データ再生処理の手順の一例を示すフローチャートである。データ処理装置10Bは、ユーザ操作入力部15Bの音再生操作部154において、ユーザ操作によりキーボード63等から入力される再生対象の音データの選択指示を受けて、ユーザが選択した1つ又は複数の音データに対応する検査情報を受け付ける(S111)。そして、データ処理装置10Bは、出力処理部14Bの音再生部144において、指定された検査情報に紐付いた音データを音データ記憶部121より取得する(S112)。続いて、データ処理装置10Bは、出力処理部14Bの音再生部144において、取得した音データを再生処理し、スピーカ64に出力して再生する(S113)。これにより、ユーザが選択した所定の音データが再生され、ユーザにおいて所望の音データを聴いて確認できる。
図25は、実施の形態4に係る音データ可視化処理の手順の一例を示すフローチャートである。データ処理装置10Bは、ユーザ操作入力部15Bの音再生操作部154において、ユーザ操作によりキーボード63等から入力される可視化表示対象の音データの選択指示を受けて、ユーザが選択した1つ又は複数の音データに対応する検査情報を受け付ける(S121)。そして、データ処理装置10Bは、データ可視化部17において、指定された検査情報に紐付いた音データを音データ記憶部121より取得する(S122)。続いて、データ処理装置10Bは、データ可視化部17において、音データの可視化処理を実行し、選択された音データのスペクトログラム、音量の時間遷移グラフ等の可視化データを生成する(S123)。そして、データ処理装置10Bは、出力処理部14Bの可視化データ表示部143において、可視化処理結果の可視化データを表示する表示画面を生成し、モニタ62に出力して表示する(S124)。これにより、ユーザが選択した所定の音データの可視化情報が表示され、ユーザにおいて所望の音データの特徴を視覚的に確認できる。
図26は、実施の形態4に係る異常予測システムの動作を示すシーケンス図である。図26では、実施の形態4の異常予測システムにおける、ユーザインタフェースとしてのモニタ62、キーボード63、スピーカ64と、データ処理装置10Bとにおける処理の流れを示している。
音データの再生処理を行う場合、キーボード63等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の再生指示を入力する(S131)。データ処理装置10Bは、ユーザ操作入力部15Bにおいて、選択された検査情報を入力する。そして、データ処理装置10Bは、記憶部12に記憶された音データの中から選択された検査情報に紐付いた音データを参照し、出力処理部14Bにより音データの再生処理を行って出力する(S141)。これにより、スピーカ64からは選択した検査情報に紐付けられた音が再生出力される(S132)。
音データの可視化処理を行う場合、キーボード63等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の可視化指示を入力する(S136)。データ処理装置10Bは、ユーザ操作入力部15Bにおいて、選択された検査情報を入力し、記憶部12に記憶された音データの中から、選択された検査情報に紐付いた音データを参照する(S146)。そして、データ処理装置10Bは、データ可視化部17により音データの可視化処理を実施し、出力処理部14Bにより可視化データを出力する(S147)。これにより、モニタ62には選択した検査情報に紐付けられた音の可視化データがスペクトログラム、音量の時間遷移グラフ等によって表示出力される(S137)。
上述したように、本実施の形態では、異常度遷移の予測結果及び故障可能性の予測結果を用いて、ユーザにより選択された音データの再生、或いは可視化表示を行う。これにより、ユーザは、対象装置において取得した音データと、この音データに関する予測結果の異常度又は故障可能性とを関連付けて認識できる。例えば、所望の音データを指定して再生することにより、異常度と再生音との関連性を容易に確認できる。また、所望の音データを指定して音の物理量を可視化することにより、異常度と音特性との関連性を容易に確認できる。
(実施の形態5)
図27は、実施の形態5に係る異常予測システムの機能的構成の一例を示すブロック図である。実施の形態5の異常予測システムは、実施の形態2の構成に加えて、実施の形態4と同様に音データの再生機能及び音データの可視化機能を有する構成例である。ここでは実施の形態2及び実施の形態4と異なる部分を中心に説明し、同様の構成及び機能については説明を省略する。
端末装置20Cは、プロセッサ及びメモリを有する情報処理装置により構成され、データ入力部21、出力処理部24C、ユーザ操作入力部25C、通信部26を含む。出力処理部24Cは、実施の形態4の出力処理部14Bと同様の異常度遷移表示部241、異常予測結果表示部242、可視化データ表示部243、音再生部244を有する。ユーザ操作入力部25Cは、実施の形態4のユーザ操作入力部15Bと同様の装置イベント入力部251、表示内容指示入力部252、可視化データ表示操作部253、音再生操作部254を有する。通信部26は、有線又は無線の通信インタフェースを有し、通信路80を介してクラウドコンピュータ30Cのサーバ装置40Cと通信を行う。
サーバ装置40Cは、プロセッサ及びメモリを有する情報処理装置により構成され、異常度算出部412、記憶部42、評価部43、ユーザ操作入力部45、通信部46、データ可視化部47を含む。データ可視化部47は、実施の形態4のデータ可視化部17と同様のスペクトログラム解析部471、振幅値算出部472を有する。通信部46は、通信路80を介して端末装置20Cと通信を行い、端末装置20Cとの間で音データ、解析処理後の音データ、異常度データ、イベントタグ、異常予測の評価結果データ、可視化データ等を送受信する。
実施の形態5では、端末装置20Cにおいて対象装置の音データの取得、異常度遷移及び故障発生予測等の処理結果の表示、音データの再生出力、音の可視化データの表示を行う。また、サーバ装置40Cにおいて異常度の算出、故障発生予測、可視化データの生成等の処理負荷が比較的大きい処理を実行する。なお、サーバ装置40Cは、1つ又は複数のサーバ(情報処理装置)により構成することが可能である。例えば、各種のデータを記憶する記憶サーバと、各種の処理を実行する処理サーバとを含む複数のサーバにより構成してもよい。また、サーバ装置40Cにおける一部の機能を他のサーバに設けてもよい。
図28は、実施の形態5に係る異常予測システムの動作を示すシーケンス図である。図28では、実施の形態5の異常予測システムにおける、ユーザインタフェースとしてのモニタ62、キーボード63、スピーカ64と、端末装置20Cと、サーバ装置40Cとにおける処理の流れを示している。
音データの再生処理を行う場合、キーボード63等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の再生指示を入力する(S151)。端末装置20Cは、ユーザ操作入力部25Cにおいて、選択された検査情報の受け付け及び一時保管を行い、通信部26よりサーバ装置40Cに送信する(S161)。サーバ装置40Cは、記憶部42に記憶された音データの中から、選択された検査情報に紐付いた音データを参照し、端末装置20Cに送信する(S171)。端末装置20Cは、サーバ装置40Cから受信した音データを一時保管し、出力処理部24Cにより音データの再生処理を行って出力する(S162)。これにより、スピーカ64からは選択した検査情報に紐付けられた音が再生出力される(S152)。
音データの可視化処理を行う場合、キーボード63等からのユーザ操作に基づき、ユーザが選択した検査情報に紐付けられた音の可視化指示を入力する(S156)。端末装置20Cは、ユーザ操作入力部25Cにおいて、選択された検査情報の受け付け及び一時保管を行い、通信部26よりサーバ装置40Cに送信する(S166)。サーバ装置40Cは、記憶部42に記憶された音データの中から、選択された検査情報に紐付いた音データを参照する(S176)。そして、サーバ装置40Cは、データ可視化部47により音データの可視化処理を実施し、端末装置20Cに可視化データを送信する(S177)。端末装置20Cは、サーバ装置40Cから受信した可視化データを一時保管し、出力処理部24Cにより可視化データを出力する(S167)。これにより、モニタ62には選択した検査情報に紐付けられた音の可視化データがスペクトログラム、音量の時間遷移グラフ等によって表示出力される(S157)。
本実施の形態では、異常予測システムのシステム構成に応じて処理を分散して実行することにより、効率良く高速に所定の音データの再生、或いは可視化表示を行うことができ、ユーザが音データと異常度又は故障可能性との関連性を容易に確認できる。
以上のように、本実施の形態の異常予測システムは、対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力するデータ入力部11と、処理対象データの異常予測に関する情報を記憶する記憶部12と、処理対象データの異常度を算出する異常度算出部112と、処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行する評価部13と、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面を生成する表示処理部14と、表示画面を表示する表示部としてのモニタ62と、を有する。これにより、ユーザは容易に異常度遷移と故障発生予測の結果とを表示画面を確認して把握でき、異常状態の判定及び予測を容易に実施できる。また、ユーザは異常度の動向を確認し、対象装置に故障が発生する前に、故障の予兆を容易に把握できる。
また、異常予測システムにおいて、評価部13は、処理対象データの直近の異常度遷移と過去の異常度遷移とを比較し、所定値以上の一致率を有する一致度が高い過去の異常度遷移に基づき、対象装置の近い将来の故障可能性を予測し、故障発生予測結果として出力する。例えば、一致度が高い過去の異常度遷移をそのまま将来予測の異常度遷移として用いる、又は、一致度が高い過去の異常度遷移を用いて所定の演算処理を施して将来予測の異常度遷移を生成する、或いは、一致度が高い過去の異常度遷移を利用した機械学習処理によって異常度遷移を予測する、などの処理によって近い将来の異常度遷移の予測を行う。これにより、現在の異常度遷移に対して一致度が高い過去の異常度遷移を用いて、近い将来の故障可能性を予測し、故障発生予測結果として提供できる。
また、異常予測システムにおいて、表示処理部14は、直近の異常度遷移を現在の異常度遷移として表示し、一致度が高い過去の異常度遷移が存在する場合、この過去の異常度遷移を用いた将来予測の異常度遷移を表示する表示画面を生成する。これにより、一致度が高い過去の異常度遷移を用いた予測結果として、将来予測の異常度遷移を表示することで、ユーザは現在から近い将来にわたる異常度遷移の予測結果を容易に把握することができる。
また、異常予測システムにおいて、表示処理部14は、一致度が高い過去の異常度遷移が存在する場合、表示画面に異常度遷移の一致率を表示する。これにより、ユーザは将来予測の異常度遷移に関する一致度の程度を把握でき、故障可能性の判断などに活用できる。
また、異常予測システムにおいて、表示処理部14は、表示画面に故障発生予測結果を示すメッセージを表示する。例えば、故障が発生する可能性の有無、故障発生可能性がある日時、などの予測結果を表示する。これにより、ユーザは近い将来に発生し得る故障可能性の予測結果を把握できる。
また、異常予測システムにおいて、表示処理部14は、対象装置の近い将来の故障可能性が所定値以上である場合、表示画面に故障可能性有りを報知するメッセージを表示する。これにより、ユーザは近い将来に故障が発生する可能性があること、故障発生可能性がある日時などを把握できる。
また、異常予測システムにおいて、評価部13は、処理対象データに関する異常原因ごとの異常度を算出して異常予測に関する処理を実行し、表示処理部14は、異常原因ごとの異常度の割合を表示画面に表示する。これにより、異常原因ごとの異常度を把握でき、異常原因に応じた適切な処置が可能になる。
また、異常予測システムにおいて、表示画面の異常度遷移に基づき指定された所定の処理対象データの物理量を可視化するための可視化データを生成するデータ可視化部17を有し、表示処理部としての出力処理部14Bの可視化データ表示部143は、可視化データを表示画面に表示する。これにより、可視化情報によって音データの異常度と音特性との関連性を容易に把握できる。
また、異常予測システムにおいて、可視化データ表示部143は、可視化データとして、一つ又は複数の処理対象データに関するスペクトログラム又は音量の時間遷移を表示画面に表示する。これにより、スペクトログラム又は音量の時間遷移によって音データの異常度と音特性との関連性を容易に把握できる。
また、異常予測システムにおいて、表示画面の異常度遷移に基づき指定された所定の処理対象データを音信号として再生する音再生部144を有する。これにより、音データの異常度と再生音との関連性を容易に把握できる。
また、異常予測システムにおいて、評価部13は、1つ以上の統計的分類技術を用いて、対象装置の近い将来の故障可能性の予測を行う。これにより、取得した処理対象データに応じた適切な故障可能性の予測が可能となる。
また、異常予測システムにおいて、異常度算出部112は、1つ以上の統計的分類技術を用いて、処理対象データの異常度の算出を行う。これにより、取得した処理対象データに応じた適切な異常度の算出が可能となる。
また、異常予測システムにおいて、記憶部12、異常度算出部112、評価部13、表示処理部14を有する情報処理装置としてのデータ処理装置10を備える。これにより、データ処理装置10において、異常度の算出、故障発生予測を含む異常予測に関する処理、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面の生成を行い、ユーザに異常度推移、故障発生予測の結果等を提供できる。
また、異常予測システムにおいて、データ入力部21、表示処理部24を有する端末装置20と、記憶部42、異常度算出部412、評価部43を有するサーバ装置40と、を備える。これにより、端末装置20とサーバ装置40とにおいて分散して処理を実行し、異常度の算出、故障発生予測を含む異常予測に関する処理、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面の生成を行い、ユーザに異常度推移、故障発生予測の結果等を提供できる。
また、異常予測システムにおいて、端末装置としての携帯通信端末20Aは、対象装置の処理対象データを取得する収音部としてのマイクと、対象装置に対応する識別マーク55を撮像する撮像部としてのカメラと、識別マークの撮像画像を表示する表示部としてのディスプレイ62Aと、を有する。表示処理部は、識別マーク55の撮像画像の大きさを規定するためのガイド表示としてのガイド枠621、622と、撮像部が識別マーク55を撮像した撮像画像としての識別マーク画像623とを表示部の表示画面に表示し、データ入力部は、撮像画像がガイド表示の範囲内に収まった場合に、対象装置の処理対象データを入力する。これにより、携帯通信端末20Aを用いて、撮像画像による測定位置及び測定距離の設定、音データの取得、及び処理結果の表示を行うことによって、異常度推移の把握、異常状態の判定、故障可能性の予測等を簡便に実施できる。
本実施の形態の異常予測方法は、対象装置から取得した音データ又は振動データの少なくとも一方を含む処理対象データを入力し、処理対象データの異常予測に関する情報を記憶し、処理対象データの異常度を算出し、処理対象データの直近の異常度遷移と過去の異常度遷移とを用いて、故障発生予測を含む異常予測に関する処理を実行し、異常度遷移と故障発生予測の結果とを含む処理結果を表示する表示画面を生成し、表示画面を表示部に表示する。これにより、ユーザは容易に異常度遷移と故障発生予測の結果とを表示画面を確認して把握でき、異常状態の判定及び予測を容易に実施できる。また、ユーザは異常度の動向を確認し、対象装置に故障が発生する前に、故障の予兆を容易に把握できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
なお、本出願は、2018年7月6日出願の日本特許出願(特願2018-129168)に基づくものであり、その内容は本出願の中に参照として援用される。