JP7526591B2

JP7526591B2 - 音響認識システム、音響認識方法

Info

Publication number: JP7526591B2
Application number: JP2020090429A
Authority: JP
Inventors: 亮田邊; 洋平川口
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2020-05-25
Filing date: 2020-05-25
Publication date: 2024-08-01
Anticipated expiration: 2040-05-25
Also published as: JP2021185465A

Description

本発明は、音響認識システム、音響認識方法に関する。

従来、機器の製造工程における中断や再開といった状態変化に対応するため、機器から得られる入力データに応じて異常検知を診断するための診断モデルを切り替える手法が用いられている。診断モデルを切り替えるための条件として、例えば、機器の制御信号などを用いる手法が提案されている。例えば、特許文献１では、対象装置の音響信号に対して、処理工程に応じた異なる複数の音響信号を総当たり的に比較して同種の処理工程を認識し、対象装置の異常診断を行う方法が開示されている。

特開2019－159728号公報

特許文献１では、総当たり的に比較して同種の処理工程を認識しているが、当該方法では認識に要する計算が膨大になる。また、総当たり的に比較する方法では処理工程の種類を誤認識し、正常、異常等の各工程における状況の診断を誤ってしまう可能性がある。

本発明の一側面は、制御対象機器から制御信号が得られない場合でも、時間をかけることなく精度よく制御対象機器に対する処理工程の状況を推定することが可能な音響認識システム、音響認識方法を提供することを目的とする。

本発明の一態様にかかる音響認識システムは、音響信号を用いて連続する処理工程の異常診断を行う音響認識システムであって、対象機器外部周辺に設けられたセンサから、前記連続する処理工程の音響信号の入力を受け付けて検知データを得るデータ取得部と、前記処理工程の工程順の正解を示すモデルデータと、工程間の遷移のしやすさあるいは遷移のしにくさを示す情報が記憶された工程遷移データと、を用いて、前記処理工程の工程順についての複数の仮説を設定する設定処理部と、前記モデルデータと前記検知データとを用いて、前記設定された工程順についての複数の仮説に含まれる各処理工程における状況を推定する推定処理部と、を有することを特徴とする音響認識システムとして構成される。

本発明の一態様によれば、制御対象機器から制御信号が得られない場合でも、時間をかけることなく精度よく制御対象機器に対する処理工程の種類を推定することができる。

本実施例における音響認識システムの機能構成例を示すブロック図である。音響認識システムを構成するコンピュータの概略図の例を示す図である。外部センサから得られる検知信号を示す検知データの例を示す図である。検知信号から工程を認識するためのモデルデータの例を示す図である。工程遷移算出テーブルの例を示す図である。工程遷移算出テーブルの他の例を示す図である。工程遷移算出テーブルの他の例を示す図である。認識結果データから、工程遷移算出テーブルを用いて仮説として設定された種類の工程の順序の候補を示す工程順序候補データが得られる概念を示す図である。工程の順序の候補ごとの各工程における異常診断結果を示す診断結果テーブルの例を示す図である。異常診断部が出力した異常診断結果を表示する画面（異常診断結果画面）例を示す図である。図７に示した診断結果テーブルにおいて、工程順序候補データに記憶された工程順序候補が１つであった場合の例を示している。図９に示した工程順序候補が１つであった場合の異常診断結果画面の例を示している。音響認識システムにおける処理（異常診断結果提示処理）の処理手順を示すフローチャートである。異常診断で用いる閾値やモデルデータを学習する場合の音響認識システムの変例の構成を示す図である。

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

以下の説明では、「テーブル」、「リスト」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。データ構造に依存しないことを示すために「ＸＸテーブル」、「ＸＸリスト」等を「ＸＸ情報」と呼ぶことがある。識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いた場合、これらについてはお互いに置換が可能である。

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

また、以下の説明では、プログラムを実行して行う処理を説明する場合があるが、プログラムは、プロセッサ（例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit））によって実行されることで、定められた処理を、適宜に記憶資源（例えばメモリ）および／またはインターフェースデバイス（例えば通信ポート）等を用いながら行うため、処理の主体がプロセッサとされてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路（例えばＦＰＧＡ（Field-Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit））を含んでいてもよい。

プログラムは、プログラムソースから計算機のような装置にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。

以下に本実施の形態にかかる音響認識システム、音響認識方法を工場設備に適用した場合について詳細に説明するが、この例に限らず、様々な装置や機器に適用することができる。

図１は、本実施例における音響認識システム１００の機能構成例を示すブロック図である。図１に示すように、音響認識システム１００は、工場設備１に設けられた検査装置１１から、当該検査装置１１の外部周辺に設けられた外部センサ１３が検知した複数種類の工程における検知信号を受信し、受信した検知信号をデータ蓄積部１０２に時系列に蓄積するデータ取得部１０１と、上記受信した検知信号を示す検知データ１０２１のほか、上記受信した検知信号の工程の種類ごとに状態の正常値のパターンを記憶したモデルデータ１０２２、上記受信した複数種類の工程における検知信号とモデルデータ１０２２から認識された種類の工程間の遷移確率が算出された工程遷移算出テーブル１０２３、上記工程遷移算出テーブル１０２３を用いて仮説として設定された工程の順序の候補を示す工程順序候補データ１０２４と、上記工程順序候補データ１０２４に示された上記工程の順序の候補ごとの各工程における異常診断結果を示す診断結果テーブル１０２５など、本システムで用いられる各種データを蓄積するデータ蓄積部１０２と、工程の異常診断に用いる上記モデルデータの種類を認識し、その認識結果である認識結果データ１０３１を出力するモデル認識部１０３と、上記工程遷移算出テーブルを用いて工程の順序の候補を仮説として設定した工程順序候補データを出力する状態推定部１０４と、上記工程順序候補データに設定された候補に含まれる各工程の異常を診断し、上記異常診断結果を出力する異常診断部１０５と、出力された上記異常診断結果を、音響認識システム１００に電気的に接続されたディスプレイ等の表示部２に表示する出力部１０６と、を有している。

後述するように、本実施例における音響認識システム１００では、検査装置１１や当該検査装置１１が有する内部センサ１２から検知信号が得られない環境下であっても、検査装置１１周辺に配置されたマイク等の音響信号を検知する外部センサ１３から得られる検知信号をもとに、精度よく工程の異常を診断することができるようになっている。以下では、検知信号として音響信号を用いた場合を例示しているが、装置の稼働状態の認識を補佐する情報として、カメラや圧力センサ、温度センサなどの追加の検知信号を用いても良い。

音響認識システム１００は、例えば、図２（コンピュータの概略図）に示すような、ＣＰＵ２０１と、メモリ２０２と、ＨＤＤ(Hard Disk Drive)等の外部記憶装置２０３と、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)等の可搬性を有する記憶媒体２０８に対して情報を読み書きする読書装置２０７と、キーボードやマウス等の入力装置２０６と、ディスプレイ等の出力装置２０５と、通信ネットワークに接続するためのＮＩＣ(Network Interface Card)等の通信装置２０４と、これらを連結するシステムバス等の内部通信線(システムバスという)２０９と、を備えた一般的なコンピュータ２００により実現できる。

例えば、音響認識システム１００のデータ蓄積部１０２に記憶されたデータやテーブルは、ＣＰＵ２０１がメモリ２０２または外部記憶装置２０３から読み出して利用することにより実現可能である。また、音響認識システム１００が有するデータ取得部１０１、モデル認識部１０３、状態推定部１０４、異常診断部１０５、出力部１０６は、ＣＰＵ２０１が外部記憶装置２０３に記憶されている所定のプログラムをメモリ２０２にロードして実行することにより実現可能である。音響認識システム１００は、ＣＰＵ２０１が出力装置２０５を動作させて出力部１０６の出力機能を実現してもよい。また、データ管理装置１０は、ＣＰＵ２０１が通信装置２０４を動作させてデータ取得部１０１の通信機能を実現してもよい。

上述した所定のプログラムは、読書装置２０７を介して記憶媒体２０８から、あるいは、通信装置２０４を介してネットワークから、外部記憶装置２０３に記憶(ダウンロード)され、それから、メモリ２０２上にロードされて、ＣＰＵ２０１により実行されるようにしてもよい。また、読書装置２０７を介して、記憶媒体２０８から、あるいは通信装置２０４を介してネットワークから、メモリ２０２上に直接ロードされ、ＣＰＵ２０１により実行されるようにしてもよい。

以下では、音響認識システム１００の各部が、ハードウェアとしては一般的なコンピュータに設けられているが、これらの全部または一部が、クラウドのような１または複数のコンピュータに分散して設けられ、互いに通信することにより同様の機能を実現してもよい。音響認識システム１００の各部の動作、保持するデータの例については、フローチャートを用いて説明する。

図３は、外部センサ１３から得られる検知信号を示す検知データ１０２１の例を示す図である。図３に示すように、検知データ１０２１は、時系列に工程Ａ～工程Ｄまでの複数種類の工程で検知された一連の検知信号を含んでいる。図３では、例えば、ある時刻ｔにおいて、工程Ａで得られた検知信号よりも工程Ｂで得られた検知信号のほうが、振動が大きくかつ時間が長いことがわかる。このように、検知データ１０２１には、ある時刻における複数種類のそれぞれの工程で得られた検知信号の値や推移を示すデータが含まれ、このようなデータが、時刻ｔ、時刻ｔ＋１…というように、データ取得部１０１が検知データ１０２１を取得する都度、データ蓄積部１０２に蓄積されている。

図４は、検知信号から工程を認識するためのモデルデータ１０２２の例を示す図である。図４に示すように、検知データ１０２１は、モデルデータ１０２２、時系列に進む工程Ａ～工程Ｄまでの複数種類の工程で検知された一連の検知信号の正解値となるデータである。図４では、例えば、図３に示した検知データ１０２１と同様の工程における検知信号の正解値が記憶されている。このように、モデルデータ１０２２には、ある時刻における複数種類のそれぞれの工程で得られた検知信号の値や推移を示す正解データが含まれ、このようなデータが、時刻ｔ、時刻ｔ＋１…というように、あらかじめデータ蓄積部１０２に蓄積されている。

図５Ａは、モデルデータ１０２２から認識された工程間の遷移確率が算出された工程遷移算出テーブル１０２３の例を示す図である。図５Ａに示すように、工程遷移算出テーブル１０２３は、テーブル行の上から順に時系列に定められた前工程と、テーブル列の左から順に時系列に定められた後工程とが対応付けられ、前工程から後工程に遷移する確率が定められたテーブルである。図５Ａでは、例えば、ある時刻ｔにおいて、工程Ａの次に工程Ａが行われる確率は「０．９」、工程Ａの次に工程Ｂが行われる確率は「０．１」、工程Ａの次に工程Ｃが行われる確率は「０．０」、工程Ａの次に工程Ｄが行われる確率は「０．０」であることを示している。このように、工程遷移算出テーブル１０２３には、ある時刻における工程間の遷移確率を示すデータが含まれ、このようなデータが、時刻ｔ、時刻ｔ＋１…というように、データ取得部１０１が検知データ１０２１を取得する都度、データ蓄積部１０２に蓄積されている。上述した確率は、例えば、工程間の状態遷移にＨＭＭ（隠れマルコフモデル：Hidden Markov Model）を用いたバウム＝ウェルチアルゴリズム（Baum-Welch algorithm）を適用することで求めることができる。

本例では、工程間の状態の遷移のしやすさや遷移のしにくさに対応する値の一例として、工程間の遷移確率を用いた。しかし、図５Ｂに示すように、図５Ａで示した工程間の遷移確率を、遷移のしやすさに対応する値または遷移のしにくさに対応する値といった遷移コストに置き換え、ＨＭＭをＤＰ（Dynamic Programming：動的計画法）マッチングに置き換えてもよい。すなわち、工程間の遷移確率のような工程間の状態の遷移のしやすさや遷移のしにくさに対応する値、言い換えると、工程間の状態の遷移のしやすさや遷移のしにくさといった遷移の容易度を示す指標となる情報を用いて、工程間における遷移の状態を表してもよい。

さらに、工程遷移算出テーブル１０２３や工程遷移算出テーブル１０２３Ｒにかえて、上述した工程間の遷移確率や遷移コストを陽に定義していない場合にも用いることができる。例えば、工程Ａは開始から平均Ｔ秒後に工程Ｂまたは工程Ｃに遷移し、他の工程Ｄに遷移することはない場合、工程Ａから各工程への単位時間ΔＴ秒後の遷移確率は、工程Ｂと工程Ｃへの遷移が等確率と仮定すると、例えば、図５Ｃ（ａ）の工程遷移算出テーブル１０２３Ｓのように表すことができる。これを一般化し、工程Ａは開始から平均Ｔ秒後に工程Ｂ＿１…Ｂ＿ＭのＭ通りに遷移する可能性があり、残りの工程Ｃ＿１…Ｃ＿ＮのＮ通りに遷移することはなく、詳細な遷移確率は分からない場合を考える。この場合には、工程Ａから各工程への単位時間ΔＴ後の遷移確率は、例えば、図５Ｃ（ｂ）の工程遷移算出テーブル１０２３Ｓのように表すことができる。このように、工程間の遷移確率や遷移コストを陽に定義していない場合でも、少なくとも図５Ｃに示したような工程間の遷移ルールを用いていれば、上記定義した場合と同様に、本システムを適用することができる。

図６は、認識結果データ１０３１から、工程遷移算出テーブル１０２３を用いて仮説として設定された種類の工程の順序の候補を示す工程順序候補データ１０２４が得られる概念を示す図である。図６では、モデルデータ１０２２と検知信号とを突き合せた結果として、複数種類の工程の順序が時系列に工程Ａ→工程Ｂ→工程Ｃ→工程Ｄであるとして認識され、その結果が認識結果データ１０３１に記憶されたことを示している。さらに、工程Ａと工程Ｃから得られる検知信号が一定以上類似しており、工程Ａと認識した場合に工程遷移算出テーブル１０２３を参照して得られた工程の順序の候補と、工程Ｃと認識した場合に工程遷移算出テーブル１０２３を参照して得られた工程の順序の候補との双方の候補は、「工程Ａ→工程Ｂ→工程Ａ→工程Ｄ」、「工程Ａ→工程Ｂ→工程Ｃ→工程Ｄ」、「工程Ａ→工程Ｂ→工程Ｄ→工程Ｃ」の３つのパターンが推定され、これらのパターンが工程順序候補データ１０２４に記憶されていることを示している。図６では、工程の検知信号が類似している場合を説明したが、本来の工程とは異なる工程が行われた場合についても、工程遷移算出テーブル１０２３を参照し、本来行われるべき種類の工程が行われた場合の遷移、上記異なる工程が行われた場合の遷移から、上記工程の順序の候補を得ることができる。

図７は、工程の順序の候補ごとの各工程における異常診断結果を示す診断結果テーブル１０２５の例を示す図である。図７に示すように、診断結果テーブル１０２５は、工程順序候補データ１０２４に記憶された工程順序候補と、当該工程順序候補における各工程の異常診断結果と、当該工程順序候補の尤度とが対応付けて記憶されている。当該工程順序候補の尤度は、仮説により得られた順序における工程の種類についての尤度（第１の尤度）と、当該工程順序候補における各工程での検知信号の値の尤度（第２の尤度）との統計値から得られる情報である。これらの尤度は、例えば、従来から知られている様々な尤度関数を用いて求めることができる。また、上記統計値は、例えば、工程ごとのこれらの尤度の加重平均など、本システムが置かれる環境下に適した従来手法を用いて求めることができる。図７では、仮説として設定された工程順序候補「工程Ａ→工程Ｂ→工程Ａ→工程Ｄ」における各工程の異常診断結果はすべて異常なしを示す「ＯＫ」であり、当該工程順序における工程の種類の尤度および異常診断の尤度は５５％であることを示している。各工程の異常診断は、例えば、各工程のモデルデータ１０２２と各工程の検知信号データ１０２１とを突き合せ、その差が所定の閾値の範囲内にある場合に、上記「ＯＫ」と判定される。

図８は、異常診断部１０５が出力した異常診断結果を表示する画面（異常診断結果画面）例を示す図である。図８に示すように、異常診断結果画面８０１には、検知データ１０２１を表示する検知データ表示領域８０１１と、尤度が一定の閾値以上となった工程順序候補の異常診断結果を表示する異常診断結果表示領域８０１２とを含んでいる。図８では、一例として、図３に示したある時刻ｔにおける検知データ１０２１が検知データ表示領域８０１１に表示され、当該検知データ１０２１に含まれる各工程の異常診断結果のサマリが異常診断結果表示領域８０１２に表示されている。異常診断結果表示領域８０１２では、図７に示した診断結果テーブル１０２５の工程順序候補の工程ごとに、異常診断結果として正常（ＯＫ）の割合が一定の閾値以上であれば、「正常」として表示され、異常診断結果として正常（ＯＫ）の割合が一定の閾値未満であれば、「異常」として表示されている。

このように、複数種類の工程順序候補がある場合でも、モデルデータ１０２２を用いて検知信号がどの種類の工程に該当するのかを認識したうえで、各候補のそれぞれについて異常診断を行い、その結果のサマリを異常診断結果として提示するので、認識された種類の工程について、制御対象機器から制御信号が得られない場合でも、時間をかけることなく精度よく制御対象機器の異常を診断することができる。図８では、異常診断結果表示領域８０１２に異常診断結果のサマリを提示することとしたが、尤度が最も高い候補を提示したり、あるいは尤度が高い順に提示してもよい。

図９は、図７に示した診断結果テーブル１０２５において、工程順序候補データ１０２４に記憶された工程順序候補が１つであった場合の例を示している。工程順序候補が１つであった場合とは、例えば、工程遷移算出テーブル１０２３を用いて仮説として設定された工程の順序の候補が１つに絞られた場合である。図９では、例えば、工程順序候補「工程Ａ→工程Ｂ→工程Ａ→工程Ｄ」が仮説として設定されたことを示している。

図１０は、図９に示した工程順序候補が１つであった場合の異常診断結果画面の例を示している。図１０では、上記工程の順序の候補が１つに絞られた工程順序候補「工程Ａ→工程Ｂ→工程Ａ→工程Ｄ」における各工程の異常診断結果はすべて異常なしを示す「ＯＫ」であったことを示している。このように、工程順序候補が１つである場合でも、モデルデータ１０２２を用いて検知信号がどの工程に該当するのかを認識することで、図８の場合と同様、従来よりも精度の高い異常の診断を実現することができる。

図１１は、音響認識システムにおける処理（異常診断結果提示処理）の処理手順を示すフローチャートである。図１１に示すように、異常診断結果提示処理では、まず、データ取得部１０１が、工場設備１に設けられた検査装置１１の外部周辺に設けられた外部センサ１３から１または複数種類の工程における検知信号を受信し、受信した検知信号をデータ蓄積部１０２に時系列に蓄積する（Ｓ１１０１）。

続いて、モデル認識部１０３は、データ蓄積部１０２に時系列に蓄積された検知信号とモデルデータ１０２２とを突き合せて現在の工程の種類を認識し、認識結果データ１０３１を出力する（Ｓ１１０２）。

状態推定部１０４は、認識結果データ１０３１と工程遷移算出テーブル１０２３とを突き合せて、認識結果データ１０３１に含まれる各工程について、次の順序で行われる工程の候補を仮説として設定し、設定した工程の候補を工程順序候補データ１０２４として出力する（Ｓ１１０３）。

異常診断部１０５は、工程順序候補データ１０２４に設定された候補に含まれる各工程のモデルデータ１０２２と各工程の検知信号データ１０２１とを突き合せ、その差が所定の閾値の範囲内にあるか否かを判定することにより、各工程の異常を診断する（Ｓ１１０４）。例えば、異常診断部１０５は、上記差が所定の閾値の範囲内にない場合には異常であると判定し、上記差が所定の閾値の範囲内にある場合には正常であると判定する。

異常診断部１０５は、工程順序候補データ１０２４に設定された候補の工程順序の尤度および異常診断結果の尤度を算出し（Ｓ１１０５）、異常診断結果のサマリや尤度が一定の閾値以上である工程順序候補を最終的な異常診断結果として出力する（Ｓ１１０６）。Ｓ１１０６が終了すると、出力部１０６は、音響認識システム１００に電気的に接続されたディスプレイ等の表示部２に異常診断結果を表示する。

上述した実施例では、異常診断部１０５が異常診断で用いる閾値はあらかじめ定められている前提で説明した。しかし、検査装置１１や工場設備１が置かれた環境の変化により、検査装置１１から得られる検知信号の値にも変化が生じる場合がある。そこで、以下では、異常診断で用いる閾値を学習し、検知信号の値に応じて当該閾値を変更可能とする場合の例について説明する。

図１２は、異常診断で用いる閾値やモデルデータを学習する場合の音響認識システム１００の変形例の構成を示す図である。図１２では、図１に示した構成に加え、さらに音響認識システム１００が学習部１２０１を有している点が、図１に示した音響認識システム１００とは異なっている。そのため、以下では、同一の構成要素については同一の符号を付してその説明を省略している。

学習部１２０１は、工程ごとのモデルデータ１０２２と、各工程で得られた検知信号を示す検知データ１０２１とを入力として、所定の正常状態のモデル化手法を用いて、上記異常診断で用いる閾値を学習する。例えば、学習部１２０１は、ｋ－ｍｅａｎｓ法により、データ蓄積部１０２に蓄積されている時刻ｔ、時刻ｔ＋１、…時刻ｔ＋ｎまでｎ時間を対象として、工程Ａについての検知データ１０２１を読み出す。学習部１２０１は、読み出したこれらのデータ間の距離や検知データ１０２１の平均値を算出する等して検知データ１０２１の重心を算出し、算出した重心を新たな閾値として設定する。学習部１２０１がこのような処理を各工程について行うことにより、異常診断部１０５は、各工程について学習後の最新の閾値を用いて、検知信号の変化に応じた異常診断を行うことができる。したがって、検査装置１１や工場設備１がおかれた環境の変化によって検査装置１１から得られる検知信号の値に変化が生じた場合でも、変化した検知信号の値に応じて閾値を設定することができるため、精度よく制御対象機器の異常を診断することができる。

上記所定の正常状態のモデル化の他の手法としては、ＳＶＭ（Support Vector Machine）やＭＴ法（Mahalanobis Taguchi Method）、ＧＭＭ（Gaussian Mixture Model：混合ガウス分布）、ＬＳＣ（Local Sub-space. Classifier：局所部分空間法）、ＡＥ（Auto-encoder：自己符号化器）、ＶＡＥ（Variational auto-encoder：変分自己符号化器）を用いてもよい。

さらに、学習部１２０１は、認識結果データ１０３１として工程を認識するための上記モデルデータ１０２２の学習を行うことも可能である。例えば、学習部１２０１は、各工程で検知された一連の検知信号の正解値を含む検知データ１０２１を入力し、所定の正常状態のモデル化手法を用いて、上記工程ごとのモデルデータ１０２２を学習してもよい。例えば、学習部１２０１は、ｋ－ｍｅａｎｓ法により、データ蓄積部１０２に蓄積されている時刻ｔ、時刻ｔ＋１、…時刻ｔ＋ｎまでｎ時間を対象として、工程Ａについてのモデルデータ１０２２を読み出す。学習部１２０１は、読み出したこれらのデータ間の距離やモデルデータ１０２２の平均値を算出する等してモデルデータ１０２２の重心を算出し、算出した重心を新たな正解値として設定する。学習部１２０１がこのような処理を各工程について行うことにより、異常診断部１０５は、各工程について学習後の最新の正解値を用いて、検知信号の変化に応じた異常診断を行うことができる。したがって、検査装置１１や工場設備１がおかれた環境の変化によって検査装置１１が正解とすべき検知信号の値に変化が生じた場合でも、変化した検知信号の値に応じて正解値を設定することができるため、精度よく制御対象機器の異常を診断することができる。上記所定の正常状態のモデル化の他の手法としては、ＳＶＭ（Support Vector Machine）やＭＴ法（Mahalanobis Taguchi Method）、ＧＭＭ（Gaussian Mixture Model：混合ガウス分布）、ＬＳＣ（Local Sub-space. Classifier：局所部分空間法）、ＡＥ（Auto-encoder：自己符号化器）、ＶＡＥ（Variational auto-encoder：変分自己符号化器）を用いてもよい。

このように、検知信号（例えば、音響信号）を用いて連続する処理工程の異常診断を行う音響認識システムにおいて、対象機器外部周辺に設けられたセンサ（例えば、外部センサ１３）から、上記連続する複数種類の処理工程の音響信号の入力を受け付けるデータ取得部１０１と、上記処理工程の工程順の正解を示すモデルデータ１０２２と、工程間の遷移のしやすさあるいは遷移のしにくさを示す情報が記憶された工程遷移データ（例えば、工程遷移算出テーブル１０２３）とを用いて、工程順についての複数の仮説を設定する設定処理部（例えば、状態推定部１０４）と、上記モデルデータを用いて、上記設定された仮説に含まれる各工程における状況（例えば、異常診断の状況）を推定する推定処理部（例えば、異常診断部１０５）と、を有する。

また、上記推定処理部は、上記連続する処理工程で検知された音響信号の正解値を学習した学習済みモデルデータ１０３１を用いて、上記設定された仮説に含まれる各工程の順序についての第１の尤度（例えば、仮説により得られた順序における工程の種類についての尤度）を算出する。また、上記推定処理部は、上記状況の推定において、各工程における異常診断結果の第２の尤度（例えば、工程順序候補における各工程での検知信号の値の尤度）を算出し、上記第１の尤度と、算出した上記第２の尤度とを用いて、各工程の異常診断を行う。

したがって、制御対象機器から制御信号が得られない場合でも、処理工程に応じた異なる複数の音響信号を総当たり的に比較することなく、時間をかけずに精度よく制御対象機器に対する処理工程の状況を推定することができる。また、入力信号から診断モデルを認識する際に、既知の工程表等のモデルデータを用いることで、診断モデルの認識精度を向上させることができる。また、その認識の結果を複数の仮定として提示することで、工程の認識がうまくいっているか、作業者に気付きを与えるたり、複数の仮定から最終的な結論を導出させることができる。

１００音響認識システム
１工場設備
２表示部
１１検査装置
１２内部センサ
１３外部センサ
１０１データ取得部
１０２データ蓄積部
１０２２モデルデータ
１０２３工程遷移算出テーブル
１０２３Ｒ工程遷移算出テーブル（他の例）
１０２３Ｓ工程遷移算出テーブル（他の例）
１０２４工程順序候補データ
１０２５診断結果テーブル
１０３モデル認識部
１０３１モデルデータ
１０４状態推定部
１０５異常診断部
１０６出力部

Claims

音響信号を用いて連続する処理工程の異常診断を行う音響認識システムであって、
対象機器外部周辺に設けられたセンサから、前記連続する処理工程の音響信号の入力を受け付けて検知データを得るデータ取得部と、
前記処理工程の工程順の正解を示すモデルデータと、工程間の遷移のしやすさあるいは遷移のしにくさを示す情報が記憶された工程遷移データと、を用いて、前記処理工程の工程順についての複数の仮説を設定する設定処理部と、
前記モデルデータと前記検知データとを用いて、前記設定された工程順についての複数の仮説に含まれる各処理工程における状況を推定する推定処理部と、
を有することを特徴とする音響認識システム。
前記推定処理部は、前記連続する処理工程で検知された音響信号の正解値を学習した学習済みモデルデータを用いて、前記設定された仮説に含まれる各工程の順序についての第１の尤度を算出する、
ことを特徴とする請求項１に記載の音響認識システム。
前記推定処理部は、前記状況の推定において、各工程における異常診断結果の第２の尤度を算出し、前記第１の尤度と、算出した前記第２の尤度とを用いて、各工程の異常診断を行う、
ことを特徴とする請求項２に記載の音響認識システム。
音響信号を用いて連続する処理工程の異常診断を行う音響認識方法であって、
データ取得部が、対象機器外部周辺に設けられたセンサから、前記連続する処理工程の音響信号の入力を受け付けて検知データを得て、
設定処理部が、前記処理工程の工程順の正解を示すモデルデータと、工程間の遷移のしやすさあるいは遷移のしにくさを示す情報が記憶された工程遷移データとを用いて、前記処理工程の工程順についての複数の仮説を設定し、
推定処理部が、前記モデルデータと前記検知データとを用いて、前記設定された工程順についての複数の仮説に含まれる各処理工程における状況を推定する、
ことを特徴とする音響認識方法。
前記推定処理部は、前記連続する処理工程で検知された音響信号の正解値を学習した学習済みモデルデータを用いて、前記設定された仮説に含まれる各工程の順序についての第１の尤度を算出する、
ことを特徴とする請求項４に記載の音響認識方法。
前記推定処理部は、前記状況の推定において、各工程における異常診断結果の第２の尤度を算出し、前記第１の尤度と、算出した前記第２の尤度とを用いて、各工程の異常診断を行う、
ことを特徴とする請求項５に記載の音響認識方法。