JP6250198B2 - 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム - Google Patents

Description

この発明は、診断対象となる機器から発生する音の分析を行い、機器の異常音の発生および発生した異常音の種類を診断する異常音診断装置であって、機器の正常に動作している際の集音を不要とする異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラムに関するものである。

従来、異常音診断装置として、診断対象となる機器が正常に動作している状態で集音した音データの分析結果を基準値として記憶し、診断時に集音した音データの分析結果が記憶された基準値から逸脱している場合に、機器に異常が発生していると診断するものが知られている。
例えば、特許文献１に開示された異常音検出装置は、エレベータが正常に運転されているときに集音される音の周波数帯域を検出して記憶しておき、診断運転の際に集音した音から記憶されている周波数帯域の音を除外して異常音の有無を診断している。
また、特許文献２に開示された異常音診断装置は、診断時に基準となる正常時時間周波数分布を取得しておき、当該正常時時間周波数分布と、診断モードにおいて取得した診断時時間周波数部分布とを比較して異常度を算出し、算出した異常度と閾値を比較することにより異常が発生しているかを判定している。

特開２０１２−１６６９３５号公報 特開２０１３−２００１４３号公報

しかしながら、上述した特許文献１および特許文献２の技術では、機器を診断するためには、正常に動作する状態にある機器に診断時と同一位置に集音器を設置し、診断時と同一の動作を行わせた際に発生する音を集音器により集音して分析し、予め異常音の有無を診断するための基準を学習しておく必要があった。
そのため、機器を診断する前に正常動作時の音を集音することができない場合、例えば途中契約した既設のエレベータなどの場合には、診断のための基準を作成することができず、異常音診断装置を適用することができないという課題があった。

なお、上述のように正常動作時の音を集音することができず、診断のための基準を作成することができない場合には、仕様が同一の別の機器を用いて正常動作時の音を集音して診断のための基準を作成する方法も考えられる。しかし、多数の部品で構成される複雑な機器の場合、集音器の設置位置、機器を構成する部品の大きさ、および機器の配置条件などの仕様、例えば機器がエレベータの場合、建物の高さ、昇降路の大きさ、昇降路の材質、カゴの積載量、運転速度などの仕様が同一となるように設定した機器を用意することはコストの面からも現実的ではなく、別の機器を用いて適切な基準を作成することは困難であるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、診断対象である機器に対して予め正常動作時の音の集音を必要とすることなく、機器の動作状態を診断することを目的とする。

この発明に係る異常音診断装置は、診断対象機器で発生した音を集音し、音データを取得する集音部と、音データの波形データを分析して得られる時間周波数分布から強度時系列を取得する強度時系列取得部と、強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換して軌跡ベクトルを抽出する軌跡特徴抽出部と、参照機器から発生する音データの波形データを分析して得られた時間周波数分布から取得される強度時系列の全時間方向の強度特徴を示す軌跡であるベクトルを入力とし、診断対象機器の状態種別を示す情報を出力として学習された識別パラメータを記憶する識別パラメータ記憶部と、軌跡ベクトルと識別パラメータとから、診断対象機器の各状態種別に対するスコアを取得する識別部と、スコアを参照して診断対象機器において発生した音が正常であるか異常であるか、および異常の種類を判定する判定部とを備えるものである。

この発明によれば、予め正常動作時の音を集音して診断のための基準を作成することができない機器に対しても異常音の有無を診断することができる。

実施の形態１に係る異常音診断装置の構成を示すブロック図である。 実施の形態１に係る異常音診断装置の識別部の構成を示す図である。 実施の形態１に係る識別パラメータ学習装置の構成を示すブロック図である。 実施の形態１に係る識別パラメータ学習装置のデータベースの蓄積例を示す図である。 実施の形態１に係る異常音診断装置の動作を示すフローチャートである。 実施の形態１に係る異常音診断装置の動作を示すフローチャートである。 実施の形態１に係る異常音診断装置の判定部が参照する異常種類とＫ次元スコアベクトルとの一例を示す図である。 実施の形態１の異常診断装置による異常音診断の効果を示す説明図である。 従来の異常音診断装置による異常音診断の結果を示す説明図である。 実施の形態１の異常診断装置の軌跡特徴抽出部による複数の強度ベクトルの連結を示す説明図である。 実施の形態１の異常診断装置のその他の構成による異常音診断の効果を示す説明図である。 実施の形態２の異常音診断装置の識別部の構成を示す図である。 実施の形態２に係る異常音診断装置の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
この実施の形態１の異常音診断装置は、診断対象とする機器（例えば、エレベーターなど）から発生する音を診断して、当該発生音が正常な音であるか異常な音であるか、さらに異常な音である場合に異常の種類を判定するものである。診断対象となる機器は、例えばエレベータのように複数の稼働部品で構成される機器であり、発生する音を集音する集音手段をエレベータの乗車かごの中、またはかごの外に取り付けることにより乗車かごが往復運動した際に発生する音を集音し、集音した音が正常か異常かを判定することにより稼働部品の稼働音を診断する。なお、本願発明の異常音診断装置は、エレベータ以外にも適用可能である。

また、以下では、異常音診断装置をパーソナルコンピュータ（以下、ＰＣと称する）上のソフトウェアとして実装する場合を例に説明する。ＰＣは、ＵＳＢ端子とＬＡＮ端子を備え、ＵＳＢ端子にはマイクがオーディオインタフェース回路を介して接続され、ＬＡＮ端子には診断対象の機器がＬＡＮケーブルを介して接続される。診断対象の機器はＰＣから出力される制御指示により所定の運転動作を行うように構成される。なお、異常音診断装置１００はソフトウェアとして実装する場合に限定されるものではなく、適宜変更可能である。

図１は、実施の形態１に係る異常音診断装置１００の構成を示すブロック図である。
図１（ａ）は、実施の形態１の異常音診断装置１００の機能ブロックを示す図であり、集音部１、波形取得部２、時間周波数分析部３、強度時系列取得部４、軌跡特徴抽出部５、識別パラメータ記憶部６、識別部７および判定部８で構成されている。
集音部１は、例えばマイクなどの集音器で構成され、診断対象となる機器の動作に同期し、当該診断対象となる機器から発生する音を集音し、音データ１１を出力する。診断対象となる機器がエレベータの場合、集音部１は乗車かごの中または乗車かごの外などに配置される。波形取得部２は、例えば増幅器およびＡ／Ｄ変換器などで構成され、集音部１が集音した音データ１１の波形をサンプリングし、デジタル信号に変換した波形データ１２を出力する。

時間周波数分析部３は、波形取得部２から出力された波形データ１２に時間窓を掛け、時間窓を時間方向にずらしながら高速フーリエ変換（以下ＦＦＴと称す）演算により、波形データ１２を時間周波数分析し、時間周波数分布１３を得る。強度時系列取得部４は、時間周波数分析部３から出力された時間周波数分布１３から時間と周波数に対する強度を示す強度時系列１４を求める。軌跡特徴抽出部５は、強度時系列取得部４から出力された強度時系列１４を時間方向に平滑化し、時間軸全体に渡る軌跡ベクトル１５を抽出する。識別パラメータ記憶部６は、予め学習された識別パラメータを記憶する記憶領域であり、機器の動作状態が正常であるか異常であるかを識別する識別パラメータ、および機器の動作状態が異常である場合に異常の種類を識別するための識別パラメータを記憶する。識別パラメータ記憶部６に記憶される識別パラメータ１６の学習の詳細については後述する。

識別部７は、識別パラメータ記憶部６に記憶された識別パラメータ１６と、軌跡特徴抽出部５が抽出した軌跡ベクトル１５とを照合し、複数の異常種類に対するスコアを取得する。異常種類には、正常な動作状態や特定箇所の異常な動作状態などＫ種類の異常種類が設定されているものとする。当該Ｋ種類の異常種類に対するスコアを以下、Ｋ次元スコアベクトル１７と称する。なお、識別部７の詳細な構成については後述する。判定部８は、識別部７のＫ次元スコアベクトル１７に基づいて機器の動作状態が正常であるか異常であるかを判定し、異常である場合には異常の種類についても判定を行い、判定結果１８として出力する。

図１（ｂ）は、実施の形態１に係る異常音診断装置１００のハードウェア構成を示すブロック図であり、プロセッサ１００ａとメモリ１００ｂで構成されている。集音部１、波形取得部２、時間周波数分析部３、強度時系列取得部４、軌跡特徴抽出部５、識別部７および判定部８は、プロセッサ１００ａがメモリ１００ｂに記憶されたプログラムを実行することにより、実現される。また、識別パラメータ記憶部６は、メモリ１００ｂ内に記憶されているものとする。

次に、識別部７の詳細な構成について説明する。
図２は、実施の形態１に係る異常音診断装置１００の識別部７の構成を示す説明図であり、識別部７内のニューラルネットの構成を示している。
図２の例で示したニューラルネットは、階層型で構成され、１つの入力層７１と２つの隠れ層である第１の隠れ層７２および第２の隠れ層７３で構成されている。入力層７１、第１の隠れ層７２および第２の隠れ層７３は脳神経回路のシナプスの機能を模擬するためのユニットを備えている。各層内のユニット間の結合はなく、各層間のユニット間の結合のみを持つ。このため、この実施の形態１のニューラルネットは機械学習の分野で、Ｄｅｅｐ Ｌｅａｒｎｉｎｇとして知られる学習方法によって、良好な性能が安定して得られることが知られている。

最後の隠れ層は出力層を兼ねる。図２の例では第２の隠れ層７３が出力層を兼ねている。なお、隠れ層の数Ｍは一般的に、１層以上の整数（Ｍ≧１）であればよい。なお、以下では図２に基づいて隠れ層数Ｍ＝２の場合を例に説明を行う。
入力層７１は、軌跡特徴抽出部５から入力される軌跡ベクトル１５の次元数（例えば、Ｌ×Ｂ個）と同じ数のユニットを持つ。また、第２の隠れ層７３すなわち出力層は、異常種類の数Ｋと同一のＫ個の非線形ユニットを有する。出力層を除く隠れ層のユニット数はニューラルネットの識別性能を鑑みて所定の数に設定する。０番目を入力層としてｍ番目の層のユニット数をＵ（ｍ）（ｍ＝０，１，２，．．．，Ｍ）とすると、ユニット数には以下の式（１）に基づく制約がある。
Ｕ（０）＝Ｌ×Ｂ
Ｕ（ｍ）＝任意の自然数（ｍ＝１，２，・・・Ｍ−１） （１）
Ｕ（Ｍ）＝Ｋ
式（１）において、Ｕ（ｍ）はｍ番目の層のユニット数を示す。

また、隠れ層の応答を計算する際に必要となる荷重とバイアスは、識別パラメータ記憶部６に記憶された識別パラメータ１６から供給される。以下、ｍ番目の隠れ層に供給される荷重およびバイアスを、それぞれ、ｗ（ｉ，ｊ，ｍ−１）およびｃ（ｊ，ｍ−１）とする。ここで、ｉおよびｊの範囲は、ｉ＝０，１，．．．，Ｕ（ｍ−１）−１およびｊ＝０，１，．．．，Ｕ（ｍ）−１である。

次に、識別部７で用いる識別パラメータ１６の学習について説明する。識別パラメータ記憶部６に記憶される識別パラメータ１６は、図３に示す識別パラメータ学習装置２００によって学習される。
図３（ａ）は、実施の形態１の識別パラメータ学習装置２００の機能ブロックを示す図であり、音データ生成部２１、音データベース２２、波形取得部２３、時間周波数分析部２４、強度時系列取得部２５、軌跡特徴抽出部２６、教師ベクトル作成部２７および識別学習部２８で構成されている。

音データ生成部２１は、仕様や動作が異なる複数の機器を参照機器として音データを集音する、または計算機シミュレーションにより音データを生成する。この実施の形態１の例では、仕様や動作が異なる複数のエレベータが参照機器となる。音データベース２２には、音データ２２ａおよび異常種類データ２２ｂが蓄積されている。音データ２２ａは、音データ生成部２１が生成した音データ、および音データ生成部２１が生成した音データ２２ａに異常音を重畳した音データで構成されている。異常種類データ２２ｂは、音データ２２ａに関連付けられた機器の異常種類、具体的には機器の動作状態が正常であるか異常であるかを示すラベル、および機器の動作状態が異常である場合に異常の種類を示すラベルが蓄積されている。

音データベース２２が記憶する音データ２２ａおよび異常種類データ２２ｂの一例を図４に示す。
図４に示すように、音データ２２ａは、「通し番号」、「個体名」および「音データファイル名」で構成され、異常種類データ２２ｂは上述した「通し番号」に対応した「異常種類Ｃ（ｖ）：例」で構成されている。
異常種類Ｃ（ｖ）の例として、”正常”や”頂部異常”、”中間階異常”などの種類が対応付けられており、”正常”を含めて全部でＫ種類の異常種類が設定されている。

波形取得部２３は、音データベース２２に蓄積された音データ２２ａの波形をサンプリングし、デジタル信号に変換した波形データ３１を出力する。時間周波数分析部２４、強度時系列取得部（パラメータ強度時系列取得部）２５および軌跡特徴抽出部（パラメータ軌跡特徴抽出部）２６は波形データ３１に対して、図１の異常音診断装置１００の時間周波数分析部３、強度時系列取得部４および軌跡特徴抽出部５と同一の動作を行い、それぞれ時間周波数分布３２、強度時系列３３および軌跡ベクトル３４を出力する。教師ベクトル作成部２７は、音データベース２２に蓄積された異常種類データ２２ｂを用いて、教師ベクトル３５を作成する。

識別学習部２８は、ニューラルネットを学習するための学習データを作成する。ニューラルネットの学習データは、一般に、入力データと、入力データを与えたときにニューラルネットが出力すると期待される出力データとからなる。図３で示したブロック図の例では、入力データが軌跡特徴抽出部２６から入力される軌跡ベクトル３４であり、出力データは教師ベクトル作成部２７から入力される教師ベクトル３５となる。
ニューラルネットの学習に用いる音データの総数をＶとすると、入力データはＶ個の軌跡ベクトル３４であり、出力データはＶ個の教師ベクトル３５となる。

音データ２２ａ内のｖ番目の音データから抽出される軌跡ベクトル３４をρ（ｋ，ｖ）とすると、識別学習部２８における入力データｘ（ｋ，ｖ）は以下の式（２）で与えられる。
ｘ（ｋ，ｖ）＝ρ（ｋ，ｖ） （２）
すなわち、入力データｘ（ｋ，ｖ）は、軌跡ベクトル３４と同一であることを示している。

また、教師ベクトル作成部２７により作成されるＶ個の教師ベクトル３５は、異常種類の種類数をＫ、ｖ番目の教師ベクトルのｋ番目の要素をｙ（ｋ、ｖ）、ｖ番目の音データの異常種類をＣ（ｖ）とすると、ｙ（ｋ、ｖ）は、Ｃ（ｖ）番目の位置の要素を１として他の要素を０としたベクトルとして、次の式（３）で与えられる。

識別学習部２８は、上述のように得られた入力データである軌跡ベクトル３４と、出力データである教師ベクトル３５とを用いて、ニューラルネットの学習を行い、学習の結果得られる荷重およびバイアスからなるパラメータを、識別パラメータ３６として識別パラメータ記憶部６に記憶する。識別パラメータ３６を構成する荷重およびバイアスは、上述した識別部７の第１の隠れ層７２および第２の隠れ層７３の応答を計算する際に用いる荷重ｗ（ｉ，ｊ，ｍ−１）およびバイアスｃ（ｊ，ｍ−１）に対応している。

図３（ｂ）は、実施の形態１に係る識別パラメータ学習装置２００のハードウェア構成を示すブロック図であり、プロセッサ２００ａとメモリ２００ｂで構成されている。音データ生成部２１、波形取得部２３、時間周波数分析部２４、強度時系列取得部２５、軌跡特徴抽出部２６、教師ベクトル作成部２７および識別学習部２８は、プロセッサ２００ａがメモリ２００ｂに記憶されたプログラムを実行することにより、実現される。また、音データベース２２は、メモリ２００ｂ内に記憶されているものとする。

次に、異常音診断装置１００の動作について図５および図６を参照しながら説明する。
図５および図６は実施の形態１に係る異常音診断装置１００の動作を示すフローチャートであり、図５は集音部１および波形取得部２の動作について示し、図６は時間周波数分析部３以降の各構成の動作について示している。なお、以下では、異常音診断装置１００の診断対象となる機器を、単に機器と称して説明を行う。
異常音診断装置１００が機器の運転開始を検知すると（ステップＳＴ１）、集音部１は機器から発生する音を集音する（ステップＳＴ２）。波形取得部２は、ステップＳＴ２で集音された音データ１１を取得して増幅し、Ａ／Ｄ変換することにより、音の波形をサンプリングし（ステップＳＴ３）、例えばサンプリング周波数４８ｋＨｚの１６ビットリニアＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）のデジタル信号の波形データに変換する（ステップＳＴ４）。

次に、異常音診断装置１００は機器の運転が終了したか否か判定を行う（ステップＳＴ５）。機器の運転が終了していない場合（ステップＳＴ５；ＮＯ）、ステップＳＴ２の処理に戻り、上述した処理を繰り返す。一方、機器の運転が終了した場合（ステップＳＴ５；ＹＥＳ）、波形取得部２はステップＳＴ４で取得した波形データを連結し、一連の波形データ１２として出力する（ステップＳＴ６）。これにより、集音および波形データの取得処理を終了する。次に、図６のフローチャートに進み、取得した波形データ１２を用いた異常音診断処理を行う。

時間周波数分析部３は、波形取得部２から出力された波形データ１２を取得し、当該波形データ１２に対して例えば１０２４点の時間窓を１６ミリ秒の間隔で時間方向にずらしながらフレームを切出し、各フレームに対してＦＦＴ演算により周波数スペクトルの系列である時間周波数分布ｇ（ｔ，ｆ）を求め、時間周波数分布１３を得る（ステップＳＴ１１）。
ここで、ｔは時間窓をずらすシフト間隔に対応する時刻のインデックス、ｆはＦＦＴ演算の結果の周波数を示すインデックスである。なお、時間ｔおよび周波数ｆは、それぞれ、０≦ｔ≦Ｔ，０≦ｆ≦Ｆを満たす整数である。また、Ｔは時間周波数分布１３の時間方向のフレーム数、Ｆは波形データ１２のサンプリング周波数ｆｓの１／２であるナイキスト周波数に対応するインデックスである（Ｆ＝ｆｓ／２）。

次に、強度時系列取得部４は、ステップＳＴ１１で得られた時間周波数分布１３において、例えば０．５ｋＨｚ、１ｋＨｚ、２ｋＨｚ、４ｋＨｚ、８ｋＨｚの５つを中心周波数として、それぞれ、１オクターブ幅の帯域からなる５つの周波数帯域に含まれる周波数成分の和を求め、各帯域の強度時系列１４を得る（ステップＳＴ１２）。各帯域の強度時系列１４をＧ（ｔ，ｂ）とすると、Ｇ（ｔ，ｂ）は以下の式（４）で与えられる。

式（４）において、ｂは帯域のインデックスで０≦ｂ＜Ｂを満たす整数である（Ｂは帯域数で、本例ではＢ＝５）。また、Ω（ｂ）は、帯域ｂに関して、時間周波数分布ｇ（ｔ，ｆ）において、総和を求める対象となる周波数ｆの集合を表す。

軌跡特徴抽出部５は、各帯域について強度時系列１４を時間方向に平滑化し（ステップＳＴ１３）、時間軸全体をＬ等分する点における平滑化強度を求め、Ｌ次元の強度ベクトルを作成する（ステップＳＴ１４）。本例では５つの帯域において強度時系列１４を時間方向に平滑化する。さらに作成したＬ次元強度ベクトルについて強度を正規化し（ステップＳＴ１５）、正規化後の各帯域のＬ次元強度ベクトルを連結してＬ×Ｂ次元の軌跡ベクトル１５を作成する（ステップＳＴ１６）。

ステップＳＴ１３の平滑化後の強度時系列Ｇ〜（ｔ，ｂ）（ｔ＝０，１，．．．，Ｔ−１、ｂ＝０，１，．．．，Ｂ−１）は、以下の式（５）に基づいて計算される。

式（５）においてｓｍｏｏｔｈ＿ｔ（ｘ（ｔ））はｔに関する系列ｘ（ｔ）を添え字ｔ方向に平滑化した新たな時系列を出力する関数である。

また、ステップＳＴ１４で得られるＬ等分点の平滑化強度Ｈ（ｌ，ｂ）（ｌ＝０，１，．．．，Ｌ−１，ｂ＝０，１，．．．，Ｂ−１）は、以下の式（６）に基づいて計算される。

式（６）において、τ（ｌ）はＧ〜（ｔ，ｂ）中の添え字ｔに関する補間位置を表す実数関数、ｗ（ｌ）は補間する際の重み係数を与える関数であり、以下の式（７），（８）で与えられる。

式（８）におけるｉｎｔ（ｘ）は引数ｘの整数部分を求める関数である。

ステップＳＴ１６の軌跡ベクトル１５の生成においては、各帯域のＬ等分点の平滑化強度Ｈ（ｌ，ｂ）をＬ次元ベクトルとして連結して軌跡ベクトル１５とするものであり、軌跡ベクトル１５のｋ番目の要素をρ（ｋ）（k＝０，１，．．．，Ｌ×Ｂ−１）とすると、ρ（ｋ）は以下の式（９）で与えられる。

次に、識別部７は、軌跡特徴抽出部５から入力される軌跡ベクトル１５をニューラルネットの入力層７１に入力し、識別パラメータ記憶部６に記憶された識別パラメータを用いて出力ユニットの活性度を計算し、Ｋ次元スコアベクトル１７を生成する（ステップＳＴ１７）。
ステップＳＴ１７の処理について、図２の識別部７の具体的な構成例を参照しながら説明する。まず、軌跡ベクトル１５内のｉ番目の要素が入力層のｉ番目のユニットにコピーされる。入力層のｉ番目のユニットの値をｘ（ｉ，０）とすると、ｘ（ｉ，０）は以下の式（１０）で与えられる。
ｘ（ｉ，０）＝ρ（ｉ） （１０）
式（１０）において、ρ（ｉ）は、軌跡ベクトル１５のｉ番目の要素の値を示す。

次に、第１の隠れ層７２から第２の隠れ層７３に向けて順番に、各ユニットの出力を計算する。各ユニットの出力は、一つ前の層の全ユニットからの出力に荷重を掛けて総和を求め、バイアスを減算し、シグモイド関数による非線形変換を行って得られる。ｍ番目の隠れ層のｊ番目のユニットの出力をｘ（ｊ，ｍ）とすると、ｘ（ｊ，ｍ）は以下の式（１１）で計算される。

式（１１）において、σ（ｘ）はソフトな閾値特性を示す非線形な入出力特性を持つ、シグモイド関数であり、以下の式（１２）で与えられる。

なお、上述した式（１１）において、ｍ＝１のとき、ｘ（ｉ，０）が必要となるが、これは上述した式（１０）に示すように軌跡ベクトル１５のｉ番目の要素ρ（ｉ）に等しい。

式（１１）に基づく計算をｍ＝１，．．．，Ｍまで行うことにより、最後の隠れ層の出力ｘ（ｋ，Ｍ）が得られる。図２の例では第２の隠れ層７３の出力ｘ（ｋ、２）が得られる。当該出力を出力層の出力とみなす。出力層のｋ番目の出力をｏ（ｋ）とすると、ｏ（ｋ）は以下の式（１３）で与えられる。
ｏ（ｋ）＝ｘ（ｋ，Ｍ） （１３）
最後に、出力層のＫ個の出力を正規化する。正規化することにより、Ｋ個の出力の総和が１となる。正規化の結果をスコアベクトルの値ｓ（ｋ）とすると、スコアベクトルの値ｓ（ｋ）はｓｏｆｔｍａｘ演算として知られる以下の式（１４）で与えられる。

上述の処理により得られたＫ次元スコアベクトル１７は、判定部８に出力される。

図６のフローチャートに戻って説明を続ける。
判定部８は、ステップＳＴ１７で生成されたＫ次元スコアベクトル１７の要素を比較し最大の要素のインデックスに基づいて可能性のある異常種類を判定し（ステップＳＴ１８）、判定結果を出力して（ステップＳＴ１９）、処理を終了する。可能性のある異常種類をｋ＊とするとｋ＊は以下の式（１５）で与えられる。

なお、Ｋ次元スコアベクトル１７のスコアが最大の要素を一つ出力する構成を示したが、複数の要素をそれらのスコアと共に出力するように構成してもよい。

図７は、実施の形態１に係る異常音診断装置１００の判定部８が参照する異常種類とＫ次元スコアベクトルとの一例を示す図である。
図７に示すように、Ｋ個の「異常種類」に、それぞれ「Ｋ次元スコアベクトル」が対応付けられている。Ｋ次元スコアベクトルは、構成しているＫ個のスコアベクトルの値を全て加算すると「１」となる。図７の例では、異常種類「頂部異常」のスコアベクトルが「０．６４」で最大値を取ることから、判定部８は可能性のある異常種類が「頂部異常」であると判定する。

次に、上述のように構成された異常音診断装置１００がエレベータに適用された場合の効果について図８および図９を参照して説明する。
図８は、実施の形態１の異常音診断装置１００による異常音診断の効果を示す説明図である。また、比較として図９には従来の異常音診断装置による異常音診断の結果を示している。
まず、従来の異常音診断装置による異常音診断の方法および得られる結果について図９を参照して説明する。従来の異常音診断装置では、かご３００の走行区間３０１を分割し、分割した区間ごとに正常時に発生する音の信号強度を基準値として記憶する。図９（ａ）の例では、走行区間を６分割し、第１の基準値、第２の基準値、・・・、第６の基準値を取得して記憶する。

当該記憶した基準値と診断時に取得した音データの強度時系列とを比較することにより、各区間で異常の検出を行っていた。各区間における正常時の音の信号強度は、エレベータごとにその使用や動作環境に影響されて異なることから、あるエレベータについて取得した基準値を異なるエレベータの異常音診断に適用することができない、あるいは適用できたとしても異常音診断の精度が低下するという問題が発生する。そのため、従来の異常音診断装置ではエレベータごとに予め学習運転を行い、基準値を記憶させる必要があった。

図９（ｂ）は、異なるエレベータで作成された基準値を他のエレベータに適用して診断した場合における診断時の音の信号強度との比較結果を、診断時の音の信号強度に基づいてプロットした図であり、信号強度が基準値３０５を超える正常動作の個体３０３が存在する、あるいは信号強度が基準値３０５を超えない異常動作の個体３０４が存在している。このように、基準値３０５をどのように設定したとしても、診断時の音の信号強度に基づいて機器の正常な動作状態と異常な動作状態とを明確に分離することができないという問題もあった。

次に、実施の形態１による異常音診断装置１００による異常音診断の効果について図８を参照しながら説明する。
実施の形態１の異常音診断装置１００では、図８（ａ）に示すようにかご３００が最下階と最上階を往復走行する間に発生する音を集音し、得られた音データに対して時間周波数の分析を行い、強度時系列を得て、強度時系列の時間方向の全長に渡る軌跡を一体のものとしてベクトル変換して軌跡ベクトルを抽出する。図８（ａ）の例では説明の簡単化のため、異常種類を「正常」と「異常」の２種類（Ｋ＝０〜１）とし、帯域数も１帯域（Ｂ＝１）とし、Ｌ×１次元の軌跡ベクトル３０６，３０７を抽出した場合を示している。軌跡ベクトル３０６は異常種類が「１：異常」の際のベクトルを示し、軌跡ベクトル３０７は異常種類が「０：正常」の際のベクトルを示している。軌跡ベクトル３０６および軌跡ベクトル３０７を識別部７に入力した場合に、識別部７が当該軌跡ベクトル３０６および軌跡ベクトル３０７の空間上の位置をプロットした結果を図８（ｂ）に示している。

図８（ｂ）は、正常個体のベクトルと異常個体のベクトルをセットとして、例えば主成分分析を行い、第１特徴軸（主軸）と、第２特徴軸（主軸と直交する軸）を求め、これらの特徴軸の張るＬ×１次元空間上で、各ベクトルの配置を示す図としている。
なお、主成分分析はベクトルの多次元空間上の相互の位置関係を表示するための処理であり、本願発明を構成する処理ではない。また、第１特徴軸および第２特徴軸は本願発明の構成により算出されるものではなく、軌跡ベクトルが空間上で分類されることを示すために記載したものである。

図８（ｂ）のプロット結果のように軌跡ベクトルの異常種類と空間上の位置に基づいて、機器の正常を示す集団３０８と機器の異常を示す集団３０９のように配置されている場合に、集団３０８の重心と、集団３０９の重心とを結ぶ直線と直交する超平面（直線）が境界３１０として得られる例を示している。当該配置により、強度時系列に現れる一般的な特徴を捉えることができる。
なお、図８（ｂ）では、境界３１０として直線が得られる例を示したが、実際の診断処理では複雑な形状を有する超曲線（曲線）が得られるものとする。
このように、エレベータの仕様や動作環境によらない、強度時系列に現れる一般的な特徴を捉えることができ、予め個体ごとの基準値を学習する必要がなく、エレベータの仕様や動作環境の違いに対しても頑健な診断を行うことができる。

以上のように、この実施の形態１によれば、機器から発生する音を集音する集音部１と、集音された音データの波形をサンプリングして変換した波形データを取得する波形取得部２と、取得された波形データの時間周波数分析を行う時間周波数分析部３と、時間周波数分布から時間と周波数に対する強度を示す強度時系列を求める強度時系列取得部４と、取得された強度時系列を時間方向に平滑化し、時間軸全体に渡る軌跡ベクトルを抽出する軌跡特徴抽出部５と、抽出された軌跡ベクトルを入力データとし、異常種類を出力データとして学習された識別パラメータを記憶する識別パラメータ記憶部６と、軌跡ベクトルと記憶された識別パラメータに基づいて異常種類に対応したスコアベクトルを取得する識別部７と、取得されたスコアベクトルに基づいて機器の異常種類を判定する判定部８とを備えるように構成したので、機器の仕様や動作環境に依存しない、強度時系列に現れる一般化された特徴を捉えて機器が正常であるか異常であるか、また異常である場合に異常種類を判定することができる。これにより、予め仕様や動作が異なる機器ごとに診断時の基準を学習する必要がなく、機器の仕様や動作環境の違いに対しても頑健な診断を行うことができる。また、機器の仕様や動作環境の違いによる診断精度の低下を抑制した異常音診断装置を提供することができる。

なお、上述した実施の形態１の説明では、集音部１を１つの集音器で構成して診断対象となる機器に配置する場合を示したが、集音部１を複数の集音器で構成して診断対象機器の複数個所に配置してもよい。この場合、診断対象機器の動作に同期し、同時に多チャンネルの集音を行い、多チャンネルの音データ１１を得る。波形取得部２、時間周波数分析部３および強度時系列取得部４は、それぞれ多チャンネル信号に対して波形データ１２、時間周波数分布１３および強度時系列１４の取得を行う。軌跡特徴抽出部５は、強度時系列取得部４から入力される多チャンネルの強度時系列１４から多チャンネルの強度ベクトルを取得する。さらに各チャンネルの強度ベクトルを時間軸方向に連結する。

図１０は、実施の形態１の異常音診断装置１００の軌跡特徴抽出部５における多チャンネルの強度ベクトルの連結を示す説明図である。
図１０では、３つのチャンネルの強度ベクトルを連結する場合を示し、第１チャンネルのベクトル１５ａ、第２チャンネルのベクトル１５ｂおよび第３チャンネルのベクトル１５ｃをベクトルの時間軸方向に連結してＬ×Ｂ×３次元（「×３」は３つのチャンネルの強度ベクトルを連結したことによる）の軌跡ベクトル１５を生成する。チャンネル間にまたがるコネクションが、ニューラルネットの中間層に存在するため、チャンネル間の共時性を学習することができる。なお、前段落までの説明では、軌跡ベクトルの次元数をＬ×Ｂとしたが、ここでは、軌跡ベクトルの次元数をＬ×Ｂ×３に、読み替えて実施する。
このように、複数の集音器で集音された音データを用いることにより、異常種類の異なるベクトル間の識別空間内での分離度が改善され、診断精度を向上させることができる。

図１１は、多チャンネルの強度ベクトルを連結して得られた軌跡ベクトルに基づいて異常音診断をした場合の効果を示す説明図である。
図１１（ａ）において、強度時系列３１１，３１２，３１３は、それぞれ第１の周波数帯域、第２の周波数帯域、第３の周波数帯域で得られた強度時系列を示し、当該強度時系列３１１，３１２，３１３から得られたベクトルを時間軸方向に連結したＬ×１×３次元の軌跡ベクトル３１４および軌跡ベクトル３１５として示している。軌跡ベクトル３１４は異常種類が「１：異常」の際のベクトルを示し、軌跡ベクトル３１５は異常種類が「０：正常」の際のベクトルを示している。軌跡ベクトル３１４および軌跡ベクトル３１５を識別部７に入力した場合、識別部７において当該軌跡ベクトル３１４および軌跡ベクトル３１５の空間上の位置をプロットした結果を図１１（ｂ）に示している。図１１（ｂ）では図８（ｂ）で示した結果と同等の結果を得ることができる。

実施の形態２．
上述した実施の形態１では識別部７がニューラルネットの構成である場合について説明を行ったが、この実施の形態２では識別部としてサポートベクターマシン（以下、ＳＶＭと称する）を適用した場合について説明を行う。
実施の形態２の異常音診断装置１００の全体の構成は実施の形態１と同一であるため、ブロック図の記載を省略し、構成が異なる識別部について以下詳細に説明を行う。

図１２は、実施の形態２の異常音診断装置１００の識別部７ａの構成を示す図である。
識別部７ａは、異常種類の数をＫとするとき、全体として（Ｋ−１）Ｋ／２個のＳＶＭを有する。ここで、各ＳＶＭは、正常を含むＫ個の異常種類のうち任意の２つの異常種類のベクトルを分類して識別するように学習して構成されている。各ＳＶＭは、パラメータとして、サポートベクトルの個数ｎ、ｎ個のサポートベクトルｘ_ｉ（ｉ＝０，１，２，．．．，ｎ−１）、ｎ個の係数α_ｉ（ｉ＝０，１，２，．．．，ｎ−１）、バイアスｂ、後述するカーネル関数の定義ｋ（ｘ_１，ｘ_２）を有している。以下、正常または異常種類ｉと異常種類ｊ（ただし、ｉ＜ｊとする）を識別するＳＶＭを、ＳＶＭ［ｉ，ｊ］（０≦ｉ＜ｊ＜Ｋ）と記載する。

次に、識別部７ａの動作について説明する。
図１３は、実施の形態２に係る異常音診断装置の動作を示すフローチャートである。なお、以下では実施の形態１に係る異常音診断装置と同一のステップには図６で使用した符号と同一の符号を付し、説明を省略または簡略化する。また、集音部１および波形取得部２の動作は実施の形態１の図５で示したフローチャートと同一であるため、説明を省略する。
識別部７ａは、ステップＳＴ１６において軌跡特徴抽出部５が作成した軌跡ベクトル１５が入力されると、当該軌跡ベクトル１５を各ＳＶＭに入力し、識別パラメータ記憶部６に記憶された識別パラメータを用いて、各ＳＶＭの識別関数の出力値ｙ（ρ）を以下の式（１６）に基づいて計算する（ステップＳＴ２１）。

ここで、ｋ（ｘ_１，ｘ_２）はベクトルｘ１の多次元空間への写像φ（ｘ_１）とベクトルｘ_２の多次元空間への写像φ（ｘ_２）の間の内積＜φ（ｘ_１），φ（ｘ_２）＞を計算するカーネル関数である（なお、φ（ｘ）は明示的な式では表すことができないベクトルｘの非線形な関数である）。カーネル関数として、例えば、以下の式（１７）で示すＧａｕｓｓカーネルを用いることができる。なお、σはガウスカーネルのパラメータである。

次に、識別部７ａは、ステップＳＴ２１で計算された各ＳＶＭの識別関数の出力値から、各クラスの分類出力を計算し、異常種類に対応した１〜Ｋのスコアを示すスコアベクトルの値ｓ（ｋ）を計算し、計算されたスコアベクトルの値ｓ（ｋ）はＫ次元スコアベクトル１７として判定部８に出力される（ステップＳＴ２２）。判定部８は、ステップＳＴ１７で生成されたＫ次元スコアベクトル１７の要素を比較し最大の要素のインデックスに基づいて可能性のある異常種類を判定し（ステップＳＴ１８）、判定結果を出力して（ステップＳＴ１９）、処理を終了する。

以上のように、この実施の形態２のように識別部７ａにサポートベクターマシンを適用した場合にも、軌跡特徴抽出部５において強度時系列１４の時間方向の全長に渡る軌跡ベクトル１５を作成することができ、機器の仕様や動作環境に依存しない、強度時系列に現れる一般化された特徴を捉えることができる。これにより、予め個体ごとに診断時の基準を学習する必要がなく、機器の仕様や動作環境の違いに対しても頑健な診断を行うことができる。また、機器の違いによる診断精度の低下を抑制した異常音診断装置を提供することができる。

なお、上述した実施の形態１および実施の形態２では、軌跡特徴抽出部５が出力する軌跡ベクトル１５は、強度時系列１４の時間方向の全長に渡る軌跡の特徴を線形補間によるＬ次元ベクトルとして抽出する構成を示したが、強度時系列１４の時間方向の全長に渡る軌跡の特徴を情報の損出の有無にかかわらず保存する他の変換を用いてＬ次元のベクトルを求めてもよい。他の変換として、例えば、強度時系列１４の時間方向の全長に渡る軌跡をフーリエ変換し、低次のフーリエ係数からＬ次元のベクトルを構成してもよい。また、その他の変換として、主成分分析により、圧縮した特徴をＬ次元ベクトルとして出力するように構成してもよい。

なお、上述した損失無しでの変換とは、強度時系列１４の時間方向の全長に渡る特徴を示すベクトルに対して加工を行うことなく、そのままの特徴をベクトルとして用いることを示している。一方、損失を許した変換とは、強度時系列１４の時間方向の全長に渡る特徴を示すベクトルに対して、例えば主成分分析により得られる行列を掛けるなどにより、次元数を縮約する処理を行なった上で特徴をベクトルとして用いることを示している。上述した次元数の縮約の処理により生の特徴ベクトルに含まれる情報の一部は損出していると考えられる。

なお、上述した実施の形態１および実施の形態２では、診断対象となる機器がエレベータであった場合に、当該エレベータが稼働区間を１往復する経路において強度時系列の時間方向の全長に渡る軌跡をベクトルに変換して軌跡ベクトル抽出する構成を示したが、稼働区間の往復運転のうち上昇区間と下降区間のように片道ごとの区間に分割し、分割した区間ごとに区間の時間方向の全長に渡る軌跡をベクトルに変換して軌跡ベクトルを抽出するように構成し、分割した区間ごとに識別部７を用意して識別処理を行うように構成してもよい。
これにより、エレベータの場合、上昇時に異常はなく、下降時に異常があった場合でも、区間ごとの診断が可能になる。
なお、分割する区間は上昇区間と下降区間のみではなく、例えば上昇区間をさらに下層区間、中層区間、および高層区間のようにより細かい区間で分割してもよい。

この発明に係る異常音診断装置は、機器の仕様や動作の違いに対して精度の高い異常音診断を行うことが可能なため、個体ごとに異常音の判定のための基準値を作成することができない機器に適用し、機器の異常音診断を行うのに適している。

１ 集音部、２ 波形取得部、３ 時間周波数分析部、４ 強度時系列取得部、５ 軌跡特徴抽出部、６ 識別パラメータ記憶部、７，７ａ 識別部、８ 判定部、２１ 音データ生成部、２２ 音データベース、２２ａ 音データ、２２ｂ 異常種類データ、２３
波形取得部、２４ 時間周波数分析部、２５ 強度時系列取得部、２６ 軌跡特徴抽出部、２７ 教師ベクトル作成部、２８ 識別学習部、７１ 入力層、７２ 第１の隠れ層、７３ 第２の隠れ層、１００ 異常音診断装置、１００ａ，２００ａ プロセッサ、１００ｂ，２００ｂ メモリ、２００ 識別パラメータ学習装置。

Claims (10)

1. 診断対象機器において発生した音が異常であるか診断を行う異常音診断装置において、
   前記診断対象機器で発生した音を集音し、音データを取得する集音部と、
   前記集音部が取得した音データの波形データを分析して得られる時間周波数分布から強度時系列を取得する強度時系列取得部と、
   前記強度時系列取得部が取得した強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換して軌跡ベクトルを抽出する軌跡特徴抽出部と、
   参照機器から発生する音データの波形データを分析して得られた時間周波数分布から取得される強度時系列の全時間方向の強度特徴を示す軌跡であるベクトルを入力とし、前記診断対象機器の状態種別を示す情報を出力として学習された識別パラメータを記憶する識別パラメータ記憶部と、
   前記軌跡特徴抽出部が抽出した軌跡ベクトルと、前記識別パラメータ記憶部に記憶された識別パラメータとから、前記診断対象機器の各状態種別に対するスコアを取得する識別部と、
   前記識別部が取得したスコアを参照し、前記診断対象機器において発生した音が正常であるか異常であるか、および異常の種類を判定する判定部とを備えたことを特徴とする異常音診断装置。
2. 前記強度時系列取得部は、前記強度時系列として、前記時間周波数分布から時間と周波数に対する強度を取得し、
   前記軌跡特徴抽出部は、時間と周波数に対する強度との２次元空間において、前記強度時系列取得部が取得した強度時系列が示す軌跡をベクトルに変換し、変換したベクトルを連結して前記軌跡ベクトルを抽出することを特徴とする請求項１記載の異常音診断装置。
3. 前記軌跡特徴抽出部は、前記強度時系列取得部が取得した強度時系列に対して損失なしのベクトル変換を行う、または損失ありのベクトル変換を行うことを特徴とする請求項１記載の異常音診断装置。
4. 前記識別部は、ニューラルネットワークの手法を用いて前記スコアを取得することを特徴とする請求項１記載の異常音診断装置。
5. 前記識別部は、サポートベクターマシンの手法を用いて前記スコアを取得することを特徴とする請求項１記載の異常音診断装置。
6. 前記集音部は、前記診断対象機器に複数配置され、前記診断対象機器において発生した音を集音して複数チャンネルの音データを収集し、
   前記強度時系列取得部は、前記集音部が収集した複数チャンネルの各音データの波形データを分析して得られる時間周波数分布から、前記複数チャンネルの強度時系列を取得し、
   前記軌跡特徴抽出部は、前記強度時系列取得部が取得した複数チャンネルの強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換し、前記複数のチャンネルの変換したベクトルを時間方向に連結し、前記軌跡ベクトルを抽出することを特徴とする請求項１記載の異常音診断装置。
7. 前記軌跡特徴抽出部は、前記診断対象機器の稼働区間を分割し、当該分割した区間ごとに前記強度時系列取得部が取得した強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換して前記軌跡ベクトルを抽出し、
   前記識別部は、前記軌跡特徴抽出部が抽出した各稼働区間に対応した軌跡ベクトルと、前記識別パラメータ記憶部に記憶された識別パラメータとから、前記診断対象機器の各稼働区間について各状態種別に対するスコアを取得することを特徴とする請求項１記載の異常音診断装置。
8. 前記参照機器から発生する音データと、前記音データに異音を重畳させた異音重畳データと、前記音データおよび前記異音重畳データに関連付けられた機器の異常種類情報とを蓄積した音データベースと、
   前記音データベースに蓄積された前記音データおよび前記異音重畳データの波形データを分析して得られる時間周波数分布から強度時系列を取得するパラメータ強度時系列取得部と、
   前記パラメータ強度時系列取得部が取得した強度時系列から、前記強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換するパラメータ軌跡特徴抽出部と、
   前記音データベースに蓄積された異常種類情報から教師ベクトルを作成する教師ベクトル作成部と、
   前記パラメータ軌跡特徴抽出部が変換した軌跡ベクトルを入力とし、前記教師ベクトル作成部が作成した教師ベクトルが出力となるように学習を行い、当該学習の結果を前記識別パラメータとして前記識別パラメータ記憶部に記憶させる識別学習部と
   を有する識別パラメータ学習装置と、
   請求項１記載の異常音診断装置とを備えたことを特徴とする異常音診断システム。
9. 診断対象機器において発生した音が異常であるか診断を行う異常音診断方法において、
   集音部が、前記診断対象機器で発生した音を集音し、音データを取得するステップと、
   強度時系列取得部が、前記音データの波形データを分析して得られる時間周波数分布から強度時系列を取得するステップと、
   軌跡特徴抽出部が、当該強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換して軌跡ベクトルを抽出するステップと、
   識別部が、参照機器から発生する音データの波形データを分析して得られた時間周波数分布から取得される強度時系列の全時間方向の強度特徴を示す軌跡であるベクトルを入力とし、前記診断対象機器の状態種別を示す情報を出力として学習された識別パラメータと、前記軌跡ベクトルとから、前記診断対象機器の各状態種別に対するスコアを取得するステップと、
   判定部が、前記スコアを参照し、前記診断対象機器において発生した音が正常であるか異常であるか、および異常の種類を判定するステップとを備えたことを特徴とする異常音診断方法。
10. 診断対象機器で発生した音を集音し、音データを取得する集音処理手順と、前記音データの波形データを分析して得られる時間周波数分布から強度時系列を取得する強度時系列取得処理手順と、前記強度時系列の全時間方向の強度特徴を示す軌跡をベクトルに変換して軌跡ベクトルを抽出する軌跡特徴抽出処理手順と、参照機器から発生する音データの波形データを分析して得られた時間周波数分布から取得される強度時系列の全時間方向の強度特徴を示す軌跡であるベクトルを入力とし、前記診断対象機器の状態種別を示す情報を出力として学習された識別パラメータと、前記軌跡ベクトルとから、前記診断対象機器の各状態種別に対するスコアを取得する識別処理手順と、前記スコアを参照し、前記診断対象機器において発生した音が正常であるか異常であるか、異常である場合に異常の種類を判定する判定処理手順とをコンピュータに実行させるための異常音診断プログラム。

Images