JP7492443B2 - パターン分類装置、昇降機音診断システム、及びパターン分類方法昇降機音の診断装置、及び昇降機音診断方法 - Google Patents

Description

本発明は、パターン分類装置、昇降機音診断システム、及びパターン分類方法に関し、昇降機から取得した音響データを用いて画像データをパターン分類するパターン分類装置及びパターン分類方法、並びに、パターン分類の結果に基づいて昇降機音を診断する昇降機音診断システムに適用して好適なものである。

従来、機器から発生する音響データに基づいて、機器の異常を診断しようとする技術が存在する。例えば特許文献１には、検査対象機器である移動体から収集した音響データの周波数分析を行い、上記周波数分布によって求められた強度の時間周波数分布と、予め蓄積した正常動作時の強度の時間周波数分布のパラメータとに基づいて、劣化度の時間周波数分布を推定し、この推定した劣化度の時間周波数に基づいて、移動体の劣化箇所を判定する移動体の診断システムが開示されている。

また例えば、特許文献２には、対象装置から取得した音データまたは振動データの少なくとも一方を含む処理対象データから異常度を算出し、直近の異常度遷移と過去の異常度遷移とを用いて、異常予測に関する処理を実行し、その処理結果を表示する異常予測システムが開示されている。特許文献２では、異常予測システムにおける処理結果の表示においては、音データ（音響データ）から生成したスペクトログラム画像を利用する例が開示されている。

国際公開第２０１７／０９８６０１号 国際公開第２０２０／００９２１０号

ところで、上述した特許文献１では、エレベータ（昇降機）を検査対象機器としてその劣化箇所の推定を行うことができるとされている。しかし、昇降機の音響は、昇降路の形状や素材、日照や温度、空調等の周囲環境からの影響が大きいため、昇降機ごとに音響特性が異なるだけでなく、同一の昇降機でも検査時の周囲環境の変化によって音響特性が異なってしまう。すなわち、昇降機においては異常時の音響特性が一様にならないという問題があるが、特許文献１に開示されたシステムを含む従来技術では、このような問題を解消できないため、実用的な異常診断を実現することが困難であった。

また、特許文献２では、音響データの可視化方法の１つとして、音響データから生成したスペクトログラム画像を表示できるとしているが、これは、音響データの特徴をユーザが目視で認識し易くするためにスペクトログラム画像を利用するものであり、音響データを画像データ（スペクトログラム画像）に変換して解析することによって異常を診断するものではなかった。

本発明は以上の点を考慮してなされたもので、昇降機等の対象機器における異常を診断するために、対象機器で収集された音響データから変換した画像データの解析によって、対象機器で発生する音を高精度に分類することが可能なパターン分類装置、昇降機音診断システム、及びパターン分類方法を提案しようとするものである。

かかる課題を解決するため本発明においては、昇降機の走行時に発生する昇降機音を解析するパターン分類装置であって、走行中の昇降機から収集された昇降機音の音響データを受信するデータ受信部と、前記音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する解析画像生成部と、前記スペクトログラム画像に含まれる物理的特徴に基づいて、前記収集された昇降機音の特徴を予め用意された複数の分類パターンの何れかに分類するパターン分類部と、前記音響データに含まれる特徴音の発生時の走行状況または発生階床の少なくとも何れかを推定する状況推定部と、前記状況推定部による推定結果と前記パターン分類部による分類結果とに基づいて、前記昇降機における異常を診断する異常診断部と、前記異常診断部による診断結果を出力する出力部と、を備えるパターン分類装置が提供される。

また、かかる課題を解決するため本発明においては、昇降機における異常を診断する昇降機音診断システムであって、走行中の前記昇降機から前記昇降機音の音響データを収集するデータ測定装置と、前記データ測定装置で収集された前記音響データを受信するデータ受信部と、前記音響データに含まれる特徴音の発生時の走行状況または発生階床の少なくとも何れかを推定する状況推定部と、前記音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する解析画像生成部と、前記スペクトログラム画像に含まれる物理的特徴に基づいて、前記収集された昇降機音の特徴を予め用意された複数の分類パターンの何れかに分類するパターン分類部と、前記状況推定部による推定結果と前記パターン分類部による分類結果とに基づいて、前記昇降機における異常を診断する異常診断部と、を備える昇降機音診断システムが提供される。

また、かかる課題を解決するため本発明においては、昇降機の走行時に発生する昇降機音を解析するパターン分類方法であって、走行中の昇降機から収集された昇降機音の音響データを受信するデータ受信ステップと、前記音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する解析画像生成ステップと、前記スペクトログラム画像に含まれる物理的特徴に基づいて、前記収集された昇降機音の特徴を予め用意された複数の分類パターンの何れかに分類するパターン分類ステップと、前記音響データに含まれる特徴音の発生時の走行状況または発生階床の少なくとも何れかを推定する状況推定ステップと、前記状況推定ステップによる推定結果と前記パターン分類ステップによる分類結果とに基づいて、前記昇降機における異常を診断する異常診断ステップと、前記異常診断ステップによる診断結果を出力する出力ステップと、を備えるパターン分類方法が提供される。

本発明によれば、昇降機等の対象機器で収集された音響データから変換した画像データの解析によって、対象機器で発生する音を高精度に分類することができる。

本発明の第１乃至第３の実施形態に係る昇降機音診断システム１の構成例を示すブロック図である。 パターン分類部１７０の内部構成例を示すブロック図である。 第１の実施形態において昇降機音診断システム１を用いて昇降機音を診断する際の全体処理の処理手順例を示すフローチャートである。 特徴音を含む音響データの一例を示す図である。 音響データから生成されたスペクトログラム画像の一例である。 パターンマッチング処理の処理手順例を示すフローチャートである。 ステップＳ２０４の処理後の波形の一例を示す図である。 ステップＳ２０５で切り出されたノイズ領域の一例を示す図である。 ステップＳ２０７の処理後の波形の一例を示す図である。 ステップＳ２０８の差引処理後のスペクトログラム画像の一例である。 ステップＳ２０９のビニング処理後のスペクトログラム画像の一例である。 分類パターン画像の一例である。 候補パターン一覧表の一例である。 異常診断対応表の一例である。 スペクトログラム画像の物理量に基づく特徴分類を説明するための図である。 機械学習による強度分布の特徴抽出を説明するための図である。 機械学習による特徴的構造の形状の特徴抽出を説明するための図である。

以下、図面を参照して、本発明の実施形態を詳述する。

（１）第１の実施形態
（１－１）構成
図１は、本発明の第１乃至第３の実施形態に係る昇降機音診断システム１の構成例を示すブロック図である。昇降機音診断システム１は、昇降機における異常を診断するシステムであって、図１に示したように、昇降機の走行時に発生する昇降機音を解析するパターン分類装置１００と、走行中の昇降機から昇降機音の音響データを収集するデータ測定装置２００と、が通信可能に接続されて構成される。

なお、以下では、対象機器を昇降機として、走行中の昇降機が発生する昇降機音を解析する実施形態を説明するが、本発明を適用可能な対象機器は昇降機に限定されるものではなく、動作時に発生する音から異常を推定可能と考えられる様々な機器を対象とすることができる。

また本説明において、「昇降機が走行中」とは、昇降機が何らかの動作中であることを指すものであり、具体的には、カゴが移動中である状態に限定されるものではなく、カゴが停止中であってもカゴ扉が開閉しているときや、カゴ扉の開放動作や閉鎖動作の前後のタイミングも、走行中として扱う。例えば、昇降機の主ロープに異常が存在する場合は、カゴの移動中に当該異常に起因する特徴音が発生すると想定されるが、カゴ扉の開閉レールに異常が存在する場合は、カゴの移動中に当該異常に起因する特徴音が発生することは想定し難く、カゴ扉の開閉動作時にのみ特徴音の発生が想定される。そこで、本発明に係る昇降機音診断システム１は、広く「走行中の昇降機」において発生する音（昇降機音）を対象とすることにより、上記例の何れの場合を含め、昇降機における様々な異常に起因する特徴音を解析できるようにしている。

データ測定装置２００は、昇降機のカゴに設置される測定装置であって、データ測定部２１０とデータ送信部２２０とを備える。データ測定部２１０は、走行中の昇降機から所定種別の測定データを取得する。測定データの具体的な種別としては、音響データを必須とし、さらに、気圧等のセンサデータが含まれるとしてもよい。したがって、データ測定部２１０は、集音装置やセンサ等によって実装される。データ測定部２１０が取得した音響データを含む測定データは、データ送信部２２０からパターン分類装置１００に向けて送信され、パターン分類装置１００のデータ受信部１１０によって受信される。

パターン分類装置１００は、データ受信部１１０、データ処理部１２０、及び表示部１３０を備える。データ受信部１１０は、データ測定装置２００で取得された測定データ（昇降機音の音響データやセンサデータ）を受信する。データ処理部１２０は、データ受信部１１０で受信した測定データを用いて、昇降機音を解析するためのデータ処理を行う。そして表示部１３０は、データ処理部１２０によるデータ処理の結果を所定の出力手段で表示する。

パターン分類装置１００は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）のメモリ、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の外部記憶装置、ＮＩＣ（Network Interface Card）等の通信インタフェース、マウスやキーボード等の入力装置、及びディスプレイやプリンタ等の出力装置を有するコンピュータ装置で実現することができる。この場合、データ受信部１１０は通信インタフェースに相当し、表示部１３０は出力装置に相当する。そして、データ処理部１２０は、プロセッサがプログラムをメモリに読出して実行することによって実現される。また、表示部１３０は、パターン分類装置１００のコンピュータ装置に接続された外部の出力装置であってもよい。

データ処理部１２０は、特徴音切出部１４０、状況推定部１５０、解析画像生成部１６０、パターン分類部１７０、データ保存部１８０、及び異常診断部１９０を含む。

特徴音切出部１４０は、データ受信部１１０で受信された、連続する昇降機音の音響データから、特徴音を含む音響データを切り出す。本説明において特徴音とは、昇降機の異常に起因して走行時に発生し得る音響パターンの総称であり、言い換えれば、昇降機に異常が存在しない場合の昇降機音には含まれない音響パターンを示す音である。特徴音に相当する音響パターンは、予めあるいは学習によってパターン分類装置１００に保持されているとする。

なお、データ処理部１２０では、特徴音切出部１４０によって切り出された音響データを基に、後続する処理が実行される。そこで記載上の簡便のため、以降の説明では、原則として、特徴音切出部１４０によって切り出された音響データを単に「音響データ」と表記する。

状況推定部１５０は、音響データに含まれる特徴音に関して、当該特徴音が発生した階床（発生階床）、及び当該特徴音が発生したときの昇降機の走行状況（走行状況）を推定する。

解析画像生成部１６０は、音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する。

パターン分類部１７０は、解析画像生成部１６０が生成したスペクトログラム画像に含まれる物理的特徴に基づいて、昇降機音の特徴を既存の複数の分類パターン（既存パターン）の何れかに分類する。パターン分類部１７０の内部構成については、図２を参照しながら後述する。

データ保存部１８０は、状況推定部１５０による特徴音の発生階床及び発生状況の推定結果、及び、パターン分類部１７０によるスペクトログラム画像のパターン分類の結果を、パターン分類装置１００内の記憶領域に保存する。またこの他にも、データ保存部１８０は、パターン分類装置１００内の処理において必要となる種々のデータを保存してもよい。

異常診断部１９０は、データ保存部１８０に保存された、状況推定部１５０による特徴音の発生階床及び発生状況の推定結果、及びパターン分類部１７０によるパターン分類の結果に基づいて、昇降機における異常を診断する。そして、異常診断部１９０による診断の結果は、表示部１３０によって出力（例えば表示）される。なお、表示部１３０は、異常診断部１９０による診断結果だけでなく、データ処理部１２０内の処理過程で生成された各種データも適宜出力してよい。

図２は、パターン分類部１７０の内部構成例を示すブロック図である。図２に示したパターン分類部１７０は、マッチング判定部１７１、ロジック判定部１７２、類似データ生成部１７３、機械学習部１７４、機械学習判定部１７５、及びパターン決定部１７６を含んで構成される。

なお、図２には、第１～第３の実施形態を全て網羅するパターン分類部１７０の構成が示されており、個々の実施形態に最低限必要な内部構成とは異なる。具体的には、第１の実施形態において、パターン分類部１７０は、少なくともマッチング判定部１７１及びパターン決定部１７６を有していればよく、第１の実施形態ではこれらの内部構成について説明する。パターン分類部１７０は、第２の実施形態においては、少なくともロジック判定部１７２及びパターン決定部１７６を有していればよく、第３の実施形態においては、少なくとも類似データ生成部１７３、機械学習部１７４、機械学習判定部１７５、及びパターン決定部１７６を有していればよい。第２及び第３の実施形態における構成については、それぞれの実施形態で詳述する。

マッチング判定部１７１は、音響データを変換して生成されたスペクトログラム画像に対して、既存の複数の分類パターン（既存パターン）の画像とのパターンマッチングを行い、所定数の候補パターンを選別する。詳細には例えば、マッチング判定部１７１は、パターンマッチングによってスペクトログラム画像と既存パターン画像（分類パターン画像）との相関値のスコアを算出し、最大相関値が算出された既存パターンを先頭に、相関値が大きい順にＮ個の既存パターンを、候補パターンとして選別する。

パターン決定部１７６は、マッチング判定部１７１によって選別されたＮ個の候補パターンのうちから、スペクトログラム画像と各候補パターンとの類似度（相関値）に基づいて、データ測定装置２００で収集された昇降機音の特徴を示す分類パターンを決定する。例えば、最も類似度が高い（最大相関値を有する）候補パターンを、分類パターンに決定する。なお、詳細は後述するが、第２の実施形態や第３の実施形態においては、パターン決定部１７６は、各実施形態に対応する判定部（ロジック判定部１７２、機械学習判定部１７５）によって選別された候補パターンのうちから、最終的な分類パターンを決定する。また、パターン分類部１７０における複数種類の判定部でそれぞれ候補パターンが選別された場合には、パターン決定部１７６は、各判定部による選別結果の候補パターンを総合して、最適な分類パターンに絞り込む所定の処理を行い、最終的に１つの分類パターンを決定する。

以上が、第１の実施形態に係る昇降機音診断システム１の構成例である。なお、上記説明では、パターン分類装置１００において、データ処理部１２０内に異常診断部１９０を備えるとしたが、パターン分類装置１００に対して、昇降機における異常を判断するまでの機能が必要とされず、昇降機音を解析する（パターンに分類する）までの機能を有していればよいとされる場合には、異常診断部１９０を備えない構成であってもよい。

（１－２）処理
図３は、第１の実施形態において昇降機音診断システム１を用いて昇降機音を診断する際の全体処理の処理手順例を示すフローチャートである。

図３によればまず、ユーザ（例えば昇降機の点検担当者）が制御盤（不図示）を操作する等して、昇降機のカゴを基準階に停止させる（ステップＳ１０１）。

次いで、データ測定装置２００が、カゴを走行させながら音を測定する（ステップＳ１０２）。ステップＳ１０２では、より具体的には、カゴが基準階から移動を開始した後、カゴに設置されたデータ測定装置２００のデータ測定部２１０が、昇降機の走行中に昇降路内で発生する音の音響データを測定する。なお、データ測定部２１０の説明で前述したように、このとき、データ測定部２１０は、変化する気圧値等のセンサデータも合わせて測定することができる。

ステップＳ１０２で測定された測定データは、データ測定装置２００のデータ送信部２２０からパターン分類装置１００のデータ受信部１１０に送信される。そして、その後の処理は、パターン分類装置１００において実行される。

パターン分類装置１００ではまず、特徴音切出部１４０が、データ受信部１１０が受信した音響データから、特徴音を含む音響データを切り出す（ステップＳ１０３）。

図４は、特徴音を含む音響データの一例を示す図である。図４に示した音響データ３００は、ステップＳ１０３で切り出された音響データの一例であって、時間及び振幅を軸にとって表示されている。

次に、状況推定部１５０が、ステップＳ１０３で切り出された音響データに含まれる特徴音に関して、特徴音の発生時におけるカゴの存在位置から特徴音の発生階床を推定する（ステップＳ１０４）。カゴの存在位置は、昇降機の制御盤が保持するカゴデータから推定してもよいし、気圧センサによるデータ測定部２１０が取得した気圧データから推定する等してもよい。

また、状況推定部１５０は、ステップＳ１０３で切り出された音響データに含まれる特徴音に関して、特徴音が発生したときの昇降機の走行状況を推定する（ステップＳ１０５）。ステップＳ１０５で推定される走行状況の種別は特に限定されないが、例えば、カゴの移動状況（上昇中／降下中／停止中）や、カゴ扉の動作状態（開放途中／開放中／閉鎖途中）等が考えられる。また、ステップＳ１０４及びステップＳ１０５の処理は、逆の順番で実行されてもよく、並行して実行されてもよい。そして、ステップＳ１０４及びステップＳ１０５の推定結果は、データ保存部１８０に保存される。

次に、解析画像生成部１６０が、音響データからスペクトログラム画像を生成する（ステップＳ１０６）。解析画像生成部１６０によって生成されるスペクトログラム画像は、少なくとも、時間成分及び周波数成分を含む２軸以上の画像データであり、より好適には、上記時間成分及び周波数成分に加えて、強度成分を含んで構成される画像データである。また、解析画像生成部１６０は、ステップＳ１０６において音響データからスペクトログラム画像を生成する際、ビニング処理を施されたスペクトログラム画像を生成するようにしてもよい。後述する図１１には、ビニング処理を施されたスペクトログラム画像の一例が示されている。

図５は、音響データから生成されたスペクトログラム画像の一例である。図５に示したスペクトログラム画像３１０は、ステップＳ１０６において音響データから生成されるスペクトログラム画像の一例である。

音響データから生成されるスペクトログラム画像は、音の信号波形を画像に変換したものであり、このようなスペクトログラム画像では、音信号の特徴が画像の特徴に変換され、画像処理によって特徴抽出を容易に実施可能となる。そして、特徴抽出によって特徴が明確化されることによって、比較が容易となり、音の異常検出や異常の分類が容易になる。

具体的には、音信号を周波数変換したスペクトログラム画像は、図５に示したように、縦軸に時間、横軸に周波数をとり、各時間及び各周波数における音の強度を表す。なお、図５のスペクトログラム画像３１０では、強度はグレースケールで示されているが、スペクトログラム画像における強度の表示はこれに限定されるものではなく、カラーマップで表示したり、カラーマップをＲＧＢ分離した各色成分で表示したりすることができる。このようにスペクトログラム画像を様々な形式で表示することにより、特徴量を増やすことができ、本発明によるパターン分類の精度向上に期待できる。

次に、パターン分類部１７０のマッチング判定部１７１が、解析画像生成部１６０が生成したスペクトログラム画像に含まれる物理的特徴に基づいて、スペクトログラム画像と、既存の複数の分類パターンにそれぞれ対応する分類パターン画像とのパターンマッチングを行う（ステップＳ１０７）。

さらに、マッチング判定部１７１は、パターンマッチングを行った画像の一致率を表す類似度（相関値）を算出する（ステップＳ１０８）。そして、マッチング判定部１７１は、スペクトログラム画像との相関値が大きい順に、パターンマッチングを行った分類パターンを並べ替える（ステップＳ１０９）。ステップＳ１０９で並べ替えられた複数の分類パターンのうち、上位Ｎ個が候補パターンとして選別される。

なお、図３では、マッチング判定部１７１によって実行される処理群として、ステップＳ１０７～Ｓ１０９を囲ったステップＳ１２０を表記しているが、このステップＳ１２０におけるより詳細な処理手順については、パターンマッチング処理として、図６に示すフローチャート、及び図７～図１３に示す関連図を参照しながら後述する。

ステップＳ１０７～Ｓ１０９においてパターンマッチング処理が実行された後、パターン分類部１７０のパターン決定部１７６が、マッチング判定部１７１によって選別されたＮ個の候補パターンのうちから、スペクトログラム画像と各候補パターンとの類似度（相関値）に基づいて、分類先のパターン（分類パターン）を決定する（ステップＳ１１０）。このステップＳ１１０で決定されるパターンが、データ測定装置２００で収集された昇降機音の特徴を示すパターンとなり、データ保存部１８０に保存される。

その後、異常診断部１９０が、データ保存部１８０に保存された、ステップＳ１０４，Ｓ１０５による推定結果（特徴音の発生階床及び発生状況）及びステップＳ１１０による決定結果（分類先のパターン）に基づいて、昇降機における異常を診断する（ステップＳ１１１）。異常診断部１９０による異常診断の方法は特に限定されないが、例えば、図１４に示す異常診断対応表を利用することが想定される。

図１４は、異常診断対応表の一例である。図１４に示した異常診断対応表４１０は、状況推定部１５０やパターン分類部１７０による処理の結果の組み合わせから、異常の発生源の候補や原因等を診断するために用いられるテーブルデータであって、昇降機音の特徴を示す分類パターンの名称を示すパターン名４１１、特徴音発生時の昇降機の走行状態を示す走行状態４１２、及び、昇降機における異常の発生源候補や異常原因を示す発生源候補／原因４１３の項目から構成される。例えば、ステップＳ１１０で決定された昇降機音のパターンが、連続的かつ低音（パターン名「連続・低音」）であり、ステップＳ１０５で推定された特徴音発生時の走行状況が「走行」であった場合、異常診断部１９０は、異常診断対応表４１０に基づいて、異常の発生源候補が「モータ」にあり、異常原因が「回転不良」であると診断することができる。

なお、図１４の異常診断対応表４１０では、簡便のため、状況推定部１５０による推定結果のうち、特徴音発生時の昇降機の走行状態（走行状態４１２）だけを示したが、実際の異常診断対応表では、「特徴音の発生階床」も診断要因としてよく、あるいはその他の推定結果も診断要因としてもよい。すなわち、異常診断対応表の構成は、図１４の例示に限定されるものではない。他にも例えば、異常の有無を診断する項目を設けてもよいし、また例えば、診断された異常に対する対応案の項目を設ける等してもよい。より実用的な設定としては、複数の発生源候補を特定できるようにし（過去の実績等に基づいて各発生源候補の信頼性を付加してもよい）、それぞれの発生源候補に応じた対応案を定めるとしてもよい。この場合、後述するステップＳ１１２で診断結果が出力される際に、その表示画面上に複数の発生源候補を表示し、ユーザによる発生源候補の選択に応じて、対応案の表示を変更するといった実装を行ってもよい。

そして昇降機における異常が診断された後、表示部１３０が、ステップＳ１１１の診断結果を含む情報を、診断結果表示画面として所定の出力手段から出力し（ステップＳ１１２）、全体処理が終了する。診断結果表示画面は、パターン分類装置１００が有する（あるいは接続された）ディスプレイやプリンタ等の出力装置に出力されてもよいし、ネットワークを通じてパターン分類装置１００と接続されるユーザ側端末に、ＧＵＩ（Graphical User Interface）で提供する等としてもよい。

また、診断結果表示画面で表示される情報の内容は、少なくともステップＳ１１１の診断結果を含むものであれば、特に限定されない。例えば、ステップＳ１０９で選別された複数の候補パターンを合わせて表示したり、ステップＳ１０６で生成されたスペクトログラム画像を表示したりしてもよい。また他にも、図３のステップＳ１０２で昇降機の走行を開始させてからのカゴ移動の変化を表すグラフ上に、診断の対象区間（音響データを抽出した領域）を表示するようにしてもよい。また、上記対象区間で抽出した音響データから生成したスペクトログラム画像を表示するようにしてもよい。

（１－２－１）パターンマッチング処理
図３のステップＳ１２０（ステップＳ１０７～Ｓ１０９）に示した、マッチング判定部１７１によるパターンマッチング処理について、図６のフローチャートに沿って詳しく説明する。

図６は、パターンマッチング処理の処理手順例を示すフローチャートである。なお、図６には、パターンマッチング処理の前処理として、特徴音を含む音響データの読み込み（ステップＳ２０１）、及び音響データからのスペクトログラム画像の生成（ステップＳ２０２）が記載されている。ステップＳ２０１は、図３のステップＳ１０３に相当し、図４に示した音響データ３００が、読み込まれる音響データの具体例に相当する。ステップＳ２０２は、図３のステップＳ１０６に相当し、図５に示したスペクトログラム画像３１０が、生成されるスペクトログラム画像の具体例に相当する。

ステップＳ２０１，Ｓ２０２の前処理が終了した後、マッチング判定部１７１は、パターンマッチング処理としてステップＳ２０３以降の処理を実行する。

まず、マッチング判定部１７１は、ステップＳ２０２で生成されたスペクトログラム画像３１０に対して、周波数方向に加算平均する処理を行い（ステップＳ２０３）、さらに、時間方向に移動平均する処理を行う（ステップＳ２０４）。図７は、ステップＳ２０４の処理後の波形の一例を示す図である。図７に示した波形データ３２０は、横軸を時間とし、縦軸に周波数方向の加算値を表している。

次に、マッチング判定部１７１は、ステップＳ２０４の処理実行後の波形データ３２０から、ノイズ領域を切り出す（ステップＳ２０５）。図８は、ステップＳ２０５で切り出されたノイズ領域の一例を示す図である。図８の画像データ３３０において色付けして表示された部分が、切り出されたノイズ領域に相当する。

次に、マッチング判定部１７１は、ステップＳ２０５で切り出したノイズ領域（画像データ３３０）に対して、時間方向に加算平均し（ステップＳ２０６）、さらに周波数方向に移動平均する（ステップＳ２０７）。図９は、ステップＳ２０７の処理後の波形の一例を示す図である。図９に示した波形データ３４０は、横軸を周波数とし、縦軸に時間方向の加算値を表している。

上記ステップＳ２０３～Ｓ２０７の処理が完了すると、次にマッチング判定部１７１は、ステップＳ２０２で生成されたスペクトログラム画像３１０から、ステップＳ２０３～Ｓ２０７の処理によって得られたノイズ成分（波形データ３４０）を減算する差引処理を実行することにより、ノイズ成分を除去したスペクトログラム画像を生成する（ステップＳ２０８）。図１０は、ステップＳ２０８の差引処理後のスペクトログラム画像の一例である。図１０に示したスペクトログラム画像３５０は、差引処理前のスペクトログラム画像３１０（図５参照）と同様に、縦軸に時間、横軸に周波数をとり、各時間及び各周波数における音の強度を表す。

ここで、ステップＳ２０８の差引処理を行う意義について補足する。仮に、ステップＳ２０５で切り出したノイズ領域（図８）をスペクトログラム画像から直接減算すると、減算結果の画像におけるＳ／Ｎ比が低下してしまうことが懸念される。そこで、本例では、ステップＳ２０６，Ｓ２０７の処理によってノイズ成分を平滑化した上で、ステップＳ２０８の差引処理においてスペクトログラム画像から減算するようにしたものであり、このような処理を行うことで、減算結果の画像（図１０）におけるＳ／Ｎ比の低下を抑制することができる。

次に、マッチング判定部１７１は、ステップＳ２０８の差引結果の画像（スペクトログラム画像３５０）に対して、束ね加算するビニング処理を実行する（ステップＳ２０９）。図１１は、ステップＳ２０９のビニング処理後のスペクトログラム画像の一例である。周波数的にブロックを足し合わせるビニング処理が行われたことによって、図１１のスペクトログラム画像３６０は、スペクトログラム画像３５０よりも低い解像度となり、周波数の特徴が分かりやすい高感度の画像が生成される。なお、本実施形態においてステップＳ２０９のビニング処理は必須の処理ではなく、ビニング処理を行わないスペクトログラム画像３５０を用いて以降の処理を行ってもよい。

次に、マッチング判定部１７１は、既存の複数の分類パターンを読み込む（ステップＳ２１０）。具体的にはステップＳ２１０において、マッチング判定部１７１は、既存の複数の分類パターンにそれぞれ対応する分類パターン画像を読み込む。分類パターン画像は、パターン分類装置１００に保存されている。図１２は、分類パターン画像の一例である。図１２（Ａ），図１２（Ｂ）には、異なる分類パターンの分類パターン画像３７０，３８０が例示されている。分類パターン画像３７０は、例えば、「連続」かつ「低音」の特徴を有する音の分類パターンに対応する画像である。また、分類パターン画像３８０は、例えば、「単発」かつ「低高音」の特徴を有する音の分類パターンに対応する画像である。なお、分類パターン（分類パターン画像）には、それぞれ識別子（パターンＩＤ）及び名称（パターン名）が紐付けられているとする。

次に、マッチング判定部１７１は、ステップＳ２０９のビニング処理後のスペクトログラム画像３６０と、ステップＳ２１０で読み込んだ分類パターン画像とに対して、時間方向の畳み込み処理を実行することにより、スペクトログラム画像と分類パターンとの相関値を算出する（ステップＳ２１１）。ステップＳ２１１における畳み込み処理による相関値の算出は、複数の分類パターンのそれぞれを対象として実行される。

次に、マッチング判定部１７１は、ステップＳ２１１で分類パターンごとに算出されたスペクトログラム画像との相関値のうちから、相関値の最大値を探索し（ステップＳ２１２）、最大相関値を示す分類パターンを先頭に、相関値が大きい順に分類パターンを並び替える（ステップＳ２１３）。なお、ステップＳ２１３において、マッチング判定部１７１は、全ての分類パターンの並び替えを実施する必要はなく、少なくとも、候補パターンとして選別する必要がある所定数（Ｎ個）だけ上位から並び替えればよい。

そして、このステップＳ２１３で並び替えられた上位Ｎ個の分類パターンが、マッチング判定部１７１によって選別された候補パターンとなる。選別された候補パターンは、例えば図１３に示す候補パターン一覧表のような形式でデータにまとめられて、適宜、表示部１３０から出力できるように、データ保存部１８０に保存される。

図１３は、候補パターン一覧表の一例である。図１３に示した候補パターン一覧表４００は、ステップＳ２１３でマッチング判定部１７１によって並び替えられた分類パターンのうちの上位Ｎ個の候補パターンに関する情報を保持するテーブルデータであって、候補パターンとされる分類パターンに予め付与された識別子を示すパターンＩＤ４０１、当該分類パターンの名称を示すパターン名４０２、及び当該分類パターンとスペクトログラム画像３６０との類似度（相関値）を示す相関値４０３の項目から構成される。例えば、パターンＩＤ「３」が付与された「連続・低音」の分類パターンは、ステップＳ２１１で算出されたスペクトログラム画像３６０との相関値が「１３．２」であり、図１３の候補パターン一覧表４００の場合、この「１３．２」が最大相関値となる。そして、図１３では、パターンＩＤ「３」の分類パターンに次いで、相関値４０３が大きい順にパターンＩＤ「２」，「１」，「４」の分類パターンが候補パターンとして選別されたことが表されている。

以上のように図６に示したパターンマッチング処理が実行されることにより、マッチング判定部１７１は、既存の複数の分類パターンのうちから、ビニング処理後のスペクトログラム画像３６０との類似度（相関値）に基づいて、所定数の候補パターンを選別することができる。そして、図３のステップＳ１１０の説明で前述したように、パターンマッチング処理によって選別された候補パターンの情報（候補パターン一覧表）に基づいて、パターン決定部１７６が、分類先のパターンを１つ決定する。具体的には例えば、図１３の候補パターン一覧表４００が用いられる場合、パターン決定部１７６は、最大相関値「１３．２」を示すパターンＩＤ「３」の候補パターン（分類パターン）を、分類先のパターンとして決定する。

なお、本実施形態では、パターンマッチング処理において最大相関値に基づいて上位Ｎ個の候補パターンを選別した（図６のステップＳ２１１～Ｓ２１３）後、パターン決定部１７６がＮ個の候補パターンのうち類似度（相関値）が最も高いものを最終的な分類先のパターンとして決定する（図３のステップＳ１１０）という、複数段階の選別処理を行っている。このような複数段階の選別処理を行う理由として、各段階での選別結果をユーザに提示可能にすることが挙げられる。仮に最終的な選別結果（分類先のパターン）のみを提示する形式とした場合、その選別結果が間違っていた場合に次の対応をとることができず、候補パターンの選定からやり直しが必要になってしまう。一方、複数段階の選別にすることで、最終的な選別結果が間違っていても、次に可能性が高い候補パターンから順に、新たな最終的な選別結果を決定することができるため、候補パターンの再選定が必要なく、処理時間や処理負荷を軽減することができる。

以上のように、図３及び図６に示した処理が行われることにより、本実施形態に係る昇降機音診断システム１は、昇降機の走行時に発生する昇降機音について、昇降機音の音響データを２軸以上の画像データ（スペクトログラム画像）に集約変換し、変換した画像データに解析処理を行うことにより、昇降機音を高精度に分類することができる。より具体的には、第１の実施形態では、画像データのパターンマッチングによって、昇降機音の特徴を複数の既存パターンの何れかに分類できる。さらに、昇降機音診断システム１は、この分類結果に基づいて、昇降機における異常を診断し、診断結果をユーザに提示することもできる。

（２）第２の実施形態
本発明の第２の実施形態に係る昇降機音診断システム１について説明する。第２の実施形態は、第１の実施形態と同様に昇降機音診断システム１によって実現されるが、パターン分類装置１００のデータ処理部１２０内のパターン分類部１７０による処理が、第１の実施形態とは異なる。以下では、第１の実施形態と共通する構成や処理については説明を省略し、第２の実施形態固有の構成や処理を中心に説明する。

第２の実施形態において、パターン分類部１７０は、ロジック判定部１７２及びパターン決定部１７６を有して構成される（図２参照）。そして、第２の実施形態において昇降機音を診断する際の全体処理は、図３に示した処理手順のうち、マッチング判定部１７１によって実行されるステップＳ１０７～Ｓ１０９の処理が、以下に説明するロジック判定部１７２による処理に置き換えられる。

ロジック判定部１７２は、特徴音を含む音響データを変換して生成されたスペクトログラム画像に対して、スペクトログラム画像における物理量に基づく所定の画像解析を行うことにより、特徴音の高低及び連続性を抽出し、その抽出結果に応じて、昇降機音の特徴を複数の既存パターン（分類パターン）の１つに分類する。

そして、パターン決定部１７６は、ロジック判定部１７２によって選別された１つの候補パターンを、分類先のパターンとして決定する（図３のステップＳ１１０に相当）。

ロジック判定部１７２によって実行される、スペクトログラム画像に対する解析処理について詳しく説明する。

図１５は、スペクトログラム画像の物理量に基づく特徴分類を説明するための図である。図１５には、ロジック判定部１７２がスペクトログラム画像に対して実行する画像解析の遷移を示しており、具体的には、スペクトログラム画像４２０を解析対象としたとき、波形データ４３０を経て波形データ４４０を算出する第１の画像解析処理と、波形データ４５０を算出する第２の画像処理とが実行される。なお、解析対象のスペクトログラム画像４２０は、図３のステップＳ１０６で生成されたスペクトログラム画像（例えば図５のスペクトログラム画像３１０）を用いてよいが、他にも例えば、ビニング処理を実施して周波数方向にブロックを足し合わせたスペクトログラム画像を用いてもよいし、ノイズ成分を除去したスペクトログラム画像を用いてもよい。ビニング処理を行うことにより、画像の解像度を低くして、周波数の特徴を分かりやすくすることができる。また、ノイズ成分の除去を行うことにより、特徴音を精度良く解析の対象とすることができる。

図１５を参照すると、第１の画像処理においてロジック判定部１７２は、解析対象のスペクトログラム画像４２０に対して、まず、周波数方向に加算平均する処理を行うことで、波形データ４３０を得る。この処理によって、周波数の特徴が明らかとなる。次いで、ロジック判定部１７２は、周波数を分析するためにフーリエ変換を行うことで、波形データ４４０を得る。この処理によって、ロジック判定部１７２は、周波数のピークを特定することができる。例えば波形データ４４０の場合、低周波数域において第１ピークが存在することが分かる。

上記のような第１の画像処理によって得られた波形データにおけるピークの状態から、ロジック判定部１７２は、特徴音の連続性を判定することができる。具体的には、第１ピークが周波数０に出現した場合は、特徴音は連続して発生した音であることが分かり、第１ピークが周波数０以外に出現した場合は、特徴音は単発で発生した音であることが分かる。

図１５を参照すると、第２の画像処理において、ロジック判定部１７２は、解析対象のスペクトログラム画像４２０に対して、時間方向に加算する処理（ヒストグラム変換）を行うことで、波形データ４５０を得る。この処理によって、周波数ごとの強度が明らかとなる。

上記のような第２の画像処理によって得られた波形データから、ロジック判定部１７２は、どの周波数に強度があるかに着目することにより、特徴音の音域を判定することができる。例えば、図１５の波形データ４５０の場合、低周波数域（低音域）において強度が強いことから、特徴音が低音であることが分かる。なお、上記説明では、第２の画像処理によって判定可能な「特徴音の音域」を低音／高音としたが、これは一例であって、より多段階な音域（例えば、低中音や中音など）を判定するようにしてもよい。

ロジック判定部１７２は、上述した第１及び第２の画像処理の結果を組み合わせることにより、スペクトログラム画像に変換された音響データに含まれる特徴音について、その連続性（繰り返しパターン）及び音域（高低）の特徴を判定することができる。そこで、ロジック判定部１７２は、複数の既存パターン（分類パターン）のうちから、判定した特徴音の特徴（連続性、高低）に該当するパターンを選別し、これを候補パターンとする。そして、前述したように、パターン決定部１７６は、この選別された候補パターンを分類先のパターンとして決定する。

なお、ビニング処理は、分類パターンとして抽出することが望まれる画像の特徴が失われない条件で行う。例えば、時間方向には、繰り返しの間隔を識別することできる幅よりも、狭い幅で束ねることが必要である。即ち、１秒間隔を識別する場合には１秒以下の幅が必要となる。また、周波数方向には、分離したい区分の幅よりも狭い幅で束ねることが必要である。すなわち、低音０～４ｋＨｚ、中音４～５ｋＨｚ、高音５～１０ｋＨｚを分類する場合には、最小幅の１ｋＨｚ以下の幅が必要となる。

以上のように、第２の実施形態に係る昇降機音診断システム１では、特徴音を含む音響データを変換して生成した画像データ（スペクトログラム画像）に対して、物理量に基づく画像解析を行うことにより、同画像に含まれる特徴音の特徴（連続性及び音域）を抽出し、抽出された特徴に応じて、昇降機音を既存パターンに分類することができる。この特徴抽出による分類方法は、第１の実施形態におけるパターンマッチングによる分類方法よりも、詳しくパターンを分類することができる。また、第１の実施形態と同様に、分類結果に基づいて昇降機における異常診断を行うこともできる。

（３）第３の実施形態
本発明の第３の実施形態に係る昇降機音診断システム１について説明する。第３の実施形態は、第１の実施形態と同様に昇降機音診断システム１によって実現されるが、パターン分類装置１００のデータ処理部１２０内のパターン分類部１７０による処理が、第１の実施形態とは異なる。以下では、第１の実施形態と共通する構成や処理については説明を省略し、第３の実施形態固有の構成や処理を中心に説明する。

第３の実施形態は、機械学習を利用して、より精度の高いパターン分類を実現するものである。したがって、第３の実施形態は、機械学習の学習に用いられるデータがある程度蓄積された後に運用されることが好ましい。機械学習の学習に用いられるデータには、例えば第１または第２の実施形態に係る昇降機音診断システム１で生成されるスペクトログラム画像や各処理の結果を利用することができる。

第３の実施形態において、パターン分類部１７０は、類似データ生成部１７３、機械学習部１７４、機械学習判定部１７５、及びパターン決定部１７６を有して構成される（図２参照）。そして、第３の実施形態において昇降機音を診断する際の全体処理は、図３に示した処理手順のうち、マッチング判定部１７１によって実行されるステップＳ１０７～Ｓ１０９の処理が、以下に説明する類似データ生成部１７３、機械学習部１７４、及び機械学習判定部１７５による処理に置き換えられる。

類似データ生成部１７３は、データ測定装置２００で実際に測定された測定データから複数の類似データを生成する。測定データはパターン分類装置１００（例えばデータ保存部１８０）に蓄積されているとし、類似データ生成部１７３が生成した類似データも、同様に、例えばデータ保存部１８０に保存される。

機械学習部１７４は、スペクトログラム画像から所定特徴量（強度分布、特徴的構造の形状、特徴的構造の出現場所）の特徴を抽出し、抽出した特徴を組み合わせた特徴パターンを学習する。機械学習部１７４による機械学習は、既知の一般的な機械学習を利用することができるため、詳細な説明は省略する。機械学習部１７４による学習に用いられる学習データ及び検証データ（教師データ）には、データ測定装置２００で測定された測定データ（または、類似データ生成部１７３によって生成された類似データ）を正規化したスペクトログラム画像が用いられる。

図１６は、機械学習による強度分布の特徴抽出を説明するための図である。図１６では、スペクトログラム画像４６０の強度（色）に着目して、強度分布の特徴を抽出する処理が説明されている。なお、図１６のスペクトログラム画像４６０は、実際はカラーマップであるとする。図１６に示したように、スペクトログラム画像４６０に対して、機械学習部１７４は、カラーマップをＲＧＢ分離して、各色成分によるスペクトログラム画像を生成する（Ｒ画像４７０、Ｇ画像４８０、Ｂ画像４９０）。カラーマップのスペクトログラム画像４６０では、色によって強度が示されているため、例えばＲＧＢの各色成分に分離させることで、強度が強い周波数、強度が中程度の周波数、及び強度が弱い周波数の特徴が明確になる。機械学習部１７４は、機械学習によって、このような各色成分のスペクトログラム画像における特徴を抽出することにより、特徴音の強度的な特徴を高精度で抽出することができる。

図１７は、機械学習による特徴的構造の形状の特徴抽出を説明するための図である。図１７には、スペクトログラム画像における特徴的な構造の形状の例が示されている。具体的には、図１７（Ａ）のスペクトログラム画像５００の場合は、時間方向の中ほどに、全周波数に亘って一様な強度を示す特徴的な「矩形構造」が存在することが示されている。また、図１７（Ｂ）のスペクトログラム画像５１０の場合は、時間方向の中ほどにおいて、断続的に強い強度の音が発生していることを示す特徴的な「くし形の構造」が存在することが示されている。機械学習部１７４は、機械学習によって、上記のような特徴的な構造の形状を抽出することにより、特徴音の発生パターンを高精度で抽出することができる。また、図１７（Ａ）、図１７（Ｂ）ともに、特徴的構造は時間方向の中ほどの一定期間に、全周波数域に亘って存在しているが、機械学習部１７４は、このような特徴的構造の発生場所についても機械学習することで、特徴音の発生タイミングや、特徴音の音域について、高精度で抽出することができる。

機械学習判定部１７５は、機械学習部１７４による学習結果（学習モデル）を用いて、特徴音のパターン分類を行う。詳しくは、機械学習判定部１７５は、判定対象とするスペクトログラム画像を学習モデルの入力として、特徴パターン（特徴音の連続性及び音域の組み合わせ）を出力し、複数の既存パターン（分類パターン）のうちから、出力された特徴パターンに該当する１つのパターンを候補パターンとして選別することにより、パターン分類を行う。そして、機械学習判定部１７５による候補パターンの選別結果に基づいて、パターン決定部１７６は、最終的な分類先のパターンを決定する。機械学習判定部１７５において候補パターンが１つだけ選別される場合は、当該候補パターンが最終的な分類先のパターンとなる。

以下では、第３の実施形態に係るパターン分類部１７０がパターン分類を実現する具体的な方法として、第１及び第２の方法を説明する。

第１の方法では、まず、機械学習部１７４が、パターン分類装置１００（例えばデータ保存部１８０）に蓄積された測定データを用いてパターンの特徴を機械学習する。具体的には、機械学習部１７４は、測定データから生成されたスペクトログラム画像に含まれる所定特徴量（強度分布、特徴的構造の形状、特徴的構造の出現場所）の特徴を抽出し、その抽出結果を組み合わせた特徴パターン（例えば、特徴音の連続性及び音程）を学習する。次に、機械学習判定部１７５が、機械学習部１７４によって学習された学習モデルを用いて、判定対象とするスペクトログラム画像の特徴パターン（特徴音の連続性及び音域の組み合わせ）を判定し、判定した特徴パターンを複数の既存パターンの何れかに分類することにより、候補パターンを選別する。そして、機械学習判定部１７５によって選別された候補パターンに基づいて、パターン決定部１７６が分類先のパターンを決定する。したがって、第１の方法では、類似データ生成部１７３は使用しない。

このような第１の方法によれば、過去の測定データに基づく特徴パターンの機械学習を繰り返すことにより、学習モデルの精度が高まるため、昇降機音を高精度にパターン分類することが可能となる。またそのパターン分類の結果に基づいて異常診断を行うことにより、昇降機における異常を高精度で診断し、診断結果をユーザに提示することができる。

第２の方法は、第１の方法よりも学習モデルの精度を高める方法である。第２の方法では、まず、類似データ生成部１７３が、データ測定装置２００で実際に測定された測定データから、予め定められた作成方法に従って、類似の音データ（類似データ）を作成する。

類似データの作成方法には、任意の方法を設定してよいが、具体的な方法例として、以下のような手順が考えられる。まず、測定データ（切り出された音響データ）に対して、低域（例えば１ｋＨｚ未満）あるいは高域（例えば１ｋＨｚ以上）を強調補正した音データを作成する。より具体的には、低域を強調補正した音データ（低域補正データ）は、測定データの低域に対して、１～９ｄＢの補正を１ｄＢ刻みで適用して作成し、高域を強調補正した音データ（高域補正データ）は、測定データの高域に対して、１～９ｄＢの補正を１ｄＢ刻みで適用して作成する。同様に、低域と広域の全域を強調補正した音データを作成することも可能である。このように特定音域を強調補正した音データを作成することで、周波数方向へのバリエーションを持った類似データを作成することができ、反響などの環境の影響を吸収することができる。次に、測定データ、低域補正データ、及び高域補正データのそれぞれに対して、時間軸の中央領域のデータを、所定の時間方向に移動させることにより、時間補正を行った音データを作成する。より具体的には、中央領域を「２．０～３．０秒」とするとき、中央領域のデータを１．７～２．３秒の部分に０．１秒刻みで移動させることにより、測定データ、低域補正データ、及び高域補正データのそれぞれの時間補正データを作成する。同様に、時間軸の左領域のデータ、右領域のデータ、全体領域のデータに対して、一定の刻みで移動させることで、時間補正データを作成することも可能である。このように時間補正した音データを作成することで、時間方向へのバリエーションを持った類似データを作成することができ、特徴音の発生タイミングのズレを吸収することができる。そして最後に、物理的な音分類アルゴリズムを利用して、特徴パターン（特徴音の音域及び連続性）が元データ（測定データ）と同じ分類にならない補正データを除外し、残った補正データを類似データとする。このような除外処理を行うことにより、類似データとして不適切なデータを排除することができる。

そして第２の方法では、機械学習部１７４が、パターン分類装置１００（例えばデータ保存部１８０）に蓄積された測定データだけでなく、類似データ生成部１７３によって生成された類似データも学習データとして、各データから生成されたスペクトログラム画像を用いて、パターンの特徴を機械学習する。機械学習部１７４による機械学習の詳細は、第１の方法と同様であり、スペクトログラム画像に含まれる所定特徴量（強度分布、特徴的構造の形状、特徴的構造の出現場所）の特徴を抽出し、その抽出結果を組み合わせた特徴パターン（例えば、特徴音の連続性及び音程）を学習する。そして、第１の方法と同様に、機械学習判定部１７５が、機械学習部１７４によって学習された学習モデルを用いて、判定対象とするスペクトログラム画像の特徴パターン（特徴音の連続性及び音域の組み合わせ）を判定し、判定した特徴パターンを複数の既存パターンの何れかに分類することにより、候補パターンを選別する。そして、機械学習判定部１７５によって選別された候補パターンに基づいて、パターン決定部１７６が分類先のパターンを決定する。

このような第２の方法によれば、測定データと同じ特徴パターンを有する類似データを学習データとすることで、機械学習の学習データを飛躍的に増やすことができ、機械学習部１７４の機械学習による学習モデルの精度を大きく高めることができる。そして、機械学習判定部１７５が、その学習結果を用いてスペクトログラム画像の特徴パターンを判定することから、第１の方法に比べて、判定の精度（正答率）を大幅に向上させることができる。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

例えば、第１～第３の実施形態では、パターン分類において候補パターンを選別する手法が異なり、パターン分類部１７０において必要とされる構成が異なるが、第１～第３の実施形態の２つ以上を組み合わせて昇降機音診断システム１を構成することが可能である。この場合、パターン分類部１７０では、各実施形態に対応する判定部（マッチング判定部１７１、ロジック判定部１７２、機械学習判定部１７５）によって、異なる手法でそれぞれの候補パターンの選別結果が得られ、パターン決定部１７６は、これら複数の手法で選別された候補パターンのうちから、最終的な分類先のパターンを決定することになる。この場合のパターン決定部１７６による分類先のパターン決定方法は、任意の方法を採用してよいが、以下に具体的な方法例を示す。

まず、各判定部が候補パターンを選別する際に、解析対象のスペクトログラム画像との類似度（相関値）に応じて、候補パターンの順位付け（第１候補、第２候補、第３候補、・・・）を行う。そして、パターン決定部１７６は、順位付けされた各候補パターンの類似度を用いて、総合的な類似度を算出し、総合類似度の高い候補パターン（分類パターン）から順に並べ直し、この並べ替えの結果から、例えば総合的な第１候補の分類パターンを最終的な分類先のパターンとして決定する。

なお、上記方法における総合的な類似度の算出方法としては、例えば、同一の候補パターン（分類パターン）について、各手法で得られた類似度を加算し、その合計値に基づいて総合類似度を決定することが挙げられる。またさらに、類似度を加算する際に、手法ごとに信頼度を表す重みを付けるようにしてもよい。例えば、初期の段階では、機械学習の精度は高くないため、第１の手法（パターンマッチング）の信頼度を「１．５」、第２の手法（ロジック）の信頼度を「１．０」、第３の手法（機械学習）の信頼度を「０．５」とする等して、「パターンマッチング判定＞ロジック判定＞機械学習判定」の順で信頼度を設定する。その後、運用が進んでいくと機械学習が徐々に賢くなるため、ある程度の運用期間を経た段階では、各手法の信頼度を「０．５」、「１．０」、「１．５」とする等して、「機械学習判定＞ロジック判定＞パターンマッチング判定」の順で信頼度を設定する。このように重み付けの信頼度を運用の経過に伴って変更することにより、システム全体におけるパターン分類の精度をより高めることができる。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、図面において制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１ 昇降機音診断システム
１００ パターン分類装置
１１０ データ受信部
１２０ データ処理部
１３０ 表示部
１４０ 特徴音切出部
１５０ 状況推定部
１６０ 解析画像生成部
１７０ パターン分類部
１７１ マッチング判定部
１７２ ロジック判定部
１７３ 類似データ生成部
１７４ 機械学習部
１７５ 機械学習判定部
１７６ パターン決定部
１８０ データ保存部
１９０ 異常診断部
２００ データ測定装置
２１０ データ測定部
２２０ データ送信部

Claims (11)

1. 昇降機の走行時に発生する昇降機音を解析するパターン分類装置であって、
   走行中の昇降機から収集された昇降機音の音響データを受信するデータ受信部と、
   前記音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する解析画像生成部と、
   前記スペクトログラム画像に含まれる物理的特徴に基づいて、前記収集された昇降機音の特徴を予め用意された複数の分類パターンの何れかに分類するパターン分類部と、
   前記音響データに含まれる特徴音の発生時の走行状況または発生階床の少なくとも何れかを推定する状況推定部と、
   前記状況推定部による推定結果と前記パターン分類部による分類結果とに基づいて、前記昇降機における異常を診断する異常診断部と、
   前記異常診断部による診断結果を出力する出力部と、
   を備えることを特徴とするパターン分類装置。
2. 前記解析画像生成部は、ビニング処理された前記スペクトログラム画像を生成する
   ことを特徴とする請求項１に記載のパターン分類装置。
3. 前記パターン分類部は、
   前記スペクトログラム画像に対して、前記複数の分類パターンに対応して前記予め用意された複数の分類パターン画像とのパターンマッチングを行って、候補パターンを選別するマッチング判定部と、
   前記マッチング判定部によって選別された前記候補パターンの中から、前記スペクトログラム画像と各候補パターンとの類似度に基づいて、前記昇降機音の特徴を示す分類パターンを決定するパターン決定部と、を有する
   ことを特徴とする請求項１に記載のパターン分類装置。
4. 前記マッチング判定部は、前記スペクトログラム画像からノイズ成分を除去した後に、前記複数の分類パターン画像とのパターンマッチングを行う
   ことを特徴とする請求項３に記載のパターン分類装置。
5. 前記マッチング判定部は、
   前記スペクトログラム画像からノイズ領域を切り出し、
   前記ノイズ領域に対して時間方向に加算平均処理及び周波数方向に移動平均処理を行って前記ノイズ成分を生成し、前記生成したノイズ成分を前記スペクトログラム画像から差し引く
   ことを特徴とする請求項４に記載のパターン分類装置。
6. 前記マッチング判定部は、前記スペクトログラム画像及び前記分類パターン画像に対して時間方向の畳み込み処理を行うことで相関値を算出し、前記算出した相関値の最大値に基づいて前記分類パターンを前記候補パターンに選別する
   ことを特徴とする請求項３に記載のパターン分類装置。
7. 前記パターン分類部は、
   前記スペクトログラム画像の画像解析から前記音響データに含まれる昇降機音の音域及び連続性の特徴を抽出し、当該抽出の結果に基づいて、前記昇降機音の特徴を何れかの前記分類パターンに分類するロジック判定部、を有する
   ことを特徴とする請求項１に記載のパターン分類装置。
8. 前記パターン分類部は、
   前記スペクトログラム画像から得られる特徴量に基づいて、前記スペクトログラム画像の特徴パターンを学習する機械学習部と、
   前記機械学習部による学習結果を用いて、前記昇降機音の前記分類パターンへの分類を行う機械学習判定部と、を有する
   ことを特徴とする請求項１に記載のパターン分類装置。
9. 前記パターン分類部は、前記スペクトログラム画像から複数の類似データを生成する類似データ生成部をさらに有し、
   前記機械学習部は、前記スペクトログラム画像と、当該スペクトログラム画像から前記類似データ生成部によって生成された前記複数の類似データとを対象として、前記スペクトログラム画像の特徴パターンを学習する
   ことを特徴とする請求項８に記載のパターン分類装置。
10. 昇降機における異常を診断する昇降機音診断システムであって、
    走行中の前記昇降機から昇降機音の音響データを収集するデータ測定装置と、
    前記データ測定装置で収集された前記音響データを受信するデータ受信部と、
    前記音響データに含まれる特徴音の発生時の走行状況または発生階床の少なくとも何れかを推定する状況推定部と、
    前記音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する解析画像生成部と、
    前記スペクトログラム画像に含まれる物理的特徴に基づいて、前記収集された昇降機音の特徴を予め用意された複数の分類パターンの何れかに分類するパターン分類部と、
    前記状況推定部による推定結果と前記パターン分類部による分類結果とに基づいて、前記昇降機における異常を診断する異常診断部と、
    を備えることを特徴とする昇降機音診断システム。
11. 昇降機の走行時に発生する昇降機音を解析するパターン分類方法であって、
    走行中の昇降機から収集された昇降機音の音響データを受信するデータ受信ステップと、
    前記音響データを変換し、時間成分、周波数成分、及び強度成分を含むスペクトログラム画像を生成する解析画像生成ステップと、
    前記スペクトログラム画像に含まれる物理的特徴に基づいて、前記収集された昇降機音の特徴を予め用意された複数の分類パターンの何れかに分類するパターン分類ステップと、
    前記音響データに含まれる特徴音の発生時の走行状況または発生階床の少なくとも何れかを推定する状況推定ステップと、
    前記状況推定ステップによる推定結果と前記パターン分類ステップによる分類結果とに基づいて、前記昇降機における異常を診断する異常診断ステップと、
    前記異常診断ステップによる診断結果を出力する出力ステップと、
    を備えることを特徴とするパターン分類方法。

Images