JP6850709B2

JP6850709B2 - 音による診断装置、診断方法、および診断システム

Info

Publication number: JP6850709B2
Application number: JP2017192490A
Authority: JP
Inventors: 洋平川口
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2017-10-02
Filing date: 2017-10-02
Publication date: 2021-03-31
Anticipated expiration: 2037-10-02
Also published as: JP2019066339A

Description

本発明は、音による診断装置、診断方法、および診断システムに関する。

機械や人の状態は、音・振動に現れることが多い。そこで、機械や人の状態を把握するために機械や人から発生する音・振動に基づく診断は重要である。ただし、音・振動に基づく診断では、診断を誤りうることが問題である。この原因は大きく分けて二つに分かれる。

一つは、外的要因である、診断対象以外に由来する雑音である。もう一つが、内的要因である、診断対象自身の正常状態のぶれ、すなわち、正常状態同士でも音・振動が異なるという原因である。

これらの問題を解決する方法として、特許文献１には、「マイクロフォンアレイ装置とセンサ情報統合装置からなる室内空間の歩行音の動線推定装置であって、センサ情報統合装置はさらに室内空間を表示する表示部と信号処理部とを備えてマイクロフォンアレイ装置と接続され、室内空間にマイクロフォンアレイを２個１組にして『ハ』の字型に配置され、室内空間の歩行音がマイクロフォンアレイ１組で録音されて歩行音アナログ信号はＡＤ変換されて歩行音デジタル信号が生成され、ＭＵＳＩＣ法を用いて歩行音デジタル信号から音源位置および到来方向が推定され（ステップ１）、変形最小分散ビームフォーマによる音源分離され（ステップ２）、音源分離された分離音源から特徴が抽出され、音響モデルの尤度計算がされ、異常音が検出され（ステップ３）、パーティクルフィルタによる歩行人数と動線が推定されて（ステップ４）、推定された歩行動線がセンサ情報統合装置の表示部に表示されることを特徴とする室内空間の歩行音の動線推定装置」と記載されている。

特開２０１４−１９１６１６号公報

特許文献１に記載された装置は、ステップ２で音源分離を施した音に対し、ステップ３で異常音の検出を行う。しかし、このようなカスケード構成は、前段の音源分離の精度が不十分である場合に後段の異常検知が誤る可能性が高い。

そこで本発明は、音源分離の精度が不十分な場合であっても、異常検知が可能な診断を提供することを目的とする。

上記課題を解決するために、たとえば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、音により診断する診断装置であって、音から変換された電気信号である音信号を取得し、音信号を出力する信号取得部と、前記信号取得部が出力した音信号を周波数領域信号に変換する前処理部と、前記前処理部が変換した周波数領域信号に基づいて、空間相関行列を計算する空間相関計算部と、前記空間相関計算部が計算した空間相関行列に基づいて、異常を判定する空間相関異常検知部と、前記空間相関異常検知部による異常の判定、に基づいて、異常に関する情報を表示する異常表示部と、を備えたことを特徴とする。

本発明によれば、音源分離の精度が不十分な場合であっても、異常検知が可能な診断を提供できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

診断装置の例を示す図である。診断処理の例を示す図である。異常検知モードと表示される情報の例を示す図である。画面の例を示す図である。実施例２の診断装置の例を示す図である。実施例２の診断処理の例を示す図である。実施例２の異常検知モードと表示される情報の例を示す図である。実施例３の診断システムの例を示す図である。

以下、本発明を実施するための形態の好ましい例を、実施例として、図面を用いて説明する。

図１は、診断装置１００の例を示す図であり、診断装置１００は一般的なコンピュータであってよい。プロセッサ１２１とメモリ１２２は、一般的なコンピュータのプロセッサとメモリであってもよく、プロセッサ１２１は、メモリ１２２あるいは記憶部１２６に格納されたプログラムを実行する。

信号入力部１２３は、音の信号を入力する電子回路である。マイクロホンと接続されて音のアナログ電気信号を入力する場合、信号入力部１２３はＡＤＣ（Analog-Digital Converter）を含む。診断装置１００の外部に有るＡＤＣと接続されて音のデジタル信号を入力する場合、信号入力部１２３はＡＤＣを含まなくてもよい。

信号入力部１２３は、入力したデジタル信号のアナログ的な電圧を変換したり、データフォーマットを変換したり、サンプリング周波数を変換したりしてもよい。また、音の信号がネットワーク経由で入力される場合、信号入力部１２３はネットワークインターフェースであってもよい。信号入力部１２３がデジタル信号を入力する場合であっても、そのデジタル信号の元はマイクロホンであるので、以下では信号入力部１２３にマイクロホンが接続される例を説明する。

表示部１２４は、たとえば液晶ディスプレイ装置であり、プロセッサ１２１が生成した表示用データを表示する。また、表示部１２４はネットワークインターフェースであってもよく、ネットワークインターフェースである表示部１２４からネットワークを経由して他のコンピュータで表示用データが表示されてもよい。

入力部１２５は、たとえばキーボードとマウスあるいはタッチパネルであり、ユーザの操作により情報が入力されるユーザインターフェースである。また、入力部１２５は、診断対象となる機械の制御部から情報を入力してもよい。入力された情報は、プロセッサ１２１により処理される。

また、入力部１２５もネットワークインターフェースであってもよく、ネットワークインターフェースである入力部１２５がネットワークを経由して他のコンピュータで入力された情報を受信してもよい。

記憶部１２６は、たとえばハードディスクドライブ、ソリッドステートドライブ、あるいはフラッシュメモリであり、プログラムとデータが格納される。記憶部１２６に格納されたプログラムとデータは、メモリ１２２へ転送されてもよいし、メモリ１２２に格納されたプログラムとデータは、記憶部１２６へ転送されてもよい。

このため、記憶部１２６とメモリ１２２のいずれにプログラムが格納されるかは重要でないので、以下では、記憶部１２６に格納されたプログラムとして説明するが、メモリ１２２に格納されたプログラムと読み替えられてもよい。記憶部１２６に格納されたプログラムの中で図１に示したプログラムについては、図２を用いて説明する。

記憶部１２６は他のプログラムが格納されてもよく、たとえば他のプログラムとして、信号取得プログラム１０１ａから異常検知モード入力プログラム１１２ａまでの全体を制御するプログラム、および診断装置１００であるコンピュータを基本的に動作させるためのＯＳ（Operating System）が格納されてもよい。

記憶部１２６は、さらに情報が格納されてもよく、プログラムの実行において判定に使用される閾値の情報が格納されてもよい。また、記憶部１２６にデータベースが構成され、情報がデータベースに蓄積されてもよい。後で図２を用いて説明する入力信号空間相関行列の情報などがデータベースに蓄積されてもよい。

また、図１に例示した以外に、診断装置１００は他のハードウェアを備えてもよく、たとえばネットワークインターフェースや記憶媒体のリーダを備えてもよい。記憶部に格納されるプログラムや情報は、図示を省略したネットワークインターフェースにより入力されてもよいし、記憶媒体のリーダにより入力されてもよい。診断装置１００はネットワークインターフェースを介して他の装置と通信してもよい。

図２は、診断処理の例を示す図である。信号取得部１０１は、信号取得プログラム１０１ａを実行するプロセッサ１２１と信号入力部１２３である。信号取得部１０１は、Ｍ個のマイクロホンから音の信号をＭチャンネルアナログ信号として取得し、Ｍチャンネルアナログ信号をＭチャンネルデジタル信号に変換し、次の前処理部１０２へ出力する。

マイクロホンは直線上、円周状、その他様々な配置であってよい。ただし、特に本実施例では非等間隔であることが望ましい。マイクロホンの間隔によって、得意な（空間的エイリアシングを起こさず、かつ、方向推定の精度が高い）周波数が異なるので、マイクロホンが非等間隔の場合は、様々な周波数において効率的に信号を取得できる。なお、Ｍは３以上の整数であることが望ましい。

前処理部１０２は、前処理プログラム１０２ａを実行するプロセッサ１２１である。前処理部１０２は、Ｍチャンネルデジタル信号をフレーム毎に分割し、そのフレームに窓関数を乗算し、窓関数乗算後の信号に短時間フーリエ変換を施して、Ｍチャンネル周波数領域信号を、入力信号空間相関計算部１０３、音源毎空間相関計算部１０５、および音源分離部１０７へ出力する。

ここでＭチャンネル周波数領域信号は、フレームサイズがＮであれば、（Ｎ／２＋１）＝Ｋ個の周波数ビンそれぞれにＭ個の複素数が対応する、Ｋ×Ｍ個の複素数の組である。

入力信号空間相関計算部１０３は、入力信号空間相関プログラム１０３ａを実行するプロセッサ１２１である。入力信号空間相関計算部１０３は、周波数ｋ毎のＭチャンネル周波数領域信号に基づいて、周波数ｋ毎に入力信号空間相関行列を計算し、周波数ｋ毎の入力信号空間相関行列を音源存在方向クラスタ推定部１０４と入力信号空間相関異常検知部１０８へ出力する。

ここで空間相関行列は、Ｍチャンネル周波数領域信号ベクトルｘ＝［ｘ＿１，・・・，ｘ＿Ｍ］＾Ｔとｘ＾Ｈとの乗算結果の行列の時間平均である。ただし、・＾Ｈは共役転置を表す。時間平均は、或るＴフレームの間の算術平均であってもよく、忘却平均であってもよい。

異常検知モード入力部１１２は、異常検知モード入力プログラム１１２ａを実行するプロセッサ１２１と入力部１２５である。異常検知モード入力部１１２は、ユーザの操作などにより入力される異常検知のモードを受け付ける。異常検知のモードは、たとえば（１）雑音音源の移動の有無、（２）正常状態の目的音源の移動の有無、（３）診断対象機械の正常稼働状態、である。

ここで（１）雑音音源の移動の有無は、異常検知表示に関するモードである。（２）正常状態の目的音源の移動の有無は、異常検知表示に関するモードであり、診断対象機械の制御部から入力されてもよい。（３）診断対象機械の正常稼働状態は、異常を検知せずに正常時の情報を蓄積するためのモードであり、診断対象機械の制御部から入力されてもよい。

入力信号空間相関異常検知部１０８は、入力信号空間相関異常検知プログラム１０８ａを実行するプロセッサ１２１であり、周波数ｋ毎の入力信号空間相関に基づき異常を検知する。

入力信号空間相関異常検知部１０８は、計算された周波数ｋ毎の入力信号空間相関行列が、データベース上に蓄積した正常時の周波数ｋ毎の入力信号空間相関行列と類似している度合いを計算し、計算された第１の類似度が予め設定された第１の閾値以上高ければ、正常との判定結果を出力し、第１の類似度が低ければ、異常との判定結果を出力する。

正常時の周波数ｋ毎の入力信号空間相関行列には、異常検知モード入力部１１２から入力された（３）診断対象機械の正常稼働状態に応じて蓄積された周波数ｋ毎の入力信号空間相関行列が用いられる。

後で説明する音源分離を経由する異常検知は、音源間の方向が近すぎる場合、同種類の部品が複数存在して音源間の独立性が低すぎる場合、あるいは雑音が大きすぎる場合に、音源分離の精度が悪化することで異常検知精度も著しく低下する。

しかし、それらの場合においても、目的音の異常によって入力信号空間相関行列は変化するので、入力信号空間相関異常検知部１０８は音源分離の精度が悪化する場合であっても異常検知が可能であるという効果を奏する。

入力信号空間相関異常検知部１０８は、診断対象の入力信号空間相関行列と正常時の入力信号空間相関行列との比較を、たとえば、Ｋ個の周波数ビンの空間相関行列をベクトル化して実施する。

すなわち、空間相関行列はエルミート行列であるため、上三角と対角成分だけを抽出したＫ×Ｍ×（Ｍ−１）／２個の成分を要素に持つベクトル間の第１の類似度の比較を行う。このように次元数を削減しておくことで、過学習の影響を軽減することができ、また、計算量を低減することができる。

診断対象の入力信号空間相関行列をベクトル化したものをｖとし、正常時の入力信号空間相関行列をベクトル化したものをｗとする。第１の類似度として、たとえばｗの平均ベクトルとｖとの間のユークリッド距離の２乗に−１を乗算したものを用いることができる。この場合、異常検知が高速に実行できるという効果が期待できる。

また、第１の類似度として、ｗを多変量複素ガウス分布にフィッティングし、フィッティング結果の多変量複素ガウス分布がｖを生成する確率密度関数の対数尤度を用いることができる。複数のマイクロホン間で音量感度が大きく異なる場合や、複数のマイクロホンの設置間隔が大きく異なる場合に、前述の単純なユークリッド距離を用いると異常検知を誤り易いが、多変量複素ガウス分布を用いればこれらのぶれを吸収して学習できるので正しい異常検知が可能となるという効果が期待できる。

また、第１の類似度として、ｗを複素混合ガウス分布にフィッティングし、フィッティング結果の複素混合ガウス分布がｖを生成する確率密度関数の対数尤度を用いることができる。正常時において複数の音源が存在する場合に、前述の多変量複素ガウス分布ではモデル化できないため、多変量複素ガウス分布を用いると異常検知を誤り易いが、複素混合ガウス分布を用いれば複数の音源をモデル化できるので正しい異常検知が可能となるという効果が期待できる。

他に、正常状態のｗのモデリング方法としては、一般的な１クラスサポートベクター分類器、部分空間法、局所部分空間法、k-meansクラスタリング、Deep Neural Network（ＤＮＮ） autoencoder、Convolutional Neural Network（ＣＮＮ） autoencoder、Long Short Term Memory（ＬＳＴＭ） autoencoder、variational autoencoder（ＶＡＥ）などが用いられてもよい。

音源存在方向クラスタ推定部１０４は、音源存在方向クラスタ推定プログラム１０４ａを実行するプロセッサ１２１である。音源存在方向クラスタ推定部１０４は、入力信号空間相関計算部１０３が出力する周波数ｋ毎の入力信号空間相関行列に基づいて、空間相関行列の計算に用いたＴフレーム内の音源存在方向クラスタを推定する。

まず、空間相関行列に基づいて方向毎の音の大きさを表す周波数・方向ヒストグラムを推定する。その推定処理として、Minimum Variance Distortion Response（ＭＶＤＲ） beamformerやMUltiple SIgnal Classification（ＭＵＳＩＣ） beamformerといった一般的な技術が用いられてよい。

周波数・方向ヒストグラムを周波数方向に積算して、方向ヒストグラムを得る。積算処理は、単純に周波数・方向ヒストグラムの値の和であってもよく、周波数・方向ヒストグラムの値に定数を加算した値の対数値の和であってもよい。

方向ヒストグラムの各方向の音の大きさが予め設定された第４の閾値より大きい場合には対応する方向に音源が存在すると判定し、第４の閾値より小さい場合には対応する方向に音源が存在しないと判定する。そして、音源が存在する方向が複数存在し、それらの方向が十分近傍であるもの同士をクラスタリングする。

クラスタリングには凝集型クラスタリングやk-meansクラスタリングなどの一般的な技術が用いられてよい。ここでクラスタ数Ｃが音源数となる。それぞれのクラスタｃは、クラスタに属する音源存在方向に対して計算される方向統計的標本平均方向（sample mean direction）と方向統計的標本分散（sample variance direction）を有し、それらで定めたvon Mises分布によって定められる。

角度値の度数やラジアンの平均や分散が用いられると、誤差が大きいという問題があるので、方向統計的標本平均方向と方向統計的標本分散を用いることによって、この問題は解決される。

音源毎空間相関計算部１０５は、音源毎空間相関計算プログラム１０５ａを実行するプロセッサ１２１であり、Mチャンネル周波数領域信号と、音源存在方向クラスタとに基づいて、音源毎空間相関行列Ｒ＿ｃ（ｃ＝１，・・・，Ｃ）を計算し、音源毎空間相関行列を音源分離フィルタ更新部１０６と音源毎空間相関異常検知部１０９へ出力する。

具体的には、まず、Ｍチャンネル周波数領域信号の各フレーム・各周波数ビンで独立に方向推定を行う。このときマイクロホン配置に従って方向毎にステアリングベクトルをあらかじめ計算しておく。

この計算のために、たとえば、M. Togami, Y. Obuchi, and A. Amano, “Automatic speech recognition of human-symbiotic robot emiew,”in Human-Robot Interaction, Nilanjan Sarkar, Ed., pp. 395-404. I-tech Education and Publishing, 2007.に開示された処理が用いられてもよい。

Mチャンネル周波数領域信号を正規化したベクトルとステアリングベクトルとの内積が最も高い方向が、そのフレーム・周波数の音源方向であるとする。その音源方向が前述の音源存在方向クラスタｃに紐付いたvon Mises分布から生成される尤度を計算し、その尤度が十分高ければ、そのフレーム・周波数をｃに割り当てる。

そして、ｃに割り当てられたフレーム・周波数のＭチャンネル周波数領域信号ベクトルｘだけの時間平均により音源毎空間相関行列Ｒ＿ｃを更新する。時間平均処理は前述の入力信号空間相関行列と同様にｘとｘ＾Ｈの積ｘｘ＾Ｈの算術平均または忘却平均で計算する。

音源毎空間相関異常検知部１０９は、音源毎空間相関異常検知プログラム１０９ａを実行するプロセッサ１２１であり、計算された周波数ｋ毎の音源毎信号空間相関行列Ｒ＿ｃが、データベース上に蓄積された正常時の周波数ｋ毎の音源毎空間相関行列と類似している度合いを計算し、計算された第２の類似度が予め設定された第２の閾値以上高ければ、正常との判定結果を出力し、第２の類似度が低ければ、異常との判定結果を出力する。

正常時の周波数ｋ毎の音源毎空間相関行列には、異常検知モード入力部１１２から入力された（３）診断対象機械の正常稼働状態に応じて蓄積された周波数ｋ毎の音源毎空間相関行列が用いられる。

前述のとおり、入力信号空間相関異常検知部１０８は、音源分離の精度が悪化する条件であっても、目的音の異常により入力信号空間相関行列が変化することを利用している。しかし、目的音ではない雑音が変化した場合だけでも入力信号空間相関行列は変化するため、入力信号空間相関異常検知部１０８は雑音が存在する条件での異常検知精度が低い。

これに対し、音源毎空間相関異常検知部１０９は、目的音・雑音毎に分解した音源毎空間相関を用いるので、雑音が存在する条件であっても異常検知が可能であるという効果を奏する。

診断対象の音源毎空間相関行列と正常時の音源毎空間相関行列との比較は、上述の入力信号空間相関異常検知部１０８と同様に、たとえば、Ｋ個の周波数ビンの空間相関行列をベクトル化して実施する。

すなわち、空間相関行列はエルミート行列であるため、上三角と対角成分だけを抽出したＫ×Ｍ×（Ｍ−１）／２個の成分を要素に持つベクトル間の第２の類似度の比較を行う。このように次元数を削減しておくことで、過学習の影響を軽減することができ、また、計算量を低減することができる。

診断対象の音源毎空間相関行列をベクトル化したものをｖとし、正常時の音源毎空間相関行列をベクトル化したものをｗとする。第２の類似度として、たとえばｗの平均ベクトルとｖとの間のユークリッド距離の２乗に−１を乗算したものを用いることができる。この場合、異常検知が高速に実行できるという効果が期待できる。

また、第２の類似度として、ｗを多変量複素ガウス分布にフィッティングし、フィッティング結果の多変量複素ガウス分布がｖを生成する確率密度関数の対数尤度を用いることができる。複数のマイクロホン間で音量感度が大きく異なる場合や、複数のマイクロホンの設置間隔が大きく異なる場合に、前述の単純なユークリッド距離を用いると異常検知を誤り易いが、多変量複素ガウス分布を用いればこれらのぶれを吸収して学習できるので正しい異常検知が可能となるという効果が期待できる。

また、第２の類似度として、ｗを複素混合ガウス分布にフィッティングし、フィッティング結果の複素混合ガウス分布がｖを生成する確率密度関数の対数尤度を用いることができる。正常時において同一方向に複数の音源が存在する場合に、前述の多変量複素ガウス分布ではモデル化できないため、多変量複素ガウス分布を用いると異常検知を誤り易いが、複素混合ガウス分布を用いれば複数の音源をモデル化できるので正しい異常検知が可能となるという効果が期待できる。

他に、正常状態のｗのモデリング方法としては、一般的な１クラスサポートベクター分類器、部分空間法、局所部分空間法、k-meansクラスタリング、ＤＮＮ autoencoder、ＣＮＮ autoencoder、ＬＳＴＭ autoencoder、ＶＡＥなどが用いられてもよい。

音源分離フィルタ更新部１０６は、音源分離フィルタ更新プログラム１０６ａを実行するプロセッサ１２１であり、各音源の空間相関行列に基づいて、音源分離フィルタを計算する。音源分離フィルタは、たとえば、一般的なGeneralized EigenValue （ＧＥＶ） beamformerである。ＧＥＶ beamformerは、Ｒ＿ｎを雑音の空間相関行列、Ｒ＿ｘを目的音の空間相関行列としたときの一般化固有ベクトルｅを音源分離フィルタとする。

すなわち、
Ｒ＿ｎｅ＝λＲ＿ｘｅ
ただし、音源存在方向クラスタｃ’を目的音方向、それ以外のクラスタを雑音方向とした場合、Ｒ＿ｘとＲ＿ｎは以下のように計算できる。

Ｒ＿ｘ＝Ｒ＿ｃ’
Ｒ＿ｎ＝Σ＿｛ｃ≠ｃ’｝Ｒ＿ｃ
なお、ｅのスケールは不定であるので、Blind Analytic Normalization （ＢＡＮ）などの一般的な正規化を施したｅ’を最終的な音源分離フィルタとする。

ＧＥＶ beamformerの代わりにＭＶＤＲ beamformerなどの一般的な音源分離フィルタが用いられてもよい。これらの音源分離フィルタは線形フィルタであるので、音源分離信号に歪みが発生しないというメリットがある。

音源分離部１０７は、音源分離プログラム１０７ａを実行するプロセッサ１２１であり、Ｍチャンネル周波数領域信号に対して、音源分離フィルタを施すことで音源分離を行い、音源分離信号を出力する。

音源分離信号異常検知部１１０は、音源分離信号異常検知プログラム１１０ａを実行するプロセッサ１２１であり、まず、音源分離信号に基づいて、特徴量ベクトルを算出する。特徴量ベクトルは、たとえば、音源分離信号のパワースペクトラム、振幅ケプストラム、メル周波数ケプストラム係数（ＭＦＣＣ）で構成されている。

そして、音源分離信号異常検知部１１０は、算出された特徴量ベクトルが、データベース上に蓄積した正常時の特徴量ベクトルと類似している度合いを計算し、計算された第３の類似度が予め設定された第３の閾値以上高ければ、正常との判定結果を出力し、第３の類似度が低ければ、異常との判定結果を出力する。

正常時の特徴量ベクトルには、異常検知モード入力部１１２から入力された（３）診断対象機械の正常稼働状態に応じて蓄積された特徴量ベクトルが用いられる。音源分離信号は雑音が除去されて目的音のみが抽出された音なので、入力信号に対して異常検知を行う場合よりも異常検知の精度が向上するという効果を奏する。

異常表示部１１１は、異常表示プログラム１１１ａを実行するプロセッサ１２１と表示部１２４であり、異常検知モード入力部１１２から入力された、（１）雑音音源の移動の有無と（２）正常状態の目的音源の移動の有無に応じて、入力信号空間相関異常検知部１０８、音源毎空間相関異常検知部１０９、および音源分離信号異常検知部１１０から入力された異常の有無の判定結果を表示する。

図３は、異常検知モードと表示される情報の例を示す図である。異常検知モード３０１には、（１）雑音音源の移動の有無のモード３０２と、（２）正常状態の目的音源の移動の有無のモード３０３があり、モード３０２とモード３０３における「有り」と「無し」の４通りの組み合わせのいずれかに応じて表示される情報３０４が決まっている。

表示される情報３０４は、入力信号空間相関異常検知部１０８、音源毎空間相関異常検知部１０９、あるいは音源分離信号異常検知部１１０のいずれの判定結果を表示するかの情報であり、複数の判定結果を並べて表示する場合もある。

モード３０２とモード３０３の組み合わせによらず表示する情報が同じであると異常と表示された場合に本当に異常なのかどうかがユーザに判りにくいという問題がある。このような表示切り換えによって、この問題を解決するという効果を奏する。

図４は、表示部１２４の画面の例を示す図である。たとえば異常表示部１１１は、入力信号空間相関異常検知部１０８から入力された判定結果が異常を示す場合、メッセージ４０１およびメッセージ４０２、あるいはメッセージ４０１またはメッセージ４０２を表示部１２４に表示してもよく、メッセージ４０１とメッセージ４０２は音源位置が異なることを伝えている。

音源毎空間相関異常検知部１０９から入力された判定結果が異常を示す場合も、メッセージ４０１およびメッセージ４０２、あるいはメッセージ４０１またはメッセージ４０２を表示部１２４に表示してもよい。

異常表示部１１１は、音源分離信号異常検知部１１０から入力された判定結果が異常を示す場合、メッセージ４０３を表示部１２４に表示し、音の特徴量に基づいて異常な音であると判定したことを伝える。

メッセージ４０１およびメッセージ４０２と、メッセージ４０３とのいずれのメッセージが表示部１２４に表示されるかは、図３に示した表示される情報３０４のとおりであり、異常表示部１１１はモード３０２とモード３０３との組み合わせに応じて選択する。

音源分離の精度が悪化する条件は、音源間の方向が近すぎる場合や、同種類の部品が複数存在し、音源間の音質の独立性が低すぎる場合や、雑音が大きすぎる場合であるが、それらの条件においても、空間相関行列は変化する。

本実施例の音と振動に基づく診断処理は、音源分離信号を経由する音源分離信号異常検知部１１０に加えて、音源分離信号を経由しない異常検知である、入力信号空間相関異常検知部１０８と音源毎空間相関異常検知部１０９も有しているため、音源分離の精度が悪化する場合であっても異常検知が可能であるという効果を奏する。

入力信号空間相関異常検知部１０８が第１の類似度の比較に使用する第１の閾値と、音源毎空間相関異常検知部１０９が第２の類似度の比較に使用する第２の閾値と、音源分離信号異常検知部１１０が第３の類似度の比較に使用する第３の閾値とは、異なる値であってもよい。

これら３つの閾値は、３つの類似度の尺度が異なるため、そのままでは直接に比較できる値ではないが、３つの類似度あるいは３つの類似度の計算の元となる入力信号空間相関などを正規化して、比較できる値としてもよい。このように３つの閾値を比較できる値とした場合、第１の閾値は第２の閾値より高い値であり、第２の閾値は第３の閾値より高い値であってもよい。

３つの閾値が診断装置１００に設定される場合、３つの閾値を互いに比較し、第１の閾値は第２の閾値より高い値であり、第２の閾値は第３の閾値より高い値である場合以外に、警告を表示して再設定を促してもよい。

また、異常であると最終結論付けられる場合も含めて統計的に十分なサンプル数となる量の信号が取得されて統計処理され、第１の類似度が第１の閾値以上となる発生確率が、第２の類似度が第２の閾値以上となる発生確率より低くなるように第１の閾値と第２の閾値が設定され、第２の類似度が第２の閾値以上となる発生確率が、第３の類似度が第３の閾値以上となる発生確率より低くなるように第２の閾値と第３の閾値が設定されてもよい。

さらに、異常であると最終結論付けられる場合も含めて統計的に十分なサンプル数となる量の信号が取得されて統計処理され、第１の類似度の確率密度関数と、第２の類似度の確率密度関数と、第３の類似度の確率密度関数とがそれぞれ正規化され、第１の閾値は第２の閾値より高い値に設定され、第２の閾値は第３の閾値より高い値に設定されてもよい。

実施例２では、音源分離の精度が不十分であり、マイク数より音源数が多い場合であっても、実施例１より高精度での異常検知を可能とする診断処理の例を説明する。実施例２は、実施例１と比較して、周波数・方向パワー信号を計算し、その周波数・方向パワー信号に対して信号分離を行い、分離後の周波数・方向パワー信号を異常検知に用いる点で異なる例である。

図５は、実施例２の診断装置５００の例を示す図である。図１に示した診断装置１００と同じものには同じ符号を付けて説明を省略する。記憶部１２６には、音源存在方向クラスタ推定プログラム１０４ａと異常表示プログラム１１１ａが格納されていない。

その代わりに、記憶部１２６には、周波数・方向パワー計算プログラム５０１ａ、周波数・方向パワー信号分離プログラム５０２ａ、周波数・方向パワー異常検知プログラム５０３ａ、音源存在方向クラスタ推定プログラム５０４ａ、および異常表示プログラム５０５ａが格納されている。

図６は、実施例２の診断処理の例を示す図である。周波数・方向パワー計算部５０１は、周波数・方向パワー計算プログラム５０１ａを実行するプロセッサ１２１であり、フレームｔ毎、周波数ｋ毎のＭチャンネル周波数領域信号に基づいて、フレームｔ毎、周波数ｋ毎、方向ｄ毎のパワーＸ（ｔ，ｋ，ｄ）を計算する。

具体的には、まず、Ｍチャンネル周波数領域信号の各フレーム・各周波数ビンで独立に方向推定を行う。このために、前述した“Automatic speech recognition of human-symbiotic robot emiew”などに開示された技術が用いられてもよい。そして、マイクロホンの配置に従って方向ｄ毎にステアリングベクトルがあらかじめ計算されている。

Ｍチャンネル周波数領域信号を正規化したベクトルとステアリングベクトルとの内積が最も高い方向ｄが、そのフレーム・周波数に対応した音源方向であるとする。そして、そのフレーム・周波数成分のパワーを、周波数・方向パワーＸ（ｔ，ｋ，ｄ）とする。

音源存在方向クラスタ推定部５０４は、音源存在方向クラスタ推定プログラム５０４ａを実行するプロセッサ１２１であり、周波数・方向パワー計算部５０１が出力するフレームｔ毎、周波数ｋ毎、方向ｄ毎のパワーＸ（ｔ，ｋ，ｄ）に基づいて、Ｔフレーム内の方向毎に音源存在方向クラスタを推定する。まず、Ｘ（ｔ，ｋ，ｄ）をＴフレーム内で積算したＹ（ｋ，ｄ）を計算する。

さらにＹ（ｋ，ｄ）を周波数方向ｋ＝１，…，Ｋに積算して、方向ヒストグラムＺ（ｄ）を得る。積算処理は、単純に周波数・方向ヒストグラムの値の和であってもよく、周波数・方向ヒストグラムの値に定数を加算した値の対数値の和であってもよい。

方向ヒストグラムの各方向の音の大きさが、予め設定された閾値より大きい場合には対応する方向に音源が存在すると判定し、予め設定された閾値より小さい場合には対応する方向に音源が存在しないと判定する。そして、音源が存在する方向が複数存在し、それらの方向が十分近傍であるもの同士をクラスタリングする。

クラスタリングには凝集型クラスタリングやk-meansクラスタリングなどの一般的な技術が用いられてもよい。ここでクラスタ数Ｃが音源数となる。それぞれのクラスタｃは、クラスタに属する音源存在方向に対して計算される方向統計的標本平均方向（sample mean direction）と方向統計的標本分散（sample variance direction）を持ち、それらで定めたvon Mises分布によって定められる。

角度値の度数やラジアンの平均や分散を用いると誤差が大きいという問題があるので、方向統計的標本平均方向と方向統計的標本分散を用いることによって、この問題を解決している。

音源の時間・周波数スパース性が高い場合、音源存在方向クラスタ推定部５０４で計算される方向ヒストグラムは、実施例１の音源存在方向クラスタ推定部１０４の方向ヒストグラムに比べて、指向性が鋭いという性質がある。

したがって、音源の時間・周波数スパース性が高い場合、音源存在方向クラスタ推定部５０４は、実施例１の音源存在方向クラスタ推定部１０４より、推定精度が高いという効果を奏する。

周波数・方向パワー信号分離部５０２は、周波数・方向パワー信号分離プログラム５０２ａを実行するプロセッサ１２１であり、周波数・方向パワー計算部５０１が出力するフレームｔ毎、周波数ｋ毎、方向ｄ毎のパワーＸ（ｔ，ｋ，ｄ）に対して、信号分離を行い、分離後の周波数・方向パワーを出力する。

まず、Ｘ（ｔ，ｋ，ｄ）)を、周波数ｋと方向ｄを一つの軸とした行列Ｑ（ｔ，ａ）に変換する。具体的には、インデックスａを
ａ＝ｄ×Ｋ＋ｋ
と定義し、
Ｑ（ｔ，ａ）＝Ｘ（ｔ，ｋ，ｄ）
と代入する。

次に、Ｔフレーム分のＱ（ｔ，ａ）を入力として、各基底インデックスｂに対応する周波数・方向パワーＱ＿ｂ（ｔ，ａ）を抽出するような信号分離を行う。信号分離には、一般的な教師有り非負値行列分解（supervised non-negative matrix factorization）を用いることができる。

基底は、あらかじめ、正常状態のＱ（ｔ，ａ）を入力として学習しておく。基底学習には乗法的更新などの一般的な学習方法が用いられてもよい。基底学習の初期化には、非負値独立成分分析などの一般的な初期化方法が用いられてもよい。

このようにＱ（ｔ，ａ）が教師有り非負値行列分解によって信号分離できる理由は、各基底インデックスｂの音が無相関であれば周波数・方向パワーＱ（ｔ，ａ）とその構成成分Ｑ＿ｂ（ｔ，ａ）に現れる値がすべて非負であるという性質、および、正常状態においては周波数・方向パワーＱ（ｔ，ａ）は限られた個数の基底の線形和で表されるという性質を利用しているからである。

なお、教師有り非負値行列分解の代わりに、Deep Neural Network（ＤＮＮ） autoencoder、Convolutional Neural Network（ＣＮＮ） autoencoder、Long Short Term Memory（ＬＳＴＭ） autoencoderなどが用いられてもよい。

最後に、分離後の周波数・方向パワー
Ｐ（ｔ，ａ）＝Ｑ（ｔ，ａ）−Σ＿ｂＱ＿ｂ（ｔ，ａ）
を計算し、出力する。

これは、基底で表せる成分Σ＿ｂＱ＿ｂ（ｔ，ａ）は正常状態とされる範囲内で最大限Ｑ（ｔ，ａ）を近似した行列であると仮定し、近似誤差であるＰ（ｔ，ａ）を異常に対応する成分であると仮定した処理である。

周波数・方向パワー異常検知部５０３は、周波数・方向パワー異常検知プログラム５０３ａを実行するプロセッサ１２１であり、分離後の周波数・方向パワーＰ（ｔ，ａ）が、データベース上に蓄積した正常時の分離後の周波数・方向パワーと類似している度合いを計算し、計算された類似度が予め設定された閾値以上高ければ、正常との判定結果を出力し、類似度が低ければ、異常との判定結果を出力する。

正常時の分離後の周波数・方向パワーには、異常検知モード入力部１１２から入力された（３）診断対象機械の正常稼働状態に応じて蓄積された分離後の周波数・方向パワーが用いられる。

前述のとおり、入力信号空間相関異常検知部１０８は、音源分離の精度が悪化する条件であっても目的音の異常により入力信号空間相関行列が変化することを利用している。しかし、目的音ではない雑音が変化した場合だけでも入力信号空間相関行列は変化するため、入力信号空間相関異常検知部１０８は雑音が存在する条件での異常検知精度が低い。

これに対し、周波数・方向パワー異常検知部５０３は、異常に対応する成分のみを抽出した周波数・方向パワーを用いるので、雑音が存在する条件であっても異常検知が可能であるという効果を奏する。

診断対象のフレームｔの分離後の周波数・方向パワーＰ（ｔ，ａ）と正常時の分離後の周波数・方向パワーとの比較は、たとえば、Ｐ（ｔ，ａ）をＫ×Ｄ次元のベクトルｖと見なして実施する。ただし、Ｄは離散化した方向の個数である。正常時の分離後の周波数・方向パワーをＫ×Ｄ次元のベクトルｖと見なしたものをｗとする。

類似度として、たとえば、ｗの平均ベクトルとｖとの間のユークリッド距離の２乗に−１を乗算したものを用いることができる。この場合、異常検知が高速に実行できるという効果が期待できる。また、類似度として、ｗを多変量複素ガウス分布にフィッティングし、フィッティング結果の多変量複素ガウス分布がｖを生成する確率密度関数の対数尤度を用いることができる。

正常状態において周波数間で相関が高い場合や、反響・残響が大きい場合に、前述の単純なユークリッド距離を用いると異常検知を誤り易いが、多変量複素ガウス分布を用いればこれらのぶれを吸収して学習できるので正しい異常検知が可能となるという効果が期待できる。

また、類似度として、ｗを複素混合ガウス分布にフィッティングし、フィッティング結果の複素混合ガウス分布がｖを生成する確率密度関数の対数尤度を用いることができる。正常時の中でも複数の周波数パターンを持つような音源を対象とする場合、前述の多変量複素ガウス分布ではモデル化できないため、多変量複素ガウス分布を用いると異常検知を誤り易いが、複素混合ガウス分布を用いれば複数の周波数パターンをモデル化できるので正しい異常検知が可能となるという効果が期待できる。

異常表示部５０５は、異常表示プログラム５０５ａを実行するプロセッサ１２１と表示部１２４であり、異常検知モード入力部１１２から入力された、（１）雑音音源の移動の有無と（２）正常状態の目的音源の移動の有無に応じて、入力信号空間相関異常検知部１０８、音源毎空間相関異常検知部１０９、音源分離信号異常検知部１１０、入力信号空間相関異常検知部１０８、および周波数・方向パワー異常検知部５０３から入力された異常の有無の判定結果を表示する。

図７は、実施例２の異常検知モードと表示される情報の例を示す図である。異常検知モード３０１、モード３０２、およびモード３０３は、図３を用いて説明したとおりであり、表示される情報７０４は、表示される情報３０４といずれの判定結果を表示するかの情報が異なるだけである。

図３の例と同じく、モード３０２とモード３０３の組み合わせによらず表示する情報が同じであると異常と表示された場合に本当に異常なのかどうかがユーザに判りにくいという問題がある。このような表示切り換えによって、この問題を解決するという効果を奏する。

本実施例では、周波数・方向パワー信号を計算し、その周波数・方向パワー信号に対して信号分離を行い、分離後の周波数・方向パワー信号を異常検知に用いることも可能である。

周波数・方向パワー信号に対する信号分離は、複数のマイクロホン間の位相に基づくビームフォーミングではなく、非負値行列分解などの周波数・方向の振幅特性が基底間で異なることに基づく処理であるので、マイクロホンの数による制限を受けない。したがって、マイクロホンの数より音源数が多い場合であっても、実施例１より高精度での異常検知を可能であるという効果を奏する。

診断装置１００あるいは診断装置５００は、複数の装置から構成されてもよい。図８は複数の装置により構成された診断システムの例を示す図である。以下では、図５、６に基づいて説明するが、図１、２の場合であっても、対応する各プログラムあるいは対応する各部を置き換えただけの説明となるため、図１、２に基づく説明は省略する。

図５に基づいて説明すると、信号分析装置８０１は、信号取得プログラム１０１ａから音源分離プログラム１０７ａまで、周波数・方向パワー計算プログラム５０１ａ、周波数・方向パワー信号分離プログラム５０２ａ、および音源存在方向クラスタ推定プログラム５０４ａが記憶部に格納されたコンピュータ（サーバ）である。

また、異常検知装置８０２は、入力信号空間相関異常検知プログラム１０８ａから音源分離信号異常検知プログラム１１０ａまで、周波数・方向パワー異常検知プログラム５０３ａ、および異常表示プログラム５０５ａが記憶部に格納されたコンピュータ（サーバ）である。

そして、図６に基づいて説明すると、信号分析装置８０１は、信号取得部１０１から音源分離部１０７まで、周波数・方向パワー計算部５０１、周波数・方向パワー信号分離部５０２、および音源存在方向クラスタ推定部５０４を備えた装置である。

また、異常検知装置８０２は、入力信号空間相関異常検知部１０８から音源分離信号異常検知部１１０まで、周波数・方向パワー異常検知部５０３、および異常表示部５０５を備えた装置である。

図２、６を用いて説明したように、入力信号空間相関計算部１０３は入力信号空間相関行列を出力し、音源毎空間相関計算部１０５は音源毎空間相関行列を出力し、音源分離部１０７は音源分離信号を出力し、周波数・方向パワー信号分離部５０２は分離後の周波数・方向パワーを出力する。これら４つの情報を信号分析装置８０１は、それぞれ信号線８１１〜８１４を介して異常検知装置８０２へ出力する。

異常検知装置８０２は、信号線８１１〜８１４のそれぞれを介して情報が信号分析装置８０１から入力されると、図２、６を用いて説明したように、入力信号空間相関異常検知部１０８、音源毎空間相関異常検知部１０９、音源分離信号異常検知部１１０、および周波数・方向パワー異常検知部５０３のそれぞれは、各情報に対して類似度を計算して、判定結果を出力し、異常表示部５０５が判定結果を表示する。

ここで、入力信号空間相関異常検知部１０８、音源毎空間相関異常検知部１０９、音源分離信号異常検知部１１０、および周波数・方向パワー異常検知部５０３のそれぞれが、類似度を計算するために用いるデータベースに蓄積された情報を、異常検知装置８０２は、信号線８２１〜８２４を介して正常モデル管理装置８０３から入力する。各閾値は、異常検知装置８０２に格納されてもよいし、正常モデル管理装置８０３から入力されてもよい。

正常モデル管理装置８０３は、データベースにより情報を蓄積するコンピュータ（サーバ）であり、正常時の入力信号空間相関行列、正常時の音源毎空間相関行列、正常時の特徴量ベクトル、および正常時の分離後の周波数・方向パワーをデータベースに予め蓄積し、信号線８２１〜８２４を介して異常検知装置８０２に出力する。

また、正常モデル管理装置８０３は、これらの正常時の情報を、信号分析装置８０１が出力する信号線８１１〜８１４から予め取得して蓄積してもよい。このために、正常モデル管理装置８０３は、信号線８１１〜８１４を介して入力する情報を機械学習してもよい。

異常検知モード入力プログラム１１２ａは、異常検知装置８０２の記憶部に格納されてもよいし、正常モデル管理装置８０３の記憶部に格納されてもよい。そして、異常検知モード入力部１１２は、異常検知装置８０２に備えられてもよいし、正常モデル管理装置８０３に備えられてもよい。異常検知モードの情報は信号線８２５を介して、異常検知装置８０２と正常モデル管理装置８０３のいずれか一方から他方へ送信されてもよい。

信号分析装置８０１と異常検知装置８０２と正常モデル管理装置８０３は、信号線８１１〜８１４、８２１〜８２５の代わりにネットワークで接続されもよく、３つの装置の中の任意の２つの装置が一体となって１つの装置となってもよい。

また、信号分析装置８０１は、信号取得部１０１から音源分離部１０７まで処理の流れの途中で分けられることにより、複数の装置すなわち複数のコンピュータで構成されてもよい。診断システムを複数の装置で構成することにより、ハードウェアを柔軟に構成することが可能となり、たとえば各部の処理の負荷に応じた装置の割り当てが可能となる。

さらに、信号分析装置８０１と異常検知装置８０２が複数あり、１つの正常モデル管理装置８０３から複数の異常検知装置８０２へ信号線８２１〜８２４あるいはネットワークを介して正常時の情報が配布されてもよい。これにより、診断対象が複数存在し、信号分析装置８０１が複数存在しても、正常時の情報を統一して管理することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。たとえば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成は、記憶部１２６に格納されたプログラムを実行するプロセッサ１２１というソフトウェアによる実現を説明したが、それらの一部又は全部を、たとえば集積回路で設計するなどによりハードウェアで実現してもよい。

また、制御線や情報線（信号線）は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０３入力信号空間相関計算部
１０４音源存在方向クラスタ推定部
１０５音源毎空間相関計算部
１０６音源分離フィルタ更新部
１０７音源分離部
１０８入力信号空間相関異常検知部
１０９音源毎空間相関異常検知部
１１０音源分離信号異常検知部

Claims

音により診断する診断装置であって、
音から変換された電気信号である音信号を取得し、音信号を出力する信号取得部と、
前記信号取得部が出力した音信号を周波数領域信号に変換する前処理部と、
前記前処理部が変換した周波数領域信号に基づいて、空間相関行列を計算する空間相関計算部と、
前記空間相関計算部が計算した空間相関行列に基づいて、異常を判定する空間相関異常検知部と、
前記空間相関異常検知部による異常の判定、に基づいて、異常に関する情報を表示する異常表示部と、を備え、
前記前処理部が変換した周波数領域信号に基づいて、音源毎空間相関行列を計算する音源毎処理部と、
前記音源毎処理部が計算した音源毎空間相関行列および前記前処理部が変換した周波数領域信号に基づいて、音源を分離して音源分離信号を生成する音源処理部と、
前記音源毎処理部が計算した音源毎空間相関行列に基づいて、異常を判定する音源毎空間相関異常検知部と、
前記音源処理部が生成した音源分離信号に基づいて、異常を判定する音源分離信号異常検知部と、を備え、
前記異常表示部は、
前記空間相関異常検知部による異常の判定、に加えて、音源毎空間相関異常検知部による異常の判定、および前記音源分離信号異常検知部による異常の判定、に基づいて、異常に関する情報を表示することを特徴とする診断装置。
請求項１に記載の診断装置であって、
前記音源処理部は、
前記音源毎処理部が計算した音源毎空間相関行列に基づいて、音源分離フィルタを計算するフィルタ更新部と、
前記前処理部が変換した周波数領域信号に、前記フィルタ更新部が計算した音源分離フィルタを適用し、音源を分離して音源分離信号を生成する音源分離部と、を備えたことを特徴とする診断装置。
請求項２に記載の診断装置であって、
前記音源毎処理部は、
前記空間相関計算部が計算した空間相関行列に基づいて、音源存在方向クラスタを推定する方向クラスタ推定部と、
前記前処理部が変換した周波数領域信号および前記方向クラスタ推定部が推定した音源存在方向クラスタに基づいて、音源毎空間相関行列を計算する音源毎空間相関計算部と、
を備えたことを特徴とする診断装置。
請求項３に記載の診断装置であって、
入力部をさらに備え、
前記異常表示部は、
雑音音源の移動が無く、正常状態の目的音源の移動が無いという情報を、前記入力部から得ると、前記空間相関異常検知部による異常の判定、音源毎空間相関異常検知部による異常の判定、および前記音源分離信号異常検知部による異常の判定に基づいて、異常に関する情報を表示することを特徴とする診断装置。
請求項２に記載の診断装置であって、
前記音源毎処理部は、
前記前処理部が変換した周波数領域信号に基づいて、周波数毎で方向毎の周波数成分のパワーを計算するパワー計算部と、
前記パワー計算部が計算したパワーから、正常状態で学習された基底を除くように分離するパワー信号分離部と、
前記パワー計算部が計算したパワーに基づいて、音源存在方向クラスタを推定する方向クラスタ推定部と、
前記前処理部が変換した周波数領域信号および前記方向クラスタ推定部が推定した音源存在方向クラスタに基づいて、音源毎空間相関行列を計算する音源毎空間相関計算部と、
を備え、
前記診断装置は、
前記パワー信号分離部が分離したパワーに基づいて、異常を判定するパワー異常検知部と、を備え、
前記異常表示部は、
前記空間相関異常検知部による異常の判定、音源毎空間相関異常検知部による異常の判定、前記音源分離信号異常検知部による異常の判定、および前記パワー異常検知部による異常の判定に基づいて、異常に関する情報を表示することを特徴とする診断装置。
請求項５に記載の診断装置であって、
入力部をさらに備え、
前記異常表示部は、
雑音音源の移動が無く、正常状態の目的音源の移動が無いという情報を、前記入力部から得ると、前記空間相関異常検知部による異常の判定、音源毎空間相関異常検知部による異常の判定、前記音源分離信号異常検知部による異常の判定、および前記パワー異常検知部による異常の判定に基づいて、異常に関する情報を表示することを特徴とする診断装置。
コンピュータが音により診断する診断方法であって、
前記コンピュータは、
プログラムが格納された記憶部と、
前記記憶部に格納されたプログラムを実行するプロセッサと、を備え、
前記プロセッサは、
音から変換された電気信号である音信号を取得して変換し、
変換された音信号を周波数領域信号に変換し、
変換された周波数領域信号に基づいて、空間相関行列を計算し、
変換された周波数領域信号に基づいて、音源毎空間相関行列を計算し、
計算された音源毎空間相関行列および変換された周波数領域信号に基づいて、音源を分離して音源分離信号を生成し、
計算された空間相関行列に基づいて、異常を判定し、
計算された音源毎空間相関行列に基づいて、異常を判定し、
生成された音源分離信号に基づいて、異常を判定し、
空間相関行列に基づく異常の判定、音源毎空間相関行列に基づく異常の判定、および音源分離信号に基づく異常の判定に応じて、異常に関する情報を表示することを特徴とする診断方法。
請求項７に記載の診断方法であって、
前記プロセッサは、
計算された空間相関行列に基づいて、音源存在方向クラスタを推定し、変換された周波数領域信号および推定された音源存在方向クラスタに基づいて、音源毎空間相関行列を計算することにより、音源毎空間相関行列を計算し、
計算された音源毎空間相関行列に基づいて、音源分離フィルタを計算し、変換された周波数領域信号に、計算された音源分離フィルタを適用し、音源を分離して音源分離信号を生成することにより、音源を分離することを特徴とする診断方法。
請求項８に記載の診断方法であって、
前記プロセッサは、
雑音音源の移動が無く、正常状態の目的音源の移動が無いという情報を得ると、空間相関行列に基づく異常の判定、音源毎空間相関行列に基づく異常の判定、および音源分離信号に基づく異常の判定に応じて、異常に関する情報を表示することを特徴とする診断方法。
請求項７に記載の診断方法であって、
前記プロセッサは、
変換された周波数領域信号に基づいて、周波数毎で方向毎の周波数成分のパワーを計算し、計算されたパワーから、正常状態で学習された基底を除くように分離し、計算されたパワーに基づいて、音源存在方向クラスタを推定し、変換された周波数領域信号および推定された音源存在方向クラスタに基づいて、音源毎空間相関行列を計算することにより、音源毎空間相関行列を計算し、
分離されたパワーに基づいて、異常を判定し、
空間相関行列に基づく異常の判定、音源毎空間相関行列に基づく異常の判定、音源分離信号に基づく異常の判定、およびパワーに基づく異常の判定に応じて、異常に関する情報を表示することを特徴とする診断方法。
請求項１０に記載の診断方法であって、
前記プロセッサは、
雑音音源の移動が無く、正常状態の目的音源の移動が無いという情報を得ると、空間相関行列に基づく異常の判定、音源毎空間相関行列に基づく異常の判定、音源分離信号に基づく異常の判定、およびパワーに基づく異常の判定に応じて、異常に関する情報を表示することを特徴とする診断方法。
複数のコンピュータを含み、音により診断する診断システムであって、
前記複数のコンピュータの中の第１のコンピュータは、
音から変換された電気信号である音信号を取得し、音信号を出力する信号取得部と、
前記信号取得部が出力した音信号を周波数領域信号に変換する前処理部と、
前記前処理部が変換した周波数領域信号に基づいて、空間相関行列を計算する空間相関計算部と、
前記前処理部が変換した周波数領域信号に基づいて、音源毎空間相関行列を計算する音源毎処理部と、
前記音源毎処理部が計算した音源毎空間相関行列および前記前処理部が変換した周波数領域信号に基づいて、音源を分離して音源分離信号を生成する音源処理部と、を備え、
前記空間相関計算部が計算した空間相関行列、前記音源毎処理部が計算した音源毎空間相関行列、および前記音源処理部が生成した音源分離信号を送信し、
前記複数のコンピュータの中の第２のコンピュータは、
前記第１のコンピュータから受信した空間相関行列に基づいて、異常を判定する空間相関異常検知部と、
前記第１のコンピュータから受信した音源毎空間相関行列に基づいて、異常を判定する音源毎空間相関異常検知部と、
前記第１のコンピュータから受信した音源分離信号に基づいて、異常を判定する音源分離信号異常検知部と、
前記空間相関異常検知部による異常の判定、音源毎空間相関異常検知部による異常の判定、および前記音源分離信号異常検知部による異常の判定に基づいて、異常に関する情報を表示する異常表示部と、を備えたこと
を特徴とする診断システム。
請求項１２に記載の診断システムであって、
前記第１のコンピュータの前記音源毎処理部は、
前記空間相関計算部が計算した空間相関行列に基づいて、音源存在方向クラスタを推定する方向クラスタ推定部と、
前記前処理部が変換した周波数領域信号および前記方向クラスタ推定部が推定した音源存在方向クラスタに基づいて、音源毎空間相関行列を計算する音源毎空間相関計算部と、
を備え、
前記第１のコンピュータの前記音源処理部は、
前記音源毎空間相関計算部が計算した音源毎空間相関行列に基づいて、音源分離フィルタを計算するフィルタ更新部と、
前記前処理部が変換した周波数領域信号に、前記フィルタ更新部が計算した音源分離フィルタを適用し、音源を分離して音源分離信号を生成する音源分離部と、を備えたことを特徴とする診断システム。
請求項１２に記載の診断システムであって、
前記第１のコンピュータの前記音源毎処理部は、
前記前処理部が変換した周波数領域信号に基づいて、周波数毎で方向毎の周波数成分のパワーを計算するパワー計算部と、
前記パワー計算部が計算したパワーから、正常状態で学習された基底を除くように分離するパワー信号分離部と、
前記パワー計算部が計算したパワーに基づいて、音源存在方向クラスタを推定する方向クラスタ推定部と、
前記前処理部が変換した周波数領域信号および前記方向クラスタ推定部が推定した音源存在方向クラスタに基づいて、音源毎空間相関行列を計算する音源毎空間相関計算部と、
を備え、
前記第１のコンピュータの前記音源処理部は、
前記音源毎空間相関計算部が計算した音源毎空間相関行列に基づいて、音源分離フィルタを計算するフィルタ更新部と、
前記前処理部が変換した周波数領域信号に、前記フィルタ更新部が計算した音源分離フィルタを適用し、音源を分離して音源分離信号を生成する音源分離部と、を備え、
前記第１のコンピュータは、
前記パワー信号分離部が分離したパワーを送信し、
前記第２のコンピュータは、
前記第１のコンピュータから受信したパワーに基づいて、異常を判定するパワー異常検知部をさらに備え、
前記第２のコンピュータの前記異常表示部は、
前記空間相関異常検知部による異常の判定、音源毎空間相関異常検知部による異常の判定、前記音源分離信号異常検知部による異常の判定、および前記パワー異常検知部による異常の判定に基づいて、異常に関する情報を表示することを特徴とする診断システム。
音により診断する診断装置であって、
音から変換された電気信号である音信号を取得し、音信号を出力する信号取得部と、
前記信号取得部が出力した音信号を周波数領域信号に変換する前処理部と、
前記前処理部が変換した周波数領域信号に基づいて、空間相関行列を計算する空間相関計算部と、
前記空間相関計算部が計算した空間相関行列から或る規定の部分を抽出した値を要素に持つベクトルと、正常時の空間相関行列から同じ部分を抽出した値を要素に持つベクトルとの類似度に基づいて、異常を判定する空間相関異常検知部と、
前記空間相関異常検知部による異常の判定、に基づいて、異常に関する情報を表示する異常表示部と、を備えたことを特徴とする診断装置。
請求項１５に記載の診断装置であって、
前記空間相関行列から抽出する規定の部分が、上三角成分と対角成分の組であることを特徴とする診断装置。