JP7402500B2 - 状態変化検知システム及び状態変化検知プログラム - Google Patents

Description

本発明は、状態変化検知システム及び状態変化検知プログラムに関し、特に、音データの基本周波数に基づいて対象物の状態変化があったことを検知する状態変化検知システム及び状態変化検知プログラムに関する。

特許文献１には、事前に適当な周波数成分を選択することなく、検査対象での異音の発生の有無を未知の異音を含めて精度良く判定するようにした異音の判定手法が開示されている。この異音の判定手法は、検査対象が走行するとき音データを収録し、収録された検査対象の音データを短時間フーリエ変換すると共に、単位時間ごとの１００Ｈｚごとなどの複数の周波数帯に分解し、単位時間ごとの複数の周波数帯に分解された音データを複数の周波数帯ごとにそれぞれ比較して両者の相関度合いを示す相関係数（相関係数行列）を算出し、算出された相関係数を機械学習などを用いて異音の発生の有無を判定している。
特開２０１９－１６４１０７号公報の図２等

しかし、特許文献１に開示されている判定手法は、異音の発生の有無を判定するにあたり、機械学習などを用いるものであるから、判定をする以前に機械学習用に膨大なデータを収集しておくことが必要となる。

また、機械学習を用いた判定は、確率的に異音が発生している可能性が高いということは判定することはできても、これでは実際には異音が発生しているにも拘らず異音が発生していないと判定されたり、その逆の判定がされたりするので、機械学習を用いた場合の判定精度は限界的である。

そこで、本発明は、特許文献１に開示された判定手法とは異なるアプローチで、確実性のある判定を行うことを課題とする。

上記課題を解決するために、本発明の状態変化検知システムは、
対象物から生じる音データを集める集音装置と、
前記集音装置によって集められた音データの基本周波数を算出する算出装置と、
前記算出装置によって算出された基本周波数と前記対象物に応じた閾値とに基づいて当該対象物の状態に変化の有無を判定する判定装置と、
を備える。

本発明は、機械学習といった確率的な判定手法を用いず、実際に集められた音データを数学的に解析するといった判定手法を採用しているため、対象物での異音の発生を含む状態変化の有無という判定を確実に行うことが可能となる。

また、前記集音装置によって集められた音データを前記算出装置に送信する送信装置を備えることもできる。こうすると、集音装置と送信装置とを携帯情報端末又は無人航空機などに搭載したり、これらが有するハードウェアによって実現したりすることが可能となる。また、副次的に、対象物が状態変化検知システムによれば、状態変化に関する音データのビッグデータの収集も行えるようになる。

さらに、前記算出装置は、前記集音装置によって集められた音データの波形データのパワースペクトルを取得する取得手段と、前記取得手段によって取得されたパワースペクトルに対して自己相関処理を施して前記基本周波数を割り出す割出手段と、を有していてもよい。基本周波数の割出には幾つかの手法があるが、このような手法を採用すると、信頼性の高い基本周波数を得ることができる。

前記判定装置は、前記基本周波数の波形データにおいて単位時間に現れる一定の振幅に対して少なくとも３倍以上の基本周波数が所定回数以上の出現があることをもって前記状態の変化があると検知する検知手段を有するとよい。こうすると、波形データに含まれているノイズ成分によって状態変化があるといった誤検知が防止できる一方で、状態変化があったことの検知を確実に行える。

また、本発明の状態変化検知プログラムは、
対象物から生じる音データを集めるステップと、
前記音データを基本周波数の算出装置に送信するステップと、
前記基本周波数の変化と前記対象物に応じた閾値とに基づく当該対象物の状態に変化の有無を報知するステップと、
を情報処理装置に実行させる。

こうすると、既述の場合と同様に、集音のステップと送信のステップとを携帯情報端末、無人航空機などに備えられている情報処理装置に所要の処理を実行させることが可能となる。

発明の実施の形態

以下、本発明の実施形態の状態変化検知システム１０００について、図面を参照して説明する。

図１は、本実施形態の状態変化検知システム１０００の模式的な構成を示すブロック図である。図１には、スマートフォン１００と、パーソナルコンピュータ２００とを、ネットワーク３００を介して接続してなる状態変化検知システム１０００を示している。

スマートフォン１００は、以下説明する、集音装置１０と送信装置２０と報知装置３０とを備えている。また、パーソナルコンピュータ２００は、以下説明する、算出装置４０と判定装置５０と返信装置６０とを備えている。

集音装置１０は、対象物から生じる音データを集めるものである。集音装置１０は、典型的には、マイクロフォンが挙げられる。図１には、集音装置１０をスマートフォン１００に搭載されているマイクロフォンによって実現する例を示しているが、集音装置１０はスマートフォン１００とは別個に用意してもよい。

送信装置２０は、集音装置１０によって集められた音データを、ネットワーク３００を通じてパーソナルコンピュータ２００に送信するものである。送信装置２０についても、スマートフォン１００に搭載されている通信機能によって実現するのではなく、スマートフォン１００とは別個に用意してもよい。

報知装置３０は、送信装置２０によって音データが送信された結果、パーソナルコンピュータ２００から返信される対象物の状態変化の有無を報知するものである。報知装置３０は、典型的には、ディスプレイ、スピーカが挙げられる。報知装置３０についても、スマートフォン１００とは別個に用意してもよい。また、報知装置３０に内蔵又はこれに接続されるプリンタによって印字することで対象物の状態変化の有無を報知してもよい。

なお、スマートフォン１００は、情報処理装置を搭載しているものの典型例を示すに過ぎず、情報処理装置を搭載しているものであれば、スマートフォン１００に代えて、携帯電話機、ＰＤＡ、タブレット端末、ノート型パーソナルコンピュータ、ドローンなど無人航空機などとすることもできる。

ここで、対象物とは何らかの音データが生じるものをいい、例えば、ＡＣモータを内蔵した電気製品（送風機、ボイラー、自動ドア、エスカレータ）、自動車などのエンジン（ベアリングなど）、建物構成物を構成していて防犯対象となるもの（窓ガラス、床など）、不動産の一部（トンネル、橋梁、壁など）をいう。

本実施形態の状態変化検知システム１０００は、主として、これらの対象物で生じた音データが異音データである場合に、その異音発生源の部品交換などをユーザに促すことが可能となる。

算出装置４０は、集音装置１０によって集められた音データの基本周波数を算出するものである。算出装置４０は、具体的構成については図２を用いて後述するが、例えば、音データに対してフィルタリング処理、離散フーリエ変換処理などを施すことによって、音データの基本周波数を算出する。

判定装置５０は、算出装置４０によって算出された基本周波数と対象物に応じた閾値とに基づいて、当該対象物の状態変化の有無を判定するものである。判定装置５０において行う具体的な判定手法については図３～図５を用いて後述するが、例えば、基本周波数の波形データにおいて、特異な基本周波数の出現が所定回数以上あった場合に、対象物に状態変化があったと判定する。

返信装置６０は、判定装置５０による判定結果を、ネットワーク３００を通じてスマートフォン１００に返信するものである。返信装置６０からの判定結果の返信先は、スマートフォン１００とともに又はスマートフォン１００に代えて、図示しないスマートフォンのユーザ或いは対象物の管理者など宛てとしてもよい。

これを実現するためには、返信装置６０に付帯して、判定結果の返信先を示すメールアドレスなどをスマートフォン１００のユーザ等を示す名前情報とともに、図示しないデータベースなどに一対で登録しておけばよい。

ネットワーク３００は、スマートフォン１００とパーソナルコンピュータ２００とを接続するものである。ネットワーク３００は、携帯電話網、公衆電話網、インターネット、イントラネット、専用線などの各種ネットワークの総称である。

本実施形態の状態変化判定システムの基本的構成は、以上の説明のとおりであるが、状態変化判定システムは、送信装置２０及びネットワーク３００を備えることは必須ではない。

例えば、これらを除く、集音装置１０及び算出装置４０等を一台の専用機によって実現し、この専用機を用いて対象物の近傍で音データの集音を行い、当該音データの基本周波数を算出し、対象物の状態に変化の有無を判定し、判定結果を報知することもできる。

図２は、図１に示す算出装置４０の機能ブロック図である。図２には、以下説明するように、集音装置１０によって集められた音データの波形データのパワースペクトルを取得する取得手段４０Ａと、取得手段４０Ａによって取得されるパワースペクトルに自己相関処理を施して当該音データの基本周波数を検出する自己相関手段４０Ｂとを示している。

取得手段４０Ａは、音データに対して所望の周波数帯域の成分のみの抽出処理を行うディジタルフィルタ４１と、ディジタルフィルタ４１によって抽出された音データの成分に対して窓関数処理を施す窓処理手段４２と、窓処理手段４２によって窓処理された音データの成分に対して離散フーリエ変換処理を行う第１変換処理手段４３とを有している。

ディジタルフィルタ４１によって抽出すべき成分の周波数帯域は、対象物から生じる音データの周波数によって決定すればよい。例えば、対象物が、
・ボイラーなどの燃焼装置であれば、ＡＣモータ及びこれによって作動する対象（例えば、リレー）は、通常、１０Ｈｚ～７００Ｈｚの周波数帯域の音データが生じ、
・橋梁であれば、自動車等から生じる音データを除去するために２０Ｈｚ以下の周波数帯域の音データが生じ、
・不法侵入者の足音であれば、不法侵入者の足元から１００Ｈｚ～５００Ｈｚの周波数帯域の音データが生じ、
・防犯警備などのために窓ガラスであれば、窓ガラスが割れた際に生じる５００Ｈｚ～１０００Ｈｚの周波数帯域の音データが生じる、
ので、これらのそれぞれの成分を抽出可能な条件のディジタルフィルタ４１を用いればよい。

窓処理手段４２は、ディジタルフィルタ４１によって抽出された音データの成分に対して、種々の窓関数を用いて窓処理を行うことができる。窓関数の種別は特に限定されるものではなく、矩形窓関数、ガウス窓関数、ハニング窓関数、ブラックマン窓関数などから適宜選択したものを用いることができる。

第１変換処理手段４３は、窓処理手段４２によって窓処理された音データの成分に対して、その成分の周波数の例えば２倍のサンプリング周波数帯域で離散フーリエ変換処理を行う。したがって、仮に、７００Ｈｚ以下の周波数帯域の音データが離散フーリエ変換対象である場合には、１．４ＫＨｚのサンプリング周波数帯域とすればよい。集音装置１０をスマートフォン１００のマイクロフォンで実現する場合には、このマイクロフォンは通常サンプリング周波数が４４．１ＫＨｚであるので、後掲の例のように、そのまま離散フーリエ変換処理を行うこともできる。

なお、サンプリング点数Ｎは、対象物の周波数の高低などに従って適宜決定すればよく、例えばＮ＝２０４８とすることができる。もっとも、これに限定されず、例えば、Ｎ＝１０２４であってもよいし、Ｎ＝４０９６でもよい。

自己相関手段４０Ｂは、第１変換処理手段４３による離散フーリエ変換の結果として取得されるパワースペクトルに対して逆フーリエ変換処理を行う第２変換処理手段４４と、第２変換処理手段４４によって変換されたデータに対して周波数のピークを検出するピーク検出手段４５と、を有している。

つぎに、図１に示す状態変化検知システム１０００の動作について説明する。ここでは、状態変化検知の対象物として農業用温風機を例に説明する。まず、農業用温風機の電源をオンさせると、その後、ファンがこれに接続されているモータの駆動によって回転動作を開始することになる。これにより、農業用温風機から音データが生じることになる。

スマートフォン１００のユーザが、集音装置１０をオン状態に切り替えると、農業用温風機から生じる音データが集められる。集音装置１０によって集められた音データは、送信装置２０によってネットワーク３００を通じてパーソナルコンピュータ２００に送信される。

パーソナルコンピュータ２００では、スマートフォン１００の送信装置２０から送信された音データを受信すると、算出装置４０によって当該音データの基本周波数を算出する。具体的には、まず、取得手段４０Ａによって、以下の要領で、当該音データの波形データのパワースペクトルを取得する。

すなわち、最初に、取得手段４０Ａでは、例えば１０Ｈｚ～７００Ｈｚの周波数帯域の成分のみを抽出処理を行うディジタルフィルタ４１によって、当該音データから１０Ｈｚ～７００Ｈｚの周波数帯域の成分のみを抽出する。

それから、窓処理手段４２によって、ディジタルフィルタ４１でディジタルフィルタ処理された音データの成分に対して、例えばハニング窓関数を用いて窓関数処理を施す。

つぎに、第１変換処理手段４３によって、窓処理手段４２で抽出された音データの成分に対して、例えば、サンプリング点数Ｎ＝２０４８とし、ここではスマートフォン１００のマイクロフォンを集音装置１０として用いているので、４４．１ＫＨｚのサンプリング周波数帯域で離散フーリエ変換処理を行う。この結果、取得手段４０Ａは、音データのパワースペクトルを取得することができる。

つづいて、自己相関手段４０Ｂでは、取得手段４０Ａで取得されたパワースペクトルに対して、第２変換処理手段４４によって、逆フーリエ変換処理を行う。それから、ピーク検出手段４５によって、第２変換処理手段４４で変換されたデータに対して周波数のピークを検出する。

パーソナルコンピュータ２００では、こうして算出装置４０によって基本周波数を算出すると、判定装置５０によって、算出装置４０によって算出された基本周波数と対象物に応じた閾値とに基づいて、以下説明する手法で当該対象物の状態変化の有無を判定する。

その後、パーソナルコンピュータ２００では、返信装置６０によって、判定装置５０による判定結果を、ネットワーク３００を通じてスマートフォン１００等に向けて返信する。

図３～図５は、図１に示す判定装置５０における判定手法の説明図である。図３～図５には、互いに使用年数の異なる３台の農業用温風機を対象物Ａ～Ｃとし、これらから各々生じる音データを実測し、それらの周波数及び基本周波数を算出することによって作成した波形データを示している。なお、対象物Ａ～Ｃのいずれも一般的な使用頻度のものとしていて、いずれかの対象物のみが特段摩耗している等の事情はない。

なお、対象物Ａ～Ｃは、それらの製造・販売時期が異なるため型式こそ異なるが、同一メーカによって製造された同様（同規模）の製品である。ここでは、図３～図５に示す波形データに基づいて、対象物Ａ～Ｃに備えられているファンモータの交換の有無、交換するとしたらその時期の目安を特定するために、判定装置５０において行う判定手法について説明する。

図３（ａ）には、集音装置１０によって集められた対象物Ａから生じる音データの波形データを示している。図３（ａ）の横軸には時間［ｓ］を示し、図３（ａ）の縦軸には音データの波形の振幅を示している。図３（ｂ）には、自己相関手段４０Ｂによって検出された対象物Ａの音データの基本周波数の波形データを示している。図３（ｂ）の横軸は時間［ｓ］を示し、図３（ｂ）の縦軸は基本周波数［Ｈｚ］を示している。

同様に、図４（ａ）には対象物Ｂから生じる音データの波形データを、図４（ｂ）には対象物Ｂの音データの基本周波数の波形データを示している。また、図５（ａ）には対象物Ｃから生じる音データの波形データを、図５（ｂ）には対象物Ｃの音データの基本周波数の波形データを示している。

なお、図３（ａ）、図４（ａ）及び図５（ａ）の波形データは、いずれも安定した振幅が一定の範囲内に納まるようにレベル調整がされている。図３（ａ）、図４（ａ）及び図５（ａ）のいずれにおいても、±約０．４以内に納まるようにレベル調整がされている。

仮に、音源から生じる音データが同じレベルであったとしても、集音装置１０が音源に近いほど、集音された音データのレベルが高くなる。したがって、上記のレベル調整を行うと、音源であるところの対象物Ａ～Ｃから生じる音データの集音時に、対象物Ａ～Ｃと集音装置１０との距離を厳格に定めなくも済むようになるという利点がある。

つぎに、図３（ａ）に関し、対象物Ａがオン状態に切り替えられ、対象物Ａである農業用温風機のファンが動作を開始すると、音データが対象物Ａから生じる。なお、図３（ａ）の右側では、音データの振幅が狭まっていくが、これは対象物Ａをオフ状態に切り替えたためである。

つぎに、図３（ａ）における対象物Ａから生じる音データの振幅が±０．４内に概ね納まっている区間では、図３（ｂ）に示すように、これに対応する基本周波数が、±１０［Ｈｚ］内に概ね納まっていることがわかる。

追って考察するが、結論として、判定装置５０は、対象物Ａについては動作中に状態変化がないと判定する。したがって、この場合には、対象物Ａのファンモータから特段の異音が発生していないことになるので、このファンモータを交換する必要がないということになる。事実、対象物Ａは、一般的な使用頻度で使用期間が約１３年３月ほどであり、対象物Ａのファンモータは交換必要年数には達していなかった。

つぎに、図４（ａ）に関し、対象物Ｂがオン状態に切り替えられ、農業用温風機のファンが動作を開始すると、音データが対象物Ｂから生じる。図３（ａ）と図４（ａ）とを人間が目視しただけ、つまり、対象物Ａから生じる音データと対象物Ｂから生じる音データとを、これらの振幅（レベル）を調整して可視化して相互に対比しただけでは、対象物Ａ乃至対象物Ｂのファンモータを交換すべきか否かについて特定することは困難であるといえる。

つぎに、図４（ａ）における対象物Ｂから生じる音データの振幅が±０．４内に概ね納まっている区間では、図４（ｂ）に示すように、これに対応する基本周波数は、その大半が±１０［Ｈｚ］内に概ね納まっているものの、少なくとも３倍以上の基本周波数のピークがところどころに髭状に出現していることがわかる。

追って考察するが、結論として、判定装置５０は、対象物Ｂについては動作中に小程度の状態変化があると判定する。そして、この場合には、対象物Ｂのファンモータから時々若干の異音が発生していることになるので、このファンモータを近々交換する必要があるということになる。事実、対象物Ｂは、一般的な使用頻度で使用期間が２０年９月ほどであり、対象物Ｂのファンモータは交換必要年数に達しようとしていた。

つぎに、図５（ａ）に関し、対象物Ｃがオン状態に切り替えられ、農業用温風機のファンが動作を開始すると、音データが対象物Ｃから生じる。図３（ａ）と図５（ａ）とに示すように、対象物Ａから生じる音データと対象物Ｃから生じる音データとを、これらの振幅を調整して可視化して相互に対比すると、対象物Ｃのファンモータを交換すべきであろうということは特定できなくもないが、その交換時期の目安まで明確に特定することは困難であるといえる。

ちなみに、対象物Ａから生じる音データと対象物Ｃから生じる音データとを人間が単に聞いただけでは、対象物Ｃのファンモータを交換すべきであろうということ自体も特定することは困難である。

つぎに、図５（ａ）における対象物Ｃから生じる音データの振幅が約±０．４～約±１０内に概ね納まっている区間では、図５（ｂ）に示すように、これに対応する基本周波数は、図３（ｂ）及び図４（ｂ）の場合とは明らかに異なり、半分程度は±１０［Ｈｚ］に納まっているものの、残りの部分には少なくとも３倍以上の基本周波数が頻繁に髭状に出現していることがわかる。

以下に考察するが、結論として、判定装置５０は、対象物Ｃが動作中に大程度の状態変化があると判定する。そして、この場合には、対象物Ｃのファンモータから頻繁に若干の異音が発生しているとになるので、このファンモータをすぐにでも交換する必要があるということになる。事実、対象物Ｃは、一般的な使用頻度で使用期間が２５年５月を経過しており、対象物Ｃのファンモータは交換必要年数に達していた。

図３～図５を用いて説明したとおり、本実施形態の状態変化判定システムは、人間の聴覚では判別が非常に困難である農業用温風機のファン回転時にファンモータから異音が発生しているか否か、発生しているとしたらその頻度がどの程度であるかを把握できる。

具体的には、農業用温風機から生じる音データの基本周波数と農業用温風機に応じた閾値とに基づいて、農業用温風機のファン回転時のファンモータの異音の有無を判定することができる。

つぎに、図３～図５を対比して、これらの波形データについて考察する。対象物Ａは、農業用温風機のファンの動作中には、基本周波数には突発的な変化が見られず、このファンモータを交換する必要がないということは既述のとおりである。

ここで重要なのは、図４（ｂ）に示す基本周波数の音データが発生した段階で、ファンモータの交換を促すことができるかどうかということである。図５（ｂ）に示す基本周波数の音データが発生してしまうと、対象物Ｃのファンがいつ停止してもおかしくない状況にあるといえる。

したがって、図５（ｂ）に示すような基本周波数の音データが発生する前に、ファンモータを交換することを実現して、農業用温風機が運転不能に陥らないようにすることは農業従事者にとって非常に大きな関心事である。

しかし、対象物Ｂから生じる音データの振幅を調整して可視化してみても、ましてや、この音データを聞いただけでも、人間では、対象物Ｂのファンモータを近々交換する必要があるということを把握することはできない。

これに対して、本実施形態の状態変化判定システムは、対象物Ｂから生じる音データを集めて当該音データの基本周波数を算出し、その基本周波数と対象物Ｂに応じた閾値とに基づいて対象物Ｂの状態変化の有無を判定するようにしているので、対象物Ｂのファンモータを近々交換する必要があるということを把握することはできる。

つづいて、上記判定の際に用いる閾値について説明する。閾値は、対象物の種別などによって適宜決定される。対象物が農業用温風機であれば、メーカによって変動する可能性はあるものの、図３～図５の例に即していうと、波形データにおいて単位時間（例えば約１０秒）に現れる例えば±１０の振幅に対して、少なくとも３倍以上の基本周波数の出現が所定回数（例えば５回）以上あるか否かという値にすればよい。

具体的に見てみると、図３の場合には「所定回数」がゼロである。図４の場合には横軸の一目盛りが約３秒であるので、約１０秒の間に「所定回数」が７回生じていることになる。図５の場合には横軸の一目盛りが約１．７秒であるので、約１０秒の間に「所定回数」が相当多数生じていることになる。

したがって、所定回数＝５という条件下では、本実施形態の状態変化判定システムによって、図３の場合には状態変化がないと判定される一方で、図４及び図５の場合には状態変化があると判定されることなる。

以上、本実施形態では、異音の発生の有無を典型例として、対象物の状態変化の有無を判定する手法について説明したが、音データの状態変化の有無を把握できるようになると、部品交換等が可能となるので、その効果は絶大である。

本実施形態の状態変化検知システム１０００の模式的な構成を示すブロック図である。 図１に示す算出装置４０の機能ブロック図である。 図１に示す判定装置５０における判定手法の説明図である。 図１に示す判定装置５０における判定手法の説明図である。 図１に示す判定装置５０における判定手法の説明図である。

１０ 集音装置
２０ 送信装置
３０ 報知装置
４０ 算出装置
４０Ａ 取得手段
４０Ｂ 自己相関手段
４１ ディジタルフィルタ
４２ 窓処理手段
４３ 第１変換処理手段
４４ 第２変換処理手段
４５ ピーク検出手段
５０ 判定装置
６０ 返信装置
１００ スマートフォン
２００ パーソナルコンピュータ
３００ ネットワーク

Claims (3)

1. 対象物から生じる音データを集める集音装置と、
   前記集音装置によって集められた音データの基本周波数を算出する算出装置と、
   前記算出装置によって算出された基本周波数と前記対象物に応じた閾値とに基づいて当該対象物の状態に変化の有無を判定する判定装置と、
   を備え、
   前記判定装置は、
   前記基本周波数の波形データにおいて単位時間に現れる一定の振幅に対して少なくとも３倍以上の基本周波数の出現が所定回数以上あることをもって前記状態の変化があると検知する検知手段を有する
   状態変化検知システム。
2. 前記集音装置によって集められた音データを前記算出装置に送信する送信装置を備える、請求項１記載の状態変化検知システム。
3. 前記算出装置は、
   前記集音装置によって集められた音データの波形データのパワースペクトルを取得する取得手段と、
   前記取得手段によって取得されたパワースペクトルに対して自己相関処理を施して前記基本周波数を割り出す割出手段と、
   を有する、請求項１記載の状態変化検知システム。