JP7251413B2 - 疑似異音生成装置および制御プログラム - Google Patents

Description

本発明は、疑似異音を生成するための、疑似異音生成装置および制御プログラムに関する。

従来、装置の異常状態を特徴量から可視化し、ユーザに知らせることが行われている。例えば、異常の発生状況をグラフ化し、工場の現場に設置されているモニタに表示させることが行われている。しかしながら、現場の作業員は作業に追われており、モニタを視認するタイミングを失っていることがある。この場合、異常の発生状況を作業員が把握するまでに時間がかかることがあり、異常発見が遅れたり、異常発生の予兆に気がつかなかったりなどの問題がある。

これに対して、装置の異常状態を音声により出力する技術が知られている。音声によれば、作業員は作業中であっても音声を聞くことができるので、繁忙状態であっても異常を検知したり、異常発生の予兆に気づいたりすることができる。例えば、特許文献１には、診断対象機器の異常検知を行うシステムにおいて、診断対象機器の稼働音を、異常の程度に対応する異常音の特徴データを反映した音となるように信号処理することで、異常音を模擬して生成する技術が記載されている。

特許文献２には、アクセス操作量とエンジンの運転速度とを用いて、エンジンの模擬音を発生する技術が記載されている。また、特許文献３には、物体の接近を検知し、検知結果に基づいて複数種類の音響から所定の１つ以上の音響を選択して報知すること、および、接近状況に応じて音響を選択組み合わせて報知することが記載されている。特許文献４には、障害物の有無を検知する超音波センサを複数備え、検知した超音波センサに応じて互いに異なる警報音（周波数の異なる警報音）を発生する技術が記載されている。

国際公開第２０１５／０１１７９１号（２０１５年１月２９日公開） 特開平１０－２７７２６３号公報（１９９８年１０月２０日公開） 特開２０１１－１６４１２８号公報（２０１１年８月２５日公開） 特開２００１－９１６３４号公報（２００１年４月６日公開）

ところで、装置において発生する異常の要因は様々である。例えば部材の種類または部材の状態等によって様々な異常が発生し得る。また、複数の要因が組み合わさることにより異常が発生する場合もある。また、装置の劣化により異常が発生する場合もある。特許文献１に記載の技術では、異常の程度を音によりユーザに知らせることができるものの、異常の具体的な発生要因をユーザが把握することは困難であった。また、特許文献２乃至４に記載の技術でも、異常の発生要因をユーザが具体的に把握することは困難であった。

本発明の一態様は、本来聞こえない装置の異常をユーザに疑似体験させることができる疑似異音発生装置を実現することを目的とする。

本発明は、上述の課題を解決するために、以下の構成を採用する。

本発明の一側面に係る疑似異音生成装置は、異常検知の対象である装置の稼働状況に関する１種類以上の計測値を取得する取得部と、前記計測値から複数の特徴量を算出する特徴量算出部と、複数の前記特徴量を用いて、前記装置における異常の発生度合いを示す異常度を算出する異常度算出部と、複数の前記特徴量の各々について、前記異常に対する寄与率を算出する寄与率算出部と、疑似異音の信号を生成する異音生成部と、を備え、前記異音生成部は、前記疑似異音の複数のパラメータと複数の前記特徴量とを対応付けて、前記疑似異音を前記異常度および前記寄与率に応じて変化させる構成を備える。

上記構成によれば、ユーザは疑似異音を聞くことによって、各特徴量の異常の発生状況を把握することができるとともに、異常度および寄与率も把握することができる。よって、本来聞こえない装置の異常をユーザに疑似体験させることが可能となる。

上記一側面に係る疑似異音生成装置において、前記異常度算出部は、前記特徴量と、予め用意されている正常時の特徴量とに基づいて前記異常度を算出する構成を備えていてもよい。

上記構成によれば、正常時との差が大きくなるほど異常度が大きくなるようなアルゴリズムによって疑似異音を生成することができるので、異常の程度を的確にユーザに認識させることができる。
上記一側面に係る疑似異音生成装置において、前記異音生成部は、前記疑似異音の信号を、テンプレートとして記録されている音声データに基づいて生成する構成を備えていてもよい。

上記構成によれば、テンプレートとして記録されている音声データを、異常発生の程度をユーザが認識しやすい音声のデータとすることにより、異常の状況をユーザにわかりやすく伝達することができる。

上記一側面に係る疑似異音生成装置において、前記異音生成部は、前記疑似異音の信号を、複数の前記特徴量の値の組合せに応じて特定される前記音声データに基づいて生成する構成を備えていてもよい。

上記構成によれば、複数の特徴量の値の組合せに対応した音声データを選ぶだけで生成すべき疑似異音を特定することができる。よって、値に応じて音声データの各種パラメータを数値変化させるなどの複雑な制御を行う必要がなく、シンプルな制御を実現することができる。また、複数の特徴量の値の組合せに対応した異常状況を、非熟練者等のユーザにとって把握しやすい音声データとすることにより、異常の状況をユーザによりわかりやすく伝達することができる。

上記一側面に係る疑似異音生成装置において、前記生成部は、前記疑似異音の信号を、前記計測値の変動を示す計測値波形に基づいて生成する構成を備えていてもよい。

上記構成によれば、実際の計測値の変化を反映した疑似異音が生成されるので、実際の装置の稼働状態をユーザにそのまま認識させることができる。よって、例えば熟練したユーザであれば、疑似異音を聞くことによって詳細な装置の稼働状態を認識することが可能となる。

上記一側面に係る疑似異音生成装置において、前記生成部は、前記計測値波形の周波数を変調させて前記疑似異音の信号を生成する構成を備えていてもよい。

計測値波形は、場合によっては人間の可聴域以外の周波数で変動することがある。これに対して上記構成によれば、計測値波形の周波数を変調させることにより、人間の可聴域からなる疑似異音の信号を生成することが可能となる。

上記一側面に係る疑似異音生成装置において、前記異音生成部は、前記計測値波形と、予め用意されている正常時波形との差分波形によって前記疑似異音の信号を生成する構成を備えていてもよい。

上記構成によれば、正常時との差が大きくなるほど異常度が大きくなるような差分波形によって疑似異音を生成することができるので、異常の程度を的確にユーザに認識させることができる。

上記一側面に係る疑似異音生成装置において、前記異音生成部は、前記複数の特徴量のそれぞれに対応する音声信号を合成することにより前記疑似異音の信号を生成し、複数の前記音声信号の音量バランスを前記寄与率に応じて変化させる構成を備えていてもよい。

上記構成によれば、寄与率が音量バランスによって表現されるので、寄与率が高い特徴量に対応するパラメータの音量が大きくなる。よって、どの特徴量による寄与率が高いかを感覚的に理解しやすい音でユーザに伝達することができる。

上記一側面に係る疑似異音生成装置において、前記異音生成部は、前記疑似異音の音量を前記異常度に応じて変化させる構成を備えていてもよい。

上記構成によれば、異常度が高いほど疑似異音の音量が大きくなるので、異常の程度を感覚的に理解しやすい音でユーザに伝達することができる。
本発明の一側面に係る制御プログラムは、上記一側面に係る疑似異音生成装置としてコンピュータを機能させるための制御プログラムであって、前記取得部、前記特徴量算出部、前記異常度算出部、前記寄与率算出部、および前記異音生成部としてコンピュータを機能させるための構成を備える。

上記構成によれば、上記一側面に係る疑似異音生成装置としてコンピュータを機能させることによって、上記一側面に係る疑似異音生成装置と同様の効果を奏することができる。

本発明の一側面に係る疑似異音生成装置によれば、本来聞こえない装置の異常をユーザに疑似体験させることができる。

本発明の実施形態１に係る疑似異音生成システムの構成を例示するブロック図である。 本発明の実施形態１に係る疑似異音生成装置が実行する処理の流れを例示するフローチャートである。 本発明の実施形態１に係る疑似異音生成装置が実行する処理の流れを例示するフローチャートである。 異常度の算出処理を説明するための図である。 異音テンプレートデータベースの内容を例示する図である。 テンプレートの加工処理を説明するための図である。 音声信号の合成処理を説明するための図である。 疑似異音が追加される前のモータ音の信号を例示する図である。 疑似異音が追加されたモータ音の信号を例示する図である。 本発明の実施形態１に係る疑似異音生成装置が実行する処理の流れを例示するフローチャートである。 計測値波形を用いた異音信号の生成処理を説明するための図である。 計測値波形を用いた異音信号の生成処理を説明するための図である。 異音信号の生成処理を説明するための図である。 異常度が乗算された波形を例示する図である。 本発明の実施形態２に係る疑似異音生成装置が実行する処理の流れを例示するフローチャートである。 本発明の各実施形態に係る疑似異音生成装置の物理的構成を例示するブロック図である。

〔実施形態１〕
以下、本発明の一側面に係る実施形態（以下、「本実施形態」とも表記する）が説明される。

§１ 適用例
まず、本発明が適用される場面の一例が説明される。本実施形態に係る疑似異音生成装置は、異常検知の対象である装置の稼働状況を監視し、装置における異常の発生度合および異常の複数の発生要因のそれぞれの寄与率が表された疑似異音の信号を生成する。疑似異音とは、疑似的に生成される異音をいう。異音とは、通常とは異なる音をいい、例えば装置が故障した場合に発生するノイズ音、またはユーザに故障を報知するための警告音を含む。

図１は、実施形態１に係る疑似異音生成システム１の構成を例示するブロック図である。図１において、本実施形態に係る疑似異音生成装置１０は、取得部１１、特徴量算出部１２、異常度算出部１３、寄与率算出部１４、および異音生成部１５を備える。取得部１１は、異常検知の対象である装置の稼働状況に関する１種類以上の計測値を取得する。特徴量算出部１２は、計測値から複数の特徴量を算出する。異常度算出部１３は、複数の特徴量を用いて、装置における異常の発生度合いを示す異常度を算出する。寄与率算出部１４は、複数の特徴量の各々について、異常に対する寄与率を算出する。異音生成部１５は、疑似異音の信号を生成する。また、異音生成部１５は、疑似異音の複数のパラメータと複数の特徴量とを対応付けて、疑似異音を異常度および寄与率に応じて変化させる。パラメータは、音の特徴の種類を表すものであり、例えば、周波数、音量、テンポ、または音質である。

疑似異音生成装置１０は、上記構成を備えることにより、装置において発生する異常の発生度合いおよびその異常に関する複数の発生要因の寄与度を可聴化することが可能となる。

よって、装置のユーザは、疑似異音生成装置１０により生成される信号により表される疑似異音を聴取することにより、装置における異常の発生状況（発生度合い、発生要因の寄与率、等）をより具体的に把握することができる。

§２ 構成例
以下に、図面を参照しつつ、本発明が適用される場面のより具体的な例が説明される。

（全体の構成）
図１に例示される疑似異音生成システム１は、異常検知の対象である装置（以下「対象装置」という）の稼働状況を監視し、対象装置における異常の発生度合いおよび発生要因を可聴化するシステムである。疑似異音生成システム１は、疑似異音生成装置１０、データベース２０、対象装置３０、計測装置３１、およびスピーカ４０を備える。疑似異音生成装置１０は、対象装置３０の稼働状況を監視し、対象装置３０における異常の発生度合いおよび異常の発生要因毎の寄与率が音の特徴により表された疑似異音の信号（以下「異音信号」という）を生成する。具体的に疑似異音生成装置１０としては、生産現場におけるＦＡ（Factory Automation）において各種機器の制御およびデータの収集を実行するプログラマブルロジックコントローラ（Programmable Logic Controller：ＰＬＣ）であり得る。その場合、プログラマブルロジックコントローラは、疑似異音生成装置１０の機能を実装する。なお、疑似異音生成装置１０は、例えばパーソナルコンピュータ（ＰＣ）であってもよく、また、クラウドサーバであってもよい。

データベース２０は、疑似異音生成装置１０が異音信号を生成する際に参照するデータベースである。対象装置３０は、ＰＬＣにより制御される装置である。対象装置３０は例えば、複数のサーボ、またはセンサなどの様々な機器を備える。

計測装置３１は、対象装置３０の稼働状況に関する計測値を出力する。稼働状況に関する計測値は例えば、対象装置３０に設けられた部材（例えば、サーボ）の速度（回転速度等）、トルク、および回転位置である。この例で、計測装置３１は、対象装置３０の稼働状況に関する計測値の変動を表す計測値波形を出力する。なお、出力される計測値は、計測値波形に限られない。計測装置３１は、所定の時間間隔で定期的に計測された非連続な計測値を出力してもよい。計測装置３１は、対象装置３０に内蔵されていてもよく、また、対象装置３０とは別体の装置として構成されていてもよい。また、計測値は、例えばサーボにおけるサーボ制御部から出力される制御信号（例えばトルク指令値、速度指令値など）で示される値でもよいし、対象装置３０の動作を計測するセンサからの出力値でもよい。また、図１の例では、ひとつの計測装置３１が図示されているが、複数の計測装置が設けられ、複数の計測装置から出力される計測値を取得部１１が取得してもよい。

疑似異音生成装置１０の特徴量算出部１２により算出される特徴量は、対象装置３０の稼働状況の特徴を表す情報である。特徴量は例えば、サーボの速度の平均値、標準偏差、最大値、最小値、尖度、歪度である。また、特徴量は例えば、サーボのトルクの平均値、標準偏差、最大値、最小値、尖度、歪度である。また、特徴量は例えば、サーボの回転位置の平均値、標準偏差、最大値、最小値、尖度、歪度である。なお、計測値から算出される特徴量は上述したものに限られない。特徴量は例えば、画像形成装置に設けられた感光体ドラムの回転速度の最大値等であってもよい。

異音生成部１５は、異音信号の生成モードとして「特徴量モード」および「生波形モード」の２つのモードを有する。「特徴量モード」は、テンプレートとして記録されている音声データに基づいて疑似異音を生成するモードである。

「生波形モード」は、対象装置３０の稼働状況に関する計測値の変動を示す計測値波形（生波形）に基づいて異音信号を生成するモードである。モードの切り替えは例えば、ユーザが疑似異音生成装置１０に設けられたＵＩ部（図示略）を操作してモードの選択を行うことにより切り替えられる。異音生成部１５は、設定されたモードに対応する生成処理を実行する。異音信号の生成処理は後述される。

データベース２０は、特徴量データベース２１、異音テンプレートデータベース２２、正常時波形データベース２３を備える。特徴量データベース２１には、対象装置３０において計測される計測値から算出される特徴量が記憶される。特徴量データベース２１は、異常度算出部１３が異常度の算出処理を行う際に参照される。また、特徴量データベース２１は、寄与率算出部１４が寄与率の算出処理を行う際に参照される。

異音テンプレートデータベース２２には、「特徴量モード」において異音生成部１５が異音信号を生成する際に使用されるテンプレートが記憶される。このテンプレートは、異音を表す音声データ（以下「異音テンプレート」という）である。正常時波形データベース２３には、「生波形モード」において異音生成部１５が異音信号を生成する際に使用される正常時波形を示すデータが記憶される。正常時波形は、対象装置３０が正常に稼働している状態において計測装置３１により計測された計測値の変動を表す波形である。

§３ 動作例
図２は、疑似異音生成装置１０が行う、異音信号の生成処理の流れを例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。図２に示される処理は、例えば予め定められた条件が満たされる場合に開始される。予め定められた条件が満たされる場合とは例えば、予め定められた時間が経過した場合、予め定められたタイミングに到達した場合、または、ユーザ操作により処理の開始を指示された場合である。

ステップＳ１０１において、取得部１１は、対象装置３０の稼働状況に関する計測値を計測装置３１から取得する。例えば、取得部１１は、対象装置３０に設けられた部材（図示略）の速度の計測値および回転位置の計測値を取得する。

ステップＳ１０２において、特徴量算出部１２は、取得された計測値から複数の特徴量を算出する。例えば、特徴量算出部１２は、対象装置３０に設けられた部材の速度の所定の単位時間当たりの平均値および標準偏差、並びに回転位置の平均値および標準偏差を、特徴量として算出する。

ステップＳ１０３において、特徴量算出部１２は、疑似異音の生成モードが「特徴量モード」であるか「生波形モード」であるかを判定する。生成モードが「特徴量モード」である場合、特徴量算出部１２はステップＳ１０４の処理に進む。一方、生成モードが「生波形モード」である場合、特徴量算出部１２はステップＳ１０５の処理に進む。

ステップＳ１０４において、異常度算出部１３、寄与率算出部１４、および異音生成部１５は、テンプレートとして記録されている音声データ（異音テンプレート）に基づいて疑似異音を生成する。ステップＳ１０４の詳細については後述する。

ステップＳ１０５において、異常度算出部１３、寄与率算出部１４、および異音生成部１５は、計測値波形を用いて異音信号を生成する。ステップＳ１０５の詳細については後述する。

ステップＳ１０６において、異音生成部１５は、複数の異音信号を合成する。すなわち、異音生成部１５は、ステップＳ１０４で生成された複数の異音信号、または、ステップＳ１０５で生成された複数の異音信号を合成する。

ステップＳ１０７において、異音生成部１５は、特徴量毎に算出された異常度を用いて、全体の異常度（以下「全体異常度」という）を算出する。全体異常度は例えば、特徴量毎に算出された異常度を乗算することにより算出される。

ステップＳ１０８において、異音生成部１５は、合成した異音信号の音量を設定する。この例で、異音生成部１５は、疑似異音の音量を全体異常度に応じて変化させることにより、算出された全体異常度を異音信号に反映させる。

疑似異音生成装置１０により生成された異音信号は、スピーカ４０に出力され、スピーカ４０から疑似異音として出力される。出力された疑似異音は対象装置３０のユーザにより聴取される。

図３は、「特徴量モード」において疑似異音生成装置１０が実行する異音信号の生成処理の流れを例示するフローチャートである。図３のフローチャートは、図２のステップＳ１０４の処理に対応する。図３のステップＳ２０１乃至Ｓ２０６の処理は、特徴量算出部１２が算出した特徴量（処理の対象となる特徴量）の種類の数だけ繰り返される。なお、算出された特徴量の全てが処理の対象とされなくてもよく、算出された特徴量のうちの一部の特徴量が処理の対象とされてもよい。

ステップＳ２０１において、異常度算出部１３は、複数の特徴量を用いて、対象装置３０における異常の発生度合いを示す異常度を算出する。異常度の算出方法について以下に説明する。

この例で、異常度算出部１３は、特徴量算出部１２により算出された特徴量と、予め用意されている正常時の特徴量（および異常時の特徴量）とに基づいて異常度を算出する。異常度の算出は、例えば、機械学習による正常分布からの距離を用いて算出されてもよく、また、例えば、正常時の特徴量との差分をとることにより行われてもよい。この例では、異常度算出部１３は、特徴量算出部１２により算出された特徴量と、予め用意されている正常時の特徴量の平均値との差分の絶対値を正常時の特徴量の標準偏差で正規化した値を総和したものを異常度として算出する。正常時の特徴量（および異常時の特徴量）としては、特徴量データベース２１に記憶されている特徴量が用いられる。例えば、算出された特徴量と正常時の特徴量との差分が大きいほど、異常の度合いが高いとされる。

特徴量データベース２１には、正常時の特徴量（および異常時の特徴量）のデータが予め蓄積されている。特徴量データベース２１に蓄積された特徴量のデータをもとに、正常の値の範囲が予め設定される。異常度算出部１３は、正常値（例えば、正常の範囲の平均値）と実測値との差分を異常度として算出する。なお、異常度の算出方法は上述の方法に限られない。例えば、教師無し機械学習（例えば、クラスタ分析）により特徴量を解析することによって異常度を算出してもよい。

図４は、異常度の算出処理の具体例を説明するための図である。図４には、特徴量ｐ１（例えば、速度の平均値）と特徴量ｐ２（例えば、速度の標準偏差）との２種類のパラメータにより定義される２次元の座標空間が例示されている。図４において、縦軸は特徴量ｐ１の値を示し、横軸は特徴量ｐ２の値を示す。なお、図４の例では、説明の理解を容易にすべく、２次元の座標空間が示されているが、実際にはこれより多い次元の座標空間が用いられる。

この例で、異常度算出部１３は、特徴量算出部１２により算出された特徴量（実測値）と正常値（例えば、正常時の特徴量の平均値）との差分に応じて異常度を算出する。図４の例で、クラスタＣ１は正常時の計測値のクラスタであり、クラスタＣ２およびＣ３は異常時の計測値のクラスタである。

図３の説明に戻る。ステップＳ２０２において、寄与率算出部１４は、特徴量算出部１２により算出された複数の特徴量の各々について、対象装置３０における異常に対する寄与率を算出する。算出される寄与率は、異常に対する因果の度合いに対応する。

寄与率は、複数の特徴量のそれぞれについて算出される。例えば、ｎ種類の特徴量ｐ１、ｐ２、…、ｐｎが用いられる場合、特徴量ｐ１、ｐ２、…、ｐｎのそれぞれについて、寄与率が算出される。正常時の特徴量との差分が大きいほど、その特徴量の寄与率は高くなる。この実施形態では、寄与率算出部１４は、各特徴量について、正常値との差分を計算し、その絶対値を正常の範囲の標準偏差で正規化した値の割合を寄与率として算出する。この実施形態では正常値との差分を用いたが、異常度の勾配ベクトル成分を用いてもよい。なお、寄与率の算出方法は上述した方法に限られない。各特徴量の寄与率は別の基準を用いて算出されてもよい。

ステップＳ２０３において、寄与率算出部１４は、算出した寄与率が予め定められた閾値を超えたかを判定する。算出した寄与率が閾値を超えた場合、寄与率算出部１４はステップＳ２０５の処理に進む。一方、算出した寄与率が閾値を超えていない場合、寄与率算出部１４はステップＳ２０５およびＳ２０６の処理をスキップする。

ステップＳ２０５において、異音生成部１５は、算出された寄与率が閾値を超える特徴量を抽出する。ステップＳ２０６において、異音生成部１５は、抽出した特徴量に対応する異音テンプレートデータベース２２の配列値を保持する。ステップＳ２０６の処理を終えると、異音生成部１５は、ステップＳ２０１の処理に戻り、未だ処理対象としていない特徴量について、ステップＳ２０１乃至Ｓ２０６の処理を行う。

図５は、異音テンプレートデータベース２２の内容の一例を示す図である。異音テンプレートデータベース２２には、異なる音声の特徴を有する異音テンプレートが複数記憶されている。この例では、複数のパラメータ（音量、テンポ、音質、定位、等）と複数の特徴量とが予め対応付けられており、算出された異常度および寄与率に応じた特徴を有する異音信号が異音テンプレートが登録されている。異音テンプレートは例えば、予め用意された音声データが加工されたデータである。予め用意された音声データは例えば、対象装置３０が正常に稼働している場合に聴こえるモータ音である。異音テンプレートは例えば、予め用意された音声データのキーの高低、音量（大小）、テンポ（長短）、音質（波形）、および／または定位（位置）が変化された音声データである。音質には、例えば、きしむ音、すれる音などの音の特徴も含まれる。この場合、キーの高低、音量、テンポ、音質、および定位等により、異常の発生要因の種類、異常度および／または各発生要因の寄与率等が表された異音信号（異音テンプレート）が異音テンプレートデータベース２２に蓄積される。

図５には、特徴量ｐ１１（例えば、サーボのトルクの平均値）と、特徴量ｐ１２（例えば、サーボの速度の最大値）との２種類のパラメータにより定義される２次元の座標空間に配置された異音テンプレートｓ＿ｔｍｐ[0,0]、ｓ＿ｔｍｐ[1,0]、…が例示されている。図５において、縦軸（ｙ軸）は特徴量ｐ１１の値を示し、横軸（ｘ軸）は特徴量ｐ１２の値を示す。なお、縦軸と横軸が示す値は特徴量の値に限られない。異常確率（異常度）または寄与率が縦軸または横軸により示されてもよい。

異音テンプレートｓ＿ｔｍｐ[0,0]、ｓ＿ｔｍｐ[1,0]、…は、それぞれ異なる音声データであってもよく、また、複数の領域において共通の音声データが用いられてもよい。なお、図５の例では、説明の理解を容易にすべく、２次元の座標空間における異音テンプレートの配置例が示されているが、実際にはこれより多い次元の座標空間が用いられる。すなわち、関連する特徴量の種類の数の軸により定義される多軸次元のデータベースが定義される。

図５に示される２次元の座標空間は、ｘ軸（特徴量ｐ１２）方向において幅ｗ１毎に区分され、ｙ軸（特徴量ｐ１１）方向において幅ｗ２毎に区分されることにより、複数の領域に区分されている。複数の領域にはそれぞれ異音テンプレートが対応付けられている。

上記の２次元の座標空間は、区分する単位領域が小さい（解像度が高い）ほど、より多くの異音テンプレートが用いられる。そのため、異音テンプレートデータベース２２に登録される異音テンプレートは、発生要因をより詳細に表す異音テンプレートとなる。一方、区分する単位領域が大きい（解像度が低い）ほど、用いられる異音テンプレートの数は少なくなる。異音テンプレートデータベース２２の解像度を高くすれば、より細かく区分された異音テンプレートを用いることができるため、対象装置３０に慣れた熟練者向けのデータベースとなる。一方、対象装置３０に慣れていないユーザに対しては、解像度の低い異音テンプレートデータベース２２を用いてもよい。

（異音テンプレートの生成処理の具体例）
ここで、異音テンプレートの生成処理の具体例について、図面を参照しつつ説明する。異音テンプレートとしては、例えば予め録音された音声データや、ＰＣなどの任意の情報処理装置において生成されたデータが用いられる。なお、異音テンプレートの生成処理は、例えばＰＣなどの任意の情報処理装置において予め行われ、ここで生成された異音テンプレートが異音テンプレートデータベース２２に予め格納される。

図６は、テンプレートの加工処理を説明するための図である。情報処理装置は、異常状態での特徴量ｐ３１（例えば、サーボｓ１の１サイクルの速度の標準偏差）の算出値と正常状態での値との差分の大きさに応じて、テンプレートの音声信号Ｓ１にノイズを付加し、音声信号Ｓ１１を生成する。また、他の例として、情報処理装置は、異常状態での特徴量ｐ３２（例えば、サーボｓ２の１サイクルのトルクの平均値）の算出値と正常状態での値との差分の大きさに応じて、音声信号Ｓ１のピッチを変化させ、音声信号Ｓ１２を生成する。

図７は、音声信号の合成処理を説明するための図である。音声信号Ｓ１１と音声信号Ｓ１２が合成されることによって、音声信号Ｓ１３が生成される。すなわち、音声信号Ｓ１３には、特徴量ｐ３１と特徴量ｐ３２の両方の算出値が反映されている。

次に、例えばモータの回転に関する異常などの、周期的にノイズが発生するような異常が生じている場合の異音テンプレートの生成例について説明する。

図８は、加工前のテンプレートの表す音声信号を例示する図であり、図９は、加工後の異音信号を例示する図である。図８において、音声信号Ｓ４１はモータの周期に合わせた音を表す音声信号である。この音声信号に、異音を表す信号がモータの周期に合わせた周期で合成されることにより、音声信号Ｓ４２により表される音声信号が生成される。図９の例では、モータの周期に合わせて例えば「ジッ」という疑似異音が発せられる。このような疑似異音によれば、周期的に動作する対象装置３０の異常の発生状況をよりリアルにユーザが感じることが可能となる。

また、上記では、異音を示す音声信号として、実際の装置が発生する稼働音に類似した音声を用いる例を示したが、これに限定されるものではない。例えば、異音を示す音声信号として、ユーザが音程を感じることが可能な音色を用いても良い。ユーザが音程を感じることが可能な音色としては、例えば所定の種類の楽器音のサンプリング音や、シンセサイザによって生成された電子音などが挙げられる。そして、異常度が低い場合は協和音を表す音声を異音テンプレートとして用意し、異常度が高いほど不協和度の高くなるような不協和音を表す音声を異音テンプレートとして用意しておいてもよい。すなわち、人間の感覚として、協和音は落ち着いたイメージとなり、不協和音は不安で落ち着かないイメージとなるので、異常の発生の度合いをユーザの感覚に適合した状態で伝達することが可能となる。

図３の説明に戻る。ステップＳ２０７において、異音生成部１５は、異音信号の生成処理において用いる異音テンプレートを特定する。この例で、異音生成部１５は、複数の特徴量の値の組合わせに応じて、異音テンプレートデータベース２２に記憶された異音テンプレートの中から１または複数の異音テンプレートを特定する。異音テンプレートデータベース２２の内容が図５に例示するものである場合、異音生成部１５は、図５の２次元の座標領域において、特徴量算出部１２により算出された複数の特徴量をプロットした位置を含む領域に対応する異音テンプレートを特定する。

ステップＳ２０８において、異音生成部１５は、寄与率に応じて複数の異音テンプレートのそれぞれの音量を設定する。すなわち、異音生成部１５は、複数の異音テンプレートの音量バランスを、各異音テンプレートに対応する特徴量の寄与率に応じて変化させる。以上により、算出された特徴量の値が反映された異音信号（音声信号）が生成される。

図１０は、「生波形モード」において疑似異音生成装置１０が実行する異音信号の生成処理の流れを例示するフローチャートである。図１０のフローチャートは、図２のステップＳ１０５の処理に対応する。図１０のステップＳ３０１乃至Ｓ３０４の処理は、特徴量算出部１２が算出した特徴量（処理の対象となる特徴量）の種類の数だけ繰り返される。

ステップＳ３０１において、異常度算出部１３は、複数の特徴量の各々について、対象装置３０における異常の発生度合いを示す異常度を算出する。異常度の算出処理は、上述の図３のステップＳ２０１で異常度算出部１３が行う処理と同様である。異常度の算出処理は、例えば、機械学習による正常分布からの距離を用いて算出されてもよい。

ステップＳ３０２において、寄与率算出部１４は、特徴量算出部１２により算出された複数の特徴量の各々について、対象装置３０における異常に対する寄与率を算出する。寄与率の算出処理は、上述の図３のステップＳ２０２で寄与率算出部１４が行う処理と同様である。

ステップＳ３０３において、異音生成部１５は、計測値波形を異音信号に変換する。この例で、異音生成部１５は、計測値波形の周波数を変調させて異音信号を生成する。異音生成部１５は例えば、計測値波形の周波数を、可聴帯域（例えば、２０～２０ｋＨｚ）の周波数に変換する。

また、異音生成部１５は、計測値波形と、予め用意されている正常時波形との差分波形によって異音信号を生成してもよい。正常時波形は、正常時波形データベース２３に記憶されている。

図１２は、異常時波形と正常時波形との差分によって異音信号を生成する処理を説明するための図である。対象装置３０に異常が発生している場合、計測値波形Ｓ３２と正常時波形Ｓ３１とは位相のずれが生じている。正常時波形Ｓ３１と計測値波形Ｓ３２の差分をとることにより、差分波形Ｓ３３が抜き出され、差分波形Ｓ３３を用いて異音信号が生成される。

図１３および図１４は、計測値波形と正常時波形との差分から異音信号を生成する処理を説明するための図である。正常時波形Ｓ５１は予め用意されている正常時波形であり、計測値波形Ｓ５２は計測値の波形を表す計測値波形である。計測値波形Ｓ５２は、対象装置３０が正常に稼働している場合、すなわち対象装置３０に異常が発生していない場合の計測値波形である。差分波形Ｓ３３は、正常時波形Ｓ５１と計測値波形Ｓ５２との差分を表す波形である。波形Ｓ５４は、差分波形Ｓ５３に対し、異常度が乗算された波形である。

図１３のように正常時波形同士でも波形が若干異なるので、差分波形としてはある程度の振動が生じてしまい、異常との差異が不明確になる虞がある。しかしながら、差分波形に異常度を乗算することによって、図１４のように振動を小さくできるので、正常と異常との差異を明確にすることができる。

なお、図１３および図１４に示す例では、位相の差を異常とみなさないように異常度を乗算している。一方、位相がずれていることを異常とみなすべき特徴量の場合も考えられる。

図１１は、位相のずれを異常とみなす場合の計測値波形を用いた異音信号の生成処理を説明するための図である。図１１の上段の例は、正常時波形Ｓ２１と計測値波形Ｓ２２とで位相の差がほとんどないため、差分が波形に出てこない（差分波形Ｓ２３参照）。一方、図１１の下段の例は、正常時波形Ｓ２４と計測値波形Ｓ２５とでは、波形の形状はほとんど同じであるが、位相がずれている場合を示している。この場合は、正常時波形Ｓ２４と計測値波形Ｓ２５との差分波形Ｓ２６は、比較的大きい振動を示す波形となっており、位相差による異常が表現されていることになる。つまり、特徴量の種類によって、異常度を乗じるべき場合と、異常度を乗じる必要がない場合とがある。なお、異常度が小さければ異常度を乗じてもほぼ無音になるので、常に乗じていてもよい。

図１０の説明に戻る。ステップＳ３０４において、異音生成部１５は、寄与率に応じて異音信号の音量を設定する。すなわち、異音生成部１５は、異音信号の音量バランスを、各異音信号に対応する特徴量の寄与率に応じて変化させる。以上により算出された特徴量の値が反映された異音信号が生成される。

§４ 効果
本実施形態では、対象装置３０において発生する異常の発生度合いおよびその異常に関する複数の発生要因の寄与度が可聴化される。従って、対象装置３０のユーザは、本実施形態に係る疑似異音生成装置により生成される信号により表される疑似異音を聴取することにより、本来聴こえない装置の異常をユーザに疑似体験させることができる。また、本実施形態によれば、装置における異常の発生状況をより具体的に把握することができる。

〔実施形態２〕
本発明の実施形態２が、以下に説明される。なお、説明の便宜上、上記実施形態にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付記し、その説明は繰り返されない。

（異音信号の生成動作）
図１５は、疑似異音生成装置１０が行う、異音信号の生成処理の流れを例示するフローチャートである。なお、一部のステップは並行して、または、順序を替えて実行されてもよい。図１５に示される処理は、上記実施形態にて説明した図２の処理に対応するものである。図１５に示される処理が、上記実施形態にて説明した図２の処理と異なる点は、図２のステップＳ１０３の処理を行わず、ステップＳ１０４とステップＳ１０５の処理が両方とも実行される点である。

この実施形態では、ステップＳ１０６において、異音生成部１５は、ステップＳ１０４で生成された複数の異音信号、および、ステップＳ１０５で生成された複数の異音信号を合成する。

（効果）
実施形態２に係る疑似異音生成装置１０によれば、特徴量と異音テンプレートとを用いて生成された異音信号と、計測値波形から生成された異音信号とが合成された異音信号が生成される。従って、対象装置３０のユーザは、本実施形態に係る疑似異音生成装置により生成される信号により表される疑似異音を聴取することにより、装置における異常の発生状況をより具体的に把握することができる。

〔ソフトウェアによる実現例〕
疑似異音生成装置１０の制御ブロック（特に、取得部１１、特徴量算出部１２、異常度算出部１３、寄与率算出部１４、および異音生成部１５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、疑似異音生成装置１０は、例えば、コンピュータ（電子計算機）を用いて構成される。

図１６は、疑似異音生成装置１０として用いられるコンピュータの物理的構成を例示したブロック図である。疑似異音生成装置１０は、図１５に示すように、バス１１０、プロセッサ１０１、主メモリ１０２、補助メモリ１０３、通信インタフェース１０４、および入出力インタフェース１０５を備えたコンピュータによって構成可能である。プロセッサ１０１、主メモリ１０２、補助メモリ１０３、通信インタフェース１０４、および入出力インタフェース１０５は、バス１１０を介して互いに接続されている。入出力インタフェース３０５には、入力装置３０６、出力装置３０７、および計測装置３１が接続されている。

プロセッサ１０１としては、例えば、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。主メモリ１０２としては、例えば、半導体ＲＡＭ（random access memory）等が用いられる。

補助メモリ１０３としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはこれらの組み合わせ等が用いられる。補助メモリ１０３には、上述した疑似異音生成装置１０の動作をプロセッサ１０１に実行させるための制御プログラムが格納されている。プロセッサ１０１は、補助メモリ１０３に格納された制御プログラムを主メモリ１０２上に展開し、展開した制御プログラムに含まれる各命令を実行する。また、補助メモリ１０３には、当該コンピュータを疑似異音生成装置１０として動作させるためにプロセッサ１０１が参照する各種データが格納されている。

通信インタフェース１０４は、ネットワーク（図示略）に接続するインタフェースである。

入出力インタフェース１０５としては、例えば、ＵＳＢインタフェース、赤外線若しくはBluetooth（登録商標）等の近距離通信インタフェース、またはこれらの組み合わせが用いられる。

入力装置１０６としては、例えば、キーボード、マウス、タッチパッド、マイク、またはこれらの組み合わせ等が用いられる。出力装置１０７としては、例えば、ディスプレイ、プリンタ、スピーカ、またはこれらの組み合わせが用いられる。

この例で、プロセッサ１０１は、取得部１１、特徴量算出部１２、異常度算出部１３、寄与率算出部１４、および異音生成部１５の一例である。出力装置１０７はスピーカ４０の一例である。入力装置１０６はＵＩ部の一例である。

なお、上述した制御プログラムは、補助メモリ１０３に記憶される代わりに、外部記録媒体に記録され、外部記録媒体から読み込まれることにより該当するコンピュータに供給されてもよい。外部記録媒体としては、コンピュータ読み取り可能な「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等を用いることができる。また、上述した制御プログラムは、伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介してコンピュータに供給されてもよい。また、本発明の一態様は、制御プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔変形例〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

上述の各実施形態では、疑似異音生成装置１０、データベース２０、対象装置３０、計測装置３１、およびスピーカ４０がそれぞれ別体の装置として記載されていたが、これらのうちの少なくとも一部が一体の装置として構成されていてもよい。例えば、疑似異音生成装置１０とデータベース２０とが一体の装置として構成されていてもよい。

上述の実施形態１では、疑似異音生成装置１０は、ユーザ操作により疑似異音の生成モードを切り替えた（図２のステップＳ１０３）。生成モードを切り替える条件は、上述した実施形態で示したものに限定されない。例えば、疑似異音生成装置１０は、異常度（または寄与率）が高い特徴量の種類に応じてモードの切り替えを行ってもよい。この場合、特徴量の種類とモードの種類とを対応付けたテーブルを予め用意しておき、疑似異音生成装置１０が、異常度（または寄与率）が所定の条件を満たす（例えば、所定の閾値よりも高い）特徴量の種類を特定し、特定した特徴量の種類に対応するモードを選択してもよい。また、例えば、疑似異音生成装置１０は、算出された異常度の値に応じてモードの切り替えを行ってもよい。例えば、疑似異音生成装置１０は、異常度が所定の閾値以上である場合には特徴量モードに切り替える、といった制御を行ってもよい。

上述の実施形態１では、疑似異音生成装置１０が、生波形モードか特徴量モードかを判定し、設定されているモードに対応する手法で異音信号を生成した（図２のステップＳ１０３乃至Ｓ１０５）。これに対し、モードの切替が行われない構成であってもよい。すなわち、疑似異音生成装置１０が、いずれか一方の手法で異音信号を生成する構成であってもよい。

１ 異音生成システム
１０ 異音生成装置
１１ 取得部
１２ 特徴量算出部
１３ 異常度算出部
１４ 寄与率算出部
１５ 異音生成部
２０ データベース
２１ 特徴量データベース
２２ 異音テンプレートデータベース
２３ 正常時波形データベース
３０ 対象装置
３１ 計測装置
４０ スピーカ

Claims (10)

1. 異常検知の対象である装置の稼働状況に関する１種類以上の計測値を取得する取得部と、
   前記計測値から複数の特徴量を算出する特徴量算出部と、
   複数の前記特徴量を用いて、前記装置における異常の発生度合いを示す異常度を算出する異常度算出部と、
   複数の前記特徴量の各々について、前記異常に対する寄与率を算出する寄与率算出部と、
   疑似異音の信号を生成する異音生成部と、を備え、
   前記異音生成部は、前記疑似異音の複数のパラメータと複数の前記特徴量とを対応付けて、前記疑似異音を前記異常度および前記寄与率に応じて変化させる、疑似異音生成装置。
2. 前記異常度算出部は、前記特徴量と、予め用意されている正常時の特徴量とに基づいて前記異常度を算出する請求項１に記載の疑似異音生成装置。
3. 前記異音生成部は、前記疑似異音の信号を、テンプレートとして記録されている音声データに基づいて生成する請求項１または２に記載の疑似異音生成装置。
4. 前記異音生成部は、前記疑似異音の信号を、複数の前記特徴量の値の組合せに応じて特定される前記音声データに基づいて生成する請求項３に記載の疑似異音生成装置。
5. 前記異音生成部は、前記疑似異音の信号を、前記計測値の変動を示す計測値波形に基づいて生成する請求項１から４のいずれか１項に記載の疑似異音生成装置。
6. 前記異音生成部は、前記計測値波形の周波数を変調させて前記疑似異音の信号を生成する請求項５に記載の疑似異音生成装置。
7. 前記異音生成部は、前記計測値波形と、予め用意されている正常時波形との差分波形によって前記疑似異音の信号を生成する請求項５または６に記載の疑似異音生成装置。
8. 前記異音生成部は、前記複数の特徴量のそれぞれに対応する音声信号を合成することにより前記疑似異音の信号を生成し、複数の前記音声信号の音量バランスを前記寄与率に応じて変化させる請求項１から７のいずれか１項に記載の疑似異音生成装置。
9. 前記異音生成部は、前記疑似異音の音量を前記異常度に応じて変化させる請求項１から８のいずれか１項に記載の疑似異音生成装置。
10. 請求項１から９のいずれか１項に記載の疑似異音生成装置としてコンピュータを機能させるための制御プログラムであって、
    前記取得部、前記特徴量算出部、前記異常度算出部、前記寄与率算出部、および前記異音生成部としてコンピュータを機能させるための制御プログラム。

Images