JP7117573B2 - 音状態表示方法、音状態表示装置および音状態表示システム - Google Patents

Description

本開示は、検査対象物の発する音の状態を表示する音状態表示方法、音状態表示装置および音状態表示システムに関する。

生産工場等において、対象物または対象空間等の音を収音し、取得した音データを解析して異常の検知、製品の良否判定などを行うシステムが従来用いられている。この種の解析に用いられる装置として、例えば特許文献１には、振動部を有する製品の種々の正常、異常を安定して判定することができる異常判定方法および装置が開示されている。特許文献１は、計測データから時間軸波形を求め該時間軸波形を解析する時間軸波形解析と、計測データから周波数軸波形を求め該周波数軸波形を解析する周波数軸波形解析とを実行し、時間軸波形解析および周波数軸波形解析の総合判定結果から製品の異常を判定する。

日本国特開平１１－１７３９０９号公報

特許文献１の構成では、検査対象物の発する音の状態の良し悪しを確認する検査員に対し、その検査対象物の発する音の状態（以下、音状態）をユーザインターフェースによって分かり易く提示することは想定されていない。従って、検査員が熟練者でない素人である場合等、検査員が検査業務に不慣れである場合には、検査対象物の正常、異常の状態把握が困難となり、例えば異常がある場合の原因究明が容易ではなかった。一方、検査員が素人でない熟練者である場合、検査対象物がどのようにして異常なしと判定されたかの機械処理を熟練者に納得させるために可視化したいという要望があった。

本開示は、上述した従来の状況に鑑みて案出され、検査対象物の正常、異常の状態を検査員に対して分かり易く提示し、検査員の検査業務の利便性の向上を支援する音状態表示方法、音状態表示装置および音状態表示システムを提供することを目的とする。

本開示は、検査対象物の発する音が収音された音データを取得するステップと、前記音データに基づいて、前記検査対象物の異常の有無を規定するための複数の指標に関する解析処理を実行するステップと、前記解析処理の結果に基づいて、前記検査対象物の発する音の音状態を前記複数の指標をそれぞれ軸としたグラフに対し、前記音状態を示す音状態点をプロットした音状態画面を生成するステップと、生成された前記音状態画面を表示デバイスに表示するステップと、前記音状態画面にプロットされた前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する特性波形の選択画面を表示するステップと、を有する、音状態表示方法を提供する。

また、本開示は、検査対象物の発する音が収音された音データを取得する取得部と、前記音データに基づいて、前記検査対象物の異常の有無を規定するための複数の指標に関する解析処理を実行する解析部と、前記解析処理の結果に基づいて、前記検査対象物の発する音の音状態を前記複数の指標をそれぞれ軸としたグラフに対し、前記音状態を示す音状態点をプロットした音状態画面を生成する生成部と、生成された前記音状態画面を表示デバイスに表示する表示制御部と、を備え、前記表示制御部は、前記音状態画面にプロットされた前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する特性波形の選択画面を表示する、音状態表示装置を提供する。

また、本開示は、検査対象物の発する音が収音された音データを取得する取得部と、前記音データに基づいて、前記検査対象物の異常の有無を規定するため複数の指標に関する解析処理を実行する解析部と、前記解析処理の結果に基づいて、前記検査対象物の発する音の音状態を前記複数の指標をそれぞれ軸としたグラフに対し、前記音状態を示す音状態点をプロットした音状態画面を生成する生成部と、生成された前記音状態画面を表示デバイスに表示する表示制御部と、を備え、前記表示制御部は、前記音状態画面にプロットされた前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する特性波形の選択画面を表示する、音状態表示システムを提供する。

本開示によれば、検査対象物の正常、異常の状態を検査員に対して分かり易く提示でき、検査員の検査業務の利便性の向上を支援できる。

実施の形態１に係る音状態表示システムのシステム構成例を示すブロック図 実施の形態１に係る音状態表示システムにおける情報処理装置のシステム構成例を示すブロック図 検査対象物の収音に関する第１のユースケースを示す説明図 検査対象物の収音に関する第２のユースケースを示す説明図 音状態遷移表示画面の一例を示す図 波形表示画面の一例を示す図 周波数表示画面の一例を示す図 脈動表示画面の一例を示す図 表示画面の遷移例を示す説明図 実施の形態１に係る検査対象物の発する機械音の収音および異常検知に関する動作手順例を示すフローチャート 実施の形態１に係る音状態遷移表示画面の生成に関する動作手順例を示すフローチャート 実施の形態１に係る表示画面の生成手順例を示すフローチャート 実施の形態１に係る音状態表示システムの他のシステム構成例を示すブロック図

以下、適宜図面を参照しながら、本開示に係る音状態表示方法、音状態表示装置および音状態表示システムの構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（音状態表示システムの構成）
図１Ａは、実施の形態１に係る音状態表示システム１０００のシステム構成例を示すブロック図である。図１Ｂは、実施の形態１に係る音状態表示システム１０００における情報処理装置１４０のシステム構成例を示すブロック図である。実施の形態１では、検査員により１つまたは複数のマイクを用いて検査対象エリア内に設置されている検査対象物の発する音（例えば機械音）を収音し、収音により取得された音データを解析して検査対象物の異常の有無を検知ならびにその結果を表示する音状態表示システム１０００を例示して説明する。音状態表示システム１０００は、１つまたは複数のマイク１１０と、オーディオインターフェース１２０と、情報処理装置１４０とを含む構成である。図１Ａでは、マイクを「ＭＩＣ」、インターフェースを「Ｉ／Ｆ」と便宜的に表記している。なお、図１Ａに示す音状態表示システム１０００は、マイク１１０の代わりに振動センサを用いて、その振動センサの出力を処理可能なオーディオインターフェース１２０を用いることにより、取得した振動波形データを解析して異常の有無を検知してもよい。この場合、音状態表示システム１０００による解析処理の対象となるデータは、音データの代わりに振動波形データとなる。音は空気の振動であるので、音状態表示システムは、同様に検査対象物の発する音の異常の有無を検知可能と言える。

マイク１１０は、検査対象エリア内の検査対象物（例えば空調機、コンプレッサ、大型サーバのファン、産業用機械に設けられたモータ等の機械部品）の発する音（音波）を入力（収音）して電気信号のオーディオ信号（または振動波形信号、以下同様）として出力する収音デバイスを有して構成される。マイク１１０は、検査対象物の発する音（例えば機械音）を収音すると、その音に係るオーディオ信号をオーディオインターフェース１２０に伝送する。なお、検査対象物は、上述した空調機、コンプレッサ、大型サーバのファン、産業用機械に設けられたモータ等の機械部品に限定されない。

オーディオインターフェース１２０は、マイク１１０の収音により得られたオーディオ信号を各種の信号処理が可能なデジタルデータに変換するオーディオ入力用のインターフェースである。オーディオインターフェース１２０は、入力部１２１と、ＡＤコンバータ１２２と、バッファ１２３と、通信部１２４とを含む構成である。図１Ａでは、ＡＤコンバータを「ＡＤＣ」と便宜的に表記している。

入力部１２１は、オーディオ信号を入力する入力端子を有する。

ＡＤコンバータ１２２は、所定の量子化ビットおよびサンプリング周波数によってアナログのオーディオ信号をデジタルの音データ（または振動波形データ、以下同様）に変換する。ＡＤコンバータ１２２のサンプリング周波数は、例えば４８ｋＨｚである。

バッファ１２３は、音データを保持するメモリを有し、所定時間分の音データをバッファリングする。バッファ１２３のバッファ容量は、例えば４０ｍｓｅｃ程度とする。このように比較的小さなバッファ容量とすることによって、音状態表示システム１０００における録音処理等の遅延を小さくすることが可能である。

通信部１２４は、例えばＵＳＢ（Universal Serial Bus）等の通信インターフェースを有し、情報処理装置１４０等の外部機器との間でデータの送受信が可能になっている。通信部１２４は、ＡＤコンバータ１２２により変換されたデジタルの音データを情報処理装置１４０に伝送する。

情報処理装置１４０は、例えばプロセッサおよびメモリ等のハードウェア部品を有するＰＣ（Personal Computer）等により構成され、検査対象物の発する音（言い換えると、マイク１１０により収音された音）の解析処理、解析結果の分析処理、音状態遷移表示画面（後述参照）の生成処理や表示処理等に関する各種の情報処理を実行する。以下、マイク１１０により収音された音を「収録音」と称する。情報処理装置１４０は、ＰＣの代わりにタブレット端末、スマートフォン等の各種の情報処理装置を用いて構成されてもよい。情報処理装置１４０は、通信部１４１と、処理部１４２と、記憶部１４３と、操作入力部１４４と、表示部１４５とを含む構成である。

通信部１４１は、例えばＵＳＢ（Universal Serial Bus）等の通信インターフェースを有した通信回路を用いて構成され、オーディオインターフェース１２０等の外部機器との間でデータの送受信が可能になっている。通信部１４１は、オーディオインターフェース１２０から伝送される収録音の音データを入力する。

処理部１４２は、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）あるいはＦＰＧＡ（Field Programmable Gate Array）等のプロセッサを用いて構成される。処理部１４２は、記憶部１４３に記憶されている所定のプログラムに従って、各種の処理（例えば、収録音の解析処理、解析結果の分析処理、音状態遷移表示画面の生成処理および表示処理）を実行する。

収録音の解析処理とは、マイク１１０により収音（収録）された検査対象物の発する音を、検査対象物の異常の有無を判別するために、１つもしくは複数（例えば２つ）の異なる指標の観点で、基準状態（つまり正常状態）の特性からの変化量、突発的な異音が発生する頻度の傾向をそれぞれ解析する処理である。ここで、複数の異なる指標は、例えば検査対象物が定常的に発する音（定常音）の変化の度合いあるいは変化量と、検査対象物が突発的に発する音の発生頻度である。

解析結果の分析処理とは、解析処理の結果と記憶部１４３に記憶されている照合用データベース（後述参照）とに基づいて、解析処理の結果から検査対象物のどの箇所に異常の原因が生じているかを特定する処理である。

音状態遷移表示画面の生成処理および表示処理とは、上述した１つもしくは複数の異なる指標に基づいて検査対象物の発する音の状態を視覚的に示す音状態遷移表示画面（音状態画面の一態様）を生成したり、表示部１４５に表示したりする処理である。音状態遷移表示画面ＷＤ１の詳細については、図２を参照して後述する。

また、処理部１４２は、ソフトウェア等による機能的構成として、音声入力部１５０と、音声区間検出部１５１と、特徴抽出部１５２と、判定部１５３と、判定結果統合部１５４と、ＧＵＩ（Graphical User Interface）１５５と、再生処理部１５６と、を有する。

音声入力部１５０は、通信部１４１からマイク１１０により収音（収録）された検査対象物の発する収録音の入力を受け付ける。音声入力部１５０は、入力された収録音を音声区間検出部１５１に出力するとともに、記憶部１４３にＷａｖ形式で出力し、記憶させる。なお、音声入力部１５０は、収録音をＷａｖ形式で記憶されてよい。

音声区間検出部１５１は、ユーザ操作により入力された検査対象物の設置場所、検査対象物、収音時刻のそれぞれに基づいて、音声入力部１５０から入力された一定期間分の収録音のうち検査対象物の音が収音された音声区間を検出する。音声区間検出部１５１は、音声区間の検出結果を特徴抽出部１５２に出力する。

特徴抽出部１５２は、音声区間検出部１５１から入力された検出結果が示す音声区間において解析処理を実行する。特徴抽出部１５２は、例えばＦＦＴ（Fast Fourier Transform）、音量変化、脈動抽出等の複数の解析方法のそれぞれを用いて解析処理を実行し、解析方法ごとの解析結果として得られた解析方法ごとの特徴点をそれぞれ抽出する。なお、図１Ｂに示す解析処理方法は、一例であり、これに限定されない。また、特徴抽出部１５２が実行可能なこれらの解析方法は、検査対象物に応じて選択されるとともに、ユーザが希望する場合に既存の解析方法に他の解析方法がオプション機能として追加可能であってよい。特徴抽出部１５２は、抽出された特徴点に関する情報を判定部１５３に出力する。

判定部１５３は、特徴抽出部１５２から入力された複数の特徴点のそれぞれについて、異常の有無を判定する。判定部１５３は、各手法あるいは機能（例えばＦ（frequency）特判定ＥＬ１、音量判定ＥＬ２、脈動判定ＥＬ３、ＤＮＮ（deep neural network）ＥＬ４、ＳＶＮ（Sub Version）ＥＬ５、決定木ＥＬ６等）を備え、これらの機能を用いて各解析方法により解析された特徴点について異常の有無を判定する。なお、判定部１５３は、検査対象物あるいは検査対象物の設置場所に応じて、判定に用いる手法あるいは機能を選択してよい。

判定部１５３は、各手法あるいは機能のそれぞれによって判定された特徴点ごとの異常の有無についての判定結果を判定結果統合部１５４に出力する。なお、これらの機能は一例であり、図１Ｂに示す機能に限定されないことは言うまでもない。また、これらの機能は、ユーザにより任意に選択された機能がオプションとして追加され、判定部１５３に備えられてよい。これにより、ユーザは、検査対象物あるいは検査対象物の設置場所等に応じて、より適応的な機能のみを備えた情報処理装置１４０を実現できる。

判定部１５３が備える機能のうち、Ｆ特判定ＥＬ１、音量判定ＥＬ２、脈動判定ＥＬ３のそれぞれは、記憶部１４３に記憶された異常の有無の判定に用いられる各種閾値の情報を記憶する閾値調整パラメータＭＭ１、あるいは検査対象物、検査対象物の設置場所等に応じて異常の有無を判定するためのルールを記憶する判定ルールＭＭ２からの最新データの入力により、データの更新が行われてよい。同様に、判定部１５３が備える機能のうち、ＤＮＮＥＬ４、ＳＶＮＥＬ５、決定木ＥＬ６のそれぞれは、記憶部１４３に記憶された学習モデルＭＤ１からの最新モデルデータの入力により、データの更新が行われてよい。なお、これらの機能のデータ更新は、ユーザ操作によって実行されてよい。

ここで、各種判定機能について説明する。Ｆ特判定ＥＬ１は、収録音の周波数特性に基づいて特徴点の解析を実行し、異常の有無を判定可能にする機能である。音量判定ＥＬ２は、収録音の音量に基づいて特徴点の解析を実行し、異常の有無を判定可能にする機能である。脈動判定ＥＬ３は、収録音の脈動特性に基づいて特徴点の解析を実行し、異常の有無を判定可能にする機能である。ＤＮＮＥＬ４は、ＤＮＮを用いて、収録音における特徴点の解析を実行し、異常の有無を判定可能にする機能である。ＳＶＮＥＬ５は、ＳＶＮを用いて収録音における特徴点の解析を実行し、異常の有無を判定可能にする機能である。決定木ＥＬ６は、決定木を用いて収録音における特徴点の解析を実行し、異常の有無を判定可能にする機能である。これらの各種判定機能は、Ｆ特判定ＥＬ１、音量判定ＥＬ２、脈動判定ＥＬ３等の記憶部１４３に記憶された閾値調整パラメータＭＭ１あるいは判定ルールＭＭ２に基づく解析を実行する機能、あるいはＤＮＮＥＬ４、ＳＶＮＥＬ５、決定木ＥＬ６等の学習モデルＭＤ１が有する学習データに基づく解析を実行する機能等により実現される。

判定結果統合部１５４は、判定部１５３から入力された各手法あるいは機能によって判定された判定結果に基づいて、収録音から抽出された特徴点ごとの異常の有無の判定結果を統合する。判定結果統合部１５４は、統合された判定結果を記憶部１４３に出力して記憶させるとともに、ＧＵＩ１５５に出力する。なお、判定結果統合部１５４は、統合された判定結果だけでなく、判定部１５３から入力された判定結果を記憶部１４３に出力してよい。さらに、判定結果統合部１５４は、判定部１５３から入力された判定結果について、判定された各手法あるいは機能の情報と関連付けを実行した後、記憶部１４３に出力してよい。これにより、記憶部１４３における閾値調整パラメータＭＭ１、判定ルールＭＭ２および学習モデルＭＤ１は、これらの判定結果に基づいてより効率的に学習を実行し、更新データあるいは更新モデルを生成できる。

ＧＵＩ１５５は、所謂ＵＩ（ユーザインターフェース）であり、操作入力部１４４から入力されたユーザの入力操作に基づいて、判定結果統合部１５４から入力された判定結果から表示部１４５に表示させる各種画面（例えば、後述する波形表示画面ＷＤ２（図４参照）、周波数表示画面ＷＤ３（図５参照）あるいは脈動表示画面ＷＤ４（図６参照）等）を生成する。ＧＵＩ１５５は、生成する画面をウィンドウあるいは罫線で区切る処理、操作対象物（例えば、時間、日付、表示する検査対象物等）を絵あるいは図形で表示する処理等を実行する。ＧＵＩ１５５は、生成された画面を表示部１４５に入力する。

再生処理部１５６は、後述する波形表示画面ＷＤ２（図４参照）、周波数表示画面ＷＤ３（図５参照）あるいは脈動表示画面ＷＤ４（図６参照）が表示部１４５に表示されている場合に、波形表示画面ＷＤ２、周波数表示画面ＷＤ３あるいは脈動表示画面ＷＤ４に対するユーザ操作により、指定された期間に収録（収音）された音を、スピーカ１６１から音響出力する。

記憶部１４３は、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等による半導体メモリと、ＳＳＤ（Solid State Drive）あるいはＨＤＤ（Hard Disk Drive）等によるストレージデバイスのうちいずれかとを含む記憶デバイスを有する。記憶部１４３は、閾値調整パラメータＭＭ１と、判定ルールＭＭ２と、学習モデルＭＤ１と、を備え、処理部１４２が実行する処理を規定するプログラム、音状態表示システム１０００に関する各種の設定データ、異常の有無を解析する際に用いられる学習データ、オーディオインターフェース１２０から伝送された音データ等の各種のデータを生成または記憶する。また、記憶部１４３は、検査対象物の収録音の解析処理の結果と検査対象物に生じている異常の原因とを予め対応付けて定義した照合用データベースを記憶保持している。なお、この照合用データベースは、適宜アップデートされてよい。

学習データを生成するための学習は、１つ以上の統計的分類技術を用いて行っても良い。統計的分類技術としては、例えば、線形分類器（linear classifiers）、サポートベクターマシン（support vector machines）、二次分類器（quadratic classifiers）、カーネル密度推定（kernel estimation）、決定木（decision trees）、人工ニューラルネットワーク（artificial neural networks）、ベイジアン技術および／またはネットワーク（Bayesian techniques and/or networks）、隠れマルコフモデル（hidden Markov models）、バイナリ分類子（binary classifiers）、マルチクラス分類器（multi-class classifiers）、クラスタリング（a clustering technique）、ランダムフォレスト（a random forest technique）、ロジスティック回帰（a logistic regression technique）、線形回帰（a linear regression technique）、勾配ブースティング（a gradient boosting technique）等が挙げられる。但し、使用される統計的分類技術はこれらに限定されない。さらに、学習データの生成は、情報処理装置１４０内の処理部１４２で行われても良いし、例えばネットワークを用いて情報処理装置１４０と接続されるサーバ装置３４０（図９参照）で行われても良い。また、取得する音データの判定目的は、故障時や不良発生時の異音検知だけでなく、音の分類や音声認識を行うための学習用音データを収集することであってもよい。

操作入力部１４４は、キーボード、マウス、タッチパッド、タッチパネル等の入力デバイスを有する。操作入力部１４４は、音状態表示システム１０００の機能に関するユーザ操作を処理部１４２に入力する。

表示デバイスの一例としての表示部１４５は、例えば液晶ディスプレイあるいは有機ＥＬ（Electroluminescence）ディスプレイ等の表示デバイスを用いて構成される。表示部１４５は、処理部１４２により生成される音状態遷移表示画面、波形表示画面、周波数表示画面を表示する。以下では、操作入力部１４４として、表示部１４５において上部にタッチパネルが設けられた構成を想定し、表示画面に各種の操作オブジェクトが表示され、ユーザが操作オブジェクトをタッチ操作する場合の動作を例示する。なお、表示部１４５は、情報処理装置１４０に内蔵されずに外付けされるディスプレイ端末（図２Ａ参照）であってもよい。

スピーカ１６１は、例えば情報処理装置１４０に内蔵された音響出力素子であり、再生処理部１５６により再生処理の対象となる音データを音響出力する。なお、スピーカ１６１は、情報処理装置１４０に内蔵されずに外付けされる音響出力素子であってもよい。

次に、実施の形態１に係る音状態表示システム１０００における検査対象物の収音に関する２種類のユースケース例について、図２Ａおよび図２Ｂを参照して説明する。図２Ａは、検査対象物の収音に関する第１のユースケースを示す説明図である。図２Ｂは、検査対象物の収音に関する第２のユースケースを示す説明図である。

第１のユースケースでは、据置型の収音機材（後述参照）が検査対象エリアに常時設置され、長期間にわたって検査対象物の発する音が収録（収音）される。

第２のユースケースでは、検査対象エリアに入った検査員によって携帯型の収音機材（後述参照）が所持された状態で、短期間、検査対象物の発する音が収録（収音）される。

図２Ａに示す第１のユースケースでは、検査対象エリアＡＲ１に収音機材（例えばマイク１１０、オーディオインターフェース１２０、情報処理装置１４０、表示部１４５のセット）が、検査対象物ＭＣ１，ＭＣ２，ＭＣ３のそれぞれに１つずつ対応して設置される。つまり、収音機材を用いたサービスの開始時に収音機材が設置され、そのサービスが終了するまで収音機材の設置が継続される。それぞれの収音機材を構成するマイク１１０は、常時、検査対象物ＭＣ１，ＭＣ２，ＭＣ３のそれぞれの発する音を収録（収音）する。収音機材を構成する情報処理装置１４０は、対応するオーディオインターフェース１２０を介して検査対象物の発する音（収録音）の一定期間（データ収録期間）分の音データを取得すると、その取得の度に解析処理を繰り返して定期的に実行する。

図２Ｂに示す第２のユースケースでは、検査対象エリアＡＲ１に収音機材（例えばマイク１１０、オーディオインターフェース１２０および表示部１４５を一体に含んだ構成のスマートフォン等の情報処理装置１４０Ａ）が、検査対象エリアＡＲ１に入り込んだ検査員に所持された状態で、検査対象物ＭＣ１，ＭＣ２，ＭＣ３のそれぞれごとにスポット的に順次、短期間の収録（収音）がなされる。つまり、収音機材を用いたサービスの開始時に収音場所の検討がなされ、そのサービスが終了するまで、収音機材を用いたそれぞれの検査対象物の発する音が短期間、収録（収音）される。収音機材を構成する情報処理装置１４０Ａのマイク１１０は、検査対象物ＭＣ１，ＭＣ２，ＭＣ３のそれぞれの発する音を随時、収録（収音）する。収音機材を構成する情報処理装置１４０Ａは、検査対象物の発する音（収録音）の一定期間（データ収録期間）分の音データを取得すると、その取得の度に解析処理を繰り返して定期的に実行する。

次に、情報処理装置１４０の表示部１４５に表示される各種の表示画面の種類ならびに表示画面の遷移例について、図３、図４、図５及び図７を参照して説明する。図３は、音状態遷移表示画面ＷＤ１の一例を示す図である。図４は、波形表示画面ＷＤ２の一例を示す図である。図５は、周波数表示画面ＷＤ３の一例を示す図である。図７は、表示画面の遷移例を示す説明図である。図４および図５の説明において、図３の説明と重複する要素については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

図３に示すように、音状態遷移表示画面ＷＤ１は、検査対象物の発する音の収録（収音）に関する書誌情報ＢＩＢ１と、音状態遷移グラフＧＰＨ１と、分析内容ＲＳＴ１とを視覚的に示す表示画面である。書誌情報ＢＩＢ１では、ユーザ操作によって指定された、検査対象物の発する音が収録（収音）された場所、日時および基準選択時刻のそれぞれが示される。図３の例では、検査対象物の設置場所は「Ａ県工場０１」であり、検査対象物の名称は「機器０１」であり、検査対象物の音状態遷移グラフＧＰＨ１の基準状態を特定する日時は「２０１８年９月１０日、午前１０：００：３０」である。つまり、図３の音状態遷移グラフＧＰＨ１は、「２０１８年９月１０日、午前１０：００：３０」を基準の日時（言い換えると、起点）として、基準の日時以降の検査対象物の発する音の状態に関する遷移状態を直感的かつ視覚的にユーザに提示する。

音状態遷移グラフＧＰＨ１は、検査対象物の異常の有無を判別するために、ユーザ操作により指定された基準の日時以降の音状態を、定常音変化量の軸（横軸）と突発音頻度の軸（縦軸）の計２軸によって蓄積的にプロットしたグラフである。線Ｌ１は突発音頻度の基準状態（言い換えると、突発音の発生が無い正常状態）を示す。線Ｌ２は定常音変化量の基準状態（言い換えると、定常音の出力している定常状態）を示す。なお、定常音変化量の基準状態（言い換えると、定常音の出力している定常状態）は、線Ｌ２でなく縦軸の線でもよい。

図３の例では、音状態遷移グラフＧＰＨ１は、９月１０日の音状態を示す音状態点Ｐ１を基準として、９月１１日の音状態を示す音状態点Ｐ２、９月１２日の音状態を示す音状態点Ｐ３、９月１３日の音状態を示す音状態点Ｐ４のそれぞれがプロットされている。いずれかの音状態点（例えば９月１３日の音状態点）に対するユーザ操作（例えばマウス等の操作入力部１４４による右クリック操作）がなされると、処理部１４２は、その選択された音状態点に対応する詳細表示リストＤＴＬ１を音状態遷移グラフＧＰＨ１に表示するとともに、その選択された音状態点が示す日付（例えば９月１３日）に収録（収音）された検査対象物の発する音に対応する分析処理の結果を分析内容ＲＳＴ１として表示する。

分析内容ＲＳＴ１には、処理部１４２による解析処理の結果と、その結果に対応する処理部１４２による分析処理の結果とが文章（テキスト）によって示されている。図３の例では、「５回／１ｓｅｃ」の頻度で突発音が発生していること、「０ＫＨｚ～１０ＫＨｚの周波数帯」に定常音の変化が発生していることがそれぞれ分析内容ＲＳＴ１の一例（例えば解析処理の結果）として示され、更に、「ベルトの緩み、異物混入の可能性」が分析処理の結果として示されている。

詳細表示リストＤＴＬ１の「波形表示」に対するユーザ操作（例えばマウス等の操作入力部１４４による左クリック）がなされると、処理部１４２は、現在表示されている音状態遷移表示画面ＷＤ１を、そのユーザ操作により選択された「波形表示」に対応する波形表示画面ＷＤ２に切り替えて表示部１４５に表示する（図４および図７参照）。

図４に示すように、波形表示画面ＷＤ２は、検査対象物の発する音の収録（収音）に関する書誌情報ＢＩＢ２と、時間軸波形グラフＧＰＨ２と、分析内容ＲＳＴ１と、画面切替アイコンＯＲＧ１とを視覚的に示す表示画面である。書誌情報ＢＩＢ２では、書誌情報ＢＩＢ１の内容に加え、再生開始時刻設定欄ＳＴ１と再生ボタンＲＰ１とが更に追加されている。再生開始時刻設定欄ＳＴ１には、時間軸波形グラフＧＰＨ２に対応する音データの再生対象となる日時（例えば「２０１８年９月１０日の午前１０：００：４５」がユーザ操作により指定される。その上で、再生ボタンＲＰ１がユーザ操作により押下されると、再生処理部１５６は、その指定された再生開始時刻から音データを再生してスピーカ１６１から音響出力する。なお、再生処理部１５６は、音データの再生に合わせて、時間軸波形グラフＧＰＨ２のカーソル線ＣＲＴ１を推移して移動表示してよい。

時間軸波形グラフＧＰＨ２は、音状態遷移表示画面ＷＤ１においてユーザ操作により選択された日付の音状態点（例えば音状態点Ｐ４）の検査対象物の収録音の時間軸波形ＰＴＹ１を示す。横軸は時間を示し、縦軸は音圧を示す。ユーザ操作によりスクロールバーＳＣＢ１が左右方向（つまり時間軸方向）にスライドされると、処理部１４２は、そのユーザ操作に応じて、時間軸波形グラフＧＰＨ２の時間軸波形ＰＴＹ１をスクロールして表示する。なお、ユーザ操作により「音状態遷移表示画面の表示」と記載された画面切替アイコンＯＲＧ１が押下されると、処理部１４２は、現在表示されている波形表示画面ＷＤ２を、その波形表示画面ＷＤ２に対応する音状態遷移表示画面ＷＤ１に切り替えて表示部１４５に表示する（図３および図７参照）。

図５に示すように、周波数表示画面ＷＤ３は、検査対象物の発する音の収録（収音）に関する書誌情報ＢＩＢ２と、周波数軸波形グラフＧＰＨ３と、分析内容ＲＳＴ１と、画面切替アイコンＯＲＧ１とを視覚的に示す表示画面である。

周波数軸波形グラフＧＰＨ３は、音状態遷移表示画面ＷＤ１においてユーザ操作により選択された日付の音状態点（例えば音状態点Ｐ４）の検査対象物の収録音の周波数軸波形ＰＴＹ２を示す。横軸は周波数を示し、縦軸は音圧を示す。なお、ユーザ操作により、「音状態遷移表示画面の表示」と記載された画面切替アイコンＯＲＧ１が押下されると、処理部１４２は、現在表示されている周波数表示画面ＷＤ３を、その波形表示画面ＷＤ２に対応する音状態遷移表示画面ＷＤ１に切り替えて表示部１４５に表示する（図３および図７参照）。

図６は、脈動表示画面ＷＤ４の一例を示す図である。脈動表示画面ＷＤ４は、ユーザ操作により、画面切替アイコンＯＲＧ３のうち、脈動表示画面ＷＤ４を表示する画面切替アイコンＯＲＧ２が選択された際に表示される画面である。脈動表示画面ＷＤ４は、検査対象物の発する音の収録（収音）に関する書誌情報ＢＩＢ３と、周波数軸波形グラフＧＰＨ４と、画面切替アイコンＯＲＧ２，３のそれぞれとを視覚的に示す表示画面である。なお、画面切替アイコンＯＲＧ３は、他の表示画面（例えば、周波数解析、時間遷移表示、差分解析、波形解析、音状態遷移等）を表示可能な複数のアイコンのそれぞれを含み、ユーザ操作に基づいて画面遷移可能である。

書誌情報ＢＩＢ３は、再生開始時刻設定欄ＳＴ２と再生ボタンＲＰ１とを含んで生成される。再生開始時刻設定欄ＳＴ２には、周波数軸波形グラフＧＰＨ４に対応する音データの再生対象となる日時（例えば「２０１８年９月１３日の午前１０：００：３０」がユーザ操作により指定される。その上で、再生ボタンＲＰ１がユーザ操作により押下されると、再生処理部１５６は、その指定された再生開始時刻から音データを再生してスピーカ１６１から音響出力する。なお、再生処理部１５６は、音データの再生に合わせて、周波数軸波形グラフＧＰＨ４のスクロールバーＳＣＢ２が左右方向（つまり時間軸方向）にスライドされると、処理部１４２は、そのユーザ操作に応じて、周波数軸波形グラフＧＰＨ４の波形をスクロールして表示する。

周波数軸波形グラフＧＰＨ４は、脈動表示画面ＷＤ４においてユーザ操作により選択された日付の検査対象物の収録音の脈動波形ＰＴＹ３を含む。横軸は周波数を示し、縦軸は音圧を示す。

図７では、図３に示す音状態遷移表示画面ＷＤ１と、図４に示す波形表示画面ＷＤ２と、図５に示す周波数表示画面ＷＤ３とのそれぞれの表示画面のユーザ操作に対する遷移例が詳細に示されている。音状態遷移表示画面ＷＤ１の初期状態は、検査対象物の発する音の収録（収音）の度に実行される処理部１４２による解析処理の結果に基づいて生成される音状態点が蓄積して表示された表示画面である。ユーザ操作によりいずれかの音状態点が選択されると、処理部１４２は、その選択された音状態点に対応する詳細表示リストＤＴＬ１を表示する。一方、ユーザ操作により音状態点の選択の解除操作（例えば音状態遷移表示画面ＷＤ１中の他の部分をクリックする操作）がなされると、処理部１４２は、その詳細表示リストＤＴＬ１の表示を中止し、初期状態の音状態遷移表示画面ＷＤ１を表示する。

また、ユーザ操作により選択されたいずれかの音状態点に対応する詳細表示リストＤＴＬ１が表示されている際に波形表示のアイコンが選択されると、処理部１４２は、現在表示されている音状態遷移表示画面ＷＤ１を、そのユーザ操作により選択された「波形表示」に対応する波形表示画面ＷＤ２に切り替えて表示部１４５に表示する（図４および図７参照）。一方で、ユーザ操作により「音状態遷移表示画面の表示」と記載された画面切替アイコンＯＲＧ１が押下されると、処理部１４２は、現在表示されている波形表示画面ＷＤ２を、その波形表示画面ＷＤ２に対応する音状態遷移表示画面ＷＤ１に切り替えて表示部１４５に表示する（図３および図７参照）。

また、ユーザ操作により選択されたいずれかの音状態点に対応する詳細表示リストＤＴＬ１が表示されている際に周波数表示のアイコンが選択されると、処理部１４２は、現在表示されている音状態遷移表示画面ＷＤ１を、そのユーザ操作により選択された「周波数表示」に対応する周波数表示画面ＷＤ３に切り替えて表示部１４５に表示する（図４および図７参照）。一方で、ユーザ操作により「音状態遷移表示画面の表示」と記載された画面切替アイコンＯＲＧ１が押下されると、処理部１４２は、現在表示されている周波数表示画面ＷＤ３を、その周波数表示画面ＷＤ３に対応する音状態遷移表示画面ＷＤ１に切り替えて表示部１４５に表示する（図３および図７参照）。

次に、実施の形態１に係る音状態表示システム１０００の各種の動作手順例について、図８および図９Ａを参照して説明する。図８は、実施の形態１に係る検査対象物の発する機械音の収音および異常検知に関する動作手順例を示すフローチャートである。図９Ａは、実施の形態１に係る音状態遷移表示画面の生成に関する動作手順例を示すフローチャートである。

図８において、情報処理装置１４０の処理部１４２は、マイク１１０およびオーディオインターフェース１２０を介して取得された、収録（収音）された検査対象エリアの音の一定期間分の音データ（つまり、検査対象エリアに設置された検査対象物の発する音の音データ）を記憶部１４３から読み出す（Ｓｔ１１）。なお、ステップＳｔ１１において、処理部１４２は、検査対象物の発する音の一定期間分の音データを、記憶部１４３から読み出すのではなく、マイク１１０およびオーディオインターフェース１２０を介して直接に取得してもよい。

処理部１４２は、ステップＳｔ１１において読み出された一定期間分の収録音の音データに対し、定常音の変化量と突発音の発生頻度のそれぞれの有無について解析処理を実行する（Ｓｔ１２）。

処理部１４２は、ステップＳｔ１２の解析処理の結果とその結果の発生原因と考えられる事象の情報とが対応付けられた照合用データベースを記憶部１４３から読み出して参照することで、解析処理の結果に対応する分析処理を実行する（Ｓｔ１３）。

処理部１４２は、ステップＳｔ１２の解析処理の結果およびステップＳｔ１３の分析処理の結果を、ステップＳｔ１１において読み出された音データに対応する検査対象物の設置場所、検査対象物、収音時刻のそれぞれに対応付けて記憶部１４３に保存する（Ｓｔ１４）。

図９Ａにおいて、処理部１４２は、情報処理装置１４０を使用するユーザ操作により、ユーザが確認したいと考えている検査対象物の設置場所、検査対象物、収音時刻のそれぞれが入力（選択）されたことを検知した場合（Ｓｔ２１、ＹＥＳ）、その入力（選択）に対応する解析結果および分析結果を記憶部１４３から読み出して取得する（Ｓｔ２２）。なお、ユーザが確認したいと考えている検査対象物の設置場所、検査対象物、収音時刻のそれぞれが入力（選択）されない場合には（Ｓｔ２１、ＮＯ）、図９Ａの処理は終了する。

処理部１４２は、ステップＳｔ２２において取得された解析結果および分析結果を用いて、定常音変化量と突発音頻度との関係を示す音状態遷移グラフＧＰＨ１と分析結果（分析内容ＲＳＴ１）とを含む音状態遷移表示画面ＷＤ１を生成する（Ｓｔ２３）。処理部１４２は、その生成された音状態遷移表示画面ＷＤ１を表示部１４５に表示する（Ｓｔ２４）。

図９Ｂは、実施の形態１に係る表示画面の生成手順例を示すフローチャートである。表示画面は、情報処理装置１４０における特徴抽出部１５２によって抽出された複数の特徴点のそれぞれの種類（つまり、ＦＦＴ、音量変化、脈動抽出等の解析方法の種類）のうち２種類の解析方法の解析結果を軸として生成される。

情報処理装置１４０は、入力された音声（つまり収録音）について音量変化、脈動抽出等の複数の解析方法のそれぞれを用いた解析処理を実行し、ｎ種類（ｎ：２以上の整数）の特徴点を抽出する（Ｓｔ３１）。なお、ここでいう種類は、解析方法を示す。

情報処理装置１４０は、抽出されたｎ種類の特徴点（つまりｎ種類の解析処理の結果）のうち、更に所定の変化が認められると判定されたｋ種類（ｋ＜ｎ，ｋ：０以上の整数）の特徴点（つまり解析処理方法）を抽出する（Ｓｔ３２）。

情報処理装置１４０は、ステップＳｔ３２の処理において、変化が認められた特徴点の種類の数ｋがｋ＝０か否かを判定し（Ｓｔ３３）、ｋ＝０である場合（Ｓｔ３３，ＹＥＳ）、収録音について異常なしと判定する（Ｓｔ３４）。ここで、ステップＳｔ３４の処理に移行した場合、表示画面の生成を終了する。

一方、情報処理装置１４０は、ステップＳｔ３３の処理において、変化が認められた特徴点の種類の数ｋがｋ＝０でない場合（Ｓｔ３３，ＮＯ）、ｎ種類の特徴点（つまり、ｎ種類の解析方法ごとの解析結果）から２種類の特徴点を選択し、これらの２種類の特徴点のそれぞれを縦軸および横軸とする２次元表示画面を生成する（Ｓｔ３５）。

ここで、図９Ｂに示す表示画面の生成手順例に基づいて生成される２次元表示画面の一例として、例えば図３に示す音状態遷移表示画面ＷＤ１の生成手順について説明する。図３に示す音状態遷移表示画面ＷＤ１の場合、情報処理装置１４０は、例えば特徴抽出部１５２により、少なくとも定常音変化量を解析する解析処理および突発音頻度を解析する解析処理の２種類の解析方法で解析処理を実行する。情報処理装置１４０は、ステップＳｔ３１の処理において、変化が認められた定常音変化量に関する解析処理の解析結果としての特徴点と、突発音頻度に関する解析処理の解析結果としての特徴点とを抽出し、ステップＳｔ３５の処理において、定常音変化量に関する特徴点を横軸に、突発音頻度に関する特徴点を縦軸に示す音状態遷移表示画面ＷＤ１を生成する。

なお、情報処理装置１４０は、ステップＳｔ３３の処理において、変化が認められた特徴点の種類の数ｋがｋ＝１の場合、ステップＳｔ３２の処理において変化が認められると判定された１つの特徴点と、ステップＳｔ３２の処理において変化が認められなかった他の１つの特徴点とを２軸とする２次元表示画面を生成する。

以上により、実施の形態１に係る音状態表示システム１０００では、情報処理装置１４０は、検査対象物（例えば図２Ａに示す検査対象物ＭＣ１）の発する音が収音された音データを処理部１４２（取得部の一態様）において取得する。情報処理装置１４０は、その取得された音データに基づいて、検査対象物の異常の有無を規定するための複数の異なる指標に関する解析処理を処理部１４２（解析部の一態様）において実行する。情報処理装置１４０は、解析処理の結果に基づいて、検査対象物の発する音の音状態を複数の異なる指標によって示す音状態遷移表示画面ＷＤ１（音状態画面の一態様）を処理部１４２（生成部の一態様）において生成する。情報処理装置１４０は、生成された音状態遷移表示画面ＷＤ１を処理部１４２（表示制御部の一態様）において表示部１４５（表示デバイスの一態様）に表示する。

これにより、音状態表示システム１０００によれば、情報処理装置１４０は、検査員等のユーザが検査したいと考えている検査対象物の正常あるいは異常の状態をそのユーザに対して分かり易く提示できるので、相当の熟練した検査員に限らず、十分な知識経験を有していない検査員においても、検査員の検査業務の利便性の向上を的確に支援できる。

また、複数の異なる指標は、検査対象物が定常的に発する音の変化量に関する指標と、検査対象物が突発的に発する音の発生頻度に関する指標である。これにより、情報処理装置１４０は、検査対象物ごとに定められる基準状態に対し、定常的に発する音に変化量が存在するか否かや、異音等のように突発的に発する音の発生頻度が高いか否かを解析することで、コンプレッサ等の検査対象物が発する音に異常が見られるかどうかを的確に判別できる。また、検査員等のユーザは、定常的に発する音に変化量が存在するか否かという観点と、異音等のように突発的に発する音の発生頻度が高いか否かという観点とに基づいて、検査対象物の異常の有無を視覚的かつ効率的に把握できる。

また、情報処理装置１４０は、音状態画面を生成する際に、検査対象物の発する音が収音される度に実行される解析処理の結果に対応する音状態を蓄積して示す音状態遷移表示画面ＷＤ１を生成する。これにより、情報処理装置１４０は、検査対象物の発する音が収音（収録）される度にその収録音の解析処理の結果としての音状態（つまり、異常の有無を示す収録音の状態）を蓄積して音状態遷移表示画面ＷＤ１に示すので、検査員等のユーザに対して検査対象物の発する音の収録（収音）ごとの音状態を俯瞰的に把握させることができる。

また、情報処理装置１４０は、解析処理の結果に基づいて、検査対象物の異常の原因を示唆する分析結果を取得する。情報処理装置１４０は、音状態遷移表示画面ＷＤ１を生成する際に、取得された分析結果（分析内容ＲＳＴ１）を含めて音状態遷移表示画面ＷＤ１を生成する。これにより、ユーザは、音状態遷移表示画面ＷＤ１を閲覧するだけで、具体的に検査対象物のどこにどのような異常が存在するかを分かり易く把握できる。

また、情報処理装置１４０は、音状態画面を生成する際に、複数の異なる指標をそれぞれ軸としたグラフに対し、音状態を示す音状態点をプロットした音状態遷移表示画面ＷＤ１を生成する。これにより、ユーザは、検査対象物の発する音に基づいて解析された音状態を視覚的に示された音状態遷移表示画面ＷＤ１を閲覧することで、検査対象物に異常があるか否かを簡単に把握できる。

また、情報処理装置１４０は、音状態点に対するユーザ操作に応じて、音状態点に対応する特性波形の選択画面を表示するステップ、を更に有する。これにより、ユーザは、自ら気になった音状態点の特性波形を選択することができるので、所定の特性波形の確認を行うことができる。

また、情報処理装置１４０は、音状態遷移表示画面ＷＤ１に示される複数の音状態点のいずれかに対するユーザ操作に応じて、その音状態点に対応する検査対象物の発する音の時間軸波形を示す波形表示画面ＷＤ２を表示部１４５に表示する。これにより、ユーザは、自ら気になった音状態点を指定する簡易な操作によって、収録音の時間軸の波形を直接に確認でき、異常の有無を当該波形から把握することができる。

また、情報処理装置１４０は、波形表示画面ＷＤ２に対する検査対象物の発する音の再生開始時刻の指定に応じて、その指定された再生開始時刻からの検査対象物の発する音を再生して出力する。これにより、ユーザは、自ら気になった音状態点の音を自ら指定した再生開始時刻から実際に聞くことができるので、異常の有無を聞いた音から類推等の確認を行うことができる。

また、情報処理装置１４０は、音状態遷移表示画面ＷＤ１に示される複数の音状態点のいずれかに対するユーザ操作に応じて、その音状態点に対応する検査対象物の発する音の周波数特性波形を示す周波数表示画面ＷＤ３を表示部１４５に表示する。これにより、ユーザは、自ら気になった音状態点を指定する簡易な操作によって、収録音の周波数軸の波形を直接に確認でき、異常の有無を当該波形から把握することができる。

また、情報処理装置１４０は、周波数表示画面ＷＤ３に対する検査対象物の発する音の再生開始時刻の指定に応じて、その指定された再生開始時刻からの検査対象物の発する音を再生して出力する。これにより、ユーザは、自ら気になった音状態点の音を自ら指定した再生開始時刻から実際に聞くことができるので、異常の有無を聞いた音から類推等の確認を行うことができる。

また、情報処理装置１４０は、音状態点に対するユーザ操作に応じて、音状態点に対応する検査対象物の発する音のスペクトログラム特性波形を示す波形表示画面ＷＤ２を表示デバイスに表示するステップ、を更に有する。これにより、ユーザは、自ら気になった捜査対象物の音状態点の音を実際に聞くことができるので、異常の有無を聞いた音から類推等の確認を行うことができる。

なお、上述した情報処理装置１４０において実行する解析処理、分析処理、音状態遷移表示画面ＷＤ１の生成処理、波形表示画面ＷＤ２の生成処理、および周波数表示画面ＷＤ３の生成処理は、情報処理装置１４０と有線あるいは無線のネットワークを介して接続されるサーバ装置３４０によって少なくとも一部を実行するようにしてもよい（図１０参照）。

図１０は、実施の形態１に係る音状態表示システムの他のシステム構成例を示すブロック図である。図１０に示す音状態表示システム１０００Ａでは、図１Ａに示す音状態表示システム１０００に加え、情報処理装置１４０に対応する情報処理装置１４０Ａからネットワークまたは通信回線を介して接続されるサーバ装置３４０が設けられる。このサーバ装置３４０によって、解析処理、分析処理、音状態遷移表示画面ＷＤ１の生成処理、波形表示画面ＷＤ２の生成処理、および周波数表示画面ＷＤ３の生成処理が実行される。

音状態表示システム１０００Ａは、マイク１１０と、オーディオインターフェース１２０と、情報処理装置１４０Ａと、サーバ装置３４０とを含む構成である。図１Ａに示す音状態表示システム１０００の構成と同一の構成については同一の符号を付与して説明を簡略化あるいは省略し、異なる内容について説明する。

情報処理装置１４０Ａは、通信部１４１と、処理部１４２Ａと、記憶部１４３と、操作入力部１４４と、表示部１４５と、通信部１４６とを含む構成である。処理部１４２Ａは、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）あるいはＦＰＧＡ（Field Programmable Gate Array）等のプロセッサを用いて構成される。処理部１４２Ａは、記憶部１４３に記憶されている所定のプログラムに従って、各種の処理（例えば、収録音の解析処理の指示、解析結果の分析処理の指示、音状態遷移表示画面の生成処理の指示、および音状態遷移表示画面の表示処理）を実行する。通信部１４６は、有線あるいは無線の通信インターフェースを有する通信回路を用いて構成され、外部のサーバ装置３４０との間で通信を行う。情報処理装置１４０Ａは、有線あるいは無線のネットワークの通信路３００を介してサーバ装置３４０と接続される。その他は図１Ａに示した音状態表示システム１０００の構成と同様であり、ここでは異なる部分のみ説明する。

サーバ装置３４０は、例えばプロセッサおよびメモリ等のハードウェア部品を有する情報処理装置（コンピュータ）等により構成され、検査対象物の発する音（言い換えると、マイク１１０により収音された音）の解析処理、解析結果の分析処理、音状態遷移表示画面の生成処理等の各種の情報処理を実行する。サーバ装置３４０は、通信部３４１と、処理部３４２と、記憶部３４３とを含む構成である。

通信部３４１は、情報処理装置１４０Ａとの間で音データ、学習データ等の各種データを送受信する通信回路を用いて構成され、情報処理装置１４０Ａとの間でデータあるいは情報の送受信を行う。

解析部および生成部のそれぞれの一例としての処理部３４２は、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）あるいはＦＰＧＡ（Field Programmable Gate Array）等のプロセッサを用いて構成される。処理部３４２Ａは、記憶部３４３に記憶されている所定のプログラムに従って、各種の処理（例えば、収録音の解析処理、解析結果の分析処理、音状態遷移表示画面の生成処理）を実行する。なお、収録音の解析処理、解析結果の分析処理、音状態遷移表示画面の生成処理の全ての処理が処理部３４２により実行されてもよいし、その一部の処理が実行されて残りの処理は情報処理装置１４０Ａの処理部１４２Ａにより実行されてもよい。

図１０の構成例では、実施の形態１に係る音状態表示システム１０００Ａの行う処理を、ネットワーク等を介して接続される複数の情報処理装置（具体的には、情報処理装置１４０、サーバ装置３４０）において分散して実行する構成となっている。特に、収録音の解析処理、解析結果の分析処理、解析処理に用いる学習データの学習処理（上述参照）については、高い処理能力を持つサーバ装置３４０の情報処理装置を用いて実行することにより、複雑なアルゴリズム演算や高速処理などへの対応が容易になる。学習データを用いた学習処理、収録音の解析処理、解析処理の結果の分析処理は、オーディオインターフェース１２０と接続されるローカルの情報処理装置１４０Ａ、あるいはサーバ装置３４０等において、処理毎に適宜割り当てて実行してもよい。例えば、システム構成、使用環境、データ処理のアルゴリズム、データ量、データ特性、出力態様などの各種条件に応じて、実施の形態１に係る各処理を適切な情報処理装置１４０Ａおよびサーバ装置３４０のそれぞれにて分担して実行可能である。

以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

なお、本出願は、２０１８年１１月１４日出願の日本特許出願（特願２０１８－２１３５８７）に基づくものであり、その内容は本出願の中に参照として援用される。

本開示は、検査対象物の正常、異常の状態を検査員に対して分かり易く提示し、検査員の検査業務の利便性の向上を支援する音状態表示方法、音状態表示装置および音状態表示システムとして有用である。

１１０ マイク
１２０ オーディオインターフェース
１２１ 入力部
１２２ ＡＤコンバータ
１２３ バッファ
１２４、１４１ 通信部
１４０ 情報処理装置
１４２ 処理部
１４３ 記憶部
１４４ 操作入力部
１４５ 表示部
１５６ 再生処理部
１６１ スピーカ

Claims (11)

1. 検査対象物の発する音が収音された音データを取得するステップと、
   前記音データに基づいて、前記検査対象物の異常の有無を規定するための複数の異なる指標に関する解析処理を実行するステップと、
   前記解析処理の結果に基づいて、前記検査対象物の発する音の音状態を前記複数の異なる指標をそれぞれ軸としたグラフに対し、前記音状態を示す音状態点をプロットした音状態画面を生成するステップと、
   生成された前記音状態画面を表示デバイスに表示するステップと、
   前記音状態画面にプロットされた前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する特性波形の選択画面を表示するステップと、 を有する、
   音状態表示方法。
2. 前記複数の異なる指標は、
   前記検査対象物が定常的に発する音の変化量に関する指標と、前記検査対象物が突発的に発する音の発生頻度に関する指標である、
   請求項１に記載の音状態表示方法。
3. 前記音状態画面を生成するステップは、
   前記検査対象物の発する音が収音される度に実行される前記解析処理の結果に対応する前記音状態を蓄積して示す前記音状態画面を生成するステップを含む、
   請求項１に記載の音状態表示方法。
4. 前記解析処理の結果に基づいて、前記検査対象物の異常の原因を示唆する分析結果を取得するステップ、を更に有し、
   前記音状態画面を生成するステップは、
   取得された前記分析結果を含めて前記音状態画面を生成するステップを含む、
   請求項１～３のうちいずれか一項に記載の音状態表示方法。
5. 前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する前記検査対象物の発する音の時間軸波形を示す波形表示画面を前記表示デバイスに表示するステップ、を更に有する、
   請求項１に記載の音状態表示方法。
6. 前記波形表示画面に対する前記検査対象物の発する音の再生開始時刻の指定に応じて、その指定された前記再生開始時刻からの前記検査対象物の発する音を再生して出力するステップ、を更に有する、
   請求項５に記載の音状態表示方法。
7. 前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する前記検査対象物の発する音の周波数特性波形を示す周波数表示画面を前記表示デバイスに表示するステップ、を更に有する、
   請求項１に記載の音状態表示方法。
8. 前記周波数表示画面に対する前記検査対象物の発する音の再生開始時刻の指定に応じて、その指定された前記再生開始時刻からの前記検査対象物の発する音を再生して出力するステップ、を更に有する、
   請求項７に記載の音状態表示方法。
9. 前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する前記検査対象物の発する音のスペクトログラム特性波形を示す波形表示画面を前記表示デバイスに表示するステップ、を更に有する、
   請求項１に記載の音状態表示方法。
10. 検査対象物の発する音が収音された音データを取得する取得部と、
    前記音データに基づいて、前記検査対象物の異常の有無を規定するための複数の異なる指標に関する解析処理を実行する解析部と、
    前記解析処理の結果に基づいて、前記検査対象物の発する音の音状態を前記複数の異なる指標をそれぞれ軸としたグラフに対し、前記音状態を示す音状態点をプロットした音状態画面を生成する生成部と、
    生成された前記音状態画面を表示デバイスに表示する表示制御部と、を備え 、
    前記表示制御部は、前記音状態画面にプロットされた前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する特性波形の選択画面を表示す る、
    音状態表示装置。
11. 検査対象物の発する音が収音された音データを取得する取得部と、
    前記音データに基づいて、前記検査対象物の異常の有無を規定するための複数の異なる指標に関する解析処理を実行する解析部と、
    前記解析処理の結果に基づいて、前記検査対象物の発する音の音状態を前記複数の異なる指標をそれぞれ軸としたグラフに対し、前記音状態を示す音状態点をプロットした音状態画面を生成する生成部と、
    生成された前記音状態画面を表示デバイスに表示する表示制御部と、を備え 、
    前記表示制御部は、前記音状態画面にプロットされた前記音状態点に対するユーザ操作に応じて、前記音状態点に対応する特性波形の選択画面を表示す る、
    音状態表示システム。

Images