JP7142530B2 - Information processing system, information processing method, and program - Google Patents
Information processing system, information processing method, and program Download PDFInfo
- Publication number
- JP7142530B2 JP7142530B2 JP2018193142A JP2018193142A JP7142530B2 JP 7142530 B2 JP7142530 B2 JP 7142530B2 JP 2018193142 A JP2018193142 A JP 2018193142A JP 2018193142 A JP2018193142 A JP 2018193142A JP 7142530 B2 JP7142530 B2 JP 7142530B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- sound data
- unit
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明は、情報処理システム、情報処理方法、およびプログラムに関する。 The present invention relates to an information processing system, an information processing method, and a program.
従来、機械学習が知られている。
このような機械学習においては、データに正解情報等のラベルを付与して学習用データ(教師データ)を生成することが行われている。たとえば、特許文献1には、教師データ補完部を備え、かつ、教師データ候補に対してラベルを付与することにより当該教師データ候補を教師データに追加することが可能なデータ処理装置が開示されている。また、特許文献2には、ユーザに対してラベル付けを促すメッセージを表示するデータ学習装置が開示されている。
Machine learning is conventionally known.
In such machine learning, learning data (teacher data) is generated by adding labels such as correct answer information to data. For example,
特許文献3には、動作異常が発生すると、録音している機器の動作音と、今回動作異常が発生した可動部に不良が発生しているときの不良時動作音と、今回動作異常が発生した可動部に不良が発生していないときの正常時動作音とを、ユーザに聞かせることが可能な機器不良確認援助装置が開示されている。
In
特許文献4には、異常として検知すべき異常音に類似する作業音による誤報を低減することを目的とした異常検知装置が開示されている。
ところで、設備が発する音が正常音であるのか異常音であるのかを当該設備の監視用のシステムで判定しようとした場合、以下の問題が生じる。 By the way, when a system for monitoring the equipment is used to determine whether the sound emitted by the equipment is a normal sound or an abnormal sound, the following problems arise.
システムの運用前に、どのような音が異常音であるのかを事前に把握することはできない。つまり、通常では、システムの運用前には当該システムは正常音のみしか学習できない。 It is not possible to grasp in advance what kind of sound is an abnormal sound before operating the system. In other words, normally, the system can learn only normal sounds before the system is put into operation.
それゆえ、設備が発する音が正常音でないとシステムが仮に判定しても、当該音は異常音であるとは限らない。つまり、設備が発する音が本当は正常音であっても、当該音を正常音でないと誤検知することもある。 Therefore, even if the system determines that the sound emitted by the equipment is not normal sound, the sound is not necessarily abnormal sound. In other words, even if the sound emitted by the equipment is actually normal sound, the sound may be erroneously detected as not normal sound.
本発明は、上記の問題点に鑑みなされたものであって、その目的は、精度の高い異音判定を可能とするための学習用データを容易に得ることが可能な情報処理システム、情報処理方法、およびプログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an information processing system and an information processing system capable of easily obtaining learning data for enabling highly accurate abnormal noise determination. The object is to provide a method and a program.
本発明のある局面に従うと、情報処理システムは、第1の設備から発せられる音を集音する第1の集音装置と、第1の設備用の第1のモデルを用いて、第1の設備から発せられる音が正常音であるか否かを判定する第1の判定手段と、第1の集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに判定に用いる第2の音データとして処理するデータ処理手段とを備える。データ処理手段は、第2の音データを単位時間毎の第1の単位データに区切る。第1の判定手段は、第1のモデルを用いて、各第1の単位データが正常音データであるか否かを判定する。情報処理システムは、第1の単位データが第1のモデルによって正常音データと判定されなかった場合に、記憶装置に記憶された第1の音データのうち、正常音データと判定されなかった第1の単位データに対応する部分をスピーカから出力させる再生手段と、正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、スピーカから出力された部分に対して付与するラベル付手段とをさらに備える。 According to one aspect of the present invention, an information processing system uses a first sound collector for collecting sound emitted from a first facility and a first model for the first facility to generate a first sound. A first judgment means for judging whether or not the sound emitted from the equipment is a normal sound; and a data processing means for processing as second sound data used for. The data processing means divides the second sound data into first unit data for each unit time. The first determination means uses the first model to determine whether each first unit data is normal sound data. When the first unit data is not determined to be normal sound data by the first model, the information processing system stores the first sound data that is not determined to be normal sound data out of the first sound data stored in the storage device. A reproduction means for outputting a portion corresponding to one unit data from a speaker, and a first label indicating normal sound data and a second label indicating abnormal sound data according to a user operation. and labeling means for applying a label to the portion output from the speaker.
上記の発明によれば、精度の高い異音判定を可能とするための学習用データを容易に得ることが可能となる。 According to the above invention, it is possible to easily obtain learning data for enabling highly accurate abnormal noise determination.
以下、図面を参照しつつ、本発明の各実施の形態に係る情報処理システムについて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, an information processing system according to each embodiment of the present invention will be described with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
<A.システム構成>
図1は、情報処理システム1と、情報処理システム1によって監視される設備900とを示した図である。
<A. System configuration>
FIG. 1 is a diagram showing an
図1を参照して、情報処理システム1は、音監視の中核をなすクラウドシステム100と、端末装置200と、複数の集音装置300とを備える。なお、端末装置200の数は、1台に限定されるものではない。
Referring to FIG. 1 , an
情報処理システム1は、集音装置300とクラウドシステム100とを用いて、設備900が異音を発していないかをリアルタイムに監視する。なお、1つの集音装置300によって、1つの設備900が発する音が集音される。
The
クラウドシステム100は、たとえば、サーバ装置100Aと、記憶装置100Bとにより構成される。サーバ装置100Aは、端末装置200と通信可能に接続されている。クラウドシステム100は、サーバ装置単体、あるいは、複数のサーバ装置で構成されていてもよい。サーバ装置100Aと、記憶装置100Bとは、互いに通信可能に接続されている。クラウドシステム100は、少なくとも1つのサーバ装置を含んでいれば、他の装置構成は特に限定されるものではない。
The
集音装置300は、監視対象となる設備900(たとえば、機械設備、配管設備)の近傍に備えられている。集音装置300は、マイクとデータ通信装置とを備えている。データ通信装置は、マイクで集音された音データ(パケットデータ)を、ネットワークNWを介して、サーバ装置100Aに送信する。典型的には、データ通信装置は、リアルタイムに音データをサーバ装置100Aに送信する。当該音データは、記憶装置100Bに逐次格納される。集音装置300は、マイクとデータ通信装置とが一体化したものであってもよい。
The
サーバ装置100Aは、記憶装置100Bに蓄積された音データを設備900毎に順次解析するとともに、解析結果を記憶装置100Bに格納する。サーバ装置100Aは、解析の結果、異常音(異音)が発生したと判断した場合には、端末装置200に対して設備900で異常音が発生している旨をリアルタイムに通知する。詳しくは、サーバ装置100Aは、どの設備900で異常音が発生しているかを、端末装置200のユーザ(保守・監視員950)に通知する。
The
サーバ装置100Aは、人工知能(AI)を用いて、設備900が発する音が、正常音であるのか、異常音であるのかを判断する。典型的には、サーバ装置100Aは、学習済モデルを用いて、設備900が発する音が、正常音であるのか、異常音であるのかを判断する。
The
端末装置200は、サーバ装置100Aから集音された音に関する各種のデータを表示可能に構成されている。端末装置200では、各種の監視画面(図7参照)を表示できる。端末装置200は、典型的には、ブラウザを用いてサーバ装置100Aから提供される各種情報を表示する。
The
なお、サーバ装置100Aによる上記の判断処理は、人工知能に限定されず、一般的な機械学習による処理であってもよい。このような観点から、以下では、人工知能や学習済モデルといった限定的な用語を用いずに、機械学習やモデルといった用語を用いて、情報処理システム1の処理を説明する。
Note that the above determination processing by the
図2は、情報処理システム1における全体的な処理の流れを説明するためのフロー図である。なお、後述する各ステップS1~S11は、自動的に順に実行されるのではなく、典型的には、サーバ装置100Aが、ユーザ操作に基づく所定の指示(各ステップを実行させるユーザ指示)を受け付けることにより実行される。また、以下で説明する、規範モデルM1、誤検知モデルM2、および異常モデルM3は、設備900毎に生成される。
FIG. 2 is a flowchart for explaining the flow of overall processing in the
図2を参照して、ステップS1において、クラウドシステム100は、設備900が発する正常音の音データを学習用データとした機械学習により、規範モデルM1(正常音モデル)を生成する。ステップS2において、クラウドシステム100は、規範モデルM1を利用した音監視を実行する。具体的には、クラウドシステム100は、規範モデルM1を用いて、集音装置300によって集音された音が正常音であるか否かを判断する。
Referring to FIG. 2, in step S1,
ステップS3において、規範モデルM1によって正常音でないと判断された音を人間が実際に聞き、人間が異常音であると判断した場合には、当該音のデータに対して異常音のラベル付けが行われる。人間が正常音であると判断した場合(つまり、規範モデルによる判定が誤検知であった場合)には、当該音のデータに対して正常音のラベル付けが行われる。 In step S3, a human actually hears the sound judged to be not normal by the reference model M1, and if the human judges that the sound is abnormal, the data of the sound is labeled as abnormal. will be When a human determines that the sound is normal (that is, when the reference model determines an erroneous detection), the sound data is labeled as a normal sound.
ステップS4において、クラウドシステム100は、正常音のラベル付けがされた音データを用いて、誤検知モデルM2を生成する。なお、ステップS3において、正常音のラベル付けがされた音データがない場合には、ステップS4の処理は行われない。
In step S4, the
ステップS5において、クラウドシステム100は、異常音のラベル付けがされた音データを用いて、異常モデルM3を生成する。なお、ステップS3において、異常音のラベル付けがされた音データがない場合には、ステップS5の処理は行われない。
In step S5, the
ステップS6において、クラウドシステム100は、規範モデルM1と、誤検知モデルM2と、異常モデルM3とを利用した音監視を実行する。ステップS7において、クラウドシステム100は、誤検知モデルM2を用いて規範モデルM1を更新する。ステップS8において、クラウドシステム100は、更新後の規範モデルM1と、異常モデルM3とを利用した音監視を実行する。
In step S6, the
ステップS9において、ステップS3と同様なラベル付け処理がなされる。ステップS10において、クラウドシステム100は、ステップS9において正常音のラベル付けがされた音データを用いて、誤検知モデルM2を更新する。ステップS11において、クラウドシステム100は、ステップS9において異常音のラベル付けがされた音データを用いて、異常モデルM3を更新する。
In step S9, labeling processing similar to that in step S3 is performed. In step S10, the
なお、ステップS7の処理は、必須ではなく、実施しなくてもよい。
図3は、集音装置300で集音を行うための準備作業の流れを説明するためのフロー図である。
Note that the process of step S7 is not essential and may not be performed.
FIG. 3 is a flowchart for explaining the flow of preparatory work for collecting sound with the
図3を参照して、ステップS21において、クラウドシステム100は、集音装置300のデータ通信装置の時計の時刻と、設備900の時計の時刻と、サーバ装置100Aの時計の時刻とを同期させるための操作を受け付ける。また、ステップS22において、クラウドシステム100は、集音装置300のマイクの集音時の音量を調整するためのユーザ操作を受け付ける。
Referring to FIG. 3, in step S21,
ステップS23において、クラウドシステム100は、集音装置300のデータ通信装置からサーバ装置100Aに対する音データの転送設定をするためのユーザ操作を受け付ける。
In step S23, the
上記の調整や設定が完了した後、ステップS24において、集音装置300は、集音した音のデータサンプリングを行う。サンプリングの周期は、たとえば、44.1kHzとすることができる。ステップS25において、集音装置300は、音データをPCM(Pulse Code Modulation)音源化する。集音装置300のデータ通信装置は、PCM音源化された音データ(パケット)をサーバ装置100Aに対して送信する。以後、ステップS24,S25,S26の処理が繰り返される。
After the above adjustments and settings are completed, the
以下では、図2に示したフロー図の流れに従い、「規範モデルM1の生成(ステップS1)」,「規範モデルM1の利用(ステップS2)」,「誤検知モデルM2および異常モデルM3の生成(ステップS3,S4,S5)」,「誤検知モデルM2および異常モデルM3の利用(ステップS6)」,「規範モデルM1の更新(ステップS7)」の順に説明する。 Below, according to the flow of the flow chart shown in FIG. Steps S3, S4, S5)", "Use of erroneous detection model M2 and anomaly model M3 (step S6)", and "Update of reference model M1 (step S7)" will be described in this order.
<B.規範モデルM1の生成>
図4は、正常音モデルである規範モデルM1の生成処理の流れを説明するためのフロー図である。典型的には、規範モデルM1は、サーバ装置100Aのプロセッサ151(図19参照)が学習用データ(後述する、特徴量)と、所定の学習用プログラムとを用いることにより生成される。
<B. Generation of Reference Model M1>
FIG. 4 is a flowchart for explaining the flow of processing for generating the reference model M1, which is a normal sound model. Typically, the reference model M1 is generated by the processor 151 (see FIG. 19) of the
図4を参照して、ステップS31において、サーバ装置100Aは、集音装置300を用いて、設備900が正常に動作しているときに設備900から発せられる音のデータ(音データ)の取得を開始する。
Referring to FIG. 4, in step S31,
ステップS32において、サーバ装置100Aは、取得した音データに対して前処理を行う。具体的には、サーバ装置100Aは、音データを単位時間毎の単位データDuに区切る。たとえば、サーバ装置100Aは、音データをTu秒(1秒以下の所定の秒数)の単位データDuに分割する。さらに、前処理として、ノイズ除去、解析対象の周波数帯を設定すること、バンドパスフィルタの適応等がなされる。
In step S32, the
ステップS33において、サーバ装置100Aは、各単位データDuから、所定のアルゴリズムを用いて特徴量を抽出する。ステップS34において、サーバ装置100Aは、抽出された特徴量を用いて機械学習を行う。このような機械学習を繰り返すことにより、規範モデルM1が生成される。
In step S33, the
なお、サンプリング周波数を44.1kHz、計測可能な周波数をサンプリング周波数の半分、周波数の分解能を10Hzとすると、特徴量の次元数(入力ベクトルの次元数)は2205となる。 Assuming that the sampling frequency is 44.1 kHz, the measurable frequency is half the sampling frequency, and the frequency resolution is 10 Hz, the number of dimensions of the feature amount (the number of dimensions of the input vector) is 2205.
<C.規範モデルM1の利用>
図5は、規範モデルM1を利用した音監視の処理の流れを説明するためのフロー図である。規範モデルM1を生成した時点では、誤検知モデルM2および異常モデルM3は生成されていないため、情報処理システム1は、規範モデルM1のみを用いて音監視を行う。
<C. Use of Normative Model M1>
FIG. 5 is a flowchart for explaining the flow of sound monitoring processing using the reference model M1. Since the erroneous detection model M2 and the abnormality model M3 have not been generated at the time when the reference model M1 is generated, the
図5を参照して、ステップS41において、サーバ装置100Aは、集音装置300を用いて、設備900が正常に動作しているときに設備900から発せられる音のデータ(音データ)の取得を開始する。
Referring to FIG. 5, in step S41,
ステップS51において、サーバ装置100Aは、取得した音データを、再生用の音データ(生データ)として記憶装置100Bに記憶させる。詳しくは、サーバ装置100Aは、音データを時刻情報に関連付けて記憶装置100Bに記憶させる。
In step S51, the
ステップS42において、サーバ装置100Aは、図4のステップS32と同様に、取得した音データに対して前処理を行う。具体的には、サーバ装置100Aは、音データを単位時間毎の単位データDuに区切る。
In step S42, the
ステップS42の後、サーバ装置100A(詳しくは、プロセッサ151)は、ステップS43~S50の各処理を、単位データDuの各々に対して実行する。
After step S42, the
ステップS43において、プロセッサ151は、単位データDuから、上記の所定のアルゴリズムを用いて特徴量を抽出する。ステップS44において、プロセッサ151は、抽出された特徴量を規範モデルM1に入力する。ステップS45において、プロセッサ151は、規範モデルM1からの出力を得る。具体的には、規範モデルM1(クラスタ)に対する誤差が算出され、当該誤差が出力される。
In step S43, the
ステップS46において、プロセッサ151は、算出された誤差が所定の範囲R1内であるかいなかを判断する。プロセッサ151は、誤差が範囲R1内であると判断した場合(ステップS46においてYES)、ステップS47において、単位データDuを正常音データと判定する。なお、範囲R1内か否かの判定として、たとえば、3σ法を用いればよい。
At step S46, the
プロセッサ151は、誤差が範囲R1外であると判断した場合(ステップS46においてNO)、ステップS48において、単位データDuを異常音データと仮判定する。次いで、ステップS49において、プロセッサ151は、異常の報知処理を実行する。詳しくは、サーバ装置100Aから端末装置200に対して所定の警告通知を行う。この場合、端末装置200は、警告表示等の各種の処理を行う。ステップS50において、プロセッサ151は、判定結果を記憶装置100Bに記憶させる。ステップS49とステップS50との処理は、並行して行われてもよいし、ステップS50の処理がステップS49の処理の前であってもよい。
When
図6は、集音装置300によって得られた音データの処理について説明するための図である。
FIG. 6 is a diagram for explaining processing of sound data obtained by the
図6を参照して、集音された音データは、再生用の音データ(以下、「保存用データDs」とも称する)として記憶装置100Bに保存される一方で、判定に用いる音データ(以下、「判定用データDd」とも称する)としても処理される。つまり、サーバ装置100Aは、1つの集音装置300によって得られた音データ((A)参照)を、保存用データDs((B)参照)として保持するとともに、保存用データDsとは別に、判定用データDd((C)参照)としても保持する。たとえば、プロセッサ151が、保存用データDsをオリジナルデータとし、当該オリジナルデータをコピーすることにより判定用データDdを生成すればよい。保存用データDsは、集音装置300で集音された音のデータそのもの(生データ)であって、ノイズ等の音を取り除く処理を行なっていないデータである。
Referring to FIG. 6, collected sound data is stored in
プロセッサ151は、判定用データDdを、単位時間Tu毎の単位データDuに区切る。プロセッサ151は、上述したように、単位データDu毎に特徴量を抽出する。
The
図7は、端末装置200で表示される表示画面の例を表した図である。
図7を参照して、画面201は、複数のタブ211,212,213,214,215と、ダッシュボード270とを含む。
FIG. 7 is a diagram showing an example of a display screen displayed on the
Referring to FIG. 7 ,
ダッシュボード270は、状態監視の項目271と、通信ログの項目272と、ツールの項目273と、レポートの項目274と、アラートの項目275とを含む。
The
端末装置200のユーザが、タブ211を選択すると、死活監視の画面が表示される。死活監視は、集音装置300からの「ping」を監視することにより行われる。端末装置200のユーザが、タブ212を選択すると、Trap監視の画面が表示される。端末装置200のユーザが、タブ213を選択すると、Syslog監視の画面が表示される。端末装置200のユーザが、タブ214を選択すると、プロトコル監視の画面が表示される。端末装置200のユーザが、タブ215を選択すると、音監視の画面が表示される。
When the user of the
図8は、音監視に関するタブ215が選択されたときに端末装置200の画面に表示されるデータの一例を説明するための図である。図8を参照して、端末装置200は、音の波形221を時刻に関連付けて表示する。
FIG. 8 is a diagram for explaining an example of data displayed on the screen of the
図9は、音監視に関するタブ215が選択されたときに端末装置200の画面に表示されるデータの他の例を説明するための図である。図9を参照して、端末装置200は、スペクトラム222を表示する。
FIG. 9 is a diagram for explaining another example of data displayed on the screen of
図10は、音監視に関するタブ215が選択されたときに端末装置200の画面に表示されるデータのさらに他の例を説明するための図である。図10を参照して、端末装置200は、規範モデルM1の出力(「Loss」と表記)と、出力の正常範囲とを示したグラフ223を表示する。
FIG. 10 is a diagram for explaining still another example of data displayed on the screen of
波形221、スペクトラム222、グラフ223は、誤検知モデルM2および異常モデルM3の生成の際に活用することができる。
サーバ装置100Aのプロセッサ151が単位データDuを異常音データと判定した場合には、端末装置200は、画面に警告表示を行う。たとえば、端末装置200は、画面201(図7参照)に警告表示を示したオブジェクト画像を重畳させることにより、警告表示を行ってもよい。
When the
また、端末装置200あるいはサーバ装置100Aは、端末装置200の近傍に設置された、図示しない表示灯(たとえば、積層表示灯)を発光させることにより、端末装置200のユーザ(保守・監視員950)に対して異常の発生を通知してもよい。また、サーバ装置100Aは、所定のアドレス宛に警告メールを送信してもよい。
In addition, the
<D.誤検知モデルM2および異常モデルM3の生成>
最初に、誤検知モデルM2および異常モデルM3を生成するための事前処理として、データへのラベル付け処理について説明する。次いで、誤検知モデルM2および異常モデルM3の生成について説明する。
<D. Generation of False Positive Model M2 and Abnormal Model M3>
First, labeling processing to data will be described as preprocessing for generating the false positive model M2 and the abnormal model M3. Next, generation of the false positive model M2 and the abnormal model M3 will be described.
図11は、情報処理システム1において実行されるラベル付け処理の流れを説明するためのフロー図である。
FIG. 11 is a flowchart for explaining the flow of labeling processing executed in the
図11を参照して、ステップS61において、端末装置200のプロセッサ251は、保存用データDsのうち、規範モデルM1によって異常音データと仮判定された単位データDuに対応する部分(「部分データDp」との称する)を再生処理する。具体的には、プロセッサ251は、保存用データDsのうちの部分データDpをスピーカから出力する。端末装置200は、サーバ装置100Aから部分データDpを取得することにより、当該部分データDpを再生する。
Referring to FIG. 11, in step S61,
より詳しくは、サーバ装置100Aは、異常音データと判定された単位データDuの時間情報に基づき、当該時間情報が示す時間帯の部分データDpを保存用データDsから抽出する。サーバ装置100Aは、抽出された部分データDpを端末装置200に送信する。端末装置200は、受信した部分データDpを再生する。
More specifically, based on the time information of the unit data Du determined as abnormal sound data, the
たとえば、端末装置200は、異常音データと仮判定された単位データDuが時間的に連続して複数存在しているときには、これら複数の単位データDuに対応する部分データDpを再生してもよい。典型的には、異常音データと仮判定された単位データDuが、所定時間内(たとえば10秒以内)に閾値以上の存在する場合、端末装置200は、この期間の全部または指定された一部を再生可能に構成されている(図15)。詳しくは、端末装置200は、再生する区間(期間)をユーザ操作により決定し、決定された区間に含まれる部分データDpを再生する。
For example, when there are a plurality of unit data Du tentatively determined to be abnormal sound data consecutively in time, the
端末装置200のユーザは、ステップS61の再生処理により出力された音を聞くことにより、規範モデルM1によって異常と判定された音が、本当に異常音であるのか否かを判定する。すなわち、ユーザは、自ら、異常音であったのか、誤検知(正常音)であったかを判断する。
The user of the
ステップS62において、サーバ装置100Aは、正常音データ(誤検知データ)であることを示したオブジェクト231(図15参照)を選択するユーザ操作を端末装置200が受け付けたか否かを判断する。具体的には、サーバ装置100Aは、端末装置200からオブジェクト231が選択されたことを示す信号を受信したか否かを判断する。
In step S62, the
オブジェクト231が選択された場合(ステップS62においてYES)、ステップS63において、サーバ装置100Aは、部分データDpに対して正常音のラベル付けをし、かつ正常音のラベル付けがなされた部分データDpを記憶装置100Bに格納する。
If
オブジェクト231が選択されていない場合(ステップS62においてNO)、ステップS64において、サーバ装置100Aは、異常音データであることを示したオブジェクト232(図15参照)を選択するユーザ操作を端末装置200が受け付けたか否かを判断する。具体的には、サーバ装置100Aは、端末装置200からオブジェクト232が選択されたことを示す信号を受信したか否かを判断する。
If
オブジェクト232が選択された場合(ステップS64においてYES)、ステップS65において、サーバ装置100Aは、部分データDpに対して異常音のラベル付けをし、かつ異常音のラベル付けがなされた部分データDpを記憶装置100Bに格納する。
If
オブジェクト232が選択されていない場合(ステップS64においてNO)、ステップS66において、端末装置200は、部分データDpを繰り返して再生するための操作を受け付けたか否かを判断する。端末装置200は、当該操作を受け付けたと判断した場合(ステップS66においてYES)、処理をステップS61に進める。端末装置200は、当該操作を受け付けていないと判断した場合(ステップS66においてNO)、処理をステップS62に進める。
If
以上により、再生された部分データDp(異常音と仮判定された単位データDuに対応する部分データDp)に対して、正常音または異常音を示すラベル付けが完了する。 As described above, labeling of the reproduced partial data Dp (partial data Dp corresponding to the unit data Du temporarily determined to be abnormal sound) indicating normal sound or abnormal sound is completed.
ところで、図11の処理においては、再生処理だけにより、端末装置200のユーザがラベル付けを行う場合を例に挙げて説明したが、これに限定されるものではない。
By the way, in the process of FIG. 11, the case where the user of the
ユーザは、再生音の確認だけでは、正常音か異常音かを判断できない場合には、図8に示した波形221、図9に示したスペクトラム222、および図10に示したグラフ223の少なくとも1つを画面に表示させてもよい。この場合、ユーザは、再生音の確認と、画面情報の確認とにより、規範モデルM1によって異常と判定された音が、本当に異常音であるのか、それとも正常音であったかのかを判断すればよい。この場合にも、当該判断結果に基づき、部分データDpに対するラベル付けが行われる。
If the user cannot determine whether the sound is normal or abnormal just by confirming the reproduced sound, he or she should select at least one of the
なお、図11においては、異常音データと仮判定された全ての単位データDuの各々に対応する各部分データDpに対して、正常音データのラベルまたは異常音データのラベルを付与する構成を例に挙げて説明したが、これに限定されるものではない。ユーザが指定(選択)した部分データDpに対してのみ、ラベル付けを行ってもよい(図14,図15)。つまり、ユーザが、異常音データと仮判定された全ての単位データDuの各々に対応する部分データDpの全てを再生して当該全ての部分データDpを聞くことは、必ずしも必要ではない。 Note that FIG. 11 shows an example of a configuration in which a label of normal sound data or a label of abnormal sound data is added to each partial data Dp corresponding to each of all unit data Du tentatively determined to be abnormal sound data. However, it is not limited to this. Only the partial data Dp specified (selected) by the user may be labeled (FIGS. 14 and 15). In other words, it is not always necessary for the user to reproduce and listen to all the partial data Dp corresponding to all the unit data Du temporarily determined as abnormal sound data.
図12は、誤検知モデルM2の生成処理の流れを説明するためのフロー図である。
図12を参照して、ステップS71において、サーバ装置100Aのプロセッサ151は、記憶装置100Bから正常音データのラベル付けがなされた部分データDpを読み出す。ステップS72において、プロセッサ151は、読み出された部分データDpから、所定のアルゴリズムを用いて特徴量を抽出する。ステップS73において、サーバ装置100Aは、抽出された特徴量を用いて機械学習を行う。
FIG. 12 is a flowchart for explaining the flow of processing for generating the false positive model M2.
Referring to FIG. 12, in step S71,
ステップS74において、プロセッサ151は、正常音データのラベル付けがなされた部分データDpが全て読み出されたか否かを判断する。なお、部分データDpは、同一の設備900に関するデータである。
In step S74, the
プロセッサ151は、全ての部分データDpを読み出していないと判断した場合(ステップS74においてNO)、処理をステップS72に進める。プロセッサ151は、全ての部分データDpを読み出した判断した場合(ステップS74においてYES)、一連の処理を終了する。
When
サーバ装置100Aは、このような機械学習を繰り返すことにより、誤検知モデルM2が生成される。
The
図13は、異常モデルM3の生成処理の流れを説明するためのフロー図である。
図13を参照して、ステップS81において、サーバ装置100Aのプロセッサ151は、記憶装置100Bから異常音データのラベル付けがなされた部分データDpを読み出す。ステップS82において、プロセッサ151は、読み出された部分データDpから、所定のアルゴリズムを用いて特徴量を抽出する。ステップS83において、サーバ装置100Aは、抽出された特徴量を用いて機械学習を行う。
FIG. 13 is a flowchart for explaining the flow of processing for generating the abnormal model M3.
Referring to FIG. 13, in step S81,
ステップS84において、プロセッサ151は、異常音データのラベル付けがなされた部分データDpが全て読み出されたか否かを判断する。なお、部分データDpは、同一の設備900に関するデータである。
In step S84, the
プロセッサ151は、全ての部分データDpを読み出していないと判断した場合(ステップS84においてNO)、処理をステップS82に進める。プロセッサ151は、全ての部分データDpを読み出した判断した場合(ステップS84においてYES)、一連の処理を終了する。
When
サーバ装置100Aは、このような機械学習を繰り返すことにより、異常モデルM3が生成される。
The
以下では、1つの単位データDuに対応する部分データDpの各々にラベル付けをするのではなく、所定時間(以下では、10秒間とする)内の連続する全ての単位データに対応する部分データDp(10秒の音データ)に対してラベル付けを行う例を説明する。つまり、前処理での分割の時間単位(1秒以下)ではなく、10秒間分の部分データDpに対してラベル付けを行う例を説明する。 In the following, instead of labeling each of the partial data Dp corresponding to one unit data Du, partial data Dp corresponding to all continuous unit data within a predetermined time (hereinafter, 10 seconds) An example of labeling (10 seconds of sound data) will be described. In other words, an example will be described in which the partial data Dp for 10 seconds is labeled instead of the time unit (one second or less) of division in the preprocessing.
図14は、端末装置200において表示される画面202を表した図である。
図14を参照して、ダッシュボード270は、音監視の項目276をさらに含む。項目276は、装置リストの項目2761と、判定結果の項目2762と、音声学習の項目2763と、誤検知音学習の項目2764を含む。項目276をユーザ操作に基づき展開することにより、項目2761~2764が表示される。
FIG. 14 is a diagram showing a
Referring to FIG. 14,
アラートの項目275は、異音履歴の項目2751を含む。ユーザ操作によって、異音履歴の項目2751が選択されると、図示しているように、異音履歴の一覧が表示される。異音履歴の一覧は、複数のレコードを含む。各レコードは、フィールドとして、装置名と、モデルと、日時と、評価値とを少なくとも含む。各レコードには、部分データDpが対応付けられている。
The
本例では、異音履歴の一覧においては、異常音データと仮判定された単位データDuの全てに対応する部分データDpがレコードとして対応付けられているのではなく、異常音データと仮判定された単位データDuが一定の割合以上集中している期間に対応する部分データDpが対応付けられている。具体的には、各レコードは、異常音データと仮判定された単位データDuが所定時間内(10秒以内)に閾値以上の存在する期間に対応する部分データDpが対応付けられている。 In this example, in the abnormal sound history list, the partial data Dp corresponding to all the unit data Du temporarily judged to be abnormal sound data are not associated as records, but are temporarily judged to be abnormal sound data. is associated with partial data Dp corresponding to a period in which the unit data Du is concentrated at a certain rate or more. Specifically, each record is associated with partial data Dp corresponding to a period in which unit data Du provisionally determined to be abnormal sound data is greater than or equal to a threshold value within a predetermined time (within 10 seconds).
たとえば、前処理での分割の時間単位(単位時間Tu)が0.5秒の場合、10秒間には、20個の単位データDuが含まれる。この20個の単位データDuのうち、たとえば12個以上が異常データと仮判定されると、当該10秒間の部分データDpが、1つのレコードとして管理される。また、上述したように、10秒間分の部分データDpに対してラベル付けが行われる。 For example, if the time unit (unit time Tu) for division in preprocessing is 0.5 seconds, 20 units of data Du are included in 10 seconds. If, for example, 12 or more of the 20 units of data Du are tentatively determined to be abnormal data, the partial data Dp for 10 seconds are managed as one record. Also, as described above, the partial data Dp for 10 seconds are labeled.
図15は、端末装置200において表示される画面203を表した図である。
図15を参照して、ユーザ操作によって、図14の異音履歴の一覧から1つのレコードが選択されると、図示しているように、選択されたレコードに対応した判定結果の画面が表示される。
FIG. 15 is a diagram showing a
Referring to FIG. 15, when one record is selected from the abnormal noise history list of FIG. 14 by user operation, a determination result screen corresponding to the selected record is displayed as shown. be.
端末装置200は、選択されたレコード(図14参照)に対応する、装置、モデル、日時に対応する判定グラフを表示する。判定グラフは、所定時間内(10秒以内)の部分データDpの波形を示している。時間軸(横軸)において、ユーザ操作によって区間を選択可能に構成されている。端末装置200は、選択された区間(たとえば、区間235)のみの音を再生可能である。なお、区間の選択は、たとえば、マウス等のポンタデバイスによって行われる。
The
ユーザは、ボタン236等を用いて、表示された部分データDpの再生を端末装置200に実行させる。
The user uses the
ユーザ操作によって誤検知のオブジェクト231(具体的には、ボタン)が選択されると、表示された部分データDp(本例の場合、10秒間分のデータ)に対する正常音のラベル付けが、サーバ装置100Aにおいて実行される。 When an erroneously detected object 231 (specifically, a button) is selected by a user operation, labeling of a normal sound to the displayed partial data Dp (data for 10 seconds in this example) is performed by the server device. 100A.
ユーザ操作によって異常のオブジェクト232(具体的には、ボタン)が選択されると、表示された部分データDp(本例の場合、10秒間分のデータ)に対する異常音のラベル付けが、サーバ装置100Aにおいて実行される。 When an abnormal object 232 (specifically, a button) is selected by a user operation, labeling of an abnormal sound to the displayed partial data Dp (data for 10 seconds in this example) is performed by the server device 100A. is executed in
なお、判定グラフにおいて、部分データDpの一部が指定され、かつオブジェクト231,232が選択された場合には、サーバ装置100Aは、指定された時間領域の部分データDpに対して、選択されたオブジェクト231,232に応じたラベル付けを行ってもよい。
Note that in the determination graph, when a part of the partial data Dp is specified and the
また、情報処理システム1では、オブジェクト231,232を選択することにより部分データDpに対してラベル付けを行った場合、正常音データまたは異常音データと判断した理由を書き込めるように構成されている。具体的には、オブジェクト234をユーザが選択することにより、当該理由が書き込める。書き込まれた理由は、ラベル付けがなされた部分データDpと関連付けて、サーバ装置100Aに送信される。
Further, in the
このようなラベル付けの手法によれば、精度の高い異音判定を可能とするための学習用データ(ラベル付がなされた部分データDp)を容易に得ることが可能となる。なお、上述したラベル付けの手法は、一例であって、上述した画面203を用いた構成に限定されるものではない。ユーザの音声によりラベル付けを行ってもよい。
According to such a labeling method, it is possible to easily obtain learning data (labeled partial data Dp) for enabling highly accurate abnormal noise determination. Note that the labeling method described above is an example, and is not limited to the configuration using the
<E.誤検知モデルM2および異常モデルM3の利用>
図16は、規範モデルM1と誤検知モデルM2と異常モデルM3とを利用した音監視の処理の流れを説明するためのフロー図である。
<E. Use of False Detection Model M2 and Abnormal Model M3>
FIG. 16 is a flowchart for explaining the flow of sound monitoring processing using the reference model M1, the false positive model M2, and the abnormal model M3.
図16を参照して、ステップS101において、サーバ装置100Aは、集音装置300を用いて、設備900が正常に動作しているときに設備900から発せられる音のデータ(音データ)の取得を開始する。
Referring to FIG. 16, in step S101,
ステップS115において、サーバ装置100Aは、取得した音データを、再生用の音データ(生データ)として記憶装置100Bに記憶させる。詳しくは、サーバ装置100Aは、音データを時刻情報に関連付けて記憶装置100Bに記憶させる。
In step S115, the
ステップS102において、サーバ装置100Aは、図5のステップS42と同様に、取得した音データに対して前処理を行う。具体的には、サーバ装置100Aは、音データを単位時間毎の単位データDuに区切る。
In step S102, the
ステップS102の後、サーバ装置100A(詳しくは、プロセッサ151)は、ステップS103~S114の各処理を、単位データDuの各々に対して実行する。
After step S102, the
ステップS103において、プロセッサ151は、単位データDuから、上記の所定のアルゴリズムを用いて特徴量を抽出する。ステップS104において、プロセッサ151は、抽出された特徴量を規範モデルM1に入力する。ステップS105において、プロセッサ151は、規範モデルM1からの出力を得る。具体的には、規範モデルM1(クラスタ)に対する誤差が算出され、当該誤差が出力される。
In step S103, the
ステップS106において、プロセッサ151は、算出された誤差が所定の範囲R1内であるかいなかを判断する。プロセッサ151は、誤差が範囲R1内であると判断した場合(ステップS106においてYES)、ステップS107において、単位データDuを正常音データと判定する。
At step S106, the
プロセッサ151は、誤差が範囲R1外であると判断した場合(ステップS106においてNO)、ステップS108において、抽出された特徴量が誤検知モデルM2にマッチするかいなかを判断する。たとえば、誤検知モデルM2が学習済モデルとして構成されている場合、出力層からマッチしているか否かの判定結果が出力される。
When
プロセッサ151は、特徴量が誤検知モデルM2にマッチしていると判定された場合(ステップS108においてYES)、処理をステップS107に進める。プロセッサ151は、特徴量が誤検知モデルM2にマッチしていないと判定された場合(ステップS108においてNO)、ステップS109において、抽出された特徴量が異常モデルM3にマッチするかいなかを判断する。たとえば、異常モデルM3が学習済モデルとして構成されている場合、出力層からマッチしているか否かの判定結果が出力される。
If
プロセッサ151は、特徴量が異常モデルM3にマッチしていると判定された場合(ステップS109においてYES)、ステップS110において、単位データDuを異常音データと判定する。次いで、ステップS111において、プロセッサ151は、異常の報知処理を実行する。
When it is determined that the feature amount matches the abnormality model M3 (YES in step S109),
プロセッサ151は、特徴量が異常モデルM3にマッチしていないと判定された場合(ステップS109においてNO)、ステップS112において、単位データDuを異常音データと仮判定する。次いで、ステップS113において、プロセッサ151は、異常の報知処理を実行する。ステップS114において、プロセッサ151は、判定結果を記憶装置100Bに記憶させる。
When it is determined that the feature quantity does not match the abnormality model M3 (NO in step S109), the
<F.規範モデルの更新>
図17は、端末装置200において表示される画面204を表した図である。
<F. Normative model update>
FIG. 17 is a diagram showing a
図17を参照して、ユーザ操作によって、誤検知音学習の項目2764が選択されると、図示しているように、誤検知一覧が表示される。誤検知一覧は、装置名と、モデルと、日時と、評価値と、詳細とを少なくとも含む。詳細の欄には、ラベル付けが行われたことを示すオブジェクトと、ラベル付けが行われた場合に正常音のラベルと異常音のラベルとのうちどちらのラベルが付与されたかを示すオブジェクトとが、レコード毎に表示される。
Referring to FIG. 17, when the user selects the false positive
このような構成によれば、ユーザは、各レコードの部分データDpに対してラベル付けを行ったか否かと、ラベル付けを行った場合に、どちらのラベルを付与した方を容易に判断可能となる。 According to such a configuration, the user can easily determine whether or not the partial data Dp of each record has been labeled, and if so, which label has been given. .
<G.機能的構成>
図18は、情報処理システム1の機能的構成を説明するための図である。
<G. Functional configuration>
FIG. 18 is a diagram for explaining the functional configuration of the
図18を参照して、情報処理システム1は、クラウドシステム100と、端末装置200と、複数の集音装置300とを備える。クラウドシステム100は、典型的には、サーバ装置100Aと、記憶装置100Bとを備える。
Referring to FIG. 18 ,
各集音装置300は、各々が設置された付近の設備から発せられる音を集音する。各集音装置300は、クラウドシステム100に対して、集音した音データを送信する。クラウドシステム100のサーバ装置100Aは、当該音データを取得する。
Each
(g1.サーバ装置100A)
サーバ装置100Aは、制御部101と、通信IF(Interface)103とを備える。制御部101は、データ処理部111と、モデル処理部112と、音判定部113とを備える。モデル処理部112は、モデル生成部1121と、ラベル付与部1122と、モデル更新部1123とを備える。音判定部113は、第1判定部1131と、第2判定部1132と、第3判定部1133とを備える。
(g1.
The
制御部101は、サーバ装置100Aの全体的な動作を制御する。具体的には、制御部101は、記憶部(図示せず)等に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより、サーバ装置100Aの全体的な動作を制御する。制御部101は、典型的には、プロセッサ151(図19参照)が、これらのオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。
The
通信IF103は、外部機器と通信するためのインターフェイスである。サーバ装置100Aは、通信IF103によって、各集音装置300と、端末装置200と通信する。また、図示しない通信IFによって、サーバ装置100Aは、記憶装置100Bと通信する。
Communication IF 103 is an interface for communicating with an external device. The
データ処理部111は、集音装置300によって集音された音を、保存用データDsとして記憶装置100Bに記憶させるとともに、判定に用いる判定用データDdとして処理する。詳しくは、データ処理部111は、判定用データDdを単位時間毎の単位データDuに区切る。データ処理部111は、単位データDuを音判定部113に送る。
The data processing unit 111 causes the
モデル処理部112のモデル生成部1121は、データ処理部111より正常音の単位データDuを取得して、当該単位データDuに基づき規範モデルM1を生成する。生成された規範モデルM1は、第1判定部1131に送られる。
The
また、モデル生成部1121は、誤検知モデルM2と、異常モデルM3とを生成する。生成された誤検知モデルM2は、第2判定部1132に送られる。生成された異常モデルM3は、第3判定部1133に送られる。
The
誤検知モデルM2は、上述したように、正常音のラベル付けがなされた部分データDpを利用して生成される。異常モデルM3は、上述したように、異常音のラベル付けがなされた部分データDpを利用して生成される。このようなラベル付は、ラベル付与部1122によって実行される。なお、上記部分データDpは、上述したように、記憶装置100Bに格納されている。
The false detection model M2 is generated using the partial data Dp labeled as normal sounds, as described above. The abnormal model M3 is generated using the partial data Dp labeled with the abnormal sound, as described above. Such labeling is performed by the
ラベル付与部1122は、端末装置200からの指示に(ユーザによりオブジェクト231,232(図15参照))基づき、部分データDpに対してラベル付けを行う。ラベル付与部1122は、正常音データであることを示すラベルと異常音データであることを示すラベルとのうちユーザ操作に応じたラベルを、部分データDp(詳しくは、端末装置200のスピーカ295から出力された部分データDp)に対して付与する。
The
典型的には、ラベル付与部1122は、所定時間(所定の単位期間)において正常音データと判定されなかった単位データDuが閾値以上存在する場合、当該所定時間に対応する部分データDpに対して、ユーザ操作に応じたラベルを付与する。
Typically, when the number of units of data Du not judged to be normal sound data for a predetermined time (predetermined unit period) is equal to or greater than a threshold, the
モデル更新部1123は、誤検知データ(すなわち、正常音のラベル付けがされた部分データDp)を用いて規範モデルM1を更新する。更新のトリガは、典型的には、端末装置200におけるユーザ指示である。なお、これに限らず、モデル更新部1123は、前回の更新から所定の時間が経過すると、自動的に更新処理を行ってもよい。また、モデル更新部1123は、誤検知データの数が所定数以上となると、自動的に更新処理を行ってもよい。モデル更新部1123は、自動的に更新を行うに際し、端末装置200からユーザの許可を得ることを条件としてもよい。
The model updating unit 1123 updates the reference model M1 using the erroneous detection data (that is, the partial data Dp labeled as normal sound). An update trigger is typically a user instruction at the
音判定部113は、集音された音が正常音か異常音かを判定する。
第1判定部1131は、上述した規範モデルM1を有する。詳しくは、第1判定部1131は、設備900毎に、規範モデルM1を有する。第1判定部1131は、規範モデルM1を用いて、対象となる設備900から発せられる音が正常音であるか否かを判定する。詳しくは、第1判定部1131は、規範モデルM1を用いて、各単位データDuが正常音データであるか否かを判定する。
The
The
第2判定部1132は、上述したように、正常音のラベルが付与された部分データDpを用いて生成された誤検知モデルM2を有する。詳しくは、第2判定部1132は、設備900毎に、誤検知モデルM2を有する。誤検知モデルM2は、上述したように、運用後に生成される。第2判定部1132は、単位データDuが規範モデルM1によって正常音データと判定されなかった場合に、誤検知モデルM2を用いて、単位データDuが正常音データであるか否かを判定する。
The
第3判定部1133は、上述したように、異常音のラベルが付与された部分データDpを用いて生成された異常モデルM3を有する。詳しくは、第3判定部1133は、設備900毎に、異常モデルM3を有する。異常モデルM3は、上述したように、運用後に生成される。第3判定部1133は、異常モデルM3を用いて、単位データDuが異常音データであるか否かを判定する。
The
制御部101は、単位データDuを異常音データと判定(仮判定を含む)した場合には、端末装置200に対して、所定の警告通知を行う。
When the
(g2.端末装置200)
端末装置200は、制御部291と、入力装置292と、通信IF293と、ディスプレイ258と、スピーカ295とを備える。
(g2. Terminal device 200)
制御部291は、端末装置200の全体的な動作を制御する。具体的には、制御部291は、端末装置200の記憶部(図示せず)等に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより、端末装置200の全体的な動作を制御する。制御部291は、典型的には、プロセッサ251(図20参照)が、これらのオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。
The
通信IF293は、外部機器と通信するためのインターフェイスである。端末装置200は、通信IF293によって、サーバ装置100Aと通信する。
Communication IF 293 is an interface for communicating with an external device. The
入力装置292は、ユーザ操作を受け付ける装置である。入力装置292は、典型的には、キーボード、マウス、またはタッチパネルである。入力装置292は、受け付けた入力を制御部291に送る。当該入力としては、上述した各画面に表示された項目に対する選択操作、データの入力等が挙げられる。
The
表示制御部2911は、ディスプレイに各種画面を表示する。表示制御部2911は、入力装置292を用いたユーザ操作に基づき、ディスプレイ258に表示させる画面を切り替える。表示制御部2911は、たとえば、画面201~204(図7,図14,図15,図17参照)、波形221(図8参照)、スペクトラム222(図9参照)、グラフ223(図10参照)をディスプレイ258に表示する。なお、波形221は、正常音データと判定されなかった単位データDuの波形を含む。
The
再生処理部2912は、入力装置292を介したユーザ操作に基づき、部分データDpを、スピーカを用いて再生する。詳しくは、再生処理部2912は、単位データDuが規範モデルM1によって正常音データと判定されなかった場合に、記憶装置100Bに記憶された保存用データDsのうち、正常音データと判定されなかった単位データDuに対応する部分データDpをスピーカ295から出力させる。また、再生処理部2912は、単位データDuが誤検知モデルM2によって正常音データと判定されなかったことを条件に、記憶装置100Bに記憶された保存用データDsのうち、正常音データと判定されなかった単位データDuに対応する部分データDpを、スピーカ295から出力させる。
The
制御部291は、単位データDuがサーバ装置100Aの第1判定部1131によって正常音データと判定されなかった場合、サーバ装置100Aからの警告通知に基づき、所定の報知を行う。典型的には、制御部291は、スピーカ295から所定の警告音を出力する。また、制御部291は、ディスプレイ258に所定の警告表示を行う。
If the unit data Du is not determined to be normal sound data by the
(g3.ラベル付け)
次に、ラベル付処理の局面に関し、端末装置200とサーバ装置100Aとの処理を、より詳しく説明する。
(g3. Labeling)
Next, regarding the aspect of the labeling process, the processes of the
端末装置200の表示制御部2911は、正常音データと判定されなかった単位データDuに対応する部分データDpを、スピーカ295から出力させるための操作画面(図15参照)をディスプレイ258に表示させる。この操作画面は、オブジェクト231,232を有する。
The
端末装置200は、当該操作画面に対する操作によって単位データDuに対応する部分データDpがスピーカ295から出力された後に、オブジェクト231が選択されると、端末装置200は、サーバ装置100Aに対して、当該部分データDpが正常音データであること示す通知を送信する。この場合、サーバ装置100Aのラベル付与部1122は、サーバ装置100Aが当該通知を受信したことを条件に、当該部分データDpに対して、正常音のラベルを付与する。
When the
端末装置200は、上記操作画面に対する操作によって単位データDuに対応する部分データDpがスピーカ295から出力された後に、オブジェクト232が選択されると、端末装置200は、サーバ装置100Aに対して、当該部分データDpが異常音データであること示す通知を送信する。この場合、サーバ装置100Aのラベル付与部1122は、サーバ装置100Aが当該通知を受信したことを条件に、当該部分データDpに対して、異常音のラベルを付与する。
When the
このような構成によれば、精度の高い異音判定を可能とするための学習用データ(ラベル付がなされた部分データDp)を容易に得ることが可能となる。 According to such a configuration, it is possible to easily obtain learning data (labeled partial data Dp) for enabling highly accurate abnormal noise determination.
<H.ハードウェア構成>
図19は、サーバ装置100Aのハードウェア構成の典型例を表した図である。
<H. Hardware configuration>
FIG. 19 is a diagram showing a typical example of the hardware configuration of the
図19を参照して、サーバ装置100Aは、主たる構成要素として、プログラムを実行するプロセッサ151と、データを不揮発的に格納するROM152と、プロセッサ151によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するRAM153と、データを不揮発的に格納するHDD154と、通信IF155と、操作キー156と、電源回路157と、ディスプレイ158とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信IF155は、他の機器と間における通信を行なうためのインターフェイスである。
Referring to FIG. 19,
サーバ装置100Aにおける処理は、各ハードウェアおよびプロセッサ151により実行されるソフトウェアによって実現される。このようなソフトウェアは、HDD154に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信IF155等を介してダウンロードされた後、HDD154に一旦格納される。そのソフトウェアは、プロセッサ151によってHDD154から読み出され、RAM153に実行可能なプログラムの形式で格納される。プロセッサ151は、そのプログラムを実行する。
The processing in
同図に示されるサーバ装置100Aを構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM153、HDD154、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置100Aの各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
Each component constituting the
図20は、端末装置200のハードウェア構成の典型例を表した図である。
図20を参照して、端末装置200は、主たる構成要素として、プログラムを実行するプロセッサ251と、データを不揮発的に格納するROM252と、プロセッサ251によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するRAM253と、データを不揮発的に格納するHDD254と、通信IF255と、操作キー256と、電源回路257と、ディスプレイ258とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信IF255は、他の機器と間における通信を行なうためのインターフェイスである。
FIG. 20 is a diagram showing a typical example of the hardware configuration of the
Referring to FIG. 20,
端末装置200における処理は、各ハードウェアおよびプロセッサ251により実行されるソフトウェアによって実現される。このようなソフトウェアは、HDD254に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信IF255等を介してダウンロードされた後、HDD254に一旦格納される。そのソフトウェアは、プロセッサ251によってHDD254から読み出され、RAM253に実行可能なプログラムの形式で格納される。プロセッサ251は、そのプログラムを実行する。
Processing in the
同図に示される端末装置200を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM253、HDD254、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、端末装置200の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
Each component constituting the
<I.その他の機能>
(1)図21は、死活監視の画面を表した図である。図21を参照して、死活監視の項目2711が選択されると、死活監視の画面が端末装置200のディスプレイ258に表示される。pingが閾値を超えると、端末装置200は、死活監視異常を報知する。たとえば、端末装置200は、項目2711を通常時とは異なる態様で表示する。たとえば、端末装置200は、項目の色を変更する。
<I. Other functions>
(1) FIG. 21 is a diagram showing a life-and-death monitoring screen. Referring to FIG. 21 , when
また、端末装置200が、図7に示した画面201を表示している状態において、死活監視異常が検知された場合、タブ211を通常時とは異なる態様で表示してもよい。
Further, when a life-and-death monitoring abnormality is detected while the
(2)誤検知モデルM2および異常モデルM3の入力次元数は、規範モデルM1の入力次元数よりも低い。 (2) The number of input dimensions of the false positive model M2 and the abnormal model M3 is lower than the number of input dimensions of the reference model M1.
(3)規範モデルM1と、誤検知モデルM2および異常モデルM3とは、アルゴリズムが異なる。たとえば、誤検知モデルM2および異常モデルM3のアルゴリズムを、SVM(サポートベクターマシン)とすることもできる。 (3) Algorithms differ between the reference model M1, the false positive model M2, and the abnormal model M3. For example, the algorithms of the false positive model M2 and the anomaly model M3 can be SVM (Support Vector Machine).
(4)誤検知モデルM2だけではなく異常モデルM3を規範モデルM1に統合することにより、設備900が発する音が異常であるか否かをサーバ装置100Aで判定させてもよい。
(4) By integrating not only the erroneous detection model M2 but also the abnormality model M3 into the reference model M1, the
(5)正常音のラベルが付与された後、所定の期間内に、誤検知データを用いた規範モデルM1の更新がなされていない場合には、サーバ装置100Aが端末装置200に所定の報知をさせるように、情報処理システム1を構成してもよい。
(5) If the reference model M1 is not updated using the erroneous detection data within a predetermined period after the normal sound label is assigned, the
(6)プログラムは、設備用のモデルを用いて、上記設備から発せられる音が正常音であるか否かを判定するステップと、集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに上記判定に用いる第2の音データとして処理するステップとを、プロセッサに実行させる。上記第2の音データとして処理するステップは、上記第2の音データを単位時間毎の単位データに区切るステップを含む。上記プログラムは、上記モデルを用いて、各上記単位データが正常音データであるか否かを判定するステップと、上記単位データが上記モデルによって正常音データと判定されなかった場合に、上記記憶装置に記憶された上記第1の音データのうち、正常音データと判定されなかった上記単位データに対応する部分をスピーカから出力させるステップと、正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、上記スピーカから出力された上記部分に対して付与するステップとを、上記プロセッサにさらに実行させる。 (6) The program uses the equipment model to determine whether or not the sound emitted from the equipment is a normal sound; and storing it in a storage device as second sound data used for the determination. The step of processing the second sound data includes dividing the second sound data into unit data for each unit time. The program uses the model to determine whether or not each unit data is normal sound data, and if the unit data is not determined to be normal sound data by the model, a step of outputting, from a speaker, a portion of the first sound data stored in the unit corresponding to the unit data that has not been determined as normal sound data; a first label indicating normal sound data and an abnormality; The processor further causes the processor to assign a second label indicating sound data and a label corresponding to a user's operation to the portion output from the speaker.
(7)情報処理システム1は、クラウドシステム100と、端末装置200とを備えるが、クラウドシステム100と端末装置200との機能を、1つの情報処理装置で実行するように、情報処理システム1を構成してもよい。
(7) The
(8)上記においては、前処理における分割の時間単位(Tu秒)が1秒以下である場合を例に挙げて説明したが、これに限定されるものではなく、1秒以上であってもよい。 (8) In the above, the case where the division time unit (Tu seconds) in the preprocessing is 1 second or less has been described as an example, but it is not limited to this, and even if it is 1 second or more good.
今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time are examples, and are not limited to the above contents. The scope of the present invention is indicated by the scope of claims, and is intended to include all modifications within the meaning and scope of equivalence to the scope of claims.
1 情報処理システム、100 クラウドシステム、100A サーバ装置、100B 記憶装置、101,291 制御部、111 データ処理部、112 モデル処理部、113 音判定部、151,251 プロセッサ、158,258 ディスプレイ、200 端末装置、201,202,203,204 画面、211~215 タブ、221 波形、222 スペクトラム、223 グラフ、231,232,234 オブジェクト、235 時間領域、241,242 アイコン、270 ダッシュボード、271~276,2711,2751,2761~2764 項目、292 入力装置、295 スピーカ、300 集音装置、900 設備、1121 モデル生成部、1122 ラベル付与部、1123 モデル更新部、1131 第1判定部、1132 第2判定部、1133 第3判定部、2911 表示制御部、2912 再生処理部、Dd 判定用データ、Dp 部分データ、Ds 保存用データ、Du 単位データ、M1 規範モデル、M2 誤検知モデル、M3 異常モデル、NW ネットワーク。 1 information processing system, 100 cloud system, 100A server device, 100B storage device, 101, 291 control unit, 111 data processing unit, 112 model processing unit, 113 sound determination unit, 151, 251 processor, 158, 258 display, 200 terminal Device, 201, 202, 203, 204 Screen, 211-215 Tab, 221 Waveform, 222 Spectrum, 223 Graph, 231, 232, 234 Object, 235 Time domain, 241, 242 Icon, 270 Dashboard, 271-276, 2711 , 2751, 2761 to 2764 items, 292 input device, 295 speaker, 300 sound collector, 900 equipment, 1121 model generation unit, 1122 label assignment unit, 1123 model update unit, 1131 first determination unit, 1132 second determination unit, 1133 third determination unit, 2911 display control unit, 2912 reproduction processing unit, Dd determination data, Dp partial data, Ds storage data, Du unit data, M1 reference model, M2 false positive model, M3 abnormal model, NW network.
Claims (15)
第1の設備から発せられる音を集音する第1の集音装置と、
前記第1の設備用の第1のモデルを用いて、前記第1の設備から発せられる音が正常音であるか否かを判定する第1の判定手段と、
前記第1の集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するデータ処理手段とを備え、
前記データ処理手段は、前記第2の音データを単位時間毎の第1の単位データに区切り、
前記第1の判定手段は、前記第1のモデルを用いて、各前記第1の単位データが正常音データであるか否かを判定し、
前記情報処理システムは、
前記第1の単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記第1の単位データに対応する部分をスピーカから出力させる再生手段と、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するラベル付与手段と、
前記第1の単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記第1のラベルが付与された前記部分を用いて生成された第2のモデルを用いて、前記第1の単位データが正常音データであるか否かを判定する第2の判定手段とをさらに備え、
前記再生手段は、前記第1の単位データが前記第2のモデルによって正常音データと判定されなかったことを条件に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記第1の単位データに対応する部分を、前記スピーカから出力させる、情報処理システム。 An information processing system,
a first sound collector for collecting sound emitted from the first equipment;
a first determination means for determining whether or not the sound emitted from the first equipment is a normal sound using the first model for the first equipment;
Data processing means for storing the sound collected by the first sound collecting device in a storage device as first sound data and processing it as second sound data used for the determination,
The data processing means partitions the second sound data into first unit data for each unit time,
The first determination means uses the first model to determine whether each of the first unit data is normal sound data,
The information processing system is
When the first unit data is not determined to be normal sound data by the first model, the first sound data among the first sound data stored in the storage device is not determined to be normal sound data. reproduction means for outputting a portion corresponding to one unit data from a speaker;
A label corresponding to a user's operation out of a first label indicating normal sound data and a second label indicating abnormal sound data is assigned to the portion output from the speaker. a granting means ;
When the first unit data is not determined to be normal sound data by the first model, using the second model generated using the portion to which the first label is assigned, the a second determination means for determining whether the first unit data is normal sound data;
On condition that the first unit data is not determined to be normal sound data by the second model, the reproducing means reproduces normal sound data out of the first sound data stored in the storage device. an information processing system that causes the speaker to output a portion corresponding to the first unit data that is not determined to be
第1の設備から発せられる音を集音する第1の集音装置と、
前記第1の設備用の第1のモデルを用いて、前記第1の設備から発せられる音が正常音であるか否かを判定する第1の判定手段と、
前記第1の集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するデータ処理手段とを備え、
前記データ処理手段は、前記第2の音データを単位時間毎の第1の単位データに区切り、
前記第1の判定手段は、前記第1のモデルを用いて、各前記第1の単位データが正常音データであるか否かを判定し、
前記情報処理システムは、
前記第1の単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記第1の単位データに対応する部分をスピーカから出力させる再生手段と、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するラベル付与手段と、
前記第1のラベルが付与された前記部分を用いて、前記第1のモデルを更新する更新手段とをさらに備える、情報処理システム。 An information processing system,
a first sound collector for collecting sound emitted from the first equipment;
a first determination means for determining whether or not the sound emitted from the first equipment is a normal sound using the first model for the first equipment;
Data processing means for storing the sound collected by the first sound collecting device in a storage device as first sound data and processing it as second sound data used for the determination,
The data processing means partitions the second sound data into first unit data for each unit time,
The first determination means uses the first model to determine whether each of the first unit data is normal sound data,
The information processing system is
When the first unit data is not determined to be normal sound data by the first model, the first sound data among the first sound data stored in the storage device is not determined to be normal sound data. reproduction means for outputting a portion corresponding to one unit data from a speaker;
A label corresponding to a user's operation out of a first label indicating normal sound data and a second label indicating abnormal sound data is assigned to the portion output from the speaker. a granting means ;
An information processing system , further comprising update means for updating the first model using the portion to which the first label is assigned .
第1の設備から発せられる音を集音する第1の集音装置と、
前記第1の設備用の第1のモデルを用いて、前記第1の設備から発せられる音が正常音であるか否かを判定する第1の判定手段と、
前記第1の集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するデータ処理手段とを備え、
前記データ処理手段は、前記第2の音データを単位時間毎の第1の単位データに区切り、
前記第1の判定手段は、前記第1のモデルを用いて、各前記第1の単位データが正常音データであるか否かを判定し、
前記情報処理システムは、
前記第1の単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記第1の単位データに対応する部分をスピーカから出力させる再生手段と、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するラベル付与手段とをさらに備え、
前記ラベル付与手段は、所定の単位期間において正常音データと判定されなかった前記第1の単位データが閾値以上存在する場合、当該単位期間に対応する前記部分に対して、前記ユーザ操作に応じたラベルを付与する、情報処理システム。 An information processing system,
a first sound collector for collecting sound emitted from the first equipment;
a first determination means for determining whether or not the sound emitted from the first equipment is a normal sound using the first model for the first equipment;
Data processing means for storing the sound collected by the first sound collecting device in a storage device as first sound data and processing it as second sound data used for the determination,
The data processing means partitions the second sound data into first unit data for each unit time,
The first determination means uses the first model to determine whether each of the first unit data is normal sound data,
The information processing system is
When the first unit data is not determined to be normal sound data by the first model, the first sound data among the first sound data stored in the storage device is not determined to be normal sound data. reproduction means for outputting a portion corresponding to one unit data from a speaker;
A label corresponding to a user's operation out of a first label indicating normal sound data and a second label indicating abnormal sound data is assigned to the portion output from the speaker. further comprising a granting means ,
When the number of pieces of the first unit data not determined as normal sound data in a predetermined unit period exceeds a threshold value, the labeling means assigns a label to the portion corresponding to the unit period according to the user's operation. An information processing system that assigns labels .
前記サーバ装置は、前記ラベル付与手段を含み、
前記端末装置は、
前記スピーカと、前記再生手段と、ディスプレイとを含み、
正常音データと判定されなかった前記第1の単位データに対応する部分を、前記スピーカから出力させるための操作画面を前記ディスプレイに表示し、
前記操作画面は、第1のオブジェクトを有し、
前記操作画面に対する操作によって前記第1の単位データに対応する部分が前記スピーカから出力された後に、前記第1のオブジェクトが選択されると、前記端末装置は、前記サーバ装置に対して、前記部分が正常音データであること示す第1の通知を送信し、
前記ラベル付与手段は、前記サーバ装置が前記第1の通知を受信したことを条件に、前記部分に対して、前記第1のラベルを付与する、請求項1から5のいずれか1項に記載の情報処理システム。 The information processing system further includes a server device and a terminal device communicably connected to the server device,
The server device includes the labeling means,
The terminal device
including the speaker, the reproduction means, and a display;
displaying on the display an operation screen for outputting from the speaker a portion corresponding to the first unit data that is not determined to be normal sound data;
The operation screen has a first object,
When the first object is selected after the portion corresponding to the first unit data is output from the speaker by an operation on the operation screen, the terminal device sends the portion to the server device. is normal sound data;
6. The labeling means according to any one of claims 1 to 5, wherein said labeling means gives said first label to said portion on condition that said server device has received said first notification. information processing system.
前記操作画面に対する操作によって前記第1の単位データに対応する部分が前記スピーカから出力された後に、前記第2のオブジェクトが選択されると、前記端末装置は、前記サーバ装置に対して、前記部分が異常音データであること示す第2の通知を送信し、
前記ラベル付与手段は、前記サーバ装置が前記第2の通知を受信したことを条件に、前記部分に対して、前記第2のラベルを付与する、請求項6に記載の情報処理システム。 The operation screen has a second object,
When the second object is selected after the portion corresponding to the first unit data is output from the speaker by an operation on the operation screen, the terminal device instructs the server device to transmit the portion is abnormal sound data;
7. The information processing system according to claim 6, wherein said label assigning means assigns said second label to said portion on condition that said server apparatus has received said second notification.
前記データ処理手段は、前記第2の集音装置によって集音された音を、第3の音データとして記憶装置に記憶させるとともに第4の音データとして処理し、かつ前記第4の音データを単位時間毎の第2の単位データに区切り、
前記第1の判定手段は、前記第2の設備用の第4のモデルを用いて、各前記第2の単位データが正常音データであるか否かを判定し、
前記再生手段は、前記第2の単位データが前記第4のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第3の音データのうち、正常音データと判定されなかった前記第2の単位データに対応する部分をスピーカから出力させ、
前記ラベル付与手段は、前記第1のラベルと前記第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記第2の単位データに対応する部分に対して付与する、請求項1または2に記載の情報処理システム。 further comprising a second sound collector that collects sound emitted from the second equipment,
The data processing means stores the sound collected by the second sound collecting device in a storage device as third sound data, processes the sound as fourth sound data, and processes the fourth sound data. Separated into second unit data for each unit time,
The first determination means uses a fourth model for the second equipment to determine whether each of the second unit data is normal sound data,
The reproducing means determines that the third sound data stored in the storage device is normal sound data when the second unit data is not determined to be normal sound data by the fourth model. outputting from a speaker a portion corresponding to the second unit data that has not been processed;
The label assigning means assigns a label corresponding to a user operation, out of the first label and the second label, to the portion corresponding to the second unit data output from the speaker. The information processing system according to claim 1 or 2 .
集音装置を用いて、設備から発せられる音を集音するステップと、
前記設備用の第1のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
前記集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するステップとを備え、前記第2の音データとして処理するステップは、前記第2の音データを単位時間毎の単位データに区切るステップを含み、
前記情報処理方法は、
前記第1のモデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記第1のラベルが付与された前記部分を用いて生成された第2のモデルを用いて、前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第2のモデルによって正常音データと判定されなかったことを条件に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分を、前記スピーカから出力させるステップとをさらに備える、情報処理方法。 An information processing method,
a step of collecting sound emitted from the equipment using a sound collecting device;
determining whether a sound emitted from the equipment is normal sound using a first model for the equipment;
storing the sound collected by the sound collecting device in a storage device as first sound data and processing it as second sound data used for the determination, and processing it as the second sound data. The step includes dividing the second sound data into unit data for each unit time;
The information processing method includes:
determining whether each unit data is normal sound data using the first model;
When the unit data is not determined as normal sound data by the first model, it corresponds to the unit data that is not determined as normal sound data among the first sound data stored in the storage device. a step of outputting the portion to be performed from a speaker;
a step of assigning to the portion output from the speaker a label corresponding to a user's operation, out of a first label indicating normal sound data and a second label indicating abnormal sound data; When,
When the unit data is not determined to be normal sound data by the first model, the unit data is generated using a second model generated using the portion to which the first label is assigned. a step of determining whether the sound data is normal;
The unit data that is not determined to be normal sound data among the first sound data stored in the storage device, provided that the unit data is not determined to be normal sound data by the second model. and outputting a portion corresponding to from the speaker .
集音装置を用いて、設備から発せられる音を集音するステップと、
前記設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
前記集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するステップとを備え、前記第2の音データとして処理するステップは、前記第2の音データを単位時間毎の単位データに区切るステップを含み、
前記情報処理方法は、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記第1のラベルが付与された前記部分を用いて、前記モデルを更新するステップとをさらに備える、情報処理方法。 An information processing method,
a step of collecting sound emitted from the equipment using a sound collecting device;
determining whether the sound emitted from the equipment is a normal sound using the model for the equipment;
storing the sound collected by the sound collecting device in a storage device as first sound data and processing it as second sound data used for the determination, and processing it as the second sound data. The step includes dividing the second sound data into unit data for each unit time;
The information processing method includes:
determining whether each unit data is normal sound data using the model;
When the unit data is not determined to be normal sound data by the model, a part of the first sound data stored in the storage device corresponding to the unit data not determined to be normal sound data is a step of outputting from a speaker;
a step of assigning to the portion output from the speaker a label corresponding to a user's operation, out of a first label indicating normal sound data and a second label indicating abnormal sound data; When,
and updating the model using the portion to which the first label has been assigned .
集音装置を用いて、設備から発せられる音を集音するステップと、
前記設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
前記集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するステップとを備え、前記第2の音データとして処理するステップは、前記第2の音データを単位時間毎の単位データに区切るステップを含み、
前記情報処理方法は、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
所定の単位期間において正常音データと判定されなかった前記単位データが閾値以上存在する場合、当該単位期間に対応する前記部分に対して、前記ユーザ操作に応じたラベルを付与するステップとをさらに備える、情報処理方法。 An information processing method,
a step of collecting sound emitted from the equipment using a sound collecting device;
determining whether the sound emitted from the equipment is a normal sound using the model for the equipment;
storing the sound collected by the sound collecting device in a storage device as first sound data and processing it as second sound data used for the determination, and processing it as the second sound data. The step includes dividing the second sound data into unit data for each unit time;
The information processing method includes:
determining whether each unit data is normal sound data using the model;
When the unit data is not determined to be normal sound data by the model, a part of the first sound data stored in the storage device corresponding to the unit data not determined to be normal sound data is a step of outputting from a speaker;
a step of assigning to the portion output from the speaker a label corresponding to a user's operation, out of a first label indicating normal sound data and a second label indicating abnormal sound data; When,
and adding a label corresponding to the user's operation to the portion corresponding to the unit period when the number of the unit data not determined as normal sound data in a predetermined unit period is equal to or greater than a threshold. , information processing methods.
設備用の第1のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するステップとを、装置のプロセッサに実行させ、
前記第2の音データとして処理するステップは、前記第2の音データを単位時間毎の単位データに区切るステップを含み、
前記プログラムは、
前記第1のモデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記単位データが前記第1のモデルによって正常音データと判定されなかった場合に、前記第1のラベルが付与された前記部分を用いて生成された第2のモデルを用いて、前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第2のモデルによって正常音データと判定されなかったことを条件に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分を、前記スピーカから出力させるステップとを、前記プロセッサにさらに実行させる、プログラム。 a program,
determining whether a sound emitted from the equipment is normal sound using a first model for the equipment;
storing the sound collected by the sound collecting device in a storage device as first sound data and processing the sound as second sound data used for the determination by a processor of the device;
The step of processing as the second sound data includes dividing the second sound data into unit data for each unit time,
Said program
determining whether each unit data is normal sound data using the first model;
When the unit data is not determined as normal sound data by the first model, it corresponds to the unit data that is not determined as normal sound data among the first sound data stored in the storage device. a step of outputting the portion to be performed from a speaker;
a step of assigning to the portion output from the speaker a label corresponding to a user's operation, out of a first label indicating normal sound data and a second label indicating abnormal sound data; When,
When the unit data is not determined to be normal sound data by the first model, the unit data is generated using a second model generated using the portion to which the first label is assigned. a step of determining whether the sound data is normal;
The unit data that is not determined to be normal sound data among the first sound data stored in the storage device, provided that the unit data is not determined to be normal sound data by the second model. and causing the processor to output a portion corresponding to from the speaker .
設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するステップとを、装置のプロセッサに実行させ、
前記第2の音データとして処理するステップは、前記第2の音データを単位時間毎の単位データに区切るステップを含み、
前記プログラムは、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記第1のラベルが付与された前記部分を用いて、前記モデルを更新するステップとを、前記プロセッサにさらに実行させる、プログラム。 a program,
determining whether the sound emitted from the equipment is a normal sound using a model for the equipment;
storing the sound collected by the sound collecting device in a storage device as first sound data and processing the sound as second sound data used for the determination by a processor of the device;
The step of processing as the second sound data includes dividing the second sound data into unit data for each unit time,
Said program
determining whether each unit data is normal sound data using the model;
When the unit data is not determined to be normal sound data by the model, a part of the first sound data stored in the storage device corresponding to the unit data not determined to be normal sound data is a step of outputting from a speaker;
a step of assigning to the portion output from the speaker a label corresponding to a user's operation, out of a first label indicating normal sound data and a second label indicating abnormal sound data; When,
and updating the model using the portion with the first label .
設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
集音装置によって集音された音を、第1の音データとして記憶装置に記憶させるとともに前記判定に用いる第2の音データとして処理するステップとを、装置のプロセッサに実行させ、
前記第2の音データとして処理するステップは、前記第2の音データを単位時間毎の単位データに区切るステップを含み、
前記プログラムは、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第1の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第1のラベルと異常音データであることを示す第2のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
所定の単位期間において正常音データと判定されなかった前記単位データが閾値以上存在する場合、当該単位期間に対応する前記部分に対して、前記ユーザ操作に応じたラベルを付与するステップとを、前記プロセッサにさらに実行させる、プログラム。 a program,
determining whether the sound emitted from the equipment is a normal sound using a model for the equipment;
storing the sound collected by the sound collecting device in a storage device as first sound data and processing the sound as second sound data used for the determination by a processor of the device;
The step of processing as the second sound data includes dividing the second sound data into unit data for each unit time,
Said program
determining whether each unit data is normal sound data using the model;
When the unit data is not determined to be normal sound data by the model, a part of the first sound data stored in the storage device corresponding to the unit data not determined to be normal sound data is a step of outputting from a speaker;
a step of assigning to the portion output from the speaker a label corresponding to a user's operation, out of a first label indicating normal sound data and a second label indicating abnormal sound data; When,
the step of assigning a label according to the user's operation to the portion corresponding to the unit period when the number of the unit data not determined as normal sound data in a predetermined unit period is greater than or equal to a threshold ; A program that causes the processor to run further.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193142A JP7142530B2 (en) | 2018-10-12 | 2018-10-12 | Information processing system, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193142A JP7142530B2 (en) | 2018-10-12 | 2018-10-12 | Information processing system, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020060503A JP2020060503A (en) | 2020-04-16 |
JP7142530B2 true JP7142530B2 (en) | 2022-09-27 |
Family
ID=70220145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193142A Active JP7142530B2 (en) | 2018-10-12 | 2018-10-12 | Information processing system, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7142530B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002090267A (en) | 2000-09-21 | 2002-03-27 | Mitsui Eng & Shipbuild Co Ltd | Failure diagnosis method |
JP2006189334A (en) | 2005-01-06 | 2006-07-20 | Chugoku Electric Power Co Inc:The | Facility inspecting system |
JP2007327885A (en) | 2006-06-08 | 2007-12-20 | Matsushita Electric Works Ltd | Abnormality determination method and abnormality determination device |
JP2008040683A (en) | 2006-08-03 | 2008-02-21 | Matsushita Electric Works Ltd | Signal identification method and signal identification device |
JP2009025015A (en) | 2007-07-17 | 2009-02-05 | Omron Corp | Knowledge-creation support system and program |
US20090240641A1 (en) | 2006-08-03 | 2009-09-24 | Yoshihito Hashimoto | Optimizing method of learning data set for signal discrimination apparatus and signal discrimination apparatus capable of optimizing learning data set |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3211615B2 (en) * | 1995-04-06 | 2001-09-25 | 日産自動車株式会社 | Machine operation noise abnormality judgment method |
-
2018
- 2018-10-12 JP JP2018193142A patent/JP7142530B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002090267A (en) | 2000-09-21 | 2002-03-27 | Mitsui Eng & Shipbuild Co Ltd | Failure diagnosis method |
JP2006189334A (en) | 2005-01-06 | 2006-07-20 | Chugoku Electric Power Co Inc:The | Facility inspecting system |
JP2007327885A (en) | 2006-06-08 | 2007-12-20 | Matsushita Electric Works Ltd | Abnormality determination method and abnormality determination device |
JP2008040683A (en) | 2006-08-03 | 2008-02-21 | Matsushita Electric Works Ltd | Signal identification method and signal identification device |
US20090240641A1 (en) | 2006-08-03 | 2009-09-24 | Yoshihito Hashimoto | Optimizing method of learning data set for signal discrimination apparatus and signal discrimination apparatus capable of optimizing learning data set |
JP2009025015A (en) | 2007-07-17 | 2009-02-05 | Omron Corp | Knowledge-creation support system and program |
Also Published As
Publication number | Publication date |
---|---|
JP2020060503A (en) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10911607B2 (en) | Diagnosing an image forming apparatus based on sound signal analysis | |
JP4349290B2 (en) | Abnormal sound determination system, server, information device, and abnormal sound determination program | |
CN101753382B (en) | Method for establishing adaptive network failure monitoring and positioning security model | |
US11115295B2 (en) | Methods and systems for online monitoring using a variable data | |
JPWO2008120552A1 (en) | Diagnostic system | |
US20200076707A1 (en) | Autonomic or AI-assisted validation, decision making, troubleshooting and/or performance enhancement within a telecommunications network | |
CN110244686A (en) | The fault handling method and device of smart machine | |
US20040181549A1 (en) | Direct maintenance system for unscheduled, predictive, and preventive maintenance of critical process equipment | |
WO2023090193A1 (en) | Information processing device, control system, information processing method, and program | |
JP6880560B2 (en) | Failure prediction device, failure prediction method and failure prediction program | |
WO2015171860A1 (en) | Automatic alert generation | |
JP7142530B2 (en) | Information processing system, information processing method, and program | |
JP2018195133A (en) | Information processing apparatus and information processing program | |
JP6612825B2 (en) | Plant monitoring device and distributed control system | |
CN113691801A (en) | Video monitoring equipment fault monitoring method and system based on video image analysis | |
JP7494407B1 (en) | Information processing system, information processing method, and program | |
US20200125995A1 (en) | Machine learning with segment-aligned multisensor trace data | |
US20120206261A1 (en) | Acoustic representation of states of an industrial plant | |
CN116383606A (en) | Constant-current temperature acquisition method and system for distributed medical equipment | |
JP4183602B2 (en) | Fault monitoring method and program | |
JP2015230584A (en) | Alarm handling support device and alarm handling support method | |
WO2020004248A1 (en) | Network apparatus information management device and network apparatus information management method | |
JP2019046018A (en) | Annotation device and noise measurement system | |
JP6596346B2 (en) | Karaoke system | |
JP5724145B2 (en) | Suspicious device determination device, determination method, and suspected device determination program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210820 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7142530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |