JP5954604B1 - Diagnostic device, diagnostic system and program - Google Patents
Diagnostic device, diagnostic system and program Download PDFInfo
- Publication number
- JP5954604B1 JP5954604B1 JP2015243112A JP2015243112A JP5954604B1 JP 5954604 B1 JP5954604 B1 JP 5954604B1 JP 2015243112 A JP2015243112 A JP 2015243112A JP 2015243112 A JP2015243112 A JP 2015243112A JP 5954604 B1 JP5954604 B1 JP 5954604B1
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- analysis
- analysis result
- information
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
【課題】音声信号を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果の波形から、異音の信号成分の周波数および周期の情報を抽出する。【解決手段】音声取得部３１は、画像形成装置２０において発生した異音の音声を入力して音声信号を取得する。周波数解析部３２は、取得された音声信号のＳＴＦＴ（短時間フーリエ変換）を行って、周波数スペクトル波形データを生成する。制御部３３は、この周波数スペクトル波形をタッチパネル上に表示し、ユーザのタッチ操作に基づいて、表示された周波数スペクトル波形における異音の信号成分が含まれる領域の指定を受付ける。周波数解析部３２は、指示された領域に含まれる周波数成分に対して時間軸方向に高速フーリエ変換を行う。制御部３３は、周波数解析部３２における高速フーリエ変換の解析結果から異音の周期および周波数の情報を抽出する。【選択図】図３Information on frequency and period of an abnormal sound signal component is extracted from a waveform of a frequency analysis result representing a temporal change in intensity distribution for each frequency obtained by frequency analysis of an audio signal. An audio acquisition unit 31 receives an abnormal sound generated in an image forming apparatus 20 and acquires an audio signal. The frequency analysis unit 32 performs STFT (short-time Fourier transform) on the acquired audio signal to generate frequency spectrum waveform data. The control unit 33 displays the frequency spectrum waveform on the touch panel, and accepts designation of a region including an abnormal sound signal component in the displayed frequency spectrum waveform based on a user's touch operation. The frequency analysis unit 32 performs fast Fourier transform in the time axis direction on the frequency component included in the designated region. The control unit 33 extracts the period and frequency information of the abnormal sound from the analysis result of the fast Fourier transform in the frequency analysis unit 32. [Selection] Figure 3
Description
本発明は、診断装置、診断システムおよびプログラムに関する。 The present invention relates to a diagnostic device, a diagnostic system, and a program.
特許文献１には、画像形成装置の正常時の動作音を記憶しているＲＡＭまたはＲＯＭと、画像形成装置から発生する動作音を検知するマイクロフォンとを有し、ＲＡＭまたはＲＯＭに記憶されている第１の音情報と、マイクロフォンにより検知された第２の音情報と、画像形成装置の動作情報とに基づいて、画像形成装置の以上箇所を特定するようなシステムが開示されている。 Patent Document 1 has a RAM or ROM that stores a normal operation sound of the image forming apparatus and a microphone that detects an operation sound generated from the image forming apparatus, and is stored in the RAM or ROM. A system is disclosed that identifies the above-mentioned location of the image forming apparatus based on the first sound information, the second sound information detected by the microphone, and the operation information of the image forming apparatus.
特許文献２には、印刷用紙上に画像を形成する画像形成部と前記印刷用紙を搬送する搬送部とを有する画像処理装置において、装置内部の音を電気信号に変換する音変換部と、この音変換部が変換した電気信号を解析して周波数ごとの成分を求める音解析部と、この音解析部が求めた周波数ごとの成分を出力する出力部とを備えた画像処理装置が開示されている。 In Patent Document 2, in an image processing apparatus having an image forming unit that forms an image on printing paper and a transport unit that transports the printing paper, a sound conversion unit that converts sound inside the device into an electrical signal, An image processing apparatus including a sound analysis unit that analyzes an electrical signal converted by a sound conversion unit to obtain a component for each frequency and an output unit that outputs a component for each frequency obtained by the sound analysis unit is disclosed. Yes.
本発明の目的は、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能な診断装置、診断システムおよびプログラムを提供することである。 An object of the present invention is to extract frequency and period information of a sound to be extracted from a frequency analysis result representing a temporal change in intensity distribution for each frequency obtained by frequency analysis of sound information. A diagnostic device, a diagnostic system, and a program are provided.
［診断装置］
請求項１に係る本発明は、音情報を取得する取得手段と、
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第１解析手段と、
前記周波数解析結果波形データを表示する表示手段と、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第２解析手段と、
前記第２解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段とを備えた診断装置である。
[Diagnostic equipment]
The present invention according to claim 1 is an acquisition means for acquiring sound information;
First analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
Display means for displaying the frequency analysis result waveform data;
Receiving means for receiving designation of a region including a frequency component from the displayed frequency analysis result waveform data;
Second analysis means for performing frequency analysis in the time axis direction with respect to frequency components included in the region;
It is a diagnostic apparatus provided with the extraction means which extracts the period and frequency information of the said frequency component from the analysis result by a said 2nd analysis means.
請求項２に係る本発明は、前記抽出手段が、前記第２解析手段による解析結果のうち予め定められた周期以上の信号成分を除いた解析結果に基づいて、前記周波数成分の周期および周波数の情報を抽出する請求項１記載の診断装置である。 According to a second aspect of the present invention, the extraction means is configured to determine the period and frequency of the frequency component based on an analysis result obtained by removing a signal component having a predetermined period or more from the analysis result obtained by the second analysis means. The diagnostic apparatus according to claim 1, wherein information is extracted .
請求項３に係る本発明は、前記抽出手段が、前記第２解析手段による解析結果に複数の周期が含まれている場合には、複数の周期のうち最も信号強度が強い周期について、前記周波数成分の周期および周波数の情報を抽出する請求項１または２記載の診断装置である。 According to a third aspect of the present invention, in the case where the extraction unit includes a plurality of cycles in the analysis result by the second analysis unit, the frequency of the cycle having the strongest signal intensity among the plurality of cycles is determined. The diagnostic apparatus according to claim 1, wherein information on the period and frequency of the component is extracted .
請求項４に係る本発明は、前記受付手段が、予め設定された周波数以下の領域については、周波数成分が含まれる領域として指定された場合でも、前記第２解析手段によって解析しない請求項１記載の診断装置である。 According to a fourth aspect of the present invention, in the first aspect, the receiving unit does not analyze a region below a preset frequency even if the region is designated as a region including a frequency component. This is a diagnostic device.
請求項５に係る本発明は、外部装置との間で通信を行う通信手段と、
前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
前記第１解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記表示手段は、前記第１解析手段により生成された周波数解析結果と、前記受信手段により受信された周波数解析結果とを表示する請求項１から４のいずれか１項記載の診断装置である。
The present invention according to claim 5 includes communication means for performing communication with an external device;
Transmitting means for transmitting information on the period and frequency of the sound extracted by the extracting means to an external device via the communication means;
Receiving means for receiving frequency analysis result data corresponding to the frequency analysis result data generated by the first analysis means from an external device via the communication means;
5. The diagnostic device according to claim 1, wherein the display unit displays the frequency analysis result generated by the first analysis unit and the frequency analysis result received by the reception unit.
[診断システム]
請求項６に係る本発明は、音情報を取得する取得手段と、前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第１解析手段と、前記周波数解析結果波形データを表示する表示手段と、表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第２解析手段と、前記第２解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段と、外部装置との間で通信を行う通信手段と、前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する第１の送信手段と、前記第１解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
異音の音情報の周波数解析を行って得た複数の周波数解析結果のデータを格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果のデータの中から、受信した音の周期および周波数の情報に合致したものを選択して前記診断装置に送信する第２の送信手段とを備えたサーバ装置とを備えた診断システムである。
[Diagnostic system]
According to a sixth aspect of the present invention, there is provided an acquisition means for acquiring sound information, a first analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency; Display means for displaying the frequency analysis result waveform data; receiving means for receiving designation of a region including a frequency component from the displayed frequency analysis result waveform data; and a time axis direction with respect to the frequency component included in the region second analyzing means for frequency analysis, extraction means for extracting the information of the period and frequency of the frequency component from the analysis result by the second analyzing means, a communication means for communicating with an external device, the extracting means A first transmission means for transmitting information on the period and frequency of the sound extracted by the above to an external device via the communication means; A diagnostic device which includes a receiving means for receiving from an external device the result data the data of the frequency analysis result corresponding to the via the communication means,
Storage means for storing data of a plurality of frequency analysis results obtained by performing frequency analysis of abnormal sound information, and when receiving information on the period and frequency of sound from the diagnostic device, stored in the storage means A server device comprising: a second transmission unit that selects data that matches the received sound period and frequency information from among the plurality of frequency analysis result data, and transmits the selected data to the diagnostic device. Diagnostic system.
[プログラム]
請求項７に係る本発明は、音情報を取得する取得ステップと、
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第１解析ステップと、
前記周波数解析結果波形データを表示する表示ステップと、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付ステップと、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第２解析ステップと、
前記第２解析ステップにおける解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出ステップとをコンピュータに実行させるためのプログラムである。
[program]
The present invention according to claim 7 is an acquisition step of acquiring sound information;
A first analysis step of performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
A display step for displaying the frequency analysis result waveform data;
An accepting step of accepting designation of a region including a frequency component from the displayed frequency analysis result waveform data;
A second analysis step of performing frequency analysis in the time axis direction with respect to frequency components included in the region;
A program for causing a computer to execute an extraction step of extracting information on a period and a frequency of the frequency component from an analysis result in the second analysis step.
請求項１に係る本発明によれば、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能な診断装置を提供することができる。 According to the first aspect of the present invention, the frequency and period information of the sound to be extracted is extracted from the frequency analysis result representing the time change of the intensity distribution for each frequency obtained by frequency analysis of the sound information. It is possible to provide a diagnostic device capable of doing so.
請求項２に係る本発明によれば、予め設定された周波数以下の領域が誤って指定された場合でも、抽出すべき音の周波数および周期の情報の抽出精度が悪化することを防ぐことが可能な診断装置を提供することができる。 According to the second aspect of the present invention, it is possible to prevent deterioration in the extraction accuracy of the information on the frequency and period of the sound to be extracted even when a region below a preset frequency is erroneously designated. A diagnostic apparatus can be provided.
請求項３に係る本発明によれば、複数の周期が検出された場合でも、抽出すべき音の周波数および周期の情報を抽出することが可能な診断装置を提供することができる。 According to the third aspect of the present invention, it is possible to provide a diagnostic apparatus capable of extracting information on the frequency and period of a sound to be extracted even when a plurality of periods are detected .
請求項４に係る本発明によれば、予め設定された周波数以下の領域が誤って指定された場合でも、抽出すべき音の周波数および周期の情報の抽出精度が悪化することを防ぐことが可能な診断装置を提供することができる。
According to the fourth aspect of the present invention, it is possible to prevent deterioration in the extraction accuracy of information on the frequency and period of the sound to be extracted even when a region below a preset frequency is erroneously designated. A diagnostic apparatus can be provided.
請求項５に係る本発明によれば、使用者は、取得した音情報の周波数解析結果と、解析対象の装置と同等の装置において外部装置に記録されている音情報の周波数解析結果とを比較して、発生した音の原因を推定することができる診断装置を提供することができる。 According to the fifth aspect of the present invention, the user compares the frequency analysis result of the acquired sound information with the frequency analysis result of the sound information recorded in the external device in a device equivalent to the device to be analyzed. Thus, a diagnostic apparatus that can estimate the cause of the generated sound can be provided.
請求項６に係る本発明によれば、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能な診断システムを提供することができる。 According to the present invention of claim 6, the frequency and period information of the sound to be extracted is extracted from the frequency analysis result representing the time change of the intensity distribution for each frequency obtained by frequency analysis of the sound information. It is possible to provide a diagnostic system that can do this.
請求項７に係る本発明によれば、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能なプログラムを提供することができる。 According to the seventh aspect of the present invention, the frequency and period information of the sound to be extracted is extracted from the frequency analysis result representing the time change of the intensity distribution for each frequency obtained by frequency analysis of the sound information. A program that can be performed can be provided.
次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
図１は本発明の一実施形態の異音診断システムの構成を示すシステム図である。 FIG. 1 is a system diagram showing a configuration of an abnormal sound diagnosis system according to an embodiment of the present invention.
本発明の一実施形態の異音診断システムは、図１に示されるように、パーソナルコンピュータ、スマートフォン、タブレット端末装置等の携帯可能な異音診断装置１０と、サーバ装置５０とから構成されている。 As shown in FIG. 1, the abnormal sound diagnosis system according to an embodiment of the present invention includes a portable abnormal sound diagnosis device 10 such as a personal computer, a smartphone, and a tablet terminal device, and a server device 50. .
なお、異音診断装置１０は、通信ネットワークを介してサーバ装置５０に接続可能な装置であればどのような装置であっても本発明は適用可能である。ただし、本実施形態では、異音診断装置１０が、音声信号を取得可能なマイク等の装置および、タッチ入力が可能なタッチパネルを備えたタブレット端末装置の場合を用いて説明する。 The present invention is applicable to any abnormal sound diagnosis apparatus 10 as long as it is an apparatus that can be connected to the server apparatus 50 via a communication network. However, in the present embodiment, the abnormal sound diagnosis device 10 will be described using a case of a tablet terminal device including a device such as a microphone capable of acquiring an audio signal and a touch panel capable of touch input.
異音診断装置１０は、エンドユーザが使用しているプリンタ等の画像形成装置２０の保守管理、修理等を行うサービスマン（保守要員）により携帯され、画像形成装置２０において発生した異音（異常音）信号を取得して、取得した異音信号を周波数解析したり、サーバ装置５０から取得した過去の異音信号の周波数解析結果の波形と取得した異音信号の周波数解析結果波形とを表示するために使用される。 The abnormal sound diagnosis apparatus 10 is carried by a service person (maintenance personnel) who performs maintenance management, repair, etc. of the image forming apparatus 20 such as a printer used by an end user, and generates abnormal noise (abnormality) generated in the image forming apparatus 20. Sound) signal, and frequency analysis of the acquired abnormal sound signal is performed, and a waveform of the frequency analysis result of the past abnormal sound signal acquired from the server device 50 and a frequency analysis result waveform of the acquired abnormal sound signal are displayed. Used to do.
異音診断装置１０と、サーバ装置５０とは、Ｗｉ−Ｆｉルータ等の無線ＬＡＮターミナル３０や、インターネット通信網４０を介して接続され情報の送受信を行っている。 The abnormal sound diagnosis apparatus 10 and the server apparatus 50 are connected via a wireless LAN terminal 30 such as a Wi-Fi router or the Internet communication network 40 to transmit and receive information.
なお、異音診断装置１０が携帯電話装置やスマートフォン等の場合には、異音診断装置１０とサーバ装置５０とを携帯電話回線網を介して接続して、周波数解析結果波形データの送受信を行うようにすることも可能である。 When the abnormal sound diagnosis device 10 is a mobile phone device, a smartphone, or the like, the abnormal sound diagnosis device 10 and the server device 50 are connected via a mobile phone network to transmit / receive frequency analysis result waveform data. It is also possible to do so.
本実施形態の異音診断システムでは、エンドユーザの場所に設置された対象電子機器である画像形成装置２０に異音が発生した場合、サービスマンが異音診断装置１０を携帯して画像形成装置２０の場所に出向く。そして、このサービスマンが、異音診断装置１０を用いて発生している異音を録音することにより異音信号を取得して、異音の原因を特定する異音診断を行う。 In the abnormal sound diagnosis system of the present embodiment, when an abnormal sound occurs in the image forming apparatus 20 that is a target electronic device installed at the end user's location, a service person carries the abnormal sound diagnosis apparatus 10 and the image forming apparatus. Go to 20 places. And this service person acquires the abnormal sound signal by recording the abnormal sound generated using the abnormal sound diagnosis apparatus 10, and performs the abnormal sound diagnosis for specifying the cause of the abnormal sound.
なお、画像形成装置２０にマイク等を設けて録音機能を持たせて、異音が発生した場合にその録音機能により異音を録音させることも技術的には可能であるが、画像形成装置２０がエンドユーザのオフィス等に設置される場合、この画像形成装置２０に音声を録音する機能を設けることはセキュリティ上の理由により実現することができない。 Although it is technically possible to provide a recording function by providing a microphone or the like in the image forming apparatus 20 and when the abnormal sound is generated, the abnormal sound is recorded by the recording function. Is installed in an end user's office or the like, it is impossible to provide the image forming apparatus 20 with a function of recording sound for security reasons.
次に、本実施形態の異音診断システムにおける異音診断装置１０のハードウェア構成を図２に示す。 Next, FIG. 2 shows a hardware configuration of the abnormal sound diagnosis apparatus 10 in the abnormal sound diagnosis system of the present embodiment.
異音診断装置１０は、図２に示されるように、ＣＰＵ１１、一時的にデータを保存可能なメモリ１２、フラッシュメモリ等の記憶装置１３、無線ＬＡＮターミナル３０との間で無線通信を行ってデータの送信及び受信を行う無線ＬＡＮインタフェース（ＩＦ）１４、タッチセンサ等の入力装置１５、表示装置１６、マイク１７を有する。これらの構成要素は、制御バス１８を介して互いに接続されている。 As shown in FIG. 2, the abnormal sound diagnosis apparatus 10 performs wireless communication with the CPU 11, a memory 12 that can temporarily store data, a storage device 13 such as a flash memory, and a wireless LAN terminal 30 to perform data communication. A wireless LAN interface (IF) 14 that performs transmission and reception, an input device 15 such as a touch sensor, a display device 16, and a microphone 17. These components are connected to each other via a control bus 18.
本実施形態の異音診断装置１０では、表示装置１６上にタッチ位置を検出するためのタッチセンサが入力装置１５として設けられたタッチパネルが備えられていて、このタッチパネルを用いて表示が行われるとともにユーザからの入力が行われる。 In the abnormal sound diagnosis apparatus 10 of the present embodiment, a touch panel provided with a touch sensor for detecting a touch position as the input device 15 is provided on the display device 16, and display is performed using this touch panel. Input from the user is made.
ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、異音診断装置１０の動作を制御する。なお、この制御プログラムは、インターネット通信網４０や携帯電話回線網を介してダウンロードすることにより入手してＣＰＵ１１に提供することも可能であるし、当該プログラムをＣＤ−ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。 The CPU 11 executes a predetermined process based on a control program stored in the memory 12 or the storage device 13 to control the operation of the abnormal sound diagnosis apparatus 10. The control program can be obtained by downloading via the Internet communication network 40 or the mobile phone network and provided to the CPU 11, or the program can be stored in a storage medium such as a CD-ROM. It is also possible to provide it to the CPU 11.
本実施形態の異音診断装置１０は、上記の制御プログラムが実行されることにより以下に説明するような動作を行って、サービスマンが異音の原因を特定する業務の手助けを行う。 The abnormal sound diagnosis apparatus 10 of the present embodiment performs an operation as described below by executing the above control program, thereby assisting a service person in identifying the cause of the abnormal sound.
図３は、上記の制御プログラムが実行されることにより実現される異音診断装置１０の機能構成を示すブロック図である。 FIG. 3 is a block diagram showing a functional configuration of the abnormal sound diagnosis apparatus 10 realized by executing the control program.
本実施形態の異音診断装置１０は、図３に示されるように、音声取得部３１と、周波数解析部３２と、制御部３３と、音声データ格納部３４と、表示部３５と、通信部３６と、音声再生部３７とを備えている。 As shown in FIG. 3, the abnormal sound diagnosis apparatus 10 of the present embodiment includes an audio acquisition unit 31, a frequency analysis unit 32, a control unit 33, an audio data storage unit 34, a display unit 35, and a communication unit. 36 and an audio reproduction unit 37.
表示部３５は、制御部３３による制御に基づいて各種データの表示を行う。通信部３６は、外部装置であるサーバ装置５０との間で通信を行う。音声再生部３７は制御部３３による制御に基づいて、録音された音声データ等を再生して音声信号に変換する。 The display unit 35 displays various data based on the control by the control unit 33. The communication unit 36 communicates with the server device 50 that is an external device. Based on the control by the control unit 33, the audio reproduction unit 37 reproduces the recorded audio data and converts it into an audio signal.
音声取得部３１は、解析対象の装置である画像形成装置２０において発生した異音の音声を入力して音声信号を取得する。 The sound acquisition unit 31 inputs an abnormal sound generated in the image forming apparatus 20 which is an analysis target apparatus and acquires a sound signal.
なお、本実施形態では、音声取得部３１が、画像形成装置２０において発生した異音の音声を入力して音声信号を取得するものとして説明しているが、音声は音の一例であり、音声信号は音情報の一例である。 In the present embodiment, the sound acquisition unit 31 has been described as acquiring an audio signal by inputting an abnormal sound generated in the image forming apparatus 20, but the sound is an example of a sound. The signal is an example of sound information.
周波数解析部３２は、音声取得部３１により取得された音声信号の時間周波数解析（時間依存周波数解析）を行って、取得された異音信号の周波数毎の信号強度分布の時間変化を表す周波数スペクトル波形（周波数解析結果）データを生成する。 The frequency analysis unit 32 performs time-frequency analysis (time-dependent frequency analysis) of the audio signal acquired by the audio acquisition unit 31, and represents a frequency spectrum representing a time change of the signal intensity distribution for each frequency of the acquired abnormal sound signal. Waveform (frequency analysis result) data is generated.
具体的には、周波数解析部３２は、音声取得部３１により取得された音声信号に対してＳＴＦＴ（Short time Fourier transform：短時間フーリエ変換）を行うことにより周波数スペクトル波形データを生成する。このＳＴＦＴの説明については後述する。 Specifically, the frequency analysis unit 32 generates frequency spectrum waveform data by performing STFT (Short time Fourier transform) on the audio signal acquired by the audio acquisition unit 31. The description of this STFT will be described later.
制御部３３は、周波数解析部３２により得られた周波数スペクトル波形データを音声データとともに音声データ格納部３４に格納する。そして、制御部３３は、ＳＴＦＴの結果により得られた周波数スペクトル波形をタッチパネルである表示部３５上に表示する。 The control unit 33 stores the frequency spectrum waveform data obtained by the frequency analysis unit 32 in the audio data storage unit 34 together with the audio data. And the control part 33 displays the frequency spectrum waveform obtained by the result of STFT on the display part 35 which is a touch panel.
その後、ユーザがタッチパネルである表示部３５上に表示された周波数スペクトル波形において、異音の信号成分であると推測される領域を指でなぞる等のタッチ操作を行うと、制御部３３は、このユーザのタッチ操作に基づいて、表示された周波数スペクトル波形における異音の信号成分が含まれる領域の指定を受付ける。 Thereafter, when the user performs a touch operation such as tracing a region that is assumed to be an abnormal signal component in the frequency spectrum waveform displayed on the display unit 35 that is a touch panel, the control unit 33 Based on the user's touch operation, the designation of the region including the abnormal signal component in the displayed frequency spectrum waveform is accepted.
すると、制御部３３は、周波数解析部３２により得られた周波数スペクトル波形データのうち、異音の信号成分が含まれる領域として指定された領域の周波数成分に対して時間軸方向に周波数解析を行う高速フーリエ変換（１Ｄ−ＦＦＴ(Fast Fourier Transform)）の実行を周波数解析部３２に指示する。そのため、周波数解析部３２は、指示された領域に含まれる周波数成分に対して時間軸方向に高速フーリエ変換を行う。 Then, the control unit 33 performs frequency analysis in the time axis direction on the frequency components in the region designated as the region including the abnormal sound signal component in the frequency spectrum waveform data obtained by the frequency analysis unit 32. The frequency analysis unit 32 is instructed to perform fast Fourier transform (1D-FFT (Fast Fourier Transform)). Therefore, the frequency analysis unit 32 performs fast Fourier transform in the time axis direction on the frequency component included in the designated region.
そして、制御部３３は、周波数解析部３２における高速フーリエ変換の解析結果から異音の周期および周波数の情報を抽出する。 Then, the control unit 33 extracts the period and frequency information of the abnormal sound from the analysis result of the fast Fourier transform in the frequency analysis unit 32.
なお、異音が発生していない場合でも予め設定された周波数以下の低周波数の領域には、通常動作音の信号成分が常に含まれている。そのため、制御部３３は、予め設定された周波数以下の領域については、異音の信号成分が含まれる領域として指定された場合でも、その指定を受付けないようにしても良い。 Even when no abnormal sound is generated, the signal component of the normal operation sound is always included in the low frequency region below the preset frequency. For this reason, the control unit 33 may not accept the designation of a region having a frequency equal to or lower than a preset frequency even when the region is designated as a region including an abnormal sound signal component.
また、制御部３３は、取得した異音の周期および周波数の情報を、画像形成装置２０の機種名、シリアル番号等の機種情報、画像形成装置２０の動作状態を示す動作状態情報とともに通信部３６を介してサーバ装置５０に送信する。具体的には、この動作状態情報には、カラー印刷なのか白黒印刷なのか、両面印刷なのか片面印刷なのか、動作モードはスキャン、プリント、複写のいずれなのか、使用用紙の種類等の情報を含めるようにすることができる。このようにして、制御部３３は、周波数解析部３２により得られた周波数スペクトル波形データから得られた情報を、通信部３６を介してサーバ装置５０に送信する。 In addition, the control unit 33 uses the acquired period and frequency information of the abnormal sound as well as the model name of the image forming apparatus 20, model information such as a serial number, and operation state information indicating the operation state of the image forming apparatus 20. To the server device 50 via Specifically, this operation status information includes information such as color printing or monochrome printing, duplex printing or single-sided printing, whether the operation mode is scan, print, or copy, and the type of paper used. Can be included. In this way, the control unit 33 transmits information obtained from the frequency spectrum waveform data obtained by the frequency analysis unit 32 to the server device 50 via the communication unit 36.
サーバ装置５０では、画像形成装置２０の装置と同等の装置において過去に発生した異音の音声信号の周波数解析を行って得られるスペクトル波形データを、元の音声データ、その音声データが取得された際の装置の動作状態、異音原因、異音への対処方法等の情報とともに格納している。 In the server device 50, the original sound data and the sound data are acquired from the spectrum waveform data obtained by performing frequency analysis of the sound signal of abnormal sound that has occurred in the past in an apparatus equivalent to the image forming apparatus 20. Together with information such as the operating state of the device, the cause of the abnormal noise, and how to deal with the abnormal noise.
そしてサーバ装置５０は、異音診断装置１０から送信されてきた異音の周期および周波数の情報から、周波数解析部３２による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形（第２の周波数解析結果の波形）データを検索して、見つかった周波数スペクトル波形データを異音のサンプル波形データとして格納している音声データ等の情報等とともに異音診断装置１０に送信する。 Then, the server device 50 uses the frequency spectrum waveform (the first frequency spectrum waveform corresponding to the frequency spectrum waveform data obtained as a result of the frequency analysis by the frequency analysis unit 32 based on the period and frequency information of the abnormal sound transmitted from the abnormal sound diagnosis device 10. (2) (frequency analysis result waveform) data is searched, and the found frequency spectrum waveform data is transmitted to the abnormal sound diagnosis apparatus 10 together with information such as voice data stored as abnormal sound sample waveform data.
この結果、制御部３３は、周波数解析部３２による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形データを通信部３６を介してサーバ装置５０から受信する。 As a result, the control unit 33 receives the frequency spectrum waveform data corresponding to the frequency spectrum waveform data obtained as a result of the frequency analysis by the frequency analysis unit 32 from the server device 50 via the communication unit 36.
制御部３３は、音声取得部３１により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置５０から受信したスペクトル波形とを表示部３５に並列に表示する。 The control unit 33 displays the frequency spectrum waveform obtained by performing frequency analysis of the audio signal acquired by the audio acquisition unit 31 and the spectrum waveform received from the server device 50 on the display unit 35 in parallel.
なお、制御部３３は、サーバ装置５０から送信されてきた周波数スペクトル波形データが複数存在する場合、複数の周波数スペクトル波形データのうち、周波数解析部３２の周波数解析によって得られた周波数スペクトル波形データとの類似度が高いものを優先して表示部３３に表示する。 In addition, when there are a plurality of frequency spectrum waveform data transmitted from the server device 50, the control unit 33 includes the frequency spectrum waveform data obtained by the frequency analysis of the frequency analysis unit 32 among the plurality of frequency spectrum waveform data. Are displayed on the display unit 33 with priority.
次に、本実施形態の異音解析システムにおけるサーバ装置５０の機能構成を図４のブロック図を参照して説明する。 Next, the functional configuration of the server device 50 in the abnormal sound analysis system of this embodiment will be described with reference to the block diagram of FIG.
本実施形態のサーバ装置５０は、図４に示されるように、通信部５１と、制御部５２と、波形データ格納部５３とを備えている。 As shown in FIG. 4, the server device 50 according to the present embodiment includes a communication unit 51, a control unit 52, and a waveform data storage unit 53.
波形データ格納部５３は、解析対象の装置である画像形成装置２０と同等の装置において過去に発生した異音の音声信号の周波数解析を行って得られる複数の周波数スペクトル波形データを格納する。 The waveform data storage unit 53 stores a plurality of frequency spectrum waveform data obtained by performing frequency analysis of an abnormal sound signal generated in the past in an apparatus equivalent to the image forming apparatus 20 that is an analysis target apparatus.
具体的には、波形データ格納部５３は、図５に示されるように、予め取得された異音の音声データを時間周波数解析することにより得られた周波数スペクトル波形データと、元となった音声データと、異音の原因と、その対処方法等の情報が機種毎に格納されている。 Specifically, as shown in FIG. 5, the waveform data storage unit 53 includes frequency spectrum waveform data obtained by analyzing time-frequency analysis of abnormal sound data acquired in advance and the original sound. Information such as data, causes of abnormal noise, and countermeasures are stored for each model.
そして、制御部５２は、異音診断装置１０から異音の周期や周波数の情報を受信した場合、波形データ格納部５３に格納されている複数の周波数スペクトルの波形データの中から、受信した異音周期や周波数の情報に基づいて、異音診断装置１０において取得された異音に基づく周波数スペクトルの波形データに類似するものを選択して、通信部５１を介して異音診断装置１０に送信する Then, when the control unit 52 receives the abnormal sound period or frequency information from the abnormal sound diagnosis apparatus 10, the control unit 52 receives the received abnormal noise data from the waveform data of the plurality of frequency spectra stored in the waveform data storage unit 53. Based on the information of the sound period and frequency, the one similar to the waveform data of the frequency spectrum based on the abnormal sound acquired in the abnormal sound diagnosis apparatus 10 is selected and transmitted to the abnormal sound diagnosis apparatus 10 via the communication unit 51. Do
次に、本実施形態の異音診断システムの動作を図６のシーケンスチャートを参照して説明する。 Next, the operation of the abnormal sound diagnosis system of this embodiment will be described with reference to the sequence chart of FIG.
異音診断装置１０において異音の原因を特定するための異音診断を行おうとする場合、図７に示すような画像が表示されて機種名、シリアル番号、動作状態等の各種情報が入力される(ステップＳ１０１)。 When the abnormal sound diagnosis apparatus 10 performs an abnormal sound diagnosis for specifying the cause of the abnormal sound, an image as shown in FIG. 7 is displayed and various types of information such as the model name, serial number, and operating state are input. (Step S101).
そして、異音診断装置１０では、動作モードを音声録音モードにして、マイク１７を画像形成装置２０の異音発生個所に近づけて異音の録音を行って音声データを取得する(ステップＳ１０２)。 Then, the abnormal sound diagnosis apparatus 10 sets the operation mode to the voice recording mode, records the abnormal sound by bringing the microphone 17 close to the abnormal sound generation location of the image forming apparatus 20, and acquires the voice data (step S102).
すると、異音診断装置１０では、取得された音声データが周波数解析部３２においてＳＴＦＴが行われることにより周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形が生成される(ステップＳ１０３)。 Then, in the abnormal sound diagnosis apparatus 10, the acquired voice data is subjected to STFT in the frequency analysis unit 32, thereby generating a frequency spectrum waveform representing a time change of the signal intensity distribution for each frequency (step S103).
このＳＴＦＴとは、図８に示されるように、短時間毎にフーリエ変換を行って周波数成分毎の信号強度を時間変化に応じて演算したものである。そして、このＳＴＦＴにより得られた解析結果を１つの周波数スペクトル波形の画像とした場合の波形例を図９に示す。 As shown in FIG. 8, the STFT is obtained by performing Fourier transform every short time and calculating the signal intensity for each frequency component according to the time change. FIG. 9 shows a waveform example when the analysis result obtained by this STFT is an image of one frequency spectrum waveform.
図９に示した周波数スペクトル波形例では、横軸が時間、縦軸が周波数を表していて、周波数毎の強度は色によって表現されている。なお、図９では、この色の違いをハッチングパターンにより表現している。また、図９では周波数毎の強度が色によって表現される場合を例示しているが、この強度を階調により表現することも可能である。 In the frequency spectrum waveform example shown in FIG. 9, the horizontal axis represents time, the vertical axis represents frequency, and the intensity for each frequency is represented by color. In FIG. 9, this color difference is expressed by a hatching pattern. Further, FIG. 9 illustrates the case where the intensity for each frequency is expressed by color, but it is also possible to express this intensity by gradation.
この図９の周波数スペクトル波形例では、異音の周波数成分６１が特定の周波数に周期的に発生しているのが表示されているのが分かる。なお、この図９に示した周波数スペクトル波形例において、低い周波数成分は通常の動作音であり異音の周波数成分ではない。 In the frequency spectrum waveform example of FIG. 9, it can be seen that the abnormal frequency component 61 is periodically generated at a specific frequency. In the example of the frequency spectrum waveform shown in FIG. 9, the low frequency component is a normal operation sound and not an abnormal frequency component.
この図９に示したような周波数スペクトル波形が得られると、制御部３３は、この周波数スペクトル波形を表示部３５に表示する。すると、制御部３３は、図１０に示すように、表示された周波数スペクトル波形に対して、異音であると推定される領域を指定するようユーザに促すような表示を行う。図１０に示した例では、「異音であると思われる領域を指定して下さい。」という文字が表示されて、ユーザに異音であると推定される領域を指定するよう促されているのが分かる。 When the frequency spectrum waveform as shown in FIG. 9 is obtained, the control unit 33 displays the frequency spectrum waveform on the display unit 35. Then, as shown in FIG. 10, the control unit 33 performs a display that prompts the user to designate a region that is estimated to be abnormal sound, with respect to the displayed frequency spectrum waveform. In the example shown in FIG. 10, the text “Please specify the area that seems to be abnormal noise.” Is displayed, and the user is prompted to specify the area that is estimated to be abnormal noise. I understand.
そして、このような表示を参照することにより、周波数スペクトル波形を提示されたユーザが、異音の周波数成分６１を特定して、例えばタッチパネルを操作することによりこの異音の周波数成分６１が含まれる領域を選択する。 Then, by referring to such a display, the user who is presented with the frequency spectrum waveform specifies the abnormal frequency component 61, and the abnormal frequency component 61 is included by operating the touch panel, for example. Select an area.
このようにしてユーザにより選択された選択領域８０の一例を図１１に示す。図１１に示した例では、ユーザが指７０でタッチパネルを操作することにより、複数の異音の周波数成分６１を含むような長方形の領域が選択領域８０として指定されているのが分かる。 An example of the selection area 80 selected by the user in this way is shown in FIG. In the example shown in FIG. 11, it can be seen that a rectangular region including a plurality of abnormal frequency frequency components 61 is designated as the selection region 80 when the user operates the touch panel with the finger 70.
そして、このように選択領域８０が指定されると、選択領域８０に含まれる周波数成分に対する高速フーリエ変換（１Ｄ−ＦＦＴ）が周波数解析部３２により実行される(ステップＳ１０４)。このようにして実行された高速フーリエ変換の解析結果例を図１２に示す。 When the selection area 80 is designated in this way, the fast Fourier transform (1D-FFT) for the frequency components included in the selection area 80 is executed by the frequency analysis unit 32 (step S104). An example of the analysis result of the fast Fourier transform executed in this way is shown in FIG.
なお、この図１２では、高速フーリエ変換を行った周波数成分の信号の周期および周波数が検出されることにより異音の周期および周波数が特定されることになる。なお、異音には倍音成分等が含まれるため、複数の周期が検出される場合があるが最も信号強度が強い周期が異音周期として検出される。 In FIG. 12, the period and frequency of the abnormal sound are specified by detecting the period and frequency of the signal of the frequency component subjected to the fast Fourier transform. In addition, since an overtone component etc. are contained in abnormal sound, a some period may be detected, but the period with the strongest signal strength is detected as an abnormal sound period.
また、所定の周期以上の長周期の信号成分は通常動作音や不定周期雑音であると考えられるため、このような長周期の信号成分の領域は判定除外領域６２として、この判定除外領域６２における解析結果は無視される。 In addition, since a signal component having a long period of a predetermined period or more is considered to be normal operation sound or indefinite period noise, such a long-cycle signal component region is set as a determination exclusion region 62 in the determination exclusion region 62. Analysis results are ignored.
さらに、所定の周波数以下の低周波の信号成分についても通常動作音と区別が付かないため、このような低周波の信号成分の領域は判定除外領域６３として、この判定除外領域６３における解析結果は無視される。 Furthermore, since the low frequency signal component below the predetermined frequency cannot be distinguished from the normal operation sound, such a low frequency signal component region is set as the determination exclusion region 63, and the analysis result in the determination exclusion region 63 is as follows. It will be ignored.
異音診断装置１０では、この高速フーリエ変換の解析結果により、異音の周波数および周期の情報を機種情報や動作状態の情報とともにサーバ装置５０に送信する(ステップＳ１０５)。例えば、異音周波数は４ｋHz、異音周期は２．０秒というような情報がサーバ装置５０に送信される。 The abnormal sound diagnosis apparatus 10 transmits the frequency and period information of the abnormal sound together with the model information and the operation state information to the server apparatus 50 based on the analysis result of the fast Fourier transform (step S105). For example, information such as the abnormal sound frequency of 4 kHz and the abnormal sound period of 2.0 seconds is transmitted to the server device 50.
すると、サーバ装置５０では、受信した情報に基づいて、波形データ格納部５３を検索することにより、受信した情報に対応する周波数スペクトル波形のデータを抽出する（ステップＳ１０６）。 Then, the server apparatus 50 extracts the data of the frequency spectrum waveform corresponding to the received information by searching the waveform data storage unit 53 based on the received information (step S106).
そして、サーバ装置５０は、抽出した周波数スペクトル波形データを、元の音声データ、異音原因、その対処方法等の情報とともに異音診断装置１０に送信する（ステップＳ１０７）。 Then, the server device 50 transmits the extracted frequency spectrum waveform data to the abnormal sound diagnosis device 10 together with information such as the original voice data, the cause of abnormal noise, and a countermeasure method thereof (step S107).
すると、異音診断装置１０では、サーバ装置５０から送信されてきた周波数スペクトル波形データを受信する（ステップＳ１０８）。そして、異音診断装置１０の制御部３３は、受信した周波数スペクトル波形と、ＳＴＦＴで得られた周波数スペクトル波形を表示部３５に表示させる（ステップＳ１０９）。 Then, the abnormal sound diagnosis apparatus 10 receives the frequency spectrum waveform data transmitted from the server apparatus 50 (step S108). Then, the control unit 33 of the abnormal sound diagnosis apparatus 10 displays the received frequency spectrum waveform and the frequency spectrum waveform obtained by the STFT on the display unit 35 (step S109).
このようにして２つの周波数スペクトル波形が表示された異音診断装置１０の画面例を図１３に示す。 FIG. 13 shows a screen example of the abnormal sound diagnosis apparatus 10 on which two frequency spectrum waveforms are displayed in this way.
図１３に示した画面例では、周波数解析部３２におけるＳＴＦＴにより得られた周波数スペクトル波形が、「今回録音した異音の解析結果波形」として表示され、サーバ装置５０から送信されてきた周波数スペクトル波形が、「過去の異音データ」として「感光体ドラムの摩耗」という異音原因とともに表示されているのが分かる。 In the screen example shown in FIG. 13, the frequency spectrum waveform obtained by the STFT in the frequency analysis unit 32 is displayed as “analysis result waveform of abnormal sound recorded this time” and transmitted from the server device 50. However, it can be seen that “Past abnormal noise data” is displayed together with the cause of abnormal noise “Abrasion of photosensitive drum”.
異音診断を行おうとするサービスマンは、この２つの周波数スペクトル波形を比較して、波形中の異音成分が類似しているか否かを判定することにより異音の原因を特定する。 A serviceman who wants to perform abnormal noise diagnosis compares the two frequency spectrum waveforms and determines whether or not the abnormal noise components in the waveforms are similar, thereby identifying the cause of the abnormal noise.
また、サーバ装置５０から複数の周波数スペクトル波形が送信されてきた場合には、例えば、「過去の異音データ」として表示されている周波数スペクトル波形の画像をタッチ操作により横方向になぞることにより、図１４のように別の周波数スペクトル波形が表示される。 Further, when a plurality of frequency spectrum waveforms are transmitted from the server device 50, for example, by tracing a frequency spectrum waveform image displayed as “past abnormal sound data” in the horizontal direction by a touch operation, Another frequency spectrum waveform is displayed as shown in FIG.
図１４は、異音原因が「駆動系モータの不良」である場合の異音の周波数スペクトル波形が表示された場合の画像例を示している。 FIG. 14 shows an example of an image when the frequency spectrum waveform of the abnormal noise is displayed when the abnormal noise is caused by the “defective drive system motor”.
このように複数の周波数スペクトル波形が送信されてきた場合には、サービスマンは、今回取得した異音の周波数スペクトル波形が、いずれの周波数スペクトル波形とより類似しているかを判定することにより異音の原因を特定する。なお、この異音の原因の特定の際には、単に周波数スペクトル波形の形状や異音成分の周期や周波数等を比較するだけでなく、元の音声データを音声再生部３７により再生して今回取得した異音とサーバ装置５０から送信されてきた周波数スペクトル波形に対応した音声とを聴き比べて異音の原因を特定する。 When a plurality of frequency spectrum waveforms are transmitted in this way, the service person determines whether the frequency spectrum waveform of the abnormal sound acquired this time is more similar to which frequency spectrum waveform is abnormal. Identify the cause of When identifying the cause of this abnormal noise, not only simply comparing the shape of the frequency spectrum waveform, the period or frequency of the abnormal noise component, but also reproducing the original audio data by the audio reproducing unit 37 The cause of the abnormal noise is identified by comparing the acquired abnormal noise with the voice corresponding to the frequency spectrum waveform transmitted from the server device 50.
[変形例]
上記実施形態では、異音診断装置１０がタブレット端末装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、他の装置を異音診断装置とするような場合でも本発明を適用することができるものである。例えば、画像形成装置２０の操作パネルが本体から脱着可能な構成であって、サーバ装置５０と通信可能であり音声信号の取得機能を内蔵しているような構成の場合、この操作パネルを異音診断装置とするようにしても良い。
[Modification]
In the above embodiment, the case where the abnormal sound diagnosis device 10 is a tablet terminal device has been described. However, the present invention is not limited to this, and even when another device is used as the abnormal sound diagnosis device. The present invention can be applied. For example, when the operation panel of the image forming apparatus 20 is detachable from the main body, and is configured to be able to communicate with the server apparatus 50 and incorporate an audio signal acquisition function, the operation panel is A diagnostic device may be used.
また、上記実施形態では、異音診断装置１０がマイク１７を内蔵している場合を用いて説明しているが、異音診断装置１０に音声録音機能が備えられていれば、マイク等の集音装置を外部に接続することにより音声信号の取得手段を実現するようにしても良い。 In the above embodiment, the case where the abnormal sound diagnosis apparatus 10 includes the microphone 17 is described. However, if the abnormal sound diagnosis apparatus 10 has a voice recording function, a collection of microphones and the like is possible. You may make it implement | achieve the acquisition means of an audio | voice signal by connecting a sound apparatus outside.
また、上記実施形態では、異音であると推定される領域の指定がユーザのタッチ操作により行われる場合を用いて説明しているが、本発明はこのような構成に限定されるものではない。この領域の指定をペン入力で行う場合、異音であると推定される周波数を数字により直接入力する場合、マウス操作により領域を指定する場合等の他の方法により異音であると推定される領域を指定する場合でも、本発明は同様に適用可能である。 Moreover, although the said embodiment demonstrated using the case where designation | designated of the area | region estimated to be unusual sound is performed by a user's touch operation, this invention is not limited to such a structure. . When this area is specified by pen input, when the frequency estimated to be abnormal sound is directly input by numbers, when the area is specified by mouse operation, the noise is estimated by other methods. Even when an area is designated, the present invention can be similarly applied.
さらに、上記実施形態では、異音解析の対象装置が画像形成装置である場合を用いて説明しているが、異音解析の対象となる装置は画像形成装置に限定されるものではなく、周期性を持った異音を発生させる可能性がある装置であれば他の装置である場合でも本発明は同様に適用可能である。 Furthermore, in the above-described embodiment, the case where the target device for abnormal noise analysis is an image forming device has been described. However, the target device for abnormal noise analysis is not limited to the image forming device, and the period The present invention can be similarly applied to other devices as long as they are devices that can generate abnormal noise with the same characteristics.
１０ 異音診断装置
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 無線ＬＡＮインタフェース（ＩＦ）
１５ 入力装置
１６ 表示装置
１７ マイク
１８ 制御バス
２０ 画像形成装置
３０ 無線ＬＡＮターミナル
３１ 音声取得部
３２ 周波数解析部
３３ 制御部
３４ 音声データ格納部
３５ 表示部
３６ 通信部
３７ 音声再生部
４０ インターネット通信網
５０ サーバ装置
５１ 通信部
５２ 制御部
５３ 波形データ格納部
６１ 異音の周波数成分
６２、６３ 判定除外領域
７０ 指
８０ 選択領域
10 abnormal sound diagnosis device 11 CPU
12 Memory 13 Storage Device 14 Wireless LAN Interface (IF)
DESCRIPTION OF SYMBOLS 15 Input apparatus 16 Display apparatus 17 Microphone 18 Control bus 20 Image forming apparatus 30 Wireless LAN terminal 31 Audio | voice acquisition part 32 Frequency analysis part 33 Control part 34 Audio | voice data storage part 35 Display part 36 Communication part 37 Voice reproduction part 40 Internet communication network 50 Server device 51 Communication unit 52 Control unit 53 Waveform data storage unit 61 Frequency component of abnormal sound 62, 63 Determination exclusion region 70 Finger 80 Selection region
Claims (7)
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第１解析手段と、
前記周波数解析結果波形データを表示する表示手段と、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第２解析手段と、
前記第２解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段と、
を備えた診断装置。 An acquisition means for acquiring sound information;
First analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
Display means for displaying the frequency analysis result waveform data;
Receiving means for receiving designation of a region including a frequency component from the displayed frequency analysis result waveform data;
Second analysis means for performing frequency analysis in the time axis direction with respect to frequency components included in the region;
Extraction means for extracting the period and frequency information of the frequency component from the analysis result by the second analysis means;
Diagnostic device with
前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
前記第１解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記表示手段は、前記第１解析手段により生成された周波数解析結果と、前記受信手段により受信された周波数解析結果とを表示する請求項１から４のいずれか１項記載の診断装置。 A communication means for communicating with an external device;
Transmitting means for transmitting information on the period and frequency of the sound extracted by the extracting means to an external device via the communication means;
Receiving means for receiving frequency analysis result data corresponding to the frequency analysis result data generated by the first analysis means from an external device via the communication means;
The diagnostic device according to any one of claims 1 to 4, wherein the display unit displays the frequency analysis result generated by the first analysis unit and the frequency analysis result received by the reception unit.
異音の音情報の周波数解析を行って得た複数の周波数解析結果のデータを格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果のデータの中から、受信した音の周期および周波数の情報に合致したものを選択して前記診断装置に送信する第２の送信手段とを備えたサーバ装置と、
を備えた診断システム。 An acquisition means for acquiring sound information, a first analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency, and displaying the frequency analysis result waveform data Display means for receiving, receiving means for accepting designation of a region including a frequency component from the displayed frequency analysis result waveform data, second analysis means for performing frequency analysis in the time axis direction with respect to the frequency component included in the region, Extraction means for extracting the frequency and frequency information of the frequency component from the analysis result by the second analysis means, communication means for communicating with an external device, and the period and frequency of the sound extracted by the extraction means Corresponding to the data of the frequency analysis result generated by the first transmitting means for transmitting the information to the external device via the communication means and the first analyzing means A diagnostic device that includes a receiving means for the data of the wavenumber analysis results received from the external apparatus through the communication means,
Storage means for storing data of a plurality of frequency analysis results obtained by performing frequency analysis of abnormal sound information, and when receiving information on the period and frequency of sound from the diagnostic device, stored in the storage means A server device comprising: a second transmission unit configured to select and transmit to the diagnosis device a data that matches the received sound period and frequency information from among the plurality of frequency analysis result data;
Diagnostic system with
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第１解析ステップと、
前記周波数解析結果波形データを表示する表示ステップと、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付ステップと、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第２解析ステップと、
前記第２解析ステップにおける解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出ステップとをコンピュータに実行させるためのプログラム。 An acquisition step for acquiring sound information;
A first analysis step of performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
A display step for displaying the frequency analysis result waveform data;
An accepting step of accepting designation of a region including a frequency component from the displayed frequency analysis result waveform data;
A second analysis step of performing frequency analysis in the time axis direction with respect to frequency components included in the region;
The program for making a computer perform the extraction step which extracts the period and frequency information of the said frequency component from the analysis result in a said 2nd analysis step.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015243112A JP5954604B1 (en) | 2015-12-14 | 2015-12-14 | Diagnostic device, diagnostic system and program |
| PCT/JP2016/059524 WO2017104146A1 (en) | 2015-12-14 | 2016-03-24 | Diagnostic device, diagnostic system, diagnostic method, and program |
| CN201680066037.1A CN108351248B (en) | 2015-12-14 | 2016-03-24 | Diagnostic device, diagnostic system, diagnostic method, and program |
| AU2016370880A AU2016370880A1 (en) | 2015-12-14 | 2016-03-24 | Diagnostic device, diagnostic system, diagnostic method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015243112A JP5954604B1 (en) | 2015-12-14 | 2015-12-14 | Diagnostic device, diagnostic system and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5954604B1 true JP5954604B1 (en) | 2016-07-20 |
| JP2017110919A JP2017110919A (en) | 2017-06-22 |
Family
ID=56418752
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015243112A Active JP5954604B1 (en) | 2015-12-14 | 2015-12-14 | Diagnostic device, diagnostic system and program |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP5954604B1 (en) |
| CN (1) | CN108351248B (en) |
| AU (1) | AU2016370880A1 (en) |
| WO (1) | WO2017104146A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018017659A (en) * | 2016-07-29 | 2018-02-01 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system, and program |
| JP2018048887A (en) * | 2016-09-21 | 2018-03-29 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system, and program |
| JP2018048886A (en) * | 2016-09-21 | 2018-03-29 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system, and program |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112513893B (en) * | 2018-08-03 | 2022-09-23 | 三菱电机株式会社 | Data analysis device, system, method, and program |
| US11158315B2 (en) | 2019-08-07 | 2021-10-26 | International Business Machines Corporation | Secure speech recognition |
| JP2023033848A (en) | 2021-08-30 | 2023-03-13 | トヨタ自動車株式会社 | Abnormal noise specification device, abnormal noise specification method and abnormal noise specification program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09136776A (en) * | 1995-11-13 | 1997-05-27 | Hitachi Building Syst Co Ltd | Rotary bearing damage detecting device for elevator |
| JPH10258974A (en) * | 1996-09-13 | 1998-09-29 | Toshiba Corp | Unsteady signal analyzer and medium recording unsteady signal analysis program |
| JP2010281279A (en) * | 2009-06-05 | 2010-12-16 | Shimizu Corp | Method, device and program for determining abnormality of windmill blade for wind power generation |
| JP2012208043A (en) * | 2011-03-30 | 2012-10-25 | Railway Technical Research Institute | Method and device for identifying vibration characteristic of railroad structure |
| JP2012251851A (en) * | 2011-06-02 | 2012-12-20 | Mitsubishi Electric Corp | Abnormal sound diagnosis apparatus |
| JP2015081768A (en) * | 2013-10-21 | 2015-04-27 | 株式会社日立ハイテクノロジーズ | Abnormality detection device, abnormality detection method and computer readable storage medium |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06318424A (en) * | 1993-03-12 | 1994-11-15 | Kitagawa Ind Co Ltd | Sound sensitive operating switch and emergency electric light and remote control holder using it |
| MY118297A (en) * | 1996-09-13 | 2004-09-30 | Toshiba Kk | Unsteady signal analyzer and medium for recording unsteady signal analyzer program |
| US6192490B1 (en) * | 1998-04-10 | 2001-02-20 | International Business Machines Corporation | Method and system for monitoring computer performance utilizing sound diagnostics |
| JP3908555B2 (en) * | 2002-02-08 | 2007-04-25 | 株式会社東芝 | Ultrasonic diagnostic equipment |
| JP2006025281A (en) * | 2004-07-09 | 2006-01-26 | Hitachi Ltd | Information source selection system, and method |
| JP2006113002A (en) * | 2004-10-18 | 2006-04-27 | Nsk Ltd | Anomaly diagnosis system for mechanical equipment |
| CN101206548B (en) * | 2006-12-19 | 2012-01-11 | 北京汇冠新技术股份有限公司 | Infrared touch panel triggered using touch force and detecting method thereof |
| CN101354485B (en) * | 2007-07-23 | 2011-04-06 | 奇美电子股份有限公司 | System and method for testing display apparatus |
| JP5725833B2 (en) * | 2010-01-04 | 2015-05-27 | Ntn株式会社 | Rolling bearing abnormality diagnosis device, wind power generation device and abnormality diagnosis system |
| EA201400150A1 (en) * | 2011-07-23 | 2014-11-28 | Нексовейшн, Инк. | DEVICE, METHOD AND SYSTEM FOR MUSICATION |
| CN102779398A (en) * | 2012-07-09 | 2012-11-14 | 深圳市同洲电子股份有限公司 | Control method, device and system for smart appliance |
| JP2015173369A (en) * | 2014-03-12 | 2015-10-01 | ソニー株式会社 | Signal processor, signal processing method and program |
-
2015
- 2015-12-14 JP JP2015243112A patent/JP5954604B1/en active Active
-
2016
- 2016-03-24 CN CN201680066037.1A patent/CN108351248B/en active Active
- 2016-03-24 AU AU2016370880A patent/AU2016370880A1/en not_active Abandoned
- 2016-03-24 WO PCT/JP2016/059524 patent/WO2017104146A1/en active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09136776A (en) * | 1995-11-13 | 1997-05-27 | Hitachi Building Syst Co Ltd | Rotary bearing damage detecting device for elevator |
| JPH10258974A (en) * | 1996-09-13 | 1998-09-29 | Toshiba Corp | Unsteady signal analyzer and medium recording unsteady signal analysis program |
| JP2010281279A (en) * | 2009-06-05 | 2010-12-16 | Shimizu Corp | Method, device and program for determining abnormality of windmill blade for wind power generation |
| JP2012208043A (en) * | 2011-03-30 | 2012-10-25 | Railway Technical Research Institute | Method and device for identifying vibration characteristic of railroad structure |
| JP2012251851A (en) * | 2011-06-02 | 2012-12-20 | Mitsubishi Electric Corp | Abnormal sound diagnosis apparatus |
| JP2015081768A (en) * | 2013-10-21 | 2015-04-27 | 株式会社日立ハイテクノロジーズ | Abnormality detection device, abnormality detection method and computer readable storage medium |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018017659A (en) * | 2016-07-29 | 2018-02-01 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system, and program |
| JP2018048887A (en) * | 2016-09-21 | 2018-03-29 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system, and program |
| JP2018048886A (en) * | 2016-09-21 | 2018-03-29 | 富士ゼロックス株式会社 | Diagnostic device, diagnostic system, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017104146A1 (en) | 2017-06-22 |
| JP2017110919A (en) | 2017-06-22 |
| CN108351248B (en) | 2020-10-23 |
| AU2016370880A1 (en) | 2018-05-10 |
| CN108351248A (en) | 2018-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5954604B1 (en) | Diagnostic device, diagnostic system and program | |
| CN106961514B (en) | Terminal device and information output method | |
| US10911607B2 (en) | Diagnosing an image forming apparatus based on sound signal analysis | |
| JP6540962B2 (en) | Diagnostic device, diagnostic system and program | |
| JP5939480B1 (en) | Terminal device, diagnostic system and program | |
| JP5954606B1 (en) | Diagnostic device, diagnostic system, device and program | |
| JP2017110920A (en) | Diagnostic device, diagnostic system and program | |
| JP5943313B1 (en) | Diagnostic device, diagnostic system and program | |
| CN106915166B (en) | Diagnostic device, diagnostic system, and diagnostic method | |
| JP6840971B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
| JP6016149B1 (en) | Terminal device, diagnostic system, and program | |
| WO2017094270A1 (en) | Diagnosis device, diagnosis system, diagnosis method and program | |
| JP6822036B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
| JP6834223B2 (en) | Diagnostic equipment, diagnostic systems and programs | |
| JP6763255B2 (en) | Diagnostic equipment, diagnostic systems and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5954604 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |