JP5954604B1 - Diagnostic device, diagnostic system and program - Google Patents

Diagnostic device, diagnostic system and program Download PDF

Info

Publication number
JP5954604B1
JP5954604B1 JP2015243112A JP2015243112A JP5954604B1 JP 5954604 B1 JP5954604 B1 JP 5954604B1 JP 2015243112 A JP2015243112 A JP 2015243112A JP 2015243112 A JP2015243112 A JP 2015243112A JP 5954604 B1 JP5954604 B1 JP 5954604B1
Authority
JP
Japan
Prior art keywords
frequency
analysis
analysis result
information
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015243112A
Other languages
Japanese (ja)
Other versions
JP2017110919A (en
Inventor
智之 三ツ橋
智之 三ツ橋
勉 宇高
勉 宇高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2015243112A priority Critical patent/JP5954604B1/en
Priority to AU2016370880A priority patent/AU2016370880A1/en
Priority to CN201680066037.1A priority patent/CN108351248B/en
Priority to PCT/JP2016/059524 priority patent/WO2017104146A1/en
Application granted granted Critical
Publication of JP5954604B1 publication Critical patent/JP5954604B1/en
Publication of JP2017110919A publication Critical patent/JP2017110919A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00Measuring characteristics of vibrations by using a detector in a fluid

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

【課題】音声信号を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果の波形から、異音の信号成分の周波数および周期の情報を抽出する。【解決手段】音声取得部31は、画像形成装置20において発生した異音の音声を入力して音声信号を取得する。周波数解析部32は、取得された音声信号のSTFT(短時間フーリエ変換)を行って、周波数スペクトル波形データを生成する。制御部33は、この周波数スペクトル波形をタッチパネル上に表示し、ユーザのタッチ操作に基づいて、表示された周波数スペクトル波形における異音の信号成分が含まれる領域の指定を受付ける。周波数解析部32は、指示された領域に含まれる周波数成分に対して時間軸方向に高速フーリエ変換を行う。制御部33は、周波数解析部32における高速フーリエ変換の解析結果から異音の周期および周波数の情報を抽出する。【選択図】図3Information on frequency and period of an abnormal sound signal component is extracted from a waveform of a frequency analysis result representing a temporal change in intensity distribution for each frequency obtained by frequency analysis of an audio signal. An audio acquisition unit 31 receives an abnormal sound generated in an image forming apparatus 20 and acquires an audio signal. The frequency analysis unit 32 performs STFT (short-time Fourier transform) on the acquired audio signal to generate frequency spectrum waveform data. The control unit 33 displays the frequency spectrum waveform on the touch panel, and accepts designation of a region including an abnormal sound signal component in the displayed frequency spectrum waveform based on a user's touch operation. The frequency analysis unit 32 performs fast Fourier transform in the time axis direction on the frequency component included in the designated region. The control unit 33 extracts the period and frequency information of the abnormal sound from the analysis result of the fast Fourier transform in the frequency analysis unit 32. [Selection] Figure 3

Description

本発明は、診断装置、診断システムおよびプログラムに関する。   The present invention relates to a diagnostic device, a diagnostic system, and a program.

特許文献1には、画像形成装置の正常時の動作音を記憶しているRAMまたはROMと、画像形成装置から発生する動作音を検知するマイクロフォンとを有し、RAMまたはROMに記憶されている第1の音情報と、マイクロフォンにより検知された第2の音情報と、画像形成装置の動作情報とに基づいて、画像形成装置の以上箇所を特定するようなシステムが開示されている。   Patent Document 1 has a RAM or ROM that stores a normal operation sound of the image forming apparatus and a microphone that detects an operation sound generated from the image forming apparatus, and is stored in the RAM or ROM. A system is disclosed that identifies the above-mentioned location of the image forming apparatus based on the first sound information, the second sound information detected by the microphone, and the operation information of the image forming apparatus.

特許文献2には、印刷用紙上に画像を形成する画像形成部と前記印刷用紙を搬送する搬送部とを有する画像処理装置において、装置内部の音を電気信号に変換する音変換部と、この音変換部が変換した電気信号を解析して周波数ごとの成分を求める音解析部と、この音解析部が求めた周波数ごとの成分を出力する出力部とを備えた画像処理装置が開示されている。   In Patent Document 2, in an image processing apparatus having an image forming unit that forms an image on printing paper and a transport unit that transports the printing paper, a sound conversion unit that converts sound inside the device into an electrical signal, An image processing apparatus including a sound analysis unit that analyzes an electrical signal converted by a sound conversion unit to obtain a component for each frequency and an output unit that outputs a component for each frequency obtained by the sound analysis unit is disclosed. Yes.

特開2007−079263号公報JP 2007-079263 A1 特開2008−290288号公報JP 2008-290288 A

本発明の目的は、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能な診断装置、診断システムおよびプログラムを提供することである。   An object of the present invention is to extract frequency and period information of a sound to be extracted from a frequency analysis result representing a temporal change in intensity distribution for each frequency obtained by frequency analysis of sound information. A diagnostic device, a diagnostic system, and a program are provided.

[診断装置]
請求項1に係る本発明は、音情報を取得する取得手段と、
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第1解析手段と、
前記周波数解析結果波形データを表示する表示手段と、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第2解析手段と、
前記第2解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段とを備えた診断装置である。
[Diagnostic equipment]
The present invention according to claim 1 is an acquisition means for acquiring sound information;
First analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
Display means for displaying the frequency analysis result waveform data;
Receiving means for receiving designation of a region including a frequency component from the displayed frequency analysis result waveform data;
Second analysis means for performing frequency analysis in the time axis direction with respect to frequency components included in the region;
It is a diagnostic apparatus provided with the extraction means which extracts the period and frequency information of the said frequency component from the analysis result by a said 2nd analysis means.

請求項2に係る本発明は、前記抽出手段が、前記第2解析手段による解析結果のうち予め定められた周期以上の信号成分を除いた解析結果に基づいて、前記周波数成分の周期および周波数の情報を抽出する請求項1記載の診断装置である。 According to a second aspect of the present invention, the extraction means is configured to determine the period and frequency of the frequency component based on an analysis result obtained by removing a signal component having a predetermined period or more from the analysis result obtained by the second analysis means. The diagnostic apparatus according to claim 1, wherein information is extracted .

請求項3に係る本発明は、前記抽出手段が、前記第2解析手段による解析結果に複数の周期が含まれている場合には、複数の周期のうち最も信号強度が強い周期について、前記周波数成分の周期および周波数の情報を抽出する請求項1または2記載の診断装置である。 According to a third aspect of the present invention, in the case where the extraction unit includes a plurality of cycles in the analysis result by the second analysis unit, the frequency of the cycle having the strongest signal intensity among the plurality of cycles is determined. The diagnostic apparatus according to claim 1, wherein information on the period and frequency of the component is extracted .

請求項4に係る本発明は、前記受付手段が、予め設定された周波数以下の領域については、周波数成分が含まれる領域として指定された場合でも、前記第2解析手段によって解析しない請求項1記載の診断装置である。 According to a fourth aspect of the present invention, in the first aspect, the receiving unit does not analyze a region below a preset frequency even if the region is designated as a region including a frequency component. This is a diagnostic device.

請求項5に係る本発明は、外部装置との間で通信を行う通信手段と、
前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
前記第1解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記表示手段は、前記第1解析手段により生成された周波数解析結果と、前記受信手段により受信された周波数解析結果とを表示する請求項1から4のいずれか1項記載の診断装置である。
The present invention according to claim 5 includes communication means for performing communication with an external device;
Transmitting means for transmitting information on the period and frequency of the sound extracted by the extracting means to an external device via the communication means;
Receiving means for receiving frequency analysis result data corresponding to the frequency analysis result data generated by the first analysis means from an external device via the communication means;
5. The diagnostic device according to claim 1, wherein the display unit displays the frequency analysis result generated by the first analysis unit and the frequency analysis result received by the reception unit.

[診断システム]
請求項6に係る本発明は、音情報を取得する取得手段と、前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第1解析手段と、前記周波数解析結果波形データを表示する表示手段と、表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第2解析手段と、前記第2解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段と、外部装置との間で通信を行う通信手段と、前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する第1の送信手段と、前記第1解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
異音の音情報の周波数解析を行って得た複数の周波数解析結果のデータを格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果のデータの中から、受信した音の周期および周波数の情報に合致したものを選択して前記診断装置に送信する第2の送信手段とを備えたサーバ装置とを備えた診断システムである。
[Diagnostic system]
According to a sixth aspect of the present invention, there is provided an acquisition means for acquiring sound information, a first analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency; Display means for displaying the frequency analysis result waveform data; receiving means for receiving designation of a region including a frequency component from the displayed frequency analysis result waveform data; and a time axis direction with respect to the frequency component included in the region second analyzing means for frequency analysis, extraction means for extracting the information of the period and frequency of the frequency component from the analysis result by the second analyzing means, a communication means for communicating with an external device, the extracting means A first transmission means for transmitting information on the period and frequency of the sound extracted by the above to an external device via the communication means; A diagnostic device which includes a receiving means for receiving from an external device the result data the data of the frequency analysis result corresponding to the via the communication means,
Storage means for storing data of a plurality of frequency analysis results obtained by performing frequency analysis of abnormal sound information, and when receiving information on the period and frequency of sound from the diagnostic device, stored in the storage means A server device comprising: a second transmission unit that selects data that matches the received sound period and frequency information from among the plurality of frequency analysis result data, and transmits the selected data to the diagnostic device. Diagnostic system.

[プログラム]
請求項7に係る本発明は、音情報を取得する取得ステップと、
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第1解析ステップと、
前記周波数解析結果波形データを表示する表示ステップと、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付ステップと、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第2解析ステップと、
前記第2解析ステップにおける解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出ステップとをコンピュータに実行させるためのプログラムである。
[program]
The present invention according to claim 7 is an acquisition step of acquiring sound information;
A first analysis step of performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
A display step for displaying the frequency analysis result waveform data;
An accepting step of accepting designation of a region including a frequency component from the displayed frequency analysis result waveform data;
A second analysis step of performing frequency analysis in the time axis direction with respect to frequency components included in the region;
A program for causing a computer to execute an extraction step of extracting information on a period and a frequency of the frequency component from an analysis result in the second analysis step.

請求項1に係る本発明によれば、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能な診断装置を提供することができる。   According to the first aspect of the present invention, the frequency and period information of the sound to be extracted is extracted from the frequency analysis result representing the time change of the intensity distribution for each frequency obtained by frequency analysis of the sound information. It is possible to provide a diagnostic device capable of doing so.

請求項2に係る本発明によれば、予め設定された周波数以下の領域が誤って指定された場合でも、抽出すべき音の周波数および周期の情報の抽出精度が悪化することを防ぐことが可能な診断装置を提供することができる。   According to the second aspect of the present invention, it is possible to prevent deterioration in the extraction accuracy of the information on the frequency and period of the sound to be extracted even when a region below a preset frequency is erroneously designated. A diagnostic apparatus can be provided.

請求項3に係る本発明によれば、複数の周期が検出された場合でも、抽出すべき音の周波数および周期の情報を抽出することが可能な診断装置を提供することができる。 According to the third aspect of the present invention, it is possible to provide a diagnostic apparatus capable of extracting information on the frequency and period of a sound to be extracted even when a plurality of periods are detected .

請求項4に係る本発明によれば、予め設定された周波数以下の領域が誤って指定された場合でも、抽出すべき音の周波数および周期の情報の抽出精度が悪化することを防ぐことが可能な診断装置を提供することができる。


According to the fourth aspect of the present invention, it is possible to prevent deterioration in the extraction accuracy of information on the frequency and period of the sound to be extracted even when a region below a preset frequency is erroneously designated. A diagnostic apparatus can be provided.


請求項5に係る本発明によれば、使用者は、取得した音情報の周波数解析結果と、解析対象の装置と同等の装置において外部装置に記録されている音情報の周波数解析結果とを比較して、発生した音の原因を推定することができる診断装置を提供することができる。   According to the fifth aspect of the present invention, the user compares the frequency analysis result of the acquired sound information with the frequency analysis result of the sound information recorded in the external device in a device equivalent to the device to be analyzed. Thus, a diagnostic apparatus that can estimate the cause of the generated sound can be provided.

請求項6に係る本発明によれば、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能な診断システムを提供することができる。   According to the present invention of claim 6, the frequency and period information of the sound to be extracted is extracted from the frequency analysis result representing the time change of the intensity distribution for each frequency obtained by frequency analysis of the sound information. It is possible to provide a diagnostic system that can do this.

請求項7に係る本発明によれば、音情報を周波数解析することにより得られた周波数毎の強度分布の時間変化を表した周波数解析結果から、抽出すべき音の周波数および周期の情報を抽出することが可能なプログラムを提供することができる。   According to the seventh aspect of the present invention, the frequency and period information of the sound to be extracted is extracted from the frequency analysis result representing the time change of the intensity distribution for each frequency obtained by frequency analysis of the sound information. A program that can be performed can be provided.

本発明の一実施形態の異音診断システムの構成を示すシステム図である。It is a system diagram showing a configuration of an abnormal sound diagnosis system of one embodiment of the present invention. 本発明の一実施形態における異音診断装置10のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the abnormal sound diagnostic apparatus 10 in one Embodiment of this invention. 本発明の一実施形態における異音診断装置10の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the abnormal sound diagnostic apparatus 10 in one Embodiment of this invention. 本発明の一実施形態におけるサーバ装置50の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the server apparatus 50 in one Embodiment of this invention. 図4中の波形データ格納部53に格納される情報の一例を示す図である。It is a figure which shows an example of the information stored in the waveform data storage part 53 in FIG. 本発明の一実施形態の異音診断システムの動作を説明するためのシーケンスチャートである。It is a sequence chart for demonstrating operation | movement of the abnormal sound diagnostic system of one Embodiment of this invention. 機種名、シリアル番号、動作状態等の各種情報を入力する際の異音診断装置10の表示画面例を示す図である。It is a figure which shows the example of a display screen of the abnormal sound diagnostic apparatus 10 at the time of inputting various information, such as a model name, a serial number, and an operation state. STFTの概念を説明するための図である。It is a figure for demonstrating the concept of STFT. STFTにより得られた解析結果に基づく周波数スペクトラム波形の画像例を示す図である。It is a figure which shows the example of an image of the frequency spectrum waveform based on the analysis result obtained by STFT. 周波数スペクトル波形をユーザに提示する際に、異音であると推定される領域を指定するようユーザに促すような表示を行った場合の一例を示す図である。It is a figure which shows an example at the time of showing to a user to designate the area | region estimated to be abnormal sound when showing a frequency spectrum waveform to a user. 図10の周波数スペクトラム波形の画像例において、ユーザにより選択された選択領域80の一例を示す図である。It is a figure which shows an example of the selection area | region 80 selected by the user in the image example of the frequency spectrum waveform of FIG. 高速フーリエ変換の解析結果例を示す図である。It is a figure which shows the example of an analysis result of a fast Fourier transform. 2つの周波数スペクトル波形が表示された異音診断装置10の画面例を示す図である。It is a figure which shows the example of a screen of the abnormal sound diagnostic apparatus 10 by which two frequency spectrum waveforms were displayed. 図13に示した画面例に対して、異音原因が異なる別の周波数スペクトル波形が表示された場合の画像例を示す図である。It is a figure which shows the example of an image when another frequency spectrum waveform from which the cause of abnormal noise differs is displayed with respect to the example of a screen shown in FIG.

次に、本発明の実施の形態について図面を参照して詳細に説明する。   Next, embodiments of the present invention will be described in detail with reference to the drawings.

図1は本発明の一実施形態の異音診断システムの構成を示すシステム図である。   FIG. 1 is a system diagram showing a configuration of an abnormal sound diagnosis system according to an embodiment of the present invention.

本発明の一実施形態の異音診断システムは、図1に示されるように、パーソナルコンピュータ、スマートフォン、タブレット端末装置等の携帯可能な異音診断装置10と、サーバ装置50とから構成されている。   As shown in FIG. 1, the abnormal sound diagnosis system according to an embodiment of the present invention includes a portable abnormal sound diagnosis device 10 such as a personal computer, a smartphone, and a tablet terminal device, and a server device 50. .

なお、異音診断装置10は、通信ネットワークを介してサーバ装置50に接続可能な装置であればどのような装置であっても本発明は適用可能である。ただし、本実施形態では、異音診断装置10が、音声信号を取得可能なマイク等の装置および、タッチ入力が可能なタッチパネルを備えたタブレット端末装置の場合を用いて説明する。   The present invention is applicable to any abnormal sound diagnosis apparatus 10 as long as it is an apparatus that can be connected to the server apparatus 50 via a communication network. However, in the present embodiment, the abnormal sound diagnosis device 10 will be described using a case of a tablet terminal device including a device such as a microphone capable of acquiring an audio signal and a touch panel capable of touch input.

異音診断装置10は、エンドユーザが使用しているプリンタ等の画像形成装置20の保守管理、修理等を行うサービスマン(保守要員)により携帯され、画像形成装置20において発生した異音(異常音)信号を取得して、取得した異音信号を周波数解析したり、サーバ装置50から取得した過去の異音信号の周波数解析結果の波形と取得した異音信号の周波数解析結果波形とを表示するために使用される。   The abnormal sound diagnosis apparatus 10 is carried by a service person (maintenance personnel) who performs maintenance management, repair, etc. of the image forming apparatus 20 such as a printer used by an end user, and generates abnormal noise (abnormality) generated in the image forming apparatus 20. Sound) signal, and frequency analysis of the acquired abnormal sound signal is performed, and a waveform of the frequency analysis result of the past abnormal sound signal acquired from the server device 50 and a frequency analysis result waveform of the acquired abnormal sound signal are displayed. Used to do.

異音診断装置10と、サーバ装置50とは、Wi−Fiルータ等の無線LANターミナル30や、インターネット通信網40を介して接続され情報の送受信を行っている。   The abnormal sound diagnosis apparatus 10 and the server apparatus 50 are connected via a wireless LAN terminal 30 such as a Wi-Fi router or the Internet communication network 40 to transmit and receive information.

なお、異音診断装置10が携帯電話装置やスマートフォン等の場合には、異音診断装置10とサーバ装置50とを携帯電話回線網を介して接続して、周波数解析結果波形データの送受信を行うようにすることも可能である。   When the abnormal sound diagnosis device 10 is a mobile phone device, a smartphone, or the like, the abnormal sound diagnosis device 10 and the server device 50 are connected via a mobile phone network to transmit / receive frequency analysis result waveform data. It is also possible to do so.

本実施形態の異音診断システムでは、エンドユーザの場所に設置された対象電子機器である画像形成装置20に異音が発生した場合、サービスマンが異音診断装置10を携帯して画像形成装置20の場所に出向く。そして、このサービスマンが、異音診断装置10を用いて発生している異音を録音することにより異音信号を取得して、異音の原因を特定する異音診断を行う。   In the abnormal sound diagnosis system of the present embodiment, when an abnormal sound occurs in the image forming apparatus 20 that is a target electronic device installed at the end user's location, a service person carries the abnormal sound diagnosis apparatus 10 and the image forming apparatus. Go to 20 places. And this service person acquires the abnormal sound signal by recording the abnormal sound generated using the abnormal sound diagnosis apparatus 10, and performs the abnormal sound diagnosis for specifying the cause of the abnormal sound.

なお、画像形成装置20にマイク等を設けて録音機能を持たせて、異音が発生した場合にその録音機能により異音を録音させることも技術的には可能であるが、画像形成装置20がエンドユーザのオフィス等に設置される場合、この画像形成装置20に音声を録音する機能を設けることはセキュリティ上の理由により実現することができない。   Although it is technically possible to provide a recording function by providing a microphone or the like in the image forming apparatus 20 and when the abnormal sound is generated, the abnormal sound is recorded by the recording function. Is installed in an end user's office or the like, it is impossible to provide the image forming apparatus 20 with a function of recording sound for security reasons.

次に、本実施形態の異音診断システムにおける異音診断装置10のハードウェア構成を図2に示す。   Next, FIG. 2 shows a hardware configuration of the abnormal sound diagnosis apparatus 10 in the abnormal sound diagnosis system of the present embodiment.

異音診断装置10は、図2に示されるように、CPU11、一時的にデータを保存可能なメモリ12、フラッシュメモリ等の記憶装置13、無線LANターミナル30との間で無線通信を行ってデータの送信及び受信を行う無線LANインタフェース(IF)14、タッチセンサ等の入力装置15、表示装置16、マイク17を有する。これらの構成要素は、制御バス18を介して互いに接続されている。   As shown in FIG. 2, the abnormal sound diagnosis apparatus 10 performs wireless communication with the CPU 11, a memory 12 that can temporarily store data, a storage device 13 such as a flash memory, and a wireless LAN terminal 30 to perform data communication. A wireless LAN interface (IF) 14 that performs transmission and reception, an input device 15 such as a touch sensor, a display device 16, and a microphone 17. These components are connected to each other via a control bus 18.

本実施形態の異音診断装置10では、表示装置16上にタッチ位置を検出するためのタッチセンサが入力装置15として設けられたタッチパネルが備えられていて、このタッチパネルを用いて表示が行われるとともにユーザからの入力が行われる。   In the abnormal sound diagnosis apparatus 10 of the present embodiment, a touch panel provided with a touch sensor for detecting a touch position as the input device 15 is provided on the display device 16, and display is performed using this touch panel. Input from the user is made.

CPU11は、メモリ12または記憶装置13に格納された制御プログラムに基づいて所定の処理を実行して、異音診断装置10の動作を制御する。なお、この制御プログラムは、インターネット通信網40や携帯電話回線網を介してダウンロードすることにより入手してCPU11に提供することも可能であるし、当該プログラムをCD−ROM等の記憶媒体に格納してCPU11に提供することも可能である。   The CPU 11 executes a predetermined process based on a control program stored in the memory 12 or the storage device 13 to control the operation of the abnormal sound diagnosis apparatus 10. The control program can be obtained by downloading via the Internet communication network 40 or the mobile phone network and provided to the CPU 11, or the program can be stored in a storage medium such as a CD-ROM. It is also possible to provide it to the CPU 11.

本実施形態の異音診断装置10は、上記の制御プログラムが実行されることにより以下に説明するような動作を行って、サービスマンが異音の原因を特定する業務の手助けを行う。   The abnormal sound diagnosis apparatus 10 of the present embodiment performs an operation as described below by executing the above control program, thereby assisting a service person in identifying the cause of the abnormal sound.

図3は、上記の制御プログラムが実行されることにより実現される異音診断装置10の機能構成を示すブロック図である。   FIG. 3 is a block diagram showing a functional configuration of the abnormal sound diagnosis apparatus 10 realized by executing the control program.

本実施形態の異音診断装置10は、図3に示されるように、音声取得部31と、周波数解析部32と、制御部33と、音声データ格納部34と、表示部35と、通信部36と、音声再生部37とを備えている。   As shown in FIG. 3, the abnormal sound diagnosis apparatus 10 of the present embodiment includes an audio acquisition unit 31, a frequency analysis unit 32, a control unit 33, an audio data storage unit 34, a display unit 35, and a communication unit. 36 and an audio reproduction unit 37.

表示部35は、制御部33による制御に基づいて各種データの表示を行う。通信部36は、外部装置であるサーバ装置50との間で通信を行う。音声再生部37は制御部33による制御に基づいて、録音された音声データ等を再生して音声信号に変換する。   The display unit 35 displays various data based on the control by the control unit 33. The communication unit 36 communicates with the server device 50 that is an external device. Based on the control by the control unit 33, the audio reproduction unit 37 reproduces the recorded audio data and converts it into an audio signal.

音声取得部31は、解析対象の装置である画像形成装置20において発生した異音の音声を入力して音声信号を取得する。   The sound acquisition unit 31 inputs an abnormal sound generated in the image forming apparatus 20 which is an analysis target apparatus and acquires a sound signal.

なお、本実施形態では、音声取得部31が、画像形成装置20において発生した異音の音声を入力して音声信号を取得するものとして説明しているが、音声は音の一例であり、音声信号は音情報の一例である。   In the present embodiment, the sound acquisition unit 31 has been described as acquiring an audio signal by inputting an abnormal sound generated in the image forming apparatus 20, but the sound is an example of a sound. The signal is an example of sound information.

周波数解析部32は、音声取得部31により取得された音声信号の時間周波数解析(時間依存周波数解析)を行って、取得された異音信号の周波数毎の信号強度分布の時間変化を表す周波数スペクトル波形(周波数解析結果)データを生成する。   The frequency analysis unit 32 performs time-frequency analysis (time-dependent frequency analysis) of the audio signal acquired by the audio acquisition unit 31, and represents a frequency spectrum representing a time change of the signal intensity distribution for each frequency of the acquired abnormal sound signal. Waveform (frequency analysis result) data is generated.

具体的には、周波数解析部32は、音声取得部31により取得された音声信号に対してSTFT(Short time Fourier transform:短時間フーリエ変換)を行うことにより周波数スペクトル波形データを生成する。このSTFTの説明については後述する。   Specifically, the frequency analysis unit 32 generates frequency spectrum waveform data by performing STFT (Short time Fourier transform) on the audio signal acquired by the audio acquisition unit 31. The description of this STFT will be described later.

制御部33は、周波数解析部32により得られた周波数スペクトル波形データを音声データとともに音声データ格納部34に格納する。そして、制御部33は、STFTの結果により得られた周波数スペクトル波形をタッチパネルである表示部35上に表示する。   The control unit 33 stores the frequency spectrum waveform data obtained by the frequency analysis unit 32 in the audio data storage unit 34 together with the audio data. And the control part 33 displays the frequency spectrum waveform obtained by the result of STFT on the display part 35 which is a touch panel.

その後、ユーザがタッチパネルである表示部35上に表示された周波数スペクトル波形において、異音の信号成分であると推測される領域を指でなぞる等のタッチ操作を行うと、制御部33は、このユーザのタッチ操作に基づいて、表示された周波数スペクトル波形における異音の信号成分が含まれる領域の指定を受付ける。   Thereafter, when the user performs a touch operation such as tracing a region that is assumed to be an abnormal signal component in the frequency spectrum waveform displayed on the display unit 35 that is a touch panel, the control unit 33 Based on the user's touch operation, the designation of the region including the abnormal signal component in the displayed frequency spectrum waveform is accepted.

すると、制御部33は、周波数解析部32により得られた周波数スペクトル波形データのうち、異音の信号成分が含まれる領域として指定された領域の周波数成分に対して時間軸方向に周波数解析を行う高速フーリエ変換(1D−FFT(Fast Fourier Transform))の実行を周波数解析部32に指示する。そのため、周波数解析部32は、指示された領域に含まれる周波数成分に対して時間軸方向に高速フーリエ変換を行う。   Then, the control unit 33 performs frequency analysis in the time axis direction on the frequency components in the region designated as the region including the abnormal sound signal component in the frequency spectrum waveform data obtained by the frequency analysis unit 32. The frequency analysis unit 32 is instructed to perform fast Fourier transform (1D-FFT (Fast Fourier Transform)). Therefore, the frequency analysis unit 32 performs fast Fourier transform in the time axis direction on the frequency component included in the designated region.

そして、制御部33は、周波数解析部32における高速フーリエ変換の解析結果から異音の周期および周波数の情報を抽出する。   Then, the control unit 33 extracts the period and frequency information of the abnormal sound from the analysis result of the fast Fourier transform in the frequency analysis unit 32.

なお、異音が発生していない場合でも予め設定された周波数以下の低周波数の領域には、通常動作音の信号成分が常に含まれている。そのため、制御部33は、予め設定された周波数以下の領域については、異音の信号成分が含まれる領域として指定された場合でも、その指定を受付けないようにしても良い。   Even when no abnormal sound is generated, the signal component of the normal operation sound is always included in the low frequency region below the preset frequency. For this reason, the control unit 33 may not accept the designation of a region having a frequency equal to or lower than a preset frequency even when the region is designated as a region including an abnormal sound signal component.

また、制御部33は、取得した異音の周期および周波数の情報を、画像形成装置20の機種名、シリアル番号等の機種情報、画像形成装置20の動作状態を示す動作状態情報とともに通信部36を介してサーバ装置50に送信する。具体的には、この動作状態情報には、カラー印刷なのか白黒印刷なのか、両面印刷なのか片面印刷なのか、動作モードはスキャン、プリント、複写のいずれなのか、使用用紙の種類等の情報を含めるようにすることができる。このようにして、制御部33は、周波数解析部32により得られた周波数スペクトル波形データから得られた情報を、通信部36を介してサーバ装置50に送信する。   In addition, the control unit 33 uses the acquired period and frequency information of the abnormal sound as well as the model name of the image forming apparatus 20, model information such as a serial number, and operation state information indicating the operation state of the image forming apparatus 20. To the server device 50 via Specifically, this operation status information includes information such as color printing or monochrome printing, duplex printing or single-sided printing, whether the operation mode is scan, print, or copy, and the type of paper used. Can be included. In this way, the control unit 33 transmits information obtained from the frequency spectrum waveform data obtained by the frequency analysis unit 32 to the server device 50 via the communication unit 36.

サーバ装置50では、画像形成装置20の装置と同等の装置において過去に発生した異音の音声信号の周波数解析を行って得られるスペクトル波形データを、元の音声データ、その音声データが取得された際の装置の動作状態、異音原因、異音への対処方法等の情報とともに格納している。   In the server device 50, the original sound data and the sound data are acquired from the spectrum waveform data obtained by performing frequency analysis of the sound signal of abnormal sound that has occurred in the past in an apparatus equivalent to the image forming apparatus 20. Together with information such as the operating state of the device, the cause of the abnormal noise, and how to deal with the abnormal noise.

そしてサーバ装置50は、異音診断装置10から送信されてきた異音の周期および周波数の情報から、周波数解析部32による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形(第2の周波数解析結果の波形)データを検索して、見つかった周波数スペクトル波形データを異音のサンプル波形データとして格納している音声データ等の情報等とともに異音診断装置10に送信する。   Then, the server device 50 uses the frequency spectrum waveform (the first frequency spectrum waveform corresponding to the frequency spectrum waveform data obtained as a result of the frequency analysis by the frequency analysis unit 32 based on the period and frequency information of the abnormal sound transmitted from the abnormal sound diagnosis device 10. (2) (frequency analysis result waveform) data is searched, and the found frequency spectrum waveform data is transmitted to the abnormal sound diagnosis apparatus 10 together with information such as voice data stored as abnormal sound sample waveform data.

この結果、制御部33は、周波数解析部32による周波数解析の結果得られた周波数スペクトル波形データに対応する周波数スペクトル波形データを通信部36を介してサーバ装置50から受信する。   As a result, the control unit 33 receives the frequency spectrum waveform data corresponding to the frequency spectrum waveform data obtained as a result of the frequency analysis by the frequency analysis unit 32 from the server device 50 via the communication unit 36.

制御部33は、音声取得部31により取得された音声信号の周波数解析を行って得られた周波数スペクトル波形と、サーバ装置50から受信したスペクトル波形とを表示部35に並列に表示する。   The control unit 33 displays the frequency spectrum waveform obtained by performing frequency analysis of the audio signal acquired by the audio acquisition unit 31 and the spectrum waveform received from the server device 50 on the display unit 35 in parallel.

なお、制御部33は、サーバ装置50から送信されてきた周波数スペクトル波形データが複数存在する場合、複数の周波数スペクトル波形データのうち、周波数解析部32の周波数解析によって得られた周波数スペクトル波形データとの類似度が高いものを優先して表示部33に表示する。   In addition, when there are a plurality of frequency spectrum waveform data transmitted from the server device 50, the control unit 33 includes the frequency spectrum waveform data obtained by the frequency analysis of the frequency analysis unit 32 among the plurality of frequency spectrum waveform data. Are displayed on the display unit 33 with priority.

次に、本実施形態の異音解析システムにおけるサーバ装置50の機能構成を図4のブロック図を参照して説明する。   Next, the functional configuration of the server device 50 in the abnormal sound analysis system of this embodiment will be described with reference to the block diagram of FIG.

本実施形態のサーバ装置50は、図4に示されるように、通信部51と、制御部52と、波形データ格納部53とを備えている。   As shown in FIG. 4, the server device 50 according to the present embodiment includes a communication unit 51, a control unit 52, and a waveform data storage unit 53.

波形データ格納部53は、解析対象の装置である画像形成装置20と同等の装置において過去に発生した異音の音声信号の周波数解析を行って得られる複数の周波数スペクトル波形データを格納する。   The waveform data storage unit 53 stores a plurality of frequency spectrum waveform data obtained by performing frequency analysis of an abnormal sound signal generated in the past in an apparatus equivalent to the image forming apparatus 20 that is an analysis target apparatus.

具体的には、波形データ格納部53は、図5に示されるように、予め取得された異音の音声データを時間周波数解析することにより得られた周波数スペクトル波形データと、元となった音声データと、異音の原因と、その対処方法等の情報が機種毎に格納されている。   Specifically, as shown in FIG. 5, the waveform data storage unit 53 includes frequency spectrum waveform data obtained by analyzing time-frequency analysis of abnormal sound data acquired in advance and the original sound. Information such as data, causes of abnormal noise, and countermeasures are stored for each model.

そして、制御部52は、異音診断装置10から異音の周期や周波数の情報を受信した場合、波形データ格納部53に格納されている複数の周波数スペクトルの波形データの中から、受信した異音周期や周波数の情報に基づいて、異音診断装置10において取得された異音に基づく周波数スペクトルの波形データに類似するものを選択して、通信部51を介して異音診断装置10に送信する   Then, when the control unit 52 receives the abnormal sound period or frequency information from the abnormal sound diagnosis apparatus 10, the control unit 52 receives the received abnormal noise data from the waveform data of the plurality of frequency spectra stored in the waveform data storage unit 53. Based on the information of the sound period and frequency, the one similar to the waveform data of the frequency spectrum based on the abnormal sound acquired in the abnormal sound diagnosis apparatus 10 is selected and transmitted to the abnormal sound diagnosis apparatus 10 via the communication unit 51. Do

次に、本実施形態の異音診断システムの動作を図6のシーケンスチャートを参照して説明する。   Next, the operation of the abnormal sound diagnosis system of this embodiment will be described with reference to the sequence chart of FIG.

異音診断装置10において異音の原因を特定するための異音診断を行おうとする場合、図7に示すような画像が表示されて機種名、シリアル番号、動作状態等の各種情報が入力される(ステップS101)。   When the abnormal sound diagnosis apparatus 10 performs an abnormal sound diagnosis for specifying the cause of the abnormal sound, an image as shown in FIG. 7 is displayed and various types of information such as the model name, serial number, and operating state are input. (Step S101).

そして、異音診断装置10では、動作モードを音声録音モードにして、マイク17を画像形成装置20の異音発生個所に近づけて異音の録音を行って音声データを取得する(ステップS102)。   Then, the abnormal sound diagnosis apparatus 10 sets the operation mode to the voice recording mode, records the abnormal sound by bringing the microphone 17 close to the abnormal sound generation location of the image forming apparatus 20, and acquires the voice data (step S102).

すると、異音診断装置10では、取得された音声データが周波数解析部32においてSTFTが行われることにより周波数毎の信号強度分布の時間変化を表した周波数スペクトル波形が生成される(ステップS103)。   Then, in the abnormal sound diagnosis apparatus 10, the acquired voice data is subjected to STFT in the frequency analysis unit 32, thereby generating a frequency spectrum waveform representing a time change of the signal intensity distribution for each frequency (step S103).

このSTFTとは、図8に示されるように、短時間毎にフーリエ変換を行って周波数成分毎の信号強度を時間変化に応じて演算したものである。そして、このSTFTにより得られた解析結果を1つの周波数スペクトル波形の画像とした場合の波形例を図9に示す。   As shown in FIG. 8, the STFT is obtained by performing Fourier transform every short time and calculating the signal intensity for each frequency component according to the time change. FIG. 9 shows a waveform example when the analysis result obtained by this STFT is an image of one frequency spectrum waveform.

図9に示した周波数スペクトル波形例では、横軸が時間、縦軸が周波数を表していて、周波数毎の強度は色によって表現されている。なお、図9では、この色の違いをハッチングパターンにより表現している。また、図9では周波数毎の強度が色によって表現される場合を例示しているが、この強度を階調により表現することも可能である。   In the frequency spectrum waveform example shown in FIG. 9, the horizontal axis represents time, the vertical axis represents frequency, and the intensity for each frequency is represented by color. In FIG. 9, this color difference is expressed by a hatching pattern. Further, FIG. 9 illustrates the case where the intensity for each frequency is expressed by color, but it is also possible to express this intensity by gradation.

この図9の周波数スペクトル波形例では、異音の周波数成分61が特定の周波数に周期的に発生しているのが表示されているのが分かる。なお、この図9に示した周波数スペクトル波形例において、低い周波数成分は通常の動作音であり異音の周波数成分ではない。   In the frequency spectrum waveform example of FIG. 9, it can be seen that the abnormal frequency component 61 is periodically generated at a specific frequency. In the example of the frequency spectrum waveform shown in FIG. 9, the low frequency component is a normal operation sound and not an abnormal frequency component.

この図9に示したような周波数スペクトル波形が得られると、制御部33は、この周波数スペクトル波形を表示部35に表示する。すると、制御部33は、図10に示すように、表示された周波数スペクトル波形に対して、異音であると推定される領域を指定するようユーザに促すような表示を行う。図10に示した例では、「異音であると思われる領域を指定して下さい。」という文字が表示されて、ユーザに異音であると推定される領域を指定するよう促されているのが分かる。   When the frequency spectrum waveform as shown in FIG. 9 is obtained, the control unit 33 displays the frequency spectrum waveform on the display unit 35. Then, as shown in FIG. 10, the control unit 33 performs a display that prompts the user to designate a region that is estimated to be abnormal sound, with respect to the displayed frequency spectrum waveform. In the example shown in FIG. 10, the text “Please specify the area that seems to be abnormal noise.” Is displayed, and the user is prompted to specify the area that is estimated to be abnormal noise. I understand.

そして、このような表示を参照することにより、周波数スペクトル波形を提示されたユーザが、異音の周波数成分61を特定して、例えばタッチパネルを操作することによりこの異音の周波数成分61が含まれる領域を選択する。   Then, by referring to such a display, the user who is presented with the frequency spectrum waveform specifies the abnormal frequency component 61, and the abnormal frequency component 61 is included by operating the touch panel, for example. Select an area.

このようにしてユーザにより選択された選択領域80の一例を図11に示す。図11に示した例では、ユーザが指70でタッチパネルを操作することにより、複数の異音の周波数成分61を含むような長方形の領域が選択領域80として指定されているのが分かる。   An example of the selection area 80 selected by the user in this way is shown in FIG. In the example shown in FIG. 11, it can be seen that a rectangular region including a plurality of abnormal frequency frequency components 61 is designated as the selection region 80 when the user operates the touch panel with the finger 70.

そして、このように選択領域80が指定されると、選択領域80に含まれる周波数成分に対する高速フーリエ変換(1D−FFT)が周波数解析部32により実行される(ステップS104)。このようにして実行された高速フーリエ変換の解析結果例を図12に示す。   When the selection area 80 is designated in this way, the fast Fourier transform (1D-FFT) for the frequency components included in the selection area 80 is executed by the frequency analysis unit 32 (step S104). An example of the analysis result of the fast Fourier transform executed in this way is shown in FIG.

なお、この図12では、高速フーリエ変換を行った周波数成分の信号の周期および周波数が検出されることにより異音の周期および周波数が特定されることになる。なお、異音には倍音成分等が含まれるため、複数の周期が検出される場合があるが最も信号強度が強い周期が異音周期として検出される。   In FIG. 12, the period and frequency of the abnormal sound are specified by detecting the period and frequency of the signal of the frequency component subjected to the fast Fourier transform. In addition, since an overtone component etc. are contained in abnormal sound, a some period may be detected, but the period with the strongest signal strength is detected as an abnormal sound period.

また、所定の周期以上の長周期の信号成分は通常動作音や不定周期雑音であると考えられるため、このような長周期の信号成分の領域は判定除外領域62として、この判定除外領域62における解析結果は無視される。   In addition, since a signal component having a long period of a predetermined period or more is considered to be normal operation sound or indefinite period noise, such a long-cycle signal component region is set as a determination exclusion region 62 in the determination exclusion region 62. Analysis results are ignored.

さらに、所定の周波数以下の低周波の信号成分についても通常動作音と区別が付かないため、このような低周波の信号成分の領域は判定除外領域63として、この判定除外領域63における解析結果は無視される。   Furthermore, since the low frequency signal component below the predetermined frequency cannot be distinguished from the normal operation sound, such a low frequency signal component region is set as the determination exclusion region 63, and the analysis result in the determination exclusion region 63 is as follows. It will be ignored.

異音診断装置10では、この高速フーリエ変換の解析結果により、異音の周波数および周期の情報を機種情報や動作状態の情報とともにサーバ装置50に送信する(ステップS105)。例えば、異音周波数は4kHz、異音周期は2.0秒というような情報がサーバ装置50に送信される。   The abnormal sound diagnosis apparatus 10 transmits the frequency and period information of the abnormal sound together with the model information and the operation state information to the server apparatus 50 based on the analysis result of the fast Fourier transform (step S105). For example, information such as the abnormal sound frequency of 4 kHz and the abnormal sound period of 2.0 seconds is transmitted to the server device 50.

すると、サーバ装置50では、受信した情報に基づいて、波形データ格納部53を検索することにより、受信した情報に対応する周波数スペクトル波形のデータを抽出する(ステップS106)。   Then, the server apparatus 50 extracts the data of the frequency spectrum waveform corresponding to the received information by searching the waveform data storage unit 53 based on the received information (step S106).

そして、サーバ装置50は、抽出した周波数スペクトル波形データを、元の音声データ、異音原因、その対処方法等の情報とともに異音診断装置10に送信する(ステップS107)。   Then, the server device 50 transmits the extracted frequency spectrum waveform data to the abnormal sound diagnosis device 10 together with information such as the original voice data, the cause of abnormal noise, and a countermeasure method thereof (step S107).

すると、異音診断装置10では、サーバ装置50から送信されてきた周波数スペクトル波形データを受信する(ステップS108)。そして、異音診断装置10の制御部33は、受信した周波数スペクトル波形と、STFTで得られた周波数スペクトル波形を表示部35に表示させる(ステップS109)。   Then, the abnormal sound diagnosis apparatus 10 receives the frequency spectrum waveform data transmitted from the server apparatus 50 (step S108). Then, the control unit 33 of the abnormal sound diagnosis apparatus 10 displays the received frequency spectrum waveform and the frequency spectrum waveform obtained by the STFT on the display unit 35 (step S109).

このようにして2つの周波数スペクトル波形が表示された異音診断装置10の画面例を図13に示す。   FIG. 13 shows a screen example of the abnormal sound diagnosis apparatus 10 on which two frequency spectrum waveforms are displayed in this way.

図13に示した画面例では、周波数解析部32におけるSTFTにより得られた周波数スペクトル波形が、「今回録音した異音の解析結果波形」として表示され、サーバ装置50から送信されてきた周波数スペクトル波形が、「過去の異音データ」として「感光体ドラムの摩耗」という異音原因とともに表示されているのが分かる。   In the screen example shown in FIG. 13, the frequency spectrum waveform obtained by the STFT in the frequency analysis unit 32 is displayed as “analysis result waveform of abnormal sound recorded this time” and transmitted from the server device 50. However, it can be seen that “Past abnormal noise data” is displayed together with the cause of abnormal noise “Abrasion of photosensitive drum”.

異音診断を行おうとするサービスマンは、この2つの周波数スペクトル波形を比較して、波形中の異音成分が類似しているか否かを判定することにより異音の原因を特定する。   A serviceman who wants to perform abnormal noise diagnosis compares the two frequency spectrum waveforms and determines whether or not the abnormal noise components in the waveforms are similar, thereby identifying the cause of the abnormal noise.

また、サーバ装置50から複数の周波数スペクトル波形が送信されてきた場合には、例えば、「過去の異音データ」として表示されている周波数スペクトル波形の画像をタッチ操作により横方向になぞることにより、図14のように別の周波数スペクトル波形が表示される。   Further, when a plurality of frequency spectrum waveforms are transmitted from the server device 50, for example, by tracing a frequency spectrum waveform image displayed as “past abnormal sound data” in the horizontal direction by a touch operation, Another frequency spectrum waveform is displayed as shown in FIG.

図14は、異音原因が「駆動系モータの不良」である場合の異音の周波数スペクトル波形が表示された場合の画像例を示している。   FIG. 14 shows an example of an image when the frequency spectrum waveform of the abnormal noise is displayed when the abnormal noise is caused by the “defective drive system motor”.

このように複数の周波数スペクトル波形が送信されてきた場合には、サービスマンは、今回取得した異音の周波数スペクトル波形が、いずれの周波数スペクトル波形とより類似しているかを判定することにより異音の原因を特定する。なお、この異音の原因の特定の際には、単に周波数スペクトル波形の形状や異音成分の周期や周波数等を比較するだけでなく、元の音声データを音声再生部37により再生して今回取得した異音とサーバ装置50から送信されてきた周波数スペクトル波形に対応した音声とを聴き比べて異音の原因を特定する。   When a plurality of frequency spectrum waveforms are transmitted in this way, the service person determines whether the frequency spectrum waveform of the abnormal sound acquired this time is more similar to which frequency spectrum waveform is abnormal. Identify the cause of When identifying the cause of this abnormal noise, not only simply comparing the shape of the frequency spectrum waveform, the period or frequency of the abnormal noise component, but also reproducing the original audio data by the audio reproducing unit 37 The cause of the abnormal noise is identified by comparing the acquired abnormal noise with the voice corresponding to the frequency spectrum waveform transmitted from the server device 50.

[変形例]
上記実施形態では、異音診断装置10がタブレット端末装置である場合を用いて説明したが、本発明はこれに限定されるものではなく、他の装置を異音診断装置とするような場合でも本発明を適用することができるものである。例えば、画像形成装置20の操作パネルが本体から脱着可能な構成であって、サーバ装置50と通信可能であり音声信号の取得機能を内蔵しているような構成の場合、この操作パネルを異音診断装置とするようにしても良い。
[Modification]
In the above embodiment, the case where the abnormal sound diagnosis device 10 is a tablet terminal device has been described. However, the present invention is not limited to this, and even when another device is used as the abnormal sound diagnosis device. The present invention can be applied. For example, when the operation panel of the image forming apparatus 20 is detachable from the main body, and is configured to be able to communicate with the server apparatus 50 and incorporate an audio signal acquisition function, the operation panel is A diagnostic device may be used.

また、上記実施形態では、異音診断装置10がマイク17を内蔵している場合を用いて説明しているが、異音診断装置10に音声録音機能が備えられていれば、マイク等の集音装置を外部に接続することにより音声信号の取得手段を実現するようにしても良い。   In the above embodiment, the case where the abnormal sound diagnosis apparatus 10 includes the microphone 17 is described. However, if the abnormal sound diagnosis apparatus 10 has a voice recording function, a collection of microphones and the like is possible. You may make it implement | achieve the acquisition means of an audio | voice signal by connecting a sound apparatus outside.

また、上記実施形態では、異音であると推定される領域の指定がユーザのタッチ操作により行われる場合を用いて説明しているが、本発明はこのような構成に限定されるものではない。この領域の指定をペン入力で行う場合、異音であると推定される周波数を数字により直接入力する場合、マウス操作により領域を指定する場合等の他の方法により異音であると推定される領域を指定する場合でも、本発明は同様に適用可能である。   Moreover, although the said embodiment demonstrated using the case where designation | designated of the area | region estimated to be unusual sound is performed by a user's touch operation, this invention is not limited to such a structure. . When this area is specified by pen input, when the frequency estimated to be abnormal sound is directly input by numbers, when the area is specified by mouse operation, the noise is estimated by other methods. Even when an area is designated, the present invention can be similarly applied.

さらに、上記実施形態では、異音解析の対象装置が画像形成装置である場合を用いて説明しているが、異音解析の対象となる装置は画像形成装置に限定されるものではなく、周期性を持った異音を発生させる可能性がある装置であれば他の装置である場合でも本発明は同様に適用可能である。   Furthermore, in the above-described embodiment, the case where the target device for abnormal noise analysis is an image forming device has been described. However, the target device for abnormal noise analysis is not limited to the image forming device, and the period The present invention can be similarly applied to other devices as long as they are devices that can generate abnormal noise with the same characteristics.

10 異音診断装置
11 CPU
12 メモリ
13 記憶装置
14 無線LANインタフェース(IF)
15 入力装置
16 表示装置
17 マイク
18 制御バス
20 画像形成装置
30 無線LANターミナル
31 音声取得部
32 周波数解析部
33 制御部
34 音声データ格納部
35 表示部
36 通信部
37 音声再生部
40 インターネット通信網
50 サーバ装置
51 通信部
52 制御部
53 波形データ格納部
61 異音の周波数成分
62、63 判定除外領域
70 指
80 選択領域
10 abnormal sound diagnosis device 11 CPU
12 Memory 13 Storage Device 14 Wireless LAN Interface (IF)
DESCRIPTION OF SYMBOLS 15 Input apparatus 16 Display apparatus 17 Microphone 18 Control bus 20 Image forming apparatus 30 Wireless LAN terminal 31 Audio | voice acquisition part 32 Frequency analysis part 33 Control part 34 Audio | voice data storage part 35 Display part 36 Communication part 37 Voice reproduction part 40 Internet communication network 50 Server device 51 Communication unit 52 Control unit 53 Waveform data storage unit 61 Frequency component of abnormal sound 62, 63 Determination exclusion region 70 Finger 80 Selection region

Claims (7)

音情報を取得する取得手段と、
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第1解析手段と、
前記周波数解析結果波形データを表示する表示手段と、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第2解析手段と、
前記第2解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段と、
を備えた診断装置。
An acquisition means for acquiring sound information;
First analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
Display means for displaying the frequency analysis result waveform data;
Receiving means for receiving designation of a region including a frequency component from the displayed frequency analysis result waveform data;
Second analysis means for performing frequency analysis in the time axis direction with respect to frequency components included in the region;
Extraction means for extracting the period and frequency information of the frequency component from the analysis result by the second analysis means;
Diagnostic device with
前記抽出手段は、前記第2解析手段による解析結果のうち予め定められた周期以上の信号成分を除いた解析結果に基づいて、前記周波数成分の周期および周波数の情報を抽出する請求項1記載の診断装置。  The extraction means extracts the period and frequency information of the frequency component based on an analysis result obtained by removing a signal component having a predetermined period or more from the analysis result by the second analysis means. Diagnostic device. 前記抽出手段は、前記第2解析手段による解析結果に複数の周期が含まれている場合には、複数の周期のうち最も信号強度が強い周期について、前記周波数成分の周期および周波数の情報を抽出する請求項1または2記載の診断装置。  When the analysis result by the second analysis unit includes a plurality of periods, the extraction unit extracts the frequency component period and frequency information for the period having the strongest signal intensity among the plurality of periods. The diagnostic device according to claim 1 or 2. 前記受付手段は、予め設定された周波数以下の領域については、周波数成分が含まれる領域として指定された場合でも、当該指定を受付けない請求項1記載の診断装置。   The diagnostic device according to claim 1, wherein the accepting unit does not accept the designation even if the region below a preset frequency is designated as a region including a frequency component. 外部装置との間で通信を行う通信手段と、
前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する送信手段と、
前記第1解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とをさらに備え、
前記表示手段は、前記第1解析手段により生成された周波数解析結果と、前記受信手段により受信された周波数解析結果とを表示する請求項1から4のいずれか1項記載の診断装置。
A communication means for communicating with an external device;
Transmitting means for transmitting information on the period and frequency of the sound extracted by the extracting means to an external device via the communication means;
Receiving means for receiving frequency analysis result data corresponding to the frequency analysis result data generated by the first analysis means from an external device via the communication means;
The diagnostic device according to any one of claims 1 to 4, wherein the display unit displays the frequency analysis result generated by the first analysis unit and the frequency analysis result received by the reception unit.
音情報を取得する取得手段と、前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第1解析手段と、前記周波数解析結果波形データを表示する表示手段と、表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付手段と、前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第2解析手段と、前記第2解析手段による解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出手段と、外部装置との間で通信を行う通信手段と、前記抽出手段により抽出された音の周期および周波数の情報を前記通信手段を介して外部装置に送信する第1の送信手段と、前記第1解析手段により生成された周波数解析結果のデータに対応する周波数解析結果のデータを前記通信手段を介して外部装置から受信する受信手段とを備えた診断装置と、
異音の音情報の周波数解析を行って得た複数の周波数解析結果のデータを格納する格納手段と、前記診断装置から音の周期および周波数の情報を受信した場合、前記格納手段に格納されている前記複数の周波数解析結果のデータの中から、受信した音の周期および周波数の情報に合致したものを選択して前記診断装置に送信する第2の送信手段とを備えたサーバ装置と、
を備えた診断システム。
An acquisition means for acquiring sound information, a first analysis means for performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency, and displaying the frequency analysis result waveform data Display means for receiving, receiving means for accepting designation of a region including a frequency component from the displayed frequency analysis result waveform data, second analysis means for performing frequency analysis in the time axis direction with respect to the frequency component included in the region, Extraction means for extracting the frequency and frequency information of the frequency component from the analysis result by the second analysis means, communication means for communicating with an external device, and the period and frequency of the sound extracted by the extraction means Corresponding to the data of the frequency analysis result generated by the first transmitting means for transmitting the information to the external device via the communication means and the first analyzing means A diagnostic device that includes a receiving means for the data of the wavenumber analysis results received from the external apparatus through the communication means,
Storage means for storing data of a plurality of frequency analysis results obtained by performing frequency analysis of abnormal sound information, and when receiving information on the period and frequency of sound from the diagnostic device, stored in the storage means A server device comprising: a second transmission unit configured to select and transmit to the diagnosis device a data that matches the received sound period and frequency information from among the plurality of frequency analysis result data;
Diagnostic system with
音情報を取得する取得ステップと、
前記音情報の時間周波数解析を行い、周波数毎の強度分布の時間変化を表す周波数解析結果データを生成する第1解析ステップと、
前記周波数解析結果波形データを表示する表示ステップと、
表示された前記周波数解析結果波形データから周波数成分を含む領域の指定を受付ける受付ステップと、
前記領域に含まれる周波数成分に対し時間軸方向に周波数解析する第2解析ステップと、
前記第2解析ステップにおける解析結果から前記周波数成分の周期および周波数の情報を抽出する抽出ステップとをコンピュータに実行させるためのプログラム。
An acquisition step for acquiring sound information;
A first analysis step of performing time-frequency analysis of the sound information and generating frequency analysis result data representing a temporal change in intensity distribution for each frequency;
A display step for displaying the frequency analysis result waveform data;
An accepting step of accepting designation of a region including a frequency component from the displayed frequency analysis result waveform data;
A second analysis step of performing frequency analysis in the time axis direction with respect to frequency components included in the region;
The program for making a computer perform the extraction step which extracts the period and frequency information of the said frequency component from the analysis result in a said 2nd analysis step.
JP2015243112A 2015-12-14 2015-12-14 Diagnostic device, diagnostic system and program Active JP5954604B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015243112A JP5954604B1 (en) 2015-12-14 2015-12-14 Diagnostic device, diagnostic system and program
AU2016370880A AU2016370880A1 (en) 2015-12-14 2016-03-24 Diagnostic device, diagnostic system, diagnostic method, and program
CN201680066037.1A CN108351248B (en) 2015-12-14 2016-03-24 Diagnostic device, diagnostic system, diagnostic method, and program
PCT/JP2016/059524 WO2017104146A1 (en) 2015-12-14 2016-03-24 Diagnostic device, diagnostic system, diagnostic method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015243112A JP5954604B1 (en) 2015-12-14 2015-12-14 Diagnostic device, diagnostic system and program

Publications (2)

Publication Number Publication Date
JP5954604B1 true JP5954604B1 (en) 2016-07-20
JP2017110919A JP2017110919A (en) 2017-06-22

Family

ID=56418752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015243112A Active JP5954604B1 (en) 2015-12-14 2015-12-14 Diagnostic device, diagnostic system and program

Country Status (4)

Country Link
JP (1) JP5954604B1 (en)
CN (1) CN108351248B (en)
AU (1) AU2016370880A1 (en)
WO (1) WO2017104146A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018017659A (en) * 2016-07-29 2018-02-01 富士ゼロックス株式会社 Diagnostic device, diagnostic system, and program
JP2018048887A (en) * 2016-09-21 2018-03-29 富士ゼロックス株式会社 Diagnostic device, diagnostic system, and program
JP2018048886A (en) * 2016-09-21 2018-03-29 富士ゼロックス株式会社 Diagnostic device, diagnostic system, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6678828B1 (en) * 2018-08-03 2020-04-08 三菱電機株式会社 Data analysis device, system, method, and program
US11158315B2 (en) 2019-08-07 2021-10-26 International Business Machines Corporation Secure speech recognition
JP2023033848A (en) 2021-08-30 2023-03-13 トヨタ自動車株式会社 Abnormal noise specification device, abnormal noise specification method and abnormal noise specification program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09136776A (en) * 1995-11-13 1997-05-27 Hitachi Building Syst Co Ltd Rotary bearing damage detecting device for elevator
JPH10258974A (en) * 1996-09-13 1998-09-29 Toshiba Corp Unsteady signal analyzer and medium recording unsteady signal analysis program
JP2010281279A (en) * 2009-06-05 2010-12-16 Shimizu Corp Method, device and program for determining abnormality of windmill blade for wind power generation
JP2012208043A (en) * 2011-03-30 2012-10-25 Railway Technical Research Institute Method and device for identifying vibration characteristic of railroad structure
JP2012251851A (en) * 2011-06-02 2012-12-20 Mitsubishi Electric Corp Abnormal sound diagnosis apparatus
JP2015081768A (en) * 2013-10-21 2015-04-27 株式会社日立ハイテクノロジーズ Abnormality detection device, abnormality detection method and computer readable storage medium

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06318424A (en) * 1993-03-12 1994-11-15 Kitagawa Ind Co Ltd Sound sensitive operating switch and emergency electric light and remote control holder using it
MY118297A (en) * 1996-09-13 2004-09-30 Toshiba Kk Unsteady signal analyzer and medium for recording unsteady signal analyzer program
US6192490B1 (en) * 1998-04-10 2001-02-20 International Business Machines Corporation Method and system for monitoring computer performance utilizing sound diagnostics
JP3908555B2 (en) * 2002-02-08 2007-04-25 株式会社東芝 Ultrasonic diagnostic equipment
JP2006025281A (en) * 2004-07-09 2006-01-26 Hitachi Ltd Information source selection system, and method
JP2006113002A (en) * 2004-10-18 2006-04-27 Nsk Ltd Anomaly diagnosis system for mechanical equipment
CN101206548B (en) * 2006-12-19 2012-01-11 北京汇冠新技术股份有限公司 Infrared touch panel triggered using touch force and detecting method thereof
CN101354485B (en) * 2007-07-23 2011-04-06 奇美电子股份有限公司 System and method for testing display apparatus
JP5725833B2 (en) * 2010-01-04 2015-05-27 Ntn株式会社 Rolling bearing abnormality diagnosis device, wind power generation device and abnormality diagnosis system
CA2842520A1 (en) * 2011-07-23 2013-01-31 Robert J. Sexton Device, method and system for making music
CN102779398A (en) * 2012-07-09 2012-11-14 深圳市同洲电子股份有限公司 Control method, device and system for smart appliance
JP2015173369A (en) * 2014-03-12 2015-10-01 ソニー株式会社 Signal processor, signal processing method and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09136776A (en) * 1995-11-13 1997-05-27 Hitachi Building Syst Co Ltd Rotary bearing damage detecting device for elevator
JPH10258974A (en) * 1996-09-13 1998-09-29 Toshiba Corp Unsteady signal analyzer and medium recording unsteady signal analysis program
JP2010281279A (en) * 2009-06-05 2010-12-16 Shimizu Corp Method, device and program for determining abnormality of windmill blade for wind power generation
JP2012208043A (en) * 2011-03-30 2012-10-25 Railway Technical Research Institute Method and device for identifying vibration characteristic of railroad structure
JP2012251851A (en) * 2011-06-02 2012-12-20 Mitsubishi Electric Corp Abnormal sound diagnosis apparatus
JP2015081768A (en) * 2013-10-21 2015-04-27 株式会社日立ハイテクノロジーズ Abnormality detection device, abnormality detection method and computer readable storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018017659A (en) * 2016-07-29 2018-02-01 富士ゼロックス株式会社 Diagnostic device, diagnostic system, and program
JP2018048887A (en) * 2016-09-21 2018-03-29 富士ゼロックス株式会社 Diagnostic device, diagnostic system, and program
JP2018048886A (en) * 2016-09-21 2018-03-29 富士ゼロックス株式会社 Diagnostic device, diagnostic system, and program

Also Published As

Publication number Publication date
AU2016370880A1 (en) 2018-05-10
CN108351248A (en) 2018-07-31
WO2017104146A1 (en) 2017-06-22
CN108351248B (en) 2020-10-23
JP2017110919A (en) 2017-06-22

Similar Documents

Publication Publication Date Title
JP5954604B1 (en) Diagnostic device, diagnostic system and program
US10911607B2 (en) Diagnosing an image forming apparatus based on sound signal analysis
JP5954648B1 (en) Terminal device, diagnostic system, and program
JP6540962B2 (en) Diagnostic device, diagnostic system and program
JP5939480B1 (en) Terminal device, diagnostic system and program
JP5954606B1 (en) Diagnostic device, diagnostic system, device and program
JP2017110920A (en) Diagnostic device, diagnostic system and program
JP5943313B1 (en) Diagnostic device, diagnostic system and program
CN106915166B (en) Diagnostic device, diagnostic system, and diagnostic method
JP6840971B2 (en) Diagnostic equipment, diagnostic systems and programs
JP6016149B1 (en) Terminal device, diagnostic system, and program
WO2017094270A1 (en) Diagnosis device, diagnosis system, diagnosis method and program
JP6822036B2 (en) Diagnostic equipment, diagnostic systems and programs
JP6834223B2 (en) Diagnostic equipment, diagnostic systems and programs
JP6763255B2 (en) Diagnostic equipment, diagnostic systems and programs

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160601

R150 Certificate of patent or registration of utility model

Ref document number: 5954604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350