JP6856168B2 - 異常音検知装置および異常音検知方法 - Google Patents

異常音検知装置および異常音検知方法 Download PDF

Info

Publication number
JP6856168B2
JP6856168B2 JP2020500573A JP2020500573A JP6856168B2 JP 6856168 B2 JP6856168 B2 JP 6856168B2 JP 2020500573 A JP2020500573 A JP 2020500573A JP 2020500573 A JP2020500573 A JP 2020500573A JP 6856168 B2 JP6856168 B2 JP 6856168B2
Authority
JP
Japan
Prior art keywords
sound
abnormality
abnormal
detected
diagnosis target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020500573A
Other languages
English (en)
Other versions
JPWO2019160070A1 (ja
Inventor
充 仙洞田
充 仙洞田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019160070A1 publication Critical patent/JPWO2019160070A1/ja
Application granted granted Critical
Publication of JP6856168B2 publication Critical patent/JP6856168B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0423—Input/output
    • G05B19/0425—Safety, monitoring
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H3/00—Measuring characteristics of vibrations by using a detector in a fluid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G01S5/0045—Transmission from base station to mobile station
    • G01S5/0063—Transmission from base station to mobile station of measured values, i.e. measurement on base station and position calculation on mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G05B19/0428—Safety, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31447—Process error event detection and continuous process image detection, storage
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35502—Display picture, image of place of error
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37332—Detect power of noise source using sound and visual sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37433—Detected by acoustic emission, microphone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40162—Sound display of machining operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、異常音検知装置および異常音検知方法に関する。
工場や発電所などで動作する機器などを診断する技術として、機器が発する音に基づいて異常性を検知する方法が知られている。近年、工場やプラントで稼働している各種の装置類とりわけ生産設備では、生産性並びにコストに影響を与えるため、故障による遅滞が許容されない。そして、時には復旧する為に莫大な費用を必要とする場合があり故障を予知する、あるいは速やかに解決することが求められている。
そこで、工場や発電所などで動作する機器などを診断する技術として、機器が発する音に基づいて異常性を診断する方法が知られている。さらに異常音の発生源の方向を特定し、画像と合わせて異常情報を報知するシステムが開発されている。
例えば特許文献１では、複数のマイクを並べたマイクアレイを用いて、検出された音響の音源方向の特定を行い、その方向にカメラを向けることで音源を撮影する技術が開示されている。また、撮影した映像に音源の位置を重ねて表示する技術も開示されている。このようにすることで、監視要員の異常の発見を容易にしている。
また、例えば特許文献２には、ステレオ又は３Ｄマイクロホン、各種センサ、カメラを用いて異常を検出し、複数のマイクロホンの出力に基づいて、音源の方向を特定する技術が開示されている。また、画像に音源の位置と、音響レベルなどの音声情報をビジュアル表示することで異常の発見を容易にしている。
特開２００５−２５２６６０号公報 特開２００２−３００５６９号公報
しかしながら、特許文献１に記載の技術では、音源の方向にカメラを向けて撮影を行うため、本来異常ではないメンテナンス作業等が音源となっている場合には、異常ではない映像を撮影して監視する誤検知が発生してしまうという問題がある。
また特許文献２に記載の技術では、音声レベル等についての閾値を用いて異常検出を行っている。このため、本来異常ではないメンテナンス作業等が閾値を上回るレベルの音源となっていると、特許文献１と同様の誤検知が発生するという問題点がある。
本発明は上述の課題を解決するために考案されたものであり、誤検知の少ない異常音検知装置を提供することを目的としている。
上記の課題を解決するため、本発明の異常音検知装置は、撮像手段と、動作範囲識別手段と、集音手段と、異音検出手段と、異音発生位置識別手段と、異音由来判定部とを有している。撮像手段は診断対象の映像を撮影する。動作範囲識別手段は、撮像手段が撮影した映像に基づいて診断対象の動作範囲を識別して記憶する。集音手段は、診断対象およびその周囲から到来する音を集音する。異音検出手段は、集音した音に含まれる音の異常を検出する。異音発生位置識別手段は、異音検出手段で音の異常が検出された場合に、音の異常が発生した位置を識別する。異音由来判定手段は、診断対象の動作範囲と異音発生位置とを比較して、異音が診断対象の異常に由来するものか否かを判定する。
本発明の効果は、誤検知の少ない異常音検知装置を提供できることである。
第１の実施形態の異常音検知装置を示すブロック図である。 第２の実施形態の異常音検知装置を示すブロック図である。 第２の実施形態の診断対象の異常音の計測を示す模式図である。 第２の実施形態の診断対象以外に由来する異常音の計測を示す模式図である。 第２の実施形態の異常音検知装置の動作を示すフローチャートである。 第３の実施形態の異常音検知装置の構成例を示すブロック図である。 第３の実施形態の異常判定基準の学習動作を示すフローチャートである。
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。
（第１の実施形態）
図１は、本実施形態の異常音検知装置を示すブロック図である。異常音検知装置は、撮像手段１と、動作範囲識別手段２と、集音手段３と、異音検出手段４と、異音発生位置識別手段５と、異音由来判定手段６とを有している。
撮像手段１は診断対象の映像を撮影する。
動作範囲識別手段２は、撮像手段１が撮影した映像に基づいて診断対象の動作範囲を識別して記憶する。
集音手段３は、診断対象およびその周囲から到来する音を集音する。
異音検出手段４は、集音した音に含まれる音の異常を検出する。
異音発生位置識別手段５は、異音検出手段４で音の異常が検出された場合に、音の異常が発生した位置を識別する。
異音由来判定手段６は、診断対象の動作範囲と異音発生位置とを比較して、異音が診断対象の異常に由来するものか否かを判定する。
以上説明したように、本実施形態の異常音検知装置では、診断対象の異常に由来する音の異常を選別して検知することができる。このため誤検知の少ない異常音検知装置を提供することができる。
（第２の実施形態）
図２は、本実施形態の異常音検知装置１００を示すブロック図である。異常音検知装置１００は、診断対象２００を光学的に撮影するカメラ１１０と、診断対象から到来する音を集音するマイクアレイ１２０とを有する。また、動作範囲識別部１３０と、Ａ／Ｄ変換器１４０と、異常性判定部１５０と、異音発生位置識別部１６０と、異音由来判定部１７０とデータベース１８０とを有する。ここで、Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。データベース１８０は、識別された動作範囲を記憶する動作範囲記憶部１８１と、診断対象に由来する異常音を記憶する診断対象異常音記憶部１８２と、診断対象以外の要因に由来する異常音を記憶する他要因異常音記憶部１８３とを有する。
動作範囲識別部１３０は、カメラ１１０が撮影した映像から診断対象２００の動作範囲を識別する。動作範囲の識別方法は任意であるが、例えば、映像から特徴点を抽出し、その特徴点に基づいて診断対象の形状を認識する。そして所定期間における、特徴点の移動範囲に基づいて診断対象の動作範囲を識別することができる。そして、当該動作範囲を動作範囲記憶部１８１に記憶する。なお、ここでは、撮像手段がカメラ１１０である例を用いて説明するが、撮像手段は３次元センサ（３Ｄセンサ）であっても良い。ここで３次元センサとは、例えば、パルスレーザーをスキャンすることにより、対象物の各点までの距離を計測するものである。３次元センサの取得したデータから、診断対象の画像を形成することが可能である。また、ここではカメラを１台として説明しているが、複数であっても良い。なお、以降の説明ではデータベースのことをＤＢと略記する場合がある。
Ａ／Ｄ変換器１４０は、マイクアレイ１２０で集音された音をデジタル信号に変換する。マイクアレイ１２０は、複数のマイクを所定の規則で配列したものである。このようなマイクアレイ１２０を用いると、同じ音源からそれぞれのマイクに到達した音の到達時間の差や位相差などから、音源の方向を推定することができる。
異常性判定部１５０は、Ａ／Ｄ変換器１４０から入力された音信号の異常性を判定する。判定の仕方は任意であるが、例えば、音信号の音圧レベルの大きさで判定したり、音質で判定したりすることができる。音質は、例えば、音信号を周波数解析し、各周波数成分の比率で表すことができる。また、音圧レベルや音質の変動の速さなど音の時間的な変化率を用いても良い。
異音発生位置識別部１６０は、異常性判定部１５０で、異常性があると判定された音について、その異音が発生した位置を識別する。位置の識別は、例えば、相関性から同じ音と判定される音の、各マイクへの到来時間の差や位相差などに基づいて行うことができる。
異音由来判定部１７０は、動作範囲記憶部１８１に記憶された動作範囲と、異音発生位置とを比較し、異音の発生位置が動作範囲内にあるか、動作範囲外にあるかを識別する。そして、異音発生位置が動作範囲内にあった場合は、音の異常が診断対象に由来すると判定し、診断対象異常音記憶部１８２に記憶する。
一方、異音発生位置が動作範囲外にあった場合は、音の異常が、診断対象以外の要因に由来すると判定する。そして、このような診断対象と無関係な異常音を、他要因異常音として、他要因異常音記憶部１８３に記憶する。
図３は、診断対象の動作範囲で異音が発生した時の計測状況を示す模式図である。カメラ１１０が診断対象２００の映像を撮影し、マイクアレイ１２０が、診断対象２００およびその周囲から到来する音を集音している。この例では、診断対象２００の要素として、設備２０１、２０２、２０３、２０４が含まれるものとしている。そして設備２０１の動作範囲２０１ａと、設備２０３の動作範囲２０３ａを点線で示している。なお、設備２０２と２０４は、不動であるため、動作範囲が設備の外形と一致するものとしている。
図３の例では、異音発生位置３００が設備２０１の動作範囲２０１ａの中にあることが、マイクアレイ１２０の出力に基づいて識別されている。このような場合、設備２０１、すなわち診断対象に異常があり、異常音が診断対象に由来すると判定される。
図４は、音の異常が診断対象の動作範囲外で発生している時の計測例を示す模式図である。この場合、マイクアレイ１２０の出力に基づいて、異音発生位置３００が、診断対象の設備の動作範囲外にあることが識別され、音の異常が診断対象以外の要因に由来するものと判定される。この例のように、工場の設備などの稼働状態を連続で監視する場合、他要因の異音の発生原因には、例えば、監視エリアへの人の立ち入りや、物品搬送などを例として挙げることができる。
図５は、上記で説明した異常音検知装置１００の動作を示すフローチャートである。まず診断対象を撮影する（Ｓ１）。次に、撮影された映像に基づいて、診断対象の動作範囲を識別する（Ｓ２）。次に、診断対象の音を計測する（Ｓ３）。そして、計測した音に異常性があるか否かを判定する（Ｓ４）。ここで、異常性がなかった場合は（Ｓ４＿Ｎｏ）、Ｓ３に戻り、音の計測、すなわち音の監視を繰り返す。一方、音に異常性があった場合は、音の発生位置が診断対象の動作範囲内にあるか否かを判定する（Ｓ５）。音の発生位置が動作範囲内にあった場合は（Ｓ５＿Ｙｅｓ）、診断対象の異常音と判定し（Ｓ６）、異常音として音発生位置の情報とともに、データベースに記憶する（Ｓ７）。さらに、異常音が検知されたことを示すアラームを報知しても良い（Ｓ８）。
一方、異常性のある音の発生位置が診断対象の動作範囲外にあった場合は、診断対象の異常音ではないと判定し（Ｓ９）、他要因異常音としてデータベースに記憶する（Ｓ１０）。そして、Ｓ３に戻り、音の監視を継続する。
以上説明したように、本実施形態によれば、診断対象以外の要因に由来する異常な音を、診断対象の異常音として検知する誤検知を排除し、異常音検知精度を向上することができる。
（第３の実施形態）
図６は本実施形態の異常音検知装置を示すブロック図である。異常音検知装置１０１は、第２の実施形態の異常音検知装置１００とほぼ同じ構成であるが、異常性判定部１５０が、異常性判定基準学習部１５１を備えている。
異常性判定基準学習部１５１は、異常性判定基準を機械学習する。具体的には、例えば、診断対象が異常音を発生していない期間に計測された音を、所定期間あるいは所定回数機械学習し、正常音の基準値や許容限界値などの異常性判定基準を作成する。機械学習の方法は任意であるが、例えば、自己組織化マップ法や、ｋ近傍法などを用いることができる。そして、学習された異常性判定基準を異常性判定基準記憶部１８４に記憶する。
次に、異常性判定基準学習部１５１の動作について説明する。図７は、異常性判定基準学習部１５１の動作を示すフローチャートである。まず学習を行う計測期間または計測回数を設定する（Ｓ１０１）。例えば工場の設備などの稼働状態を連続で監視する場合は、設備などが繰り返し同じ動作をするので、所定動作の回数で設定すると良い。このため、ここでは、回数で設定するものとして説明する。ただし、所定期間で設定しても良い。機械学習の開始に当たり、まず計測回数Ｎをリセットする。すなわちＮ＝０とする（Ｓ１０２）。
次に、学習用データを収集する為に、診断対象の音を計測する（Ｓ１０３）。次いで計測した音を記録する（Ｓ１０４）。記録したら、計測回数Ｎに１を足して、Ｎ＝Ｎ＋１とする（Ｓ１０５）。ここで、更新したＮが所定回数Ｋ未満であれば（Ｓ１０６＿Ｙｅｓ）、Ｓ１０３に戻り、音の計測を繰り返す。一方、Ｎ＝Ｋとなった場合（Ｓ１０６＿Ｎｏ）、記録された音のデータを統計的に処理する機械学習を行い、異常性判定基準を作成する（Ｓ１０７）。作成した異常性判定基準は、異常性判定基準記憶部１８４に記憶する（Ｓ１０８）。
以上のような機械学習によって作成した異常性判定基準を用いると、診断対象から発生する異常音が未知の音であっても、正常値からかけ離れた音、として異常音を検知することができる。
以上説明したように、本実施形態によれば、未知の異常音を検知することが可能な異常音検知装置を構成することができる。
上述した第１乃至第３の実施形態の処理を、コンピュータに実行させるプログラムおよび該プログラムを格納した記録媒体も本発明の範囲に含む。記録媒体としては、例えば、磁気ディスク、磁気テープ、光ディスク、光磁気ディスク、半導体メモリ、などを用いることができる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、２０１８年２月１６日に出願された日本出願特願２０１８−０２６１７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 撮像手段
２ 動作範囲識別手段
３ 集音手段
４ 異音検出手段
５ 異音発生位置識別手段
６ 異音由来判定手段
１００、１０１ 異常音検知装置
１１０ カメラ
１２０ マイクアレイ
１３０ 動作範囲識別部
１４０ Ａ／Ｄ変換器
１５０ 異常性判定部
１５１ 異常性判定基準学習部
１６０ 異音発生位置識別部
１７０ 異音由来判定部
１８０ データベース
１８１ 動作範囲記憶部
１８２ 診断対象異常音記憶部
１８３ 他要因異常音記憶部
１８４ 異常性判定基準記憶部
２００ 診断対象
３００ 異音発生位置

Claims (10)

  1. 診断対象の映像を撮像する撮像手段と、
    前記映像に基づいて前記診断対象の動作範囲を識別する動作範囲識別手段と、
    前記診断対象から到来する音を集音する集音手段と、
    前記音の中から音の異常を検出する異音検出手段と、
    前記集音手段の出力に基づいて異常を検出された前記音の発生位置を識別する異音発生位置識別手段と、
    前記動作範囲と、異常を検出された前記音の発生位置とに基づいて前記音の異常が前記診断対象に由来するか別の要素に由来するかを判定する異音由来判定手段と
    を有することを特徴とする異常音検知装置。
  2. 前記異音由来判定手段が、
    異常を検出された前記音の発生位置が前記動作範囲内にあった場合に、異常を検出された前記音を前記診断対象の異常音と判定する
    ことを特徴とする請求項１に記載の異常音検知装置。
  3. 前記異音由来判定手段が、
    異常を検出された前記音の発生位置が前記動作範囲外にあった場合に、異常を検出された前記音を前記診断対象以外の要因による異常音と判定する
    ことを特徴とする請求項１または２のいずれかに記載の異常音検知装置。
  4. 前記集音手段が
    複数のマイクを配列したマイクアレイを有し、
    前記異音発生位置識別手段が、
    それぞれの前記マイクで集音した音の差に基づいて異常を検出された前記音の発生位置を識別する
    ことを特徴とする請求項１乃至３のいずれか一項に記載の異常音検知装置。
  5. 前記異音検出手段が、
    前記音の異常性を判定する異常性判定基準を、前記診断対象およびその近傍から集音した音に基づいて機械学習する異常性判定基準学習部を有する
    ことを特徴とする請求項１乃至４のいずれか一項に記載の異常音検知装置。
  6. 診断対象の映像を撮像し、
    前記映像に基づいて前記診断対象の動作範囲を識別し、
    前記診断対象から到来する音を集音し、
    前記音の中から音の異常を検出し、
    集音された前記音に基づいて異常を検出された前記音の発生位置を識別し、
    前記動作範囲と、異常を検出された前記音の発生位置とに基づいて前記音の異常が前記診断対象に由来するか別の要素に由来するかを判定する
    ことを特徴とする異常音検知方法。
  7. 異常を検出された前記音の発生位置が前記動作範囲内にあった場合に、異常を検出された前記音を前記診断対象の異常音と判定する
    ことを特徴とする請求項６に記載の異常音検知方法。
  8. 異常を検出された前記音の発生位置が前記動作範囲外にあった場合に、異常を検出された前記音を前記診断対象以外の要因による異常音と判定する
    ことを特徴とする請求項６または７のいずれかに記載の異常音検知方法。
  9. 複数のマイクを配列したマイクアレイを用いて前記音を集音し、
    それぞれの前記マイクで集音した前記音の差に基づいて異常を検出された前記音の発生位置を識別する
    ことを特徴とする請求項６乃至８のいずれか一項に記載の異常音検知方法。
  10. 診断対象の映像を撮像手段に撮像させるステップと、
    前記映像に基づいて前記診断対象の動作範囲を識別するステップと、
    前記診断対象から到来する音を集音手段に集音させるステップと、
    前記音の中から音の異常を検出するステップと、
    集音された前記音に基づいて異常を検出された前記音の発生位置を識別するステップと、
    前記動作範囲と、異常を検出された前記音の発生位置とに基づいて前記音の異常が前記診断対象に由来するか別の要素に由来するかを判定するステップと
    をコンピュータに実行させる異常音検知プログラム。
JP2020500573A 2018-02-16 2019-02-15 異常音検知装置および異常音検知方法 Active JP6856168B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018026170 2018-02-16
JP2018026170 2018-02-16
PCT/JP2019/005466 WO2019160070A1 (ja) 2018-02-16 2019-02-15 異常音検知装置および異常音検知方法

Publications (2)

Publication Number Publication Date
JPWO2019160070A1 JPWO2019160070A1 (ja) 2021-01-14
JP6856168B2 true JP6856168B2 (ja) 2021-04-07

Family

ID=67620016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020500573A Active JP6856168B2 (ja) 2018-02-16 2019-02-15 異常音検知装置および異常音検知方法

Country Status (3)

Country Link
US (1) US11971694B2 (ja)
JP (1) JP6856168B2 (ja)
WO (1) WO2019160070A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365200A (zh) * 2021-06-07 2021-09-07 杭州纳奇思科技有限公司 一种自适应的异常声源检测装置及检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6016386A (ja) * 1983-07-04 1985-01-28 松下電器産業株式会社 動作監視装置
JP2002300569A (ja) 2001-03-30 2002-10-11 Fujitsu General Ltd ネットワークカメラによる監視方法と監視システム
JP3920742B2 (ja) * 2002-08-28 2007-05-30 トヨタ自動車株式会社 異常音の音源探査方法及び音源探査装置
JP2005252660A (ja) 2004-03-04 2005-09-15 Matsushita Electric Ind Co Ltd 撮影システム及び撮影制御方法
JP2008033532A (ja) * 2006-07-27 2008-02-14 Denso Corp 可動部を備えた設備の異常を検出する方法及び異常検出装置
JP5235070B2 (ja) * 2007-11-08 2013-07-10 池上通信機株式会社 音監視装置
US9143843B2 (en) * 2010-12-09 2015-09-22 Sealed Air Corporation Automated monitoring and control of safety in a production area
JP6061693B2 (ja) * 2013-01-18 2017-01-18 株式会社日立パワーソリューションズ 異常診断装置およびこれを用いた異常診断方法
US9256944B2 (en) * 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9736580B2 (en) * 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
US10134422B2 (en) * 2015-12-01 2018-11-20 Qualcomm Incorporated Determining audio event based on location information
JP6617613B2 (ja) * 2016-03-07 2019-12-11 株式会社大林組 騒音源探索システム
FI20165388A (fi) * 2016-05-06 2017-11-07 Procemex Oy Ltd Prosessikoneiden toimintatilan akustinen analysointi

Also Published As

Publication number Publication date
JPWO2019160070A1 (ja) 2021-01-14
US20210055705A1 (en) 2021-02-25
US11971694B2 (en) 2024-04-30
WO2019160070A1 (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
US8831233B2 (en) Monitoring apparatus and method
US20150281832A1 (en) Sound processing apparatus, sound processing system and sound processing method
JP2008033532A (ja) 可動部を備えた設備の異常を検出する方法及び異常検出装置
JP2008234551A (ja) 異常検知装置及び異常検知プログラム
JP2012018066A (ja) 異常検査装置
JP6856168B2 (ja) 異常音検知装置および異常音検知方法
CN114492629A (zh) 异常检测方法、装置、电子设备及存储介质
KR101107120B1 (ko) 음원 추적 및 객체 인식 장치와 음원 추적 및 객체 인식 방법
WO2017149893A1 (ja) プラント監視システムおよび監視方法
JP4886461B2 (ja) 異常監視装置
JP2017026509A (ja) 故障診断装置および故障診断方法
US20230133242A1 (en) Work assignment status monitoring system, work assignment status monitoring method, and work assignment status monitoring program
JP6856167B2 (ja) 異常音判定基準作成装置および異常音検知装置
JP2019159786A (ja) 情報処理装置、情報処理方法、プログラム
JP7048590B2 (ja) 構造物異常診断装置及び構造物異常診断プログラム
JPH07333171A (ja) 漏洩検出方法及び装置
KR101616790B1 (ko) Pir 센서 신호에서 배경잡음과 사람이동신호를 분리하는 센서시스템 및 그것의 신호 분리방법
JP7176429B2 (ja) ガス漏れ位置特定システム及びガス漏れ位置特定プログラム
JP2012133433A (ja) 置去り／持去り物体検知装置及び置去り／持去り物体検知方法
JP2021128110A (ja) ベルトコンベア監視装置
EP2927885A1 (en) Sound processing apparatus, sound processing system and sound processing method
KR101830331B1 (ko) 기계 이상 동작 검출 장치 및 방법
KR20200099863A (ko) 대상물의 분석 방법
CN117664552B (zh) 一种设备运行状态监测方法、装置、系统及控制设备
JPS63261117A (ja) 機械音監視装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210301

R150 Certificate of patent or registration of utility model

Ref document number: 6856168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150