JP7367226B2 - 音波分離ニューラルネットワークを用いた製造自動化 - Google Patents

音波分離ニューラルネットワークを用いた製造自動化 Download PDF

Info

Publication number
JP7367226B2
JP7367226B2 JP2022543267A JP2022543267A JP7367226B2 JP 7367226 B2 JP7367226 B2 JP 7367226B2 JP 2022543267 A JP2022543267 A JP 2022543267A JP 2022543267 A JP2022543267 A JP 2022543267A JP 7367226 B2 JP7367226 B2 JP 7367226B2
Authority
JP
Japan
Prior art keywords
task
signal
tool
mixture
sonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022543267A
Other languages
English (en)
Other versions
JP2022549531A (ja
Inventor
ウィヘルン，ゴードン
ル・ルー，ジョナタン
ピシュダディアン，ファテメ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2022549531A publication Critical patent/JP2022549531A/ja
Application granted granted Critical
Publication of JP7367226B2 publication Critical patent/JP7367226B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4188—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by CIM planning or realisation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32335—Use of ann, neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33025—Recurrent artificial neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33296—ANN for diagnostic, monitoring
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33325—Diagnostic of only machining, operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34427—Diagnostic, monitoring incorporated in controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37433—Detected by acoustic emission, microphone
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37435—Vibration of machine
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/49—Nc machine tool, till multiple
    • G05B2219/49105—Emitted noise of tool
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50291—Multi-tool, several tools
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Feedback Control In General (AREA)
  • Numerical Control (AREA)

Description

本発明は、一般に、機械学習技術を用いた製造自動化に関し、特に、音波混合物から信号を分離するように訓練されたニューラルネットワークを用いた製造自動化に関する。
安全性および品質の監視および制御は、高速および強力な機械が高速で一連の複雑な操作を実行することができる製造において非常に重要である。意図した一連の動作またはタイミングからの逸脱は、品質の低下、原材料の浪費、故障時間および設備の破壊を引き起こし、産出を低下する可能性がある。作業者への危険性は、主な懸念事項である。このため、予期しない事象を最小限に抑えるために製造プロセスを細心に設計するように厳重な注意を払う必要があり、様々なセンサおよび緊急スイッチを用いて、生産ラインに安全保護装置を設計する必要もある。
製造の種類は、プロセス製造および個別製造を含む。プロセス製造において、製品、例えば油、天然ガスおよび塩などの製品は、一般的に分離されない。個別製造は、例えば自動車、家具、玩具、および飛行機のような個別の製品を生産する。
安全性を増大させ、材料および産出の損失を最小限に抑えるための１つの実用的なアプローチは、いつ生産ラインが異常状態で運転しているかを検出し、生産ラインの異常を検出した場合に、必要に応じて生産ラインを停止することである。このアプローチを実現する１つの方法は、許容可能な動作領域を規定し、許容可能な動作領域から逸脱した動作点を検出するための、例えば、温度および圧力などの測定可能な変数範囲についての、で、生産ラインの正常動作の記述を使用することである。この方法は、通常、物理変数の許容範囲がよく理解されており、製品の品質メトリックがしばしばこれらの変数で直接に定義されているプロセス製造業、例えば油の精製においてよく使用される。
しかしながら、個別製造の加工プロセスの本質は、プロセス製造の加工プロセスの本質とは異なり、通常の加工プロセスからの逸脱は、非常に異なる特性を有する。個別製造は、作業ユニットに対して行われた一連の作業、例えば、機械加工、はんだ付けおよび組み立てを含む。異常は、１つ以上のタスクの不正確な実行、またはタスクの不正確な順序を含むことができる。異常があっても、温度または圧力などの物理変数がしばしば範囲から外れていないため、これらの変数を直接に監視しても、異常を確実に検出することができない。
さらに、複雑な製造システムは、プロセス製造および個別製造の組み合わせを含むことができる。プロセス製造と個別製造とを１つの生産ラインに混在して設けた場合、異なる種類の製造のために設計された異常検出方法は、不正確になる可能性がある。例えば、プロセス製造のための異常検出方法は、データの外れ値を検出することを目的とする一方、個別製造のための異常検出方法は、動作の実行順序の異常を検出することを目的とする。したがって、異なる種類の製造作業に対して異なる異常検出方法を設計することが必要である。しかしながら、複雑な製造システムにおいて異なる検出技術を使用することは、複雑になり過ぎる可能性がある。
したがって、異なる種類の製造システムの異常検出に適したシステムおよび方法を開発する必要がある。例えば、ＵＳ２０１９／０３０２７０７Ａ１に記載された方法は、機械学習技術を適用することによって、プロセス製造および個別製造のうちの１つまたはその組み合わせの異常を検出する。機械学習を用いることによって収集されたデータは自動学習システムに利用され、訓練を通してデータの特徴が学習され得る。訓練済みモデルは、リアルタイムデータの異常を検出することができ、予防保全および故障時間の削減を実現することができる。しかしながら、機械学習による支援を用いても、いくつかの製造作業を表すために収集される必要があるデータは、正確な異常検出を不可能にする。
いくつかの実施形態の目的は、１つ以上のタスクを実行する１つ以上のツールを作動させる複数のアクチュエータを含む複雑な産業システムの製造自動化に適したシステムおよび方法を提供することである。追加的にまたは代替的に、いくつかの実施形態の目的は、機械学習を用いて、１つ以上のタスクの実行状態を推定し、それに応じてシステムを制御することである。
いくつかの実施形態は、機械学習を用いて、未知の基本的な動的システムに従って状態が経時的に変化する物理システムについてのデータ駆動型の時系列予測推論のために用いることができるという認識に基づいている。これらのシステムについて、システムの状態に関連する観測結果のみが測定される。これは、モデル化することが難しい複雑な産業システムの制御に有利であり得る。
しかしながら、いくつかの実施形態は、観測結果がシステムの状態を明瞭に表す場合に機械学習技術を使用することができるという別の認識に基づいており、これは、いくつかの状況では問題となり得る。実際に、一組の観測結果がシステムの状態に一意に対応する場合、機械学習法を用いて様々な予測変数を設計することができる。しかしながら、各時点の検出データは、システムの実際の状態に関する情報を十分に提供できない場合がある。必要な観測結果の数は、システムの次元ｄに依存し、線形システムではｄに等しく、非線形システムでは２ｄ＋１に等しい。収集された測定値が十分な観測結果を含まない場合、機械学習方法は、失敗する可能性がある。
いくつかの実施形態は、タスクを実行するシステムの状態を検討する代わりに、タスク自体の実行状態を検討することができるという認識に基づている。例えば、システムが１つ以上のタスクを実行するための複数のアクチュエータを含む場合、システムの状態は、これらのアクチュエータの全ての状態を含む。しかしながら、場合によって、アクチュエータの状態は、主な制御対象ではない。実際に、性能、すなわち、タスクの実行を導くために、アクチュエータの状態が必要である。したがって、実行の状態は、主な目的であり、タスクを実行するアクチュエータの状態は、二次的な目的にすぎない。
いくつかの実施形態は、システムの状態のみを非常に頻繁に測定または観測することができ、十分な観測結果を収集した場合に、システムの状態が事実上実行状態を表すことができるため、システムの状態をタスクの実行状態と等しくすることができるという理解に基づいている。しかしながら、場合によって、システムの状態を測定することが困難であるため、タスクの実行状態を定義することが困難である。
例えば、切削ツールでワークピースを機械加工するコンピュータ数値制御（ＣＮＣ）を検討する。システムの状態は、ツール経路に沿って切削ツールを移動させるアクチュエータの状態を含む。機械加工の実行状態は、実際の切削状態である。産業用ＣＮＣシステムは、多くの異なるアクチュエータ、場合によっては冗長なアクチュエータを含み、これらのアクチュエータは、互いに複雑な非線形関係にある多数の状態変数を有するため、ＣＮＣシステムの状態を観測することが困難となる。したがって、ワークピースの機械加工状態を測定することも困難であり得る。
いくつかの実施形態は、タスクの実行状態が、タスクの実行によって生成された音波信号で表すことができるという認識に基づている。例えば、ワークピースのＣＮＣ機械加工の実行状態は、機械加工中のワークピースの変形によって生成された振動信号で表すことができる。したがって、このような振動信号を測定できれば、機械学習法を含む様々な分類技術を用いてこのような振動信号を分析することによって、タスクの実行状態を推定することができ、実行を制御するための適切な制御動作を選択することができる。
しかしながら、このアプローチの問題は、このような振動信号が単独で存在していないことである。例えば、１つ以上のタスクを実行する１つ以上のツールを作動させる複数のアクチュエータを含むシステムにおいて、タスクを実行するツールによって生成された信号には、常に、ツールを作動させる複数のアクチュエータによって生成された信号が混合されている。例えば、ワークピースの変形によって生成された振動信号には、常に、切削ツールを移動させるモータからの信号が混合されている。何らかの方法でこのような振動信号を単独で生成することまたは単独で捕捉することができれば、このような信号を抽出するように、ニューラルネットワークなどの機械学習システムを訓練することができる。しかしながら、ＣＮＣ機械加工を含む多くの場合に、タスクの実行を表す孤立信号の生成は、非現実である。同様に、複数のマイクロフォンで異なる信号を個別に記録することも、非現実である。
したがって、１つ以上のツールを作動させて１つ以上の作業を実行する複数のアクチュエータを含むシステムの製造自動化を効率化するために、作業を実行するツールによって生成された信号と、ツールを作動させる複数のアクチュエータによって生成された信号とを音波混合物から音源信号を分離する必要がある。したがって、いくつかの実施形態の目的は、単独の音源が存在していない場合に、混合信号の音源を分離するためのニューラルネットワークを訓練することである。本明細書に使用された場合、混合信号中の少なくとも一部の音源は、音波混合物において同じ時間、空間および周波数スペクトルを占有する。
いくつかの実施形態は、例えば、音波混合物中の音源を単独で容易に記録できる場合または人間が音波混合物中の音源を容易に識別できる場合に、教師付き学習で訓練を行うことができるという認識に基づいている。このような分類は、本明細書において強ラベルと呼ばれる。理論的には、人間は、このようなラベルの近似値を提供することができるが、時間および周波数の両方でアクティブ音を正確に分類することによって、強ラベルを付けることは、殆ど非現実である。しかしながら、一部の時間範囲内でアクティブ音を限定的に分類すること（弱ラベル）は、現実的である。通常の場合、このような弱ラベルは、指定範囲の全体にわたって音がアクティブである必要がなく、指定範囲内の短時間のみにアクティブであればよい。
いくつかの実施形態は、通常、製造プロセスの仕組みが既知であれば、音波信号を生成する音源も既知であるという認識に基づいている。したがって、製造システムの動作を表す音波混合物の音源に弱ラベルを付けることができる。よって、いくつかの実施形態は、弱ラベルのみを含む音波混合物の訓練データが利用可能である場合に、この音波混合物中の音波を分離するように学習することができる方法を開発する。
したがって、いくつかの実施形態は、音波混合物から、タスクを実行するツールによって生成された信号とツールを作動させるアクチュエータによって生成された信号とを分離するようにニューラルネットワークを訓練する。例えば、ニューラルネットワークは、各分離済み信号がシステムの動作中に存在する信号の1つのクラスに属しており、分離済み信号が足し合わされることによって音波混合物が構成されるように、音波混合物から異なる信号を分離するように訓練される。弱ラベルは、システムの動作中に存在する信号のクラスを識別する。各弱ラベルは、動作中のある時点に存在する信号のクラスを特定する。
一実施形態において、ニューラルネットワークは、弱ラベルによって識別された信号のクラスを分類するように構成された分類器と共同で訓練される。例えば、ニューラルネットワークは、分類器の出力とニューラルネットワークの出力との間のクロスエントロピー項を含む損失関数を最小化するように、分類器と共同で訓練されてもよい。このような共同訓練は、単独で存在しない信号を分類することが困難であるという事実を考慮し、分離ニューラルネットワークおよび分類ニューラルネットワークのエンドツーエンド訓練を可能にする。
いくつかの実装形態において、品質を保証するために、ニューラルネットワークの訓練に付加制約が追加される。例えば、一実施形態において、ニューラルネットワークは、弱ラベルによって識別されたあるクラスの分離済み信号が入力としてニューラルネットワークに投入されると、ニューラルネットワークはこの分離済み信号を出力として生成するように訓練される。追加的にまたは代替的に、一実施形態において、ニューラルネットワークは、弱ラベルによって識別された２つ以上のクラスからの分離済み信号を再結合し、ネットワークにフィードバックして再分離するように訓練される一方で、敵対的損失（Adversarial Loss）が実際の音波混合物と再結合された合成混合物とを区別するように訓練される。
信号分離を行うようにニューラルネットワークを訓練する場合、いくつかの実施形態は、このネットワークの出力を使用して、タスクの実行状態を推定するための状態推定器を訓練する。例えば、一実施形態において、状態推定器は、タスクを実行するツールによって生成され、ニューラルネットワークによってシステムの異なる反復動作の異なる音波混合物から抽出された信号に基づいて訓練される。特に、いくつかの実施形態において、タスクを実行するツールによって生成された抽出信号の各サンプルは、タスクの実行状態を定義し、システムの動作状態を定義するには不十分である。しかしながら、タスクの実行状態は、適切な制御動作を選択するのに十分である。このように、実施形態は、製造自動化用途の次元を削減することができる。
次元削減に加えてまたはその代わりに、いくつかの実施形態は、異なる作業タスクを実行する異なるツールを個別に制御することができる。例えば、システム全体の状態を示す信号を分析すれば、システム全体の制御を行うことができる。したがって、異なるタスクを実行する異なるツールを個別に分析する場合、異なるツールを個別に制御することができる。
したがって、システムの動作中に複数のツールが複数のタスクを実行する場合、いくつかの実施形態は、複数のタスクを個別に制御する。例えば、一実施形態は、第１のタスクを実行する第１のツールと第２のタスクを実行する第２のツールとを含むシステムを制御する。ニューラルネットワークは、音波混合物から、第１のタスクを実行する第１のツールによって生成された第１の信号と第２のタスクを実行する第２のツールによって生成された第２の信号とを分離するように訓練される。システムの動作中に、ニューラルネットワークを用いて音波混合物から第１の信号および第２の信号を抽出し、互いに独立して分析することによって、第１のタスクの第１の実行状態と第２のタスクの第２の実行状態とを推定する。この実施形態は、第１の状態に応じて選択された第１の制御動作を実行し、第２の状態に応じて選択された第２の制御動作を実行するように構成される。
したがって、一実施形態は、１つ以上のツールを補助して１つ以上のタスクを実行する複数のアクチュエータを含む機械の動作を制御するためのシステムを開示する。システムは、システムの動作中に、タスクを実行するツールによって生成された信号とツールを作動させる複数のアクチュエータによって生成された信号との音波混合物を受信するように構成された入力インターフェイスと、ツールを作動させるアクチュエータによって生成された信号からタスクを実行するツールによって生成された信号を、音波混合物信号から分離するように訓練されたニューラルネットワークを記憶するように構成されたメモリと、音波混合物信号をニューラルネットワークに投入することによって、音波混合物信号からタスクを実行するツールによって生成された信号を抽出し、抽出された信号を分析することによってタスクの実行状態を生成し、タスクの実行状態に応じて選択された制御動作を実行するように構成されたプロセッサとを含む。
別の実施形態は、１つ以上のツールを補助して１つ以上のタスクを実行する複数のアクチュエータを含む機械の動作を制御するための方法を開示する。この方法は、方法を実装する格納された命令と結合されたプロセッサを使用し、命令は、プロセッサによって実行されると、方法のステップを実行する。この方法は、タスクを実行するツールによって生成された信号とツールを作動させる複数のアクチュエータによって生成された信号との音波混合物を受信するステップと、ツールを作動させるアクチュエータによって生成された信号からタスクを実行するツールによって生成された信号を、音波混合物信号から分離するように訓練されたニューラルネットワークに音波混合物信号を投入することによって、音波混合物信号からタスクを実行するツールによって生成された信号を抽出するステップと、抽出された信号を分析ことによって、タスクの実行状態を生成するステップと、タスクの実行状態に応じて選択された制御動作を実行するステップとを含む。
さらに別の実施形態は、方法を実行するために、プロセッサによって実行可能なプログラムを記憶する非一時的なコンピュータ可読記憶媒体を開示する。この方法は、タスクを実行するツールによって生成された信号とツールを作動させる複数のアクチュエータによって生成された信号との音波混合物を受信するステップと、ツールを作動させるアクチュエータによって生成された信号からタスクを実行するツールによって生成された信号を、音波混合物信号から分離するように訓練されたニューラルネットワークに音波混合物信号を投入することによって、音波混合物信号からタスクを実行するツールによって生成された信号を抽出するステップと、抽出された信号を分析ことによって、タスクの実行状態を生成するステップと、タスクの実行状態に応じて選択された制御動作を実行するステップとを含む。
いくつかの実施形態に従う、機械の動作中に振動を生成する異なるアクチュエータに対応する信号を分離し、これらの分離済み信号を用いて後続のタスクを監視するためのシステムを示すブロック図である。 いくつかの実施形態に従う、機械の動作中に振動を生成する異なるアクチュエータに対応する信号を分離し、これらの分離済み信号を用いて後続のタスクを監視するためのシステムを示すブロック図である。 いくつかの実施形態に従う、タスクを実行するツールによって生成された信号とツールを作動させる複数のアクチュエータによって生成された信号との音波混合物のスペクトログラムを示す図である。 いくつかの実施形態に従う、音源を分離するための音波信号処理システムを訓練することを示す流れ図である。 いくつかの実施形態に従う、単一チャネルマスク推論音源分離ネットワークのアーキテクチャを示すブロック図である。 いくつかの実施形態に従う、音事象の分類を行うための畳み込みリカレント型ネットワークのアーキテクチャを示すブロック図である。 いくつかの実施形態に従う、弱ラベルを用いて音源分離ネットワークを訓練するためのいくつかの方法ステップを示す流れ図である。 いくつかの実施形態に従う、分離済み信号を強調するために必要な分類損失関数およびターゲットを示す概略図である。 いくつかの実施形態に従う、分離された信号に基づいて実行状態を分析することを示すグラフである。 いくつかの実施形態に従う、機械加工動作の制御を示す概略図である。 いくつかの実施形態に従う、製造異常検知システムのアクチュエータを示す概略図である。
図１Ａおよび図１Ｂは、いくつかの実施形態に従う、実行を分析して機械１０２の動作を制御するためのシステム１００を示すブロック図である。機械１０２は、１つ以上のアクチュエータ（コンポーネント）１０３を含むことができる。各アクチュエータ１０３は、特定のタスクを実行し、調節装置１０４に接続される。アクチュエータ１０３によって実行されるタスクの例は、機械加工、はんだ付け、または組み立てを含むことができる。いくつかの実施形態において、機械アクチュエータ１０３は、同時に動作することができるが、調節装置１０４は、各アクチュエータを個別に制御する必要がある。被調節装置１０４の例は、タスクを実行するためのツールを含む。例えば、いくつかの実施形態において、システム１００は、１つ以上のツールを補助して１つ以上のタスクを実行する複数のアクチュエータを含む機械の動作を制御する。
いくつかの実施形態において、マイクロフォンまたは複数のマイクロフォンからなるアレイであり得るセンサ１０１は、機械１０２の動作中に各アクチュエータ１０３によって生成された振動を捕捉する。また、一部の機械アクチュエータ１０３は、同じ空間領域の同じ場所に配置されることがある。これによって、センサ１０１は、マルチマイクロフォンアレイであっても、アクチュエータ１０３によって生成された振動を個別に捕捉することができない。したがって、センサ１０１によって捕捉された振動信号は、各機械アクチュエータ１０３によって生成された振動信号の和からなる音波混合物信号１９５である。いくつかの実施形態において、音波混合物信号のスペクトログラム内の少なくとも一部の音源は、音波混合物において同じ時間、空間および周波数スペクトルを占有する。
いくつかの実施形態において、音が大きいアクチュエータが静かなアクチュエータを覆い隠す可能性があるため、音波混合物信号１９５から各機械アクチュエータ１０３の実行状態を推定できない可能性がある。したがって、システム１００は、音波混合物信号１９５から各機械アクチュエータ１０３によって生成された振動を分離できる分離ニューラルネットワーク１３１を含む。各機械アクチュエータ１０３の信号が音波混合物信号１９５から分離される。それらは、タスクの実行状態の推定１３５およびタスクの実行１３７のために用いられ得る。
したがって、システム１００は、機械の動作を制御するように、プロセッサ１２０によって実行される様々なモジュールを含む。プロセッサは、音波混合物信号をニューラルネットワーク１３１に投入するこによって、タスクを実行するツールによって生成された信号を音波混合物信号から抽出し、推定器１３５を用いて抽出した信号を分析するこによってタスクの実行状態を生成し、機械１０２の障害回避および円滑な動作維持などの用途のために、タスクの実行状態に応じてコントローラ１３７によって選択され、制御インターフェイス１７０を介して通信された制御動作を実行する。
システム１００は、システム１００を他のシステムおよび装置に接続するための複数の入力インターフェイス１０８および出力インターフェイス１１６を含むことができる。例えば、ネットワークインターフェイスコントローラ１５０は、バス１０６を介して、システム１００をネットワーク１９０に接続するように構成される。システム１００は、無線または有線ネットワーク１９０を介して、音波混合物入力信号１９５を受信することができる。いくつかの実装形態において、システム１００内のヒューマンマシンインターフェイス１１０は、システムをキーボード１１１およびポインティング装置１１２に接続する。ポインティング装置１１２は、とりわけ、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、またはタッチスクリーンを含むことができる。システム１００は、インターフェイス１１０またはＮＩＣ１５０を介して、機械１０２の動作中に生成された音波混合物信号１９５などのデータを受信することができる。
システム１００は、機械１０２の動作中に各アクチュエータ１０３によって生成された振動に対応する分離済み音波信号、または分離済み音波信号に基づいて動作する実行状態推定システム１３５の出力を出力するように構成された出力インターフェイス１１６を含む。例えば、出力インターフェイスは、分離済み音波信号または状態推定結果をレンダリングするためのメモリを含むことができる。例えば、システム１００は、バス１０６を介して、ディスプレイインターフェイス１８０に接続されてもよい。ディスプレイインターフェイス１８０は、システム１００を、例えば、スピーカ、ヘッドフォン、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイル装置のようなディスプレイ装置１８５に接続するように構成される。また、システム１００は、アプリケーションインターフェイス１６０に接続されてもよい。アプリケーションインターフェイス１６０は、システムを様々な動作を実行するための設備１６５に接続するように構成される。
システム１００は、格納された命令を実行するように構成されたプロセッサ１２０と、プロセッサによって実行可能な命令を格納するメモリ１４０とを含む。プロセッサ１２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成を含むことができる。メモリ１４０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の適切なメモリシステムを含むことができる。プロセッサ１２０は、バス１０６を介して、１つ以上の入力装置および出力装置に接続される。これらの命令は、性能の推定および将来の制御を行うために、機械１０２の動作中に生成された振動信号を分離するための方法を実装する。
いくつかの実施形態は、タスクを実行するシステムの状態を検討する代わりに、タスク自体の実行状態を検討することができるという認識に基づている。例えば、システムが１つ以上のタスクを実行するための複数のアクチュエータを含む場合、システムの状態は、これらのアクチュエータの全ての状態を含む。しかしながら、場合によって、アクチュエータの状態は、主な制御対象ではない。実際に、性能、すなわち、タスクの実行を導くために、アクチュエータの状態が必要である。したがって、実行の状態は、主な目的であり、タスクを実行するアクチュエータの状態は、二次的な目的に過ぎない。
しかしながら、場合によって、システムの状態を測定することが困難であり、タスクの実行状態を定義することが困難である。例えば、切削ツールでワークピースを機械加工するコンピュータ数値制御（ＣＮＣ）を検討する。システムの状態は、ツール経路に沿って切削ツールを移動させるアクチュエータの状態を含む。機械加工の実行状態は、実際の切削状態である。産業用ＣＮＣシステムは、多くの異なるアクチュエータ、場合によっては冗長なアクチュエータを含み、これらのアクチュエータは、互いに複雑な非線形関係にある多数の状態変数を有するため、ＣＮＣシステムの状態を観測することが困難となる。したがって、ワークピースの機械加工状態を測定することも困難であり得る。
いくつかの実施形態は、タスクの実行状態が、タスクの実行によって生成された音波信号で表すことができるという認識に基づている。例えば、ワークピースのＣＮＣ機械加工の実行状態は、機械加工中のワークピースの変形によって生成された振動信号で表すことができる。したがって、このような振動信号を測定できれば、機械学習法を含む様々な分類技術を用いてこのような振動信号を分析することによって、タスクの実行状態を推定することができ、実行を制御するための適切な制御動作を選択することができる。
しかしながら、このアプローチの問題は、このような振動信号が単独で存在しないことである。例えば、１つ以上のタスクを実行する１つ以上のツールを作動させる複数のアクチュエータを含むシステムにおいて、タスクを実行するツールによって生成された信号は、常に、ツールを作動させる複数のアクチュエータによって生成された信号が混合されている。例えば、ワークピースの変形によって生成された振動信号には、常に、切削ツールを移動させるモータからの信号が混合されている。何らかの方法でこのような振動信号を単独で生成することまたは単独で捕捉することができれば、このような信号を抽出するように、ニューラルネットワークなどの機械学習システムを訓練することができる。しかしながら、ＣＮＣ機械加工を含む多くの場合に、タスクの実行を表す孤立信号の生成は、非現実である。同様に、複数のマイクロフォンで異なる信号を個別に記録することも、非現実である。
図１Ｃは、いくつかの実施形態に従う、タスク１０２を実行するツールによって生成された信号とツール１０３を作動させる複数のアクチュエータによって生成された信号との音波混合物信号のスペクトログラム１９６を示す。センサ１０１が単一のマイクロフォンである場合に、全ての機械アクチュエータ１０３によって生成された信号は、時間および周波数１９６の両方で重なることがある。この場合、様々な音波信号処理技術、例えば周波数または時間の選択フィルタリングは、機械アクチュエータによって生成された個々の音波信号を効果的に分離することができない。センサ１０１がマイクロフォンアレイである場合に、アレイ内の異なるマイクロフォン間の遅延の差を考慮することによって、異なる空間位置で音波信号を生成する音源を分離することができる。例えば、図１Ｃにおいて、機械１０２は、Ｃ１、．．．、Ｃ５によって示されるアクチュエータ１０３を含み、アクチュエータＣ３が一意的な空間位置に配置されているため、マイクロホンアレイは、アクチュエータＣ３によって生成された信号を分離することができる。しかしながら、信号対（Ｃ１，Ｃ２）および（Ｃ４，Ｃ５）が、機械１０２における物理位置によって空間的に重なり、音波信号スペクトログラム１９６において時間および周波数の両方で重なるため、従来の技術は、これらを分離することができない。
したがって、１つ以上のツールを作動させて１つ以上の作業を実行する複数のアクチュエータを含むシステムの製造自動化を効率化するために、作業を実行するツールによって生成された信号と、ツールを作動させる複数のアクチュエータによって生成された信号とを音波混合物から音源信号を分離する必要がある。したがって、いくつかの実施形態の目的は、単独の音源が存在していない場合に、混合信号の音源を分離するためのニューラルネットワークを訓練することである。本明細書に使用された場合、混合信号中の少なくとも一部の音源は、音波混合物において同じ時間、空間および周波数スペクトルを占有する。
場合によって、少なくとも一部の音源は、音波混合物のスペクトログラムにおいて同じ時間および／または周波数スペクトルを占有する。例えば、一実施形態において、混合物中の音源は、室内の同じ領域を占有するため、マイクロフォンアレイ技術の使用は、非現実である。追加的にまたは代替的に、いくつかの実施形態の音波混合物は、単一のマイクロフォンの単一の出力チャネルのみから得られる。
いくつかの実施形態は、例えば、音波混合物中の音源を単独で容易に記録できる場合または人間が音波混合物中の音源を容易に識別できる場合に、教師付き学習で訓練を行うことができるという認識に基づいている。このような分類は、本明細書において強ラベルと呼ばれる。理論的には、人間は、このようなラベルの近似値を提供することができるが、時間および周波数の両方でアクティブ音を正確に分類することによって、強ラベルを付けることは、殆ど非現実である。しかしながら、一部の時間範囲内でアクティブ音を限定的に分類すること（弱ラベル）は、現実的である。通常の場合、このような弱ラベルは、指定範囲の全体にわたって音がアクティブである必要がなく、指定範囲内の短時間のみにアクティブであればよい。
いくつかの実施形態は、通常、製造プロセスの仕組みが既知であれば、音波信号を生成する音源も既知であるという認識に基づいている。したがって、製造システムの動作を表す音波混合物の音源に弱ラベルを付けることができる。よって、いくつかの実施形態は、弱ラベルのみを含む音波混合物の訓練データが利用可能である場合に、この音波混合物中の音波を分離するように学習することができる方法を開発する。
したがって、いくつかの実施形態は、音波混合物から、タスクを実行するツールによって生成された信号とツールを作動させるアクチュエータによって生成された信号とを分離するようにニューラルネットワーク１３１を訓練する。例えば、ニューラルネットワークは、各分離済み信号がシステムの動作中に存在する１種類の信号であり、分離済み信号が音波混合物の合計を構成するように、音波混合物から異なる信号を分離するように訓練される。弱ラベルは、システムの動作中に存在する信号の種類を識別する。各弱ラベルは、動作中のある時点に存在する信号の種類を特定する。
図２は、本開示のいくつかの実施形態に従って、音波混合物信号を分離するための音波信号処理システム２００を訓練することを示す流れ図である。図２は、一般的な音源分離シナリオを示す。このシナリオにおいて、システムは、ターゲット音波信号とノイズなどの他の可能な非ターゲット音波信号との混合物から、複数のターゲット音波信号を推定する。ターゲット音波信号が機械のアクチュエータの振動によって生成され、これらの振動が単独で存在していない例において、音源分離システムの訓練ターゲットは、弱ラベルによって識別される。すなわち、特定の時間ブロックにおいて、孤立の音源ではなく、音源の有無のみが訓練に必要とされる。音波混合物入力信号２０４は、複数の重なる音源の合計を含み、機械の動作中に記録された音波混合物信号および対応する弱ラベル２２２を含む訓練セット２０２からサンプリングされる。
スペクトログラム推定器２０６は、混合入力信号２０４を処理することによって、音波混合物の時間－周波数表現を計算する。その後、スペクトログラムは、記憶されたネットワークパラメータ２１５を使用するマスク推論ネットワーク２３０に入力される。マスク推論ネットワーク２３０は、スペクトログラムの各時間周波数ビンにおいて各クラスの音源の有無を判断し、一組の振幅マスク２３２を推定する。各音源は、１つの振幅マスクを有する。各マスクに音波混合物の複雑な時間－周波数表現を乗算することによって、一組の拡張スペクトログラム２３４を計算する。拡張スペクトログラム２３４の各々を信号再構成プロセス２３６に渡し、スペクトログラム推定器２０６によって計算された時間－周波数表現を反転させることよって、一組の推定音波信号波形２１６を取得する。
拡張スペクトログラム２３４を、格納されたネットワークパラメータ２１５を使用する分類器ネットワーク２１４に渡すことができる。分類器ネットワークは、各拡張スペクトログラムの各時間フレームに所定の音源クラスが存在するか否かに関する確率を提供する。分類器は、スペクトログラムの各時間フレームに対して１回動作するが、弱ラベル２２２は、スペクトログラムよりも遥かに低い時間分解能を有する。したがって、分類器ネットワーク２１４の出力は、時間プーリングモジュール２１７に渡される。いくつかの実施形態において、時間プーリングモジュール２１７は、１つの弱ラベル時間フレームに対応する全てのフレームレベル判定値の最大値をとることができ、フレームレベル判定値の平均値をとることができ、または他のプーリング操作を使用して、フレームレベル判定値を結合することができる。ネットワーク訓練モジュール２２０は、目的関数を用いて、ネットワークパラメータ２１５を更新することができる。
図３Ａは、本開示の実施形態に従って、単一チャネルマスク推論ネットワークのアーキテクチャ３００Ａを示すブロック図である。入力混合物から得られた特徴ベクトルのシーケンス、例えば、入力混合物の短時間フーリエ変換の対数振幅は、混合物エンコーダ３１０に入力される。例えば、シーケンス内の入力ベクトルの次元は、Ｆで表すことができる。混合物エンコーダ３１０は、第１のＢＬＳＴＭ層３３０から最後のＢＬＳＴＭ層３３５までの双方向長短期メモリ（ＢＬＳＴＭ）ニューラルネットワークの複数の層から構成される。各ＢＬＳＴＭ層は、順方向長短期メモリ（ＬＳＴＭ）層および逆方向ＬＳＴＭ層からなる。各ＢＬＳＴＭ層の出力は、結合され、次の層に入力される。例えば、第１のＢＬＳＴＭ層３３０内の各ＬＳＴＭの出力の次元をＮで表すことができ、最後のＢＬＳＴＭ層３３５を含む他の全てのＢＬＳＴＭ層内の各ＬＳＴＭの入力と出力の両方の次元をＮで表すことができる。最後のＢＬＳＴＭ層３３５の出力は、線形ニューラルネットワーク層３４０および非線形性３４５を含むマスク推論モジュール３１２に入力される。時間－周波数領域、例えば短時間フーリエ変換領域における各時間フレームおよび各周波数に対して、線形層３４０は、最後のＢＬＳＴＭ層３３５の出力を使用して、分離すべきターゲット音源の数であるＣ個の数値を出力する。非線形性３４５を各時間フレームおよび各周波数のＣ個の数値に適用することによって、各時間フレーム、各周波数、各ターゲット音源、およびその時間フレームおよびその周波数における入力混合物の優勢ターゲット音源を示すマスク値を生成する。マスクモジュール３１３による分離符号化推定は、マスクを推定した時間－周波数領域、例えば振幅短時間フーリエ変換領域における入力混合物の表現と共に、これらのマスクを使用して、各ターゲット音源についての分離符号化を出力する。例えば、マスクモジュール３１３による分離符号化推定は、ターゲット音源のマスクに入力混合物の振幅短時間フーリエ変換を乗算することによって、単独で観測された場合に、そのターゲット音源の分離符号化として使用される分離済み信号の振幅短時間フーリエ変換の推定値を得ることができる。
図３Ｂは、本開示の実施形態に従って、単一チャネル畳み込みリカレント型分類ネットワークのアーキテクチャ３００Ｂを示すブロック図である。入力混合物から得られた特徴ベクトルのシーケンス、例えば、入力混合物の短時間フーリエ変換の対数強度は、混合物エンコーダ３２０に入力される。例えば、シーケンス内の入力ベクトルの次元は、Ｆで表すことができる。混合物エンコーダ３２０は、第１の畳み込みブロック３０１から最後の畳み込みブロック３０２までの複数の畳み込みブロック、およびそれに続くリカレントＢＬＳＴＭ層３０３から構成される。各畳み込みブロックは、学習済み重みおよびバイアスを有する畳み込み層を含み、時間次元および周波数次元の両方に対するプーリング操作を行うことによって、後続層への入力次元を低減する。混合物エンコーダ３２０の末端のＢＬＳＴＭ層３０３は、順方向長短期メモリ（ＬＳＴＭ）層および逆方向ＬＳＴＭ層からなる。ＢＬＳＴＭ層３０３の出力は、結合され、分類器モジュール３２２への入力として用いられる。分類器モジュール３２２は、線形ニューラルネットワーク層３０５と、シグモイド非線形性３０７を実装するモジュールとを含む。分類器モジュール３２２は、入力信号の各時間フレームに対してＣ個の数値を出力する。これらの数値は、当該時間フレームにおいて特定の種類の音源がアクティブである確率を表す。
図４は、データの収集および単独で存在することまたは互いに空間的に離れる必要のない音波混合物信号を分離するためのニューラルネットワークの訓練を行うための方法を示す流れ図である。機械または分離すべき信号を含む音環境からの一連の音波記録を収集することによって、一組の訓練データ記録４００を形成する。これらの記録に注釈を付けることによって、全ての訓練データ信号４１０に弱ラベルを生成する。この注釈手順は、訓練データ記録４００を収集した時の音源がアクティブおよび非アクティブである期間中に取られたメモを含むことができる。追加的にまたは代替的に、訓練データ記録４００を聞き、分離すべき音源がアクティブおよび非アクティブである期間中に注釈を付けることによって、全ての訓練データ信号４１０の弱ラベルを法的（forensically）に収集することができる。追加的にまたは代替的に、弱ラベルは、被制御機械の動作の仕様に基づいて決定される。
次のステップは、全ての訓練データ信号４１０の弱ラベルをターゲットとして用いて、各訓練データ信号４００の弱ラベル４２０を予測するように分類器を訓練することである。この分類器は、音事象検出システムとも呼ばれる。続いて、分類器を監視信号４３０として用いて、分離器ネットワークを訓練する。これは、以下でさらに詳細に説明する。次いで、分離器ネットワークは、一組の信号である分離された音源４４０を抽出する。各分離済み信号は、単一のクラスまたは信号種類に属する。これらの分離済み信号を用いて分類器４２０をさらに訓練することによって、分離済み信号のクラスのみを予測する一方で、他の全てのクラスの出力はゼロである。さらに、以前に分離された信号を入力として用いて分離器ネットワーク４３０を訓練することができ、正しく分離された信号が分離器ネットワークを不変に通過するようにネットワークの重みを更新することができる。
図５は、いくつかの実施形態に従う、弱ラベルと信号分離を促進する分類器出力との間の関係を示す概略図である。これらの実施形態において、ニューラルネットワークは、弱ラベルと分類器を通る分離ニューラルネットワークとの間のクロスエントロピー項を含む損失関数を最小化するように、分類器と共同で訓練される。図５の例示は、単一の時間フレームに対するものであるが、弱ラベルを利用できる時間分解能で繰り返される。
Figure 0007367226000001
Figure 0007367226000002
Figure 0007367226000003
このように、本開示は、音波分離ニューラルネットワークを用いて製造自動化を行うためのシステムおよび方法を提供する。本開示によって提案された機械学習アルゴリズムは、ニューラルネットワークを用いて、製造時に異なる部品の振動によって生成された個々の信号を分離する。また、音波混合物を構成する振動信号は、単独でまたは空間的に互いに分離できる形で存在していないため、弱ラベルを用いて、提案されたシステムを訓練することができる。この場合、弱ラベルは、音波混合物を構成する分離済み信号ではなく、音波混合物の異なる音源がアクティブである期間のみを利用できることを意味する。いったん音波混合物を構成する信号が分離されると、分離済み信号を用いて、個々の機械部品の実行状態を監視することができ、または分離済み信号を制御信号として用いて、異なるアクチュエータをそれぞれ制御することができる。
図６は、いくつかの実施形態に従って分離された信号に基づいて、実行状態を分析することを示すグラフである。信号を分離するためにニューラルネットワーク１３１を訓練した後、いくつかの実施形態は、このネットワークの出力を用いて、タスクの実行状態を推定するための状態推定器１３５を訓練する。例えば、一実施形態において、状態推定器は、タスクを実行するツールによって生成された信号６０１およびニューラルネットワークによってシステムの異なる反復動作の異なる音波混合物から抽出された信号６０２に基づいて訓練される。
例えば、いくつかの実施形態において、状態推定器１３５は、実行状態を示す予測パターン６１５を検出するように構成される。例えば、期間６１７にわたって収集された孤立信号の実数値時系列は、正常領域６１８と、故障点６２１をもたらす異常領域Ｔ６１９とを含むことができる。状態推定器１３５は、異常領域６１９を検出することによって、障害６２１を回避するように構成されてもよい。例えば、いくつかの実装形態において、状態推定器１３５は、Shapelet発見法を用いて、最良の予測パターンを発見するまで予測パターンを検索する。Shapelet発見アルゴリズムの少なくとも１つの利点は、異なる長さの予測パターンを効率的に検索できることである。内部では、Shapelet発見法は、所定の測定基準に従って予測パターンを最適化している。予測パターンは、例えば、異常領域内の１つのパターンとは可能な限り類似し、正常領域内の全てのパターンとは可能な限り異なる。
追加的にまたは代替的に、別の実施形態において、状態推定器１３５は、抽出ニューラルネットワーク１３１の出力からタスクの実行状態を推定するように訓練されたニューラルネットワークとして実装される。有利なことに、本実施形態の状態推定器は、ニューラルネットワーク１３１およびニューラルネットワーク１３１を訓練するために使用される分類器の両方と共同で訓練されてもよい。したがって、本実施形態において、複雑な機械を制御するためのエンドツーエンド訓練解決策を提供する。
特に、いくつかの実施形態において、タスクを実行するツールによって生成された抽出信号の各サンプルは、タスクの実行状態を定義し、システムの動作状態を定義するには不十分である。しかしながら、タスクの実行状態は、適切な制御動作を選択するのに十分である。このように、実施形態は、製造自動化用途において次元を削減することができる。
例えば、いくつかの実施形態において、システムは、ワークピースを機械加工するための一連の操作を実行するように構成される。これらの実施形態において、ツールは、機械加工ツールであり、プロセッサは、ツール経路に沿って機械加工ツールを作動させるコンピュータ数値制御（ＣＮＣ）を実行し、機械加工ツールによって生成された信号は、機械加工ツールによる機械加工中にワークピースの変形によって生成された振動信号である。多くの機械加工システムは、ツールを位置決めするための複数のアクチュエータを含む。また、いくつかの機械加工システムは、ツールを各自由度に沿って位置決めするための冗長なアクチュエータを含むことができる。さらに、ツールの種類も、システムの性能に影響を与える可能性がある。しかしながら、これらの全ての種類は、タスクの実行を示す信号の分離および分類に基づく実施形態によって捕捉することができる。
図７は、いくつかの実施形態に従う、機械加工動作の制御を示す概略図である。一組の機械加工命令７０１は、例えば、ネットワークを介してファイルとしてＮＣ機械加工コントローラ７０２に提供される。コントローラ７０２は、プロセッサ７０３と、メモリ７０４と、機械の動作を表示するためのディスプレイ７０５とを含む。いくつかの実施形態に従って、プロセッサは、抽出ニューラルネットワーク１３１、状態機械加工の状態推定１３５、およびコントローラ動作１３７を実行する。いくつかの実装形態において、ニューラルネットワーク１３１、状態推定器１３５およびコントローラ１３７は、ワークピース７１０の異なる種類の機械加工７１２、７１４、７１６および７１８を実行する機械加工の異なるツール７０２、７０４、７０６および７０８に適合される。例えば、被制御機械は、ワークピースの機械加工、はんだ付けおよび組み立てのうちの１つまたは組み合わせを含むワークピースを製造するための一連の操作を実行することができ、ツールによって生成された信号は、ワークピースの製造中にワークピースの変更によって生成された振動信号である。
要するに、抽出された信号に基づく状態推定は、制御を異なる種類の複雑な製造に適合させる。しかしながら、いくつかの実施形態は、工場の自動化に限定されない。例えば、一実施形態において、被制御機械は、潜在的な異常を検出するために監視されている変速装置であり、変速装置は、モータまたはカップリングからの振動、あるいは可動部からの他の振動が存在する場合のみ記録されてもよい。
次元削減に加えてまたはそれに代えて、いくつかの実施形態は、異なる作業タスクを実行する異なるツールを個別に制御することができる。例えば、システム全体の状態を示す信号を分析すれば、システム全体の制御を行うことができる。したがって、異なるタスクを実行する異なるツールを個別に分析する場合、異なるツールを個別に制御することができる。
したがって、システムの動作中に複数のツールが複数のタスクを実行する場合、いくつかの実施形態は、複数のタスクを個別に制御する。例えば、一実施形態は、第１のタスクを実行する第１のツールと第２のタスクを実行する第２のツールとを含むシステムを制御する。ニューラルネットワークは、音波混合物から、第１のタスクを実行する第１のツールによって生成された第１の信号と第２のタスクを実行する第２のツールによって生成された第２の信号とを分離するように訓練される。システムの動作中に、ニューラルネットワークを用いて音波混合物から第１の信号および第２の信号を抽出し、互いに独立して分析することによって、第１のタスクの第１の実行状態と第２のタスクの第２の実行状態とを推定する。この実施形態は、第１の状態に応じて選択された第１の制御動作を実行し、第２の状態に応じて選択された第２の制御動作を実行するように構成される。
図８は、いくつかの実施形態に従って、製造異常検知システム８００のアクチュエータを示す概略図である。システム８００は、製造生産ライン８１０と、訓練データプール８２０と、機械学習モデル８３０と、異常検出モデル８４０とを含む。生産ライン８１０は、センサを用いてデータを収集する。センサは、デジタルセンサ、アナログセンサ、およびこれらの組み合わせであってもよい。収集されたデータは、２つの目的に使用される。一部のデータは、訓練データプール８２０に格納され、機械学習モデル８３０を訓練するための訓練データとして使用され、一部のデータは、異常を検出するように、動作時間データとして異常検出モデル８４０によって使用される。機械学習モデル８３０と異常検出モデル８４０の両方は、同じデータを使用してもよい。
製造生産ライン８１０の異常を検出するために、まず訓練データを収集する。機械学習モデル８３０は、訓練データプール８２０内の訓練データを用いて、抽出ニューラルネットワーク１３１を訓練する。訓練データプール８２０は、ラベル付きデータまたはラベルなしデータのいずれかを含むことができる。ラベル付きデータは、例えば、異常または正常を示すラベルを有する。ラベルなしデータは、ラベルを有していない。機械学習モデル８３０は、訓練データの種類に基づいて、異なる訓練アプローチを適用する。ラベル付き訓練データの場合、通常、教師付き学習が使用される。ラベルなし訓練データの場合、通常、教師なし学習が使用される。このように、異なる実施形態は、異なる種類のデータを取り扱うことができる。
機械学習モデル８３０は、訓練データから、正常データパターンおよび異常データパターンを含む特徴およびパターンを学習する。異常検出モデル８４０は、訓練済み機械学習モデル８５０および収集された運転時間データ８６０を用いて、異常を検出する。動作時間データ８６０は、正常データであってもよく、異常データであってもよい。例えば、訓練済み機械学習モデル８５０は、正常データパターン８５５および８５８を用いて、動作時間データを正常データ８７０および異常データ８８０に分類することができる。例えば、操作時間データＸ１ ８６３およびＸ２ ８６６は、正常データとして分類され、操作時間データＸ３ ８６９は、異常データとして分類される。異常を検出すると、必要な行動８９０を取る。
いくつかの実施形態において、抽出ニューラルネットワークは、各監視プロセスＸ１ ８６３およびＸ２ ８６６およびＸ３ ８６９に対して訓練される。コントローラは、１つのプロセス、例えばプロセスＸ１ ８６３を、他のプロセス、例えばプロセスＸ２ ８６６およびＸ３ ８６９とは独立して制御するための行動８９０を取ることができる。信号抽出に基づいたプロセス制御分離は、複雑な製造プロセスの制御を単純化することによって、より正確且つ実用的に制御を行うことができる。
上述した本発明の実施形態は、多くの方法で実装されてもよい。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアで実装される場合、ソフトウェアコードは、単一のコンピュータに設けられたまたは複数のコンピュータに分散されたことにも拘らず、任意の適切なプロセッサまたは一群のプロセッサで実行されてもよい。このようなプロセッサは、集積回路として実装されてもよい。１つの集積回路要素は、１つ以上のプロセッサを含むことができる。しかしながら、プロセッサは、任意の適切な回路で実装されてもよい。
また、本発明の実施形態は、一例として提供された方法として具現化されてもよい。本方法の一部として実行される動作は、任意の適切な方法で順序付けられてもよい。したがって、例示的な実施形態において順次に実行される動作とは異なる順序で動作を実行すること、いくつかの動作を同時に実行することを含み得る実施形態を構築することができる。
請求項において請求項要素を修飾するための順序用語、例えば第１、第２などの使用は、別の請求項要素に対する１つの請求項要素の優先順位、前後順位もしくは順序、または方法の動作を実行する時間順序を意味しておらず、単に請求項要素を区別するためのラベルとして使用され、（順序用語を使用することによって）特定の名前を有する１つの請求項要素と同じ名前を有する別の要素とを区別させる。
いくつかの好ましい実施形態を参照して本発明を説明したが、理解すべきことは、本発明の精神および範囲内で、様々な他の改造および修正を行うことができることである。
したがって、添付の特許請求の範囲は、本開示の真の精神および範囲内にある全ての変形および修正を網羅する。

Claims (19)

  1. １つ以上のツールを補助して１つ以上のタスクを実行する複数のアクチュエータを含む機械の動作を制御するためのシステムであって、
    前記システムの動作中に、タスクを実行するツールによって生成された信号と前記ツールを作動させる前記複数のアクチュエータによって生成された信号との音波混合物を受信するように構成された入力インターフェイスと、
    前記ツールを作動させる前記アクチュエータによって生成された信号から前記タスクを実行する前記ツールによって生成された信号を、音波混合物信号から分離するように訓練されたニューラルネットワークを記憶するように構成されたメモリと、
    前記音波混合物信号を前記ニューラルネットワークに投入することによって、前記音波混合物信号から前記タスクを実行する前記ツールによって生成された前記信号を抽出し、前記抽出された信号を分析することによって、前記タスクの実行状態を生成し、前記タスクの前記実行状態に応じて選択された制御動作を実行するように構成されたプロセッサとを含み、
    前記機械の動作中に、複数のツールは、第１のタスクを実行する第１のツールと第２のタスクを実行する第２のツールとを含み、複数のタスクを実行し、
    前記ニューラルネットワークは、前記音波混合物から、前記第１のタスクを実行する前記第１のツールによって生成された第１の信号と前記第２のタスクを実行する前記第２のツールによって生成された第２の信号とを分離するように訓練され、
    前記システムの動作中に、前記プロセッサは、前記ニューラルネットワークを用いて前記音波混合物から前記第１の信号および前記第２の信号を抽出し、前記第１の信号と前記第２の信号とを独立して分析することによって前記第１のタスクの第１の実行状態と前記第２のタスクの第２の実行状態とを推定し、前記第１の実行状態に応じて選択された第１の制御動作を実行し、前記第２の実行状態に応じて選択された第２の制御動作を実行するように構成される、システム。
  2. 前記機械は、ワークピースを機械加工するための一連の操作を実行するように構成され、
    前記ツールは、機械加工ツールであり、
    前記プロセッサは、ツール経路に沿って前記機械加工ツールを作動させるコンピュータ数値制御（ＣＮＣ）を実行し、
    前記機械加工ツールによって生成された前記信号は、前記機械加工ツールによる機械加工中に前記ワークピースの変形によって生成された振動信号である、請求項１に記載のシステム。
  3. 前記機械は、前記ワークピースの機械加工、はんだ付け、および組み立てのうちの１つまたは組み合わせを含む前記ワークピースを製造するための一連の操作を実行するように構成され、
    前記ツールによって生成された前記信号は、前記ワークピースの製造中に前記ワークピースの変更によって生成された振動信号である、請求項２に記載のシステム。
  4. 前記機械は、潜在的な異常を検出するために監視されている変速装置であり、
    前記変速装置は、モータからの振動、カップリング、または可動部からの他の振動が存在する場合のみ記録される、請求項１に記載のシステム。
  5. 前記ニューラルネットワークは、各分離済み信号が前記システムの動作中に存在する１種類の信号であり、前記分離済み信号が前記音波混合物の合計を構成するように、前記音波混合物から異なる信号を分離するように訓練される、請求項１に記載のシステム。
  6. 前記システムの動作中に存在する信号の種類は、弱ラベルによって識別され、
    各弱ラベルは、動作中のある時点に存在する信号の種類を特定する、請求項５に記載のシステム。
  7. 前記ニューラルネットワークは、前記弱ラベルによって識別された前記信号の種類を分類するように構成された分類器と共同で訓練される、請求項６に記載のシステム。
  8. 前記ニューラルネットワークは、前記分類器と共同で訓練されて、前記弱ラベルと前記分類器を通る分離ニューラルネットワークとの間のクロスエントロピー項を含む損失関数を最小化する、請求項７に記載のシステム。
  9. 前記ニューラルネットワークは、前記弱ラベルによって識別された１種類の分離済み信号が入力として前記ニューラルネットワークに投入されると、前記ニューラルネットワークが前記分離済み信号を出力として生成するように訓練される、請求項６に記載のシステム。
  10. 前記プロセッサは、状態推定器を実行することによって、前記タスクの前記実行状態を推定し、
    前記状態推定器は、前記タスクを実行する前記ツールによって生成された信号、および、前記ニューラルネットワークによって前記システムの異なる反復動作の異なる音波混合物から抽出された信号に基づいて訓練される、請求項１に記載のシステム。
  11. 前記タスクを実行する前記ツールによって生成された抽出信号の各サンプルは、前記タスクの実行状態を定義し、前記機械の動作状態を定義するには不十分である、請求項１に記載のシステム。
  12. 前記タスクを実行する前記ツールによって生成された前記信号は、前記ツールを作動させる前記アクチュエータによって生成された信号と混合され、前記音波混合物において同じ時間および周波数スペクトルを占有する、請求項１に記載のシステム。
  13. 前記音波混合物は、単一のマイクロフォンの単一の出力チャネルから得られる、請求項１に記載のシステム。
  14. 少なくとも一部の前記アクチュエータは、前記機械内の物理位置に基づいて空間的に重なる、請求項１に記載のシステム。
  15. １つ以上のツールを補助して１つ以上のタスクを実行する複数のアクチュエータを含む機械の動作を制御するための方法であって、前記方法は、前記方法を実行するために格納された命令と結合されたプロセッサを使用し、前記命令は、前記プロセッサによって実行されると、前記方法の以下のステップを実行し、前記ステップは、
    タスクを実行するツールによって生成された信号とツールを作動させる複数のアクチュエータによって生成された信号との音波混合物を受信するステップと、
    前記ツールを作動させる前記アクチュエータによって生成された信号から前記タスクを実行する前記ツールによって生成された信号を、音波混合物信号から分離するように訓練されたニューラルネットワークに前記音波混合物信号を投入することによって、前記音波混合物信号から前記タスクを実行する前記ツールによって生成された前記信号を抽出するステップと、
    前記抽出された信号を分析することによって、前記タスクの実行状態を生成するステップと、
    前記タスクの前記実行状態に応じて選択された制御動作を実行するステップとを含み、
    前記機械の動作中に、前記１つ以上のツールは、第１のタスクを実行する第１のツールと第２のタスクを実行する第２のツールとを含み、複数のタスクを実行し、
    前記ニューラルネットワークは、前記音波混合物から、前記第１のタスクを実行する前記第１のツールによって生成された第１の信号と前記第２のタスクを実行する前記第２のツールによって生成された第２の信号とを分離するように訓練されており、
    前記ステップは、
    前記機械の動作中に、前記ニューラルネットワークを用いて前記音波混合物から前記第１の信号および前記第２の信号を抽出するステップと、
    前記第１の信号と前記第２の信号とを独立して分析することによって前記第１のタスクの第１の実行状態と前記第２のタスクの第２の実行状態とを推定するステップと、
    前記第１の実行状態に応じて選択された第１の制御動作を実行するステップと、
    前記第２の実行状態に応じて選択された第２の制御動作を実行するステップとをさらに含む、方法。
  16. 前記タスクを実行する前記ツールによって生成された前記信号は、前記ツールを作動させる前記アクチュエータによって生成された信号と混合され、前記音波混合物において同じ時間および周波数スペクトルを占有する、請求項１５に記載の方法。
  17. 前記音波混合物は、単一のマイクロフォンの単一の出力チャネルから得られる、請求項１５に記載の方法。
  18. 少なくとも一部の前記アクチュエータは、前記機械内の物理位置に基づいて空間的に重なる、請求項１５に記載の方法。
  19. 機械の動作を制御するための方法を実行するために、プロセッサによって実行可能なプログラムを記憶する非一時的なコンピュータ可読記憶媒体であって、前記方法は、
    １つ以上のタスクを実行する１つ以上のツールによって生成された信号と前記１つ以上のツールを作動させる複数のアクチュエータによって生成された信号との音波混合物を受信するステップと、
    前記ツールを作動させる前記アクチュエータによって生成された信号から前記タスクを実行する前記ツールによって生成された信号を、音波混合物信号から分離するように訓練されたニューラルネットワークに前記音波混合物信号を投入することによって、前記音波混合物信号から前記タスクを実行する前記ツールによって生成された前記信号を抽出するステップと、
    前記抽出された信号を分析することによって、前記タスクの実行状態を生成するステップと、
    前記タスクの前記実行状態に応じて選択された制御動作を実行するステップとを含み、
    前記機械の動作中に、前記１つ以上のツールは、第１のタスクを実行する第１のツールと第２のタスクを実行する第２のツールとを含み、前記複数のタスクを実行し、
    前記ニューラルネットワークは、前記音波混合物から、前記第１のタスクを実行する前記第１のツールによって生成された第１の信号と前記第２のタスクを実行する前記第２のツールによって生成された第２の信号とを分離するように訓練されており、
    前記方法は、
    前記機械の動作中に、前記ニューラルネットワークを用いて前記音波混合物から前記第１の信号および前記第２の信号を抽出するステップと、
    前記第１の信号と前記第２の信号とを独立して分析することによって前記第１のタスクの第１の実行状態と前記第２のタスクの第２の実行状態とを推定するステップと、
    前記第１の実行状態に応じて選択された第１の制御動作を実行するステップと、
    前記第２の実行状態に応じて選択された第２の制御動作を実行するステップとをさらに含む、非一時的なコンピュータ可読記憶媒体。
JP2022543267A 2019-10-17 2020-10-14 音波分離ニューラルネットワークを用いた製造自動化 Active JP7367226B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/655,272 2019-10-17
US16/655,272 US11579598B2 (en) 2019-10-17 2019-10-17 Manufacturing automation using acoustic separation neural network
PCT/JP2020/039473 WO2021075583A1 (en) 2019-10-17 2020-10-14 Manufacturing automation using acoustic separation neural network

Publications (2)

Publication Number Publication Date
JP2022549531A JP2022549531A (ja) 2022-11-25
JP7367226B2 true JP7367226B2 (ja) 2023-10-23

Family

ID=73554482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022543267A Active JP7367226B2 (ja) 2019-10-17 2020-10-14 音波分離ニューラルネットワークを用いた製造自動化

Country Status (5)

Country Link
US (1) US11579598B2 (ja)
EP (1) EP4045985A1 (ja)
JP (1) JP7367226B2 (ja)
CN (1) CN114556369A (ja)
WO (1) WO2021075583A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240151690A1 (en) * 2022-11-03 2024-05-09 Tata Consultancy Services Limited Method and system for an acoustic based anomaly detection in industrial machines

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008137102A (ja) 2006-11-30 2008-06-19 Matsushita Electric Works Ltd 工作機械総合監視装置
JP2014213412A (ja) 2013-04-25 2014-11-17 三菱電機エンジニアリング株式会社 切削工具の異常検出装置および異常検出方法
WO2016125256A1 (ja) 2015-02-03 2016-08-11 三菱電機株式会社 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム
WO2018105194A1 (en) 2016-12-07 2018-06-14 Mitsubishi Electric Corporation Method and system for generating multi-relevant label
CN110070183A (zh) 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4918616A (en) * 1984-05-18 1990-04-17 Omron Tateisi Electronics Co. Tool monitoring system
US8954185B2 (en) * 2008-03-26 2015-02-10 Haas Automation, Inc. Cut optimization system and method
US20140067321A1 (en) * 2012-09-06 2014-03-06 Schmitt Industries, Inc. Systems and methods for monitoring machining of a workpiece
FR3011936B1 (fr) * 2013-10-11 2021-09-17 Snecma Procede, systeme et programme d'ordinateur d'analyse acoustique d'une machine
JP6282148B2 (ja) * 2014-03-17 2018-02-21 Dmg森精機株式会社 工作機械
US20160297044A1 (en) * 2015-04-10 2016-10-13 Rolls-Royce Corporation Machining parameter control based on acoustic monitoring
US10014003B2 (en) * 2015-10-12 2018-07-03 Gwangju Institute Of Science And Technology Sound detection method for recognizing hazard situation
WO2017192821A1 (en) * 2016-05-06 2017-11-09 Massachusetts Institute Of Technology Method and apparatus for efficient use of cnc machine shaping tool including cessation of use no later than the onset of tool deterioration by monitoring audible sound during shaping
EP3511937B1 (en) * 2016-09-09 2023-08-23 Sony Group Corporation Device and method for sound source separation, and program
WO2018069922A2 (en) * 2016-10-10 2018-04-19 Augury Systems Ltd. Systems and methods for acoustic emission monitoring of semiconductor devices
US10370093B1 (en) * 2016-11-16 2019-08-06 Amazon Technologies, Inc. On-demand drone noise measurements
JP6450738B2 (ja) * 2016-12-14 2019-01-09 ファナック株式会社 工作機械における工具のビビり発生の予兆を検知する機械学習装置、ｃｎｃ装置および機械学習方法
US11741354B2 (en) * 2017-08-25 2023-08-29 Ford Global Technologies, Llc Shared processing with deep neural networks
US10908123B2 (en) * 2017-12-27 2021-02-02 Fisher Controls International Llc Methods and apparatus to generate an acoustic emission spectrum using amplitude demodulation
US11327050B2 (en) * 2018-02-20 2022-05-10 Intel Corporation Mechanical failure monitoring, detection, and classification in electronic assemblies
CN108520115B (zh) * 2018-03-22 2022-02-18 国网湖南省电力有限公司 一种变压器绕组与铁心振动信号分离方法及系统
JP6987030B2 (ja) * 2018-07-18 2021-12-22 株式会社日立製作所 システム及び工作機械の異常又は加工作業に関する分析方法
JP7149197B2 (ja) * 2019-02-06 2022-10-06 株式会社日立製作所 異常音検知装置および異常音検知方法
US11988105B2 (en) * 2019-06-28 2024-05-21 The Boeing Company Acoustical health monitoring for turbomachinery

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008137102A (ja) 2006-11-30 2008-06-19 Matsushita Electric Works Ltd 工作機械総合監視装置
JP2014213412A (ja) 2013-04-25 2014-11-17 三菱電機エンジニアリング株式会社 切削工具の異常検出装置および異常検出方法
WO2016125256A1 (ja) 2015-02-03 2016-08-11 三菱電機株式会社 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム
WO2018105194A1 (en) 2016-12-07 2018-06-14 Mitsubishi Electric Corporation Method and system for generating multi-relevant label
CN110070183A (zh) 2019-03-11 2019-07-30 中国科学院信息工程研究所 一种弱标注数据的神经网络模型训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gubin, M.V.，"Using Convolutional Neural Networks to Classify Audio Signal in Noisy Sound Scenes"，2018 Global Smart Industry Conference (GloSIC)，2018年，p.1-6，DOI: http://dx.doi.org/10.1109/GloSIC.2018.8570117

Also Published As

Publication number Publication date
US20210116894A1 (en) 2021-04-22
CN114556369A (zh) 2022-05-27
EP4045985A1 (en) 2022-08-24
US11579598B2 (en) 2023-02-14
WO2021075583A1 (en) 2021-04-22
JP2022549531A (ja) 2022-11-25

Similar Documents

Publication Publication Date Title
Borgi et al. Data analytics for predictive maintenance of industrial robots
JP6431017B2 (ja) 機械学習により外力の検出精度を向上させた人協調ロボットシステム
Lee et al. Predictive maintenance of machine tool systems using artificial intelligence techniques applied to machine condition data
JP7012871B2 (ja) システムを制御する装置及び方法
US11701772B2 (en) Operation prediction system and operation prediction method
Caggiano et al. Cloud manufacturing framework for smart monitoring of machining
JP5048625B2 (ja) 異常検知方法及びシステム
JP6572265B2 (ja) 制御装置及び機械学習装置
Natesha et al. Fog-based intelligent machine malfunction monitoring system for industry 4.0
WO2010095314A1 (ja) 異常検知方法及び異常検知システム
JP2018097616A (ja) 数値制御装置及び機械学習装置
JP2017134786A (ja) 製造機械の異常の原因を発見するセル制御装置
US20230115878A1 (en) Machine learning method for anomaly detection in an electrical system
JP6993483B2 (ja) ロボット装置の異常を検出する方法
US11947863B2 (en) Intelligent audio analytic apparatus (IAAA) and method for space system
JP2012230703A (ja) 異常検知方法及びシステム
JP7367226B2 (ja) 音波分離ニューラルネットワークを用いた製造自動化
WO2011083087A1 (en) Method for processing workpieces by means of a cognitive processing head and a cognitive processing head using the same
US20230088241A1 (en) Machine learning method for leakage detection in a pneumatic system
KR20220102940A (ko) 사운드 기반 다중 기기 운영 모니터링 방법과 이를 위한 시스템
Polenghi et al. A framework for fault detection and diagnostics of articulated collaborative robots based on hybrid series modelling of Artificial Intelligence algorithms
CN117672255B (zh) 基于人工智能和设备运行声音的异常设备识别方法及系统
CN110727669A (zh) 一种电力系统传感器数据清理装置及清理方法
JP6937961B1 (ja) データ処理装置、データ処理方法およびデータ処理プログラム
Casusol et al. Optimal window size for the extraction of features for tool wear estimation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231011

R150 Certificate of patent or registration of utility model

Ref document number: 7367226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150