WO2018198315A1 - コンピュータシステム、設備異常音判定方法及びプログラム - Google Patents
コンピュータシステム、設備異常音判定方法及びプログラム Download PDFInfo
- Publication number
- WO2018198315A1 WO2018198315A1 PCT/JP2017/016937 JP2017016937W WO2018198315A1 WO 2018198315 A1 WO2018198315 A1 WO 2018198315A1 JP 2017016937 W JP2017016937 W JP 2017016937W WO 2018198315 A1 WO2018198315 A1 WO 2018198315A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sound
- abnormal
- normal
- equipment
- unknown
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
Definitions
- the present invention relates to a computer system, an equipment abnormal sound judging method, and a program for judging an abnormal sound of equipment in a facility.
- abnormality is determined based on external factors (temperature, atmospheric pressure, humidity, speed, acceleration, pressure, tension, load, etc.).
- the external factor of the target device is acquired as sensing data, and based on the reference sound data generated based on this and the sound data emitted by the target device, the abnormality of the target device Has been disclosed (see Patent Document 1).
- Patent Document 1 since the types and patterns of failure targets are diverse, it is difficult to perform machine learning. This is because, when machine learning is performed with the abnormal sound of the failed device as correct answer data, it is necessary to discover the failed device and record the abnormal sound emitted by this device to be learned as correct data. This was because it took a great deal of time and effort to acquire.
- An object of the present invention is to provide a computer system, an equipment abnormal sound determination method, and a program that make it easy to execute machine learning by machine learning normal sound and detecting abnormal sound when it is different from the normal sound.
- the present invention provides the following solutions.
- the present invention is a computer system for determining abnormal sound of equipment in a facility, Normal sound acquisition means for acquiring normal sound when the equipment is normal; Machine learning means for machine learning of the waveform of the normal sound; An unknown sound acquisition means for acquiring an unknown unknown sound whether the equipment is normal or abnormal, Detecting means for detecting an abnormal point of the waveform of the unknown sound different from the machine-learned result; When the abnormal point satisfies a predetermined condition, a determination unit that determines that an abnormal sound has occurred at the abnormal point; A computer system is provided.
- a computer system for determining an abnormal sound of equipment in a facility acquires a normal sound when the equipment is normal, performs machine learning on the waveform of the normal sound, and the equipment is normal. If an abnormal point of the unknown sound waveform that is different from the machine-learned result is detected and the abnormal point satisfies a predetermined condition, an abnormal point is detected at the abnormal point. It is determined that sound has occurred.
- the present invention is a computer system category, but the same operation / effect according to the category is exhibited also in other categories such as the equipment abnormal sound determination method and program.
- FIG. 1 is a diagram showing an outline of an equipment abnormal sound determination system 1.
- FIG. 2 is an overall configuration diagram of the equipment abnormal sound determination system 1.
- FIG. 3 is a functional block diagram of the computer 10 and the portable terminal 100.
- FIG. 4 is a flowchart showing normal sound learning processing executed by the computer 10 and the portable terminal 100.
- FIG. 5 is a flowchart showing an unknown sound determination process executed by the computer 10 and the portable terminal 100.
- FIG. 6 is a flowchart showing unknown sound determination processing executed by the computer 10 and the portable terminal 100.
- FIG. 1 is a diagram for explaining an outline of an equipment abnormal sound determination system 1 which is a preferred embodiment of the present invention.
- the equipment abnormal sound determination system 1 includes a computer 10 and a mobile terminal 100, and is a computer system that determines abnormal sound of equipment in a facility.
- the number of computers 10 and portable terminals 100 can be changed as appropriate.
- the computer 10 and the mobile terminal 100 are not limited to actual devices, and may be virtual devices.
- each process described below may be realized by either or both of the computer 10 and the mobile terminal 100.
- the computer 10 is a computer device connected to the mobile terminal 100 so as to be able to perform data communication.
- the mobile terminal 100 is a terminal device connected to the computer 10 so as to be able to perform data communication.
- the portable terminal 100 is, for example, a mobile phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head-mounted display, etc. Wearable terminals and other items.
- the mobile terminal 100 acquires a normal sound, which is a sound when the facilities (piping, various devices, etc.) are normal (step S01).
- the mobile terminal 100 collects normal sounds using a microphone or the like that the mobile terminal 100 has.
- the portable terminal 100 collects sound of equipment considered to be normal, such as newly installed equipment.
- the mobile terminal 100 transmits normal sound data indicating the acquired normal sound to the computer 10 (step S02).
- the computer 10 receives normal sound data.
- the computer 10 acquires normal sound by receiving normal sound data.
- the computer 10 performs machine learning on the waveform of the normal sound based on the normal sound data (step S03). For example, at a predetermined point, the computer 10 learns whether the waveform rises normally or descends normally. As a result of machine learning, the computer 10 can probabilistically determine whether the waveform rise or fall at a predetermined point is normal.
- the portable terminal 100 acquires an unknown unknown sound whether the equipment is normal or abnormal (step S04).
- the mobile terminal 100 collects unknown sounds using its own microphone or the like, similar to normal sounds.
- the portable terminal 100 collects, as an unknown sound, the sound of a facility that is considered to be normal, abnormal, or unknown, such as equipment currently used.
- the portable terminal 100 transmits unknown sound data indicating the acquired unknown sound to the computer 10 (step S05).
- the computer 10 receives unknown sound data.
- the computer 10 acquires the unknown sound by receiving the unknown sound data.
- the computer 10 extracts the acquired unknown sound waveform (step S06).
- the computer 10 extracts unknown sound data by excluding environmental sounds (for example, natural sounds, sounds made by users, etc.) included in the unknown sound data from the unknown sound data. This environmental sound is excluded based on known sound data stored in advance by the computer 10.
- the computer 10 compares the machine-learned normal sound waveform with the extracted unknown sound waveform, and detects an abnormal point in the unknown sound waveform (step S07).
- the computer 10 compares the machine-learned result with the extracted unknown sound waveform to determine whether there is an unknown sound waveform different from the machine-learned waveform result. Detects abnormal points in unknown sound waveforms.
- the computer 10 determines whether the waveform of the normal sound at this point coincides with either rise or fall. Based on this, it is determined whether it is normal or abnormal.
- the computer 10 determines that it is normal, and when the normal sound waveform rises, the unknown sound waveform falls Judge that it is abnormal. Further, the computer 10 determines that an abnormality occurs when the waveform of the unknown sound rises at the point where the waveform of the normal sound falls, and when the waveform of the unknown sound falls at the point where the waveform of the normal sound falls Judge that it is normal. Further, the computer 10 determines the abnormal point of the unknown sound waveform based on the difference between the time when the change in the unknown sound waveform occurs and the time when the change similar to the unknown sound waveform occurs in the machine-learned normal sound waveform. Is detected.
- the computer 10 determines whether or not the abnormal sound generated at the abnormal point satisfies a predetermined condition, and determines that the abnormal sound is generated at the abnormal point when the predetermined condition is satisfied (step S08). For example, the computer 10 determines that an abnormal sound has occurred at the abnormal point when the abnormal point has occurred a predetermined number of times or more as a predetermined condition, or when the abnormal point has existed for a predetermined period or more.
- FIG. 2 is a diagram showing a system configuration of the equipment abnormal sound determination system 1 which is a preferred embodiment of the present invention.
- the equipment abnormal sound determination system 1 includes a computer 10, a portable terminal 100, and a public line network (Internet network, third and fourth generation communication networks, etc.) 5, and is a computer that determines abnormal sound of equipment in a facility. System.
- each apparatus which comprises the equipment abnormal sound determination system 1 can be changed suitably.
- the equipment abnormal sound determination system 1 is not limited to a real device, and may be realized by virtual devices.
- each process mentioned later may be implement
- the computer 10 is the above-described computer device having the functions described below.
- the mobile terminal 100 is the above-described terminal device having the functions described below.
- FIG. 3 is a functional block diagram of the computer 10 and the mobile terminal 100.
- the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12. For example, a Wi-Fi (Wireless-Fidelity) compatible device or the like compliant with IEEE 802.11 is provided.
- the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13.
- the computer 10 includes various devices that perform various calculations, processes, machine learning, and the like as the processing unit 14.
- the control unit 11 reads a predetermined program, thereby realizing the data reception module 20 and the abnormality notification transmission module 21 in cooperation with the communication unit 12. Further, in the computer 10, the control unit 11 reads a predetermined program, thereby realizing the storage module 30 in cooperation with the storage unit 13.
- the waveform extraction module 40, the machine learning module 41, the point detection module 42, the abnormality determination module 43, and the analysis module 44 cooperate with the processing unit 14. Is realized.
- the portable terminal 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a device for enabling communication with other devices as the communication unit 120.
- the portable terminal 100 serves as an input / output unit 140 that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that accepts input from the user, and collects sound.
- Various devices such as a sound collecting device for sound are provided.
- the data transmission module 150 and the abnormality notification reception module 151 are realized in cooperation with the communication unit 120 by the control unit 110 reading a predetermined program.
- the control unit 110 reads a predetermined program, thereby realizing the sound collection module 170, the input reception module 171, and the display module 172 in cooperation with the input / output unit 140.
- FIG. 4 is a diagram illustrating a flowchart of normal sound learning processing executed by the computer 10 and the mobile terminal 100. The processing executed by the modules of each device described above will be described together with this processing.
- the sound collection module 170 collects a normal sound that is a sound when the facilities (piping, various devices, etc.) are normal (step S10).
- the sound collection module 170 collects normal sounds using a sound collection device such as a microphone that the sound collection module 170 has.
- the sound collection module 170 collects, as a normal sound, the sound of a facility that is considered to be normal, such as a newly installed facility or a facility that has just been maintained.
- the mobile terminal 100 acquires normal sound by collecting normal sound.
- the input receiving module 171 receives an input of the identifier of the equipment collected this time (step S11).
- the input reception module 171 receives an input using, for example, a name, an installation location, and a model as an identifier.
- the data transmission module 150 transmits the acquired normal sound and the identifier of the equipment that acquired the normal sound to the computer 10 as normal sound data (step S12).
- the data receiving module 20 receives normal sound data.
- the computer 10 receives the normal sound data to acquire the normal sound of the equipment.
- the waveform extraction module 40 extracts the waveform of this normal sound from the acquired normal sound (step S13).
- step S ⁇ b> 13 the waveform extraction module 40 extracts the normal sound waveform of the facility by excluding the environmental sound and noise included in the normal sound.
- the environmental sound is, for example, natural sound, noise in the facility, or voice emitted by the user.
- the waveform extraction module 40 refers to the waveforms and frequencies of these sounds stored in the storage module 30 in advance, and excludes the waveforms and frequencies of these sounds included in the normal sound data. Exclude environmental sounds and noise.
- the machine learning module 41 performs machine learning using the extracted normal sound as teacher data (step S14).
- step S14 the machine learning module 41 performs machine learning on the waveform of the normal sound and the time of this waveform.
- the machine learning module 41 performs machine learning as to whether the waveform of the normal sound rises from a specific point or falls.
- the normal sound when the equipment is normal has a similar waveform, although there are some differences, and therefore, a predetermined point (for example, 10 seconds, 15 seconds, 20 seconds, 31 It is possible to probabilistically determine whether the waveform rises or falls after 2 seconds).
- the machine learning module 41 machine-learns the change in the waveform, which is considered to be probable to be normal, as normal.
- the machine learning module 41 performs machine learning on the change in the waveform of the normal sound at each point.
- the storage module 30 stores the learning result (step S15).
- step S15 the storage module 30 stores the change in the waveform of the normal sound at each point obtained as a learning result and the identifier of the facility that acquired the normal sound in association with each other.
- the sound collection module 170 collects an unknown sound of the equipment (step S20).
- the sound collection module 170 collects the unknown sound of this equipment because the equipment is normal, abnormal, or unknown.
- the portable terminal 100 acquires an unknown sound by collecting the unknown sound.
- the input receiving module 171 receives the input of the identifier of the equipment collected this time (step S21).
- the input reception module 171 inputs, for example, a name, an installation location, and a model as an identifier.
- the data transmission module 150 transmits the acquired unknown sound and the identifier of the equipment that acquired the unknown sound to the computer 10 as unknown sound data (step S22).
- the data receiving module 20 receives unknown sound data.
- the computer 10 acquires the unknown sound of the equipment by receiving the unknown sound data.
- the waveform extraction module 40 extracts the waveform of this unknown sound from the acquired unknown sound (step S23).
- step S ⁇ b> 23 the waveform extraction module 40 extracts the waveform of the unknown sound of the facility by excluding the environmental sound and noise included in the unknown sound.
- the waveform extraction module 40 refers to the waveform and frequency of environmental sound and noise stored in advance in the storage module 30 and excludes the waveform and frequency of these sounds included in the unknown sound data, thereby removing the unknown sound. Exclude environmental sounds and noise from the data.
- the point detection module 42 detects an abnormal point of the unknown sound waveform from the result of machine learning of the normal sound and the extracted unknown sound waveform (step S24).
- step S ⁇ b> 24 the point detection module 42 detects, as an abnormal point, a point where a waveform change different from the machine-learned result occurs in the unknown sound waveform. For example, as a result of machine learning, the point detection module 42 detects this point as an abnormal point when the waveform of the unknown sound does not rise at a point that should rise if it is a normal sound.
- the point detection module 42 detects this point as an abnormal point when the waveform of the unknown sound is not lowered at the point to be lowered if it is a normal sound as a result of machine learning.
- the point detection module 42 also detects this point as an abnormal point when the waveform of the unknown sound rises or falls at a point that does not rise or fall if it is a normal sound as a result of machine learning.
- the point detection module 42 detects this point as an abnormal point when a change occurs in the waveform of the unknown sound at a time different from the time at the point where the change occurs in the waveform of the normal sound. At this time, the difference between the time when the change in the waveform of the normal sound occurs and the time when the change in the waveform of the unknown sound occurs is detected as a shifted period.
- the abnormality determination module 43 determines whether or not the detected abnormality point satisfies a predetermined condition (whether it has occurred a predetermined number of times or has occurred for a predetermined period) (step S25). In step S25, for example, the abnormality determination module 43 satisfies a predetermined condition when the number of occurrences of abnormal points has been detected a predetermined number of times or more (eg, 3 times or more, 5 times or more, 10 times or more). Is determined.
- the abnormality determination module 43 when the occurrence time of the abnormal point is shifted from the occurrence time of the waveform change in the normal sound by a predetermined period or more (for example, 3 seconds or more, 5 seconds or more, 10 seconds or more), It is determined that a predetermined condition is satisfied.
- step S25 when the abnormality determination module 43 determines that the predetermined condition is not satisfied (NO in step S25), the process ends.
- step S25 determines that the predetermined condition is satisfied (YES in step S25).
- the analysis module 44 analyzes the content of the abnormal sound generated at the abnormal point based on the determination result (step S27). In step S27, the analysis module 44 analyzes the content of the abnormal sound based on the change and frequency of the waveform of the unknown sound at the abnormal point. The analysis module 44 analyzes, for example, the occurrence location, symptom, response method, safety, and urgency as the content of the abnormality. The analysis module 44 analyzes the content of the abnormality based on a waveform change amount, a frequency per unit time, and the like.
- analysis module 44 may analyze the content of the abnormal sound by other methods.
- the abnormality notification transmission module 21 transmits the content of the abnormal sound obtained as a result of the analysis and the identifier of the facility where the abnormal sound is generated as an abnormality notification to the mobile terminal 100 (step S28).
- the abnormality notification may be only the content of the abnormal sound.
- the abnormality notification receiving module 151 receives the abnormality notification. Based on the received abnormality notification, the display module 172 displays the contents of the abnormal sound generated in the facility and the identifier of the facility where the abnormal sound is generated as the abnormality notification (step S29). Note that when the abnormality notification is only the content of the abnormal sound, the display module 151 may display only the content of the abnormal sound.
- the computer 10 may be configured to notify the mobile terminal 100 that an abnormal sound has occurred.
- the portable terminal 100 may display that abnormal sound is generated in the facility.
- the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
- the program is provided, for example, in a form (SaaS: Software as a Service) provided from a computer via a network.
- the program is provided in a form recorded on a computer-readable recording medium such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.).
- the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
- the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Abstract
正常音を機械学習し、それと異なった場合に異常音と検出することにより、機械学習を実行させることが容易となるコンピュータシステム、設備異常音判定方法及びプログラムを提供することを目的として、本発明の施設内にある設備の異常音を判定するコンピュータシステムは、前記設備が正常な時の正常音を取得し、前記正常音の波形を機械学習し、前記設備が正常であるか異常であるか未知の未知音を取得し、前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出し、前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定する。
Description
本発明は、施設内にある設備の異常音を判定するコンピュータシステム、設備異常音判定方法及びプログラムに関する。
近年、施設内にある設備の一部又は全部が故障した際、発生した異音及び故障個所を特定することにより、異音と故障発生箇所の相関を作成することが行われている。さらに、この相関に加えて、外的要因(温度、気圧、湿度、速度、加速度、圧力、張力、荷重等)に基づいて、異常を判定することが行われている。
このような異常を判定する構成として、対象機器の外的要因をセンシングデータとして取得し、これに基づいて生成した基準音データと、対象機器が発した音データとに基づいて、対象機器の異常を診断する構成が開示されている(特許文献1参照)。
しかしながら、特許文献1の構成では、故障対象の種類やパターンが多岐にわたることから、機械学習させることが困難であった。これは、故障した機器の異音を正解データとして、機械学習させる際、故障した機器を発見するとともに、この機器が発した異音を録音し、正解データとして学習させる必要があるため、サンプルの取得に多大な手間がかかるためであった。
本発明は、正常音を機械学習し、それと異なった場合に異常音と検出することにより、機械学習を実行させることが容易となるコンピュータシステム、設備異常音判定方法及びプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
本発明は、施設内にある設備の異常音を判定するコンピュータシステムであって、
前記設備が正常な時の正常音を取得する正常音取得手段と、
前記正常音の波形を機械学習する機械学習手段と、
前記設備が正常であるか異常であるか未知の未知音を取得する未知音取得手段と、
前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出する検出手段と、
前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定する判定手段と、
を備えることを特徴とするコンピュータシステムを提供する。
前記設備が正常な時の正常音を取得する正常音取得手段と、
前記正常音の波形を機械学習する機械学習手段と、
前記設備が正常であるか異常であるか未知の未知音を取得する未知音取得手段と、
前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出する検出手段と、
前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定する判定手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明によれば、施設内にある設備の異常音を判定するコンピュータシステムは、前記設備が正常な時の正常音を取得し、前記正常音の波形を機械学習し、前記設備が正常であるか異常であるか未知の未知音を取得し、前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出し、前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定する。
本発明は、コンピュータシステムのカテゴリであるが、設備異常音判定方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
本発明によれば、機械学習を実行させることが容易となるコンピュータシステム、設備異常音判定方法及びプログラムを提供することが可能となる。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。
[設備異常音判定システム1の概要]
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である設備異常音判定システム1の概要を説明するための図である。設備異常音判定システム1は、コンピュータ10、携帯端末100から構成され、施設内にある設備の異常音を判定するコンピュータシステムである。
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態である設備異常音判定システム1の概要を説明するための図である。設備異常音判定システム1は、コンピュータ10、携帯端末100から構成され、施設内にある設備の異常音を判定するコンピュータシステムである。
なお、図1において、コンピュータ10、携帯端末100の数は、適宜変更可能である。また、コンピュータ10、携帯端末100は、実在する装置に限らず、仮想的な装置であってもよい。また、後述する各処理は、コンピュータ10、携帯端末100の何れか又は双方により実現されてもよい。
コンピュータ10は、携帯端末100とデータ通信可能に接続されたコンピュータ装置である。
携帯端末100は、コンピュータ10とデータ通信可能に接続された端末装置である。携帯端末100は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
はじめに、携帯端末100は、設備(配管、各種機器等)の正常な時の音である正常音を取得する(ステップS01)。携帯端末100は、自身が有するマイク等により、正常音を集音する。携帯端末100は、正常音として、例えば、新規に設置された設備等の正常であると考えられる設備の音を集音する。
携帯端末100は、取得した正常音を示す正常音データを、コンピュータ10に送信する(ステップS02)。
コンピュータ10は、正常音データを受信する。コンピュータ10は、正常音データを受信することにより、正常音を取得する。
コンピュータ10は、この正常音データに基づいて、正常音の波形を機械学習する(ステップS03)。コンピュータ10は、例えば、所定のポイントで、波形が上昇するのが正常なのか又は下降するのが正常なのかを学習する。コンピュータ10は、機械学習の結果として、所定のポイントにおける波形の上昇又は下降の何れかが正常なのかを確率的に判断することが可能となる。
携帯端末100は、設備が正常であるか異常であるか未知の未知音を取得する(ステップS04)。携帯端末100は、正常音と同様に、自身が有するマイク等により、未知音を集音する。携帯端末100は、未知音として、現在使用する設備等の正常であるか異常であるか未知であると考えられる設備の音を集音する。
携帯端末100は、取得した未知音を示す未知音データを、コンピュータ10に送信する(ステップS05)。
コンピュータ10は、未知音データを受信する。コンピュータ10は、未知音データ受信することにより、未知音を取得する。
コンピュータ10は、取得した未知音の波形を抽出する(ステップS06)。コンピュータ10は、未知音データに含まれる環境音(例えば、自然音、ユーザ等が発した音声)を、未知音データから除外することにより、未知音データを抽出する。この環境音は、予めコンピュータ10が記憶する既知な音データに基づいて、除外する。
コンピュータ10は、機械学習した正常音の波形と、抽出した未知音の波形とを比較し、未知音の波形の異常ポイントを検出する(ステップS07)。コンピュータ10は、機械学習された結果と、抽出された未知音の波形とを比較することにより、機械学習された波形の結果と異なる未知音の波形が存在するか否かを判定することにより、未知音の波形の異常ポイントを検出する。コンピュータ10は、機械学習した結果、未知音の波形が、所定のポイントで上昇又は下降の何れかが発生した際、このポイントにおける正常音の波形が上昇又は下降の何れかと一致するか否かに基づいて、正常であるか異常であるかを判定する。すなわち、コンピュータ10は、正常音の波形が上昇したポイントで、未知音の波形が上昇した場合、正常であると判断し、正常音の波形が上昇したポイントで、未知音の波形が下降した場合、異常であると判断する。また、コンピュータ10は、正常音の波形が下降したポイントで、未知音の波形が上昇した場合、異常であると判断し、正常音の波形が下降したポイントで、未知音の波形が下降した場合、正常であると判断する。また、コンピュータ10は、未知音の波形において変化が発生した時間と、機械学習した正常音の波形において未知音の波形と同様の変化が発生した時間との差により、未知音の波形の異常ポイントを検出する。
コンピュータ10は、異常ポイントで発生した異常音が所定の条件を満たしたか否かを判定し、所定の条件を満たした場合に、この異常ポイントで異常音が発生したと判定する(ステップS08)。コンピュータ10は、例えば、所定の条件として、異常ポイントが所定の回数以上あった場合、異常ポイントが所定の期間以上あった場合に、この異常ポイントで異常音が発生したと判定する。
以上が、設備異常音判定システム1の概要である。
[設備異常音判定システム1のシステム構成]
図2に基づいて、本発明の好適な実施形態である設備異常音判定システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である設備異常音判定システム1のシステム構成を示す図である。設備異常音判定システム1は、コンピュータ10、携帯端末100、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、施設内にある設備の異常音を判定するコンピュータシステムである。
図2に基づいて、本発明の好適な実施形態である設備異常音判定システム1のシステム構成について説明する。図2は、本発明の好適な実施形態である設備異常音判定システム1のシステム構成を示す図である。設備異常音判定システム1は、コンピュータ10、携帯端末100、公衆回線網(インターネット網や、第3、第4世代通信網等)5から構成され、施設内にある設備の異常音を判定するコンピュータシステムである。
なお、設備異常音判定システム1を構成する各装置類の数及びその種類は、適宜変更可能である。また、設備異常音判定システム1は、実在する装置に限らず、仮想的な装置類により実現されてもよい。また、後述する各処理は、設備異常音判定システム1を構成する各装置類の何れか又は双方により実現されてもよい。
コンピュータ10は、後述の機能を備えた上述したコンピュータ装置である。
携帯端末100は、後述の機能を備えた上述した端末装置である。
[各機能の説明]
図3に基づいて、本発明の好適な実施形態である設備異常音判定システム1の機能について説明する。図3は、コンピュータ10、携帯端末100の機能ブロック図を示す図である。
図3に基づいて、本発明の好適な実施形態である設備異常音判定システム1の機能について説明する。図3は、コンピュータ10、携帯端末100の機能ブロック図を示す図である。
コンピュータ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWi―Fi(Wireless―Fidelity)対応デバイス等を備える。また、コンピュータ10は、記憶部13として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部14として、各種計算、処理、機械学習等を実行する各種デバイス等を備える。
コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、通信部12と協働して、データ受信モジュール20、異常通知送信モジュール21を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、記憶部13と協働して、記憶モジュール30を実現する。また、コンピュータ10において、制御部11が所定のプログラムを読み込むことにより、処理部14と協働して、波形抽出モジュール40、機械学習モジュール41、ポイント検出モジュール42、異常判定モジュール43、分析モジュール44を実現する。
携帯端末100は、コンピュータ10と同様に、制御部110として、CPU、RAM、ROM等を備え、通信部120として、他の機器と通信可能にするためのデバイスを備える。また、携帯端末100は、入出力部140として、制御部110で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、音を集音する集音デバイス等の各種デバイスを備える。
携帯端末100において、制御部110が所定のプログラムを読み込むことにより、通信部120と協働して、データ送信モジュール150、異常通知受信モジュール151を実現する。また、携帯端末100において、制御部110が所定のプログラムを読み込むことにより、入出力部140と協働して、集音モジュール170、入力受付モジュール171、表示モジュール172を実現する。
[正常音学習処理]
図4に基づいて、設備異常音判定システム1が実行する正常音学習処理について説明する。図4は、コンピュータ10、携帯端末100が実行する正常音学習処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図4に基づいて、設備異常音判定システム1が実行する正常音学習処理について説明する。図4は、コンピュータ10、携帯端末100が実行する正常音学習処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
初めに、集音モジュール170は、設備(配管、各種機器等)の正常な時の音である正常音を集音する(ステップS10)。ステップS10において、集音モジュール170は、自身が有するマイク等の集音装置により、正常音を集音する。集音モジュール170は、例えば、新規に設置された設備、メンテナンスが行われたばかりの設備といった正常であると考えられる設備の音を正常音として集音する。携帯端末100は、正常音を集音することにより、正常音を取得する。
入力受付モジュール171は、今回集音した設備の識別子の入力を受け付ける(ステップS11)。ステップS11において、入力受付モジュール171は、例えば、名称、設置場所、型式を識別子として入力を受け付ける。
データ送信モジュール150は、取得した正常音及びこの正常音を取得した設備の識別子を、正常音データとして、コンピュータ10に送信する(ステップS12)。
データ受信モジュール20は、正常音データを受信する。コンピュータ10は、正常音データを受信することにより、設備の正常音を取得する。
波形抽出モジュール40は、取得した正常音から、この正常音の波形を抽出する(ステップS13)。ステップS13において、波形抽出モジュール40は、この正常音に含まれる環境音やノイズ等を除外することにより、設備の正常音の波形を抽出する。環境音とは、例えば、自然音、設備内の騒音、ユーザが発した音声である。波形抽出モジュール40は、例えば、予め記憶モジュール30が記憶するこれらの音の波形や周波数を参照し、正常音データに含まれるこれらの音の波形や周波数を、除外することにより、正常音データから、環境音やノイズ等を除外する。
機械学習モジュール41は、抽出した正常音を教師データとして、機械学習する(ステップS14)。ステップS14において、機械学習モジュール41は、正常音の波形及びこの波形の時間を機械学習する。機械学習モジュール41は、正常音の波形が、特定のポイントから上昇するのか下降するのかのどちらが正常なのかを機械学習する。設備が正常である時の正常音は、多少の差異が発生するものの、類似した波形になることから、所定のポイント(例えば、集音開始から10秒後、15秒後、20秒後、31秒後)で波形が、上昇するのか又は下降するのかの何れかが正常であるかを確率的に判定することが可能となる。機械学習モジュール41は、この正常であることが確率的に高いと思われる波形の変化を、正常であると機械学習する。例えば、所定のポイントで波形が上昇した確率が、95%であり、下降した確率が、5%である場合、このポイントにおいて波形が上昇することが正常であると機械学習する。機械学習モジュール41は、この確率に基づいて、各ポイントにおける正常音の波形の変化を機械学習する。
記憶モジュール30は、学習結果を記憶する(ステップS15)。ステップS15において、記憶モジュール30は、学習結果として得られた各ポイントにおける正常音の波形の変化と、この正常音を取得した設備の識別子とを対応付けて記憶する。
以上が、正常音学習処理である。
[未知音判定処理]
図5及び図6に基づいて、設備異常音判定システム1が実行する未知音判定処理について説明する。図5及び図6は、コンピュータ10、携帯端末100が実行する未知音判定処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図5及び図6に基づいて、設備異常音判定システム1が実行する未知音判定処理について説明する。図5及び図6は、コンピュータ10、携帯端末100が実行する未知音判定処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
初めに、集音モジュール170は、設備の未知音を集音する(ステップS20)。ステップS20において、集音モジュール170は、設備が正常であるか異常であるか未知であることから、この設備の未知音を集音する。携帯端末100は、未知音を集音することにより、未知音を取得する。
入力受付モジュール171は、今回集音した設備の識別子の入力を受け付ける(ステップS21)。ステップS21において、入力受付モジュール171は、例えば、名称、設置場所、型式を識別子として入力する。
データ送信モジュール150は、取得した未知音及びこの未知音を取得した設備の識別子を、未知音データとして、コンピュータ10に送信する(ステップS22)。
データ受信モジュール20は、未知音データを受信する。コンピュータ10は、未知音データを受信することにより、設備の未知音を取得する。
波形抽出モジュール40は、取得した未知音から、この未知音の波形を抽出する(ステップS23)。ステップS23において、波形抽出モジュール40は、この未知音に含まれる環境音やノイズ等を除外することにより、設備の未知音の波形を抽出する。波形抽出モジュール40は、例えば、予め記憶モジュール30が記憶する環境音やノイズ等の波形や周波数を参照し、未知音データに含まれるこれらの音の波形や周波数を、除外することにより、未知音データから、環境音やノイズ等を除外する。
ポイント検出モジュール42は、正常音を機械学習した結果と、抽出した未知音の波形とから、未知音の波形の異常ポイントを検出する(ステップS24)。ステップS24において、ポイント検出モジュール42は、未知音の波形のうち、機械学習した結果と異なる波形の変化が発生しているポイントを異常ポイントとして検出する。例えば、ポイント検出モジュール42は、機械学習の結果、正常音なら上昇すべきポイントにおいて、未知音の波形が、上昇していない場合、このポイントを異常ポイントとして検出する。また、ポイント検出モジュール42は、機械学習の結果、正常音なら下降すべきポイントにおいて、未知音の波形が、下降していない場合、このポイントを異常ポイントとして検出する。また、ポイント検出モジュール42は、機械学習の結果、正常音なら上昇も下降もしないポイントにおいて、未知音の波形が、上昇又は下降している場合、このポイントを異常ポイントとして検出する。
ポイント検出モジュール42は、機械学習の結果、正常音の波形に変化が発生したポイントにおける時間とは異なる時間に、未知音の波形に変化が発生した場合、このポイントを異常ポイントとして検出するとともに、このときの正常音の波形に変化が発生した時間と、未知音の波形に変化が発生した時間との差をずれた期間として検出する。
異常判定モジュール43は、検出した異常ポイントが所定の条件(所定の回数以上発生したか、所定の期間以上発生したか等)を満たすか否かを判定する(ステップS25)。ステップS25において、例えば、異常判定モジュール43は、異常ポイントの発生回数が、所定の回数以上(例えば、3回以上、5回以上、10回以上)検出していた場合に、所定の条件を満たすと判定する。また、異常判定モジュール43は、異常ポイントの発生時間が、正常音における波形の変化の発生時間から所定の期間以上(例えば、3秒以上、5秒以上、10秒以上)ずれていた場合に、所定の条件を満たすと判定する。
ステップS25において、異常判定モジュール43は、所定の条件を満たしていないと判定した場合(ステップS25 NO)、本処理を終了する。
一方、ステップS25において、異常判定モジュール43は、所定の条件を満たすと判定した場合(ステップS25 YES)、検出した異常ポイントに異常音が発生したと判定する(ステップS26)。
分析モジュール44は、判定結果に基づいて、この異常ポイントに発生した異常音の内容を分析する(ステップS27)。ステップS27において、分析モジュール44は、異常ポイントにおける未知音の波形の変化及び周波数に基づいて、異常音の内容を分析する。分析モジュール44は、異常の内容として、例えば、発生箇所、症状、対応方法、安全性、緊急性を分析する。分析モジュール44は、異常の内容を、波形の変化量、単位時間当たりの周波数等に基づいて分析する。
なお、分析モジュール44は、その他の方法により、異常音の内容を分析してもよい。
異常通知送信モジュール21は、分析した結果得られた異常音の内容及びこの異常音が発生している設備の識別子を異常通知として、携帯端末100に送信する(ステップS28)。なお、異常通知は、異常音の内容のみであってもよい。
異常通知受信モジュール151は、異常通知を受信する。表示モジュール172は、受信した異常通知に基づいて、異常通知として、設備に発生した異常音の内容及び異常音が発生している施設の識別子を表示する(ステップS29)。なお、表示モジュール151は、異常通知が、異常音の内容のみである場合、異常音の内容のみを表示すればよい。
なお、上述したステップS27~S29の処理において、コンピュータ10は、異常音が発生していることを携帯端末100に通知する構成であってもよい。この場合、携帯端末100は、設備に異常音が発生していることを表示すればよい。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 設備異常音判定システム、10 コンピュータ、100 携帯端末
Claims (6)
- 施設内にある設備の異常音を判定するコンピュータシステムであって、
前記設備が正常な時の正常音を取得する正常音取得手段と、
前記正常音の波形を機械学習する機械学習手段と、
前記設備が正常であるか異常であるか未知の未知音を取得する未知音取得手段と、
前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出する検出手段と、
前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定する判定手段と、
を備えることを特徴とするコンピュータシステム。 - 前記機械学習手段は、前記正常音を教師データとして、波形が特定のポイントから上昇するのか下降するのかのどちらが正常なのかを機械学習する、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 前記判定手段は、前記異常ポイントが所定の回数以上あった場合に、当該異常ポイントで異常音が発生したと判定する、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 前記判定手段は、前記異常ポイントが所定の期間以上あった場合に、当該異常ポイントで異常音が発生したと判定する、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 施設内にある設備の異常音を判定するコンピュータシステムが実行する設備異常音判定方法であって、
前記設備が正常な時の正常音を取得するステップと、
前記正常音の波形を機械学習するステップと、
前記設備が正常であるか異常であるか未知の未知音を取得するステップと、
前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出するステップと、
前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定するステップと、
を備えることを特徴とする設備異常音判定方法。 - 施設内にある設備の異常音を判定するコンピュータシステムに、
前記設備が正常な時の正常音を取得するステップ、
前記正常音の波形を機械学習するステップ、
前記設備が正常であるか異常であるか未知の未知音を取得するステップ、
前記機械学習された結果と異なる前記未知音の波形の異常ポイントを検出するステップ、
前記異常ポイントが所定の条件を満たす場合に、当該異常ポイントで異常音が発生したと判定するステップ、
を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/016937 WO2018198315A1 (ja) | 2017-04-28 | 2017-04-28 | コンピュータシステム、設備異常音判定方法及びプログラム |
JP2018550479A JP6441550B1 (ja) | 2017-04-28 | 2017-04-28 | コンピュータシステム、設備異常音判定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/016937 WO2018198315A1 (ja) | 2017-04-28 | 2017-04-28 | コンピュータシステム、設備異常音判定方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018198315A1 true WO2018198315A1 (ja) | 2018-11-01 |
Family
ID=63918971
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/016937 WO2018198315A1 (ja) | 2017-04-28 | 2017-04-28 | コンピュータシステム、設備異常音判定方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6441550B1 (ja) |
WO (1) | WO2018198315A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111578983A (zh) * | 2019-02-15 | 2020-08-25 | 瑞萨电子株式会社 | 异常检测装置、异常检测系统以及异常检测方法 |
JP2020183939A (ja) * | 2019-04-29 | 2020-11-12 | 富士通株式会社 | ギアボックスの異常検出方法及び情報処理装置 |
JP2022091691A (ja) * | 2020-12-09 | 2022-06-21 | トランスポーテーション アイピー ホールディングス,エルエルシー | 機器を診断するためのシステムおよび方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110470383A (zh) * | 2019-09-18 | 2019-11-19 | 李桦楠 | 一种基于声波监测和机器学习的机械构件运行状态的检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070056376A1 (en) * | 2005-09-13 | 2007-03-15 | Rolls-Royce Plc | Health monitoring |
JP2007079263A (ja) * | 2005-09-15 | 2007-03-29 | Canon Inc | 画像形成装置、画像形成システム、及び画像形成装置の制御方法 |
WO2013105164A1 (ja) * | 2012-01-13 | 2013-07-18 | 日本電気株式会社 | 異常信号判定装置、異常信号判定方法、および異常信号判定プログラム |
JP2014052275A (ja) * | 2012-09-07 | 2014-03-20 | Aisin Seiki Co Ltd | 音響検査装置及び方法 |
JP2014190841A (ja) * | 2013-03-27 | 2014-10-06 | Omiya Ind Co Ltd | アンカーボルト異常検出システム |
-
2017
- 2017-04-28 JP JP2018550479A patent/JP6441550B1/ja active Active
- 2017-04-28 WO PCT/JP2017/016937 patent/WO2018198315A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070056376A1 (en) * | 2005-09-13 | 2007-03-15 | Rolls-Royce Plc | Health monitoring |
JP2007079263A (ja) * | 2005-09-15 | 2007-03-29 | Canon Inc | 画像形成装置、画像形成システム、及び画像形成装置の制御方法 |
WO2013105164A1 (ja) * | 2012-01-13 | 2013-07-18 | 日本電気株式会社 | 異常信号判定装置、異常信号判定方法、および異常信号判定プログラム |
JP2014052275A (ja) * | 2012-09-07 | 2014-03-20 | Aisin Seiki Co Ltd | 音響検査装置及び方法 |
JP2014190841A (ja) * | 2013-03-27 | 2014-10-06 | Omiya Ind Co Ltd | アンカーボルト異常検出システム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111578983A (zh) * | 2019-02-15 | 2020-08-25 | 瑞萨电子株式会社 | 异常检测装置、异常检测系统以及异常检测方法 |
JP2020183939A (ja) * | 2019-04-29 | 2020-11-12 | 富士通株式会社 | ギアボックスの異常検出方法及び情報処理装置 |
JP2022091691A (ja) * | 2020-12-09 | 2022-06-21 | トランスポーテーション アイピー ホールディングス,エルエルシー | 機器を診断するためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018198315A1 (ja) | 2019-06-27 |
JP6441550B1 (ja) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6441550B1 (ja) | コンピュータシステム、設備異常音判定方法及びプログラム | |
US11171977B2 (en) | Unsupervised spoofing detection from traffic data in mobile networks | |
US10679135B2 (en) | Periodicity analysis on heterogeneous logs | |
CN109214421B (zh) | 一种模型训练方法、装置、及计算机设备 | |
JP6745840B2 (ja) | 故障診断装置、故障診断方法、及び故障診断プログラム | |
CN112489682B (zh) | 音频处理方法、装置、电子设备和存储介质 | |
US20150242754A1 (en) | Pattern recognition system, pattern recognition method, and computer program product | |
WO2020026829A1 (ja) | 音データ処理方法、音データ処理装置及びプログラム | |
CN110211121B (zh) | 用于推送模型的方法和装置 | |
CN104751852A (zh) | 一种声音处理的方法和装置 | |
CN110704822A (zh) | 提高用户身份验证安全性的方法、装置、服务器及系统 | |
WO2019235035A1 (ja) | 収音解析システム及び収音解析方法 | |
JP6367691B2 (ja) | 報知音感知・識別装置、報知音感知・識別方法、報知音感知・識別プログラム | |
CN110097895B (zh) | 一种纯音乐检测方法、装置及存储介质 | |
CN111194027B (zh) | 一种网络连接方法、装置及系统 | |
CN106713604B (zh) | 信息安全的提示方法及系统 | |
CN110502399B (zh) | 故障检测方法及装置 | |
US10896252B2 (en) | Composite challenge task generation and deployment | |
JP5959063B2 (ja) | 情報の取得を支援する装置及び方法 | |
US20230366729A1 (en) | Trained autoencoder, trained autoencoder generation method, non-stationary vibration detection method, non-stationary vibration detection device, and computer program | |
US20130151897A1 (en) | Diagnostic handling server, diagnostic handling method, and program for the same server | |
JP6225077B2 (ja) | 学習状態監視端末、学習状態監視方法、学習状態監視端末用プログラム | |
CN113726779A (zh) | 规则误报测试方法、装置、电子设备及计算机存储介质 | |
JP2012185195A (ja) | オーディオデータ特徴抽出方法、オーディオデータ照合方法、オーディオデータ特徴抽出プログラム、オーディオデータ照合プログラム、オーディオデータ特徴抽出装置、オーディオデータ照合装置及びオーディオデータ照合システム | |
KR20170006312A (ko) | 건강 상태 추론 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018550479 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17907134 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17907134 Country of ref document: EP Kind code of ref document: A1 |