WO2020255299A1 - 異常度推定装置、異常度推定方法、プログラム - Google Patents

異常度推定装置、異常度推定方法、プログラム Download PDF

Info

Publication number
WO2020255299A1
WO2020255299A1 PCT/JP2019/024312 JP2019024312W WO2020255299A1 WO 2020255299 A1 WO2020255299 A1 WO 2020255299A1 JP 2019024312 W JP2019024312 W JP 2019024312W WO 2020255299 A1 WO2020255299 A1 WO 2020255299A1
Authority
WO
WIPO (PCT)
Prior art keywords
abnormality
degree
estimation
anomaly
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/024312
Other languages
English (en)
French (fr)
Inventor
悠馬 小泉
翔一郎 齊藤
登 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2021528537A priority Critical patent/JP7231027B2/ja
Priority to PCT/JP2019/024312 priority patent/WO2020255299A1/ja
Priority to US17/619,200 priority patent/US12387743B2/en
Publication of WO2020255299A1 publication Critical patent/WO2020255299A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique

Definitions

  • the present invention relates to unsupervised abnormality detection, and relates to an abnormality degree estimation device, an abnormality degree estimation method, and a program.
  • Unsupervised anomaly detection is a problem of determining whether the observation vector x ⁇ R D is normal data or abnormal data.
  • the observation vector x may be a spectrum of sound or an image.
  • Identification result H (A ⁇ (x) - ⁇ )... (1) Will be.
  • H () is a step function that returns 1 if the argument is non-negative and 0 if the argument is negative. That is, according to Eq. (1), the device by this method determines that the observation is abnormal if the identification result is 1, and determines that the observation is normal if the identification result is 0.
  • the above method is used, for example, in Non-Patent Document 1.
  • the degree of anomaly is not defined as “abnormality” of x, but as “dissociation from normality” of x.
  • "normality” is the generation probability of x (ie likelihood)
  • the dissociation from the normality of x can be expressed by, for example, the negative log-likelihood (ie information amount) of the generation probability of x. Therefore, let q ⁇ (x) be the generative model of x with the parameter ⁇ estimated by some method, and define the degree of anomaly as follows.
  • a ⁇ (x) -lnq ⁇ (x)... (2)
  • ⁇ is the following Kullback-Leibler information amount (KL information amount). ) Should be optimized to be minimized.
  • J ⁇ J ⁇
  • an object of the present invention is to provide an abnormality degree estimation device capable of appropriately determining normal data having a low appearance frequency as normal.
  • the abnormality degree estimation device of the present invention is an abnormality degree estimation device that estimates the abnormality degree of the input acoustic signal, and is an abnormality degree estimation model optimized by using a set of normal sounds, and the appearance frequency is high. It includes an estimation unit that estimates the degree of abnormality of an acoustic signal using a model optimized so that the difference between the degree of abnormality in a high normal sound and the degree of abnormality in a normal sound with a low frequency of appearance is minimized.
  • normal data having a low appearance frequency can be appropriately determined to be normal.
  • FIG. 1 The block diagram which shows the structure of the abnormality degree estimation model learning apparatus of Example 1.
  • FIG. The flowchart which shows the operation of the abnormality degree estimation model learning apparatus of Example 1.
  • FIG. The block diagram which shows the structure of the abnormality degree estimation apparatus of Example 1.
  • FIG. The flowchart which shows the operation of the abnormality degree estimation apparatus of Example 1.
  • a ⁇ (x) is learned by minimizing the KL information amount in Eq. (5)
  • a ⁇ (X) is the information amount of the sample with the lowest generation probability in the series. For example, considering Japanese voice, vowels such as "a” and “i” occur frequently, but consonants such as "w” and "p” occur less frequently.
  • the degree of anomaly based on the maximum amount of information in Eq. (9)
  • the degree of anomaly becomes high even though the voice is normal. Therefore, the number of false positives that falsely determine normal as abnormal increases.
  • An intuitive way to solve this problem is to learn ⁇ so as to minimize the maximum amount of information in Eq. (9).
  • a ⁇ (x) is no longer an amount of information, but ⁇ can be learned so as to directly minimize the degree of anomaly in normal data.
  • N samples could be used to obtain one gradient in Eq. (5), but one gradient was obtained in Eq. (10). Only one sample is available. Therefore, the gradient calculation can be unstable, which is also impractical.
  • equation (12) is in the form of the expected value for p (x), it can be approximated by the average value of the following training data.
  • the anomaly degree that minimizes Eq. (9) is output by giving a large weight to the "low-appearance frequency" normal data that has a low probability of existing in the training data and minimizing the average value of the weighted anomaly degree.
  • Anomaly estimation model A ⁇ (x) can be designed.
  • the most common way to use the Gaussian kernel is:
  • ⁇ is a positive constant to avoid division by zero, and a value of about 10 -5 should be set.
  • the * part (first item) in the above formula may be changed.
  • the first term of the above equation may be changed to equation (15). That is, when calculating the average value of normal data obtained by multiplying the degree of abnormality by some weight, the weight can be designed to give a large weight to normal data having a low probability of existing in the training data and having a low frequency of appearance. ..
  • the abnormality degree estimation model learning device 11 of the first embodiment includes a learning data acquisition unit 111, a weight calculation unit 112, a parameter update unit 113, a convergence test unit 114, and an abnormality degree estimation model storage unit. Includes 115.
  • the operation of each configuration requirement will be described in detail with reference to FIG.
  • an acoustic signal can be considered as the data, but the data handled here is not limited to the audio system, but is general data including normal data and abnormal data, and may be, for example, image data.
  • the weight calculation unit 112 calculates the weight so as to give a large weight to the “low-appearance frequency” normal data having a low probability of existing in the training data (S112). Specifically, the formula
  • the weight calculation unit 112 estimates the true distribution p (x) using kernel density estimation.
  • W n in may be calculated as a weight. Further, the weight calculation unit 112 calculates the weight.
  • the parameter update unit 113 updates the parameter ⁇ so as to reduce the value of the cost function J ⁇ using the weight calculated in step S112 (S113).
  • ⁇ Convergence determination unit 114 The convergence test unit 114 determines the convergence of the value of the cost function J ⁇ , and if it has not converged, returns to step S112. Did step S113 repeat a certain number of times (for example, 100,000 times) as a rule for convergence test? Etc. can be used. Repeating step S113 until it converges is equivalent to finding the parameter ⁇ by ⁇ ⁇ argmin ⁇ J ⁇ . As mentioned above, ⁇ ⁇ argmin ⁇ J ⁇ is
  • the parameter ⁇ may be obtained so as to minimize the approximated objective function J ⁇ .
  • the weight w n is
  • the abnormality degree estimation model storage unit 115 stores the parameter ⁇ converged in step S114 and the abnormality degree estimation model A ⁇ (x) (S115).
  • steps S112 and S114 all the data may be used, or a method using a part of all the samples such as the stochastic gradient descent method may be used. Further, in designing the abnormality degree estimation model A ⁇ (x), an autoencoder or the like may be used as in Non-Patent Document 1.
  • the abnormality degree estimation device 12 of the first embodiment includes an abnormality degree estimation model storage unit 120, an abnormality degree estimation data acquisition unit 121, and an estimation unit 122.
  • the operation of each configuration requirement will be described in detail with reference to FIG.
  • the abnormality degree estimation model storage unit 120 stores in advance the abnormality degree estimation model A ⁇ (x) learned (optimized) by the abnormality degree estimation model learning device 11.
  • the abnormality degree estimation data acquisition unit 121 acquires the abnormality degree estimation data (S121).
  • an acoustic signal can be considered as the data, but the data handled here is not limited to the audio system, but is general data including normal data and abnormal data, and may be, for example, image data.
  • the estimation unit 122 is trained (optimized) by the abnormality degree estimation model learning device 11, and estimates the abnormality degree of the above-mentioned data (for example, an acoustic signal) by using a model stored in advance in the abnormality degree estimation model storage unit 120. (S122).
  • the difference between the abnormality degree in the normal data (normal sound) having a high appearance frequency and the abnormality degree in the normal data (normal sound) having a low appearance frequency is the minimum. It is a model trained (optimized) to be.
  • the abnormality degree estimation model used in step S122 includes normal data (normal sound) having a high frequency of appearance as opposed to normal data (normal sound) having a low frequency of appearance in a set of normal data (normal sound). In comparison, it is learned (optimized) by giving a large weight.
  • the anomaly estimation model A ⁇ (x) used in step S122 has a constant probability density in the set of normal sounds ⁇ x
  • the weight w n is
  • the anomaly degree estimation model learning device 11 of the first embodiment when constructing an anomaly detection system for series data, the anomaly degree estimation model A ⁇ (x) is used to reduce false positives that falsely determine normality as anomaly. You can learn. As a result, according to the abnormality degree estimation device 12 of the first embodiment, normal data having a low appearance frequency can be appropriately determined to be normal.
  • the device of the present invention is, for example, as a single hardware entity, an input unit to which a keyboard or the like can be connected, an output unit to which a liquid crystal display or the like can be connected, and a communication device (for example, a communication cable) capable of communicating outside the hardware entity.
  • Communication unit to which can be connected CPU (Central Processing Unit, cache memory, registers, etc.), RAM or ROM which is memory, external storage device which is hard disk, and input unit, output unit, communication unit of these , CPU, RAM, ROM, has a connecting bus so that data can be exchanged between external storage devices.
  • a device (drive) or the like capable of reading and writing a recording medium such as a CD-ROM may be provided in the hardware entity.
  • a general-purpose computer or the like is a physical entity equipped with such hardware resources.
  • the external storage device of the hardware entity stores the program required to realize the above-mentioned functions and the data required for processing this program (not limited to the external storage device, for example, reading a program). It may be stored in a ROM, which is a dedicated storage device). Further, the data obtained by the processing of these programs is appropriately stored in a RAM, an external storage device, or the like.
  • each program stored in the external storage device (or ROM, etc.) and the data necessary for processing each program are read into the memory as needed, and are appropriately interpreted, executed, and processed by the CPU. ..
  • the CPU realizes a predetermined function (each configuration requirement represented by the above, ... Department, ... means, etc.).
  • the present invention is not limited to the above-described embodiment, and can be appropriately modified without departing from the spirit of the present invention. Further, the processes described in the above-described embodiment are not only executed in chronological order according to the order described, but may also be executed in parallel or individually depending on the processing capacity of the device that executes the processes or if necessary. ..
  • the processing function in the hardware entity (device of the present invention) described in the above embodiment is realized by a computer
  • the processing content of the function that the hardware entity should have is described by a program. Then, by executing this program on the computer, the processing function in the hardware entity is realized on the computer.
  • the various processes described above can be performed by causing the recording unit 10020 of the computer shown in FIG. 5 to read a program for executing each step of the above method and operating the control unit 10010, the input unit 10030, the output unit 10040, and the like. ..
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the computer-readable recording medium may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • a hard disk device, a flexible disk, a magnetic tape, or the like as a magnetic recording device is used as an optical disk
  • a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), or a CD-ROM (Compact Disc Read Only) is used as an optical disk.
  • Memory CD-R (Recordable) / RW (ReWritable), etc.
  • MO Magnetto-Optical disc
  • EP-ROM Electroically Erasable and Programmable-Read Only Memory
  • semiconductor memory can be used.
  • this program is carried out, for example, by selling, transferring, renting, etc., a portable recording medium such as a DVD or CD-ROM on which the program is recorded.
  • the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.
  • a computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, at the time of executing the process, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. It is also possible to execute the process according to the received program one by one each time.
  • ASP Application Service Provider
  • the program in this embodiment includes information used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property of defining the processing of the computer, etc.).
  • the hardware entity is configured by executing a predetermined program on the computer, but at least a part of these processing contents may be realized in terms of hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Complex Calculations (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

出現頻度が低い正常データを適切に正常と判定することができる異常度推定装置を提供する。正常音の集合を用いて最適化された異常度推定モデルであって、出現頻度が高い正常音における異常度と、出現頻度が低い正常音における異常度との差が最小となるように最適化されたモデルを用いて、音響信号の異常度を推定する推定部を含む。

Description

異常度推定装置、異常度推定方法、プログラム
　本発明は教師なし異常検知に関し、異常度推定装置、異常度推定方法、プログラムに関する。
＜教師なし異常検知＞
　教師なし異常検知とは、観測ベクトルx∈RDが正常データか異常データかを判定する問題である。ここで観測ベクトルxは音のスペクトルでもいいし、画像でも良い。
　教師なし異常検知の実装法として、パラメータθを持つ、xの“異常らしさ”を表す指標（異常度と呼ばれる）を求める関数Aθ(x)の値が、閾値φを超えたら異常と判定する方法がある。
　上記判定方法を式で表すと、
識別結果＝H(Aθ(x)-φ)…(1)
となる。ここでH( )は引数が非負なら１、負なら０を返すステップ関数である。つまりこの方法による装置は、(1)式により、識別結果が１ならば観測を異常と判定し、０ならば正常と判定する。上記の方法は、例えば非特許文献１などで利用されている。
　教師なし異常検知では、正常データは十分にあるものの、異常データは事前に得られないことが多い。そこで異常度を、xの“異常らしさ”と定義するのではなく、xの“正常らしさとの乖離”として定義する。いま、“正常らしさ”をxの生成確率（i.e.尤度）とすれば、xの正常らしさとの乖離は例えばxの生成確率の負の対数尤度（i.e.情報量）で表現できる。そこで、何らかの方法で推定したパラメータθを持つxの生成モデルをqθ(x)とし、異常度を以下のように定義する。
Aθ(x)=-lnqθ(x)…(2)
　このように定義すると、qθ(x)はxの真の生成モデルp(x)との距離が近くなるように学習すればよいため、θは以下のカルバック・ライブラー情報量（KL情報量）を最小化するように最適化すればいい。
Figure JPOXMLDOC01-appb-M000006
　ここで期待値を学習データ{xn}N n=1の平均値で近似し、さらに異常度の定義である式(2)を利用すると、Jθは以下のように書ける。
Figure JPOXMLDOC01-appb-M000007
Y. Koizumi, S. Saito, H. Uematsu, Y. Kawachi, and N. Harada, "Unsupervised Detection of Anomalous Sound based on Deep Learning and the Neyman-Pearson Lemma," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol.27-1, pp.212-224, 2019.6
　従来の教師なし異常検知では、負の対数尤度を用いるため、出現頻度が低い正常データの異常度を高く見積もってしまい、出現頻度が低い正常データを異常と判定してしまう事象（偽陽性）がしばしば発生するという課題があった。
　そこで本発明では、出現頻度が低い正常データを適切に正常と判定することができる異常度推定装置を提供することを目的とする。
　本発明の異常度推定装置は、入力された音響信号の異常度を推定する異常度推定装置であって、正常音の集合を用いて最適化された異常度推定モデルであって、出現頻度が高い正常音における異常度と、出現頻度が低い正常音における異常度との差が最小となるように最適化されたモデルを用いて、音響信号の異常度を推定する推定部を含む。
　本発明の異常度推定装置によれば、出現頻度が低い正常データを適切に正常と判定することができる。
実施例１の異常度推定モデル学習装置の構成を示すブロック図。 実施例１の異常度推定モデル学習装置の動作を示すフローチャート。 実施例１の異常度推定装置の構成を示すブロック図。 実施例１の異常度推定装置の動作を示すフローチャート。 コンピュータの機能構成例を示す図。
　以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
＜事前検討＞
　異常判定対象として何らかの時系列データを考える。つまり入力データをx∈RDを系列化したX∈RD×T=(x1,...,xT)とする場合の異常検知を考える。この具体例として、例えば、時間周波数表現した音声データや、動画データを考えるとよい。式(2)と同様に、この時系列データの異常度を定義すると以下となる。
Aθ(X)=-lnqθ(X)…(6)
　ここでTが可変の場合、qθ(X)を直接定義することは困難である。そこで確率のチェイン則を利用すれば以下のように書ける。
Figure JPOXMLDOC01-appb-M000008
　しかしこの形式も、異常度を求めるためには、T個の条件付き分布全てを推定/保持しなくてはならず実用的でない。
　異常音検知などの場合、x1,...,xTのうち、1サンプルでも閾値φを超えたらXを異常と判定する、という方式をとることが多い。これはすなわち、異常度を以下で定義することと等価である。
Figure JPOXMLDOC01-appb-M000009
　しかし、この異常度の定義には問題がある。Aθ(x)を式(5)のKL情報量最小化で学習した場合、Aθ(X)は、系列のうち最も生成確率の低いサンプルの情報量となる。例えば日本語音声を考えると、“a”や“i”などの母音の発生頻度は高いものの、“w”や“p”などの子音の発生頻度は低い。式(9)の最大情報量に基づく異常度の定義では、発話に発生頻度の低い子音が含まれると、その音声は正常なのにも関わらず、異常度が高くなってしまう。ゆえに、正常を異常と誤判定する偽陽性が高くなる。この問題を解決する直感的な方法として、式(9)の最大情報量を最小化するようにθを学習する方法がある。
Figure JPOXMLDOC01-appb-M000010
　式(10)では、もはやAθ(x)は情報量ではないが、正常データの異常度を直接最小化するようにθを学習できる。しかし、θを確率的勾配法のような方式で学習することを考えると、式(5)では一つの勾配を求めるためにNサンプル利用できたが、式(10)では一つの勾配を求めるために１サンプルしか利用できない。ゆえに、勾配計算が不安定となる可能性があり、これもまた実用的ではない。
＜実施例で採用した方法＞
　そこで、あらゆる正常データに対して式(9)を最小化する異常度を考える。いまUを、正常音の集合{x|p(x)>0}に一定の確率密度を持ち、それ以外の領域に密度を持たない一様分布とする。任意の領域に確率密度を持つ確率分布の中で、最大情報量を最小化する確率分布は一様分布であることから、Aθ(x)は以下の目的関数を最小にするよう学習すればいい。
Figure JPOXMLDOC01-appb-M000011
　式(11)を学習データから最適化可能な形に変形したいが、学習データ{xn}N n=1は真の確率分布p(x)から得られているため、学習データの平均値で式(11)を近似することはできない。ところで、Uは{x|p(x)>0}に一定の確率密度を与える関数であることから、式(11)は以下の式に比例する。
Figure JPOXMLDOC01-appb-M000012
　式(12)はp(x)に関する期待値の形になっているため、以下の学習データの平均値で近似できる。
Figure JPOXMLDOC01-appb-M000013
　つまり、学習データに存在する確率の低い“出現頻度が低い”正常データに大きな重みを与え、重み付き異常度の平均値を最小化することで、式(9)を最小化する異常度を出力する異常度推定モデルAθ(x)を設計できる。
≪カーネル密度推定を利用した実装≫
　しかし、真の分布p(x)は未知であるため、重み1/p(x)は何らかの形で推定しなくてはならない。ここでは、カーネル密度推定を利用した推定法を述べる。カーネル密度推定は、学習データ{xn}N n=1からp(x)を求めるノンパラメトリックな密度推定法である。最も一般的なガウスカーネルを利用する方法は以下である。
Figure JPOXMLDOC01-appb-M000014
　ここでλはバンド幅パラメータである。いま、事前に{xn}N n=1が平均0、分散1となるように正規化されているとすれば、λ=(2D)-1程度に設定すればいい。すると式(13)は以下のように近似できる。
Figure JPOXMLDOC01-appb-M000015
ここでεはゼロ除算を避けるための正の定数であり、10-5程度の値を設定すればいい。
≪異常度を利用した簡略化実装≫
　式(16)の重みの計算はカーネル密度推定に基づいているため、計算量やメモリ消費量が膨大になることがある。これを避けるために、重みを異常度の逆数として近似的に与えてもよい。
　例えば、以下のように実装できる。
Figure JPOXMLDOC01-appb-M000016
これは、式(11)の実現値ではないが、異常度が大きく出たサンプルの異常度を積極的に減らす重みを掛けている点では、同様の効果が期待できる。
≪その他の変更例≫
　ここまで、式(5)の形のコスト関数を変更する検討をしてきたが、それ以外のコスト関数を採用することもできる。例えば、正常データ{xn}N n=1だけでなく、実測値やシミュレーションで異常データ{ym}M m=1を得られているとする。この場合、例えば以下のようなコスト関数を利用することができる。
Figure JPOXMLDOC01-appb-M000017
　この場合、上の式の＊の部分（第一項）を変更すればよい。例えば、上式の第一項を、式(15)に変更すればよい。つまり、異常度に何らかの重みを掛けた値の正常データ平均値を求める際、その重みを学習データに存在する確率の低い“出現頻度が低い”正常データに大きな重みを与えるよう設計することができる。
　実施例１では、正常データの異常度の最大値を最小化するために、＜実施例で採用した方法＞を用い、学習データ{xn}N n=1に存在する確率の低い“出現頻度が低い”正常データに大きな重みを与え、重み付き異常度の平均値を最小化する異常度推定モデル学習装置を開示する。
［異常度推定モデル学習装置］
　以下、図１を参照して実施例１の異常度推定モデル学習装置１１の構成について説明する。同図に示すように本実施例の異常度推定モデル学習装置１１は、学習データ取得部１１１と、重み計算部１１２と、パラメータ更新部１１３と、収束判定部１１４と、異常度推定モデル記憶部１１５を含む。以下、図２を参照して各構成要件の動作を詳述する。
＜学習データ取得部１１１＞
　学習データ取得部１１１は、正常データ{xn}N n=1と、必要であれば異常データ{ym}M m=1などの補助データを取得する（Ｓ１１１）。データとして例えば音響信号などが考えられるが、ここで取り扱うデータは音声系に限らず、正常なデータと異常なデータが含まれるデータ全般であり、例えば画像データなどでもよい。
＜重み計算部１１２＞
　重み計算部１１２は、学習データに存在する確率の低い“出現頻度が低い”正常データに大きな重みを与えるよう重みを計算する（Ｓ１１２）。具体的には、式
Figure JPOXMLDOC01-appb-M000018
の説明で述べたように、真の確率分布p(x)の逆数を重みとして採用することで、出現頻度が低い、すなわちp(x)が微小な値になるようなxについて、その逆数であることから大きな値となる1/p(x)で重みづけを行うことで、“出現頻度が低い”正常データに大きな重みを与えることができる。上述したように真の分布p(x)は未知であるため、例えば、重み計算部１１２は、真の分布p(x)をカーネル密度推定を利用して推定し、
Figure JPOXMLDOC01-appb-M000019
におけるｗｎを重みとして計算すればよい。また、重み計算部１１２は重みを
Figure JPOXMLDOC01-appb-M000020
により計算してもよい。
＜パラメータ更新部１１３＞
　パラメータ更新部１１３は、ステップＳ１１２で計算した重みを利用したコスト関数Ｊθの値を小さくするようにパラメータθを更新する（Ｓ１１３）。
＜収束判定部１１４＞
　収束判定部１１４は、コスト関数Ｊθの値の収束判定をし、収束していなければステップＳ１１２に戻る。収束判定のルールとして、ステップＳ１１３を一定回数（例えば10万回）繰り返したか？などを利用できる。ステップＳ１１３を収束するまで繰り返し実行することは、θ←argminθJθにより、パラメータθを求めることに等しい。前述したように、θ←argminθJθとは、
Figure JPOXMLDOC01-appb-M000021
で表される目的関数Ｊθを最小化するようにパラメータθを求めることに等しい。
　上述したように、例えば目的関数Ｊθを
Figure JPOXMLDOC01-appb-M000022
と近似し、ｐ（ｘｎ）をカーネル密度推定によって、
Figure JPOXMLDOC01-appb-M000023
と近似することにより、目的関数Ｊθ、重みｗｎを、
Figure JPOXMLDOC01-appb-M000024
と近似して、近似された目的関数Ｊθを最小化するようにパラメータθを求めればよい。
　また、前述したように、重みｗｎは、
Figure JPOXMLDOC01-appb-M000025
と計算されてもよい。
＜異常度推定モデル記憶部１１５＞
　異常度推定モデル記憶部１１５は、ステップＳ１１４により収束したパラメータθおよび、異常度推定モデルAθ(x)を記憶する（Ｓ１１５）。
　なお、ステップＳ１１２、Ｓ１１４は全てのデータを利用してもよいし、確率的勾配法などの全サンプルのうちの一部のサンプルを利用した方式を利用してもいい。また異常度推定モデルAθ(x)の設計には、非特許文献１のようにオートエンコーダなどを利用すればよい。
［異常度推定装置］
　以下、図３を参照して実施例１の異常度推定装置１２の構成について説明する。同図に示すように本実施例の異常度推定装置１２は、異常度推定モデル記憶部１２０と、異常度推定用データ取得部１２１と、推定部１２２を含む。以下、図４を参照して各構成要件の動作を詳述する。
＜異常度推定モデル記憶部１２０＞
　異常度推定モデル記憶部１２０は、異常度推定モデル学習装置１１で学習（最適化）した異常度推定モデルAθ(x)を予め記憶する。
＜異常度推定用データ取得部１２１＞
　異常度推定用データ取得部１２１は、異常度推定用のデータを取得する（Ｓ１２１）。データとして例えば音響信号などが考えられるが、ここで取り扱うデータは音声系に限らず、正常なデータと異常なデータが含まれるデータ全般であり、例えば画像データなどでもよい。
＜推定部１２２＞
　推定部１２２は、異常度推定モデル学習装置１１で学習（最適化）され、異常度推定モデル記憶部１２０に予め記憶されたモデルを用いて、上述のデータ（例えば音響信号）の異常度を推定する（Ｓ１２２）。
　ステップＳ１２２で用いられる異常度推定モデルは、上述したように、出現頻度が高い正常データ（正常音）における異常度と、出現頻度が低い正常データ（正常音）における異常度との差が最小となるように学習（最適化）されたモデルである。
　より詳細には、ステップＳ１２２で用いられる異常度推定モデルは、正常データ（正常音）の集合における出現頻度が低い正常データ（正常音）に対して、出現頻度が高い正常データ（正常音）と比較して、大きな重みを与えることにより学習（最適化）されている。
　詳細には、ステップＳ１２２で用いられる異常度推定モデルAθ(x)は、正常音の集合{x|p(x)>0}に一定の確率密度を持ち、それ以外の領域に密度を持たない一様分布U(x)とのKL情報量
Figure JPOXMLDOC01-appb-M000026
で表される目的関数Ｊθを最小化するように学習（最適化）される。また、観測ベクトルｘの真の生成モデルをｐ（ｘ）、Ｎを２以上の整数、ｎ＝１、…、Ｎとし、目的関数Ｊθを
Figure JPOXMLDOC01-appb-M000027
と近似し、ｊ＝１、…、Ｎとし、λをバンド幅パラメータとし、ｐ（ｘｎ）をカーネル密度推定によって、
Figure JPOXMLDOC01-appb-M000028
と近似し、εをゼロ除算を避けるための正の定数とし、目的関数Ｊθ、重みｗｎを、
Figure JPOXMLDOC01-appb-M000029
と近似して、近似された目的関数Ｊθを最小化するように学習（最適化）されてもよい。
　また、前述したように、重みｗｎは、
Figure JPOXMLDOC01-appb-M000030
と計算されてもよい。
＜効果＞
　実施例１の異常度推定モデル学習装置１１によれば、系列データに関する異常検知システムを構築する際、正常を異常と誤判定する偽陽性を小さくするよう、異常度推定モデルAθ(x)を学習することができる。これにより、実施例１の異常度推定装置１２によれば、出現頻度が低い正常データを適切に正常と判定することができる。
＜補記＞
　本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
　ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
　ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
　本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
　既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
　上述の各種の処理は、図５に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
　また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 　入力された音響信号の異常度を推定する異常度推定装置であって、
    　正常音の集合を用いて最適化された異常度推定モデルであって、出現頻度が高い正常音における異常度と、前記出現頻度が低い前記正常音における前記異常度との差が最小となるように最適化されたモデルを用いて、前記音響信号の異常度を推定する推定部を含む
    異常度推定装置。
  2. 　請求項１に記載の異常度推定装置であって、
    　前記推定部は、
    　正常音の集合における前記出現頻度が低い前記正常音に対して、前記出現頻度が高い前記正常音と比較して、大きな重みを与えることにより最適化された前記異常度推定モデルを用いて、前記音響信号の異常度を推定する
    異常度推定装置。
  3. 　請求項２に記載の異常度推定装置であって、
    　Ｕ（ｘ）を正常音の集合に一定の確率密度を持ち、それ以外の領域に密度を持たない一様分布とし、Ａθ（ｘ）をθをパラメータとして観測ベクトルｘの異常らしさを求める異常度推定モデルとし、
    前記推定部は、
    Figure JPOXMLDOC01-appb-M000001
    で表される目的関数Ｊθを最小化するように最適化された前記異常度推定モデルＡθ（ｘ）を用いて、前記音響信号の異常度を推定する
    異常度推定装置。
  4. 　請求項３に記載の異常度推定装置であって、
    　観測ベクトルｘの真の生成モデルをｐ（ｘ）とし、Ｎを２以上の整数とし、ｎ＝１、…、Ｎとし、前記目的関数Ｊθを
    Figure JPOXMLDOC01-appb-M000002
    と近似し、ｊ＝１、…、Ｎとし、λをバンド幅パラメータとし、ｐ（ｘｎ）をカーネル密度推定によって、
    Figure JPOXMLDOC01-appb-M000003
    と近似し、εをゼロ除算を避けるための正の定数とし、目的関数Ｊθ、重みｗｎを、
    Figure JPOXMLDOC01-appb-M000004
    と近似して、近似された前記目的関数Ｊθを最小化するように最適化された前記異常度推定モデルＡθ（ｘ）を用いて、前記音響信号の異常度を推定する
    異常度推定装置。
  5. 　請求項４に記載の異常度推定装置であって、
    　前記重みｗｎは、
    Figure JPOXMLDOC01-appb-M000005
    と計算される
    異常度推定装置。
  6. 　入力されたデータの異常度を推定する異常度推定装置であって、
    　正常データの集合を用いて最適化された異常度推定モデルであって、出現頻度が高い正常データにおける異常度と、前記出現頻度が低い前記正常データにおける前記異常度との差が最小となるように最適化されたモデルを用いて、前記データの異常度を推定する推定部を含む
    異常度推定装置。
  7. 　入力された音響信号の異常度を推定する異常度推定方法であって、
    　正常音の集合を用いて最適化された異常度推定モデルであって、出現頻度が高い正常音における異常度と、前記出現頻度が低い前記正常音における前記異常度との差が最小となるように最適化されたモデルを用いて、前記音響信号の異常度を推定するステップを含む
    異常度推定方法。
  8. 　コンピュータを請求項１から６の何れかに記載の異常度推定装置として機能させるプログラム。
PCT/JP2019/024312 2019-06-19 2019-06-19 異常度推定装置、異常度推定方法、プログラム Ceased WO2020255299A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021528537A JP7231027B2 (ja) 2019-06-19 2019-06-19 異常度推定装置、異常度推定方法、プログラム
PCT/JP2019/024312 WO2020255299A1 (ja) 2019-06-19 2019-06-19 異常度推定装置、異常度推定方法、プログラム
US17/619,200 US12387743B2 (en) 2019-06-19 2019-06-19 Abnormality estimation device, abnormality estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024312 WO2020255299A1 (ja) 2019-06-19 2019-06-19 異常度推定装置、異常度推定方法、プログラム

Publications (1)

Publication Number Publication Date
WO2020255299A1 true WO2020255299A1 (ja) 2020-12-24

Family

ID=74037034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/024312 Ceased WO2020255299A1 (ja) 2019-06-19 2019-06-19 異常度推定装置、異常度推定方法、プログラム

Country Status (3)

Country Link
US (1) US12387743B2 (ja)
JP (1) JP7231027B2 (ja)
WO (1) WO2020255299A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070169A1 (ja) * 2022-09-29 2024-04-04 日本碍子株式会社 試作条件提案システム、試作条件提案方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219581A (ja) * 1994-01-31 1995-08-18 Babcock Hitachi Kk 音響信号の識別方法および装置
JP2006300896A (ja) * 2005-04-25 2006-11-02 Matsushita Electric Works Ltd 設備監視方法および設備監視装置
JP2012181280A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 音処理装置および音処理方法
JP2017090606A (ja) * 2015-11-09 2017-05-25 日本電信電話株式会社 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
WO2017171051A1 (ja) * 2016-04-01 2017-10-05 日本電信電話株式会社 異常音検出学習装置、音響特徴量抽出装置、異常音サンプリング装置、これらの方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2994495B1 (fr) * 2012-08-10 2015-08-21 Thales Sa Procede et systeme pour detecter des evenements sonores dans un environnement donne
CA2932069A1 (en) * 2013-11-29 2015-06-04 Ge Aviation Systems Limited Method of construction of anomaly models from abnormal data
JP2019531792A (ja) * 2016-09-07 2019-11-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 異常心音の検出のための分類器アンサンブル
JP6794197B2 (ja) 2016-09-12 2020-12-02 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2019166397A1 (en) * 2018-02-28 2019-09-06 Robert Bosch Gmbh Intelligent audio analytic apparatus (iaaa) and method for space system
EP3628564A1 (en) * 2018-09-26 2020-04-01 Siemens Mobility GmbH Method for analysing conditions of technical components
JP7149197B2 (ja) * 2019-02-06 2022-10-06 株式会社日立製作所 異常音検知装置および異常音検知方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219581A (ja) * 1994-01-31 1995-08-18 Babcock Hitachi Kk 音響信号の識別方法および装置
JP2006300896A (ja) * 2005-04-25 2006-11-02 Matsushita Electric Works Ltd 設備監視方法および設備監視装置
JP2012181280A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 音処理装置および音処理方法
JP2017090606A (ja) * 2015-11-09 2017-05-25 日本電信電話株式会社 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
WO2017171051A1 (ja) * 2016-04-01 2017-10-05 日本電信電話株式会社 異常音検出学習装置、音響特徴量抽出装置、異常音サンプリング装置、これらの方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070169A1 (ja) * 2022-09-29 2024-04-04 日本碍子株式会社 試作条件提案システム、試作条件提案方法
JPWO2024070169A1 (ja) * 2022-09-29 2024-04-04

Also Published As

Publication number Publication date
JP7231027B2 (ja) 2023-03-01
US20220246165A1 (en) 2022-08-04
JPWO2020255299A1 (ja) 2020-12-24
US12387743B2 (en) 2025-08-12

Similar Documents

Publication Publication Date Title
US12182731B2 (en) Anomaly detection apparatus, anomaly detection method, and program
US11004012B2 (en) Assessment of machine learning performance with limited test data
CN109783490B (zh) 数据融合方法、装置、计算机设备及存储介质
JP6881207B2 (ja) 学習装置、プログラム
JP6943067B2 (ja) 異常音検知装置、異常検知装置、プログラム
JP7188598B2 (ja) 異常度推定装置、異常度推定方法、およびプログラム
US20200401943A1 (en) Model learning apparatus, model learning method, and program
EP3115939A1 (en) Alternative training distribution based on density modification
WO2020234984A1 (ja) 学習装置、学習方法、コンピュータプログラム及び記録媒体
US20230206099A1 (en) Computational estimation of a characteristic of a posterior distribution
CN115049003B (zh) 一种预训练模型微调方法、装置、设备和存储介质
US20230186150A1 (en) Hyperparameter selection using budget-aware bayesian optimization
US20170178168A1 (en) Effectiveness of service complexity configurations in top-down complex services design
US12212939B2 (en) Target sound signal generation apparatus, target sound signal generation method, and program
JP7231027B2 (ja) 異常度推定装置、異常度推定方法、プログラム
JP7529159B2 (ja) 学習装置、学習方法、および、学習プログラム
JP2022183763A (ja) 学習装置、方法およびプログラム
JP7505555B2 (ja) 学習装置、学習方法及びプログラム
JP7188597B2 (ja) 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム
US20240378445A1 (en) Learning device, learning method, and program
WO2023148965A1 (ja) モデル学習装置、モデル学習方法、プログラム
JP6852167B2 (ja) コンフュージョンネットワーク分散表現生成装置、コンフュージョンネットワーク分類装置、コンフュージョンネットワーク分散表現生成方法、コンフュージョンネットワーク分類方法、プログラム
CN115687986A (zh) 样本管理的方法、电子设备和计算机程序产品
JP7226568B2 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
CN113723436A (zh) 数据的处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19934308

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528537

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19934308

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17619200

Country of ref document: US