JP7331369B2 - 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム - Google Patents

異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム Download PDF

Info

Publication number
JP7331369B2
JP7331369B2 JP2019014000A JP2019014000A JP7331369B2 JP 7331369 B2 JP7331369 B2 JP 7331369B2 JP 2019014000 A JP2019014000 A JP 2019014000A JP 2019014000 A JP2019014000 A JP 2019014000A JP 7331369 B2 JP7331369 B2 JP 7331369B2
Authority
JP
Japan
Prior art keywords
data
abnormal
cluster
sound
abnormal sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019014000A
Other languages
English (en)
Other versions
JP2020123094A (ja
Inventor
悠馬 小泉
伸 村田
登 原田
翔一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2019014000A priority Critical patent/JP7331369B2/ja
Priority to US17/425,672 priority patent/US11996120B2/en
Priority to PCT/JP2020/001149 priority patent/WO2020158398A1/ja
Publication of JP2020123094A publication Critical patent/JP2020123094A/ja
Application granted granted Critical
Publication of JP7331369B2 publication Critical patent/JP7331369B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、監視対象が正常な状態か異常な状態かを判定する異常検知技術に関する。
工場などに設置された大型の製造機や造型機などの業務用機器は、故障により稼働が停止するだけで業務に大きな支障をもたらす。そのため、その動作状況を日常的に監視し、異常が発生し次第ただちに対処を行う必要がある。解決案として、業務用機器の管理業者が、定期的に現場へ整備員を派遣し、パーツの摩耗などを確認する方法がある。しかし、多大な人件費や移動費、労力が掛かるため、すべての業務用機器や工場でこれを実施することは難しい。この解決手段として、業務用機器の内部にマイクロホンを設置し、その動作音を日常的に監視する方法がある。この方法では、マイクロホンで収音した動作音を解析し、異常と思われる音(以下、「異常音」と呼ぶ)が発生したら、それを検知し、アラートを上げることで、上記の問題を解決する。このように、音を利用して監視対象が正常な状態か異常な状態かを判定する技術は、異常音検知と呼ばれている。
機器の種類や個体毎に異常音の種類と検出方法を設定するのではコストが掛かる。そのため、異常音を検知するルールを自動設計できることが望ましい。この解決方法として、統計的手法に基づく異常音検知が知られている(例えば、非特許文献1参照)。統計的手法に基づく異常音検知は、教師あり異常音検知と教師なし異常音検知とに大別できる。教師あり異常音検知では、正常音と異常音の学習データを大量に収集し、この識別率を最大化するように識別器を学習する。一方、教師なし異常音検知では、正常音の学習データの特徴量の確率分布(正常モデル)を学習し、新しく収集した音が正常モデルと類似していれば(尤度が高ければ)正常と判定し、類似していなければ(尤度が低ければ)異常と判定する。産業的応用では、異常音の学習データを大量に集めることが困難であるため、多くの場合、教師なし異常音検知が採用される。
井出剛、杉山将、"異常検知と変化検知"、講談社、pp. 6-7、2015年
異常音検知システムを運用していると、稀に異常音を見逃してしまうことがある。異常音の見逃しを放置しておくと重大な事故につながる可能性があるため、収集できた異常音を用いて、同じ異常音を二度と見逃さないように異常音検知システムをアップデートする必要がある。しかしながら、得られる異常音のデータ量は、正常音のデータ量に比べて圧倒的に少なく、いまだ教師あり異常音検知を適用することは困難である。
本発明の目的は、上記のような点に鑑みて、得られた少数の異常音データを用いて教師なし異常音検知の精度を向上することである。
上記の課題を解決するために、本発明の第一の態様の音生成装置は、所定の機器から得られた音から、所定の機器を含むいずれかの機器から得られうる、かつ、所定の機器から得られた音らしさを有する生成音を生成する音生成装置であって、所定の機器から得られた音と、所定の機器を含む所望の機器群から得られた音が従う確率分布と、を関連付けることで生成音を生成する生成部を有する。
上記の課題を解決するために、本発明の第二の態様のデータ生成装置は、所定のクラスタに属するデータから、所定のクラスタを含むいずれかのクラスタに属し、かつ、所定のクラスタに属するデータらしさを有する生成データを生成するデータ生成装置であって、所定のクラスタに属するデータと、所定のクラスタを含む所望のクラスタ群に属するデータが従う確率分布と、を関連付けることで生成データを生成する生成部を有する。
上記の課題を解決するために、本発明の第三の態様の異常度算出装置は、判定対象の音の異常度を算出する異常度算出装置であって、判定対象の音を、少なくとも異常音からなる登録音群との類似度と、少なくとも1つの正常音との非類似度と、を関連付けることで異常度を算出する算出部を有する。
上記の課題を解決するために、本発明の第四の態様の指標値算出装置は、判定対象のデータの指標値を算出する指標値算出装置であって、判定対象のデータを、第一のクラスタのデータ群との類似度と、第二のクラスタのデータ群との非類似度と、の和を指標値として算出する算出部を有し、第一のクラスタは判定対象のデータが属していることを判定するクラスタであり、第二のクラスタは判定対象のデータが属していないことを判定するクラスタである。
本発明の異常検知技術によれば、異常検知の精度が向上する。
図1AはAUC最大化の概念を説明するための図である。図1Bはネイマン・ピアソン基準の概念を説明するための図である。図1Cは条件付きAUC最大化の概念を説明するための図である。 図2は本発明の効果を示す実験結果である。 図3は異常度スコア学習装置の機能構成を例示する図である。 図4は異常度スコア学習方法の処理手続きを例示する図である。 図5は異常音検知装置の機能構成を例示する図である。 図6は異常音検知方法の処理手続きを例示する図である。
本発明では、得られた少数の異常音データを用いて教師なし異常音検知の精度を向上する枠組みを提供する。本発明では、少数の異常音データから類似度関数(もしくはペナルティ)を推定し、それを併用しながら異常度スコアを計算する。類似度関数は少数の異常音と観測信号の類似度として定義する。すなわち、今までに得ている異常音と類似した観測信号には、異常と判定しやすくなるペナルティを与える。また、今までに得ている異常音と類似しなくとも正常音と類似しない観測信号には、異常と判定しやすくなるペナルティを与える。この異常度スコアを学習するために、得られている異常データをすべて異常と判定できる異常判定閾値の下で、正常な観測信号を誤って異常と誤判定する確率である偽陽性率を最小化するように異常度スコアのパラメータを最適化するアルゴリズムを提供する。
<教師なし異常音検知>
異常音検知とは、入力xを発した監視対象の状況が正常か異常かを判定するタスクである。ここで、xには、例えば式(1)のように、観測信号の対数振幅スペクトルln|Xt,f|を並べたものを用いることができる。
Figure 0007331369000001
ここで、t={1, 2, …, T}は時間のインデックス、f={1, 2, …, F}は周波数のインデックス、Qは入力で考慮する過去と未来のフレーム数である。xはこれに限らず、観測信号から特徴量を抽出した結果でもよい。
統計的手法に基づく異常音検知では、式(2)に示すように、入力xから異常度A(x)を算出する。
Figure 0007331369000002
ここで、p(x| z=0)は監視対象が正常状態のときにxを発する確率分布(正常モデル)、p(x| z=1)は監視対象が異常状態のときにxを発する確率分布(異常モデル)である。そして、式(3)に示すように、異常度A(x)が事前に定義した閾値φより大きければ監視対象は異常、小さければ正常と判断する。
Figure 0007331369000003
ここで、Η(・)は引数が非負なら1、負なら0を返すステップ関数である。識別結果が1ならば観測信号を異常と判定し、0ならば正常と判定する。
式(3)を計算するためには、正常モデルと異常モデルとが既知でなくてはならない。しかしながら、各モデルは未知であるため、学習データから推定する必要がある。正常モデルは例えば、事前に収集した正常状態の動作音データ(正常データ)から、以下の混合ガウス分布(GMM: Gaussian Mixture Model)を学習することで設計できる。
Figure 0007331369000004
ただし、Kは混合数、Ν(x|μ, Σ)は平均ベクトルμと分散共分散行列Σとをパラメータとするガウス分布、wkはk番目の分布の重み、μkはk番目の分布の平均ベクトル、Σkはk番目の分布の分散共分散行列である。
正常データは大量に収集することが容易な一方、異常状態の動作音データ(異常データ)を収集することは困難である。そこで、「教師なし異常音検知」では、異常モデルを省略し、式(5)に示すように異常度A(x)を定義することが一般的である。
Figure 0007331369000005
つまり、教師なし異常音検知では、正常モデルと観測信号が類似しているならば正常と判定し、類似していないなら異常と判定する。
<本発明の原理>
実環境で教師なし異常音検知システムを運用していると、異常データを収集できるときがある。例えば、教師なし異常音検知システムが異常状態を検知すれば、自動的に異常データを得ることができる。また、教師なし異常音検知システムが異常状態を見逃したとしても、その後の人手の検査などで異常状態が発覚すれば、それまでの観測データを異常データとして用いることができる。特に後者のようなケースでは、異常状態の見逃しを続けると重大な事故に繋がるため、観測できた異常データを用いてシステムをアップデートすべきである。本発明は、上記のように運用中に得られた異常データを用いて異常度スコアのパラメータを学習することで、異常音検知の精度を向上させる技術である。
≪異常度スコアの設計≫
k番目の登録音mk∈RQと観測データx∈RQの類似度スコアを表す類似度関数をS(x, mk, θS k)とする。ここでθS kは類似度関数のパラメータである。正常データだけから学習した正常分布の負の対数尤度を-lnp(x|z=0, θA)とし、K-1個の異常音{mk}k=1 K-1が登録されているとすれば、異常度スコアB(x, θK-1)は式(6)として計算できる。
Figure 0007331369000006
ここで、θK-1={θA, θS 1, …, θS K-1}であり、γは類似度関数の重みである。例えば、γ=1とする。
このとき、新たにK番目の異常音mKが得られた場合、任意のKで異常度B(x, θK)を式(7)として計算することができる。
Figure 0007331369000007
このように異常度スコアを定義することで、逐次的な追加学習が可能となる。すなわち、K-1番目までの異常サンプルから得られた異常度スコアに手を加えることなく、K番目の異常サンプルを登録できる。
つまり本発明では、異常度スコアを、得られた異常データと観測信号の類似度の重み付き和を算出する関数として定義することで、得られた異常データと観測信号とが類似しているならば異常と判定するように誘導するペナルティ項として用いて、教師なし異常音検知システムを更新/補正する。
≪目的関数の設計≫
本発明の異常度である式(6)において、求めるべきパラメータはθS kである。学習データを用いてパラメータを求めるためには、「どのようなパラメータがシステムにとって良いパラメータなのか」を数学的に記述した「目的関数」を適切に設計しなくてはならない。異常音検知の目的関数では、横軸を正常な観測信号を誤って異常と誤判定する確率である偽陽性率(FPR: False Positive Rate)とし、縦軸を異常な観測信号を正しく異常と判定できる確率である真陽性率(TPR: True Positive Rate)としたときの、曲線の下部面積であるAUC(Area Under the Receiver Operating Characteristic Curve)を利用して目的関数を設計することがある。なお、式(6)で異常度を定義するならば、真陽性率(TPR)と偽陽性率(FPR)は、式(8)(9)のように定義できる。
Figure 0007331369000008
ここで、p(x| z≠0)は正常音ではない音が従う確率分布である。
初期の研究では、AUC全体を最大化するように学習が行われていた(下記参考文献1参照)。一方、近年の研究では、教師なし異常音検知を仮説検定とみなすことで、ある危険率(例えば、偽陽性率)に対する条件下で真陽性率を最大化するように教師なし異常音検知システムを学習することで、異常音検知の性能が向上することが明らかになっている(下記参考文献2参照)。このような概念は、「ネイマン・ピアソン基準」と呼ばれている。
〔参考文献1〕A. P. Bradley, "The Use of the Area Under the ROC Curve in the Evaluation of Machine Learning Algorithms," Pattern Recognition, pp. 1145-1159, 1996.
〔参考文献2〕Y. Koizumi, et al., "Optimizing Acoustic Feature Extractor for Anomalous Sound Detection Based on Neyman-Pearson Lemma," EUSIPCO, 2017.
異常音検知システムにおいて、異常状態の見逃しを続けると重大な事故につながる可能性がある。監視対象機器が取り得るすべての異常データを得ることが困難なため、監視対象機器が取り得るすべての異常状態の見逃しを防ぐことは困難である。しかしながら、少なくとも得られている異常データと類似する異常状態は、必ず異常と判定するようにシステムを構築することは可能である。新たに得られたK番目の異常音に対する真陽性率をK-TPRとし、以下のように定義する。
Figure 0007331369000009
このK番目に得られた異常音に対する真陽性率(K-TPR)が1.0となる条件のもとで、偽陽性率(FPR)を最小化する式(11)を、本発明の目的関数とする。以下、式(11)の目的関数を、「条件付きAUC最大化」と呼ぶことにする。
Figure 0007331369000010
図1は、従来の「AUC最大化」(図1A)や「ネイマン・ピアソン基準」(図1B)と、本発明の「条件付きAUC最大化」(図1C)との概念の違いを表す図である。図中の点線は学習前の受信者動作特性(ROC: Receiver Operating Characteristic)曲線であり、実線は学習後のROC曲線である。またAUCは、ROC曲線とx軸がはさむ領域の面積であり、AUC最大化ではこの面積を増加させるように学習を行う。ネイマン・ピアソン基準は、偽陽性率(FPR)が特定の値になる領域のTPRを向上させることで、AUCを最大化していた(破線より左、A1の領域)。一方、条件付きAUC最大化は、真陽性率(TPR)が1.0となる領域のAUCを直接最大化していることに等しい(破線より右、A2の領域)。すなわち、制約項が偽陽性率(FPR)でなく真陽性率(TPR)に変化している。つまり、条件付きAUC最大化では、目的関数を、異常データを確実に異常と判定できる条件下で、正常データを異常と誤判定する確率を最小化するものとしている。
≪学習方法≫
目的関数を計算機上で実現するアルゴリズムを考える。式(11)における制約項は、適切な閾値を設定することで満たすことができる。ここでφρ
Figure 0007331369000011
を満たすなら、式(11)は式(13)のように書くことができる。
Figure 0007331369000012
したがって、上記のような閾値φρを求めることで、最適化は容易になる。
式(10)で真陽性率(K-TPR)を求める上で困難になるのは、上記の積分が解析的に実行できない点にある。そこで本発明では、上記の積分をサンプリング法で近似的に実行する。まず、後述する変分オートエンコーダを用いて、I個の異常サンプルY:={yi}i=1 Iを擬似生成する。これらのサンプルを用いて式(12)を満たすための条件は、φρが、生成されたサンプルから求められるすべての異常度よりも小さいことである。そこで、φρを以下のように決定する。
Figure 0007331369000013
ここで、βは正の定数である。
最後に、式(11)を最大化したいが、式(9)における偽陽性率(FPR)内の積分も解析的に計算できない。そこで、正常データの中から、ランダムにJ個を選択し、積分をそのデータから計算される値の和に近似して勾配を計算する確率的勾配法で最適化を行う。
Figure 0007331369000014
ここで、αはステップサイズである。ただし、ステップ関数であるΗ(・)はその勾配を求めることができないため、シグモイド関数で近似する。なお、目的関数は式(17)のように変更してもよい。
Figure 0007331369000015
つまり本発明では、目的関数を、得られた異常データそのものまたは得られた異常データから変分オートエンコーダを用いて疑似生成した異常データを、確実に異常と判定できることを制約条件として、正常データを異常と誤判定する確率を最小化するものとして、異常度スコアを学習する。
<実装例>
上述した本発明の異常音検知の原理を実装する例を説明する。本発明における類似度関数を式(18)(19)(20)のように定義する。
Figure 0007331369000016
ここで、○は要素毎の乗算を表す。つまり類似度関数SのパラメータはθS k:={Wk, gk}であり、Wk∈RD×Qは次元圧縮行列、gk∈RQはxやmkの不要な要素(ノイズが乗りやすい要素)を事前に0に設定するためのマスクベクトルである。gkはなくてもよいが、ある方が動作は安定する。
{ni}i=1 Iは適当に選択したI個の正常音データを表す。1≦D(x, y)≦2は、xとyが似ていれば2に近い値、xとyが似ていなければ1に近い値を返す関数である。
類似度関数S(x, mk, θS k)を概念的に捉えると、定数を除けば以下のような意味である。
Figure 0007331369000017
類似度関数をxとmkが似ているか、という観点のみで構成した場合、異常音ではあるものの登録された異常音と似ていない異常音については検知することができない。一方、式(18)の類似度関数は、登録された異常音と似ていない場合でも、登録された正常音と似ていなければ類似度スコアが上がるため、登録されていない未知の異常音に対しても検知精度が向上する。
図2は本発明により検知精度が向上することを示す実験結果である。図2の表の“AE”が正常データから学習した正常分布の負の対数尤度を異常度スコアとする方法であり、“SNIPER”が上述の類似度関数を用いた方法であり、本発明に対応する。数値が高いほど検知精度が高いことを表す。図2によれば、本発明の方法では、登録されたクラスの音(doorまたはpageturn)だけでなく、すべての異常音(all)に対しても検知精度が向上していることがわかる。
式(18)の類似度関数を用いた場合、各パラメータは以下のように更新することができる。まず、閾値φρを求めるために、異常サンプルを生成する。ここでは、変分オートエンコーダ(下記参考文献3参照)を用いて異常サンプルを生成する。
〔参考文献3〕D. P. Kingma, and M. Welling, "Auto-Encoding Variational Bayes," in Proc. of International Conference on Learning Representations (ICLR), 2013.
異常音はあらゆる音の一部である。そのため、あらゆる音をサンプリングできる関数があれば、異常音もサンプリングできることになる。変分オートエンコーダは、入力と似ている(すなわち、入力の特徴を保存しつつ)、かつ、それとは異なるデータを生成する機能を有する。その特徴を用いて、あらゆる音をサンプリングできるよう変分オートエンコーダを学習しておき、登録音が得られたら、変分オートエンコーダを用いてその登録音と類似した音をサンプリングする。
εVを変分オートエンコーダのエンコーダ(隠れ変数の平均と分散を出力するニューラルネットワーク)、DVを変分オートエンコーダのデコーダとする。この変分オートエンコーダを用いてn番目の異常サンプルxn (K)を以下のようにサンプリングする。
Figure 0007331369000018
ここで、~は右辺の確率分布からのサンプリング、Gaussianは正規分布、θE Vはエンコーダのパラメータ、θD Vはデコーダのパラメータを表す。
<実施形態>
以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
本発明の実施形態は、上述した異常度スコアのパラメータを学習する異常度スコア学習装置1と、異常度スコア学習装置1が学習したパラメータを用いて観測信号が正常か異常かを判定する異常音検知装置2とからなる。
≪異常度スコア学習装置≫
実施形態の異常度スコア学習装置1は、図3に例示するように、入力部11、異常音生成部12、閾値決定部13、パラメータ更新部14、収束判定部15、および出力部16を備える。この異常度スコア学習装置1が、図4に例示する各ステップの処理を行うことにより実施形態の異常度スコア学習方法が実現される。
異常度スコア学習装置1は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。異常度スコア学習装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。異常度スコア学習装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。異常度スコア学習装置1の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
以下、図4を参照して、実施形態の異常度スコア学習装置1が実行する異常度スコア学習方法について説明する。
ステップS11において、入力部11は、正常モデルp(x| z=0)、正常音データ、および異常音データを入力として受け取る。正常モデルp(x| z=0)は、正常音データを用いて推定した確率分布であり、従来の教師なし異常音検知で用いるものと同様である。正常音データは正常状態の機器が発した音を収録した大量の音データである。異常音データは異常状態の機器が発した音を収録した少量の音データである。なお、入力される正常音データは、正常モデルp(x| z=0)を学習するために用いた正常音データと同じものであることが好ましいが、必ずしも同じものでなくてもよい。
ステップS12において、異常音生成部12は、式(23)~(25)により、入力された異常音データから変分オートエンコーダを用いてN個の異常サンプル{yn}n=1 Nを疑似生成する。異常音生成部12は、疑似生成した異常サンプル{yn}n=1 Nを閾値決定部13へ出力する。
ステップS13において、閾値決定部13は、異常音生成部12から異常サンプル{yn}n=1 Nを受け取り、式(14)に基づいて閾値φρを設定する。閾値決定部13は、決定した閾値φρをパラメータ更新部14へ出力する。
ステップS14において、パラメータ更新部14は、閾値決定部13から閾値φρを受け取り、式(11)に基づいてパラメータθKを更新する。
ステップS15において、収束判定部15は、あらかじめ設定した終了条件を満たしているか否かを判定する。収束判定部15は、終了条件を満たしていればステップS16へ処理を進め、満たしていなければステップS12へ処理を戻す。終了条件は、例えば、ステップS12~S14の繰り返しを500回実行したこと、などと設定すればよい。
ステップS16において、出力部16は、学習したパラメータθKを出力する。
≪異常音検知装置≫
実施形態の異常音検知装置2は、図5に例示するように、パラメータ記憶部20、入力部21、異常度取得部22、状態判定部23、および出力部24を備える。この異常音検知装置2が、図6に例示する各ステップの処理を行うことにより実施形態の異常音検知方法が実現される。
異常音検知装置2は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。異常音検知装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。異常音検知装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。異常音検知装置2の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。異常音検知装置2が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
パラメータ記憶部20には、正常モデルp(x| z=0)と学習済みのパラメータθKと閾値φとが記憶されている。正常モデルp(x| z=0)は、異常度スコア学習装置1と同様に、正常音データを用いて確率分布を推定したモデルであり、従来の教師なし異常音検知で用いるものと同様である。閾値φは、異常度スコア学習装置1の閾値決定部13により決定された閾値φρであってもよいし、あらかじめ手動で与えた閾値であってもよい。
以下、図6を参照して、実施形態の異常音検知装置2が実行する異常音検知方法について説明する。
ステップS21において、入力部21は、異常音検知の対象とする観測信号xを入力として受け取る。入力部21は、観測信号xを異常度取得部22へ出力する。
ステップS22において、異常度取得部22は、入力部21から観測信号xを受け取り、式(6)を計算し、異常度B(x, θK)を得る。異常度取得部22は、得られた異常度B(x, θK)を状態判定部23へ出力する。
ステップS23において、状態判定部23は、異常度取得部22から異常度B(x, θK)を受け取り、式(3)を計算し、観測信号xが正常か異常かを判定する。状態判定部23は、観測信号xが正常か異常かを示す二値データである判定結果を出力部24へ出力する。
ステップS24において、出力部24は、状態判定部23から判定結果を受け取り、その判定結果を異常音検知装置2の出力とする。
<変形例>
上述の実施形態では、異常度スコア学習装置1が異常サンプルを疑似生成して異常度スコアのパラメータを学習する構成としたが、異常サンプルを疑似生成する機能のみを備えた異常音生成装置を構成することも可能である。この異常音生成装置は、実施形態の異常度スコア学習装置1が備える異常音生成部12を備える。この異常音生成装置は、例えば、少量の異常データを入力とし、異常音生成部12が、その異常データを用いて異常サンプルを疑似生成し、その異常サンプルを異常音生成装置の出力とする。
上述の実施形態では、異常音検知装置2が観測信号から異常度スコアを計算し、その異常度スコアを用いて正常か異常かを判定する構成としたが、観測信号から異常度スコアを計算する機能のみを備えた異常度算出装置を構成することも可能である。この異常度算出装置は、実施形態の異常音検知装置2が備えるパラメータ記憶部20と異常度取得部22とを備える。この異常度算出装置は、例えば、観測信号を入力とし、異常度取得部22がパラメータ記憶部20に記憶されている学習済みのパラメータを用いて、その観測信号の異常度スコアを算出し、その異常度スコアを異常度算出装置の出力とする。
上述の実施形態では、異常サンプルを疑似生成する機能を、異常度スコアのパラメータを学習するために用いる構成を説明したが、この機能の用途はこれに限定されず、特定の特徴をもつ多くのサンプルを必要とする技術であれば応用することが可能である。また、上述の実施形態では、観測信号から異常度スコアを計算する機能を、対象とする機器が正常か異常かを判定するために用いる構成を説明したが、この機能の用途はこれに限定されず、得られたサンプルから状態を判定する技術であれば応用することが可能である。
上述の実施形態では、異常度スコア学習装置1と異常音検知装置2とを別個の装置として構成する例を説明したが、異常度スコアのパラメータを学習する機能と学習済みのパラメータを用いて異常音検知を行う機能とを兼ね備えた1台の異常音検知装置を構成することも可能である。すなわち、変形例の異常音検知装置は、入力部11、異常音生成部12、閾値決定部13、パラメータ更新部14、収束判定部15、パラメータ記憶部20、入力部21、異常度取得部22、状態判定部23、および出力部24を含む。
上述の実施形態では、音データを対象とした異常音検知について説明したが、本発明は音データ以外へも適用することが可能である。例えば、本発明は音データ以外の時系列データや、画像データにも適用できる。これを適用するためには、xをその適用対象に適したものにすればよい。これは、振動センサや株価データであれば、これらの時系列情報をまとめたものや、それをフーリエ変換したものにすればよいし、画像であれば画像特徴量やそれをニューラルネットワークなどで分析した結果にしてもよい。この場合、異常音検知装置2は、正常時のデータである正常データを学習した正常モデルと異常時のデータである異常データを学習した異常度スコアとを用いて観測データが正常か異常かを判定する異常検知装置として機能する。
以上、本発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
1 異常度スコア学習装置
11 入力部
12 異常音生成部
13 閾値決定部
14 パラメータ更新部
15 収束判定部
16 出力部
2 異常音検知装置
20 パラメータ記憶部
21 入力部
22 異常度取得部
23 状態判定部
24 出力部

Claims (6)

  1. 正常音と異常音を学習して得たパラメータに基づき所定の機器の異常音を検知する装置のために、新たな異常音を追加学習する方法であって、
    前記正常音を学習して得た関数と前記異常音を学習して前記異常音ごとに得た関数を含み、前記所定の機器の音の評価に用いる異常度関数に、前記新たな異常音に対応する関数であって学習すべきパラメータを含む関数を追加する手順と、
    前記新たな異常音と、前記所定の機器を含む所望の機器群から得られた音が従う確率分布と、を関連付けることで疑似異常音を生成する手順と、
    前記新たな異常音と前記疑似異常音を全て異常音と判定できる異常判定閾値の下で、正常音を異常と誤判定する確率を最小化するように、前記学習すべきパラメータを最適化する手順と
    を含む、異常音追加学習方法。
  2. 請求項1に記載の異常音追加学習法であって、
    前記疑似異常音を生成する手順は、前記所望の機器群から得られうるすべての音を生成可能に学習された変分オートエンコーダを用いて、前記新たな異常音から前記疑似異常音を生成するものである
    異常音追加学習方法。
  3. 第一クラスタに属するデータ群と第二クラスタに属するデータ群を学習して得たパラメータに基づき、データ生成系が第二クラスタに属するデータを生成したことを検知する装置のために、新たな第二クラスタに属するデータを追加学習する方法であって、
    前記第一クラスタに属するデータを学習して得た関数と前記第二クラスタに属するデータを学習して前記第二クラスタに属するデータごとに得た関数を含み、前記データ生成系が生成するデータの評価に用いる関数に、前記新たな第二クラスタに属するデータに対応する関数であって学習すべきパラメータを含む関数を追加する手順と、
    前記新たな第二クラスタに属するデータと、前記データ生成系から得られたデータが従う確率分布と、を関連付けることで疑似第二クラスタデータを生成する手順と、
    前記新たな第二クラスタデータと前記疑似第二クラスタデータを全て第二クラスタに属するデータと判定できる判定閾値の下で、第一クラスタに属するデータを第二クラスタに属すると誤判定する確率を最小化するように、前記学習すべきパラメータを最適化する手順と
    を含む、データ追加学習方法。
  4. 正常音を用いて学習した正常モデルと、登録正常音と登録異常音を学習して前記登録異常音ごとに得た類似度関数に基づき、判定対象の音の異常度を算出する異常度算出装置であって、
    前記正常モデルが算出した前記判定対象の音が正常である確からしさの値を、前記類似度関数が算出した、前記判定対象の音と前記登録異常音の類似度と、前記判定対象の音と前記登録正常音の非類似度との和で補正した値を異常度として算出する算出部とを有し、
    前記算出部は、新たな異常音が得られたとき、新たな異常音に対応する追加類似度関数を学習し、前記正常モデルと前記類似度関数が算出した値に、前記追加類似度関数が算出した値を加算することで、前記異常度を算出するものである
    ことを特徴とする異常度算出装置。
  5. 第一クラスタに属するデータを用いて学習した第一モデルと、登録第一クラスタデータと登録第二クラスタデータを学習して前記登録第二クラスタデータごとに得た類似度関数に基づき、判定対象データが第二クラスタに属する確からしさの指標値を算出する指標値算出装置であって、
    前記第一モデルが算出した前記判定対象のデータが第一クラスタに属する確からしさの値を、前記類似度関数が算出した、前記判定対象のデータと前記登録第二クラスタデータの類似度と、前記判定対象のデータと前記登録第一クラスタデータの非類似度との和で補正した値を指標値として算出する算出部を有し、
    前記算出部は、新たな第二クラスタデータが得られたとき、新たな第二クラスタデータに対応する追加類似度関数を学習し、前記第一モデルと前記類似度関数が算出した値に、前記追加類似度関数が算出した値を加算することで、前記指標値を算出するものである
    ことを特徴とする指標値算出装置。
  6. 求項4に記載の異常度算出装置、または請求項に記載の指標値算出装置としてコンピュータを機能させるためのプログラム。
JP2019014000A 2019-01-30 2019-01-30 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム Active JP7331369B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019014000A JP7331369B2 (ja) 2019-01-30 2019-01-30 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
US17/425,672 US11996120B2 (en) 2019-01-30 2020-01-16 Sound generation apparatus, data generation apparatus, anomaly score calculation apparatus, and program
PCT/JP2020/001149 WO2020158398A1 (ja) 2019-01-30 2020-01-16 音生成装置、データ生成装置、異常度算出装置、指標値算出装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019014000A JP7331369B2 (ja) 2019-01-30 2019-01-30 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020123094A JP2020123094A (ja) 2020-08-13
JP7331369B2 true JP7331369B2 (ja) 2023-08-23

Family

ID=71840419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019014000A Active JP7331369B2 (ja) 2019-01-30 2019-01-30 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム

Country Status (3)

Country Link
US (1) US11996120B2 (ja)
JP (1) JP7331369B2 (ja)
WO (1) WO2020158398A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331369B2 (ja) * 2019-01-30 2023-08-23 日本電信電話株式会社 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
CN112632469A (zh) * 2020-12-22 2021-04-09 深圳壹账通智能科技有限公司 业务交易数据的异常检测方法、装置及计算机设备
CN112863524B (zh) * 2021-01-21 2022-11-29 中国矿业大学(北京) 基于分解特征值的矿井爆炸灾害声音识别方法
KR20230036384A (ko) * 2021-09-07 2023-03-14 현대자동차주식회사 이상 탐지 시스템 및 그의 임계치 설정 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010216943A (ja) 2009-03-16 2010-09-30 Japan Organo Co Ltd 溶存窒素濃度の測定方法及び溶存窒素濃度の測定装置
JP2012181280A (ja) 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 音処理装置および音処理方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635614B2 (ja) 1999-01-26 2005-04-06 株式会社リコー 機械音処理装置
US7565335B2 (en) * 2006-03-15 2009-07-21 Microsoft Corporation Transform for outlier detection in extract, transfer, load environment
US7792770B1 (en) * 2007-08-24 2010-09-07 Louisiana Tech Research Foundation; A Division Of Louisiana Tech University Foundation, Inc. Method to indentify anomalous data using cascaded K-Means clustering and an ID3 decision tree
JP5083162B2 (ja) * 2008-10-06 2012-11-28 富士ゼロックス株式会社 画像データ判定装置、画像データ判定システム、及びプログラム
JP5568183B2 (ja) * 2011-07-25 2014-08-06 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報識別方法、プログラム及びシステム
JP6340236B2 (ja) * 2014-04-15 2018-06-06 三菱重工工作機械株式会社 工作機械の診断方法及びシステム
JP6250198B2 (ja) * 2015-02-03 2017-12-20 三菱電機株式会社 異常音診断装置、異常音診断システム、異常音診断方法および異常音診断プログラム
US10147049B2 (en) * 2015-08-31 2018-12-04 International Business Machines Corporation Automatic generation of training data for anomaly detection using other user's data samples
CN107458383B (zh) * 2016-06-03 2020-07-10 法拉第未来公司 使用音频信号的车辆故障自动检测
DE112017005413T5 (de) * 2016-10-26 2019-07-18 Robert Bosch Gmbh System und verfahren zur mobilen und autonomen audioerfassung und -analyse
US10594640B2 (en) * 2016-12-01 2020-03-17 Oath Inc. Message classification
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
US20190219994A1 (en) * 2018-01-18 2019-07-18 General Electric Company Feature extractions to model large-scale complex control systems
JP2019164107A (ja) * 2018-03-20 2019-09-26 本田技研工業株式会社 異音判定装置および判定方法
NO20201338A1 (en) * 2018-06-08 2020-12-07 Schlumberger Technology Bv Methods for characterizing and evaluating well integrity using unsupervised machine learning of acoustic data
US11146580B2 (en) * 2018-09-28 2021-10-12 Adobe Inc. Script and command line exploitation detection
WO2020123999A1 (en) * 2018-12-13 2020-06-18 Diveplane Corporation Synthetic data generation in computer-based reasoning systems
US11410047B2 (en) * 2018-12-31 2022-08-09 Paypal, Inc. Transaction anomaly detection using artificial intelligence techniques
JP7331369B2 (ja) * 2019-01-30 2023-08-23 日本電信電話株式会社 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
JP7060535B2 (ja) * 2019-02-27 2022-04-26 ファナック株式会社 工作機械の加工不良発生予測システム
US11374952B1 (en) * 2019-09-27 2022-06-28 Amazon Technologies, Inc. Detecting anomalous events using autoencoders
US11063965B1 (en) * 2019-12-19 2021-07-13 Nanotronics Imaging, Inc. Dynamic monitoring and securing of factory processes, equipment and automated systems
JP7409080B2 (ja) * 2019-12-27 2024-01-09 富士通株式会社 学習データ生成方法、学習データ生成プログラムおよび情報処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010216943A (ja) 2009-03-16 2010-09-30 Japan Organo Co Ltd 溶存窒素濃度の測定方法及び溶存窒素濃度の測定装置
JP2012181280A (ja) 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 音処理装置および音処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小泉 悠馬,齊藤 翔一郎,植松 尚,深層学習を用いた機器動作音の異常音検知,日本音響学会 2017年 春季研究発表会講演論文集CD-ROM [CD-ROM],日本,日本音響学会,2017年03月,p473-p476

Also Published As

Publication number Publication date
WO2020158398A1 (ja) 2020-08-06
US11996120B2 (en) 2024-05-28
JP2020123094A (ja) 2020-08-13
US20220122629A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
JP6947219B2 (ja) 異常音検知装置、異常モデル学習装置、異常検知装置、異常音検知方法、異常音生成装置、異常データ生成装置、異常音生成方法、およびプログラム
JP7331369B2 (ja) 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
JP7223839B2 (ja) 異常検出および/または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
CN111709028B (zh) 一种网络安全状态评估和攻击预测方法
CN111538311B (zh) 一种基于数据挖掘的机械设备柔性多状态自适应预警方法及装置
CN113255848A (zh) 基于大数据学习的水轮机空化声信号辨识方法
US20230085991A1 (en) Anomaly detection and filtering of time-series data
CN111314329A (zh) 流量入侵检测系统和方法
JP7188598B2 (ja) 異常度推定装置、異常度推定方法、およびプログラム
CN111431849B (zh) 一种网络入侵检测方法及装置
CN112202726B (zh) 一种基于上下文感知的系统异常检测方法
CN109656818B (zh) 一种软件密集系统故障预测方法
CN112714130A (zh) 一种基于大数据自适应网络安全态势感知方法
CN115277354A (zh) 一种面向指挥控制网络管理系统的故障检测方法
JP7207540B2 (ja) 学習支援装置、学習支援方法、及びプログラム
JP6472417B2 (ja) 特徴量抽出装置、特徴量抽出関数情報生成装置、これらの方法及びプログラム
Lee et al. Early failure detection of paper manufacturing machinery using nearest neighbor‐based feature extraction
CN114169460A (zh) 样本筛选方法、装置、计算机设备和存储介质
CN115208651B (zh) 基于逆习惯化机制的流聚类异常检测方法及系统
CN115544886A (zh) 高速电梯的失效时间节点预测方法、系统、设备和介质
US11954685B2 (en) Method, apparatus and computer program for selecting a subset of training transactions from a plurality of training transactions
JP7188597B2 (ja) 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム
CN117741514B (zh) 一种船用线缆的状态检测方法及系统
Liu et al. Self-Train: Self-Supervised On-Device Training for Post-Deployment Adaptation
Rahman et al. Anomaly detection of river data for disaster prevention

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230601

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7331369

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150