WO2022059207A1 - 判定装置、判定方法及び判定プログラム - Google Patents

判定装置、判定方法及び判定プログラム Download PDF

Info

Publication number
WO2022059207A1
WO2022059207A1 PCT/JP2020/035622 JP2020035622W WO2022059207A1 WO 2022059207 A1 WO2022059207 A1 WO 2022059207A1 JP 2020035622 W JP2020035622 W JP 2020035622W WO 2022059207 A1 WO2022059207 A1 WO 2022059207A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
data
determination
learning
over
Prior art date
Application number
PCT/JP2020/035622
Other languages
English (en)
French (fr)
Inventor
友貴 山中
直人 藤木
正紀 篠原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US18/026,345 priority Critical patent/US20230351251A1/en
Priority to PCT/JP2020/035622 priority patent/WO2022059207A1/ja
Priority to JP2022550323A priority patent/JP7444270B2/ja
Priority to EP20954192.9A priority patent/EP4216113A1/en
Priority to CN202080105206.4A priority patent/CN116324826A/zh
Priority to AU2020468530A priority patent/AU2020468530B2/en
Publication of WO2022059207A1 publication Critical patent/WO2022059207A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection

Definitions

  • the detection system 1 may have the same configuration and function as the evaluation device described in Patent Document 1.
  • the learning device 10 corresponds to the generation unit in the evaluation device described in Patent Document 1.
  • the detection device 20 corresponds to an evaluation unit in the evaluation device described in Patent Document 1.
  • FIG. 2 is a diagram showing an operation example of the detection engine.
  • the notification unit 333 notifies the result of the determination by the determination unit 332.
  • the notification unit 333 notifies the user of the necessity of re-learning. For example, when the user selects a method for making the model follow the normal state, if the determination unit 332 determines that re-learning is necessary, the user selects re-learning, and the determination unit 332 needs to re-learn. If it is not determined to be, the over-detection FB can be selected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Security & Cryptography (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

判定部（３３２）は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかに基づき、初期学習モデルの再学習の要否を判定する。通知部（３３３）は、判定部（３３２）による判定の結果を通知する。

Description

判定装置、判定方法及び判定プログラム
　本発明は、判定装置、判定方法及び判定プログラムに関する。
　ＩｏＴ時代の到来に伴い、多種のデバイスが多様な使われ方の下でインターネットに接続されている。これらのＩｏＴデバイスのセキュリティ対策のため、ＩｏＴ機器向けのトラフィックセッション異常検知システムや侵入検知システム（ＩＤＳ）が、昨今盛んに研究されている。
　このような異常検知システムの中には、Variational　Auto　Encoder（ＶＡＥ）等の教師なし学習による確率密度推定器を用いるものがある。確率密度推定器を用いた異常検知システムは、実際の通信からトラフィック特徴量と呼ばれる学習用の高次元データを生成し、この特徴量を用いて正常なトラフィックの特徴を学習することで、正常通信パターンの発生確率を推定できるようになる。なお、以降の説明では、確率密度推定器を単にモデルと呼ぶ場合がある。
　その後、異常検知システムは、学習済みのモデルを用いて各通信の発生確率を算出し、発生確率の小さい通信を異常として検知する。このため、確率密度推定器を用いた異常検知システムによれば、全ての悪性状態を知らずとも異常検知が可能であり、さらに、未知のサイバー攻撃への対処も可能であるという利点もある。なお、異常検知システムにおいては、前述の発生確率が小さいほど大きくなるアノマリスコアが異常検知に用いられる場合がある。
　確率密度推定器を用いた異常検知システムは、検知対象の正常状態からのかい離度合いをもって異常を検知するということができる。したがって、監視対象システムの正常データの傾向が変化した場合、確率密度推定器をその変化に追従させることが必要になる。
　正常状態の変化に追従する手法としては、過検知フィードバック（ＦＢ）及び再学習が知られている（例えば、特許文献１を参照）。過検知ＦＢは学習済みのモデルからの小さなズレを補正する方法である。再学習はその名の通り、今持っている学習済みのモデルを破棄し、新たに学習を行う方法である。
特開２０１９－２２０８６６号公報
　しかしながら、従来の技術には、正常状態の変化に追従する手法を適切に選択することが困難な場合があるという問題がある。
　例えば、過検知ＦＢは強力な手法であり、学習済みモデルからの変化が小さい場合は基本的に過検知ＦＢを用いればよい。ただし、大量の新しい正常パターンをＦＢする場合、及び、学習済みモデルからの大幅な傾向の変化がある場合等に、過検知ＦＢはうまく機能しないことがある。
　一方で、過検知ＦＢがうまく機能しないケースを判断するためには、機械学習に関する深い知識を要する。このため、全てのユーザが正常状態の変化に追従する手法を適切に選択できるとは限らない。
　上述した課題を解決し、目的を達成するために、判定装置は、正常なデータを学習することにより生成された第１のモデルに関する情報、前記第１のモデルを使った異常検知システムによって過検知されたデータに関する情報、及び、前記過検知されたデータを基に生成された第２のモデルに関する情報のうち少なくともいずれかに基づき、前記第１のモデルの再学習の要否を判定する判定部と、前記判定部による判定の結果を通知する通知部と、を有することを特徴とする。
　本発明によれば、正常状態の変化に追従する手法を適切に選択することができる。
図１は、判定装置と検知システムとの関係を説明する図である。 図２は、検知エンジンの動作例を示す図である。 図３は、検知エンジンの動作例を示す図である。 図４は、第１の実施形態に係る判定装置の構成例を示す図である。 図５は、第１の実施形態に係る判定装置の処理の流れを示すフローチャートである。 図６は、判定プログラムを実行するコンピュータの一例を示す図である。
　以下に、本願に係る判定装置、判定方法及び判定プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
［第１の実施形態の構成］
　図１は、判定装置と検知システムとの関係を説明する図である。図１に示すように、判定装置３０は、過検知データ及び検知結果に関する情報を検知システム１から取得し、取得した情報を基に判定を行い、判定結果をユーザに通知する。
　検知システム１は、学習装置１０及び検知装置２０を有する。学習装置１０は、初期学習データを用いてモデルの学習を行い、学習済みのモデルを構築するための情報である初期学習モデル情報を検知装置２０に受け渡す。例えば、モデルはＶＡＥ等の確率密度推定器である。
　また、学習装置１０は、過検知データを用いてモデルの学習を行い、学習済みのモデルを構築するための情報である過検知モデル情報を検知装置２０に受け渡す。検知装置２０は、学習装置１０から受け取った情報を基に各モデルを構築し、検知対象データの異常検知を行う。
　検知システム１は、特許文献１に記載の評価装置と同様の構成及び機能を有するものであってもよい。その場合、学習装置１０は、特許文献１に記載の評価装置における生成部に相当する。また、検知装置２０は、特許文献１に記載の評価装置における評価部に相当する。
　過検知データとは、初期学習データを用いて学習を行った初期学習モデルで異常判定されてしまったが、本来は正常であるはずのデータである。また、過検知データのみを用いて学習を行ったモデルが過検知モデルである。過検知ＦＢは、初期学習モデルと過検知モデルを併用する手法である（詳細は特許文献１を参照）。
　ここで、初期学習モデルと過検知モデルを併用した機構を検知エンジンと呼ぶ。検知エンジンは、入力された評価対象のデータについて、初期学習モデルと過検知モデルの両方でアノマリスコアの算出を行う。そして、検知エンジンは、２つのアノマリスコアのうち最小のものを最終的なアノマリスコアとみなす。なお、検知エンジンは、２つのアノマリスコアのlogsumexpを近似的に最小値とみなすことができる。
　例えば、図２のように、初期学習モデルが低めのスコアを算出し、過検知モデルが高めのスコアを算出した場合、検知エンジンは、低めのスコアを最終的なアノマリスコアとして出力する。図２は、検知エンジンの動作例を示す図である。
　例えば、図３のように、初期学習モデルが高めのスコアを算出し、過検知モデルが低めのスコアを算出した場合、検知エンジンは、低めのスコアを最終的なアノマリスコアとして出力する。図３は、検知エンジンの動作例を示す図である。
　検知エンジンは、１つだけでなく複数の過検知モデルを初期学習モデルと併用してもよい。過検知モデルが複数である場合は、１つの評価対象データに対し、過検知モデルの数＋１個のアノマリスコアがそれぞれのモデルによって算出される。そして、検知エンジンは、複数のアノマリスコアのうち最小のものを最終的なアノマリスコアとみなす。
　ここで、過検知ＦＢには２つの懸念点がある。第１の懸念点は、過検知モデルは初期学習モデルよりも規模が小さいモデルであるため、学習可能なデータのパターンに限りがあることである。したがって、大量のパターンを１度にＦＢしようとすると、過検知モデルが過検知データ全体をうまく学習することができず、ＦＢがうまく働かないことがある。
　第２の懸念点は、前述の通り複数の過検知モデルを併用可能であるが、過検知モデルの数が増えすぎると、本来異常なデータを誤って正常とみなしてしまう検知漏れのリスクが高まってしまうことである。基本的には、初期学習モデルと過検知モデルは、初期学習モデルが正常状態をうまく反映できており、過検知モデルは初期学習モデルと正常状態の微妙な差異を吸収するためにある、といった関係にあることが望ましい。
　ここで、再学習を行う場合、新たな学習用データの収集が必要になる。このことから、再学習は効果が大きい一方で、非常にコストが大きい手法であるといえる。そのため、過検知ＦＢで済む場合は過検知ＦＢを採用する方が望ましい。一方で、過検知ＦＢには上記のような懸念点があるため、過検知ＦＢを採用しない方がよいケースも存在する。
　そこで、本実施形態においては、判定装置３０が所定の情報を基に、再学習を採用すべきであるか、もしくは過検知ＦＢを採用すべきであるかを自動的に判定し、その結果をユーザに通知する。その結果、本実施形態によれば、正常状態の変化に追従する手法を適切に選択することができるようになる。
　図４を用いて、判定装置３０について説明する。図４は、第１の実施形態に係る判定装置の構成例を示す図である。図４に示すように、判定装置３０は、ＩＦ（インタフェース）部３１、記憶部３２及び制御部３３を有する。
　ＩＦ部３１は、データの入力及び出力のためのインタフェースである。例えば、ＩＦ部３１はＮＩＣ（Network　Interface　Card）である。また、ＩＦ部３１は、マウスやキーボード等の入力装置、及びディスプレイ等の出力装置と接続されていてもよい。
　記憶部３２は、ＨＤＤ（Hard　Disk　Drive）、ＳＳＤ（Solid　State　Drive）、光ディスク等の記憶装置である。なお、記憶部３２は、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non　Volatile　Static　Random　Access　Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部３２は、判定装置３０で実行されるＯＳ（Operating　System）や各種プログラムを記憶する。
　制御部３３は、判定装置３０全体を制御する。制御部３３は、例えば、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等の電子回路や、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路である。また、制御部３３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部３３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部３３は、取得部３３１、判定部３３２、通知部３３３を有する。
　取得部３３１は、検知システム１から判定に必要な情報を取得する。例えば、取得部３３１は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかを取得する。なお、初期学習モデルは第１のモデルの一例である。また、過検知モデルは第２のモデルの一例である。
　例えば、取得部３３１は、初期学習データ及び過検知データの件数、種別及び具体的な値等を取得する。また、取得部３３１は、初期学習モデル及び過検知モデルに関して、損失関数の値及び算出されたアノマリスコア等を取得する。
　判定部３３２は、取得部３３１によって取得された情報を基に再学習の要否を判定する。つまり、判定部３３２は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかに基づき、初期学習モデルの再学習の要否を判定する。
　通知部３３３は、判定部３３２による判定の結果を通知する。通知部３３３は、再学習の要否をユーザに通知する。例えば、ユーザは、モデルを正常状態に追従させるための手法を選択する際に、判定部３３２が再学習が必要であると判定した場合は再学習を選択し、判定部３３２が再学習が必要であると判定しなかった場合は過検知ＦＢを選択することができる。
　以下、判定部３３２が初期学習モデルの再学習の要否を判定する条件について説明する。条件には、大きく分けて（１）過検知データに関する条件と、（２）初期学習モデルに関する条件がある。また、各条件は単独で用いられてもよいし、組み合わせとして用いられてもよい。例えば、判定部３３２は、下記の条件のいずれかが満たされた場合に、再学習が必要と判定する。
（１）過検知データに関する条件
　判定部３３２は、過検知データの件数の初期学習データの件数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。例えば、過検知モデルの学習に使用される過検知データの件数が、初期学習データの件数の３０％を超えた場合、判定部３３２は初期学習モデルの再学習が必要であると判定する。
　これは、過検知ＦＢがそもそも初期学習からの小さなズレを補正するものであり、あまりに大量の過検知データをＦＢすると、うまく機能しないためである。
　また、判定部３３２は、過検知データを所定の基準で複数の種別に分類したときの種別の数の、初期学習データを基準で分類したときの種別の数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。例えば、対象のデータが通信において発生したパケットごと又はフローごとの情報である場合、種別は通信プロトコル及びポート番号等の違いによるものであってもよい。
　例えば、初期学習モデルの学習の際には存在しなかった通信プロトコルによる通信が増加した場合、トラフィックの傾向が大きく変化した可能性があり、初期学習モデルの再学習が必要になると考えられる。
　判定部３３２は、過検知モデルの損失関数が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これは、過検知データだけでは過検知モデルの損失関数を十分に小さくすることができないため、過検知モデルの品質が向上しないことを意味している。そのような場合は、初期学習モデルの再学習が必要になると考えられる。
（２）初期学習モデルに関する条件
　判定部３３２は、検知対象のデータのうちの、過検知モデルを使った異常検知システムによって異常と検知されなかったデータの割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。例えば、過検知モデルによって正常判定されるデータの件数が、検知対象のデータの件数の４０％を超えた場合、初期学習モデルの再学習が必要であると判定される。
　なお、正常判定されるデータとは、例えばアノマリスコアが低く異常と検知されないデータである。これは、初期学習モデルよりも過検知モデルに適合するデータが増えてきていると考えられるためである。
　判定部３３２は、初期学習モデルによって計算される異常の度合いを表すアノマリスコアが所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これは、正常なデータの傾向が変化し、初期学習モデルが、本来正常であるデータに対しても高いアノマリスコアを算出していることが考えられるためである。
　なお、判定部３３２は、初期学習モデルに関する条件について、例えば一定期間ごとに判定を行うようにしてもよい。例えば、判定部３３２は、直近４時間のデータを基に条件の判定を行う。
［第１の実施形態の処理］
　図５は、第１の実施形態に係る判定装置の処理の流れを示すフローチャートである。まず、判定装置３０は、過検知データに関する情報、初期学習モデルに関する情報、過検知モデルに関する情報を取得を取得する（ステップＳ１０１）。判定装置３０は、これらの全ての情報を取得してもよいし、一部を取得してもよい。
　次に、判定装置３０は、取得した情報を基に、再学習が必要になる条件が満たされるか否かを判定する（ステップＳ１０２）。条件が満たされる場合（ステップＳ１０３、Ｙｅｓ）、判定装置３０は、再学習が必要であることを通知する（ステップＳ１０４）。条件が満たされない場合（ステップＳ１０３、Ｎｏ）、判定装置３０は、再学習が必要であることを通知せずに処理を終了する。
［第１の実施形態の効果］
　これまで説明してきたように、判定部３３２は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかに基づき、初期学習モデルの再学習の要否を判定する。通知部３３３は、判定部３３２による判定の結果を通知する。このように、判定装置３０は、再学習の要否を自動的に判定して通知する。その結果、本実施形態によれば、正常状態の変化に追従する手法を適切に選択することができるようになる。
　判定部３３２は、過検知データの件数の初期学習データの件数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、大量の過検知データがＦＢされ、過検知モデルが機能しなくなることを防止することができる。
　判定部３３２は、過検知データを所定の基準で複数の種別に分類したときの種別の数の、初期学習データを基準で分類したときの種別の数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、データの傾向が大きく変化し、相対的に初期学習モデルの精度が低下してきたことを察知することができる。
　判定部３３２は、過検知モデルの損失関数が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、過検知モデルの品質が向上しなくなったことを察知することができる。
　判定部３３２は、検知対象のデータのうちの、過検知モデルを使った異常検知システムによって異常と検知されなかったデータの割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、データの傾向が変化し、初期学習モデルではなく過検知モデルに適合してきたことを察知することができる。
　判定部３３２は、初期学習モデルによって計算される異常の度合いを表すスコアが所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、データの傾向が大きく変化し、相対的に初期学習モデルの精度が低下してきたことを察知することができる。
［実施例］
　本実施形態の検知システム１及び判定装置３０は、ＩｏＴ機器の異常検知へ適用可能である。例えば、検知システム１は、ＩｏＴネットワークに置かれたネットワークセンサによってキャプチャされたパケットに対して統計処理を実施し、トラフィック特徴量を生成する。そして、検知システム１は、トラフィック特徴量を用いて生成モデル（確率密度推定器）の学習を行い、初期学習モデルを生成する。
　さらに、検知システム１は、この初期学習モデルを用いてある一定期間異常検知を行い続け、過検知データを蓄積していく。判定装置３０は、蓄積された過検知データ及び各モデルに関する情報を検知システム１から取得し、再学習の要否を判定し、必要に応じて再学習をリコメンドする。
［システム構成等］
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central　Processing　Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。
　また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
［プログラム］
　一実施形態として、判定装置３０は、パッケージソフトウェアやオンラインソフトウェアとして上記の判定処理を実行する判定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の判定プログラムを情報処理装置に実行させることにより、情報処理装置を判定装置３０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal　Handyphone　System）等の移動体通信端末、さらには、ＰＤＡ（Personal　Digital　Assistant）等のスレート端末等がその範疇に含まれる。
　また、判定装置３０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の判定処理に関するサービスを提供する判定サーバ装置として実装することもできる。例えば、判定サーバ装置は、過検知データに関する情報を入力とし、再学習の要否を出力とする判定サービスを提供するサーバ装置として実装される。この場合、判定サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の判定処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
　図６は、判定プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。
　メモリ１０１０は、ＲＯＭ（Read　Only　Memory）１０１１及びＲＡＭ（Random　Access　Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（BASIC　Input　Output　System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。
　ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、判定装置３０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、判定装置３０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid　State　Drive）により代替されてもよい。
　また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。
　なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
　１　検知システム
　１０　学習装置
　２０　検知装置
　３０　判定装置
　３１　ＩＦ部
　３２　記憶部
　３３　制御部
　３３１　取得部
　３３２　判定部
　３３３　通知部

Claims (8)

  1. 　正常であることが既知の初期学習データを学習することにより生成された第１のモデルに関する情報、前記第１のモデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、前記過検知データを基に生成された第２のモデルに関する情報のうち少なくともいずれかに基づき、前記第１のモデルの再学習の要否を判定する判定部と、
    　前記判定部による判定の結果を通知する通知部と、
    　を有することを特徴とする判定装置。
  2. 　前記判定部は、前記過検知データの件数の前記初期学習データの件数に対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１に記載の判定装置。
  3. 　前記判定部は、過検知データを所定の基準で複数の種別に分類したときの種別の数の、前記初期学習データを前記基準で分類したときの種別の数に対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１に記載の判定装置。
  4. 　前記判定部は、前記第２のモデルの損失関数が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１に記載の判定装置。
  5. 　前記判定部は、検知対象のデータのうちの、前記第２のモデルを使った異常検知システムによって異常と検知されなかったデータの割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１に記載の判定装置。
  6. 　前記判定部は、前記第１のモデルによって計算される異常の度合いを表すスコアが所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１に記載の判定装置。
  7. 　判定装置によって実行される判定方法であって、
    　正常であることが既知の初期学習データを学習することにより生成された第１のモデルに関する情報、前記第１のモデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、前記過検知データを基に生成された第２のモデルに関する情報のうち少なくともいずれかに基づき、前記第１のモデルの再学習の要否を判定する判定工程と、
    　前記判定工程による判定の結果を通知する通知工程と、
    　を含むことを特徴とする判定方法。
  8. 　コンピュータを、請求項１から６のいずれか１項に記載の判定装置として機能させるための判定プログラム。
PCT/JP2020/035622 2020-09-18 2020-09-18 判定装置、判定方法及び判定プログラム WO2022059207A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US18/026,345 US20230351251A1 (en) 2020-09-18 2020-09-18 Determination device, determination method, and determination program
PCT/JP2020/035622 WO2022059207A1 (ja) 2020-09-18 2020-09-18 判定装置、判定方法及び判定プログラム
JP2022550323A JP7444270B2 (ja) 2020-09-18 2020-09-18 判定装置、判定方法及び判定プログラム
EP20954192.9A EP4216113A1 (en) 2020-09-18 2020-09-18 Assessment device, assessment method, and assessment program
CN202080105206.4A CN116324826A (zh) 2020-09-18 2020-09-18 判定装置、判定方法以及判定程序
AU2020468530A AU2020468530B2 (en) 2020-09-18 2020-09-18 Assessment device, assessment method, and assessment program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/035622 WO2022059207A1 (ja) 2020-09-18 2020-09-18 判定装置、判定方法及び判定プログラム

Publications (1)

Publication Number Publication Date
WO2022059207A1 true WO2022059207A1 (ja) 2022-03-24

Family

ID=80776756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035622 WO2022059207A1 (ja) 2020-09-18 2020-09-18 判定装置、判定方法及び判定プログラム

Country Status (6)

Country Link
US (1) US20230351251A1 (ja)
EP (1) EP4216113A1 (ja)
JP (1) JP7444270B2 (ja)
CN (1) CN116324826A (ja)
AU (1) AU2020468530B2 (ja)
WO (1) WO2022059207A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体
JP2019513246A (ja) * 2017-03-13 2019-05-23 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体
JP2019153893A (ja) * 2018-03-01 2019-09-12 日本電信電話株式会社 検知装置、検知方法及び検知プログラム
JP2019220866A (ja) 2018-06-20 2019-12-26 日本電信電話株式会社 評価装置及び評価方法
JP2020123174A (ja) * 2019-01-30 2020-08-13 オリンパス株式会社 画像ファイル生成装置、画像ファイル生成方法、画像管理装置、および画像管理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7044117B2 (ja) 2018-01-09 2022-03-30 日本電信電話株式会社 モデル学習装置、モデル学習方法、及びプログラム
JP7187397B2 (ja) 2019-07-18 2022-12-12 オークマ株式会社 工作機械における診断モデルの再学習要否判定方法及び再学習要否判定装置、再学習要否判定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体
JP2019513246A (ja) * 2017-03-13 2019-05-23 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． ランダムフォレストモデルの訓練方法、電子装置及び記憶媒体
JP2019153893A (ja) * 2018-03-01 2019-09-12 日本電信電話株式会社 検知装置、検知方法及び検知プログラム
JP2019220866A (ja) 2018-06-20 2019-12-26 日本電信電話株式会社 評価装置及び評価方法
JP2020123174A (ja) * 2019-01-30 2020-08-13 オリンパス株式会社 画像ファイル生成装置、画像ファイル生成方法、画像管理装置、および画像管理方法

Also Published As

Publication number Publication date
AU2020468530A1 (en) 2023-04-20
JP7444270B2 (ja) 2024-03-06
CN116324826A (zh) 2023-06-23
AU2020468530B2 (en) 2024-02-01
JPWO2022059207A1 (ja) 2022-03-24
US20230351251A1 (en) 2023-11-02
EP4216113A1 (en) 2023-07-26

Similar Documents

Publication Publication Date Title
JP7103274B2 (ja) 検知装置及び検知プログラム
JP6606050B2 (ja) 検知装置、検知方法および検知プログラム
JP6698056B2 (ja) 異常な事象を検出するシステム及び方法
CN112437920A (zh) 异常检测装置和异常检测方法
JP6767312B2 (ja) 検知システム、検知方法及び検知プログラム
WO2019245006A1 (ja) 検知装置及び検知方法
WO2019240038A1 (ja) 検知装置及び検知方法
AU2019288014B2 (en) Evaluation device and evaluation method
WO2022059207A1 (ja) 判定装置、判定方法及び判定プログラム
JP2019040423A (ja) 検知装置、検知方法および検知プログラム
JP6835704B2 (ja) 検知システム、学習方法及び学習プログラム
JP2018073241A (ja) 検知装置、検知方法および検知プログラム
WO2019167891A1 (ja) 検知装置、検知方法及び検知プログラム
JP7184197B2 (ja) 異常検出装置、異常検出方法および異常検出プログラム
WO2022059208A1 (ja) 学習装置、学習方法及び学習プログラム
JP2019009680A (ja) 検知装置および検知方法
JP7200496B2 (ja) 情報処理装置、制御方法、及びプログラム
US20210042412A1 (en) Information processing apparatus, control method, and program
WO2022195887A1 (ja) トラフィックセンサ、分析方法、および、分析プログラム
US20230418720A1 (en) System monitoring apparatus, system monitoring method, and computer readable recording medium
JP6753818B2 (ja) 検知装置および検知方法
JP2017146832A (ja) 異常ログ検出システムおよび異常ログ検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20954192

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022550323

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020468530

Country of ref document: AU

Date of ref document: 20200918

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020954192

Country of ref document: EP

Effective date: 20230418