JP7444270B2

JP7444270B2 - 判定装置、判定方法及び判定プログラム

Info

Publication number: JP7444270B2
Application number: JP2022550323A
Authority: JP
Inventors: 友貴山中; 直人藤木; 正紀篠原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2024-03-06
Anticipated expiration: 2040-09-18
Also published as: CN116324826A; EP4216113A4; EP4216113A1; AU2020468530A1; WO2022059207A1; US20230351251A1; AU2020468530B2; JPWO2022059207A1

Description

本発明は、判定装置、判定方法及び判定プログラムに関する。

ＩｏＴ時代の到来に伴い、多種のデバイスが多様な使われ方の下でインターネットに接続されている。これらのＩｏＴデバイスのセキュリティ対策のため、ＩｏＴ機器向けのトラフィックセッション異常検知システムや侵入検知システム（ＩＤＳ）が、昨今盛んに研究されている。

このような異常検知システムの中には、Variational Auto Encoder（ＶＡＥ）等の教師なし学習による確率密度推定器を用いるものがある。確率密度推定器を用いた異常検知システムは、実際の通信からトラフィック特徴量と呼ばれる学習用の高次元データを生成し、この特徴量を用いて正常なトラフィックの特徴を学習することで、正常通信パターンの発生確率を推定できるようになる。なお、以降の説明では、確率密度推定器を単にモデルと呼ぶ場合がある。

その後、異常検知システムは、学習済みのモデルを用いて各通信の発生確率を算出し、発生確率の小さい通信を異常として検知する。このため、確率密度推定器を用いた異常検知システムによれば、全ての悪性状態を知らずとも異常検知が可能であり、さらに、未知のサイバー攻撃への対処も可能であるという利点もある。なお、異常検知システムにおいては、前述の発生確率が小さいほど大きくなるアノマリスコアが異常検知に用いられる場合がある。

確率密度推定器を用いた異常検知システムは、検知対象の正常状態からのかい離度合いをもって異常を検知するということができる。したがって、監視対象システムの正常データの傾向が変化した場合、確率密度推定器をその変化に追従させることが必要になる。

正常状態の変化に追従する手法としては、過検知フィードバック（ＦＢ）及び再学習が知られている（例えば、特許文献１を参照）。過検知ＦＢは学習済みのモデルからの小さなズレを補正する方法である。再学習はその名の通り、今持っている学習済みのモデルを破棄し、新たに学習を行う方法である。

特開２０１９－２２０８６６号公報

しかしながら、従来の技術には、正常状態の変化に追従する手法を適切に選択することが困難な場合があるという問題がある。

例えば、過検知ＦＢは強力な手法であり、学習済みモデルからの変化が小さい場合は基本的に過検知ＦＢを用いればよい。ただし、大量の新しい正常パターンをＦＢする場合、及び、学習済みモデルからの大幅な傾向の変化がある場合等に、過検知ＦＢはうまく機能しないことがある。

一方で、過検知ＦＢがうまく機能しないケースを判断するためには、機械学習に関する深い知識を要する。このため、全てのユーザが正常状態の変化に追従する手法を適切に選択できるとは限らない。

上述した課題を解決し、目的を達成するために、判定装置は、正常なデータを学習することにより生成された第１のモデルに関する情報、前記第１のモデルを使った異常検知システムによって過検知されたデータに関する情報、及び、前記過検知されたデータを基に生成された第２のモデルに関する情報のうち少なくともいずれかに基づき、前記第１のモデルの再学習の要否を判定する判定部と、前記判定部による判定の結果を通知する通知部と、を有することを特徴とする。

本発明によれば、正常状態の変化に追従する手法を適切に選択することができる。

図１は、判定装置と検知システムとの関係を説明する図である。図２は、検知エンジンの動作例を示す図である。図３は、検知エンジンの動作例を示す図である。図４は、第１の実施形態に係る判定装置の構成例を示す図である。図５は、第１の実施形態に係る判定装置の処理の流れを示すフローチャートである。図６は、判定プログラムを実行するコンピュータの一例を示す図である。

以下に、本願に係る判定装置、判定方法及び判定プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。

［第１の実施形態の構成］
図１は、判定装置と検知システムとの関係を説明する図である。図１に示すように、判定装置３０は、過検知データ及び検知結果に関する情報を検知システム１から取得し、取得した情報を基に判定を行い、判定結果をユーザに通知する。

検知システム１は、学習装置１０及び検知装置２０を有する。学習装置１０は、初期学習データを用いてモデルの学習を行い、学習済みのモデルを構築するための情報である初期学習モデル情報を検知装置２０に受け渡す。例えば、モデルはＶＡＥ等の確率密度推定器である。

また、学習装置１０は、過検知データを用いてモデルの学習を行い、学習済みのモデルを構築するための情報である過検知モデル情報を検知装置２０に受け渡す。検知装置２０は、学習装置１０から受け取った情報を基に各モデルを構築し、検知対象データの異常検知を行う。

検知システム１は、特許文献１に記載の評価装置と同様の構成及び機能を有するものであってもよい。その場合、学習装置１０は、特許文献１に記載の評価装置における生成部に相当する。また、検知装置２０は、特許文献１に記載の評価装置における評価部に相当する。

過検知データとは、初期学習データを用いて学習を行った初期学習モデルで異常判定されてしまったが、本来は正常であるはずのデータである。また、過検知データのみを用いて学習を行ったモデルが過検知モデルである。過検知ＦＢは、初期学習モデルと過検知モデルを併用する手法である（詳細は特許文献１を参照）。

ここで、初期学習モデルと過検知モデルを併用した機構を検知エンジンと呼ぶ。検知エンジンは、入力された評価対象のデータについて、初期学習モデルと過検知モデルの両方でアノマリスコアの算出を行う。そして、検知エンジンは、２つのアノマリスコアのうち最小のものを最終的なアノマリスコアとみなす。なお、検知エンジンは、２つのアノマリスコアのlogsumexpを近似的に最小値とみなすことができる。

例えば、図２のように、初期学習モデルが低めのスコアを算出し、過検知モデルが高めのスコアを算出した場合、検知エンジンは、低めのスコアを最終的なアノマリスコアとして出力する。図２は、検知エンジンの動作例を示す図である。

例えば、図３のように、初期学習モデルが高めのスコアを算出し、過検知モデルが低めのスコアを算出した場合、検知エンジンは、低めのスコアを最終的なアノマリスコアとして出力する。図３は、検知エンジンの動作例を示す図である。

検知エンジンは、１つだけでなく複数の過検知モデルを初期学習モデルと併用してもよい。過検知モデルが複数である場合は、１つの評価対象データに対し、過検知モデルの数＋１個のアノマリスコアがそれぞれのモデルによって算出される。そして、検知エンジンは、複数のアノマリスコアのうち最小のものを最終的なアノマリスコアとみなす。

ここで、過検知ＦＢには２つの懸念点がある。第１の懸念点は、過検知モデルは初期学習モデルよりも規模が小さいモデルであるため、学習可能なデータのパターンに限りがあることである。したがって、大量のパターンを１度にＦＢしようとすると、過検知モデルが過検知データ全体をうまく学習することができず、ＦＢがうまく働かないことがある。

第２の懸念点は、前述の通り複数の過検知モデルを併用可能であるが、過検知モデルの数が増えすぎると、本来異常なデータを誤って正常とみなしてしまう検知漏れのリスクが高まってしまうことである。基本的には、初期学習モデルと過検知モデルは、初期学習モデルが正常状態をうまく反映できており、過検知モデルは初期学習モデルと正常状態の微妙な差異を吸収するためにある、といった関係にあることが望ましい。

ここで、再学習を行う場合、新たな学習用データの収集が必要になる。このことから、再学習は効果が大きい一方で、非常にコストが大きい手法であるといえる。そのため、過検知ＦＢで済む場合は過検知ＦＢを採用する方が望ましい。一方で、過検知ＦＢには上記のような懸念点があるため、過検知ＦＢを採用しない方がよいケースも存在する。

そこで、本実施形態においては、判定装置３０が所定の情報を基に、再学習を採用すべきであるか、もしくは過検知ＦＢを採用すべきであるかを自動的に判定し、その結果をユーザに通知する。その結果、本実施形態によれば、正常状態の変化に追従する手法を適切に選択することができるようになる。

図４を用いて、判定装置３０について説明する。図４は、第１の実施形態に係る判定装置の構成例を示す図である。図４に示すように、判定装置３０は、ＩＦ（インタフェース）部３１、記憶部３２及び制御部３３を有する。

ＩＦ部３１は、データの入力及び出力のためのインタフェースである。例えば、ＩＦ部３１はＮＩＣ（Network Interface Card）である。また、ＩＦ部３１は、マウスやキーボード等の入力装置、及びディスプレイ等の出力装置と接続されていてもよい。

記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、光ディスク等の記憶装置である。なお、記憶部３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部３２は、判定装置３０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。

制御部３３は、判定装置３０全体を制御する。制御部３３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部３３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部３３は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部３３は、取得部３３１、判定部３３２、通知部３３３を有する。

取得部３３１は、検知システム１から判定に必要な情報を取得する。例えば、取得部３３１は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかを取得する。なお、初期学習モデルは第１のモデルの一例である。また、過検知モデルは第２のモデルの一例である。

例えば、取得部３３１は、初期学習データ及び過検知データの件数、種別及び具体的な値等を取得する。また、取得部３３１は、初期学習モデル及び過検知モデルに関して、損失関数の値及び算出されたアノマリスコア等を取得する。

判定部３３２は、取得部３３１によって取得された情報を基に再学習の要否を判定する。つまり、判定部３３２は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかに基づき、初期学習モデルの再学習の要否を判定する。

通知部３３３は、判定部３３２による判定の結果を通知する。通知部３３３は、再学習の要否をユーザに通知する。例えば、ユーザは、モデルを正常状態に追従させるための手法を選択する際に、判定部３３２が再学習が必要であると判定した場合は再学習を選択し、判定部３３２が再学習が必要であると判定しなかった場合は過検知ＦＢを選択することができる。

以下、判定部３３２が初期学習モデルの再学習の要否を判定する条件について説明する。条件には、大きく分けて（１）過検知データに関する条件と、（２）初期学習モデルに関する条件がある。また、各条件は単独で用いられてもよいし、組み合わせとして用いられてもよい。例えば、判定部３３２は、下記の条件のいずれかが満たされた場合に、再学習が必要と判定する。

（１）過検知データに関する条件
判定部３３２は、過検知データの件数の初期学習データの件数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。例えば、過検知モデルの学習に使用される過検知データの件数が、初期学習データの件数の３０％を超えた場合、判定部３３２は初期学習モデルの再学習が必要であると判定する。

これは、過検知ＦＢがそもそも初期学習からの小さなズレを補正するものであり、あまりに大量の過検知データをＦＢすると、うまく機能しないためである。

また、判定部３３２は、過検知データを所定の基準で複数の種別に分類したときの種別の数の、初期学習データを基準で分類したときの種別の数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。例えば、対象のデータが通信において発生したパケットごと又はフローごとの情報である場合、種別は通信プロトコル及びポート番号等の違いによるものであってもよい。

例えば、初期学習モデルの学習の際には存在しなかった通信プロトコルによる通信が増加した場合、トラフィックの傾向が大きく変化した可能性があり、初期学習モデルの再学習が必要になると考えられる。

判定部３３２は、過検知モデルの損失関数が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これは、過検知データだけでは過検知モデルの損失関数を十分に小さくすることができないため、過検知モデルの品質が向上しないことを意味している。そのような場合は、初期学習モデルの再学習が必要になると考えられる。

（２）初期学習モデルに関する条件
判定部３３２は、検知対象のデータのうちの、過検知モデルを使った異常検知システムによって異常と検知されなかったデータの割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。例えば、過検知モデルによって正常判定されるデータの件数が、検知対象のデータの件数の４０％を超えた場合、初期学習モデルの再学習が必要であると判定される。

なお、正常判定されるデータとは、例えばアノマリスコアが低く異常と検知されないデータである。これは、初期学習モデルよりも過検知モデルに適合するデータが増えてきていると考えられるためである。

判定部３３２は、初期学習モデルによって計算される異常の度合いを表すアノマリスコアが所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これは、正常なデータの傾向が変化し、初期学習モデルが、本来正常であるデータに対しても高いアノマリスコアを算出していることが考えられるためである。

なお、判定部３３２は、初期学習モデルに関する条件について、例えば一定期間ごとに判定を行うようにしてもよい。例えば、判定部３３２は、直近４時間のデータを基に条件の判定を行う。

［第１の実施形態の処理］
図５は、第１の実施形態に係る判定装置の処理の流れを示すフローチャートである。まず、判定装置３０は、過検知データに関する情報、初期学習モデルに関する情報、過検知モデルに関する情報を取得を取得する（ステップＳ１０１）。判定装置３０は、これらの全ての情報を取得してもよいし、一部を取得してもよい。

次に、判定装置３０は、取得した情報を基に、再学習が必要になる条件が満たされるか否かを判定する（ステップＳ１０２）。条件が満たされる場合（ステップＳ１０３、Ｙｅｓ）、判定装置３０は、再学習が必要であることを通知する（ステップＳ１０４）。条件が満たされない場合（ステップＳ１０３、Ｎｏ）、判定装置３０は、再学習が必要であることを通知せずに処理を終了する。

［第１の実施形態の効果］
これまで説明してきたように、判定部３３２は、正常であることが既知の初期学習データを学習することにより生成された初期学習モデルに関する情報、初期学習モデルを使った異常検知システムによって過検知された過検知データに関する情報、及び、過検知データを基に生成された過検知モデルに関する情報のうち少なくともいずれかに基づき、初期学習モデルの再学習の要否を判定する。通知部３３３は、判定部３３２による判定の結果を通知する。このように、判定装置３０は、再学習の要否を自動的に判定して通知する。その結果、本実施形態によれば、正常状態の変化に追従する手法を適切に選択することができるようになる。

判定部３３２は、過検知データの件数の初期学習データの件数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、大量の過検知データがＦＢされ、過検知モデルが機能しなくなることを防止することができる。

判定部３３２は、過検知データを所定の基準で複数の種別に分類したときの種別の数の、初期学習データを基準で分類したときの種別の数に対する割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、データの傾向が大きく変化し、相対的に初期学習モデルの精度が低下してきたことを察知することができる。

判定部３３２は、過検知モデルの損失関数が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、過検知モデルの品質が向上しなくなったことを察知することができる。

判定部３３２は、検知対象のデータのうちの、過検知モデルを使った異常検知システムによって異常と検知されなかったデータの割合が所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、データの傾向が変化し、初期学習モデルではなく過検知モデルに適合してきたことを察知することができる。

判定部３３２は、初期学習モデルによって計算される異常の度合いを表すスコアが所定の値を超えた場合、初期学習モデルの再学習が必要であると判定する。これにより、データの傾向が大きく変化し、相対的に初期学習モデルの精度が低下してきたことを察知することができる。

［実施例］
本実施形態の検知システム１及び判定装置３０は、ＩｏＴ機器の異常検知へ適用可能である。例えば、検知システム１は、ＩｏＴネットワークに置かれたネットワークセンサによってキャプチャされたパケットに対して統計処理を実施し、トラフィック特徴量を生成する。そして、検知システム１は、トラフィック特徴量を用いて生成モデル（確率密度推定器）の学習を行い、初期学習モデルを生成する。

さらに、検知システム１は、この初期学習モデルを用いてある一定期間異常検知を行い続け、過検知データを蓄積していく。判定装置３０は、蓄積された過検知データ及び各モデルに関する情報を検知システム１から取得し、再学習の要否を判定し、必要に応じて再学習をリコメンドする。

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ（Central Processing Unit）及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、ＣＰＵだけでなく、ＧＰＵ等の他のプロセッサによって実行されてもよい。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

［プログラム］
一実施形態として、判定装置３０は、パッケージソフトウェアやオンラインソフトウェアとして上記の判定処理を実行する判定プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の判定プログラムを情報処理装置に実行させることにより、情報処理装置を判定装置３０として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）等の移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）等のスレート端末等がその範疇に含まれる。

また、判定装置３０は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の判定処理に関するサービスを提供する判定サーバ装置として実装することもできる。例えば、判定サーバ装置は、過検知データに関する情報を入力とし、再学習の要否を出力とする判定サービスを提供するサーバ装置として実装される。この場合、判定サーバ装置は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の判定処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。

図６は、判定プログラムを実行するコンピュータの一例を示す図である。コンピュータ１０００は、例えば、メモリ１０１０、ＣＰＵ１０２０を有する。また、コンピュータ１０００は、ハードディスクドライブインタフェース１０３０、ディスクドライブインタフェース１０４０、シリアルポートインタフェース１０５０、ビデオアダプタ１０６０、ネットワークインタフェース１０７０を有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ（Random Access Memory）１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（BASIC Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、判定装置３０の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール１０９３として実装される。プログラムモジュール１０９３は、例えばハードディスクドライブ１０９０に記憶される。例えば、判定装置３０における機能構成と同様の処理を実行するためのプログラムモジュール１０９３が、ハードディスクドライブ１０９０に記憶される。なお、ハードディスクドライブ１０９０は、ＳＳＤ（Solid State Drive）により代替されてもよい。

また、上述した実施形態の処理で用いられる設定データは、プログラムデータ１０９４として、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０は、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した実施形態の処理を実行する。

なお、プログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ１１００等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムモジュール１０９３及びプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール１０９３及びプログラムデータ１０９４は、他のコンピュータから、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１検知システム
１０学習装置
２０検知装置
３０判定装置
３１ＩＦ部
３２記憶部
３３制御部
３３１取得部
３３２判定部
３３３通知部

Claims

正常であることが既知の初期学習データを学習することにより生成された第１のモデルを使った異常検知システムによって過検知された過検知データを所定の基準で複数の種別に分類したときの種別の数の、前記初期学習データを前記基準で分類したときの種別の数に対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定する判定部と、
前記判定部による判定の結果を通知する通知部と、
を有することを特徴とする判定装置。
正常であることが既知の初期学習データを学習することにより生成された第１のモデルを使った異常検知システムによって過検知された過検知データを基に生成された第２のモデルを使った異常検知システムによって異常と検知されなかったデータの、検知対象のデータに対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定する判定部と、
前記判定部による判定の結果を通知する通知部と、
を有することを特徴とする判定装置。
前記判定部は、さらに、前記過検知データの件数の前記初期学習データの件数に対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１又は２に記載の判定装置。
前記判定部は、さらに、前記第２のモデルの損失関数が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項２に記載の判定装置。
前記判定部は、さらに、前記第１のモデルによって計算される異常の度合いを表すスコアが所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定することを特徴とする請求項１又は２に記載の判定装置。
判定装置によって実行される判定方法であって、
正常であることが既知の初期学習データを学習することにより生成された第１のモデルを使った異常検知システムによって過検知された過検知データを所定の基準で複数の種別に分類したときの種別の数の、前記初期学習データを前記基準で分類したときの種別の数に対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定する判定工程と、
前記判定工程による判定の結果を通知する通知工程と、
を含むことを特徴とする判定方法。
判定装置によって実行される判定方法であって、
正常であることが既知の初期学習データを学習することにより生成された第１のモデルを使った異常検知システムによって過検知された過検知データを基に生成された第２のモデルを使った異常検知システムによって異常と検知されなかったデータの、検知対象のデータに対する割合が所定の値を超えた場合、前記第１のモデルの再学習が必要であると判定する判定工程と、
前記判定工程による判定の結果を通知する通知工程と、
を含むことを特徴とする判定方法。
コンピュータを、請求項１から５のいずれか１項に記載の判定装置として機能させるための判定プログラム。