JP7420244B2 - 学習装置、学習方法、推定装置、推定方法及びプログラム - Google Patents

学習装置、学習方法、推定装置、推定方法及びプログラム Download PDF

Info

Publication number
JP7420244B2
JP7420244B2 JP2022527333A JP2022527333A JP7420244B2 JP 7420244 B2 JP7420244 B2 JP 7420244B2 JP 2022527333 A JP2022527333 A JP 2022527333A JP 2022527333 A JP2022527333 A JP 2022527333A JP 7420244 B2 JP7420244 B2 JP 7420244B2
Authority
JP
Japan
Prior art keywords
learning
latent
attribute information
input
graph data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022527333A
Other languages
English (en)
Other versions
JPWO2021240661A1 (ja
Inventor
充敏 熊谷
具治 岩田
靖宏 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021240661A1 publication Critical patent/JPWO2021240661A1/ja
Application granted granted Critical
Publication of JP7420244B2 publication Critical patent/JP7420244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Description

特許法第30条第2項適用 https://arxiv.org/abs/2002.12011 https://arxiv.org/pdf/2002.12011.pdf ウェブサイトの掲載日 2020年2月27日
本発明は、学習装置、学習方法、推定装置、推定方法及びプログラムに関する。
従来、属性情報付きグラフを使った異常検知が知られている。異常検知とは、大多数のサンプル(通常、正常サンプルと呼ばれる)とは振る舞いが異なるサンプルを異常として検知する技術を指す。異常検知は侵入検知、医療画像診断、産業システム監視等様々な実応用で利用されている。
ここで、通常の異常検知では各々のサンプルは独立かつ同時分布から生成(i.i.d. データ)として扱われることが多い。一方で、いくつかの実応用では、サンプルに対し依存関係(つながり、グラフ構造)が陽に与えられることがある。例えば、セキュリティにおけるボットネット検知では、各ホスト(サンプル)は他のホストと通信関係で結ばれる。SNS上の異常ユーザ検知では、ユーザ(サンプル)は友人関係で結ばれている。このようにして形成されるグラフを属性情報付きグラフと呼ぶ。
例えば、属性情報付きグラフを使った異常検知として、グラフニューラルネットワークを用いることで教師情報が与えられたノードについて、教師情報を復元できるようなノードの潜在表現を学習する方法が知られている(例えば、非特許文献1を参照)。
また、例えば、ランダムウォークを用いることで各ノードの潜在表現を学習し、その潜在表現と教師情報を用いることでグラフ上の異常ノードを検知する技術が知られている(例えば、非特許文献2を参照)。
Thomas N. Kipf, Max Weling, "SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS", https://arxiv.org/pdf/1609.02907.pdf Jun Wu, Jingrui He, Yongming Liu, "ImVerde: Vertex-Diminished Random Walk for Learning Imbalanced Network Representation", https://arxiv.org/pdf/1804.09222.pdf
しかしながら、従来の異常検知手法には、属性情報付きグラフが含む教師データにおける異常サンプルが正常サンプルに比べて少ない場合、精度良く異常検知を行うことができないことがあるという問題がある。
例えば、非特許文献1に記載の異常検知は、クラスインバランス性(教師データにおける異常サンプルが正常サンプルに比べて少ない性質)が加味されていない。また、非特許文献2に記載の異常検知は、ランダムウォークベースの手法であるため、高精度な異常検知を行うためには膨大なパラメータを人手で設定する必要がある。
上述した課題を解決し、目的を達成するために、学習装置は、正常サンプルを少なくとも含む教師情報付きの属性情報付きグラフデータを入力として受け取る入力部と、前記属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習する学習部と、を有することを特徴とする。
推定装置は、属性情報付きグラフデータを入力として受け取る入力部と属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習したモデルを用いて、前記入力部に入力された属性情報付きグラフデータの未知ノードの潜在表現と、前記正常サンプルの潜在表現とのかい離の度合いを推定する推定部と、を有することを特徴とする。
本発明によれば、属性情報付きグラフが含む教師データにおける異常サンプルが正常サンプルに比べて少ない場合であっても、精度良く異常検知を行うことができる。
図1は、第1の実施形態に係る検知装置の構成例を示す図である。 図2は、潜在表現を説明する図である。 図3は、第1の実施形態に係る検知装置の処理の流れを示すフローチャートである。 図4は、第2の実施形態に係る検知システムの構成例を示す図である。 図5は、第2の実施形態に係る学習処理の流れを示すフローチャートである。 図6は、第2の実施形態に係る推定処理の流れを示すフローチャートである。 図7は、学習プログラムを実行するコンピュータの一例を示す図である。
以下に、本願に係る学習装置、学習方法、推定装置、推定方法及びプログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
[第1の実施形態]
第1の実施形態に係る検知装置は、入力されたデータを用いてモデルの学習を行う。例えば、入力されるデータは、教師情報付きの属性情報付きグラフである。例えば、教師情報は、データの各サンプルが異常であるか正常であるかを示すラベルである。また、データの各サンプルは、グラフのノードに相当し、ノード間のエッジの有無及び重み等が定義されているものとする。また、検知装置は、学習済みのモデルを用いて、異常であるか正常であるかが未知のサンプルの異常検知を行い、検知結果を出力する。つまり、第1の実施形態において、検知装置は学習装置と推定装置の両方の機能を有する。
[第1の実施形態の構成]
図1は、第1の実施形態に係る検知装置の構成例を示す図である。図1に示すように、検知装置10は、入力部11、出力部12、記憶部13及び制御部14を有する。入力部11は、入力装置を介してデータの入力を受け付けるためのインタフェースである。また、出力部12は、出力装置に対してデータを出力するためのインタフェースである。
記憶部13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。なお、記憶部13は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。記憶部13は、検知装置10で実行されるOS(Operating System)や各種プログラムを記憶する。記憶部13は、モデル情報131を記憶する。
モデル情報131は、モデルを構築するためのパラメータ等の情報である。例えば、モデルがニューラルネットワークであれば、モデル情報131はニューラルネットワークの各層の重みやバイアス等を含む。
制御部14は、検知装置10全体を制御する。制御部14は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。また、制御部14は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部14は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部14は、学習部141及び推定部142を有する。
学習部141は、属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習する。また、学習部141が学習を行う場合、入力部11は、正常サンプルを少なくとも含む教師情報付きの属性情報付きグラフデータを入力として受け取るものとする。学習部141は、属性情報付きグラフデータに含まれる正常サンプルを入力として受け取り、学習済みのモデルに関する情報を出力する。なお、学習部141によって出力されるモデルに関する情報は、モデル情報131として記憶部13に格納される。
推定部142は、教師情報付きの属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習したモデルを用いて、入力部11に入力された属性情報付きグラフデータの未知ノードの特徴と、正常サンプルの特徴とのかい離の度合いを推定する。推定部142が推定を行う場合、入力部11は、通常は学習部141で入力として用いた属性情報付きグラフデータを入力として受け取る。このとき、入力部11は、ラベルなしサンプル(属性情報)のみを入力として受け取ることもできる。
図2を用いて、潜在表現による学習処理及び推定処理を説明する。図2は、潜在表現を説明する図である。まず、検知装置10に入力される属性情報付きグラフは、各サンプルの属性情報に加え、各サンプルをグラフのノードと見なしたときの、ノード間のエッジに関する情報を含むものとする。
例えば、サンプルがネットワーク上のホストである場合、ホスト間の通信関係がエッジに関する情報に相当する。例えば、通信関係は、接続の有無、通信に使用可能な帯域、通信量の実績等である。
また、例えば、サンプルSNSのユーザである場合、ユーザ間の友人関係がエッジに関する情報に相当する。例えば、友人関係は、友人として登録されているか否か、やり取りしたメッセージの件数等である。
また、本実施形態では、教師情報はサンプルが異常であるか正常であるかを示すラベルであるものとする。また、属性情報は、各サンプルの特徴を表す情報であり、上記のSNSのユーザの例では、年齢、性別、収入、友人の数等が属性情報になり得る。
図2に示すように、検知装置10に入力される属性情報付グラフには、正常であることを示すラベルが付与された正常サンプルに対応するノード(Labeled Normal Instance)、異常であることを示すラベルが付与された異常サンプルに対応するノード(Labeled Anomalous Instance)、ラベルが付与されていない未知サンプルに対応するノード(Unlabeled Instance)が含まれ得る。
学習処理においては、入力されるデータの中に、少なくとも正常サンプルに対応するノードが含まれていればよい。また、推定処理においては、入力されるデータの中に、少なくとも未知サンプルに対応するノードが含まれていればよい。
学習処理において、検知装置10は、正常サンプルが潜在空間(Embedding Space)の超球内(正常領域、Normal Region)に埋め込まれるようなノードの潜在表現を学習してもよい。例えば、超球は、潜在空間にあらかじめ設定された中心点cから一定の距離以内の領域である。検知装置10は、GCN(Graph Convolutional Network)によって各サンプルの潜在空間への配置を行うことができる。
なお、異常サンプルに対応するノードが存在する場合、検知装置10は、異常サンプルが超球の外側(異常領域、Anomalous Region)に配置されるようなノードの潜在表現をさらに学習してもよい。
検知装置10は、各サンプルの属性情報及びグラフ構造を加味して学習を行う。このため、学習済みの潜在表現によれば、正常サンプルと特徴が似ている未知サンプルは超球の中に配置されやすくなり、異常サンプルと特徴が似ている未知サンプルは超球の外側に配置されやすくなる。特徴には、属性情報及びグラフの構造が含まれる。
また、検知装置10は、未知サンプルが配置された位置の中心点cからの距離に基づき、アノマリスコアを計算し、アノマリスコアに基づく検知結果を出力することができる。検知結果は、アノマリスコアそのものであってもよいし、アノマリスコアが閾値を超えたサンプル、すなわち異常である恐れがあるサンプルを特定するための情報であってもよい。アノマリスコアは、入力部11に入力された属性情報付きグラフデータの各ノードの特徴と、正常サンプルの特徴とのかい離の度合いの一例である。
ここで、検知装置10による処理を詳細に説明する。まず、検知装置10に入力されるデータをG=(V, X, A)とする。Gは無向グラフであるものとする。Nをノードの総数、V=(v1, …, vN)をノード集合、Aを各ノードを行及び列に持つ隣接行列、X=(v1, …, vN)T∈RN×Dを各ノードの属性情報の行列とする。なお、Dは属性情報を表す特徴ベクトルの次元数である。
なお、グラフのノードとサンプルは1対1で対応しているものとする。また、グラフは有向グラフであってもよい。その場合、例えば、隣接行列Aの各要素の値の符号によってエッジの向きが表現されてもよい。
さらに、教師情報として与えられる異常及び正常サンプルを表すノードのindexの集合をそれぞれIA、INと表す。本実施形態では、教師情報はグラフに含まれるノードのうちの一部に与えられているものとする。すなわち、|IA|+|IN|<<Nを仮定する。また、異常サンプルの数は正常サンプルに比べて少ないとも仮定する。異常サンプルの数は0であってもよい。
検知装置10は、アノマリスコアを(1)式のように計算する。
Figure 0007420244000001
ここで、hnはノードnの潜在表現を表すK次元ベクトル、cはユーザが事前に設定するK次元ベクトルである。このcはK次元空間上の超球の中心点を表す。K次元空間は、潜在空間の一例である。また、(1)式では、hnがcから遠ざかれば遠ざかるほどノードnのアノマリスコアa(vn)は高くなる。したがって、各ノードの潜在表現としては、異常サンプルはcから遠く、正常サンプルはcに近いほうが望ましい。
検知装置10は、各ノードの潜在表現をGCNを利用して計算する。GCNでは、各ノードの潜在表現hnは(2)式に示す更新式により求められる。
Figure 0007420244000002
ここで、検知装置10の学習部141は、変換部及び更新部としての機能を持つ。まず、学習部141は、モデルを用いて、正常サンプルの特徴を潜在空間における潜在表現に変換する。そして、学習部141は、変換される正常サンプルの潜在表現が、あらかじめ設定された潜在空間における所定の点(中心点c)に近くなるように、モデルのパラメータを更新する。この場合、GCNがモデルに相当し、学習部141は、後述する目的関数が最適化されるように、GCNのパラメータを更新していく。
(2)式のWは、GCNの学習において更新されるパラメータである。σは任意の非線形関数、anmはAの(n,m)成分である。ノードnとノードmとの間にエッジがあれば、anmは0より大きい実数(例えば1)となる。一方、ノードnとノードmとの間にエッジがなければ、anmは0となる。
dnはノードnの次数を表す。(2)式に示すように、ノードnの出力(潜在表現)は、ノードn自身の潜在表現に加え、ノードn自身と接続するノードの潜在表現をWで線形変換したのち、σで非線形変換することで得られる。このように、各ノードの潜在表現は各ノード自身だけでなく、隣接グラフ構造も加味して出力される。ここで、検知装置10は、L回の変換を通して得られる出力を、ノードの最終的な潜在表現とする。なお、ノードnの初期状態hn (0)は、属性ベクトルxnであってよい。
検知装置10は、(3)式に示すLnor(θ)、及び(4)式に示すRAUC(θ)を項として含む、(5)式に示す目的関数L(θ)が最適化されるように、GCNのパラメータを更新する。
Figure 0007420244000003
Figure 0007420244000004
Figure 0007420244000005
ここで、(4)式のfはシグモイド関数を表す。(4)式はAUCの連続近似と等しい。異常サンプルのアノマリスコアが正常サンプルのものよりも高くなるほど、(4)式のRAUC(θ)は大きくなる。
検知装置10は、(5)式を最小化するようなGCNのパラメータθ=(W(0), …, W(L-1))を求める。また、検知装置10は、gradient-basedな任意の最適化法を用いることでパラメータθを推定できる。
なお、(4)式のλは正の実数又は0であり、第1項(Lnor(θ))と第2項(RAUC(θ))の影響を調整する人手で設定すべきパラメータである。異常サンプルがない、あるいはλ=0の場合であっても、検知装置10は、第1項のみを最小化することでモデルの学習を行うことができる。
(4)式の第1項のみを最小化する場合、検知装置10は、以下の(条件1)~(条件3)が満たされるように学習を行うことで、trivialな解(任意のノードの潜在表現hがcと一致)を避けることができる。
(条件1)cがゼロベクトルではない。
(条件2)GCNのbias termは使わない。
(条件3)unboundedなactivation function (ReLU等)を用いる。
図3は、第1の実施形態に係る検知装置の処理の流れを示すフローチャートである。図3に示すように、まず、入力部11は、教師情報付きの属性情報付きグラフを入力として受け取る(ステップS101)。次に、学習部141は、グラフの各ノードの潜在表現を学習する(ステップS102)。具体的には、学習部141は、モデルによる各ノードの潜在表現への変換が最適化されるように、モデルのパラメータを更新する。
そして、推定部142は、学習した潜在表現を基に、ラベルなしサンプルのアノマリスコアを推定する(ステップS103)。出力部12は、アノマリアスコアに基づく検知結果を出力する(ステップS104)。
[第1の実施形態の効果]
これまで説明してきたように、入力部11は、正常サンプルを少なくとも含む教師情報付きの属性情報付きグラフデータを入力として受け取る。学習部141は、属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習する。このように、検知装置10は、正常サンプルが含まれる属性情報付きグラフデータを基に、異常検知のための潜在表現を学習することができる。このため、本実施形態によれば、属性情報付きグラフを含む教師データにおける異常サンプルが正常サンプルに比べて少ない場合であっても、精度良く異常検知を行うことができる。
また、非特許文献1に記載の異常検知では、クラスインバランス性があるデータの場合、通常の教師あり機械学習法(e.g. SVM, DNN)では学習時に異常サンプルの情報が無視されやすく、精度良く学習ができないという問題がある。本実施形態では、クラスインバランス性のあるデータであっても精度良く学習することができる。
また、入力部11は、属性情報付きグラフデータを入力として受け取る。推定部142は、教師情報付きの属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習したモデルを用いて、入力部11に入力された属性情報付きグラフデータの各ノードの特徴と、正常サンプルの特徴とのかい離の度合いを推定する。このため、本実施形態によれば、属性情報付きグラフを含む教師データにおける異常サンプルが正常サンプルに比べて少ない場合であっても、異常検知のための学習及び推定を行うことができる。
学習部141は、モデルを用いて、正常サンプルの特徴を潜在空間における潜在表現に変換する。学習部141は、変換される正常サンプルの潜在表現が、あらかじめ設定された潜在空間における所定の点に近くなるように、モデルのパラメータを更新する。これにより、検知装置10は、正常サンプルを基にモデルの最適化を行うことができる。
入力部11は、サンプルごとの属性情報、及び各サンプルに対応するノード間のエッジの有無を表す隣接グラフを少なくとも含む属性情報付きグラフデータを入力として受け取る。学習部141は、属性情報と隣接グラフの両方を基に得られる潜在表現が最適化されるように学習する。これにより、検知装置10は、各サンプルの属性情報だけでなく、サンプル間の関係性を考慮した異常検知を行うことができる。
[第2の実施形態]
第1の実施形態では、検知装置が学習装置と推定装置の両方の機能を有する場合の例を説明した。一方、第2の実施形態では、学習装置と推定装置は別々の装置として実現される。
[第2の実施形態の構成]
図4は、第2の実施形態に係る検知システムの構成例を示す図である。図4に示すように、検知システム2は、学習装置20及び推定装置30を有する。学習装置20は、入力部21、出力部22、記憶部23及び制御部24を有する。また、推定装置30は、入力部31、出力部32、記憶部33及び制御部34を有する。
入力部21及び入力部31は、入力装置を介してデータの入力を受け付けるためのインタフェースである。また、出力部22及び出力部32は、出力装置に対してデータを出力するためのインタフェースである。記憶部23及び記憶部33は、記憶部13と同様、データを記憶するための記憶装置である。制御部24及び制御部34は、制御部14と同様に、各装置を制御する。
図2に示すように、学習装置20は、教師情報付きの属性情報付きグラフを入力として受け取る。制御部34は、学習部241及び格納部242を有する。学習部241は、学習部141と同様の機能を有する。格納部242は、学習部241による学習処理によって得られたモデルに関する情報を、モデル情報231として記憶部23に格納する。
推定装置30は、ラベルなしサンプル(未知サンプル)を入力として受け取る。また、推定装置30は、学習装置20からモデル情報231を取得する。制御部34は推定部341を有する。推定部341は、モデル情報231を基に構築されるモデルを用いて、入力されたラベルなしサンプルのアノマリスコアを推定する。
例えば、入力部21は、属性情報付きグラフデータを入力として受け取る。推定部341は、属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習したモデルを用いて、入力部21に入力された属性情報付きグラフデータの各ノードの未知ノードの潜在表現と、正常サンプルの潜在表現とのかい離の度合いを推定する。
第2の実施形態では、GCNの代わりに、グラフニューラルネットワークとして、GraphSAGE(参考文献1:Hamilton, Will, Zhitao Ying, and Jure Leskovec. "Inductive representation learning on large graphs." Advances in neural information processing systems. 2017.)のようなinductiveなモデルが採用されてもよい。このように、学習装置20が、inductiveなモデルのパラメータを属性情報付グラフを用いて学習しておくことで、推定装置30は、推定時に与えられるラベルなしサンプルについては、学習済みモデルを用いてアノマリスコアを検知することができる。
図5は、第2の実施形態に係る学習処理の流れを示すフローチャートである。図5に示すように、まず、入力部21は、教師情報付きの属性情報付きグラフを入力として受け取る(ステップS201)。学習部241は、グラフのノードの潜在表現を得るためのモデルを学習する(ステップS202)。格納部242は、学習したモデルを格納する(ステップS203)。
図6は、第2の実施形態に係る推定処理の流れを示すフローチャートである。図6に示すように、まず、入力部31は、ラベルなしサンプルを入力として受け取る(ステップS301)。推定部341は、学習したモデルを参照し、ラベルなしサンプルのアノマリスコアを推定する(ステップS302)。出力部32は、アノマリスコアに基づく検知結果を出力する(ステップS303)。
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
一実施形態として、検知装置10、学習装置20及び推定装置30は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理又は推定処理を実行するプログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記のプログラムを情報処理装置に実行させることにより、情報処理装置を検知装置10、学習装置20又は推定装置30として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
また、検知装置10、学習装置20及び推定装置30は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理又は推定処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、サーバ装置は、学習用のデータを入力とし、学習済みのモデルの情報を出力とするサービスを提供するサーバ装置として実装される。この場合、サーバ装置は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
図7は、学習プログラムを実行するコンピュータの一例を示す図である。なお、推定プログラムについても同様のコンピュータによって実行されてもよい。コンピュータ1000は、例えば、メモリ1010、プロセッサ1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011及びRAM1012を含む。ROM1011は、例えば、BIOS(BASIC Input Output System)等のブートプログラムを記憶する。プロセッサ1020は、CPU1021及びGPU(Graphics Processing Unit)1022を含む。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、学習装置20の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、学習装置20における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSDにより代替されてもよい。
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020は、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した実施形態の処理を実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
2 検知システム
10 検知装置
11、21、31 入力部
12、22、32 出力部
13、23、33 記憶部
14、24、34 制御部
20 学習装置
30 推定装置
131 モデル情報
141、241 学習部
142、341 推定部
242 格納部

Claims (6)

  1. 正常サンプルを少なくとも含む教師情報付きの属性情報付きグラフデータを入力として受け取る入力部と、
    前記属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習する学習部と、
    を有し、
    前記学習部は、
    モデルを用いて、前記正常サンプルの特徴を潜在空間における潜在表現に変換する変換部と、
    前記変換部によって変換される前記正常サンプルの潜在表現が、あらかじめ設定された前記潜在空間における所定の点に近くなるように、前記モデルのパラメータを更新する更新部と、
    を有することを特徴とする学習装置。
  2. 前記入力部は、サンプルごとの属性情報、及び各サンプルに対応するノード間のエッジの有無を表す隣接グラフを少なくとも含む属性情報付きグラフデータを入力として受け取り、
    前記学習部は、前記属性情報と前記隣接グラフの両方を基に得られる潜在表現が最適化されるように学習することを特徴とする請求項1に記載の学習装置。
  3. 学習装置が実行する学習方法であって、
    正常サンプルを少なくとも含む教師情報付きの属性情報付きグラフデータを入力として受け取る入力工程と、
    前記属性情報付きグラフデータに含まれる正常サンプルの特徴を表す潜在表現を学習する学習工程と、
    を含み、
    前記学習工程は、
    モデルを用いて、前記正常サンプルの特徴を潜在空間における潜在表現に変換する変換工程と、
    前記変換工程によって変換される前記正常サンプルの潜在表現が、あらかじめ設定された前記潜在空間における所定の点に近くなるように、前記モデルのパラメータを更新する更新工程と、
    を含むことを特徴とする学習方法。
  4. 属性情報付きグラフデータを入力として受け取る入力部と、
    属性情報付きグラフデータに含まれる正常サンプルの特徴を、潜在空間における潜在表現に変換することに用いられ、変換された前記正常サンプルの潜在表現が、あらかじめ設定された前記潜在空間における所定の点に近くなるように、パラメータが更新されたモデルを用いて、前記入力部に入力された属性情報付きグラフデータの未知ノードの潜在表現と、前記正常サンプルの潜在表現とのかい離の度合いを推定する推定部と、
    を有することを特徴とする推定装置。
  5. 推定装置が実行する推定方法であって、
    属性情報付きグラフデータを入力として受け取る入力工程と、
    属性情報付きグラフデータに含まれる正常サンプルの特徴を、潜在空間における潜在表現に変換することに用いられ、変換された前記正常サンプルの潜在表現が、あらかじめ設定された前記潜在空間における所定の点に近くなるように、パラメータが更新されたモデルを用いて、前記入力工程において入力された属性情報付きグラフデータの未知ノードの潜在表現と、前記正常サンプルの潜在表現とのかい離の度合いを推定する推定工程と、
    を含むことを特徴とする推定方法。
  6. コンピュータを、請求項1に記載の学習装置、又は請求項に記載の推定装置として機能させるためのプログラム。
JP2022527333A 2020-05-26 2020-05-26 学習装置、学習方法、推定装置、推定方法及びプログラム Active JP7420244B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/020810 WO2021240661A1 (ja) 2020-05-26 2020-05-26 学習装置、学習方法、推定装置、推定方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021240661A1 JPWO2021240661A1 (ja) 2021-12-02
JP7420244B2 true JP7420244B2 (ja) 2024-01-23

Family

ID=78723053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527333A Active JP7420244B2 (ja) 2020-05-26 2020-05-26 学習装置、学習方法、推定装置、推定方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7420244B2 (ja)
WO (1) WO2021240661A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023157280A1 (ja) * 2022-02-21 2023-08-24 日本電信電話株式会社 探索装置、探索方法、及び、探索プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG, Soojung et al.,A comprehensive study on the prediction reliability of graph neural network for virtual screening,arXiv [online],2020年05月17日,pp.1-40,https://arxiv.org/pdf/2003.07611.pdf

Also Published As

Publication number Publication date
JPWO2021240661A1 (ja) 2021-12-02
WO2021240661A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
Savitha et al. A meta-cognitive learning algorithm for an extreme learning machine classifier
US7996342B2 (en) Systems, methods and computer program products for supervised dimensionality reduction with mixed-type features and labels
Daye et al. High-dimensional heteroscedastic regression with an application to eQTL data analysis
Häggström Data‐driven confounder selection via Markov and Bayesian networks
Delgado-Panadero et al. Implementing local-explainability in gradient boosting trees: feature contribution
JP6870508B2 (ja) 学習プログラム、学習方法及び学習装置
Cai et al. One-step targeted maximum likelihood estimation for time-to-event outcomes
US11146580B2 (en) Script and command line exploitation detection
Steingrimsson et al. Deep learning for survival outcomes
CN113287093A (zh) 基于众包的容器异常检测
Zhou et al. A priori trust inference with context-aware stereotypical deep learning
US10997499B1 (en) Systems and methods for file system metadata analytics
EP3916597A1 (en) Detecting malware with deep generative models
US11645500B2 (en) Method and system for enhancing training data and improving performance for neural network models
Singh et al. Assessment of supervised machine learning algorithms using dynamic API calls for malware detection
US20220180240A1 (en) Transaction composition graph node embedding
JP6767312B2 (ja) 検知システム、検知方法及び検知プログラム
Moore et al. Increasing power in randomized trials with right censored outcomes through covariate adjustment
JP7420244B2 (ja) 学習装置、学習方法、推定装置、推定方法及びプログラム
WO2020129031A1 (en) Method and system for generating investigation cases in the context of cybersecurity
US10540828B2 (en) Generating estimates of failure risk for a vehicular component in situations of high-dimensional and low sample size data
JP2020021343A (ja) 解析装置、解析方法及びプログラム
US20210365358A1 (en) Diagnosing anomalies detected by black-box machine learning models
Guo et al. SGB‐ELM: an advanced stochastic gradient boosting‐based ensemble scheme for extreme learning machine
Guo et al. An interpretable neural network model through piecewise linear approximation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221021

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A801

Effective date: 20221021

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R150 Certificate of patent or registration of utility model

Ref document number: 7420244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150