JP7205640B2 - 学習方法、学習プログラム、および学習装置 - Google Patents

学習方法、学習プログラム、および学習装置 Download PDF

Info

Publication number
JP7205640B2
JP7205640B2 JP2021548017A JP2021548017A JP7205640B2 JP 7205640 B2 JP7205640 B2 JP 7205640B2 JP 2021548017 A JP2021548017 A JP 2021548017A JP 2021548017 A JP2021548017 A JP 2021548017A JP 7205640 B2 JP7205640 B2 JP 7205640B2
Authority
JP
Japan
Prior art keywords
data
learning
feature data
error
probability distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021548017A
Other languages
English (en)
Other versions
JPWO2021059348A1 (ja
JPWO2021059348A5 (ja
Inventor
圭造 加藤
章 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2021059348A1 publication Critical patent/JPWO2021059348A1/ja
Publication of JPWO2021059348A5 publication Critical patent/JPWO2021059348A5/ja
Application granted granted Critical
Publication of JP7205640B2 publication Critical patent/JP7205640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Description

本発明は、学習方法、学習プログラム、および学習装置に関する。
従来、データ解析の分野において、次元数が比較的多い実空間における実データから、次元数が比較的少ない潜在空間における潜在変数と呼ばれる特徴データを抽出するオートエンコーダーが存在する。例えば、実データの代わりに、当該実データからオートエンコーダーにより抽出した特徴データを用いることにより、データ解析の精度向上を図ることがある。
先行技術としては、例えば、ニューラルネットワークを用いた教師なし学習により、潜在変数を学習するものがある。また、例えば、潜在変数を確率分布として学習する技術がある。また、例えば、オートエンコーダーの学習と同時に、潜在空間の確率分布を表現する混合ガウス分布を学習する技術がある。
Ｇｅｏｆｆｒｅｙ Ｅ． Ｈｉｎｔｏｎ； Ｒ． Ｒ． Ｓａｌａｋｈｕｔｄｉｎｏｖ （２００６－０７－２８）． "Ｒｅｄｕｃｉｎｇ ｔｈｅ Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｏｆ Ｄａｔａ ｗｉｔｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"． Ｓｃｉｅｎｃｅ ３１３ （５７８６）： ５０４－５０７． Ｄｉｅｄｅｒｉｋ Ｐ．Ｋｉｎｇｍａ， Ｍａｘ Ｗｅｌｌｉｎｇ， "Ａｕｔｏ－Ｅｎｃｏｄｉｎｇ Ｖａｒｉａｔｉｏｎａｌ Ｂａｙｅｓ，" ＩＣＬＲ ２０１４， Ｂａｎｆｆ， Ｃａｎａｄａ， Ａｐｒ ２０１４． Ｂｏ Ｚｏｎｇ， Ｑｉ Ｓｏｎｇ， Ｍａｒｔｉｎ Ｒｅｎｑｉａｎｇ Ｍｉｎ， Ｗｅｉ Ｃｈｅｎｇ， Ｃｒｉｓｔｉａｎ Ｌｕｍｅｚａｎｕ， Ｄａｅｋｉ Ｃｈｏ， ａｎｄ Ｈａｉｆｅｎｇ Ｃｈｅｎ， "Ｄｅｅｐ ａｕｔｏｅｎｃｏｄｉｎｇ ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅ ｍｏｄｅｌ ｆｏｒ ｕｎｓｕｐｅｒｖｉｓｅｄ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ，" Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ， ２０１８．
しかしながら、従来技術では、実データの確率分布の代わりに、特徴データの確率分布を用いる場合などに、データ解析の精度向上を図ることが難しい。例えば、実データの確率分布と、特徴データの確率分布との一致度合いが小さいほど、データ解析の精度向上を図ることが難しくなる。
１つの側面では、本発明は、データ解析の精度向上を図ることを目的とする。
１つの実施態様によれば、符号化と復号化を実行するオートエンコーダーの学習にあたり、入力されたデータを符号化し、前記データを符号化して得た特徴データの確率分布を算出し、前記特徴データを復号化して第一の復号化データを生成し、前記特徴データにノイズを加算し、前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する学習方法、学習プログラム、および学習装置が提案される。
一態様によれば、データ解析の精度向上を図ることが可能になる。
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。 図２は、データ解析システム２００の一例を示す説明図である。 図３は、学習装置１００のハードウェア構成例を示すブロック図である。 図４は、学習装置１００の機能的構成例を示すブロック図である。 図５は、学習装置１００の実施例１を示す説明図である。 図６は、学習装置１００の実施例２を示す説明図である。 図７は、学習装置１００により得られる効果の一例を示す説明図である。 図８は、学習処理手順の一例を示すフローチャートである。 図９は、解析処理手順の一例を示すフローチャートである。
以下に、図面を参照して、本発明にかかる学習方法、学習プログラム、および学習装置の実施の形態を詳細に説明する。
（実施の形態にかかる学習方法の一実施例）
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。図１において、学習装置１００は、オートエンコーダーを学習するコンピュータである。オートエンコーダーは、次元数が比較的多い実空間における実データから、次元数が比較的少ない潜在空間における潜在変数と呼ばれる特徴データを抽出するモデルである。
オートエンコーダーは、例えば、データ解析の処理量の低減化、および、データ解析の精度の向上などの、データ解析の効率化のために用いられる。データ解析の際、次元数が比較的多い実空間における実データの代わりに、次元数が比較的少ない潜在空間における特徴データを用いることにより、データ解析の処理量の低減化、および、データ解析の精度の向上などを図ることが考えられる。
データ解析の一例は、具体的には、対象のデータが外れ値データであるか否かを判定するアノマリー検出などである。外れ値データは、統計的に現れにくく、異常値である確率が比較的高い外れ値を示すデータである。アノマリー検出の際、実空間における実データの確率分布の代わりに、潜在空間における特徴データの確率分布を用いることが考えられる。そして、対象のデータからオートエンコーダーにより抽出した特徴データが、潜在空間における外れ値データであるか否かに基づいて、対象のデータが、実空間における外れ値データであるか否かを判定することが考えられる。
しかしながら、従来技術では、実空間における実データの確率分布の代わりに、潜在空間における特徴データの確率分布を用いても、データ解析の精度向上を図ることが難しいことがある。具体的には、従来技術によるオートエンコーダーでは、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とを一致させることや、実データの確率密度と、特徴データの確率密度とを比例させることが難しい。
具体的には、上記非特許文献１を参考にオートエンコーダーを学習しても、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とが一致することは保証されない。また、上記非特許文献２を参考にオートエンコーダーを学習しても、各変数に対し独立な正規分布を仮定しており、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とが一致することは保証されない。また、上記非特許文献３を参考にオートエンコーダーを学習しても、潜在空間における特徴データの確率分布に制約があるため、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とが一致することは保証されない。
このため、対象のデータからオートエンコーダーにより抽出した特徴データが、潜在空間における外れ値データであっても、対象のデータが、実空間における外れ値データではない場合があり、アノマリー検出の精度向上を図ることができないことがある。
そこで、本実施の形態では、実空間における実データの確率分布と、潜在空間における特徴データの確率分布とを一致させやすいオートエンコーダーを学習することができ、データ解析の精度向上を図ることができる学習方法について説明する。
図１において、学習装置１００は、学習対象とする更新前のオートエンコーダー１１０を有する。学習対象は、例えば、オートエンコーダー１１０の符号化のパラメータと復号化のパラメータとである。更新前とは、学習対象となる符号化のパラメータと復号化のパラメータとが更新前である状態を意味する。
（１－１）学習装置１００は、オートエンコーダー１１０を学習するサンプルとなる、ドメインＤからのデータｘを符号化した特徴データｚを生成する。特徴データｚは、データｘより次元数が少ないベクトルである。データｘは、ベクトルである。学習装置１００は、例えば、符号化にかかる関数ｆθ（・）を実現する符号化器１１１により、データｘを代入して得られる関数値ｆθ（ｘ）に対応する特徴データｚを生成する。
（１－２）学習装置１００は、特徴データｚの確率分布Ｐｚψ（ｚ）を算出する。学習装置１００は、例えば、確率分布を規定する、学習対象とする更新前のモデルに基づいて、特徴データｚの確率分布Ｐｚψ（ｚ）を算出する。学習対象は、例えば、確率分布を規定するパラメータψである。更新前とは、学習対象となる確率分布を規定するパラメータψが更新前である状態を意味する。学習装置１００は、具体的には、パラメータψを含む確率密度関数（ＰＤＦ：Ｐｒｏｂａｂｉｌｉｔｙ Ｄｅｎｓｉｔｙ Ｆｕｎｃｔｉｏｎ）により、特徴データｚの確率分布Ｐｚψ（ｚ）を算出する。確率密度関数は、例えば、パラメトリックである。
（１－３）学習装置１００は、特徴データｚを復号化して第一の復号化データｘ∧を生成する。第一の復号化データｘ∧は、ベクトルである。ここで、文中のｘ∧は、図中および式中のｘの上部に∧を付した記号を示す。学習装置１００は、例えば、復号化にかかる関数ｇξ（・）を実現する復号化器１１２により、特徴データｚを代入して得られる関数値ｇξ（ｚ）に対応する第一の復号化データｘ∧を生成する。
（１－４）学習装置１００は、特徴データｚにノイズεを加算して加算後データｚ＋εを生成する。学習装置１００は、例えば、雑音生成器１１３によりノイズεを生成し、加算後データｚ＋εを生成する。ノイズεは、特徴データｚと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。
（１－５）学習装置１００は、加算後データｚ＋εを復号化して第二の復号化データｘ∨を生成する。第二の復号化データｘ∨は、ベクトルである。ここで、文中のｘ∨は、図中および式中のｘの上部に∨を付した記号を示す。学習装置１００は、例えば、復号化にかかる関数ｇξ（・）を実現する復号化器１１４により、加算後データｚ＋εを代入して得られる関数値ｇξ（ｚ＋ε）に対応する第二の復号化データｘ∨を生成する。
（１－６）学習装置１００は、生成した第一の復号化データｘ∧とデータｘとの第一の誤差Ｄ１を算出する。学習装置１００は、下記式（１）により、第一の誤差Ｄ１を算出する。Ｆ（ｘ，ｘ∧）は、下記式（２）または下記式（３）である。また、Ｆ（ｘ，ｘ∧）は、下記式（４）の条件を満たせば、下記式（２）や下記式（３）以外の式であってもよい。
Figure 0007205640000001
Figure 0007205640000002
Figure 0007205640000003
Figure 0007205640000004
（１－７）学習装置１００は、第一の復号化データｘ∧と生成した第二の復号化データｘ∨との第二の誤差Ｄ２を算出する。学習装置１００は、例えば、下記式（５）により、第二の誤差Ｄ２を算出する。
Figure 0007205640000005
（１－８）学習装置１００は、算出した確率分布Ｐｚψ（ｚ）の情報エントロピーＲを算出する。情報エントロピーＲは、選択情報量であり、特徴データｚの発生しにくさを示す。学習装置１００は、例えば、下記式（６）により、情報エントロピーＲを算出する。
Figure 0007205640000006
（１－９）学習装置１００は、算出した第一の誤差Ｄ１と、第二の誤差Ｄ２と、確率分布の情報エントロピーＲとを最小化するように、オートエンコーダー１１０と、特徴データｚの確率分布とを学習する。学習装置１００は、例えば、下記式（７）に従って、重み付き和Ｅを最小化するように、オートエンコーダー１１０の符号化のパラメータθと、オートエンコーダー１１０の復号化のパラメータξと、モデルのパラメータψとを学習する。重み付き和Ｅは、重みλ１を付与した第一の誤差Ｄ１と、重みλ２を付与した第二の誤差Ｄ２と、確率分布の情報エントロピーＲとの和である。
Figure 0007205640000007
これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。
ここでは、便宜上、オートエンコーダー１１０を学習するサンプルとなるデータｘが１つである場合に着目して説明したが、これに限らない。例えば、学習装置１００が、オートエンコーダー１１０を学習するサンプルとなるデータｘのセットに基づいて、オートエンコーダー１１０を学習する場合があってもよい。この場合、学習装置１００は、上記式（７）において、重みλ１を付与した第一の誤差Ｄ１の平均値と、重みλ２を付与した第二の誤差Ｄ２の平均値と、確率分布の情報エントロピーＲの平均値となどを用いることになる。
ここでは、学習装置１００において、復号化器１１２と復号化器１１４とが、異なる部位により実現されている場合について説明したが、これに限らない。例えば、学習装置１００において、復号化器１１２と復号化器１１４とが、共通の部位により実現されている場合があってもよい。
（データ解析システム２００の一例）
次に、図２を用いて、図１に示した学習装置１００を適用した、データ解析システム２００の一例について説明する。
図２は、データ解析システム２００の一例を示す説明図である。図２において、データ解析システム２００は、学習装置１００と、１以上の端末装置２０１とを含む。
データ解析システム２００において、学習装置１００と端末装置２０１は、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。
学習装置１００は、サンプルとなるデータのセットを端末装置２０１から受信する。学習装置１００は、受信したサンプルとなるデータのセットに基づいて、オートエンコーダー１１０を学習する。学習装置１００は、データ解析の処理対象となるデータを端末装置２０１から受信し、学習したオートエンコーダー１１０を用いて、データ解析のサービスを端末装置２０１に提供する。データ解析は、例えば、アノマリー検出である。
学習装置１００は、例えば、アノマリー検出の処理対象となるデータを端末装置２０１から受信する。次に、学習装置１００は、学習したオートエンコーダー１１０を用いて、受信した処理対象となるデータが外れ値データであるか否かを判定する。そして、学習装置１００は、受信した処理対象となるデータが外れ値データであるか否かを判定した結果を端末装置２０１に送信する。学習装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。
端末装置２０１は、学習装置１００と通信可能なコンピュータである。端末装置２０１は、サンプルとなるデータを学習装置１００に送信する。端末装置２０１は、データ解析の処理対象となるデータを学習装置１００に送信し、データ解析のサービスを利用する。端末装置２０１は、例えば、アノマリー検出の処理対象となるデータを学習装置１００に送信する。そして、端末装置２０１は、送信した処理対象となるデータが外れ値データであるか否かを判定した結果を学習装置１００から受信する。端末装置２０１は、例えば、ＰＣ、タブレット端末、スマートフォン、または、ウェアラブル端末などである。
ここでは、学習装置１００と端末装置２０１とが異なる装置である場合について説明したが、これに限らない。例えば、学習装置１００が、端末装置２０１としても動作する場合があってもよい。この場合、データ解析システム２００は、端末装置２０１を含まなくてもよい。
ここでは、学習装置１００が、サンプルとなるデータのセットを端末装置２０１から受信する場合について説明したが、これに限らない。例えば、学習装置１００が、ユーザの操作入力に基づいて、サンプルとなるデータのセットの入力を受け付ける場合があってもよい。また、例えば、学習装置１００が、サンプルとなるデータのセットを、装着された記録媒体から読み出す場合があってもよい。
ここでは、学習装置１００が、データ解析の処理対象となるデータを端末装置２０１から受信する場合について説明したが、これに限らない。例えば、学習装置１００が、ユーザの操作入力に基づいて、データ解析の処理対象となるデータの入力を受け付ける場合があってもよい。また、例えば、学習装置１００が、データ解析の処理対象となるデータを、装着された記録媒体から読み出す場合があってもよい。
（学習装置１００のハードウェア構成例）
次に、図３を用いて、学習装置１００のハードウェア構成例について説明する。
図３は、学習装置１００のハードウェア構成例を示すブロック図である。図３において、学習装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。
ここで、ＣＰＵ３０１は、学習装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。
ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。
記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、学習装置１００から着脱可能であってもよい。
学習装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、学習装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。
（端末装置２０１のハードウェア構成例）
端末装置２０１のハードウェア構成例は、図３に示した学習装置１００のハードウェア構成例と同様であるため、説明を省略する。
（学習装置１００の機能的構成例）
次に、図４を用いて、学習装置１００の機能的構成例について説明する。
図４は、学習装置１００の機能的構成例を示すブロック図である。学習装置１００は、記憶部４００と、取得部４０１と、符号化部４０２と、生成部４０３と、復号化部４０４と、推定部４０５と、最適化部４０６と、解析部４０７と、出力部４０８とを含む。符号化部４０２と、復号化部４０４とは、オートエンコーダー１１０を形成する。
記憶部４００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部４００が、学習装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部４００が、学習装置１００とは異なる装置に含まれ、記憶部４００の記憶内容が学習装置１００から参照可能である場合があってもよい。
取得部４０１～出力部４０８は、制御部の一例として機能する。取得部４０１～出力部４０８は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。
記憶部４００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部４００は、符号化のパラメータと復号化のパラメータとを記憶する。記憶部４００は、例えば、符号化部４０２で用いられる、符号化にかかるニューラルネットワークを規定するパラメータθを記憶する。記憶部４００は、例えば、復号化部４０４で用いられる、復号化にかかるニューラルネットワークを規定するパラメータξを記憶する。
記憶部４００は、確率分布を規定する、学習対象とする更新前のモデルを記憶する。モデルは、例えば、確率密度関数である。モデルは、例えば、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）である。モデルが、混合ガウスモデルである具体例については、図５を用いて、実施例１に後述する。モデルは、確率分布を規定するパラメータψを有する。更新前とは、学習対象となる、モデルの確率分布を規定するパラメータψが、更新前である状態を意味する。また、記憶部４００は、各機能部の処理に用いられる各種関数を記憶する。
取得部４０１は、各機能部の処理に用いられる各種情報を取得する。取得部４０１は、取得した各種情報を、記憶部４００に記憶し、または、各機能部に出力する。また、取得部４０１は、記憶部４００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部４０１は、ユーザの操作入力に基づき、各種情報を取得してもよい。取得部４０１は、学習装置１００とは異なる装置から、各種情報を受信してもよい。
取得部４０１は、例えば、各種データの入力を受け付ける。取得部４０１は、例えば、オートエンコーダー１１０を学習するサンプルとなる１以上のデータの入力を受け付ける。以下の説明では、オートエンコーダー１１０を学習するサンプルとなるデータを「標本データ」と表記する場合がある。取得部４０１は、具体的には、標本データを端末装置２０１から受信することにより、標本データの入力を受け付ける。取得部４０１は、具体的には、ユーザの操作入力に基づき、標本データの入力を受け付けてもよい。これにより、取得部４０１は、標本データのセットを符号化部４０２や最適化部４０６などが参照可能にし、オートエンコーダー１１０を学習可能にすることができる。
取得部４０１は、例えば、データ解析の処理対象となる１以上のデータの入力を受け付ける。以下の説明では、データ解析の処理対象となるデータを「対象データ」と表記する場合がある。取得部４０１は、具体的には、対象データを端末装置２０１から受信することにより、対象データの入力を受け付ける。取得部４０１は、具体的には、ユーザの操作入力に基づき、対象データの入力を受け付けてもよい。これにより、取得部４０１は、対象データを符号化部４０２などが参照可能にし、データ解析を実施可能にすることができる。
取得部４０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、学習装置１００内で定期的に発生する信号であってもよい。開始トリガーは、例えば、ユーザによる所定の操作入力があったことであってもよい。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。
取得部４０１は、例えば、サンプルとなる標本データの入力を受け付けたことを、符号化部４０２～最適化部４０６の処理を開始する開始トリガーとして受け付ける。これにより、取得部４０１は、オートエンコーダー１１０を学習する処理を開始することができる。取得部４０１は、例えば、対象データの入力を受け付けたことを、符号化部４０２～解析部４０７の処理を開始する開始トリガーとして受け付ける。これにより、取得部４０１は、データ解析を実施する処理を開始することができる。
符号化部４０２は、各種データを符号化する。符号化部４０２は、例えば、標本データを符号化する。符号化部４０２は、具体的には、符号化にかかるニューラルネットワークにより、標本データを符号化して特徴データを生成する。符号化にかかるニューラルネットワークは、入力層のノード数より出力層のノード数が少なく、特徴データは、標本データより次元数が少なくなる。符号化にかかるニューラルネットワークは、例えば、パラメータθによって規定される。これにより、符号化部４０２は、標本データを符号化して得た特徴データを、推定部４０５や生成部４０３や復号化部４０４が参照可能にすることができる。
また、符号化部４０２は、例えば、対象データを符号化する。符号化部４０２は、具体的には、符号化にかかるニューラルネットワークにより、対象データを符号化して特徴データを生成する。これにより、符号化部４０２は、対象データを符号化して得た特徴データを解析部４０７などが参照可能にすることができる。
生成部４０３は、ノイズを生成し、標本データを符号化して得た特徴データにノイズを加算して加算後の特徴データを生成する。ノイズは、特徴データと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。これにより、生成部４０３は、復号化部４０４の処理対象とする加算後の特徴データを生成することができる。
復号化部４０４は、標本データを符号化して得た特徴データを復号化して第一の復号化データを生成する。復号化部４０４は、例えば、復号化にかかる第一のニューラルネットワークにより、標本データを符号化して得た特徴データを復号化して第一の復号化データを生成する。復号化にかかる第一のニューラルネットワークは、入力層のノード数が出力層のノード数より少なく、第一の復号化データを、標本データと同じ次元数で生成可能であることが好ましい。復号化にかかる第一のニューラルネットワークは、例えば、パラメータξによって規定される。これにより、復号化部４０４は、オートエンコーダー１１０を学習する指標となる、第一の復号化データを、最適化部４０６などが参照可能にすることができる。
また、復号化部４０４は、加算後の特徴データを復号化して第二の復号化データを生成する。復号化部４０４は、例えば、復号化にかかる第二のニューラルネットワークにより、加算後の特徴データを復号化して第二の復号化データを生成する。復号化にかかる第二のニューラルネットワークは、入力層のノード数が出力層のノード数より少なく、第二の復号化データを、標本データと同じ次元数で生成可能であることが好ましい。復号化にかかる第二のニューラルネットワークは、例えば、パラメータξによって規定される。第一のニューラルネットワークと、第二のニューラルネットワークとは、例えば、同一のニューラルネットワークである。これにより、復号化部４０４は、オートエンコーダー１１０を学習する指標となる、第二の復号化データを、最適化部４０６などが参照可能にすることができる。
推定部４０５は、特徴データの確率分布を算出する。推定部４０５は、例えば、確率分布を規定するモデルに基づいて、標本データを符号化して得た特徴データの確率分布を算出する。推定部４０５は、具体的には、パラメトリックに、標本データを符号化して得た特徴データの確率分布を算出する。パラメトリックに確率分布を算出する具体例については、例えば、実施例３に後述する。これにより、推定部４０５は、オートエンコーダー１１０を学習する指標となる、標本データを符号化して得た特徴データの確率分布を、最適化部４０６などが参照可能にすることができる。
推定部４０５は、例えば、第一の復号化データと標本データとの類似度に基づいて、標本データを符号化して得た特徴データの確率分布を算出してもよい。類似度は、例えば、コサイン類似度または相対ユークリッド距離などである。推定部４０５は、標本データを符号化して得た特徴データに、第一の復号化データと標本データとの類似度を結合してから、結合後の特徴データの確率分布を算出する。第一の復号化データと標本データとの類似度を用いる具体例については、例えば、図６を用いて、実施例２に後述する。これにより、推定部４０５は、オートエンコーダー１１０を学習する指標となる、結合後の特徴データの確率分布を、最適化部４０６などが参照可能にすることができる。
推定部４０５は、例えば、確率分布を規定するモデルに基づいて、対象データを符号化して得た特徴データの確率分布を算出する。推定部４０５は、具体的には、パラメトリックに、対象データを符号化して得た特徴データの確率分布を算出する。これにより、推定部４０５は、データ解析を実施する指標となる、対象データを符号化して得た特徴データの確率分布を、解析部４０７などが参照可能にすることができる。
最適化部４０６は、第一の復号化データと標本データとの第一の誤差と、第一の復号化データと第二の復号化データとの第二の誤差と、確率分布の情報エントロピーとを最小化するように、オートエンコーダー１１０と、特徴データの確率分布とを学習する。
第一の誤差は、微分した結果が所定の条件を満たすように規定された誤差関数に基づいて算出される。第一の誤差は、例えば、第一の復号化データと標本データとの二乗誤差である。第一の誤差は、例えば、第一の復号化データと標本データとの二乗誤差の対数であってもよい。第一の誤差は、例えば、δＸをＸの任意の微小変異、Ａ（Ｘ）をＸに依存するＮ×Ｎのエルミート行列、Ｌ（Ｘ）をＡ（Ｘ）のコレスキー分解行列としたとき、第一の復号化データと標本データとの誤差が下記式（８）で近似できるような誤差であってもよい。このような誤差には、例えば、二乗誤差の他に（１－ＳＳＩＭ）がある。また、（１－ＳＳＩＭ）の対数であってもよい。
Figure 0007205640000008
第二の誤差は、例えば、第一の復号化データと第二の復号化データとの二乗誤差である。第二の誤差は、δＸをＸの任意の微小変異、Ａ（Ｘ）をＸに依存するＮ×Ｎのエルミート行列、Ｌ（Ｘ）をＡ（Ｘ）のコレスキー分解行列としたとき、第一の復号化データと第二の復号化データが上記式（８）で近似できるような誤差であってもよい。このような誤差には、例えば、二乗誤差の他に（１－ＳＳＩＭ）がある。
最適化部４０６は、例えば、第一の誤差と、第二の誤差と、情報エントロピーとの重み付き和を最小化するように、オートエンコーダー１１０と、特徴データの確率分布とを学習する。最適化部４０６は、具体的には、オートエンコーダー１１０の符号化のパラメータおよび復号化のパラメータと、モデルのパラメータとを学習する。
符号化のパラメータは、上記符号化にかかるニューラルネットワークのパラメータθである。復号化のパラメータは、上記復号化にかかる第一のニューラルネットワークおよび第二のニューラルネットワークのパラメータξである。モデルのパラメータは、混合ガウスモデルのパラメータψである。混合ガウスモデルのパラメータψを学習する具体例については、例えば、図５を用いて、実施例１に後述する。
これにより、最適化部４０６は、入力されるデータの確率密度と、特徴データの確率密度とに比例傾向が現れるように、入力されるデータから特徴データを抽出可能なオートエンコーダー１１０を学習することができる。最適化部４０６は、例えば、オートエンコーダー１１０を形成する符号化部４０２と復号化部４０４とで用いる、パラメータθとパラメータξとを更新することにより、オートエンコーダー１１０を学習することができる。
解析部４０７は、学習したオートエンコーダー１１０と、学習した特徴データの確率分布とに基づいて、データ解析を実施する。解析部４０７は、例えば、学習したオートエンコーダー１１０と、学習したモデルとに基づいて、データ解析を実施する。データ解析は、例えば、アノマリー検出である。解析部４０７は、例えば、学習したオートエンコーダー１１０に対応する符号化部４０２および復号化部４０４と、学習したモデルとに基づいて、対象データについてのアノマリー検出を実施する。
解析部４０７は、具体的には、学習したオートエンコーダー１１０に対応する符号化部４０２が対象データを符号化して得た特徴データについて、学習したモデルに基づいて推定部４０５が算出した確率分布を取得する。解析部４０７は、取得した確率分布に基づいて、対象データについてのアノマリー検出を実施する。これにより、解析部４０７は、精度よくデータ解析を実施することができる。
出力部４０８は、いずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部４０８は、いずれかの機能部の処理結果をユーザに通知可能にし、学習装置１００の利便性の向上を図ることができる。
出力部４０８は、具体的には、学習したオートエンコーダー１１０を実現するための、符号化にかかるパラメータθと、復号化にかかるパラメータξとを出力する。これにより、出力部４０８は、他のコンピュータで、学習したオートエンコーダー１１０を利用可能にすることができる。出力部４０８は、例えば、アノマリー検出を実施した結果を出力する。これにより、出力部４０８は、他のコンピュータで、アノマリー検出を実施した結果を参照可能にすることができる。
ここでは、学習装置１００が、取得部４０１～出力部４０８を有する場合について説明したが、これに限らない。例えば、学習装置１００とは異なる他のコンピュータが、取得部４０１～出力部４０８のいずれかの機能部を有し、学習装置１００と他のコンピュータとが協働する場合があってもよい。具体的には、学習装置１００が、学習したオートエンコーダー１１０と学習したモデルとを、解析部４０７を有する他のコンピュータに送信し、他のコンピュータで、データ解析を実施可能にする場合があってもよい。
（学習装置１００の実施例１）
次に、図５を用いて、学習装置１００の実施例１について説明する。実施例１において、学習装置１００は、潜在空間における特徴データｚの確率分布Ｐｚψ（ｚ）を、多次元混合ガウスモデルによって算出する。多次元混合ガウスモデルについては、例えば、上記非特許文献３を参照することができる。
図５は、学習装置１００の実施例１を示す説明図である。図５において、学習装置１００は、ドメインＤから、オートエンコーダー１１０を学習するサンプルとなるデータｘを複数取得する。図５の例では、学習装置１００は、Ｎ個のデータｘのセットを取得する。
（５－１）学習装置１００は、データｘが取得されるごとに、符号化器５０１により、データｘを符号化して特徴データｚを生成する。符号化器５０１は、パラメータθによって規定されるニューラルネットワークである。
（５－２）学習装置１００は、特徴データｚが生成されるごとに、特徴データｚに対応する、ガウス混合分布のパラメータｐを算出する。パラメータｐは、ベクトルである。学習装置１００は、例えば、特徴データｚを入力とし、パラメータψで規定され、ガウス混合分布のパラメータｐを推定するＥｓｔｉｍａｔｉｏｎ Ｎｅｔｗｏｒｋ ｐ＝ＭＬＮ（ｚ；ψ）により、特徴データｚに対応するｐを算出する。ＭＬＮは、多層ニューラルネットワークである。Ｅｓｔｉｍａｔｉｏｎ Ｎｅｔｗｏｒｋについては、例えば、上記非特許文献３を参照することができる。
（５－３）学習装置１００は、特徴データｚが生成されるごとに、復号化器５０２により、特徴データｚを復号化して第一の復号化データｘ∧を生成する。復号化器５０２は、パラメータξによって規定されるニューラルネットワークである。
（５－４）学習装置１００は、特徴データｚが生成されるごとに、特徴データｚにノイズεを加算して加算後データｚ＋εを生成する。ノイズεは、特徴データｚと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。
（５－５）学習装置１００は、加算後データｚ＋εが生成されるごとに、復号化器５０３により、加算後データｚ＋εを復号化して第二の復号化データｘ∨を生成する。復号化器５０３は、パラメータξによって規定されるニューラルネットワークである。便宜上、図中では、復号化器５０３は、復号化器５０２とは異なる部位として記載したが、同一の部位であってもよい。
（５－６）学習装置１００は、上記式（１）により、第一の復号化データｘ∧とデータｘとの組み合わせごとに、第一の復号化データｘ∧とデータｘとの第一の誤差Ｄ１を算出する。
（５－７）学習装置１００は、上記式（５）により、第一の復号化データｘ∧と第二の復号化データｘ∨との組み合わせごとに、第一の復号化データｘ∧と第二の復号化データｘ∨との第二の誤差Ｄ２を算出する。
（５－８）学習装置１００は、Ｎ個の特徴データｚから算出したＮ個のパラメータｐに基づいて、情報エントロピーＲを算出する。情報エントロピーＲは、例えば、平均情報量である。学習装置１００は、例えば、下記式（９）～下記式（１３）により、情報エントロピーＲを算出する。ここで、データｘの番号ｉと定義する。ｉ＝１，２，・・・，Ｎである。多次元混合ガウスモデルのコンポーネントｋと定義する。ｋ＝１，２，・・・，Ｋである。
学習装置１００は、具体的には、下記式（９）により、サンプルの負担率γ∧を算出する。ここで、文中のγ∧は、図中および式中のγの上部に∧を付した記号を示す。
Figure 0007205640000009
次に、学習装置１００は、下記式（１０）により、ガウス混合分布の混合重みφｋ ∧を算出する。ここで、文中のφｋ ∧は、図中および式中のφｋの上部に∧を付した記号を示す。
Figure 0007205640000010
次に、学習装置１００は、下記式（１１）により、ガウス混合分布の平均μｋ ∧を算出する。ここで、文中のμｋ ∧は、図中および式中のμｋの上部に∧を付した記号を示す。ｚｉは、ｉ番目のデータｘを符号化したｉ番目の符号化データｚである。
Figure 0007205640000011
次に、学習装置１００は、下記式（１２）により、ガウス混合分布の分散共分散行列Σｋ ∧を算出する。ここで、文中のΣｋ ∧は、図中および式中のΣｋの上部に∧を付した記号を示す。
Figure 0007205640000012
そして、学習装置１００は、下記式（１３）により、情報エントロピーＲを算出する。
Figure 0007205640000013
（５－９）学習装置１００は、上記式（７）に従って、重み付き和Ｅを最小化するように、符号化器５０１のパラメータθと、復号化器５０２，５０３のパラメータξと、ガウス混合分布のパラメータψとを学習する。重み付き和Ｅは、重みλ１を付与した第一の誤差Ｄ１と、重みλ２を付与した第二の誤差Ｄ２と、情報エントロピーＲとの和である。式中の第一の誤差Ｄ１および第二の誤差Ｄ２には、算出した第一の誤差Ｄ１の平均値および算出した第二の誤差Ｄ２の平均値などを採用することができる。
これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。学習装置１００は、例えば、アノマリー検出の精度向上を図ることを可能にすることができる。
（学習装置１００の実施例２）
次に、図６を用いて、学習装置１００の実施例２について説明する。実施例２において、学習装置１００は、潜在空間における特徴データｚｃに対する説明変数ｚｒを用いる。
図６は、学習装置１００の実施例２を示す説明図である。図６において、学習装置１００は、ドメインＤから、オートエンコーダー１１０を学習するサンプルとなるデータｘを複数取得する。図６の例では、学習装置１００は、Ｎ個のデータｘのセットを取得する。
（６－１）学習装置１００は、データｘが取得されるごとに、符号化器６０１により、データｘを符号化して特徴データｚｃを生成する。符号化器６０１は、パラメータθによって規定されるニューラルネットワークである。
（６－２）学習装置１００は、特徴データｚｃが生成されるごとに、復号化器６０２により、特徴データｚｃを復号化して第一の復号化データｘ∧を生成する。復号化器６０２は、パラメータξによって規定されるニューラルネットワークである。
（６－３）学習装置１００は、特徴データｚｃが生成されるごとに、特徴データｚｃにノイズεを加算して加算後データｚｃ＋εを生成する。ノイズεは、特徴データｚｃと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である。
（６－４）学習装置１００は、加算後データｚｃ＋εが生成されるごとに、復号化器６０３により、加算後データｚｃ＋εを復号化して第二の復号化データｘ∨を生成する。復号化器６０３は、パラメータξによって規定されるニューラルネットワークである。便宜上、図中では、復号化器６０３は、復号化器６０２とは異なる部位として記載したが、同一の部位であってもよい。
（６－５）学習装置１００は、上記式（１）により、第一の復号化データｘ∧とデータｘとの組み合わせごとに、第一の復号化データｘ∧とデータｘとの第一の誤差Ｄ１を算出する。
（６－６）学習装置１００は、上記式（５）により、第一の復号化データｘ∧と第二の復号化データｘ∨との組み合わせごとに、第一の復号化データｘ∧と第二の復号化データｘ∨との第二の誤差Ｄ２を算出する。
（６－７）学習装置１００は、特徴データｚｃが生成されるごとに、特徴データｚｃに説明変数ｚｒを結合して結合後データｚを生成する。説明変数ｚｒは、例えば、コサイン類似度または相対ユークリッド距離などである。説明変数ｚｒは、具体的には、コサイン類似度（ｘ・ｘ∧）／（｜ｘ｜・｜ｘ∧｜）または相対ユークリッド距離（ｘ－ｘ∧）／｜ｘ｜などである。
（６－８）学習装置１００は、結合後データｚが生成されるごとに、Ｅｓｔｉｍａｔｉｏｎ Ｎｅｔｗｏｒｋ ｐ＝ＭＬＮ（ｚ；ψ）により、結合後データｚに対応するｐを算出する。
（６－９）学習装置１００は、上記式（９）～上記式（１３）により、Ｎ個の結合後データｚから算出したＮ個のパラメータｐに基づいて、情報エントロピーＲを算出する。情報エントロピーＲは、例えば、平均情報量である。
（６－１０）学習装置１００は、上記式（７）に従って、重み付き和Ｅを最小化するように、符号化器６０１のパラメータθと、復号化器６０２，６０３のパラメータξと、ガウス混合分布のパラメータψとを学習する。重み付き和Ｅは、重みλ１を付与した第一の誤差Ｄ１と、重みλ２を付与した第二の誤差Ｄ２と、情報エントロピーＲとの和である。式中の第一の誤差Ｄ１および第二の誤差Ｄ２には、算出した第一の誤差Ｄ１の平均値および算出した第二の誤差Ｄ２の平均値などを採用することができる。
これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。また、学習装置１００は、特徴データｚの次元数が比較的少なくなるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析について比較的大きな精度向上を図ることを可能にすることができる。学習装置１００は、例えば、アノマリー検出について比較的大きな精度向上を図ることを可能にすることができる。
（学習装置１００の実施例３）
次に、学習装置１００の実施例３について説明する。実施例３において、学習装置１００は、ｚの確率分布Ｐｚψ（ｚ）を独立な分布と仮定し、ｚの確率分布Ｐｚψ（ｚ）を、パラメトリックな確率密度関数として推定する。ｚの確率分布Ｐｚψ（ｚ）を、パラメトリックな確率密度関数として推定することについては、例えば、下記非特許文献４を参照することができる。
非特許文献４：Ｊｏｈａｎｎｅｓ Ｂａｌｌｅ， Ｄａｖｉｄ Ｍｉｎｎｅｎ， Ｓａｕｒａｂｈ Ｓｉｎｇｈ， Ｓｕｎｇ Ｊｉｎ Ｈｗａｎｇ， ａｎｄ Ｎｉｃｋ Ｊｏｈｎｓｔｏｎ， “Ｖａｒｉａｔｉｏｎａｌ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ａ ｓｃａｌｅ ｈｙｐｅｒｐｒｉｏｒ，” Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ （ＩＣＬＲ）， ２０１８．
これにより、学習装置１００は、入力されるデータｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、入力されるデータｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。学習装置１００は、例えば、アノマリー検出の精度向上を図ることを可能にすることができる。
（学習装置１００により得られる効果の一例）
次に、図７を用いて、学習装置１００により得られる効果の一例について説明する。
図７は、学習装置１００により得られる効果の一例を示す説明図である。図７において、入力とする人工データｘを示す。具体的には、図７におけるグラフ７００は、人工データｘの分布を示すグラフである。
ここで、従来手法のオートエンコーダーαにより、人工データｘから特徴データｚを抽出した場合の、特徴データｚの分布、および人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性について示す。
具体的には、図７におけるグラフ７１０は、従来手法のオートエンコーダーαでの、特徴データｚの分布を示すグラフである。また、図７におけるグラフ７１１は、従来手法のオートエンコーダーαでの、人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性を示すグラフである。
グラフ７１０，７１１に示すように、従来手法のオートエンコーダーαでは、人工データｘの確率密度ｐ（ｘ）と、特徴データｚの確率密度ｐ（ｚ）とは、比例することがなく、線形関係が現れない。このため、人工データｘの代わりに、従来手法のオートエンコーダーαでの特徴データｚを用いても、データ解析の精度向上を図ることは難しくなる。
これに対し、学習装置１００によって、上記式（１）および上記式（２）を用いて学習されたオートエンコーダー１１０－１により、人工データｘから特徴データｚを抽出した場合について示す。具体的には、この場合における、特徴データｚの分布、および人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性について示す。
具体的には、図７におけるグラフ７２０は、オートエンコーダー１１０－１での、特徴データｚの分布を示すグラフである。また、図７におけるグラフ７２１は、オートエンコーダー１１０－１での、人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性を示すグラフである。
グラフ７２０，７２１に示すように、オートエンコーダー１１０－１によれば、人工データｘの確率密度ｐ（ｘ）と、特徴データｚの確率密度ｐ（ｚ）とは、比例傾向にあり、線形関係が現れることになる。このため、学習装置１００は、人工データｘの代わりに、オートエンコーダー１１０－１での特徴データｚを用いて、データ解析の精度向上を図ることを可能にすることができる。また、学習装置１００は、上記式（１）および上記式（２）を用いてオートエンコーダー１１０－１を学習する場合、学習にかかる処理量の増加を抑制することができる。
同様に、学習装置１００によって、上記式（１）および上記式（３）を用いて学習されたオートエンコーダー１１０－２により、人工データｘから特徴データｚを抽出した場合についても示す。具体的には、この場合における、特徴データｚの分布、および人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性について示す。
具体的には、図７におけるグラフ７３０は、オートエンコーダー１１０－２での、特徴データｚの分布を示すグラフである。また、図７におけるグラフ７３１は、オートエンコーダー１１０－２での、人工データｘの確率密度ｐ（ｘ）と特徴データｚの確率密度ｐ（ｚ）との関係性を示すグラフである。
グラフ７３０，７３１に示すように、オートエンコーダー１１０－２によれば、人工データｘの確率密度ｐ（ｘ）と、特徴データｚの確率密度ｐ（ｚ）とは、比例傾向にあり、線形関係が現れることになる。また、グラフ７３０，７３１に示すように、オートエンコーダー１１０－２によれば、人工データｘの確率密度ｐ（ｘ）と、特徴データｚの確率密度ｐ（ｚ）とに、線形関係が強く現れやすくすることができる。このため、学習装置１００は、人工データｘの代わりに、オートエンコーダー１１０－２での特徴データｚを用いて、データ解析の精度向上をより図りやすくすることができる。
（学習処理手順）
次に、図８を用いて、学習装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。
図８は、学習処理手順の一例を示すフローチャートである。図８において、学習装置１００は、符号化器により入力ｘを符号化し、潜在変数ｚを出力する（ステップＳ８０１）。次に、学習装置１００は、潜在変数ｚの確率分布を推定する（ステップＳ８０２）。そして、学習装置１００は、ノイズεを生成する（ステップＳ８０３）。
次に、学習装置１００は、潜在変数ｚを復号化器により復号し、ｘ∧を生成し、潜在変数ｚにノイズεを加算して得たｚ＋εを復号化器により復号し、ｘ∨を生成する（ステップＳ８０４）。そして、学習装置１００は、コストを算出する（ステップＳ８０５）。コストは、上述した重み付き和Ｅである。
次に、学習装置１００は、コストが小さくなるように、パラメータθ、ψ、ξを更新する（ステップＳ８０６）。そして、学習装置１００は、学習が収束したか否かを判定する（ステップＳ８０７）。ここで、学習が収束していない場合（ステップＳ８０７：Ｎｏ）、学習装置１００は、ステップＳ８０１の処理に戻る。
一方で、学習が収束している場合（ステップＳ８０７：Ｙｅｓ）、学習装置１００は、学習処理を終了する。学習の収束は、例えば、更新によるパラメータθ、ψ、ξの変化量が一定以下であることである。これにより、学習装置１００は、入力ｘの確率密度と、潜在変数ｚの確率密度とに比例傾向が現れるように、入力ｘから潜在変数ｚを抽出可能なオートエンコーダー１１０を学習することができる。
（解析処理手順）
次に、図９を用いて、学習装置１００が実行する、解析処理手順の一例について説明する。解析処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。
図９は、解析処理手順の一例を示すフローチャートである。図９において、学習装置１００は、符号化器により入力ｘを符号化し、潜在変数ｚを生成する（ステップＳ９０１）。そして、学習装置１００は、推定した潜在変数ｚの確率分布に基づいて、生成した潜在変数ｚの外れ度を算出する（ステップＳ９０２）。
次に、学習装置１００は、外れ度が閾値以上であれば、アノマリーとして入力ｘを出力する（ステップＳ９０３）。そして、学習装置１００は、解析処理を終了する。これにより、学習装置１００は、精度よくアノマリー検出を実施することができる。
ここで、学習装置１００は、図８の一部ステップの処理の順序を入れ替えて実行してもよい。例えば、ステップＳ８０２，Ｓ８０３の処理の順序は入れ替え可能である。学習装置１００は、例えば、学習処理に用いるサンプルとなる入力ｘを複数受け付けたことに応じて、上記学習処理を実行開始する。学習装置１００は、例えば、解析処理の処理対象となる入力ｘを受け付けたことに応じて、上記解析処理を実行開始する。
以上説明したように、学習装置１００によれば、入力されたデータｘを符号化することができる。学習装置１００によれば、データｘを符号化して得た特徴データｚの確率分布を算出することができる。学習装置１００によれば、特徴データｚを復号化して第一の復号化データｘ∧を生成することができる。学習装置１００によれば、特徴データｚにノイズεを加算することができる。学習装置１００によれば、ノイズεを加算した特徴データｚ＋εを復号化して第二の復号化データｘ∨を生成することができる。学習装置１００によれば、生成した第一の復号化データｘ∧とデータｘとの第一の誤差と、第一の復号化データｘ∧と生成した第二の復号化データｘ∨との第二の誤差と、算出した確率分布の情報エントロピーとを算出することができる。学習装置１００によれば、第一の誤差と、第二の誤差と、確率分布の情報エントロピーとを最小化するように、オートエンコーダー１１０と、特徴データｚの確率分布とを学習することができる。これにより、学習装置１００は、データｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れるように、データｘから特徴データｚを抽出可能なオートエンコーダー１１０を学習することができる。このため、学習装置１００は、学習したオートエンコーダー１１０により、データ解析の精度向上を図ることを可能にすることができる。
学習装置１００によれば、確率分布を規定するモデルに基づいて、特徴データｚの確率分布を算出することができる。学習装置１００によれば、オートエンコーダー１１０と確率分布を規定するモデルとを学習することができる。これにより、学習装置１００は、オートエンコーダー１１０と確率分布を規定するモデルの最適化を図ることができる。
学習装置１００によれば、モデルとして、混合ガウスモデルを採用することができる。学習装置１００によれば、オートエンコーダー１１０の符号化のパラメータおよび復号化のパラメータと、混合ガウスモデルのパラメータとを学習することができる。これにより、学習装置１００は、オートエンコーダー１１０の符号化のパラメータおよび復号化のパラメータと、混合ガウスモデルのパラメータとの最適化を図ることができる。
学習装置１００によれば、第一の復号化データｘ∧とデータｘとの類似度に基づいて、特徴データｚの確率分布を算出することができる。これにより、学習装置１００は、オートエンコーダー１１０を学習しやすくすることができる。
学習装置１００によれば、パラメトリックに特徴データｚの確率分布を算出することができる。これにより、学習装置１００は、オートエンコーダー１１０を学習しやすくすることができる。
学習装置１００によれば、ノイズεとして、特徴データｚと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数を採用することができる。これにより、学習装置１００は、データｘの確率密度と、特徴データｚの確率密度とに比例傾向が現れることを保証可能にすることができる。
学習装置１００によれば、第一の誤差を、微分した結果が所定の条件を満たすように規定された誤差関数に基づいて算出することができる。これにより、学習装置１００は、データｘの確率密度と、適切に第一の誤差を算出可能にすることができる。
学習装置１００によれば、第一の誤差として、第一の復号化データｘ∧とデータｘとの二乗誤差を採用することができる。これにより、学習装置１００は、第一の誤差を算出する際にかかる処理量の増加を抑制することができる。
学習装置１００によれば、第一の誤差として、第一の復号化データｘ∧とデータｘとの二乗誤差の対数を採用することができる。これにより、学習装置１００は、データｘの確率密度と、特徴データｚの確率密度とに比例傾向が強く現れやすくすることができる。
学習装置１００によれば、第二の誤差として、第一の復号化データｘ∧と第二の復号化データｘ∨との二乗誤差を採用することができる。これにより、学習装置１００は、第二の誤差を算出する際にかかる処理量の増加を抑制することができる。
学習装置１００によれば、学習したオートエンコーダー１１０と、学習した特徴データｚの確率分布とに基づいて、入力された新たなデータｘについてのアノマリー検出を実施することができる。これにより、学習装置１００は、アノマリー検出の精度を向上させることができる。
なお、本実施の形態で説明した学習方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した学習プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した学習プログラムは、インターネットなどのネットワークを介して配布してもよい。
上述した実施の形態に関し、さらに以下の付記を開示する。
（付記１）符号化と復号化を実行するオートエンコーダーの学習方法であって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データを復号化して第一の復号化データを生成し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、
生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
処理をコンピュータが実行することを特徴とする学習方法。
（付記２）前記算出する処理は、
確率分布を規定するモデルに基づいて、前記特徴データの確率分布を算出し、
前記学習する処理は、
前記オートエンコーダーと前記モデルとを学習する、ことを特徴とする付記１に記載の学習方法。
（付記３）前記モデルは、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）であり、
前記学習する処理は、
前記オートエンコーダーの符号化のパラメータおよび復号化のパラメータと、前記混合ガウスモデルのパラメータとを学習する、ことを特徴とする付記２に記載の学習方法。
（付記４）前記算出する処理は、
前記第一の復号化データと前記データとの類似度に基づいて、前記特徴データの確率分布を算出する、ことを特徴とする付記１～３のいずれか一つに記載の学習方法。
（付記５）前記算出する処理は、
パラメトリックに前記特徴データの確率分布を算出する、ことを特徴とする付記１～４のいずれか一つに記載の学習方法。
（付記６）前記ノイズは、前記特徴データと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である、ことを特徴とする付記１～５のいずれか一つに記載の学習方法。
（付記７）前記第一の誤差は、微分した結果が所定の条件を満たすように規定された誤差関数に基づいて算出される、ことを特徴とする付記１～６のいずれか一つに記載の学習方法。
（付記８）前記第一の誤差は、前記第一の復号化データと前記データとの二乗誤差である、ことを特徴とする付記１～７のいずれか一つに記載の学習方法。
（付記９）前記第一の誤差は、前記第一の復号化データと前記データとの二乗誤差の対数である、ことを特徴とする付記１～８のいずれか一つに記載の学習方法。
（付記１０）前記第二の誤差は、前記第一の復号化データと前記第二の復号化データとの二乗誤差である、ことを特徴とする付記１～９のいずれか一つに記載の学習方法。
（付記１１）学習した前記オートエンコーダーと、学習した前記特徴データの確率分布とに基づいて、入力された新たなデータについてのアノマリー検出を実施する、
処理を前記コンピュータが実行することを特徴とする付記１～１０のいずれか一つに記載の学習方法。
（付記１２）符号化と復号化を実行するオートエンコーダーの学習プログラムであって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データを復号化して第一の復号化データを生成し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、
生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
処理をコンピュータに実行させることを特徴とする学習プログラム。
（付記１３）符号化と復号化を実行するオートエンコーダーの学習装置であって、
入力されたデータを符号化し、
前記データを符号化して得た特徴データの確率分布を算出し、
前記特徴データを復号化して第一の復号化データを生成し、
前記特徴データにノイズを加算し、
前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、
生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
制御部を有することを特徴とする学習装置。
１００ 学習装置
１１０ オートエンコーダー
１１１，５０１，６０１ 符号化器
１１２，１１４，５０２，５０３，６０２，６０３ 復号化器
１１３ 雑音生成器
２００ データ解析システム
２０１ 端末装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００ 記憶部
４０１ 取得部
４０２ 符号化部
４０３ 生成部
４０４ 復号化部
４０５ 推定部
４０６ 最適化部
４０７ 解析部
４０８ 出力部
７００，７１０，７１１，７２０，７２１，７３０，７３１ グラフ

Claims (12)

  1. 符号化と復号化を実行するオートエンコーダーの学習方法であって、
    入力されたデータを符号化し、
    前記データを符号化して得た特徴データの確率分布を算出し、
    前記特徴データを復号化して第一の復号化データを生成し、
    前記特徴データにノイズを加算し、
    前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、
    生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
    処理をコンピュータが実行することを特徴とする学習方法。
  2. 前記算出する処理は、
    確率分布を規定するモデルに基づいて、前記特徴データの確率分布を算出し、
    前記学習する処理は、
    前記オートエンコーダーと前記モデルとを学習する、ことを特徴とする請求項１に記載の学習方法。
  3. 前記モデルは、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）であり、
    前記学習する処理は、
    前記オートエンコーダーの符号化のパラメータおよび復号化のパラメータと、前記混合ガウスモデルのパラメータとを学習する、ことを特徴とする請求項２に記載の学習方法。
  4. 前記算出する処理は、
    前記第一の復号化データと前記データとの類似度に基づいて、前記特徴データの確率分布を算出する、ことを特徴とする請求項１～３のいずれか一つに記載の学習方法。
  5. 前記算出する処理は、
    パラメトリックに前記特徴データの確率分布を算出する、ことを特徴とする請求項１～４のいずれか一つに記載の学習方法。
  6. 前記ノイズは、前記特徴データと同じ次元数であり、次元間で互いに無相関であり、かつ、平均が０である分布に基づく一様乱数である、ことを特徴とする請求項１～５のいずれか一つに記載の学習方法。
  7. 前記第一の誤差は、微分した結果が所定の条件を満たすように規定された誤差関数に基づいて算出される、ことを特徴とする請求項１～６のいずれか一つに記載の学習方法。
  8. 前記第一の誤差は、前記第一の復号化データと前記データとの二乗誤差である、ことを特徴とする請求項１～７のいずれか一つに記載の学習方法。
  9. 前記第一の誤差は、前記第一の復号化データと前記データとの二乗誤差の対数である、ことを特徴とする請求項１～８のいずれか一つに記載の学習方法。
  10. 前記第二の誤差は、前記第一の復号化データと前記第二の復号化データとの二乗誤差である、ことを特徴とする請求項１～９のいずれか一つに記載の学習方法。
  11. 符号化と復号化を実行するオートエンコーダーの学習プログラムであって、
    入力されたデータを符号化し、
    前記データを符号化して得た特徴データの確率分布を算出し、
    前記特徴データを復号化して第一の復号化データを生成し、
    前記特徴データにノイズを加算し、
    前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、
    生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
    処理をコンピュータに実行させることを特徴とする学習プログラム。
  12. 符号化と復号化を実行するオートエンコーダーの学習装置であって、
    入力されたデータを符号化し、
    前記データを符号化して得た特徴データの確率分布を算出し、
    前記特徴データを復号化して第一の復号化データを生成し、
    前記特徴データにノイズを加算し、
    前記ノイズを加算した前記特徴データを復号化して第二の復号化データを生成し、
    生成した前記第一の復号化データと前記データとの第一の誤差と、前記第一の復号化データと生成した前記第二の復号化データとの第二の誤差と、算出した前記確率分布の情報エントロピーとを最小化するように、前記オートエンコーダーと、前記特徴データの確率分布とを学習する、
    制御部を有することを特徴とする学習装置。
JP2021548017A 2019-09-24 2019-09-24 学習方法、学習プログラム、および学習装置 Active JP7205640B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037370 WO2021059348A1 (ja) 2019-09-24 2019-09-24 学習方法、学習プログラム、および学習装置

Publications (3)

Publication Number Publication Date
JPWO2021059348A1 JPWO2021059348A1 (ja) 2021-04-01
JPWO2021059348A5 JPWO2021059348A5 (ja) 2022-02-09
JP7205640B2 true JP7205640B2 (ja) 2023-01-17

Family

ID=75165170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021548017A Active JP7205640B2 (ja) 2019-09-24 2019-09-24 学習方法、学習プログラム、および学習装置

Country Status (3)

Country Link
US (1) US20220207371A1 (ja)
JP (1) JP7205640B2 (ja)
WO (1) WO2021059348A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240232624A1 (en) 2021-05-17 2024-07-11 Nippon Telegraph And Telephone Corporation Neural network learning apparatus, neural network learning method, and program
WO2023166688A1 (ja) * 2022-03-04 2023-09-07 富士通株式会社 機械学習プログラム，情報処理装置及び機械学習方法
WO2024089770A1 (ja) * 2022-10-25 2024-05-02 富士通株式会社 情報処理プログラム、装置、及び方法
CN117116350B (zh) * 2023-10-25 2024-02-27 中国农业科学院深圳农业基因组研究所(岭南现代农业科学与技术广东省实验室深圳分中心) Rna测序数据的校正方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140680A (ja) 2018-02-09 2019-08-22 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ オートエンコーダ装置、データ処理システム、データ処理方法及びプログラム
JP2019159823A (ja) 2018-03-13 2019-09-19 富士通株式会社 学習プログラム、学習方法および学習装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140680A (ja) 2018-02-09 2019-08-22 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ オートエンコーダ装置、データ処理システム、データ処理方法及びプログラム
JP2019159823A (ja) 2018-03-13 2019-09-19 富士通株式会社 学習プログラム、学習方法および学習装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
尾亦 範泰，"オートエンコーダによる低次元化と可視化"，可視化情報学会誌，日本，一般社団法人可視化情報学会，2018年10月01日，第３８巻第１５１号，pp. 9-13，第9 頁右欄第20 行目-第10 頁左欄第36 行目の"2.オートエンコーダ 概観"、第11 頁左欄第28-44 行目の"3.2 デノイジングオートエンコーダ"、 第11 頁右欄第6-25 行目の"3.4 変分オートエンコーダ"参照
野崎 俊貴，"スパース推定に基づく適応正則化オンライン学習の特徴選択問題"，計算機統計学，日本，日本計算機統計学会，2017年02月11日，第２９巻第２号，pp. 117-131，特に、第125頁第3-29行目参照

Also Published As

Publication number Publication date
WO2021059348A1 (ja) 2021-04-01
JPWO2021059348A1 (ja) 2021-04-01
US20220207371A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP7205640B2 (ja) 学習方法、学習プログラム、および学習装置
CN108304390B (zh) 基于翻译模型的训练方法、训练装置、翻译方法及存储介质
JP6599294B2 (ja) 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム
JP7424078B2 (ja) 画像エンコーディング方法及び装置並びに画像デコーディング方法及び装置
Hsu et al. Unsupervised learning of disentangled and interpretable representations from sequential data
JPWO2021059348A5 (ja)
De'Ath Boosted trees for ecological modeling and prediction
Tokdar et al. Simultaneous linear quantile regression: a semiparametric Bayesian approach
CN108804526B (zh) 兴趣确定系统、兴趣确定方法及存储介质
CN111930914B (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
KR20170030923A (ko) 음향 모델 생성 장치 및 방법, 음성 인식 장치 및 방법
CN113961967B (zh) 基于隐私保护联合训练自然语言处理模型的方法及装置
Ntalampiras et al. Acoustic detection of unknown bird species and individuals
JP7205641B2 (ja) 学習方法、学習プログラム、および学習装置
WO2019116352A1 (en) Scalable parameter encoding of artificial neural networks obtained via an evolutionary process
Tokdar et al. Simultaneous linear quantile regression: A semiparametric bayesian approach
KR102697095B1 (ko) Qa 모델을 이용하여 지식 그래프를 구축하는 방법, 장치 및 컴퓨터 프로그램
CN113597620A (zh) 使用神经网络的压缩感测
Kinsner Is entropy suitable to characterize data and signals for cognitive informatics?
CN115759482A (zh) 一种社交媒体内容传播预测方法和装置
JPWO2021059349A5 (ja)
JP2019079102A (ja) 学習装置、生成装置、分類装置、学習方法、学習プログラム、および動作プログラム
US11886233B2 (en) Architecture for generating QA pairs from contexts
Ahmed et al. Genetic algorithm based framework for optimized sensing matrix design in compressed sensing
Zhu et al. A hybrid model for nonlinear regression with missing data using quasilinear kernel

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7205640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150