JP6778708B2 - 解析装置、方法、及びプログラム - Google Patents

解析装置、方法、及びプログラム Download PDF

Info

Publication number
JP6778708B2
JP6778708B2 JP2018047140A JP2018047140A JP6778708B2 JP 6778708 B2 JP6778708 B2 JP 6778708B2 JP 2018047140 A JP2018047140 A JP 2018047140A JP 2018047140 A JP2018047140 A JP 2018047140A JP 6778708 B2 JP6778708 B2 JP 6778708B2
Authority
JP
Japan
Prior art keywords
cluster
output
dimension
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018047140A
Other languages
English (en)
Other versions
JP2019159943A (ja
Inventor
千紘 渡邊
千紘 渡邊
薫 平松
薫 平松
柏野　邦夫
邦夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2018047140A priority Critical patent/JP6778708B2/ja
Priority to PCT/JP2019/009114 priority patent/WO2019176731A1/ja
Priority to US16/980,380 priority patent/US20210248422A1/en
Publication of JP2019159943A publication Critical patent/JP2019159943A/ja
Application granted granted Critical
Publication of JP6778708B2 publication Critical patent/JP6778708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/182—Extraction of features or characteristics of the image by coding the contour of the pattern
    • G06V30/1823—Extraction of features or characteristics of the image by coding the contour of the pattern using vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Description

本発明は、解析装置、方法、及びプログラムに係り、特に、ニューラルネットワークの構造を解析するための解析装置、方法、及びプログラムに関する。
データから学習された多層ニューラルネットワークに対し、ネットワーク解析を適用することにより、元のニューラルネットワークを単純化した構造を取り出し、より解釈しやすい形に変換することを可能とした技術がある。より具体的には、これらの技術は、多層ニューラルネットワークの各層のユニットについて、隣接する層のユニットと類似した結合パターンを持つユニット同士のグループ（クラスタ、又はコミュニティとも呼ぶ）を所定のアルゴリズムに従って見つけることにより、元の結合構造の単純化を実現している。
Watanabe. C, Hiramatsu. K, and Kashino. K. Modular representation of layered neural networks. Neural Networks, Vol. 97, pp. 62-73, 2018.
上述した既存技術により、多層ニューラルネットワークの構造を単純化した構造を取り出すことが可能となったが、これらの技術においては以下のような課題が存在していた。まず、上述した技術により取り出された、多層ニューラルネットワークのクラスタ構造において、各クラスタが果たす役割を定量的に知る方法が存在していなかった。つまり、これらの技術だけでは、各クラスタが入力データの各部分をどの程度見ていて、出力の各部分を予測するのにどの程度使われているのか、ということを知ることができなかった。また、これらの既存技術においては、各クラスタ間に存在する複数の結合を、閾値処理により１本にまとめて表現することにより、構造の単純化を行っていた。このため、既存技術を用いて得られる構造は、閾値の設定により大きく変化してしまい、そこから安定して似たような考察結果を読み取るということができなかった。そこで、閾値などの変数の設定によらず、安定して似たような考察結果を得ることができ、また各クラスタがニューラルネットワークの中で果たす役割を定量的に知ることができるようになるための技術が望まれている。
本発明は、上記問題点を解決するために成されたものであり、ニューラルネットワークの構造を定量的に解析することができる解析装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１の発明に係る解析装置は、入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出する解析部と、を含んで構成されている。
また、第２の発明に係る解析装置は、サンプルの入力データ及び前記サンプルが属する次元を表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出する解析部と、前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの次元との組み合わせの各々の関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習する再学習部と、を含んで構成されている。
第３の発明に係る解析方法は、入力部が、入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、解析部が、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出するステップと、を含んで実行することを特徴とする。
第４の発明に係る解析方法は、入力部が、サンプルの入力データ及び前記サンプルが属する次元を表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、解析部が、前記入力データの次元と前記クラスタとの組み合わせの各々について、前記入力データの前記次元の値を、前記学習データに含まれる前記入力データの前記次元の平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、前記クラスタと前記出力データの次元との組み合わせの各々について、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元の値と、置き換える前の前記出力データの前記次元の値との二乗誤差を前記組み合わせの関係として算出するステップと、再学習部が、前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの次元との組み合わせの各々の関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習するステップと、を含んで実行することを特徴とする。
第５の発明に係るプログラムは、コンピュータを、第１の発明に係る解析装置の各部として機能させるためのプログラムである。
第６の発明に係るプログラムは、コンピュータを、第２の発明に係る解析装置の各部として機能させるためのプログラムである。
本発明の解析装置、方法、及びプログラムによれば、入力データ及び出力データからなる学習データに基づいて入力データから出力データを出力するための予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付け、入力データの次元とクラスタとの組み合わせの各々について、入力データの次元の値を、学習データに含まれる入力データの次元の平均値で置き換えたときのクラスタに属する各ユニットの出力と、置き換える前の入力データに対するクラスタに属する各ユニットの出力との二乗誤差の和を組み合わせの関係として算出し、クラスタと出力データの次元との組み合わせの各々について、クラスタに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタの各ユニットの平均の出力値で置き換えたときの出力データの次元の値と、置き換える前の出力データの次元の値との二乗誤差を組み合わせの関係として算出することにより、ニューラルネットワークの構造を定量的に解析することができる、という効果が得られる。
本発明の実施の形態に係る解析装置の構成を示すブロック図である。 クラスタの構造において、入出力の寄与度を表す場合の一例を示す図である。 多層ニューラルネットワークのアルゴリズムを示す図である。 本発明の実施の形態に係る解析装置における解析処理ルーチンを示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態に係る解析装置の構成＞
次に、本発明の実施の形態に係る解析装置の構成について説明する。図１に示すように、本発明の実施の形態に係る解析装置１００は、ＣＰＵと、ＲＡＭと、後述する解析処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
入力部１０は、予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける。また、クラスタの構造はどのような方法で抽出したものであってもよい。例えば、予め学習された多層ニューラルネットにおける各辺によって定まる、隣接する層の頂点間の結合関係に基づいて、多層ニューラルネットの各層に対し、当該層のコミュニティを抽出したものを、クラスタとすればよい。また、入力部１０は、ニューラルネットワークの入力となるサンプルの入力データ、及び当該サンプルが属する次元を表す出力データからなる学習データを受け付ける。ニューラルネットワークは入力データ、及び出力データからなる学習データに基づいて入力データから出力データを出力するためのニューラルネットワークとして学習されたものである。
演算部２０は、解析部３０と、再学習部３２とを含んで構成されている。
解析部３０は、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,i inと、クラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,j outとを算出する。算出されるｖc,i inとｖc,j outとは、それぞれ組み合わせにおける関係の強さを表す。
具体的には、解析部３０は、学習データをニューラルネットワークに入力し、入力データの次元ｉとクラスタｃとの組み合わせの各々について、学習データである入力データの次元ｉの値を、学習データに含まれる入力データの次元ｉの平均値で置き換えたときのクラスタｃに属する各ユニットの出力と、置き換える前の入力データに対するクラスタｃに属する各ユニットの出力との二乗誤差の和を、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,i inとして定義し、算出する。
また、解析部３０は、学習データをニューラルネットワークに入力し、クラスタｃと出力データの次元ｊとの組み合わせの各々について、クラスタｃに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタｃの各ユニットの平均の出力値で置き換えたときの出力データの次元ｊの値と、置き換える前の出力データの次元ｊの値との二乗誤差を、クラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,j outとして定義し、算出する。
上記の演算により、各クラスタの役割（入出力次元との関係の強さ）がそれぞれベクトル形式（ｖin={ｖc,j in},ｖout={ｖc,j out}）で得られる。
また、出力部５０において、より結果を解釈しやすくするために、これらの入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,i in、及びクラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,j outについて、ベクトル又は行列により表すように出力する。例えば、文字画像認識を行うニューラルネットワーク（画像を入力として、その画像に何の文字が書かれているか予測した結果を出力する）に本実施形態を適用して、文字画像の学習データを用いて文字画像を認識する場合に、図２に示すように、ニューラルネットワークのユニットのクラスタの構造に対して、クラスタの各出力次元への寄与度を棒グラフで表すことで、クラスタがどの文字の認識に使われているかの寄与度を表したり、各入力次元からのクラスタへの寄与度を行列の分布により表すことで、入力画像のどの部分の情報を当該クラスタが受け付けているのかの寄与度を表すことができる。
また、解析部３０の演算結果に基づいて、ニューラルネットワークのパラメータを再学習することにより、ニューラルネットワークの汎化性能の向上を図ることができる。
再学習部３２は、学習データと、クラスタの構造と、算出したクラスタと出力データの次元との組み合わせの各々の関係ｖc,j outとに基づいて、クラスタの各々に対し、クラスタに属する各ユニットの出力値に、学習データに含まれる出力データが表すサンプルが属する次元との組み合わせの関係に応じた雑音を加算し、ニューラルネットワークを誤差逆伝播法により再学習し、出力部５０に出力する。
例えば、確率的最急降下法に基づいてニューラルネットワークの学習を行う場合、各クラスタに対し、学習の各反復でランダムに選ばれた学習データの出力データの次元の出力クラス（文字画像認識の場合、どの文字が書いてあるか、という情報に相当する）に対応する、出力次元ｊへのクラスタの寄与度ｖc,j outに比例した大きさの分散を持つ正規分布を以下（１）式に定義する。

・・・（１）
再学習部３２は、初期化したパラメータである結合重み｛ωi,j d｝とバイアス｛θi d｝とサンプルから、パラメータの更新を行う。図３に示すAlgorithm1はパラメータ更新方法の一例であり、多層ニューラルネットワークによる出力値と観測データを用いた、各クラスタの出力クラスへの寄与度に基づく雑音ありの誤差逆伝播法である。学習データの入力データを入力した場合に、学習データが表すサンプルの属する出力クラスをｒとし、出力次元ｒへのクラスタｃの寄与度ｖc,ｒ outに比例した分散をσc,rとして、クラスタｃに属する各ユニットについて、８行目及び１０行目に示すように、上記（１）式の正規分布に応じた雑音を加算してユニットの出力ｏj dを計算した上で、誤差逆伝播法によりニューラルネットワークを更新する。
＜本発明の実施の形態に係る解析装置の作用＞
次に、本発明の実施の形態に係る解析装置１００の作用について説明する。入力部１０において、予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造と、入力となるサンプルの入力データと、サンプルが属する次元を表す出力データからなる学習データを受け付けると、解析装置１００は、図４に示す解析処理ルーチンを実行する。
ステップＳ１００では、解析部３０は、学習データをニューラルネットワークに入力し、学習データである入力データの次元ｉとクラスタｃとの組み合わせの各々について、入力データの次元ｉの値を、学習データに含まれる入力データの次元ｉの平均値で置き換えたときのクラスタｃに属する各ユニットの出力と、置き換える前の入力データに対するクラスタｃに属する各ユニットの出力との二乗誤差の和を、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,i inとして定義し、算出する。また、学習データをニューラルネットワークに入力し、クラスタｃと出力データの次元ｊとの組み合わせの各々について、クラスタｃに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタｃの各ユニットの平均の出力値で置き換えたときの出力データの次元ｊの値と、置き換える前の出力データの次元ｊの値との二乗誤差を、クラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,j outとして定義し、算出する。
ステップＳ１０２では、出力部５０は、入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,i in、及びクラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,j outについて、ベクトル又は行列により表すように出力する。
ステップＳ１０４では、再学習部３２は、学習データと、クラスタの構造と、算出したクラスタと出力データの次元との組み合わせの各々の関係ｖc,j outとに基づいて、学習データの入力データを入力した場合に、クラスタｃの各々に対し、当該クラスタｃに属する各ユニットの出力値に、当該学習データに含まれる出力データが表すサンプルが属する次元ｒとの組み合わせの関係ｖc,ｒ outを用いた上記（１）式の正規分布に応じた雑音を加算するようにして、ニューラルネットワークを誤差逆伝播法により再学習し、出力部５０に出力する。
以上説明したように、本発明の実施の形態に係る解析装置によれば、入力データ及び出力データからなる学習データに基づいて入力データから出力データを出力するための予め学習されたニューラルネットワークと、ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付け、入力データの次元とクラスタとの組み合わせの各々について、入力データの次元の値を、学習データに含まれる入力データの次元の平均値で置き換えたときのクラスタに属する各ユニットの出力と、置き換える前の入力データに対するクラスタに属する各ユニットの出力との二乗誤差の和を組み合わせの関係として算出し、クラスタと出力データの次元との組み合わせの各々について、クラスタに属する各ユニットの出力値を、学習データに含まれる入力データを入力したときのクラスタの各ユニットの平均の出力値で置き換えたときの出力データの次元の値と、置き換える前の出力データの次元の値との二乗誤差を組み合わせの関係として算出することにより、ニューラルネットワークの構造を定量的に解析することができる。
また、本発明の実施の形態の技術を用いて、各クラスタが「入力データのどの次元の情報を用いて、出力のどの次元の情報を推論するのに使われているか」ということを明らかにすることにより、各クラスタが大まかにどのような役割を果たすものかを知ることができる。例えば、上記図２に示すように、文字画像認識を行うニューラルネットワークに本技術を適用した場合、ニューラルネットワークにおける各クラスタが入力画像のどの部分を見て、何の文字の認識を行うのに使われているか、ということを知ることができる。
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述した実施の形態では、再学習部を含む場合を例に説明したが、これに限定されるものではない。例えば、解析装置の演算部を解析部のみによって構成し、解析部による入力データの次元ｉとクラスタｃとの組み合わせの関係ｖc,i in、及びクラスタｃと出力データの次元ｊとの組み合わせの関係ｖc,j outの解析、及び出力を行うようにしてもよい。
１０ 入力部
２０ 演算部
３０ 解析部
３２ 再学習部
５０ 出力部
１００ 解析装置

Claims (8)

  1. 入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、
    前記入力データの各ｉ番目の要素を表す次元ｉと前記クラスタとの組み合わせについて、前記入力データの前記次元ｉの値を、前記学習データに含まれる前記入力データの前記次元ｉの平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
    前記クラスタと前記出力データの各ｊ番目の要素を表す次元ｊとの組み合わせについて、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元ｊの値と、置き換える前の前記出力データの前記次元ｊの値との二乗誤差を前記組み合わせの関係として算出する解析部と、
    を含む解析装置。
  2. 算出した前記入力データの各次元ｉと前記クラスタとの組み合わせの関係、及び前記クラスタと前記出力データの各次元ｊとの組み合わせの関係を、ベクトル又は行列により表すように出力する出力部を更に含む請求項１に記載の解析装置。
  3. サンプルの入力データ及び前記サンプルが属するｒ番目の要素を表す次元ｒを表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付ける入力部と、
    前記入力データの各ｉ番目の要素を表す次元ｉと前記クラスタとの組み合わせについて、前記入力データの前記次元ｉの値を、前記学習データに含まれる前記入力データの前記次元ｉの平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
    前記クラスタと前記出力データの各ｊ番目の要素を表す次元ｊとの組み合わせについて、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元ｊの値と、置き換える前の前記出力データの前記次元ｊの値との二乗誤差を前記組み合わせの関係として算出する解析部と、
    前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの各次元ｊとの組み合わせの関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元ｒとの組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習する再学習部と、
    を含む解析装置。
  4. 入力部が、入力データ及び出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、
    解析部が、前記入力データの各ｉ番目の要素を表す次元ｉと前記クラスタとの組み合わせについて、前記入力データの前記次元ｉの値を、前記学習データに含まれる前記入力データの前記次元ｉの平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
    前記クラスタと前記出力データの各ｊ番目の要素を表す次元ｊとの組み合わせについて、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元ｊの値と、置き換える前の前記出力データの前記次元ｊの値との二乗誤差を前記組み合わせの関係として算出するステップと、
    を含む処理をコンピュータに実行させる解析方法。
  5. 算出した前記入力データの各次元ｉと前記クラスタとの組み合わせの関係、及び前記クラスタと前記出力データの各次元ｊとの組み合わせの関係を、ベクトル又は行列により表すように出力する出力部を更に含む請求項４に記載の解析方法。
  6. 入力部が、サンプルの入力データ及び前記サンプルが属するｒ番目の要素を表す次元ｒを表す出力データからなる学習データに基づいて前記入力データから前記出力データを出力するための予め学習されたニューラルネットワークと、前記ニューラルネットワークについて予め求められたユニットからなるクラスタの構造とを受け付けるステップと、
    解析部が、前記入力データの各ｉ番目の要素を表す次元ｉと前記クラスタとの組み合わせについて、前記入力データの前記次元ｉの値を、前記学習データに含まれる前記入力データの前記次元ｉの平均値で置き換えたときの前記クラスタに属する各ユニットの出力と、置き換える前の入力データに対する前記クラスタに属する各ユニットの出力との二乗誤差の和を前記組み合わせの関係として算出し、
    前記クラスタと前記出力データの各ｊ番目の要素を表す次元ｊとの組み合わせについて、前記クラスタに属する各ユニットの出力値を、前記学習データに含まれる前記入力データを入力したときの前記クラスタの各ユニットの平均の出力値で置き換えたときの前記出力データの前記次元ｊの値と、置き換える前の前記出力データの前記次元ｊの値との二乗誤差を前記組み合わせの関係として算出するステップと、
    再学習部が、前記学習データと、前記クラスタの構造と、算出した前記クラスタと前記出力データの各次元ｊとの組み合わせの関係とに基づいて、前記クラスタの各々に対し、前記クラスタに属する各ユニットの出力値に、前記学習データに含まれる前記出力データが表すサンプルが属する次元ｒとの組み合わせの関係に応じた雑音を加算し、前記ニューラルネットワークを誤差逆伝播法により再学習するステップと、
    を含む処理をコンピュータに実行させる解析方法。
  7. コンピュータを、請求項１又は請求項２に記載の解析装置の各部として機能させるためのプログラム。
  8. コンピュータを、請求項３に記載の解析装置の各部として機能させるためのプログラム。
JP2018047140A 2018-03-14 2018-03-14 解析装置、方法、及びプログラム Active JP6778708B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018047140A JP6778708B2 (ja) 2018-03-14 2018-03-14 解析装置、方法、及びプログラム
PCT/JP2019/009114 WO2019176731A1 (ja) 2018-03-14 2019-03-07 解析装置、方法、及びプログラム
US16/980,380 US20210248422A1 (en) 2018-03-14 2019-03-07 Analyzing device, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018047140A JP6778708B2 (ja) 2018-03-14 2018-03-14 解析装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019159943A JP2019159943A (ja) 2019-09-19
JP6778708B2 true JP6778708B2 (ja) 2020-11-04

Family

ID=67907853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018047140A Active JP6778708B2 (ja) 2018-03-14 2018-03-14 解析装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210248422A1 (ja)
JP (1) JP6778708B2 (ja)
WO (1) WO2019176731A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07120349B2 (ja) * 1991-09-19 1995-12-20 株式会社エイ・ティ・アール視聴覚機構研究所 神経回路網学習法およびそれを用いた装置
JPH07146852A (ja) * 1993-11-24 1995-06-06 Ricoh Co Ltd ニューラルネットワークの構造簡略化方法
US6134537A (en) * 1995-09-29 2000-10-17 Ai Ware, Inc. Visualization and self organization of multidimensional data through equalized orthogonal mapping
US7313550B2 (en) * 2002-03-27 2007-12-25 Council Of Scientific & Industrial Research Performance of artificial neural network models in the presence of instrumental noise and measurement errors
JP2008533615A (ja) * 2005-03-14 2008-08-21 エル ターラー、ステフエン ニューラルネットワーク開発およびデータ解析ツール
US7502763B2 (en) * 2005-07-29 2009-03-10 The Florida International University Board Of Trustees Artificial neural network design and evaluation tool
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
WO2019092672A2 (en) * 2017-11-13 2019-05-16 Way2Vat Ltd. Systems and methods for neuronal visual-linguistic data retrieval from an imaged document

Also Published As

Publication number Publication date
WO2019176731A1 (ja) 2019-09-19
JP2019159943A (ja) 2019-09-19
US20210248422A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
Behrmann et al. Invertible residual networks
CN110659744B (zh) 训练事件预测模型、评估操作事件的方法及装置
Li et al. Clustering discretization methods for generation of material performance databases in machine learning and design optimization
AU2017437537B2 (en) Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
CN109120462B (zh) 机会网络链路的预测方法、装置及可读存储介质
CN106897254B (zh) 一种网络表示学习方法
WO2015134900A1 (en) Neural network and method of neural network training
CN109325875B (zh) 基于在线社交用户隐特征的隐式群体发现方法
CN109635763B (zh) 一种人群密度估计方法
CN112001404A (zh) 自适应全局和局部双层优化的图像生成模型和生成方法
Köfinger et al. Empirical optimization of molecular simulation force fields by Bayesian inference
CN113377964A (zh) 知识图谱链接预测方法、装置、设备及存储介质
US20180137409A1 (en) Method of constructing an artifical intelligence super deep layer learning model, device, mobile terminal, and software program of the same
Popovic et al. Fast model‐based ordination with copulas
JP6778708B2 (ja) 解析装置、方法、及びプログラム
CN110717037B (zh) 对用户分类的方法和装置
CN111461862A (zh) 为业务数据确定目标特征的方法及装置
CN115017015B (zh) 一种边缘计算环境下程序异常行为检测方法及系统
Packianather et al. Modelling neural network performance through response surface methodology for classifying wood veneer defects
CN113392958B (zh) 一种模糊神经网络fnn的参数优化及应用方法与系统
WO2022077345A1 (en) Method and apparatus for neural network based on energy-based latent variable models
JP7047665B2 (ja) 学習装置、学習方法及び学習プログラム
CN112861601A (zh) 生成对抗样本的方法及相关设备
JP7298870B2 (ja) 分子動力学データ解析装置及びプログラム
CN117274616B (zh) 一种多特征融合深度学习服务QoS预测系统及预测方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201012

R150 Certificate of patent or registration of utility model

Ref document number: 6778708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150